当前位置：首页 > news >正文

【机器学习】机器学习的基本分类-无监督学习（Unsupervised Learning）

news 来源：原创 2025/5/9 11:08:22

无监督学习（Unsupervised Learning）

无监督学习是一种机器学习方法，主要用于没有标签的数据集。其目标是从数据中挖掘出潜在的结构和模式。常见的无监督学习任务包括聚类、降维、密度估计 和 异常检测。

1. 无监督学习的核心目标

1.1 聚类

将数据分成多个组，使得同一组中的数据点具有更高的相似性，而不同组之间的相似性较低。

应用场景：

市场细分：将用户分组，提供个性化服务。
图像分割：将像素划分为不同区域。

1.2 降维

通过减少特征的数量而保留尽可能多的信息，主要用于数据可视化或特征提取。

应用场景：

数据压缩：如主成分分析 (PCA)。
数据可视化：将高维数据映射到 2D 或 3D 空间。

1.3 密度估计

估计数据的概率分布，用于理解数据生成过程。

应用场景：

图像生成：生成新的、类似于训练数据的图像。
异常检测：检测数据集中低概率的异常点。

2. 主要算法

2.1 聚类算法

(1) K-Means

K-Means 是最常用的聚类算法，通过迭代优化，将数据分为 K 个簇。

核心步骤：

初始化 K 个簇中心。
分配每个点到最近的簇中心。
更新簇中心为当前簇内点的均值。
重复步骤 2 和 3，直到收敛。

优缺点：

优点：简单高效，适合大数据集。
缺点：对初始中心敏感，适用于凸形分布。

from sklearn.cluster import KMeans
import numpy as np# 生成数据
from sklearn.datasets import make_blobs
X, _ = make_blobs(n_samples=300, centers=4, random_state=42)# K-Means 聚类
kmeans = KMeans(n_clusters=4, random_state=42)
kmeans.fit(X)
labels = kmeans.labels_

(2) DBSCAN

基于密度的聚类方法，能够发现任意形状的簇，同时可以自动识别噪声点。

核心思想：

定义每个点的邻域（基于半径 ϵ）。
寻找核心点（邻域内有足够多点的点）。
扩展核心点形成簇。

优缺点：

优点：对噪声鲁棒，适合非球形数据。
缺点：对参数 ϵ 和最小样本数敏感。

from sklearn.cluster import DBSCAN# DBSCAN 聚类
dbscan = DBSCAN(eps=0.5, min_samples=5)
dbscan.fit(X)
labels = dbscan.labels_

2.2 降维算法

(1) 主成分分析（PCA）

通过线性变换，将数据投影到低维空间，同时尽可能保留数据的方差。

核心步骤：

计算数据的协方差矩阵。
对协方差矩阵进行特征值分解。
选择最大的 k 个特征值对应的特征向量。

from sklearn.decomposition import PCA# PCA 降维
pca = PCA(n_components=2)
X_reduced = pca.fit_transform(X)

(2) t-SNE

t-SNE 是一种非线性降维技术，特别适合高维数据的可视化。

核心思想：

在高维空间和低维空间中分别计算数据点对之间的相似性。
通过梯度下降优化，使高维和低维空间中的相似性尽可能一致。

from sklearn.manifold import TSNE# t-SNE 降维
tsne = TSNE(n_components=2, random_state=42)
X_embedded = tsne.fit_transform(X)

2.3 密度估计

(1) 高斯混合模型（GMM）

通过混合多个高斯分布来对数据建模。每个高斯分布对应一个簇，同时计算数据属于每个簇的概率。

核心步骤：

初始化每个高斯分布的参数。
E 步：计算每个点属于每个分布的概率。
M 步：更新高斯分布的参数。

from sklearn.mixture import GaussianMixture# GMM 聚类
gmm = GaussianMixture(n_components=4, random_state=42)
gmm.fit(X)
labels = gmm.predict(X)

(2) 核密度估计（KDE）

通过核函数（如高斯核）对数据的概率密度进行估计，适合发现数据分布中的细节。

from sklearn.neighbors import KernelDensity# KDE 密度估计
kde = KernelDensity(kernel='gaussian', bandwidth=0.5)
kde.fit(X)

3. 无监督学习的应用

3.1 聚类

客户分群：细分客户群体，制定针对性策略。
推荐系统：基于用户行为聚类推荐内容。

3.2 降维

数据可视化：如高维基因数据的分析。
特征选择：减少模型复杂度，提高训练速度。

3.3 密度估计

异常检测：检测异常交易或异常行为。
数据生成：生成新的、与训练数据相似的样本。

4. 无监督学习的挑战

难以评估：没有标签，难以量化结果的优劣。
算法敏感性：如 K-Means 对初始中心敏感，DBSCAN 对参数敏感。
高维数据问题：维度的增加可能导致距离度量失效（“维度灾难”）。

无监督学习方法强大而灵活，但通常需要结合特定的领域知识以更好地解释结果。如果需要更深入的分析或实践指导，可以进一步探讨！

【机器学习】机器学习的基本分类-无监督学习（Unsupervised Learning）

无监督学习（Unsupervised Learning） 无监督学习是一种机器学习方法，主要用于没有标签的数据集。其目标是从数据中挖掘出潜在的结构和模式。常见的无监督学习任务包括聚类、降维、密度估计和异常检测。 1. 无监督学习的核心目标 1.1 聚类…...

编程日记 2025/5/9 11:08:22

六、docker compose单机容器编排工具

六、docker compose单机容器编排工具 6.1 compose简介 Compose是一个用于定义和运行多容器Docker应用程序的工具。您可以使用Compose文件来配置应用程序的服务，然后使用单个命令从配置中创建并启动所有服务。compose的配置文件示例如下 compose的github网址&#…...

编程日记 2025/5/4 8:54:42

Python3 operator 模块

Python2.x 版本中，使用 cmp() 函数来比较两个列表、数字或字符串等的大小关系。 Python 3.X 的版本中已经没有 cmp() 函数，如果你需要实现比较功能，需要引入 operator 模块，适合任何对象，包含的方法有： o…...

编程日记 2025/5/3 21:46:00

沪合共融 “汽”势如虹 | 昂辉科技参加合肥上海新能源汽车产业融合对接会

为积极响应制造业重点产业链高质量发展行动号召，促进合肥、上海两地新能源汽车产业链上下游企业融合对接、协同发展，共同打造长三角世界级新能源汽车产业集群，11月28日，合肥市工信局组织部分县区工信部门及全市30余户新能源汽车产…...

编程日记 2025/5/6 17:56:42

访问http网页强制跳转到了https的解决办法

目录解决浏览器自动从 HTTP 重定向到 HTTPS 的问题问题原因：HSTS（HTTP Strict Transport Security）什么是 HSTS？HSTS 的工作原理如何解决？1. 清除浏览器的 HSTS 信息在 Chrome 中清除 HSTS 信息：在 Firef…...

编程日记 2025/5/5 7:07:02

PDF处理的创新工具:福昕低代码平台尝鲜

在当今数字化时代，PDF文件的处理和管理变得越来越重要。福昕低代码平台是新发布的一款创新的工具，旨在简化PDF处理和管理的流程。通过这个平台，用户可以通过简单的拖拽界面上的按钮，轻松完成对Cloud API的调用工作流，而…...

编程日记 2025/5/8 3:13:04

EmoAva:首个大规模、高质量的文本到3D表情映射数据集。

2024-12-03，由哈尔滨工业大学（深圳）的计算机科学系联合澳门大学、新加坡南洋理工大学等机构创建了EmoAva数据集，这是首个大规模、高质量的文本到3D表情映射数据集，对于推动情感丰富的3D头像生成技术的发展具有重要意义…...

编程日记 2025/5/5 12:12:31

SpringMVC ——（1）

1.SpringMVC请求流程 1.1 SpringMVC请求处理流程分析 Spring MVC框架也是⼀个基于请求驱动的Web框架，并且使⽤了前端控制器模式（是⽤来提供⼀个集中的请求处理机制，所有的请求都将由⼀个单⼀的处理程序处理来进⾏设计，再根据请求…...

编程日记 2025/5/8 21:49:25

测试工具LoadRunner Professional脚本编写-脚本设置

勾选扩展日志-全选原因：在并发完成后，通过抽查关键用户日志的方式，检查参数化是否如预期一致，比如抽查用户1（仓库一，物品一），用户11（仓库二，物品一），用户100（仓库十，物品十）设置忽略思考时间原因：是否忽略思考时间，请求数可能会有几十倍的差距…...

编程日记 2025/5/8 8:08:57

运用蓝光三维扫描仪的艺术与科技的完美融合-石膏头像模型3D扫描真实复刻

石膏头像具有独特的魅力，每一处细节都彰显着艺术之美。无论是深邃的眼神，还是精致的轮廓，都让人陶醉其中。随着雕塑形式的日渐丰富，越来越多的新材料和新的塑造手法被运用到雕塑创作中，蓝光三维扫描技术的应用&#…...

编程日记 2025/5/4 2:36:34

文本域设置高度加上文字限制并show出来：

文本域设置高度 :rows"4" 加上文字限制并show出来： maxlength"30" show-word-limit 效果: <el-form-item label"产品备注" prop"remark"><el-input v-model"form.remark" type"textarea"…...

编程日记 2025/5/3 19:37:11

探索数据确权、隐私保护、安全共享等方面的挑战与解决方案

在数据确权、隐私保护、安全共享等方面，当前确实面临着诸多挑战，同时也存在一些有效的解决方案。以下是对这些方面的详细探讨： 一、数据确权挑战权属关系模糊：由于数据具有复杂性和隐蔽性等特点，使得数据的权属关…...

编程日记 2025/5/9 11:04:25

麒麟 V10（ky10.x86_64）无网环境下 openssl - 3.2.2 与 openssh - 9.8p1 升级【最全教程】

目录背景安装包下载上传解压安装包安装zlib 安装OpenSSL 安装OpenSSH 验证背景近期，项目上线已进入倒计时阶段，然而在至关重要的安全检查环节中，却惊现现有的 OpenSSH 存在一系列令人担忧的漏洞： OpenSSH 资源管理错…...

编程日记 2025/5/8 11:14:24

前端技术(23) : 聊天页面

来源: GPT生成之后微调效果图 HTML代码 <!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>聊天</t…...

编程日记 2025/5/6 15:57:13

ArcMap 处理河道坡度、计算污染区、三维爆炸功能

ArcMap 处理河道坡度、计算污染区、三维爆炸功能今天分析一、计算河道方向坡度 1、折线转栅格确定 2、提取河道高程值确定后展示河流的高程值 3、计算坡向数据确定后展示 4、计算坡度数据确定后展示二、计算上游集水区污染值 1、填挖处理确定 2、计算流向确定 3、计算…...

编程日记 2025/5/4 13:52:34

数据结构（30）计算式查找法——哈希法

前言数据结构中的计算式查找法，特别是哈希法（又称散列法、杂凑法、关键字地址计算法），是一种高效的查找技术。一、哈希法的基本概念哈希法是通过一个哈希函数将关键字映射到哈希表中的某个位置，从而实现快速查找的技…...

编程日记 2025/5/6 3:11:20

电子商务人工智能指南 4/6 - 内容理解

介绍 81% 的零售业高管表示， AI 至少在其组织中发挥了中等至完全的作用。然而，78% 的受访零售业高管表示，很难跟上不断发展的 AI 格局。近年来，电子商务团队加快了适应新客户偏好和创造卓越数字购物体验的需求。采用 AI 不再是一…...

编程日记 2025/5/4 18:57:22

交易系统：线上交易系统流程详解

大家好，我是汤师爷~ 今天聊聊线上交易系统流程详解。线上交易系统为新零售连锁商家提供一站式线上交易解决方案。其核心目标是，通过数字化手段扩大商家的服务范围，突破传统门店的地理限制。系统支持电商、O2O等多种业务形态，为…...

编程日记 2025/5/9 11:06:18

如何通过自学成长为一名后端开发工程师？

大家好，我是袁庭新。最近，有星友向我提出了一个很好的问题：如何通过自学成为一名后端开发工程师？ 为了解答这个疑问，我特意制作了一个视频来详细分享我的看法和建议。戳链接：如何通过自学成长为一名后端开…...

编程日记 2025/5/3 18:05:13

实际车辆行驶轨迹与预设路线偏离检测的Java实现

准备工作本项目依赖于两个关键库：JTS Topology Suite（简称JTS），用于几何对象创建和空间分析；以及GeoTools，用于处理坐标转换和其他地理信息任务。确保开发环境中已经包含了这两个库，并且正确配…...

编程日记 2025/5/7 12:45:30

pci_resource相关函数

一、介绍 pci_resource_start函数用于获取PCI设备中指定Bar寄存器记录资源起始地址， 函数原型： resource_size_t pci_resource_start(struct pci_dev *dev, int bar) 参数： dev: PCI 设备结构体指针 bar: BAR 寄存器索引 (0-5) 返回&a…...

编程日记 2025/5/9 0:14:03

Android Studio 历史版本下载官方链接：https://developer.android.google.cn/studio/archive 通过gradle插件版本反查Android Studio历史版本 Android Studio Ladybug | 2024.2.1 October 1, 2024 【https://redirector.gvt1.com/edgedl/android/studio/ide-zip…...

编程日记 2025/5/9 5:31:07

Jupyter Lab打印日志

有时候在 jupyter 中执行运行时间较长的程序，且需要一直信息，但是程序执行到某些时候就不再打印了。可以开启日志控制台，将日志信息记录在控制台中。参考：https://www.autodl.com/docs/jupyterlab/...

编程日记 2025/5/9 11:06:18

guava缓存的get方法的回调函数讲解一下

CacheBuilder.newBuilder()//设置缓存初始大小，应该合理设置，后续会扩容.initialCapacity(10)//最大值.maximumSize(100)//并发数设置.concurrencyLevel(5)//缓存过期时间，写入后10分钟过期.expireAfterWrite(600,TimeUnit.SECONDS)//统计缓存…...

编程日记 2025/5/5 13:12:38

【双分派小结】

双分派（Double Dispatch）是一种面向对象编程中的设计模式，通常用于实现多态性，尤其是在涉及多个对象交互时。它的基本思想是通过两个不同的对象来确定方法调用，而不仅仅是依赖于一个对象。双分派的工作原理在普通的…...

编程日记 2025/5/8 15:34:29

Python100道练习题

Python100道练习题 BIlibili 1、两数之和 num1 20 num2 22result num1 num2print(result)2、一百以内的偶数 list1 []for i in range(1,100):if i % 2 0:list1.append(i) print(list1)3、一百以内的奇数 # 方法一 list1 [] for i in range(1,100):if i % 2 ! 0:lis…...

编程日记 2025/5/5 21:44:03

Scala—Slice（提取子序列）方法详解

Scala—Slice（提取子序列）方法详解在 Scala 中，slice 方法用于从集合中提取一个连续的子序列（切片）。可以应用于多种集合类型，如 List、Array、Seq 等。一、slice 方法的定义 slice 根据提供的起始索引…...

编程日记 2025/5/5 19:50:11

nginx根据报文里字段转发至不同地址

nginx接收到post请求.请求报文里是一个json字符串，字符串里有个字段id。根据id不同，转发到不同地址。如果idaaa,转发到www.aaa.com.test 如果idbbb,转发到www.bbb.com.test 如何配置,请提供一个nginx.conf 要在 Nginx 中根据 POST 请求的 JSON 负载中的…...

编程日记 2025/5/6 11:12:05

Kafka单机及集群部署及基础命令

目录一、 Kafka介绍1、kafka定义2、传统消息队列应用场景3、kafka特点和优势4、kafka角色介绍5、分区和副本的优势6、kafka 写入消息的流程二、Kafka单机部署1、基础环境2、iptables -L -n配置3、下载并解压kafka部署包至/usr/local/目录4、修改server.properties5、修改/etc…...

编程日记 2025/5/7 10:35:02

TCP Robot Send Recive

Function main String data$ 定义字符串变量 SetNet #205, "192.168.0.1", 2004, CRLF, NONE, 0 设置端口号IP地址 OpenNet #205 As Server 端口号对应pc机的端口号 Print "等待201端口连接" WaitNet #201 等待201网…...

编程日记 2025/5/3 19:28:23

旅游管理系统｜Java｜SSM｜VUE｜前后端分离

【重要1⃣️】前后端源码万字文档部署文档【重要2⃣️】正版源码有问题包售后【包含内容】【一】项目提供非常完整的源码注释【二】相关技术栈文档【三】源码讲解视频【其它服务】【一】可以提供远程部署安装&#xf…...

编程日记 2025/5/6 0:25:59

qt-everywher交叉编译e-src-5.15.2

简化配置的方式： 你完全可以通过直接配置安装目录、编译链和目标架构来完成交叉编译，而不需要修改 mkspecs 配置。以下是如何通过简化配置来进行交叉编译 Qt 的步骤。准备交叉编译工具链首先，确保你已经安装了交叉编译工具链&#xff…...

编程日记 2025/5/3 4:10:55

Cursor vs VSCode：主要区别与优势分析

Cursor - The AI Code Editor 1. AI 集成能力 Cursor的优势原生AI集成： # Cursor可以直接通过快捷键调用AI # 例如：按下 Ctrl K 可以直接获取代码建议 def complex_function():# 在这里，你可以直接询问AI如何实现功能# AI会直接在编辑器中…...

编程日记 2025/5/4 12:51:24

Qt 小项目学生管理信息系统

主要是对数据库的增删查改的操作登录/注册界面： 主页面： 添加信息： 删除信息： 删除第一行（支持多行删除） 需求分析： 用QT实现一个学生管理信息系统，数据库为MySQL 要求&#xf…...

编程日记 2025/5/7 7:32:15

Hadoop3集群实战：从零开始的搭建之旅

目录一、概念 1.1 Hadoop是什么 1.2 历史 1.3 三大发行版本（了解） 1.4 优势 1.5 组成💗 1.6 HDFS架构 1.7 YARN架构 1.8 MapReduce概述 1.9 HDFS\YARN\MapReduce关系二、环境准备 2.1 准备模版虚拟机 2.2 安装必要软件 2.3 安…...

编程日记 2025/5/9 9:58:40

软件工程复习记录

基本概念软件工程三要素：方法、工具、过程软件开发方法：软件开发所遵循的办法和步骤，以保证所得到的运行系统和支持的文档满足质量要求。软件开发过程管理软件生命周期：可行性研究、需求分析、概要设计、详细设计、编码、测…...

编程日记 2025/5/6 2:42:36

爬虫运行后数据如何存储？

爬虫运行后获取的数据可以存储在多种不同的存储系统中，具体选择取决于数据的规模、查询需求以及应用场景。以下是一些常见的数据存储方法： 1. 文件系统对于小型项目或临时数据存储，可以直接将数据保存到本地文件中。常见的文件格式包括&…...

编程日记 2025/5/9 3:37:13

【C语言】C语言的潜规则：运行环境对C程序执行特性的影响

C语言的潜规则：C语言的执行会因为它的运行环境被赋予不同的特性 C语言是一种非常底层、高效、灵活的编程语言，但这种灵活性也带来了很多不确定性。C语言的行为在很大程度上依赖于其运行环境（编译器、操作系统、硬件架构等）。这也…...

编程日记 2025/5/4 9:11:24

Win11 24h2 不能正常ensp

Win11 24h2 不能正常ensp 因为Win11 24h2的内核大小更改，目前virtualbox在7.1.4中更新解决了。而ensp不支持5.2.44之后的virtualbox并已停止维护，不再进行5.2.44修复，virtualbox 5.2.24的ntdll文件sizeofimage问题，此问题导致ens…...

编程日记 2025/5/8 19:06:58

【认证法规】安全隔离变压器

文章目录定义反激电源变压器定义安全隔离变压器（safety isolating transformer），通过至少相当于双重绝缘或加强绝缘的绝缘使输入绕组与输出绕组在电气上分开的变压器。这种变压器是为以安全特低电压向配电电路、电器或其它设备供电而设计…...

编程日记 2025/5/5 13:38:53

【北京迅为】iTOP-4412全能版使用手册-第六十七章 USB鼠标驱动详解

iTOP-4412全能版采用四核Cortex-A9，主频为1.4GHz-1.6GHz，配备S5M8767 电源管理，集成USB HUB,选用高品质板对板连接器稳定可靠，大厂生产，做工精良。接口一应俱全，开发更简单,搭载全网通4G、支持WIFI、蓝牙、…...

编程日记 2025/5/4 13:42:50

MFEM源码分析：代数库

数值计算引擎通常需要将表征物理模型的数学模型转化为线性/非线性方程组，进而求解这些线性/非线性方程组来获取数值解。因此，代数库自然成为数值计算引擎不可或取的模块。而且，普遍认为，代数库的性能在很大程度上决定数值计算引…...

编程日记 2025/5/9 11:08:22

全景图相关算法学习笔记

目录 ldm3d CVPR 2024 Highlight 文本生360全景！PanFusion 全景图光流学习一张2D全景图可合成高质量的360度3D场景全景图生成3d ldm3d https://huggingface.co/Intel/ldm3d-pano CVPR 2024 Highlight 文本生360全景！PanFusion 文生图&#xff0…...

编程日记 2025/5/7 23:32:36

3D 目标检测：从萌芽到前沿的技术演进之路

亲爱的小伙伴们😘，在求知的漫漫旅途中，若你对深度学习的奥秘、JAVA 、PYTHON与SAP 的奇妙世界，亦或是读研论文的撰写攻略有所探寻🧐，那不妨给我一个小小的关注吧🥰。我会精心筹备，在…...

编程日记 2025/5/9 8:47:33

泷羽sec:shell编程(9)不同脚本的互相调用和重定向操作

声明： 学习视频来自B站up主泷羽sec 有兴趣的师傅可以关注一下，如涉及侵权马上删除文章，笔记只是方便各位师傅的学习和探讨，文章所提到的网站以及内容，只做学习交流，其他均与本人以及泷羽sec团队无关&#…...

编程日记 2025/5/9 1:29:54

Java Web 3 Axios Vue组件库

一 Ajax 1 同步异步 2 原生Ajax 比较繁琐 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Documen…...

编程日记 2025/5/6 17:31:47