当前位置：首页 > news >正文

机器学习+深度学习

news 来源：原创 2025/8/7 13:05:50

文章目录

一、机器学习
- （一）机器学习概念
- （二）机器学习基本流程
- （三）机器学习应用场景
二、机器学习的常见工具与相关库
- （一）Python 机器学习库
- （二）数据处理库
- （三）可视化库
三、聚类算法思想与模型搭建过程
- （一）K - Means 聚类算法
- （二）DBSCAN 聚类算法
四、分类算法思想与模型搭建过程
- （一）逻辑回归
- （二）决策树
五、聚类与分类模型的评估方法的知识
- （一）聚类模型评估方法
- （二）分类模型评估方法
六、深度学习基本概念
- （一）深度学习定义
- （二）与传统机器学习的区别
- （三）深度学习常见模型

一、机器学习

（一）机器学习概念

定义

机器学习是人工智能的一个分支，机器学习算法构建模型，从数据中自动学习和改进，而无需进行明确的编程，通过对数据的分析来做出预测或决策。

分类：

监督学习（输入数据带标签，如分类、回归）；
无监督学习（输入数据无标签，如聚类、降维）；
强化学习（通过试错反馈优化决策，如游戏AI）。基本流程：数据收集 → 数据预处理 → 特征工程 → 模型训练 → 模型评估 → 部署优化。应用场景：推荐系统、图像识别、金融风控、自然语言处理（NLP）等。

与传统编程的对比

传统编程是基于明确的规则和逻辑来处理输入数据并产生输出，例如使用 if - else 语句来判断一个数是否为偶数。 机器学习是从数据中自动发现模式，对于同样的预测任务（如图像识别）
传统编程需要手动设计复杂的规则来识别图像中的物体，而机器学习算法可以通过学习大量的带标签图像（如猫和狗的图片）来自动识别新图像中的物体。

常见工具与库

Scikit-learn： 传统机器学习算法库（如SVM、决策树）；
TensorFlow/PyTorch： 深度学习框架（支持神经网络构建与训练）；
Pandas/NumPy： 数据处理与分析工具；
Matplotlib/Seaborn： 数据可视化工具。

（二）机器学习基本流程

数据收集

收集与问题相关的数据。 例如，在预测房价时，需要收集房屋面积、卧室数量、地理位置等数据。
数据来源可以是数据库、文件（如 CSV、Excel）、传感器等多种渠道。

数据预处理

数据清洗 ：处理缺失值、异常值和重复值。例如，对于房屋价格数据，如果某些房屋的面积数据缺失，可以采用均值、中位数或众数来填充；对于明显偏离正常范围的价格（如一个房屋价格为负数），将其视为异常值并进行纠正或删除。
特征工程 ：选择和转换数据特征。例如，将文本特征（如房屋类型）转化为数值特征（如使用独热编码），或者对数值特征进行归一化（将数据缩放到 [0, 1] 区间）或标准化（使数据具有零均值和单位方差）。
数据集划分 ：通常将数据集划分为训练集、验证集和测试集。训练集用于训练模型，验证集用于调整模型的超参数，测试集用于评估模型的最终性能。例如，可以将 70% 的数据作为训练集，15% 作为验证集，15% 作为测试集。

模型选择

根据问题类型选择合适的模型。常见的机器学习问题类型包括分类（如识别邮件是否为垃圾邮件）、回归（如预测房价）、聚类（如客户细分）等。
- 对于分类问题，可以选择逻辑回归、决策树、支持向量机等模型；
- 对于回归问题，可以选择线性回归、岭回归等；
- 对于聚类问题，可以选择 K - Means、DBSCAN 等。

模型训练

使用训练集对选定的模型进行训练。在这个过程中，模型通过优化算法（如梯度下降）来调整模型的参数，以最小化预测误差或最大化某种性能指标。例如，在训练线性回归模型时，通过调整权重和偏置，使得预测的房价与实际房价之间的误差最小。

模型评估与优化

模型评估 ：使用验证集和测试集对模型进行评估。
- 对于分类模型，可以使用准确率、召回率、F1 分数等指标；
- 对于回归模型，可以使用均方误差（MSE）、平均绝对误差（MAE）等指标。例如，对于一个垃圾邮件分类模型，准确率表示正确分类的邮件数量占总邮件数量的比例。
模型优化 ：根据评估结果调整模型的超参数（如决策树的深度、支持向量机的核函数参数等），或者尝试不同的模型结构以提高模型性能。例如，如果决策树模型在验证集上的准确率较低，可以尝试增加树的深度或者剪枝来优化模型。

（三）机器学习应用场景

图像识别

在安防领域，用于人脸识别（如门禁系统）、车牌识别等。通过机器学习算法学习大量的图像数据，可以准确地识别图像中的物体或人物。例如，使用卷积神经网络（CNN）来识别监控视频中的人脸，判断是否为授权人员。

自然语言处理

在智能客服系统中，用于语义理解、情感分析等。机器学习算法（如循环神经网络，RNN）可以分析用户输入的文本，理解其意图并生成相应的回答。例如，分析用户对产品评价的情感倾向（正面、负面或中性）。

推荐系统

电商平台利用机器学习算法根据用户的浏览历史、购买行为等数据，为用户推荐可能感兴趣的商品。协同过滤算法（如基于用户的协同过滤、基于物品的协同过滤）通过分析用户与物品之间的交互数据来挖掘用户的兴趣偏好。

二、机器学习的常见工具与相关库

（一）Python 机器学习库

scikit - learn

特点：是一个功能广泛的机器学习库，提供了简单高效的工具用于数据挖掘和数据分析。它涵盖了多种机器学习算法，包括分类（如支持向量机、随机森林）、回归（如岭回归、Lasso 回归）、聚类（如 K - Means、层次聚类）等。
应用场景 ：适用于中小型数据集的机器学习任务，如客户细分（聚类）、信用评分预测（分类）等。
代码示例（分类 - 逻辑回归）

     from sklearn.datasets import load_irisfrom sklearn.model_selection import train_test_splitfrom sklearn.linear_model import LogisticRegressionfrom sklearn.metrics import accuracy_score# 加载数据iris = load_iris()X = iris.datay = iris.target# 划分数据集X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)# 创建并训练模型model = LogisticRegression()model.fit(X_train, y_train)# 预测和评估y_pred = model.predict

机器学习+深度学习

文章目录一、机器学习（一）机器学习概念（二）机器学习基本流程（三）机器学习应用场景二、机器学习的常见工具与相关库（一）Python 机器学习库（二）数据处理库（三）可视化库三、聚类算法思想与模型搭建过程（一）K - Means 聚类算法（二）DBSCAN 聚类算法四、分类算法思想…...

编程日记 2025/8/7 13:05:50

一、镜像 1、拉取镜像 docker pull busybox docker pull nginx:1.26-alpine 2、查看本地镜像 [rootRocky-1 ~]# docker images REPOSITORY TAG IMAGE ID CREATED SIZE nginx latest 4e1b6bae1e48 18 hours ago 192MB busybox lates…...

编程日记 2025/8/2 18:58:12

相机模型--CMOS和CCD的区别

1--CMOS和CCD的工作原理 CCD（Charge Coupled Device，电荷耦合器件）： 1. 图像通过光电效应在感光单元中转化为电荷； 2. 每个像素上的电荷被依次“耦合”并传输到芯片的角落，通过一个或几个模拟输出放大器输…...

编程日记 2025/8/3 4:59:53

触发器（详解）

一：MySQL触发器 MySQL数据库中触发器是一个特殊的存储过程。不同的是执行存储过程要使用 CALL 语句来调用，而触发器的执行不需要使用 CALL 语句来调用，也不需要手工启动，只要一个预定义的事件发生就会被 MySQL自动调用。引发…...

编程日记 2025/8/6 16:42:37

Vue 3 中将 ref 创建的响应式对象数据转换为普通（非响应式）的数据

Vue 3 中使用 ref 创建的响应式对象数据转换为普通（非响应式）的数据，有以下几种方法： 1. 访问 .value 属性: 这是最直接、最常见的方法。由于 ref 对象的值存储在其 .value 属性中，直接访问该属性即可获得普通数据。…...

编程日记 2025/8/4 8:13:15

Vue基础(6)_键盘事件

普通键盘事件键盘事件常用的有两个：keydown、keyup。举例： <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><script type"text/javascript" src"../js/vue.js"&…...

编程日记 2025/8/6 16:09:53

Kubernetes控制平面组件：高可用 APIServer

云原生学习路线导航页（持续更新中） kubernetes学习系列快捷链接 Kubernetes架构原则和对象设计（一）Kubernetes架构原则和对象设计（二）Kubernetes架构原则和对象设计（三）Kubernetes控…...

编程日记 2025/8/3 12:24:27

这个是我的qss按钮样式和之前的// 应用全局样式表 QString style = R“(是会冲突吗，导致我的按钮背景颜色是黑色，我该怎么修改

/* 样式 A */ *[style-type="A"] { background-color:#cfd1d4; border: none; border-radius: 50%; /* 圆形边框 */ padding: 7px 14px; } *[style-type="A"]:hover { background-color: #45a049; }这个是我的qss按钮样式和之前的// 应用全局样式表 QStri…...

编程日记 2025/8/7 13:05:50

Kubernetes控制平面组件：API Server详解（二）

编程日记 2025/8/7 12:44:50

人工智能在智慧农业中的应用：从田间到餐桌的变革

农业是人类社会的基石，随着全球人口的增长和资源的日益紧张，传统农业面临着巨大的挑战。近年来，人工智能（AI）技术的快速发展为农业带来了新的机遇。智慧农业通过将AI技术与农业生产相结合，实现了从田间种植…...

编程日记 2025/8/7 13:05:49

多人3D游戏完整实现方案

以下是一份完整的代码实现方案，涵盖架构设计、核心模块实现和部署流程。我们以多人3D游戏为例，结合之前讨论的Nano服务端框架和Unity客户端：技术栈模块技术选型服务端Golang + Nano框架 + MongoDB客户端Unity 2022 + C# + Mirror Networking通信协议Protobuf + WebSock…...

编程日记 2025/8/6 22:05:21

FFUF指南

ffuf 的核心功能： 目录/文件发现： 通过暴力破解（使用字典）探测目标网站的隐藏目录或文件，例如： ffuf -w /path/to/wordlist.txt -u http://target.com/FUZZ 子域名枚举： 通过模糊测试发现目标…...

编程日记 2025/8/7 13:00:32

详细的PyCharm安装教程

详细的PyCharm安装教程安装前准备确认系统要求： Windows：Microsoft Windows 10 1809 64位或更高版本，Windows Server 2019 64位或更高版本。 macOS：12.0或更高版本。 Linux：满足以下要求的两个最新版本的Ubuntu LTS或…...

编程日记 2025/8/5 4:32:55

FPGA IO引脚 K7-认知4

UG475来知道bank, GTX, Pin数量， Package, Pinout 时钟 SRCC（Single-Region Clock Capable I/O）和MRCC（Multi-Region Clock Capable I/O）是专用的时钟输入/输出引脚。如 2.DQS...

编程日记 2025/7/30 14:05:33

C++——异常

1. C语言错误处理机制我们在曾经介绍过C语言下的错误码。错误码我们过去经常见到，错误码通常是指errno变量中的值，它表示特定操作（如系统调用或库函数）发生错误的原因。errno是一个全局变量，当出现错误时会自动将错误…...

编程日记 2025/8/5 15:16:54

vue3 中 iframe 多页面切换导致资源刷新的问题解决

最近发现一个问题，我在使用 websocket 的时候，在主页面进行了 websocket 连接了之后，再使用 iframe 打开子页面的时候，通常会触发页面刷新，这样就导致 WebSocket 断开，这是因为切换 src 会重新加载 iframe …...

编程日记 2025/7/29 14:16:27

php多种方法实现xss过滤

1. 使用 htmlspecialchars() 函数 htmlspecialchars() 是一个PHP内置函数，用于将特殊字符转换为HTML实体，从而防止浏览器将其解释为HTML或脚本代码。 <?phpfunction sanitizeInput($input) {// 将特殊字符转换为HTML实体return htmlspecialchars($…...

编程日记 2025/8/4 3:44:38

蓝桥杯练习题2

动态规划动态规划三大题型：计数问题、最值问题、存在性问题； 【最小权值】-- 最值问题【题目分析】 import java.util.Arrays; Arrays类中的一个方法：Arrays.fill(int[] m,int n) //给 int 类型(或者char类型/Long类型...)的数组全部空间…...

编程日记 2025/8/6 16:11:31

Python遥感开发之Hurst指数的实现

Python遥感开发之Hurst指数的实现主要讲解Python实现Hurst指数，实现遥感下的Hurst指数，对Hurst指数进行分类，以及结合slope指数实现对未来变化趋势的分析。文章目录 Python遥感开发之Hurst指数的实现0 什么是Hurst指数1 Python实现Hurst指…...

编程日记 2025/8/6 12:38:09

opencv 给图片和视频添加水印

给图片和视频添加水印 1 给图片添加水印2 给视频添加水印 1 给图片添加水印代码如下： 添加水印 imgcv2.imread(r../15day4.10/src/xiaoren.png) img2cv2.imread(r../15day4.10/src/bg.png) h,w,cimg.shapeRIO_img2img2[100:100h,200:200w]img3cv2.cvtColor(img,…...

编程日记 2025/8/2 19:20:08

国网B接口协议图像数据上报通知接口流程详解以及上报失败原因（电网B接口）

文章目录一、B接口协议图像数据上报通知接口介绍B.13.1 接口描述B.13.2 接口流程B.13.3 接口参数B.13.3.1 SIP头字段B.13.3.2 SIP响应码B.13.3.3 XML Schema参数定义 B.13.4 消息示例B.13.4.1 图像数据上报请求B.13.4.2 图像数据上报响应二、B接口图像数据上报通知失败常见问…...

编程日记 2025/8/5 23:24:23

Redis(持久化)

目录一 Redis持久化的方式 1. RDB(Redis Database) 2. AOF(Append Only File) 二对比RDB/AOF 为什么要持久化 Redis是跑在内存上的，但内存上的数据是临时的，Redis服务挂了，数据也就丢失了，所以为了解决上述问题，R…...

编程日记 2025/8/6 18:00:16

Linux系统中的网络管理

1.RHEL9版本中，使用nm进行网络配置，ifcfg不再是网络配置文件的主存储，样式仍然可用，但它不再是NetworkManger存储新网络配置文件的默认位置，RHEL以key-file格式在etc/NetworkManger/system-connections/中存储新的网络…...

编程日记 2025/8/7 13:02:37

【深度学习—李宏毅教程笔记】Transformer

目录一、序列到序列（Seq2Seq）模型 1、Seq2Seq基本原理 2、Seq2Seq模型的应用 3、Seq2Seq模型还能做什么？ 二、Encoder 三、Decoder 1、Decoder 的输入与输出 2、Decoder 的结构 3、Non-autoregressive Decoder 四、Encoder 和 De…...

编程日记 2025/8/7 13:05:48

关于UE5的抗锯齿和TAA

关于闪烁和不稳定现象的详细解释当您关闭抗锯齿技术时，场景中会出现严重的闪烁和不稳定现象，尤其在有细节纹理和小物体的场景中。这种现象的技术原因如下： 像素采样问题在3D渲染中，每个像素只能表示一个颜色值，但…...

编程日记 2025/8/6 16:11:31

交换网络基础

学习目标掌握交换机的基本工作原理掌握交换机的基本配置交换机的基本工作原理交换机是局域网（LAN）中实现数据高效转发的核心设备，工作在数据链路层（OSI 模型第二层），其基本工作原理可概括为 “学习…...

编程日记 2025/7/30 14:05:13

AUTOSAR图解==＞AUTOSAR_SWS_EFXLibrary

AUTOSAR 扩展定点数学函数库(EFX)分析 1. 概述 AUTOSAR (AUTomotive Open System ARchitecture) 是汽车电子控制单元(ECU)软件架构的开放标准。在AUTOSAR架构中，扩展定点数学函数库(Extended Fixed-point library, EFX)提供了一组优化的定点数学运算函数&#xff…...

编程日记 2025/8/6 10:46:08

六边形棋盘格（Hexagonal Grids）的坐标

1. 二位坐标转六边形棋盘的方式 1-1这是“波动式”的这种就是把【方格子坐标】“左右各错开半个格子”做到的具体来说有如下几种情况具体到庙算平台上，是很巧妙的用一个4位整数，前两位为x、后两位为y来进行表示附上计算距离的代码 def get_hex_di…...

编程日记 2025/8/7 8:20:01

李宏毅NLP-5-RNNTNeural TransducerMoChA

RNN Transducer(RNN-T) 循环神经对齐器（RNA，Recurrent Neural Aligner）对CTC解码器的改进，具体内容如下： “RNA”，全称 “Recurrent Neural Aligner”，引用来自 [Sak, et al., INTERSPEECH’17…...

编程日记 2025/7/31 17:29:19

GPT-SoVITS 使用指南

一、简介 TTS（Text-to-Speech，文本转语音）：是一种将文字转换为自然语音的技术，通过算法生成人类可听的语音输出，广泛应用于语音助手、无障碍服务、导航系统等场景。类似的还有SVC（歌声转换&…...

编程日记 2025/8/7 1:48:05

洛谷的几道题

P1000 超级玛丽游戏 # P1000 超级玛丽游戏 ## 题目背景本题是洛谷的试机题目，可以帮助了解洛谷的使用。建议完成本题目后继续尝试 [P1001](/problem/P1001)、[P1008](/problem/P1008)。另外强烈推荐[新用户必读帖](/discuss/show/241461)。 ## 题目描述 …...

编程日记 2025/8/1 17:39:24

利用yakit充实渗透字典

前言在渗透侧测试结束，在我们的历史记录中会保存过程中的数据包。在其中有些特征，比如API、参数，可以活用于下次的渗透。比如 fuzz变量，fuzz隐藏API…… 但是我们一个一个提取很麻烦，可以使用yakit的插件&#xf…...

编程日记 2025/8/7 7:34:47

精益数据分析（4/126）：开启数据驱动的创业之旅

精益数据分析（4/126）：开启数据驱动的创业之旅在创业的浪潮中，我们都怀揣着梦想，渴望找到那条通往成功的道路。作为一名在创业和数据分析领域摸爬滚打多年的“老兵”，我深知其中的艰辛与挑战。今天&#x…...

编程日记 2025/7/30 14:04:57

机器学习误差图绘

机器学习误差图绘制绘图类 # Define the ModelComparisonPlot class class ModelComparisonPlot:def __init__(self, model_name):self.model_name model_namedef plot_comparison(self, y_val, y_pred, mse, mae, r2):# Create a figure with two subplotsfig, axes plt.…...

编程日记 2025/8/5 21:39:47

企业级RAG选择难题：数据方案的关键博弈

企业级RAG选择难题：数据方案的关键博弈向量数据库：高效但易失语境图数据库与知识图谱：关系网络的力量企业级RAG数据方案的最佳实践智能时代，企业数据每日剧增。员工寻找答案的效率直接影响工作流程，StackOverflow调查…...

编程日记 2025/8/3 5:20:12

JNI 学习

1. JNI 不属于 C，而是 JDK 的日志失效，可以 adb kill-server adb kill-serveradb start-server 使用 jni final和 private变量都能修改...

编程日记 2025/8/4 17:34:59

PyTorch ：优化的张量库

PyTorch 是一个基于 Python 的开源机器学习框架，由 Facebook 的 AI 研究团队（现 Meta AI）于 2016 年推出。它专为深度学习设计，但也可用于传统的机器学习任务。PyTorch 的核心优势在于灵活性、动态计算图和易…...

编程日记 2025/8/6 2:16:14

DevOps 进阶指南：如何让工作流更丝滑？

DevOps 进阶指南：如何让工作流更丝滑？引言在 DevOps 世界里，我们追求的是高效、稳定、自动化。但现实总是充满挑战：代码部署失败、CI/CD 过程卡顿、环境不一致……这些痛点让开发和运维团队疲惫不堪。今天，我就来聊聊如何优化 DevOps 工作流，通过实战案例和代码示例，…...

编程日记 2025/8/7 8:44:33

BT-Basic函数之首字母XY

BT-Basic函数之首字母XY 文章目录 BT-Basic函数之首字母XYXxd__ commands Yyes X xd__ commands 当使用外部设备时，开发人员需要在测试计划中添加适当的命令来控制这些设备。下表显示了一个典型的命令序列。典型的命令序列 NO命令描述1xdload将DLL加载到内存中…...

编程日记 2025/8/6 15:08:04

6. 话题通信 ---- 使用自定义msg,发布方和订阅方cpp,python文件编写

1)在功能包下新建msg目录，在msg目录下新建Person.msg,在Person.msg文件写入： string name uint16 age float64 height 2)修改配置文件 2.1) 功能包下package.xml文件修改 <build_depend>message_generation</build_depend><exec_depend…...

编程日记 2025/8/3 5:53:23

Fastdata极数：全球AR/VR行业发展趋势报告2025

科技的快速发展孕育了一个新的数字前沿领域，那就是虚拟宇宙，也就是我们谈论的元宇宙（Metaverse），虚拟宇宙最初构思于尼尔斯蒂芬森的科幻小说《雪崩》中，小说中虚拟宇宙由虚拟人物居住，并以数字方…...

编程日记 2025/8/3 5:10:25

背包 DP 详解

文章目录背包DP01 背包完全背包多重背包二进制优化单调队列优化小结背包DP 背包 DP，说白了就是往一个背包里扔东西，求最后的最大价值是多少，一般分为了三种：01 背包、完全背包和多重背包。而 01 背包则是一切的基础。 01 背包…...

编程日记 2025/7/31 14:40:32

深入剖析 HashMap：内部结构与性能优化

深入剖析 HashMap：内部结构与性能优化引言 HashMap 是 Java 集合框架中的核心类，广泛应用于数据存储和检索场景。本文将深入剖析其内部结构，包括数组、链表和红黑树的转换机制，帮助读者理解其工作原理和性能优化策略。 1. Hash…...

编程日记 2025/8/4 9:35:58

数据从辅存调入主存，页表中一定存在

在虚拟内存系统中，数据从辅存调入主存时，页表中一定存在对应的页表项，但页表项的「存在状态」会发生变化。以下是详细分析： 关键逻辑页表的作用页表是虚拟内存的核心数据结构，记录了虚拟地址到物理地址的映射关系…...

编程日记 2025/8/5 21:02:19

藏品馆管理系统

藏品馆管理系统项目简介这是一个基于 PHP 开发的藏品馆管理系统，实现了藏品管理、用户管理等功能。藏品馆管理系统系统架构开发语言：PHP数据库：MySQL前端框架：BootstrapJavaScript 库：jQuery 目录结构 book/…...

编程日记 2025/8/2 18:56:27

力扣算法ing(60 / 100)

4.19 回溯合集—93复原ip地址有效 IP 地址正好由四个整数（每个整数位于 0 到 255 之间组成，且不能含有前导 0），整数之间用 . 分隔。例如："0.1.2.201" 和 "192.168.1.1" 是有效 IP 地址&…...

编程日记 2025/8/6 18:44:21

时态--06--现在完成時

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录现在完成時1.语法1.肯定句2.否定句3.疑问句4.have been/gone to5.现在分词 practice 现在完成時 1.语法 1.肯定句 2.否定句 3.疑问句 4.have been/gone to 5.现在分…...

编程日记 2025/7/30 14:04:27