当前位置：首页 > news >正文

机器学习 Day18 Support Vector Machine ——最优美的机器学习算法

news 来源：原创 2025/7/30 3:40:24

1.问题导入：

2.SVM定义和一些最优化理论

2.1SVM中的定义

2.1.1 定义

SVM 定义：SVM（Support Vector Machine，支持向量机）核心是寻找超平面将样本分成两类且间隔最大。它功能多样，可用于线性或非线性分类、回归、异常值检测等，在机器学习领域地位重要，尤其适合中小规模复杂数据集分类。
- 图中不同颜色点代表不同类别样本，超平面是分割两类样本的平面，位于超平面两侧且离超平面最近的样本点（绿圈标注）就是支持向量，它们决定超平面位置（之后数学推导会有说明），而超平面要使两类样本间隔最大。
2.1.2 超平面最大间隔
- 左图分析：展示三种线性分类器决策边界，虚线代表的模型无法正确分类，其余两个模型虽在训练集表现好，但决策边界离样本太近，新样本出现时泛化能力可能差（欠拟合）。
- 右图分析：SVM 分类器决策边界（实线），既分离了两个类别，又尽可能远离最近训练实例，这样能有更好泛化能力，降低过拟合风险。
2.1.3 硬间隔
- 概念：严格要求所有实例不在最大间隔之间且位于正确一边的分类方式。
- 问题：
  - 条件苛刻，仅在数据线性可分时有效，若数据线性不可分则找不到合适硬间隔。
  - 对异常值敏感，一个异常值就可能大幅改变决策边界，使其无法很好泛化。左图因异常值找不到硬间隔，右图有异常值时决策边界与无异常值时差异大。
2.1.4 软间隔
- 概念：为避免硬间隔分类问题，在保持最大间隔宽阔和限制间隔违例（位于最大间隔之上或错误一边的实例）间找平衡的分类方式。
- 参数 C 作用：在 Scikit - Learn 的 SVM 类中，超参数 C 控制平衡。C 值小，间隔宽，间隔违例多；C 值大，间隔窄，间隔违例少（数学推导中说明）。左图 C = 100，错误样本少但间隔小；右图 C = 1，间隔大，多数间隔违例在决策边界正确一边，泛化效果可能更好。

2.2最优化理论

2.2.1对偶理论

注意原问题的对偶问题中是先对拉格朗日函数求w的下确界，再对构造的参数因子求最大。
问题3就是弱对偶理论，问题5就是强对偶理论，以上图片中仅仅涉及到SVM需要的理论，这里对于感兴趣的读者，可以观看以下关于对偶理论的补充（不做证明）

1.如果一个原始LP问题存在最优解，那么它的对偶问题也存在最优解，并且最优值相等

2.由1推出：若x和w分别是原始问题，以及其对偶问题的可行解，则x和w分别是原问题的最优解充要条件是它们对应的优化函数值相等

3.给定一个原始LP问题和对偶问题，它们的解的情况有且仅有以下表格中的一种情况出现：

2.2.2凸优化理论

2.2.2.1凸函数

2.2.2.2凸优化

所以说，如果一个优化问题我们可以转换为凸优化问题，那么会很简单，常见也有很多求解凸优化的问题，针对无约束的和带有约束的。

2.2.2.3直线距离公式

3.SVM算法推导

我们只说SVM用于分类的推导，并且只说用于二分类的推导，多分类会由二分类得到

数据在空间中常常被分为3类：线性可分，近似线性可分，线性不可分，在SVM中分别对应的就是硬间隔，软间隔，核技巧，文章会一一解释：

3.1线性可分模型——硬间隔处理

最直观的想法就是我们可以直接通过一条线对这个线性可分的模型进行处理，比如说就是这条直线（二维是直线，高维就是超平面了），直线方程可以是图中方程，然后我们给一个预测样本，我们就去带入这个超平面，如果这个在上方就是正类，下方就是负类，所以模型就是这样：

我们承认的是一般情况下如果存在一条直线可以把两个类分开，那么就存在无数条直线把这两个类分开，那么我们如何衡量那条直线效果最好呢。我们SVM的衡量方法就是把这条直线向上向下平移直到与某个或者某几个样本点相交，这时我们去选择一个间隔最大的直线即可，比如这个图

但仅仅这样就可以确定一条直线的位置吗，显然不行，因为在这个间隔之间的任何一条直线显然都可以通过平移得到这个最大间隔，所以为了保证唯一，我们选取的直线位于这条间隔之间，现在我们就可以建立优化模型了：

对于一个输入：，注意这里不限制维数，即x是一个多维度的向量，y是一个标签，用来表示类别，当然你可以不是正负一，但是这里正负一方便以后的计算，我们做出以下规定：显然这个最大间距就是由先接触的点决定的，这些点我们叫做支持向量，我们计算支持向量x0到这条直线的距离乘以2即可，观察距离公式，显然可以通过相等比例放缩w和b得到的是同一个直线，所以我们可以通过放缩来使得分母部分为1，即|w^Tx0+b|=1，此时支持向量到超平面的距离为||w||^-1，所以有如下最优化方程：

注意这个优化问题是凸优化，你别看约束域有点复杂，但其实我们基变量是w和b，yi是已知的，所以约束函数就是一次的，而且最优化函数二次的，所以这是一个凸二次规划问题！求解凸优化有很多算法，之后用其求解即可，当然我们还可以做进一步的简化，这里先不讲，因为我们之后两个模型和这个模型的简化方法一样，之后建完模型后会统一讲解。

3.2近似线性可分模型——软间隔处理

对于线性可分模型的建模，可以肯定的是一点会解出一个（w，b），但是对于近似线性可分模型，如果仍然使用以上模型，会有约束条件矛盾的情况，即不存在（w，b）来使得模型成立，这时候我们只需要引入松弛变量即可，（松弛变量的目的就是在于使得约束条件不是那么的严格成立，对应于SVM就是我们容忍一些点存在于间隔之间），所以约束条件就变成了：

但是显然如果松弛变量取得很大，上面那个1- $epsl$ 是负数，很明显恒成立，所以我们要给目标函数加上一个罚函数的限制（正则项）：注意这里C是事先设定的一个值，C就是我们在2.1.4中介绍的C。C越大，惩罚力度越大，为了使目标函数小， $epsl$ 就得少一点，所以对应的就是违反原不等式的少，对应图，就是违反点少，就是间隔违例少。

以上就是对于近似线性可分的处理，当然这个需要优化的变成了（w，b， $epsl$ ），当然还是一个凸二次规划，也可以使用一些算法（SMO），简化这个问题还和上边一样，我们在最后一节会讲到。显然这个模型可以包含第一个模型，在这个模型里另 $epsl$ 全部为0即可。所以我们以后在高维也是推广此类模型。

3.3线性不可分模型——核技巧

3.3.1核函数

低维不可分数据在高维中有很大概率变为线性可分，SVM并没有像其他算法一样去改变形状，比如决策树算法等就是通过一些折线啥的去处理这种情况，但SVM是讲数据投射到高维度进行处理，当然核技巧并不是SVM所特有的，之所以我们说SVM很优美，之后我们会看到（利用核函数避免了维度计算带来的灾难），核技巧如何用于模型求解，现在我们先讲核函数

一般的规律是维度越高，变成线性可分的概率就会越大，所以我们希望映射函数是一个到无穷维空间的映射，面临的问题就是我们如何计算这个向量的值，因为它是一个无穷维的，但是我们一会回看到不需要计算这个值，可以通过K来完成整个算法。那么什么样的函数可以作为一个核函数呢，在泛函分析中有如下定理：

核函数一般情况下有如下：

一般情况下经常使用RBF核。

3.3.2 原理推导

模型和3.2大致相同，和3.2不同的是仅仅把x的位置改为映射函数即可，且此时对应的w也要对应相应的维度。所以模型是：

接下来我们来尝试简化模型，注意模型3.1和3.2的求解一样。

我们注意这个优化所有的条件满足 2.2.1中的强对偶性，即它的对偶问题最优值和它一样，所以我们转变为求他的对偶问题，注意该模型是没有等式条件的。其对偶问题是：

我们先来看L的极值，直接求导即可：

可以看到我们在未知映射的条件下利用核函数求得了算法，避免了高维计算。这是一大亮点。

这个优化函数中我们可以发现只有带求参数是未知的而且另一个参数没有了，所以优化模型变为：

我们求解这个凸优化问题会得到最优值，接下来利用这些求（w，b）即可：求w的时候有以上公式，但这里我们是不知道映射的，那怎么办呢？其实我们不需要知道这个映射，这又是SVM的一个亮点：

我们并不需要计算w就可以得到结果，求b的话需要用到KKT条件：

至此给定一个样本就可以按照以上公式判别他的类别，注意观察上面的公式，涉及到对 $\alpha$ 的求和，所以这个解当 $\alpha$ 为0时，不影响算法，影响算法的仅仅是 $\alpha$ 不为0，而由互补松弛条件，对应的，注意还有 $\varepsilon$ =0，这就是支持向量的所在超平面，所以这就是我们开头说的，只有支撑向量会影响算法！！算法流程是：

4.SVM用于多分类

SVM用于多分类可以去更改模型，我们这里讲解的是类似于集成学习的方法，主要包含一对其他和一对一的情况：

5.SVM用于回归

6.总结

7.调包

机器学习 Day18 Support Vector Machine ——最优美的机器学习算法

1.问题导入： 2.SVM定义和一些最优化理论 2.1SVM中的定义 2.1.1 定义 SVM 定义：SVM（Support Vector Machine，支持向量机）核心是寻找超平面将样本分成两类且间隔最大。它功能多样，可用于线性或非线性分类…...

编程日记 2025/7/30 3:40:24

npm与pnpm--为什么推荐pnpm

包管理器中 npm是最经典的，但大家都任意忽略一个更优质的管理器：pnpm 1. 核心区别特性npmpnpm依赖存储方式扁平化结构（可能重复依赖）硬链接符号链接（共享依赖，节省空间）安装速度较慢&#…...

编程日记 2025/7/30 3:26:38

ollama调用千问2.5-vl视频图片UI界面小程序分享

1、问题描述： ollama调用千问2.5-vl视频图片内容，通常用命令行工具不方便，于是做了一个python UI界面与大家分享。需要提前安装ollama，并下载千问qwen2.5vl:7b 模型，在ollama官网即可下载。 （8G-6G 显卡可…...

编程日记 2025/7/30 3:27:03

济南国网数字化培训班学习笔记-第三组-1-电力通信传输网认知

电力通信传输网认知电力通信基本情况传输介质传输介质类型（导引与非导引） 导引传输介质，如电缆、光纤； 非导引传输介质，如无线电波； 传输介质的选择影响信号传输质量信号传输模式（单工…...

编程日记 2025/7/30 3:31:40

Kubernetes控制平面组件：Kubelet详解（六）：pod sandbox(pause)容器

云原生学习路线导航页（持续更新中） kubernetes学习系列快捷链接 Kubernetes架构原则和对象设计（一）Kubernetes架构原则和对象设计（二）Kubernetes架构原则和对象设计（三）Kubernetes控…...

编程日记 2025/7/24 20:01:30

51单片机，两路倒计时，LCD1602 ，Proteus仿真

初始上电默认2路都是0分钟的倒计时 8个按键 4个一组一组控制一路倒计时 4个按键：加减开始或者暂停复位到0分钟相当于停止针对第一路倒计时 4个按键2：加减开始或者暂停复位到0分钟相当于停止针对第2路倒计时哪一路到了0后蜂鸣器响对应LED点亮 main.c 文件实现了…...

编程日记 2025/7/27 14:03:19

MySQL之储存引擎和视图

一、储存引擎基本介绍： 1、MySQL的表类型由储存引擎(Storage Engines)决定，主要包括MyISAM、innoDB、Memory等。 2、MySQL数据表主要支持六种类型，分别是：CSV、Memory、ARCHIVE、MRG_MYISAN、MYISAM、InnoBDB。 3、这六种又分…...

编程日记 2025/7/28 21:56:57

写spark程序数据计算（数据库的计算，求和，汇总之类的）连接mysql数据库，写入计算结果

1. 添加依赖在项目的 pom.xml（Maven）中添加以下依赖： xml  <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-sql_2.12</artifactId> <version>3.3.0…...

编程日记 2025/7/28 1:08:48

一：操作系统之系统调用

系统调用：用户程序与操作系统交互的桥梁在计算机的世界里，应用程序是我们日常接触最多的部分，比如浏览器、文本编辑器、游戏等等。然而，这些应用程序并不能直接控制硬件资源，比如读写硬盘、创建新进程、发送网络数据…...

编程日记 2025/7/25 16:19:08

【ROS2】核心概念6——通信接口语法（Interfaces）

古月21讲/2.6_通信接口官方文档：Interfaces — ROS 2 Documentation: Humble documentation 官方接口代码实战：https://docs.ros.org/en/humble/Tutorials/Beginner-Client-Libraries/Single-Package-Define-And-Use-Interface.html ROS 2使用简化的描…...

编程日记 2025/7/16 7:51:17

SmartETL函数式组件的设计与应用

SmartETL框架主要采用了面向对象的设计思想，将ETL过程中的处理逻辑抽象为Loader和Processor（对应loader模块和iterator模块），所有流程组件需要继承或实现DataProvider（iter方法）或JsonIterator（…...

编程日记 2025/7/27 23:08:03

Spring Security与SaToken的对比与优缺点分析

Spring Security与SaToken对比分析一、框架定位 Spring Security 企业级安全解决方案，深度集成Spring生态提供完整的安全控制链（认证、授权、会话管理、攻击防护）适合中大型分布式系统 SaToken 轻量级权限认证框架，专注Token会…...

编程日记 2025/7/29 16:18:00

|从零开始的Pyside2界面编程| 环境搭建以及第一个ui界面

🐑 |从零开始的Pyside2界面编程| 环境搭建以及第一个ui界面🐑 文章目录 🐑 |从零开始的Pyside2界面编程| 环境搭建以及第一个ui界面🐑♈前言♈♈Pyside2环境搭建♈♈做个简单的UI界面♈♒代码实现♒♒QTdesigner设计UI界面♒ ♒总…...

编程日记 2025/7/27 13:35:17

【爬虫】DrissionPage-7

官方文档： https://www.drissionpage.cn/browser_control/get_page_info/ 1. 页面信息 📌 html 描述：返回当前页面的 HTML 文本。注意：不包含 <iframe> 元素的内容。返回类型：str 示例： html_co…...

编程日记 2025/7/25 19:37:12

系统架构设计（十二）：统一过程模型（RUP）

简介 RUP 是由 IBM Rational 公司提出的一种面向对象的软件工程过程模型，以 UML 为建模语言，是一种以用例为驱动、以架构为中心、迭代式、增量开发的过程模型。三大特征特征说明以用例为驱动（Use Case Driven）需求分析和测…...

编程日记 2025/7/24 10:43:48

深入解析Java事件监听机制与应用

Java事件监听机制详解一、事件监听模型组成事件源（Event Source） 产生事件的对象（如按钮、文本框等组件） 事件对象（Event Object） 封装事件信息的对象（如ActionEvent包含事件源信息&#xf…...

编程日记 2025/7/28 4:22:31

QT聊天项目DAY11

1. 验证码服务 1.1 用npm安装redis npm install redis 1.2 修改config.json配置文件 1.3 新建redis.js const config_module require(./config) const Redis require("ioredis");// 创建Redis客户端实例 const RedisCli new Redis({host: config_module.redis_…...

编程日记 2025/7/27 23:18:01

Python训练营---Day29

知识点回顾类的装饰器装饰器思想的进一步理解：外部修改、动态类方法的定义：内部定义和外部定义作业：复习类和函数的知识点，写下自己过去29天的学习心得，如对函数和类的理解，对python这门工具的理解等&…...

编程日记 2025/7/22 22:54:20

Flask-SQLAlchemy_数据库配置

1、基本概念（SQLAlchemy与Flask-SQLAlchemy） SQLAlchemy 是 Python 生态中最具影响力的 ORM（对象关系映射）库，其设计理念强调 “框架无关性”，支持在各类 Python 项目中独立使用，包括 Flask、D…...

编程日记 2025/7/24 7:00:07

世界银行数字经济指标（1990-2022年）-社科数据

世界银行数字经济指标（1990-2022年）-社科数据https://download.csdn.net/download/paofuluolijiang/90623839 https://download.csdn.net/download/paofuluolijiang/90623839 此数据集涵盖了1990年至2022年间全球各国的数字经济核心指标，数据…...

编程日记 2025/7/25 16:02:04

Redis进阶知识

Redis 1.事务2. 主从复制2.1 如何启动多个Redis服务器2.2 监控主从节点的状态2.3 断开主从复制关系2.4 额外注意2.5拓扑结构2.6 复制过程2.6.1 数据同步 3.哨兵选举原理注意事项 4.集群4.1 数据分片算法4.2 故障检测 5. 缓存5.1 缓存问题 6. 分布式锁 1.事务 Redis的事务只能保…...

编程日记 2025/7/29 11:23:22

NY337NY340美光固态颗粒NC010NC012

NY337NY340美光固态颗粒NC010NC012 在存储技术的浩瀚星空中，美光的NY337、NY340、NC010、NC012等固态颗粒宛如璀璨星辰，闪耀着独特的光芒。它们承载着先进技术与无限潜力，正深刻影响着存储行业的格局与发展。一、技术架构与核心优势美光…...

编程日记 2025/7/16 13:19:59

DAY26 函数定义与参数

浙大疏锦行-CSDN博客知识点回顾： 1.函数的定义 2.变量作用域：局部变量和全局变量 3.函数的参数类型：位置参数、默认参数、不定参数 4.传递参数的手段：关键词参数 5.传递参数的顺序：同时出现三种参数类型时函数的定义…...

编程日记 2025/7/16 15:31:42

系统安全及应用

目录一、账号安全控制 1.基本安全措施 （1）系统账号清理 (2)密码安全控制 （3）历史命令，自动注销 2.用户提权和切换命令 2.1 su命令用法 2.2 sudo命令提权 2.3通过是sudo执行特权命令二、系统引导和登录控制…...

编程日记 2025/7/17 7:09:01

微信小程序地图使用射线法判断目标点是否在多边形内部（可用于判断当前位置是否在某个区域内部）

目录射线法原理简要逻辑代码小程序代码调试基础库小程序配置地图数据地图多边形点与多边形关系射线法原理使用射线法来判断，目标点是否在多边形内部这里简单说下，具体细节可以看这篇文章平面几何：判断点是否在多边形内（…...

编程日记 2025/7/25 20:24:33

第三十七节：视频处理-视频读取与处理

引言：解码视觉世界的动态密码在数字化浪潮席卷全球的今天，视频已成为信息传递的主要载体。从短视频平台的爆火到自动驾驶的视觉感知，视频处理技术正在重塑人类与数字世界的交互方式。本指南将深入探讨视频处理的核心技术，通过Python与OpenCV的实战演示，为您揭开动态影像…...

编程日记 2025/7/11 15:18:09

什么是 Flink Pattern

在 Apache Flink 中，Pattern 是 Flink CEP（Complex Event Processing）模块的核心概念之一。它用于定义你希望从数据流中检测出的事件序列模式（Event Sequence Pattern）。 🎯 一、什么是 Flink Pattern&am…...

编程日记 2025/7/30 1:20:47

ADB基本操作和命令

1.ADB的含义 adb 命令是 Android 官方提供，调试 Android 系统的工具。 adb 全称为 Android Debug Bridge（Android 调试桥），是 Android SDK 中提供的用于管理 Android 模拟器或真机的工具。 adb 是一种功能强大的命令行工具&#x…...

编程日记 2025/7/17 21:01:09

NSString的三种实现方式

oc里的NSString有三种实现方式，为_ _NSCFConstantString、__NSCFString、NSTaggedPointerString 1._ _NSCFConstantString(字面量字符串) 从字面意思上可以看出，_ _NSCFContantString可以理解为常量字符串，这种类型的字符串在编译期就确定了…...

编程日记 2025/7/23 1:23:02

2025年PMP 学习二十第13章项目相关方管理

第13章项目相关方管理序号过程过程组过程组1识别相关方启动2规划相关方管理规划3管理相关方参与与执行4监控相关方参与与监控相关方管理，针对于团队之外的相关方的，核心目标是让对方为了支持项目，以达到项目目标。文章目录第13章项目相…...

编程日记 2025/7/23 21:28:22

学习黑客Kerberos深入浅出：安全王国的门票系统

Kerberos深入浅出：安全王国的门票系统 🎫 作者: 海尔辛 | 发布时间: 2025-05-18 🔑 理解Kerberos：为什么它如此重要？ Kerberos是现代网络环境中最广泛使用的身份验证协议之一，尤其在Windows Active Dire…...

编程日记 2025/7/28 14:03:18

蓝桥杯19681 01背包

问题描述有 N 件物品和一个体积为 M 的背包。第 i 个物品的体积为 vi，价值为 wi。每件物品只能使用一次。请问可以通过什么样的方式选择物品，使得物品总体积不超过 M 的情况下总价值最大，输出这个最大价值即可。输入格式第一行输…...

编程日记 2025/7/28 21:06:55

使用 Auto-Keras 进行自动化机器学习

使用 Auto-Keras 进行自动化机器学习了解自动化机器学习以及如何使用 auto-keras 完成它。如今，机器学习并不是一个非常罕见的术语，因为像 DataCamp、Coursera、Udacity 等组织一直在努力提高他们的效率和灵活性，以便将机器学习的教育带给普…...

编程日记 2025/7/18 14:51:49

算法刷题Day9 5.18:leetcode定长滑动窗口3道题，结束定长滑动窗口,用时1h

12. 1852.每个子数组的数字种类数 1852. 每个子数组的数字种类数 - 力扣（LeetCode） 思想找到nums 所有长度为 k 的子数组中不同元素的数量。返回一个数组 ans，其中 ans[i] 是对于每个索引 0 < i < n - k，nums[i..(i …...

编程日记 2025/7/24 15:36:49

Protect Your Digital Privacy: Obfuscate, Don’t Hide

Protect Your Digital Privacy: Obfuscate, Don’t Hide In today’s digital world, hiding completely online is nearly impossible. But you can protect yourself by deliberately obfuscating your personal information — making it harder for others to track, pro…...

编程日记 2025/7/28 13:41:39