当前位置：首页 > news >正文

线性模型 - 支持向量机

news 来源：原创 2025/9/12 5:14:27

支持向量机（SVM）是一种用于分类（和回归）的监督学习算法，其主要目标是找到一个最佳决策超平面，将数据点分为不同的类别，并且使得分类边界与最近的数据点之间的间隔（margin）最大化，从而提高模型对新数据的泛化能力。

在学习支持向量机之前，我们需要弄清楚一些数学概念和公式。

一、什么是超平面

超平面是指在 n 维空间中，维度为 n-1 的仿射子空间。换句话说，超平面是一个“平坦”的空间，它比所在空间的维度低1。具体来说：

二维空间：超平面是1维的直线。
三维空间：超平面是2维的平面。
n维空间：超平面是 n−1 维的空间。

通常，超平面可以用一个线性方程来表示，例如在 nn 维空间中，一个超平面可以写为：

w^T x + b = 0,

其中 w 是一个 n 维向量（称为法向量），b 是一个偏置项，而 x 是 n 维输入向量。这个方程表示所有满足此关系的点构成的集合，也就是超平面。

超平面在机器学习中非常重要，例如支持向量机（SVM）就是利用超平面将数据分为不同类别。

二、什么是法向量

法向量是一个向量，它与给定平面或超平面中的所有向量都垂直。换句话说，如果我们有一个平面或超平面，那么平面内任意一个向量与该平面的法向量的内积都为零。法向量不仅描述了平面或超平面的方向，还在计算点到平面的距离、确定超平面方程以及各种几何变换中起关键作用。

举例说明：

在二维平面中，一个直线可以表示为 ax + by + c = 0。其中，向量 (a, b) 就是这条直线的法向量，因为它与直线上任意两个点构成的向量都垂直。
在三维空间中，一个平面的方程可以写成 ax + by + cz + d = 0，此时 (a, b, c) 就是该平面的法向量。

总结来说，法向量为我们提供了描述平面方向的工具，是理解和操作几何对象的重要概念。

三、什么是向量的模

向量的“模”（或称为“范数”）指的是向量的大小或长度。最常用的度量是欧几里得范数，其计算公式为：

几何意义：
可以把向量看作从原点指向空间中某个点的箭头，向量的模就是这根箭头的长度。
示例：
对于二维向量 v = (3, 4)，其模为

这表示这个向量的长度为5。

四、点到超平面的距离

1. 公式

2. 几何定义

样本 x(n) 到超平面 w^Tx+b=0 的距离，是该点到超平面的最短距离（垂直距离）。

3. 推导过程

步骤 1：任取超平面上一点 x′，满足 w^Tx′+b=0。

五、超平面到超平面的距离

考虑两个平行超平面，其方程分别为

这两个超平面平行，因为它们具有相同的法向量 w。

为了求两个超平面之间的距离，我们可以任选一个在第一个超平面上的点，然后计算它到第二个超平面的距离。

六、现在我们切入本文的主题：支持向量机

支持向量机(Support Vector Machine，SVM)是一个经典的二分类算法，其找到的分割超平面具有更好的鲁棒性，因此广泛使用在很多任务上，并表现出了很强优势。

支持向量机（SVM）是一种监督学习算法，主要用于解决分类问题，尤其是二分类问题。其核心思想是通过寻找一个最优的决策边界（在二维空间中就是一条直线，在更高维空间中则是一个超平面），使得正类和负类数据点之间的间隔（margin）最大化。

（一）基本概念

给定一个二分类器数据集，

如果两类样本是线性可分的，即存在一个超平面 w^T x + b = 0，

我们定义间隔(Margin)𝛾 为整个数据集 𝐷 中所有样本到分割超平面的最短距离。

如果间隔 𝛾 越大，其分割超平面对两个数据集的划分越稳定，不容易受噪声等因素影响。

支持向量机的目标是寻找一个超平面使得 𝛾 最大。

（二）这里先弄清楚上面提到的一个关键点：两类样本线性可分时，则每个样本满足 y(w^Tx+b)>0

1. 超平面的定义

在二分类问题中，超平面是决策边界，形式为：

w^Tx+b=0

其中：

w 是超平面的法向量（决定方向）。
b 是偏置项（决定超平面与原点的距离）。

2. 线性可分性

若两类样本线性可分，则存在一个超平面，使得：

正类样本（y=+1）满足 w^Tx+b>0。
负类样本（y=−1）满足 w^Tx+b<0。

3. 统一表达

将两类样本的条件合并为：

y(w^Tx+b)>0

当 y=+1 时，w^Tx+b>0，乘积为正。
当 y=−1 时，w^Tx+b<0，乘积仍为正。

因此，所有样本均满足 y(w^Tx+b)>0。

（三）核心思想与基本概念

决策超平面
在 n 维空间中，一个超平面可以表示为
w^T x + b = 0,
其中 w 是超平面的法向量，b 是偏置。支持向量机寻找这样一个超平面，将正负类数据分隔开。
最大化间隔
SVM 不仅要求决策超平面能够分隔两类数据，还要求该超平面与数据中最近的点之间的距离（称为“间隔”）尽可能大。直观上，间隔越大，模型对噪声和数据变化的容忍度就越高，泛化能力也就越强。
结合前面的点到超平面的距离公式，对于线性可分的情况，间隔可以证明是：，因此最大化间隔等价于最小化。

对于一个线性可分的数据集，其分割超平面有很多个，但是间隔最大的超平面是唯一的，下面放一张图辅助理解：

支持向量
那些位于决策边界附近的训练样本被称为“支持向量”。这些点决定了决策超平面的最终位置和方向。换句话说，只要知道支持向量的信息，就可以确定最优的超平面。
非线性扩展
当数据在原始空间中线性不可分时，SVM 可以使用“核技巧”（Kernel Trick）将数据映射到一个高维空间，在高维空间中数据可能变得线性可分，再在高维空间中找到最佳决策超平面。常见的核函数包括径向基函数（RBF）、多项式核等。

（四）间隔的推导过程如下：

点到超平面的距离公式

对于任意点 x_0 到超平面的距离公式是：

计算支持向量到决策边界的距离

两个边界超平面之间的间隔

两个边界超平面之间的距离就是这两个距离的和，即：

（五）优化目标

因此，SVM 的目标是求解如下的优化问题：

约束条件为：

这里注意思考：为什么优化目标是？

**** 关于支持向量机参数的学习，鉴于篇幅，下一篇博文再做介绍。

（六）相关概念

1.线性可分 vs 非线性可分

线性可分：存在一个超平面完美分隔两类数据（如二维平面上的直线）。
非线性可分：需通过核技巧（Kernel Trick）将数据映射到高维空间，使其线性可分。

2. 核函数（Kernel Function）

作用：隐式计算高维空间的内积，避免显式映射。
常见核函数：

3. 软间隔（Soft Margin）

（七）SVM的优缺点

优点	缺点
高维数据有效（核技巧）	计算复杂度高（大规模数据不适用）
泛化能力强（间隔最大化）	需要谨慎调参（如CC、γγ）
支持线性和非线性分类	多分类需额外策略（OvR/OvO）

（八）代码示例

from sklearn import svm
from sklearn.datasets import make_classification
import matplotlib.pyplot as plt# 生成线性可分数据
X, y = make_classification(n_features=2, n_redundant=0, n_informative=2, random_state=42)# 训练SVM
model = svm.SVC(kernel='linear', C=1.0)
model.fit(X, y)# 可视化决策边界
plt.scatter(X[:,0], X[:,1], c=y, cmap='bwr')
ax = plt.gca()
xlim = ax.get_xlim()
ylim = ax.get_ylim()# 生成网格点
xx = np.linspace(xlim[0], xlim[1], 30)
yy = np.linspace(ylim[0], ylim[1], 30)
YY, XX = np.meshgrid(yy, xx)
xy = np.vstack([XX.ravel(), YY.ravel()]).T
Z = model.decision_function(xy).reshape(XX.shape)# 绘制超平面和间隔
ax.contour(XX, YY, Z, colors='k', levels=[-1, 0, 1], linestyles=['--', '-', '--'])
ax.scatter(model.support_vectors_[:,0], model.support_vectors_[:,1], s=100, facecolors='none', edgecolors='k')
plt.show()

线性模型 - 支持向量机

支持向量机（SVM）是一种用于分类（和回归）的监督学习算法，其主要目标是找到一个最佳决策超平面，将数据点分为不同的类别，并且使得分类边界与最近的数据点之间的间隔（margin&#xff09…...

编程日记 2025/9/12 5:14:27

455. 分发饼干（LeetCode）

题目来源： 455. 分发饼干 - 力扣（LeetCode） 题目内容： 假设你是一位很棒的家长，想要给你的孩子们一些小饼干。但是，每个孩子最多只能给一块饼干。对每个孩子 i，都有一个胃口值 g[i]&#xf…...

编程日记 2025/9/12 6:37:47

Harmony os next~鸿蒙应用开发入门教程

鸿蒙应用开发入门教程基础准备与环境搭建 1. 了解鸿蒙系统 1.1 核心理念学习 HarmonyOS（鸿蒙系统）是华为推出的全场景分布式操作系统，其核心特点如下： 分布式能力设备协同：手机、平板、智能手表、IoT设备等可无…...

编程日记 2025/9/10 1:41:19

数据库数据恢复—SQL Server附加数据库报错“错误 823”怎么办？

SQL Server数据库附加数据库过程中比较常见的报错是“错误 823”，附加数据库失败。如果数据库有备份则只需还原备份即可。但是如果没有备份，备份时间太久，或者其他原因导致备份不可用，那么就需要通过专业手段对数据库进行数据恢复…...

编程日记 2025/9/8 16:08:28

树莓派安装ros docker

系统：bookworm或者ubuntu24都行一、下载docker和拉取ros:noetic镜像 ubuntu 用鱼香ros脚本安装docker并拉取ros:noetic镜像： https://fishros.org.cn/forum/topic/20/小鱼的一键安装系列 wget http://fishros.com/install -O fishros && . …...

编程日记 2025/9/10 2:56:31

MyBatis-Plus 自动填充功能

MyBatis-Plus（MP） 提供了一个非常强大的功能——自动填充功能。该功能可以在执行插入或更新操作时，自动为某些字段赋值，免去手动设置这些字段的麻烦。常见的应用场景包括创建时间和更新时间字段的自动填充，帮助开发…...

编程日记 2025/8/22 13:28:18

折半搜索笔记

前言 01 01 01 爆搜的时间复杂度通常为 O ( 2 n ) O(2^n) O(2n)，只能应付 N N N 为 20 20 20 左右的题目，但是折半搜索可以应付 N N N 为 30 30 30 ~ 40 40 40 的题目。思想将 N N N 个数分为前后两半，先搜索前一半的状态&#xf…...

编程日记 2025/9/10 13:13:11

vue 项目部署到nginx 服务器

一 vue 项目打包 1 本地环境 npm run build 2 打包完成生成一个dist 文件夹，将其放到服务器指定的文件夹，此文件夹可以在nginx 配置文件中配置二 nginx 1 根据对应的系统搜索安装命令 sudo yum install nginx 2 查看conf位置如果不知道的话 ng…...

编程日记 2025/9/12 17:01:37

JavaWeb基础专项复习6——AJAX

系列文章目录 1、JavaWeb基础专项复习1——XML文件-CSDN博客 2、JavaWeb基础专项复习2——JSP文件-CSDN博客 3、JavaWeb基础专项复习2——Servlet相关知识-CSDN博客 4、JavaWeb基础专项复习4——会话对象Session and Cookie-CSDN博客 5、JavaWeb基础专项复习5——请求对象…...

编程日记 2025/9/12 8:08:54

RabbitMQ快速入门

目录 MQ简介 1、同步通信图片 2、异步通信图片 RabbitMQ快速上手基本介绍： Producer和Consumer Connection和Channel Virtual host Queue Exchange 工作流程 AMQP Java编写RabbitMQ生产者消费者生产者 1.建立连接 2.开启信道 3.声明交换机 4.声…...

编程日记 2025/9/12 7:04:48

内存中的缓存区

在 Java 的 I/O 流设计中，BufferedInputStream 和 BufferedOutputStream 的“缓冲区”是内存中的缓存区（具体是 JVM 堆内存的一部分），但它们的作用是优化数据的传输效率，并不是直接操作硬盘和内存之间的缓存。以下是详…...

编程日记 2025/9/10 11:03:39

快速列出MS Word中所有可用字体

Word中有很多字体，虽然在字体下拉列表中提供了字体的样例，但是并不全面，例如使用Batang字体的话，数字会显示成什么效果，就无法直观的看到。打开Word应用程序，新建一个空白文档，按AltF11打开VBE…...

编程日记 2025/9/6 13:23:37

《机器学习数学基础》补充资料：矩阵的LU分解

本文是对《机器学习数学基础》第2章2.3.3节矩阵LU分解的拓展。判断是否可LU分解并非所有矩阵都可以实现LU分解。定理1： 若 n n n 阶可逆矩阵 A \pmb{A} A 可以进行LU分解，则 A \pmb{A} A 的 k k k 阶顺序主子阵（leading principal s…...

编程日记 2025/9/8 10:54:29

seasms v9 注入漏洞 + order by注入+information_schema解决方法

目录一、当注入时，information_schema被禁用的解决方法 1.通过sys库可以获取到表名和库名 2.通过无列名注入join获取列名二、seasms v9 注入漏洞三、order by注入一、当注入时，information_schema被禁用的解决方法 information_schema数据库是My…...

编程日记 2025/9/8 16:43:24

跨端方案选型：对比Uni-app与Taro在复杂电商项目中的技术选型依据参考

跨端方案选型：对比Uni-app与Taro在复杂电商项目中的技术选型依据参考请赏析： Uni-app与Taro复杂电商项目选型对比指南一、核心选型维度速记技术栈匹配 → 跨端能力 → 性能优化 → 开发效率 → 生态支持 → 长期维护二、关键维度对比分析 1. 技术栈匹配性框架技术栈适…...

编程日记 2025/9/10 11:14:01

32个关键字 1.基本数据类型 signed unsigned char int float double short long void 2.构造数据类型 struct union enum 3.数据存储类别 auto static extern register 4.数据优化 const volatile 5. 9条基本语句 if else switch case break default while do for…...

编程日记 2025/9/9 1:12:05

音乐游戏Drummania(GITADORA)模拟器

文章目录 （一）Drummania和GITADORA（1.1）基本情况（1.2）机体 （二）模拟器（2.1）主程序（2.2）模拟器主题 （三）曲谱文…...

编程日记 2025/9/10 19:23:12

WPF中对滚动条进行平滑滚动

有时候我们在动态添加内容时，需要将滚动条滚动到指定内容处。一般我们会调用ScrollViewer的ScrollToVerticalOffset（垂直方向）函数和ScrollToHorizontalOffset（水平方向）函数来控制滚动条滚动到指定位置。正常滚动效…...

编程日记 2025/9/6 22:35:45

【通俗讲解电子电路】——从零开始理解生活中的电路(一)

导言：电子电路为什么重要？ ——看不见的“魔法”，如何驱动你的生活？ 清晨，当你的手机闹钟响起时，你可能不会想到，是电子电路在精准控制着时间的跳动；当你用微波炉加热早餐时&#…...

编程日记 2025/9/11 18:24:30

达梦：内存相关参数

目录 28个相关参数1. 内存池相关MEMORY_POOLMEMORY_N_POOLSMEMORY_BAK_POOL 2. 大缓冲区相关HUGE_BUFFERHUGE_BUFFER_POOLS 3. 共享缓冲区相关BUFFERBUFFER_POOLSBUFFER_MODEMAX_BUFFER 4. 快速池相关FAST_POOL_PAGES 5. 回收池相关RECYCLE_POOLS 6. 回滚段池相关ROLLSEG_POOLS…...

编程日记 2025/9/8 20:23:06

MySql面试总结（一）

mysql中排序是怎么实现的？ MySQL 中的排序主要通过ORDER BY子句来实现，其底层实现方式有文件排序和索引排序两种，以下是具体介绍：通过ORDER BY子句实现排序这是 MySQL 中进行排序的基本方式，语法为SELECT column1, column2,... FROM table_name ORDER BY column_name…...

编程日记 2025/9/9 22:34:57

YOLOv5 + SE注意力机制：提升目标检测性能的实践

一、引言目标检测是计算机视觉领域的一个重要任务，广泛应用于自动驾驶、安防监控、工业检测等领域。YOLOv5作为YOLO系列的最新版本，以其高效性和准确性在实际应用中表现出色。然而，随着应用场景的复杂化，传统的卷积神经网络在处…...

编程日记 2025/8/31 2:21:52

第十四届蓝桥杯大赛软件赛国赛C/C++大学C组

A 【跑步计划——日期问题】-CSDN博客 B 【残缺的数字】-CSDN博客 C 题目代码 #include <bits/stdc.h> using namespace std;void change(int &x) {int sum 0, t x;while(t){sum t % 10;t / 10;}x - sum; } int main() {int n;cin >> n;int ans 0;…...

编程日记 2025/9/9 4:24:03

【备份】php项目处理跨域请求踩坑

这都是老生常谈的东西了。我还在踩坑，记录一下。我在项目入口明明写了如下代码： // 处理预检请求 (OPTIONS) if ($_SERVER[REQUEST_METHOD] OPTIONS) {header("Access-Control-Allow-Origin: https://xxx.vip");header("Access-Cont…...

编程日记 2025/9/10 6:50:23

编程题 - 汽水瓶【JavaScript/Node.js解法】

‌“学如逆水行舟，不进则退。”‌ ——《增广贤文》目录汽水瓶题目：解答分析：js代码解答 -ACM模式：代码通过：题解分析：简洁思路代码： 汽水瓶题目： 某商店规定：三个空…...

编程日记 2025/9/12 9:22:19

【考研】复试相关上机题目

文章目录 22机试回忆版1、判断燃气费描述输入格式输出格式输入样例输出样例 C o d e Code Code 2、统计闰年数量描述输入格式输出格式输入样例输出样例 C o d e Code Code 3、打印图形描述输入格式输出格式 C o d e Code Code 4、密文数据描述输入格式输出格式输入样例输出样例…...

编程日记 2025/9/4 23:00:56

HONOR荣耀MagicBook 15 2021款独显(BOD-WXX9,BDR-WFH9HN)原厂Win10系统

适用型号：【BOD-WXX9】 MagicBook 15 2021款 i7 独显 MX450 16GB512GB (BDR-WFE9HN) MagicBook 15 2021款 i5 独显 MX450 16GB512GB (BDR-WFH9HN) MagicBook 15 2021款 i5 集显 16GB512GB (BDR-WFH9HN) 链接：https://pan.baidu.com/s/1S6L57ADS18fnJZ1…...

编程日记 2025/9/8 14:37:33

微信小程序：完善购物车功能，购物车主页面展示，详细页面展示效果

一、效果图 1、主页面根据物品信息进行菜单分类，点击单项购物车图标添加至购物车，记录总购物车数量 2、购物车详情页根据主页面选择的项，根据后台查询展示到页面，可进行多选，数量加减等二、代码 1、主页面页…...

编程日记 2025/9/8 16:37:47

Spring Boot集成MyBatis访问MySQL：从项目搭建到基础数据库查询（基础入门）

Spring Boot集成MyBatis访问MySQL 一、引言在当今企业级应用开发中，Spring Boot、MyBatis与MySQL的组合凭借其高效性和灵活性，成为构建数据驱动型应用的首选方案。本文将带你从零开始搭建项目，掌握Spring Boot集成MyBatis的基础入门内容。…...

编程日记 2025/9/3 22:24:55

基于STM32的智能家居能源管理系统

1. 引言传统家庭能源管理存在能耗监控粗放、设备联动不足等问题，难以适应绿色低碳发展需求。本文设计了一款基于STM32的智能家居能源管理系统，通过多源能耗监测、负荷预测与优化调度技术，实现家庭能源的精细化管理与智能优化，提…...

编程日记 2025/9/8 12:57:28

OpenAI发布GPT-4.5：功能非常特殊，推理很贵

今天凌晨4点，OpenAI进行了在线技术直播，发布了最新模型GPT-4.5。 GPT-4.5与之前的模型相比，本次最大的亮点是加上了“情商”，这也是目前所有大模型最缺、最难的功能。此外，GPT-4.5 在SimpleQA上的测试数据显示&…...

编程日记 2025/9/10 0:11:50

DeepSeek开源周 Day04：从DualPipe聊聊大模型分布式训练的并行策略

DualPipe简介今天是DeepSeek开源周的第四天，官方开源了一种新型并行计算优化策略——DualPipe。其实大家阅读过Deepseek-V3技术报告的同学，对这个技术并不陌生。开源地址：https://github.com/deepseek-ai/DualPipe 核心亮点 DualPipe&…...

编程日记 2025/9/11 8:58:17

RabbitMQ系列（七）基本概念之Channel

RabbitMQ 中的 Channel（信道） 是客户端与 RabbitMQ 服务器通信的虚拟会话通道，其核心作用在于优化资源利用并提升消息处理效率。以下是其核心机制与功能的详细解析： 一、Channel 的核心定义虚拟通信链路 Channel 是建立在 TCP 连…...

编程日记 2025/9/10 9:43:50

LeetCode 热题 100_有效的括号（69_20_简单_C++）（栈；栈+哈希表（建立左右括号的对应关系））

LeetCode 热题 100_有效的括号（69_20） 题目描述：输入输出样例：题解：解题思路：思路一（栈）：思路二（栈哈希表（建立左右括号的对应关系）&a…...

编程日记 2025/9/9 14:19:10

c#-LINQ与lambda表达式学习笔记

https://blog.csdn.net/m0_56259289/article/details/144134122 static void Main(string[] args) //程序入口{int[] arr1 new int[] { 1, 2, 3, 4, 5, 6, 7 };int[] arr2 new int[] { 1, 2, 3, 4, 5, 6, 7 };var query1 from n in arr1 select n;var query2 from a in arr…...

编程日记 2025/9/10 10:56:29