当前位置：首页 > news >正文

机器学习基础 - 分类模型之SVM

news 来源：原创 2025/6/30 21:13:08

SVM：支持向量机

文章目录

SVM：支持向量机
- 简介
- 基础准备
- - 1. 线性可分
  - 2. 最大间隔超平面
  - 3. 什么是支持向量？
  - 4. SVM 能解决哪些问题？
  - 5. 支持向量机的分类
- 硬间隔 SVM
- - 0. 几何间隔与函数间隔
  - 1. SVM 最优化问题
  - 2. 对偶问题
  - - 1. 拉格朗日乘数法 - 等式约束优化问题
    - 2. 拉格朗日乘数法 - 不等式约束优化问题
  - 3. 引入对偶问题 -- TODO
  - 4. SVM 优化
  - 2. 软间隔SVM
- 3. Kernel SVM
- - 1. 思想
  - 2. 核函数的作用
  - 2. 常见核函数
- QA
- - 1. SVM 中的支持向量是什么意思？
  - 2. 什么是SVM ？
  - 3. SVM 为何采用间隔最大化？
  - 4. 为何要讲求解 SVM 的原始问题转换为其对偶问题？
  - 5. SVM 与 LR 的区别
  - 6. SVM如何处理多分类问题？
  - 5. SVM 软间隔与硬间隔表达式
  - 11. 核函数的种类和应用场景
  - 12. SVM 损失函数是什么？
  - 13. 核函数的作用是啥？
  - 14. SVM 为何能用对偶函数求解？
  - 15. SVM 和全部数据有关还是和局部数据有关?
  - 16. 为什么高斯核能够拟合无穷维度？
  - 17. LR 与 SVM 的区别？
  - 17. LR 与 SVM 的区别？

简介

https://zhuanlan.zhihu.com/p/77750026

SVM 三宝： 间隔，对偶，核技巧。它属于判别模型。Support Vector Machine

**支持向量：**在求解的过程中，会发现只根据部分数据就可以确定分类器，这些数据称为支持向量。
支持向量机（SVM）：其含义是通过支持向量运算的分类器。

SVM 是一种二分类模型，它的目的是寻找一个超平面来对样本进行分割，分割的依据是间隔最大化，最终转化为一个凸二次规划问题来求解。

基础准备

1. 线性可分

$D_0$ 和 $D_1$ 是 n 维空间中的两个点集，如果存在 n 维向量 $w$ 和实数 $b$ ，使得：
$wx_i +b > 0; \quad x_i \in D_0 \\ wx_j + b < 0; \quad x_j \in D_1$
则称 $D_0$ 与 $D_1$ 线性可分。

2. 最大间隔超平面

能够将 $D_0$ 与 $D_1$ 完全正确分开的 $w x + b = 0$ 就成了一个超平面。

为了使得这个超平面更具鲁棒性，我们会去找最佳超平面，以最大间隔把两类样本分开的超平面，也称之为最大间隔超平面。

两类样本分别分割在该超平面的两侧
两侧距离超平面最近的样本点到超平面的距离被最大化了

3. 什么是支持向量？

训练数据集中与分离超平面距离最近的样本点成为支持向量

4. SVM 能解决哪些问题？

**线性分类：**对于n维数据，SVM 的目标是找到一个 n-1 维的最佳超平面来将数据分成两部分。

通过增加一个约束条件： 要求这个超平面到每边最近数据点的距离是最大的。
非线性分类： SVM通过结合使用拉格朗日乘子法和KTT条件，以及核函数可以生产线性分类器

5. 支持向量机的分类

硬间隔SVM（线性可分SVM)：当训练数据可分时，通过间隔最大化，学习一个线性表分类器。
软间隔SVM(线性SVM)：当训练数据接近线性可分时，通过软间隔最大化，学习一个线性分类器。
Kernel SVM：当训练数据线性不可分时，通过使用核技巧及软间隔最大化，学习非线性SVM。

必会：硬间隔最大化 --> 学习的对偶问题 --> 软间隔最大化 --> 非线性支持向量机（核技巧）

硬间隔 SVM

0. 几何间隔与函数间隔

1. SVM 最优化问题

任意分离超平面可定义为：
$w^Tx + b = 0$
二维空间中点 $(x, y)$ 到直线 $A x + B y + C = 0$ 的距离公式为：
$\frac{|Ax+ By + C}{\sqrt{A^2 + B^2}}$

扩展到n维空间中，任意点 $x$ 到超平面 $w^Tx + b = 0$ 的距离为：
$\frac{|w^Tx + b|}{||w||} \\ ||w|| = \sqrt{w_1^2 + ... + w_n^2}$
假设，支持向量到超平面的距离为 $d$ ，那么就有：
$\begin{cases} \frac{w^Tx_i + b}{||w||} \geq d, & y_i = +1 \\ \frac{w^Tx_i + b}{||w||} \leq -d, & y_i = -1 \end{cases}$
稍作转化可得到：
$\begin{cases} \frac{w^Tx_i + b}{||w||d} \geq 1, & y_i = +1 \\ \frac{w^Tx_i + b}{||w||d} \leq -1, & y_i = -1 \end{cases}$
考虑到 $∣∣ w ∣∣ d$ 为正数，我们暂且令它为 1（之所以令它等于 1，是为了方便推导和优化，且这样做对目标函数的优化没有影响）：
$\begin{cases} w^Tx_i + b >= +1, & y_i = +1 \\ w^Tx_i + b <= -1, & y_i = -1 \end{cases}$

两个方程合并，则有：
$y_i (w^Tx_i + b) \geq 1$
那么我们就得到了最大间隔超平面的上下两个超平面

两个异类超平面的公式分别为：
$\begin{cases} w^Tx_i + b = +1, & y_i = +1 \\ w^Tx_i + b = -1, & y_i = -1 \end{cases}$

机器学习基础 - 分类模型之SVM

SVM：支持向量机文章目录 SVM：支持向量机简介基础准备1. 线性可分2. 最大间隔超平面3. 什么是支持向量？4. SVM 能解决哪些问题？5. 支持向量机的分类硬间隔 SVM0. 几何间隔与函数间隔1. SVM 最优化问题2. 对偶问题1. 拉格朗日乘数法 - 等式约束优化问题2. 拉格朗日乘数法 - …...

编程日记 2025/6/30 21:13:08

PostgreSQL 中的权限视图

PostgreSQL 中的权限视图 PostgreSQL 提供了多个系统视图来查询权限信息，虽然不像 Oracle 的 DBA_SYS_PRIVS 那样集中在一个视图中，但可以通过组合以下视图获取完整的系统权限信息。一主要权限相关视图 Oracle 视图PostgreSQL 对应视图描述DBA_SYS_…...

编程日记 2025/6/30 20:33:00

pnpm install报错：此系统上禁止运行脚本

依赖安装报错信息： pnpm : 无法加载文件 C:\Users\XXX\AppData\Roaming\npm\pnpm.ps1，因为在此系统上禁止运行脚本。有关详细信息，请参阅 https:/go.microsoft.com/fwlink/?LinkID135170 中的 about_Execution_Policies。所在位置行:1 …...

编程日记 2025/6/30 20:34:36

解决yarn install 报错 error \node_modules\electron: Command failed.

在电脑重装系统后,重新安装项目依赖,遇到这一报错完整报错信息如下: error D:\xxxxx\xxxxxx\node_modules\electron: Command failed. Exit code: 1 Command: node install.js Arguments: Directory: D:\xxxxx\xxxxx\node_modules\electron Output: HTTPError: Response cod…...

编程日记 2025/6/29 11:50:44

深度学习3.7 softmax回归的简洁实现

import torch from torch import nn from d2l import torch as d2lbatch_size 256 train_iter, test_iter d2l.load_data_fashion_mnist(batch_size)3.7.1 初始化模型参数 net nn.Sequential(nn.Flatten(), nn.Linear(784, 10))def init_weights(m):if type(m) nn.Linear:…...

编程日记 2025/6/30 20:27:11

Linux424 chage密码信息 gpasswd 附属组

https://chat.deepseek.com/a/chat/s/e55a5e85-de97-450d-a19e-2c48f6669234...

编程日记 2025/6/29 10:54:01

Spring Boot单元测试实战指南：从零到高效测试

在Spring Boot开发中，单元测试是保障代码质量的核心环节。本文将基于实际开发场景，手把手教你如何快速实现分层测试、模拟依赖、编写高效断言，并分享最佳实践！ 一、5分钟环境搭建添加依赖在pom.xml中引入spring-boot-starter-te…...

编程日记 2025/6/29 11:37:17

Netty线上如何做性能调优？

大家好，我是锋哥。今天分享关于【Netty线上如何做性能调优？】面试题。希望对大家有帮助； Netty线上如何做性能调优？ 1000道互联网大厂Java工程师精选面试题-Java资源分享网在使用 Netty 进行线上服务时，性能调优是…...

编程日记 2025/6/29 11:26:54

总结-SQL注入分类手法注入漏洞总结性分化说明

目录关键要点按参数类型分类按提交方式分类按反馈结果分类其他高级注入类型最新漏洞动态防御措施调查笔记：SQL注入类型与详细分析一、按参数类型分类二、按提交方式分类三、按反馈结果分类四、其他高级注入类型五、最新漏洞动态六、防御…...

编程日记 2025/6/29 10:20:41

Linux:进程的创建进程的终止

进程的创建 fork fork是c语言中的一个函数，用于创建新的子进程，它存放在<unistd.h>的头文件中当我们运行程序时，如果使用了fork函数那么就会为这个进程创建一个它的子进程，这个子进程会继承父进程的所有数据和代码&…...

编程日记 2025/6/29 9:15:24

[C#]反射的实战应用,实际数据模拟

long? value null; // 看它是不是 HEX_STRING var dtAttr prop.GetCustomAttribute<DataTypeAttribute>(); if (dtAttr ! null && dtAttr.DataType DataType.HEX_STRING) {// 去掉可能的 "0x" 前缀string txt attribute.Value.StartsWith("0…...

编程日记 2025/6/29 12:29:45

机器人灵巧手有刷与无刷空心杯电机解析

一、电机结构分析（一）有刷空心杯电机结构有刷空心杯电机主要由上壳、碳刷、连接板、换向器线圈、外壳、轴承、永磁体、下壳及轴承密封圈组成。碳刷与换向器直接接触，负责传导电流，使线圈在永磁体产生的磁场中受力转动。这种机械换向方式虽直接，但碳刷磨损会影响电机寿命…...

编程日记 2025/6/29 9:14:18

JetBrains GoLang IDE无限重置试用期，适用最新2025版

注意本文仅用于学习使用！！！ 本文在重置2024.3.5版本亲测有效，环境为window(mac下应该也一样奏效) 之前eval-reset插件只能在比较低的版本才能起作用。总结起来就一句：卸载重装，额外要删掉旧安装文件和注册…...

编程日记 2025/6/29 12:08:02

【网络应用程序设计】实验四：物联网监控系统

个人博客：https://alive0103.github.io/ 代码在GitHub：https://github.com/Alive0103/XDU-CS-lab 能点个Star就更好了，欢迎来逛逛哇~❣ 主播写的刚够满足基本功能，多有不足，仅供参考，还请提PR指正&#xff…...

编程日记 2025/6/29 9:17:04

第六章：安全最佳实践

Chapter 6: 安全最佳实践 🌟 从上一章到本章在第五章：框架/工具抽象中，我们学会了如何用框架快速搭建MCP服务器。现在想象这样一个场景：你的文件服务器已经开发完成，但突然发现恶意用户能通过路径遍历攻击访问系统文…...

编程日记 2025/6/29 10:02:47

最高支持高速L3商用，华为发布ADS 4智驾系统

作者 |张马也编辑 |德新 4月22日，华为在上海召开乾崑智能技术大会。会上，华为正式推出乾崑智驾ADS 4、鸿蒙座舱HarmonySpace 5、乾崑车控XMC数字底盘引擎等一系列智能汽车解决方案。其中最为重磅的是，华为正式发布高速L3商用解决方案&a…...

编程日记 2025/6/29 11:47:19

[创业之路-382]：企业法务 - 企业如何通过技术专利与技术秘密保护自己

企业通过技术专利与技术秘密保护自身创新成果是构建核心竞争力的关键策略。以下从技术专利和技术秘密两大维度，系统阐述其保护路径及实施要点： 一、技术专利保护策略 1. 专利布局规划核心专利：针对核心技术进行专利申请，构建基…...

编程日记 2025/6/29 9:54:18

多路转接epoll原理详解

目录从epoll接口入手创建epoll模型用户告诉内核关心的事件内核告诉用户就绪的事件 epoll的原理整体思路如何判断事件是否就绪事件就绪后如何实现将节点插入就绪队列从epoll接口入手本篇文章从epoll的三个接口入手介绍epoll的具体工作原理创建epoll模型 #in…...

编程日记 2025/6/29 12:12:23

基于 MCP用 Python 搭建 “大模型网关”在 MCP 服务器端聚合多个大模型的 API，将其统一为 MCP 协议接口

下面给出基于 MCP（Model-Connection-Protocol）设计思想，用 Python 搭建 “大模型网关” 的典型开发流程。整体思路是：在 MCP 服务器端聚合多个大模型的 API，将其统一为 MCP 协议接口；在客户端按需调用这些统一后的接口。总结如下：概要：需求与架构定位：Clarify 要接入…...

编程日记 2025/6/29 10:30:10

Linux的时间函数

ucos中有systick这个系统时间滴答，那linux中有没有这种系统时间滴答呢？有，jiffies，但是用户空间不可以使用。那么在linux中除了使用timer定时器进行定时，可以通过时间滴答的方式来进行粗略的计时吗？下面介绍…...

编程日记 2025/6/29 10:27:09

JCE cannot authenticate the provider BC

本地使用了加密类、并且运行正常、用hutool做RSA加密时候出现这个问题的！ import cn.hutool.core.codec.Base64; import cn.hutool.core.util.ArrayUtil; import cn.hutool.core.util.StrUtil; import cn.hutool.crypto.SecureUtil; import cn.hutool.crypto.SmUtil; import…...

编程日记 2025/6/29 11:40:35

4.1 融合架构设计：LLM与Agent的协同工作模型

大型语言模型（Large Language Models, LLMs）与智能代理（Agent）的融合架构已成为人工智能领域推动企业智能化的核心技术。这种协同工作模型利用LLM的语言理解、推理和生成能力，为Agent提供强大的知识支持，而…...

编程日记 2025/6/29 9:16:15

【Spec2MP：项目管理之项目风险管理】

在半导体行业竞争白热化的今天，一颗芯片从设计到量产的旅程犹如跨越重重险峰。据行业数据显示，30%的芯片项目因未及时识别风险导致延期交付，而55%的成本超支源于前期风险评估不足。这背后折射出一个核心命题：如何在复杂的技术攻关…...

编程日记 2025/6/29 10:48:14

【Axure教程】表格嵌套卡片

今天教大家制作表格嵌套卡片的原型模版，可以点击加号或减号展开或收起对应部门下的员工卡片信息。这个表格是用中继器制作的，所以使用也很方便，在中继器表格里维护数据，即可自动生成交互效果，具体效果可以打开下方原型…...

编程日记 2025/6/29 10:21:21

无人机动力核心测评：CKESC STONE 180A-M 电调

一、核心技术优势：全场景适配的智能控制方案作为南昌长空科技的工业级产品，南昌长空的STONE 180A-M 电调以高可靠启动算法为核心，支持 6-14S 锂电输入，具备逆风启动稳定性与剧变油门抗丢相能力，实测油门响应时间 300…...

编程日记 2025/6/29 11:59:40

【回眸】Aurix TC397 IST 以太网 UDP 相关开发

前言关于移植IST功能至 Infineon TC397上主要涉及到UDP发送报文及接收。IST是安全诊断相关的工作 Nvidia IST介绍 Orin系列芯片会提供一种机制来检测由系统内测（IST）所产生的永久的故障，IST 应该在 Orin-x 功能安全系统中使用期间被启动。…...

编程日记 2025/6/29 10:32:02

C语言别踩白块附源码

复制即可使用 #define _CRT_SECURE_NO_WARNINGS//一定要放在第一行 #include<stdio.h>//引用输入输出头文件，每一次都需要引用这个文件 #include<math.h> #include<string.h> #include<ctype.h> #include<stdlib.h> #include<io…...

编程日记 2025/6/29 10:17:38

centos7里memcached 的安装使用

memcahced 的概述 Memcached是一个自由开源的，高性能，分布式内存对象缓存系统。 Memcached是以LiveJournal旗下Danga Interactive公司的Brad Fitzpatric为首开发的一款软件。现在已成为mixi、hatena、Facebook、Vox、LiveJournal等众多服务中提高Web应…...

编程日记 2025/6/29 10:12:55

深入理解指针（3）

1.指针的使⽤和传址调⽤ 1.strlen的模拟实现库函数strlen的功能是求字符串⻓度，统计的是字符串中\0 之前的字符的个数。函数原型如下： 参数str接收⼀个字符串的起始地址，然后开始统计字符串中 \0 之前的字符个数，最终返回⻓度。…...

编程日记 2025/6/29 11:43:02

第十届电气、电子和计算机工程研究国际学术研讨会（ISAEECE 2025）

重要信息官网：www.isaeece.com（点击了解参会投稿等） 时间：2025年6月20-22日地点：中国 ▪ 西安征稿主题电气、电子和计算机工程（Electrical, Electronics and Computer Engineering, EECE&#xff09…...

编程日记 2025/6/29 10:59:26

RabbitMQ 中的队列声明

目录一、为什么要声明队列？二、声明队列的基本语法参数说明三、声明队列的示例代码示例 1：声明一个普通的队列示例 2：声明一个持久化队列示例 3：声明一个带 TTL 的队列四、注意事项五、总结在 RabbitMQ 中，队列是消…...

编程日记 2025/6/29 12:28:12

unity Animation学习，精准控制模型动画播放

unity 控制模型动画播放，Animation学习。此脚本挂载在带有动画的模型上。 using System.Collections; using System.Collections.Generic; using UnityEngine;public class AnimationCtrl : MonoBehaviour {void Start(){PlayAnimation();//开始的时候调用播放动…...

编程日记 2025/6/29 12:14:26

大模型面经 | 春招、秋招算法面试常考八股文附答案（六）

大家好，我是皮先生！！今天给大家分享一些关于大模型面试常见的面试题，希望对大家的面试有所帮助。往期回顾：大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题一）大模型面经 | 春招、秋招算法面试常考八股文附答案（RAG专题二）大模型面经 | 春招、秋招算法…...

编程日记 2025/6/29 9:53:26

【深度学习】#9 现代循环神经网络

主要参考学习资料： 《动手学深度学习》阿斯顿张等著【动手学深度学习 PyTorch版】哔哩哔哩跟李牧学AI 概述门控循环单元和长短期记忆网络利用门控机制实现对序列输入的选择性记忆。深度循环神经网络堆叠多个循环神经网络层以实现更强的表达能力和特征提取能力。…...

编程日记 2025/6/29 9:35:37

《CBOW 词向量转化实战：让自然语言处理 “读懂” 文字背后的含义》

文章目录前言一、自然语言模型统计语言模型存在的问题总结：这两个问题的本质，第一个是"容量问题"：模型记忆力有限；第二个是"理解力问题"：模型缺乏抽象能力。二、词向量转换1.onehot编码编码过程…...

编程日记 2025/6/29 10:21:03

网络变更：APIC 节点替换

Draft 一、同版本硬件更换 1. 查看 APIC 状态 System > Controllers > (any APIC) > Cluster APIC1> acidiag avread // APIC 参数 2. 下线故障设备 Actions > Decommission 3. 物理移除故障设备，连接目标 APIC 4. 根据第一步中的配置参数配置目…...

编程日记 2025/6/29 11:11:00

Java在excel中导出动态曲线图DEMO

1、环境 JDK8 POI 5.2.3 Springboot2.7 2、DEMO pom <dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version>5.2.3</version></dependency><dependency><groupId>commons…...

编程日记 2025/6/29 10:13:53

Python爬虫爬取图片并存储到MongoDB（注意：仅尝试存储一条空的示例数据到MongoDB，验证MongoDB的联通性）

以下是一个使用Python爬取图片并存储到MongoDB的示例实现，包含详细步骤说明： import requests from bs4 import BeautifulSoup from pymongo import MongoClient from datetime import datetime import os import re# 配置信息 mongoIP mongodb://root…...

编程日记 2025/6/29 10:48:47

Qt —— 在Linux下试用QWebEngingView出现的Js错误问题解决（附上四种解决办法）

错误提示：js: A parser-blocking, cross site (i.e. different eTLD+1) script, https:xxxx, is invoked via document.write. The network request for this script MAY be blocked by the browser in this or a future page load due to poor network connectivity. If bloc…...

编程日记 2025/6/29 10:08:08