当前位置：首页 > news >正文

【机器学习:八、逻辑回归】

news 来源：原创 2025/6/18 9:05:01

逻辑回归（Logistic Regression）

1. 逻辑回归的引出

在现实世界中，许多问题都涉及到分类任务。例如：

判断一封邮件是否为垃圾邮件；
预测某人是否会患某种疾病；
确定图片中是否包含某种特定物体。

这些问题的输出通常是离散的（例如“是/否”或“0/1”）。传统的线性回归虽然适合连续输出的任务，但无法直接处理分类问题。因此，我们需要一种适合分类任务的模型，这便引出了逻辑回归（Logistic Regression）。

逻辑回归是一种适用于二分类和扩展到多分类任务的模型，其核心思想是通过引入逻辑函数（Logistic Function），将线性模型的输出映射到概率空间，使模型能够解决分类问题。

2. 逻辑回归的背景与意义

背景

逻辑回归最初起源于生物统计学领域，用于描述事件的发生概率。例如：

一种药物的有效性（有效/无效）；
生物体存活的概率。

随着机器学习的普及，逻辑回归成为了分类任务中的经典算法之一，被广泛应用于各个领域。

意义

简单易实现：逻辑回归模型具有明确的数学定义，训练过程高效，易于实现。
可解释性强：逻辑回归的系数能够直观解释特征对分类的影响。
广泛适用性：适用于许多需要概率输出的分类任务，如医学诊断、信用评分等。
构造基础模型：逻辑回归常作为复杂模型的基石，例如神经网络。

3. 逻辑回归的定义

逻辑回归是一种概率模型，用于预测某事件发生的概率 $P (y = 1∣ x)$ 。其核心思想是将输入特征通过线性模型映射到一个实数值，再通过Sigmoid函数将其压缩到 $[0, 1]$ 区间，表示为概率。

模型公式

线性模型：

$\theta^T x = \theta_0 + \theta_1 x_1 + \theta_2 x_2 + \dots + \theta_n x_n$

其中：

$x$ 是输入特征向量；
$\theta$ 是模型参数（权重和偏置）。

Sigmoid函数：

$h_\theta(x) = \frac{1}{1 + e^{-z}}$

Sigmoid函数的性质：

当 $\to +\infty$ ， $h_\theta(x) \to 1$ ；
当 $\to -\infty$ ， $h_\theta(x) \to 0$ 。

预测概率：

$h_\theta(x), \quad P(y=0|x) = 1 - h_\theta(x)$

分类决策：设定阈值 $\alpha$ ，一般取 $\alpha = 0.5$ ：

$\begin{cases} 1 & \text{if } h_\theta(x) \geq \alpha \\ 0 & \text{if } h_\theta(x) < \alpha \end{cases}$

可视化图示

Sigmoid函数图：展示输入 $z$ 映射到概率 $h_\theta(x)$ 的曲线（从 -6 到 6 的 S 型函数）。

4. 逻辑回归的代价函数

4.1 为什么不能直接使用均方误差作为代价函数？

在线性回归中，我们使用均方误差（MSE）作为代价函数：

$J(\theta) = \frac{1}{m} \sum_{i=1}^m \left( h_\theta(x^{(i)}) - y^{(i)} \right)^2$

但是，在逻辑回归中，使用 MSE 存在两个问题：

非凸性问题：MSE 会导致代价函数变为非凸函数，梯度下降可能无法找到全局最优解。
不符合概率模型的假设：逻辑回归是基于最大似然估计的，而 MSE 不满足这种统计假设。

4.2 交叉熵损失函数（Cross-Entropy Loss）

逻辑回归采用交叉熵作为代价函数，它基于最大似然估计：

$J(\theta) = -\frac{1}{m} \sum_{i=1}^m \left[ y^{(i)} \log h_\theta(x^{(i)}) + \left(1 - y^{(i)}\right) \log \left(1 - h_\theta(x^{(i)})\right) \right]$

当 $y = 1$ ：代价为 $-\log h_\theta(x)$ ，即模型预测的概率 $h_\theta(x)$ 越接近 1，损失越小；
当 $y = 0$ ：代价为 $-\log \left(1 - h_\theta(x)\right)$ ，即模型预测的概率 $h_\theta(x)$ 越接近 0，损失越小。

可视化图示

损失函数曲线：分别展示 $y = 1$ 和 $y = 0$ 的损失随 $h_\theta(x)$ 变化的曲线。

4.3 代价函数的性质

凸函数：交叉熵损失是一个凸函数，便于梯度下降找到全局最优解。
偏导数公式：

$\frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{m} \sum_{i=1}^m \left( h_\theta(x^{(i)}) - y^{(i)} \right) x_j^{(i)}$

这与线性回归的梯度更新公式形式类似，只是误差的定义不同。

5.逻辑回归的梯度下降法

梯度下降是逻辑回归模型训练中常用的优化算法，用于通过最小化代价函数来寻找模型参数 $\theta$ 。以下是逻辑回归中梯度下降的具体过程：

5.1 梯度下降的目标

逻辑回归的目标是最小化代价函数 $J(\theta)$ ，通常使用交叉熵损失函数：

$J(\theta) = -\frac{1}{m} \sum_{i=1}^m \left[ y^{(i)} \log h_\theta(x^{(i)}) + (1 - y^{(i)}) \log \left(1 - h_\theta(x^{(i)})\right) \right]$

其中：

$m$ 是样本数量；
$h_\theta(x) = \frac{1}{1 + e^{-\theta^T x}}$ 是 Sigmoid 函数的输出；
$y^{(i)} \in \{0, 1\}$ 是样本的真实标签。

梯度下降通过迭代更新参数 $\theta$ 来逐步减小代价函数值。

5.2 梯度下降公式

2.1 代价函数的梯度

代价函数对参数 $\theta_j$ 的偏导数为：

$\frac{\partial J(\theta)}{\partial \theta_j} = \frac{1}{m} \sum_{i=1}^m \left( h_\theta(x^{(i)}) - y^{(i)} \right) x_j^{(i)}$

$h_\theta(x^{(i)}) - y^{(i)}$ 是预测值与真实值的误差；
$x_j^{(i)}$ 是第 $i$ 个样本的第 $j$ 个特征值。

2.2 参数更新公式

梯度下降的更新公式为：

$\theta_j := \theta_j - \alpha \cdot \frac{\partial J(\theta)}{\partial \theta_j}$

$\alpha$ 是学习率（控制更新步伐的大小）；
$\theta_j$ 是模型的参数。

将偏导数代入更新公式，得到：

$\theta_j := \theta_j - \frac{\alpha}{m} \sum_{i=1}^m \left( h_\theta(x^{(i)}) - y^{(i)} \right) x_j^{(i)}$

这个公式表明，梯度下降的每次更新都依赖于样本预测值与真实值的误差。

5.3 梯度下降的具体步骤

初始化参数：通常将所有参数 $\theta_j$ 初始化为零或随机小值。
计算预测值：使用当前参数计算每个样本的预测值：

$h_\theta(x^{(i)}) = \frac{1}{1 + e^{-\theta^T x^{(i)}}}$
计算代价函数：计算当前参数下的代价函数值 $J(\theta)$ ，以评估模型性能。
更新参数：根据梯度下降公式更新参数 $\theta_j$ 。
检查收敛条件：如果代价函数的值不再显著下降（或变化量小于某个阈值），或达到最大迭代次数，则停止迭代。

5.4 梯度下降的几种变体

批量梯度下降（Batch Gradient Descent）：
- 每次迭代使用所有样本计算梯度。
- 优点：梯度估计准确。
- 缺点：当数据量很大时，计算代价较高。
随机梯度下降（Stochastic Gradient Descent, SGD）：
- 每次迭代仅使用一个样本计算梯度。
- 优点：计算效率高，适合大规模数据。
- 缺点：更新过程不稳定，可能震荡于最优解附近。
小批量梯度下降（Mini-batch Gradient Descent）：
- 每次迭代使用一个小批量（例如 32 个样本）计算梯度。
- 优点：结合了批量梯度下降和随机梯度下降的优点，更新稳定且效率较高。

5.5 学习率的影响

学习率 $\alpha$ 的大小对梯度下降的效果至关重要：
- 学习率过大：更新步伐过快，可能导致错过最优解甚至发散。
- 学习率过小：更新步伐过慢，收敛速度过慢。

学习率影响的可视化图示

学习率过大：代价函数的值震荡，甚至发散。
学习率适中：代价函数值平稳下降，快速收敛。
学习率过小：代价函数值下降缓慢。

5.6 梯度下降的优缺点

优点

简单易实现；
可扩展到大规模数据集；
支持在线学习。

缺点

对学习率敏感，需仔细调节；
容易陷入局部最优（对于非凸问题）；
可能收敛到平坦区域（即梯度很小但未达到最优解）。

5.7 梯度下降的改进方法

自适应学习率：
- AdaGrad、RMSProp：自动调整学习率，适应不同梯度大小。
- Adam：结合动量法和 RMSProp，收敛更快且稳定。
加动量（Momentum）：
- 在每次更新中加入历史梯度的动量，加速收敛过程。
正则化：
- 添加正则化项（如 $L 1$ 或 $L 2$ ），以防止过拟合。

5.8 总结

逻辑回归的梯度下降法通过不断更新模型参数，优化交叉熵损失函数，是一种高效且经典的优化算法。结合不同的梯度下降变体和改进方法，可以提升训练效率和模型性能，使其适应各种规模和复杂度的数据集。

6. 逻辑回归的扩展

多分类问题：通过 Softmax 函数扩展逻辑回归至多分类任务。
正则化：加入 $L 1$ 或 $L 2$ 正则化项，防止过拟合。
模型评估：使用准确率、精确率、召回率、F1分数等指标评估模型性能。

7. 逻辑回归的总结

逻辑回归是机器学习中经典的分类算法，因其简单、可解释性强而被广泛应用。尽管随着深度学习的兴起，复杂模型逐渐成为主流，但逻辑回归仍然是理解分类问题的基础模型，是许多复杂模型的重要组成部分。

【机器学习:八、逻辑回归】

逻辑回归（Logistic Regression） 1. 逻辑回归的引出在现实世界中，许多问题都涉及到分类任务。例如： 判断一封邮件是否为垃圾邮件；预测某人是否会患某种疾病；确定图片中是否包含某种特定物体。这些问题…...

编程日记 2025/6/3 7:01:58

安装：npm install sm-crypto --save 1、在utils下新建crypto.js文件 // sm4 加密 export function encryption(params) {const SM4 require("sm-crypto").sm4const key 0123456789abcdeffedcba9876543212; // 提供的密钥const iv fedcba9876543210012…...

编程日记 2025/6/3 10:37:04

【STM32-学习笔记-1-】GPIO

文章目录 GPIOⅠ、GPIO函数Ⅱ、GPIO_InitTypeDef结构体参数①、GPIO_Mode②、GPIO_Pin③、GPIO_Speed GPIO Ⅰ、GPIO函数 // 将指定的GPIO端口寄存器重置为默认值 void GPIO_DeInit(GPIO_TypeDef* GPIOx);// 将GPIO的备用功能寄存器重置为默认值 void GPIO_AFIODeInit(void);…...

编程日记 2025/5/29 21:45:08

C#中的运算符和类--06

目录一.运算符 1.赋值运算符 2.算数运算符 3.关系运算符 4.逻辑运算符 5.位运算符 6.三元运算符 7.空合并运算符 8.其他运算符二.类 1.普通类 2.静态类 3.抽象类 4.密封类 5.部分类 6.泛型类 7.嵌套类 8.记录类 9.接口一.运算符 1.赋值运算符定义:赋值…...

编程日记 2025/6/2 1:59:29

【微服务】面试 2、服务雪崩

服务雪崩概念主要内容：在微服务项目中，微服务间存在远程调用。若某一服务（如服务 d）出现故障，调用它的服务（如服务 a）会失败。若调用方持续向故障服务发起请求，由于服务连接数有限且…...

编程日记 2025/5/29 9:00:39

“深入浅出”系列之QT：（6）如何在一个项目中调用另一个项目

在Qt中，如果想在一个项目中调用另一个项目，这通常意味着想要在一个CMake构建的项目中集成或依赖另一个CMake构建的项目。 1‌.子模块或子目录方式‌： 如果另一个项目可以作为一个子模块或子目录包含在当前项目中，可以使用add_sub…...

编程日记 2025/5/28 10:25:35

计算机网络—地址与子网（IPv4）相关知识总结

前言为了更加清楚的了解该相关知识，下面是发现的一些宝藏博主的博客。彻底搞懂网络地址、广播地址、主机地址、网关、子网掩码、网络号、主机号 - lipga - 博客园 IP地址（分类）、子网掩码、网络号、主机号、子网号_网络号,主机号,子网号…...

编程日记 2025/6/4 6:55:19

计算机网络（36）TCP可靠传输的实现

前言 TCP（传输控制协议）是一种面向连接的、可靠的、基于字节流的传输层通信协议。TCP通过多种机制实现可靠传输，这些机制主要包括连接管理、序列号和确认应答机制、重传机制、流量控制、拥塞控制等。一、连接管理 TCP使用三次握手&#xff0…...

编程日记 2025/6/3 13:26:00

SQL从入门到实战-2

高级语句窗口函数排序窗口函数例题二十九 select yr,party,votes, rank() over (PARTITION BY yr ORDER BY votes desc) as pson from ge where constituency S14000021 order by party,yr 偏移分析函数例题三十 select name,date_format(whn,%Y-%m-%d) data, confi…...

编程日记 2025/6/2 16:42:49

基于python的网页表格数据下载--转excel

基于 Python 的网页表格数据爬取与下载：以维基百科为例目录基于 Python 的网页表格数据爬取与下载：以维基百科为例1. 背景介绍2. 工具与环境3. 操作步骤1. 获取网页内容2. 定位表格元素3. 表格变身 Pandas DataFrame4. 检查数据，收工！5. 进阶玩法与优化6. 完整代码4. 结果…...

编程日记 2025/6/3 3:44:53

用户界面的UML建模13

􀂄 Concrete Presentation Model 包中所包含的是，在Environment 包中与表示层框架模式中的《apm》类相对应的那些类。 8 结论本文使用了一个图书馆系统的案例，来论述了关于用户界面的建模。通过使用统一建模语言来对应用系统进行建模&…...

编程日记 2025/6/4 13:05:24

[Python学习日记-75] 计算机基础与网络

[Python学习日记-75] 计算机基础与网络简介计算机基础什么是网络编程计算机网络简介本篇主要介绍的计算机基础是浓缩的，这是因为我们主要学习的是 Python，而 Python 主要是为了开发应用程序的，并不会用它来开发操作系统和嵌入式程序…...

编程日记 2025/6/2 21:13:40

【机器学习:六、特征工程】

1. 特征工程背景意义在机器学习中，特征工程是模型成功的关键之一。无论算法多么先进，其性能都很大程度上依赖于输入数据的质量。特征工程是指对原始数据进行处理，以创建更适合算法的特征的过程。这一过程在以下方面具有重要意义&#xff1a…...

编程日记 2025/6/1 19:29:40

webpack打包要义

webpack基本 Webpack 是一个现代 JavaScript 应用程序的静态模块打包工具。它的工作原理可以概括为以下几个核心步骤： 1. 入口起点（Entry） Webpack 从配置文件中指定的入口文件（Entry Point）开始，分析应用…...

编程日记 2025/6/3 8:14:34

Mybatis——Mybatis开发经验总结

摘要本文主要介绍了MyBatis框架的设计与通用性，阐述了其作为Java持久化框架的亮点，包括精良的架构设计、丰富的扩展点以及易用性和可靠性。同时，对比了常见持久层框架，分析了MyBatis在关系型数据库交互中的优势。此外&#xff0…...

编程日记 2025/6/1 20:51:38

013：深度学习之神经网络

本文为合集收录，欢迎查看合集/专栏链接进行全部合集的系统学习。合集完整版请参考这里。深度学习是机器学习中重要的一个学科分支，它的特点就在于需要构建多层且“深度”的神经网络。人们在探索人工智能初期，就曾设想构建一个用数学方式…...

编程日记 2025/6/3 20:55:59

Java 模板变量替换——字符串替换器（思路Mybatis的GenericTokenParser）

Java 模板变量替换——字符串替换器（思路Mybatis的GenericTokenParser） 思路字符串替换器思路模板变量替换无非是寻找出字符串（模板）中的特殊标记，用对应的变量进行字符串替换。提到变量替换，大家第一能…...

编程日记 2025/6/3 10:37:01

蓝桥杯备考：数据结构之栈和 stack

目录栈的概念以及栈的实现 STL 的stack 栈和stack的算法题栈的模板题栈的算法题之有效的括号验证栈序列后缀表达式括号匹配栈的概念以及栈的实现栈是一种只允许在一端进行插入和删除的线性表空栈：没有任何元素入栈：插入元素消息出…...

编程日记 2025/5/30 18:00:08

Lambda离线实时分治架构深度解析与实战

一、引言在大数据技术日新月异的今天，Lambda架构作为一种经典的数据处理模型，在应对大规模数据应用方面展现出了强大的能力。它整合了离线批处理和实时流处理，为需要同时处理批量和实时数据的应用场景提供了成熟的解决方案。本文将对Lambda…...

编程日记 2025/6/3 21:06:12

Vue.js组件开发，AI时代的前端新玩法

AI可不只是写写小说、聊聊天，现在它的触角已经伸到了程序员的代码世界里。特别是前端开发，很多人都在尝试用ChatGPT或者类似的AI工具来写代码，甚至直接生成Vue.js组件。有些人感叹，"写代码的时代是不是要结束了？&…...

编程日记 2025/6/4 11:23:59

标定 3

标定场景与对应的方式标定板标定主要应用场景：（1）无法获取到执行机构物理坐标值，比如相机固定，执行机构为传送带等（2）相机存在畸变等非线性标定情况，需要进行畸变校正（3）标定单像素精度（4）获取两个相机之间的坐标系关系标定板操作步骤：（1）确定好拍…...

编程日记 2025/6/1 0:12:18

电商项目-基于ElasticSearch实现商品搜索功能(三)

本系列文章主要介绍基于 Spring Data Elasticsearch 实现商品搜索的后端代码，介绍代码逻辑和代码实现。主要实现功能：根据搜索关键字查询、条件筛选、规格过滤、价格区间搜索、搜索查询分页、搜索查询排序、高亮查询。主要应用技术:canal，…...

编程日记 2025/6/1 20:56:23

【51单片机】03 蜂鸣器-播放音乐

蜂鸣器-播放音乐一、原理介绍1.硬件电路二、练习1.让蜂鸣器发声2.尝试演奏小星星一、原理介绍蜂鸣器分为有源蜂鸣器、无源蜂鸣器两种。有源蜂鸣器：施加合适的电压之后就会发出特定频率的声音无源蜂鸣器：需要提供特定频率的声音信号，才能…...

编程日记 2025/6/2 7:03:18

MySQL 架构

MySQL架构 MySQL8.0服务器是由连接池、服务管理⼯具和公共组件、NoSQL接⼝、SQL接⼝、解析器、优化器、缓存、存储引擎、⽂件系统组成。MySQL还为各种编程语⾔提供了⼀套⽤于外部程序访问服务器的连接器。整体架构图如下所⽰： MySQL Connectors：为使⽤…...

编程日记 2025/6/3 13:25:24

XML 解析器：深入解析与高效应用

XML 解析器：深入解析与高效应用引言 XML（可扩展标记语言）作为一种重要的数据交换格式，被广泛应用于各种系统和平台中。为了有效地处理和解析XML数据，XML解析器发挥着至关重要的作用。本文将深入探讨XML解析器的原理…...

编程日记 2025/5/30 21:14:39

LabVIEW设计 IIR 滤波器

这是一个设计 IIR 滤波器的 LabVIEW 程序框图，其功能主要是用于设计滤波器并计算其频率响应，但它并不直接对输入的波形进行实时滤波，而是提供一个滤波器的频率响应分析工具。以下是框图中各部分的详细解释： 1. 主要模块功能说明 …...

编程日记 2025/5/29 13:55:53

基于改进粒子群优化的无人机最优能耗路径规划

目录 1. Introduction2. Preliminaries2.1. Particle Swarm Optimization Algorithm2.2. Deep Deterministic Policy Gradient2.3. Calculation of the Total Output Power of the Quadcopter Battery 3.OptimalEnergyConsumptionPathPlanningBasedonPSO-DDPG3.1.ProblemModell…...

编程日记 2025/6/3 6:36:39

逻辑回归（Logistic Regression）

1. 逻辑回归的引出

2. 逻辑回归的背景与意义

背景

意义

3. 逻辑回归的定义

模型公式

可视化图示

4. 逻辑回归的代价函数

4.1 为什么不能直接使用均方误差作为代价函数？

4.2 交叉熵损失函数（Cross-Entropy Loss）

可视化图示

4.3 代价函数的性质

5.逻辑回归的梯度下降法

5.1 梯度下降的目标

5.2 梯度下降公式

2.1 代价函数的梯度

2.2 参数更新公式

5.3 梯度下降的具体步骤

5.4 梯度下降的几种变体

5.5 学习率的影响

学习率影响的可视化图示

5.6 梯度下降的优缺点

优点

缺点

5.7 梯度下降的改进方法

5.8 总结

6. 逻辑回归的扩展

7. 逻辑回归的总结

相关文章：