当前位置：首页 > news >正文

机器学习实战(4)：逻辑回归——分类问题的基础

news 来源：原创 2025/9/18 21:39:19

第4集：逻辑回归——分类问题的基础

在机器学习中，逻辑回归（Logistic Regression） 是解决分类问题的经典算法之一。尽管名字中有“回归”，但它实际上是一种分类模型，广泛应用于二分类任务（如垃圾邮件检测、疾病诊断等）。今天我们将深入探讨逻辑回归的数学原理，并通过实践部分使用 Iris 数据集 进行二分类任务。

逻辑回归的数学原理

什么是逻辑回归？

逻辑回归的核心思想是将线性回归的输出映射到 [0, 1] 区间，从而表示概率值。其公式如下：
$\frac{1}{1 + e^{-(w_0 + w_1x_1 + w_2x_2 + ... + w_px_p)}}$
其中：
$P (y = 1∣ x) 表示给定输入特征 x 时，样本属于类别 1 的概率。$
$w_0, w_1, ..., w_p 是模型的参数。$
$e 是自然对数的底数。$
最终预测结果为：
$\hat{y} = \begin{cases} 1 & \text{if } P(y=1|x) \geq 0.5 \\ 0 & \text{otherwise} \end{cases}$

Sigmoid 函数的作用

逻辑回归的关键在于 Sigmoid 函数，它将线性回归的输出压缩到 [0, 1] 范围内。Sigmoid 函数的公式为：
$\sigma(z) = \frac{1}{1 + e^{-z}}$
其中 $z = w_0 + w_1x_1 + w_2x_2 + ... + w_px_p$ 。

图1：Sigmoid 函数图像
（图片描述：当 z 趋近于负无穷时，函数值趋近于 0；当 z 趋近于正无穷时，函数值趋近于 1。）

Sigmoid 函数的作用是将线性回归的连续输出转化为概率值，便于进行分类决策。

决策边界与概率输出

决策边界

逻辑回归通过找到一个超平面（在二维空间中是一条直线），将数据分为两类。决策边界由以下方程定义：
$w_0 + w_1x_1 + w_2x_2 + ... + w_px_p = 0$
所有满足该方程的点构成了决策边界。

概率输出

逻辑回归不仅提供分类结果，还输出每个样本属于某一类的概率。例如：

$80\% 的概率属于类别 1。$

分类模型的评价指标

为了评估分类模型的性能，我们通常使用以下指标：

1. 准确率（Accuracy）

准确率表示模型预测正确的比例：
$\text{Accuracy} = \frac{\text{True Positives} + \text{True Negatives}}{\text{Total Samples}}$

2. 召回率（Recall）

召回率表示实际为正类的样本中被正确预测的比例：
$\text{Recall} = \frac{\text{True Positives}}{\text{True Positives} + \text{False Negatives}}$

3. F1 分数

F1 分数是精确率和召回率的调和平均值：
$\cdot \frac{\text{Precision} \cdot \text{Recall}}{\text{Precision} + \text{Recall}}$

实践部分：使用逻辑回归对 Iris 数据集进行二分类任务

数据集简介

Iris 数据集包含 150 条记录，每条记录有 4 个特征（花萼长度、花萼宽度、花瓣长度、花瓣宽度）和 1 个标签（鸢尾花种类）。我们将只使用前两个类别（Setosa 和 Versicolor）进行二分类任务。

完整代码

import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.datasets import load_iris
from sklearn.model_selection import train_test_split
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score, recall_score, f1_score, confusion_matrix, classification_report# 加载数据
iris = load_iris()
data = pd.DataFrame(iris.data, columns=iris.feature_names)
data['Species'] = iris.target# 只保留前两个类别（Setosa 和 Versicolor）
data = data[data['Species'] != 2]# 提取特征和标签
X = data.iloc[:, :2]  # 使用前两个特征（花萼长度和宽度）
y = data['Species']# 分割数据集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)# 构建逻辑回归模型
model = LogisticRegression()
model.fit(X_train, y_train)# 预测
y_pred = model.predict(X_test)# 评估模型性能
accuracy = accuracy_score(y_test, y_pred)
recall = recall_score(y_test, y_pred)
f1 = f1_score(y_test, y_pred)
conf_matrix = confusion_matrix(y_test, y_pred)print("模型评估结果：")
print(f"Accuracy: {accuracy:.2f}")
print(f"Recall: {recall:.2f}")
print(f"F1 Score: {f1:.2f}")
print("Confusion Matrix:")
print(conf_matrix)# 绘制决策边界
plt.figure(figsize=(10, 6))# 绘制训练集散点图
plt.scatter(X_train.iloc[:, 0], X_train.iloc[:, 1], c=y_train, cmap='coolwarm', edgecolor='k', s=100, label='Training Data')# 绘制测试集散点图
plt.scatter(X_test.iloc[:, 0], X_test.iloc[:, 1], c=y_test, cmap='coolwarm', marker='x', s=100, label='Testing Data')# 绘制决策边界
x_min, x_max = X.iloc[:, 0].min() - 0.5, X.iloc[:, 0].max() + 0.5
y_min, y_max = X.iloc[:, 1].min() - 0.5, X.iloc[:, 1].max() + 0.5
xx, yy = np.meshgrid(np.arange(x_min, x_max, 0.01), np.arange(y_min, y_max, 0.01))
Z = model.predict(np.c_[xx.ravel(), yy.ravel()])
Z = Z.reshape(xx.shape)
plt.contourf(xx, yy, Z, alpha=0.3, cmap='coolwarm')# 添加标题和标签
plt.title('Logistic Regression Decision Boundary', fontsize=16)
plt.xlabel('Sepal Length (cm)', fontsize=12)
plt.ylabel('Sepal Width (cm)', fontsize=12)
plt.legend()
plt.show()

运行结果

输出结果（输出图片见图2所示）：

模型评估结果：
Accuracy: 1.00
Recall: 1.00
F1 Score: 1.00
Confusion Matrix:
[[17  0][ 0 13]]

图2：逻辑回归决策边界
（图片描述：二维平面上展示了训练集（圆点）和测试集（叉号）的数据分布，背景颜色表示决策边界划分的区域。蓝色区域对应类别 0，红色区域对应类别 1。）

总结

本文介绍了逻辑回归的基本原理及其在分类任务中的应用。通过实践部分，我们成功使用逻辑回归对 Iris 数据集进行了二分类任务，并绘制了决策边界。希望这篇文章能帮助你更好地理解逻辑回归！

参考资料

Scikit-learn 文档: https://scikit-learn.org/stable/documentation.html
Iris 数据集: https://archive.ics.uci.edu/ml/datasets/iris

机器学习实战(4)：逻辑回归——分类问题的基础

第4集：逻辑回归——分类问题的基础在机器学习中，逻辑回归（Logistic Regression） 是解决分类问题的经典算法之一。尽管名字中有“回归”，但它实际上是一种分类模型，广泛应用于二分类任务（如垃圾…...

编程日记 2025/9/18 21:39:19

我是如何从 0 到 1 找到 Web3 工作的？

作者：Lotus的人生实验关于我花了一个月的时间，从 0 到 1 学习 Web3 相关的知识和编程知识。然后找到了一个 Web3 创业公司实习的远程工作。 👇👇👇 我的背景: 计算机科班，学历还可以(大厂门槛水平) 毕业工…...

编程日记 2025/9/15 10:57:48

基于WebRTC与AI大模型接入EasyRTC：打造轻量级、高实时、强互动的嵌入式音视频解决方案

随着物联网和嵌入式技术的快速发展，嵌入式设备对实时音视频通信的需求日益增长。然而，传统的音视频解决方案往往存在体积庞大、实时性差、互动体验不佳等问题，难以满足嵌入式设备的资源限制和应用场景需求。针对以上痛点，本文将介…...

编程日记 2025/9/15 10:57:46

【DeepSeek】本地部署，保姆级教程

deepseek网站链接传送门：DeepSeek 在这里主要介绍DeepSeek的两种部署方法，一种是调用API，一种是本地部署。一、API调用 1.进入网址Cherry Studio - 全能的AI助手选择立即下载 2.安装时位置建议放在其他盘，不要放c盘 3.进入软件后…...

编程日记 2025/9/15 10:57:44

Java 大视界 -- 国际竞争与合作：Java 大数据在全球市场的机遇与挑战（94）

💖亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2025/9/15 10:57:41

流程绩效分析，实现销售目标的保障

在当今竞争激烈的商业环境里，客户关系管理（CRM）行业正迎来深刻变革。企业若想在市场中脱颖而出，实现业务的持续增长，流程绩效分析成为关键。通过提供销售全流程绩效分析能力，企业能够针对销售全流程的复杂业…...

编程日记 2025/9/15 10:57:39

Linux NFS

Linux NFS NFS（Network File System）是一种用于在网络上共享文件系统的协议，允许不同的计算机通过网络访问和共享文件，就像访问本地文件一样。它广泛应用于 Linux 和 UNIX 系统中，支持多用户并发访问，适合…...

编程日记 2025/9/15 4:50:47

一文精通JWT Token、ID Token、Access Token、Refresh Token

JWT Token JSON Web Token (JWT，RFC 7519 (opens new window))，是为了在网络应用环境间传递声明而执行的一种基于 JSON 的开放标准（(RFC 7519)。该 token 被设计为紧凑且安全的，特别适用于分布式站点的单点登录（SSO）场景。JWT 的声明一般被用来在身份提供者和服务提供者…...

编程日记 2025/9/15 10:57:35

CSS基础（浮动、相对定位、绝对定位、固定定位、粘性定位、版心、重置默认样式）

文章目录 1. 浮动（float）1.1 简介1.2 元素浮动后的特点1.3 脱离文档流示例图1.4 浮动产生的影响1.4.1 积极影响1.4.2 消极影响 1.5 解决浮动产生的影响1.5.1 清除浮动（Clearfix）1.5.2 创建新的块格式化上下文（BFC&…...

编程日记 2025/9/14 17:43:14

uniapp中引入Vant Weapp的保姆级教学（包含错误处理）

废话不多说，直接上方法，网上的教学好多都是错误的 1.安装vant weapp 在Hbuilder的终端，输入以下代码 npm install vant/weapp -S --production 2.新建wxcomponents文件夹在项目的跟目录新建一个“wxcomponents’文件夹，与app.…...

编程日记 2025/9/15 10:57:31

Datawhale Ollama教程笔记5

Dify 接入 Ollama 部署的本地模型 Dify 支持接入 Ollama 部署的大型语言模型推理和 embedding 能力。快速接入下载 Ollama 访问 Ollama 安装与配置，查看 Ollama 本地部署教程。运行 Ollama 并与 Llama 聊天 ollama run llama3.1Copy to clipboardErrorCopied …...

编程日记 2025/9/15 10:57:29

STL —— 洛谷字符串（string库）入门题（蓝桥杯题目训练）（二）

目录一、B2121 最长最短单词 - 洛谷算法代码： 代码分析变量定义输入处理单词长度计算更新最长和最短单词的长度输出最长单词输出最短单词评测记录：编辑二、B2122 单词翻转 - 洛谷算法代码： 代码分析引入头文件和定…...

编程日记 2025/9/15 9:47:41

P1055 [NOIP 2008 普及组] ISBN 号码(java)【AC代码】

每一本正式出版的图书都有一个 ISBN 号码与之对应，ISBN 码包括 9 位数字、1 位识别码和 3 位分隔符，其规定格式如 x-xxx-xxxxx-x，其中符号 - 就是分隔符（键盘上的减号），最后一位是识别码，例如 0…...

编程日记 2025/9/15 10:57:24

JavaScript如何创建一个对象？对象字面量和构造函数创建对象有什么区别？

JavaScript如何创建一个对象？对象字面量和构造函数创建对象有什么区别？ JavaScript 创建对象的方式在 JavaScript 中，有多种方式可以创建对象，这里主要介绍对象字面量和构造函数这两种常见的方式。 1. 对象字面量对象字面量…...

编程日记 2025/9/15 10:57:22

【量化科普】Sharpe Ratio，夏普比率

【量化科普】Sharpe Ratio，夏普比率 🚀🚀🚀量化软件开通🚀🚀🚀 🚀🚀🚀量化实战教程🚀🚀🚀 在量化投资领域，…...

编程日记 2025/9/15 10:57:20

知识蒸馏知识点

1基于kl散度计算，学生模型需要用log_softmax处理 2 为了避免温度对梯度的影响，loss*T**2 操作目的教师 / 学生输出除以软化概率分布，暴露类别间关系损失乘以抵消温度对梯度的缩放，维持梯度量级稳定，确保训练收敛性 import torch import torch.nn.functional as F# 原…...

编程日记 2025/9/15 10:57:18

Springboot + Ollama + IDEA + DeepSeek 搭建本地deepseek简单调用示例

1. 版本说明 springboot 版本 3.3.8 Java 版本 17 spring-ai 版本 1.0.0-M5 deepseek 模型 deepseek-r1:7b 需要注意一下Ollama的使用版本： 2. springboot项目搭建可以集成在自己的项目里，也可以到 spring.io 生成一个项目生成的话，如下…...

编程日记 2025/9/15 10:57:16

【MySQL】MySQL表的增删改查（进阶）

1.❤️❤️前言~🥳🎉🎉🎉 Hello, Hello~ 亲爱的朋友们👋👋，这里是E绵绵呀✍️✍️。如果你喜欢这篇文章，请别吝啬你的点赞❤️❤️和收藏📖📖。如果你对我的…...

编程日记 2025/9/15 10:57:14

装修流程图：装修前准备 → 设计阶段 → 施工阶段 → 安装阶段 → 收尾阶段 → 入住

文章目录引言I 毛坯房装修的全流程**1. 装修前准备****1.1 确定装修预算****1.2 选择装修方式****1.3 选择装修公司****1.4 办理装修手续****2. 设计阶段****2.1 量房****2.2 设计方案****2.3 确认方案****3. 施工阶段****3.1 主体拆改****3.2 水电改造****3.3 防水工程****3.…...

编程日记 2025/9/15 10:57:13

JavaScript系列（79）--Web Worker 高级应用

Web Worker 高级应用 🔄 Web Worker 为JavaScript提供了真正的多线程能力，让我们能够在后台线程中执行复杂的计算而不阻塞主线程。今天让我们深入探讨Web Worker的高级应用。 Web Worker 概述 🌟 💡 小知识：Web Work…...

编程日记 2025/9/15 8:23:13

人工智能之自动驾驶技术体系

自动驾驶技术体系自动驾驶技术是人工智能在交通领域的重要应用，旨在通过计算机视觉、传感器融合、路径规划等技术实现车辆的自主驾驶。自动驾驶不仅能够提高交通效率，还能减少交通事故和环境污染。本文将深入探讨自动驾驶的技术体系，包括感…...

编程日记 2025/9/15 8:23:11

该如何搭建高效的跨境网络专线？

在如今这个全球化的商业环境中，跨境网络专线成为了企业与个人实现高效、安全跨国通信的重要工具。大家好，在接下来的内容中，我将深入为您探讨跨境网络专线的概念、特点以及搭建流程，帮助您更好地理解和利用这一技术。一、什么是…...

编程日记 2025/9/15 8:23:08

网络运维学习笔记 017HCIA-Datacom综合实验01

文章目录综合实验1实验需求总部特性分支8分支9 配置一、基本配置（IP二层VLAN链路聚合）ACC_SWSW-S1SW-S2SW-Ser1SW-CoreSW8SW9DHCPISPGW 二、单臂路由GW 三、 vlanifSW8SW9 四、 OSPFSW8SW9GW 五、 DHCPDHCPGW 六、 NAT缺省路由GW 七、 HTTPGW 综合实…...

编程日记 2025/9/15 8:23:06

Redis数据结构-String字符串

1.String字符串字符串类型是Redis中最基础的数据结构，关于数据结构与要特别注意的是：首先Redis中所有的键的类型都是字符串类型，而且其他集中数据结构也都是在字符串类似基础上进行构建，例如列表和集合的元素类型是字符串类型&a…...

编程日记 2025/9/15 8:23:03

个人简历html网页模板，科技感炫酷html简历模板

炫酷动效登录页引言在网页设计中，按钮是用户交互的重要元素之一。这样一款黑色个人简历html网页模板，科技感炫酷html简历模板，设计效果类似科技看板图，可帮您展示技能、任职经历、作品等，喜欢这种风格的小伙伴不要犹豫哦。该素材呈现了数据符号排版显示出人形的动画效…...

编程日记 2025/9/14 10:14:43

【Python爬虫(39)】掌控全局：分布式爬虫的任务管理与监控之道

【Python爬虫】专栏简介：本专栏是 Python 爬虫领域的集大成之作，共 100 章节。从 Python 基础语法、爬虫入门知识讲起，深入探讨反爬虫、多线程、分布式等进阶技术。以大量实例为支撑，覆盖网页、图片、音频等各类数据爬取&#xff…...

编程日记 2025/9/15 8:22:57

输入框元素覆盖冲突

后端响应中的 "trainingKbGroupName": "基础死型" 通过searchForm2.initFormData(rowData[0]);操作会把基础死型四个字填充到<div class"col-sm-5 form-group"> <label class"col-sm-3 control-label">知识点分组名称<…...

编程日记 2025/9/15 8:22:52

R语言学习笔记——确定指标权重：层次分析法/熵权法/CRITIC方法

本文介绍使用R语言确定指标权重的方法，包括：层次分析法、熵权法和CRITIC方法，内容包含了逆向指标正向化处理。 1、层次分析法 #######层次分析法###### ###几何平均法求权重 options(digits 2) library(tidyverse)macro <- tibble(x1c(…...

编程日记 2025/9/15 8:22:50

前端面试之Box盒子布局：核心知识与实战解析

目录引言：布局能力决定前端高度一、盒模型基础：看得见的像素战争 1. 标准盒模型 vs IE盒模型 2. 核心组成公式 3. 视觉格式化模型二、传统布局三剑客 1. 浮动布局（Float Layout） 2. 定位布局（Position Layou…...

编程日记 2025/9/15 8:22:47

前端VUE+后端uwsgi 环境搭建

1整体架构请求流程the web clinet--the web server->the socket->uwsgi--django 第一级的nginx并不是必须的，uwsgi完全可以完成整个的和浏览器交互的流程；在nginx上加上安全性或其他的限制，可以达到保护程序的作用；uWSGI本…...

编程日记 2025/9/15 8:22:44

保姆级！本地部署DeepSeek-R1大模型安装Ollama Api 后，Postman本地调用 deepseek

要在Postman中访问Ollama API并调用DeepSeek模型，你需要遵循以下步骤。首先，确保你有一个有效的Ollama服务器实例运行中，并且DeepSeek模型已经被加载。可以参考我的这篇博客保姆级！使用Ollama本地部署DeepSeek-R1大模型并java…...

编程日记 2025/9/15 10:57:11

【python】pip命令合集

文章目录 1. 包安装与卸载2. 依赖管理与文件操作3. 包下载与构建4. 配置与缓存管理5. 高级调试与日志6. 虚拟环境集成7. 哈希验证与安全8. 实验性功能（可能不稳定）9. 其他实用命令参数大全（全局常用参数）示例场景 conda: 【python…...

编程日记 2025/9/15 10:57:09

【鸿蒙开发】第四十章 Form Kit（卡片开发服务）

目录 1 概述 1.1 卡片使用场景 1.2 服务卡片架构 1.3 亮点/特征 1.4 开发模式 1.5 与相关Kit的关系 1.6 约束限制 2 ArkTS卡片运行机制 2.1 实现原理 2.2 ArkTS卡片的优势 2.3 ArkTS卡片的约束 3 ArkTS卡片相关模块 4 ArkTS卡片开发指导 4.1 创建一个ArkTS卡片 …...

编程日记 2025/9/15 10:57:07

汽车自动驾驶辅助L2++是什么？

自动驾驶辅助级别有哪些？ 依照SAE（SAE International，Society of Automotive Engineers国际自动机工程师学会）的标准，大致划分为6级（L0-L5）： L0人工驾驶：即没有驾驶辅助…...

编程日记 2025/9/15 10:57:06

微信小程序消息推送解密

package com.test.main.b2b;import org.apache.commons.codec.binary.Base64;import javax.crypto.Cipher; import javax.crypto.spec.IvParameterSpec; import javax.crypto.spec.SecretKeySpec; import java.util.Arrays;/*** author * version 1.0* description: 解谜微信小…...

编程日记 2025/9/15 9:47:46