机器学习(2)——逻辑回归
文章目录
- 1. 什么是逻辑回归?
- 2. 核心思想
- 3. 逻辑回归模型的训练:
- 4. 参数估计(损失函数与优化)
- 4.1. **损失函数:**
- 4.2. 极大似然估计(MLE)
- 4.3. 优化方法
- 5. 决策边界
- 6. 模型评估指标
- 7 . 假设与适用条件
- 8. 逻辑回归的优缺点:
- 9. 逻辑回归的常用应用:
- 10. 示例代码
1. 什么是逻辑回归?
逻辑回归(Logistic Regression) 是一种用于分类问题的统计方法,特别是用于二分类问题。尽管其名字中有“回归”二字,但逻辑回归实际上是一种分类模型。它通过一个线性模型来预测一个事件的发生概率,输出值在0到1之间。
2. 核心思想
逻辑回归的核心是通过一个线性模型来预测某个类别的概率。为了确保输出的结果在0到1之间,通过Sigmoid函数将线性回归的输出映射到概率空间(0到1之间),从而实现对类别的概率预测。
Sigmoid函数(Logistic函数)公式:
σ ( z ) = 1 1 + e − z σ(z)=\frac{1}{1+e^{-z}} σ(z)=1+e−z1
- 输入 z z z(线性组合): z = β 0 + β 1 x 1 + β 2 x 2 + ⋅ ⋅ ⋅ + β p x p z=β_0+β_1x_1+β_2x_2+···+β_px_p z=β0+β1x1+β2x2+⋅⋅⋅+βpxp
- 输出 σ ( z ) σ(z) σ(z):表示 P ( y = 1 ∣ x ) P(y=1|x) P(y=1∣x),即样本属于类别1的概率。
概率输出:
P ( y = 1 ∣ x ) = σ ( z ) , P ( y = 0 ∣ x ) = 1 − σ ( z ) P(y = 1 | x) = \sigma(z), \quad P(y = 0 | x) = 1 - \sigma(z) P(y=1∣x)=σ(z),P(y=0∣x)=1−σ(z)
3. 逻辑回归模型的训练:
逻辑回归的目标是通过训练数据找到最佳的权重和偏置,使得模型输出的概率能够尽可能准确地预测样本的类别。
训练逻辑回归模型通常使用 最大似然估计(Maximum Likelihood Estimation, MLE) 来估计参数。对于每个训练样本,模型会计算它属于某个类别的概率,然后通过这些概率来调整参数,使得预测结果与真实标签尽可能匹配。
4. 参数估计(损失函数与优化)
4.1. 损失函数:
逻辑回归的损失函数通常使用交叉熵损失函数(cross-entropy loss),也叫做对数损失函数,用来衡量预测概率与实际类别之间的差距。
对于二分类问题,交叉熵损失函数的公式为:
L ( y , y ^ ) = − [ y log ( y ^ ) + ( 1 − y ) log ( 1 − y ^ ) ] L(y,\hat y)=-[y\log(\hat y)+(1-y)\log(1-\hat y)] L(y,y^)=−[ylog(y^)+(1−y)log(1−y^)]
其中, y y y是真实标签(0或1), y ^ \hat y y^是模型预测的概率。
4.2. 极大似然估计(MLE)
-
目标:最大化观测数据的似然函数(即找到使当前数据最可能出现的参数)。
-
损失函数(对数损失/交叉熵损失):
J ( β ) = − 1 n ∑ i = 1 n [ y i log ( σ ( z i ) ) + ( 1 − y i ) log ( 1 − σ ( z i ) ) ] J(\beta) = -\frac{1}{n} \sum_{i=1}^{n} \left[ y_i \log(\sigma(z_i)) + (1 - y_i) \log(1 - \sigma(z_i)) \right] J(β)=−n1i=1∑n[yilog(σ(zi))+(1−yi)log(1−σ(zi))]- y i y_i yi :真实标签(0或1)。
- σ ( z i ) σ(z_i) σ(zi):模型预测的概率。
4.3. 优化方法
-
梯度下降:通过迭代更新参数 β β β 最小化损失函数:
β j : = β j − α ∂ J ( β ) ∂ β j \beta_j := \beta_j - \alpha \frac{\partial J(\beta)}{\partial \beta_j} βj:=βj−α∂βj∂J(β)-
α:学习率。
-
偏导数(梯度):
∂ J ( β ) ∂ β j = 1 n ∑ i = 1 n ( σ ( z i ) − y i ) x i j \frac{\partial J(\beta)}{\partial \beta_j} = \frac{1}{n} \sum_{i=1}^{n} \left( \sigma(z_i) - y_i \right) x_{ij} ∂βj∂J(β)=n1i=1∑n(σ(zi)−yi)xij
-
5. 决策边界
- 阈值:通常设为0.5(可调整)。
- 若 σ ( z ) ≥ 0.5 σ(z)≥0.5 σ(z)≥0.5,预测 y=1;
- 若 σ ( z ) < 0.5 σ(z)<0.5 σ(z)<0.5,预测 y=0。
- 边界形状:线性决策边界(在特征空间中是超平面)。
6. 模型评估指标
- 准确率(Accuracy):正确分类的比例。
- 精确率(Precision):预测为正类中实际为正类的比例。
- 召回率(Recall):实际为正类中被正确预测的比例。
- F1分数:精确率和召回率的调和平均。
- ROC-AUC:模型区分正负类的能力(AUC越接近1越好)。
7 . 假设与适用条件
- 二元输出:目标变量是二分类的。
- 线性关系:自变量与Logit(对数几率)呈线性关系。
- 独立性:样本间相互独立。
- 无多重共线性:自变量之间相关性不宜过高。
8. 逻辑回归的优缺点:
- 优点:
- 简单易懂,易于实现。
- 计算效率高,适合处理大规模数据。
- 可以输出概率,具有一定的解释性。
- 可通过正则化(L1/L2)防止过拟合。
- 缺点:
- 只能用于线性可分的数据,无法处理复杂的非线性关系。
- 对异常值比较敏感。
- 在特征之间存在高度相关性的情况下表现较差(多重共线性问题)。
9. 逻辑回归的常用应用:
- 二分类问题:
- 垃圾邮件分类(垃圾邮件或正常邮件)
- 疾病预测(有病或无病)
- 信贷风险评估(违约或不违约)等。
- 多分类问题:通过扩展为多项式逻辑回归(Multinomial Logistic Regression)或一对多(One-vs-Rest)方法,也可以处理多分类问题。
10. 示例代码
from sklearn.linear_model import LogisticRegression
from sklearn.metrics import accuracy_score# 示例数据
X = [[1.2], [2.4], [3.1], [4.8]] # 特征
y = [0, 0, 1, 1] # 标签# 训练模型
model = LogisticRegression()
model.fit(X, y)# 预测概率
prob = model.predict_proba([[3.0]]) # 输出[[P(y=0), P(y=1)]]
print("Probability:", prob)# 预测类别
pred = model.predict([[3.0]])
print("Predicted class:", pred)
相关文章:
机器学习(2)——逻辑回归
文章目录 1. 什么是逻辑回归?2. 核心思想3. 逻辑回归模型的训练:4. 参数估计(损失函数与优化)4.1. **损失函数:**4.2. 极大似然估计(MLE)4.3. 优化方法 5. 决策边界6. 模型评估指标7 . 假设与适用条件8. 逻…...
Sentinel核心算法解析の滑动窗口算法
文章目录 前言一、回顾:快速失败二、固定窗口算法三、滑动窗口算法三、源码体现3.1、ArrayMetric的初始化3.2、addPass3.2.1、currentWindow3.2.2、wrap.value().addPass 总结 前言 在Sentinel中,流控效果有快速失败、预热和排队等待。其中快速失败的统计…...
ida 使用记录
文章目录 伪代码-汇编hexstring快捷键 伪代码-汇编 流程图界面——F5——伪代码界面——再点Tab——流程图界面——再按空格——汇编界面流程图界面——空格——汇编界面 hex view - open subviews - hex dump string view - open subviews - string快捷键: sh…...
数字统计:
1.题意: 在1~N之间寻找d出现的个数,然后输出即可;例如:d2,N23,那么满足条件的有2,12,21,23,所以是4个 2.思路: 1.暴力枚举(不可能):可以先写出来去找规律 …...
【架构师从入门到进阶】第五章:DNSCDN网关优化思路——第八节:网关-注入攻击与预防
【架构师从入门到进阶】第五章:DNS&CDN&网关优化思路——第八节:网关-注入攻击与预防 SQL注入攻击的原理攻击者获取数据库表结构预防SQL注入的方法 这篇文章我们来看SQL注入。 SQL注入攻击的原理 SQL注入攻击的原理呢?我们来简单说…...
波束形成(BF)从算法仿真到工程源码实现-第五节-线性约束最小方差波束形成算法(LCMV)
一、概述 本节我们讨论线性约束最小方差波束形成算法(Linearly constrained minimum variance,LCMV)波束形成算法,包括原理分析及代码实现。 更多资料和代码可以进入https://t.zsxq.com/qgmoN ,同时欢迎大家提出宝贵的建议,以共同探讨学习。 …...
Java类加载机制原理与应用
前言 Java 中的类加载机制(Class Loading Mechanism)是 JVM 架构中的核心组成部分,它控制着类从编译后的 .class 文件被加载到内存、并最终变成可以被程序使用的对象的全过程。涉及类加载器、双亲委派模型及加载过程。下面我们从原理到实际应…...
android display 笔记(十三)surfcaeflinger的DEQUEUED、QUEUED
BufferQueue 的核心作用 BufferQueue 是 生产者-消费者模型 的核心组件,协调应用(生产者)和 SurfaceFlinger(消费者)之间的图形缓冲区(GraphicBuffer)传递。 生产者:应用࿰…...
数据库预热
介绍 Database Warm-up 🧠 一句话理解 数据库是在应用启动阶段,提前建立数据库连接 或 执行轻量 SQL 操作,从而 加快首个请求的响应速度 的一种优化手段 🎯 为什么需要数据库预热? 当 FastAPI 或其他 Web 服务刚启…...
C语言—程序的编译和链接
1. 翻译环境和运行环境 在ANSI S的任何一种实现中,存在两个不同的环境 第一种是翻译环境,在这个环境中源代码被转换为可执行的机器指令(二进制指令) 第二种是执行环境,它用于实际执行代码 2. 翻译环境 翻译环境是由…...
Neo4j GDS-10-neo4j GDS 库中相似度算法介绍
neo4j apoc 系列 Neo4j APOC-01-图数据库 apoc 插件介绍 Neo4j GDS-01-graph-data-science 图数据科学插件库概览 Neo4j GDS-02-graph-data-science 插件库安装实战笔记 Neo4j GDS-03-graph-data-science 简单聊一聊图数据科学插件库 Neo4j GDS-04-图的中心性分析介绍 Ne…...
Unity 动画
Apply Root Motion 勾选的话就会使用动画片段自带的位移 Update Mode (动画重新计算骨骼位置转向缩放的数值): Normal : 随Update走,每次Update都计算Animate Physics :与 fixed Update() 同步࿰…...
【位运算】只出现一次的数字 II
文章目录 137. 只出现一次的数字 II解题思路一:借用数组的位运算解法二:不使用数组的位运算 137. 只出现一次的数字 II 137. 只出现一次的数字 II 给你一个整数数组 nums ,除某个元素仅出现 一次 外,其余每个元素都恰出现 **…...
模型开发中的微调是干什么
在模型开发中,微调(Fine-tuning) 是指利用预训练模型(Pre-trained Model)的参数作为初始值,在特定任务或数据集上进一步调整模型参数的过程。它是迁移学习(Transfer Learning)的核心…...
leetcode 204. Count Primes
题目描述 这是道纯数学类问题。 先回忆一下,素数的定义。 质数(英文名:Prime number)又称素数,是指在大于1的自然数中,除了1和它本身以外不再有其他因数的自然数。 质数又称素数。一个大于1的自然数&…...
fastadmin后端添加页面,自主控制弹出框关闭,关闭父页面弹框
Form.api.bindevent($(“form[roleform]”), (data, ret) > { 重写绑定事件,返回false即可 注意:只有返回code1才能拦截,其他值不进行拦截 add: function () {//获取当前search里面的type值var type location.search.split(type)[1];Form.api.bindevent($("form[role…...
LeetCode 255 超通俗讲解:Swift 验证前序是否 BST
文章目录 摘要描述题解答案题解代码分析核心点解释: 示例测试及结果时间复杂度空间复杂度总结未来展望 摘要 在做算法题的时候,树相关的题总是“神神叨叨”的,但其实抓住核心规则,它们也挺有逻辑的。今天这题——LeetCode 255&am…...
Win32++ 使用初探
文章目录 1. 环境要求2. Win32安装3. 项目创建3.1 项目创建(1)直接使用Win32里的示例Sample(2)自行创建项目 最近想用 VC写些 UI,但又不太想用 MFC,正好对界面要求不太高,就使用了一下 Win3…...
求解时间复杂度
1.设 t 法 当求解出现while循环时,设t求解 void fun(int n) {int i 1;while(i < n)i i * 2; } 解法: 1.设循环次数为t; 2.将while循环中的语句展开到循环t次 1 2 3 …… t 2 2^2 2^3 …… 2^t 3.跳出循环 2^t > n …...
深度解析:如何高效识别并定位问题关键词
什么是问题关键词? 问题关键词是人们在搜索引擎中输入以查找信息、答案或解决方案的问题。这些查询以问题指示符开头,例如: who、what、where、when、why、how、which、will、would、should、can、could、is、are、was、were、do、does 或 d…...
c++小做——完全数
今天,我们来写一个完全数的代码 首先是 long long n; cin>>n; (you~输入的数) 然后是 long long b0;//因数的和 long long cnt0;//计数器 接着是 for(long long i2;i<n-1;i) {} 在里面插入 bb-i;再写一个for for(int a1;a&…...
GGML源码逐行调试(下)
目录 前言1. 简述2. 预分配计算图内存2.1 创建图内存分配器2.2 构建最坏情况的计算图2.3 预留计算图内存 3. 分词4. 模型推理与生成4.1 模型推理4.2 采样 结语下载链接参考 前言 学习 UP 主 比飞鸟贵重的多_HKL 的 GGML源码逐行调试 视频,记录下个人学习笔记&#x…...
JavaScript学习教程,从入门到精通, JavaScript 函数全面解析与案例实践(11)
JavaScript 函数全面解析与案例实践 项目导读 JavaScript 函数是编程中的核心概念,是执行特定任务的代码块。本教程将全面讲解函数的定义、参数、返回值及调用方式,并通过实际案例加深理解。 学习目标 掌握 JavaScript 函数的定义与调用方法理解函数…...
音视频之H.265/HEVC编码框架及编码视频格式
一、编码框架: H.265/HEVC采用混合编码框架,包括变换、量化、熵编码、帧内预测、帧预测以及环路滤波等模块。但是,H.265/HEVC几乎在每个模块都引入了新的编码技术。 1、帧内预测: 该模块主要用于去除图像的空间相关性。通过编码后…...
栈与队列:两种经典线性数据结构的深度解析
一、栈:LIFO 特性的完美诠释 (一)核心概念与抽象模型 定义与特性 栈是一种严格遵循后进先出(LIFO)原则的线性数据结构,其操作被限制在栈顶(Top)进行。形象化理解:如同堆…...
0x01、Redis 主从复制的实现原理是什么?
Redis 主从复制概述 Redis 的主从复制是一种机制,允许一个主节点(主实例)将数据复制到一个或多个从节点(从实例)。通过这一机制,从节点可以获取主节点的数据并与之保持同步。 复制流程 开始同步…...
Python实现贪吃蛇一
贪吃蛇是一款经典的小游戏,最近尝试用Python实现它。先做一个基础版本实现以下目标: 1、做一个按钮,控制游戏开始 2、按Q键退出游戏 3、右上角显示一个记分牌 4、随机生成一个食物,蛇吃到食物后长度加一,得10分 5、蛇碰…...
01-libVLC的视频播放器:环境搭建以及介绍
项目展示项目播放器 VLC简介VLC媒体播放器(VideoLAN Client)是一款开源、跨平台的自由多媒体播放器,由VideoLAN项目开发。它支持众多音频与视频格式(如MPEG-2、MPEG-4、H.264、MKV、WebM、WMV、MP3等),以及DVD、VCD和各种流媒体协议。 VLC的特点跨平台支持:Windows、mac…...
linux内核升级
这里介绍一下linux内核升级 因为需要搭建k8s集群内核内核版本过低会导致集群出现问题,为了避免问题发生我们对集群内核进行升级处理 这个是我目前本身的内核版本 用了很多的镜像站去进行更新发现更新不了(阿里云不能用了,貌似是删除了&…...
电感详解:定义、作用、分类与使用要点
一、电感的基本定义 电感(Inductor) 是由导线绕制而成的储能元件,其核心特性是阻碍电流变化,将电能转化为磁能存储。 基本公式: 自感电动势: E -L * (di/dt) (L:电感值,…...
扩散模型简介
扩散模型简介 基本原理 扩散模型是一种基于概率扩散过程的生成模型,其核心思想是通过正向扩散过程和反向去噪过程生成数据: 正向扩散过程:从真实数据(如图像)开始,逐步添加高斯噪声,最终将数据…...
MySQL安装实战分享
一、在 Windows 上安装 MySQL 1. 下载 MySQL 安装包 访问 MySQL 官方下载页面。选择适合你操作系统的版本。一般推荐下载 MySQL Installer。 2. 运行安装程序 双击下载的安装文件(例如 mysql-installer-community-<version>.msi)。如果出现安全…...
掌握 Git 的十大基础命令
李升伟 编译 在 IT 领域,很少有技术能像 Git 一样占据绝对主导地位,几乎无人能及。Git 在软件开发中扮演着核心角色,其影响力之大甚至让其他版本控制系统(如 SVN 和 Mercurial)几乎被淘汰。如今,我们已难以…...
58-使用wordpress快速创建个人网站
直接找台可以联网的linux(我的环境是rocky8.9)一顿运行,思路就是安装docker,然后启动一个数据库,然后启动一个wordpress,然后就是把端口暴露出来。 227 yum remove podman 228 yum install -y yum-utils…...
若依前后端分离版运行教程、打包教程、部署教程
后端打包教程 注意:需要先运行redis 2、前端运行教程 2.1安装依赖 2.2运行 打开浏览器查看,地址:http://localhost:80 3、前端打包教程 3.1打包 3.2运行打包好的文件,先找到打包好的文件 这是nginx的文件结构 将打包好的文件放到html目录下…...
【Python3教程】Python3基础篇之数据结构
博主介绍:✌全网粉丝22W+,CSDN博客专家、Java领域优质创作者,掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域✌ 技术范围:SpringBoot、SpringCloud、Vue、SSM、HTML、Nodejs、Python、MySQL、PostgreSQL、大数据、物联网、机器学习等设计与开发。 感兴趣的可…...
transformers的 pipeline是什么:将模型加载、数据预处理、推理等步骤进行了封装
transformers的 pipeline是什么:将模型加载、数据预处理、推理等步骤进行了封装 pipe = pipeline("text-generation", model=model, tokenizer=tokenizer, max_new_tokens=50 )pipeline :这是 transformers 库中一个非常实用的工具函数。它可以基于预训练模型快速构…...
十七、TCP编程
TCP 编程是网络通信的核心,其 API 围绕面向连接的特性设计,涵盖服务端和客户端的交互流程。以下是基于 C 语言的 TCP 编程核心 API 及使用流程的详细解析: 核心 API 概览 函数角色描述socket()通用创建套接字,指定协议族…...
Obsidian 技巧篇
Obsidian 技巧篇 本篇文章主要汇总分享几个 Ob 中好用的小技巧,包括嵌入视频播放、文本颜色设置、插入大纲、Mermaid 绘制图形。原文见于:Obsidian技巧篇。 嵌入视频播放 <iframe width"860" height"700" src"https://ww…...
使用Fortran读取HDF5数据
使用Fortran读取HDF5数据 下面我将介绍如何在Fortran中读取HDF5文件中的各种类型数组数据,包括一维数组、二维数组、元数组和变长数组。 准备工作 首先需要确保系统安装了HDF5库,并且在编译时链接了HDF5库。例如使用gfortran编译时: gfor…...
L36.【LeetCode题解】查找总价格为目标值的两个商品(剑指offer:和为s的两个数字) (双指针思想,内含详细的优化过程)
目录 1.LeetCode题目 2.分析 方法1:暴力枚举(未优化的双指针) 方法2:双指针优化:利用有序数组的单调性 版本1代码 提问:版本1代码有可以优化的空间吗? 版本2代码 提问:版本2代码有可以优化的空间吗? 版本3代码(★推荐★) 3.牛客网题目:和为s的数字 1.LeetCode题目 …...
mysql 商城商品属性开发的动态解决方案
终极方案:动态属性解决方案 推荐使用 JSON 字段 虚拟列索引 的组合方案 结合灵活存储与查询优化,平衡扩展性与性能 完整实现步骤 步骤 1:创建基础表结构 CREATE TABLE products (id INT PRIMARY KEY AUTO_INCREMENT,name VARCHAR(100) NO…...
Java递归练习----猴子偷桃
问题: 有一堆桃子,猴子第一天吃灵其中的一般,并在多吃了一个!以后每天猴子都吃其中的一半,然后多吃一个。当到第十天时,想再吃时(即还没吃),发现只有1个桃子了ÿ…...
[干货]PHM学习软件|PHM预测性维护系统
使用步骤教程如下 1、登录 用户名:52phm 密码:xxx (区别在于不同用户密钥不一样) 2、上传需要分析的数据集 支持数据集格式:csv、xlsx、xls、mat、json 3、主题1:机械参数计算 计算轴承、齿轮、皮带的…...
详解正则表达式中的?:、?= 、 ?! 、?<=、?<!
1、?: - 非捕获组 语法: (?:pattern) 作用: 创建一个分组但不捕获匹配结果,不会将匹配的文本存储到内存中供后续使用。 优势: 提高性能和效率 不占用编号(不会影响后续捕获组的编号) 减少内存使用 // 使用捕获组 let regex1 /(hell…...
Java常见面试问题
一.Liunx 二.Java基础 1.final 2.static 3.与equals 三.Collection 1.LIst 2.Map 3.Stream 四、多线程 1.实现方法 2.线程池核心参数 3.应用场景 五、JVM 1.堆 2.栈 六、Spring 1.面向对象 2.IOC 3.AOP 七、Springboot 1.自动装配 八、SpringCloud 1.Nacos 2.seata 3.ga…...
C#MQTT协议服务器与客户端通讯实现(客户端包含断开重连模块)
C#MQTT协议服务器与客户端通讯实现 1 DLL版本2 服务器3 客户端 1 DLL版本 MQTTnet.DLL版本-2.7.5.0 基于比较老的项目中应用的DLL,其他更高版本变化可能较大,谨慎参考。 2 服务器 开启服务器 关闭服务器 绑定事件【客户端连接服务器事件】 绑定事件【客户…...
GGML源码逐行调试(上)
目录 前言1. 简述2. 环境配置3. ggml核心概念3.1 gguf3.2 ggml_tensor3.3 ggml_backend_buffer3.4 ggml_context3.5 backend3.6 ggml_cgraph3.7 ggml_gallocr 4. 推理流程整体梳理4.1 时间初始化与参数设置4.2 模型加载与词汇表构建4.3 计算图与内存分配4.4 文本预处理与推理过…...
智能测试用例生成:老旧平台页面查询功能的大模型改造
引言 由于GUI小工具【Deepseek APIPython 测试用例一键生成与导出】的不断升级实践,发现大模型的需求文档解析生成测试用例的可直接复用率不太理想,因此萌生了对老旧系统升级改造的想法。旧测试用例生成平台主要在于采集用户输入的字段名称、字段类型及…...
使用Python解决Logistic方程
引言 在数学和计算机科学中,Logistic 方程是描述人口增长、传播过程等现象的一种常见模型。它通常用于表示一种有限资源下的增长过程,比如动物种群、疾病传播等。本文将带领大家通过 Python 实现 Logistic 方程的求解,帮助你更好地理解这一经典数学模型。 1.什么是 Logist…...