二元Logistic回归
二元Logistic回归
在机器学习领域，二元Logistic回归是一种非常经典的分类模型，广泛用于解决具有两类标签的分类问题。Logistic回归通过逻辑函数（Sigmoid函数）将预测结果映射到概率值，并进行分类。
一、Logistic回归
Logistic回归是一种广泛应用于二分类问题的统计方法，它本质上是一种分类算法。Logistic回归的目标是预测样本属于某一类的概率值。其模型形式为：
p ( y = 1 ∣ X ) = σ ( θ T X ) = 1 1 + e − ( θ T X ) p(y=1|X) = \sigma(\theta^T X) = \frac{1}{1 + e^{-(\theta^T X)}} p(y=1∣X)=σ(θTX)=1+e−(θTX)1
其中， p ( y = 1 ∣ X ) p(y=1|X) p(y=1∣X) 表示给定输入特征 X 时，输出为1的概率， σ ( z ) \sigma(z) σ(z) 为 Sigmoid 函数：
σ ( z ) = 1 1 + e − z \sigma(z) = \frac{1}{1 + e^{-z}} σ(z)=1+e−z1
在二元Logistic回归中， θ \theta θ 是需要学习的模型参数， X X X 是输入特征向量。
二、模型训练
1. 损失函数（Log-Loss）
为了训练Logistic回归模型，我们需要优化一个损失函数，通常采用对数损失函数（Log-Loss），其形式为：
J ( θ ) = − 1 m ∑ i = 1 m [ y ( i ) log ( h θ ( x ( i ) ) ) + ( 1 − y ( i ) ) log ( 1 − h θ ( x ( i ) ) ) ] J(\theta) = -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \log(h_{\theta}(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_{\theta}(x^{(i)})) \right] J(θ)=−m1i=1∑m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]
在逻辑回归模型中，假设函数为：
h θ ( x ( i ) ) = σ ( θ T x ( i ) ) h_{\theta}(x^{(i)}) = \sigma(\theta^T x^{(i)}) hθ(x(i))=σ(θTx(i))
其中， h θ ( x ( i ) ) h_{\theta}(x^{(i)}) hθ(x(i)) 是模型的预测结果，m是样本数量， y ( i ) y^{(i)} y(i) 是第i个样本的真实标签。
2. 梯度下降
我们使用梯度下降法来最小化损失函数，更新参数
θ : = θ − α ⋅ ∇ θ J ( θ ) \theta := \theta - \alpha \cdot \nabla_{\theta} J(\theta) θ:=θ−α⋅∇θJ(θ)
其中， α \alpha α 是学习率， ∇ θ J ( θ ) \nabla_{\theta} J(\theta) ∇θJ(θ) 是损失函数的梯度。
三、Python实现
1. 导入必要的库
首先，我们需要导入一些必要的库，例如NumPy用于数学运算，Matplotlib用于绘图等。
import numpy as np
import matplotlib.pyplot as plt
from sklearn.metrics import confusion_matrix
2. 数据加载与预处理
测试样本
…共一百个样本
数据可视化
我们假设数据是从一个文本文件中读取，数据的格式为每行包含两个特征和一个标签。
def load_data(file_path):data = np.loadtxt(file_path)X = data[:, 0:2] # 特征y = data[:, 2] # 标签return X, y
3. Sigmoid函数
接下来，定义Sigmoid函数，它将线性模型的输出映射到概率值：
def sigmoid(z):return 1 / (1 + np.exp(-z))
4. 损失函数
然后，我们定义计算对数损失的函数：
def compute_loss(X, y, theta):m = len(y)h = sigmoid(X @ theta) # 预测值loss = -(1/m) * (y @ np.log(h + 1e-15) + (1 - y) @ np.log(1 - h + 1e-15)) # 防止log(0)return loss
5. 梯度下降
我们用梯度下降来训练模型：
def gradient_descent(X, y, theta, alpha, num_iters, tol=1e-5):m = len(y)loss_history = []for i in range(num_iters):h = sigmoid(X @ theta)gradient = (1/m) * X.T @ (h - y) # 计算梯度theta = theta - alpha * gradient # 更新参数loss = compute_loss(X, y, theta)loss_history.append(loss)# 如果损失变化小于tol，停止训练if i > 0 and abs(loss_history[-2] - loss_history[-1]) < tol:print(f"迭代{i}次后损失收敛，停止训练。")breakreturn theta, loss_history
6. 预测函数
我们根据模型的输出概率进行预测，设定阈值为0.5：
def predict(X, theta, threshold=0.5):prob = sigmoid(X @ theta)return (prob >= threshold).astype(int)
7. 主函数
最后，我们将这些步骤组合在一个主函数中，执行数据加载、训练、预测等操作：
if __name__ == "__main__":file_path = "data.txt" # 数据文件路径# 读取数据X, y = load_data(file_path)# 添加偏置项m = X.shape[0]X = np.hstack((np.ones((m, 1)), X))# 参数初始化theta = np.zeros(X.shape[1])# 超参数设置alpha = 0.1num_iters = 1000# 训练模型theta, loss_history = gradient_descent(X, y, theta, alpha, num_iters)print("训练完成，最优参数theta：", theta)# 预测y_pred = predict(X, theta)accuracy = np.mean(y_pred == y)print(f"训练集准确率：{accuracy*100:.2f}%")# 打印混淆矩阵cm = confusion_matrix(y, y_pred)print("混淆矩阵：")print(cm)
四、总结
二元Logistic回归是一种简单且强大的分类算法，广泛应用于许多领域，如医疗诊断、金融欺诈检测等。通过理解其背后的数学原理，并结合Python代码实现，我们可以快速上手并解决实际问题。希望本文能帮助你更好地理解Logistic回归，并能够在实际项目中应用。
相关文章：
二元Logistic回归
二元Logistic回归 在机器学习领域，二元Logistic回归是一种非常经典的分类模型，广泛用于解决具有两类标签的分类问题。Logistic回归通过逻辑函数（Sigmoid函数）将预测结果映射到概率值，并进行分类。 一、Logistic回归 …...
Android framework 问题记录
一、休眠唤醒，很快熄屏 1.1 问题描述 机器休眠唤醒后，没有按照约定的熄屏timeout 进行熄屏，很快就熄屏（约2s~3s左右） 1.2 原因分析： 抓取相关log，打印休眠背光 相关调用栈 //具体打印调用栈…...
企业网站架构部署与优化 --web技术与nginx网站环境部署
一、Web 基础 本节将介绍Web 基础知识,包括域名的概念、DNS 原理、静态网页和动态网页的 相关知识。 1、域名和DNS 1.1、域名的概念 网络是基于TCP/IP 协议进行通信和连接的，每一台主机都有一个唯一的标识(固定的IP 地址),用以区别在网络上成千上万个用户和计算机。…...
Scala与Spark：原理、实践与技术全景详解
Scala与Spark：原理、实践与技术全景详解 一、引言 在大数据与分布式计算领域，Apache Spark 已成为事实标准的计算引擎，而 Scala 作为其主要开发语言，也逐渐成为数据工程师和后端开发者的必备技能。本文将系统梳理 Scala 语言基础…...
【聚类】层次聚类
层次聚类 文章目录 层次聚类1. 算法介绍2. 公式及原理3. 伪代码 1. 算法介绍 背景与目标 层次聚类（Hierarchical Clustering）是一类无需事先指定簇数的聚类方法，通过构造一棵“树状图”（dendrogram）来呈现数据的多层次…...
Windows环境安装LibreOffice实现word转pdf
前言：最近在工作中遇到了一个需求要实现word转pdf，本来我在上一个公司使用aspose.words工具使用的得心应手，都已经把功能点实现了，两句代码轻轻松松，但是被告知不能用商业版的东西，公司要求只能用开源的&am…...
)
【FAQ】HarmonyOS SDK 闭源开放能力 —Vision Kit (3)
1.问题描述： 通过CardRecognition识别身份证拍照拿到的照片地址，使用该方法获取不到图片文件，请问如何解决？ 解决方案： //卡证识别实现页，文件名为CardDemoPage，需被引入至入口页 import { …...
【聚类】K-means++
K-means 文章目录 K-means1. 算法介绍2. 公式及原理3. 伪代码 1. 算法介绍 背景与目标 k-means 是 David Arthur 和 Sergei Vassilvitskii 于2007年提出的改进 k-means 初始化方法，其核心目标是： 在保证聚类质量的前提下，通过更合理地选择初始…...
Java实现PDF加水印功能：技术解析与实践指南
Java实现PDF加水印功能：技术解析与实践指南 在当今数字化办公环境中，PDF文件因其跨平台兼容性和格式稳定性而被广泛应用。然而，为了保护文档的版权、标记文档状态（如“草稿”“机密”等）或增加文档的可追溯性…...
【C#】用 DevExpress 创建带“下拉子表”的参数表格视图
展示如何用 DevExpress 创建带“下拉子表”的参数表格视图。主表为 参数行 ParamRow，子表为 子项 ChildParam。 一、创建模型类 public class ParamRow {public string Pn { get; set; }public string DisplayName { get; set; }public string Value { get; set; }…...
Go语言八股文之Mysql优化
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 非常期待和您一起在这个小…...
学习记录：DAY29
项目开发日志：技术实践与成长之路 前言 回顾这几天的状态，热情总是比我想象中更快被消耗完。比起茫然徘徊的小丑，我更希望自己是对着风车冲锋的疯子。 今天继续深入项目的实际业务。 状态好点的时候，再看自己EMO时写的东西&…...
LLaMA-Factory：了解webUI参数
Finetuning method参数 full（全量微调） 更新模型全部参数，完全适配新任务 效果最好，但资源消耗最大适用于计算资源充足的场景存在过拟合的风险，需要大量数据支持 freeze（冻结微调） 固定底层参…...
【实战】GPT-SoVITS+内网穿透：3分钟搭建可公网访问的语音克隆系统
💝💝💝欢迎来到我的博客，很高兴能够在这里和您见面！希望您在这里可以感受到一份轻松愉快的氛围，不仅可以获得有趣的内容和知识，也可以畅所欲言、分享您的想法和见解。 推荐:kwan 的首页,持续学…...
HTML向四周扩散背景
<!DOCTYPE html> <html lang"en"><head><meta charset"UTF-8" /><meta name"viewport" content"widthdevice-width, initial-scale1.0" /><title>扩散背景效果</title><style>body {…...
React 个人笔记 Hooks编程
作用 配合函数式编程，保证在不产生类的时候完成一个整体的组件 常用组件 useStateuseContextuseReduceruseEffectuseMemouseCallback 前三个值为自变量 后三者为因变量 前三者相当于其他编程函数的变量声明，而后三者相当于对变量进行了(if now ! pr…...
CSS- 4.6 radiu、shadow、animation动画
本系列可作为前端学习系列的笔记，代码的运行环境是在HBuilder中，小编会将代码复制下来，大家复制下来就可以练习了，方便大家学习。 HTML系列文章 已经收录在前端专栏，有需要的宝宝们可以点击前端专栏查看！ 点…...
ngx_http_scgi_module 技术指南
一、快速上手示例 http {# 定义 SCGI 参数（标准 CGI 环境变量）include /etc/nginx/scgi_params;server {listen 80;location /app/ {# 将请求转发到本地 9000 端口的 SCGI 服务器scgi_pass localhost:9000;# 只转发非空的 HTTPS 参数scgi…...
NFT市场开发技术全解析：从架构设计到实现
NFT（非同质化代币）市场已成为区块链领域的热门应用场景，涵盖艺术品、游戏资产、虚拟地产等多个领域。本文将从技术栈选择、核心功能实现、开发流程、挑战与优化等方面，系统梳理NFT市场的开发要点，并结合实际案例与代码…...
第六十一篇 Java反射解析：用咖啡调配理解动态编程的艺术
引言：一杯咖啡引发的技术思考 在星巴克的收银台前，我们总能看到店员熟练地根据顾客需求调配不同口味的咖啡：美式、拿铁、卡布奇诺… 这让我联想到编程世界中的对象创建。如果每新增一种咖啡就要修改收银系统，这样的设计显然不够优…...
【android bluetooth 协议分析 01】【HCI 层介绍 7】【ReadLocalName命令介绍】
1. HCI_Read_Local_Name Read Local Name 是 HCI（Host Controller Interface）命令之一，属于 BR/EDR 控制器的 HCI Command 类别，其主要功能是 读取本地设备（Controller）的人类可读名称（Local N…...
window xampp apache使用腾讯云ssl证书配置https
下载腾讯云ssl证书： 编辑Apache根目录下 conf/httpd.conf 文件： #LoadModule ssl_module modules/mod_ssl.so和#Include conf/extra/httpd-ssl.conf，去掉前面的#号注释。 编辑Apache根目录下 conf/httpd-ssl.conf 文件： <Vi…...
企业开发工具git的使用：从入门到高效团队协作
前言：本文介绍了Git的安装、本地仓库的创建与配置，以及工作区、暂存区和版本库的区分。详细讲解了版本回退、撤销修改等操作，并深入探讨了分支管理，包括分支的创建、切换、合并、删除及冲突解决。此外，还介绍了远程操作…...
【git config --global alias | Git分支操作效率提升实践指南】
git config --global alias | Git分支操作效率提升实践指南 背景与痛点分析 在现代软件开发团队中，Git分支管理是日常工作的重要组成部分。特别是在规范的开发流程中，我们经常会遇到类似 feature/user-management、bugfix/login-issue 或 per/cny/dev …...
VR 互动实训与展示，借科技开启沉浸式体验新篇
对于企业而言，产品设计与展示是极为关键的环节，这直接关系到能否成功吸引客户，以及精准获取市场反馈。在当下科技飞速发展的时代，VR 互动实训为这一至关重要的环节注入了全新活力，带来了前所未有的体验。以某智能家居企…...
一文了解VR拍摄制作
虚拟现实（VR）技术通过计算机技术模拟环境，使用户能够身临其境地沉浸在虚拟世界中进行交互体验。 在VR拍摄中，主要利用这一技术来创建360度全景视频或图片，让观众能够全方位地感受拍摄场景。这种拍摄方式不仅改变了我们…...
【内测征集】LarkVR 播控系统上新：VR 应用一站式专业播控与管理工具
Paraverse平行云自主研发的LarkXR实时云渲染平台，作为行业领先的企业级云渲染解决方案，在国际市场占据重要地位。公司自2016年创立以来，始终引领3D/XR云化技术的创新发展，目前已在全球范围内为超过10,000名开发者和1,000家企业客户…...
Windows逆向工程提升之二进制分析工具：HEX查看与对比技术
公开视频 -> 链接点击跳转公开课程博客首页 -> 链接点击跳转博客主页 目录 十六进制查看工具 应用于逆向工程的知识点 编辑 二进制对比工具 应用于逆向工程的知识点 十六进制查看工具 十六进制查看器是逆向工程的基础工具，它可以以十六进制格式…...
电脑A和电脑B都无法ping通电脑C网络，电脑C可以ping通电脑A和B，使用新系统测试正常，排除硬件问题。
主要硬件：研华AIMB-705主板、i5-6500 C机在防火墙高级设置里启用以下两项规则后，A/B机可正常访问C机网络。（直接关闭防火墙也可解决此问题） 文件和打印机共享 (回显请求 - ICMPv4-In) 核心网络诊断 - ICMP 回显请求 (ICMPv4-In)…...
【VMware】虚拟机运行 Linux Ubuntu、MAC 安装和配置
文章目录 一、VMware Workstation Pro 下载二、VMware Workstation Pro 安装三、Ubuntu Linux虚拟机镜像下载安装与配置 1、Ubuntu系统镜像下载 2、创建虚拟机（VMware）及硬件配置 3、编辑虚拟机设置 4、安装Ubuntu系统及系统…...
遨游科普：三防平板是什么？有什么作用？
在数字化与智能化浪潮席卷全球的今天，电子设备的可靠性已成为衡量其价值的核心标准之一。三防平板，这一“硬核”的工业设备，正凭借其卓越的环境适应能力，从专业领域走向大众视野，成为极端场景下不可或缺的数字化工具。…...
电脑闪屏可能的原因
1. 显示器 / 屏幕故障 屏幕排线接触不良：笔记本电脑屏幕排线（屏线）松动或磨损，导致信号传输不稳定，常见于频繁开合屏幕的设备。屏幕面板损坏：液晶屏内部灯管老化、背光模块故障或面板本身损坏，…...
VR 互动实训的显著优势
（一）沉浸式学习，提升培训效果 在 VR 互动实训中，员工不再是被动的知识接受者，而是主动的参与者。以销售培训为例，员工戴上 VR 设备，就能置身于逼真的销售场景中，与虚拟客户进行面对…...
2025.05.19【Connectedscatter】连接散点图详解
How to add a legend to base R plot The legend() function allows to add a legend. See how to use it with a list of available customization. Image on the chart background The rasterImage function allows to add an image on the background of the chart. 文章目…...
C++之函数模板类模板
模板 1.泛型编程2. 函数模板函数模板概念函数模板的实例化模板参数的匹配原则 3.类模板类模板的定义格式类模板的实例化 4.模板的优缺点 C 模板是一种强大的泛型编程工具，它允许你编写与类型无关的代码，提高代码复用性。 1.泛型编程 先看一个我们之前经…...
《告别低效签约！智合同如何用AI重构商业“契约时代”》——解析智能合约技术的爆发与行业变革
在数字化浪潮奔涌的当下，合同作为商业活动的核心枢纽，正经历着智能化的深度变革。智合同-合同智能应用这一创新模式，犹如一颗璀璨的新星，在商业领域的天空中绽放出独特光芒，深刻改变着人们对合同管理与应用的认知和实践…...
Axure难点解决分享：垂直菜单展开与收回（4大核心问题与专家级解决方案）
亲爱的小伙伴，在您浏览之前，烦请关注一下，在此深表感谢！如有帮助请订阅专栏！ Axure产品经理精品视频课已登录CSDN可点击学习https://edu.csdn.net/course/detail/40420 课程主题：垂直菜单展开与收回 主要内容：超长菜单实现、展开与收回bug解释、Axure9版本限制等问题解…...
PCB设计教程【入门篇】——电路分析基础-基本元件（电阻电容电感）
前言 本教程基于B站Expert电子实验室的PCB设计教学的整理，为个人学习记录，旨在帮助PCB设计新手入门。所有内容仅作学习交流使用，无任何商业目的。若涉及侵权，请随时联系，将会立即处理 目录 前言 1.PCB原理图的作用…...
909. 蛇梯棋
https://leetcode.cn/problems/snakes-and-ladders/description/?envTypestudy-plan-v2&envIdtop-interview-150思路：题目要求我们使用最小的步数走到终点（注意不能走回头路，传送不算），那我们的想法就很明确了&am…...
Redis学习打卡-Day4-Redis实现消息队列
Redis 基于阻塞队列实现秒杀的优化 新增秒杀优惠券的同时，将优惠券信息保存到 Redis 中。基于 Lua 脚本，判断秒杀库存、一人一单，决定用户是否抢购成功。如果抢购成功，将优惠券id和用户id封装后存入阻塞队列。开启独立线程任务&a…...
探索C++面向对象：从抽象到实体的元规则（上篇）
前引：在计算机科学的浩瀚星空中，面向对象编程（OOP） 无疑是照亮现代软件开发的核心范式。而 C 作为一门兼具高性能与抽象能力的系统级语言，其类与对象的语法设计更是开发者构建复杂系统的“元规则”。你是否曾困惑于 封…...
华为鸿蒙电脑发布，企业运营效率可以提高吗？
今日，科技圈迎来重磅消息，华为于19日在成都正式发布两款鸿蒙电脑，标志着鸿蒙操作系统首次登陆电脑端，这是中国国产操作系统的重大里程碑，更是中国电子信息产业自主可控进程中的关键一步。 鸿蒙操作系统作为首个统一移动…...
遨游科普：三防平板是什么？应用在什么场景？
在数字化转型的浪潮中，智能终端设备正从消费级市场向工业级场景深度渗透。传统平板电脑虽能满足日常需求，却难以应对极端环境下的挑战——暴雨、沙尘、震动、高温或低温等恶劣条件，往往成为数据采集、实时通讯和作业效率的“绊脚石”。在此背…...
图像中紫边出现原因
一、紫边 在实景调试中，我们经常会遇到高亮场景下的物体边缘分布有明显的紫边（purple fringe）现象, 就如下图所示： 对于紫边的成因，通常认为是镜头色差（镜头对不同光谱光线的折射程度不同，导致不…...
中服云生产线自动化智能化调度生产系统：打造智能制造新标杆
前言 在当今制造业竞争日益激烈的背景下，实现生产线的自动化与智能化已成为企业提升竞争力的关键。作为国内技术领先的工业物联网平台、数字孪生、自动控制技术厂商，中服云凭借其深厚的技术积累和创新能力，打造了一套完整的生产线自动化智能…...
【电动汽车充电系统核心技术全解：从can通讯高压架构到800V超充未来】
标题：电动汽车充电系统核心技术全解：从高压架构到800V超充未来 目录 前言：开篇暴击：中国电动车年产670万辆背后，充电技术如何破局一、充电系统架构解剖：四大核心模块如何“打配合”？二、CAN总线…...
uniapp-商城-62-后台 商品列表（分类展示商品的布局）
每一个商品都有类别，比如水果，蔬菜，肉，粮油等等，另外每一个商品都有自己的属性，这些都在前面的章节进行了大量篇幅的介绍。这里我们终于完成了商品类的添加，商品的添加，现在到了该进…...
在嵌入式系统中， 一般链路层断开多久，断开TCP为好
一、典型场景与推荐策略 1. 实时性优先（工业控制、自动化设备） 需求：快速释放资源，避免因等待重传浪费内存或阻塞任务。 策略： 立即断开：在lwip_netif_link_callback中检测到链路断开后直接关闭TCP连接&a…...
)
解决 MySQL 错误 1356 (HY000)
当你遇到 ERROR 1356 (HY000): View mysql.user references invalid table(s) or column(s) or function(s) or definer/invoker of view lack rights to use them 错误时，通常是由于 MariaDB 或 MySQL 版本更新导致的视图引用问题。 示例 UPDATE mysql.user SET H…...
【数据仓库面试题合集④】SQL 性能调优：面试高频场景 + 调优策略解析
随着业务数据规模的持续增长，SQL 查询的执行效率直接影响到数据平台的稳定性与数据产出效率。因此，在数据仓库类岗位的面试中，SQL 性能调优常被作为重点考察内容。 本篇将围绕常见 SQL 调优问题，结合实际经验，整理出高频面试题与答题参考，助你在面试中游刃有余。 🎯 高…...