当前位置： 首页 > news >正文

逻辑回归（二分类）

news 来源：原创 2025/6/17 8:17:13

一.逻辑回归的由来

逻辑回归不是一个回归的算法，不是用来做预测的，逻辑回归是一个分类的算法，那为什么不叫逻辑分类？因为逻辑回归算法是基于多元线性回归的算法（多元线性回归：y=w0x0+w1x1+.....+wnxn)。正因为此，逻辑回归这个分类算法是线性的分类器。

二.Sigmoid函数

1.图像

可以注意到，当自变量等于0的时候，因变量为0.5，且值域为[0,1]，这个特性可以满足概率的取值。

2.作用

简单来说，就是在多元线性回归的基础上，将得到的y_hat作为Sigmoid函数的输入得到最终的概率值。

我们知道，作为一个二分类分类器，就是要找到分界，也就是输出等于0.5为分界，我们要找到的就是y_hat = 0.5，根据表达式我们可以知道，也就是找到输入等于0时，θ的值，注意这个θ是由多个w的矩阵。

3.推导

广义线性回归：

考虑一个分类或回归问题，我们就是想预测某个随机变量y，y是x的函数。为了推导广义线性模式，我们必须做出如下三个假设
指数族分布：

有高斯分布、二项分布、伯努利分布、泊松分布、指数分布等。对于回归来说，如果y是服从某个指数族分布，那么我们就可以广义线性回归来建模。我们在简单的线性回归中，y就是满足了高斯分布/正态分布。

推导：

\begin{aligned}P(y;\phi)&=\phi^{y}(1-\phi)^{1-y}\\&=e^[\ln^{\phi^y}+\ln^{(1-\phi)^{1-y}]}\\&=e^{[y\ln^{\phi}+(1-y)\ln^{1-\phi}]}\\&=e^{[y\ln^{\phi}+\ln^{1-\phi}-y\ln^{1-\phi}]}\\&=e^{[y\ln^{\frac{\phi}{1-\phi}}+\ln^{1-\phi}]}\end{aligned}

 

 

 这样我们就得到了Sigmod函数。

补充：我们可以由此推导线性回归

三.损失函数交叉熵

或

 

 

 得到损失函数

 损失函数求导

首先对sigmod函数求导

\begin{aligned}g^{\prime}(z)&=\frac{d}{dz}\frac{1}{1+e^{-z}}\\&=\quad\frac{1}{(1+e^{-z})^2}\left(e^{-z}\right)\\&=\frac{1}{(1+e^{-z})}\cdot\left(1-\frac{1}{(1+e^{-z})}\right)\\&=\quad g(z)(1-g(z)).\end{aligned}

J对θ求偏导：

 

相关文章：

逻辑回归（二分类）

一.逻辑回归的由来 逻辑回归不是一个回归的算法，不是用来做预测的，逻辑回归是一个分类的算法，那为什么不叫逻辑分类？因为逻辑回归算法是基于多元线性回归的算法（多元线性回归：yw0x0w1x1.....wnxn)。正因为…...

编程日记 2025/5/20 9:08:28

深入 Linux 内核：GPU Runtime Suspend 源码和工作流程全面分析

这是系列文章中第二篇，我们将分析完整的 Linux runtime suspend 操作流程，以 Vivante GPU 为例，展示开发者如何通过内核程序实现和调试 runtime PM 机制。 一、内核中的 Runtime PM 工作流程概览 当调用者执行: pm_runtime_put(dev);时&…...

编程日记 2025/5/25 8:45:04

深入理解 this 指向与作用域解析

引言 JavaScript 中的 this 关键字的灵活性既是强大特性也是常见困惑源。理解 this 的行为对于编写可维护的代码至关重要，但其动态特性也会让我们感到困惑。 与大多数编程语言不同，JavaScript 的 this 不指向函数本身，也不指向函数的词法作…...

编程日记 2025/5/26 22:17:13

c++20引入的三路比较操作符＜=＞

目录 一、简介 二、三向比较的返回类型 2.1 std::strong_ordering 2.2 std::weak_ordering 2.3 std::partial_ordering 三、对基础类型的支持 四、自动生成的比较运算符函数 4.1 std::rel_ops的作用 4.2 使用<> 五、兼容他旧代码 一、简介 c20引入了三路比较操…...

编程日记 2025/5/29 10:48:22

Spring框架（三）

目录 一、JDBC模板技术概述 1.1 什么是JDBC模板 二、JdbcTemplate使用实战 2.1 基础使用&#xff08;手动创建对象&#xff09; 2.2 使用Spring管理模板类 2.3 使用开源连接池&#xff08;Druid&#xff09; 三、模拟转账开发 3.1 基础实现 3.1.1 Service层 3.1.2 Da…...

编程日记 2025/5/29 13:11:42

CS016-4-unity ecs

【37】将系统转换为任务 Converting System to Job 【Unity6】使用DOTS制作RTS游戏|17小时完整版|CodeMonkey|【37】将系统转换为任务 Converting System to Job_哔哩哔哩_bilibili a. 将普通的方法&#xff0c;转化成job。第一个是写一个partial struct xxx&#xff1b;第二…...

编程日记 2025/5/19 10:26:33

CMU-15445(4)——PROJECT#1-BufferPoolManager-Task#2

PROJECT#1-BufferPoolManager Task #2 - Disk Scheduler 在前一节我实现了 TASK1 并通过了测试&#xff0c;在本节中&#xff0c;我将逐步实现 TASK2。 如上图&#xff0c;Page Table&#xff08;页表&#xff09;通过哈希表实现&#xff0c;用于跟踪当前存在于内存中的页&am…...

编程日记 2025/5/19 11:16:29

[原创](计算机数学)(The Probability Lifesaver)(P10): 生日概率问题.

[作者] 常用网名: 猪头三 出生日期: 1981.XX.XX 企鹅交流: 643439947 个人网站: 80x86汇编小站 编程生涯: 2001年~至今[共24年] 职业生涯: 22年 开发语言: C/C++、80x86ASM、Object Pascal、Objective-C、C#、R、Python、PHP、Perl、 开发工具: Visual Studio、Delphi、XCode、…...

编程日记 2025/5/30 11:50:46

计算机组成原理——数据的表示

2.1数据的表示 整理自Beokayy_ 1.进制转换 十六进制与二进制的转换 一位十六进制等于四位二进制 四位二进制等于一位十六进制 0x173A4C0001 0111 0011 1010 0100 1100 十六进制与十进制的转换 十六转十&#xff1a;每一位数字乘以相应的16的幂再相加 十转十六&#xff1a…...

编程日记 2025/5/29 18:30:38

源码：处理文件格式和字符集的相关代码（3-3）

总入口&#xff1a;源码&#xff1a;处理文件格式和字符集的相关代码&#xff08;3-1&#xff09;-CSDN博客 目录 六、预览&#xff08;正确显示文本文件&#xff09; 6.1 总体逻辑 6.2 二进制显示 6.3 文本显示 六、预览&#xff08;正确显示文本文件&#xff09; 6.1 总…...

编程日记 2025/5/23 3:12:50

Spring MVC 对 JavaWeb 的优化：从核心组件到注解

Spring MVC 功能组件与注解对 JavaWeb 的优化 文章介绍&#xff1a; SpringMVC对比JavaWeb优势&#xff0c;Spring MVC 通过引入功能组件和注解&#xff0c;从多个维度对传统 JavaWeb 开发进行了优化&#xff0c;显著提升了开发效率和代码可维护性。以下是关键优化点的详细对…...

编程日记 2025/5/31 7:35:27

Mysql数据库详解

在cmd中选择数据库操作用 USE test_db; 相关概念 Sql是操作关系型数据库的编程语言 关系型数据库&#xff1a;建立在关系模型基础上&#xff0c;由多张相互连接的二维表组成的数据库 语法 sql语法分类 DDL-数据库操作 创建&#xff1a;CREATE DATABASE db_name;创建完整…...

编程日记 2025/5/28 16:06:08

R1 快开门式压力容器操作证备考练习题及答案

R1 快开门式压力容器操作证备考练习题及答案 判断题 1、快开门式压力容器的快开门应设计成有延时功能的联锁装置。&#xff08;√&#xff09; 解析&#xff1a;延时功能的联锁装置可以防止在容器内有压力时过早开启快开门&#xff0c;避免发生危险&#xff0c;保障设备和人…...

编程日记 2025/5/30 1:18:24

python打卡训练营Day27

作业&#xff1a; 编写一个装饰器 logger&#xff0c;在函数执行前后打印日志信息&#xff08;如函数名、参数、返回值&#xff09; logger def multiply(a, b):return a * bmultiply(2, 3) # 输出: # 开始执行函数 multiply&#xff0c;参数: (2, 3), {} # 函数 multiply …...

编程日记 2025/5/28 7:02:31

【RabbitMQ】消息丢失问题排查与解决

RabbitMQ 消息丢失是一个常见的问题&#xff0c;可能发生在消息的生产、传输、消费或 Broker 端等多个环节。消息丢失的常见原因及对应的解决方案&#xff1a; 一、消息丢失的常见原因 1. 生产端&#xff08;Producer&#xff09;原因 (1) 消息未持久化 原因&#xff1a;生产…...

编程日记 2025/5/31 11:38:05

idea 保证旧版本配置的同时，如何从低版本升到高版本

文章目录 前言idea 保证旧版本配置的同时，如何从低版本升到高版本1. 备份项目2. 下载最新的idea3. 安装安装包4. 导入idea2019旧配置5. 验证前言 如果您觉得有用的话，记得给博主点个赞，评论，收藏一键三连啊，写作不易啊^ _ ^。   而且听说点赞的人每天的运气都不会太差，…...

编程日记 2025/5/29 15:12:15

校园社区小程序源码解析

基于ThinkPHP、FastAdmin和UniApp开发的校园社区小程序源码&#xff0c;旨在为校园内的学生和教职员工提供一个便捷的在线交流和服务平台。 该小程序前端采用UniApp进行开发&#xff0c;具有良好的跨平台兼容性&#xff0c;可以轻松发布到iOS和Android平台。同时&#xff0c;后…...

编程日记 2025/5/29 13:35:46

Windows11安装rockerMq5.0+以及springboot集成rockerMq

安装jdk17&#xff0c;rockermq5.0需要jdk11&#xff0c;我这里使用jdk17 配置系统环境变量 ROCKETMQ_HOME D:\work\mmq\rocketmq-all-5.2.0-bin-release 编写启动脚本 D: cd D:\work\mmq\rocketmq-all-5.2.0-bin-release\bin start mqnamesrv.cmd start mqbroker.cmd -n 127.0…...

编程日记 2025/5/29 17:08:20

ros2中自定义的package查不到？

在ros2中自定义的package功能包&#xff0c;使用命令&#xff1a;ros2 pkg list无法查找到自己的功能包&#xff1f; 首先&#xff0c;利用ros2 pkg create命令创建好功能包之后要利用colcon build命令进行编译&#xff0c;编译成功之后&#xff0c;在当前路径需要运行命令&am…...

编程日记 2025/6/4 15:08:27

【Python CGI编程】

Python CGI&#xff08;通用网关接口&#xff09;编程是早期Web开发中实现动态网页的技术方案。以下是系统化指南&#xff0c;包含核心概念、实现步骤及安全实践&#xff1a; 一、CGI 基础概念 1. 工作原理 浏览器请求 → Web服务器&#xff08;如Apache&#xff09; → 执行…...

编程日记 2025/5/27 5:05:03

idea运行

各种小kips Linuxidea上传 Linux 部署流程 1、先在idea打好jar包&#xff0c;clean之后install 2、在Linux目录下&#xff0c;找到对应项目目录&#xff0c;把原来的jar包放在bak文件夹里面 3、杀死上一次jar包的pid ps -ef|grep cliaidata.jar kill pid 4、再进行上传新的jar…...

编程日记 2025/5/27 6:43:13

2025年渗透测试面试题总结-安恒[社招]售前工程师（题目+回答）

网络安全领域各种资源&#xff0c;学习文档&#xff0c;以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具&#xff0c;欢迎关注。 目录 安恒[社招]售前工程师 1. 自我介绍 2. 离职原因 3. 掌握的法律法规 4. 等级保护实施框架 5. 行业方…...

编程日记 2025/5/31 10:01:36

[ linux-系统 ] 命令行参数 | 环境变量

命令行参数 命令行参数是指用户在启动程序时通过命令行传递给程序的参数。这些参数可以用于控制程序的行为、传递输入数据或配置选项。 在 C/C 中&#xff0c;命令行参数通过 main 函数的参数传递 命令行参数列表 argc:参数的个数 argv[]&#xff1a;参数的清单 为什么要…...

编程日记 2025/5/28 15:00:40

Spring三级缓存的作用与原理详解

在Spring框架中&#xff0c;Bean的创建过程涉及到了三级缓存机制。这个机制主要是为了提高单例模式下bean实例化和依赖注入的效率。本文将深入探讨Spring中的三级缓存&#xff0c;以及其在bean生命周期中的重要作用。 首先&#xff0c;让我们理解什么是三级缓存。Spring中的三…...

编程日记 2025/5/22 8:57:01

Linux信号的保存

Linux系统中信号的保存涉及内核为每个进程维护的数据结构&#xff0c;确保信号在产生后、处理前被正确记录和管理。以下是详细的解释&#xff1a; 1. 信号的基本概念 信号&#xff08;Signal&#xff09;&#xff1a;用于通知进程发生了特定事件的异步通知机制&#xff0c;如…...

编程日记 2025/5/26 14:41:14

leetcode0215. 数组中的第K个最大元素-medium

1 题目&#xff1a;数组中的第K个最大元素 官方标定难度&#xff1a;中 给定整数数组 nums 和整数 k&#xff0c;请返回数组中第 k 个最大的元素。 请注意&#xff0c;你需要找的是数组排序后的第 k 个最大的元素&#xff0c;而不是第 k 个不同的元素。 你必须设计并实现时…...

编程日记 2025/5/28 15:46:41

C++（17）：引用传参

目录 一、核心概念 二、代码示例&#xff1a;对比指针和引用 1. 指针传参的问题 2. 引用传参的改进 三、引用传参的优势 四、总结 一、核心概念 别名机制&#xff1a;引用是变量的别名&#xff0c;操作引用等同于操作原变量。 避免拷贝&#xff1a;直接操作原始变量&…...

编程日记 2025/5/29 17:17:35

handsome主题美化及优化：10.1.0最新版 - 1

文章目录 前言右侧导航栏主题标题居中页面两侧框架留白间距handsome 原生入站提示评论一键赞、踩、打卡时光机头像圆形logo 扫光赞赏按钮跳动鼠标点击特效复制版权提示彩色标签云及右栏数字自定义右键响应时间和访客总数全站字数统计版权提示时间流逝添加心知天气总结 前言 ha…...

编程日记 2025/5/29 14:10:42

基于React的高德地图api教程006：两点之间距离测量

文章目录 6、距离测量6.1 两点之间距离测量6.1.1 两点距离测量按钮6.1.2 点击地图添加点6.1.3 测量两点之间距离并画线6.2 测量过程显示两点之间预览线6.3 绘制完毕6.4 显示清除按钮6.5 代码下载6.06、距离测量 6.1 两点之间距离测量 6.1.1 两点距离测量按钮 实现代码： re…...

编程日记 2025/5/29 17:28:07

Java回溯算法解决非递减子序列问题（LeetCode 491）的深度解析

文章目录 问题描述错误代码分析原代码实现错误原因 修正方案与代码实现修正后的代码关键修正点 核心问题&#xff1a;为什么 used 不需要回溯&#xff1f;作用域与生命周期示例分析 总结算法设计要点复杂度分析 问题描述 给定一个整数数组 nums&#xff0c;找出并返回所有不同…...

编程日记 2025/5/19 21:01:01

基于PXIE 总线架构的Kintex UltraScale 系列FPGA 高性能数据预处理板卡

基于PXIE 总线架构的Kintex UltraScale 系列FPGA 高性能数据预处理板卡 一款基于3U PXIE 总线架构的高性能数据预处理FMC 载板&#xff0c;板卡具有1 个FMC&#xff08;HPC&#xff09;接口&#xff0c;1 个X8 GTH 背板互联接口&#xff0c;可以实现1 路PCIe x8。板卡采用Xili…...

编程日记 2025/5/22 1:20:29

[前端] wang 富文本 vue3

官方链接 https://www.npmjs.com/package/wangeditor-next/editor-for-vue <template><div style"border: 1px solid #ccc"><Toolbar style"border-bottom: 1px solid #ccc" :editor"editorRef" :defaultConfig"toolbarCo…...

编程日记 2025/5/29 10:22:44

【Python 操作 MySQL 数据库】

在 Python 中操作 MySQL 数据库主要通过 pymysql 或 mysql-connector-python 库实现。以下是完整的技术指南&#xff0c;包含连接管理、CRUD 操作和最佳实践&#xff1a; 一、环境准备 1. 安装驱动库 pip install pymysql # 推荐&#xff08;纯Python实现&#xff0…...

编程日记 2025/5/22 8:09:43

编译opencv4.11gstreamer 参考

0xC0000139: Entry Point Not Found gstreamer-1.0 如需要编译gstreamer模块需要提前安装好2个文件Index of /data/pkg/windows 下载带msvc的表示用Visual Studio编译 gif功能顺便勾上 最后 测试可能遇到的问题 把F:\gstreamer\1.0\x86_64\bin目录下的所有dll复制到exe所在位置…...

编程日记 2025/5/26 7:59:14

OpenCV边界填充（Border Padding）详解：原理、方法与代码实现

一、什么是边界填充&#xff1f; 边界填充&#xff08;Border Padding&#xff09;是图像处理中一项基础而重要的技术&#xff0c;它通过在图像边缘周围添加像素来解决卷积等操作导致的边界问题。当我们对图像应用滤波器或进行卷积操作时&#xff0c;图像边缘的像素无法像中心…...

编程日记 2025/5/17 12:00:44

Deeper and Wider Siamese Networks for Real-Time Visual Tracking

现象&#xff1a; the backbone networks used in Siamese trackers are relatively shallow, such as AlexNet , which does not fully take advantage of the capability of modern deep neural networks. direct replacement of backbones with existing powerful archite…...

编程日记 2025/5/30 21:26:14

保安员考试报名时，体检项目包含哪些？

保安员考试报名时的体检项目主要包括以下几类&#xff1a; 实验室检查&#xff1a;血常规、尿常规、大便常规是必检项目&#xff0c;主要用于检查血液、尿液和消化系统是否存在问题。部分地区可能还会检查肝功能、肾功能等&#xff0c;通过检测相关指标来评估肝脏和肾脏的功能状…...

编程日记 2025/5/21 10:18:34

基于SpringBoot的房屋租赁管理系统

作者&#xff1a;计算机学姐 开发技术&#xff1a;SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等&#xff0c;“文末源码”。 专栏推荐&#xff1a;前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码 精品专栏&#xff1a;…...

编程日记 2025/5/29 10:23:12

MCU开发学习记录16* - 看门狗学习与实践(HAL库) - IWDG与WWDG -STM32CubeMX

名词解释&#xff1a; IWDG&#xff1a;Independent watchdog WWDG&#xff1a;Window watchdog LSE&#xff1a;​Low-Speed External Clock​ 统一文章结构&#xff08;数字后加*&#xff09;&#xff1a; 第一部分&#xff1a; 阐述外设工作原理&#xff1b;第二部分&#…...

编程日记 2025/5/23 23:39:29

如何解决LCMS 液质联用液相进样器定量环漏液问题

以下是解决安捷伦1260液相色谱仪为例的进样器定量环漏液问题的一些方法&#xff1a;视频操作 检查相关部件 检查定量环本身&#xff1a;观察定量环是否有破损、裂纹或变形等情况。如果发现定量环损坏&#xff0c;需及时更换。检查密封垫&#xff1a;查看进样阀的转子密封垫、计…...

编程日记 2025/5/17 11:58:35

【Linux】ssh命令 – 安全的远程连接服务

原创&#xff1a;厦门微思网络 SSH命令的概念 ssh命令的功能是安全地远程连接服务器主机系统&#xff0c;作为OpenSSH套件中的客户端连接工具&#xff0c;ssh命令可以让我们轻松地基于SSH加密协议进行远程主机访问&#xff0c;从而实现对远程服务器的管理工‍作。 语法 ssh 参…...

编程日记 2025/5/31 8:02:14

硬件中的OID是什么？SNMP如何通过OID获取信息？——用“图书馆”比喻彻底讲清底层原理-优雅草卓伊凡|小无

硬件中的OID是什么&#xff1f;SNMP如何通过OID获取信息&#xff1f;——用“图书馆”比喻彻底讲清底层原理-优雅草卓伊凡|小无 1. 终极比喻&#xff1a;OID是设备的“图书编码系统” 想象你走进一座巨型图书馆&#xff08;这个图书馆就是一台网络设备&#xff0c;比如路由器…...

编程日记 2025/5/31 11:36:23

java后端学习

1.Java基础 Java基础学习-CSDN博客 2.spring->springboot spring学习-&#xff1e;sprintboot-CSDN博客 3.maven Maven-CSDN博客 4mybatis -&#xff1e;mybatisplus mybatis -&#xff1e;mybatisplus-CSDN博客 5.git操作学习 git版本控制学习-CSDN博客 6.mysql …...

编程日记 2025/5/26 9:44:32

Python打卡 DAY 27

知识点回顾&#xff1a; 1. 装饰器的思想&#xff1a;进一步复用 2. 函数的装饰器写法 3. 注意内部函数的返回值 作业&#xff1a; 编写一个装饰器 logger&#xff0c;在函数执行前后打印日志信息&#xff08;如函数名、参数、返回值&#xff09; def logger(func):def wrap…...

编程日记 2025/5/20 4:41:58

2025蓝桥杯JAVA编程题练习Day8

1. 路径 题目描述 小蓝学习了最短路径之后特别高兴&#xff0c;他定义了一个特别的图&#xff0c;希望找到图 中的最短路径。 小蓝的图由 2021 个结点组成&#xff0c;依次编号 1 至 2021。 对于两个不同的结点 a, b&#xff0c;如果 a 和 b 的差的绝对值大于 21&#xff0…...

编程日记 2025/5/29 16:18:19

7 个正则化算法完整总结

哈喽&#xff01;我是我不是小upper&#xff5e;之前和大家聊过各类算法的优缺点&#xff0c;还有回归算法的总结&#xff0c;今天咱们来深入聊聊正则化算法&#xff01;这可是解决机器学习里 “过拟合” 难题的关键技术 —— 想象一下&#xff0c;模型就像个死记硬背的学生&am…...

编程日记 2025/6/2 17:08:09

lesson03-简单回归案例（理论+代码）

一、梯度下降 二、 线性方程怎么样&#xff1f; 三、有噪音吗&#xff1f; 四、让我们看一个列子 五、如何优化 启发式搜索 学习进度 六、线性回归、逻辑回归、分类 总结、 简单线性回归是一种统计方法&#xff0c;用于确定两个变量之间的关系。具体来说&#xff0c;它试图…...

编程日记 2025/5/29 13:17:03

Linux系统篇——文件描述符FD

&#x1f9e0; Linux 文件描述符&#xff08;File Descriptor&#xff09;详解与学习指南 一、什么是文件描述符&#xff08;fd&#xff09; 在 Linux 中&#xff0c;一切皆文件&#xff08;everything is a file&#xff09;&#xff0c;包括普通文件、目录、套接字&#xff…...

编程日记 2025/6/1 18:41:42

C++ Kafka客户端(cppkafka)安装与问题解决指南

一、cppkafka简介 cppkafka是一个现代C的Apache Kafka客户端库&#xff0c;它是对librdkafka的高级封装&#xff0c;旨在简化使用librdkafka的过程&#xff0c;同时保持最小的性能开销。 #mermaid-svg-qDUFSYLBf8cKkvdw {font-family:"trebuchet ms",verdana,arial,…...

编程日记 2025/5/24 20:06:55

MySQL的缓存策略

一、MySQL缓存方案用来解决什么 缓存用户定义的热点数据&#xff0c;用户直接从缓存获取热点数据&#xff0c;降低数据库的读写压力场景分析&#xff1a; 内存访问速度是磁盘访问速度 10 万倍&#xff08;数量级&#xff09;读的需求远远大于写的需求mysql 自身缓冲层跟业务无…...

编程日记 2025/5/29 10:31:17