Sigmoid函数导数推导详解
Sigmoid函数导数推导详解
- 在逻辑回归中，Sigmoid函数的导数推导是一个关键步骤，它使得梯度下降算法能够高效地计算。
1. Sigmoid函数定义
首先回顾Sigmoid函数的定义：
g ( z ) = 1 1 + e − z g(z) = \frac{1}{1 + e^{-z}} g(z)=1+e−z1
2. 导数推导过程
-
从Sigmoid函数出发：
g ( z ) = 1 1 + e − z g(z) = \frac{1}{1 + e^{-z}} g(z)=1+e−z1 -
令 u = 1 + e − z u = 1 + e^{-z} u=1+e−z，则 g ( z ) = u − 1 g(z) = u^{-1} g(z)=u−1
-
使用链式法则：
d g d z = d g d u ⋅ d u d z = − u − 2 ⋅ ( − e − z ) = e − z ( 1 + e − z ) 2 \frac{dg}{dz} = \frac{dg}{du} \cdot \frac{du}{dz} = -u^{-2} \cdot (-e^{-z}) = \frac{e^{-z}}{(1 + e^{-z})^2} dzdg=dudg⋅dzdu=−u−2⋅(−e−z)=(1+e−z)2e−z -
现在，我们将其表示为 g ( z ) g(z) g(z)的函数：
e − z 1 + e − z = 1 − 1 1 + e − z = 1 − g ( z ) \frac{e^{-z}}{1 + e^{-z}} = 1 - \frac{1}{1 + e^{-z}} = 1 - g(z) 1+e−ze−z=1−1+e−z1=1−g(z) -
因此：
g ′ ( z ) = 1 1 + e − z ⋅ e − z 1 + e − z = g ( z ) ⋅ ( 1 − g ( z ) ) g'(z) = \frac{1}{1 + e^{-z}} \cdot \frac{e^{-z}}{1 + e^{-z}} = g(z) \cdot (1 - g(z)) g′(z)=1+e−z1⋅1+e−ze−z=g(z)⋅(1−g(z))
3. 代码实现
import numpy as np
import matplotlib.pyplot as pltdef sigmoid(z):return 1 / (1 + np.exp(-z))def sigmoid_derivative(z):return sigmoid(z) * (1 - sigmoid(z))z = np.linspace(-10, 10, 100)
plt.figure(figsize=(10, 6))
plt.plot(z, sigmoid(z), label="Sigmoid function")
plt.plot(z, sigmoid_derivative(z), label="Sigmoid derivative")
plt.xlabel("z")
plt.ylabel("g(z)")
plt.title("Sigmoid Function and its Derivative")
plt.legend()
plt.grid(True)
plt.show()
4. 导数性质分析
- 最大值：当 g ( z ) = 0.5 g(z) = 0.5 g(z)=0.5时，导数达到最大值 0.25 0.25 0.25
- 对称性：导数在 z = 0 z=0 z=0时最大，随着 ∣ z ∣ |z| ∣z∣增大而迅速减小
- 非负性：导数始终非负，因为 0 < g ( z ) < 1 0 < g(z) < 1 0<g(z)<1
5. 导数形式的重要型
- 在逻辑回归的梯度下降中，需要计算损失函数对参数的导数。由于损失函数中包含Sigmoid函数，这个导数形式使得计算变得非常简洁：
∂ ∂ θ j J ( θ ) = 1 m ∑ i = 1 m ( h θ ( x ( i ) ) − y ( i ) ) x j ( i ) \frac{\partial}{\partial \theta_j}J(\theta) = \frac{1}{m}\sum_{i=1}^m (h_\theta(x^{(i)}) - y^{(i)})x_j^{(i)} ∂θj∂J(θ)=m1i=1∑m(hθ(x(i))−y(i))xj(i)
- 其中 h θ ( x ) = g ( θ T x ) h_\theta(x) = g(\theta^T x) hθ(x)=g(θTx)。如果没有这个简洁的导数形式，梯度计算会复杂得多。
- 推导损失函数对 θ j \theta_j θj的偏导数：
∂ ∂ θ j J ( θ ) = − 1 m ∑ i = 1 m ( y i 1 h θ ( x i ) − ( 1 − y i ) 1 1 − h θ ( x i ) ) ∂ ∂ θ j h θ ( x i ) = − 1 m ∑ i = 1 m ( y i 1 g ( θ T x i ) − ( 1 − y i ) 1 1 − g ( θ T x i ) ) g ( θ T x i ) ( 1 − g ( θ T x i ) ) x i j = − 1 m ∑ i = 1 m ( y i ( 1 − g ( θ T x i ) ) − ( 1 − y i ) g ( θ T x i ) ) x i j = 1 m ∑ i = 1 m ( h θ ( x i ) − y i ) x i j \begin{align*} \frac{\partial}{\partial \theta_j} J(\theta) &= -\frac{1}{m}\sum_{i=1}^m \left(y_i \frac{1}{h_\theta(x_i)} - (1-y_i)\frac{1}{1-h_\theta(x_i)}\right) \frac{\partial}{\partial \theta_j} h_\theta(x_i) \\ &= -\frac{1}{m}\sum_{i=1}^m \left(y_i \frac{1}{g(\theta^T x_i)} - (1-y_i)\frac{1}{1-g(\theta^T x_i)}\right) g(\theta^T x_i)(1-g(\theta^T x_i)) x_i^j \\ &= -\frac{1}{m}\sum_{i=1}^m \left(y_i(1-g(\theta^T x_i)) - (1-y_i)g(\theta^T x_i)\right) x_i^j \\ &= \frac{1}{m}\sum_{i=1}^m (h_\theta(x_i) - y_i) x_i^j \end{align*} ∂θj∂J(θ)=−m1i=1∑m(yihθ(xi)1−(1−yi)1−hθ(xi)1)∂θj∂hθ(xi)=−m1i=1∑m(yig(θTxi)1−(1−yi)1−g(θTxi)1)g(θTxi)(1−g(θTxi))xij=−m1i=1∑m(yi(1−g(θTxi))−(1−yi)g(θTxi))xij=m1i=1∑m(hθ(xi)−yi)xij
相关文章：
Sigmoid函数导数推导详解
Sigmoid函数导数推导详解 在逻辑回归中，Sigmoid函数的导数推导是一个关键步骤，它使得梯度下降算法能够高效地计算。 1. Sigmoid函数定义 首先回顾Sigmoid函数的定义： g ( z ) 1 1 e − z g(z) \frac{1}{1 e^{-z}} g(z)1e−z1 2. 导…...
运维工作中，Ansible常用模块有哪些？
Ansible是一个强大的自动化运维工具，他通过模块来执行各种任务。Ansible的模块库非常丰富，涵盖了系统管理、文件操作、软件包管理、网络配置、云服务等多个领域。以下是Ansible中常见的模块分类及具体模块详细介绍： 系统管理模块 主要用于管…...
内存安全的攻防战：工具链与语言特性的协同突围
一、内存安全：C 开发者永恒的达摩克利斯之剑 在操作系统内核、游戏引擎、金融交易系统等对稳定性要求苛刻的领域，内存安全问题始终是 C 开发者的核心挑战。缓冲区溢出、悬空指针、双重释放等经典漏洞，每年在全球范围内造成数千亿美元的损失。…...
Linux-04-搜索查找类命令
一、find查找文件或目录: 1.基本语法: find指令将从指定目录向下递归地遍历其各个子目录1，将满足条件的文件显示在终端 find[搜索范围] [选项] 2.选项说明: 选项功能-name <查询方式>按照指定的文件名查找模式查找文件-user <用户名>查找属于指定用…...
移动光猫 UNG853H 获取超级管理员账号密码
注：电脑连接光猫，网线不要接2口（2口一般是IPTV网口） 首先浏览器打开 192.168.1.1，使用光猫背面的用户名密码登录。（user用户名） 然后在浏览器中另开一个窗口打开以下地址： http://…...
健康生活新主张：全方位养生指南
在追求高品质生活的今天，健康养生早已不是老年人的专属话题，而是每个人都该掌握的生活技能。科学养生不需要复杂的程序，而是通过日常习惯的优化，为身体注入源源不断的活力。 饮食管理是健康的根基。选择天然、少加工的食材&#x…...
py使用uniad原生sdk 3, 放弃Buildozer，使用BeeWare
目前，Buildozer 支持打包： Android：通过 Python for Android。您必须有 Linux 或 OSX computer 才能为 Android 进行编译。 iOS：通过 Kivy iOS。您必须拥有 OSX computer 才能为 iOS 进行编译。 支持其他平台在路线图中…...
【数据分享】2020年中国高精度森林覆盖数据集（免费获取）
森林作为全球陆地生态系统的主体，分布面积广、结构复杂，承担着调节气候、维护生态安全、改善环境等方面的重要作用。我国的森林资源丰富，据《中国森林资源报告：2014—2018》统计，我国森林覆盖率已经达到23.04%。森林覆…...
（007）Excel 公式的使用
文章目录 逻辑运算公式的参数常用函数引用方式引用工作表和工作簿表格的引用修改公式的计算时机区域交叉引用 逻辑运算 公式的参数 单元格引用：SUM(A1:A24)。字面值：SQRT(121)。字面文本字符串：PROPER(“john.f.smith”)。表达式：…...
Vue之脚手架与组件化开发
一、基础知识 1、准备工作 node版本在12以上（看情况而变） 全局安装vue/cli脚手架（不理解的可以去看一下node安装环境配置教程） npm i vue/cli -g 2、项目初始化 在终端输入 vue create my-vue-project(这里是名字࿰…...
第四章 Maven
01 01. maven-课程介绍 02 02. maven-概述-maven介绍 私服：提高下载效率，让中央仓库不必被反复访问。我们一般用阿里云的私服。 03 03. maven-概述-maven安装 04 04. maven-idea集成-配置及创建maven项目 05 05. maven-idea集成-导入maven项目 06 06. …...
哈希表笔记（四）Redis对比Java总结
文章目录 一、基础结构对比数据结构定义Java HashMapRedis字典 主要区别与设计思路 二、关键操作API对比初始化Java HashMapRedis字典 添加元素Java HashMapRedis字典 查找元素Java HashMapRedis字典 删除元素Java HashMapRedis字典 扩容/重哈希操作Java HashMapRedis字典 三、…...
【精选】基于数据挖掘的广州招聘可视化分析系统(大数据组件+Spark+Hive+MySQL+AI智能云+DeepSeek人工智能+深度学习之LSTM算法）
博主介绍： ✌我是阿龙，一名专注于Java技术领域的程序员，全网拥有10W粉丝。作为CSDN特邀作者、博客专家、新星计划导师，我在计算机毕业设计开发方面积累了丰富的经验。同时，我也是掘金、华为云、阿里云、InfoQ等平台…...
WPF使用依赖注入框架AutoMapper
WPF应用中使用AutoMapper和依赖注入框架实现对象映射与依赖管理 1. 准备工作 首先，通过NuGet安装必要的包： Install-Package AutoMapper Install-Package Autofac Install-Package Autofac.Extensions.DependencyInjection Install-Package Microsoft.Extensions.Dependen…...
WPF封装常用的TCP、串口、Modbus、MQTT、Webapi、PLC通讯工具类
WPF封装常用通讯工具类 下面我将为您封装常用的TCP、串口、Modbus、MQTT、WebAPI和PLC通讯工具类，适用于WPF应用程序开发。 一、TCP通讯工具类 using System; using System.Net.Sockets; using System.Text; using System.Threading.Tasks;public class TcpClientHelper : …...
游戏引擎学习第253天:重新启用更多调试界面
运行游戏，尝试调试系统，并为今天的工作设定方向。 今天我们将继续完成调试编辑代码的收尾工作。虽然昨天已经让它运行起来了，但目前还在使用旧的GUID系统，以及调试系统里早期用于探索阶段的一些旧式实现。因此，我们需…...
C# ｜ 基于C#实现的BDS NMEA-0183数据解析上位机
以下是一个基于C#实现的BDS NMEA-0183数据解析上位机的示例代码，包含基础功能和界面： using System; using System.Collections.Generic; using System.IO.Ports; using System.Windows.Forms; using System.Drawing; using System.Globalization;namespace BDS_NMEA_Viewer…...
【AI提示词】成本效益分析师
提示说明 专注于通过数据驱动的方式提供成本效益分析，帮助客户优化资源投入与预期回报。 提示词 # Role: 成本效益分析师## Profile - language: 中文 - description: 专注于通过数据驱动的方式提供成本效益分析，帮助客户优化资源投入与预期回报 - ba…...
Kotlin革新数据分析
摘要 在数据分析领域，Python长期占据主导地位。然而，随着技术的不断发展，Kotlin凭借其独特优势逐渐崭露头角。本文深入探讨Kotlin在数据分析中的应用，详细阐述其与Python在数据分析生态系统中的差异，通过具体案例展示…...
今日行情明日机会——20250430
指数目前仍然在震荡区间，等后续的方向选择以及放量后的主线~ 2025年4月30日涨停主要行业方向分析 一、核心主线方向 机器人概念（政策催化技术突破） • 涨停家数：18家。 • 代表标的： ◦ 全筑股份（工业机器…...
【Docker】Dockerfile 使用
文章目录 1. 什么是 Dockerfile？2. Dockerfile 核心指令详解2.1 基础指令2.2 构建过程指令2.3 运行时指令2.4 容器启动指令3. Dockerfile 最佳实践3.1 优化镜像构建3.2 安全性增强3.3 多阶段构建4. 完整 Dockerfile 示例5. 构建与验证6. 总结Docker 作为容器化技术的代表，已经…...
【Hive入门】Hive性能调优之资源配置：深入解析执行引擎参数调优
目录 前言 1 Hive执行引擎概述 2 MapReduce引擎调优 2.1 Map阶段资源配置 2.2 Reduce阶段资源配置 2.3 并发控制参数 3 Tez引擎调优 3.1 Tez架构概述 3.2 内存配置 3.3 并发与并行度 4 Spark引擎调优 4.1 Spark执行模型 4.2 内存管理 4.3 并行度配置 5 资源隔离…...
初学python的我开始Leetcode题8-3
提示：100道LeetCode热题-8-3主要是二叉树相关，包括三题：将有序数组转换为二叉搜索树、验证二叉搜索树、二叉搜索树中第K小的元素。由于初学，所以我的代码部分仅供参考。 目录 前言 题目1：将有序数组转换为二叉搜索树…...
【音频】Qt6实现MP3播放器
1、简介 解码MP3有很多种方法，比如：FFmpeg、GStreamer、Qt、libmpg123 库等，下面介绍使用，只使用Qt的接口方法解码、播放MP3。 开发配置： 1）操作系统：Windows11 2）Qt版本：Qt6.5.1 3）编译器：MinGW_64 2、获取音频输出设备 QMediaDevices 用于获取媒体设备，包括音…...
【Linux】VSCode用法
描述 部分图片和经验来源于网络，若有侵权麻烦联系我删除，主要是做笔记的时候忘记写来源了，做完笔记很久才写博客。 专栏目录：记录自己的嵌入式学习之路-CSDN博客 1 安装环境及运行C/C 1.1 安装及配置步骤 请参考这位大佬的…...
普通 html 项目也可以支持 scss_sass
项目结构示例 下载vscode的插件Live Sass Compiler 自动监听编译scss 下载插件Live Server 用于 web 服务器，打开 html 文件到浏览器，也可以不用这个，自己用 nginx 或者宝塔其他 web 工具 新建一个 index.scss打开，点击 vscode 底…...
C#实现主流PLC读写工具类封装
以下是针对三菱、欧姆龙、西门子S7系列、汇川、台达PLC的完整封装工具类实现，基于Modbus TCP/RTU、MC协议、QJ71等主流通信协议： 基础接口定义 /// <summary> /// PLC操作基础接口 /// </summary> public interface IPLC {/// <summary>/// 连接PLC/// &…...
C++之特殊类设计及类型转换
目录 一、设计一个不能被拷贝的类 二、设计一个只能在堆上创建对象的类 三、设计一个只能在栈上创建对象的类 四、设计一个不能被继承的类 五、设计一个只能创建一个对象的类(单例模式) 六、C语言中的类型转换 七、C中的三类类型转换 八、C强制类型转换 8.1、为什么C需…...
【Linux】C语言补充知识
有一些Linux常见的C语言用法需要哈好复习一下。 部分图片和经验来源于网络，若有侵权麻烦联系我删除，主要是做笔记的时候忘记写来源了，做完笔记很久才写博客。 专栏目录：记录自己的嵌入式学习之路-CSDN博客 1 结构体 1.1 结…...
怎么查看数据库容量
要查看数据库容量，你需要登录数据库管理系统，然后执行相应的 SQL 查询语句。不同的数据库管理系统有不同的语法，以下是一些常见的数据库管理系统中查看数据库容量的 SQL 查询语句示例： MySQL/MariaDB: SELECT table_schema &quo…...
深度学习中卷积的计算复杂度与内存访问复杂度
深度学习中卷积的计算复杂度与内存访问复杂度 在深度学习中，普通卷积（Standard Convolution）、深度可分离卷积（Depthwise Separable Convolution, DWConv）和部分卷积（Partial Convolution, PConvÿ…...
神经网络—损失函数
文章目录 前言一、损失函数概念二、损失函数原理1、分类问题中常见的损失函数（1）0-1损失函数原理优缺点 （2）交叉熵损失（Cross-Entropy Loss）原理优缺点 （3） 合页损失（Hin…...
Rust中避免过度使用锁导致性能问题的策略
一、引言 在 Rust 多线程编程中，锁是实现线程同步的重要工具，它可以防止多个线程同时访问和修改共享数据，从而避免数据竞争和不一致的问题。然而，过度使用锁会带来严重的性能问题，如锁竞争导致的线程阻塞、上下文切换…...
Qt connect第五个参数
在 Qt 中，QObject::connect 函数的第五个参数用于指定 连接类型（Qt::ConnectionType），它决定了信号与槽之间的通信方式。以下是各枚举值的详解及使用场景： 1. Qt::AutoConnection（默认值） 行为…...
QT —— 信号和槽（带参数的信号和槽函数）
QT —— 信号和槽（带参数的信号和槽函数） 带参的信号和槽函数信号参数个数和槽函数参数个数1. 参数匹配规则2. 实际代码示例✅ 合法连接（槽参数 ≤ 信号参数）❌ 非法连接（槽参数 > 信号参数） 3. 特殊处理…...
极简GIT使用
只为极简使用。 创建本地仓库 初始化git仓库 1.创建一个新文件夹 2.在文件夹内打开git bash 之后进入如下界面，输入git init，这样此文件就可以使用git了。 在此文件夹中，除了.git文件外，其他全部都是工作文件。 接下来将以一个…...
【嵌入式———通用定时器基本操作——实验需求2：案列：测量PWM的频率/周期】
通用定时器输入捕获 需求：把测到的结果通过串口发送到电脑，检查测试结果。 在溢出之前，两次上升/下降沿记录时间。 345部分 滤波器：用来滤掉一些毛刺信息，信号质量好可以不滤波 边沿检测器：确定要捕获的是…...
兰亭妙微：数据驱动的 B 端设计：如何用 UI 提升企业级产品体验？
在数字化转型的浪潮中，企业级产品的用户体验成为了决定产品竞争力的关键因素。对于 B 端产品而言，其使用场景复杂、用户需求多元，如何通过 UI 设计提升产品体验，成为了摆在设计者面前的重要课题。而数据驱动的设计方法&#x…...
Spring AOP---面向切面编程由认识到使用
1. AOP AOP(Aspect-Oriented Programming), 是一种思想, 面向切面编程。 在前文统一异常处理，统一结果返回就是使用了这一思想（都是在集中处理某一类事情, 但又不影响原有代码的正常运行），但他们不是AOP，只是应用了这…...
深入解析 Python 应用日志监控：ELK、Graylog 的实战指南
深入解析 Python 应用日志监控：ELK、Graylog 的实战指南 引言 在现代应用开发中，日志不仅仅是用于记录错误和调试信息，它更是系统运行状况的窗口，帮助开发者和运维人员监控、优化应用性能。Python 作为广泛应用的开发语言，其应用日志管理的重要性不言而喻。而 ELK（Elas…...
贝叶斯算法实战：从原理到鸢尾花数据集分类
贝叶斯算法实战：从原理到鸢尾花数据集分类 在机器学习的广阔领域中，贝叶斯算法以其基于概率推理的独特优势，成为数据分类和预测的重要工具。今天，我们将通过一段Python代码，深入探讨贝叶斯算法在鸢尾花数据集分类任务…...
CSS学习笔记14——移动端相关知识（rem,媒体查询,less）
移动端 rem适配布局 rem单位 rem基准是相对于html元素的字体大小 父元素设定font-size，子元素根据rem缩放对应字体大小 媒体查询（Media Query） media可以针对不同屏幕尺寸设置不同样式当你重置浏览器大小过程中，页面也会根据…...
使用Node编写轻量级后端快速入门
使用Node编写轻量级后端快速入门 node 要作为轻量级后端需要下载一些对应模块可以参考下面命令。你可以借助 npm（Node Package Manager）来下载它们。 模块下载 express：这是一个广受欢迎的 Node.js Web 应用框架，能用于构建 Web…...
海量数据存储与分析：HBase vs ClickHouse vs Doris 三大数据库优劣对比指南
1.引言 在当今大数据时代，数据正以前所未有的速度持续增长。来自各个领域的数据，如互联网行业用户的每一次点击、浏览记录，金融机构的海量交易数据，以及物联网设备源源不断上传的实时监测数据等，其规模呈指数级攀升。…...
Redis 挂掉后高并发系统的应对策略：使用 Sentinel 实现限流降级与 SkyWalking 监控优化
前言 在现代分布式系统中，Redis 被广泛用作缓存中间件以提升性能和减轻数据库压力。然而，在高并发场景下，一旦 Redis 出现故障（如宕机、网络中断等），如果没有有效的容错机制，可能会导致大量请求…...
C++11新特性_自动类型推导_decltype
decltype 是 C11 引入的一个关键字，用于在编译时推导表达式的类型。它提供了一种方式，让编译器根据表达式的类型来确定变量的类型，而不需要显式地指定类型。下面为你详细介绍 decltype 的使用方法和应用场景。 基本语法 decltype 的基本语法…...
Scrapy爬虫实战总结：动态与登录爬取的精炼经验
引言 在AI时代，信息和数据往往成就你的速度和高度。。。 这篇文章基于前两篇的实践基础之上的一次小结，通过“爬取动态网页”和“登录网站”两场实战，我用Scrapy+Splash破译JavaScript，用FormRequest敲开权限大门。这篇总结凝练两场冒险的体验，淬炼Scrapy爬虫的通用经验…...
)
windows系统搭建自己的ftp服务器，保姆级教程(用户验证+无验证)
前言 最近在搭建环境时，我发现每次都需要在网上下载依赖包和软件，这不仅耗时，而且有时还会遇到网络不稳定的问题，导致下载速度慢或者中断，实在不太方便。于是，我产生了搭建一个FTP服务器的想法。通过搭建FT…...
PDF本地化开源项目推荐
Stirling-PDF 项目详细总结 1. 项目概述 Stirling-PDF 是一个基于 Docker 的本地化 Web 应用，专注于 PDF 文件的多样化处理。其核心特点是： 完全本地化部署：所有文件处理均在用户设备或服务器内存中进行，任务完成后自动清理临…...
从工厂到生活：算法 × 深度学习，正在改写自动化的底层逻辑
一.背景： 从工业革命时期的机械自动化，到信息时代的智能自动化，人类对自动化技术的追求从未停歇。近年来，随着物联网、大数据、云计算等技术的蓬勃发展，自动化系统的复杂度与智能化程度显著提升。算法与深度学习的深度…...