当前位置: 首页 > news >正文

【漫话机器学习系列】233.激活阈(Threshold Activation)

深度学习入门:了解“阈值激活函数”(Threshold Activation Function)

激活函数是神经网络中至关重要的一环。今天,我们通过一幅简单直观的手绘图,一起理解最早期也最基础的激活函数之一 —— 阈值激活函数(Threshold Activation Function)


1. 前言

在深度学习(Deep Learning)中,激活函数(Activation Function) 决定了神经网络每个神经元的输出形式。
没有激活函数,神经网络就只是一堆线性叠加,无法拟合复杂的非线性关系。

而在众多激活函数中,阈值激活函数(Threshold Activation Function) 是最早被提出的一种,它简单粗暴,却也奠定了后续复杂模型的基础。

今天,让我们从这幅生动的手绘图出发,深度理解阈值激活的本质。


2. 图像解读

这张图直观展示了阈值激活函数的特性:

  • 水平方向是输入(Input),表示神经元接收到的信号。

  • 垂直方向是输出(Output),表示神经元的激活结果。

可以看到:

  • 当输入 > 0 时,输出固定为 +1。

  • 当输入 < 0 时,输出固定为 -1。

  • 当输入 = 0 时,通常根据具体定义,输出可以是 1、-1 或 0,本图示意以 1 为例。

这种“跳变式”的输出特性,就是典型的硬阈值(Hard Threshold)行为


3. 数学表达式

阈值激活函数可以用简单的公式表示为:

或者在某些变种中:

其中,θ 是一个自定义的阈值(通常为 0)。


4. 背景与起源

  • 感知机(Perceptron) —— 1958年,Frank Rosenblatt 提出了世界上第一个神经网络模型:感知机。

  • 在感知机中,激活函数就是一个简单的阈值函数:加权求和后,大于某个阈值就激活为1,否则激活为-1。

  • 这种方式使得神经网络能够完成最简单的分类任务(如二分类问题)。

可以说,阈值激活函数是神经网络史上的第一代激活函数


5. 特点与优缺点

优点

  • 实现简单:仅需判断大小关系。

  • 计算快速:适合硬件直接实现。

  • 清晰明了:特别适合线性可分问题(如简单分类)。

缺点

  • 不可导:函数在 x=0 处不可导,无法直接用于反向传播(Backpropagation)训练。

  • 不连续:输出突然跳变,不利于梯度更新。

  • 信息量少:只有两个输出(+1 或 -1),表达能力有限。

这些缺点直接促成了后续更复杂激活函数(如 Sigmoid、ReLU、Tanh 等)的发展。


6. 应用场景

虽然在现代深度学习中,硬阈值激活已经很少直接使用,但它仍然在一些场景下非常有用:

  • 早期神经网络(如感知机)教学与演示

  • 硬件实现(如 FPGA、低功耗芯片),需要简单快速的决策逻辑。

  • 二分类任务中,粗略建模或快速实验

  • 神经形态计算(Neuromorphic Computing),模拟生物神经元开关行为。

此外,它作为一种概念模型,帮助人们直观理解激活函数的意义 —— 将连续的输入信号转化为离散的决策输出


7. 与现代激活函数的对比

特性阈值激活(Threshold)SigmoidReLU
是否可导部分可导
是否连续
输出范围{−1,1} 或 {0,1}(0,1)[0,+∞)
是否易于训练
典型应用感知机、简单分类早期神经网络现代深度学习

可以看到,随着神经网络规模扩大和应用复杂化,更平滑、可导的激活函数成为主流。


8. 总结

虽然阈值激活函数简单、粗糙,但它是神经网络发展的起点。
它让我们明白了一个基本概念:

神经网络不仅要加权输入,更需要通过非线性函数进行处理,才能模拟复杂的决策与认知过程。

了解它,就像了解一棵参天大树的根 —— 简单,却无比重要。


9. 参考资料

  • Rosenblatt, F. (1958). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain.

  • Ian Goodfellow, Yoshua Bengio, Aaron Courville. (2016). Deep Learning.

  • Chris Albon - Machine Learning Flashcards


尾声

如果你喜欢今天这篇文章,欢迎点赞、收藏、评论支持!

 

相关文章:

【漫话机器学习系列】233.激活阈(Threshold Activation)

深度学习入门&#xff1a;了解“阈值激活函数”&#xff08;Threshold Activation Function&#xff09; 激活函数是神经网络中至关重要的一环。今天&#xff0c;我们通过一幅简单直观的手绘图&#xff0c;一起理解最早期也最基础的激活函数之一 —— 阈值激活函数&#xff08;…...

使用vue开发electron

1.全局安装electron npm i electron -g 查看是否安装成功 electron -v 在vue项目中添加electron模块 vue add electron-builder 添加成功后&#xff0c;目录中多了background.js文件 可以在background.js配置 例如 窗口大小&#xff0c;是否可以缩放&#xff0c;是否可以移…...

安全企业内部im,BeeWorks即时通讯

BeeWorks企业即时通讯软件具备哪些优势&#xff1f; 1. 多样的沟通方式 文本消息&#xff1a;支持发送文字消息&#xff0c;包括富文本格式&#xff08;如加粗、斜体、下划线、颜色等&#xff09;。 语音消息&#xff1a;支持发送语音消息&#xff0c;方便快捷&#xff0c;适…...

网易爆米花 1.8.8 | 免费无广告,支持多网盘聚合和智能刮削技术,提供顶级画质和逼真音效的影视管理应用

网易爆米花TV是一款专为家庭设计的影视管理应用&#xff0c;旨在提供一个简洁易用的家庭影视库。它支持从多个网盘&#xff08;如阿里、百度、天翼等&#xff09;、WebDAV以及本地资源导入&#xff0c;聚合用户的影视资源&#xff0c;并通过智能刮削技术将视频信息形成精美的影…...

蓝牙语音遥控国产适用芯片HS6621

蓝牙语音遥控器一般是通过按下语音键&#xff0c;遥控器会发送一个 HID 编码通知智能电视或者机顶盒打开识音功能&#xff0c;此时&#xff0c;遥控器LED灯保持闪烁或者长亮&#xff0c;用户开始录音同时将语音数据上传给智能电视或者机顶盒。而智能电视或者机顶盒&#xff0c;…...

【Vue2】1-创建一个Vue实例

Vue2官方文档 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-width, initial-scale1.0"><title>Document</title> </head&g…...

销售与金融领域的数据处理与分析方法

一、引言 在销售和金融领域&#xff0c;除了常见的同比、环比和移动平均等数据处理方法外&#xff0c;还有众多方法可供选择&#xff0c;这些方法分布于不同的专业方向&#xff0c;旨在帮助分析和解决问题&#xff0c;以下将按类别对这些方法进行详细梳理。 二、按类别划分的…...

DataWorks Copilot 集成 Qwen3-235B-A22B混合推理模型,AI 效能再升级!

刚刚&#xff0c;阿里云一站式智能大数据开发治理平台 DataWorks 正式接入 Qwen3 模型&#xff0c;可支持235B最大尺寸。用户通过 DataWorks Copilot 智能助手即可调用该模型&#xff0c;通过自然语言交互完成多种代码操作&#xff0c;实现数据开发、数据分析的快速实现。 Qwen…...

芯片软错误概率探究:基于汽车芯片安全设计视角

摘要&#xff1a; 本文深入剖析了芯片软错误概率问题&#xff0c;结合 AEC-Q100 与 IEC61508 标准&#xff0c;以 130 纳米工艺 1Mbit RAM 芯片为例阐述其软错误概率&#xff0c;探讨汽车芯片安全等级划分及软错误对汽车关键系统的影响&#xff0c;分析先进工艺下软错误变化趋势…...

青少年抑郁症患者亚群结构和功能连接耦合的重构

目录 1 研究背景及目的 2 研究方法 2.1 数据来源与参与者 2.1.1 MDD患者&#xff1a; 2.1.2 健康对照组&#xff1a; 2.2 神经影像分析流程 2.2.1 图像采集与预处理&#xff1a; 2.2.2 网络构建&#xff1a; 2.2.3 区域结构-功能耦合&#xff08;SC-FC耦合&#xff09…...

汽车OTA在线升级法规分析

摘要 本文介绍了R156法规即《关于批准车辆的软件升级和软件升级管理体系统一规定的法规》、该法规专注于汽车软件升级功能&#xff0c;并为此提出了一系列具体要求&#xff0c;旨在确保软件升级流程的安全性、可控性和合规性&#xff0c;从而顺应汽车行业智能化、联网化的发展趋…...

【上海大学数据库原理实验报告】MySQL基础操作

实验目的 熟悉MySQL基础操作。 实验内容 创建四张工程项目的关系表。 图 1 四张工程项目关系表的结构 检索供应零件编号为J1的工程的供应商编号SNO。检索供应零件给工程J1&#xff0c;且零件编号为P1的供应商编号SNO。查询没有正余额的工程编号、名称及城市&#xff0c;结果…...

FUSE 3.0.0 | 聚合7大直播平台的免费电视直播软件,支持原画清晰度及弹幕、收藏功能

FUSE是一款第三方娱乐直播软件&#xff0c;它聚合了多个直播平台的内容&#xff0c;为用户提供丰富的观看选择。首次进入软件后点击左上角logo&#xff0c;然后点击‘我已诚信付款&#xff0c;解锁LIVEPRO’按钮即可解锁所有功能。该软件聚合了7大直播平台&#xff0c;每个平台…...

在企业微信中,回调地址 redirect_uri 是允许包含端口号

在企业微信中&#xff0c;回调地址&#xff08;redirect_uri&#xff09;允许包含端口号的原因主要有以下几点&#xff1a; 1. 企业微信的开放设计 企业微信对回调地址的校验相对灵活&#xff0c;允许开发者根据实际业务需求配置带端口号的域名。这与部分严格限制端口的平台&a…...

Rust 学习笔记:枚举与模式匹配

Rust 学习笔记&#xff1a;枚举与模式匹配 Rust 学习笔记&#xff1a;枚举与模式匹配定义枚举&#xff08;Enum&#xff09;枚举变量Option 枚举及其相对于 NULL 的优势match 和枚举与 Option\<T\> 匹配match 应该是详尽的Catch-all 模式和 _ 占位符使用 if let 和 let e…...

UI自动化测试的优势

1. UI自动化测试的优势(提升效率的场景) ✅ 适合自动化的场景 (1) 高频回归测试 典型场景:每次版本迭代都要验证的核心功能(如登录、支付流程)。 效率提升:自动化脚本执行速度远高于手动测试,尤其适合敏捷开发中的快速验证。 (2) 跨平台/多环境测试 典型场景:需要在不…...

【Android】轻松实现实时FPS功能

文章目录 实时FPS 实时FPS 初始化 choreographer Choreographer.getInstance();lastFrameTimeNanos System.nanoTime();choreographer.postFrameCallback(frameCallback);监听并显示 Choreographer.FrameCallback frameCallback new Choreographer.FrameCallback() {Overri…...

BI平台是什么意思?一文讲清BI平台的具体应用!

目录 一、BI平台是什么意思 1. 基本概念 2. 核心功能 3. 重要性 二、BI平台的分类 1. 按部署方式分类 2. 按功能特点分类 3. 按行业应用分类 三、BI平台的使用场景 1. 销售与营销分析 2. 财务分析 3. 人力资源管理 4. 供应链管理 5. 运营管理 总结 “BI 平台是什…...

玩转MCP

玩转MCP 0.环境1.自定义stdio交互1.1.server1.2.client1.3.效果 2.自定义sse交互2.1.server2.2.client2.3.效果 3.使用官方文件 mcp火了好一阵了&#xff0c;最近一直在大院干活儿&#xff0c;好不容易抽出时间&#xff0c;赶紧来学习学习。 官方文档&#xff0c; mcp广场可以…...

2025华东杯A/B/C题解题思路+可运行代码参考

A题:跳台滑雪问题 选题分析: 跳台滑雪问题涉及物理学、运动学和优化算法。需要建立数学模型来分析运动员在不同阶段的最佳姿势和策略,以提高运动成绩。问题分为三个小问,分别是助滑坡姿势、空中飞行控制和着陆策略。 解题思路: 1. 助滑坡姿势: 分析助滑坡的物理特性,…...

IsaacLab最新2025教程(7)-创建Interactive Scene

在isaaclab中创建的强化学习训练环境有两种&#xff1a;direct workflow&#xff0c;风格与isaacgym一样。另外一种是manager-based workflow更加模块化&#xff0c;它主要是两部分包括仿真环境也就是即将介绍的interactive scene&#xff0c;与mdp的内容&#xff0c;比如奖励函…...

Linux远程管理

1.网络管理获取计算机的网络信息基本语法&#xff1a;windows ipconfig<img src"ReadMe.assets/image-20250318152355476.png" alt"image-20250318152355476" style"zoom:33%;" />powershell ifconfig 也可以通过上面的网络处获取powershe…...

双指针(4)——盛水最多的容器

题目&#xff1a; 这题可以暴力枚举&#xff0c;但会超时&#xff0c;所以我们要用其他方法。 我们就用示例1的数组为例&#xff0c;我们先取出一部分研究。 虽然我们不能用暴力枚举&#xff0c;但可以借用其思想。 对于6和4组成的容器&#xff0c;它可以储存24个单位的水。…...

sd webui 安装插件sd-webui-EasyPhoto依赖安装失败解决办法

在最新版的SD webui中&#xff0c;可以安装easyphoto插件&#xff0c;官方建议通过github安装&#xff0c;对无法科学上网的用户很不友好。对我自己来说是通过地址&#xff1a; https://gitee.com/wowai/sd-webui-EasyPhoto.git 分支&#xff1a;anyid 点击安装即可。 在安装…...

虚拟机对前端开发的实用价值:提升效率与解决痛点的完整指南

作为前端开发者&#xff0c;虚拟机可能不是你日常工作的核心工具&#xff0c;但它确实能在多个方面为前端开发提供强大支持。下面我将详细解析虚拟机如何帮助前端开发者提升工作效率、解决开发难题。 一、跨浏览器/跨平台测试环境搭建 1.1 多浏览器测试 真实IE测试&#xff…...

用Playwright自动化网页测试,不只是“点点点”

如果你接触过网页自动化测试&#xff0c;可能听说过 Selenium、Puppeteer 这些工具。但最近几年&#xff0c;一个新的开源项目在测试圈子里悄然兴起——它就是 Playwright 。 Playwright 是微软开发的一个自动化库&#xff0c;支持多种浏览器&#xff08;包括 Chrome、Firefox…...

合并两个有序数组

题目 给你两个按 非递减顺序 排列的整数数组 nums1 和 nums2&#xff0c;另有两个整数 m 和 n &#xff0c;分别表示 nums1 和 nums2 中的元素数目。 请你 合并 nums2 到 nums1 中&#xff0c;使合并后的数组同样按 非递减顺序 排列。 注意&#xff1a;最终&#xff0c;合并…...

系统思考:局部最优与全局失衡

最近遇到一家创业公司的创始人&#xff0c;在复盘时说了一句扎心的话&#xff1a;“我们真的已经很努力了&#xff0c;大家每天都在拼&#xff0c;连周末都不休息……但事还是做不完&#xff0c;进展还是很慢。” 我和几个关键岗位员工聊了聊&#xff0c;他们也说&#xff1a;“…...

Windows 系统中安装 flash - attn

#工作记录 一、下载 flash_attn 在 Windows 系统中&#xff0c;直接使用 pip 在线安装 flash_attn 很可能失败。 建议从 kingbri1/flash-attention 的 GitHub 发布页面 下载与当前 Python、torch 和 CUDA 版本匹配的 .whl 文件&#xff0c;并从本地进行安装。 Linux版本&am…...

理想药用植物的特征综述-理想中药材”的系统定义-文献精读125

Decoding and designing: Promising routes to tailor-made herbs 解码与设计&#xff1a;定制化草药的潜力路径 摘要 理想药用植物的特征可归纳为高次生代谢产物含量、高抗逆性、理想的形态以及高产量。本研究提出了两种策略&#xff0c;用于解析中药活性成分的生物合成与质…...

Cline原理分析-prompt

Cline 抓包-prompt原文 You are Cline, a highly skilled software engineer with extensive knowledge in many programming languages, frameworks, design patterns, and best practices. TOOL USE You have access to a set of tools that are executed upon the user’s…...

allegro 怎样显示/隐藏铜皮shape?

1、setup–>User preferences&#xff1b; 2、Display -->shape_fill &#xff1b; 3、5个方框打“√”代表隐藏铜皮&#xff1b; 4、不打√代表显示铜皮;...

URP - 公告牌的效果实现

效果&#xff1a; 【太妃糖耶】我的最新作品&#xff0c;快来一睹为快&#xff01; 原理&#xff1a;使面片的正面永远跟随摄像机的旋转 首先我们可以了解一下顶点旋转的原理 B点是由原坐标系中的基向量和A点坐标值相乘得到的 当旋转此基向量后&#xff0c;B点的坐标值会发生…...

在VTK中使用VTKCamera

文章目录 概要Cpp代码概要 在VTK(Visualization Toolkit)中,vtkCamera 类用于控制三维场景中相机的视角。相机决定了你从哪个角度和位置观察三维场景。使用 vtkCamera 的一般步骤包括创建相机对象、配置相机参数、将相机设置为渲染器的活动相机,以及更新相机视图。 Cpp代…...

牛客:AB4 逆波兰表达式求值

链接&#xff1a;逆波兰表达式求值_牛客题霸_牛客网 题解&#xff1a; 利用栈&#xff0c;遍历字符串数组&#xff0c;遇到运算数则入栈&#xff0c;遇到运算符则取出栈顶两个运算数进行运算&#xff0c;并将运算结果入栈。 class Solution { public:/*** 代码中的类名、方法…...

Linux:文件操作

在C语言中&#xff0c;我们可以使用fopen() fclose() fread() fwrite()等接口进行文件操作&#xff0c;而由于文件是储存于磁盘中的&#xff0c;且磁盘是由操作系统来管理的&#xff0c;因此在用户层面对文件的操作必然要调用操作系统对文件的操作。 我们接下来就要了解操作系…...

Gin 集成 prometheus 客户端实现注册和暴露指标

在 Gin 框架中集成 Prometheus 监控系统&#xff0c;可以帮助开发者实时收集和展示应用程序的性能指标&#xff0c;便于监控和故障排查。 Prometheus 是一个开源的监控和告警系统&#xff0c;最初由 SoundCloud 开发&#xff0c;现已成为 Cloud Native Computing Foundation (…...

欢度我们的节日

众所周知&#xff0c;一年一度的“五一”小长假就要来了。先预祝各位兄弟姐妹们假期快乐&#xff0c;天天好心情&#xff01; 你们在节前的最后一天是处于什么状态呢&#xff1f;是不是已经处理好手中的工作静待明日的旅程&#xff1f;还是忙忙碌碌担心搞不完要加班&#xff1f…...

03_Mybatis-Plus LambadaQueryWrapper 表达式爆空指针异常

&#x1f31f; 03_MyBatis-Plus LambdaQueryWrapper 爆出空指针异常的坑点分析 ❓ 场景描述 来看一段常见的 MyBatis-Plus 查询写法&#xff0c;是否存在问题&#xff1f; Page<VideoInfoVo> videoInfoVosPage videoMapper.selectPage(page, new LambdaQueryWrapper&…...

左右分屏电商带货视频批量混剪自动剪辑生产技术软件:智能剪辑与合规化方案解析

一、引言&#xff1a;电商视频营销的工业化生产需求 在电商带货领域&#xff0c;高效产出差异化视频内容是提升转化率的核心竞争力。本文结合实战经验&#xff0c;解析基于智能分屏算法、动态素材重组、多维度参数配置的工业化剪辑方案&#xff0c;构建可复用的自动化生产流水…...

全面解析SimHash算法:原理、对比与Spring Boot实践指南

一、SimHash算法概述 SimHash是一种局部敏感哈希算法&#xff0c;由Google工程师Moses Charikar提出&#xff0c;主要用于海量文本的快速去重与相似度检测。其核心思想是将高维特征向量映射为固定长度的二进制指纹&#xff08;如64位&#xff09;&#xff0c;通过计算指纹间的…...

【Docker】Docker拉取部分常用中间件

一、拉取MySQL 这里以Docker拉取MySQL5.7为例 #拉取镜像 docker pull mysql:5.7 docker run -d --name oj-mysql -p 3306:3306 -e "TZAsia/Shanghai" -e "MYSQL_ROOT_PASSWORD123456" mysql:5.7 -e 参数用于设置容器内的环境变量。TZ 是用于设置时区的环…...

表征(Representations)、嵌入(Embeddings)及潜空间(Latent space)

文章目录 1. 表征 (Representations)2. 嵌入 (Embeddings)3. 潜空间 (Latent Space)4. 关系总结5. 学习思考 1. 表征 (Representations) 定义: 表征是指数据的一种编码或描述形式。在机器学习和深度学习中&#xff0c;它特指模型在处理数据时&#xff0c;将原始输入数据转换成…...

google colab设置python环境为python3.7

最近在看transformers for machine learning:A Deep Dive这本书&#xff0c;发现书里的python版本是python3.7&#xff0c;但是当前google colab默认的python版本为3.12&#xff0c;带来诸多不便&#xff0c;因此需要将colab版本切换为python3.7的python环境。 1.下载需要的版…...

Kaggle比赛入门攻略(以 Titanic 为例)

为什么选择 Kaggle 入门比赛&#xff1f; Kaggle 是全球最大的数据科学竞赛平台。入门比赛 Titanic: Machine Learning from Disaster 是初学者的理想起点&#xff0c;数据量小、结构简单、题目经典。 Step 1&#xff1a;注册并加入比赛 访问比赛地址&#xff1a;https://www…...

【数据链路层深度解析】从帧结构到协议实现

目录 一、数据链路层核心定位1.1 OSI模型中的位置1.2 三大核心职责 二、帧结构详解2.1 以太网帧标准格式&#xff08;IEEE 802.3&#xff09;2.2 帧封装代码示例 三、核心协议机制3.1 MAC地址体系3.2 介质访问控制CSMA/CD&#xff08;以太网冲突检测&#xff09;现代交换机的演…...

大连理工大学选修课——机器学习笔记(5):EMK-Means

EM&K-Means 无监督学习 什么是无监督学习 模型从无标签的数据中自动发现隐藏的模式或结构聚类是最常用的方法 为什么要研究无监督学习 标记样本代价太大分类模式不断变化&#xff0c;标记易过时 数据的分布 参数方法 高斯分布、伯努利分布、多指分布等 非参数方法 局部模…...

算法基础学习|03整数二分

一、思路 &#xff08;1&#xff09;mid(lr1)/2 if(check(mid)):1.true [mid,r] lmid 2.false [l,mid-1] rmid-1 &#xff08;2&#xff09;mid(lr)/2 if(check(mid)):1.true [l,mid] rmid 2.false [mid1,r] lmid1 二、模板 如何选择模…...

婴幼儿急救实训室优化空间布局科学路径5.7

婴幼儿急救实训室的建设是提升托育服务质量、保障婴幼儿生命安全的关键环节。在当前托育行业快速发展的背景下&#xff0c;加强婴幼儿急救实训室建设&#xff0c;对于培养专业急救人才、提高急救技能水平具有重要意义。凯禾瑞华——实训室建设 一、搭建实操平台&#xff1a;沉浸…...

智能体开发

智能体开发是构建具备感知、决策和执行能力的智能系统的过程&#xff0c;核心围绕环境交互和自主决策展开。以下是关键要点&#xff1a; 一、开发流程 1. 需求定义 - 明确智能体目标&#xff08;如对话交互、自动化任务、数据分析等&#xff09;。 - 确定应用场景&#xff08…...