当前位置：首页 > news >正文

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？

news 来源：原创 2025/5/12 20:44:30

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？

重要性：★★★ 💯

NLP Github 项目：

NLP 项目实践：fasterai/nlp-project-practice

介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化、部署和应用，分享大模型算法工程师的日常工作和实战经验
AI 藏经阁：https://gitee.com/fasterai/ai-e-book

介绍：该仓库主要分享了数百本 AI 领域电子书
AI 算法面经：fasterai/nlp-interview-handbook#面经

介绍：该仓库一网打尽互联网大厂NLP算法面经，算法求职必备神器
NLP 剑指Offer：https://gitee.com/fasterai/nlp-interview-handbook

介绍：该仓库汇总了 NLP 算法工程师高频面题

使用的SwiGLU替换ReLU最重要的原因是SwiGLU可以更好的捕获序列的特征。

① 使用ReLU的FFN的计算公式：

② 使用SwiGLU的FFN的计算公式：

更直观的看下ReLU和SwiGLU的可视化对比：

Swish 激活函数在参数 β 不同取值下的形状：

SwiGLU在计算中引入了门控机制，门控机制可以使用更软性的权重筛选有用的信息，并且梯度更平滑。这么做有以下几个主要好处：

动态门控机制：SwiGLU继承了GLU的门控特性，通过使用sigmoid函数作为门控器，可以对输入信号进行筛选和选择性放大。这种门控机制允许模型自适应地选择哪些信息是重要的，从而有助于提高模型对数据的表示能力。
增加非线性和复杂度：SwiGLU通过引入Swish激活函数，为神经网络增添了更多的非线性，使得模型能够捕捉和学习数据中更为复杂的特征和模式。
提高信息流动的效率：SwiGLU的门控机制使得模型能够更有效地管理和调整信息的流动，减少无关信息的干扰，提高了信息处理的效率。
避免“dying ReLU”问题：ReLU的一个主要问题是“dying ReLU”，即某些神经元在训练过程中可能永远不会被激活，导致这些神经元对网络的贡献为零。SwiGLU通过其动态门控机制，减少了这种问题的发生。
提高模型精度：在某些任务中，SwiGLU可以显著提高模型的精度，尤其是在自然语言处理任务中，如GLUE和SuperGLUE，SwiGLU的使用可以带来超过4%的精度提升。

拔高（举一反三）：深刻理解门控机制，并且知晓门控机制在LSTM、IA3中都有应用。

门机制：控制水闸的门就能阻止或者释放水流。类似的，门机制的作用是控制数据的流动。

如上图所示，门的开合程度由 0.0 ~1.0 的实数表示，通过这个数值控制流出的水量，sigmoid 函数用于求门的开合程度（sigmoid 函数的输出范围在 0.0 ~ 1.0）。

① LSTM 中门控机制的应用：

② PEFT的IA3方法中门控机制的应用：

IA3的思想：抑制和放大内部激活，通过可学习的向量对激活值进行抑制或放大。具体来说，会对K、V、FFN三部分的值进行调整，训练过程中同样冻结原始模型的权重，只更新可学习的部分向量部分。训练完成后，与Lora类似，也可以将学习部分的参数与原始权重合并，没有额外推理开销。

NLP 大模型高频面题汇总

NLP基础篇

BERT 模型面

LLMs 微调面

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？

【NLP高频面题 - LLM架构篇】大模型使用SwiGLU相对于ReLU有什么好处？ 重要性：★★★ 💯 NLP Github 项目： NLP 项目实践：fasterai/nlp-project-practice 介绍：该仓库围绕着 NLP 任务模型的设计、训练、优化…...

编程日记 2025/5/12 20:44:30

【Python爬虫实战】轻量级爬虫利器：DrissionPage之SessionPage与WebPage模块详解

🌈个人主页：易辰君-CSDN博客 🔥 系列专栏：https://blog.csdn.net/2401_86688088/category_12797772.html 目录前言一、SessionPage （一）SessionPage 模块的基本功能 （二）基本使…...

编程日记 2025/5/12 8:01:29

python查找大文件

完整代码，不仅会捕获错误，还会输出大于 1MB 文件的大小（以 MB 为单位），并跳过访问受限或已删除的文件。代码 import os# 查找当前目录及子目录下大于 1MB 的文件，并输出文件大小 for root, dirs, files in os.walk(.):for name in files:...

编程日记 2025/5/12 20:26:44

秒懂：使用js验证hash, content hash , chunk hash的区别

一、使用js验证hash, content hash , chunk hash的区别 1、计算一般的 Hash（以简单字符串为例） 使用crypto-js库来进行哈希计算，需提前引入npm install crypto-js库。 crypto-js： 是一个JavaScript加密算法库，用于实…...

编程日记 2025/5/12 15:28:46

RabbitMQ消息可靠性保证机制6--可靠性分析

在使用消息中间件的过程中，难免会出现消息错误或者消息丢失等异常情况。这个时候就需要有一个良好的机制来跟踪记录消息的过程（轨迹溯源），帮助我们排查问题。在RabbitMQ中可以使用Firehose实现消息的跟踪，Firehose可…...

编程日记 2025/5/2 4:11:40

【NoSQL数据库】MongoDB数据库——集合和文档的基本操作（创建、删除、更新、查询）

目录一、MongoDB数据库原理二、MongoDB数据库和集合基本操作（增删改查） 三、MongoDB数据库的文档基本操作（增删改） 四、学习笔记往期文章：【NoSQL数据库】MongoDB数据库的安装与卸载-CSDN博客一、MongoDB数据…...

编程日记 2025/5/12 20:34:03

IDL学习笔记（二）IDL处理卫星数据

IDL处理卫星数据 HDF文件数据集属性通用属性常用HDF4操作函数常用的HDF5操作函数读取HDF文件的一般步骤 HDF4文件读取-----数据信息查询HDF4文件读取示例-----目标数据TIFF输出提取modis产品中数据，与某一点经纬度最接近的点有效结果，并按每行内容为日期…...

编程日记 2025/5/10 17:28:02

用点云信息来进行监督目标检测

🍑个人主页：Jupiter. 🚀 所属专栏：传知代码欢迎大家点赞收藏评论😊 目录概述问题分析Making Lift-splat work well is hard深度不准确深度过拟合不准确的BEV语义模型总体框架显性深度监督深度细化模块演示效果核心…...

编程日记 2025/5/8 3:19:11

Python编写api接口读取电商商品详情数据示例

以下是一个使用 Python 的 Flask 框架来编写一个简单的 API 接口，用于读取模拟的电商商品详情数据的示例代码。这里假设商品详情数据是存储在一个简单的字典中模拟数据库存储，实际应用中你需要连接真正的数据库（如 MySQL、MongoDB 等&#xf…...

编程日记 2025/4/29 5:47:23

用纯 CSS 实现网格背景

是不是在日常开发中经常遇到实现网格的需求，网格通常对网页中展示的元素能起到很好的定位和对齐作用。这里介绍如何只通过 CSS 来实现这个需求？ 使用背景图这里我们的背景图使用 SVG 来创建，首先，创建绘出一个正方形&#xff…...

编程日记 2025/5/9 0:58:47

CNN+LSTM+AM研究方向初尝试

CNNLSTMAM研究方向初尝试简单介绍 CNN CNN 的基本结构卷积层（Convolutional Layer）： 该层通过卷积操作提取输入数据的特征。卷积操作使用多个卷积核（滤波器）对输入图像进行局部感知，从而识别出边缘、纹…...

编程日记 2025/5/12 19:57:58

对比 LiveData 和 Flow 的实现方式

前一段忙完了鸿蒙，现在又开始 Android 开发了。由于之前公司都是都是偏传统开发方式，基本都是 Java 开发 Android 那一套。现在开始学习现代 Android 开发了。对比 LiveData 和 Flow 的实现方式在 Android 开发中，LiveData 和 Flow 都可以用来管理异步数据流和实现 UI 的…...

编程日记 2025/4/26 8:13:35

React.memo 和useMemo 的区别

React.memo 和 useMemo 都是 React 中的性能优化工具，但它们的用途和工作原理不同。以下是它们的主要区别： 1. React.memo React.memo 是一个高阶组件（HOC），用于优化组件的渲染，防止不必要的重新渲染。当组…...

编程日记 2025/5/7 20:53:52

视频码率到底是什么？详细说明

视频码率（Video Bitrate）是指在单位时间内（通常是每秒）传输或处理的视频数据量，用比特（bit）表示。它通常用来衡量视频文件的压缩程度和质量，码率越高，视频质量越好&#…...

编程日记 2025/5/10 21:31:39

CentOS7停更后，如何配置国内Yum源、镜像源

CentOS7停更后，如何配置国内Yum源、镜像源 yum介绍步骤1. 备份原有的yum源文件2. 下载国内Yum源文件3. 清除缓存并更新Yum源4. 使用国内Yum源 yum介绍 Yum（Yellowdog Updater Modified）是一个在CentOS和Red Hat Enterprise Linux&#xff08…...

编程日记 2025/5/9 17:35:04

黑石云｜Linux-基础口令

在Linux系统中，设置和管理口令（密码）是确保系统安全性的重要环节。以下是一些关于Linux基础口令的详细解释和操作指南： 一、口令设置命令 passwd命令功能：用于更改当前用户的密码。使用方法：在终端中输…...

编程日记 2025/5/12 19:53:57

如何配置Github并在本地提交代码

前提: 可以流畅访问github, 需要一些上网技巧, 这就自行处理了申请一个github账号 Github官网地址首先就是邮箱注册啦, github没有对邮箱的限制, 只要是能收邮件的就ok, qq邮箱, 163等都可以使用. 然后和普通注册账号一样, 一路填写需要的信息, 验证邮箱即可. 如何新增代…...

编程日记 2025/5/12 20:02:41

UiPath API接口说明

Swagger网址私有云网址（企业版） https://企业/swagger/index.html 公有云网址（社区版） https://cloud.uipath.com/linan/LinanZhang/orchestrator_/swagger/index.html#/ 常见问题 Swagger页面测试请求时报错“You are not a…...

编程日记 2025/5/12 15:57:57

Ubuntu22.04上kdump和crash的使用

0.前言 1.引用： 解决Linux内核问题实用技巧之 - Crash工具结合/dev/mem任意修改内存-腾讯云开发者社区-腾讯云解决Linux内核问题实用技巧之-dev/mem的新玩法-腾讯云开发者社区-腾讯云 ubuntu内核转储分析——kdump和crash的下载和使用_ubuntu kdump-CSDN博客 U…...

编程日记 2025/5/12 5:08:30

【2025最新计算机毕业设计】基于SSM+Vue中华传统文化吟诵知识学习系统

作者简介：✌CSDN新星计划导师、Java领域优质创作者、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java技术领域和学生毕业项目实战,高校老师/讲师/同行前辈交流。✌ 主要内容：🌟Java项目、Python项目、前端项目、PHP、ASP.NET、人工智能…...

编程日记 2025/5/12 4:21:26

智能社区服务小程序+ssm(lw+演示+源码+运行）

摘要随着信息技术在管理上越来越深入而广泛的应用，管理信息系统的实施在技术上已逐步成熟。本文介绍了智能社区服务小程序的开发全过程。通过分析智能社区服务小程序管理的不足，创建了一个计算机管理智能社区服务小程序的方案。文章介绍了智能社区服务…...

编程日记 2025/5/12 20:30:25

windows10电脑缺少dll文件的解决方案，系统缺少dll修复指南

在使用Windows 10操作系统时，有时会遇到由于缺少某些动态链接库（Dynamic Link Library, 简称DLL）文件而导致程序无法正常运行的问题。本指南将介绍几种解决此类问题的方法。什么是DLL文件？ DLL文件是Windows系统中的一种特殊类型…...

编程日记 2025/5/4 12:32:24

【设计模式系列】工厂方法模式（二十一）

一、什么是工厂方法模式工厂方法模式（Factory Method Pattern）是一种创建型设计模式，其核心目的是定义一个创建对象的接口，但让实现这个接口的子类来决定实例化哪一个类。工厂方法模式让类的实例化推迟到子类中进行，…...

编程日记 2025/5/12 20:41:00

etcd资源超额

集群内apiserver一直重启，重启kubelet服务后查看日志发现一下报错： Error from server: etcdserver: mvcc: database space exceeded 报错原因： etcd服务未设置自动压缩参数（auto-compact） etcd 默认不会自动 compa…...

编程日记 2025/5/12 19:57:58

数据结构与算法学习笔记----DFS

数据结构与算法学习笔记----DFS author: 明月清了个风 first publish time: 2024.12.4 revised: 2024.12.5 - 加了Acwing 843. n-皇后问题。 ps⛹感觉DFS的题基本的思想就是递归，但是每题都有不一样的地方，每一题的思路和模拟过程都单独写在每一题里…...

编程日记 2025/5/11 7:32:00

力扣54.螺旋矩阵

题目描述题目链接54. 螺旋矩阵给你一个 m 行 n 列的矩阵 matrix ，请按照顺时针螺旋顺序 ，返回矩阵中的所有元素。示例 1： 输入：matrix [[1,2,3],[4,5,6],[7,8,9]] 输出：[1,2,3,6,9,8,7,4,5]示例 2：…...

编程日记 2025/5/8 11:47:58

【原生js案例】webApp实现一个分享到的功能

这种分享到的效果很常见，在我们的网站上。鼠标滑入展示，滑出就隐藏。现在我们使用定时器功能来实现这种滑动效果。感兴趣的可以关注下我的系列课程【webApp之h5端实战】，里面有大量的css3动画效果制作原生知识分析，讲解&#xf…...

编程日记 2025/5/7 13:34:43

iPhone手机清理软件：相册清理大师推荐

随着智能手机成为我们日常生活的必需品，手机中的数据日益膨胀，尤其是照片和视频这类容易积累的文件。对于iPhone用户来说，管理这些文件，特别是清理相册变得尤为重要。本文将介绍一款备受推崇的iPhone手机清理软件——CleanMyPhone…...

编程日记 2025/5/11 21:58:01

Javaweb梳理21——Servlet

Javaweb梳理21——Servlet 21 Servlet21.1 简介21.3 执行流程21.4 生命周期4.5 方法介绍21.6 体系结构21.7 urlPattern配置21.8 XML配置 21 Servlet 21.1 简介 Servlet是JavaWeb最为核心的内容，它是Java提供的一门动态web资源开发技术。使用Servlet就可以实现&…...

编程日记 2025/5/9 5:31:30

Serverless 时代

前端的边界探索，从客户端展开，以跨端为目标，用一套 JavaScript 代码生成多端平台，以此来实现大前端的统一。虽然在这条路上还不算尽善尽美，但各家公司的跨端方案已基本趋于成熟，并且已经运用到生产环境中。…...

编程日记 2025/5/7 15:24:09

docker安装clickhouse副本集群

docker安装clickhouse副本集群 1、clickhouse副本集群搭建1.1、docker安装zookeeper集群1.1.1、zookeeper第一个节点安装1.1.2、zookeeper第二个节点安装1.1.3、zookeeper第三个节点安装1.1.4、zookeeper客户端命令 2、Clickhouse副本集群搭建2.1、clickhouse搭建2.2、验证集群…...

编程日记 2025/5/12 19:57:57

详解AI网关助力配电房实现智能化管控应用

对于一些建设年份久远的老旧配电房，由于配套降温散热设施设备不完善、线路设备老化等因素，极易出现因环境过热而影响设备正常稳定运行，进而导致电气故障甚至火灾等事故产生。基于AI网关的配电房智能监控及管理针对配电房的实时安全监测及…...

编程日记 2025/5/11 3:01:49

uniapp调用腾讯定位api

1、注册腾讯地址api接口，创建应用获取key WebService API | 腾讯位置服务 2、配置获取方法getCity // 定位服务getCity(latitude, longitude) {const key XXXX-XXXX-XXXX-XXXX-XXXX; // 替换为你的腾讯位置服务密钥const url /apis.map.qq.com/ws/geocoder/v1/…...

编程日记 2025/5/12 19:49:11

映射vim键位,基本功能键位表(未更完)

键位映射：建议使用jj代替esc,毕竟esc离手那么远 linux下修改方法是：vim /etc/vim/vimrc 在该文件尾添加inoremap jj <Esc>该方法可以同样可以用到其他键位映射上 i：表示这个映射是在插入模式（insert mode）下有效…...

编程日记 2025/5/4 17:22:29

【Python】爬虫实战03：自动化抢票脚本【某麦网】

1. 脚本介绍 1.1 背景介绍在这个数字化时代，演唱会、体育赛事和各种活动的门票销售往往在线上进行。由于热门活动的高需求和门票的有限供应，抢票成为了一场激烈的竞争。许多粉丝和爱好者经常因为手速不够快或网络延迟而错失购票机会。为了提高抢票的成…...

编程日记 2025/5/11 23:25:38

继承System.Web.Http.ApiController的Action的Model如果被[Serializable]定义，会导致Model的字段无法绑定。 Microsoft.AspNet.WebApi.Core.5.2.3\lib\net45\System.Web.Http.dll [Serializable] public class Model {public string id { get; set; } }public MyA…...

编程日记 2025/5/6 8:21:28

ISAAC SIM踩坑记录--添加第三方3D场景

ISAAC SIM仿真首先就是要有合适的3D场景，官方提供了一些场景，如果不能满足要求，那就只能自己建。对于我这种不会3D建模的菜鸟，只能到网上下载了，sketchfab就是一个不错的平台，有不少免费资源可以下载。 …...

编程日记 2025/5/11 0:24:17

Linux中Crontab（定时任务）命令详解

文章目录 Linux中Crontab（定时任务）命令详解一、引言二、Crontab的基本使用1、Crontab命令格式2、Crontab常用操作三、Crontab的配置与服务管理1、配置Crontab2、服务管理四、使用示例1、每天凌晨2点备份网站数据2、每周一凌晨3点清理临时文件3、每月的…...

编程日记 2025/5/11 14:59:29

在Ubuntu中运行和管理AppImage

文章目录什么是AppImage？如何在Ubuntu中运行AppImage？如何管理AppImage？安装AppImageLauncher如何添加AppImage到系统？如何从系统中移除AppImage？ 总结什么是AppImage？ AppImage是一种将应用程序打包为单…...

编程日记 2025/5/10 14:15:46

2024年12月大语言模型最新对比：GPT-4、Claude 3、文心一言等详细评测

前言随着人工智能技术的快速发展，大语言模型(LLM)已经成为了技术领域最热门的话题。本文将详细对比目前主流的大语言模型，帮助大家选择最适合的工具。一、OpenAI GPT系列 1. GPT-4 核心优势： 多模态理解能力强逻辑推理能力出色创造…...

编程日记 2025/5/3 4:32:15

上下位关系自动检测方法

✨✨ 欢迎大家来访Srlua的博文（づ￣3￣）づ╭❤～✨✨ 🌟🌟 欢迎各位亲爱的读者，感谢你们抽出宝贵的时间来阅读我的文章。我是Srlua小谢，在这里我会分享我的知识和经验。&am…...

编程日记 2025/5/8 22:59:07

Linux入门攻坚——40、Linux集群系统入门-lvs（1）

Cluster，集群，为了解决某个特定问题将多台计算机组合起来形成的单个系统。这个单个集群系统可以扩展，系统扩展的方式：scale up，向上扩展，更换更好的主机；scale out，向外扩展&…...

编程日记 2025/4/29 21:59:26

结构篇| 浅析LLaMA网络架构

01 前言 LLaMA（Large Language Model Meta AI）是由Meta AI 发布的一个开放且高效的大型基础语言模型。为什么突然讲这个模型，主要LLaMA 已经成为了最受欢迎的开源大语言模型之一，LLaMA 系列模型在学术界和工业界引起了广泛的关注，对于推动大语言模型技术的开源发展做出了…...

编程日记 2025/5/6 5:49:47

CTF-PWN: 全保护下格式化字符串利用 [第一届“吾杯”网络安全技能大赛如果能重来] 赛后学习(不会)

通过网盘分享的文件：如果能重来.zip 链接: https://pan.baidu.com/s/1XKIJx32nWVcSpKiWFQGpYA?pwd1111 提取码: 1111 --来自百度网盘超级会员v2的分享漏洞分析格式化字符串漏洞,在printf(format); __int64 sub_13D7() {char format[56]; // [rsp10h] [rbp-40h]…...

编程日记 2025/5/5 23:59:22

openEuler卸载 rpm安装的 redis

停止 Redis 服务 sudo systemctl stop redis禁用 Redis 服务 sudo systemctl disable redis 卸载 Redis 软件包 sudo yum remove redis查找并删除 Redis 的残留文件 find / -name red*删除 Redis 配置文件删除 Redis 数据文件 sudo rm -rf /var/lib/redis检查 Redis 是否…...

编程日记 2025/5/11 5:09:34

xxl-job分布式任务调度

XXL-JOB是一个轻量级分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展。现已开放源代码并接入多家公司线上产品线，开箱即用。 GitHub：https://github.com/xuxueli/xxl-job 码云：https://gitee.com/xuxue…...

编程日记 2025/5/6 3:15:57

flutter_quill如何设置Editor中的文字为富文本

比如一个场景在输入框中，某某某是一个颜色，其他文本是一个颜色这里要注意 const QuillEditor({required this.controller,required this.focusNode,required this.scrollController,required this.scrollable,required this.padding,required this…...

编程日记 2025/5/7 20:52:42