当前位置：首页 > news >正文

神经网络基础-激活函数

news 来源：原创 2025/6/26 1:34:09

文章目录

- 1. 什么是激活函数
- 2. sigmoid 激活函数
- 3. tanh 激活函数
- 4. ReLU 激活函数
- 5. SoftMax 激活函数
- 6. 其他常见的激活函数
- 7. 激活函数的选择方法

1. 什么是激活函数

激活函数用于对每层的输出数据进行变换, 进而为整个网络注入了非线性因素。此时, 神经网络就可以拟合各种曲线。

没有引入非线性因素的网络等价于使用一个线性模型来拟合。
通过给网络输出增加激活函数, 实现引入非线性因素, 使得网络模型可以逼近任意函数, 提升网络对复杂问题的拟合能力。

如果不使用激活函数，整个网络虽然看起来复杂，其本质还相当于一种线性模型，如下公式所示：

常见的激活函数有：sigmoid、tanh、ReLU、SoftMax。

2. sigmoid 激活函数

激活函数公式：
激活函数求导公式：
sigmoid 激活函数的函数图像如下：

sigmoid 特点分析：

sigmoid 函数可以将任意的输入映射到 (0, 1) 之间，当输入的值大致在 <-6 或者 >6 时，意味着输入任何值得到的激活值都是差不多的，这样会丢失部分的信息。比如：输入 100 和输出 10000 经过 sigmoid 的激活值几乎都是等于 1 的，但是输入的数据之间相差 100 倍的信息就丢失了。
对于 sigmoid 函数而言，输入值在 [-6, 6] 之间输出值才会有明显差异，输入值在 [-3, 3] 之间才会有比较好的效果。
通过上述导数图像，我们发现导数数值范围是 (0, 0.25)，当输入 <-6 或者 >6 时，sigmoid 激活函数图像的导数接近为 0，此时网络参数将更新极其缓慢，或者无法更新。
一般来说， sigmoid 网络在 5 层之内就会产生梯度消失现象。而且，该激活函数并不是以 0 为中心的，所以在实践
中这种激活函数使用的很少。sigmoid函数一般只用于二分类的输出层。

sigmoid 函数的代码实现：

# sigmoid 激活函数
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
import torch
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
# 创建画布和坐标轴
_, axes = plt.subplots(1, 2)
# 函数图像
x = torch.linspace(-20,20,1000)
# 输入值x通过sigmoid 函数转换成激活值y
y = torch.sigmoid(x)
axes[0].plot(x,y)
axes[0].grid()
axes[0].set_title("sigmoid 函数图像")
# 导数图像
x = torch.linspace(-20,20,1000,requires_grad=True)
torch.sigmoid(x).sum().backward()
# x.detach()：输入值x的数值
# x.grad：计算梯度，求导
axes[1].plot(x.detach(),x.grad)
axes[1].grid()
axes[1].set_title("sigmoid 导数图像")
plt.show()

输出结果：

3. tanh 激活函数

激活函数公式：

激活函数导数：
Tanh 的函数图像、导数图像如下：

tanh 特点分析：

Tanh 函数将输入映射到 (-1, 1) 之间，图像以 0 为中心，在 0 点对称，当输入大概<-3 或者3 时将被映射为 -1 或者 1。其导数值范围 (0, 1)，当输入的值大概 <-3 或者 > 3 时，其导数近似 0。
与 Sigmoid 相比，它是以 0 为中心的，且梯度相对于sigmoid大，使得其收敛速度要比Sigmoid 快，减少迭代次数。然而，从图中可以看出，Tanh 两侧的导数也为 0，同样会造成梯度消失。
若使用时可在隐藏层使用tanh函数，在输出层使用sigmoid函数。

tanh 代码实现：

# -*- coding: utf-8 -*-
# tanh激活函数
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
import torch
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
# 创建画布和坐标轴
_, axes = plt.subplots(1, 2)
# 函数图像
x = torch.linspace(-20, 20, 100)
y = torch.tanh(x)
axes[0].plot(x,y)
axes[0].grid()
axes[0].set_title("tanh 函数图像")
#导数图像
x = torch.linspace(-20, 20, 100,requires_grad=True)
torch.tanh(x).sum().backward()
# x.detach()：输入值x的数值
# x.grad：计算梯度，求导
axes[1].plot(x.detach(),x.grad)
axes[1].grid()
axes[1].set_title("tanh 导数图像")
plt.show()

输出结果：

4. ReLU 激活函数

激活函数公式：
激活行数导数：

ReLu 的函数图像、导数图像如下：

在这里插入图片描述

ReLu代码实现：

# -*- coding: utf-8 -*-
# tanh激活函数
import os
os.environ["KMP_DUPLICATE_LIB_OK"]="TRUE"
import torch
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif'] = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False # 用来正常显示负号
# 创建画布和坐标轴
_, axes = plt.subplots(1, 2)
# 函数图像
x = torch.linspace(-20, 20, 100)
y = torch.relu(x)
axes[0].plot(x,y)
axes[0].grid()
axes[0].set_title("ReLU 函数图像")
#导数图像
x = torch.linspace(-20, 20, 100,requires_grad=True)
torch.relu(x).sum().backward()
# x.detach()：输入值x的数值
# x.grad：计算梯度，求导
axes[1].plot(x.detach(),x.grad)
axes[1].grid()
axes[1].set_title("ReLU 导数图像")
plt.show()

输出结果：
在这里插入图片描述

5. SoftMax 激活函数

softmax 用于多分类过程中，它是二分类函数sigmoid在多分类上的推广，目的是将多分类的结果以概率的形式展现出来。计算方法如下图所示：
在这里插入图片描述

Softmax 就是将网络输出的 logits 通过 softmax 函数，就映射成为(0,1)的值，而这些值的累和为1（满足概率的性质），那么我们将它理解成概率，选取概率最大（也就是值对应最大的）节点，作为我们的预测目标类别。

scores = torch.tensor([0.2, 0.02, 0.15, 0.15, 1.3, 0.5, 0.06, 1.1, 0.05, 3.75])
probabilities = torch.softmax(scores, dim=0)
print(probabilities)

输出结果：

tensor([0.0212, 0.0177, 0.0202, 0.0202, 0.0638, 0.0287, 0.0185, 0.0522, 0.0183,0.7392])

6. 其他常见的激活函数

在这里插入图片描述

7. 激活函数的选择方法

对于隐藏层：

优先选择ReLU激活函数
如果ReLu效果不好，那么尝试其他激活，如Leaky ReLu等。
如果你使用了ReLU，需要注意一下Dead ReLU问题，避免出现大的梯度从而导致过多的神经元死亡。
少用使用sigmoid激活函数，可以尝试使用tanh激活函数

对于输出层:

二分类问题选择sigmoid激活函数
多分类问题选择softmax激活函数
回归问题选择identity激活函数

神经网络基础-激活函数

文章目录 1. 什么是激活函数2. sigmoid 激活函数3. tanh 激活函数4. ReLU 激活函数5. SoftMax 激活函数6. 其他常见的激活函数7. 激活函数的选择方法 1. 什么是激活函数激活函数用于对每层的输出数据进行变换, 进而为整个网络注入了非线性因素。此时, 神经网络就可以拟合各种…...

编程日记 2025/6/26 1:34:09

Debedium如何忽略Oracle的purge命令

报错截至目前3.0版本，Debezium的Oracle Connector并不支持purge table这个指令。所以，在使用Debezium解析Oracle变更的时候，如果在源端执行了类似 purge table "$BIN… 的语句，就会导致Debezium罢工，日志里显…...

编程日记 2025/6/26 13:14:46

基于 webRTC Vue 的局域网文件传输工具

文件传输工具，匿名加密，只需访问网页，即可连接到其他设备，基于 webRTC 和 Vue.js coturn TURN 服务器 docker pull coturn/coturn docker run -d --networkhost \-v $(pwd)/my.conf:/etc/coturn/turnserver.conf \coturn/coturn…...

编程日记 2025/6/27 0:25:08

opencv Canny边缘检测

canny阈值越高,检测到的边缘数量越少 # 导入OpenCV库，用于图像处理 import cv2 import numpy as np # 从matplotlib库中导入pyplot模块，用于绘制图像 from matplotlib import pyplot as plt # 创建一个名为window的窗口，窗口大小自…...

编程日记 2025/6/27 0:19:00

数仓高频面试 | 数仓为什么要分层

大家好，我是大D呀。关于数仓分层，在面试过程中几乎是必问的。不过，面试官一般也不会直接考你数仓为什么要分层，而是在你介绍项目时，可能会换一种形式来穿插着问，比如数据链路为什么要这样设计&#xff0c…...

编程日记 2025/6/23 14:06:03

Coconut：探索大语言模型的连续思维链推理能力

目录简介： 什么是Coconut？ 为什么我们需要Coconut？ Coconut如何工作？ 实验结果怎么样？ Coconut的优势： 结论： 简介： 你有没有想过，计算机是如何像人类一样思考问…...

编程日记 2025/6/25 16:31:36

2024年安徽省职业院校技能大赛水利工程BIM建模与应用

2024年安徽省职业院校技能大赛赛项规程赛项名称： 水利工程BIM建模与应用赛项组别： 高职组承办单位： 安徽水利水电职业技术学院目录一、赛项名称… 1 二、竞赛目标… 1 三、竞赛内容… 2 四、竞赛方式… 3 五、竞赛流程… 4 七、技术…...

编程日记 2025/6/26 15:53:24

vue常用命令汇总

nvm 一个nodejs版本管理工具，解决node.js各种版本存在不兼容现象可以通过它可以安装和切换不同版本的node.js。 npm 可以管理 nodejs 的第三方插件。 vue-cli 是Vue提供的一个官方cli,专门为单页面应用快速搭建繁杂的脚手架。 nginx 是一个高性能的HTTP和反向代理we…...

编程日记 2025/6/27 0:20:00

ios上架构建版本没苹果电脑怎么上传

在app store上架的时候，遇到下图的问题： 点击蓝色加号的时候，并没有构建版本可以选择从图中可以看出，它给我们推荐了很多上传工具，比如xcode、transporter或命令行工具之类的，但是这些工具都是只能在苹果…...

编程日记 2025/6/27 0:33:06

某名校考研自命题C++程序设计——近10年真题汇总（上）

本帖更新一些某校的编程真题，总体来说不难，考察的都是基本功，92高校大一期末的难度，不过有些细节颇为繁琐，各位还是需要一定程度上注意的~ 目录一.分数求和二.大小写字母转换三.判断当年天序四.交替合并字符串…...

编程日记 2025/6/26 3:55:20

【ChatGPT】解锁AI思维链：如何让机器像人类一样思考？

在人工智能领域，我们一直在追求让机器像人类一样思考。然而，即使是最先进的AI，也常常被诟病缺乏“常识”，难以理解复杂问题，更不用说像人类一样进行逻辑推理和解决问题了。最经常的表现就是遇到不会的地方，…...

编程日记 2025/6/27 0:16:02

️️️ 避坑指南：如何修复国密gmssl 库填充问题并提炼优秀加密实践20241212

🛡️ 避坑指南：如何修复国密gmssl 库填充问题并提炼优秀加密实践 ✨ 引言在当下的数据安全环境中，SM4作为中国国家密码算法的代表性选择，被广泛应用于金融、通信和政府领域。然而，在实际开发中，即便是开…...

编程日记 2025/6/27 0:36:01

鸿蒙ArkTS如何实现数据可视化：饼状图/柱状图/折线图

鸿蒙数据可视化系列在我们鸿蒙APP开发中，经常需要使用到一些图表的开发，本文主要介绍使用 McCharts 框架绘制柱状图的方法配套指导视频地址：鸿蒙数据可视化系列-McCharts使用介绍_哔哩哔哩_bilibili 1. 第三方库介绍 1.1. McCharts Mc…...

编程日记 2025/6/27 0:37:32

Win10环境vscode+latex+中文快速配置

安装vscodelatex workshop 配置： {"liveServer.settings.donotVerifyTags": true,"liveServer.settings.donotShowInfoMsg": true,"explorer.confirmDelete": false,"files.autoSave": "afterDelay","exp…...

编程日记 2025/6/26 15:47:31

修改frameworks/base/services/core/java/com/android/server/policy/PhoneWindowManager.java diff --git a/base/services/core/java/com/android/server/policy/PhoneWindowManager.java b/base/services/core/java/com/android/server/policy/PhoneWindowManager.java in…...

编程日记 2025/6/26 19:30:41

康耐视智能相机（Insight）通过ModbusTCP发送字符串到倍福（BECKHOFF）PLC中

文章目录 1.背景2.分析3.实现3.1.PLC的ModbusTCP_Server3.1.1.安装TF6250-Modbus-TCP3.1.2.PLC设置 3.2.智能相机的ModbusTCP_Client3.2.1.了解ModbusTCP的协议3.2.2.根据协议写代码3.2.2.1.纯函数代码3.2.2.2.脚本代码 3.2.3.非脚本处理时的代码逻辑图3.2.4.关于代码的问题及解…...

编程日记 2025/6/24 17:23:05

OpenCV 图像变换与处理实战

OpenCV快速通关第一章：OpenCV 简介与环境搭建第二章：OpenCV 图像基本操作第三章：OpenCV 图像变换与处理实战 OpenCV 图像变换与处理实战 OpenCV快速通关OpenCV 图像变换与处理实战一、OpenCV 基础与图像处理概览二、图像变换理论精析三、…...

编程日记 2025/6/25 5:19:58

meta llama 大模型一个基础语言模型的集合

LLaMA 是一个基础语言模型的集合，参数范围从 7B 到 65B。我们在数万亿个 Token 上训练我们的模型，并表明可以专门使用公开可用的数据集来训练最先进的模型，而无需诉诸专有的和无法访问的数据集。特别是，LLaMA-13B 在大多数基准测试…...

编程日记 2025/6/24 16:50:48

【MySQL — 数据库基础】深入理解数据库服务与数据库关系、MySQL连接创建、客户端工具及架构解析

目录 1. 数据库服务＆数据库＆表之间的关系 1.1 复习 my.ini 1.2 MYSQL服务基于mysqld启动而启动 1.3 数据库服务的具体含义 1.4 数据库服务&数据库&表之间的关系 2. 客户端工具 2.1 客户端连接MySQL服务器 2.2 客…...

编程日记 2025/6/21 22:44:01

详解多租户架构下的资源隔离模式

文章目录 0.简介1.多租户概念1.1 基本概念1.2 单租户 vs 多租户 2.实现方案2.1 独立数据库方案2.1.1 优点2.1.2 缺点2.1.3 应用场景 2.2 共享数据库，独立 Schema2.2.1 优点2.2.2 缺点2.2.3 应用场景 2.3 共享数据库、共享Schema、共享表2.3.1 优点2.3.2 缺点2.3.3 应…...

编程日记 2025/6/22 13:58:14

Bananna Pi开源社区联合矽昌通信打造开源的低成本Wifi5路由器

香蕉派 BPI-Wifi5 路由器采用矽昌SF19A2890S2芯片方案设计。它是一款高性能无线路由器，适用于小微企业、家庭和其他网络环境。Banana Pi开源社区提供整体解决方案。所有代码开源，用户可以在上面自由开发自己的应用。 Banana Pi wifi5 路由器github代码: …...

编程日记 2025/6/25 13:09:06

根据契约进行分析--录像店案例研究01

Richard Mitchell 著，zhen_lei 译本文包括录像店案例研究的一些片段，用来说明根据契约进行分析的原理。本文假定读者已经从其它渠道学习了一些关于根据契约进行分析的方法。完整的一套模型可以写成一本书。这些选择的片段用来说明开发的某些方面&…...

编程日记 2025/6/24 4:54:24

Linux系统操作03|chmod、vim

上文： Linux系统操作02|基本命令-CSDN博客目录六、chmod：给文件设置权限 1、字母法 2、数字法（用的最多） 七、vim：代码编写和文本编辑 1、启动和退出 1️⃣启动 2️⃣退出 2、vim基本操作六、chmod&#x…...

编程日记 2025/6/26 16:37:51

MyBatis 核心知识与实践

一、MyBatis 概述 1. 框架简介 MyBatis 是一款支持自定义 SQL、存储过程以及高级映射的持久层框架。它避免了几乎所有的 JDBC 代码和手动设置参数以及获取结果集的操作，使开发人员能够更专注于 SQL 语句的编写和业务逻辑的处理。 2. 核心组件 SqlSessionFactoryB…...

编程日记 2025/6/25 1:23:23

负载均衡oj项目：介绍

目录项目介绍项目演示项目介绍负载均衡oj是一个基于bs模式的项目。用户使用浏览器向oj模块提交代码，oj模块会在所有在线的后端主机中选择一个负载情况最低的主机，将用户的代码提交给该主机，该主机进行编译运行，将结果返回…...

编程日记 2025/6/23 7:07:32

Oracle最佳实践-优化硬解析

前段时间参加oracle CAB，oracle高级服务部门做了一个数据库最佳实践的报告，其中就有一项就是解决未使用绑定变量但执行次数很多的SQL； 对于一个数据库来说如果不知道该如何优化，那么最简单最有效的优化就是减少硬解析，…...

编程日记 2025/6/26 19:17:13

Java 实现给pdf文件指定位置盖章功能

Java 实现给pdf文件指定位置盖章功能开发中遇到一个需求, 需要给用户上传的的pdf文件, 指定位置上盖公章的功能, 经过调研和对比, 最终确定实现思路. 这里是使用pdf文件中的关键字进行章子的定位, 之所以这样考虑是因为如果直接写死坐标的话, 可能会出现因pdf大小, 缩放, 盖章…...

编程日记 2025/6/25 21:43:09

前端通过 jspdf 和 html2canvas 工具将网页生成 pdf

由于 html2canvas 的性能问题，该方案对于页数比较多的场景生成的非常慢，可以试着使用 modern-screenshot 工具看是否性能会得到提升。 import html2canvas from html2canvas import { jsPDF } from jspdfasync function exportPdf(){const pages docume…...

编程日记 2025/6/24 8:22:55

网络安全—部署CA证书服务器

网络拓扑两台服务器在同一网段即可，即能够互相ping通。安装步骤安装证书系统首先我们对计算机名进行确认，安装了证书系统后我们是不能随意更改计算机名字的，因为以后颁发的证书都是和计算机也就是这一台的服务器名字有关。修改完成后开…...

编程日记 2025/6/24 9:39:55

用Keytool和OpenSSL生成和签发数字证书

一）keytool生成私钥文件(.key)和签名请求文件(.csr)，openssl签发数字证书 J2SDK在目录%JAVA_HOME%/bin提供了密钥库管理工具Keytool，用于管理密钥、证书和证书链。Keytool工具的命令在JavaSE6中已经改变，不过以前的命令仍然支持。Keytool也可以用来管理对称加密算法中…...

编程日记 2025/6/25 10:35:56

《CSS 知识点》大屏卡片布局思路：弹性布局 flex-grow

思路大屏左右两侧高宽一致，内部卡片可按比例设置！ 使用弹性布局和属性 flex-grow 设置比例；间隔使用 margin-bottom 设置，最后一个卡片不设置； 效果如图代码说明 CSS代码 26 - 30，左右两侧设置弹性布…...

编程日记 2025/6/22 17:33:20

ceph单节点部署方式

准备一台单节点虚拟机，2C4G 三个50G的SCSi类型的磁盘 0. 关闭防火墙/关闭SELinux/下载podman/配置时间同步 systemctl disable --now firewalld setenforce 0 vim /etc/sysconfig/selinux SELINUXenforcing 修改为 SELINUXdisabled yum install podman -y sed -…...

编程日记 2025/6/24 9:10:52

【人工智能】OpenAI O1模型：超越GPT-4的长上下文RAG性能详解与优化指南

在人工智能（AI）领域，长上下文生成与检索（RAG） 已成为提升自然语言处理（NLP）模型性能的关键技术之一。随着数据规模与应用场景的不断扩展，如何高效地处理海量上下文信息，成…...

编程日记 2025/6/26 9:01:17

Qt如何将字串显示成二维码以供扫码识别

在Qt中可以使用QRcode来生成二维码，本质上说，其实是把一串信息生成二维码形式的图片。首先介绍下QRcode，QRCode原本是一个用于生成二维码的 JavaScript 库，在Qt中大佬们将其改成C语言实现。现直接放出来，使用的时候直…...

编程日记 2025/6/22 13:58:15

【Golang】如何读取并解析SQL文件

一、背景在数据库开发与维护过程中，我们经常需要执行大量的SQL语句。有时，这些SQL语句会被保存在一个文件中，以便于批量执行。为了方便地在Go语言中处理这些SQL文件，我们可以编写一个函数来读取并解析SQL文件中的语句。二、实…...

编程日记 2025/6/24 1:47:49

图形学笔记 - 5. 光线追踪 - RayTracing

Whitted-Style Ray tracing 为什么要光线追踪光栅化不能很好地处理全局效果软阴影尤其是当光线反射不止一次的时候栅格化速度很快，但质量相对较低光线追踪是准确的，但速度很慢光栅化：实时，光线追踪：离线~10K …...

编程日记 2025/6/26 10:09:53

WHY - 为什么选择 Rsbuild

目录一、介绍二、工具对比三、性能 https://rsbuild.dev/zh/guide/start/index 一、介绍 Rsbuild 是由 Rspack 驱动的高性能构建工具，它默认包含了一套精心设计的构建配置，提供开箱即用的开发体验，并能够充分发挥出 Rspack 的性能优势。二…...

编程日记 2025/6/24 21:26:21

前端(模块化)

未使用模块化定义两个js文件simple1.js和simple2.js let a11; let a11; 两个js文件变量重名在html测试传统引入js文件 <script src"./simple1.js"></script> <script src"./simple2.js"></script> 浏览器报错使用模块…...

编程日记 2025/6/25 18:50:20

Elasticsearch:Mapping-映射

一、创建索引自动生成索引字段数据类型即自动映射创建之前，先删除索引防止重复创建删除索引: DELETE product_mapping创建索引 product_mapping并且赋值 PUT /product_mapping/_doc/1 {"name": "xiaomi phone","desc": "s…...

编程日记 2025/6/26 18:32:25

掘金电影市场的新机遇：开发特惠电影票小程序api文档

随着电影市场的不断扩大，特惠电影票小程序成为创业者和企业争相布局的新蓝海。本文将带你深入了解特惠电影票小程序的开发要点，以及如何通过这个项目实现盈利。项目背景及市场分析电影市场规模的不断扩大为特惠电影票小程序提供了广阔的市场空间。根…...

编程日记 2025/6/25 1:23:23

EFAK kafka可视化管理工具部署使用

简介：EFAK是开源的可视化和管理软件。它允许您查询、可视化、提醒和探索您的指标，无论它们存储在何处。简单来说，它为您提供了将 Kafka 集群数据转换为漂亮的图形和可视化效果的工具。环境：①操作系统：CentOS7.6&…...

编程日记 2025/6/26 1:12:04

---mysql server: Ubuntu Linux下最最基本的操作

作为开发人员你不需要做复杂的mysql server的各种维护操作, 只是想在本机或虚拟机做个server，然后整测试性数据库. 下面我给出最最简单的基本操作: Ubuntu安装完mysql server, 并且后，可以做如下基本操作，就表示可以了你可以在这个基…...

编程日记 2025/6/26 12:58:27

Ariba Procurement: Administration_Master data

采购主数据集成Procurement Master Data Integration 注意：并非所有元素都是必需的，数据元素的名称可能根据ERP的不同，有所不同。 Types of Master Data Accounting 在SAP Ariba中的各种会计元素字段中，填充有效值选择列表。建…...

编程日记 2025/6/26 23:11:10

Not using native diff for overlay2, this may cause degraded performance……

问题现象案例：Anolis 8.9（4.19.91-26.an8.x86_64） Overlay2存储驱动程序） 当我们安装好Docker之后，通过systemctl status docker -l 会发现有一个告警信息：levelwarning msg"Not using native dif…...

编程日记 2025/6/22 20:43:51

【自然语言处理与大模型】使用llama.cpp将HF格式大模型转换为GGUF格式

llama.cpp的主要目标是在本地和云端的各种硬件上以最小的设置和最先进的性能实现LLM推理。是一个专为大型语言模型（LLM）设计的高性能推理框架，完全使用C和C编写，没有外部依赖，这使得它可以很容易地被移植到不同的操作系…...

编程日记 2025/6/24 10:24:51

item2 for macos

安装Item2 brew install iterm2 查看终端类型 cat /etc/shells Mac OS X 10.15 已经将默认的shell从Bash换成了zsh，所以不用安装，10.15以前的可以使用下面的命令进行安装 brew install zsh 安装Oh My ZSH # curl sh -c "$(curl -fsSL https://ra…...

编程日记 2025/6/22 8:16:49

docker命令

目录 docker buildwgetdocker rundocker compose为什么docker compose比docker build 和run快很多？ docker build docker build -t mineru:latestdocker build 命令是 Docker 的核心命令之一，用于从 Dockerfile 构建新的 Docker 镜像。 docker build&am…...

编程日记 2025/6/26 17:30:38

OrangePi Zero2 驱动开发

目录一. 芯片手册 1. 资料下载地址 2. 阅读芯片手册 2.1 GPIO 寄存器的基地址是（0x0300B000） 2.2 PC_CFG0 寄存器的偏移量（0x0048） 2.3 PC_CFG1 的偏移量（0x004C） 2.4 PC_CFG2 的偏移量（0x0050） 2.5 PC_DAT寄存器的偏移量（0x0058）二. 驱动代码调试 2.1 …...

编程日记 2025/6/24 19:40:31

C/C++字符数组与字符串操作

C/C字符数组与字符串操作录入字符 scanf("%c",&字符变量); 字符变量 getchar(); #include <stdio.h> int main() {char ch;while ((ch getchar()) ! EOF) {putchar(ch);}return 0; }上述程序会在文件结尾后结束循环，在命令行中运行&#…...

编程日记 2025/6/26 10:38:32

动手学深度学习---线性神经网络

一、线性回归解析解：模型的解可以用一个公式简单的表示，这类解叫做解析解。超参数：可以调整但不在训练过程中更新的参数称为超参数。调参是选择超参数的过程。超参数通常是我们根据训练迭代结果来调整的。在无法得到解析解的情况下…...

编程日记 2025/6/21 1:41:05

文章目录

1. 什么是激活函数

2. sigmoid 激活函数

3. tanh 激活函数

4. ReLU 激活函数

5. SoftMax 激活函数

6. 其他常见的激活函数

7. 激活函数的选择方法

相关文章：