当前位置：首页 > news >正文

【单层神经网络】基于MXNet的线性回归实现（底层实现）

news 来源：原创 2025/5/15 12:16:41

写在前面

基于亚马逊的MXNet库
本专栏是对李沐博士的《动手学深度学习》的笔记，仅用于分享个人学习思考
以下是本专栏所需的环境（放进一个environment.yml，然后用conda虚拟环境统一配置即可）
刚开始先从普通的寻优算法开始，熟悉一下学习训练过程
下面将使用梯度下降法寻优，但这大概只能是局部最优，它并不是一个十分优秀的寻优算法

name: gluon
dependencies:
- python=3.6
- pip:- mxnet==1.5.0- d2lzh==1.0.0- jupyter==1.0.0- matplotlib==2.2.2- pandas==0.23.4

整体流程

生成训练数据集（实际工程中，需要从实际对象身上采集数据）
确定模型及其参数（输入输出个数、阶次，偏置等）
确定学习方式（损失函数、优化算法，学习率，训练次数，终止条件等）
读取数据集（不同的读取方式会影响最终的训练效果）
训练模型

完整程序及注释

from IPython import display
from matplotlib import pyplot as plt
from mxnet import autograd, nd
import random'''
获取(生成)训练集
'''
input_num = 2				# 输入个数
examples_num = 1000			# 生成样本个数
# 确定真实模型参数
real_W = [10.9, -8.7]		
real_bias = 6.5	features = nd.random.normal(scale=1, shape=(examples_num, input_num))       # 标准差=1，均值缺省=0
labels = real_W[0]*features[:,0] + real_W[1]*features[:,1] + real_bias		# 根据特征和参数生成对应标签
labels_noise = labels + nd.random.normal(scale=0.1, shape=labels.shape)		# 为标签附加噪声，模拟真实情况# 绘制标签和特征的散点图（矢量图）
# def use_svg_display():
#     display.set_matplotlib_formats('svg')# def set_figure_size(figsize=(3.5,2.5)):
#     use_svg_display()
#     plt.rcParams['figure.figsize'] = figsize# set_figure_size()
# plt.scatter(features[:,0].asnumpy(), labels_noise.asnumpy(), 1)
# plt.scatter(features[:,1].asnumpy(), labels_noise.asnumpy(), 1)
# plt.show()# 创建一个迭代器（确定从数据集获取数据的方式）
def data_iter(batch_size, features, labels):num = len(features)indices = list(range(num))                                  # 生成索引数组random.shuffle(indices)                                     # 打乱indices# 该遍历方式同时确保了随机采样和无遗漏for i in range(0, num, batch_size):j = nd.array(indices[i: min(i+batch_size, num)])        # 对indices从i开始取，取batch_size个样本，并转换为列表yield features.take(j), labels.take(j)                  # take方法使用索引数组，从features和labels提取所需数据"""
训练的基础准备
"""
# 声明训练变量，并赋高斯随机初始值
w = nd.random.normal(scale=0.01, shape=(input_num))
b = nd.zeros(shape=(1,))
# b = nd.zeros(1)       # 不同写法，等价于上面的
w.attach_grad()         # 为需要迭代的参数申请求梯度空间
b.attach_grad()# 定义模型
def linreg(X, w, b):return nd.dot(X,w)+b# 定义损失函数
def squared_loss(y_hat, y):return (y_hat - y.reshape(y_hat.shape)) **2 /2# 定义寻优算法
def sgd(params, learning_rate, batch_size):for param in params:# 新参数 = 原参数 - 学习率*当前批量的参数梯度/当前批量的大小param[:] = param - learning_rate * param.grad / batch_size# 确定超参数和学习方式
lr = 0.03
num_iterations = 5
net = linreg				# 目标模型
loss = squared_loss			# 代价函数（损失函数）
batch_size = 10				# 每次随机小批量的大小'''
开始训练
'''
for iteration in range(num_iterations):		# 确定迭代次数for x, y in data_iter(batch_size, features, labels):with autograd.record():l = loss(net(x,w,b), y)			# 求当前小批量的总损失l.backward()						# 求梯度sgd([w,b], lr, batch_size)			# 梯度更新参数train_l = loss(net(features,w,b), labels)print("iteration %d, loss %f" % (iteration+1, train_l.mean().asnumpy()))
# 打印比较真实参数和训练得到的参数
print("real_w " + str(real_W) + "\n train_w " + str(w))
print("real_w " + str(real_bias) + "\n train_b " + str(b))

具体程序解释

param[:] = param - learning_rate * param.grad / batch_size：
将batch_size与参数调整相关联的原因，是为了使得每次更新的步长不受批次大小的影响
具体来说，当计算一批数据的损失函数的梯度时，实际上是将这批数据中每个样本对损失函数的贡献累加起来。这意味着如果批次较大，梯度的模也会相应增大
故更新权值时，使用的是数据集的平均梯度，而不是总和

【单层神经网络】基于MXNet的线性回归实现（底层实现）

写在前面基于亚马逊的MXNet库本专栏是对李沐博士的《动手学深度学习》的笔记，仅用于分享个人学习思考以下是本专栏所需的环境（放进一个environment.yml，然后用conda虚拟环境统一配置即可）刚开始先从普通的寻优算法开始&#xff…...

编程日记 2025/5/15 12:16:41

深入解析 posix_spawn()：高效的进程创建方式（中英双语）

深入解析 posix_spawn()：高效的进程创建方式 1. 引言在 Unix/Linux 系统中，传统的进程创建方式主要依赖 fork() 和 exec() 组合。但 fork() 在某些情况下可能存在性能瓶颈，特别是当父进程占用大量内存时，fork() 仍然需要复制整…...

编程日记 2025/5/16 2:33:29

2024-我的学习成长之路

因为热爱，无畏山海...

编程日记 2025/5/15 8:20:13

【Java异步编程】基于任务类型创建不同的线程池

文章目录一. 按照任务类型对线程池进行分类1. IO密集型任务的线程数2. CPU密集型任务的线程数3. 混合型任务的线程数二. 线程数越多越好吗三. Redis 单线程的高效性使用线程池的好处主要有以下三点： 降低资源消耗：线程是稀缺资源，如果无限…...

编程日记 2025/5/15 8:36:13

前缀和多种基础

前缀和加法 #include<iostream> #include<algorithm> using namespace std; typedef long long ll; int n; const int N 1e310; int arr[N]; int pre[N]; int org[N]; int main(void) {cin >> n;for(int i 1 ; i < n ; i){cin >> arr[i];pre[i] …...

编程日记 2025/5/15 3:12:09

关于贪心学习的文笔记录

贪心，顾名思义就是越贪越好，越多越有易，他给我的感觉是，通常是求最大或最小问题，相比于动态规划贪心让人更加琢磨不透，不易看出方法，为此在这记录我所见过的题型和思维方法，以便回头…...

编程日记 2025/5/15 12:46:57

蓝桥杯思维训练营(三）

文章目录题目详解680.验证回文串 II30.魔塔游戏徒步旅行中的补给问题观光景点组合得分问题题目详解 680.验证回文串 II 680.验证回文串 II 思路分析：这个题目的关键就是，按照正常来判断对应位置是否相等，如果不相等，那么就判…...

编程日记 2025/5/11 21:19:01

农历2025开始笔记

2/3 Hey everyone! The Chinese New Year holiday is over. I spent over ten days back home, and honestly, I feel even more exhausted than when I’m working. Yesterday, I drove for 13 hours straight and finally made it back. In a couple of days, I’ll officia…...

编程日记 2025/5/15 14:05:07

VR触感数据手套：触感反馈赋予虚拟交互沉浸式体验

随着动作捕捉技术的蓬勃发展，动捕数据手套成为了手部动作捕捉与虚拟交互的便捷工具，为人们打开了通往虚拟世界的新大门。在众多产品中，mHand Pro作为一款多功能兼具的VR动作捕捉数据手套，凭借其卓越的性能，在手部动作捕…...

编程日记 2025/5/15 11:13:50

6 [新一代Github投毒针对网络安全人员钓鱼]

0x01 前言在Github上APT组织“海莲花”发布存在后门的提权BOF，通过该项目针对网络安全从业人员进行钓鱼。不过其实早在几年前就已经有人对Visual Studio项目恶意利用进行过研究，所以投毒的手法也不算是新的技术。但这次国内有大量的安全从业者转发该钓…...

编程日记 2025/5/12 11:19:29

基于LabVIEW的Modbus-RTU设备通信失败问题分析与解决

在使用 LabVIEW 通过 Modbus-RTU 协议与工业设备进行通信时，可能遇到无法正常发送或接收指令的问题。常见原因包括协议参数配置错误、硬件连接问题、数据帧格式不正确等。本文以某 RGBW 控制器调光失败为例，提出了一种通用的排查思路，帮助开发…...

编程日记 2025/5/11 9:45:05

【环境搭建】1.1源码下载与同步

目录写在前面一，系统要求二，安装depot_tools 三，获取代码四，代码同步五，代码结构写在前面当前的开发背景是基于Google的开源Chromium，来开发Android设备的浏览器方案。一，系统要…...

编程日记 2025/5/15 2:50:49

从理论到实践：Linux 进程替换与 exec 系列函数

个人主页：chian-ocean 文章专栏-Linux 前言： 在Linux中，进程替换（Process Substitution）是一个非常强大的特性，它允许将一个进程的输出直接当作一个文件来处理。这种技术通常用于Shell脚本和命令行操作中…...

编程日记 2025/5/13 7:12:33

增删改查(CRUD)操作

文章目录 MySQL系列：1.CRUD简介2.Create(创建)2.1单行数据全列插入2.2 单行数据指定插入2.3 多⾏数据指定列插⼊ 3.Retrieve(读取)3.1 Select查询3.1.1 全列查询3.1.2 指定列查询3.1.3 查询字段为表达式（都是临时表不会对原有表数据产生影响）…...

编程日记 2025/5/15 9:07:38

算法竞赛（Python）-堆栈

文章目录一基础知识二题目有效的括号字符串解码一基础知识堆栈（Stack）：简称为栈。一种线性表数据结构，是一种只允许在表的一端进行插入和删除操作的线性表。我们把栈中允许插入和删除的一端称为「栈顶（top…...

编程日记 2025/5/12 7:29:57

【C++篇】位图与布隆过滤器

目录一，位图 1.1，位图的概念 1.2，位图的设计与实现 1.5，位图的应用举例 1.4，位图常用应用场景二，布隆过滤器 2.1，定义： 2.2，布隆过滤器的实现 2.3， 应…...

编程日记 2025/5/12 8:41:03

deeplabv3+街景图片语义分割，无需训练模型，看不懂也没有影响，直接使用，cityscapes数据集_6

目录 1、下载链接1.1、CSDN链接，含权重文件直接使用，建议直接下这个，还不限速。1.2 Github链接：2、下载代码，下载预训练好的权重3、预测代码4、像素提取，或者说类别提取5、文档部分内容截图6、其他数据处理…...

编程日记 2025/5/12 10:24:43

DeepSeek 原理解析：与主流大模型的差异及低算力优势

在人工智能大模型蓬勃发展的浪潮中，DeepSeek 以其独特的技术路线和出色的性能表现脱颖而出。与主流大模型相比，DeepSeek 不仅在技术原理上有着显著的差异，还展现出了在较低算力下达到 OpenAI API 水平的卓越能力。本文将深入剖析这些独特之处…...

编程日记 2025/5/10 5:29:54

OpenAI推出Deep Research带给我们怎样的启示

OpenAI 又发新产品了，这次是面向深度研究领域的智能体产品 ——「Deep Research」，貌似被逼无奈的节奏… 在技术方面，Deep Research搭载了优化后o3模型并通过端到端强化学习在多个领域的复杂浏览和推理任务上进行了训练。因没有更多的技术暴露…...

编程日记 2025/5/15 6:16:23

第三周树

猫猫和企鹅分数 10 全屏浏览切换布局作者姜明欣单位河北大学王国里有 nn 个居住区，它们之间有 n−1 条道路相连，并且保证从每个居住区出发都可以到达任何一个居住区，并且每条道路的长度都为 1。除 1号居住区外，每个居…...

编程日记 2025/5/14 23:29:29

【挖矿——前缀和】

题目代码 #include <bits/stdc.h> using namespace std; const int N 2e610; int l[N], r[N]; int n, m, ans; int main() {cin >> n >> m;for(int i 1; i < n; i){int p;cin >> p;if(p < 0) l[-p];else r[p];}for(int i 1; i < m; i)l[…...

编程日记 2025/5/12 10:24:59

整个 PVE 系统崩溃后，怎么恢复 PVE 给虚拟机分配的虚拟硬盘中的数据

背景我有一块 ssd 用于 PVE 系统和虚拟机安装，还有一块 HDD 用来存储数据。这个HDD按照把 PVE 下的机械硬盘（非SSD系统盘）分配给虚拟机使用进行挂载和配置。主要过程是 PVE中 “数据中信” -> “存储” -> “添加” -> “目录…...

编程日记 2025/5/14 22:28:26

Java循环操作哪个快

文章目录 Java循环操作哪个快一、引言二、循环操作性能对比1、普通for循环与增强for循环1.1、代码示例 2、for循环与while循环2.1、代码示例 3、循环优化技巧3.1、代码示例三、循环操作的适用场景四、使用示例五、总结 Java循环操作哪个快一、引言在Java开发中，…...

编程日记 2025/5/16 0:28:44

【C++ STL】vector容器详解：从入门到精通

【C STL】vector容器详解：从入门到精通摘要：本文深入讲解C STL中vector容器的使用方法，涵盖常用函数、代码示例及注意事项，助你快速掌握动态数组的核心操作！ 一、vector概述 vector是C标准模板库（STL&am…...

编程日记 2025/5/15 17:18:33

差值 dp 入门

引入有一类问题：两个人交替选 n n n 个数 a [ 1 … n ] a[1 \dots n] a[1…n]，要使得每个人分得的数大小之和相等（或差值尽可能小），同时尽可能保证分得的总金额尽可能大。这类问题的解法之一是 dp。有一个通用…...

编程日记 2025/5/14 6:59:51

使用mybatisPlus插件生成代码步骤及注意事项

使用mybatisPlus插件可以很方便的生成与数据库对应的PO对象，以及对应的controller、service、ImplService、mapper代码，生成这种代码的方式有很多，包括mybatis-plus提供的代码生成器，以及idea提供的代码生成器，无论哪一…...

编程日记 2025/5/13 1:46:25

fpga系列 HDL：XILINX Vivado 常见错误 “在线逻辑分析Debug时ALL_CLOCK没有选项”

错误描述解决方法需要先将线路设计的每个模块导出IP，然后再导出HDL Wrapper： CG 此外，如果没有进行PIN PLAN或者对PIN的电压属性进行设置，可能导致 Implentation 成功但是Generate Bitstream 失败。...

编程日记 2025/5/12 16:03:33

Vue3学习笔记-条件渲染和列表渲染-3

一、条件渲染在Vue中，提供了四种条件渲染： v-ifv-elsev-else-ifv-show v-if:指令用于表达式返回为真时才被渲染 <template><button v-if"flag">{{button_text}}</button> </template> <script> export def…...

编程日记 2025/5/14 22:00:54

寒假day10

第十天：请写出以下几个数据的类型整数 a int a的地址 int* 存放a的数组b …...

编程日记 2025/5/16 1:58:44

Shell特殊状态变量以及常用内置变量总结

目录 1. 特殊的状态变量 1.1 $?（上一个命令的退出状态） 1.2 $$（当前进程的 PID） 1.3 $!（后台进程的 PID） 1.4 $_（上一条命令的最后一个参数） 2.常用shell内置变量 2.1 echo&…...

编程日记 2025/5/6 8:37:27

javaEE初阶————多线程初阶(1)

多线程初阶———— 1，认识线程 1.1 概念 1）线程是什么线程就是一个“执行流”，可以理解为程序执行的最小单位； 可以看成轻量级的进程； 2）为啥要有线程 “并发编程” 的需要，但是我们不…...

编程日记 2025/5/13 4:08:55

DOM 操作入门：HTML 元素操作与页面事件处理

DOM 操作入门：HTML 元素操作与页面事件处理 DOM 操作入门：HTML 元素操作与页面事件处理什么是 DOM？1. 如何操作 HTML 元素？1.1 使用 `document.getElementById()` 获取单个元素1.2 使用 `document.querySelector()` 和 `document.querySelectorAll()` 获取多个元素1.3 创建…...

编程日记 2025/5/14 15:23:23

排序算法--桶排序

核心思想为分区间排序后合并。适用于数据均匀分布在一个范围内，或浮点数排序或范围明确的数据。如果需要处理整数或其他数据范围，可以通过调整BUCKET_RANGE的计算方式实现，例如对[0,100)的整数排序： int index arr[i] / 10; // …...

编程日记 2025/5/12 16:07:12

Baklib推动数字化内容管理解决方案助力企业数字化转型

内容概要在当今信息爆炸的时代，数字化内容管理成为企业提升效率和竞争力的关键。企业在面对大量数据时，如何高效地存储、分类与检索信息，直接关系到其经营的成败。数字化内容管理不仅限于简单的文档存储，更是整合了文档、图像、…...

编程日记 2025/5/15 22:19:10

读书笔记--分布式架构的异步化和缓存技术原理及应用场景

本篇是在上一篇的基础上，主要对分布式应用架构下的异步化机制和缓存技术进行学习，主要记录和思考如下，供大家学习参考。大家知道原来传统的单一WAR应用中，由于所有数据都在同一个数据库中，因此事务问题一般借助数据库事…...

编程日记 2025/5/12 22:58:51

Hive存储系统全面测试报告

引言在大数据时代，数据存储和处理技术的重要性日益凸显。Apache Hive作为一个基于Hadoop的数据仓库工具，因其能够提供类SQL查询功能（HiveQL）而广受欢迎。Hive的设计初衷是为了简化大数据集的查询和管理，它允许用户通…...

编程日记 2025/5/15 7:23:48

【产品经理学习案例——AI翻译棒出海业务】

前言： 本文主要讲述了硬件产品在出海过程中，翻译质量、翻译速度和本地化落地策略是硬件产品规划需要考虑的核心因素。针对不同国家，需要优化翻译质量和算法，关注市场需求和文化差异，以便更好地满足当地用户的需求。同…...

编程日记 2025/5/14 8:43:40

Golang 并发机制-3：通道（channels）机制详解

并发编程是一种创建性能优化且响应迅速的软件的强大方法。Golang（也称为 Go）通过通道（channels）这一特性，能够可靠且优雅地实现并发通信。本文将揭示通道的概念，解释其在并发编程中的作用，并提供…...

编程日记 2025/5/12 14:17:29

【LeetCode 刷题】回溯算法(2)-分割问题

此博客为《代码随想录》二叉树章节的学习笔记，主要内容为回溯算法分割问题相关的题目解析。文章目录 131.分割回文串93.复原IP地址 131.分割回文串题目链接 class Solution:def partition(self, s: str) -> List[List[str]]:res, path [], []def check(s: …...

编程日记 2025/5/15 4:56:00

前端力扣刷题 | 6：hot100之矩阵

73. 矩阵置零给定一个 m x n 的矩阵，如果一个元素为 0 ，则将其所在行和列的所有元素都设为 0 。请使用原地算法。法一： var setZeroes function(matrix) {let setX new Set(); // 用于存储需要置零的行索引let setY new Set(); //…...

编程日记 2025/5/14 10:23:06

pytorch实现半监督学习

人工智能例子汇总：AI常见的算法和例子-CSDN博客半监督学习（Semi-Supervised Learning，SSL）结合了有监督学习和无监督学习的特点，通常用于部分数据有标签、部分数据无标签的场景。其主要步骤如下： 1. 数…...

编程日记 2025/5/14 9:28:51

X Window System 架构概述

X Window System 架构概述 1. X Server 与 X Client 这里引入一张维基百科的图，在Linux系统中，若用户需要图形化界面，则可以使用X Window System，其使用**Client-Server**架构，并通过网络传输相关信息。 X…...

编程日记 2025/5/12 8:51:03

中国证券基本知识汇总

中国证券市场是一个多层次、多领域的市场，涉及到各种金融工具、交易方式、市场参与者等内容。以下是中国证券基本知识的汇总： 1. 证券市场概述证券市场：是指买卖证券（如股票、债券、基金等）的市场。证券市场可以分为…...

编程日记 2025/5/15 21:15:50

虚幻基础17：动画蓝图

能帮到你的话，就给个赞吧 😘 文章目录 animation blueprint图表（Graph）： 编辑动画逻辑。变量（Variables）： 管理动画参数。函数（Functions）： 自定义…...

编程日记 2025/5/14 22:49:02

初入机器学习

写在前面本专栏专门撰写深度学习相关的内容，防止自己遗忘，也为大家提供一些个人的思考一切仅供参考概念辨析深度学习： 本质是建模，将训练得到的模型作为系统的一部分使用侧重于发现样本集中隐含的规律难点是认识并了解模型&…...

编程日记 2025/5/12 11:19:13

中间件的概念及基本使用

什么是中间件中间件是ASP.NET Core的核心组件，MVC框架、响应缓存、身份验证、CORS、Swagger等都是内置中间件。广义上来讲：Tomcat、WebLogic、Redis、IIS；狭义上来讲，ASP.NET Core中的中间件指ASP.NET Core中的一个组件。中间件…...

编程日记 2025/5/15 6:35:12

Docker 部署教程jenkins

Docker 部署 jenkins 教程 Jenkins 官方网站 Jenkins 是一个开源的自动化服务器，主要用于持续集成（CI）和持续交付（CD）过程。它帮助开发人员自动化构建、测试和部署应用程序，显著提高软件开发的效率和质量…...

编程日记 2025/5/12 22:32:38

LeetCode：53.最大子序和

跟着carl学算法，本系列博客仅做个人记录，建议大家都去看carl本人的博客，写的真的很好的！ 代码随想录 LeetCode：53.最大子序和给你一个整数数组 nums ，请你找出一个具有最大和的连续子数组（子数…...

编程日记 2025/5/16 2:04:56

C++ 游戏开发：完整指南

目录什么是游戏开发？ 为什么选择 C 进行游戏开发？ C 游戏开发：完整指南 1. 理解游戏开发的基础 2. 学习游戏引擎 3. 精通 C 进行游戏开发 4. 学习数学在游戏开发中的应用 5. 探索图形编程 6. 专注于游戏开发的某一领域 7. 通过游戏项目进行实…...

编程日记 2025/5/15 4:00:47

数据结构:时间复杂度

文章目录为什么需要时间复杂度分析？一、大O表示法：复杂度的语言1.1 什么是大O？1.2 常见复杂度速查表二、实战分析：解剖C语言代码2.1 循环结构的三重境界单层循环：线性时间双重循环：平方时间动态边界循环&…...

编程日记 2025/5/14 23:45:32

写在前面

整体流程

完整程序及注释

具体程序解释

相关文章：