通俗易懂之线性回归时序预测PyTorch实践
线性回归(Linear Regression)是机器学习中最基本且广泛应用的算法之一。它不仅作为入门学习的经典案例,也是许多复杂模型的基础。本文将全面介绍线性回归的原理、应用,并通过一段PyTorch代码进行实践演示,帮助读者深入理解这一重要概念。
线性回归概述
线性回归是一种用于预测因变量(目标变量)与一个或多个自变量(特征变量)之间关系的统计方法。其目标是在数据点之间找到一条最佳拟合直线,使得预测值与实际值之间的误差最小。
基本形式:
- 简单线性回归:只有一个自变量。
- 多元线性回归:包含多个自变量。
本文将聚焦于简单线性回归,即仅考虑一个自变量的情况。
线性回归的数学原理
模型表达式
简单线性回归的模型表达式为:
y = w x + b y = wx + b y=wx+b
其中:
- y y y 是预测值。
- x x x 是输入特征。
- w w w 是权重(斜率)。
- b b b 是偏置(截距)。
损失函数
为了衡量模型预测值与实际值之间的差异,通常使用均方误差(Mean Squared Error, MSE)作为损失函数:
Loss = 1 2 ∑ i = 1 N ( y i pred − y i ) 2 \text{Loss} = \frac{1}{2} \sum_{i=1}^{N} (y_i^{\text{pred}} - y_i)^2 Loss=21i=1∑N(yipred−yi)2
优化算法
线性回归常用的优化算法是梯度下降(Gradient Descent)。通过计算损失函数关于参数 w w w 和 b b b 的梯度,迭代更新参数以最小化损失。
更新规则如下:
w : = w − η ∂ Loss ∂ w w := w - \eta \frac{\partial \text{Loss}}{\partial w} w:=w−η∂w∂Loss
b : = b − η ∂ Loss ∂ b b := b - \eta \frac{\partial \text{Loss}}{\partial b} b:=b−η∂b∂Loss
其中 η \eta η 是学习率。
应用场景
线性回归在多个领域有广泛应用,包括但不限于:
- 经济学:预测经济指标,如GDP、通货膨胀率等。
- 工程学:估计物理量之间的关系,如材料强度与应力。
- 医疗:预测疾病发展趋势,如体重增长与健康指标。
- 金融:股价预测、风险评估等。
PyTorch实现线性回归
接下来,我们将通过一段PyTorch代码实践线性回归,从数据生成、模型训练到可视化展示,全面演示线性回归的实现过程。代码参考《深度学习框架PyTorch入门与实践》一书的实现,为了感受线性回归的计算过程,代码并未直接调用python中已有的线性回归库。
代码解析
首先,我们导入必要的库并设置随机种子以确保结果可复现。
import torch as t
import matplotlib.pyplot as plt
from IPython import displayt.manual_seed(1000)
数据生成函数
定义一个函数 get_fake_data
来生成假数据,这些数据遵循线性关系 y = 2 x + 3 y = 2x + 3 y=2x+3 并添加了一定的噪声。
def get_fake_data(batch_size=8):x = t.randn(batch_size, 1, dtype=float) * 20 # 随机生成x,范围扩大到[-20, 20]y = x * 2 + (1 + t.randn(batch_size, 1, dtype=float)) * 3 # y = 2x + 3 + 噪声return x, y
调用该函数生成一批数据并进行可视化。
x, y = get_fake_data()plt.figure()
plt.scatter(x, y)
plt.show()
参数初始化
随机初始化权重 w w w 和偏置 b b b,并设置学习率 l r lr lr。
# 随机初始化参数
w = t.rand(1, 1, requires_grad=True, dtype=float)
b = t.zeros(1, 1, requires_grad=True, dtype=float)lr = 0.00001
训练过程
通过1000次迭代,使用梯度下降法优化参数 w w w 和 b b b。
for i in range(1000):x, y = get_fake_data()y_pred = x.mm(w) + b.expand_as(y) # 预测值loss = 0.5 * (y_pred - y) ** 2 # 均方误差loss = loss.sum()loss.backward() # 反向传播计算梯度# 更新参数w.data.sub_(lr * w.grad.data)b.data.sub_(lr * b.grad.data)# 梯度清零w.grad.data.zero_()b.grad.data.zero_()# 每100次迭代可视化一次结果if i % 100 == 0:display.clear_output(wait=True)x_plot = t.arange(0, 20, dtype=float).view(-1, 1)y_plot = x_plot.mm(w) + b.expand_as(x_plot)plt.plot(x_plot.data, y_plot.data, label='Fitting Line')x2, y2 = get_fake_data(batch_size=20)plt.scatter(x2, y2, color='red', label='Data Points')plt.xlim(0, 20)plt.ylim(0, 41)plt.legend()plt.show()plt.pause(0.5)
可视化与训练过程
训练过程中,每隔100次迭代,会清除之前的输出,绘制当前拟合的直线与新生成的数据点。随着训练的进行,拟合线将逐渐接近真实的线性关系 y = 2 x + 3 y = 2x + 3 y=2x+3。
以下是训练过程中的可视化效果示例:
注:实际运行代码时,图像会动态更新,展示拟合过程。
代码关键点解析
-
数据生成:
- 使用
torch.randn
生成标准正态分布的随机数,并通过线性变换获取x
和y
。 - 添加噪声使模型更贴近真实场景。
- 使用
-
参数初始化:
w
随机初始化,b
初始化为零。requires_grad=True
表示在反向传播时需要计算梯度。
-
前向传播:
- 计算预测值
y_pred = x.mm(w) + b.expand_as(y)
。 - 使用矩阵乘法
mm
实现线性变换。
- 计算预测值
-
损失计算:
- 采用均方误差损失函数。
loss.backward()
计算损失函数相对于参数的梯度。
-
参数更新:
- 使用学习率
lr
按梯度方向更新参数。 data.sub_
进行原地更新,避免梯度计算图的干扰。
- 使用学习率
-
梯度清零:
- 每次参数更新后,需要清零梯度
w.grad.data.zero_()
和b.grad.data.zero_()
,以防止梯度累积。
- 每次参数更新后,需要清零梯度
-
可视化:
- 使用
matplotlib
绘制拟合线和数据点。 display.clear_output(wait=True)
清除之前的图像,避免图形堆积。plt.pause(0.5)
控制图像更新速度。
- 使用
总结
本文从线性回归的基本概念出发,详细介绍了其数学原理和应用场景,并通过一段PyTorch代码演示了线性回归模型的实现过程。从数据生成、参数初始化、模型训练到结果可视化,全面展示了线性回归的实际应用。通过这种实例讲解,读者不仅能够理解线性回归的理论基础,还能掌握其在深度学习框架中的具体实现方法。
线性回归作为机器学习的基础模型,虽然简单,但其思想却深刻影响着更加复杂的算法和模型。在实际应用中,理解并掌握线性回归对于进一步学习和开发更加复杂的机器学习模型具有重要意义。
如果这篇文章对你有一点点的帮助,欢迎点赞、关注、收藏、转发、评论哦!
我也会在微信公众号“智识小站”坚持分享更多内容,以期记录成长、普及技术、造福后来者!
相关文章:
通俗易懂之线性回归时序预测PyTorch实践
线性回归(Linear Regression)是机器学习中最基本且广泛应用的算法之一。它不仅作为入门学习的经典案例,也是许多复杂模型的基础。本文将全面介绍线性回归的原理、应用,并通过一段PyTorch代码进行实践演示,帮助读者深入…...
机器学习模型评估指标
模型的评估指标是衡量一个模型应用于对应任务的契合程度,常见的指标有: 准确率(Accuracy): 正确预测的样本数占总样本数的比例。适用于类别分布均衡的数据集。 精确率(Precision): 在所有被预测为正类的样…...
嵌入式软件C语言面试常见问题及答案解析(三)
嵌入式软件C语言面试常见问题及答案解析(三) 上一篇已经足够长了,再长也就有点不礼貌了,所以在这儿继续来总结分享那个面试中遇到的题目,文中的问题和提供的答案或者代码均代表个人的理解,如有不合理或者错误的地方,欢迎大家批评指正。 本文中题目列表 1. 编码实现子串定…...
LeetCode:165. 比较版本号(双指针 Java)
目录 165. 比较版本号 题目描述: 实现代码与解析: 双指针 原理思路: 165. 比较版本号 题目描述: 给你两个 版本号字符串 version1 和 version2 ,请你比较它们。版本号由被点 . 分开的修订号组成。修订号的值 是它…...
Golang中遇到“note module requires Go xxx”后的解决方案,不升级Go版本!
前几天,需要对一个两年前写的项目添加点儿新功能,需要用到一个 Http 客户端包,于是就用了 https://github.com/go-resty/resty 这个插件包。 我先是直接在项目根目录下执行了以下包的安装命令: go get -v github.com/go-resty/res…...
ubuntu编译ijkplayer,支持rmvb以及mkv
1. 准备环境 sudo apt-get update apt install gcc yasm cmake python p7zip-full vim pkg-config autoconf automake build-essential dos2unix mercurial cmake-curse-gui -y apt-get -y --force-yes install libass-dev libtheora-dev libtool libva-dev libvdpau-dev libv…...
mysql之sql的优化方案(重点)
1、全字段匹配是最棒的 假如一个Staffs 这个表,将 name,age ,pos 组合成了一个联合索引,在where条件下,能够使用到的索引越多越好。 EXPLAIN SELECT * FROM staffs WHERE NAME July; EXPLAIN SELECT * FROM staffs WHERE NAME July AND age…...
使用Qt实现json数据的格式检测并序列化输出 Qt5.4.0环境
问题: 使用 Qt 实现 JSON 数据的格式检测,并输出各个键值 代码: widget.h #include <QWidget> #include <QJsonDocument> /*序列化 反序列化(F1查看帮助文档)*/ #include <QJsonObject> /*利用对象代表了一段json数据*/ …...
Internet协议原理
文章目录 考试说明Chapter 0: 本书介绍Chapter 1: Introduction And Overview 【第1章:引言与概述】Chapter 2: Overview Of Underlying Network Technologies 【第2章:底层网络技术的回顾】Chapter 3: Internetworking Concept And Architectural Model…...
国标GB28181-2022视频平台EasyGBS小知识:局域网ip地址不够用怎么解决?
在局域网中,IP地址不足的问题通常不会在小型网络中出现,但在拥有超过255台设备的大型局域网中,就需要考虑如何解决IP地址不够用的问题了。 在企业局域网中,经常会出现私有IP地址如192.168.1.x到192.168.1.255不够用的情况。由于0…...
CentOS 使用 yum 方式安装 Nginx
CentOS 使用 yum 方式安装 Nginx 文章目录 CentOS 使用 yum 方式安装 Nginx1、Nginx 安装前提条件步骤 1:更新系统软件包步骤 2:查看 Nginx 相关的软件包步骤 3:安装 Nginx步骤 4:启动并启用 Nginx步骤 5:验证 Nginx 是…...
Spring Boot教程之五十一:Spring Boot – CrudRepository 示例
Spring Boot – CrudRepository 示例 Spring Boot 建立在 Spring 之上,包含 Spring 的所有功能。由于其快速的生产就绪环境,使开发人员能够直接专注于逻辑,而不必费力配置和设置,因此如今它正成为开发人员的最爱。Spring Boot 是…...
消息队列:原理、问题与设计全解析
1.如何保证消息的顺序性 保证消息顺序性通常是在分布式系统或网络通信中遇到的一个挑战。以下是几种常见的方法来确保消息的顺序性: 单生产者单消费者模型: 如果系统设计为只有一个生产者和一个消费者,那么保持消息顺序相对简单,…...
成功!QT 5.15.2编译mysql驱动
首选要说明,5.15与6.7编译驱动是完全不同的。搞错了永远编译不出来。 参考 主要是参考安装QT,安装mysql等。 编译成功!QT/6.7.2/Creator编译Windows64 MySQL驱动(MSVC版)_mingw编译qt6.7-CSDN博客 复制mysql的include和lib到一个方便的目…...
【玩转全栈】----Django连接MySQL
阅前先赞,养好习惯! 目录 1、ORM框架介绍 选择建议 2、安装mysqlclient 3、创建数据库 4、修改settings,连接数据库 5、对数据库进行操作 创建表 删除表 添加数据 删除数据 修改(更新)数据: 获取数据 1、OR…...
【Spring Boot】Spring AOP 快速上手指南:开启面向切面编程新旅程
前言 🌟🌟本期讲解关于spring aop的入门介绍~~~ 🌈感兴趣的小伙伴看一看小编主页:GGBondlctrl-CSDN博客 🔥 你的点赞就是小编不断更新的最大动力 🎆那么废话不…...
力扣--54.螺旋矩阵
题目 给你一个 m 行 n 列的矩阵 matrix ,请按照 顺时针螺旋顺序 ,返回矩阵中的所有元素。 提示: m matrix.length n matrix[i].length 1 < m, n < 10 -100 < matrix[i][j] < 100代码 class Solution { public List spiralOr…...
【Uniapp-Vue3】image媒体组件属性
如果我们想要在页面上展示图片就需要使用到image标签。 这部分最重要的是图片的裁剪,图片的裁剪和缩放属性: mode 图片裁剪、缩放的模式 默认值是scaleToFill 我将用两张图片对属性进行演示,一张是pic1.jpg(宽更长…...
Ubuntu上安装Apache Spark
在Ubuntu上安装Apache Spark的步骤如下: 1. 安装Java Spark是用Scala编写的,并且依赖Java。因此,首先需要安装Java。 安装OpenJDK 8(或更高版本) 执行以下命令安装OpenJDK: sudo apt update sudo apt …...
Nginx入门笔记
Nginx入门笔记 一、Nginx基本概念二、代理1、正向代理2、反向代理 三、准备工作1、CentOS 7安装nginx(1). 安装必要的依赖(2)下载nginx(3)编译安装(4)编译并安装 Nginx(5)启动nginx …...
HTML5 滑动效果(Slide In/Out)详解
HTML5 滑动效果(Slide In/Out)详解 滑动效果(Slide In/Out)是一种常见的动画效果,使元素从一侧滑入或滑出,增强页面的动态感和用户体验。以下是滑动效果的详细介绍及实现示例。 1. 滑动效果的特点 动态视…...
unity学习8:unity的基础操作 和对应shortcut
目录 1 unity的基础操作的工具,就在scene边上 1.1 对应shortcut快捷键 2 物体的重置/ 坐标归到0附近 3 F:快速找到当前gameobject 4 Q:小手和眼睛,在场景中移动 5 W:十字箭头,移动gameobject 6 …...
计算机网络 (32)用户数据报协议UDP
前言 用户数据报协议(UDP,User Datagram Protocol)是计算机网络中的一种重要传输层协议,它提供了无连接的、不可靠的、面向报文的通信服务。 一、基本概念 UDP协议位于传输层,介于应用层和网络层之间。它不像TCP那样提…...
java内存区域 - 栈
目录 java内存区域 - 栈1. Java虚拟机栈的组成2. 栈帧中的详细内容2.1 局部变量表2.2 操作数栈2.3 动态链接2.4 方法返回地址2.5 附加信息 3. JVM栈的生命周期4. 示例解析 - 运行时的栈帧分布5. 栈中的异常6.栈配置7.本地方法栈 java内存区域 - 栈 在JDK11中,JVM栈…...
AI大模型-提示工程学习笔记5
卷首语:我所知的是我自己非常无知,所以我要不断学习。 写给AI入行比较晚的小白们(比如我自己)看的,大神可以直接路过无视了。 零提示是什么 “零提示”(Zero-shot)是指在没有提供任何特定示例…...
跨站脚本攻击(XSS)详解
跨站脚本攻击(XSS)详解 跨站脚本攻击(XSS,Cross-Site Scripting)是一种通过在网页中注入恶意脚本,攻击用户浏览器的漏洞。攻击者可以利用XSS窃取用户敏感信息、劫持会话、或在受害者浏览器中执行恶意操作。…...
【图像加密解密】Logistic混沌映射的彩色图像加密算法复现(含相关性检验)【Matlab完整源码 1期】
1、说明 本文给出详细完整代码、完整的实验报告和PPT。 环境:MATLAB2019a 复现文献:[1]黄硕.基于改进的Logistic混沌映射彩色图像加密算法[J].河南工程学院学报(自然科学版),2015,27(02):63-67. 主要目的是为了快速了解何为混沌序列、混沌序列产生、…...
VUE学习
import { ref } from vue; 引入了 Vue 的 ref 函数,用于创建响应式数据。const message ref(Hello Vue3); 创建了一个响应式变量 message 并初始化为字符串 Hello Vue3。<h1>{{ message }}</h1> 使用了 Vue 的插值表达式 {{ message }} 来显示 message…...
buildroot 编译 x264 及 ffmpeg
buildroot 编译 x264 及 ffmpeg 依赖安装x264编译安装解压源码并修改配置文件配置及编译编译错误: aarch64-linux-ar: two different operation options specified编译结果ffmpeg安装源码编译错误 : ERROR: x264 not found using pkg-config为在rk3568平台上开发音视频采集及…...
HarmonyOS开发:ArkTS初识
ArkTS基本语法 ArkTS语言简介 ArkTS是鸿蒙生态的应用开发语言。基本语法风格与TypeScript(简称TS)相似,在TS的生态基础上进一步扩展,继承了TS的所有特性,是TS的超集。 基本语法概述 扩展能力 基础语法:…...
C++ STL map和set的使用
序列式容器和关联式容器 想必大家已经接触过一些容器如:list,vector,deque,array,forward_list,string等,这些容器统称为系列容器。因为逻辑结构为线性的,两个位置的存储的值一般是…...
VisionPro软件Image Stitch拼接算法
2D图像拼接的3种情景 1.一只相机取像位置固定,或者多只相机固定位置拍图,硬拷贝拼图,采用CopyRegion工具实现 2.一只或多只相机在多个位置拍照,相机视野互相重叠,基于Patmax特征定位后,无缝 拼图ÿ…...
缓存-Redis-缓存更新策略-主动更新策略-Cache Aside Pattern(全面 易理解)
**Cache-Aside Pattern(旁路缓存模式)**是一种广泛应用于缓存管理的设计模式,尤其在使用 Redis 作为缓存层时尤为常见。该模式通过在应用程序与缓存之间引入一个旁路,确保数据的一致性和高效性。本文将在之前讨论的 Redis 主动更新…...
Linux(Centos 7.6)命令详解:cd
1.命令作用 改变当前工作目录(change directory) 2.命令语法 Usage: cd [-L|[-P [-e]]] [dir] 3.参数详解 -L,当目标路径是符号链接时,强制使用符号链接,这是一个默认选项。-P,使用物理路径代替符号链接。-e࿰…...
oracle位运算、左移右移、标签算法等
文章目录 位运算基础与或非同或同或应用场景 异或异或应用场景 什么是真值表 oracle基础函数创建bitor(按位或)函数bitnot(按位非)函数bitxor(按位异或)函数左移函数BITSHIFT()函数(实测不可用,废弃掉该方案)右移函数(略,有此场景吗?) 实际应用资质字典…...
预训练语言模型——BERT
1.预训练思想 有了预训练就相当于模型在培养大学生做任务,不然模型初始化再做任务就像培养小学生 当前数据层面的瓶颈是能用于预训练的语料快被用完了 现在有一个重要方向是让机器自己来生成数据并做微调 1.1 预训练(Pre - training)vs. 传…...
基于Thinkphp6+uniapp的陪玩陪聊软件开发方案分析
使用uni-app框架进行前端开发。uni-app是一个使用Vue.js开发所有前端应用的框架,支持一次编写,多端发布,包括APP、小程序、H5等。 使用Thinkphp6框架进行后端开发。Thinkphp6是一个轻量级、高性能、面向对象的PHP开发框架,具有易…...
C++异常处理
C异常处理 C中的异常处理机制是通过try、throw和catch三个关键字来实现的,主要用于捕获和处理程序执行过程中可能出现的错误或异常情况,从而提高程序的健壮性和可维护性。 基本概念 try块:用于定义一个可能抛出异常的代码块。在这个代码块…...
UVM: TLM机制
topic overview 不建议的方法:假如没有TLM TLM TLM 1.0 整个TLM机制下,底层逻辑离不开动作发起者和被动接受者这个底层的模型基础,但实际上,在验证环境中,任何一个组件,都有可能成为动作的发起者࿰…...
基于机器学习的故障诊断(入门向)
一、原始信号的特征提取 1.EMD经验模态分解的作用 信号分析:EMD可以将信号分解为多个IMFs,每个IMF代表信号中的一个特定频率和幅度调制的成分。这使得EMD能够提供对信号的时频特征进行分析的能力(特征提取用到的)。信号去噪&…...
Linux 磁盘管理命令:使用xfs 管理命令
文章目录 Linux磁盘管理命令使用xfs 管理命令1.命令说明2.建立 XFS 文件系统4.调整 XFS 文件系统各项参数5.在线调整 XFS 文件系统的大小6.暂停和恢复 XFS 文件系统7.尝试修复受损的 XFS 文件系统8.备份和恢…...
《Spring Framework实战》8:4.1.3.Bean 概述
欢迎观看《Spring Framework实战》视频教程 Spring IoC 容器管理一个或多个 bean。这些 bean 是使用 您提供给容器的配置元数据(例如,以 XML <bean/>定义的形式)。 在容器本身中,这些 bean 定义表示为BeanDefinition对象&a…...
Spring Boot教程之五十二:CrudRepository 和 JpaRepository 之间的区别
Spring Boot – CrudRepository 和 JpaRepository 之间的区别 Spring Boot建立在 Spring 之上,包含 Spring 的所有功能。由于其快速的生产就绪环境,使开发人员能够直接专注于逻辑,而不必费力配置和设置,因此如今它正成为开发人员…...
MyBatis面试-1
1、什么是MyBatis? MyBatis是一个半ORM框架(对象关系映射)。---》Hibernate全ORM框架 ---》基于JDBC封装的框架 专注于SQL语句,不用关心JDBC操作的其他流程 2、MyBatis有什么优点 基于SQL语句的编程,相对来说会更加的灵活和JDBC相比&#…...
GDPU Android移动应用 重点习题集
目录 程序填空 ppt摘选 题目摘选 “就这两页ppt,你还背不了吗” “。。。” 打开ppt后 “Sorry咯,还真背不了😜” 程序填空 网上摘选的大题也挺合适的,太难的帮大家过滤掉了,大家可以看一下。 ✨SharedPrefere…...
软件开发为什么要用CI/CD方法
现代化业务离不开应用。事实上,62% 的企业认为,应用对其业务至关重要,还有 36% 的企业认为,通过应用提升了竞争优势2。快速可靠的应用开发是在数字世界取得成功的关键。持续集成/持续部署(CI/ CD)方法可帮助…...
湘潭大学人机交互复习
老师没给题型也没划重点,随便看看复习了 什么是人机交互 人机交互(Human-Computer Interaction,HCI)是关于设计、评价和实现供人们使用的交互式计算机系统,并围绕相关的主要现象进行研究的学科。 人机交互研究内容 …...
Java高频面试之SE-10
hello啊,各位观众姥爷们!!!本牛马baby今天又来了!哈哈哈哈哈嗝🐶 equals和 的区别? 在 Java 中,equals() 方法和 运算符都是用于比较两个对象之间的相等性,但它们的工…...
Java 注解详解:RetentionPolicy 与 ElementType
文章目录 1. RetentionPolicy:注解的生命周期RetentionPolicy 的详细说明SOURCE 示例CLASS 示例RUNTIME 示例 2. ElementType:注解的应用范围ElementType 的详细说明ElementType 示例用于类用于方法用于局部变量 3. RetentionPolicy 与 ElementType 的结…...
javafx 将项目打包为 Windows 的可执行文件exe
要将 JavaFX 项目打包为 .exe 文件,你可以使用一些工具将你的应用程序封装为 Windows 可执行文件。以下是两种常用的方法: 方法 1:使用 jpackage(适用于 JDK 14 及更高版本) jpackage 是 JDK 内置的工具,…...