当前位置：首页 > news >正文

机器学习（1）—线性回归

news 来源：原创 2025/9/1 21:47:22

文章目录

1. 算法定义
2. 模型形式
- 2.1. 简单线性回归（单变量）：
- 2.2. 多元线性回归（多变量）：
3. 基本原理
- 3.1. 误差函数：
- 3.2. 求解回归系数
4. 假设条件
5. 模型评估
6. 优缺点
7. 扩展方法
8. 应用场景

1. 算法定义

线性回归（Linear Regression）是一种用于预测一个连续型目标变量（因变量）与一个或多个自变量（特征变量）之间关系的统计方法。它的基本思想是通过拟合一条直线（在多变量情况下是超平面），来建立自变量和因变量之间的关系模型。

2. 模型形式

2.1. 简单线性回归（单变量）：

单变量线性回归的基本形式：
在这里插入图片描述

$y$ ：因变量（目标）
$x$ ：自变量（特征）
$β_0$ ：截距（y轴交点）
$β_1$ ：斜率（变量权重）
$ϵ$ ：随机误差（噪声）

2.2. 多元线性回归（多变量）：

当有多个特征变量时，线性回归模型可以扩展到多变量情况。假设有
n 个自变量（特征），则多变量线性回归的模型形式为
在这里插入图片描述

$y$ ：因变量（目标）
$x_1$ 、 $x_2$ 、…、 $x_n$ ：自变量（特征）
$β_0$ ：截距（y轴交点）
$β_1$ 、 $β_2$ 、…、 $β_n$ ：回归系数（每个特征的权重）
$ϵ$ ：随机误差（噪声）

3. 基本原理

线性回归的核心思想是通过找到最佳的回归系数，使得模型预测值与真实值之间的误差最小。这个误差通常通过均方误差（MSE，Mean Squared Error）来度量

3.1. 误差函数：

在这里插入图片描述
其中， $y_i$ 是真实值， $\hat y_i$ 是预测值， $n$ 是样本的数量

3.2. 求解回归系数

回归系数通常通过最小二乘法来求解。最小二乘法的目的是最小化上述的误差函数。通过对误差函数进行求导并令其等于零，可以得到回归系数的最优解。

通过最小二乘法（Ordinary Least Squares, OLS）估计参数 $β$

目标：最小化残差平方和（RSS）:
在这里插入图片描述
解法： 对 $β_0$ 和 $β_1$ 求偏导并令导数为零，得到闭式解（解析解）。对于多元回归，矩阵形式解为：
$\hat β =(X^TX)^{-1}X^Ty$

$X$ 是包含自变量的设计矩阵
$y$ 是因变量的向量
$\hat β$ 是回归系数的向量

4. 假设条件

线性性：因变量与自变量呈线性关系。
独立性：误差项之间无自相关（适用于时间序列需检验）。
同方差性：误差项的方差恒定（若异方差需加权最小二乘法）。
正态性：误差项服从正态分布（用于置信区间和假设检验）。
无多重共线性：自变量之间高度相关会导致估计不稳定。

5. 模型评估

R²（决定系数）：解释模型对数据方差的拟合程度，范围 [0,1]，越高越好。
均方误差（MSE）：预测值与真实值的平均平方误差，越小越好。
调整R²：考虑自变量数量，防止过拟合。

6. 优缺点

优点：简单、可解释性强、计算效率高。
缺点：对非线性关系、异常值、多重共线性敏感。

7. 扩展方法

正则化：
- 岭回归（L2正则）：解决共线性，添加 $λ∑β^2_j$ 惩罚项。
- Lasso（L1正则）：稀疏化特征选择，添加 $λ∑|β_j|$ 惩罚项。
多项式回归：通过添加高阶项拟合非线性关系。

8. 应用场景

房价预测、销售额分析、经济趋势建模等连续值预测问题。
通过理解这些基本原理，可以更好地应用线性回归并诊断模型问题。

机器学习（1）—线性回归

文章目录 1. 算法定义2. 模型形式2.1. 简单线性回归（单变量）：2.2. 多元线性回归（多变量）： 3. 基本原理3.1. 误差函数：3.2. 求解回归系数 4. 假设条件5. 模型评估6. 优缺点7. 扩展方法8. 应用场景…...

编程日记 2025/9/1 21:47:22

macOS下SourceInsight的替代品

macOS 推荐的几款开源、轻量级、且功能类似于 SourceInsight 的源码阅读工具（排除 VS Code）： 1. Zeal（离线文档简单代码导航） 官网/GitHub: https://zealdocs.org/特点： 轻量级离线文档浏览器&#xff0…...

编程日记 2025/9/1 21:35:15

form实现pdf文件转换成jpg文件

说明： 我希望将pdf文件转换成jpg文件请去下载并安装 Ghostscript，gs10050w64.exe 配置环境变量：D:\Program Files\gs\gs10.05.0\bin 本地pdf路径：C:\Users\wangrusheng\Documents\name.pdf 输出文件目录：C:\Users\wan…...

编程日记 2025/8/31 21:29:00

聊天室项目之http知识

一.http的核心组成部分（都分成请求的和响应的） 1.起始行：请求------------------------ 方法（Method）：GET、POST、PUT、DELETE 等。请求目标（Request Target）：URL 路径…...

编程日记 2025/8/30 1:00:53

kubeadm部署 Kubernetes(k8s) 高可用集群 V1.28.2

1. 安装要求在开始之前，部署Kubernetes集群机器需要满足以下几个条件： 10台机器，操作系统Openeuler22.03 LTS SP4硬件配置：2GB或更多RAM，2个CPU或更多CPU，硬盘30GB或更多，docker 数据卷单独挂…...

编程日记 2025/9/1 17:22:00

BUUCTF-web刷题篇(12)

21.easy_tornado Tornado大致可以分为四个主要组成部分： 一个web框架（包括RequestHandler创建Web应用程序的子类，以及各种支持类）。 HTTPServerHTTP（和AsyncHTTPClient）的客户端和服务器端实现。一个异…...

编程日记 2025/9/1 21:35:19

基于 Netty 框架的 Java TCP 服务器端实现，用于启动一个 TCP 服务器来处理客户端的连接和数据传输

代码： package com.example.tpson_tcp;import io.netty.bootstrap.ServerBootstrap; import io.netty.channel.ChannelFuture; import io.netty.channel.ChannelInitializer; import io.netty.channel.ChannelOption; import io.netty.channel.EventLoopGroup; imp…...

编程日记 2025/8/31 6:40:51

【Kafka基础】Kafka配置文件关键参数解析与单机生产环境配置指南

1 Kafka配置文件概述 Apache Kafka的配置文件是控制其行为的关键所在，合理的配置能够显著提升性能、可靠性和可维护性。Kafka主要涉及两个核心配置文件： server.properties：Broker主配置文件zookeeper.properties：ZooKeeper配置文…...

编程日记 2025/9/1 22:38:15

Kafka 漏消费和重复消费问题

Kafka 虽然是一个高可靠、高吞吐的消息系统，但如果使用不当，**“漏消费”和“重复消费”**问题是非常容易发生的，尤其在业务系统中会造成数据丢失、重复写库等严重问题。 🎯 一句话理解： Kafka 本身提供 “至多一次”…...

编程日记 2025/8/31 21:57:59

Mysql慢查询设置和建立索引

1 .mysql慢查询的设置 slow_query_log ON //或 slow_query_log_file /usr/local/mysql/data/slow.log long_query_time 2 修改后重启动mysql 1.1 查看设置后的参数 mysql> show variables like slow_query%; --------------------------------------------------…...

编程日记 2025/9/1 18:55:48

Windows程序中计时器WM_TIMER消息的使用

本文章是对《Windows程序设计》这本书第八章计时器的总结，如果有时间，可以去看书里的讲解，如果时间不充裕，想马上知道计时器该如何使用，欢迎阅读本文，本文已经将计时器的干货整理完毕！ 什么是计…...

编程日记 2025/9/1 20:27:56

关于apple ios苹果mdm监管锁的漏洞与修复

前言本人从2020年开始接触苹果mdm管理系统的开发起初只是接触如何利用mdm进行app分发 23年开始开发mdm监管锁业务随着手机租赁的市场兴起 mdm监管锁系统随即而生注意本人只是分享工作过程中遇到的一些问题不接受苹果手机屏蔽以及解锁的业务此文章仅做分享使用 MDM监…...

编程日记 2025/9/1 6:18:55

使用Geotools中的原始方法来操作PostGIS空间数据库

目录前言一、原生PostGIS连接介绍 1、连接参数说明 2、创建DataStore 二、工程实战 1、Maven Pom.xml定义 2、空间数据库表 3、读取空间表的数据三、总结前言在当今数字化与信息化飞速发展的时代，空间数据的处理与分析已成为众多领域不可或缺的一环。从…...

编程日记 2025/9/1 18:25:49

C-S模式之实现一对一聊天

天天开心！！！ 文章目录一、如何实现一对一聊天？1. 服务器设计2. 客户端设计3. 服务端代码实现4. 客户端代码实现5. 实现说明6.实验结果二、改进常见的服务器高并发方案1. 多线程/多进程模型2. I/O多路复用3. 异步I/O（…...

编程日记 2025/9/1 9:24:02

Kafka Consumer Group

Kafka 消费者组（Consumer Group） 是 Kafka 的核心机制之一！理解它对你掌握 Kafka 的高可用、高吞吐、负载均衡等能力非常关键。下面我来给你完整讲一讲👇 🧠 什么是 Kafka 消费者组（Consumer Group&#x…...

编程日记 2025/9/1 9:06:57

LangChain vs LlamaIndex：大模型应用开发框架深度对比与实战指南

一、引言：大模型时代的应用开发挑战随着ChatGPT、LLaMA等大语言模型的爆发式发展，如何高效构建「大模型+垂直领域」的智能应用成为新课题。传统开发模式面临三大痛点：数据交互复杂：大模型与本地数据的融合缺乏标准化接口功能扩展困难：链式调用、工具集成需要重复造轮子…...

编程日记 2025/8/31 17:50:45

第二章:访问远程服务_《凤凰架构：构建可靠的大型分布式系统》

第二章访问远程服务 2.1 远程服务调用（RPC） 2.1.1 进程间通信机制核心方式： 管道（Pipe）：单向通信，用于父子进程信号（Signal）：异步事件通知，不…...

编程日记 2025/8/29 4:04:42

一键自动备份：数据安全的双重保障

随着数字化时代的到来，数据已成为企业和个人不可或缺的核心资产。在享受数据带来的便捷与高效的同时，数据丢失的风险也随之增加。因此，备份文件的重要性不言而喻。本文将深入探讨备份文件的重要性，并介绍两种实用的自动备份方法&a…...

编程日记 2025/9/1 19:54:03

C++11之std::is_convertible

目录 1.简介 2.实现原理 3.使用场景 4.总结 1.简介 std::is_convertible 是 C 标准库 <type_traits> 头文件中的一个类型特性（type trait），它用于在编译时检查一个类型是否可以隐式转换为另一个类型。下面的原型： temp…...

编程日记 2025/9/1 19:45:02

从零开始：在Qt中使用OpenGL绘制指南

从零开始：在Qt中使用OpenGL绘制指南本文只介绍基本的 QOpenGLWidget 和 QOpenGLFunctions 的使用，想要学习 OpenGL 的朋友，建议访问经典 OpenGL 学习网站：LearnOpenGL CN 本篇文章，我们将以绘制一个经典的三角形为例&…...

编程日记 2025/8/31 20:41:08

我的购物车设计思考：从个人项目到生产实战思考的蜕变

一、代码初体验：我踩过的那些坑还记得大二做课程设计时，我写的购物车直接用ArrayList存商品，结果改数量时遍历半天找商品。现在看你这个HashMap实现，确实清爽很多，但有几点让我想起当年惨痛经历： 1. 线程…...

编程日记 2025/8/31 17:34:16

【算法实践】算法面试常见问题——数组的波浪排序

问题描述给定一个无序整数数组，将其排列成波浪形数组。若数组 arr[0..n-1] 满足以下条件，则称为波浪形： arr[0] > arr[1] < arr[2] > arr[3] < arr[4] > ... 或 arr[0] < arr[1] > arr[2] < arr[3] > arr[4] &l…...

编程日记 2025/8/31 19:12:06

【大模型深度学习】如何估算大模型需要的显存

一、模型参数量参数量的单位参数量指的是模型中所有权重和偏置的数量总和。在大模型中，参数量的单位通常以“百万”（M）或“亿”（B，也常说十亿）来表示。百万（M）：表示…...

编程日记 2025/8/31 7:54:01

[论文阅读]PMC-LLaMA: Towards Building Open-source Language Models for Medicine

PMC-LLaMA：构建医学开源语言模型摘要最近，大语言模型在自然语言理解方面展现了非凡的能力。尽管在日常交流和问答场景下表现很好，但是由于缺乏特定领域的知识，这些模型在需要精确度的领域经常表现不佳，例如医学应用…...

编程日记 2025/8/27 6:27:26

`use_tempaddr` 和 `temp_valid_lft ` 和 `temp_prefered_lft ` 笔记250405

use_tempaddr 和 temp_valid_lft 和 temp_prefered_lft 笔记250405 以下是 Linux 系统中与 IPv6 临时隐私地址相关的三个关键参数 use_tempaddr、temp_valid_lft 和 temp_prefered_lft 的详细说明及协作关系： 📜 参数定义与功能参数作用默认值依赖关…...

编程日记 2025/9/1 9:08:48

如何设置 JVM 内存参数（-Xms、-Xmx、-Xss 等）？

JVM 内存参数用于控制 Java 虚拟机使用的内存大小和行为。以下是一些常用的 JVM 内存参数及其设置方法： 1. 堆内存 (Heap Memory): -Xms<size>: 设置 JVM 初始堆大小 (initial heap size)。例如：-Xms2g (初始堆大小为 2GB)默认值：物…...

编程日记 2025/8/31 13:08:29

【MATLAB TCP/IP客户端与NetAssist上位机双向通信实战指南】

MATLAB TCP/IP客户端与NetAssist上位机双向通信实战指南一、前言在工业控制和数据采集领域，TCP/IP通信是最常用的网络通信协议之一。MATLAB作为强大的科学计算软件，与各种上位机软件(如NetAssist)进行通信可以实现数据采集、设备控制和实时监控等功能…...

编程日记 2025/9/1 10:46:28

联合、枚举、类型别名

数据类型： 已学--整数、实数、字符、字符串、数组、指针、结构待学--向量（vector）类型：优于数组非主流的类型--联合（union）、枚举（enum） 一、联合联合类似于结构，可以容…...

编程日记 2025/8/31 11:35:51

Array 和 ArrayList 有何区别？什么时候更适合用 Array？

面试官提问： 你能简要说明 Array 和 ArrayList 之间的主要区别吗？在什么场景下更适合使用 Array？ 标准回答： 在 Java 中，Array（数组）和 ArrayList（动态数组）都可以用于存…...

编程日记 2025/9/1 6:33:58

对状态模式的理解

对状态模式的理解一、场景二、不采用状态模式1、代码2、缺点三、采用状态模式1、代码1.1 状态类1.2 上下文（这里指：媒体播放器）1.3 客户端 2、优点一、场景同一个东西（例如：媒体播放器），有一…...

编程日记 2025/8/31 23:37:20

【学Rust写CAD】31 muldiv255函数（muldiv255.rs）

源码 // Calculates floor(a*b/255 0.5) #[inline] pub fn muldiv255(a: u32, b: u32) -> u32 {// The deriviation for this formula can be// found in "Three Wrongs Make a Right" by Jim Blinn.let tmp a * b 128;(tmp (tmp >> 8)) >> 8 }代…...

编程日记 2025/9/1 16:42:27

使用VSCode编写C#程序

目录一、环境搭建：构建高效开发基础1. 安装VSCode2. 配置.NET SDK3. 安装核心扩展二、项目开发全流程1. 创建项目2. 代码编辑技巧3. 调试配置4. 高级调试技巧5. 编译与运行三、常见问题解决指南1. 项目加载失败2. IntelliSense失效3. 代码格式化4. 典型编译错误&…...

编程日记 2025/8/28 4:07:30

chromadb

chromadb是一个轻量化的向量数据库，可以和llama-index等RAG框架使用。底层基于sqllite。 Getting Started - Chroma Docs 1、安装 $pip install chromadb pip install chromadb-client --在CS模式下，如果机器A上只需要安装客户端 2、可以使用客户端…...

编程日记 2025/9/1 18:46:28

第十章: 可观测性_《凤凰架构：构建可靠的大型分布式系统》

第十章: 可观测性可观测性是现代分布式系统监控和故障排查的核心能力。本章从事件日志、链路追踪、聚合度量三个维度构建完整的可观测性体系，以下是各部分的重点解析与实践要点： 一、事件日志（Event Logging） 1. 核心目标全链…...

编程日记 2025/9/1 6:11:31

vscode和cursor对ubuntu22.04的remote ssh和X-Windows的无密码登录

这里写自定义目录标题写在前面需求的描述问题的引出昨天已使能自动登录上午我的改变UBUNTU 22.04关闭密码规则一：修改 /etc/pam.d/common-password 文件二：修改 /etc/security/pwquality.conf 文件方法三：禁用 pam_pwquality.so 模块 vscod…...

编程日记 2025/8/27 3:43:53

Mlivus Cloud SDK v2的革新：性能优化与实战解析

作为大禹智库的向量数据库高级研究员王帅旭，我在过去30多年的AI应用实战中见证了向量数据库技术的演进历程。今天，我将从专业角度深入剖析Mlivus Cloud SDK v2的架构革新，特别是针对性能瓶颈问题的突破性解决方案。本文不仅会详细解析技术原理，还将提供可操作的优化建议，帮…...

编程日记 2025/8/31 20:54:31

stl_list的模拟实现

文章目录 stl_list的模拟实现迭代器的介绍以及分类stl_list的基本接口介绍stl_list的模拟实现结点类迭代器类基本迭代器操作链表类链表基本操作结语我们今天又见面啦，给生活加点impetus！！开启今天的编程之路作者：٩( ‘ω’ …...

编程日记 2025/9/1 9:42:45

【蓝桥杯】十五届省赛B组c++

目录前言握手问题分析排列组合写法枚举小球反弹分析代码好数分析代码 R 格式分析代码宝石组合分析代码数字接龙分析代码拔河分析代码总结前言主播这两天做了一套蓝桥杯的省赛题目（切实感受到了自己有多菜&#x…...

编程日记 2025/9/1 15:58:28

变分自编码器（VAE）概念解析与用法实例：根据原图像生成新图像

目录 1. 前言 2. VAE原理 2.1 什么是VAE？ 2.2 编码器（Encoder） 2.3 重参数化技巧（Reparameterization Trick） 2.4 解码器（Decoder） 2.5 损失函数 3. Pytorch实现：根据原图像…...

编程日记 2025/9/1 10:49:05

AI随身翻译设备：从翻译工具到智能生活伴侣

文章目录 AI随身翻译设备的核心功能1. 实时翻译2. 翻译策略3. 翻译流程4. 输出格式二、AI随身翻译设备的扩展功能1. 语言学习助手2. 旅行助手3. 商务助手4. 教育助手5. 健康助手6. 社交助手7. 技术助手8. 生活助手9. 娱乐助手10. 应急助手三、总结四、未来发展趋势&#xff0…...

编程日记 2025/9/1 16:07:33

基于大模型的重症肌无力的全周期手术管理技术方案

目录技术方案文档1. 数据预处理模块2. 多任务预测模型架构3. 动态风险预测引擎4. 手术方案优化系统5. 技术验证模块6. 系统集成架构7. 核心算法清单8. 关键流程图详述实施路线图技术方案文档 1. 数据预处理模块流程图 [输入原始数据] → [联邦学习节点数据对齐] → [多模态特…...

编程日记 2025/9/1 11:09:26

Linux常用命令详解：从基础到进阶

目录一、引言二、文件处理相关命令 （一）grep指令 （二）zip/unzip指令编辑 （三）tar指令 （四）find指令三、系统管理相关命令 （一）shutdown指…...

编程日记 2025/9/1 22:38:18

【全球首发】DeepSeek谷歌版1.1.5 - 免费GPT-4级别AI工具

【全球首发】DeepSeek谷歌版1.1.5 - 免费GPT-4级别AI工具资源简介 DeepSeek谷歌版1.1.5是目前全球领先的免费AI助手，性能超越国内主流AI产品，提供类似GPT-4的智能体验。版本信息最新版本：1.1.5（2024最新版）应用…...

编程日记 2025/9/1 3:49:11

JWT认证服务

JSON Web Token（JWT）是一种用于在网络应用间安全地传递信息的紧凑、自包含的方式。以下是关于 JWT 认证服务器更详细的介绍，包括其意义、作用、工作原理、组成部分、时效性相关内容、搭建条件以及代码案例。 JWT 的意义与作用意义&#xf…...

编程日记 2025/8/29 17:44:27

Raft算法

Raft算法用于保证分布式环境下多节点数据的一致性。原理 Raft算法的主要思想是一个选主(leader selection) 的算法思想，集群种每个节点都有可能成为三种角色。三种角色 leader 对客户端通信的入口，对内数据同步的发起者，一个集群通常只…...

编程日记 2025/9/1 16:57:00

Kotlin 类委托深入解析：以 MMKV 为例看委托机制在 Android 中的巧妙应用

Kotlin 中的类委托（class delegation）是一个非常实用的特性，它允许我们将接口的实现交给另一个对象，从而简化代码，提升复用性和灵活性。本文将通过简单的 Demo 介绍类委托的基本用法，并以 Android 中的 MMK…...

编程日记 2025/9/1 18:03:43

2025年渗透测试面试题总结-某一线实验室实习扩展（题目+回答）

网络安全领域各种资源，学习文档，以及工具分享、前沿信息分享、POC、EXP分享。不定期分享各种好玩的项目及好用的工具，欢迎关注。目录某一线实验室实习扩展一、流量分析深度实践 1. FTP反弹定时确认包流量检测 1.1 攻击原理与特征 1.…...

编程日记 2025/8/31 11:25:15

2025大唐杯仿真3——移动性管理

仅仅是1-2之间的信息交互...

编程日记 2025/9/1 22:48:29

云原生与微服务的关系

云原生（Cloud Native）和微服务（Microservices）是现代软件开发和部署中密切相关的两个概念，它们共同推动了应用程序的架构设计、开发模式和运维方式的变革。以下是两者的关系及核心要点： 定义与核心概念云原…...

编程日记 2025/9/1 7:11:52

【百日精通JAVA | SQL篇 | 第三篇】 MYSQL增删改查

SQL得最核心就是增删改查一个后端开发，在工作中，最常见的场景就是CRUD。插入数据 insert into student values (1,zhangsan); 指定列插入数据同时多个列明之间使用逗号，来分割 insert into student (name) values (zhaoliu); 这个黑框…...

编程日记 2025/8/31 11:28:01