当前位置：首页 > news >正文

【学习笔记】机器学习(Machine Learning) | 第四章(3)| 多变量线性回归

news 来源：原创 2025/5/24 21:53:31

机器学习（Machine Learning）

简要声明

基于吴恩达教授(Andrew Ng)课程视频
BiliBili课程资源

文章目录

机器学习（Machine Learning）
- 简要声明
三、特征工程与多项式回归
- （一）特征工程：从数据中发现隐藏规律
- - 1.1 特征工程的核心思想
  - 1.2 特征工程的三大范式
- （二）多项式回归：非线性关系的建模利器
- - 2.1 多项式回归原理
- （三）特征选择：在复杂性与效果间寻找平衡
- - 3.1 非线性特征设计

一、特征缩放（Feature Scaling）

二、梯度下降收敛性检验与学习率选择

三、特征工程与多项式回归

（一）特征工程：从数据中发现隐藏规律

1.1 特征工程的核心思想

通过创造性组合原始特征，将领域知识注入机器学习模型。如图1所示，房屋价格预测中：

$\begin{aligned} \text{原始特征} & : x_1(\text{frontage}),\ x_2(\text{depth}) \\ \text{新特征} & : x_3 = x_1 \times x_2 = \text{area} \\ 模型公式 & : f_{\mathbf{w},b}(\mathbf{x}) = w_1x_1 + w_2x_2 + w_3x_3 + b \end{aligned}$

1.2 特征工程的三大范式

方法类型	数学表达	应用场景
数值转换	$\log(x)$	处理长尾分布数据
组合运算	$x_3 = x_1 \times x_2$	揭示交互效应

特征工程有无的对比
在这里插入图片描述

在这里插入图片描述

（二）多项式回归：非线性关系的建模利器

2.1 多项式回归原理

通过引入高次项扩展线性模型：

$f_{w,b}(x) = w_1 x + w_2 x^2 + w_3 x^3 + b$

不同阶数多项式拟合效果

（三）特征选择：在复杂性与效果间寻找平衡

3.1 非线性特征设计

如图所示，通过引入平方根项增强模型灵活性：

$f_{w,b}(x) = w_1 x + w_2 \sqrt{x} + b$
在这里插入图片描述

混合特征设计的拟合效果

x = np.arange(0,20,1)
y = x**2X = np.c_[x, x**2, x**3]
X = zscore_normalize_features(X) model_w, model_b = run_gradient_descent_feng(X, y, iterations=100000, alpha=1e-1)plt.scatter(x, y, marker='x', c='r', label="Actual Value"); plt.title("Normalized x x**2, x**3 feature")
plt.plot(x,X@model_w + model_b, label="Predicted Value"); plt.xlabel("x"); plt.ylabel("y"); plt.legend(); plt.show()

Iteration         0, Cost: 9.42147e+03
Iteration     10000, Cost: 3.90938e-01
Iteration     20000, Cost: 2.78389e-02
Iteration     30000, Cost: 1.98242e-03
Iteration     40000, Cost: 1.41169e-04
Iteration     50000, Cost: 1.00527e-05
Iteration     60000, Cost: 7.15855e-07
Iteration     70000, Cost: 5.09763e-08
Iteration     80000, Cost: 3.63004e-09
Iteration     90000, Cost: 2.58497e-10
w,b found by gradient descent: w: [5.27e-05 1.13e+02 8.43e-05], b: 123.5000

在这里插入图片描述

通过合理运用特征工程与多项式回归，我们能够将预测误差降低，同时保持较好的模型可解释性。

end_Linear Regression

【学习笔记】机器学习(Machine Learning) | 第四章(3)| 多变量线性回归

机器学习（Machine Learning） 简要声明基于吴恩达教授(Andrew Ng)课程视频 BiliBili课程资源文章目录机器学习（Machine Learning）简要声明三、特征工程与多项式回归（一）特征工程：从数据中发…...

编程日记 2025/5/24 21:53:31

将本地Springboot项目部署到Linux服务器

1、打包后端项目在IDEA的终端上执行命令 mvn clean package "-Dmaven.test.skiptrue" 在target目录下查看jar包是否存在 2、idea运行jar包（可选） 在IDEA的终端上执行命令 # 进入jar包所在目录 E:\LzpWorkspaces\lzp-records> cd .\tar…...

编程日记 2025/5/24 21:34:11

无人设备遥控器之实时数据保护技术篇

无人设备遥控器的实时数据保护技术是保障设备安全运行、避免信息泄露或恶意干扰的核心手段，其核心目标是在复杂电磁环境和网络攻击威胁下，确保指令传输的完整性、保密性和抗干扰性。一、技术实现路径链路层加密与认证动态密钥协商：采用…...

编程日记 2025/5/24 21:12:27

【优秀三方库研读】【性能优化点滴】odygrd/quill 解决伪共享

一、伪共享（False Sharing）问题本质当不同CPU核心频繁修改**同一缓存行（Cache Line）**中的不同变量时，会导致严重的性能下降。现代CPU的缓存系统以缓存行（通常64字节）为单位操作内存&#xff…...

编程日记 2025/4/29 9:29:19

JavaScript性能优化实战（6）：网络请求与资源加载优化

引言在现代Web应用开发中，网络性能已成为影响用户体验的关键因素。据统计，用户等待页面加载的耐心通常不超过3秒，超过这个时间，约40%的用户会选择离开。此外，Google的研究表明，页面加载时间每增加0.5秒，流量就会下降约20%。因此，优化网络请求和资源加载不仅关乎用户体…...

编程日记 2025/5/24 20:03:16

re题(49)BUUCTF-crackMe

BUUCTF在线评测 int wmain() {FILE *v0; // eaxFILE *v1; // eaxchar v3; // [esp3h] [ebp-405h]char v4[256]; // [esp4h] [ebp-404h] BYREFchar Format[256]; // [esp104h] [ebp-304h] BYREFchar v6[256]; // [esp204h] [ebp-204h] BYREFchar v7[256]; // [esp304h] [ebp-10…...

编程日记 2025/4/29 9:28:15

Python中的单例模式：深入探索元类与装饰器实现

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界单例模式（Singleton Pattern）是设计模式中的一种重要模式，确保一个类在整个应用中只有一个实例，并且提供全局访问点。Python语言作为一…...

编程日记 2025/5/7 8:52:08

深入解析 Babylon.js 中的 TransformNode.lookAt 方法

在 3D 开发中，控制对象朝向是一个基础但关键的需求。Babylon.js 作为一款强大的 Web3D 引擎，提供了 TransformNode.lookAt 方法来实现这一功能。本文将全面解析这个方法的使用技巧、参数含义以及常见应用场景。方法基础 TransformNode.lookAt 的基本签…...

编程日记 2025/5/16 23:02:55

SpringCloud组件——Gateway

一.网关 1.问题提出我们通过Eureka，Nacos解决了服务注册，服务发现的问题，使用SpringCloud LoadBalance解决了负载均衡的问题，使用OpenFeign解决了远程调用的问题。但是当前所有微服务的接口都是直接对外暴露的，可…...

编程日记 2025/4/29 9:24:58

Boost 库安装 (windows 11)

Boost 库安装 (windows 11 1 下载2 生成3 使用 1 下载下载地址：https://www.boost.org/ 有的时候会需要历史版本下载： https://www.boost.org/users/history/ 2 生成 1、解压后点击 bootstrap.bat，会生成可执行程序b2.exe 2、双击运行b2.…...

编程日记 2025/5/22 9:33:25

lmms-eval--微调实战笔记

lmms-eval--大模型调用平台，方便新手上手大模型微调 lmms-eval的更多用法,没有mathversehttps://github.com/EleutherAI/lm-evaluation-harness.git 单卡运行，模型gpt-j-6B，数据集hellaswag git clone --depth 1 https://github.com/Eleuthe…...

编程日记 2025/5/24 19:43:47

序列密码算法ShanLooog512设计原理详解

序列密码算法ShanLooog512设计原理详解 ShanLooog512(闪龙512)为序列密码算法，内部状态为512比特，密钥长度为128或256比特，轮函数为FFFFFFFF，循环轮数为24轮，输出密钥流为512比特的状态。与Salsa20类似，内…...

编程日记 2025/5/18 2:33:11

Matplotlib可视化基础

1. 折线图 matplotlib.pyplot.plot() # 主要参数： x,y -- 接收array，表示X轴和Y轴对应的数据，无默认 color -- 接收特定string，指定线条的颜色，默认为None linestyle -- 接收特定string，指定线条的类型…...

编程日记 2025/5/1 20:15:08

Linux 内核网络协议栈中的关键数据结构：inet_skb_parm 与 ip_options

在 Linux 内核的网络协议栈中，数据包的高效处理依赖于一系列精心设计的数据结构。这些结构体不仅需要存储网络数据的元信息，还需支持复杂的协议逻辑（如路由、分片、安全策略等）。本文聚焦两个核心结构体 struct inet_skb_parm 和 struct ip_options，解析它们的设计原理、功…...

编程日记 2025/5/9 14:00:18

oracle 数据库查询指定用户下每个表占用空间的大小，倒序显示

oracle 查询指定用户下每个表占用空间的大小，倒序显示使用场景：数据分析；导出医院正式库到开发环境时，查询出占用表空间高的业务表、导出时排除该表在Oracle数据库中，要查询指定用户下每个表占用空间的大小并以倒序…...

编程日记 2025/5/6 17:06:55

Missashe考研日记-day29

Missashe考研日记-day29 1 专业课408 学习时间：3h学习内容： 今天先是把虚拟存储剩余的课听完了，然后就是做课后选择题，57道，已经接受了OS课后题尤其多的事实了。解决并且理解完习题之后就开始预习文件管理的内容&…...

编程日记 2025/4/29 9:22:48

【AI】【MCP】搭建私人王炸MCP自动化工作流

目录一、什么是MCP 二、MCP大集合三、准备工作 3.1 安装node.js 3.2 安装vscode 3.3 安装cline插件 3.3.1 安装 3.3.2 配置Cline 四、配置MCP服务 4.1 Search-mcp服务 4.2 playwright-mcp 服务前言：梦想组合，轻松办公，告别手动&a…...

编程日记 2025/5/19 21:06:36

多元函数微分之传统方法和全微分法

一、传统方法使用链式法则，先对中间变量（如 u,v）求偏导，再乘以中间变量对最终变量（如 x,y）的偏导。二、全微分法基于全微分形式不变性，直接对 zf(u,v) 求全微分 dz，再代入 du 和…...

编程日记 2025/5/15 11:22:24

新手SEO基础优化全解析

内容概要对于刚接触SEO的新手而言，系统化理解优化逻辑是避免无效操作的关键。本文将从基础概念入手，逐步拆解搜索引擎排名的影响要素，围绕关键词分析、技术优化、内容策略三大核心模块，提供可落地的操作框架。通过结合工具使用说…...

编程日记 2025/4/29 9:21:43

MATLAB退火算法和遗传算法解决旅行商问题

模拟退火算法和遗传算法都是常用于解决旅行商问题（TSP）的优化算法，它们在原理、搜索方式、收敛速度和适用场景等方面存在一些区别： 原理模拟退火算法：模拟退火算法的灵感来源于固体退火原理。固体在加热后缓慢冷却时…...

编程日记 2025/4/29 9:20:40

喜马拉雅卖身腾讯音乐：在线音频独立时代的终结

坦白说，这条消息一出来，喜马拉雅被卖掉不太奇怪，但是腾讯音乐会收购，还是有点意外。喜马拉雅之前一度被称为中国版Audible平台，在过去几年里，活生生地把一手好牌打得稀烂。如今走到“卖身”这一步，既是无奈，也是必然。简单回顾一下背景： 2012年，喜马拉雅成立，一…...

编程日记 2025/4/29 9:20:39

简单理解https与http

都是超文本传输协议，一个安全一个不安全，名字长的安全，名字短的不安全。安全与不安全是居于什么分别的？ 通过加密 http无加密。 httpshttp SSL/TSL（加密）来保障数据安全。加密传输身份验证 SSL/TLS…...

编程日记 2025/5/13 2:59:53

打造即插即用的企业级云原生平台——KubeSphere 4.1 扩展组件在生产环境的价值全解

目录打造即插即用的企业级云原生平台——KubeSphere 4.1 扩展组件在生产环境的价值全解 1. 可观测体系：WhizardTelemetry 全家桶 2. 平台与多集群治理 3. CI/CD 与交付效率 4. 网络与流量入口 5. 安全与合规 6. 存储与数据保护 7. 平台集成优势结语打造…...

编程日记 2025/5/17 21:51:25

配置扩展ACL

1.扩展ACL简介： 扩展ACL可以更精确地控制基于源IP地址、目标IP地址、协议类型和端口号的流量。 2.配置背景： 为了实现公司内部只能使用FTP服务器传输文件并关闭其他所有服务和端口的需求，可以通过配置访问控制列表（ACL&#xf…...

编程日记 2025/5/23 19:13:29

根据用户出生日期计算年龄

public static int calculateAgeFromDate(Date birthDate) { // 将 Date 转换为 LocalDate（默认时区） LocalDate birthLocalDate birthDate.toInstant() .atZone(ZoneId.systemDefault()) .toLocalDate(); // 获取当前日期LocalDate currentDate Local…...

编程日记 2025/5/24 5:19:35

测试基础笔记第十五天

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录一、集合1.集合的定义二、使用集合列表去重导包二、函数1.函数介绍2.定义函数3.调用函数4.函数实现登录案例5.函数的返回值三、模块和包1.模块的概念(Module)2.模…...

编程日记 2025/5/20 5:36:37

【专题四】前缀和（3）

📝前言说明： 本专栏主要记录本人的基础算法学习以及LeetCode刷题记录，按专题划分每题主要记录：（1）本人解法本人屎山代码；（2）优质解法优质代码；&#xff…...

编程日记 2025/5/6 14:14:29

STM32 USB配置详解

STM32 USB配置详解一、USB基础概念 1.1 USB简介 USB (Universal Serial Bus) 是一种用于计算机与外部设备连接的串行总线标准，具有热插拔、即插即用等特点。STM32微控制器内置了多种USB接口，可实现各类USB应用。 1.2 USB速度等级 Low Speed (LS): …...

编程日记 2025/4/29 9:18:25

2025年Mapbox零基础入门教程（1）地图初始化

什么是mapbox？ mapbox是一个地图框架，不仅提供前端渲染能力，还具备后端服务接口能力。相较于openlayers，它可构建二维和三维地图，并支持优化导航路线和位置查询等功能。开发中使用mapbox需引入库文件并设置token&…...

编程日记 2025/4/29 9:18:24

课外知识：你需要了解的Python类对象里面的getattr方法

你需要了解的Python类对象中的__getattr__方法一、__getattr__基础概念 1. 方法定义 def __getattr__(self, name: str) -> Any:"""当访问不存在的属性时触发"""2. 核心特性动态属性处理：拦截未定义的属性访问按需触发&…...

编程日记 2025/4/29 9:18:23

openGauss新特性 | DataKit支持PostgreSQL到openGauss的迁移能力

Postgresql-\>openGauss迁移工具debezium-connector-postgres 可获得性本特性自openGauss 7.0.0-RC1版本开始引入。特性简介 debezium-connector-postgres工具是一个基于Java语言的Postgresql到openGauss的复制工具。该工具提供了初始全量数据及对象（视图、…...

编程日记 2025/5/9 18:40:31

【前端】跟进新趋势- PWA WebAssembly

不定期更新及补充实战。建议关注收藏点赞。目录 PWA（渐进式 Web 应用，Progressive Web App）WebAssembly（WASM） PWA（渐进式 Web 应用，Progressive Web App） PWA 是一种提升 Web 应用…...

编程日记 2025/4/29 9:17:20

C++学习：六个月从基础到就业——模板编程：SFINAE原则

C学习：六个月从基础到就业——模板编程：SFINAE原则本文是我C学习之旅系列的第三十六篇技术文章，也是第二阶段"C进阶特性"的第十四篇，主要介绍C模板编程中的SFINAE原则。查看完整系列目录了解更多内容。目录 C学习之…...

编程日记 2025/5/24 6:24:49

完美解决.NET Framework 4.0 中 System.Drawing 库不支持 WebP 格式的图像处理

如果你想在 .NET Framework 4.0 中使用 ImageMagick 处理图片，可以通过 Magick.NET 库来实现。Magick.NET 是 ImageMagick 的 .NET 封装，可以用来读取、写入、编辑图像。以下是如何使用 Magick.NET 来处理图像并提取图像的宽度和高度。步骤&#xff…...

编程日记 2025/5/24 14:12:21

网络基础概念：从菜鸟到入门

前言：快递小哥的故事想象一下你要给朋友寄个礼物，这个过程其实和网络通信非常相似： 1. 你需要知道朋友的”地址“（IP地址） 2. 要注明是送到他家大门还是物业代收（端口号） 3. 要选择快递公司并…...

编程日记 2025/5/18 11:24:21

优先队列和单调队列（双端队列实现的）

这里写自定义目录标题一、优先队列与单调队列二、优先队列2.1 概念2.2 增删查判空2.3 示例代码三、双端队列四、单调队列4.1 单调递增队列4.2 单调递减队列一、优先队列与单调队列二、优先队列 2.1 概念一种特殊的队列，它与普通队列的主要区别在于元素的出…...

编程日记 2025/4/29 9:17:16

设计模式（状态模式）

概述在实际的软件开发中，状态模式并不是很常用，但是在能够用到的场景里，它可以发挥很大的作用。从这一点上来看，它有点像我们之前讲到的组合模式。状态模式一般用来实现状态机，而状态机常用在游戏、工作流引擎等系统…...

编程日记 2025/5/13 18:35:13

安卓基础（get和set）

在 Java 中，get 和 set 方法是面向对象编程中封装（Encapsulation） 的核心实现，用于安全地访问和修改类的私有字段（private 成员变量）。它们的核心作用是控制对数据的访问&#xff0c…...

编程日记 2025/5/24 6:41:35

机器人灵巧操作新突破，力感知技术让机械手更精准

在机器人的发展历程中，让机器人实现灵活操作一直是科研人员努力攻克的难题。我们这篇文章给大家带来一份新的工作：DexForce 链接：[2501.10356] DexForce: Extracting Force-informed Actions from Kinesthetic Demonstrations for Dextero…...

编程日记 2025/5/11 17:00:54

八大排序——直接插入排序/希尔排序

八大排序——直接插入排序/希尔排序目录一、直接插入排序二、希尔排序一、直接插入排序每一趟从待排序序列中取第一个值，将其插入到已排序好的序列中，对已排序好的序列，从右到左依次和待插入值比较，如果大于则向后挪&…...

编程日记 2025/4/29 9:12:57

8、HTTPD服务--ab压力测试

一、ab压力测试 # ab ‐c 100 ‐n 1000 http://vedio.linux.com/index.html 2 This is ApacheBench, Version 2.3 <$Revision: 1430300 $> 3 Copyright 1996 Adam Twiss, Zeus Technology Ltd, http://www.zeustech.net/ 4 Licensed to The Apache Software Foundation,…...

编程日记 2025/4/29 9:12:55

node.js 实战——mongoDB

MongoDB MongoDB 简介 MongoDB 是一种基于文档型 (document-oriented) 的 NoSQL 数据库，使用类 JSON 的 BSON 格式存储数据，自然支持复杂数据结构。它特别适合需要快速变化、大量数据处理和高应用扩展性的场景。 MongoDB 特性： 无法表、无…...

编程日记 2025/4/29 9:12:53

C语言学习路线

以下是一份综合多个优质资源的C语言学习路线规划，结合2025年最新技术趋势和工程实践需求，分为三个阶段系统推进： 一、入门阶段（1-2个月） 目标：掌握基础语法，能编写简单程序&#xff…...

编程日记 2025/4/29 9:12:52

飞凌嵌入式T527核心板获得【OpenHarmony生态产品兼容性证书】

近日，飞凌嵌入式FET527-C核心板通过OpenHarmony 4.1 Release版本兼容测评，获得【OpenHarmony生态产品兼容性证书】。飞凌嵌入式FET527-C核心板搭载全志T527系列全国产高性能处理器，集成8个ARM Cortex-A55核心，并内置RISC-V核和DS…...

编程日记 2025/5/17 23:40:56

Mioty｜采用报文分割（Telegram Splitting）以提高抗干扰能力的无线通信技术

1、什么是Mioty 在物联网（IoT）快速发展的背景下，低功耗广域网（LPWAN）技术成为连接海量设备的关键。LPWAN具有低功耗、低成本、广覆盖和强抗干扰能力等特点，使其特别适用于大规模、远距离、低数据速率的IoT…...

编程日记 2025/4/29 9:11:49

WPF 程序监控硬件设备状态变化的实现方案

以下是一个完整的 C# WPF 程序实现方案，用于监控硬件设备状态变化（基于设备 SDK API）。我们将分步骤实现，包含状态轮询、事件通知、UI 绑定和错误处理。 1. 项目结构设计 HardwareMonitor/ ├── Models/ # 数据模…...

编程日记 2025/5/3 8:10:14

利用Python打印有符号十进制数的二进制原码、反码、补码

有时候手动计算有符号十进制数的二进制原码、反码、补码是一件挺麻烦的事情。下面是一个段Python 代码，它可以接收一个 16 位有符号十进制数的输入，然后输出其对应的二进制原码、反码和补码： def decimal_to_binary(decimal_num):# 检查输入…...

编程日记 2025/5/2 3:11:55

STM32裸机编程架构与思路

STM32作为广泛应用的微控制器系列，其强大的功能和灵活的编程方式使其成为嵌入式系统开发的优选。裸机编程（bare-metal programming）指的是在没有操作系统支持的情况下，直接对硬件进行编程。这种方式虽然较为底层，但能够…...

编程日记 2025/5/18 8:44:26

Eureka 深度解析：从原理到部署的全场景实践

一、Eureka 核心原理与架构设计 1. 核心定位与组件模型 Eureka 是 Netflix 开源的服务发现（Service Discovery）组件，作为 Spring Cloud 微服务体系的核心基础设施，其核心目标是解决分布式系统中服务实例动态管理与跨服务通信解耦…...

编程日记 2025/5/22 10:11:36

有哪些和PPT自动生成有关的MCP项目？

随着AI技术的快速发展， Model Context Protocol（MCP）作为一种连接大型语言模型（LLMs）与外部工具的开放协议，正在重塑自动化办公领域。在PPT自动生成场景中，MCP通过标准化接口实现了AI模型与设计工具、数据源的无缝整合。以下从技术框架、项目案例、应用场景三个维度展开…...

编程日记 2025/4/29 9:10:42