当前位置：首页 > news >正文

从繁琐到优雅：用 PyTorch Lightning 简化深度学习项目开发

news 来源：原创 2025/8/3 12:18:05

从繁琐到优雅：用 PyTorch Lightning 简化深度学习项目开发

在深度学习开发中，尤其是使用 PyTorch 时，我们常常需要编写大量样板代码来管理训练循环、验证流程和模型保存等任务。PyTorch Lightning 作为 PyTorch 的高级封装库，帮助开发者专注于研究核心逻辑，极大地提升开发效率和代码的可维护性。

本篇博客将详细介绍 PyTorch Lightning 的核心功能，并通过示例代码帮助你快速上手。

PyTorch Lightning 是什么？

PyTorch Lightning 是一个开源库，旨在简化 PyTorch 代码结构，同时提供强大的训练工具。它解决了以下问题：

规范化代码结构
自动化模型训练、验证和测试
简化多 GPU 训练
无缝集成日志和超参数管理

安装 PyTorch Lightning

确保你的环境中安装了 PyTorch 和 PyTorch Lightning：

pip install pytorch-lightning

核心模块介绍

PyTorch Lightning 的设计核心是将训练流程拆分成以下几个模块：

LightningModule：用于定义模型、优化器和训练逻辑。
DataModule：管理数据加载。
Trainer：自动化训练、验证和测试过程。

1. 定义一个 LightningModule

LightningModule 是 PyTorch Lightning 的核心，用于封装模型和训练逻辑。

import pytorch_lightning as pl
import torch
from torch import nn
from torch.optim import Adamclass LitModel(pl.LightningModule):def __init__(self, input_dim, output_dim):super().__init__()self.model = nn.Sequential(nn.Linear(input_dim, 128),nn.ReLU(),nn.Linear(128, output_dim))self.criterion = nn.CrossEntropyLoss()def forward(self, x):return self.model(x)def training_step(self, batch, batch_idx):x, y = batchpreds = self(x)loss = self.criterion(preds, y)self.log("train_loss", loss)return lossdef configure_optimizers(self):return Adam(self.parameters(), lr=0.001)

2. 使用 DataModule 管理数据

DataModule 提供了数据加载的统一接口，支持训练、验证和测试数据集的分离。

from torch.utils.data import DataLoader, random_split, TensorDatasetclass LitDataModule(pl.LightningDataModule):def __init__(self, dataset, batch_size=32):super().__init__()self.dataset = datasetself.batch_size = batch_sizedef setup(self, stage=None):# 划分数据集train_size = int(0.8 * len(self.dataset))val_size = len(self.dataset) - train_sizeself.train_dataset, self.val_dataset = random_split(self.dataset, [train_size, val_size])def train_dataloader(self):return DataLoader(self.train_dataset, batch_size=self.batch_size, shuffle=True)def val_dataloader(self):return DataLoader(self.val_dataset, batch_size=self.batch_size)

3. 使用 Trainer 训练模型

Trainer 是 PyTorch Lightning 的核心工具，自动化训练和验证。

import torch
from torch.utils.data import TensorDataset# 准备数据
X = torch.rand(1000, 10)  # 输入特征
y = torch.randint(0, 2, (1000,))  # 二分类标签
dataset = TensorDataset(X, y)# 初始化 DataModule 和 LightningModule
data_module = LitDataModule(dataset)
model = LitModel(input_dim=10, output_dim=2)# 训练模型
trainer = pl.Trainer(max_epochs=10)
trainer.fit(model, datamodule=data_module)

4. 增强功能：多 GPU 和日志集成

多 GPU 支持

PyTorch Lightning 的 Trainer 支持多 GPU 训练，无需额外代码。

trainer = pl.Trainer(max_epochs=10, gpus=2)  # 使用 2 块 GPU
trainer.fit(model, datamodule=data_module)

日志集成

集成日志工具（如 TensorBoard 或 WandB）只需几行代码。

pip install tensorboard

然后：

from pytorch_lightning.loggers import TensorBoardLoggerlogger = TensorBoardLogger("logs", name="my_model")
trainer = pl.Trainer(logger=logger, max_epochs=10)
trainer.fit(model, datamodule=data_module)

5. 自定义 Callback

你可以通过回调函数自定义训练流程。例如，在每个 epoch 结束时打印一条消息：

from pytorch_lightning.callbacks import Callbackclass CustomCallback(Callback):def on_epoch_end(self, trainer, pl_module):print(f"Epoch {trainer.current_epoch}结束！")trainer = pl.Trainer(callbacks=[CustomCallback()], max_epochs=10)
trainer.fit(model, datamodule=data_module)

6. 模型保存和加载

PyTorch Lightning 会自动保存最佳模型，但你也可以手动保存和加载：

# 保存模型
trainer.save_checkpoint("model.ckpt")# 加载模型
model = LitModel.load_from_checkpoint("model.ckpt")

PyTorch Lightning 的实战案例：从零到部署

为了更好地展示 PyTorch Lightning 的优势，我们以一个实际案例为例：构建一个用于分类任务的深度学习模型，包括数据预处理、训练模型和最终的测试部署。

案例介绍

我们将使用一个简单的 Tabular 数据集（如 Titanic 数据集），目标是根据乘客的特征预测其是否生还。我们分为以下步骤：

数据预处理与特征工程
定义 DataModule 和 LightningModule
模型训练与验证
模型测试与部署

1. 数据预处理与特征工程

import pandas as pd
import torch
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler# 读取 Titanic 数据集
url = "https://raw.githubusercontent.com/datasciencedojo/datasets/master/titanic.csv"
data = pd.read_csv(url)# 选择部分特征并进行简单预处理
data = data[["Pclass", "Sex", "Age", "Fare", "Survived"]].dropna()
data["Sex"] = data["Sex"].map({"male": 0, "female": 1})  # 将性别转为数值
X = data[["Pclass", "Sex", "Age", "Fare"]].values
y = data["Survived"].values# 数据划分与标准化
scaler = StandardScaler()
X = scaler.fit_transform(X)
X_train, X_val, y_train, y_val = train_test_split(X, y, test_size=0.2, random_state=42)# 转为 PyTorch 数据集
train_dataset = torch.utils.data.TensorDataset(torch.tensor(X_train, dtype=torch.float32), torch.tensor(y_train))
val_dataset = torch.utils.data.TensorDataset(torch.tensor(X_val, dtype=torch.float32), torch.tensor(y_val))

2. 定义 DataModule 和 LightningModule

DataModule

from torch.utils.data import DataLoader
import pytorch_lightning as plclass TitanicDataModule(pl.LightningDataModule):def __init__(self, train_dataset, val_dataset, batch_size=32):super().__init__()self.train_dataset = train_datasetself.val_dataset = val_datasetself.batch_size = batch_sizedef train_dataloader(self):return DataLoader(self.train_dataset, batch_size=self.batch_size, shuffle=True)def val_dataloader(self):return DataLoader(self.val_dataset, batch_size=self.batch_size)

LightningModule

import torch.nn.functional as F
from torch.optim import Adamclass TitanicClassifier(pl.LightningModule):def __init__(self, input_dim):super().__init__()self.model = torch.nn.Sequential(torch.nn.Linear(input_dim, 64),torch.nn.ReLU(),torch.nn.Linear(64, 32),torch.nn.ReLU(),torch.nn.Linear(32, 1),torch.nn.Sigmoid())def forward(self, x):return self.model(x)def training_step(self, batch, batch_idx):x, y = batchy_hat = self(x).squeeze()loss = F.binary_cross_entropy(y_hat, y.float())self.log("train_loss", loss)return lossdef validation_step(self, batch, batch_idx):x, y = batchy_hat = self(x).squeeze()loss = F.binary_cross_entropy(y_hat, y.float())self.log("val_loss", loss)def configure_optimizers(self):return Adam(self.parameters(), lr=0.001)

3. 模型训练与验证

# 初始化 DataModule 和 LightningModule
data_module = TitanicDataModule(train_dataset, val_dataset)
model = TitanicClassifier(input_dim=4)# 使用 Trainer 进行训练
trainer = pl.Trainer(max_epochs=20, gpus=0, progress_bar_refresh_rate=20)
trainer.fit(model, datamodule=data_module)

训练时，PyTorch Lightning 会自动管理训练循环和日志。

4. 模型测试与部署

在训练完成后，我们可以轻松测试模型并将其部署到实际系统中。

测试模型

# 测试数据
X_test = torch.tensor(X_val, dtype=torch.float32)
y_test = torch.tensor(y_val)# 推理
model.eval()
with torch.no_grad():predictions = (model(X_test).squeeze() > 0.5).int()# 计算准确率
accuracy = (predictions == y_test).sum().item() / len(y_test)
print(f"测试集准确率: {accuracy:.2f}")

保存与加载模型

# 保存模型
trainer.save_checkpoint("titanic_model.ckpt")# 加载模型
loaded_model = TitanicClassifier.load_from_checkpoint("titanic_model.ckpt")
loaded_model.eval()

扩展与优化

加入早停机制

通过回调功能，可以在验证损失不再下降时停止训练：

from pytorch_lightning.callbacks import EarlyStoppingearly_stop_callback = EarlyStopping(monitor="val_loss", patience=3, mode="min")
trainer = pl.Trainer(callbacks=[early_stop_callback], max_epochs=50)
trainer.fit(model, datamodule=data_module)

超参数调优

结合工具如 Optuna 可以实现超参数优化：

pip install optuna

然后通过 Lightning 的集成工具快速进行实验。

总结：PyTorch Lightning 在项目开发中的优势

开发效率提升：通过 LightningModule 和 DataModule，减少了重复代码。
模块化设计：清晰分离模型、数据和训练流程，便于维护和扩展。
生产级支持：方便集成分布式训练、日志管理和模型部署。

通过本案例，你可以感受到 PyTorch Lightning 的强大能力。不论是个人研究还是生产环境，它都能成为深度学习项目的得力助手。

立即行动
尝试用 PyTorch Lightning 重构你现有的 PyTorch 项目，体验优雅代码带来的效率提升吧！ 🚀

从繁琐到优雅：用 PyTorch Lightning 简化深度学习项目开发

从繁琐到优雅：用 PyTorch Lightning 简化深度学习项目开发在深度学习开发中，尤其是使用 PyTorch 时，我们常常需要编写大量样板代码来管理训练循环、验证流程和模型保存等任务。PyTorch Lightning 作为 PyTorch 的高级封装库，帮助…...

编程日记 2025/8/3 12:18:05

Python学习32天

Self #比较两个人信息，完全相等输出True,否则输出False class Person(): nameNone ageNone def compare_to(self,other): return self.nameother.name and self.ageother.age man1Person() man1.name"tim" man1.age3 man2Person man…...

编程日记 2025/8/2 1:38:02

云原生学习

1、云原生学习文章目录 1、云原生学习1. 介绍2. Docker容器化 1. 介绍什么是云原生？原生指使用JAVA等语言编写的项目，云是指将项目部署到云服务器上云平台：公有云、私有云本地平台是指直接部署在自己计算机，而开发的应用一定要…...

编程日记 2025/8/1 15:09:52

django从入门到精通（六）——auth认证及自定义用户

Django 提供了一个强大的用户认证系统，允许开发者轻松管理用户的注册、登录、权限和组等功能。以下是对 Django 用户认证系统的详细介绍，包括默认的用户认证、自定义用户认证和权限设置。 1. 默认用户认证 1.1 用户模型 Django 默认提供了一个用户模型…...

编程日记 2025/8/3 12:17:25

影响电阻可靠性的因素

一、影响电阻可靠性的因素： 影响电阻可靠性的因素有温度系数、额定功率，最大工作电压、固有噪声和电压系数 （一）温度系数电阻的温度系数表示当温度改变1摄氏度时，电阻阻值的相对变化，单位为ppm/C.电阻温度…...

编程日记 2025/8/2 13:10:01

大数运算（加减乘除和输入、输出模块）

为什么会有大数呢？因为long long通常为64位范围约为 -9,223,372,036,854,775,808 到 9,223,372,036,854,775,807，最多也就19位，那么超过19位的如何计算呢？这就引申出来大数了。本博客适合思考过这道题，但是没做出来或…...

编程日记 2025/8/3 12:18:04

HTML5超酷响应式视频背景动画特效(六种风格，附源码)

文章目录 1.设计来源1.1 大气蓬勃动态背景界面效果1.2 星空闪闪动态背景界面效果1.3 眼神深眸动态背景界面效果1.4 星空银河动态背景界面效果1.5 花开花落动态背景界面效果1.6 海底世界动态背景界面效果 2.效果和源码2.1 动态效果2.2 源代码源码下载万套模板，程序开…...

编程日记 2025/8/3 12:17:23

堆优化版本的Prim

prim和dijkstra每轮找最小边的松弛操作其实是同源的，因而受dijkstra堆优化的启发，那么prim也可以采用小根堆进行优化。时间复杂度也由 O ( n 2 ) O(n^2) O(n2)降为 O ( n l o g n ) O(nlogn) O(nlogn)。测试一下吧：原题链接 #include <i…...

编程日记 2025/8/3 12:17:24

【视觉SLAM】4b-特征点法估计相机运动之PnP 3D-2D

文章目录 0. 前言1. PnP求解1.1 直接线性变换DLT1.2 P3P1.3 光束平差法BA2. 实现0. 前言透视n点（Perspective-n-Point，PnP）问题是计算机视觉领域的经典问题，用于求解3D-2D的点运动。换句话说，当知道 N N N个世界坐标系中3D空间点的坐标以及它们在图像上的投影点像素坐标…...

编程日记 2025/8/3 12:14:05

JDK1.8中JVM堆内存等参数配置

在JDK 8中，JVM内存模型主要包括堆内存（Heap Memory）、元空间（Metaspace）以及直接内存（Direct Memory）。以下是一些常用的JVM内存参数配置建议，特别是在JDK 8环境下： 1. …...

编程日记 2025/7/29 23:07:03

【C++】深入哈希表核心：从改造到封装，解锁 unordered_set 与 unordered_map 的终极奥义！

文章目录修改哈希表模板参数迭代器HashTable 的默认成员函数HashTable 迭代器相关函数HashTable 的 Insert 函数HashTable 的 Find函数HashTable 的 Erase函数封装 unordered_set封装 unordered_map测试 unordered_set 和 unordered_map 修改哈希表我们基于链地址法实现的哈…...

编程日记 2025/7/29 11:03:08

蓝桥杯模拟

【问题描述】如果一个数 p 是个质数，同时又是整数 a 的约数，则 p 称为 a 的一个质因数。请问 2024 有多少个质因数。【答案提交】这是一道结果填空的题，你只需要算出结果后提交即可。本题的结果为一个整数，在提交答案时只…...

编程日记 2025/7/30 12:46:38

16. 【.NET 8 实战--孢子记账--从单体到微服务】--汇率获取定时器

这篇文章我们将一起编写这个系列专栏中第一个和外部系统交互的功能：获取每日汇率。下面我们一起来编写代码吧。一、需求根据文章标题可知，在这片文章中我们只进行汇率的获取和写入数据库。编号需求说明1获取每日汇率1. 从第三方汇率API中获取汇率信…...

编程日记 2025/8/1 20:00:25

移动充储机器人“小奥”的多场景应用（上）

一、高速公路服务区应用在高速公路服务区，新能源汽车的充电需求得到“小奥”机器人的及时响应。该机器人配备有储能电池和自动驾驶技术，能够迅速定位至指定充电点，为待充电的新能源汽车提供服务。得益于“小奥”的机动性，其服务…...

编程日记 2025/7/31 1:25:58

【Android】Service使用方法：本地服务 / 可通信服务 / 前台服务 / 远程服务（AIDL）

1 本地Service 这是最普通、最常用的后台服务Service。 1.1 使用步骤步骤1：新建子类继承Service类：需重写父类的onCreate()、onStartCommand()、onDestroy()和onBind()方法步骤2：构建用于启动Service的Intent对象步骤3：调用st…...

编程日记 2025/8/2 13:44:03

Qt文件目录操作

文件目录操作相关类 Qt 为文件和目录操作提供了一些类，利用这些类可以方便地实现一些操作。Qt 提供的与文件和目录操作相关的类包括以下几个： QCoreApplication：用于提取应用程序路径，程序名等文件信息；QFile&#x…...

编程日记 2025/7/28 4:25:19

刷题-1122

1. 蛇形矩阵是由1开始的自然数依次排列成的一个矩阵上三角形。例如，当输入5时，应该输出的三角形为： 1 3 6 10 15 2 5 9 14 4 8 13 7 12 11 import sys def generate_snake_matrix(n):matrix [[0]*n for _ in range(n)]curent_num 1…...

编程日记 2025/7/31 18:13:57

【通俗理解】Jensen不等式与变分分布q(z)在积分计算中的应用

【通俗理解】Jensen不等式与变分分布q(z)在积分计算中的应用关键词提炼 #Jensen不等式 #变分分布 #积分计算 #期望 #凸函数 #优化问题 #下界估计 #机器学习第一节：Jensen不等式与变分分布的类比与核心概念【尽可能通俗】 Jensen不等式就像是一个“积分计算器”…...

编程日记 2025/7/30 20:59:44

微信小程序2-地图显示和地图标记

一、index修改页面，让页面能够显示地图和一个添加标记的按钮。 index.wxml <scroll-view class"scrollarea" scroll-y type"list"><view class"index_container"><map id"map" style"width: 100%; h…...

编程日记 2025/8/1 15:40:00

webpack配置和打包性能优化

文章目录 webpack基础配置loaderpluginloader 和 plugin 的区别devServer打包性能优化1、按需引入组件2、externals 属性3、给定文件匹配范围4、noParse 属性5、cacheDirectory 缓存属性6、happyPack 多个子进程并行 webpack基础配置 mode:development：设置webpack…...

编程日记 2025/8/3 1:25:56

iframe嵌入踩坑记录

iframe嵌入父子页面token问题背景介绍最近在做在平台A中嵌入平台B某个页面的需求，我负责的是平台B这边，使这个页面被嵌入后能正常使用。两个平台都实现了单点登录。其实这是第二次做这个功能了，原本以为会很顺利，但没想到折腾…...

编程日记 2025/7/31 16:53:27

FreeRTOS——消息队列

目录一、概念及其作用 1.1概念 1.2特点 1.3工作原理二、相关API 2.1创建队列 2.2任务中写队列 2.3任务中读队列 2.4中断中写队列 2.5中断中读队列三、实现原理 3.1消息队列控制块 3.2消息队列的创建 3.3消息的发送 3.3.1任务中发送 3.3.2中断中发送 3.4消息的…...

编程日记 2025/8/2 20:01:07

c++11的动态类型

c17引入了any 和 variant，可以将任意数据类型统一用any或variant类型表示，在开发中还是能够带来很多便利的。在c11版本中，可以用下面这个例子，仿照实现一个Any类型。 #include <iostream> #include <stdexcept> #inc…...

编程日记 2025/8/1 8:08:37

大语言模型---Llama模型文件介绍；文件组成

文章目录 1. 概要2. 文件组成 1. 概要在使用 LLaMA（Large Language Model Meta AI）权重时，通常会涉及到与模型权重存储和加载相关的文件。这些文件通常是以二进制格式存储的，具有特定的结构来支持高效的模型操作。以下以Llama-7…...

编程日记 2025/7/31 7:52:00

常见网络厂商设备默认用户名/密码大全

常见网络厂商的默认用户名/密码 01 思科 (Cisco) 设备类型：路由器、交换机、防火墙、无线控制器默认用户名：cisco 默认密码：cisco 设备类型：网管型交换机默认用户名：admin 默认密码：admin 02 华…...

编程日记 2025/7/29 19:30:37

【大数据分析机器学习】分布式机器学习

【作者主页】Francek Chen 【专栏介绍】 ⌈ ⌈ ⌈智能大数据分析 ⌋ ⌋ ⌋ 智能大数据分析是指利用先进的技术和算法对大规模数据进行深入分析和挖掘，以提取有价值的信息和洞察。它结合了大数据技术、人工智能（AI）、机器学习（ML&a…...

编程日记 2025/7/31 22:28:25

Go 语言已立足主流，编程语言排行榜24 年 11 月

Go语言概述 Go语言，简称Golang，是由Google的Robert Griesemer、Rob Pike和Ken Thompson在2007年设计，并于2009年11月正式宣布推出的静态类型、编译型开源编程语言。Go语言以其提高编程效率、软件构建速度和运行时性能的设计目标，…...

编程日记 2025/8/2 13:44:15

数字反向输出

数字反向输出 C语言代码C 代码Java代码Python代码 💐The Begin💐点点关注，收藏不迷路💐 小明听到广播里的数字后，总喜欢反着念给妈妈听。请聪明的你将小明听到的数字反向输出。输入输入为一个整型的四位数n 输出 …...

编程日记 2025/7/28 11:41:59

c++ std::stack总结

概念 std::stack 是 C 标准库中的一个容器适配器（Container Adapter）。它通常是基于其他容器（如 std::deque 或 std::vector）实现的，提供了一个后进先出（LIFO，Last In First Out）的…...

编程日记 2025/7/29 21:41:51

【C++习题】10.反转字符串中的单词 lll

题目： 链接🔗：557.反转字符串中的单词 lll 题目： 代码： class Solution { public:void Reverse(string &s, int start, int end){char tmp;while(start < end){tmp s[start];s[start] s[end];s[end] tmp;…...

编程日记 2025/8/3 11:21:03

【pyspark学习从入门到精通14】MLlib_1

目录包的概览加载和转换数据在前文中，我们学习了如何为建模准备数据。在本文中，我们将实际使用这些知识，使用 PySpark 的 MLlib 包构建一个分类模型。 MLlib 代表机器学习库。尽管 MLlib 现在处于维护模式，即它不再积极开发…...

编程日记 2025/7/29 16:11:11

transformer.js（四）: 模型接口介绍

前面的文章底层架构及性能优化指南介绍了transformer.js的架构和优化策略，在本文中，将详细介绍 transformer.js 的模型接口，帮助你了解如何在 JavaScript 环境中使用这些强大的工具。推荐阅读 ansformer.js（二）&…...

编程日记 2025/7/26 8:56:42

java集合练习题

简答题：分析HashSet和treeSet分别如何去重的？ TreeSet的去重机制: 如果你传入了一个Comparator匿名对象，就使用实现的compare去重，如果方法返回0,就认为是相同的元素/数据，就不添加，如果你没有传入一个Comp…...

编程日记 2025/8/1 20:59:16

微知-plantuml常用语法和要点以及模板？（note over、create、box,endbox、alt,else,end, autonumber）

文章目录常见语法常用线条类实线虚线斜箭头或奇数箭头 A ->(10) B: B->(10) A分割线：newpage 颜色类给箭头指定颜色 -[#red]->给某个note加颜色： note over Alice, Bob #FFAAAA: xxx给分组信息着色 alt#red 分组类alt xxx; else xxx; else xx…...

编程日记 2025/8/1 17:22:22

gitHub常用操作

gitHub常用操作 1、把项目拉下来2、添加上游仓库3、进入分支4、从上游仓库拉取更新 1、把项目拉下来在对应项目的右上角点击fork，fork下来：将远程仓库复制到个人仓库在创建好的分支文件夹下使用 git clone自己远程仓库下的http地址（fork…...

编程日记 2025/7/29 17:08:59

Mybatis Plus动态指定数据源

Java开发中一个项目连接多个数据源时，可能会有需要动态指定一个方法所使用的数据源的场景。例如不同的用户查询不同的数据源。我遇到的需求是这样的：设计一个公共的数据字典组件，该组件需要连接数据源，使用方引入该组件后可以直…...

编程日记 2025/7/30 17:07:11

Python 爬虫（1）基础 | 基础操作

一、基础操作 1、快速构建一个爬虫 ConvertCurl： https://curlconverter.com/选择URL，点击右键，选择 Copy >> Copy as cURL(bash) 安装JS环境：https://www.jb51.net/python/307069k7q.htm...

编程日记 2025/7/2 16:50:44

C++

目录 C 的发展总结：编辑 1. C 的早期发展（1979-1985） 2. C 标准化过程（1985-1998） 3. C 标准演化（2003-2011） 4. C11（2011年） 5. C14（2014年&#xf…...

编程日记 2025/7/29 23:53:42

Infineon（英飞凌） TLE985xQX 芯片电机工作电流、电压AD采样

其他系列文章导航 Java基础合集数据结构与算法合集设计模式合集多线程合集分布式合集单片机芯片合集文章目录其他系列文章导航文章目录前言一、选取合适的端口 1.通过 OP1、OP2 电流采集运放输入端口进行H桥驱动的电流采集。 2.通过 O_D_VBAT_AD_EN、I_A_VBAT_A…...

编程日记 2025/7/31 7:07:07

三极管工作原理，以及小电流，如何驱动大电流

因为研究【自动下载电路实现】，涉及到三极管内容，之前看过，现在回看之前的笔记，一点印象都没了，于是，想了个办法，记住它个人联想，不喜绕道，只是帮助个人记忆的标题也是…...

编程日记 2025/7/27 12:47:05

Haystack 的开源开发 LLM 应用设计框架

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/7/30 20:37:49

彻底理解消息队列的作用及如何选择

一.为什么要使用消息队列？ 使用消息队列，其实是需要根据实际业务场景来的，一般都是实际开发中，遇到了某种技术挑战，如果不使用MQ的话，业务实现起来比较麻烦，但是通过MQ就可以更快捷高效的实现业…...

编程日记 2025/7/31 22:06:23

【Java】二叉树：数据海洋中灯塔式结构探秘（上）

个人主页 🌹：喜欢做梦二叉树中有一个树，我们可以猜到他和树有关，那我们先了解一下什么是树，在来了解一下二叉树一🍝、树型结构 1🍨.什么是树型结构？ 树是一种非线性的数据结构&…...

编程日记 2025/8/1 16:56:56

海洋通信船舶组网工业4G路由器应用

船舶是浩瀚海洋中探索与贸易的载体，更是船员们生活与工作的家园。为了在广阔的水域中搭建起稳定、高效的网络桥梁，工业4G路由器以卓越的通信组网能力，为船舶组网提供网络支持。工业4G路由器以其强大的信号发射能力，确保船舶内部…...

编程日记 2025/7/29 5:45:58

字符串-07-判断两个IP是否属于同一子网

文章目录 1. 题目描述2. 思路3. 代码 1. 题目描述 IP地址是由4个0-255之间的整数构成的，用"."符号相连。二进制的IP地址格式有32位，例如：10000011，01101011，00000011，00011000；每八…...

编程日记 2025/8/1 4:52:29

Django启用国际化支持（2）—实现界面内切换语言：activate()

文章目录 ⭐注意⭐1. 配置项目全局设置：启用国际化2. 编写视图函数3. 配置路由4. 界面演示5、扩展自动识别并切换到当前语言设置语言并保存到Session设置语言并保存到 Cookie ⭐注意⭐ 以下操作依赖于 Django 项目的国际化支持。如果你不清楚如何启用国际化功能&am…...

编程日记 2025/8/2 15:22:45

自定义协议

1. 问题引入问题：TCP是面向字节流的（TCP不关心发送的数据是消息、文件还是其他任何类型的数据。它简单地将所有数据视为一个字节序列，即字节流。这意味着TCP不会对发送的数据进行任何特定的边界划分，它只是确保数据的顺序和完整…...

编程日记 2025/7/28 4:14:10

PHP Date 函数：日期和时间处理的全指南

PHP Date 函数：日期和时间处理的全指南 PHP Date 函数是 PHP 编程语言中用于处理日期和时间的核心函数之一。它提供了强大的功能，允许开发者轻松地格式化、计算和操作日期和时间值。本文将详细介绍 PHP Date 函数的用法，包括基本格式化、时间戳处理、时区设置以及一些高级特…...

编程日记 2025/7/30 5:13:32

C++设计模式：抽象工厂模式（风格切换案例）

抽象工厂模式（Abstract Factory）是一种创建型设计模式，其核心思想是：为一组相关或相互依赖的对象提供一个创建接口，而无需指定它们具体的类。简单来说，就是一个工厂可以生产一系列相关的对象。我们接下来…...

编程日记 2025/8/2 0:40:03

社交媒体营销新趋势：如何通过海外平台提升品牌曝光度？

社交媒体不仅是简单的信息传播工具，更是连接用户与品牌之间的重要纽带。每天，有数以亿计的全球用户在不同平台上活跃，潜藏着巨大的市场潜力。对于企业来说，关键在于制定清晰的营销策略，精准把握不同社交平台的特性&…...

编程日记 2025/8/3 0:03:28

从繁琐到优雅：用 PyTorch Lightning 简化深度学习项目开发

PyTorch Lightning 是什么？

安装 PyTorch Lightning

核心模块介绍

1. 定义一个 LightningModule

2. 使用 DataModule 管理数据

3. 使用 Trainer 训练模型

4. 增强功能：多 GPU 和日志集成

多 GPU 支持

日志集成

5. 自定义 Callback

6. 模型保存和加载

PyTorch Lightning 的实战案例：从零到部署

案例介绍

1. 数据预处理与特征工程

2. 定义 DataModule 和 LightningModule

DataModule

LightningModule

3. 模型训练与验证

4. 模型测试与部署

测试模型

保存与加载模型

扩展与优化

加入早停机制

超参数调优

总结：PyTorch Lightning 在项目开发中的优势

相关文章：