当前位置：首页 > news >正文

PyTorch 实现食物图像分类实战：从数据处理到模型训练

news 来源：原创 2025/6/26 20:39:45

一、简介

在计算机视觉领域，图像分类是一项基础且重要的任务，广泛应用于智能安防、医疗诊断、电商推荐等场景。本文将以食物图像分类为例，基于 PyTorch 框架，详细介绍从数据准备、模型构建到训练测试的全流程，帮助读者深入理解深度学习图像分类的实践过程。

二、原理

三、代码示例

1、数据文件路径准备

在实际项目中，原始图像数据通常按类别存储在不同文件夹下。代码中的train_test_file函数用于遍历数据文件夹，将图像文件路径及其对应的类别标签写入文本文件，方便后续数据加载：

import os
def train_test_file(root, dir):file_txt = open(dir+'.txt','w')path = os.path.join(root, dir)for roots, directories, files in os.walk(path):#os.walk（path）代表开始去遍历path路径下的文件if len(directories) != 0:dirs = directorieselse:now_dir = roots.split('\\')for file in files:path_1 = os.path.join(roots,file)print(path_1)file_txt.write(path_1+' '+str(dirs.index(now_dir[-1]))+'\n')file_txt.close()
root = r'.\食物分类\food_dataset2'
train_dir = 'train'
test_dir = 'test'
train_test_file(root,train_dir)
train_test_file(root,test_dir)

该函数通过os.walk递归遍历文件夹，将每个图像文件的绝对路径与对应的类别索引（通过文件夹名称顺序确定）写入.txt文件，格式为图像路径标签。

2、自定义数据集类

import torch
import numpy as np
from PIL import Image
from torch.utils.data import Dataset,DataLoader #用于处理数据集
from torchvision import transforms
data_transforms = {#字典'train':transforms.Compose([#对图片做预处理的，组合transforms.Resize([256,256]),#数据进行改变大小transforms.ToTensor(),#数据转换为tensor，默认把通道维度放在前面]),'valid':transforms.Compose([transforms.Resize([256, 256]),transforms.ToTensor(),]),
}#数组增强class food_dataset(Dataset):def __init__(self, file_path, transform=None):self.file_path = file_path#为了将外部空间的路径传递给共享空间，以便于后期可以使用self.imgs = []self.labels = []self.transform = transformwith open(self.file_path) as f:samples = [x.strip().split(' ') for x in f.readlines()]for img_path, label in samples:self.imgs.append(img_path)#图像的路径self.labels.append(label)#标签，还不是tensordef __len__(self):return len(self.imgs)def __getitem__(self, idx):image = Image.open(self.imgs[idx])#读取到图片数据，还不是tensor，BGRif self.transform:#将pil图像数据转换为tensorimage = self.transform(image)label = self.labels[idx]#label还不是tensorlabel = torch.from_numpy(np.array(label, dtype = np.int64))#label也转换为tensorreturn image, label

food_dataset类实现了__len__和__getitem__两个关键方法：

__len__返回数据集的样本总数；

__getitem__根据索引读取图像文件，应用数据变换（如调整大小、转换为张量），并将标签转换为torch.Tensor格式后返回。

3、数据加载器配置

#training_data包含了本次训练需要的全部数据集
training_data = food_dataset(file_path = './train.txt',transform = data_transforms['train'])
test_data = food_dataset(file_path = './test.txt',transform = data_transforms['valid'])
#training_data需要具备索引的功能，还要确保数据是tensor
train_dataloader = DataLoader(training_data, batch_size=64,shuffle = True)#64个图片为一个包，shuffle = True用于将数据进行打乱
test_dataloader = DataLoader(test_data, batch_size = 64,shuffle = True)

DataLoader的batch_size参数指定每个批次包含的样本数量，shuffle=True表示在每个 epoch 训练前打乱数据顺序，有助于提高模型的泛化能力

4、搭建卷积神经网路模型

'''定义神经网络'''
from torch import nn   #导入神经网络模块class CNN(nn.Module):def __init__(self):   #python基础关于类,self类自已本身super(CNN,self).__init__()   #继承的父类初始化self.conv1=nn.Sequential(    #将多个层组合成一起。创建了一个容器，将多个网络合在一起nn.Conv2d(       #2d一般用于图像，3d用于视频数据(多一个时间维度)，1d一般用于结构化的序列数据in_channels=3,   #、图像通道个数，1表示灰度图(确定了卷积核 组中的个数)out_channels=16,   # 要得到几多少个特征图，卷积核的个数kernel_size=5,     # 卷积核大小，5*5stride=1,          # 步长padding=2,        #一般希望卷积核处理后的结果大小与处理前的数据大小相同，效果会比较好。那padding改如何),                     # 输出的特征图为(16,28,28)nn.ReLU(),            # relu层，不会改变特征图的大小nn.MaxPool2d(kernel_size=2),        #进行池化操作(2x2 区域)，输出结果为:(16,128,128))self.conv2=nn.Sequential(   #输入nn.Conv2d(16,32,5,1,2),   # 输出(32 128 128)nn.ReLU(),nn.Conv2d(32,32,5,1,2),  # 输出(32 128 128)nn.ReLU(),nn.MaxPool2d(2),     #输出(32,64,64))self.conv3=nn.Sequential(      #输入(32 64 64)nn.Conv2d(32,128,5,1,2),   #(128 64 64)nn.ReLU(),)self.out=nn.Linear(128*64*64,20)    #全连接层得到的结果def forward(self,x):x=self.conv1(x)x=self.conv2(x)x=self.conv3(x)x=x.view(x.size(0),-1)output=self.out(x)return outputmodel = CNN().to(device)
print(model)

5、训练与测试函数实现

def train(dataloader,model,loss_fn,optimizer):model.train()   #告诉模型，我要开始训练，模型中w进行随机化操作，已经更新w。在训练过程中，w会被修改的
#pytorch提供2种方式来切换训练和测试的模式，分别是:model.train()和 model.eval()。
#一般用法是:在训练开始之前写上model.trian()，在测试时写上 model.eval()batch_size_num=1for X,y in dataloader:       #其中batch为每一个数据的编号，X是打包好的每一个数据包X,y=X.to(device),y.to(device)    #把训练数据集和标签传入cpu或GPUpred=model.forward(X)    #.forward可以被省略，父类中已经对次功能进行了设置。自动初始化w权值loss=loss_fn(pred,y)     #通过交叉熵损失函数计算损失值loss# Backpropagation 进来一个batch的数据，计算一次梯度，更新一次网络optimizer.zero_grad()    #梯度值清零loss.backward()          #反向传播计算得到每个参数的梯度值woptimizer.step()         #根据梯度更新网络w参数loss_value=loss.item()   #从tensor数据中提取数据出来，tensor获取损失值if batch_size_num %1 ==0:print(f'loss:{loss_value:>7f} [number:{batch_size_num}]')batch_size_num+=1def test(dataloader,model,loss_fn):size=len(dataloader.dataset)num_batches=len(dataloader)  #打包的数量model.eval()  #测试，w就不能再更新。test_loss,correct=0,0with torch.no_grad():    #一个上下文管理器，关闭梯度计算。当你确认不会调用Tensor.backward()的时候。for X,y in dataloader:X,y=X.to(device),y.to(device)pred=model.forward(X)test_loss+=loss_fn(pred,y).item()   #test_loss是会自动累加每一个批次的损失值correct+=(pred.argmax(1)==y).type(torch.float).sum().item()a=(pred.argmax(1)==y)   #dim=1表示每一行中的最大值对应的索引号，dim=0表示每一列中的最大值b=(pred.argmax(1)==y).type(torch.float)test_loss /=num_batchescorrect /= sizeprint(f'Test result: \n Accuracy: {(100*correct)}%, Avg loss: {test_loss}')

6、模型训练与评估

loss_fn=nn.CrossEntropyLoss()   #创建交叉熵损失函数对象，因为食物的类别是20
optimizer=torch.optim.Adam(model.parameters(),lr=0.001)   #创建一个优化器，SGD为随机梯度下降算法
# #params:要训练的参数，一般我们传入的都是model.parameters()#
# lr:learning_rate学习率，也就是步长#loss表示模型训练后的输出结果与,样本标签的差距。如果差距越小，就表示模型训练越好，越逼近干真实的模型。# train(train_dataloader,model,loss_fn,optimizer)
# test(test_dataloader,model,loss_fn)epochs=1
for t in range(epochs):print(f"Epoch {t+1}\n---------------------------")train(train_dataloader, model, loss_fn, optimizer)
print("Done!")
test(test_dataloader,model,loss_fn)

7、运行结果

四、总结与优化方向

本文完整展示了基于PyTorch的食物图像分类项目流程，涵盖数据处理、模型构建和训练测试等核心环节。然而，当前模型仍有优化空间：

数据增强：增加更多数据增强策略（如随机裁剪、颜色抖动）以扩充数据集；
模型优化：尝试更复杂的预训练模型（如ResNet、VGG）或调整超参数（学习率、batch size）；
正则化：添加Dropout或L2正则化防止过拟合。

通过不断改进和实践，图像分类模型的准确率和泛化能力将得到进一步提升。希望本文能为读者在深度学习图像分类领域的学习和实践提供有益参考。

PyTorch 实现食物图像分类实战：从数据处理到模型训练

一、简介在计算机视觉领域，图像分类是一项基础且重要的任务，广泛应用于智能安防、医疗诊断、电商推荐等场景。本文将以食物图像分类为例，基于 PyTorch 框架，详细介绍从数据准备、模型构建到训练测试的全流程，帮助读者…...

编程日记 2025/6/26 20:39:45

传统中台的重生——云原生如何重塑政务系统后端架构

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：传统后端架构的“痛”与“变” 在过去十年中，无数企业和机构纷纷构建中台系统，尤其是政务、金融、交通、教育等领域。这些中台系统一般基于 Java EE 单体架构，集中部署于虚拟机上，靠人…...

编程日记 2025/6/26 18:02:00

jQuery AJAX、Axios与Fetch对比 #mermaid-svg-FRNqb7d4i2fmbavm {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-FRNqb7d4i2fmbavm .error-icon{fill:#552222;}#mermaid-svg-FRNqb7d4i2fmbavm .error-text{fill:#552…...

编程日记 2025/6/25 10:36:05

【Hive入门】Hive数据导出完全指南：从HDFS到本地文件系统的专业实践

目录引言 1 Hive数据导出概述 1.1 数据导出的核心概念 1.2 典型导出场景 2 Hive到HDFS导出详解 2.1 INSERT OVERWRITE DIRECTORY方法 2.2 多目录导出技术 2.3 动态分区导出 3 HDFS到本地文件系统转移 3.1 hadoop fs命令操作 3.2 分布式拷贝工具DistCp 4 直接导出到…...

编程日记 2025/6/22 13:26:56

stack __ queue(栈和队列)

1. stack的介绍和使用栈和队列里面都叫容器适配器存储数据就要交给别的容器通过封装别的容器，可以进行相应的操作，来达到目的适配的本质就是复用这就没有迭代器了，不支持随便遍历 2. queue的介绍和使用下面用一些题来深入理解栈…...

编程日记 2025/6/22 16:48:55

UML 类图基础和类关系辨析

UML 类图目录 1 概述 2 类图MerMaid基本表示法 3 类关系详解 3.1 实现和继承 3.1.1 实现（Realization）3.1.2 继承/泛化（Inheritance/Generalization） 3.2 聚合和组合 3.2.1 组合（Composition）3.2.2 聚…...

编程日记 2025/6/23 1:32:40

STM32F103C8T6信息

STM32F103C8T6 完整参数列表一、核心参数内核架构‌ ARM Cortex-M3 32位RISC处理器最大主频：72 MHz（基于APB总线时钟） 运算性能：1.25 DMIPS/MHz（Dhrystone 2.1基准） 总线与存储‌ 总线宽度&#xff…...

编程日记 2025/6/23 22:14:06

unity 读取csv

1.读取代码 string filePath Application.streamingAssetsPath "\\data.csv"; public List<MovieData> movieData new List<MovieData>(); private void ReadCSV(string filePath) { List<List<string>> data new List<…...

编程日记 2025/6/24 1:35:07

那些年踩过的坑之Arrays.asList

一、前言熟悉开发的兄弟都知道，在写新增和删除功能的时候，大多数时候会写成批量的，原因也很简单，批量既支持单个也支持多个对象的操作，事情也是发生在这个批量方法的调用上，下面我简单说一下这个事情。二…...

编程日记 2025/5/27 13:32:09

ASP.NET Core 自动识别 appsettings.json的机制解析

ASP.NET Core 自动识别 appsettings.json 的机制解析在 ASP.NET Core 中，IConfiguration 能自动识别 appsettings.json 并直接读取值的机制，是通过框架的 “约定优于配置” 设计和依赖注入系统共同实现的。以下是详细原理： 默认配置源的自…...

编程日记 2025/6/23 1:37:04

深入解析Mlivus Cloud核心架构：rootcoord组件的最佳实践与调优指南

作为大禹智库的向量数据库高级研究员，同时也是《向量数据库指南》的作者，我在过去30年的向量数据库和AI应用实战中见证了这项技术的演进与革新。今天，我将以专业视角为您深入剖析Mlivus Cloud的核心组件之一——rootcoord，这个组件在系统架构中扮演着至关重要的角色。如果您…...

编程日记 2025/6/26 1:12:24

ApplicationEventPublisher用法-笔记

1.ApplicationEventPublisher简介 org.springframework.context.ApplicationEventPublisher 是 Spring 框架中用于发布自定义事件的核心接口。它允许你在 Spring 应用上下文中触发事件，并由其他组件（监听器）进行响应。 ApplicationEventPub…...

编程日记 2025/6/26 19:19:08

数字孪生：从概念到实践，重构未来产业的“虚拟镜像”

一、开篇：为什么数字孪生是下一个技术风口？ 现象级案例引入： “特斯拉用数字孪生技术将电池故障预测准确率提升40%；西门子通过虚拟工厂模型缩短30%产品研发周期；波音777X飞机设计全程零实物原型……” 数据支撑&#…...

编程日记 2025/6/23 8:53:25

Python笔记：VS2013编译Python-3.5.10

注：本文是编译老版本，有点麻烦，测试了编译新版，基本上是傻瓜是操作即可 1. python官网下载源码 https://www.python.org/ftp/python/3.5.10/Python-3.5.10.tgz 2. 编译前查看目录中相关文档源码目录结构看README文档经过查…...

编程日记 2025/6/26 7:23:36

STM32八股【6】-----CortexM3的双堆栈（MSP、PSP）设计

STM32的线程模式（Thread Mode）和内核模式（Handler Mode）以及其对应的权级和堆栈指针线程模式： 正常代码执行时的模式（如 main 函数、FreeRTOS任务） 可以是特权级（使用MSP&#xff…...

编程日记 2025/6/23 6:42:19

MySQL触法器

1. 什么是触发器及其特点 MySQL数据库中触发器是一个特殊的存储过程，不同的是执行存储过程要使用 CALL 语句来调用，而触发器的执行不需要使用 CALL 语句来调用，也不需要手工启动，只要一个预定义的事件发生就会被 MySQL自动调用。…...

编程日记 2025/6/22 1:24:42

金仓数据库征文-政务领域国产化数据库更替：金仓 KingbaseES 应用实践

目录一.金仓数据库介绍二.政务领域数据库替换的时代需求三.金仓数据库 KingbaseES 在政务领域的替换优势 1.强大的兼容性与迁移能力 2.高安全性与稳定性保障 3.良好的国产化适配性四.金仓数据库 KingbaseES 在政务领域的典型应用实践 1.电子政务办公系…...

编程日记 2025/5/22 8:04:04

微服务架构在云原生后端的深度融合与实践路径

📝个人主页🌹：一ge科研小菜鸡-CSDN博客 🌹🌹期待您的关注 🌹🌹 一、引言：后端架构的演变，走向云原生与微服务融合过去十余年，后端架构经历了从单体应用（Monolithic）、垂直切分（Modularization）、到微服务（Microservices）的演进，每一次变化都是为了解决…...

编程日记 2025/6/24 18:35:51

北斗导航｜北斗卫星导航单点定位与深度学习结合提升精度

以下是北斗卫星导航单点定位（SPP）与深度学习结合提升精度的关键方法总结，综合了误差建模、信号识别、动态环境适应等技术方向：一、非直射信号（NLOS）抑制与权重修正 1. 双自注意力网络（Dual Self-Attention Network）原理：通过同时建模卫星信号的空间环境特征（如天空…...

编程日记 2025/6/25 10:43:03

AlarmClock4.8.4(官方版)桌面时钟工具软件下载安装教程

1.软件名称：AlarmClock 2.软件版本：4.8.4 3.软件大小：187 MB 4.安装环境：win7/win10/win11(64位) 5.下载地址： https://www.kdocs.cn/l/cdZMwizD2ZL1?RL1MvMTM%3D 提示：先转存后下载，防止资…...

编程日记 2025/6/21 22:58:31

精益数据分析（23/126）：把握创业阶段与第一关键指标

精益数据分析（23/126）：把握创业阶段与第一关键指标在创业和数据分析的学习过程中，每一次深入探索都可能为我们打开新的大门。今天，我依旧带着和大家共同进步的想法，来解读《精益数据分析》中的重要内容—…...

编程日记 2025/6/23 12:15:09

【华为HCIP | 华为数通工程师】821—多选解析—第十六页

多选814、关于OSPF AS-External-LSA说法正确的是： A、Net mask被设置全0 B、Link State ID被设置为目的网段地址 C、Advertising Router被设置为ASBR的Router ID D、使用Link State ID和Advertising Router可以唯一标识一条AS-External-LSA 解析：Net mask代表的是掩码…...

编程日记 2025/6/23 19:21:06

Linux：进程间通信-＞匿名管道实现内存池

1. 进程间通信 (1) 概念进程间通信(IPC) 就是不同进程间交换数据的方法，进程间是独立的所以不能访问彼此的内存，需要某种机制来通信(管道、消息队列，共享内存等) (2) 目的数据传输：一个进程需要他的数据发送给另一个进程资源…...

编程日记 2025/6/23 15:39:57

Linux服务器离线安装ollama及大模型

Linux服务器离线安装ollama及大模型核心思路：使用一台可以联网的电脑将需要的ollama安装包和大模型下载到本地，之后传输到Linux服务器上安装并配置环境说明联网机：macOS M1Pro Linux服务器：x86_64 安装ollama版本：…...

编程日记 2025/6/20 22:47:12

C++ 类及函数原型详解

一、引言在C 编程中，类（Class）是面向对象编程的核心概念之一，它是一种用户自定义的数据类型，封装了数据和操作数据的函数（成员函数）。函数原型则为函数的声明提供了必要的信息，让编…...

编程日记 2025/6/23 5:47:12

大内存生产环境tomcat-jvm配置实践

话不多讲，奉上代码，分享经验，交流提高！ 64G物理内存,8核CPU生产环境tomcat-jvm配置如下： JAVA_OPTS-server -XX:MaxMetaspaceSize4G -XX:ReservedCodeCacheSize2G -XX:UseG1GC -Xms48G -Xmx48G -XX:MaxGCPauseMilli…...

编程日记 2025/6/20 16:48:05

各类前端开发的框架比较及其核心特性、开发体验、生态系统以及在不同项目中的适用性

前端开发框架多种多样，每种框架都有其独特的优势和局限性。以下是几种流行的前端框架及其特点、优缺点和适合的项目类型介绍：包括它们的核心特性、开发体验、生态系统以及在不同项目中的适用性。 1. React.js 核心特性： 虚拟DOM&#xff1a…...

编程日记 2025/6/26 1:23:10

Git基本使用（很详细）

一：Git 概述 1.1 定义：分布式版本控制系统 1.2 版本控制 （1）定义： 版本控制时一种记录文件内容变化，以便将来查阅特定版本修订情况的系统 （2）举例多副本优化： 不使用多…...

编程日记 2025/6/21 5:26:15

mybatis-plus里的com.baomidou.mybatisplus.core.override.MybatisMapperProxy 类的详细解析

以下是 com.baomidou.mybatisplus.core.override.MybatisMapperProxy 类的详细解析： 1. 类的作用 MybatisMapperProxy 是 MyBatis-Plus 框架中用于实现 Mapper 接口动态代理的核心类。它继承自 MyBatis 的 MapperProxy，并扩展了以下功能： …...

编程日记 2025/6/23 11:14:17

[密码学实战]商用密码产品密钥体系架构：从服务器密码机到动态口令系统

[密码学实战]商用密码产品密钥体系架构：从服务器密码机到动态口令系统关键词：商用密码、密钥体系、服务器密码机、金融数据密码机、动态口令、智能密码钥匙摘要：本文深度解读商用密码产品的核心密钥体系架构，涵盖服务器密码机、…...

编程日记 2025/6/25 14:59:43

BongoCat - 跨平台键盘猫动画工具

本文翻译整理自：https://github.com/ayangweb/BongoCat 文章目录一、关于 BongoCat相关链接资源关键功能特性二、下载安装系统要求下载方式macOSWindowsLinux (X11) 三、灵感来源四、效果演示一、关于 BongoCat BongoCat 是一款跨平台的键盘猫动画工具&#xf…...

编程日记 2025/6/24 16:04:15

跨Linux发行版CPU指令集兼容性深度解析与实践指南

一、指令集差异全景透视 1.1 Ubuntu与Debian指令集差异对比 # 查询语句： lscpu | grep Flags # 结果 # Ubuntu 22.04 LTS Flags: fp asimd evtstrm aes pmull sha1 sha2 crc32 atomics fphp asimdhp cpuid asimdrdm jscvt fcma dcpop asimddp asimdfhm ssbs# De…...

编程日记 2025/6/24 9:42:27

docker的安装和简单使用（ubuntu环境）

环境准备这里用的是linux的环境，如果没有云服务器的话，就是用虚拟环境吧。虚拟环境的安装参考：vmware17的安装 linux镜像的安装 docker安装我使用的是ubuntu，使用以下命令： 更新本地软件包索引 sudo apt u…...

编程日记 2025/6/22 23:03:24

Flutter 环境搭建 (Android)

目标上一篇Flutter应用已经能在iOS，macOS和,chrome环境下正常运行了,这次把Android跑通。环境 macOS 15.4.1 Visual Studio Code 1.99.3 Flutter 3.29.3 • channel stable • https://github.com/flutter/flutter.git Framework • revision ea121f8859 (11 da…...

编程日记 2025/6/23 15:25:52

数字化技术的五个环节：大数据、云计算、人工智能、区块链、移动互联网

在21世纪的科技浪潮中，数字化技术以其强大的生命力和无限的潜力，正逐步重塑着我们的世界。大数据、云计算、人工智能、区块链、移动互联网，这五大数字化技术的环节，如同构建智慧未来的基石，每一方面都承载着推动社会进…...

编程日记 2025/6/22 12:09:59

PWNOS:2.0(vulnhub靶机)

文章目录靶机地址主机发现、端口扫描web渗透目录探测漏洞利用权限提升解密工具地址总结靶机地址 https://download.vulnhub.com/pwnos/pWnOS_v2.0.7z 这里如果是windows系统直接使用vmware或者virtubox打开可以使用,如果是mac系统需再去做一个配置，比较麻烦这里…...

编程日记 2025/6/23 7:19:47

ubuntu22.04部署Snipe-IT

文章目录参考链接一、写在前二、安装操作系统三、安装 PHP四、下载 Snipe-IT五、安装依赖六、安装数据库并创建用户七、安装 Snipe-IT八、安装 Nginx九、Web 继续安装 Snipe-IT补充： 最后参考链接 How to Install Snipe-IT on Ubuntu 22.04 https://www.rosehost…...

编程日记 2025/6/22 13:47:14

【EDA】EDA中聚类（Clustering）和划分（Partitioning）

在VLSI物理设计自动化中，聚类（Clustering）和划分（Partitioning）是两个不同的关键步骤，主要区别如下： 1. 目标与核心任务聚类（Clustering） 目标：将电路中的…...

编程日记 2025/6/22 12:26:00

Java 安全：如何实现用户认证与授权？

Java 安全：如何实现用户认证与授权？ 在当今数字化的世界中，用户认证与授权是 Java 应用程序安全的关键环节。它们确保只有经过授权的用户才能访问特定资源，保护系统免受未授权访问的威胁。本文将深入探讨如何在 Java 中实现用户认…...

编程日记 2025/5/29 12:44:24

六个能够白嫖学习资料的网站

一、咖喱君的资源库地址：https://flowus.cn/galijun/share/de0f6d2f-df17-4075-86ed-ebead0394a77 这是一个学习资料/学习网站分享平台，包含了英语、法语、德语、韩语、日语、泰语等几十种外国语言的学习资料及平台，这个网站的优势就是外语…...

编程日记 2025/6/26 16:43:12

AWS Glue ETL设计与调度最佳实践

一、引言在AWS Glue中设计和调度ETL过程时，需结合其无服务器架构和托管服务特性，采用系统化方法和最佳实践，以提高效率、可靠性和可维护性。本文将从调度策略和设计方法两大维度详细论述，并辅以实际案例说明。二、调度策略的最…...

编程日记 2025/6/25 20:09:56

《深入理解 AOP》

一、AOP 是什么 AOP（Aspect Oriented Programming），即面向切面编程，是软件开发中一种重要的编程范式。它通过横向抽取机制，将那些与业务逻辑本身无关、却为业务模块所共同调用的逻辑或责任（如事务处理、日…...

编程日记 2025/6/20 6:31:34

2022李宏毅老师机器学习课程笔记

机器学习笔记目录 1.绪论（内容概述）2.机器学习和深度学习的基本概念transformer 1.绪论（内容概述） 机器学习：让机器找一个函数，通过函数输出想要的结果。应用举例：语音识别，图像识别…...

编程日记 2025/6/25 18:52:12

时序数据库IoTDB在航空航天领域的解决方案

在快速发展的航空航天领域，高效、安全的数据管理成为了技术创新和持续发展的关键支撑。时序数据库IoTDB，凭借其国产自研、高效低流量数据同步、丰富的部署选择等优势，为航空航天产业提供了强有力的数据基础，助力产业加速转型升级。…...

编程日记 2025/6/25 9:49:46

洛谷 B3647：【模板】Floyd 算法

【题目来源】 https://www.luogu.com.cn/problem/B3647 【题目描述】给出一张由 n 个点 m 条边组成的无向图。求出所有点对 (i,j) 之间的最短路径。【输入格式】第一行为两个整数 n，m，分别代表点的个数和边的条数。接下来 m 行，每行三…...

编程日记 2025/6/24 22:47:16

【25软考网工】第三章（4）生成树协议、广播风暴和MAC地址表震荡

目录一、生成树协议1. 生成树技术背景1）单链路上行存在单点故障2）二层环路问题3）二层环路问题——广播风暴实验验证广播风暴例题1：二层环路故障现象4）二层环路问题—— MAC地址表震荡实验验证 MAC地址表震荡的现象 2…...

编程日记 2025/5/28 18:09:12

解释器体系结构风格-笔记

解释器（Interpreter）是一种软件设计模式或体系结构风格，主要用于为语言（或表达式）定义其语法、语义，并通过解释器来解析和执行语言中的表达式。解释器体系结构风格广泛应用于编程语言、脚本语言、规则引擎、…...

编程日记 2025/5/29 12:12:57

删除新安装IBM Guardium Data Protection 12.1的baltimorecybertrustroot证书

登录web console，会显示 baltimorecybertrustroot证书过期警告。采用下面的命令删除过期证书就可消除警告。 collector02.cpd.com> delete certificate keystore Select an alias from the list below to delete the corresponding certificate. Alias List:…...

编程日记 2025/6/23 1:49:21