当前位置：首页 > news >正文

深度学习笔记19-YOLOv5-C3模块实现(Pytorch)

news 来源：原创 2025/7/15 18:41:30

🍨 本文为🔗365天深度学习训练营中的学习记录博客
🍖 原作者：K同学啊

一、前期工作

1.导入数据并读取

import torch
import torch.nn as nn
import torchvision.transforms as transforms
import torchvision
from torchvision import transforms, datasets
import os,PIL,pathlib,warningswarnings.filterwarnings("ignore")             #忽略警告信息

import os,PIL,random,pathlibdata_dir = 'D:\TensorFlow1\T3\weather_photos'
data_dir = pathlib.Path(data_dir)data_paths  = list(data_dir.glob('*'))
classeNames = [str(path).split("\\")[4] for path in data_paths]
classeNames

# 关于transforms.Compose的更多介绍可以参考：https://blog.csdn.net/qq_38251616/article/details/124878863
train_transforms = transforms.Compose([transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸# transforms.RandomHorizontalFlip(), # 随机水平翻转transforms.ToTensor(),          # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间transforms.Normalize(           # 标准化处理-->转换为标准正太分布（高斯分布），使模型更容易收敛mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 其中 mean=[0.485,0.456,0.406]与std=[0.229,0.224,0.225] 从数据集中随机抽样计算得到的。
])test_transform = transforms.Compose([transforms.Resize([224, 224]),  # 将输入图片resize成统一尺寸transforms.ToTensor(),          # 将PIL Image或numpy.ndarray转换为tensor，并归一化到[0,1]之间transforms.Normalize(           # 标准化处理-->转换为标准正太分布（高斯分布），使模型更容易收敛mean=[0.485, 0.456, 0.406], std=[0.229, 0.224, 0.225])  # 其中 mean=[0.485,0.456,0.406]与std=[0.229,0.224,0.225] 从数据集中随机抽样计算得到的。
])total_data = datasets.ImageFolder(data_dir,transform=train_transforms)
total_data

total_data.class_to_idx

2.划分数据集

train_size = int(0.8 * len(total_data))
test_size  = len(total_data) - train_size
train_dataset, test_dataset = torch.utils.data.random_split(total_data, [train_size, test_size])
train_dataset, test_dataset

batch_size = 4train_dl = torch.utils.data.DataLoader(train_dataset,batch_size=batch_size,shuffle=True,num_workers=1)
test_dl = torch.utils.data.DataLoader(test_dataset,batch_size=batch_size,shuffle=True,num_workers=1)

for X, y in test_dl:print("Shape of X [N, C, H, W]: ", X.shape)print("Shape of y: ", y.shape, y.dtype)break

二、搭建模型

import torch.nn.functional as Fdef autopad(k, p=None):  # kernel, padding# Pad to 'same'if p is None:p = k // 2 if isinstance(k, int) else [x // 2 for x in k]  # auto-padreturn pclass Conv(nn.Module):# Standard convolutiondef __init__(self, c1, c2, k=1, s=1, p=None, g=1, act=True):  # ch_in, ch_out, kernel, stride, padding, groupssuper().__init__()self.conv = nn.Conv2d(c1, c2, k, s, autopad(k, p), groups=g, bias=False)self.bn = nn.BatchNorm2d(c2)self.act = nn.SiLU() if act is True else (act if isinstance(act, nn.Module) else nn.Identity())def forward(self, x):return self.act(self.bn(self.conv(x)))class Bottleneck(nn.Module):# Standard bottleneckdef __init__(self, c1, c2, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, shortcut, groups, expansionsuper().__init__()c_ = int(c2 * e)  # hidden channelsself.cv1 = Conv(c1, c_, 1, 1)self.cv2 = Conv(c_, c2, 3, 1, g=g)self.add = shortcut and c1 == c2def forward(self, x):return x + self.cv2(self.cv1(x)) if self.add else self.cv2(self.cv1(x))class C3(nn.Module):# CSP Bottleneck with 3 convolutionsdef __init__(self, c1, c2, n=1, shortcut=True, g=1, e=0.5):  # ch_in, ch_out, number, shortcut, groups, expansionsuper().__init__()c_ = int(c2 * e)  # hidden channelsself.cv1 = Conv(c1, c_, 1, 1)self.cv2 = Conv(c1, c_, 1, 1)self.cv3 = Conv(2 * c_, c2, 1)  # act=FReLU(c2)self.m = nn.Sequential(*(Bottleneck(c_, c_, shortcut, g, e=1.0) for _ in range(n)))def forward(self, x):return self.cv3(torch.cat((self.m(self.cv1(x)), self.cv2(x)), dim=1))class model_K(nn.Module):def __init__(self):super(model_K, self).__init__()# 卷积模块self.Conv = Conv(3, 32, 3, 2) # C3模块1self.C3_1 = C3(32, 64, 3, 2)# 全连接网络层，用于分类self.classifier = nn.Sequential(nn.Linear(in_features=802816, out_features=100),nn.ReLU(),nn.Linear(in_features=100, out_features=4))def forward(self, x):x = self.Conv(x)x = self.C3_1(x)x = torch.flatten(x, start_dim=1)x = self.classifier(x)return x
model = model_K()
model

# 统计模型参数量以及其他指标
import torchsummary as summary
summary.summary(model, (3, 224, 224))

三、训练模型

1.编写训练函数

# 训练循环
def train(dataloader, model, loss_fn, optimizer):size = len(dataloader.dataset)  # 训练集的大小num_batches = len(dataloader)   # 批次数目, (size/batch_size，向上取整)train_loss, train_acc = 0, 0  # 初始化训练损失和正确率for X, y in dataloader:  # 获取图片及其标签# 计算预测误差pred = model(X)          # 网络输出loss = loss_fn(pred, y)  # 计算网络输出和真实值之间的差距，targets为真实值，计算二者差值即为损失# 反向传播optimizer.zero_grad()  # grad属性归零loss.backward()        # 反向传播optimizer.step()       # 每一步自动更新# 记录acc与losstrain_acc  += (pred.argmax(1) == y).type(torch.float).sum().item()train_loss += loss.item()train_acc  /= sizetrain_loss /= num_batchesreturn train_acc, train_loss

2.编写测试函数

def test (dataloader, model, loss_fn):size        = len(dataloader.dataset)  # 测试集的大小num_batches = len(dataloader)          # 批次数目, (size/batch_size，向上取整)test_loss, test_acc = 0, 0# 当不进行训练时，停止梯度更新，节省计算内存消耗with torch.no_grad():for imgs, target in dataloader:# 计算losstarget_pred = model(imgs)loss        = loss_fn(target_pred, target)test_loss += loss.item()test_acc  += (target_pred.argmax(1) == target).type(torch.float).sum().item()test_acc  /= sizetest_loss /= num_batchesreturn test_acc, test_loss

3.正式训练

import copyoptimizer  = torch.optim.Adam(model.parameters(), lr= 1e-4)
loss_fn    = nn.CrossEntropyLoss() # 创建损失函数epochs     = 20train_loss = []
train_acc  = []
test_loss  = []
test_acc   = []best_acc = 0    # 设置一个最佳准确率，作为最佳模型的判别指标for epoch in range(epochs):model.train()epoch_train_acc, epoch_train_loss = train(train_dl, model, loss_fn, optimizer)model.eval()epoch_test_acc, epoch_test_loss = test(test_dl, model, loss_fn)# 保存最佳模型到 best_modelif epoch_test_acc > best_acc:best_acc   = epoch_test_accbest_model = copy.deepcopy(model)train_acc.append(epoch_train_acc)train_loss.append(epoch_train_loss)test_acc.append(epoch_test_acc)test_loss.append(epoch_test_loss)# 获取当前的学习率lr = optimizer.state_dict()['param_groups'][0]['lr']template = ('Epoch:{:2d}, Train_acc:{:.1f}%, Train_loss:{:.3f}, Test_acc:{:.1f}%, Test_loss:{:.3f}, Lr:{:.2E}')print(template.format(epoch+1, epoch_train_acc*100, epoch_train_loss, epoch_test_acc*100, epoch_test_loss, lr))# 保存最佳模型到文件中
PATH = './best_modelyolo.pth'  # 保存的参数文件名
torch.save(best_model.state_dict(), PATH)print('Done')

四、结果可视化

1.loss与acc图

import matplotlib.pyplot as plt
#隐藏警告
import warnings
warnings.filterwarnings("ignore")               #忽略警告信息
plt.rcParams['font.sans-serif']    = ['SimHei'] # 用来正常显示中文标签
plt.rcParams['axes.unicode_minus'] = False      # 用来正常显示负号
plt.rcParams['figure.dpi']         = 100        #分辨率from datetime import datetime
current_time = datetime.now() # 获取当前时间epochs_range = range(epochs)plt.figure(figsize=(12, 3))
plt.subplot(1, 2, 1)plt.plot(epochs_range, train_acc, label='Training Accuracy')
plt.plot(epochs_range, test_acc, label='Test Accuracy')
plt.legend(loc='lower right')
plt.title('Training and Validation Accuracy')
plt.xlabel(current_time) # 打卡请带上时间戳，否则代码截图无效plt.subplot(1, 2, 2)
plt.plot(epochs_range, train_loss, label='Training Loss')
plt.plot(epochs_range, test_loss, label='Test Loss')
plt.legend(loc='upper right')
plt.title('Training and Validation Loss')
plt.show()

2.模型评估

best_model.eval()
epoch_test_acc, epoch_test_loss = test(test_dl, best_model, loss_fn)
epoch_test_acc, epoch_test_loss

# 查看是否与我们记录的最高准确率一致
epoch_test_acc

五、总结

1. YOLO的C3模块

深度学习笔记19-YOLOv5-C3模块实现(Pytorch)

🍨 本文为🔗365天深度学习训练营中的学习记录博客 🍖 原作者：K同学啊一、前期工作 1.导入数据并读取 import torch import torch.nn as nn import torchvision.transforms as transforms import torchvision from torchvisio…...

编程日记 2025/7/15 18:41:30

SpringCloud-环境和工程搭建

前言 JDK用17，MySQL用8.0 微服务就是微小的服务一个微服务只做一个事情基本概念打开官网 spring springcloud就是给我们提供工具，方便我们来弄微服务 springcloud是分布式微服务架构的一站式解决方案 Distributed/versioned configuration 分布…...

编程日记 2025/7/15 18:28:10

React 中shouldComponentUpdate生命周期方法的作用，如何利用它优化组件性能？

大白话React 中shouldComponentUpdate生命周期方法的作用，如何利用它优化组件性能？ 在 React 里，shouldComponentUpdate 这个生命周期方法就像是一个“关卡守卫”，它能决定组件是否需要重新渲染。组件重新渲染是个挺费性能的事儿…...

编程日记 2025/7/15 17:24:26

AI写一个视频转图片帧工具(python)

现在的AI写python太方便了说的话我想用python实现一个能够将视频的所有帧数转化为图片的软件，可以自由配置转换的帧率或者全部，需要有界面，我需要增加一点功能，就是我需要读取出视频的分辨率，然后设置输出帧的分辨…...

编程日记 2025/7/15 1:14:55

React第三十一章(组件实战)

组件实战这一章建议大家看完hooks css 原理组件这些章节之后再来看，这样会更好理解。本章是额外新增的，因为之前的知识大家都掌握的差不多了，所以这一章节主要是让大家动手实践，巩固一下前面的知识。那么你会学到什么&#…...

编程日记 2025/7/15 7:50:09

详细介绍WideCharToMultiByte()

书籍：《Visual C 2017从入门到精通》的2.7 字符串环境：visual studio 2022 内容：几个字符串类型->（将单字节char*转换为宽字节wchar_t *）（将宽字节wchar_t* 转换为单字节char *） WideChar…...

编程日记 2025/7/15 17:06:07

Qt开发：QFileDialog的使用

文章目录一、QFileDialog的介绍二、QFileDialog的常用静态方法三、完整示例一、QFileDialog的介绍 QFileDialog 是 Qt 框架中提供的一个用于文件选择的标准对话框类，它允许用户在应用程序中选择文件或目录。它是跨平台的，在不同操作系统上会自动适配本…...

编程日记 2025/7/15 12:27:28

深度学习篇---回归分类任务的损失函数

文章目录前言一、分类任务常用损失函数1. 交叉熵损失（Cross-Entropy Loss）数学形式使用场景特点训练状态分析损失下降损失震荡训练损失低但是验证损失高 2. Hinge Loss（合页损失）数学形式适用场景特点训练状态分析损失趋近于0损失…...

编程日记 2025/7/15 17:39:37

【MLP-BEV(10)】BEVPooling V1和BEVPooling V2的view_transformer，进行鱼眼图片实践

文章目录先说说 BEVPoolv1步骤1：3D点生成步骤2 2D特征采样和BEV特征生成特点再谈谈BEVPoolv2步骤1：3D点生成步骤2：计算索引关系步骤3： `voxel_pooling`计算鱼眼图片进行实践步骤1、3D点生成(基于Kannala-Brandt 进行调整)步骤2、2D特征采样和BEV特征生成(1) 体素化 (Voxe…...

编程日记 2025/7/15 1:37:35

上海SMT贴片技术解析与行业趋势

内容概要随着长三角地区电子制造产业集群的快速发展，上海作为核心城市正引领着SMT贴片技术的革新浪潮。本文聚焦表面组装技术在高密度互连、微间距贴装等领域的突破性进展，通过解析焊膏印刷精度控制、元件定位算法优化等核心工艺，展现上海企…...

编程日记 2025/7/15 17:40:28

RAG优化：python从零实现[吃一堑长一智]循环反馈Feedback

本文将介绍一种有反馈循环机制的RAG系统，让当AI学会"吃一堑长一智"，给传统RAG装了个"后悔"系统，让AI能记住哪些回答被用户点赞/拍砖，从此告别金鱼记忆：每次回答都像在玩roguelike：失败结局会强化下次冒险悄悄把优质问答变成新知识卡牌，实现"以…...

编程日记 2025/7/15 17:42:09

Ubuntu 防火墙配置

Ubuntu 防火墙配置一、UFW 基础操作二、核心规则配置三、高级功能四、特殊场景配置五、规则管理六、默认策略与安全建议七、故障排除一、UFW 基础操作检查 UFW 状态 sudo ufw status # 查看防火墙状态 sudo ufw status verbose # 显示详细规则 sudo ufw status numbered #…...

编程日记 2025/7/15 17:07:02

网络运维学习笔记（DeepSeek优化版） 024 HCIP-Datacom OSPF域内路由计算

文章目录 OSPF域内路由计算：单区域的路由计算一、OSPF单区域路由计算原理二、1类LSA详解2.1 1类LSA的作用与结构2.2 1类LSA的四种链路类型三、OSPF路由表生成验证3.1 查看LSDB3.2 查看OSPF路由表3.3 查看全局路由表四、2类LSA详解4.1 2类LSA的作用与生成条件4.2 2…...

编程日记 2025/7/15 17:02:58

【实战ES】实战 Elasticsearch：快速上手与深度实践-2.2.1 Bulk API的正确使用与错误处理

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 Elasticsearch Bulk API 深度实践：性能调优与容错设计1. Bulk API 核心机制解析1.1 批量写入原理剖析1.1.1 各阶段性能瓶颈 2. 高性能批量写入实践2.1 客户端最佳…...

编程日记 2025/7/15 17:00:33

Oracle 23ai Vector Search 系列之2 ONNX(Open Neural Network Exchange)

文章目录 Oracle 23ai Vector Search 系列之2 ONNX(Open Neural Network Exchange)ONNX基本概念ONNX(Open Neural Network Exchange)ONNX Runtime ONNX Runtime 在Oracle数据库中的集成参考 Windows 环境图形化安装 Oracle 23ai Oracle 23ai Vector Search 系列之1 架构基础 Or…...

编程日记 2025/7/15 1:19:28

前端 - ts - - declare声明类型

在使用typeScript的项目中需要声明属性类型单独的局部属性可以直接在当前文件中声明全局属性需要在项目根目录下新建.d.ts文件 vite会自动识别.d.ts类型文件在该文件中使用declare声明类型有三种写法 1、在某种类型的文件中声明 2、声明window上的属性类型 3、全局声明…...

编程日记 2025/7/15 17:50:21

Processor System Reset IP 核 v5.0（vivado）

这个IP的作用，我的理解是，比普通按键复位更加高效灵活，可以配置多个复位输出，可以配置复位周期。 1、输入信号： 重要的信号有时钟clk信号，一般连接到系统时钟；输入复位信号，一般是外…...

编程日记 2025/7/15 17:36:17

基于dify平台批量分析excel格式信息

如何以表格形式批量输入一些信息，然后让大模型以对话应用形式逐条进行推理分析？ 这里提供一个分步解决方案，结合 Dify平台功能和 API调用优化的思路，既保证效率又降低复杂度： 1. 优先检查 Dify 的「数据集」功能 Di…...

编程日记 2025/7/15 17:33:10

GMII 接口

文章目录概述硬件拓扑GMII 接口站管理接口发送数据时序接收数据时序参考本文为笔者学习以太网对网上资料归纳整理所做的笔记，文末均附有参考链接，如侵权，请联系删除。概述 GMII 是千兆网的MII接口，这个也有相应的 RGMII 接口&…...

编程日记 2025/7/15 17:27:20

学习不同电脑cpu分类及选购指南

关于电脑cpu 一、CPU型号的核心组成与命名规则Intel命名规则：AMD命名规则：5. 后缀：Intel常见后缀及其含义：AMD后缀一些常见的后缀及其含义：二、主流品牌CPU的分类与性能差异三、区分CPU型号的实用方法四、主流品牌CPU对比与选择建议五、选购CPU的注意事项关于不同主流CPU的…...

编程日记 2025/7/15 17:35:00

Android 动态设置默认Launcher(默认应用电话-短信-浏览器-主屏幕应用）)

Android 动态设置默认Launcher(默认应用电话-短信-浏览器-主屏幕应用）) 文章目录场景需求参考资料思路期待效果实现方案源码流程分析和思路实现DefaultAppActivityHandheldDefaultAppFragmentHandheldDefaultAppPreferenceFragmentDefaultAppChildFragmentDefaul…...

编程日记 2025/7/15 17:58:46

23种设计模式-策略(Strategy)设计模式

策略设计模式 🚩什么是策略设计模式？🚩策略设计模式的特点🚩策略设计模式的结构🚩策略设计模式的优缺点🚩策略设计模式的Java实现🚩代码总结🚩总结 🚩什么是策略设计模式…...

编程日记 2025/7/15 10:21:17

游戏引擎学习第188天

回顾并计划今天的内容原本这周的目标是进行可视化操作的尝试，但每一天都被一些棘手的bug和问题所阻碍，导致我们一直没能实现这个目标。直到今天，星期四，我们终于解决了这些问题，所有功能都能正常运行了，所…...

编程日记 2025/7/15 16:57:02

TF-IDF——自然语言处理——红楼梦案例

目录一、红楼梦数据分析 （1）红楼梦源文件 （2）数据预处理——分卷实现思路 （3）分卷代码二、分卷处理，删除停用词，将文章转换为标准格式 1.实现的思路及细节 2.代码实现&#…...

编程日记 2025/7/15 18:29:48

Oracle数据库数据编程SQL＜2.3 DML增、删、改及merge into＞

目录一、DML数据操纵语言（Aate Manipulation Language) 二、【insert】插入数据 1、单行插入 2、批量插入 3、将数据同时插入到多张表insert all/insert first 三、【update】更新数据 1、语法 2、举例 3、update使用注意事项： 四、【delete…...

编程日记 2025/7/15 17:15:01

面试计算机操作系统解析（一中）

判断 1. 一般来说，先进先出页面置换算法比最近最少使用页面置换算法有较少的缺页率。（✘） 正确答案：错误解释：FIFO（先进先出）页面置换算法可能导致“Belady异常”，即页面数增加反而…...

编程日记 2025/7/15 17:37:18

启山智软实现b2c单商户商城对比传统单商户的优势在哪里？

启山智软实现 B2C 单商户商城具有以下对比优势： 技术架构方面先进的框架选型：基于 SpringCloud 等主流框架开发，是百万真实用户沉淀并检验的商城系统，技术成熟稳定，能应对高并发场景，保证系统在大流量访…...

编程日记 2025/7/15 17:23:31

蓝桥杯备考：贪心问题之均分纸牌

咱的贪心策略就是每次分好一个堆儿，如果某个堆已经是满足题意了，就不用管这个堆了，否则要向下一个堆借几个元素 #include <iostream> using namespace std; const int N 110; typedef long long ll; int a[N]; int n; ll x; int cnt…...

编程日记 2025/7/15 17:17:54

免去繁琐的手动埋点，Gin 框架可观测性最佳实践

作者：牧思背景在云原生时代的今天，Golang 编程语言越来越成为开发者们的首选，而对于 Golang 开发者来说，最著名的 Golang Web 框架莫过于 Gin [ 1] 框架了，Gin 框架作为 Golang 编程语言官方的推荐框架 [ 2] &…...

编程日记 2025/7/15 17:34:07

centos7 linux VMware虚拟机新添加的网卡，能看到网卡名称，但是看不到网卡的配置文件

问题现象：VMware虚拟机新添加的网卡，能看到网卡，但是看不到网卡的配置文件解决方案： nmcli connection show nmcli connection add con-name ens36 ifname ens36 type ethernet #创建一个网卡连接配置文件，这里con…...

编程日记 2025/7/15 16:59:01

python的内置方法getitem和len

完整小测试： #python的内置函数，getitemclass Animal():def __init__(self,name):self.name namedef __str__(self):return f"This is {self.name}"class Zoo():def __init__(self,animal_list):self.animal_list animal_listdef __getite…...

编程日记 2025/7/15 16:53:43

深入理解 Git Stash：功能、用法与实战示例

文章目录深入理解 Git Stash：功能、用法与实战示例一、Git Stash 的核心概念二、Git Stash 的基本用法1. 存储当前修改2. 查看 Stash 列表3. 恢复 Stash4. 恢复并删除 Stash5. 删除 Stash（1）删除指定 Stash（2）清空所有…...

编程日记 2025/7/15 17:12:30

SQL 复杂查询和性能优化

一、掌握复杂查询的核心技能 1. 理解 SQL 执行顺序 SQL 语句的逻辑执行顺序（非书写顺序）： FROM → JOIN → WHERE → GROUP BY → HAVING → SELECT → DISTINCT → ORDER BY → LIMIT 关键点：每一步的结果会传递给下一步&a…...

编程日记 2025/7/15 18:33:03

【web应用安全】关于web应用安全的几个主要问题的思考

文章目录防重放攻击1. **Token机制（一次性令牌）**2. **时间戳超时验证**3. **Nonce（一次性随机数）**4. **请求签名（如HMAC）**5. **HTTPS 安全Cookie**6. **幂等性设计****综合防御策略建议****注意事项…...

编程日记 2025/7/11 12:36:44

看懂roslunch输出

自编了一个demo 第一步：创建功能包 cd ~/catkin_ws/src catkin_create_pkg param_demo roscpp第二步：写 main.cpp 创建文件：param_demo/src/param_node.cpp #include <ros/ros.h> #include <string>int main(int argc, char*…...

编程日记 2025/7/8 4:10:18

如何查看Unity打包生成的ab文件

文章目录前言AssetStudioab文件介绍1. 动态加载资源2. 资源分离与模块化3. 平台兼容性4. 资源压缩与加密5. 资源管理与更新6. 减少安装包大小7. 资源加载灵活性8. 资源打包与分发9. 实际应用场景10. 注意事项总结前言问题来源于工作又回归到工作，当发现发布包里…...

编程日记 2025/7/10 12:43:05

从泛读到精读：合合信息文档解析如何让大模型更懂复杂文档

从泛读到精读：合合信息文档解析如何让大模型更懂复杂文档一、引言：破解文档“理解力”瓶颈二、核心功能：合合信息的“破局”亮点功能亮点1：复杂图表的高精度解析图表解析：为大模型装上精准“标尺”表格数据精准还原功…...

编程日记 2025/7/9 12:09:25

Python SciPy面试题及参考答案

目录什么是 SciPy？它与 NumPy 有什么区别？如何在 Python 中安装 SciPy？如何导入 SciPy 库？ SciPy 中有哪些子模块？简要介绍它们的功能。如何使用 SciPy 进行数值积分？请举例说明。 SciPy 中提供了哪些求解微分方程的函数？什么是插值？SciPy 中如何进行插值？…...

编程日记 2025/6/28 4:52:43

21.Excel自动化：如何使用 xlwings 进行编程

一将Excel用作数据查看器使用 xlwings 中的 view 函数。 1.导包 import datetime as dt import xlwings as xw import pandas as pd import numpy as np 2.view 函数创建一个基于伪随机数的DataFrame，它有足够多的行，使得只有首尾几行会被显示。 df …...

编程日记 2025/7/10 14:16:20

【redis】数据类型之Stream

Redis Stream是Redis 5.0版本引入的一种新的数据类型，它提供了一种持久化的、可查询的、可扩展的消息队列服务。它结合了Redis高性能的特性与持久化能力，支持： 多消费者组模式（Consumer Groups）消息回溯&#xff08…...

编程日记 2025/7/13 7:51:16

day17 周末两天偷懒没更新，今天炼丹加学习，完结STL常用容器部分

还剩下两个常用容器，一个是set(集合容器) ， 一个是map容器 set/multiset 容器 set容器是关联式容器，该容器的特点是：所有元素都会在插入时被自动排序 set/multiset 都是关联式容器 ，其底层结构是使用二叉树实现的。…...

编程日记 2025/7/11 4:53:47

嵌入式开发场景中Shell脚本执行方式的对比

‌Shell脚本执行方式对比表‌ ‌执行方式‌‌命令示例‌‌是否需要执行权限‌‌是否启动子Shell‌‌环境变量影响范围‌‌适用场景‌‌嵌入式开发中的典型应用‌‌直接执行脚本‌./script.sh是是子Shell内有效独立运行的脚本，需固定环境自动化构建脚本（…...

编程日记 2025/7/15 4:42:43

数据结构之多项式相加的链表实现

在计算机科学中，多项式的表示和运算经常会用到。使用链表来表示多项式是一种常见且有效的方法，它可以方便地处理多项式的各项，并且在进行多项式相加等运算时具有较好的灵活性。多项式通常由一系列的项组成，每一项包含一个系数和…...

编程日记 2025/7/8 14:07:27

Java 实现将Word 转换成markdown

日常的开发中，需要将word 等各类文章信息转换成格式化语言，因此需要使用各类语言将word 转换成Markdown 1、引入 jar包 <dependency><groupId>org.apache.poi</groupId><artifactId>poi-ooxml</artifactId><version&g…...

编程日记 2025/7/15 15:15:37

IEEE PDF Xpress校验出现：字体无法嵌入问题以及pdf版本问题

文章目录问题描述一、字体嵌入问题首先查看一下，哪些字体没有被嵌入查看window的font文件夹里的字体下载字体的网站修复字体嵌入问题二、pdf版本不对问题描述在处理IEEE的camera ready的时候，提交到IEEE express的文件没有办法通过validate&#xf…...

编程日记 2025/7/11 16:15:29

Sa-Token

简介 Sa-Token 是一个轻量级 Java 权限认证框架，主要解决：登录认证、权限认证、单点登录、OAuth2.0、分布式Session会话、微服务网关鉴权等一系列权限相关问题。官方文档常见功能登录认证本框架用户提交 name password 参数，调用登…...

编程日记 2025/7/9 5:23:21

StarRocks 中 CURRENT_TIMESTAMP 和 CURRENT_TIME 分区过滤问题

背景本文基于Starrocks 3.3.5 最近在进行Starrocks 跑数据的时候，发现了一个SQL 扫描了所有分区的数据，简化后的SQL如下： select date_created from tableA where date_createddate_format(current_time(), %Y-%m-%d %H:%i:%S) limit 20其…...

编程日记 2025/7/14 19:39:36

GithubPages+自定义域名+Cloudfare加速+浏览器收录（2025最新排坑）

前言最近刷到一个小视频，讲述了选择域名选择的三宗罪，分别是不要使用 .net，因为它价格贵，但是在顶级域名中的 SEO 效果却不是很好，也就是性价比很低不要使用 .cn，因为国外访问该网站可能会很慢&#xf…...

编程日记 2025/7/12 21:43:28

Canvas粒子系统终极指南：从基础运动到复杂交互的全流程实现

文章目录一、粒子系统基础架构1.1 粒子数据结构设计1.2 粒子系统管理器二、基础粒子效果实现2.1 重力场模拟2.2 弹性碰撞效果三、高级交互实现3.1 鼠标吸引效果3.2 颜色渐变粒子四、性能优化策略4.1 粒子池复用4.2 分层渲染五、复杂效果实现5.1 烟花爆炸效果5.2 流体模拟 …...

编程日记 2025/7/14 16:41:18

【QT】新建QT工程(详细步骤)

新建QT工程 1.方法(1)点击new project按钮，弹出对话框，新建即可，步骤如下：(2) 点击文件菜单，选择新建文件或者工程，后续步骤如上 2.QT工程文件介绍(1).pro文件 --》QT工程配置文件(2)main.cpp --》QT工程主…...

编程日记 2025/7/15 1:30:56