当前位置：首页 > news >正文

Python训练打卡Day31

news 来源：原创 2025/6/28 10:20:03

文件的规范拆分和写法

知识点回顾

规范的文件命名
规范的文件夹管理
机器学习项目的拆分
编码格式和类型注解

把一个文件，拆分成多个具有着独立功能的文件，然后通过import的方式，来调用这些文件。

1. 可以让项目文件变得更加规范和清晰

2. 可以让项目文件更加容易维护，修改某一个功能的时候，只需要修改一个文件，而不需要修改多个文件。

3. 文件变得更容易复用，部分通用的文件可以单独拿出来，进行其他项目的复用。

回顾机器学习的基本流程：

数据加载：从文件、数据库、API 等获取原始数据。
- 命名参考：load_data.py 、data_loader.py
数据探索与可视化：了解数据特性，初期可用 Jupyter Notebook，成熟后固化绘图函数。
- 命名参考：eda.py 、visualization_utils.py
数据预处理：处理缺失值、异常值，进行标准化、归一化、编码等操作。
- 命名参考：preprocess.py 、data_cleaning.py 、data_transformation.py
特征工程：创建新特征，选择、优化现有特征。
- 命名参考：feature_engineering.py
模型训练：构建模型架构，设置超参数并训练，保存模型。
- 命名参考：model.py 、train.py
模型评估：用合适指标评估模型在测试集上的性能，生成报告。
- 命名参考：evaluate.py
模型预测：用训练好的模型对新数据预测。
- 命名参考：predict.py 、inference.py

文件的组织

1. 项目核心代码组织

src/data/：放置与数据相关的代码。
- src/data/load_data.py：负责从各类数据源（如文件系统、数据库、API 等）读取原始数据。
- src/data/preprocess.py：进行数据清洗（处理缺失值、异常值）、数据转换（标准化、归一化、编码等）操作。
- src/data/feature_engineering.py：根据业务和数据特点，创建新特征或对现有特征进行选择、优化。
src/models/：关于模型的代码。
- src/models/model.py：定义模型架构，比如神经网络结构、机器学习算法模型设定等。
- src/models/train.py：设置模型超参数，并执行训练过程，保存训练好的模型。
- src/models/evaluate.py：使用合适的评估指标（如准确率、召回率、均方误差等），在测试集上评估模型性能，生成评估报告。
- src/models/predict.py 或 src/models/inference.py：利用训练好的模型对新数据进行预测。
src/utils/：存放通用辅助函数代码，可进一步细分：
- src/utils/io_utils.py：包含文件读写相关帮助函数，比如读取特定格式文件、保存数据到文件等。
- src/utils/logging_utils.py：实现日志记录功能，方便记录项目运行过程中的信息，便于调试和监控。
- src/utils/math_utils.py：特定的数值计算函数，像自定义的矩阵运算、统计计算等。
- src/utils/plotting_utils.py：绘图工具函数，用于生成数据可视化图表（如绘制损失函数变化曲线、特征分布直方图等）。

2. 配置文件管理

config/ 目录：集中存放项目的配置文件，方便管理和切换不同环境（开发、测试、生产）的配置。

config/config.py 或 config/settings.py：以 Python 代码形式定义配置参数。
config/config.yaml 或 config/config.json：采用 YAML 或 JSON 格式，清晰列出文件路径、模型超参数、随机种子、API 密钥等可配置参数。
.env 文件：通常放在项目根目录，用于存储敏感信息（如数据库密码、API 密钥等），在代码中通过环境变量的方式读取，一般会被 .gitignore 忽略，防止敏感信息泄露

3. 实验与探索代码

notebooks/ 或 experiments/ 目录：用于初期的数据探索、快速实验、模型原型验证。

notebooks/initial_eda.ipynb：在项目初期，使用 Jupyter Notebook 进行数据探索与可视化，了解数据特性，分析数据分布、相关性等。
experiments/model_experimentation.py：编写脚本对不同模型架构、超参数组合进行快速实验，对比实验结果，寻找最优模型设置。

这部分往往是最开始的探索阶段，后面跑通了后拆分成了完整的项目，留作纪念用。

4. 项目产出物管理

data/ 目录：存放项目相关数据。

data/raw/：放置从外部获取的未经处理的原始数据，保持数据原始状态。
data/processed/：存放经过预处理（清洗、转换、特征工程等操作）后的数据，供模型训练和评估使用。
data/interim/（可选）：保存中间处理结果，比如数据清洗过程中生成的临时文件、特征工程中间步骤产生的数据等。

models/ 目录：专门存放训练好的模型文件，根据模型保存格式不同，可能是 .pkl（Python pickle 格式，常用于保存 sklearn 模型）、.h5（常用于保存 Keras 模型）、.joblib 等。

reports/ 或 output/ 目录：存储项目运行产生的各类报告和输出文件。

reports/evaluation_report.txt：记录模型评估的详细结果，包括各项评估指标数值、模型性能分析等。
reports/visualizations/：存放数据可视化图片，如损失函数收敛图、预测结果对比图等。
output/logs/：保存项目运行日志文件，记录项目从开始到结束过程中的关键信息，如训练开始时间、训练过程中的损失值变化、预测时间等。

通用的机器学习项目拆分起步思路总结如下：

按工作流程分离代码：将数据处理、模型训练、评估等阶段的代码分别写入不同 .py 文件（如 load_data.py、train.py、evaluate.py），实现逻辑模块化。
创建通用辅助函数文件：新建 utils.py 存放可复用的工具函数（如文件读写、日志记录、绘图等），避免代码冗余。
集中管理配置参数：通过 config.py 或 config.yaml/json 统一存储项目配置（如文件路径、超参数、环境变量等），方便维护和切换环境。
分离数据、模型与源代码：
- data/ 目录：存放原始数据（raw/）、处理后数据（processed/）及中间结果（interim/ 可选）。
- models/ 目录：保存训练好的模型文件（如 .pkl、.h5 等）。
- src/ 目录：放置核心源代码，按阶段细分（如 src/data/、src/models/、src/utils/），保持结构清晰。

类型注解

Python 的类型注解是在 Python 3.5+ 引入的特性，用于为变量、函数参数、返回值和类属性等添加类型信息。虽然 Python 仍是动态类型语言，但类型注解可以提高代码可读性、可维护性，并支持静态类型检查工具（如 mypy）。

其次你在安装python插件的时候，附带安装了2个插件

1. 一个是python debugger用于断点调试

2. 另一个是pylance，用于代码提示和类型检查，这个插件会根据你的代码中的类型注解，给出相应的提示和检查，比如你定义了一个函数，参数类型是int，那么当你传入一个字符串时，它会提示你传入的参数类型不正确。

变量类型注解语法为变量名: 类型

# 变量的类型注解
name: str = "Alice"
age: int = 30
height: float = 1.75
is_student: bool = False

函数类型注解为函数参数和返回值指定类型，语法为 def 函数名(参数: 类型) -> 返回类型。

def add(a: int, b: int) -> int:return a + bdef greet(name: str) -> None:print(f"Hello, {name}")

类属性与方法的类型注解：为类的属性和方法添加类型信息。

# 定义一个矩形类
class Rectangle:width: float      # 矩形宽度（浮点数），类属性的类型注解（不初始化值）height: float     # 矩形高度（浮点数）def __init__(self, width: float, height: float):self.width = widthself.height = heightdef area(self) -> float:# 计算面积（宽度 × 高度）return self.width * self.height

@浙大疏锦行

Python训练打卡Day31

文件的规范拆分和写法知识点回顾规范的文件命名规范的文件夹管理机器学习项目的拆分编码格式和类型注解把一个文件，拆分成多个具有着独立功能的文件，然后通过import的方式，来调用这些文件。 1. 可以让项目文件变得更加规范和清晰 2. 可以让…...

编程日记 2025/6/28 10:20:03

前端性能优化的秘密武器：Preload 与 Prefetch 的深度解析

前端性能优化的秘密武器：Preload 与 Prefetch 的深度解析在前端开发中，页面加载速度直接影响用户体验和业务转化率。而“资源预加载”技术，正是优化加载性能的核心手段之一。本文将深入浅出地讲解 Preload 与 Prefetch 这两项技术&#xff…...

编程日记 2025/6/25 7:05:30

DAY8字典的简单介绍

字典的简单介绍字典就是键值对标签编码实现映射操作 import pandas as pd data pd.read_csv(data.csv) data data["Home Ownership"].value_counts() # 定义映射字典 mapping {"Own Home": 1,"Rent": 0,"Have Mortgage": 2,&…...

编程日记 2025/6/28 9:43:53

VPLC (VPLCnext) K8S

前序在接触Virtual PLCnext Control的时候，我想过好几次如何将它运行在k8s上，由于对k8s的熟悉程度不够，跌跌撞撞尝试了很久，终于把vPLC部署在单机版的k8s上了。（此教程仅为demo阶段，此教程仅为demo阶段&a…...

编程日记 2025/6/25 5:26:07

鸿蒙App开发学习路径

以下是一份系统的鸿蒙（HarmonyOS）App开发学习路径，适合从零开始逐步掌握相关技能： 1. 基础知识储备 1.1 理解鸿蒙系统鸿蒙核心特性：分布式能力、一次开发多端部署、原子化服务、ArkUI框架。与Android/iOS的区别&…...

编程日记 2025/6/27 22:47:17

【Java多态】：灵活编程的核心

🎁个人主页：User_芊芊君子 🎉欢迎大家点赞👍评论📝收藏⭐文章 🔍系列专栏：【Java】内容概括【前言】在Java面向对象编程的世界中，多（Polymorphism） 是一个核…...

编程日记 2025/6/27 23:34:15

k8s容器入门（1）有状态服务 vs 无状态服务核心区别

本质区别维度有状态服务 (Stateful)无状态服务 (Stateless)数据存储服务内部维护持久化数据不保存客户端会话数据请求关联性后续请求依赖之前请求的状态每个请求独立处理典型示例数据库/消息队列/文件存储Web API/计算服务/负载均衡技术实现对比 #mermaid-svg-hoKO2gnZ8Gvms…...

编程日记 2025/6/27 23:18:13

BERT框架：自然语言处理的革命性突破

引言在自然语言处理（NLP）领域，2018年Google推出的BERT（Bidirectional Encoder Representations from Transformers）框架无疑是一场革命。作为基于Transformer架构的双向编码器表示模型，BERT通过预训练学习…...

编程日记 2025/6/27 23:02:59

基于FPGA控制电容阵列与最小反射算法的差分探头优化设计

在现代高速数字系统测试中，差分探头的信号完整性直接影响测量精度。传统探头存在阻抗失配导致的信号反射问题，本文提出一种通过FPGA动态控制电容阵列，结合最小反射算法的优化方案，可实时调整探头等效容抗，将信号反射损…...

编程日记 2025/6/27 16:02:47

珠宝课程小程序源码介绍

这款珠宝课程小程序源码，基于ThinkPHPFastAdminUniApp开发，功能丰富且实用。ThinkPHP提供稳定高效的后台服务，保障数据安全与处理速度；FastAdmin助力快速搭建管理后台，提升开发效率；UniApp则让小程序能多端…...

编程日记 2025/6/27 22:47:24

DAY33

简单的神经网络 PyTorch和cuda的安装查看显卡信息的命令行命令（cmd中使用） cuda的检查简单神经网络的流程 1.数据预处理（归一化、转换成张量） 2.模型的定义 1.继承nn.Module类 2.定…...

编程日记 2025/6/27 23:25:54

AI相关的笔记

推荐视频： https://www.bilibili.com/video/BV1aeLqzUE6L/?share_sourcecopy_web&vd_source3d0a14a267c9cbda8f2a6184dd8c564d AI Agent AI Agent（人工智能代理） AI Agent 是一种具备自主决策和执行能力的智能程序，能够像…...

编程日记 2025/6/27 3:02:10

Python训练营---Day33

知识点回顾： PyTorch和cuda的安装查看显卡信息的命令行命令（cmd中使用）cuda的检查简单神经网络的流程数据预处理（归一化、转换成张量）模型的定义继承nn.Module类定义每一个层定义前向传播流程定义损失函数和优化器定…...

编程日记 2025/6/27 23:00:55

window 显示驱动开发-指定 GDI 硬件加速渲染操作

调用 DxgkDdiRenderKm 函数时，操作系统指定要通过 pRenderKmArgs 参数执行的 GDI 硬件加速呈现操作的类型。 DirectX 图形内核子系统的显示端口驱动程序 (Dxgkrnl.sys) 将 pRenderKmArgs-pCommand> 成员设置为指向包含可变大小DXGK_RENDERKM_COMMAND结构数组的命…...

编程日记 2025/6/27 22:47:18

什么是VR展馆？VR展馆的实用价值有哪些？

VR展馆，重塑展览体验。在数字化时代浪潮的推动下，传统的实体展馆经历前所未有的变革。作为变革的先锋，VR展馆以无限的潜力，成为展览行业的新宠。 VR展馆，即虚拟现实展馆，是基于VR（Virtual Real…...

编程日记 2025/6/27 23:28:06

uniapp实现H5、APP、微信小程序播放.m3u8监控视频

目录 1.APP播放.m3u8监控视频 2.H5播放.m3u8监控视频 3.微信小程序播放.m3u8监控视频最近在写一个uniapp实现h5、app、微信小程序兼容三端的播放监控视频功能，我原本以为一套代码多处运行，但事实并非如此，h5可以运行，微信小程…...

编程日记 2025/6/27 23:12:57

CAD如何导出PDF？PDF如何转CAD？详细教程来了

浩辰CAD看图王是一款功能强大的CAD图纸查看与编辑工具，其核心功能之一便是支持CAD与PDF格式的互转。下面是CAD看图王输出PDF和PDF转CAD功能的详细介绍及操作步骤： 一、输出PDF功能看图王可以将CAD图纸转换为PDF格式，是文件在不同的设备上显…...

编程日记 2025/6/27 23:15:09

微信小程序学习基础：从入门到精通

文章目录第一章：微信小程序概述1.1 什么是微信小程序1.2 小程序与原生APP、H5的区别1.3 小程序的发展历程与现状第二章：开发环境搭建2.1 注册小程序账号2.2 安装开发者工具2.3 开发者工具界面介绍2.4 第一个小程序项目第三章：小程序框架与…...

编程日记 2025/6/27 23:17:05

[免费]微信小程序宠物医院管理系统(uni-app+SpringBoot后端+Vue管理端)【论文+源码+SQL脚本】

大家好，我是java1234_小锋老师，看到一个不错的微信小程序宠物医院管理系统(uni-appSpringBoot后端Vue管理端)，分享下哈。项目视频演示【免费】微信小程序宠物医院管理系统(uni-appSpringBoot后端Vue管理端) Java毕业设计_哔哩哔哩_bilibi…...

编程日记 2025/6/27 22:47:19

乘最多水的容器 | 算法 | 给定一个整数数组。有n条垂线。找出其中的两条线，使得它们与 x 轴共同构成的容器可以容纳最多的水。

在我们日常生活中，蓄水似乎是一个极为朴素的物理行为：两堵墙之间，注入水，看谁能装得更多。可如果换个角度，从算法的视角去看这个问题，它会变得怎样？你是否意识到，这样一个简单的问题…...

编程日记 2025/6/27 8:52:54

英伟达有意入股 PsiQuantum，释放战略转向量子计算的重要信号

内容来源：量子前哨（ID：Qforepost） 文丨浪味仙排版丨浪味仙行业动向：1800字丨5分钟阅读 “十五年太早，三十年又太晚，但如果说二十年，我想很多人都会相信。” emmmm&#xff0c…...

编程日记 2025/6/27 15:31:22

【Ubuntu修改串口延时(Latency Timer)为1毫秒(设备拔插或系统重启后自动生效)】

Ubuntu修改串口延时Latency Timer为1毫秒-设备拔插或系统重启后自动生效在Ubuntu系统中，串口设备的延时参数(latency_timer)可以通过udev规则永久修改。以下是完整步骤： 创建udev规则文件 sudo vim /etc/udev/rules.d/99-ftdi-low-latency.rules添加以…...

编程日记 2025/6/27 23:40:38

《量子计算实战》PDF下载

内容简介在加密、科学建模、制造物流、金融建模和人工智能等领域，量子计算可以极大提升解决问题的效率。量子系统正变得越来越强大，逐渐可用于生产环境。本书介绍了量子计算的思路与应用，在简要说明与量子相关的科学原理之后，指…...

编程日记 2025/6/27 23:27:18

Win 系统 conda 如何配置镜像源

通过命令添加镜像源（推荐） 以清华源为例，依次执行以下命令： # 添加主镜像源 conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/main # 添加免费开源镜像源 conda config --add channels http…...

编程日记 2025/6/27 23:32:27

[密码学实战]使用C语言实现TCP服务端（二十九）

[密码学实战]使用C语言实现TCP服务端（二十九）引言 TCP（传输控制协议）是互联网通信中最核心的协议之一，它提供可靠的、面向连接的数据传输服务。通过C语言的标准Socket API，开发者可以灵活地实现TCP客户端和服务端程序。本文将详细讲解TCP通信的原理，并提供完整的代码…...

编程日记 2025/6/27 0:28:20

打卡Day34

问题： 背景： 剩余时长总时长 - 必须的计算时长（3秒）。记录间隔、记录次数和剩余时长的关系需要进一步分析。数据观察： 当总epoch为20000时，不同记录间隔对应的记录次数和剩余时长如下： 记…...

编程日记 2025/6/27 11:40:58

谷歌开源医疗领域AI语言模型速递：medgemma-27b-text-it

一、模型概述 MedGemma 是由谷歌开发的一个医疗领域 AI 模型系列，基于 Gemma 3 架构，旨在加速医疗保健相关 AI 应用的开发。该模型系列包含两个主要变体：4B 多模态版本（支持文本和图像理解）以及 27B 纯文本版本&#…...

编程日记 2025/6/27 22:58:27

C++ JSON解析技术详解

一、JSON基础与解析流程 1.1 JSON数据结构 JSON包含两种核心结构（）： 对象：{}包裹的键值对集合数组：[]包裹的值序列 1.2 解析流程 flowchart TDA[加载JSON数据] --> B{数据来源}B -->|字符串…...

编程日记 2025/6/27 23:27:40

多维应用场景的落地实践的智慧园区开源了

智慧园区场景视频监控平台是一款功能强大且简单易用的实时算法视频监控系统。它的愿景是最底层打通各大芯片厂商相互间的壁垒，省去繁琐重复的适配流程，实现芯片、算法、应用的全流程组合，从而大大减少企业级应用约95%的开发成本。用户只需在界…...

编程日记 2025/6/27 22:47:23

本次参数 llamafactory-cli train \ --stage sft \ --do_train True \ --model_name_or_path /home/qhyz/zxy/LLaMA-Factory/model \ --preprocessing_num_workers 16 \ --finetuning_type lora \ --template deepseek3 \ --flash_attn fa2 \ --dataset_dir data \ --dataset …...

编程日记 2025/6/27 7:43:36