当前位置： 首页 > news >正文

【KWDB 创作者计划】_深度学习篇---数据获取

news 来源：原创 2025/6/22 17:16:17

文章目录

  • 前言
  • 一、公开数据集资源库
    • 1. 综合型数据集平台
      • Kaggle Datasets (https://www.kaggle.com/datasets)
      • Google Dataset Search (https://datasetsearch.research.google.com)
      • UCI Machine Learning Repository (https://archive.ics.uci.edu/ml)
    • 2. 计算机视觉专用
      • ImageNet (http://www.image-net.org)
      • COCO Dataset (https://cocodataset.org)
      • Open Images (https://storage.googleapis.com/openimages/web/index.html)
    • 3. 自然语言处理专用
      • HuggingFace Datasets (https://huggingface.co/datasets)
      • Common Crawl (https://commoncrawl.org)
      • Wikipedia Dumps (https://dumps.wikimedia.org)
  • 二、专业领域数据集
    • 1. 医疗健康
      • MIMIC (https://mimic.mit.edu)
      • CheXpert (https://stanfordmlgroup.github.io/competitions/chexpert)
    • 2. 自动驾驶
      • Waymo Open Dataset (https://waymo.com/open)
      • nuScenes (https://www.nuscenes.org)
    • 3. 遥感与地理空间
      • NASA EarthData (https://earthdata.nasa.gov)
      • EuroSAT (https://github.com/phelber/eurosat)
  • 三、数据生成与增强技术
    • 1. 合成数据生成
      • Blender合成渲染
      • 使用Unity Perception (https://github.com/Unity-Technologies/com.unity.perception)
    • 2. 数据增强策略
      • Albumentations库 (图像增强)
  • 四、网络数据爬取策略
    • 1. 大规模爬取架构
      • URL管理器
      • 下载器集群
      • 解析器
      • 存储层
      • 监控系统
    • 2. 专业爬取工具链
      • Scrapy-Redis 分布式爬虫
  • 五、数据标注平台与工具
    • 1. 开源标注工具
      • LabelImg (图像边界框)
      • Label Studio (多模态标注)
    • 2. 商业标注平台
      • Amazon SageMaker Ground Truth
      • Scale AI
  • 六、数据预处理流水线
    • 1. 高效数据处理框架
      • Apache Beam (批流统一处理)
    • 2. 特征工程工具
      • FeatureTools (自动化特征生成)
  • 七、数据质量验证方法
    • 1. 数据测试框架
      • Great Expectations (数据质量测试)
    • 2. 异常检测技术
      • PyOD (Python异常检测库)
  • 八、法律与伦理注意事项
    • 数据许可证审查
    • 隐私保护措施
    • 爬取道德准则
    • GDPR合规要点
  • 九、实战建议与技巧
    • 数据版本控制
    • 高效数据存储格式
      • 图像
      • 数值数据
      • 文本
    • 数据流水线监控
    • 领域特定技巧
      • 医学影响
      • 时序数据
      • 文本数据

前言

在深度学习竞赛(如Kaggle、天池等)和研究项目中，获取大量高质量数据是成功的关键因素之一。以下是系统化的数据获取方法和资源大全。

一、公开数据集资源库

1. 综合型数据集平台

Kaggle Datasets (https://www.kaggle.com/datasets)

超过5万个公开数据集
涵盖计算机视觉、自然语言处理、时序数据等领域
特色：附带社区讨论和示例代码

Google Dataset Search (https://datasetsearch.research.google.com)

谷歌推出的数据集搜索引擎
索引超过2500万个数据集
支持按领域、格式、许可证等筛选

UCI Machine Learning Repository (https://archive.ics.uci.edu/ml)

最古老的机器学习数据集库之一
包含500+个经典数据集
适合教学和小规模实验

2. 计算机视觉专用

ImageNet (http://www.image-net.org)

1400万张标注图像，2万多个类别
年度ILSVRC比赛的基础数据集
需要学术用途注册

COCO Dataset (https://cocodataset.org)

对象检测、分割和字幕生成基准
33万张图像，250万个标注实例
提供丰富的API工具包

Open Images (https://storage.googleapis.com/openimages/web/index.html)

Google提供的900万张图像数据集
包含图像级标签、目标边界框和分割掩码

3. 自然语言处理专用

HuggingFace Datasets (https://huggingface.co/datasets)

提供2000+个NLP数据集
统一API接口，支持流式加载
包含GLUE、SQuAD等基准数据集

Common Crawl (https://commoncrawl.org)

每月抓取的数十亿网页数据
原始HTML、提取文本和元数据
适合预训练语言模型

Wikipedia Dumps (https://dumps.wikimedia.org)

多语言维基百科全量数据
包含文章历史、链接结构等
适合知识图谱构建

二、专业领域数据集

1. 医疗健康

MIMIC (https://mimic.mit.edu)

重症监护病房的去标识化数据
包含临床记录、生命体征等
需要伦理认证申请

CheXpert (https://stanfordmlgroup.github.io/competitions/chexpert)

22.4万张胸部X光片
14种病理学的多标签分类
斯坦福大学发布

2. 自动驾驶

Waymo Open Dataset (https://waymo.com/open)

包含高分辨率传感器数据
2000段驾驶场景，60万帧
3D边界框和轨迹标注

nuScenes (https://www.nuscenes.org)

1000个复杂驾驶场景
雷达、激光雷达和相机多模态数据
详细的3D物体标注

3. 遥感与地理空间

NASA EarthData (https://earthdata.nasa.gov)

卫星遥感数据综合门户
包含气候、地形、植被等数据
部分数据需专业工具处理

EuroSAT (https://github.com/phelber/eurosat)

2.7万张卫星图像
10种土地覆盖类型
基于Sentinel-2数据

三、数据生成与增强技术

1. 合成数据生成

Blender合成渲染

import bpy# 设置场景和相机
bpy.ops.object.camera_add()
# 添加物体并设置材质
# 批量渲染并保存标注

使用Unity Perception (https://github.com/Unity-Technologies/com.unity.perception)

工业级合成数据生成工具
支持随机化参数和自动标注
可导出COCO格式

2. 数据增强策略

Albumentations库 (图像增强)

import albumentations as Atransform = A.Compose([A.RandomRotate90(),A.Flip(),A.RandomBrightnessContrast(p=0.5),A.GaussNoise(var_limit=(10.0, 50.0))
])augmented = transform(image=image)['image']
nlpaug库 (文本增强)

import nlpaug.augmenter.word as nawaug = naw.ContextualWordEmbsAug(model_path='bert-base-uncased', action="insert")
augmented_text = aug.augment("This is sample text")

四、网络数据爬取策略

1. 大规模爬取架构

URL管理器

URL管理器 - Redis集群

下载器集群

下载器集群 - Scrapy/Requests+代理池

解析器

解析器 - 分布式任务队列(Celery/RabbitMQ)

存储层

存储层 - MongoDB分片集群/HDFS

监控系统

监控系统 - Prometheus+Grafana

2. 专业爬取工具链

Scrapy-Redis 分布式爬虫

# settings.py
SCHEDULER = "scrapy_redis.scheduler.Scheduler"
DUPEFILTER_CLASS = "scrapy_redis.dupefilter.RFPDupeFilter"
REDIS_URL = 'redis://:password@host:port'
Playwright 高级浏览器自动化

async with async_playwright() as p:browser = await p.chromium.launch(headless=False)page = await browser.new_page()await page.goto('https://example.com')await page.screenshot(path='example.png')await browser.close()

五、数据标注平台与工具

1. 开源标注工具

LabelImg (图像边界框)

pip install labelImg
labelImg images/ annotations/

Label Studio (多模态标注)

pip install label-studio
label-studio start

2. 商业标注平台

Amazon SageMaker Ground Truth

支持主动学习增强
整合 Mechanical Turk
自动化标注工作流

Scale AI

专业级标注服务
支持LIDAR点云标注
军事级质量控制

六、数据预处理流水线

1. 高效数据处理框架

Apache Beam (批流统一处理)

with beam.Pipeline() as p:(p | beam.io.ReadFromText('input.txt')| beam.Map(lambda x: x.lower())| beam.io.WriteToText('output'))
Dask (大数据并行处理)

import dask.dataframe as dddf = dd.read_csv('s3://bucket/large-*.csv')
result = df.groupby('category').size().compute()

2. 特征工程工具

FeatureTools (自动化特征生成)

import featuretools as ftes = ft.EntitySet(id='transactions')
es = es.entity_from_dataframe(entity_id='data', dataframe=df,index='id')
feature_matrix, features = ft.dfs(entityset=es, target_entity='data')

七、数据质量验证方法

1. 数据测试框架

Great Expectations (数据质量测试)

import great_expectations as gedf = ge.read_csv("data.csv")
results = df.expect_column_values_to_be_unique("id")
if not results["success"]:print("ID列存在重复值！")

2. 异常检测技术

PyOD (Python异常检测库)

from pyod.models.knn import KNNclf = KNN(contamination=0.1)
clf.fit(X_train)
outliers = clf.predict(X_test)

八、法律与伦理注意事项

数据许可证审查

  1. 仔细检查CC-BY、MIT、Apache等许可证条款
  2. 商业用途需特别授权的情况

隐私保护措施

  1. 实施数据脱敏(PII去除)
  2. 医疗数据需HIPAA合规处理
  3. 人脸数据需特别谨慎

爬取道德准则

  1. 遵守robots.txt协议
  2. 设置合理请求间隔(≥2秒)
  3. 识别并尊重付费墙

GDPR合规要点

  1. 欧盟用户数据的"被遗忘权"
  2. 数据跨境传输限制
  3. 数据主体访问权保障

九、实战建议与技巧

数据版本控制

使用DVC(Data Version Control)管理数据集版本
dvc add dataset/
git add dataset.dvc
dvc push

高效数据存储格式

图像

图像：WebP/JPEG2000

数值数据

数值数据：Parquet/HDF5

文本

文本：压缩JSON Lines

数据流水线监控

  1. 记录数据统计特征变化
  2. 设置数据漂移警报
  3. 定期进行数据健康检查

领域特定技巧

医学影响

医学影像：处理DICOM元数据

时序数据

时序数据：处理缺失值和采样不均

文本数据

文本数据：语言检测和编码处理

通过系统化地应用这些数据获取和处理方法，您可以构建高质量的深度学习数据集，为比赛和项目打下坚实基础。建议根据具体需求组合多种方法，并建立规范的数据管理流程。

相关文章：

【KWDB 创作者计划】_深度学习篇---数据获取

文章目录 前言一、公开数据集资源库1. 综合型数据集平台Kaggle Datasets (https://www.kaggle.com/datasets)Google Dataset Search (https://datasetsearch.research.google.com)UCI Machine Learning Repository (https://archive.ics.uci.edu/ml) 2. 计算机视觉专用ImageNet…...

编程日记 2025/6/22 17:16:17

DeepSeek本地部署手册

版本：v1.0 适用对象：零基础开发者 一、部署前准备 1.1 硬件要求 组件最低配置推荐配置说明CPUIntel i5 8代Xeon Gold 6230需支持AVX指令集内存16GB64GB模型越大需求越高GPUNVIDIA GTX 1060 (6GB)RTX 3090 (24GB)需CUDA 11.7+存储50GB可用空间1TB NVMe SSD建议预留2倍模型大小…...

编程日记 2025/6/22 9:37:45

OpenCV中的SIFT特征提取

文章目录 引言一、SIFT算法概述二、OpenCV中的SIFT实现2.1 基本使用2.1.1 导入库2.1.2 图片预处理2.1.3 创建SIFT检测器2.1.4 检测关键点并计算描述符2.1.5 检测关键点并计算描述符并对关键点可视化2.1.6 印关键点和描述符的形状信息 2.2 参数调优 三、SIFT的优缺点分析3.1 优点…...

编程日记 2025/6/22 7:02:53

Kubernetes in action-初相识

初相识Kubernetes 1、构建、运行以及共享镜像1.1 运行镜像1.2 构建镜像1.3 推送镜像 2、Kubernetes初相识2.1 介绍Pod2.2 从构建到运行整体流程2.3 kubectl命令行工具 如有侵权，请联系～ 如有错误，也欢迎批评指正～ 本篇文章大部分是…...

编程日记 2025/6/3 19:22:36

九、小白如何用Pygame制作一款跑酷类游戏（添加前进小动物作为动态障碍物）

九、小白如何用Pygame制作一款跑酷类游戏（添加前进小动物作为动态障碍物） 文章目录 九、小白如何用Pygame制作一款跑酷类游戏（添加前进小动物作为动态障碍物）前言一、添加小动物素材1. 在根目录的图片文件夹下新建两个目录分别存放…...

编程日记 2025/5/29 14:35:43

Unity3D IK解算器技术分析

前言 在Unity3D中，逆向运动学（IK Solver）是实现角色动画自然交互的核心技术之一。以下是Unity中常见的IK解算器及其特点的综合分析，结合了原生功能、第三方插件与开源方案的对比： 对惹，这里有一个游戏开发…...

编程日记 2025/6/20 12:09:56

7.11 Python CLI开发实战：API集成与异步处理核心技术解析

Python CLI开发实战：API集成与异步处理核心技术解析 #mermaid-svg-fXGFud0phX2N2iZj {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-fXGFud0phX2N2iZj .error-icon{fill:#552222;}#mermaid-svg-fXGFud0phX2N2iZj .…...

编程日记 2025/5/30 6:32:36

百度Create2025 AI开发者大会：模型与应用的未来已来

今日，2025百度AI开发者大会（Create2025）在武汉体育中心盛大开幕。这场以“模型的世界，应用的天下”为主题的盛会，不仅汇聚了李彦宏、王海峰、沈抖等百度高层及行业领袖，更以多项重磅技术发布、前沿议题探讨…...

编程日记 2025/6/3 10:11:39

Java实现HTML转PDF(deepSeekAi-＞html-＞pdf)

Java实现HTML转PDF,主要为了解决将ai返回的html文本数据转为PDF文件方便用户下载查看。 一、deepSeek-AI提问词 基于以上个人数据。总结个人身体信息，分析个人身体指标信息。再按一个月为维度，详细列举一个月内训练计划，维度详细至每周每天…...

编程日记 2025/6/20 10:37:37

区间和数量统计 之 前缀和+哈希表

文章目录 1512.好数对的数目2845.统计趣味子数组的数目1371.每个元音包含偶数次的最长子字符串 区间和的数量统计是一类十分典型的问题：记录左边，枚举右边策略前置题目：统计nums[j]nums[i]的对数进阶版本：统计子数组和%modulo k的…...

编程日记 2025/6/3 6:00:00

【服务器操作指南】从 Hugging Face 上下载文件 | 从某一个网址上下载文件到 Linux 服务器的指定目录

引言 在服务器操作中，下载和管理文件是常见且重要的任务。从 Hugging Face 平台获取模型资源，或从特定网址下载文件至 Linux 服务器并进行解压，都需要明确的操作步骤。本指南旨在为您提供清晰的操作流程，帮助您快速上手相关任务并…...

编程日记 2025/5/29 4:46:19

PyCharm 中 FREECAD 二次开发：从基础建模到深度定制

一、引言 在当今的三维建模与设计领域，FREECAD 以其开源、参数化设计的强大特性，成为众多工程师、设计师和开发者的首选工具。然而，面对日益复杂和多样化的设计需求，仅仅依靠 FREECAD 的原生功能往往难以满足。此时，二…...

编程日记 2025/6/19 22:56:18

C++入侵检测与网络攻防之网络嗅探以及ARP攻击

目录 1.tcpdump基本使用 2.tcpdump条件过滤 3.wireshark介绍 4.wireshark的介绍 5.tcp握手挥手分析 6.telnet服务的介绍和部署 7.复习 8.telnet服务的报文嗅探 9.网络嗅探基础 10.arp协议的解析 11.arp攻击原理以及试验环境 12.arp实验以及防御方式 1.tcpdump基本使…...

编程日记 2025/6/20 5:43:34

Integer[]::new方法引用

Integer[]::new 这种写法是 Java 中方法引用的一种具体应用，它遵循 Java 方法引用的语法规则。 方法引用概述 方法引用是 Java 8 引入的一种简化 Lambda 表达式的语法糖，它允许你通过方法的名称直接引用已有的方法或构造函数。方法引用可以使代码更加简…...

编程日记 2025/6/20 12:26:07

Pycharm（三）：梯度下降法

梯度下降算法（Gradient Descent Algorithm）是深度学习中常用的更新权重的方法，它采用的贪心法的思想，每次都往函数值下降最快的方向去更新，梯度方向是增长最快的方向，负梯度方向是下降最快的方向。 一、梯…...

编程日记 2025/6/20 10:21:48

系统测试的技术要求

文章目录 一、系统测试的概念二、测试对象三、测试目的四、进入条件五、内容要求1、基于需求的考核要求2、基于任务的考核要求 六、测试环境 一、系统测试的概念 系统测试（System Testing），主要是对多个软件组成的系统进行的整体测试。系统测…...

编程日记 2025/5/30 13:12:56

​升级Ubuntu 20.04 LTS到22.04 LTS​

按照 Ubuntu发布周期 每2年会发布一个 "长期支持版" (LTS, Long Term Support)。具体来说，就是每2年的4月份会发布一个支持周期长达5年的稳定版本，如: 20.04 和 22.04 分别代表 2020年4月 和 2022年4月 发布的长期支持版本. 当前(2022年9月)&a…...

编程日记 2025/5/31 10:25:53

【神经网络与深度学习】训练集与验证集的功能解析与差异探究

引言 在深度学习模型的训练过程中，训练集和验证集是两个关键组成部分，它们在模型性能的提升和评估中扮演着不可替代的角色。通过分析这两者的区别和作用，可以帮助我们深入理解模型的学习过程和泛化能力，同时为防止过拟合及优化超…...

编程日记 2025/6/2 22:05:35

单精度浮点运算/定点运算下 MATLAB (VS) VIVADO

VIVADO中单精度浮点数IP核计算结果与MATLAB单精度浮点数计算结果的对比 MATLAB定点运算仿真，对比VIVADO计算的结果 目录 前言 一、VIVADO与MATLAB单精度浮点数运算结果对比 二、MATLAB定点运算仿真 总结 前言 本文介绍了怎么在MATLAB中使用单精度浮点数进行运算…...

编程日记 2025/6/21 20:37:18

如何让 HTML 文件嵌入另一个 HTML 文件：详解与实践

目录 一、为什么需要在HTML中嵌入其他HTML文件？ 二、常用的方法概览 三、利用 1. 基本原理 2. 使用场景 3. 优缺点 4. 实践示例 5. 适用建议 四、利用JavaScript动态加载内容 1. 原理简介 2. 实现步骤 示例代码 3. 优缺点分析 4. 应用场景 5. 实践建…...

编程日记 2025/5/21 19:09:07

7.10 GitHub Sentinel CLI开发实战：Python构建企业级监控工具的5大核心技巧

GitHub Sentinel CLI开发实战：Python构建企业级监控工具的5大核心技巧 GitHub Sentinel Agent 用户界面设计与实现：命令行工具开发实战 关键词：命令行工具开发、Python argparse、API 集成、错误处理、测试覆盖率 设计并实现基本的命令行工具 命令行界面（CLI）是企业级工…...

编程日记 2025/6/19 21:06:18

将AAB转APK的两种好用方法AAB to APK Converter

文章目录 第一种方法：Unity工具转换第二种方法：Python转换参数填写 第一种方法：Unity工具转换 适用人群： 策划，程序等装Unity的人 需要安装： Unity 下载AAB-to-APK-Converter 导入unity，点…...

编程日记 2025/5/31 20:19:52

netcore8.0项目部署到windows服务器中（或个人windows电脑），利用nginx反向代理

1、发布netcore项目，默认即可 1.1、前提，需在appsettings添加Kestrel代理 配置如下： {"Kestrel": {"Endpoints": {"http": {"Url": "http://localhost:7022"},"Https": {&qu…...

编程日记 2025/6/20 2:26:16

Python数据分析案例73——基于多种异常值监测算法探查内幕交易信息

背景 之前有监督模型案例都做烂了，现在来做一下无监督的模型吧，异常检测模型。 其实这个案例主要目的是为了展示这些异常值的无监督算法怎么使用的，本文是一个无监督算法的总结大全。只是恰巧有同学需要做这个内幕交易的数据，因…...

编程日记 2025/6/21 14:49:46

电商数据中台架构：淘宝 API 实时采集与多源数据融合技术拆解

引言 在当今竞争激烈的电商领域，数据已成为企业决策和业务发展的核心驱动力。电商数据中台能够整合和管理企业内外部的各种数据，为业务提供有力支持。其中，淘宝 API 实时采集与多源数据融合技术是数据中台架构中的关键部分。本文将深入探讨这…...

编程日记 2025/6/20 12:58:18

【C语言】动态经典试题练习

前言&#xff1a; 在上一章节讲解了动态的常见错误&#xff0c;在上上章节讲解了动态内存的概念。 古人云&#xff1a; 习题一 请大家看下面的习题&#xff0c;试着分析输出结果 / 找出代码错误的地方。 #include <stdio.h>void GetMemory(char* p) {p (char*)mall…...

编程日记 2025/6/21 1:42:01

Memcached 主主复制架构搭建与 Keepalived 高可用实现

实验目的 掌握基于 repcached 的 Memcached 主主复制配置 实现通过 Keepalived 的 VIP 高可用机制 验证数据双向同步及故障自动切换能力 实验环境 角色IP 地址主机名虚拟 IP (VIP)主节点10.1.1.78server-a10.1.1.80备节点10.1.1.79server-b10.1.1.80 操作系统: CentOS 7 软…...

编程日记 2025/6/19 22:39:23

详解 Servlet 处理表单数据

Servlet 处理表单数据 1. 什么是 Servlet&#xff1f;2. 表单数据如何发送到 Servlet&#xff1f;2.1 GET 方法2.2 POST 方法 3. Servlet 如何接收表单数据&#xff1f;3.1 获取单个参数&#xff1a;getParameter()示例&#xff1a; 3.2 获取多个参数&#xff1a;getParameterV…...

编程日记 2025/6/21 5:28:59

八大排序——冒泡排序/归并排序

八大排序——冒泡排序/归并排序 一、冒泡排序 1.1 冒泡排序 1.2 冒泡排序优化 二、归并排序 1.1 归并排序&#xff08;递归&#xff09; 1.2 递归排序&#xff08;非递归&#xff09; 一、冒泡排序 1.1 冒泡排序 比较相邻的元素。如果第一个比第二个大&#xff0c;就交换…...

编程日记 2025/6/20 8:42:06

高等数学第三章---微分中值定理与导数的应用（3.1微分中值定理3.2洛必达法则）

3.1 微分中值定理 一、罗尔&#xff08;Rolle&#xff09;中值定理 1. 费马&#xff08;Fermat&#xff09;引理 定义&#xff1a; 设函数 y f ( x ) y f(x) yf(x) 满足以下条件&#xff1a; 在点 x 0 x_0 x0​ 的某邻域 U ( x 0 ) U(x_0) U(x0​) 内有定义&#xff1…...

编程日记 2025/6/21 13:47:38

AI超级智能体项目教程（二）---后端项目初始化（设计knif4j接口文档的使用）

文章目录 1.选择JDK的版本和相关配置2.添加依赖信息2.1指定lombok版本信息2.2引入hutool工具类2.3了解knif4j依赖2.4引入knif4j依赖 3.contrller测试3.1完成yml文件配置3.2修改默认扫描路径3.3controller具体的内容3.4配置接口和访问路径3.5如何访问3.6调试接口3.6调试接口 1.选…...

编程日记 2025/6/2 15:21:19

C++面试复习日记（8）2025.4.25，malloc，free和new，delete的区别

1&#xff0c;malloc&#xff0c;free和new&#xff0c;delete的区别 答&#xff1a;malloc和free是c语言中库函数&#xff1b; new和delete是c的操作符&#xff1b; 分配内存&#xff1a;malloc和new 区别&#xff1a; malloc&#xff1a;需要手动计算存储空间 new&#…...

编程日记 2025/6/21 6:14:21

14.ArkUI Radio的介绍和使用

ArkUI Radio 组件介绍与使用指南 什么是 Radio 组件&#xff1f; Radio&#xff08;单选框&#xff09;是 ArkUI 中的单选按钮组件&#xff0c;允许用户从一组互斥的选项中选择一个选项。它通常用于表单、设置界面等需要用户做出单一选择的场景。 Radio 的核心特性 单选功能…...

编程日记 2025/5/30 16:53:58

数据结构------C语言经典题目（7）

1.系统栈和数据结构中的栈有什么区别&#xff1f; 1.本质&#xff1a; 系统栈&#xff1a;由程序运行时由操作系统自动分配的一块连续内存区域&#xff0c;用于存储函数调用过程中的临时数据&#xff08;参数、局部变量、返回地址&#xff09;&#xff0c;是程序运行的底层机制…...

编程日记 2025/6/4 6:46:03

Python教程(一)——Python速览

目录 1. 引言2. Python用作计算器2.1 数字2.2 文本2.3 列表 3. 走向编程的第一步参考 1. 引言 本系列的目的主要是重新回顾Python的语法&#xff0c;以供阅读由Python编写的源码。   在安装完Python后&#xff0c;在命令行中输入python就可以进入交互模式。下文代码段中以>…...

编程日记 2025/5/28 23:08:10

跟我学C++中级篇——处理对象的复制

一、对象的传递 在应用程序中&#xff0c;经常会遇到不同线程或不同模块间需要进行对象的传递&#xff0c;本来传递不是什么多大的事。但问题是&#xff0c;如果对象的值大到一定的程度后&#xff0c;传递不是问题可对象值的处理反而成了问题了。举一个现实世界的例子&#xf…...

编程日记 2025/6/19 23:57:34

基于PyQt5实现仿QQ-第二章-用户登录

基于PyQt5实现仿QQ-第二章-用户登录 Author: Daydreamer 项目简介 本项目基于PyQt5仿照目前流行的即时通信软件QQ&#xff0c;实现了新用户注册、用户登录、自动登录、记住多用户账号、用户搜索、添加好友、好友间聊天&#xff08;消息持久化、同步化&#xff09;等功能。 …...

编程日记 2025/6/2 15:56:20

[OS_8] 终端和 UNIX Shell | 会话和进程组 | sigaction | dash

我们已经知道如何用 “文件描述符” 相关的系统调用访问操作系统中的对象&#xff1a;open, read, write, lseek, close。操作系统也提供了 mount, pipe, mkfifo 这些系统调用能 “创建” 操作系统中的对象。 当然&#xff0c;我们也知道操作系统中的对象远不止于此&#xff0…...

编程日记 2025/6/4 4:08:55

IP查询专业版：支持IPv4/IPv6自动识别并切换解析的API接口使用指南

以下是根据您提供的网页内容编辑的符合CSDN内容发布要求的Markdown格式文本&#xff1a; 一、API概述 在开发过程中&#xff0c;我们常常需要对IP地址进行查询&#xff0c;以获取其详细信息&#xff0c;如地理位置、运营商等。万维易源的“IP查询专业版”API接口能够提供丰富…...

编程日记 2025/6/22 5:59:52

ESG跨境电商如何为国内的跨境电商企业打开国外的市场

现在不管是国内还是国外&#xff0c;做电商的企业都非常的多&#xff0c;那么既然有这么多大电商公司&#xff0c;就要有为这些电商公司提供服务的公司&#xff0c;这就是ESG&#xff0c;它是专门为跨境电商服务的公司&#xff0c;那么这家公司的主要业务是什么呢&#xff1f;它…...

编程日记 2025/6/1 18:52:38

建筑节能成发展焦点，楼宇自控应用范围持续扩大

在全球能源危机日益严峻、环保意识不断增强的大环境下&#xff0c;建筑节能已成为建筑行业发展的核心议题。从大型商业综合体到普通住宅&#xff0c;从公共建筑到工业厂房&#xff0c;节能需求贯穿建筑全生命周期。而楼宇自控系统凭借其对建筑设备的智能化管理和精准调控能力&a…...

编程日记 2025/6/2 7:01:43

中国矿业大学iGMAS分析中心介绍

一、关于GNSS和iGMAS 在浩瀚的太空中&#xff0c;全球卫星导航系统&#xff08;GNSS&#xff09;构建起精准定位的时空基准。IGMAS——国际GNSS监测评估系统&#xff0c;是由中国倡导并主导建设的全球GNSS监测网络&#xff0c;旨在提供高精度、高可靠的导航、定位与授时服务。 …...

编程日记 2025/6/4 0:26:51

python如何取消word中的缩进

在python-docx中&#xff0c;取消缩进可以通过将相应的缩进属性设置为None或0来实现。以下是取消不同类型缩进的方法&#xff1a; 取消左缩进 from docx import Documentdoc Document(existing_document.docx)for paragraph in doc.paragraphs:# 取消左缩进paragraph.paragr…...

编程日记 2025/5/29 21:22:32

Lesar: 面向 Lustre/Scade 语言的形式化模型检测工具

在《同步反应式系统》的第一课中&#xff0c;介绍了同步数据流语言 Lustre 生态中的形式化模型检查器 Lesar 的用法。Lesar 可对 lustre v4 语言以及 Scade 语言中部分数据流核心特性进行模型检查。 Lesar 介绍 Lesar 是 Verimag 研发维护的形式化方法模型检查工具。该工具的理…...

编程日记 2025/6/21 5:45:30

YOLOv12 改进有效系列目录 - 包含卷积、主干、检测头、注意力机制、Neck上百种创新机制 - 针对多尺度、小目标、遮挡、复杂环境、噪声等问题！

&#x1f525; 在 YOLO 系列一路狂飙之后&#xff0c;YOLOv12 带来了令人耳目一新的范式转变——它不再以 CNN 为绝对核心&#xff0c;而是首次 围绕注意力机制构建 YOLO 框架&#xff0c;在保证实时性的前提下&#xff0c;将检测精度再次推向新高度&#xff01; 为了进一步探…...

编程日记 2025/6/20 19:38:07

STM32 I2C总线通信协议

引言 在嵌入式系统开发领域&#xff0c;I2C&#xff08;Inter-Integrated Circuit&#xff09;总线作为经典的双线制串行通信协议&#xff0c;凭借其简洁的物理层设计和灵活的通信机制&#xff0c;在传感器互联、存储设备控制、显示模块驱动等场景中占据重要地位。本文将深入剖…...

编程日记 2025/6/3 18:36:25

多物理场耦合低温等离子体装置求解器PASSKEy2

文章目录 PASSKEy2简介PASSKEY2计算流程PASSKEy2 中求解的物理方程电路模型等离子体模型燃烧模型 PASSKEy2的使用 PASSKEy2简介 PASSKEy2 是在 PASSKEy1 的基础上重新编写的等离子体数值模拟程序。 相较于 PASSKEy1&#xff0c; PASSKEy2 在具备解决低温等离子体模拟问题的能力…...

编程日记 2025/5/31 14:06:04

【Harmony_Bug】forEach + asyncawait 的异步陷阱

一、问题描述 今天在做一个RDB的小项目时&#xff0c;遇到一个问题&#xff0c;因为没报错其实也是不算是BUG&#xff0c;以下描述时我就直接说关键点&#xff0c;其他代码忽略。 我的数据模型初始化有六条数据如图 在持久化层&#xff0c;通过initUserData这个方法执行插入。…...

编程日记 2025/6/22 14:57:25

智慧医院建设的三大关键领域

智慧医院建设是医疗行业数字化转型的核心载体&#xff0c;其本质是通过新一代信息技术重构医疗服务模式、优化管理流程、提升患者体验。在当前医疗资源供需矛盾突出的背景下&#xff0c;智慧医院建设已从单纯的设备智能化向系统性变革演进&#xff0c;主要集中在以下三大关键领…...

编程日记 2025/6/1 2:17:17

雷电模拟器怎么更改IP地址

游戏搬砖会使用雷电模拟器多开窗口&#xff0c;若模拟器窗口开多了&#xff0c;IP地址是一样的就怕有限制&#xff0c;很容易被游戏后台检测到。在雷电模拟器中更改IP地址可以通过以下方法实现&#xff1a; 方法一&#xff1a;通过模拟器内设置代理 1. 打开雷电模拟器 启动雷…...

编程日记 2025/6/3 16:07:16