当前位置：首页 > news >正文

【漫话机器学习系列】217.监督式深度学习的核心法则（Supervised Deep Learning Rule Of Thumb）

news 来源：原创 2025/7/16 11:08:26

监督式深度学习的核心法则：你需要多少数据？

原图作者：Chris Albon

在进行深度学习项目时，我们常常面临一个核心问题：我到底需要多少训练数据？这是许多初学者甚至资深工程师都会困惑的问题。图中给出了一个非常实用的“监督式深度学习样本数量经验法则”，可以作为我们评估数据需求时的参考依据。

经验法则一：如果你想获得“好的”结果，每个类别至少需要 5000 个样本

图中提到的第一条建议是：

如果想获得好的结果，每个类别的样本数至少要达到：5000

这句话的含义是：在一个分类任务中，如果我们希望模型可以对每个类别都能进行基本有效的预测，那么每个类别至少需要5000 条高质量、标注清晰的数据样本。

举个例子：

假如你正在训练一个猫狗识别模型（即2类分类任务）：

猫类样本：5000 条
狗类样本：5000 条

那你总共至少需要 10,000 条训练样本，模型才有可能达到“还不错”的表现。

当然，所谓“还不错”，并不意味着超越人类或者可商用，而是能避免严重过拟合、欠拟合，并具备一定的泛化能力。

经验法则二：如果你想达到“人类水平”的预测精度，总样本数至少需要 1000 万

如果想达到人类水平的预测成绩，样本总数至少需要达到：10,000,000

这条建议更进一步地指出，如果你希望模型在某项任务上能够逼近甚至媲美人类专家的水平，比如图像识别、语音识别、语言理解等领域，那么你就得准备千万级别的数据量。

举个例子：

你想训练一个能像人一样识别图像中的物品的模型，参考 Google 的 ImageNet 分类挑战赛，其训练集包含了：

超过 1000 个类别
每个类别数千张图像
总图像数超过 1400 万张

这正好印证了这条经验法则。

为什么需要这么多数据？

1. 模型参数多，容易过拟合

深度神经网络模型的参数往往是数百万甚至上亿级别，没有大量数据支撑，模型很容易陷入过拟合，只记住训练样本，而无法泛化。

2. 特征空间复杂

深度学习模型的强大之处在于可以自动学习特征，但前提是这些特征在数据中充分存在且多样化。数据不足时，模型就学不到足够的通用特征。

3. 类别不平衡问题

在多分类任务中，如果某些类别的数据量特别少，模型训练出来可能会忽略这些类别，导致严重偏差。5000 是一个让模型“看到足够多该类样本”的下限估计。

真实项目中我们怎么办？

现实项目中，并不是每个人都能拿到成千上万的标注数据，那我们该怎么办？

1. 数据增强（Data Augmentation）

常用于图像、语音任务，例如旋转、缩放、裁剪、添加噪声等，能有效扩展训练集。

2. 迁移学习（Transfer Learning）

加载在大规模数据集（如 ImageNet）上预训练好的模型，只在自己小数据集上微调，可以在数据不足的情况下获得不错效果。

3. 合成数据（Synthetic Data）

通过仿真模拟、人为生成等方式合成更多训练样本，比如 GPT、Diffusion 模型可以用来生成文本或图像训练数据。

4. 半监督 / 弱监督 / 无监督方法

例如伪标签学习、自监督对比学习等，是近年来研究的热点，能在标签缺失或数据稀缺下仍训练出有一定能力的模型。

总结

Chris Albon 总结的“监督式深度学习样本数量法则”并非铁律，但在大多数实际项目中都具有很高的指导意义：

目标	所需样本量（估计）
获取还不错的结果	每类 5000 个样本
达到人类水平	总样本 1000 万

这提醒我们，在考虑模型结构、损失函数、调参技巧之前，数据质量和数量始终是最重要的因素之一。

如果你正在启动一个新项目，不妨先看看你的数据量是否符合这些经验线，再决定是否继续深度学习的方向。

欢迎在评论区分享你的项目数据量与模型表现之间的真实关系！

参考资料：

Chris Albon. Machine Learning Flashcards
Andrew Ng. Data-centric AI Movement
Stanford CS231n 课程讲义

【漫话机器学习系列】217.监督式深度学习的核心法则（Supervised Deep Learning Rule Of Thumb）

监督式深度学习的核心法则：你需要多少数据？ 原图作者：Chris Albon 在进行深度学习项目时，我们常常面临一个核心问题：我到底需要多少训练数据？这是许多初学者甚至资深工程师都会困惑的问题。图中给出了一个非…...

编程日记 2025/7/16 11:08:26

OpenCV --- 图像预处理（六）

OpenCV — 图像预处理（六） 文章目录 OpenCV --- 图像预处理（六）十四，图像边缘检测14.1 高斯滤波14.2 计算图像的梯度与方向14.3 非极大值抑制14.4 双阈值筛选14.5 API和使用十五，绘制图像轮廓15.1 什么是轮…...

编程日记 2025/7/17 9:50:39

WebRTC服务器Coturn服务器的管理平台功能

1、概述开源的webrtc服务器提供管理平台功能，用户可以通过web页面进行访问配置coturn服务器，主要包括管理平台功能和telnet的管理功能，coturn相当于telnet服务器，可能通过配置来开启这两个功能，方便查看coturn服务器…...

编程日记 2025/7/9 21:39:35

华为网路设备学习-19 路由策略

一、二、注意： 当该节点匹配模式为permit下时，参考if else 当该节点匹配模式为deny下时： 1、该节点中的apply子语句不会执行。 2、如果满足所有判断（if-match）条件时，拒绝该节点并跳出（即不…...

编程日记 2025/6/29 11:31:14

理解RAG第六部分：有效的检索优化

在RAG系统中，识别相关上下文的检索器组件的性能与语言模型在生成有效响应方面的性能同样重要，甚至更为重要。因此，一些改进RAG系统的努力将重点放在优化检索过程上。从检索方面提高RAG系统性能的一些常见方法。通过实施高级检索技术&#x…...

编程日记 2025/7/16 4:54:52

DOCA介绍

本文分为两个部分： DOCA及BlueField介绍如何运行DOCA应用，这里以DNS_Filter为例子做大致介绍。 DOCA及BlueField介绍： 现代企业数据中心是软件定义的、完全可编程的基础设施，旨在服务于跨云、核心和边缘环境的高度分布式应用工作…...

编程日记 2025/7/17 9:54:51

Hadoop----高可用搭建

目录标题 **什么是高可用？****⭐搭建的步骤**一.jdk**安装配置**- **要点**: 二.zookeeper**集群配置**- **要点** 三.Hadoop高可用的搭建- **要点**①环境变量的配置②配置文件的修改 ③内容分发④集群任务的初次启动什么是高可用？ 通过冗余设计自动…...

编程日记 2025/7/17 9:31:44

2023蓝帽杯初赛内存取证-1

获取关于内存镜像文件的基本信息： vol.py -f memdump.mem imageinfo 得知Image local date and time : 2023-06-21 01:02:27 0800 Image local date and time是本地时区（中国——东八区） 答案：2023-06-21 01:02:27...

编程日记 2025/7/9 4:56:40

算法之回溯法

回溯法回溯法定义与概念核心思想回溯法的一般框架伪代码表示C语言实现框架回溯法的优化技巧剪枝策略实现剪枝的C语言示例记忆化搜索案例分析N皇后问题子集和问题全排列问题寻路问题回溯法的可视化理解决策树状态空间树回溯过程回溯法与其他算法的比较回溯法与动态规划的区…...

编程日记 2025/7/16 19:50:08

Linux 内核中 cgroup（控制组）作用是什么？

cgroup（Control Groups） 是 Linux 内核提供的一种机制，用于对进程（或线程）组进行资源限制、优先级分配、统计监控和任务控制。通过将进程分组管理，可以实现对 CPU、内存、磁盘 I/O、网络等系统资源的精细…...

编程日记 2025/6/29 9:32:48

Relay IR的核心数据结构

在 Apache TVM 的 Relay IR 中，基础节点（Var、Const、Call、Function 和 Expr）是构建计算图的核心数据结构。以下是对它们的详细解析，包括定义、作用、内部组成及相互关系： 1. Expr（表达式基类）…...

编程日记 2025/7/17 6:58:01

【MCP Node.js SDK 全栈进阶指南】初级篇（4）：MCP工具开发基础

在MCP（模型上下文协议）的生态系统中，工具（Tools）是一种强大的扩展机制，允许AI模型执行各种操作并获取结果。本文将深入探讨MCP TypeScript-SDK中的工具开发基础，包括工具定义与参数验证、Zod模式详解与高级用法、异步工具处理与错误管理以及工具调用与结果格式化。通过学…...

编程日记 2025/7/17 5:07:24

3Blue1Brown/videos - 数学视频生成代码库

本文翻译整理自：https://github.com/3b1b/videos 文章目录一、关于本项目相关链接资源关键功能特性二、注意事项三、工作流1、核心原理2、Sublime 专用配置四、快捷键功能说明一、关于本项目本项目包含用于生成 3Blue1Brown 数学解说视频的代码。相关链接资源…...

编程日记 2025/6/29 10:22:54

vue3 + element-plus中el-drawer抽屉滚动条回到顶部

el-drawer抽屉滚动条回到顶部 <script setup lang"ts" name"PerformanceLogQuery"> import { ref, nextTick } from "vue"; ...... // 详情 import { performanceLogQueryByIdService } from "/api/performanceLog"; const onD…...

编程日记 2025/6/29 11:20:59

【inlining failed in call to always_inline ‘_mm_aesenclast_si128’】

gcc编译错误：inlining failed in call to always_inline ‘_mm_aesenclast_si128’: target specific option mismatch 消除方法： 假如是GCC，则CFLAGS添加如下编译选项：-maes 假如是cmake，参加如下脚本： …...

编程日记 2025/7/16 5:04:07

DB-GPT支持mcp协议配置说明

简介在 DB-GPT 中使用 MCP（Model Context Protocol）协议，主要通过配置 MCP 服务器和智能体协作实现外部工具集成与数据交互。开启mcp服务，这里以网页抓取为例 npx -y supergateway --stdio "uvx mcp-server-fetch" …...

编程日记 2025/7/10 20:52:32

前端之勇闯DOM关

一、DOM简介 1.1什么是DOM 文档对象类型（Document Object Model，简称DOM），是W3C组织推荐的处理课扩展标记语言（HTML或者XML）的标准编程接口 W3C已经定义了一系列的DOM接口，通过这些DOM接口可…...

编程日记 2025/7/13 1:42:11

实现鼠标拖拽图片效果

我们需要一个图片可以是你的女朋友可以是男朋友 ，我就拿窝的偶像一个大佬——>甘为例吧！ 哈哈哈哈哈 <!DOCTYPE html> <html lang"en"> <head><meta charset"UTF-8"><meta name"viewport&q…...

编程日记 2025/7/13 6:52:48

nodejs模块暴露数据的方式，和引入（导入方式）方式

在 Node.js 中，模块之间通过模块导出（exports） 和模块导入（require 或 ESModule 的 import） 来进行数据和功能的共享。下面我详细总结一下两种主要的模块系统： 一、CommonJS 模块（Node.js 默认…...

编程日记 2025/6/29 9:32:42

AXOP33552: 400MHz 高速双通道运算放大器

AXOP33552是一款通用型高速双通道运算放大器，产品的工作电压为2V至5.5V，具有400MHz的带宽，f0.1dB的带宽为 120MHz，单通道静态电流为10mA。产品特别对噪声和THD做了优化，其噪声为5nV/√Hz 1MHz，2次谐波为-85…...

编程日记 2025/7/14 6:25:43

Spring Boot日志配置

目录 logback 使用logback 获取日志对象日志级别控制日志输出级别日志输出格式控制配置方式日志转存示例日志是应用程序不可或缺的一部分，记录着程序运行的信息。主要作用有： 记录日常运营的重要信息记录应用报错信息记录过程数据等…...

编程日记 2025/7/9 11:49:35

不可变数据:基于持久化数据结构的状态管理

不可变数据:基于持久化数据结构的状态管理一、什么是不可变数据？ 不可变数据是指一旦创建就无法更改的数据。在计算机科学中，不可变数据结构是指其内容或状态不能被修改的数据结构。在不可变数据中，所有修改操作都会生成新的数据副本&#…...

编程日记 2025/7/17 4:36:20

PyTorch卷积层填充（Padding）与步幅（Stride）详解及代码示例

本文通过具体代码示例讲解PyTorch中卷积操作的填充（Padding）和步幅（Stride）对输出形状的影响，帮助读者掌握卷积层的参数配置技巧。一、填充与步幅基础填充（Padding）：在输入数据边缘…...

编程日记 2025/7/10 1:26:21

C++手撕STL-其叁

Deque 今天我们进入新的容器：deque，一般叫做双端队列。比起传统的先入先出的队列queue，deque的出场率显然要低得多，事实上deque比起queue来说最大的特点就是多了一个push_front()和pop_front()，其他并没有太多不同。…...

编程日记 2025/7/13 20:16:41

AI大模型－window系统CPU版安装anaconda以及paddle详细步骤-亲测有效

window系统CPU版安装anaconda以及paddle详细步骤-亲测有效一安装anaconda 下载地址：anaconda下载下载成功后，选择非C盘安装，按提示安装即可修改镜像文件安装成功后，运行anaconda软件，若提示更新则点击更新，更新完后，修改镜像文件找到用户目录下的.condarc文件，覆…...

编程日记 2025/6/29 9:33:24

UML概览

🥰名片： 🐳作者简介：乐于分享知识的大二在校生 🌳本系列专栏: (点击直达)统一建模语言UML 🫣致读者：欢迎评论与私信,对于博客内容的疑问都会尽量回复哒!!! 本文序： ⛰️本文介绍&…...

编程日记 2025/7/15 22:14:42

影刀填写输入框(web) 时出错: Can not convert Array to String

环境： 影刀5.26.24 Win10专业版问题描述： [错误来源]行12: 填写输入框(web) 执行填写输入框(web) 时出错: Can not convert Array to String. 解决方案： 1. 检查变量内容在填写输入框之前，打印BT和NR变量的值&#xff…...

编程日记 2025/7/11 2:01:30

LLMs可在2位精度下保持高准确率

每周跟踪AI热点新闻动向和震撼发展想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/7/16 7:51:56

C语言高频面试题——结构体和联合体区别

在 C 语言中，结构体（struct） 和联合体（union） 是两种重要的复合数据类型，用于组织和管理多个相关的变量。尽管它们在语法上有些相似，但在内存布局、用途和行为上有显著的区别。以下是详细的对比…...

编程日记 2025/7/17 7:48:02

App爬虫工具篇-mitmproxy

mitmproxy 是一个支持 HTTP 和 HTTPS 的抓包程序，类似 Fiddler、Charles 的功能，它通过控制台的形式和ui界面的方式此外，mitmproxy 还有两个关联组件，一个是 mitmdump，它是 mitmproxy 的命令行接口，利用它可以对接 Python 脚本，实现监听后的处理；另一个是 mitmweb，它…...

编程日记 2025/7/13 9:05:19

配置openjdk调试环境

先决条件首先在Ubuntu 18.04上编译SlowDebug版本的openjdk。注意，这里我选择的是x86处理器的电脑。苹果M系列属于ARM芯片，指令集不一样。由于我在苹果上进行垃圾回收调试的时候会报SIGILL错误。为了了解JVM的内部工作原理，不要在这种问题上…...

编程日记 2025/7/12 12:49:51

加油站小程序实战教程13充值规则配置

目录 1 创建数据源2 搭建管理功能最终效果我们目前已经实现了会员的注册以及登录功能，有了基础的认证之后就进入到了业务部分的开发。会员的话首先是可以进行充值，在充值的时候通常会有一定的赠送，本篇我们来开发一下充值规则的配置功能。 1…...

编程日记 2025/6/29 11:53:14

jQuery — 总结

介绍 jQuery是一款高效、轻量级的JavaScript库，旨在简化网页开发中的常见任务。自2006年发布以来，它凭借直观的语法和强大的功能迅速成为前端开发的标配工具。其核心设计理念是“写更少，做更多”，通过封装复杂的原生JavaScript操作…...

编程日记 2025/7/14 8:01:22

【信息安全工程师备考笔记】第二章网络信息安全概述

第二章网络攻击原理与常用方法 2.1 网络攻击概述概念：损害网络系统安全属性的危害行为危害行为基本类型信息泄露攻击（机密性）完整性破坏攻击（完整性）拒绝服务攻击（可用性）非法使用攻击…...

编程日记 2025/6/29 9:34:38

国家自然科学基金答辩ppt制作案例模板下载

国家自然科学基金 National Natural Science Foundation of China 支持基础研究，坚持自由探索，发挥导向作用，发现和培养科学技术人才，促进科学技术进步和经济社会协调发展，逐渐形成和发展了由研究项目、人才项目和环境…...

编程日记 2025/7/11 16:29:46

代码随想录第三十七天|华为秋季笔试真题230823

刷题小记： 主要偏向扎实编码基础的考察，但貌似近些年题目难度有所提高，仅供参考。卡码网136.获取连通的相邻节点列表（卡码网136.获取连通的相邻节点列表） 题目分析： 题目描述： 存在N个转发…...

编程日记 2025/7/12 4:00:51

KUKA机器人KR 3 D1200 HM介绍

KUKA KR 3 D1200 HM是一款小型机器人，型号中HM代表“Hygienic Machine（卫生机械）用于主副食品行业”，也是一款并联机器人。用于执行高速、高精度的抓取任务。这款机器人采用食品级不锈钢设计，额定负载为3公斤&#xff…...

编程日记 2025/7/9 8:23:20

从零开始创建MCP Server实战指南

一、MCP协议核心概念 1.1 什么是MCP？ MCP（Model Context Protocol） 是一个标准化的“沟通规则”，由公司Anthropic提出，专门用于让大语言模型（LLM，比如通义千问、ChatGPT等）与外部工…...

编程日记 2025/7/16 5:31:27

C语言教程（十二）：C 语言数组详解

一、引言数组的基本概念数组是一组具有相同数据类型的元素的集合，这些元素在内存中连续存储。通过一个统一的数组名和下标来访问数组中的每个元素。使用数组可以方便地处理大量相同类型的数据，避免为每个数据单独定义变量。二、一维数组 2.1 数组的…...

编程日记 2025/7/12 16:01:44

Linux[基础指令][2]

Linux[基础指令][2] cp(复制) 格式:cp [-rf] 源文件 {普通文件,目录} 拷贝 cp -r 递归拷贝目录蓝色为目录,白色为具体文件拷贝后面加一个不存在的文件会新建文件再拷贝 cp -ir -i是覆盖的时候询问如果目标文件存在就会覆盖原有文件 mv(重命名/剪切) 格式:mv 源文件…...

编程日记 2025/7/10 1:36:40

MySQL_MCP_Server_pro接入cherry_studio实现大模型操作数据库

大模型直接与数据库交互，实现基本增删改查操作。首先贴下代码地址： https://github.com/wenb1n-dev/mysql_mcp_server_pro 安装环境：win10 1、下载代码 git clone https://github.com/wenb1n-dev/mysql_mcp_server_pro 2、使用conda创建…...

编程日记 2025/6/29 10:59:30

linux命令集

命令 grep -r --includeAndroid.bp libcfs ./ 参数说明选项/参数作用-r递归搜索子目录。--includeAndroid.bp仅搜索名为 Android.bp 的文件（精确匹配文件名）。libcfs要搜索的关键字（单引号包裹特殊字符如以避免被 Shell 解析&#xff…...

编程日记 2025/7/16 14:14:32

数据结构：链表

链表的概念及结构： 链表的概念： 链表是一种物理储存结构上非连续的储存结构，数据元素的逻辑顺序是通过引用链接次序实现的那物理存储结构连续是什么意思？ 之前我们讲过顺序表，顺序表的底层是数组，如下…...

编程日记 2025/7/12 7:23:56

【高并发内存池】从零到一的项目之高并发内存池整体框架设计及thread cache设计

个人主页 ： zxctscl 专栏【C】、【C语言】、【Linux】、【数据结构】、【算法】如有转载请先通知文章目录前言1. 高并发内存池整体框架设计2. 高并发内存池--thread cache2.1 定长内存池的问题2.2 整体框架2.3 自由链表2.4 thread cache哈希桶的对齐规则2.5…...

编程日记 2025/7/11 5:42:45

电气动调节单座V型球阀带阀杆节流套沟槽孔板的作用-耀圣

电气动调节单座V球阀杆节流套是阀门中的一个重要组件，主要用于调节和控制流体介质的流量、压力或流速，同时兼具导向、密封和稳定阀杆运动降低流速减少冲刷的作用。以下是其具体功能和应用场景的详细说明： 1. 节流与流量控制** 作用原理**&am…...

编程日记 2025/7/16 4:52:37

vscode使用笔记

文章目录安装快捷键 vscode是前端开发的一款利器。安装快捷键 ctrlp # 查找文件(和idea的双击shift不一样) ctrlshiftf # 搜索内容...

编程日记 2025/7/6 2:36:56

基于 SpringAI 整合 DeepSeek 模型实现 AI 聊天对话

目录 1、Ollama 的下载配置与 DeepSeek 的本地部署流程 1.1 下载安装 Ollama 1.2 搜索模型并进行本地部署 2、基于 SpringAI 调用 Ollama 模型 2.1 基于OpenAI 的接口规范（其他模型基本遵循） 2.2 在 IDEA 中进行创建 SpringAI 项目并调用 DS 模型 3、基…...

编程日记 2025/7/10 21:44:24