当前位置： 首页 > news >正文

字节跳动实习生主导开发强化学习算法，助力大语言模型性能突破

news 来源：原创 2025/8/5 12:53:47

目录

禹棋赢的背景与成就

主要成就

DAPO算法的技术细节

算法优势

禹棋赢的研究历程

关键时间节点

字节跳动的“Top Seed人才计划”

计划特点

小编总结

在大模型时代，经验不再是唯一的衡量标准，好奇心、执行力和对新技术的敏锐洞察力成为推动技术进步的关键因素。字节跳动通过“Top Seed人才计划”为年轻研究者提供资源和平台，让他们能够在前沿技术领域发挥重要作用。本文将详细介绍字节跳动实习生禹棋赢在强化学习（RL）算法领域的突破性贡献，以及他如何通过创新思维推动大语言模型（LLM）的性能提升。

禹棋赢的背景与成就

禹棋赢，2001年出生，本科毕业于哈尔滨工业大学，后直博进入清华大学AIR实验室，目前博士三年级在读。2024年，他作为研究实习生加入字节跳动的“Top Seed人才计划”，并迅速展现出卓越的研究能力。在字节跳动大模型团队内部负责攻坚下一代语言模型的小组中，禹棋赢是唯一一位实习生，且被委以重任，直接负责强化学习方向的研究工作。

主要成就

  1. ​DAPO算法的开发：禹棋赢与清华大学AIR联合实验室SIA Lab共同开发的强化学习算法DAPO取得显著成果，助力Qwen2.5-32B模型在AIME 2024基准测试中超越使用DeepSeek GRPO算法的模型，且训练效率大幅提升。
  2. ​aha moment的实现：去年10月，禹棋赢在字节跳动内部首次实现了类似DeepSeek-R1的“aha moment”，通过强化学习显著提升了模型的推理能力和泛化能力。
  3. ​开源项目：禹棋赢已经将DAPO算法开源，为全球研究者提供了新的思路和工具。

DAPO算法的技术细节

DAPO算法是一种基于结果（outcome-based）的奖励机制进行强化学习，这一创新思路与当时主流方法不同，却最终被证明是有效的。在字节跳动内部小模型和开源数据集的支持下，禹棋赢通过少量GPU资源不断迭代优化，成功让模型自主涌现出复杂的推理能力，甚至超越了当时团队内部最大的模型。

算法优势

特性DAPO算法DeepSeek GRPO算法
训练步数减少50%标准步数
基准测试得分50分45分
推理能力显著提升一般提升

禹棋赢的研究历程

禹棋赢的研究历程充满了创新与突破。他提出使用基于结果（outcome-based）的奖励机制进行强化学习，这一创新思路与当时主流方法不同，却最终被证明是有效的。在字节跳动内部小模型和开源数据集的支持下，禹棋赢通过少量GPU资源不断迭代优化，成功让模型自主涌现出复杂的推理能力，甚至超越了当时团队内部最大的模型。

关键时间节点

时间事件
2023年5月加入字节跳动“Top Seed人才计划”
2023年10月实现“aha moment”
2024年1月DAPO算法开源

字节跳动的“Top Seed人才计划”

字节跳动通过“Top Seed人才计划”为年轻研究者提供资源和平台，让他们能够在前沿技术领域发挥重要作用。该计划不仅提供顶级待遇和算力资源，还鼓励年轻研究者进行自由探索和创新。

计划特点

特点描述
资源支持提供顶级算力资源
待遇业界顶级待遇
探索空间鼓励自由探索和创新

小编总结

禹棋赢的故事反映了当下AI行业对年轻人才的重视。在大模型时代，经验不再是唯一的衡量标准，好奇心、执行力和对新技术的敏锐洞察力成为推动技术进步的关键因素。字节跳动通过“Top Seed人才计划”为年轻研究者提供资源和平台，让他们能够在前沿技术领域发挥重要作用。禹棋赢的突破性贡献不仅为字节跳动在大语言模型领域的技术突破奠定了基础，也为全球研究者提供了新的思路和工具。

相关文章：

字节跳动实习生主导开发强化学习算法，助力大语言模型性能突破

目录 禹棋赢的背景与成就 主要成就 DAPO算法的技术细节 算法优势 禹棋赢的研究历程 关键时间节点 字节跳动的“Top Seed人才计划” 计划特点 小编总结 在大模型时代，经验不再是唯一的衡量标准，好奇心、执行力和对新技术的敏锐洞察力成为推动技术…...

编程日记 2025/8/5 12:53:47

Java并发编程面试题：锁（17题）

🧑 博主简介：CSDN博客专家，历代文学网（PC端可以访问：https://literature.sinhy.com/#/?__c1000，移动端可微信小程序搜索“历代文学”）总架构师，15年工作经验，精通Java编…...

编程日记 2025/8/5 12:52:41

各类神经网络学习：（四）RNN 循环神经网络（下集），pytorch 版的 RNN 代码编写

上一篇下一篇RNN（中集）待编写 代码详解 pytorch 官网主要有两个可调用的模块，分别是 nn.RNNCell 和 nn.RNN ，下面会进行详细讲解。 RNN 的同步多对多、多对一、一对多等等结构都是由这两个模块实现的，只需要将对输入…...

编程日记 2025/8/5 12:48:02

【python】OpenCV—Hand Landmarks Detection

文章目录 1、功能描述2、代码实现3、效果展示4、完整代码5、涉及到的库函数6、参考 更多有趣的代码示例，可参考【Programming】 1、功能描述 基于 opencv-python 和 mediapipe 实现手部关键点的检测（无法检测出手，不过可以根据关键点的信息外…...

编程日记 2025/8/5 12:52:42

C++和标准库速成(十)——类型别名、类型定义、类型推断和标准库简介

目录 1. 类型别名2. 类型定义(不建议)3. 类型推断3.1 auto3.1.1 auto&3.1.2 auto*3.1.3 拷贝列表初始化和直接列表初始化 3.2 decltype 4. 标准库简介参考 1. 类型别名 类型别名为现有的类型声明提供新名称。可以将类型别名视为用于为现有类型声明引入同义词而无须创建新类…...

编程日记 2025/7/30 21:54:51

Java JMX 未授权访问漏洞分析与修复指南

#作者：张桐瑞 文章目录 一、漏洞背景二、漏洞描述三、漏洞影响四、修复方案1. 禁用远程JMX访问：2. 配置JMX访问权限： 一、漏洞背景 Java管理扩展（Java Management Extensions，简称JMX）是Java平台的管理和…...

编程日记 2025/8/3 1:18:23

挂谷问题与挂谷猜想：从平面转针到高维拓扑

挂谷问题与挂谷猜想：从平面转针到高维拓扑 目录 挂谷问题的起源数学定义与基本性质研究进展挂谷集合与挂谷猜想王虹与Joshua Zahl的突破意义与影响 挂谷问题的起源 1917年，日本数学家挂谷宗一(かけや そういち Soichi Kakeya，1886-1947)提…...

编程日记 2025/8/5 12:50:48

区块链 智能合约安全 | 整型溢出漏洞

目录： 核心概念 溢出类型 上溢 原理 案例 下溢 原理 案例 练习 漏洞修复 使用 SafeMath 库（旧版本） 升级 Solidity 版本（≥0.8.0） 地址：zkanzz 整型溢出漏洞（Integer Overflow/Underflow Vulne…...

编程日记 2025/8/5 12:48:24

C# HTTP 文件上传、下载服务器

程序需要管理员权限，vs需要管理员打开 首次运行需要执行以下命令注册URL（管理员命令行） netsh advfirewall firewall add rule name"FileShare" dirin actionallow protocolTCP localport8000 ipconfig | findstr "IPv4&quo…...

编程日记 2025/7/21 12:29:04

IDEA导入jar包后提示无法解析jar包中的类，比如无法解析符号 ‘log4j‘

IDEA导入jar包后提示无法解析jar包中的类 问题描述解决方法 问题描述 IDEA导入jar包的Maven坐标后，使用jar中的类比如log4j，仍然提示比如无法解析符号 log4j。 解决方法 在添加了依赖和配置文件后，确保刷新你的IDE项目和任何缓存&#xff…...

编程日记 2025/8/5 12:50:00

C++前缀和

个人主页：[PingdiGuo_guo] 收录专栏：[C干货专栏] 大家好，今天我们来了解一下C的一个重要概念：前缀和 目录 1.什么是前缀和 2.前缀和的用法 1.前缀和的定义 2.预处理前缀和数组 3.查询区间和 4.数组中某个区间的和是否为特定…...

编程日记 2025/7/29 9:48:14

kafka压缩

最近有幸公司参与kafka消息压缩，背景是日志消息量比较大。kafka版本2.4.1 一、确认压缩算法 根据场景不同选择不同。如果是带宽敏感患者推荐高压缩比的zstd，如果是cpu敏感患者推荐lz4 lz4和zstd底层都使用的是lz77算法，具体实现逻辑不同&am…...

编程日记 2025/8/5 12:48:03

C 语 言 --- 扫 雷 游 戏(初 阶 版)

C 语 言 --- 扫 雷 游 戏 初 阶 版 代 码 全 貌 与 功 能 介 绍扫雷游戏的功能说明游 戏 效 果 展 示游 戏 代 码 详 解game.htest.cgame.c 总结 💻作 者 简 介：曾 与 你 一 样 迷 茫，现 以 经 验 助 你 入 门 C 语 言 💡个 人 主…...

编程日记 2025/8/3 8:01:50

黑鲨外设2025春季新品发布会：全球首款“冷暖双控”鼠标亮相！

据可靠消息称，电竞外设领域的创新引领者——黑鲨外设，正式官宣将于2025年3月28日17:00召开主题为“究极体验，竞在其中”春季新品发布会。据悉，此次新品发布会将于黑鲨游戏外设和黑鲨游戏手机官方平台同步直播，&#xf…...

编程日记 2025/8/5 12:48:02

SpringBoot-MVC配置类与 Controller 的扫描

文章目录 前言一、自动配置类位置二、自动配置类解析2.1 WebMvcAutoConfiguration2.1.1 EnableWebMvcConfiguration 2.2 DispatcherServletAutoConfiguration 三、RequestMapping 的扫描过程3.1 RequestMappingHandlerMapping#afterPropertiesSet3.2 RequestMappingHandlerMapp…...

编程日记 2025/8/5 12:51:30

Nexus L2 L3基本配置

接口基本配置 N7K上所有端口默认处于shutdown状态; N5K上所有端口默认处于no shutdown状态(所有端口都是switchport) 默认所有接口都是三层route模式, 只有当线卡不支持三层的时候, 接口才会处于二层switchport模式 show run all | in “system default” 创建SVI口需要提前打…...

编程日记 2025/8/5 12:50:48

asp.net 4.5在医院自助系统中使用DeepSeek帮助医生分析患者报告

环境： asp.net 4.5Visual Studio 2015本地已经部署deepseek-r1:1.5b 涉及技术 ASP.NET MVC框架用于构建Web应用程序。使用HttpWebRequest和HttpWebResponse进行HTTP请求和响应处理。JSON序列化和反序列化用于构造和解析数据。SSE（服务器发送事件&#xf…...

编程日记 2025/8/5 8:02:12

LCCI ESG 中英联合认证国际分析师适合的岗位

LCCI ESG中英联合认证国际分析师领域热门岗位大揭秘！🌍 大家好！今天我们来探讨LCCI ESG中英联合认证国际分析师领域的热门岗位，看看是否有适合你的选择。 1️⃣ LCCI ESG中英联合认证国际分析师报告专员：主要负责编制…...

编程日记 2025/7/30 19:29:06

AGI成立的条件

AGI（通用人工智能）的成立需满足多项核心条件，这些条件既涵盖技术能力层面的突破，也涉及伦理与认知维度的考量。 一、通用性与多任务处理能力 跨领域泛化能力 AGI需具备类似人类的通用性，能够灵活切换不同领域&#xf…...

编程日记 2025/7/26 12:30:54

论文阅读：2023 EMNLP SeqXGPT: Sentence-level AI-generated text detection

总目录 大模型安全相关研究：https://blog.csdn.net/WhiffeYF/article/details/142132328 SeqXGPT: Sentence-level AI-generated text detection https://aclanthology.org/2023.emnlp-main.73/ https://github.com/Jihuai-wpy/SeqXGPT https://www.doubao.com/…...

编程日记 2025/8/5 8:27:04

解决python配置文件类configparser.ConfigParser，插入、读取数据，自动转为小写的问题

配置类 [Section1] Key_AAA Value[Section2] AnotherKey Value默认情况下，ConfigParser会将ini配置文件中的KEY，转为小写。 重载后配置类： 继承类从configparser.ConfigParser改为configparser.RawConfigParser重载方法optionxform&#…...

编程日记 2025/7/21 12:23:29

超图神经网络的详细解析与python示例

扩展传统集合关系至超边结构，处理高阶交互问题。 有关人工智能的数学基础之逻辑、集合论和模糊理论：看我文章人工智能的数学基础之逻辑、集合论和模糊理论-CSDN博客 一、超图神经网络概述 超图神经网络（Hypergraph Neural Network&#xff0…...

编程日记 2025/7/31 17:13:39

机器视觉中图像的腐蚀和膨胀是什么意思？它能用来做什么？

​腐蚀（Erosion）​和膨胀（Dilation）​是两种基本的形态学操作，通常用于二值图像（黑白图像）的处理。它们是形态学图像处理的基础，广泛应用于图像分割、边缘检测、噪声去除等任务。 1…...

编程日记 2025/7/30 23:47:21

破局 MySQL 死锁：深入理解锁机制与高效解决方案

死锁的原理 1. 什么是死锁？ 当 多个事务 在并发执行时，每个事务都 持有其他事务需要的锁，同时又在 等待对方释放锁，导致所有事务都无法继续执行的状态，称为 死锁（Deadlock）。 2. 死锁的四个必要…...

编程日记 2025/7/28 3:43:03

机器学习——分类、回归、聚类、LASSO回归、Ridge回归（自用）

纠正自己的误区：机器学习是一个大范围，并不是一个小的方向，比如：线性回归预测、卷积神经网络和强化学都是机器学习算法在不同场景的应用。 机器学习最为关键的是要有数据，也就是数据集 名词解释：数据集中的…...

编程日记 2025/8/2 17:20:07

脚本语言 Lua

概念 Lua由标准C编写而成，几乎在所有操作系统和平台上都可以编译、运行。Lua脚本可以很容易地被C/C 代码调用，也可以反过来调用C/C的函数，这使得Lua在应用程序中可以被广泛应用。Lua并没有提供强大的库，它是不适合作为开发独立应…...

编程日记 2025/8/5 12:29:33

Spring相关面试题

目录 Spring中常用的注解有哪些 Spring Boot中RestController和Controller注解有什么区别？ Spring的注解requestBody和responseBody的区别 说说Bean和componentscan的区别 简单介绍一下springboot Spring Boot有哪些常用的Starter依赖？ 说说sprin…...

编程日记 2025/8/4 15:16:18

Python学习- 数据结构类型

一. list list_data [10, 20, 30]列表：是一个不限制类型，可增加，修改，删除的数据类型 可操作的方法：append，extend, pop，del ，insert append: 可向list最后一个位置添加一个元…...

编程日记 2025/8/2 22:54:23

Azure Delta Lake、Databricks和Event Hubs实现实时欺诈检测

设计Azure云架构方案实现Azure Delta Lake和Azure Databricks，结合 Azure Event Hubs/Kafka 摄入实时数据，通过 Delta Lake 实现 Exactly-Once 语义，实时欺诈检测（流数据写入 Delta Lake，批处理模型实时更新&#xff0…...

编程日记 2025/8/3 5:31:53

【从零开始学习计算机科学】软件测试（十）嵌入式系统测试、游戏开发与测试过程、移动应用软件测试 与 云应用软件测试

【从零开始学习计算机科学】软件测试（十）嵌入式系统测试、游戏开发与测试过程、移动应用软件测试 与 云应用软件测试 嵌入式系统测试测试策略及测试流程嵌入式软件测试问题及测试方法嵌入式软件的测试流程游戏开发与测试过程游戏开发与通用软件的开发过程区别游戏测试主要内容…...

编程日记 2025/7/28 1:21:03

C#零基础入门篇(18. 文件操作指南)

## 一、文件操作基础 在C#中，文件操作主要通过System.IO命名空间中的类来实现，例如File、FileStream、FileInfo等。 ## 二、常用文件操作方法 ### （一）文件读取 1. **使用File.ReadAllText方法读取文件内容为字符串** …...

编程日记 2025/8/2 13:41:29

深入探究 JVM 堆的垃圾回收机制（一）— 判活

垃圾回收分为两步：1）判定对象是否存活。2）将“消亡”的对象进行内存回收。 1 判定对象存活 可达性分析算法：通过一系列“GC Roots”对象作为起始节点集，从这些节点开始，根据引用关系向下搜索，…...

编程日记 2025/8/4 14:41:57

SQL优化主要有哪些方式

对经常查询的区分度高的条件字段建立索引，也就是用在where条件里的字段。使用没有建立索引的非主键字段作为条件查询时，会进行全表扫描，因为这个字段的数据分步是不规律的，但是需要避免在频繁更新的字段上建立索引，因为…...

编程日记 2025/7/31 7:51:40

基于Spring Boot的公司资产网站的设计与实现（LW+源码+讲解）

专注于大学生项目实战开发,讲解,毕业答疑辅导，欢迎高校老师/同行前辈交流合作✌。 技术范围：SpringBoot、Vue、SSM、HLMT、小程序、Jsp、PHP、Nodejs、Python、爬虫、数据可视化、安卓app、大数据、物联网、机器学习等设计与开发。 主要内容：…...

编程日记 2025/8/3 5:39:06

笔记本电脑关不了机是怎么回事 这有解决方法

在快节奏的现代生活中，笔记本电脑已成为我们工作、学习和娱乐的得力助手。在使用电脑的过程中，笔记本电脑突然关不了机了，怎么回事？下面驱动人生就来讲一讲笔记本电脑不能正常关机的解决方法，有需要的可以来看看。 一、…...

编程日记 2025/8/4 20:51:08

OSPF 协议详解：从概念原理到配置实践的全网互通实现

什么是OSPF OSPF（开放最短路径优先）是由IETF开发的基于链路状态的自治系统内部路由协议，用来代替存在一些问题的RIP协议。与距离矢量协议不同，链路状态路由协议关心网络中链路活接口的状态（包括UP、DOWN、IP地址、掩码…...

编程日记 2025/8/1 1:33:20

【C++】多态

目录 文章目录 前言 一、多态的概念 二、多态的定义及实现 三、重载/重写/隐藏的对比 四、纯虚函数和抽象类 五、多态的原理 总结 前言 本文主要讲述C中的多态，涉及的概念有虚函数、协变、纯虚函数、抽象类、虚表指针和虚函数表等。 一、多态的概念 多态分…...

编程日记 2025/8/1 17:01:51

CentOS 8 停止维护后通过 rpm 包手动安装 docker

根据 Docker官方文档 的指引，进入 Docker rpm 包下载的地址，根据自己系统的架构和具体版本选择对应的路径 这里使用 Index of linux/centos/7/x86_64/stable/ 版本，根据 docker 官方的给出的安装命令选择性的下载对应的 rpm 包 最终使用 yum …...

编程日记 2025/7/29 15:40:12

STT-MRAM CIM 赋能边缘 AI：高性能噪声鲁棒贝叶斯神经网络宏架构详解

引言 近年来，基于卷积神经网络（CNN）和视觉转换器（ViT）的存算一体（CIM）边缘AI设备因其低延迟、高能效、低成本等性能受到越来越广泛的关注。然而，当环境中存在噪声时（例如…...

编程日记 2025/8/1 5:44:03

Performance Hub Active Report

Performance Hub 是 Oracle Enterprise Manager Database Express （EM Express） 中的一项功能，可提供给定时间范围内所有性能数据的新整合视图。用户可以使用 Database Express 页面顶部的时间选择器选择时间范围，详细信息选项卡将…...

编程日记 2025/8/4 10:36:20

小白闯AI：Llama模型Lora中文微调实战

文章目录 0、缘起一、如何对大模型进行微调二、模型微调实战0、准备环境1、准备数据2、模型微调第一步、获取基础的预训练模型第二步：预处理数据集第三步：进行模型微调第四步：将微调后的模型保存到本地4、模型验证5、Ollama集成部署6、结果测试三、使用总结AI是什么？他应该…...

编程日记 2025/8/4 17:33:17

【数学建模】TOPSIS法简介及应用

文章目录 TOPSIS法的基本原理TOPSIS法的基本步骤TOPSIS法的应用总结 在 多目标决策分析中，我们常常需要在多个选择中找到一个最优解。 TOPSIS（Technique for Order Preference by Similarity to Ideal Solution）法是一个广泛应用的决策方法…...

编程日记 2025/8/3 1:14:56

优选算法训练篇08--力扣15.三数之和(难度中等)

目录 1.题目链接：15.三数之和 2.题目描述： 3.解法(排序双指针) 1.题目链接：15.三数之和 2.题目描述： 给你一个整数数组 nums ，判断是否存在三元组 [nums[i], nums[j], nums[k]] 满足 i ! j、i ! k 且 j ! k &…...

编程日记 2025/7/29 8:27:36

【docker】--- 详解 WSL2 中的 Ubuntu 和 Docker Desktop 的区别和关系！

在编程的艺术世界里，代码和灵感需要寻找到最佳的交融点，才能打造出令人为之惊叹的作品。而在这座秋知叶i博客的殿堂里，我们将共同追寻这种完美结合，为未来的世界留下属于我们的独特印记。【WSL 】--- Windows11 迁移 WSL 超详细指南 —— 给室友换一个宿舍！ 开发环境一、引…...

编程日记 2025/7/31 19:18:27

RAG 架构地基工程-Retrieval 模块的系统设计分享

目录 一、知识注入的关键前奏——RAG 系统中的检索综述 （一）模块定位：连接语言模型与知识世界的桥梁 （二）核心任务：四大关键问题的协调解法 （三）系统特征：性能、精度…...

编程日记 2025/8/4 23:58:44

解决stm32引脚如果选择输入模式

1. 输入模式分类 STM32的GPIO输入模式主要分为以下四种： 浮空输入（Floating Input / Input Floating） 上拉输入（Input Pull-Up） 下拉输入（Input Pull-Down） 模拟输入（Analog Inp…...

编程日记 2025/8/4 7:26:29

Java 填充 PDF 模版

制作 PDF 模版 安装 OnlyOffice 从 OnlyOffice 官网下载 OnlyOffice Desktop，安装过程很简单，一路下一步即可。用 OnlyOffice 制作 PDF 模版（表单） 使用 OnlyOffice 表单设计器，制作表单，如下图 注意命名…...

编程日记 2025/8/4 1:34:53

Maven安装与环境配置

首先我们先介绍一些关于Maven的知识，如果着急直接看下面的安装教程。 目录 Maven介绍 Maven模型 Maven仓库 Maven安装 下载 安装步骤 Maven介绍 Apache Maven是一个项目管理和构建工具，它基于项目对象模型(Project Object Model , 简称: POM)的概念…...

编程日记 2025/8/5 11:02:29

鸿蒙HarmonyOS NEXT应用崩溃分析及修复

鸿蒙HarmonyOS NEXT应用崩溃分析及修复 如何保证应用的健壮性，其中一个指标就是看崩溃率，如何降低崩溃率，就需要知道存在哪些崩溃，然后对症下药，解决崩溃。那么鸿蒙应用中存在哪些崩溃类型呢？又改如何解决…...

编程日记 2025/8/2 22:18:50

基于PySide6的CATIA自动化工具开发实战——空几何体批量清理系统

一、功能概述 本工具通过PySide6构建用户界面，结合PyCATIA库实现CATIA V5的自动化操作，提供两大核心功能： ​空几何体清理：智能识别并删除零件文档中的无内容几何体（Bodies）​空几何图形集清理&#xff1…...

编程日记 2025/8/1 1:35:28