当前位置： 首页 > news >正文

OpenAI推出PaperBench

news 来源：原创 2025/8/29 8:51:13

  每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领域的领跑者。点击订阅，与未来同行！ 订阅：https://rengongzhineng.io/

OpenAI最近又悄悄放了个“大招”——推出了一个名叫PaperBench的新基准测试，直接对当下AI能力来了波“灵魂拷问”。别以为这只是个普通的benchmark，这玩意儿一上线，就让很多人清醒地认识到：AI离吹的那么神还差得远。

这次的PaperBench测试，并不是让AI看看论文、讲讲道理，而是直接让AI“硬刚”顶会论文的完整复现。不是读读摘要，不是复制代码片段，而是要真刀真枪地把ICML 2024精选的20篇论文，从头到尾——代码、实验、结果，全都亲自重现一遍。

OpenAI这次搞得相当细。为了看清AI到底卡在哪儿，他们把这些论文拆成了8,316个可评分的小任务，等于给每个环节都设了“监控”，精准掌握AI是在哪儿摔了跟头。

结果令人谦卑（甚至有点心凉）：目前表现最好的AI组合，是Claude 3.5 Sonnet加上一套开源辅助工具，也只拿到了21.0%的复现分数。也就是说，即便是市面上最强的AI，也只能完整复现五分之一的前沿研究论文。

OpenAI这波还请了顶尖的机器学习博士生来做同样的任务，结果证明：人类依然是这个领域的王者。这种“人类基准线”是非常必要的参考，让那21%的得分不再是抽象的数字，而是有了真正的对照。

而PaperBench并不只是学术游戏。这套评估体系已经被纳入多家巨头的AI安全架构里用来评估“自主能力”：OpenAI的Preparedness Framework、Anthropic的Responsible Scaling Policy、以及Google DeepMind的Frontier Safety Framework都在用。因为如果AI能自主复现甚至扩展研究，那离“自己提升自己”的AI就不远了，风险和机遇也随之而来。

为了保证公正性，OpenAI还请来了这些论文的原作者参与打分标准的制定，同时用大模型自动评审这些复现成果，并另设基准来检测这些“AI评委”的可靠性。整个流程可以说是严丝合缝。

PaperBench也加入了一个越来越细分的AI评估生态圈，像BioLP-bench专测AI懂不懂生物实验流程，MLE-bench评AI做ML工程的能力，∞Bench则看AI能不能处理超级长的上下文。这种细分测试，逐渐取代了那种一锅炖的通用评分方式，能更真实地刻画出AI的实际能力边界。

最关键的发现是：AI在需要深层理解、创造性判断、模糊信息处理的任务上，依然抓瞎。复现科研论文，不是看说明书装机器，而是要理解原理、猜测实现细节，还要在Bug里摸出一条生路。这种事，目前AI还真的不太行。

不过，这次OpenAI也很给力地把PaperBench开源了。所有的代码、打分标准，全都扔上了GitHub，鼓励大家共同改进、透明监督。

一句话总结：PaperBench不仅立下了AI科研能力的起点线，也摆明了AI和人类在复杂任务上的差距有多大。这是一个看得见的挑战，同时也是通往真正有用AI的必经之路。接下来，大家就等着看，AI要花多长时间才能真正突破这21%的关卡。

相关文章：

OpenAI推出PaperBench

每周跟踪AI热点新闻动向和震撼发展 想要探索生成式人工智能的前沿进展吗？订阅我们的简报，深入解析最新的技术突破、实际应用案例和未来的趋势。与全球数同行一同，从行业内部的深度分析和实用指南中受益。不要错过这个机会，成为AI领…...

编程日记 2025/8/29 8:51:13

基于LSTM的文本分类2——文本数据处理

前言 由于计算机无法认识到文字内容，因此在训练模型时需要将文字映射到计算机能够识别的编码内容。 映射的流程如下： 首先将文字内容按照词表映射到成唯一的数字ID。比如“我爱中国”，将“中”映射为1，将“国”映射到2。再将文…...

编程日记 2025/8/28 10:35:10

神经网络与深度学习：案例与实践——第三章（2）

神经网络与深度学习：案例与实践——第三章（2） 基于Softmax回归的多分类任务 Logistic回归可以有效地解决二分类问题，但在分类任务中，还有一类多分类问题，即类别数 C大于2 的分类问题。Softmax回归就是Log…...

编程日记 2025/8/28 14:37:51

Maven/Gradle的讲解

一、为什么需要构建工具？ 在理解 Maven/Gradle 之前，先明确它们解决的问题： ​​依赖管理​​：项目中可能需要引入第三方库（如 Spring、JUnit 等），手动下载和管理这些库的版本非常麻烦。​​标…...

编程日记 2025/8/29 7:33:19

常见的HR面问题汇总

⚠️注意：以下仅是个人对问题的参考，具体情况视个人情况而定～ 1. 你觉得你有哪些优点和缺点？ 优点：学习能力强，遇到问题会主动思考和查找解决方案；有责任心，对待工作认真负责&#…...

编程日记 2025/8/28 15:54:01

把握数据治理关键，释放企业数据潜能

数据治理是对数据资产管理行使权力和控制的活动集合，以下是关于它的详细介绍： 一、定义 数据治理是指从使用零散数据变为使用统一主数据、从具有很少或没有组织和流程治理到企业范围内的综合数据治理、从尝试处理主数据混乱状况到主数据井井有条的一个…...

编程日记 2025/8/29 0:12:01

优化 Web 性能：处理非合成动画（Non-Composited Animations）

在 Web 开发中，动画能够增强用户体验，但低效的动画实现可能导致性能问题。Google 的 Lighthouse 工具在性能审计中特别关注“非合成动画”（Non-Composited Animations），指出这些动画可能增加主线程负担，影响…...

编程日记 2025/8/28 3:37:14

房地产之后：探寻可持续扩张的产业与 GDP 新思

在经济发展的长河中，房地产长期占据着支柱产业的重要地位。其之所以能担当此重任，根源在于它深度嵌入了人们的生活与经济体系。住房，作为人类最基本的需求之一，具有不可替代的刚性。与其他现买按需生产的产业不同，房地产有着独特的消费逻辑。人们为了拥有一个稳定的居住之…...

编程日记 2025/8/27 10:52:15

Chapter02_数字图像处理基础

文章目录 图像的表示⭐模拟图像→数字图像均匀采样和量化均匀采样均匀量化 非均匀采样和量化 数字图像的表示二值图像灰度图像彩色图像 ⭐空间分辨率和灰度分辨率空间分辨率灰度分辨率 ⭐图像视觉效果影响因素采样数变化对图像视觉效果的影响空间分辨率变化对图像视觉效果的影响…...

编程日记 2025/8/28 0:09:37

【Android】UI开发：XML布局与Jetpack Compose的全面对比指南

随着Google推出Jetpack Compose这一现代化工具，我们面临一个关键选择：继续使用传统的XML布局，还是转向Compose？ 一、语法对比：两种不同的构建方式 1. XML布局：基于标签的静态结构 XML通过嵌套标签定义UI元…...

编程日记 2025/8/28 21:50:42

浙大：LLM具身推理引擎Embodied-Reasoner

📖标题：Embodied-Reasoner: Synergizing Visual Search, Reasoning, and Action for Embodied Interactive Tasks 🌐来源：arXiv, 2503.21696 🌟摘要 🔸深度思维模型的最新进展已经证明了数学和编码任务的…...

编程日记 2025/8/27 1:26:33

form+ffmpeg+opus录音压缩音频

说明： formffmpegopus录音压缩音频 效果图： step1:opus格式录音 C:\Users\wangrusheng\RiderProjects\WinFormsApp11\WinFormsApp11\Form1.cs using System; using System.Diagnostics; using System.IO; using System.Windows.Forms;namespace WinFo…...

编程日记 2025/8/28 12:26:35

win10 笔记本电脑安装 pytorch+cuda+gpu 大模型开发环境过程记录

win10 笔记本电脑安装 pytorchcudagpu 大模型开发环境过程记录 文章部分内容参考 deepseek。 以下使用命令行工具 mingw64。 安装 Anaconda 安装位置： /c/DEVPACK/Anaconda3 然后安装 Python 3.10.16 （略） $ conda create -n pytorch_…...

编程日记 2025/8/28 5:37:23

LeetCode 2442：统计反转后的不同整数数量

目录 核心思想：数字的“拆分”与“重组” 分步拆解（以输入 123 为例） 关键操作详解 为什么能处理中间或末尾的0？ 数学本质 总结 题目描述 解题思路 代码实现 代码解析 复杂度分析 示例演示 总结 核心思想：…...

编程日记 2025/8/27 23:01:51

获取inode的完整路径包含挂载的路径

一、背景 在之前的博客 缺页异常导致的iowait打印出相关文件的绝对路径-CSDN博客 里的 2.2.3 一节和 关于inode，dentry结合软链接及硬链接的实验-CSDN博客 里，我们讲到了在内核里通过inode获取inode对应的绝对路径的方法。对于根目录下的文件而言&#…...

编程日记 2025/8/27 20:46:11

解决上传PDF、视频、音频等格式文件到FTP站点时报错“将文件复制到FTP服务器时发生错误。请检查是否有权限将文件放到该服务器上”问题

一、问题描述 可以将文本文件（.txt格式），图像文件(.jpg、.png等格式)上传到我们的FTP服务器上；但是上传一些PDF文件、视频等文件时就会报错“ 将文件复制到FTP服务器时发生错误。请检查是否有权限将文件放到该服务器上。 详细信息： 200 Type set to l. 227 Entering Pas…...

编程日记 2025/8/28 17:44:16

git push

在 git push 命令中&#xff0c;分支名称的顺序和含义非常重要。其基本格式如下&#xff1a; git push <remote> <local_branch>:<remote_branch>各部分解释 <remote>&#xff1a;远程仓库的名称&#xff08;如 origin&#xff09;。<local_branc…...

编程日记 2025/8/28 4:06:18

Java中的四大引用类型详解

Java中的四大引用类型详解&#xff1a;强引用、软引用、弱引用、虚引用 1. 引用类型概览 Java提供了四种不同强度的引用类型&#xff0c;用于控制对象的生命周期和垃圾回收行为&#xff1a; 引用类型回收时机典型应用场景是否影响GC强引用永不回收&#xff08;除非断开引用&…...

编程日记 2025/8/28 21:41:39

MySQL慢查询日志通俗指南

&#x1f340; 前言 如果你发现自己新写或者重写的接口查询速度变慢&#xff0c;你怎么定位原因呢&#xff1f;可以用explain分析我们的SQL原生代码&#xff0c;又或者可以考虑使用MySQL慢查询日志。这篇文章主要讲述什么是慢查询日志以及开发中可能用到的场景。 但是&#x…...

编程日记 2025/8/26 18:03:49

Kafka 如何保证消息可靠性？

Kafka 保证消息可靠性主要通过以下几个机制来实现&#xff0c;从生产者到消费者的整个链路上都设计了相应的保障措施&#xff1a; 1. 生产者&#xff08;Producer&#xff09;端的可靠性 ✅ a. acks 参数&#xff08;确认机制&#xff09; acks0&#xff1a;生产者不等待任何…...

编程日记 2025/8/28 11:14:19

【嵌入式系统设计师】知识点：第2章 嵌入式系统硬件基础知识

提示：“软考通关秘籍” 专栏围绕软考展开，全面涵盖了如嵌入式系统设计师、数据库系统工程师、信息系统管理工程师等多个软考方向的知识点。从计算机体系结构、存储系统等基础知识，到程序语言概述、算法、数据库技术（包括关系数据库、非关系型数据库、SQL 语言、数据仓库等）…...

编程日记 2025/8/26 11:09:51

C++重载运算符的本质

C 中运算符重载的本质就是函数调用&#xff0c;编译器会将运算符表达式转换为对特定函数的直接调用。以下是具体原理和实现细节&#xff1a; 1. 运算符重载的底层实现 当重载一个运算符&#xff08;如 、、<<&#xff09;时&#xff0c;实际上是在定义一个特殊名称的函数…...

编程日记 2025/8/29 7:01:16

Python解决“数字插入”问题

Python解决“数字插入”问题 问题描述测试样例解题思路代码 问题描述 小U手中有两个数字 a 和 b。第一个数字是一个任意的正整数&#xff0c;而第二个数字是一个非负整数。她的任务是将第二个数字 b 插入到第一个数字 a 的某个位置&#xff0c;以形成一个最大的可能数字。 你…...

编程日记 2025/8/29 7:25:56

深入讲解：智能合约中的读写方法

前言 在探秘区块链开发：智能合约在 DApp 中的地位及与传统开发差异一文中我提到对于智能合约中所有的写入其实都算是交易。而在一个完整的智能合约代码中最大的两个组成部分就是读取和写入。 本文将为你深入探讨该两者方法之间的区别。 写方法 写方法其实就是对区块链这一…...

编程日记 2025/8/28 18:59:51

Java进阶之旅-day05：网络编程

引言 在当今数字化的时代&#xff0c;网络编程在软件开发中扮演着至关重要的角色。Java 作为一门广泛应用的编程语言&#xff0c;提供了强大的网络编程能力。今天&#xff0c;我们深入学习了 Java 网络编程的基础知识&#xff0c;包括基本的通信架构、网络编程三要素、IP 地址、…...

编程日记 2025/8/28 16:57:28

Eliet Chat开发日志：信令服务器注册与通信过程

目录 1. 架构设计&#xff1a;信令服务器与客户端 2. 选择技术栈 3. 实现信令服务器 4. 客户端实现 5. 测试 6. 下一步计划 日期&#xff1a;2025年4月5日 今天的工作重点是实现两个设备通过信令服务器注册并请求对方公网地址信息&#xff0c;以便能够进行点对点通信。我…...

编程日记 2025/8/29 3:17:42

如何设计一个本地缓存

想获取更多高质量的Java技术文章&#xff1f;欢迎访问Java技术小馆官网&#xff0c;持续更新优质内容&#xff0c;助力技术成长 Java技术小馆官网https://www.yuque.com/jtostring 如何设计一个本地缓存 随着系统的复杂性和数据量的增加&#xff0c;如何快速响应用户请求、减…...

编程日记 2025/8/27 19:32:40

2024版idea使用Lombok时报找不到符号

今天在springboot项目中使用Lombok的Builder注解&#xff0c;启动时居然报了找不到符号的错&#xff0c;如下图 于是开始了漫长的寻找之路&#xff0c;首先去settings->Plugins中看自己的Lombok插件是否启动&#xff0c;发现确实是如此&#xff0c;然后看网上的教程去加上这…...

编程日记 2025/8/27 13:01:53

[Android安卓移动计算]：新建项目和配置环境步骤

文章目录 一&#xff1a;AndroidStudio 创建项目1. New Project2. 选择&#xff1a;Empty Activity 二&#xff1a;配置和下载SDK点击SDK 配置按钮选择API32和Android 9.0&#xff08;Pie&#xff09;再点击Apply点击接受条款声明进行安装 安装完后点击NEXT和OK出现&#xff1a…...

编程日记 2025/8/26 0:57:03

$R^n$平面约束下的向量列

原向量&#xff1a; x → \overset{\rightarrow}{x} x→ 与 x → \overset{\rightarrow}{x} x→法向相同的法向量&#xff08;与 x → \overset{\rightarrow}{x} x→同向&#xff09; ( x → ⋅ n → ∣ n → ∣ 2 ) n → (\frac{\overset{\rightarrow}x\cdot\overset{\righta…...

编程日记 2025/8/29 4:19:22

混合编程的架构

在混合使用QML和Qt Widgets的环境中&#xff0c;是否必须严格遵循分层架构需要根据项目规模和复杂度来决定。以下是具体的决策指南和实施建议&#xff1a; 一、分层架构的适用性分析 #mermaid-svg-61Mlp9MrpFOoZPAO {font-family:"trebuchet ms",verdana,arial,sans…...

编程日记 2025/8/28 20:28:10

联网汽车陷入网络安全危机

有人能够入侵并控制汽车这一事实本身就令人恐惧&#xff0c;电影中的场景变成了现实。再加上汽车中的软件会处理和存储我们的个人数据&#xff0c;这种恐惧达到了一个新的高度。 一旦发生安全漏洞&#xff0c;我们的驾驶数据、联系人、通话记录、消息甚至位置信息等信息都可能…...

编程日记 2025/8/27 1:06:11

基于Spark的招聘数据预测分析推荐系统

【Spark】基于Spark的招聘数据预测分析推荐系统 &#xff08;完整系统源码开发笔记详细部署教程&#xff09;✅ 目录 一、项目简介二、项目界面展示三、项目视频展示 一、项目简介 该系统能够高效处理海量招聘数据&#xff0c;利用Spark的强大计算能力实现快速分析和预测。该系…...

编程日记 2025/8/29 8:48:50

基于Spark的酒店数据分析系统

【Spark】基于Spark的酒店数据分析系统 &#xff08;完整系统源码开发笔记详细部署教程&#xff09;✅ 目录 一、项目简介二、项目界面展示三、项目视频展示 一、项目简介 本项目基于Python语言开发&#xff0c;借助Django进行后台框架的开发&#xff0c;搭建大数据虚拟机集群…...

编程日记 2025/8/28 14:36:19

网络安全L2TP实验

在FW1上&#xff0c;将接口g1/0/0添加进去trust区域 [USG6000V1]firewall zone trust [USG6000V1-zone-trust]add interface GigabitEthernet 1/0/0 在放通安全策略 在FW2上配置ip [USG6000V1]int g1/0/1 [USG6000V1-GigabitEthernet1/0/1]ip address 20.1.1.1 24 [USG6000…...

编程日记 2025/8/27 1:26:35

18.1.go连接redis

开发调试 ​Tiny RDM：跨平台GUI工具windows版本下载 https://download.csdn.net/download/chxii/90562932 支持多种格式查看：内置高级文本代码编辑器，支持语法高亮/代码折叠/错误提示 便捷搜索过滤：使用正则匹配搜索键后，仍可进行二级过滤，组合筛选数据更方便 调试分析…...

编程日记 2025/8/29 1:56:45

innodb如何实现mvcc的

InnoDB 实现 MVCC&#xff08;多版本并发控制&#xff09;的机制主要依赖于 Undo Log&#xff08;回滚日志&#xff09;、Read View&#xff08;读视图&#xff09; 和 隐藏的事务字段。以下是具体实现步骤和原理&#xff1a; 1. 核心数据结构 InnoDB 的每一行数据&#xff08…...

编程日记 2025/8/27 12:43:11

递归实现组合型枚举（DFS）

从 1∼n 这 n 个整数中随机选出 m 个&#xff0c;输出所有可能的选择方案。 输入格式 两个整数 n,m,在同一行用空格隔开。 输出格式 按照从小到大的顺序输出所有方案&#xff0c;每行 1 个。 首先&#xff0c;同一行内的数升序排列&#xff0c;相邻两个数用一个空格隔开。…...

编程日记 2025/8/28 2:46:28

【Java学习日记18】：三元运算符和运算符的优先级

一、三元运算符 2. 示例代码 例题1: 例题2: 二、运算符优先级 1. 优先级规则 Java 运算符的执行顺序由优先级决定&#xff0c;优先级高的先执行。 只要记住小括号优先级最大即可,以后就用这玩意 四、总结 运算符优先级&#xff1a;小括号 () 是最高优先级工具...

编程日记 2025/8/27 17:22:12

基于springboot放松音乐在线播放系统(源码+lw+部署文档+讲解)，源码可白嫖!

摘要 本放松音乐在线播放系统采用B/S架构&#xff0c;数据库是MySQL&#xff0c;网站的搭建与开发采用了先进的Java进行编写&#xff0c;使用了Spring Boot框架。该系统从两个对象&#xff1a;由管理员和用户来对系统进行设计构建。前台主要功能包括&#xff1a;用户注册、登录…...

编程日记 2025/8/27 5:08:10

【Scratch编程系列】Scratch编程软件界面

Scratch是一款由麻省理工学院(MIT&#xff09; 设计开发的少儿编程工具。其特点是&#xff1a;使用者可以不认识英文单词&#xff0c;也可以不使用键盘&#xff0c;就可以进行编程。构成程序的命令和参数通过积木形状的模块来实现。用鼠标拖动指令模块到脚本区就可以了。 这个软…...

编程日记 2025/8/29 5:05:45

技术驱动革新，强力巨彩LED软模组助力创意显示

随着LED显示技术的不断突破&#xff0c;LED软模组因其独特的柔性特质和个性化显示效果&#xff0c;正逐渐成为各类应用场景的新宠。强力巨彩软模组R3.0H系列具备独特的可塑造型能力与技术创新&#xff0c;为商业展示、数字艺术、建筑装饰等领域开辟全新视觉表达空间。 　　 LED…...

编程日记 2025/8/28 23:21:25

历年跨链合约恶意交易详解（三）——Nomad Bridge20220801

漏洞合约函数 /*** notice Given formatted message, attempts to dispatch* message payload to end recipient.* dev Recipient must implement a handle method (refer to IMessageRecipient.sol)* Reverts if formatted messages destination domain is not the Replicas d…...

编程日记 2025/8/28 8:19:31

Tensorflow、Pytorch与Python、CUDA版本的对应关系（更新时间：2025年4月）

更新时间：20250405 一、Tensorflow与Python 、CUDA版本对应关系 注意：从 TF 2.11 开始，Windows 不支持 CUDA 构建。要在 Windows 上使用 TensorFlow GPU，您需要在 WSL2 中构建/安装 TensorFlow 或将 tensorflow-cpu 与 TensorFlow-DirectML-Plugin 一起使用 1.1、CPU版本…...

编程日记 2025/8/26 0:16:35

FPGA实现按键切换流水灯不同亮灭模式

本文是一位fpga新手学习fpga的博客&#xff0c;写出这个shi山代码花了3个小时左右&#xff0c;途中学习了按键消抖、状态机等知识... 实现目标&#xff1a;通过按键控制led灯亮的不同模式&#xff0c;将每种模式用状态机表达。 代码如下&#xff1a; module led(input btn1,in…...

编程日记 2025/8/28 19:15:27

SeaTunnel系列之：部署SeaTunnel的Spark和Flink引擎

SeaTunnel系列之&#xff1a;部署SeaTunnel的Spark和Flink引擎 运行 SeaTunnel快速开始使用 Flink快速开始使用 Spark 运行 SeaTunnel 现在您已经下载了 SeaTunnel 二进制包和连接器插件。接下来&#xff0c;您可以选择不同的引擎选项来运行同步任务。 如果您使用 Flink 运行…...

编程日记 2025/8/27 15:43:52

“Pseudo Global Warming”：伪全球变暖PGW

“Pseudo Global Warming”&#xff1a;伪全球变暖PGW PGW方法概述&#x1f50d; 一、PGW 方法的定义&#x1f9e0; 二、PGW 方法的基本原理&#x1f6e0;️ 三、PGW 方法的主要步骤&#x1f4c8; 四、PGW 模拟时常涉及的变量&#x1f4ca; 五、PGW 方法的优/缺点&#x1f4da;…...

编程日记 2025/8/27 9:09:22

【Linux学习笔记】初识进程概念和进程PCB

【Linux学习笔记】初识冯诺依曼体系和进程PCB &#x1f525;个人主页&#xff1a;大白的编程日记 &#x1f525;专栏&#xff1a;Linux学习笔记 文章目录 【Linux学习笔记】初识冯诺依曼体系和进程PCB前言一. 冯诺依曼体系结构1.1 关于冯诺依曼体系的要点&#xff1a; 二. 操…...

编程日记 2025/8/28 13:22:02

deepseek回答ollama 下载模型的命令

ollama 下载模型的命令 已深度思考&#xff08;用时 20 秒&#xff09; 好的&#xff0c;我需要回答用户关于使用Ollama下载模型的命令的问题。首先&#xff0c;我需要回忆Ollama的基本用法。Ollama是一个用于本地运行大型语言模型的工具&#xff0c;支持多种模型如Llama、Mi…...

编程日记 2025/8/27 23:40:14

Kafka 中的生产者分区策略

Kafka 中的 生产者分区策略 是决定消息如何分配到不同分区的机制。这个策略对 Kafka 的性能、负载均衡、消息顺序性等有重要影响。了解它对于高效地使用 Kafka 进行消息生产和消费至关重要。 让我们一起来看 Kafka 中 生产者的分区策略&#xff0c;它如何工作&#xff0c;以及…...

编程日记 2025/8/27 9:55:18