当前位置：首页 > news >正文

【人工智能】OpenAI O1模型：超越GPT-4的长上下文RAG性能详解与优化指南

news 来源：原创 2025/6/26 9:01:17

在人工智能（AI）领域，长上下文生成与检索（RAG） 已成为提升自然语言处理（NLP）模型性能的关键技术之一。随着数据规模与应用场景的不断扩展，如何高效地处理海量上下文信息，成为研究与应用的热点话题。本文将深入探讨OpenAI最新发布的O1-preview和O1-mini模型在长上下文RAG任务中的表现，比较其与行业内其他SOTA（State-of-the-Art）模型如GPT-4o和Google Gemini 1.5的性能差异，并提供实用的优化建议，助力开发者在构建LLM（大型语言模型）应用时实现更高效、更精准的性能表现。

在这里插入图片描述

引言：长上下文RAG的重要性

在现代AI应用中，大型语言模型（LLM） 已广泛应用于文本生成、问答系统、内容总结等多个领域。然而，随着应用场景的复杂性和数据量的急剧增加，传统的短上下文处理能力已难以满足需求。长上下文RAG（Retrieve and Generate） 技术通过在生成过程中引入检索机制，使模型能够处理更大规模的上下文信息，从而显著提升了回答的准确性与相关性。

【CodeMoss】集成13个种AI模型（GPT4、o1等）、支持Open API调用、自定义助手、文件上传等强大功能，助您提升工作效率！ >>> - CodeMoss & ChatGPT-AI中文版

>>> https://pc.aihao123.cn/index.html#/page/login?invite=1141439&fromChannel=CodeMoss_1212RAG

OpenAI O1模型概述

OpenAI的O1模型 是最新发布的SOTA模型之一，分为 O1-preview 和 O1-mini 两个版本。O1模型在2023年10月发布后，凭借其卓越的长上下文处理能力，迅速在行业内崭露头角。与之前的GPT-4o模型相比，O1模型在多个长上下文RAG基准测试中表现更为出色，尤其是在处理超过百万级词元的超长文本时展现出了显著优势。

O1-mini 版本在性能上几乎与GPT-4o持平，而 O1-preview 则在一些特定任务中超越了GPT-4o，显示出其强大的泛化能力和适应性。这两款模型不仅在标准数据集上的表现优异，还在诸如Databricks DocsQA和FinanceBench等内部数据集上展现了卓越的性能。

O1模型在长上下文RAG基准测试中的表现

为了全面评估O1模型在长上下文RAG任务中的性能，我们将其在多个数据集上的表现进行详尽分析，包括Databricks DocsQA、FinanceBench 和 Natural Questions (NQ)。

在Databricks DocsQA数据集上的表现

Databricks DocsQA 是一个内部数据集，专注于文档问答任务，涵盖了技术文档的复杂结构与多样化内容。在此数据集上，O1-preview和O1-mini模型在所有上下文长度下的表现显著优于GPT-4o和Google Gemini模型。具体而言：

O1-preview 模型在2k至200万词元的上下文长度范围内，回答的正确性和相关性均稳步提升，尤其在长上下文下表现尤为突出。
O1-mini 版本在处理超长上下文时，准确率接近GPT-4o，但在某些任务中超越了GPT-4o，显示出其高效的上下文处理能力。

图2.1展示了不同模型在Databricks DocsQA数据集上的RAG性能对比，可以明显看出O1模型的优势。
在这里插入图片描述

在FinanceBench数据集上的表现

FinanceBench 数据集专注于金融领域的问答任务，涉及大量专业术语与复杂的金融逻辑。在此数据集上，O1模型同样表现优异：

O1-preview 和 O1-mini 在所有上下文长度下，尤其是在8k及以上，准确率均显著高于GPT-4o和Gemini模型。
尤其是在16k甚至更长的上下文长度下，O1模型能够保持较高的回答质量，展示出其在处理金融数据复杂性方面的优势。

图2.2展示了O1模型在FinanceBench数据集上的长上下文RAG性能，进一步验证了其卓越表现。
在这里插入图片描述

在Natural Questions (NQ)数据集上的表现

Natural Questions (NQ) 是一个标准的学术基准测试数据集，涵盖了广泛的常识性问题。在NQ数据集上，O1模型的表现总体优异，但在短上下文长度（2k词元）下存在一定的性能下降：

在短篇幅上下文中，如果检索到的文档中信息不足，O1模型倾向于回答“信息不可用”，而无法基于自身知识进行补充回答。
尽管如此，在更长的上下文环境下，O1模型依然保持了较高的回答正确性，接近甚至超越了GPT-4o。

这种在短上下文下的性能下降主要源于检索文档的相关性不足，导致模型无法充分发挥其生成能力。

与Google Gemini 1.5模型的对比

Google Gemini 1.5 模型是目前市场上另一款领先的长上下文RAG模型，拥有Pro 和 Flash 两个版本。在多个基准测试中，Gemini 1.5展示出了其独特的优势，尤其是在处理超长上下文时的稳定性。

Gemini 1.5在超长上下文下的稳定性

尽管在128k词元以下的整体答案正确性低于O1和GPT-4o模型，Gemini 1.5 在处理高达200万词元的超长上下文时，表现出了惊人的稳定性。具体表现如下：

一致性：在超长上下文下，Gemini 1.5模型能维持一致的回答质量，而不会像其他模型那样在上下文长度增加时出现性能波动。
资源优化：尽管处理超长文本可能带来较高的计算成本，Gemini 1.5通过优化算法，有效控制了资源消耗，使其在长文档处理上具有成本效益。

图2.1展示了Gemini 1.5在NQ数据集上的长上下文RAG性能，显示其在大规模文本处理中依然能够保持高水平的回答正确性。
在这里插入图片描述

成本与开发便捷性的权衡

对于开发者而言，选择合适的模型不仅要考虑性能，还需权衡成本与开发便捷性。Gemini 1.5在长上下文处理上的优势意味着在某些应用场景下，可以跳过传统的检索步骤，直接将整个数据集输入模型进行处理。然而，这种做法可能带来较高的计算成本与资源消耗，但为开发人员提供了更简化的开发体验，适合对开发效率有较高要求的项目。

通过对比分析，我们可以得出：

O1模型 在中短上下文下表现优异，适合需要高准确性和相关性的应用场景。
Gemini 1.5 则更适合处理超长上下文且对成本有一定容忍度的项目，提供了一种简化的RAG工作流方案。

LLM在长上下文RAG中的失败模式分析

尽管大型语言模型在长上下文RAG任务中展现了强大的能力，但在实际应用中，仍然存在多种失败模式。理解这些失败模式有助于开发者在构建应用时采取相应的优化措施，提升系统的整体性能与稳定性。

OpenAI O1-preview与O1-mini的失败模式

在对O1模型的失败案例进行分析时，我们发现其主要失误类别包括：

重复内容（repeated_content）：模型生成回答时出现重复的无意义词组或字符，影响回答的可读性与信息量。
随机内容（random_content）：生成的回答与上下文内容无关，缺乏逻辑性和语法合理性。
未遵循指令（fail_follow_inst）：未按照问题要求生成回答，如在要求基于上下文回答时，模型尝试进行总结。
空响应（empty_resp）：模型未生成任何回答，返回空字符串。
错误答案（wrong_answer）：尽管遵循了指令，模型提供了错误的答案。
拒绝回答（refusal）：模型因不确定性或其他原因拒绝回答问题。
因API过滤导致的任务失败：由于安全过滤规则，模型未生成回答。

O1-preview 和 O1-mini 在处理不同上下文长度时，特别是在推理步骤的词元长度不可预测时，可能会因上下文过长而返回空响应。此外，在NQ数据集中，短上下文下的性能下降表现为模型简单地回答“信息不可用”，即便在一些情况下存在支持回答的oracle文档，模型仍未能提供正确答案。

下面两个图分别展示了O1-preview在Databricks DocsQA和NQ数据集上的失败分析，可以看出不同数据集和上下文长度对模型表现的影响。
在这里插入图片描述

Google Gemini 1.5 Pro与Flash的失败模式

Gemini 1.5 模型的失败模式分析显示，其主要问题在于：

主题敏感性：生成API对提示内容的主题高度敏感，尤其在NQ基准测试中，由于提示内容被过滤，导致了大量任务失败。
拒绝回答：在FinanceBench数据集中，模型经常因为检索不到相关信息而拒绝回答，尤其在短上下文（2k词元）下，96.2%的“拒绝”情况发生在缺失oracle文档时。
BlockedPromptException错误：由于提示内容被API过滤，导致生成任务失败，这类错误在NQ基准测试中较为普遍。

图3.3至图3.5展示了Gemini 1.5 Pro在不同数据集上的失败模式分布，可以明显看出在不同上下文长度和数据集环境下，模型表现出的特有问题。

优化长上下文RAG性能的策略

针对上述模型的表现与失败模式，开发者可以采取以下策略优化长上下文RAG的性能，提升应用的整体效果。

选择合适的模型与上下文长度

根据具体应用需求选择最合适的模型与上下文长度，是提升RAG性能的第一步。

中短上下文应用：对于需要高准确性和相关性的应用，如技术文档问答、金融报告分析，推荐使用OpenAI O1-preview 或 O1-mini，在2k至16k词元的上下文长度下表现优异。
超长上下文应用：对于需要处理超过200万词元的超长文本，如大型文档解析、综合报告生成，Google Gemini 1.5 是更合适的选择，其在超长上下文下保持了相对稳定的性能。

改进检索步骤以提升性能

检索步骤在RAG流程中扮演着至关重要的角色，改进检索算法和策略，可以有效提升模型的回答质量。

增强检索相关性：通过优化检索算法，确保检索到的文档与问题高度相关，减少模型生成随机或错误回答的概率。
动态上下文调整：根据问题的复杂性和上下文的相关性，动态调整输入的上下文长度，确保模型在不同任务中都能获得足够的信息支持。

处理模型的失败模式

针对模型在不同场景下的失败模式，采取相应的预防和修正措施，能够显著提高系统的稳定性和用户体验。

内容过滤与指令优化：在设计提示内容时，避免触发模型的拒绝回答机制，采用更加明确和具体的指令，减少因安全过滤导致的任务失败。
多模型协同：结合多种模型的优势，采用多模型协同策略，如在短上下文下优先使用O1模型，在超长上下文下切换至Gemini模型，最大化每种模型的优点。
错误监控与反馈机制：建立完善的错误监控系统，实时检测并记录模型的失败情况，采用反馈机制不断优化提示内容和模型选择策略。

结论：未来的发展与展望

随着AI技术的不断进步，长上下文RAG在各种应用场景中的重要性日益凸显。OpenAI O1模型 的发布，展示了其在处理长上下文任务上的强大能力，超越了之前的GPT-4o模型，为行业树立了新的标杆。同时，Google Gemini 1.5 在超长上下文处理上的独特优势，也为开发者提供了更多选择，特别是在需要处理海量文本数据的应用中，Gemini 1.5 的优势尤为明显。

【人工智能】OpenAI O1模型：超越GPT-4的长上下文RAG性能详解与优化指南

在人工智能（AI）领域，长上下文生成与检索（RAG） 已成为提升自然语言处理（NLP）模型性能的关键技术之一。随着数据规模与应用场景的不断扩展，如何高效地处理海量上下文信息，成…...

编程日记 2025/6/26 9:01:17

Qt如何将字串显示成二维码以供扫码识别

在Qt中可以使用QRcode来生成二维码，本质上说，其实是把一串信息生成二维码形式的图片。首先介绍下QRcode，QRCode原本是一个用于生成二维码的 JavaScript 库，在Qt中大佬们将其改成C语言实现。现直接放出来，使用的时候直…...

编程日记 2025/6/27 5:20:10

【Golang】如何读取并解析SQL文件

一、背景在数据库开发与维护过程中，我们经常需要执行大量的SQL语句。有时，这些SQL语句会被保存在一个文件中，以便于批量执行。为了方便地在Go语言中处理这些SQL文件，我们可以编写一个函数来读取并解析SQL文件中的语句。二、实…...

编程日记 2025/6/27 4:30:51

图形学笔记 - 5. 光线追踪 - RayTracing

Whitted-Style Ray tracing 为什么要光线追踪光栅化不能很好地处理全局效果软阴影尤其是当光线反射不止一次的时候栅格化速度很快，但质量相对较低光线追踪是准确的，但速度很慢光栅化：实时，光线追踪：离线~10K …...

编程日记 2025/6/26 10:09:53

WHY - 为什么选择 Rsbuild

目录一、介绍二、工具对比三、性能 https://rsbuild.dev/zh/guide/start/index 一、介绍 Rsbuild 是由 Rspack 驱动的高性能构建工具，它默认包含了一套精心设计的构建配置，提供开箱即用的开发体验，并能够充分发挥出 Rspack 的性能优势。二…...

编程日记 2025/6/24 21:26:21

前端(模块化)

未使用模块化定义两个js文件simple1.js和simple2.js let a11; let a11; 两个js文件变量重名在html测试传统引入js文件 <script src"./simple1.js"></script> <script src"./simple2.js"></script> 浏览器报错使用模块…...

编程日记 2025/6/27 4:38:18

Elasticsearch:Mapping-映射

一、创建索引自动生成索引字段数据类型即自动映射创建之前，先删除索引防止重复创建删除索引: DELETE product_mapping创建索引 product_mapping并且赋值 PUT /product_mapping/_doc/1 {"name": "xiaomi phone","desc": "s…...

编程日记 2025/6/26 18:32:25

掘金电影市场的新机遇：开发特惠电影票小程序api文档

随着电影市场的不断扩大，特惠电影票小程序成为创业者和企业争相布局的新蓝海。本文将带你深入了解特惠电影票小程序的开发要点，以及如何通过这个项目实现盈利。项目背景及市场分析电影市场规模的不断扩大为特惠电影票小程序提供了广阔的市场空间。根…...

编程日记 2025/6/25 1:23:23

EFAK kafka可视化管理工具部署使用

简介：EFAK是开源的可视化和管理软件。它允许您查询、可视化、提醒和探索您的指标，无论它们存储在何处。简单来说，它为您提供了将 Kafka 集群数据转换为漂亮的图形和可视化效果的工具。环境：①操作系统：CentOS7.6&…...

编程日记 2025/6/26 1:12:04

---mysql server: Ubuntu Linux下最最基本的操作

作为开发人员你不需要做复杂的mysql server的各种维护操作, 只是想在本机或虚拟机做个server，然后整测试性数据库. 下面我给出最最简单的基本操作: Ubuntu安装完mysql server, 并且后，可以做如下基本操作，就表示可以了你可以在这个基…...

编程日记 2025/6/26 12:58:27

Ariba Procurement: Administration_Master data

采购主数据集成Procurement Master Data Integration 注意：并非所有元素都是必需的，数据元素的名称可能根据ERP的不同，有所不同。 Types of Master Data Accounting 在SAP Ariba中的各种会计元素字段中，填充有效值选择列表。建…...

编程日记 2025/6/26 23:11:10

Not using native diff for overlay2, this may cause degraded performance……

问题现象案例：Anolis 8.9（4.19.91-26.an8.x86_64） Overlay2存储驱动程序） 当我们安装好Docker之后，通过systemctl status docker -l 会发现有一个告警信息：levelwarning msg"Not using native dif…...

编程日记 2025/6/27 5:06:56

【自然语言处理与大模型】使用llama.cpp将HF格式大模型转换为GGUF格式

llama.cpp的主要目标是在本地和云端的各种硬件上以最小的设置和最先进的性能实现LLM推理。是一个专为大型语言模型（LLM）设计的高性能推理框架，完全使用C和C编写，没有外部依赖，这使得它可以很容易地被移植到不同的操作系…...

编程日记 2025/6/27 5:23:42

item2 for macos

安装Item2 brew install iterm2 查看终端类型 cat /etc/shells Mac OS X 10.15 已经将默认的shell从Bash换成了zsh，所以不用安装，10.15以前的可以使用下面的命令进行安装 brew install zsh 安装Oh My ZSH # curl sh -c "$(curl -fsSL https://ra…...

编程日记 2025/6/27 4:42:19

docker命令

目录 docker buildwgetdocker rundocker compose为什么docker compose比docker build 和run快很多？ docker build docker build -t mineru:latestdocker build 命令是 Docker 的核心命令之一，用于从 Dockerfile 构建新的 Docker 镜像。 docker build&am…...

编程日记 2025/6/26 17:30:38

OrangePi Zero2 驱动开发

目录一. 芯片手册 1. 资料下载地址 2. 阅读芯片手册 2.1 GPIO 寄存器的基地址是（0x0300B000） 2.2 PC_CFG0 寄存器的偏移量（0x0048） 2.3 PC_CFG1 的偏移量（0x004C） 2.4 PC_CFG2 的偏移量（0x0050） 2.5 PC_DAT寄存器的偏移量（0x0058）二. 驱动代码调试 2.1 …...

编程日记 2025/6/24 19:40:31

C/C++字符数组与字符串操作

C/C字符数组与字符串操作录入字符 scanf("%c",&字符变量); 字符变量 getchar(); #include <stdio.h> int main() {char ch;while ((ch getchar()) ! EOF) {putchar(ch);}return 0; }上述程序会在文件结尾后结束循环，在命令行中运行&#…...

编程日记 2025/6/26 10:38:32

动手学深度学习---线性神经网络

一、线性回归解析解：模型的解可以用一个公式简单的表示，这类解叫做解析解。超参数：可以调整但不在训练过程中更新的参数称为超参数。调参是选择超参数的过程。超参数通常是我们根据训练迭代结果来调整的。在无法得到解析解的情况下…...

编程日记 2025/6/27 2:11:15

24计算机考研，东南大学和电子科技大学如何选择？

针对题主的情况，更推荐成电。成电上岸更为简单，就业前景也非常不错，性价比相当高。如果基础很扎实、更注重学校牌子、或是未来想在江浙沪发展的同学，东南大学是个很好的选择。下面就从学校综合实力、招录情况、考试难度来详细对比…...

编程日记 2025/6/27 5:08:21

Redis应用-在用户数据里的应用

1.社区电商的业务闭环接下来介绍的社区电商是以Redis作为主体技术、以MySQL和RocketMQ作为辅助技术实现的。 (1)社区电商运作模式社区电商的关键点在于社区，而电商则是辅助性质(次要地位，流量变现)。社区可以分成很多种社区，比如美食社区、美妆社区、影评社区、妈妈社区…...

编程日记 2025/6/25 17:49:13

STL容器-map P3613【深基15.例2】寄包柜普及-

题目来源：洛谷题库文章目录 map例题map知识点map使用注意：map的常用用法 map例题 P3613【深基15.例2】寄包柜普及- 题意根据数据插入/查询思路 map键值对可以根据柜子编号查找物品，但是柜子又有很多个，考虑数组或者map数组…...

编程日记 2025/6/27 4:36:56

excel使用笔记

1.工作表1计算工作表2某列的和假设我们有两个工作表，分别命名为“Sheet1”和“Sheet2”，我们想要求和这两个工作表中A1到A**单元格的数据，可以在任意一个工作表的单元格中输入以下公式： SUM(Sheet1!A1:A10, Sheet2!A1:A10) SUM…...

编程日记 2025/6/23 19:18:20

EasyGBS点对点穿透P2P远程访问技术在安防视频监控中的应用

随着信息技术的快速发展，安防视频监控系统在公共安全领域的应用变得越来越广泛。传统的视频监控系统多依赖于中心服务器进行视频流的集中处理和分发，这不仅增加了网络带宽的负担，还可能成为系统性能瓶颈。为了解决这些问题，P2P&am…...

编程日记 2025/6/26 12:38:46

【MySQL中多表查询和函数】

目录 1.多表查询 1.1 外键 1.2 链接查询 2.MySQL函数内置函数简介数值函数字符串函数时间日期函数条件判断操作开窗函数 1.多表查询本质：把多个表通过主外键关联关系链接（join）合并成一个大表，在去单表查询操作…...

编程日记 2025/6/27 4:54:00

Polars数据聚合与旋转实战教程

在这篇博文中，我们的目标是解决数据爱好者提出的一个常见问题：如何有效地从Polars DataFrame中创建汇总视图，以便在不同时间段或类别之间轻松进行比较。我们将使用一个实际的数据集示例来探索实现这一目标的各种方法。 Polars简介 Polars 是…...

编程日记 2025/6/22 7:02:55

SpringBoot【十三(准备篇)】集成在线接口文档Swagger2

一、前言🔥 环境说明：Windows10 Idea2021.3.2 Jdk1.8 SpringBoot 2.3.1.RELEASE 二、swagger介绍我就不卖关子啦，相信在座的各位很多都已经用过，但是没关系，只要全世界还有一个没用过，我都会给他讲。那…...

编程日记 2025/6/27 5:03:59

CKA认证 | Day6 K8s网络

第六章 Kubernetes网络 1、Service 控制器在 Kubernetes (K8S) 中，Service 控制器是一个关键组件，负责管理 Kubernetes 服务的生命周期和实现其功能。Service 控制器确保服务能够正确地将流量路由到后端 Pod，并处理服务的负载均衡和 DNS …...

编程日记 2025/6/27 4:46:05

基于Llamaindex的网页内容爬取实战

目的本文不关注如何解析网页 html 元素和各种 python 爬虫技术，仅作为一种网页数据的预处理手段进行研究。Llamaindex 也并不是爬虫技术的集大成者，使用它是为了后续的存查一体化。安装依赖 pip install llama-index-readers-web # pip install llam…...

编程日记 2025/6/27 4:31:58

springboot429校运会管理系统(论文+源码)_kaic

摘要传统办法管理信息首先需要花费的时间比较多，其次数据出错率比较高，而且对错误的数据进行更改也比较困难，最后，检索数据费事费力。因此，在计算机上安装校运会管理系统软件来发挥其高效地信息处理的作用&#xff…...

编程日记 2025/6/21 22:29:17

tcpdump编译

https://github.com/westes/flex/releases/download/v2.6.4/flex-2.6.4.tar.gz tar -zxvf flex-2.6.4.tar.gz ./configure CFLAGS-D_GNU_SOURCE make sudo make installwget http://ftp.gnu.org/gnu/bison/bison-3.2.1.tar.gz ./configure make sudo make install以上两个库是…...

编程日记 2025/6/26 20:50:59