当前位置： 首页 > news >正文

对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。

news 来源：原创 2025/7/16 6:30:43

对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。以下是你提到的三种切分方案的分析，以及如何在实践中选择和优化：

1. 滑动窗口切分

  • 原理：通过一个固定大小的窗口（比如500字或1000字），从文本开头滑动到结尾，每次移动一个步长（步长可以小于窗口大小，形成重叠）。
  • 优点：
    • 简单易实现，适合均匀分布的文本。
    • 重叠部分可以保留一定的上下文信息，避免前后逻辑完全断裂。
  • 缺点：
    • 如果窗口大小或步长设置不当，可能切分在关键逻辑点上，导致召回时上下文不完整。
    • 对逻辑依赖较强的段落，单纯依赖重叠可能不够精准。
  • 优化建议：
    • 设置合理的窗口大小和步长（比如窗口1000字，步长500字），通过实验调整。
    • 在切分后，可以为每个片段添加元数据（比如“前文摘要”或“所属章节”），帮助召回时携带更多上下文。

2. 基于层次化切分

  • 原理：根据文本的天然结构（如章节、段落、标题）进行分层切分，先按大块（如章或节）切分，再在每块内按段落或句子细分。
  • 优点：
    • 能更好地尊重文本的逻辑结构，避免强行切断前后依赖。
    • 层次化的元数据（比如“第几章第几节”）可以帮助召回时定位相关上下文。
  • 缺点：
    • 需要文本有明确的结构标记（如标题、段落分隔符），否则实现复杂。
    • 如果层次划分不均匀，可能导致部分块过大或过小，影响召回效果。
  • 优化建议：
    • 在切分时，保留每块的“上下文指针”，比如记录前一块和后一块的ID或摘要。
    • 对于过长的层级块，可以结合其他方法（如句子切分）进一步细分。

3. 基于切分后句子通过句子向量构建同义原文连续顺序序列

  • 原理：先按句子切分，然后用句子向量（比如BERT或Sentence-BERT）计算句子的语义相似度，重新组合成连续的逻辑序列。
  • 优点：
    • 语义驱动，能更智能地捕捉前后文的逻辑依赖，而不仅仅依赖物理位置。
    • 对于没有明确结构的长文本，效果优于滑动窗口和层次化切分。
  • 缺点：
    • 计算成本较高，尤其是文本量大时需要更多资源。
    • 如果句子向量模型对特定领域不够敏感，可能误判逻辑关系。
  • 优化建议：
    • 在构建序列时，设置相似度阈值，避免无关句子被错误归并。
    • 可以结合滑动窗口，先粗切成大块，再在块内用句子向量细化，确保效率和精度平衡。

综合建议：如何选择和实现

  • 场景依赖：
    • 如果文本有明确结构（如技术文档、书籍），优先用层次化切分，结合元数据记录上下文。
    • 如果文本较均匀、无明显结构（如长篇叙述），滑动窗口切分是个简单有效的起点。
    • 如果逻辑依赖非常强且语义复杂（如法律文书、学术论文），推荐句子向量序列，但需投入更多计算资源。
  • 召回时带上前文：
    • 无论哪种切分方法，都可以在知识库中为每个片段存储“上下文索引”或“前文摘要”。比如：
      • 滑动窗口：存储前一个窗口的最后几句。
      • 层次化：存储上一个段落的概要或ID。
      • 句子向量：直接召回语义相似的上下句序列。
    • 在检索时，不只返回单个片段，而是返回一个“上下文包”（比如命中片段+前后相关片段）。

实战思路

假设你有个长文本是技术文档，可以这么操作：

  1. 先用层次化切分，按章节和段落切分。
  2. 对每个段落，检查长度：
    • 如果太长（比如超1000字），用滑动窗口再细分，步长设为50%重叠。
    • 如果逻辑复杂，用句子向量进一步优化，确保语义连续。
  3. 存储时，每个片段带上“前文ID”和“后文ID”，召回时根据需求动态拼接。

这样既能保证效率，又能在召回时尽量带上前后的知识。你可以根据文本特点和资源情况，混合使用这几种方法，效果会更好。有没有具体的文本类型或场景，我可以再帮你细化一下？

相关文章：

对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。

对于有前后逻辑依赖关系的长文本，切分时确实需要特别注意上下文的连续性，以便在召回后知识时能够尽量保留前后文的关联。以下是你提到的三种切分方案的分析，以及如何在实践中选择和优化： 1. 滑动窗口切分 原理：通过一…...

编程日记 2025/7/16 6:30:43

关于ArcGIS中加载影像数据，符号系统中渲染参数的解析

今天遇到一个很有意思的问题，故记录下来，以作参考和后续的研究。欢迎随时沟通交流。如果表达错误或误导，请各位指正。 正文 当我们拿到一幅成果影像数据的时候，在不同的GIS软件中会有不同效果呈现，但这其实是影像是…...

编程日记 2025/7/16 5:38:51

图解AUTOSAR_SWS_FlashTest

AUTOSAR Flash Test 模块解析文档 AUTOSAR 经典平台内存硬件抽象层模块详解 目录 1. 概述 1.1 Flash Test 模块简介1.2 模块作用和定位2. 架构设计 2.1 整体架构2.2 状态机设计3. 执行流程 3.1 后台测试序列3.2 前台测试序列4. 配置结构 4.1 模块配置详解5. 总结1. 概述 1.1 F…...

编程日记 2025/7/15 16:45:02

Ubuntu 使用终端手动连接无线网络（wlan0）完整流程 + 故障排查记录

在某些场景下（如 Ubuntu GUI 网络管理器不可用、使用轻量级桌面环境、或远程配置 Jetson Nano 等嵌入式设备），我们可能需要通过终端命令手动连接无线网络。本文记录一次真实的操作流程和排查过程，供自己和有需要的小伙伴参考。 &a…...

编程日记 2025/7/16 6:18:17

BNB Chain 何以打造 AI 驱动链上应用新世界？

人工智能正在加速改变 Web3 行业的现状面貌。最初 AI 代理起源于机器人技术和机器学习，它们通过自主系统调适，根据数据和环境做出相应技术决策支持、解决项目运行难题并执行相关任务。到了 Web3 世界，AI 代理开始融入 DAO、预测分析和自动交易…...

编程日记 2025/7/15 23:58:40

C 语言常用关键字详解：static、const、volatile

C 语言常用关键字详解：static、const、volatile 文章目录 C 语言常用关键字详解：static、const、volatile1. static 关键字1.1 用于局部变量示例： 1.2 用于全局变量示例： 1.3 用于函数示例： 2. const 关键字2.1 用于局…...

编程日记 2025/7/16 6:27:28

剑指Offer35- - 链表

1. 题目描述 这题题意感觉说的不是很清楚，容易让人产生歧义！其实题意很简单，给你一个链表 head，你深拷贝它，然后返回即可，注意不能修改原链表 /* // Definition for a Node. class Node { public:int val;N…...

编程日记 2025/7/13 10:33:31

open-cv的安装

python -m pip install numpy matplotlib opencv-python 【记得科学上网，不然太慢了】...

编程日记 2025/6/28 1:59:07

【ESP32】VSCode配置ESP-IDF问题及解决方法

报错：“D:\Espressif\tools\idf-python\3.11.2\python.exe -m pip” is not valid. (ERROR_INVALID_PIP) 当遇到错误 “d:\espressif\tools\idf-python\3.11.2\python.exe -m pip” is not valid. (error_invalid_pip) 时，通常是由于 pip 版本不兼容或未…...

编程日记 2025/7/16 6:01:26

分布式渲染与云渲染：技术与应用的黄金搭档

一、核心概念：先区分再关联 分布式渲染是通过多台设备并行计算拆分渲染任务的技术（如将一帧拆分为 64 个小块，64 台电脑同时渲染）； 云渲染是基于云计算的渲染服务，本质是分布式渲染的商业化落地—— 用户无…...

编程日记 2025/7/16 6:09:53

创作者会被AI取代吗？AIGC为电影行业带来新变革

在人工智能（AI）技术日新月异的今天，创作领域正经历着一场前所未有的变革。AIGC（AI生成内容）技术的崛起，让机器能够像人类一样进行创作，这不仅引发了“创作者是否会被AI取代”的热烈讨论&#xf…...

编程日记 2025/7/16 6:17:11

界面控件Telerik和Kendo UI 2025 Q1亮点——AI集成与数据可视化

Telerik DevCraft包含一个完整的产品栈来构建您下一个Web、移动和桌面应用程序。它使用HTML和每个.NET平台的UI库，加快开发速度。Telerik DevCraft提供完整的工具箱，用于构建现代和面向未来的业务应用程序，目前提供UI for ASP.NET MVC、Kendo…...

编程日记 2025/7/15 9:37:51

西门子s7协议

目录 西门子s7协议 西门子PLC数据类型 PLC中类型与C#对应类型 特殊说明： S7协议帧结构 示例代码（C#访问PLC数据）： 上位机和西门子PLC的通讯 西门子PLC的存储区 S7协议通讯网络模型 S7协议栈基于ISO/OSI模型，…...

编程日记 2025/7/15 13:41:46

面向对象——开闭原则（Open-Closed Principle, OCP）

开闭原则（Open-Closed Principle, OCP） 是面向对象设计中的重要原则之一，它的核心思想是： 对扩展开放（Open for extension）：软件实体（类、模块、函数等）应该可以扩展&am…...

编程日记 2025/7/16 6:29:36

线程同步——读写锁

Linux——线程同步 读写锁 目录 一、基本概念 1.1 读写锁的基本概念 1.2 读写锁的优点 1.3 读写锁的实现 1.4 代码实现 一、基本概念 线程同步中的读写锁（Read-Write Lock），也常被称为共享-独占锁（Shared-Exclusive Lock&a…...

编程日记 2025/7/16 6:13:21

0.雷达信号

雷达信号 目录 1 常规脉冲信号 1 2 相位编码信号 2 3 线性调频信号 4 4 非线性调频信号 6 4.1 S型非线性调频信号 6 4.2 正弦调频信号 9 4.3 正切调频信号 10 5 噪声调幅干扰信号 11 6 噪声调频干扰信号 13 7 噪声调相干扰信号 15 1 常规脉冲信号 2 相位编码信号 …...

编程日记 2025/7/16 6:21:37

游戏引擎学习第189天

今天的回顾与计划 在昨天，我们花了一些时间来优化调试数据的收集方法，并且在调试界面中增加了一些界面代码，使得我们可以悬停在不同的元素上，查看相关信息。今天的任务是对这些数据进行更多的操作，进行一些有趣的实验…...

编程日记 2025/7/16 6:04:20

web3包含哪些关键技术栈，一些成功使用场景的分享

Web3的技术栈及其应用场景可归纳为以下六个核心模块，各模块均通过不同技术组合实现去中心化生态的构建： 一、关键技术栈及对应场景 ‌区块链与共识机制‌ 技术实现：以太坊、波场TRON等公链底层，结合PoW（工作量证明&am…...

编程日记 2025/7/16 5:57:03

uvm factory

UVM Factory 是验证环境中实现动态对象和组件创建的核心机制，它通过类型注册和覆盖（Override）机制，允许在不修改原有代码的情况下替换组件或事务类型，从而提升验证环境的灵活性和可重用性。以下是Factory机制的详细解析…...

编程日记 2025/7/16 6:28:29

MAC安装docker 后提示com.docker.vmnetd”将对您的电脑造成伤害

出现“com.docker.vmnetd”将对您的电脑造成伤害的提示，通常是由于文件签名问题导致 macOS 的安全系统误判 Docker 为恶意软件。以下是解决方法： 停止相关服务并删除文件 运行以下命令停止相关服务并删除有问题的文件 停止 Docker 服务 sudo pkill ‘…...

编程日记 2025/7/16 5:31:21

DeepSeek 助力 Vue3 开发：打造丝滑的表格（Table）之添加行拖拽排序功能示例7，TableView16_07 列拖拽排序示例

前言：哈喽，大家好，今天给大家分享一篇文章！并提供具体代码帮助大家深入理解，彻底掌握！创作不易，如果能帮助到大家或者给大家一些灵感和启发，欢迎收藏+关注哦 💕 目录 DeepSeek 助力 Vue3 开发：打造丝滑的表格（Table）之添加行拖拽排序功能示例7，TableView16_07 列…...

编程日记 2025/7/16 5:42:42

爬虫的第三天——爬动态网页

一、基本概念 动态网页是指网页内容可以根据用户的操作或者预设条件而实时发生变化的网页。 特点： 用户交互：动态网页能够根据用户的请求而生成不同的内容。内容动态生成：数据来自数据库、API或用户输入。客户端动态渲染：浏览器…...

编程日记 2025/7/10 16:20:35

AI Agent 开发与传统后端开发区别？

AI Agent 开发与传统后端开发在目标、技术栈、设计模式和协作流程上存在显著差异。以下是详细对比： 一、核心目标不同 维度AI Agent 开发传统后端开发主要目标模拟人类决策、执行复杂任务处理业务逻辑、管理数据流用户交互主动感知环境、自主决策（如对话…...

编程日记 2025/7/13 22:17:15

python 将mkv格式视频转换成mp4格式

在Python中，可以使用moviepy库来将MKV格式的视频转换成MP4格式。moviepy是一个用于视频编辑的强大库，支持多种视频格式的处理。 from moviepy.editor import VideoFileClipdef convert_mkv_to_mp4(mkv_file_path, mp4_file_path):try:video VideoFileC…...

编程日记 2025/7/3 20:15:54

【入门初级篇】报表基础操作与功能介绍

【入门初级篇】报表的基本操作与功能介绍 视频要点 （1）报表组件的创建 （2）指标组件的使用：一级、二级指标操作演示 （3）表格属性设置介绍 （4）图表属性设置介绍 &#xff0…...

编程日记 2025/7/2 1:34:43

单例模式在Python中的实现和应用

单例模式是一种常见的设计模式，用于确保一个类只有一个实例，并提供一个全局访问点。它的应用场景非常广泛，比如配置管理、日志记录、线程池等领域。让我们一起深入了解一下Python中如何实现单例模式吧！ 单例模式的基本概念 单例…...

编程日记 2025/7/11 11:19:27

HarmonyOS-ArkUI Navigation (导航组件)-第一部分

导航组件主要实现页面间以及组件内部的界面跳转，支持在不同的组件间进行参数的传递，提供灵活的跳转栈操作，从而便捷的实现对不同页面的访问和复用。 我们之前学习过Tabs组件，这个组件里面也有支持跳转的方式，Navigati…...

编程日记 2025/7/15 20:38:16

技术速递｜为 .NET 的 AI 评估解锁新的可能性

作者：Wendy Breiding 排版：Alan Wang Microsoft.Extensions.AI.Evaluations 库旨在简化将 AI 评估流程集成到应用程序中的过程。它提供了一个强大的框架，用于评估您的 AI 应用程序并自动化评估其性能。 去年11月，我们发布了该库的…...

编程日记 2025/7/13 12:53:55

android studio调试aosp手机userdebug版本无法查看局部变量和参数问题如何解决？

背景： 平常系统开发过程中，经常需要对一些代码进行相关追踪，这个时候很多同学会使用马哥课程讲解的android studio直接进行调试的方法，但是近期有学员朋友在群里反馈它在调试过程中无法看到方法参数的值，局部变量值&a…...

编程日记 2025/7/11 5:38:51

【OCR】技术

OCR图像识别 一、OCR是什么二、Python中如何实现OCR1.简单应用 三、OCR的核心步骤1.​图像预处理​（提高识别准确率）2.​文字识别3.​输出结果 四、OCR到的应用场景五、注意事项六、扩展学习 此贴用来更新在工作中遇到的一些图片解析内容 一、OCR是什么 …...

编程日记 2025/7/5 20:31:13

数据库同步中间件PanguSync：如何跳过初始数据直接进行增量同步

某些用户在使用数据库同步中间件PanguSync时说，我不想进行初次的全量同步，我已经源备份还原到目标库了，两边初始数据一样，想跳过初始数据，直接进行增量同步，该怎么设置。 直接上干货，按如下步骤…...

编程日记 2025/7/10 4:32:34

ICLR 2025｜华科OVTR：首次实现端到端开放词汇多目标跟踪，刷新性能SOTA！

OVTR 是一种新型的多目标跟踪（MOT）方法，它由华中科技大学的团队提出，并发表于 ICLR 2025。该方法不仅速度快、适应性强，还能在开放词汇场景下实现零样本跟踪。本文将从背景、创新点到实验细节，全面介绍 OVT…...

编程日记 2025/7/10 10:40:06

个人学习编程(3-29) leetcode刷题

最后一个单词的长度： 思路：跳过末尾的空格，可以从后向前遍历 然后再利用 while(i>0 && s[i] ! ) 可以得到字符串的长度， int lengthOfLastWord(char* s) {int length 0;int i strlen(s) - 1; //从字符串末尾开始//…...

编程日记 2025/7/12 11:17:26

JSP 与 JavaScript 动态网页开发的比较

本质区别 特性JSP (JavaServer Pages)JavaScript执行位置服务器端客户端(浏览器)主要功能生成HTML内容操作DOM、处理用户交互数据获取直接访问服务器资源(数据库等)需要通过AJAX/Fetch API获取SEO友好是(内容在服务器生成)否(内容可能由JS动态生成)首次加载完整HTML可能需要多…...

编程日记 2025/7/16 4:53:46

Vue下 Sortable 实现 table 列表字段可拖拽排序，显示隐藏组件开发

vue 开发table 列表时&#xff0c;需要动态调整列字段的顺序和显示隐藏 实现效果如图所示&#xff1a; vue 组件代码 <template><div style"width: 90%; margin: 0 auto;"><el-table :data"tableData" border"" ref"table…...

编程日记 2025/7/11 13:25:10

Apache Shiro 全面指南：从入门到高级应用

一、Shiro 概述与核心架构 1.1 什么是 Shiro&#xff1f; Apache Shiro 是一个强大且易用的 Java 安全框架&#xff0c;它提供了认证&#xff08;Authentication&#xff09;、授权&#xff08;Authorization&#xff09;、加密&#xff08;Cryptography&#xff09;和会话管…...

编程日记 2025/7/12 5:47:16

高速电路中的存储器应用与设计三

4 DDR2 SDRAM 介绍及其应用要点 1. DDR2 SDRAM 概述 DDR2&#xff08;Double Data Rate 2&#xff0c;两倍数据速率&#xff0c;版本 2&#xff09;SDRAM&#xff0c;是由 JEDEC 国际标准组织开发的、基于 DDR SDRAM 的、升级的存储技术。与 DDR SDRAM 相比&#xff0c;虽然其…...

编程日记 2025/7/15 9:35:57

AndroidStudio无法识别连接夜神模拟器

下载夜神模拟器&#xff1a; https://www.yeshen.com/ 启动之后发现AS关联不了夜神模拟器&#xff0c;需要做如下的操作。 1&#xff1a;复制配置文件进入夜神模拟器 adb 相关的更改&#xff1a; 开启的命令是&#xff1a; 端口启动 固定&#xff1a; 夜神模拟器&#xff…...

编程日记 2025/7/11 22:28:21

Go 语言标准库中database模块详细功能介绍与示例

Go语言的标准库 database/sql 提供了与 SQL 数据库交互的通用接口&#xff0c;但需要搭配具体的数据库驱动&#xff08;如 MySQL、PostgreSQL 等&#xff09;使用。以下是 database/sql 的核心方法及示例说明&#xff1a; 1. 连接数据库 sql.Open(driverName, dataSourceName)…...

编程日记 2025/7/15 21:33:27

ai-api-union项目，适配各AI厂商api

项目地址&#xff1a;alpbeta/ai-api-union 需求&#xff1a;实现兼容各大模型厂商api的流式对话和同步对话接口&#xff0c;本项目现兼容智谱、豆包、通义、通义版deepseek 设计 一个ChatController类对外暴露这两个接口&#xff0c;入参都为ChatRequest请求类&#xff0c;…...

编程日记 2025/7/12 23:46:57

进程间通信——信号量

进程间通信——信号量 目录 一、基本概念 1.1 概念 1.2 基本操作 1.3 相关函数 1.3.1 semget创建/获取 1.3.2 semop操作信号量 1.3.3 semctl初始化/删除 二、代码操作 2.1 不用PV的 2.2 用PV 的 2.2.1 a.c 2.2.2 b.c 2.2.3 sem.h 2.2.4 sem.c 一、基本概念 1.1…...

编程日记 2025/7/3 7:25:31

CSS 如何设置父元素的透明度而不影响子元素的透明度

CSS 如何设置父元素的透明度而不影响子元素的透明度 在 CSS 中&#xff0c;设置父元素的透明度&#xff08;如通过 opacity 属性&#xff09;会影响所有子元素的透明度&#xff0c;因为 opacity 是作用于整个元素及其内容的。如果想让父元素透明但不影响子元素的透明度&#x…...

编程日记 2025/7/12 17:46:41

SpringBean模块（一）定义如何创建生命周期

一、介绍 1、简介 在 Spring 框架中&#xff0c;Bean 是指由 Spring 容器 管理的 Java 对象。Spring 负责创建、配置和管理这些对象&#xff0c;并在应用程序运行时对它们进行依赖注入&#xff08;Dependency Injection&#xff0c;DI&#xff09;。 通俗地讲&#xff0c;Sp…...

编程日记 2025/7/15 11:51:49

2007-2019年各省地方财政一般公共服务支出数据

2007-2019年各省地方财政一般公共服务支出数据 1、时间&#xff1a;2007-2019年 2、来源&#xff1a;国家统计局、统计年鉴 3、指标&#xff1a;行政区划代码、地区、年份、地方财政一般公共服务支出 4、范围&#xff1a;31省 5、指标说明&#xff1a;地方财政一般公共服务…...

编程日记 2025/7/10 19:59:02

S32K144外设实验（六）：FTM输出单路PWM

文章目录 1. 概述1.1 时钟系统1.2 实验目的2. 代码的配置2.1 时钟配置2.2 FTM模块配置2.3 输出引脚配置2.4 API函数调用1. 概述 1.1 时钟系统 FTM的CPU接口时钟为SYS_CLK，在RUN模式下最高80MHz。模块的时钟结构如下图所示。 从上图中可以看出，FTM模块的功能时钟为SYS_CLK，…...

编程日记 2025/7/10 1:22:42

二层综合实验

拓扑图 实验要求 1.内网IP地址使用172.16.6.0/16分配 2.sw1和sW2之间互为备份 3.VRRP/STP/VLAN/Eth-trunk均使用 4.所有Pc均通过DHCP获取IP地址 5.ISP只能配置IP地址 6.所有电脑可以正常访问IsP路由器环回 实验思路 这是一个二层综合实验每当拿到一个实验看清楚要求之后都有…...

编程日记 2025/7/15 10:05:38

《深度剖析SQL之WHERE子句：数据过滤的艺术》

在当今数据驱动的时代&#xff0c;数据处理和分析能力已成为职场中至关重要的技能。SQL作为一种强大的结构化查询语言&#xff0c;在数据管理和分析领域占据着核心地位。而WHERE子句&#xff0c;作为SQL中用于数据过滤的关键组件&#xff0c;就像是一把精准的手术刀&#xff0c…...

编程日记 2025/7/14 11:48:21

Python每日一题(7)

Python每日一题 2025.3.27 一、题目二、分析三、自己源代码四、deepseek答案五、源代码与ai分析 一、题目 question["""编写程序,生成包含20个随机数的列表,然后将前十个元素升序排列,后10个元素降序排列,并输出结果""" ]二、分析 今天本来写了…...

编程日记 2025/7/10 9:43:53

Linux命令大全：从入门到高效运维

适合人群&#xff1a;Linux新手 | 运维工程师 | 开发者 目录 一、Linux常用命令&#xff08;每天必用&#xff09; 1. 文件与目录操作 2. 文件内容查看与编辑 二、次常用命令&#xff08;按需使用&#xff09; 1. 系统管理与监控 2. 网络与通信 3. 权限与用户管理 三、…...

编程日记 2025/7/10 12:41:46

Xss复现

目录 前提&#xff1a; 1.什么是XSS 2.XSS 的三种主要类型 复现 第1关 第2关 前提&#xff1a; 1.什么是XSS XSS&#xff08;跨站脚本攻击&#xff0c;Cross-Site Scripting&#xff09; 是一种常见的 Web 安全漏洞&#xff0c;攻击者通过向网页注入恶意脚本&#xff…...

编程日记 2025/7/15 4:40:41