当前位置：首页 > news >正文

RAG中的文本切分策略详解

news 来源：原创 2025/6/19 1:48:15

RAG中的文本切分策略详解

在这里插入图片描述

1. 选择RAG中的文本切分策略

1.1 不同的文本切分策略

1. CharacterTextSplitter - 这是最简单的方法。它默认基于字符（默认为""）来切割，并且通过字符的数量来衡量块的长度
2. RecursiveCharacterTextSplitter - 基于字符列表拆分文本。
3. - 基于不同的文件类型使用不同的切分方法（PDF、word、Python、Markdown等等）
4. - 基于滑动窗口的语义切分

那我们就开始看一下不同的textspliter切分效果如何吧！！！

1.2 CharacterTextSplitter

text = "大家好，我是双天至尊，欢迎关注我，让我们一起探索人工智能AI RAG吧！！！"from langchain_text_splitters import CharacterTextSplittertext_splitter = CharacterTextSplitter(separator="",chunk_size=5,chunk_overlap=1, length_function=len,is_separator_regex=False
)text_splitter.split_text(text=text)

在这里插入图片描述

切分原理

chunks = []
chunk_size = 5
chunk_overlap = 1i = 0while i < len(text):# 开始位置if i > 0:start = max

RAG中的文本切分策略详解

RAG中的文本切分策略详解 1. 选择RAG中的文本切分策略 1.1 不同的文本切分策略 1. CharacterTextSplitter - 这是最简单的方法。它默认基于字符（默认为""）来切割，并且通过字符的数量来衡量块的长度 2. RecursiveCharacterTextSplitter - 基于字符列表拆分文本。 …...

编程日记 2025/6/4 5:36:41

1-1 电场基本概念

目录： 目录目录： 1.0 电荷守恒定律 2.0 互斥与相吸 3.0 电场的概念 4.0 库伦定律 5.0 矢量的概念 1.0 电荷守恒定律电荷守恒定律是物理学中的一个基本原理，它指出在一个封闭系统内，电荷的总量是保持不变的。这意味着电荷既…...

编程日记 2025/5/31 4:55:01

SpringBoot初始化执行自定义接口

SpringBoot初始化执行自定义接口直接加载接口的方法上即可 PostConstructpublic void init() {//加载初始化数据}PostConstruct‌是一个在Java EE 5规范中引入的注解，用于标记在依赖注入完成后需要执行的方法。这个注解定义在javax.annotation包中，而不…...

编程日记 2025/5/28 21:43:52

【Ubuntu与Linux操作系统：一、Ubuntu安装与基本使用】

第1章 Ubuntu安装与基本使用 1.1 Linux与Ubuntu Linux是一种开源、类Unix操作系统内核，拥有高稳定性和强大的网络功能。由于其开源性和灵活性，Linux被广泛应用于服务器、嵌入式设备以及桌面环境中。 Ubuntu是基于Debian的一个流行Linux发行版&#xf…...

编程日记 2025/5/22 16:13:44

C++大端小端判断方法

文章目录大端小端定义判断方法方法一：利用联合体（Union）特性判断方法二：通过指针类型转换判断方法三：利用位运算与移位操作判断方法四：使用系统提供的字节序相关宏（特定平台支持） 联…...

编程日记 2025/6/4 13:36:46

【IO编程】标准IO和文件IO的对比

标准 I/O 和文件 I/O 是两种常见的输入输出操作方式。它们的核心功能都是处理数据流，但使用场景和实现方式有所不同，适用于不同的需求。标准 I/O 标准 I/O 是指与标准输入、标准输出和标准错误流（分别为 stdin、stdout 和 stderr&#xf…...

编程日记 2025/6/2 17:19:30

C#范围表达式,模式匹配,逆变和协变--11

目录一.范围表达式 1.概述 2.语法 3.代码示例 4.实现原理 5.应用场景二.模式匹配 1.概述 2.核心概念 3.常用模式类型 4.Switch表达式 5.使用示例 6.优势三.逆变和协变 1.概述 2.泛型类型参数的变性 3.协变示例 4.逆变示例 5.注意事项 6.应用场景总结一…...

编程日记 2025/6/3 18:04:16

矩阵求逆的几种方式

矩阵求逆的几种方式（以二阶为例） 矩阵求逆的方法有多种，以下是常用的几种方式总结： 1. 行列式公式法这是最常见的方法，适用于 2 2 2 \times 2 22矩阵。对于矩阵： Φ [ a b c d ] , \Phi \begin{bma…...

编程日记 2025/6/2 3:12:11

全新市场阶段， Plume 生态不断壮大的 RWAfi 版图

加密市场在 2024 年迎来了新的里程碑。BTC 不仅成功推出 ETF，以 BTC 为代表的主流加密货币还在一系列传统金融机构的推动下逐步与主流金融市场接轨。与此同时，随着特朗普成功当选下一任美国总统，他承诺推出一系列友好的加密政策，并…...

编程日记 2025/6/2 18:39:36

HTTPS SSL/TLS 工作流程

目录一、HTTP/HTTPS 简介1、HTTP协议相关内容2、HTTPS协议3、HTTP版本差异： 二、HTTPS 协议工作流程解析1. 客户端请求 SSL 握手2. 服务端接收 SSL 握手连接3. TLS 握手中的密钥协商4. HTTP 数据的加密与解密5. 安全性保障三、HTTPS 协议的相关知识拓展1. TLS 与 …...

编程日记 2025/6/3 4:15:17

基于异步IO的io_uring

基于异步IO的io_uring 1. io_uring的实现原理 io_uring使用了一种异步IO机制，它通过一对环形缓冲区(ring buffer)实现用户态于内核态之间的高效通信，用户只需将IO请求放入提交队列，当内核完成IO请求时，会将结果放入完成队列&…...

编程日记 2025/6/1 10:36:00

【redis】centos7下安装redis7

在CentOS 7下安装Redis7可以通过以下两种方法实现：手动编译安装和使用YUM进行安装。 CentOS 7系统的环境和版本： $ cat /etc/centos-release CentOS Linux release 7.9.2009 (Core)手动编译安装参考官方文档：https://redis.io/docs/lates…...

编程日记 2025/6/4 4:10:07

信息系统项目管理-采购管理-采购清单示例

序号类别产品/服务名称规格/功能描述数量备注1硬件服务器高性能处理器，大容量存储10HP、DELL2网络设备高速路由器和交换机10华为3工作站多核处理器，高分辨率显示器25国产设备4移动检查设备手持式移动检查仪，可连接云平台30国产设备5打印机和扫…...

编程日记 2025/6/2 21:19:00

python 代码使用 DeepXDE 库实现了一个求解二维非线性偏微分方程（PDE）的功能

import deepxde as dde import numpy as np import matplotlib.pyplot as plt import tensorflow as tf# 设置时空计算域 Lx 1 # x 范围从 0 到 1 Ly 1 # y 范围从 0 到 1 Lt 0.05 # t 范围从 0 到 0.05 geom dde.geometry.Rectangle([0, 0], [Lx, Ly]) # 空间域 timed…...

编程日记 2025/5/30 10:54:19

后端技术选型 sa-token校验学习下结合项目学习后端鉴权

目录后端注册拦截器实现对 WebMvcConfigurer 接口的类实现静态变量方法重写注册 Spring Framework拦截器 Sa-Token中SaServletFilter拦截器思考为什么使用两个拦截器 1. Spring Framework 拦截器 2. SaServletFilter 为什么要注册两个拦截器？ 总结 …...

编程日记 2025/6/1 11:07:51

继承（8）

大家好，今天我们来学习一下继承方式相关的知识，有助于我们对java的继承有更深的了解，话不多说，来看。 1.10 继承方式在现实生活中,事物之间的关系是非常复杂,灵活多样。 Java中支持以下几种继承方式: 单继承： 多层…...

编程日记 2025/6/3 20:22:40

深度学习-图神经网络-超图概念及在Hyper-YOLO的应用（小白也看懂）

为什么需要超图？ 在一个复杂系统中，某些节点（实体）之间的互动可能不是仅限于两个节点之间的关系，而是多个节点同时参与的更复杂的关系（超边）。简单说就是为了更好的描述事物之间的关系&#xf…...

编程日记 2025/6/3 6:48:58

django基于Python的校园个人闲置物品换购平台

Django 基于 Python 的校园个人闲置物品换购平台一、平台概述 Django 基于 Python 的校园个人闲置物品换购平台是专为校园师生打造的一个便捷、环保且充满活力的线上交易场所。它借助 Django 这一强大的 Python Web 开发框架，整合了校园内丰富的闲置物品资源&…...

编程日记 2025/6/3 2:40:15

opencv的NLM去噪算法

NLM（Non-Local Means）去噪算法是一种基于图像块（patch）相似性的去噪方法。其基本原理是： 图像块相似性：算法首先定义了一个搜索窗口（search window），然后在该窗口内寻找…...

编程日记 2025/6/1 15:59:07

嵌入式系统中的 OpenCV 与 OpenGLES 协同应用

🎬 秋野酱：《个人主页》 🔥 个人专栏:《Java专栏》《Python专栏》 ⛺️心若有所向往,何惧道阻且长文章目录一、OpenCV 在嵌入式中的基石地位二、OpenGLES 为嵌入式图形渲染赋能三、二者协同的精妙之处四、面临的挑战与应对策略在嵌入式开…...

编程日记 2025/6/2 1:22:05

第三十六章 Spring之假如让你来写MVC——拦截器篇

Spring源码阅读目录第一部分——IOC篇第一章 Spring之最熟悉的陌生人——IOC 第二章 Spring之假如让你来写IOC容器——加载资源篇第三章 Spring之假如让你来写IOC容器——解析配置文件篇第四章 Spring之假如让你来写IOC容器——XML配置文件篇第五章 Spring之假如让你来写…...

编程日记 2025/6/2 10:34:43

DDD - 如何运用 DDD 进行数据库设计

文章目录 Pre概述领域对象持久化的思想领域模型的设计传统的 4 种关系1. 一对一关系2. 多对一关系3. 一对多关系4. 多对多关系继承关系的 3 种设计1. 继承关系的第一种方案：整个父类与子类都写入一张表2. 继承关系的第二种方案：各子类各自对应各自的表3…...

编程日记 2025/5/30 13:49:42

OSPF - 特殊报文与ospf的机制

👠1 携带FA地址的5类LSA 除去7类转5类的LSA会携带FA地址，还有一种情况会有FA地址 FA地址:forwarding address 转发地址，解决次优路径，避免环路5类LSA FA地址不为0，则直接通过FA地址去往目标网段 FA地址为0&#xff0c…...

编程日记 2025/5/30 19:26:05

VSCode 插件

VSCode 插件 1. GitHub Copilot - AI 代码助手功能：根据上下文提供实时代码补全，支持自然语言转代码，提供符合现代编程规范的建议。进阶技巧： 使用快捷键 Alt ] 切换多个建议。写注释时，描述业务逻辑而不是具体实现…...

编程日记 2025/6/3 13:30:19

jQuery CSS 类

jQuery CSS 类引言在网页设计和开发中，CSS（层叠样式表）起着至关重要的作用，它负责定义网页的布局、颜色、字体等视觉效果。jQuery，作为一个快速、小巧且功能丰富的JavaScript库，极大地简化了HTML文档的…...

编程日记 2025/6/3 20:40:15

CentOS下安装Docker

Docker 必须要在Linux环境下才能运行，windows下运行也是安装虚拟机后才能下载安装运行，菜鸟教程下载安装 linux 依次执行下边步骤更新 yum yum update 卸载旧的Docker yum remove docker docker-client docker-client-latest docker-common doc…...

编程日记 2025/6/3 8:14:02

SQLAlchemy

https://docs.sqlalchemy.org.cn/en/20/orm/quickstart.htmlhttps://docs.sqlalchemy.org.cn/en/20/orm/quickstart.html 声明模型在这里，我们定义模块级构造，这些构造将构成我们从数据库中查询的结构。这种结构被称为声明式映射，它同时定…...

编程日记 2025/6/2 2:58:31

2025年第三届“华数杯”国际赛A题解题思路与代码（Python版）

游泳竞技策略优化模型代码详解第一题：速度优化模型在这一部分，我们将详细解析如何通过数学建模来优化游泳运动员在不同距离比赛中的速度分配策略。 1. 模型概述我们的模型主要包含三个核心文件： speed_optimization.py: 速度优化的核…...

编程日记 2025/5/31 8:02:09

深入架构剖析博客点赞逻辑 strategy 策略模式策略接口上下文具体策略项目实战

目录点赞策略上下文策略上下文代码详解 1. 策略模式概述 2. 核心组件 3. 代码解读 LikeStrategyContext 类 LikeTypeEnum 枚举 LikeStrategy 接口具体策略类 4. 如何使用这个设计 5. 优点 6. 总结具体代码实现定义枚举类从控制层传入参数到上下文在策略上…...

编程日记 2025/6/4 1:20:54

嵌入式Linux之C语言开发基础

一、C 语言编译过程 Linux 的 C 语言开发，一般选择 GCC 工具链进行编译，示例： 1.mkdir helloworld 2.cd helloworld // 1.main.c #include "hello.h" int main() {say_hello();return 0; } // 2.hello.h #ifndef __HELLO_H__ #de…...

编程日记 2025/5/31 17:50:05

std::accumulate

std::accumulate 是 C 标准库中的一个算法，定义在 <numeric> 头文件中。它用于计算给定范围内元素的累积值（通常是一个和，但也可以是其他类型的累积操作）。 template< class InputIt, class T > T accumulate( Input…...

编程日记 2025/6/1 4:21:14

计算机网络（33）传输控制协议TCP概述

一、定义与基本概念 TCP是一种面向连接的、可靠的、基于字节流的传输层通信协议。它工作在OSI模型的第四层，即传输层，为用户提供可靠的、有序的和无差错的数据传输服务。TCP协议与UDP协议是传输层的两大主要协议，但两者在设计上有明显的不同&…...

编程日记 2025/5/30 23:51:19

Gitee图形界面上传（详细步骤）

目录 1.软件安装 2.安装顺序 3.创建仓库 4.克隆远程仓库到本地电脑提交代码的三板斧 1.软件安装 Git - Downloads (git-scm.com) Download – TortoiseGit – Windows Shell Interface to Git 2.安装顺序 1. 首先安装git-2.33.1-64-bit.exe，顺序不能搞错2. …...

编程日记 2025/5/28 7:17:02

【STM32-学习笔记-6-】DMA

文章目录 DMAⅠ、DMA框图Ⅱ、DMA基本结构Ⅲ、不同外设的DMA请求Ⅳ、DMA函数Ⅴ、DMA_InitTypeDef结构体参数①、DMA_PeripheralBaseAddr②、DMA_PeripheralDataSize③、DMA_PeripheralInc④、DMA_MemoryBaseAddr⑤、DMA_MemoryDataSize⑥、DMA_MemoryInc⑦、DMA_DIR⑧、DMA_Buff…...

编程日记 2025/6/3 22:59:15

苍穹外卖08——（涉及接收日期格式数据、ApachePOI导出报表、sql获取top10菜品数据）

营业额统计 service层在需要处理空值、与数据库交互或使用集合时，Integer 、Double是更好的选择。 // 导入string工具类 import org.apache.commons.lang.StringUtils; Service // 标记该类为Spring的服务组件 Slf4j // 引入日志功能 public class Repor…...

编程日记 2025/5/31 10:25:09

Node.js——fs（文件系统）模块

个人简介 👀个人主页： 前端杂货铺 🙋‍♂️学习方向： 主攻前端方向，正逐渐往全干发展 📃个人状态： 研发工程师，现效力于中国工业软件事业 🚀人生格言： 积跬步…...

编程日记 2025/6/2 0:57:49

【Docker】入门教程

目录一、Docker的安装二、Docker的命令 Docker命令实验 1.下载镜像 2.启动容器 3.修改页面 4.保存镜像 5.分享社区三、Docker存储 1.目录挂载 2.卷映射四、Docker网络 1.容器间相互访问 2.Redis主从同步集群 3.启动MySQL 五、Docker Compose 1.命令式安装 …...

编程日记 2025/6/3 4:14:20

Ubuntu中使用miniconda安装R和R包devtools

安装devtools环境包 sudo apt-get install gfortran -y sudo apt-get install build-essential -y sudo apt-get install libxt-dev -y sudo apt-get install libcurl4-openssl-dev -y sudo apt-get install libxml2.6-dev -y sudo apt-get install libssl-dev -y sudo apt-g…...

编程日记 2025/6/3 13:09:16

RAG中的文本切分策略详解

1. 选择RAG中的文本切分策略

1.1 不同的文本切分策略

1. CharacterTextSplitter - 这是最简单的方法。它默认基于字符（默认为""）来切割，并且通过字符的数量来衡量块的长度

2. RecursiveCharacterTextSplitter - 基于字符列表拆分文本。

3. - 基于不同的文件类型使用不同的切分方法（PDF、word、Python、Markdown等等）

4. - 基于滑动窗口的语义切分

那我们就开始看一下不同的textspliter切分效果如何吧！！！

1.2 CharacterTextSplitter

切分原理

相关文章：