当前位置：首页 > news >正文

【AI】Ragflow构建本地知识库

news 来源：原创 2025/9/20 22:48:01

https://github.com/infiniflow/ragflow/blob/main/README_zh.md

DeepSeek搭建的本地知识库很呆？不符合自己的预期？看完这个视频你就明白了！这样部署吊打其他的本地部署！跟着教程来，不怕学不会！_哔哩哔哩_bilibili

20250228-142809.mp4

大模型幻觉问题

大模型幻觉问题是指大模型生成的内容**看似合理，但实际上与客观事实不符或与用户指令、上下文不一致的现象**。以下是对大模型幻觉问题的具体解释：

表现形式

事实性幻觉
- 事实不一致：模型生成的内容与现实世界已有的信息相互矛盾。例如，将历史事件的发生时间记错，或者把某个人物的主要成就张冠李戴等。
- 事实捏造：模型自信地宣称一些不存在的事实，而不是表明“不知道”。比如虚构某本不存在的书籍对某个文物有特别解读等情况。
忠实性幻觉
- 指令不一致：模型输出的内容偏离了用户给出的指令要求。例如用户让总结特定时间的新闻，模型却给出其他时间的内容。
- 上下文不一致：生成的内容与之前给定的上下文信息不相符，出现前后矛盾等情况。
- 逻辑不一致：推理过程和最终答案之间缺乏合理的逻辑关系，导致得出的结论不合理。

产生原因

数据源问题
- 错误信息和偏见：训练数据集中本身存在错误的信息，或者数据存在一定的偏见，模型会学习并可能在输出时表现出这些错误和偏见。
- 领域知识缺陷：对于一些专业领域的复杂知识，训练数据可能覆盖不足，使得模型在处理相关问题时无法获取足够准确的信息。
- 过时的事实知识：数据如果没有及时更新，模型可能会依据过时的信息生成内容，导致与现实情况不符。
- 数据稀疏性：某些概念或事件在训练数据中出现的频率过低，模型缺乏足够的数据来学习，在生成相关内容时就容易出现错误或捏造。
训练过程问题
- 模型容量与数据不匹配：模型规模过大而训练数据不足，容易出现过拟合，使模型在面对新样本时产生幻觉。
- 优化算法的选择：不同优化算法会使模型学习到不同的特征和模式，部分算法可能导致模型在推理时过度自信，从而产生幻觉。
- 正则化不足：正则化技术可帮助模型泛化，若正则化不足，模型易过度拟合训练数据，在新数据上出现幻觉。
- 预训练与微调的不一致性：预训练模型可能在特定领域知识上有欠缺，微调过程若无法很好弥补，模型在特定任务中就可能生成幻觉内容。
推理问题
- 逻辑推理能力的局限：大模型在复杂的逻辑推理任务上存在不足，难以正确理解因果关系或逻辑链条，导致生成的内容不符合逻辑。
- 上下文理解的不足：模型可能无法充分理解输入的上下文信息，尤其是长序列或复杂的上下文，从而生成与上下文不一致的内容。
- 长尾分布问题：对于罕见或非常规的查询，由于在训练数据中很少出现，模型处理起来会有困难，容易在推理时产生幻觉。
- 反馈循环问题：模型生成的错误信息可能会作为输入再次被模型学习，进而强化错误信息，形成恶性循环。

影响

在实际应用中的危害：在医疗、法律、金融等对准确性要求极高的领域，如果大模型产生幻觉**，可能会导致严重的后果，如给出错误的医疗诊断建议、法律解读错误、金融风险评估失误等。**
对用户信任的影响：用户如果经常遇到大模型给出的错误或不合理内容，会降低对大模型的信任度，影响大模型的推广和应用。

解决方案

参数调整
- temperature参数调整：降低temperature值，减少模型输出的多样性，使其更倾向于选择概率最高的词汇，从而提高输出准确性，减少幻觉。
- 正则化技术：引入l1或l2正则化等正则化项，限制模型过拟合，增强泛化能力。
- 早停法（early stopping）：在训练中监控验证集性能，当性能不再提升或下降时停止训练，防止过拟合。
提示工程
- 明确具体的提示：给模型提供具体、清晰的指令和上下文，减少其理解的模糊性。
- 链式思考（chain of thought）提示：在提示中包含多步推理示例，引导模型逐步思考和自我验证。
- 思维树（thought tree）提示：鼓励模型探索不同推理路径，并在每一步进行评估，避免其陷入单一推理路径。
外部知识库整合
- 检索增强生成（RAG****）：结合检索组件和生成组件，利用检索到的数据辅助答案生成，提高响应的准确性和相关性。
- 知识图谱整合：将知识图谱与大模型结合，为模型提供结构化知识支持，减少捏造事实的情况。
- 实时数据源接入：对于需要最新信息的任务，接入实时数据源，确保模型基于最新数据生成内容。

模型微调与RAG

微调: 在已有的预训练模型基础上,再结合特定任务的数据集进一步对其进行训练,使得模型在这一领域中表现更好(考前复习);
RAG: 在生成回答之前,通过信息检索从外部知识库中查找与问题相关的知识,增强生成过程中的信息来源,从

而提升生成的质量和准确性(考试带小抄)

共同点:都是为了赋予模型某个领域的特定知识,解决大模型的幻觉问题

RAG的原理

检索(Retrieval):当用户提出问题时,系统会从外部的知识库中检索出与用户输入相关的内容。
增强(Augmentation):系统将检索到的信息与用户的输入结合,扩展模型的上下文。然后再传给生成模型(也

就是Deepseek);

生成(Generation):生成模型基于增强后的输入生成最终的回答。由于这一回答参考了外部知识库中的内容,

因此更加准确可读。

Embedding

【AI】Ragflow构建本地知识库

https://github.com/infiniflow/ragflow/blob/main/README_zh.md DeepSeek搭建的本地知识库很呆？不符合自己的预期？看完这个视频你就明白了！这样部署吊打其他的本地部署！跟着教程来，不怕学不会！_哔哩哔哩_…...

编程日记 2025/9/20 22:48:01

【Django】教程-12-柱状图

【Django】教程-1-安装创建项目目录结构介绍【Django】教程-2-前端-目录结构介绍【Django】教程-3-数据库相关介绍【Django】教程-4-一个增删改查的Demo 【Django】教程-5-ModelForm增删改查规则校验【正则钩子函数】【Django】教程-6-搜索框-条件查询前后端【Django】教程…...

编程日记 2025/9/13 14:50:59

市政消防栓智能监控管理系统（Axure高保真原型）

在城市的运转体系中，市政消防栓扮演着无可替代的关键角色，作为城市公共安全基础设施的核心，它是火灾扑救时的关键水源保障，其重要性不言而喻。当火灾这头 “猛兽” 突然来袭，市政消防栓就是那道阻止火势蔓延、守护生命…...

编程日记 2025/9/14 4:00:21

代码 # 2-10交叉熵代价函数的逻辑回归模型 import pandas as pd import numpy as np import matplotlib.pyplot as plt# 参数设置 iterations 1000 # 迭代次数 learning_rate 0.1 # 学习率 m_train 250 # 训练样本数量# 读入酒驾检测数据集 df pd.read_csv(alcohol_d…...

编程日记 2025/9/20 22:46:17

华为ar1200修改con口密码

<Huawei> <Huawei>sys Enter system view, return user view with CtrlZ. [Huawei]user-interface console 0 进入端口 [Huawei-ui-console0]authentication-mode pass 以pass模式登录 [Huawei-ui-console0]set authentication password cipher …...

编程日记 2025/9/8 11:31:28

Java 集合有序性与重复性总结及记忆技巧

Java 集合有序性与重复性总结及记忆技巧一、集合分类速查表集合类型是否有序是否允许重复记忆口诀ArrayList✅ 有序（插入顺序）✅ 可重复"数组列表，顺序记牢"LinkedList✅ 有序（插入顺序）✅ 可重复"…...

编程日记 2025/9/16 1:59:50

机器学习--词向量转换

引言在自然语言处理（NLP）的广阔领域中，计算机面临的一大挑战是理解人类语言的丰富性和复杂性。文本数据对于机器而言，最初只是一连串难以理解的字符。词向量转换便成为了一座关键的桥梁，它将文本中的单词映射为数值向…...

编程日记 2025/9/20 22:46:19

时序数据异常检测-综述

更新中异常检测基本概念广义的Out-of-Distribution（广义的OOD）来描述异常检测的相关问题。OOD包括五个相关的子领域，分别为Anomaly Detection（AD）、Novelty Detection（ND）、Open Set Recogntion（OSR）、Out-of-Distribution（OOD）和Outlier Detection（OD）。这5个…...

编程日记 2025/9/20 22:46:18

2025年Python的主要应用场景

李升伟编译 Python在2025年仍是最受欢迎和强大的编程语言之一。其简洁易读的语法以及庞大的库生态系统，使其成为各行业开发者的首选。无论是构建复杂的数据管道，还是自动化重复性任务，Python都能提供广泛的应用场景，以实现快速、…...

编程日记 2025/9/20 22:48:00

树的深度遍历和广度遍历

目录一、深度优先遍历（递归）二叉树的深度优先遍历（递归） 二、广度优先遍历二叉树的广度遍历一、深度优先遍历（递归） #include<iostream> #include<vector>using namespace std;const int N1…...

编程日记 2025/9/19 22:41:38

C++函数如何返回多个参数

在编程中，我们经常会遇到需要函数返回多个值的场景。虽然 C 函数不能直接返回多个参数，但通过一些间接的方法，我们可以轻松实现这一需求。本文将详细介绍几种常见的实现方式，并分析它们的优缺点和适用场景。 1. 引言在 C 中&…...

编程日记 2025/9/9 15:52:44

Python 实现的运筹优化系统代码详解(0-1规划指派问题)

一、引言在数学建模的广阔领域中，指派问题作为一类经典且重要的组合优化问题，频繁出现在各类实际场景里。例如，在人力资源管理中，如何将不同技能水平的员工高效地分配到各个项目，以实现项目成本最小化或收益最大化&am…...

编程日记 2025/9/11 8:38:27

深度集成学习不均衡样本图像分类

用五个不同的网络，然后对分类概率进行平均，得到分类结果。基本上分类精度可以提升10% 1.导入基本库 import torch import copy import torch.nn as nn import torchvision.models as models from torchvision import datasets from torchvision import…...

编程日记 2025/9/16 1:59:55

ubuntu 20.04 复现 LVI-SAM

1.环境配置 ubuntu20.04 ROS-Noetic GTSAM 4.0.2 Ceres 1.14.0 前面的我都安装过了，但Ceres 我安装的是 2.2.0,现在安装Ceres 1.14.0 sudo apt-get update sudo apt-get install cmake libgoogle-glog-dev libgflags-dev libatlas-base-dev libeigen3-dev lib…...

编程日记 2025/9/15 22:39:32

每日OJ题_剑指offer数组篇（剑指offer04+剑指offer11+剑指offer21）

目录剑指 Offer 04二维数组中的查找代码解析剑指 Offer 11旋转数组的最小数字代码解析1 代码解析2 剑指 Offer 21. 调整数组顺序使奇数位于偶数前面代码解析1 代码解析2 剑指 Offer 04二维数组中的查找 LCR 121. 寻找目标值 - 二维数组 - 力扣（LeetCo…...

编程日记 2025/9/14 21:00:53

使用 `tcpdump` 抓取 LiDAR 网络数据包详解

在调试机器人系统或自动驾驶平台时，我们经常需要分析网络中的 LiDAR（激光雷达）数据流。本文将介绍如何使用 tcpdump 工具对指定 IP 的数据包进行抓取和分析，特别是 LiDAR 数据的典型 UDP 报文。一、什么是 tcpdump？ …...

编程日记 2025/9/18 15:11:05

【NLP 55、强化学习与NLP】

万事开头难，苦尽便是甜 —— 25.4.8 一、什么是强化学习强化学习和有监督学习是机器学习中的两种不同的学习范式强化学习：目标是让智能体通过与环境的交互，学习到一个最优策略以最大化长期累积奖励。不告诉具体路线，首先去做…...

编程日记 2025/9/17 12:27:32

【Linux】单例模式及其在线程池中的应用

📢博客主页：https://blog.csdn.net/2301_779549673 📢博客仓库：https://gitee.com/JohnKingW/linux_test/tree/master/lesson 📢欢迎点赞 👍 收藏 ⭐留言 📝 如有错误敬请指正！ &…...

编程日记 2025/9/12 18:44:49

Ansible的使用2

#### 一、Ansible变量 ##### facts变量 > facts组件是Ansible用于采集被控节点机器的设备信息，比如IP地址、操作系统、以太网设备、mac 地址、时间/日期相关数据，硬件信息等 - setup模块 - 用于获取所有facts信息 shell ## 常用参数 filter…...

编程日记 2025/9/18 15:03:49

十三届蓝桥杯省赛A组扫描游戏

#算法/线段树 #算法/快读参考题解: 题解参考这题思路: 先将坐标进行极角排序,按照顺时针的先后顺序,如果出现两个坐标在一个象限中,我们就先判断这两个坐标是否在同一条直线上,如果在同一条直线上,我们按照离原点最近的长度进行排序之后,我们通过线段树的方法,定义结点tr[i]…...

编程日记 2025/9/11 13:56:42

Python 序列构成的数组(list.sort方法和内置函数sorted)

list.sort方法和内置函数sorted list.sort 方法会就地排序列表，也就是说不会把原列表复制一份。这也是这个方法的返回值是 None 的原因，提醒你本方法不会新建一个列表。在这种情况下返回 None 其实是 Python 的一个惯例：如果一个函数或者…...

编程日记 2025/9/20 17:48:50

C++类与对象进阶知识深度解析

目录一、再谈构造函数 （一）构造函数体赋值 （二）初始化列表 （三）成员变量初始化顺序 （四）explicit关键字二、static成员 （一）概念 （二&am…...

编程日记 2025/9/20 12:25:06

【机器学习案列】基于LightGBM算法的互联网防火墙异常行为检测：数据不平衡的解决方案

🧑 博主简介：曾任某智慧城市类企业算法总监，目前在美国市场的物流公司从事高级算法工程师一职，深耕人工智能领域，精通python数据挖掘、可视化、机器学习等，发表过AI相关的专利并多次在AI类比赛中获奖。CSDN…...

编程日记 2025/9/10 19:31:49

详解minio部署

MinIO 是一款高性能、开源的分布式对象存储解决方案，专为存储非结构化数据（如图片、视频、备份数据等）而设计。MinIO 在吞吐量和延迟上表现出高性能提供与 Amazon S3 完全兼容的 API，支持水平扩展，支持端到端加密、访问…...

编程日记 2025/9/10 11:00:41

校园AI体育：科技赋能教育，运动点亮未来

校园AI体育：科技赋能教育，运动点亮未来在数字化浪潮的推动下，人工智能（AI）已经悄然走进校园，成为教育领域的一股创新力量。而在体育教育中，AI技术的引入更是为传统体育教学注入了新的活力。校…...

编程日记 2025/9/9 21:18:48

LeetCode算法题(Go语言实现)_35

题目给你一棵根为 root 的二叉树，请你返回二叉树中好节点的数目。「好节点」X 定义为：从根到该节点 X 所经过的节点中，没有任何节点的值大于 X 的值。一、代码实现 func goodNodes(root *TreeNode) int {if root nil {return 0}return d…...

编程日记 2025/9/20 8:48:35

ROS2_control 对机器人控制(不完整，有时间再更新)

ROS2_control 对机器人控制安装与介绍安装介绍使用gz 中写法.yaml文件中写法type: joint_state_broadcaster/JointStateBroadcaster的来源命令接口关节控制command_interfacetransmission CMakelist.txt与package.xml文件 gz_ros2_control与自定义插件例子描述自定义插件使用…...

编程日记 2025/9/19 13:41:44

SAP-ABAP：SAP Enterprise Services Repository（ESR）技术全景解析

以下是对SAP PO中Enterprise Services Repository（ESR）的深度技术解析，包含详细架构设计、开发实践及企业级应用方案： SAP Enterprise Services Repository（ESR）技术全景解析一、ESR核心架构与组件关系 1. 技术堆栈定位 ┌─────────────────────…...

编程日记 2025/9/13 17:18:34

每日一道leetcode

2130. 链表最大孪生和 - 力扣（LeetCode） 题目在一个大小为 n 且 n 为偶数的链表中，对于 0 < i < (n / 2) - 1 的 i ，第 i 个节点（下标从 0 开始）的孪生节点为第 (n-1-i) 个节点。比方说&…...

编程日记 2025/9/19 19:27:55

通过Aop实现限制修改删除指定账号的数据

1、需求对于Teach账号创建的数据，其他用户仅仅只有查询的权限，而不能修改和删除。并且部分接口只允许Teach账号访问 2、实现思路在删除和修改时往往需要传递数据的id，进而可以通过id查询该数据是否由Teach账号创建。当然我们可以在每个删…...

编程日记 2025/9/12 17:06:40

递归实现指数型枚举

我们以n2 为例我们每次都有选和不选两种方案，对于每个数字核心代码 tatic void dfs(int u) { // u代表当前处理的数字if (u > n) { // 终止条件：处理完所有数字for (int i 1; i < n; i) { // 遍历所有数字if (nums[i]) {…...

编程日记 2025/9/7 16:56:18

无代码国产流程引擎 FlowLong 1.1.6 发布

无代码国产流程引擎 FlowLong 1.1.6 于 2025 年 4 月 7 日发布。 FlowLong 是一款纯血国产自研的工作流引擎，具有以下特点： 核心精简：引擎核心仅 8 张表实现逻辑数据存储，采用 json 数据格式存储模型，结构简洁直观。组…...

编程日记 2025/9/18 13:37:15

软考高项-考前冲刺资料-M 类【项目管理类】【光头张老师出品】

重点考点汇总一、案例答题时需要注意： 1.条目写要清晰，要标注 1、2、3、4、… 2.关键字突出，关键字一定是专业词汇如 “监控”“控制成本”…等等,代替自己平时工作中的用此。 3.尽量多写几点，错了不扣分，但是避免重复写，避免写了一大段的内容，但是表达的是一个观点。…...

编程日记 2025/8/17 23:41:53

LLM Agents项目推荐：MetaGPT、AutoGen、AgentVerse详解

这一部分我们将深入介绍三大备受关注的LLM Agents项目：MetaGPT、AutoGen和AgentVerse，包括它们的背景、设计思路、主要功能、技术亮点以及典型应用场景。 1. MetaGPT：让AI像软件工程团队一样协作项目背景 MetaGPT由Huang et al.于2023年提…...

编程日记 2025/9/16 3:59:53

win10家庭版安装Docker

win10家庭版本中成功安装Docker，亲测！ 1、下载Docker 下载地址：http://mirrors.aliyun.com/docker-toolbox/windows/docker-toolbox/ Docker的有CE和EE版，CE为免费版，EE由公司支持的付费版，在此选择CE版本…...

编程日记 2025/9/11 14:26:16

mapbox基础，加载ESRI OpenStreetMap开放街景标准风格矢量图

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：mapbox 从入门到精通文章目录一、🍀前言1.1 ☘️mapboxgl.Map 地图对象1.1 ☘️mapboxgl.Map style属性二、🍀加载ESRI OpenStreetMap开放街景标准风…...

编程日记 2025/9/19 19:31:19

【网络安全 | 漏洞挖掘】通过分析JS文件实现接口未授权访问与账户接管

未经许可，不得转载。文中所述漏洞均已修复，未经授权不得进行非法渗透测试。文章目录正文正文大约一年前，我给我妈买了一辆 2023 款斯巴鲁 Impreza，前提是她得答应我，之后我可以借来做一次“白帽渗透测试”。过去几年我一直在研究其他车企的安全问题，但一直没有机会仔…...

编程日记 2025/9/15 4:48:03

引领东方语言识别新风潮！Dolphin语音模型开创自动语音识别（ASR）新时代

引领东方语言识别新风潮！Dolphin语音模型开创自动语音识别（ASR）新时代在全球语音识别技术领域，随着人工智能的飞速发展，许多技术巨头纷纷推出了多语言支持的语音识别系统，如Whisper等。然而，尽…...

编程日记 2025/9/19 15:48:46

运动规划实战案例 | 基于四叉树分解的路径规划(附ROS C++/Python仿真)

目录 1 为什么需要四叉树？2 基于四叉树的路径规划2.1 分层抽象2.2 路图搜索2.3 动态剪枝 3 算法仿真3.1 ROS C算法仿真3.2 Python算法仿真 1 为什么需要四叉树？ 路径规划的本质是在给定环境中寻找从起点到终点的最优或可行路径，其核心挑战在…...

编程日记 2025/9/19 14:14:45

java设计模式-享元模式

享元模式基本介绍 1、享元模式(flyweight Pattern)，也叫作蝇量模式：运用在共享技术有效的支持大量细粒度的对象。 2、常用语系统底层开发，解决系统的性能问题。像数据库连接，里面都是创建好的连接对象，在这些连接对…...

编程日记 2025/9/4 9:15:08

Java 大视界 -- Java 大数据在智慧水利水资源调度与水情预测中的应用创新（180）

💖亲爱的朋友们，热烈欢迎来到青云交的博客！能与诸位在此相逢，我倍感荣幸。在这飞速更迭的时代，我们都渴望一方心灵净土，而我的博客正是这样温暖的所在。这里为你呈上趣味与实用兼具的知识，也…...

编程日记 2025/9/11 11:18:32

自动驾驶---苹果又要造车了吗？

1 背景巴菲特一直认为造车的企业是一个做 “苦生意” 的企业，可能苹果高层也意识到了这一点， 于是造车计划在去年被终止。但2025年2月份，苹果公司署名发了一篇自动驾驶领域的论文《Robust Autonomy Emerges from Self-Play》，详…...

编程日记 2025/9/7 1:59:16

Redis主从复制：告别单身Redis！

目录一、为什么需要主从复制？🤔二、如何搭建主从架构？前提条件✅步骤📁 创建工作目录📜 创建 Docker Compose 配置文件🚀 启动所有 Redis🔍 验证主从状态 💡 重要提示和后续改进 …...

编程日记 2025/9/12 9:20:16

PHP:将关联数组转换为索引数组的完整示例

处理之前的数据头和行在一起显示 // 执行SQL查询后的原始数据（假设查询返回3条记录） $rawData [[wip_entity_name > JOB001,primary_item > ITEM001,primary_name > 主产品1,primary_desc > 主产品描述1,start_quantity > 100,quanti…...

编程日记 2025/9/16 7:44:12

27.[2019红帽杯]easyRE1（保姆教程）

收到文件，.elf 文件，ExeinfoPE查看一下基础信息。无壳，64bit。把文件拖入IDA工具，查看一下。点击关键字，ctrl x 交叉搜索一下位置，跟进，顺便菜单左侧 Edit --> Plugins--> findcrypt …...

编程日记 2025/9/18 7:37:30

【Redis】Redis实现分布式锁

1. 基于Redis 1.1 加锁 setnx lockKey uniqueValue1.2 解锁基于Lua脚本保证解锁的原子性。Redis在执行Lua脚本时，可以以原子性的方式执行，确保原子性。 if redis.call("get", keys[1]) argv[1] then return redis.call("del", …...

编程日记 2025/9/10 0:13:01