当前位置： 首页 > news >正文

php本地搭建知识库实现rag遇到的一些问题解决方式

news 来源：原创 2025/9/19 11:05:54

1、向量化的问题，中文的话，使用尽量使用国内的嵌入模型，国外的虽然支持中文，但是还是比不上国内专门针对中文的优化

本地使用ollama 搭建的话 ，我使用的是   quentinz/bge-large-zh-v1.5:latest

 

2、不规则的pdf文件，无法使用pdf插件读取内容问题，我是php 使用 smalot/pdfparser 包的

遇到不规则pdf文件时  使用 Imagick 将pdf 文件  转为图片，再使用多模态模型，读取图片内容

多模态模型使用的是ollama里面的 qwen2.5vl:7b，识别率非常高

 

3、文件的内容主题不突出问题，比如有一份文件叫QQ飞车攻略，但是内容全篇都没有QQ飞车  攻略 这几个字，当用户提问 QQ飞车有什么攻略，向量化搜索完全匹配不上

我是先将整个文件内容 包括文件标题  扔给大模型  让大模型大概总结一下 文本内容，然后作为一个文件块进行向量化 保存

 

4、搜索结果 权重排序不理想问题，往往不相关的文件排在前面

将搜索返回的内容，扔给大模型，让大模型针对问题 和 内容进行 打分排序，分数低的可以过滤排除掉

 

5、用户上下文提问关联问题

让大模型根据用户的历史提问，生成一个完整的新的问题，比如用户第一次提问 介绍一下xxx系统，第二次提问 重点介绍一下财务功能模块

那么让大模型重写后的提问就变成了，重点介绍一下xxx系统的财务功能模块，这样这个问题就能命中xxx系统的文件块

 

6、计算类的问题，这个完全无解

比如用户把很多excel文件都上传知识库，但是每个excel里面的数据，结构都不同，此时用户提问  今年公司的订单数有多少

这个完全无解啊，哦尼酱

相关文章：

php本地搭建知识库实现rag遇到的一些问题解决方式

1、向量化的问题，中文的话，使用尽量使用国内的嵌入模型，国外的虽然支持中文，但是还是比不上国内专门针对中文的优化 本地使用ollama 搭建的话 ，我使用的是 quentinz/bge-large-zh-v1.5:latest2、不规则的pdf文件，无法使用pdf插件读取内容问题，我是php 使用 smalot/pdf…...

编程日记 2025/9/19 11:05:54

docker操作包括使用docker制作为接口

Docker 化 Flask OCR 应用指南 1. 创建必要的文件 在你的 Flask 应用项目根目录下，你需要创建以下文件： 1.1 Dockerfile 这是一个文本文件，包含了构建 Docker 镜像所需的所有指令1 # 使用官方 Python 3.10 （Python 3.13）精简版作为基础镜像，减小镜像体积2 FROM python:3.…...

编程日记 2025/9/19 11:05:54

BuildingSystemPlugin使用指南

使用自定义碰撞 1.启用Use Custom Overlay：2.修改Overlapping Box的BoxExtent来设置大小（不能设置Scale来设置大小）：...

编程日记 2025/9/19 11:05:54

openEuler 24.03 (LTS-SP2)安装mysql5.7.42

环境:OS:openEuler 24.03 (LTS-SP2)(安装时候没有图形界面的选择项可选)mysql:5.7.42 glib.2.17 操作系统下载https://www.openeuler.org/en/download/#openEuler%2024.03%20LTS%20SP2 查看系统glibc版本[root@localhost soft]# ldd --versionldd (GNU libc) 2.38Copyright (C)…...

编程日记 2025/9/19 11:00:57

Trae AI IDE与Gitee MCP深度整合：开启智能协作开发新时代

Trae AI IDE与Gitee MCP深度整合：开启智能协作开发新时代 在AI技术快速渗透软件开发领域的当下，字节跳动推出的Trae AI IDE凭借其创新的智能编码能力，正在重塑开发者的工作流程。这款国产AI编程工具通过深度整合Gitee MCP（Multi-agent Collaboration Platform）服务，为开发…...

编程日记 2025/9/19 11:00:55

LangChain 入门：从 0 到 1 搞懂 LLM 应用开发框架​

LangChain 入门：从 0 到 1 搞懂 LLM 应用开发框架​如果你常逛技术社区，大概率听过 “大语言模型（LLM）能做很多事”—— 写文案、答问题、编代码，但真要把它放进实际业务里，比如给公司做个智能客服、给团队搭个文档问答工具，却总卡壳：要么模型记不住上下文，聊两句就 “…...

编程日记 2025/9/19 10:55:21

[JOI Open 2023] 古代机器 2 / Ancient Machine 2 题解

[JOI Open 2023] 古代机器 2 / Ancient Machine 2传送门：[JOI Open 2023] 古代机器 2 / Ancient Machine 2 完全不会做这种交互题。 形式化题意：交互库有一个 01 串 \(s\)（下标从 \(0\) 开始），你需要通过若干次询问求出 \(s\)，每次询问，你可以构造一个大小为 \(m\) 的自…...

编程日记 2025/9/19 10:55:21

Visual Studio 2022配置fftw第三方库

#visual studio#ide 目录1. 介绍 2.获取FFTW 3.生成lib文件 4.在VS2022中的项目属性中进行配置 5.测试代码 参考链接 1. 介绍 FFTW是一个可以进行可变长度一维或多维DFT的开源C程序库，是目前最快的FFT算法实现。本文简述了在Windows平台上，如何在C++中调用FFTW，所使用的IDE…...

编程日记 2025/9/19 10:55:20

[React] nextjs useSWR导致的死循环，一直重复渲染rerender

export const useDashboards = () => {// return useSWR<Dashboard[]>("/api/dashboards");return JSON.parse("[xxxxxxxxxx]")}使用一段mockup的data， 导致useEffect(()=>{doSth}, Dashboards)里面的Dashboards一直变化， 在一堆代码里找了几…...

编程日记 2025/9/19 10:50:21

使用 Rust 实现的基础的List 和 Watch 机制

本文分享自天翼云开发者社区《使用 Rust 实现的基础的List 和 Watch 机制》。作者：l****n 使用 Rust 实现的基础的List 和 Watch 机制 介绍 在日常的开发过程中，有一个很重要的任务是能够通过Rust语言实现K8s中的各种生态组件，在这个过程中，既需要能过够了解K8S的工作原理也…...

编程日记 2025/9/19 10:50:20

flask下的MySQL增查配置

flask下的MySQL增删配置 添加数据 @app.route(/add) def add_data():u = UserInfo()new_user1 = UserInfo(nickname=flask_test1, mobile=13888888888, signature=理想, create_time=datetime.now(), role_id=1)new_user2 = UserInfo(nickname=flask_test2, mobile=13999999999…...

编程日记 2025/9/19 10:47:52

解码C语言指针

一、指针的定义与本质 1. 指针是什么？ 指针是一种 存储变量内存地址 的特殊变量。所有数据存储在内存中，每个内存单元都有唯一地址（编号），指针通过记录地址实现对数据的间接访问。 2. 指针的核心作用直接操作内存：动态内存分配、硬件编程等。 提高效率：传递大对象时避免…...

编程日记 2025/9/19 10:47:52

windows下Qt调用fftw库

环境：Windows 11 Qt：6.8.3 程序中需要用到fftw库来进行傅里叶变换，通过网上的资料，配置了很久一直没成功，后来发下还是没有配置正确，最后终于成功，顺便记录一下 1.下载fftw3.3.5 http://www.fftw.org/install/windows.html，根据自已编译器版本下载32位或64位，我的Qt …...

编程日记 2025/9/19 10:47:52

AT_agc056_c [AGC056C] 01 Balanced

不难设 \(d_i\) 为前缀 \(i\) 中 \(0/1\) 数量的差值，显然有两个限制：\(d_{l - 1} = d_r\) \(|d_{i - 1} - d_i| \le 1\)可以差分约束，事实上，直接跑差分约束就可以得到字典序最小的构造了，这也算本题的价值之一。...

编程日记 2025/9/19 10:43:40

模拟费用流(s ver.)

1或许会在我彻底学会模拟费用流后同步发表于洛谷，希望退役前能等到彻底学会的那一天。推荐阅读：网络流——Alex_Wei 模拟费用流一般通过题目性质来快速找到增广路，进而降低单次增广的时间复杂度，不太能降低增广轮数。 消圈定理：一轮增广结束后，若残量网络上无负环，则当前…...

编程日记 2025/9/19 10:30:47

自推流SRS6.0配置相关

前提条件： 开通 1935、1985、8080 、8000（UDP）、 1900 、 8443端口；后面2个是开通https必须配置的。mkdir -p /data/www (本人习惯) 下载最新版 srs: git clone -b develop https://gitee.com/ossrs/srs.gitcd /data/www/srs/trunk ./configure make至此，srs安装成功。…...

编程日记 2025/9/19 10:30:46

火山引擎多模态数据湖：基于 Daft 与 Lance，构筑 AI 时代数据湖新范式

在 AI 技术飞速发展的当下，数据作为 AI 的 “燃料”，其形态与处理方式正发生深刻变革。本篇文章来自火山引擎LAS团队琚克俭在“2025AICon 全球人工智能开发与应用大会”分享，主要围绕 “AI 场景下多模态数据处理” 主题，介绍LAS团队基于 Daft+ Lance打造的多模态数据湖方案…...

编程日记 2025/9/19 10:30:45

doris窗口函数 LAG()（取上一条）和 LEAD()（取下一条）函数

在 Apache Doris 中，若需实现 “相邻数据间取上一条 / 下一条数据的字段值”，核心是利用 窗口函数（Window Function） 中的 LAG()（取上一条）和 LEAD()（取下一条）函数。这两个函数专门用于在有序的数据集内，获取当前行相邻行的指定字段值，无需手动关联表，效率更高。场…...

编程日记 2025/9/19 10:30:45

debmirror工具

安装mtli:~# apt install -y debmirror 正在读取软件包列表... 完成 正在分析软件包的依赖关系树 正在读取状态信息... 完成 将会同时安装下列软件： ed liblockfile-simple-perl liblog-agent-perl 下列【新】软件包将被安装： debmirror ed liblockfile-simple-perl liblog-a…...

编程日记 2025/9/19 10:30:43

centos7卸载openjdk-java11

[root@localhost ~]# rpm -qa|grep -i openjdk java-11-openjdk-headless-11.0.23.0.9-2.el7_9.x86_64 java-11-openjdk-devel-11.0.23.0.9-2.el7_9.x86_64 java-11-openjdk-11.0.23.0.9-2.el7_9.x86_64# 卸载命令, yum remove 会同时卸下该包及其不再被其它已安装包依赖的包。…...

编程日记 2025/9/19 10:26:01

jenkins的安装和配置

windows 安装 jenkins 自动化构建部署至linux服务器上 一、环境准备1、git安装环境 参考链接 https://www.cnblogs.com/yuarvin/p/12500038.html 2、maven安装环境，包括jdk环境安装 参考链接 https://www.cnblogs.com/yuarvin/p/7837963.html 3、Jenkins 安装环境 参考链接 ht…...

编程日记 2025/9/19 10:26:00

深入解析：【Day 52 】Linux-Jenkins

深入解析：【Day 52 】Linux-Jenkinspre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", monospace !important;…...

编程日记 2025/9/19 10:25:56

本土开发者如何选择代码管理工具？Gitee与GitHub深度对比解析

本土开发者如何选择代码管理工具？Gitee与GitHub深度对比解析 在数字化转型浪潮下，代码管理工具已成为开发者日常工作的必备基础设施。面对国内外众多选择，新手开发者往往陷入选择困难。本文将从本土化开发视角，深入剖析主流代码管理工具的差异化优势，为开发者提供科学的选…...

编程日记 2025/9/19 10:22:53

MES系统核心组件

核心总览 在半导体工厂中，MES（Manufacturing Execution System，制造执行系统） 是最高层的指挥中枢，它负责管理生产线上从投料开始到成品产出的全部作业流程。而其他各种“XX Server”则是MES这个大脑指挥下的专业功能模块，负责处理特定类型的任务和数据。 各服务器功能详…...

编程日记 2025/9/19 10:22:52

易基因：多组学整合分析揭示DNA甲基化与基因组改变在肿瘤进化中的协同驱动机制｜Nat Genet/IF29重磅

大家好，这里是专注表观组学十余年，领跑多组学科研服务的易基因。 近日，伦敦大学学院癌症研究所Nnennaya Kanu和弗朗西斯克里克研究所Peter Van Loo团队合作在国际遗传学Top期刊《自然遗传学》（Nature Genetics）发表题为“DNA methylation cooperates with genomic alterat…...

编程日记 2025/9/19 10:22:46

AI 视频模型大比拼（2025年7月版）：价格、效果与分辨率

AI 视频模型大比拼（2025年7月版）：价格、效果与分辨率pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", mon…...

编程日记 2025/9/19 10:22:46

为什么芯片行业需要私有化部署软件？

在芯片研发过程中，每天产生的大量设计数据、测试结果和知识产权，构成了企业的核心竞争优势。一旦这些数据泄露，不仅可能导致数百万美元的研发投入付诸东流，更可能让企业在全球竞争中失去领先地位。 近年来，芯片行业面临的数据安全挑战日益严峻。根据行业报告，2024年芯片设…...

编程日记 2025/9/19 10:22:45

C++ std::string

C++ 标准库中的 std::string 是处理字符串的核心类，封装了字符串的存储、管理和操作，相比 C 风格的 char* 更安全、易用。 1、基本概念 1.1 基本特性 std::string 定义在 <string> 头文件中（属于 std 命名空间），本质是对动态字符数组的封装动态大小：自动扩容，无需…...

编程日记 2025/9/19 10:15:45

MathType数学公式编辑器v7.9.1

MathType全球最受欢迎的专业数学公式编辑器工具软件，可视化公式编辑器轻松创建数学方程式和化学公式。兼容Office Word、PowerPoint、Pages、Keynote、Numbers 等700多种办公软件，用于编辑数学试卷、书籍、报刊、论文、幻灯演示等文档轻松编写各种复杂的物理公式、化学方程式…...

编程日记 2025/9/19 10:15:42

git常见冲突场景及解决办法 - 指南

git常见冲突场景及解决办法 - 指南pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", monospace !important; f…...

编程日记 2025/9/19 10:15:37

有关字节的基础知识

什么是字节位（bit）：是计算机 内部数据 存储的最小单位，11001100是一个八位二进制数。字节（byte）：是计算机中 数据处理 的基本单位，习惯上用大写B来表示。字符：是指计算机中使用的字母、数字、字和符号 1bit表示一位 1Byte表示一个字节 1B=8b 1024B=1KB 1024KB=1M 102…...

编程日记 2025/9/19 10:14:25

strip去符号前后对比

strip去符号前后对比 strip 是 binutils 中用于给二进制文件（可执行程序、静态库、动态库）去符号信息的工具。它只修改符号表，不碰指令内容，因此去除符号后的二进制文件中，各部分指令和原来是完全一一对应的，各section大小和偏移也不变，各符号的偏移也不变，只是原本的指…...

编程日记 2025/9/19 10:14:23

2025 ICPC网络赛第一场 L cover

给一个长度为 \(n\) 的序列 \(\{a_n\}\) 和 \(m\) 个操作，其中第 \(i\) 个操作是把区间 \([l_i,r_i]\) 都赋值为 \(c_i\)。 现在按顺序遍历每个操作，每个操作可执行可不执行。 最大化序列的颜色段数，即 \(1+\sum\limits_{i=2}^n[a_{i-1}\not=a_i]\)。 \(1\leq a_i,c_i\leq n…...

编程日记 2025/9/19 10:14:20

文件自动同步软件用哪个好，高效选择指南

内容概要 在数字化办公日益普及的今天，文件自动同步软件已成为提升团队协作效率的重要工具。面对市场上琳琅满目的选择，“文件自动同步软件用哪个好”成为了许多企业IT管理者和个人用户共同关注的问题。本指南将深入剖析各类文件自动同步软件的核心优势，特别推荐如Ftrans FT…...

编程日记 2025/9/19 10:05:31

【初赛】指针 - Slayer

指针的性质是理解其行为和使用方式的核心，主要包括以下几个方面： 1. 指针是存储地址的变量 指针的本质是一个变量，但其存储的不是数据本身，而是另一个变量（或内存单元）的内存地址。例如：int a = 10; int* p = &a; 中，p 存储的是 a 的内存地址（如 0x7ffd6b6a45c4）…...

编程日记 2025/9/19 10:05:30

国产化FPGA-2050-基于JFMK50T4（XC7A50T）的核心板

基于JFMK50T4（XC7A50T）的核心板（IEB-PS-3051-邮票孔） 一、核心板概述板卡基于JFMK50T4国产化FPGA芯片，设计的一款工业级核心板，板卡集成主芯片、电源、DDR、配置芯片，大大减轻客户的扩展开发困难。丰富的IO和4个GTP，让用户轻易设计PCIe的数据卡，AD卡，结合本公司国产…...

编程日记 2025/9/19 10:02:01

hbase学习2

一、表管理操作创建表 hbase create 表名, 列族1, 列族2, ...示例：创建student表，有info和score两个列族 create student, info, score 2. 查看所有表 hbase list 3. 查看表描述 hbase describe 表名 describe student 4. 检查表是否存在 hbase exists 表名 5. 禁用/启用表 h…...

编程日记 2025/9/19 10:01:59

基于Python+Vue开发的健身房管理系统源码+运行步骤

项目简介该项目是基于Python+Vue开发的健身房管理系统（前后端分离），这是一项为大学生课程设计作业而开发的项目。该系统旨在帮助大学生学习并掌握Python编程技能，同时锻炼他们的项目设计与开发能力。通过学习基于Python的健身房管理系统项目，大学生可以在实践中学习和提升…...

编程日记 2025/9/19 10:01:58

2025年纷享销客生态伙伴大会无锡站圆满举办！

近日，2025年纷享销客生态伙伴大会（无锡站）成功举办。大会以“智享未来，领创 CRM 新纪元”为主题，吸引了众多生态伙伴齐聚一堂，共话 CRM 行业新趋势，共探 AI 赋能下的客户经营新范式。一、数智化浪潮下的CRM变革与机遇<纷享销客经营副总裁 张睿> 纷享销客经营副总…...

编程日记 2025/9/19 9:57:46

英语_阅读_digital technology_待读

These days, digital technology is everywhere in our lives.如今，数字科技无处不在地出现在我们的生活中。 From smartphones to tablets, we use digital devices every day at school, at home and when hanging out with friends.从智能手机到平板电脑，我们每天在学校、…...

编程日记 2025/9/19 9:57:46

达梦 两个bug json 导致数据库crash 和 优化器解析or 导致结果不一样

##sample1 无法解析 json 数据库直接crash. 分析函数，定位到BUG 升级数据库软件，问题得到规避 ########sample 2 优化器解析or 导致结果不一样--测试1 原有的查询顺序，查到空行。 SQL> SELECT coltablename,DONO,colupdateable,colupdateableFROM SEBMDEV.DATAOBJECT…...

编程日记 2025/9/19 9:57:41

MySQL迁移至GreatSQL后，timestamp字段插入报错解析

MySQL迁移至GreatSQL后，timestamp字段插入报错解析 背景描述 某业务系统进行国产化适配，将MySQL的数据迁移到 GreatSQL 后，执行 INSERT INTO ,update_time传参为空时报错，报错信息为:ERROR 1048 (23000): Column update_time cannot be null ，而原来旧的MySQL环境中没有这…...

编程日记 2025/9/19 9:57:41

2025年文件摆渡系统哪个品牌好推荐

内容概要 在寻找文件摆渡系统的过程中，企业往往关心哪个品牌能够更好地满足其安全、高效的数据交换需求。2025年，市场上涌现出众多品牌，但“文件摆渡系统哪个品牌好”这一问题，不少企业给出了共同的答案——Ftrans Ferry跨网文件安全交换系统。该系统凭借其全面的安全防护、…...

编程日记 2025/9/19 9:50:27

VU9P板卡设计方案：565-基于VU9P的32@ SFP28+4@ QSFP28路光纤交换板卡

、板卡概述 板卡基于Xilinx FPGA VU9P 设计的一款32路SFP28+4路QSFP28的光纤交换板卡，用于以太网的交换功能的验证。 二、板卡原理框图三、板卡主要性能 ● 主芯片：选用 XCVU9P-2FLGB2104I（702, 76）47.5*47.5 ● 32路SFP28，支持1G、10G以太网协议； 1G，10G 自动适配。 ●…...

编程日记 2025/9/19 9:50:26

Python中使用列表、map和filter函数配合lambda表达式来操作集合

在 Python 中，map()、filter() 和 lambda 表达式是处理集合（如列表）的常用工具，可以快速实现 转换 和 过滤 操作。以下是具体示例：1. map() 函数：对列表元素进行转换 作用： 对列表的每个元素应用一个函数，返回转换后的元素组成的迭代器。 语法： map(function, iterabl…...

编程日记 2025/9/19 9:50:25

大模型decoder中权重矩阵的理解 - 实践

大模型decoder中权重矩阵的理解 - 实践pre { white-space: pre !important; word-wrap: normal !important; overflow-x: auto !important; display: block !important; font-family: "Consolas", "Monaco", "Courier New", monospace !importan…...

编程日记 2025/9/19 9:45:13

文件安全外发平台用哪个，最佳选择是什么？

内容概要 在探讨文件安全外发平台用哪个这一话题时，我们首先要对文件安全外发平台有一个全面的了解。这类平台主要用于确保企业文件在外部传输过程中的安全性，防止数据泄露。市面上存在多种文件安全外发平台，它们各有千秋。而要说到安全管控强大且稳定传输大文件的平台，“F…...

编程日记 2025/9/19 9:45:13

【初赛】数 - Slayer

0x3f3f3f3f = 1061109567 0x7f7f7f7f = 2139062143 0x7fffffff = 2147483647 0xffffffff = 4294967295 0x1fffffff = 536870911 0x1f1f1f1f = 522133279...

编程日记 2025/9/19 9:45:13

http连接（webFlux vs tomcat）

HTTP连接的最大数量不是一个固定的值，它取决于一个由硬件资源、操作系统配置、网络栈、以及应用程序本身共同构成的复杂系统。 简单来说：在一台配置良好的现代服务器上，使用异步非阻塞模型（如WebFlux），支持超过100万甚至更多的并发HTTP连接在理论上是可行的。 而对于传统…...

编程日记 2025/9/19 9:39:59

英语_阅读_Generative AI_待读

Artificial Intelligence (AI) has become part of our everyday life.人工智能（AI）已经成为我们日常生活的一部分。 It makes our smart devices smarter.它让我们的智能设备变得更聪明。 You might have already used some AI programs at school.你可能已经在学校使用过一…...

编程日记 2025/9/19 9:39:59