当前位置： 首页 > news >正文

一、基于langchain使用Qwen搭建金融RAG问答机器人--技术准备

news 来源：原创 2025/6/20 0:54:10

一,LangChain框架介绍

LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用。
LangChain封装了很多组件，通过这些组件的组合可以构建多种类型的RAG应用。开发者可以直接将私有数据嵌入到RAG的组件中，然后通过LangChain组件的组合来搭建适合自己业务场景的RAG应用。
LangChain 其中一个核心组成模块:
链(Chains):将组件组合实现端到端应用，通过一个链封装实现一系列LLM 操作
例如最经典的链：检索问答链，通过LLM、向量数据库等多个组件组合在一起，覆盖实现了 RAG(检索增强生成)的全部流程

二、基础RAG流程

在这里插入图片描述

  1. 首先对于以文档形式存在的本地知识库，使用Unstructed Loader组件加载本地文档，这个组件会将不同格式的文档统一转化成纯文本格式。
  2. 使用Text Splitter组件对提取出来纯文本进行分割成chunk，再通过开源词向量模型(Embedding)将文本段转成向量格式，存储到向量数据库（本项目使用Chroma）中。
  3. 对用户的每个输入，先通过词向量模型转化成同样维度的词向量，然后通过在向量数据库中进行相似度的匹配，找到同用户相关的文本段。
  4. 将相关的文本段嵌入到已经写好的Prompt Template中，然后交给LLM，再进行最后的回答。

三，环境准备

1，使用conda创建虚拟环境：

conda create --name langchain_qwen python=3.10

2，把conda虚拟环境到到内核里 ，这样使用jupyter 可以切换到新的环境

activate langchain_qwen
pip install ipykernel
python -m ipykernel install --user --name=langchain_qwen --display-name langchain_qwen

3，安装项目所需要的库

pip install langchain
pip install gradio 
pip install chromadb 
pip install sentence-transformers 
pip install unstructured 
pip install markdown
pip install langchain_community
pip install tqdm
#langchain-huggingface 安装需要翻墙
pip install langchain-huggingface

相关文章：

一、基于langchain使用Qwen搭建金融RAG问答机器人--技术准备

一,LangChain框架介绍 LangChain 框架是一个开源工具，通过为各种 LLM 提供通用接口来简化应用程序的开发流程，帮助开发者自由构建 LLM应用。 LangChain封装了很多组件，通过这些组件的组合可以构建多种类型的RAG应用。开发者可以直接将私有数…...

编程日记 2025/6/20 0:54:10

2024年全球安全光幕装置行业总体规模、主要企业国内外市场占有率及排名

根据研究团队调研统计，2023年全球安全光幕装置市场销售额达到了46亿元，预计2030年将达到70亿元，年复合增长率（CAGR）为6.4%（2024-2030）。中国市场在过去几年变化较快，2023年市场规模为…...

编程日记 2025/6/20 0:38:08

uniapp跨端适配—条件编译

在uniapp中，跨端适配是通过条件编译实现的。条件编译允许开发者根据不同的平台（如iOS、Android、微信小程序、百度小程序等）编写不同的代码。这样可以确保每个平台上的应用都能得到最优的性能和用户体验。 以下是uniapp中条件编译的基本语法…...

编程日记 2025/6/4 11:32:04

HTML、CSS表格的斜表头样式设置title 画对角线

我里面有用到layui框架的影响&#xff0c;实际根据你自己的框架来小调下就可以 效果如下 上代码 <!DOCTYPE html> <html lang"zh"> <head><meta charset"UTF-8"><meta name"viewport" content"widthdevice-wi…...

编程日记 2025/6/20 0:47:05

自动驾驶控制与规划——Project 2: 车辆横向控制

目录 零、任务介绍一、环境配置二、算法三、代码实现四、效果展示 零、任务介绍 补全src/ros-bridge/carla_shenlan_projects/carla_shenlan_stanley_pid_controller/src/stanley_controller.cpp中的TODO部分。 一、环境配置 上一次作业中没有配置docker使用gpu&#xff0c;…...

编程日记 2025/6/19 23:43:11

Docker的初识

目录 1. 容器技术发展史1.1 Jail 时代1.2 云时代1.3 云原生时代1.3.1 Google & Docker 竞争1.3.2 k8s 成为云原生事实标准 2. 虚拟化和容器化的概念2.1 什么是虚拟化、容器化2.2 为什么要虚拟化、容器化&#xff1f;2.3 虚拟化实现方式2.3.1 应用程序执行环境分层2.3.2 虚拟…...

编程日记 2025/6/20 0:24:48

R-Studio Technician，无网络负担地进行远程数据分析和数据恢复任务

对于数据恢复技术人员和技术支持团队来说&#xff0c;时间就是金钱。这不仅包括您在客户机器上花费的时间 - 还包括您往返公司办公室的时间&#xff0c;这可能会带来巨大的不便&#xff0c;特别是如果客户位于其他省市。电话支持通常不适用于需要数小时才能完成的复杂任务&…...

编程日记 2025/6/20 0:25:52

Couchbase的OLAP支持情况

Couchbase 是一个高性能的 NoSQL 数据库&#xff0c;主要用于在线事务处理&#xff08;OLTP&#xff09;场景&#xff0c;但它也提供了一些功能来支持在线分析处理&#xff08;OLAP&#xff09;需求。以下是 Couchbase 对 OLAP 支持的几个方面&#xff1a; 1. N1QL 查询语言 …...

编程日记 2025/6/20 0:19:27

路径规划之启发式算法之十六：和声搜索算法（Harmony Search, HS）

和声搜索算法（Harmony Search, HS）是一种新兴的启发式全局搜索算法，是一种模拟音乐家即兴演奏过程的群体智能优化算法。这种算法由Zong Woo Geem等人在2001年提出，灵感来源于音乐家在寻找和声时的创造性思维过程。HS算法通过模拟音乐家演奏音乐时的选择过程来寻找问题的最优…...

编程日记 2025/6/20 0:29:49

服务器---centos上安装docker并使用docker配置jenkins

要在 Docker 中安装 Jenkins 并进行管理，可以按照以下步骤操作： 1. 安装 Docker 首先，确保你的系统已经安装了 Docker。如果尚未安装，可以使用以下命令进行安装： 在 CentOS 上安装 Docker sudo yum install -y yum-utils sudo yum-config-manager --add-repo https://…...

编程日记 2025/6/20 0:09:46

面试题整理1---正向代理和反向代理的含义及异同

面试题整理1---正向代理和反向代理的含义及异同 1. 正向代理 (Forward Proxy)1.1 正向代理定义&#xff1a;1.2 正向代理的工作流程&#xff1a;1.3 正向代理的应用场景&#xff1a; 2. 反向代理 (Reverse Proxy)2.1 反向代理的定义&#xff1a;2.2 反向代理的工作流程&#xf…...

编程日记 2025/6/20 0:04:30

记录学习《手动学习深度学习》这本书的笔记（五）

这一章是循环神经网络&#xff0c;太难了太难了&#xff0c;有很多卡壳的地方理解了好久&#xff0c;比如隐藏层和隐状态的区别、代码的含义&#xff08;为此专门另写了一篇【笔记】记录对自主实现一个神经网络的步骤的理解&#xff09;、梯度计算相关&#xff08;【笔记】记录…...

编程日记 2025/6/20 0:02:57

鸿蒙调试打包（非正式打包）

文章目录 前言第一步&#xff1a;生成.p12和.csr文件第二步&#xff1a;申请证书的前置步骤第三步&#xff1a;申请证书 前言 HarmonyOS 应用打包后的文件为.app 格式&#xff0c; android 打包后的文件为.apk&#xff0c;IOS 打包后的文件为.apa HarmonyOS通过数字证书&#…...

编程日记 2025/6/20 0:32:05

Python中的容器化服务监控：结合Prometheus和Grafana实现高效监控与可视化

《Python OpenCV从菜鸟到高手》带你进入图像处理与计算机视觉的大门！ 解锁Python编程的无限可能：《奇妙的Python》带你漫游代码世界 在现代的DevOps和微服务架构中，容器化技术（如Docker）已成为主流的部署方式。然而，容器环境的动态特性使得服务监控和性能分析变得更加复…...

编程日记 2025/6/19 18:18:54

【大数据】-- 读放大和写放大

目录 一、定义 1. 读放大（Read Amplification） 定义 原因 优化方法 2. 写放大（Write Amplification） 定义 原因 优化方法 对比与联系 二、举例 1. Hadoop（HDFS） 读放大 写放大 2. Flink 读放大 写放大 3. Hive 读放大 写放大 4. Presto 读放大 写放…...

编程日记 2025/5/31 16:52:19

[工具升级问题] 钉钉(linux版)升级带来的小麻烦

本文由Markdown语法编辑器编辑完成。 1. 背景: 今日钉钉又发布了新的升级版本。由于我工作时使用的是Ubuntu 20.04版本&#xff0c;收到的升级推送信息是&#xff0c;可以升级到最新的7.6.25-Release版本。根据钉钉官方给出的历次更新版说明&#xff0c;这个新的版本&#xf…...

编程日记 2025/5/30 18:44:04

Maven学习（Maven项目模块化。模块间“继承“机制。父(工程)，子项目(模块)间聚合）

目录 一、Maven项目模块化&#xff1f; &#xff08;1&#xff09;基本介绍。 &#xff08;2&#xff09;汽车模块化生产再聚合组装。 &#xff08;3&#xff09;Maven项目模块化图解。 1、maven_parent。 2、maven_pojo。 3、maven_dao。 4、maven_service。 5、maven_web。 6…...

编程日记 2025/6/1 1:01:25

Opencv之图像添加水印

一、实验原理 在图片处理领域&#xff0c;添加水印是一种常见的操作。通过叠加图像的方式&#xff0c;可以将水印无缝嵌入目标图像的指定位置。其基本原理包括以下步骤&#xff1a; 1、模板输入&#xff08;掩膜生成&#xff09;&#xff1a; 将水印图片转换为灰度图&#xf…...

编程日记 2025/6/20 0:46:14

在线预约陪诊小程序

一、前言 随着社会老龄化加剧以及人们健康意识的提高&#xff0c;就医过程中的陪伴需求日益增长。许多患者在面对复杂的医院环境、繁琐的就医流程时&#xff0c;需要有人协助挂号、候诊、取药等&#xff0c;而家属可能因工作繁忙无法全程陪同。同时&#xff0c;异地就医的患者更…...

编程日记 2025/6/20 0:12:51

2024年9月CCF GESP Scratch图形化编程等级考试四级真题试卷

GESP 图形化四级试卷&#xff08;A&#xff09; &#xff08;满分&#xff1a;100 分 考试时间&#xff1a;120 分钟&#xff09; 一、单选题&#xff08;共 10 题&#xff0c;每题 2 分&#xff0c;共 30 分&#xff09; 1、2024 年 10 月 8 日&#xff0c;诺贝尔物理学奖“意…...

编程日记 2025/6/4 17:49:39

[免费]SpringBoot+Vue校园社团管理系统(优质版)【论文+源码+SQL脚本】

大家好&#xff0c;我是java1234_小锋老师&#xff0c;看到一个不错的SpringBootVue校园社团管理系统(优质版)&#xff0c;分享下哈。 项目视频演示 【免费】SpringBootVue校园社团管理系统(优质版) Java毕业设计_哔哩哔哩_bilibili 项目介绍 随着信息技术的迅速发展&#x…...

编程日记 2025/6/3 23:32:16

NX系列-使用 `nmcli` 命令创建 Wi-Fi 热点并设置固定 IP 地址

使用 nmcli 命令创建 Wi-Fi 热点并设置固定 IP 地址 一、前言 在一些场景下&#xff0c;我们需要将计算机或嵌入式设备&#xff08;例如 NVIDIA Orin NX&#xff09;转换为 Wi-Fi 热点&#xff0c;以便其他设备&#xff08;如手机、笔记本等&#xff09;能够连接并使用该设备…...

编程日记 2025/6/3 6:08:42

Qt控件的盒子模型，了解边距边线和内容区

这篇专门讲讲一个控件在绘制时的视觉样式。我们平常在对控件设置样式时&#xff0c;需要设置控件的一些外边距&#xff0c;内边距&#xff0c;边线&#xff0c;还有文字内容&#xff0c;贴上图片等。那么对于一个控件&#xff0c;到底怎么实现这些设置的呢&#xff1f; 先看下面…...

编程日记 2025/6/1 21:58:13

深度学习基础--将yolov5的backbone模块用于目标识别会出现怎么效果呢？？

&#x1f368; 本文为&#x1f517;365天深度学习训练营 中的学习记录博客&#x1f356; 原作者&#xff1a;K同学啊 前言 yolov5网络结构比较复杂&#xff0c;上次我们简要介绍了yolov5网络模块&#xff0c;并且复现了C3模块&#xff0c;深度学习基础–yolov5网络结构简介&a…...

编程日记 2025/6/3 21:44:06

MySQL 根据 字段包含关键词进行分类

为了解决动态关键词匹配的需求&#xff0c;我们需要创建一个关键词表&#xff08;keywords_table&#xff09;&#xff0c;其中存储关键词和对应的类别。以下是具体的步骤&#xff1a; 1. 创建关键词表 可以用以下 SQL 创建一个简单的关键词表&#xff1a; CREATE TABLE keyw…...

编程日记 2025/6/4 11:18:38

ssm-day04 mybatis

mybatis是一个持久层框架&#xff0c;针对的是JDBC的优化 简化数据库操作&#xff0c;能进行单表、多表操作&#xff0c;在这个框架下&#xff0c;需要我们自己写SQL语句 Mapper接口和MapperXML文件就相当于Dao和Dao层的实现 通常将xml文件放在resources包下 &#xff0c;放在…...

编程日记 2025/6/4 14:02:41

soul大数据面试题及参考答案

如何看待数据仓库？ 数据仓库是一个面向主题的、集成的、相对稳定的、反映历史变化的数据集合，用于支持管理决策。 从数据存储角度看，它整合了来自多个数据源的数据。这些数据源可能包括业务系统数据库、日志文件等各种结构化和非结构化数据。例如，在电商企业中，它会整合订…...

编程日记 2025/5/31 15:08:13

【SpringBoot中MySQL生成唯一ID的常见方法】

SpringBoot中MySQL生成唯一ID的常见方法 在Spring Boot中&#xff0c;为MySQL生成唯一ID有多种方式&#xff0c;每种方式都有其特定的概念、优越点和使用场景。以下是详细的说明和代码示例&#xff1a; UUID 概念: UUID&#xff08;Universally Unique Identifier&#xff0…...

编程日记 2025/6/4 6:47:28

在 Windows 环境下将 Vue 项目打包并压缩为 .zip 文件的批处理脚本

以下是一个 Windows 批处理脚本&#xff0c;完成以下任务&#xff1a; 运行 npm run build 打包 Vue 项目。使用 7-Zip 将生成的 dist 目录压缩成 ZIP 文件。 脚本内容 echo off:: 切换命令行编码为 UTF-8 chcp 65001 >nul:: 设置环境变量 set PROJECT_DIRC:\path\to\you…...

编程日记 2025/6/20 0:20:31

ubuntu上更改ext4格式的硬盘为 windows的 NTFS 格式参考

1. ubuntu上安装 sudo apt-get install gparted 2. 参考如下&#xff0c;下面是转换后的样例。 3.windows上添加识别新硬盘参考 先在设备管理器中 找到下面 磁盘管理 如下&#xff1a;找到类似下面的磁盘2 查看相关信息 右键可以新建卷和格式化&#xff0c;下面是已经新建…...

编程日记 2025/6/19 23:59:38

Qt WORD/PDF（二）使用 QtPdfium库实现 PDF操作、打印等

关于QT Widget 其它文章请点击这里: QT Widget GitHub 源码: QWidgetLearningPro &#xff08;暂未更新&#xff09; 姊妹篇: Qt WORD/PDF&#xff08;一&#xff09;使用 QtPdfium库实现 PDF 操作 Qt WORD/PDF&#xff08;二&#xff09;使用 QtPdfium库实现 …...

编程日记 2025/6/19 18:00:00

信息化基础知识——数字政府（山东省大数据职称考试）

大数据分析应用-初级 第一部分 基础知识 一、大数据法律法规、政策文件、相关标准 二、计算机基础知识 三、信息化基础知识 四、密码学 五、大数据安全 六、数据库系统 七、数据仓库. 第二部分 专业知识 一、大数据技术与应用 二、大数据分析模型 三、数据科学 数字政府 大数…...

编程日记 2025/6/20 0:16:11

使用winscp从windows访问Ubuntu进行文件传输

Ubuntu 系统上的准备工作 • 安装 SSH 服务器&#xff1a; 确保 Ubuntu 系统上已经安装了 SSH 服务器。如果没有安装&#xff0c;可以使用以下命令安装&#xff1a; sudo apt update sudo apt install openssh-server • 启动 SSH 服务&#xff1a; 确保 SSH 服务正在运行&a…...

编程日记 2025/6/3 5:04:22

【返璞归真】score检验：似然比的得分检验（Likelihood Ratio Score Test）

Score检验&#xff08;Score Test&#xff09;是一种用于假设检验的方法&#xff0c;特别是在统计建模中&#xff0c;常用于估计模型参数时检验某个假设是否成立。它的全名是“似然比的得分检验”&#xff08;Likelihood Ratio Score Test&#xff09;&#xff0c;通常用于大样…...

编程日记 2025/6/2 7:19:15

使用skywalking，grafana实现从请求跟踪、 指标收集和日志记录的完整信息记录

Skywalking是由国内开源爱好者吴晟开源并提交到Apache孵化器的开源项目&#xff0c; 2017年12月SkyWalking成为Apache国内首个个人孵化项目&#xff0c; 2019年4月17日SkyWalking从Apache基金会的孵化器毕业成为顶级项目&#xff0c; 目前SkyWalking支持Java、 .Net、 Node.js、…...

编程日记 2025/6/20 0:27:33

蓝桥杯刷题——day1

蓝桥杯刷题——day1 题目一题干题目解析代码 题目二题干题目解析代码 题目一 题干 给定一个字符串 s &#xff0c;验证 s 是否是 回文串 &#xff0c;只考虑字母和数字字符&#xff0c;可以忽略字母的大小写。本题中&#xff0c;将空字符串定义为有效的 回文串 。 题目链接&a…...

编程日记 2025/6/19 23:41:27

ORACLE RAC ADG备库报错ORA-04021: timeout occurred while waiting to lock object

问题&#xff1a;核心的灾备 RAC ADG 备库&#xff0c;这两天频繁重启&#xff0c;并且报如下错误&#xff0c;通过查看MOS&#xff0c;发现是个BUG ADG备库的ALERT错误日志如下&#xff1a; Errors in file /u01/app/oracle/diag/rdbms/hxxxsz/hxxxsz1/trace/hxxxsz1_lgwr_69…...

编程日记 2025/6/20 0:18:21

虚拟机Ubuntu以及pwn的工具安装

之前pwn入门在kali上装了&#xff0c;师兄说用Ubuntu会比kali好得多&#xff0c;更有利于pwn的学习&#xff0c;本着少走弯路的想法我就决定装一个&#xff0c;再把工具什么的配了 一、Ubuntu的安装 参考博客及镜像来源&#xff1a;VMware虚拟机安装Ubuntu教程(超详细)_vmwar…...

编程日记 2025/6/2 6:00:51

MeiliSearch：一款轻量级开源搜索引擎

Meilisearch 是由 Meili &#xff08;一家总部位于法国的软件开发公司&#xff09;创建的搜索引擎&#xff0c;目前在 Github 上有 47.9k stars。 Meillisearch 具备以下特色功能&#xff08;ChatGPT-4o 翻译&#xff09;&#xff1a; 混合搜索&#xff1a;结合语义搜索和全文…...

编程日记 2025/6/20 0:23:45

数据库入门

基本概念 数据库&#xff1a;DataBase简称DB&#xff0c;是一个用于存储和管理数据的仓库。 就像我们每天访问的网站Bilibili&#xff0c;OA、ERP和CRM等内部管理系统&#xff0c;以及我们每天使用的腾讯新闻和Tiktok应用程序一样&#xff0c;我们看到的数据实际上存储在数据库…...

编程日记 2025/6/2 6:00:42

WebGIS城市停水及影响范围可视化实践

目录 前言 一、相关信息介绍 1、停水信息的来源 2、停水包含的相关信息 二、功能简介 1、基础小区的整理 2、停水计划的管理 三、WebGIS空间可视化 1、使用到的组件 2、停水计划的展示 3、影响小区的展示 4、实际效果 四、总结 前言 城市停水&#xff0c;一个看似…...

编程日记 2025/6/1 23:46:27

【Syncfusion系列】Diagram 杂谈 第三篇 序列化和反序列化

目录 序列化保存C# 代码示例&#xff0c; 方式1 &#xff1a;C# 代码示例&#xff0c; 方式2 &#xff1a; 反序列化加载C# 代码示例, 方式1&#xff1a;C# 代码示例, 方式2&#xff1a; **如何序列化自定义属性**序列化和反序列化都存在的一个问题解决方式 图表是否已修改&…...

编程日记 2025/6/1 16:28:53

#思科模拟器通过服务配置保障无线网络安全Radius

演示拓扑图&#xff1a; 搭建拓扑时要注意&#xff1a; 只能连接它的Ethernet接口&#xff0c;不然会不通 MAC地址绑定 要求 &#xff1a;通过配置MAC地址过滤禁止非内部员工连接WiFi 打开无线路由器GUI界面&#xff0c;点开下图页面&#xff0c;配置路由器无线网络MAC地址过…...

编程日记 2025/6/4 4:39:46

Repo管理

文章目录 前言Repo介绍清单仓库清单仓库的组成 初始化Repo同步远程仓库Repo实际应用 前言 我们知道&#xff0c;Git是用来管理某一个仓库&#xff0c;那当一个项目用到了多个仓库时&#xff0c;怎么来同步管理这些仓库呢&#xff1f;这个时候就可以引入Repo管理。 Repo介绍 …...

编程日记 2025/6/3 0:11:12

代码随想录算法训练营第四十八/九天 | 图 | 深度搜索 | 广度搜索

Day 48 49 总结 自己实现中遇到哪些困难今日收获&#xff0c;记录一下自己的学习时间 11:40 - 14:3012:30 - 13:30, 14:45 - 17:10 图论 深度收缩 & 广度搜索 并查集 最小生成树 拓扑排序 最短路径算法 图论基础 图 二维空间里&#xff0c;多个点之间相互连接图的…...

编程日记 2025/6/3 16:01:36

JavaEE初阶——多线程（线程安全-锁）

复习上节内容&#xff08;部分-掌握程度不够的&#xff09; 加锁&#xff0c;解决线程安全问题。 synchronized关键字&#xff0c;对锁对象进行加锁。 锁对象&#xff0c;可以是随便一个Object对象&#xff08;或者其子类的对象&#xff09;&#xff0c;需要关注的是&#xff…...

编程日记 2025/5/31 1:06:38

搭建大语言模型

安装和配置Ollama 首先在官网上下载Ollama&#xff0c;同时支持window&#xff0c;linux&#xff0c;macos系统。 下载下来是一个压缩包&#xff0c;直接解压缩即可&#xff0c;然后点击安装程序开始安装。 linux下载 执行以下命令&#xff0c;即可自动下载安装&#xff0c…...

编程日记 2025/6/19 20:53:47

QT6 Socket通讯封装（TCP/UDP）

为大家分享一下最近封装的以太网socket通讯接口 效果演示 如图&#xff0c;界面还没优化&#xff0c;后续更新 废话不多说直接上教程 添加库 如果为qmake项目中&#xff0c;在.pro文件添加 QT network QT core gui QT networkgreaterThan(QT_MAJOR_VERS…...

编程日记 2025/6/2 2:17:51

Linux中 vim 常用命令大全详细讲解

文章目录 前言一、Vim 基本操作 &#x1f579;️1.1 打开或创建1.2 退出编辑1.3 模式切换 二、Vim 光标移动命令 ↕️2.1 基本移动2.2 行内移动2.3. 单词移动2.4. 页面移动2.5. 行跳转 三、Vim 文本编辑命令 &#x1f4cb;3.1 插入和删除3.2 复制、剪切与粘贴3.3 替换与修改 四…...

编程日记 2025/6/3 19:06:37

vs 调试

常用&#xff1a; 调试->窗口-> 断点 监视 自动窗口 局部变量 调用堆栈 内存 反汇编&#xff08;也可以右键&#xff0c;转到反汇编&#xff09; 寄存器 快捷键&#xff1a; F5:启用调试&#xff0c;经常用来跳到下一个断点处 F9创建断点和取消断点。断点的重要作用&…...

编程日记 2025/6/3 7:09:42