当前位置: 首页 > news >正文

场景化应用实战系列六:检索问答系统

目录

景化应用实战系列六:检索问答系统

一、目标设定

二、关键知识点梳理

三、案例讲解与实战操作

1. 数据准备与预处理

2. 倒排表构建

3. 文本相似度计算

4. 检索问答系统实现

5. 系统优化与改进


一、目标设定

构建一个高效的检索问答系统,能够快速准确地回答用户的问题,提升用户体验和信息检索效率。

二、关键知识点梳理

  1. 倒排表构建

    • 理解倒排表的基本概念和原理,了解如何通过分词和建立索引实现倒排表。

    • 掌握倒排表在文本检索中的应用,能够利用倒排表实现快速的文本检索功能。

  2. 文本相似度计算

    • 学习文本相似度计算的方法,如余弦相似度、Jaccard 相似度等。

    • 能够将文本相似度计算应用于文本匹配和检索,以提高检索的准确性和相关性。

  3. 检索问答系统实现

    • 整合倒排表和文本相似度计算,构建完整的检索问答系统。

    • 实现对用户输入问题的理解、分析和检索,以及对检索结果的处理和回答生成。

  4. 优化与改进

    • 探索倒排表和文本相似度计算的优化方法,提高检索效率和准确性。

    • 持续改进问答系统,以更好地满足用户需求和提高用户体验。

三、案例讲解与实战操作

1. 数据准备与预处理

import json
import jieba# 加载知识库数据
with open('knowledge_base.json', 'r', encoding='utf-8') as f:knowledge_base = json.load(f)# 文本预处理函数
def preprocess_text(text):# 分词segs = jieba.lcut(text)# 去除停用词(假设已有一个停用词列表 stopwords)filtered_segs = [word for word in segs if word not in stopwords]return filtered_segs# 预处理知识库中的问题和答案
stopwords = set(line.strip() for line in open('stopwords.txt', 'r', encoding='utf-8').readlines())
for item in knowledge_base:item['question'] = preprocess_text(item['question'])item['answer'] = preprocess_text(item['answer'])

2. 倒排表构建

# 构建倒排表
inverted_index = {}
for doc_id, item in enumerate(knowledge_base):for word in item['question']:if word not in inverted_index:inverted_index[word] = []inverted_index[word].append(doc_id)# 查看倒排表
for word in inverted_index:print(f"词: {word}, 文档列表: {inverted_index[word]}")

3. 文本相似度计算

from sklearn.feature_extraction.text import TfidfVectorizer
from sklearn.metrics.pairwise import cosine_similarity# 示例文本相似度计算
def calculate_similarity(text1, text2):# 将文本转换为 TF-IDF 向量vectorizer = TfidfVectorizer()tfidf_matrix = vectorizer.fit_transform([text1, text2])# 计算余弦相似度similarity = cosine_similarity(tfidf_matrix[0], tfidf_matrix[1])return similarity[0][0]# 示例:计算两个文本的相似度
text1 = '如何构建倒排表'
text2 = '倒排表的构建方法'
similarity = calculate_similarity(text1, text2)
print(f"文本相似度: {similarity}")

4. 检索问答系统实现

# 检索问答系统函数
def retrieval_qa_system(user_question):# 预处理用户问题processed_question = preprocess_text(user_question)# 根据倒排表获取相关文档related_docs = set()for word in processed_question:if word in inverted_index:related_docs.update(inverted_index[word])# 如果没有相关文档,返回默认回答if not related_docs:return "抱歉,我没有找到相关的信息。"# 计算用户问题与相关文档的相似度max_similarity = -1best_answer = ""for doc_id in related_docs:doc_text = ' '.join(knowledge_base[doc_id]['question'])similarity = calculate_similarity(user_question, doc_text)if similarity > max_similarity:max_similarity = similaritybest_answer = ' '.join(knowledge_base[doc_id]['answer'])return best_answer# 示例:用户提问
user_question = "如何计算文本相似度"
answer = retrieval_qa_system(user_question)
print(f"用户问题: {user_question}")
print(f"系统回答: {answer}")

5. 系统优化与改进

# 更新倒排表
def update_inverted_index(knowledge_base):inverted_index = {}for doc_id, item in enumerate(knowledge_base):for word in item['question']:if word not in inverted_index:inverted_index[word] = []inverted_index[word].append(doc_id)return inverted_index# 定期更新知识库和倒排表
def update_knowledge_base_and_inverted_index():# 假设有一个函数可以获取最新的知识库数据latest_knowledge_base = get_latest_knowledge_base()# 预处理更新后的知识库for item in latest_knowledge_base:item['question'] = preprocess_text(item['question'])item['answer'] = preprocess_text(item['answer'])# 更新倒排表inverted_index = update_inverted_index(latest_knowledge_base)return latest_knowledge_base, inverted_index# 示例:优化后更新系统
knowledge_base, inverted_index = update_knowledge_base_and_inverted_index()

相关文章:

场景化应用实战系列六:检索问答系统

目录 景化应用实战系列六:检索问答系统 一、目标设定 二、关键知识点梳理 三、案例讲解与实战操作 1. 数据准备与预处理 2. 倒排表构建 3. 文本相似度计算 4. 检索问答系统实现 5. 系统优化与改进 一、目标设定 构建一个高效的检索问答系统,能…...

3452. 好数字之和

​题目来源: LeetCode题目:3452. 好数字之和 - 力扣(LeetCode) 解题思路: 按要求判断求和即可。 解题代码: #python3 class Solution:def sumOfGoodNumbers(self, nums: List[int], k: int) -> int:r…...

GEE数据下载问题记录

GEE下载数据时的一些记录 1. GPT说 2. 验证 在未指定投影坐标系的情况下,下载原始数据导出的是MODIS Sinusoidal投影,如果单纯的对波段值进行操作,不会进行投影转换,如果涉及到波段平均,则会转投影到WGS84坐标系。如…...

P1833 樱花

P1833 樱花 - 洛谷 题目背景 《爱与愁的故事第四弹plant》第一章。 题目的描述 爱与愁大神后院里种了n棵樱花树,每棵都有美学值Ci​(0≤Ci​≤200)。爱与愁大神在每天上学前都会来赏花。爱与愁大神可是生物学霸,他懂得如何欣赏樱花:一种樱…...

文件操作和IO-3 文件内容的读写

文件内容的读写——数据流 流是操作系统提供的概念,Java对操作系统的流进行了封装。 数据流就像水流,生生不息,绵延不断。 水流的特点:比如要100mL的水,可以一次接10mL,分10次接完,也可以一次接…...

Day 0015:Metasploit 基础解析

目录 一、理论学习(Metasploit 架构与核心组件) 一、架构设计:分层与模块化 基础层(Ruby 框架): 核心层(模块引擎): 接口层(交互界面)&#…...

相机标定与图像处理涉及的核心坐标系

坐标系相互关系 #mermaid-svg-QxaMjIcgWVap0awV {font-family:"trebuchet ms",verdana,arial,sans-serif;font-size:16px;fill:#333;}#mermaid-svg-QxaMjIcgWVap0awV .error-icon{fill:#552222;}#mermaid-svg-QxaMjIcgWVap0awV .error-text{fill:#552222;stroke:#552…...

单例模式的运用

单例模式实现分析 在我们的向量数据库配置类 MilvusVectorDatabaseConfig 中,采用了单例模式的实现方式,这是一种非常经典且实用的设计模式。 饿汉式单例实现 这种实现方式属于饿汉式单例模式,它的优点在于: // 在类加载时就创…...

PageHelper分页原理解析:从源码到MySQL方言实现

一、引言 分页查询是Web开发的必备功能,MyBatis生态中的PageHelper以其简单易用的特性广受欢迎。本文将从源码层面(v5.3.2)解析PageHelper的分页实现机制,结合MySQL方言展示完整的执行链路。 二、核心实现原理 1. 插件初始化 …...

MySQL中索引最左前缀法则、索引失效情况、前缀索引、索引设计原则

最左前缀法则 联合索引中,最左前缀法则指的是查询从索引的最左列开始,并且不跳过索引中的列,如果跳跃某一列,索引将会部分失效(后面的字段索引失效)举例假设有一个联合索引包含三个字段按顺序:…...

pdf图片导出(Visio和Origin)

一、Visio 导入pdf格式图片 1. 设计->大小,适应绘图。 2. 文件->导出,导出为pdf格式。 上面两部即可得到只包含图的部分的pdf格式。 如果出现的有默认白边,可以通过以下方式设置: 1. 文件->选项->自定义功能区->…...

NR 通讯的整体架构

前言: 并假设发射器发送了一个信号,如左下角所示(蓝色),接收器检测到的信号显示在右侧(红色)。您在图中注意到的第一件事是什么?那就是发送的信号和接收的信号并不完全相同。 有什么…...

【大模型面试每日一题】Day 26:从伦理角度,大模型可能存在哪些潜在风险?技术上如何实现内容安全控制(如RLHF、红队测试)?

【大模型面试每日一题】Day 26:从伦理角度,大模型可能存在哪些潜在风险?技术上如何实现内容安全控制(如RLHF、红队测试)? 📌 题目重现 🌟🌟 面试官:从伦理角度&#xf…...

第六届电子通讯与人工智能国际学术会议(ICECAI 2025)

在数字化浪潮中,电子通讯与人工智能的融合正悄然重塑世界的运行逻辑。技术基础的共生关系是这场变革的核心——电子通讯如同“信息高速公路”,通过5G等高速传输技术,将海量数据实时输送至AI系统,使其能够像人类神经系统般快速响应…...

深入剖析 5G 核心网中的 PLMN

一、引言 在 5G 技术迅猛发展的当下,5G 核心网作为整个通信系统的关键枢纽,支撑着海量数据传输、低延迟通信以及多样化业务应用。其中,公共陆地移动网络(Public Land Mobile Network,PLMN)扮演着极为重要的角色,它是 5G 核心网实现用户接入、网络管理以及业务提供的基础…...

佰力博科技与您探讨半导体电阻测试常用的一些方法

一、两探针法​ 两探针法是一种较为基础的测试方法。该方法将两根探针与半导体样品表面紧密接触,通过电源在两根探针之间施加电压,同时使用电流表测量通过样品的电流,再根据欧姆定律计算电阻。​这种方法的优点在于操作简单、设备要求较低&a…...

5G 核心网中的 NPN 功能详解

引言 在 5G 技术飞速发展的今天,5G 核心网不断演进,为各类应用场景提供强大支撑。其中,NPN(Non-Public Network,非公共网络)功能作为 5G 核心网的重要特性,正逐渐崭露头角,在众多行业中发挥着关键作用。它为特定用户或组织打造专属网络环境,满足其对网络性能、安全性…...

谷歌medgemma-27b-text-it医疗大模型论文速读:多语言大型语言模型医学问答基准测试MedExpQA

《MedExpQA: 多语言大型语言模型医学问答基准测试》论文解析 一、引言 论文开篇指出大型语言模型(LLMs)在医学领域的巨大潜力,尤其是在医学问答(QA)方面。尽管LLMs在医学执照考试等场景中取得了令人瞩目的成绩&#…...

# 深入解析BERT自然语言处理框架:原理、结构与应用

深入解析BERT自然语言处理框架:原理、结构与应用 在自然语言处理(NLP)领域,BERT(Bidirectional Encoder Representations from Transformers)框架的出现无疑是一个重要的里程碑。它凭借其强大的语言表示能…...

js中encodeURIComponent函数使用场景

encodeURIComponent 是 JavaScript 中的一个内置函数,它的作用是: 将字符串编码为可以安全放入 URL 的形式。 ✅ 为什么需要它? URL 中有一些字符是有特殊意义的,比如: ? 用来开始查询参数 & 分隔多个参数 连接…...

【NLP 77、Python环境管理工具之conda】

如果你第一万次否定自己,那我希望我可以一万零一次大声称赞你 —— 25.5.22 一、什么是conda conda是一个开源的包管理系统和环境管理系统,主要用于Python语言,但也可以用于其它语言的项目 二、为什么要使用conda ① 多环境共存,多…...

替代云数据库的本地方案:MySQL+phpMyAdmin的远程管理与跨网络访问技术

文章目录 前言1. 安装MySQL2. 安装phpMyAdmin3. 修改User表4. 本地测试连接MySQL5. 安装cpolar内网穿透6. 配置MySQL公网访问地址7. 配置MySQL固定公网地址8. 配置phpMyAdmin公网地址9. 配置phpmyadmin固定公网地址 前言 对于运维来说,平时还好,一旦出门…...

Dify大语言模型应用开发环境搭建:打造个性化本地LLM应用开发工作台

文章目录 前言1. Docker部署Dify2. 本地访问Dify3. Ubuntu安装Cpolar4. 配置公网地址5. 远程访问6. 固定Cpolar公网地址7. 固定地址访问 前言 各位小伙伴们,大家好!今天我们要来一场技术大冒险,手把手教你如何在Linux Ubuntu系统上使用Docke…...

MySQL索引事务

索引 通过索引可以对查询操作进行优化,通过减少全表扫描,快速定位数据,原本的查询操作是对表进行遍历,如果是大表效率较低 1)注意事项 占用了更多的空间,由于生成索引需要依赖于数据结构和额外数据&…...

Seay代码审计工具

Seay代码审计工具 介绍 Seay代码审计工具是一款由国内安全研究人员"Seay"开发的源代码安全审计工具,主要用于帮助安全人员快速发现PHP代码中的安全漏洞,快速定位代码中的安全风险点。 主要功能特点 自动化审计功能 支持自动扫描PHP代码中的…...

【人工智障生成日记1】从零开始训练本地小语言模型

🎯 从零开始训练本地小语言模型:MiniGPT TinyStories(4090Ti) 🧭 项目背景 本项目旨在以学习为目的,从头构建一个完整的本地语言模型训练管线。目标是: ✅ 不依赖外部云计算✅ 完全本地运行…...

技术分享:大数据挖掘平台架构设计与行业应用实践

在数字化转型浪潮下,企业数据规模呈指数级增长。如何构建高效的数据挖掘体系,实现数据价值变现,成为技术团队面临的重要课题。本文将深入探讨大数据挖掘平台的核心架构、关键技术及行业应用实践。 一、平台架构设计 1. 数据采集层 支持多源异…...

线性Wi-Fi FEM被卷死,非线性FEM是未来?

在跑了一圈路由器客户之后,我的内心反而平静下来,被卷死的不只是Wi-Fi FEM赛道,还有家用路由器市场。 尽管路由器市场比较惨淡,不过客户还是很愿意接见我,并做更广泛的交流和探讨。一方面之前推Wi-Fi FEM的众多厂商在渐…...

OpenCV CUDA模块图像过滤------用于创建一个最小值盒式滤波器(Minimum Box Filter)函数createBoxMinFilter()

操作系统:ubuntu22.04 OpenCV版本:OpenCV4.9 IDE:Visual Studio Code 编程语言:C11 算法描述 该函数创建的是一个 最小值滤波器(Minimum Filter),它对图像中每个像素邻域内的像素值取最小值。常用于&…...

【MySQL】06.MySQL表的增删查改

1. insert 我们先创建一个表结构,这部分操作我们使用这张表完成我们的操作: mysql> create table student(-> id int primary key auto_increment,-> name varchar(20) not null,-> qq varchar(20) unique-> ); Query OK, 0 rows affec…...

MySQL 索引失效及其解决办法

一、前言 在数据库优化中,索引(Index)是一项至关重要的技术手段,可以显著提升查询性能。然而,在实际开发过程中,MySQL 索引并不总是如预期生效。本文将从原理出发,系统地介绍索引失效的常见场景及其解决方案,帮助开发者有效规避性能陷阱。 二、索引基础回顾 MySQL 支…...

在线时间戳(Unix TimeStamp)转换器

做了一个在线时间戳转换器,简单、好用,提供多种日期格式。 移动端友好。 目标是做一套在线工具集,时间戳转换只是第一步。 欢迎试用...

flutter 项目调试、flutter run --debug调试模式 devtools界面说明

Flutter DevTools 网页界面说明 1. 顶部导航栏 Inspector:查看和调试 Widget 树,实时定位 UI 问题。Performance-- 性能分析面板,查看帧率、CPU 和 GPU 使用情况,识别卡顿和性能瓶颈。Memory-- 内存使用和对象分配分析&#xff…...

Qt C++实现马的遍历问题

在这个项目中,我们面对的是一个基于中国象棋的马的遍历问题,使用了C++编程语言,并结合了Qt5库来实现图形界面和棋盘的绘制。以下是这个项目涉及的关键知识点: 马的移动规则:马在象棋中具有独特的“日”字形移动方式,即每次可以向前、后、左或右移动一格,然后在同一行或同…...

web第六次课后作业--使用ApiFox实现请求响应操作

一、实体参数 1.1 简单实体参数 1.2 复杂实体对象 如果请求参数比较多,通过上述的方式一个参数一个参数的接收会比较繁琐。此时,我们可以考虑将请求参数封装到一个实体类对象中。 要想完成数据封装,需要遵守如下规则:请求参数名…...

第十周作业

一、CSRF 1、DVWA-High等级 2、使用Burp生成CSRF利用POC并实现攻击 二、SSRF:file_get_content实验,要求获取ssrf.php的源码 三、RCE 1、 ThinkPHP 2、 Weblogic 3、Shiro...

Excel合并单元格后,如何自动批量生成序号列

1.选择整列 2.组合键:CtrlG 3.定位条件,选择“空值” 4.在第一个框中输入“MAX(”,鼠标选中A1框,后加“:”,鼠标选中前方“A1”,按“F4”绝对引用,补全右括号,后输入“1…...

数据结构 -- B树和B+树

B树 B树 5叉查找树 最少1个关键字,2个分叉 最多4个关键字,5个分叉 如何保证查找效率 (1)eg.对于5叉排序树,规定除了根节点外,任意结点都至少有3个分叉,2个关键字 (若每个结点内关…...

el-table高度自适应、数据查询后高度展示错误问题

在很多场景中我们需要实现表格的高度自适应&#xff0c;即不同屏幕大小下需要使用不同的高度来设置表格&#xff0c;那么我们应该如何实现呢&#xff1f; 1.el-table实现高度自适应 通过以下代码可以实现表格根据屏幕进行自适应 设置表格的高度 <el-table ref"tableD…...

unittest

1.什么是unittest&#xff1f; unittest是Python自带的一个单元测试框架, 它可以做单元测试, 也能用于编写和运行重复的测试工作。它给自动化测试用例开发和执行提供了丰富的断言方法, 判断测试用例是否通过, 并最终生成测试结果. 2.unittest组成 2.1 TestCase TestCase即测试…...

【Linux学习笔记】ext2文件系统的深度剖析

【Linux学习笔记】ext2文件系统的深度剖析 &#x1f525;个人主页&#xff1a;大白的编程日记 &#x1f525;专栏&#xff1a;Linux学习笔记 文章目录 【Linux学习笔记】ext2文件系统的深度剖析前言一.ext2文件系统1.1宏观认识 二. Block Group三. 块组内部构成3.1 超级块&am…...

Vue 3 官方 Hooks 的用法与实现原理

Vue 3 引入了 Composition API&#xff0c;使得生命周期钩子&#xff08;hooks&#xff09;在函数式风格中更清晰地表达。本篇文章将从官方 hooks 的使用、实现原理以及自定义 hooks 的结构化思路出发&#xff0c;全面理解 Vue 3 的 hooks 系统。 &#x1f4d8; 1. Vue 3 官方生…...

通过现代数学语言重构《道德经》核心概念体系,形成一个兼具形式化与启发性的理论框架

以下是对《道德经》的数学转述尝试&#xff0c;通过现代数学语言重构其核心概念&#xff0c;形成一个兼具形式化与启发性的理论框架&#xff1a; 0. 基础公理体系 定义&#xff1a; 《道德经》是一个动态宇宙模型 U(D,V,Φ)&#xff0c;其中&#xff1a; D 为“道”的无限维…...

openai-whisper-asr-webservice接入dify

openai-whisper-asr-webservice提供的asr的api其实并不兼容openai的api&#xff0c;所以在dify中是不能直接添加到语音转文字的模型中&#xff0c;对比了下两个api的传参情况&#xff0c;其实只要改动一处&#xff0c;就能支持&#xff1a; openai兼容的asr调用中formdata中音频…...

曾经在知乎上看到一个回答:“入职做FPGA,后续是否还可以转数字IC设计?”

曾经在知乎上看到一个回答&#xff1a;“入职做FPGA&#xff0c;后续是否还可以转数字IC设计&#xff1f;” 对比FPGA的行业薪资水平&#xff0c;数字IC行业中的一些基础性岗位薪资比FPGA要高一些。 除了薪资之外&#xff0c;更多FPGA开发者考虑转向数字IC设计的原因如下&…...

第4周_作业题_逐步构建你的深度神经网络

文章目录 ***逐步构建你的深度神经网络***0. 背景0.1 要解决的问题0.2 作业大纲0.3 构建深层神经网络步骤 1. 导入包2. 初始化参数2.1 2层神经网络2.2 L层神经网络 3. 前项传播函数3.1 前项传播步骤3.2 线性前向3.3 线性激活部分3.4 L层前项传播模型3.5 计算成本 4. 反向传播模…...

Linux 搭建FTP服务器(vsftpd)

搭建FTP服务器(vsftpd)&#xff1a; 文章目录 搭建FTP服务器(vsftpd)&#xff1a;配置镜像安装vsftpd配置vsftpd关闭SELinux&#xff1a;配置防火墙启动vsfptd服务并设置开机自启创建FTP用户测试windows中测试Linux测试下载get/mget上传put/mput删除文件delete 搭建SCP服务器(基…...

AWS中国区中API Gateway中403的AccessDeniedException问题

问题 在互联网使用API Gateway的域名访问接口&#xff0c;出现403问题AccessDeniedException。具体如下&#xff1a; 前提 这里API Gateway相关配置都没有问题。而且&#xff0c;vpc内网都能访问被代理的服务。这里api gateway不需要使用自定义域名。 解决 向客服发个工单…...

计量单片机 RN8302:特性、使用与应用

在现代电力监测与能源管理领域&#xff0c;精确的电能计量至关重要。计量单片机 RN8302 作为一款高性能的电能计量芯片&#xff0c;凭借其卓越的特性与功能&#xff0c;在众多应用场景中发挥着关键作用。本文将全面深入地介绍 RN8302 的各项特性、使用方法、注意事项以及广泛的…...

Flutter生物识别认证之Flutter指纹认证Flutter人脸认证

Flutter介绍&#xff1a; Flutter是谷歌开发的开源UI软件开发工具包&#xff0c;用于高效构建跨平台的应用程序&#xff0c;支持iOS、Android、Web、Windows、macOS和Linux。它使用Dart语言编写&#xff0c;提供了丰富的组件和工具&#xff0c;使开发者能够创建高质量、高性能…...