当前位置：首页 > news >正文

使用 SQL 和表格数据进行问答和 RAG（1）—数据库准备

news 来源：原创 2025/5/14 17:01:42

一. 从 `.sql/csv/xlsx` 文件创建 `sqlite 数据库`。

要从.sql文件准备 SQL DB，这里会将创建数据库的代码放到了，将文件复制到data/sql目录中，然后在终端中的项目文件夹中执行：

pip install sqlite3

现在创建一个名为sqldb的数据库：

sqlite3 data/sqldb.db

注意：这里进入 SQLite 命令行后，就不需要再使用 sqlite3 命令

使用 .read 命令加载 SQL 文件：

.read data/sql/<name of your sql database>.sql

比如：

.read data/sql/Chinook_Sqlite.sql

执行 SQL 查询验证是否成功创建了数据库，直接输入 SQL 语句：

SELECT * FROM <any Table name in your sql database> LIMIT 10;

比如：

SELECT * FROM Artist LIMIT 10;

输出：
在这里插入图片描述

二. 从 CSV 和 XLSX 文件中准备 `SQL 数据库`，请先将文件复制到data/csv_xlsx中，并在终端中从项目文件夹中执行：

python src/prepare_csv_xlsx_sqlitedb.py

此命令将在data目录中创建一个名为csv_xlsx_sqldb.db的 SQL 数据库。

三. 从 CSV 和 XLSX 文件准备 `vectorDB`，请将文件复制到data/for_upload中，并在终端中从项目文件夹中执行

python src/prepare_csv_xlsx_vectordb.py

使用 SQL 和表格数据进行问答和 RAG（1）—数据库准备

一. 从 .sql/csv/xlsx 文件创建 sqlite 数据库。要从.sql文件准备 SQL DB，这里会将创建数据库的代码放到了，将文件复制到data/sql目录中，然后在终端中的项目文件夹中执行： pip install sqlite3现在创建一个名为sqldb的数据库&a…...

编程日记 2025/5/14 17:01:42

TCP与UDP协议

一、主要区别 ① 连接的建立和断开： TCP（Transform Control Protocol）通过三次握手来建立一个可靠的连接。这个过程确保了双方都能发送和接收数据。连接建立后，TCP提供稳定的数据传输服务。当通信结束时，TCP通过四次…...

编程日记 2025/5/14 16:45:38

【MySQL】MVCC详解, 图文并茂简单易懂

欢迎来到啊妮莫的学习小屋祝读本文的朋友都天天开心呀目录 MVCC简介快照读与当前读快照读当前读隔离级别隐藏字段和Undo Log版本链✨MVCC原理--ReadView✨ReadView简介设计思路适用隔离级别重要内容 ReadView规则MVCC整体流程不同隔离级别下的MVCC读已提交可重复读总结 M…...

编程日记 2025/5/14 14:59:30

Cisco认证是Cisco公司建立的网络技术证书体系

思科认证体系是由Cisco公司建立的分为3个层次的网络技术证书体系，随着Cisco产品线的扩大和市场份额的不断提升，Cisco产品从当初仅有的 Cisco路由器和Cisco交换机发展到现在的6大方向：路由交换，网络设计，网络安全&#…...

编程日记 2025/5/14 14:47:27

Clojure语言的面向对象编程

Clojure语言的面向对象编程引言 Clojure是一种现代的Lisp方言，它特别强调函数式编程，Immutable数据结构和强大的并发能力。然而，很多人可能会问：Clojure支持面向对象编程吗？虽然Clojure没有像Java或C那样的传统类和…...

编程日记 2025/5/13 17:45:18

React快速上手到项目实战总篇

React核心价值与前置知识时刻保持对知识的渴望家人们开学!!! 核心价值组件化（易开发易维护） 数据驱动视图 ：定义好数据和ui的显示规则即UIf(state) 只关注业务数据修改，不在操作DOM 增加开发效率使用vite创建Recat项目 …...

编程日记 2025/5/1 13:06:05

Dart语言的语法

Dart语言的魅力与应用引言随着互联网的发展和移动设备的普及，编程语言层出不穷，各种语言如雨后春笋般被创造出来。其中，Dart语言作为一种现代编程语言，凭借其简洁的语法、强大的功能以及良好的性能，受到了越来越多…...

编程日记 2025/5/11 17:32:38

C++——多态

目录前言 1. 多态的概念 2. 多态的定义及其实现 2.1 多态的构成条件 2.1.1 实现多态的两个重要条件 2.1.2 虚函数 2.1.3 虚函数的重写/覆盖 2.1.4 多态场景的⼀个选择题 2.1.5 虚函数重写的⼀些其他问题 2.1.5.1 协变（了解） 2.1.5.2 析构函…...

编程日记 2025/5/14 16:09:47

什么是Transformer模型中的KV缓存：上下文新增那之前计算的KV还可用，在原有基础上对新增的进行计算就行

什么是Transformer模型中的KV缓存? 在Transformer模型中，KV缓存（Key-Value Cache）具有重要作用，以下是关于它的详细介绍：概念含义 KV缓存主要是用于存储在模型推理过程中已经计算过的键（Key）和值（Value）信息。在Transformer架构里，比如在自注意力机制等计算环节…...

编程日记 2025/5/10 17:18:25

12.C语言中的struct详解：定义、赋值、指针、嵌套与位字段

目录 1.简介2.struct 的复制3.struct 指针4.struct 的嵌套5.位字段6.弹性数组成员 1.简介本篇原文为：C语言中的struct详解：定义、赋值、指针、嵌套与位字段。更多C进阶、rust、python、逆向等等教程，可点击此链接查看：酷程网 …...

编程日记 2025/5/13 12:13:40

洛谷 P3000 [USACO10DEC] Cow Calisthenics G

思路题目要求断若干条边后形成的连通块中，最大的直径最小，很明显的二分。关键就在于如何写 c h e c k check check 函数了。可以用 d f s dfs dfs 来判断要断哪条边。一、 d [ u ] d[u] d[u] 定义设 d [ u ] d[u] d[u] 为从 u u u 出发到子树…...

编程日记 2025/5/14 16:59:33

前端拿到zip中所有文件并下载为新的zip文件

问题原因：后端返回了一个zip格式文件供前端下载，然后下载后，形成了zip套zip的形式，当后端不愿处理时，前端不能坐以待毙 PS：当压缩包文件量过大，前端可能会出问题（脑测，未…...

编程日记 2025/5/14 16:09:47

JVM调优

jvm调优步骤：1发现问题、2。定位问题、3.解决问题 jdk自带的命令行调优工具： 1. jps 查看正在运行的 Java 进程 jps -v 查看进程启动时的JVM参数 options 参数： -q：仅仅显示 LVMID（local virtual machine id&#x…...

编程日记 2025/5/9 20:25:07

【前端】【HTML】入门基础知识

参考视频：【狂神说Java】HTML5完整教学通俗易懂_哔哩哔哩_bilibili 一、基本结构二、基本标签 <h1>：一级标题，通常用于页面的主标题，字体较大且醒目。 <h2>：二级标题，用于副标题或主要章节标…...

编程日记 2025/5/14 16:15:14

Ubuntu桌面管理环境: GDM3，KDM，LightDM

介绍 Ubuntu是一个广受欢迎的Linux操作系统，拥有强大而多样化的桌面管理环境。其中三个常用的桌面管理环境是GDM3，KDM和LightDM。本篇博客将介绍这三个桌面管理环境的特点和功能。 GDM3 (GNOME Display Manager) GDM3是默认的桌面管理环境&#xff0c…...

编程日记 2025/5/14 12:51:21

每天你好20250110（距离春节19天！！！）

亲爱的朋友们，大家早上好！ 🌞 今晨乃 2025 年 1 月 10 日，星期五，农历乙巳[蛇]年十一月二十一日。祥蛇逸彩送祥，金乌喷薄耀世，晨晖破雾而来，恰似“赤日初升，其道大光”&…...

编程日记 2025/5/14 16:46:40

iOS 本地新项目上传git仓库，并使用sourceTree管理

此文记录的场景描述： iOS前期开发时，在本地创建项目，直至开发一段时间，初期编码及框架已完善后，才拿到git仓库的地址。此时需要将本地代码上传到git仓库。上传至git仓库，可以使用终端，键入命令…...

编程日记 2025/5/10 5:40:56

计算机网络之---计算机网络的性能评估

计算机网络的性能评估是指通过各种标准和指标来衡量网络的工作效率和质量，进而对网络进行优化和改进的过程。评估的目标是确保网络能够满足预期的服务质量（QoS）和性能需求。常见的计算机网络性能评估指标包括带宽、延迟、吞吐量、丢包率等。 …...

编程日记 2025/5/9 18:16:26

对话｜企业如何构建更完善的容器供应链安全防护体系

对话｜企业如何构建更完善的容器供应链安全防护体系云布道师随着云计算和 DevOps 的兴起，容器技术和自动化成为软件开发中的必要手段，软件供应链也进入了自动化及 CI/CD 阶段。然而，容器技术和自动化虽然提升了软件的更新速度&…...

编程日记 2025/5/14 15:10:51

文章目录 1、用户认证流程AuthenticationSuccessHandler AuthenticationFailureHandlerSecurityFilterChain配置用户认证信息 2、会话并发处理2.1、实现处理器接口2.2、SecurityFilterChain配置 1、用户认证流程 AuthenticationSuccessHandler AuthenticationFailureHandler …...

编程日记 2025/5/14 15:07:31

在 Vue 3 集成 e签宝电子合同签署功能

实现 Vue 3 e签宝电子合同签署功能，需要使用 e签宝提供的实际 SDK 或 API。 e签宝通常提供针对不同平台（如 Web、Android、iOS）的 SDK，而 Web 端一般通过 WebView 或直接使用嵌入式 iframe 来加载合同签署页面。下面举个 &…...

编程日记 2025/5/14 15:04:21

基于华为ENSP的OSPF接口网络类型深入浅出（4）

本篇技术博文摘要 🌟 OSPF的接口在不同网络类型下的工作方式；不同网络类型下的报文通告方式深入浅出hub-spoke架构引言 📘 在这个快速发展的技术时代，与时俱进是每个IT人的必修课。我是肾透侧视攻城狮，一名什么都会一…...

编程日记 2025/5/14 8:45:32

西电-算法分析-研究生课程复习笔记

24年秋的应该是张老师最后一次用卷面考试，他说以后这节课的期末考试都是在OJ上刷题了张老师上课还挺有意思的，上完之后能学会独立地思考算法设计问题了。整节课都在强调规模压缩这个概念，考试也是考个人对这些的理解，还挺好玩的哈…...

编程日记 2025/5/13 17:26:23

音频数据增强：提升音频信号质量的多种技术

在音频处理和机器学习领域，音频数据增强是一种常用的技术，旨在通过对原始音频信号进行各种变换和处理，生成更多样化的训练数据。这不仅可以提高模型的鲁棒性，还能改善其在真实世界应用中的表现。本文将介绍几种常用的音频数据增强…...

编程日记 2025/5/11 23:54:05

如何在 Ubuntu 22.04 上安装 Caddy Web 服务器教程

简介 Caddy 是一个开源的 Web 服务器，它支持静态和现代 Web 应用程序，使用预定义的配置规则，并为所有链接的域名自动启用 HTTPS。Caddy 使用 GO 语言编写，提供了用户友好的配置指令，使你既可以将其用作 Web 服务器&am…...

编程日记 2025/5/14 14:55:40

python_excel列表单元格字符合并、填充、复制操作

读取指定sheet页，根据规则合并指定列，填充特定字符，删除多余的列，每行复制四次，最后写入新的文件中。 import pandas as pd""" 读取指定sheet页，根据规则合并指定列，填充特定字…...

编程日记 2025/5/14 14:48:30

基于GAN和RL的思想来训练对话生成

Paper https://arxiv.org/pdf/1701.06547.pdf 基于GAN和RL的思想来训练对话生成 Implementation https://github.com/jiweil/Neural-Dialogue-Generation/tree/master/Adversarial...

编程日记 2025/5/14 5:59:57

小米路由器IPv6 功能使用指南

本文不限于多层路由使用IPv6 的情况，提供解决IPv6 无法获取的更硬核的方法，需要有ssh 工具。（无安卓设备，测试环境win、mac、ios） 首先明确一点，就是如果想让你的设备得到GUA 地址，即访问 6.i…...

编程日记 2025/5/14 15:08:35

运放输入偏置电流详解

1 输入阻抗与输入偏置电路关系在选择运放和仪表运放时，经常听到这样的说法：“需要非常高的输入阻抗”，事实上真实如此吗？ 输入阻抗（更确切的说是输入电阻）很少会成为一个重要的问题（输入电容也…...

编程日记 2025/5/14 12:56:08

C++指针类型的基本理论和使用方式-学习记录

一、指针简概 （一）指针定义指针（pointer）是“指向（point to）”另外一种类型的复合类型。与引用类似，指针也实现了对其他对象的间接访问。然而指针与引用相比又有很多不同点。其一，…...

编程日记 2025/5/14 15:00:38

Elasticsearch：使用 Playground 与你的 PDF 聊天

LLMs作者：来自 Elastic Toms Mura 了解如何将 PDF 文件上传到 Kibana 并使用 Elastic Playground 与它们交互。本博客展示了在 Playground 中与 PDF 聊天的实用示例。 Elasticsearch 8.16 具有一项新功能，可让你将 PDF 文件直接上传到 Kibana 并使用 Pla…...

编程日记 2025/5/12 12:22:27

计算机网络之---物理层设备

什么是物理层设备物理层设备是指负责数据在物理媒介上传输的硬件设备，它们主要处理数据的转换、信号的传输与接收，而不涉及数据的内容或意义。常见的物理层设备包括网卡、集线器、光纤收发器、调制解调器等。物理层设备有哪些 1、网卡（N…...

编程日记 2025/5/11 21:19:11

【Duilib】 List控件支持多选和获取选择的多条数据

问题使用Duilib库写的一个UI页面用到了List控件，功能变动想支持选择多行数据。分析 1、List控件本身支持使用SetMultiSelect接口设置是否多选： void SetMultiSelect(bool bMultiSel);2、List控件本身支持使用GetNextSelItem接口获取选中的下一个索引…...

编程日记 2025/5/14 15:24:27

2025新春烟花代码（二）HTML5实现孔明灯和烟花效果

效果展示源代码 <!DOCTYPE html> <html lang"en"> <script>var _hmt _hmt || [];(function () {var hm document.createElement("script");hm.src "https://hm.baidu.com/hm.js?45f95f1bfde85c7777c3d1157e8c2d34";var …...

编程日记 2025/5/14 15:06:29

如何在 Ubuntu 22.04 上集成 Collabora Online 教程

简介在本教程中，我们将详细讲解如何在 Ubuntu 22.04 操作系统上安装 Collabora Online。 Collabora Online 是一个基于 LibreOffice 技术的开源办公套件。它提供了许多功能，其中最有用的一个功能是 Collabora 提供了 Word 文档、电子表格、演示文稿等…...

编程日记 2025/5/14 15:23:24

Linux系统启动jar包--Java8

启动命令及参数 1. 启动命令模板 nohup java \ -Xms512m \ -Xmx1024m \ -Xmn256m \ -XX:MetaspaceSize128m \ -XX:MaxMetaspaceSize256m \ -XX:UseG1GC \ -XX:InitiatingHeapOccupancyPercent45 \ -XX:PrintGCDetails \ -XX:PrintGCDateStamps \ -XX:PrintGCApplicationStopp…...

编程日记 2025/5/12 13:23:29

linux-定制化rpm(rpmbuild)

一. 引文： 为实现我们的快速安装，特定服务需求的服务部署需求， 我们选择了通过source编译后定制成rpm，存放至自定义yum仓库，通过yum工具规范化管理及部署服务。目前比较常用的rpm打包方式分别为rpmbuild和fpm(在rpmbui…...

编程日记 2025/5/3 17:28:09

面向对象分析与设计Python版分析与设计概述

文章目录一、软件工程概述二、分析与设计概述一、软件工程概述高质量软件系统的基本要求架构性内聚可重用性可维护性可扩展性灵活性软件开发过程模型：是指根据软件开发项目从开始到结束的一系列步骤和方法，建模为不同的模型。常见的有&#xff1…...

编程日记 2025/5/14 15:12:05

npm发布流程说明

一、进入要发布的项目根目录，初始化为npm包 npm initname：最重要的字段之一，项目名称（少于214个字节）。没有name和version不能进行安装； version：最重要的字段之一，项目版本。没有n…...

编程日记 2025/5/14 15:20:53

Nginx反向代理请求头有下划线_导致丢失问题处理

后端发来消息说前端已经发了但是后端没收到请求。发现是下划线的都没收到，搜索之后发现nginx默认request的header中包含’_’时，会自动忽略掉。解决方法是：在nginx里的nginx.conf配置文件中的http部分中添加如下配置： unders…...

编程日记 2025/5/8 7:22:33

计网C1C2C3答案自用

Chapter 1 Computer Network and the Internet Review Questions Solution R1. What is the difference between a host and end system? List several different types of end system. Is a Web server an end system? There is no difference between a host and an end …...

编程日记 2025/5/13 12:30:56

一. 从 .sql/csv/xlsx 文件创建 sqlite 数据库。

二. 从 CSV 和 XLSX 文件中准备 SQL 数据库，请先将文件复制到data/csv_xlsx中，并在终端中从项目文件夹中执行：

三. 从 CSV 和 XLSX 文件准备 vectorDB，请将文件复制到data/for_upload中，并在终端中从项目文件夹中执行

相关文章：

一. 从 `.sql/csv/xlsx` 文件创建 `sqlite 数据库`。

二. 从 CSV 和 XLSX 文件中准备 `SQL 数据库`，请先将文件复制到data/csv_xlsx中，并在终端中从项目文件夹中执行：

三. 从 CSV 和 XLSX 文件准备 `vectorDB`，请将文件复制到data/for_upload中，并在终端中从项目文件夹中执行