当前位置：首页 > news >正文

python-44-嵌入式数据库SQLite和DuckDB

news 来源：原创 2025/6/11 9:40:10

文章目录

1 SQLite
- 1.1 世界上最流行的数据库
- 1.1 SQLite简介
- 1.2 插入语句
- 1.3 查询数据
- 1.4 更新数据
- 1.5 删除数据
2 DuckDB
- 2.1 DuckDB简介
- 2.2 DuckDB与Python结合使用
- - 2.2.1 创建表
  - 2.2.2 分析语句
  - 2.2.3 导出为parquet文件
- 2.3 Windows中使用DuckDB
3 参考附录

1 SQLite

Python的一个特点是，它内置了一个轻量级的关系型数据库SQLite，它可以提供快速、简单的数据存储和检索。

1.1 世界上最流行的数据库

世界上最流行的数据库是什么？Oracle? MySQL? PostGreSQL?都不是，答案是SQLite。
你可能没听说过它，但是它就在你身边的：
每一台智能手机中（Android 和iOS）；
每一台Mac电脑中；
每一台Windows 10 电脑中；
每一个主要的浏览器中（Chrome, Firefox,Safari）；
大部分的机顶盒当中；
每个PHP和Python安装目录中；
很多流行的桌面应用(微信、QQ、 DropBox、 Skype、iMessage、WhatsApp、 Adobe Acrobat Reader…)。

1.1 SQLite简介

SQLite是一个轻量级的数据库，它不需要单独的服务器进程，可以直接嵌入到Python程序中。Python内置了对SQLite的支持，内置库不需要安装，我们可以通过SQLite3模块来使用SQLite数据库。

python-44-嵌入式数据库SQLite和DuckDB

文章目录 1 SQLite1.1 世界上最流行的数据库1.1 SQLite简介1.2 插入语句1.3 查询数据1.4 更新数据1.5 删除数据2 DuckDB2.1 DuckDB简介2.2 DuckDB与Python结合使用2.2.1 创建表2.2.2 分析语句2.2.3 导出为parquet文件2.3 Windows中使用DuckDB3 参考附录1 SQLite Python的一个特…...

编程日记 2025/6/2 23:05:56

使用 Java 和 FreeMarker 实现自动生成供货清单，动态生成 Word 文档，简化文档处理流程。

在上一篇博客中主要是使用SpringBootApache POI实现了BOM物料清单Excel表格导出，详见以下博客： Spring Boot Apache POI 实现 Exc（）el 导出：BOM物料清单生成器（支持中文文件名、样式美化、数据合并&#…...

编程日记 2025/5/31 14:52:50

R语言的并发编程

R语言的并发编程引言在现代计算中，如何有效地利用计算资源进行数据处理和分析已成为一个重要的研究方向。尤其在大数据时代，数据量的急剧增加让单线程处理方式显得力不从心。为了解决这一问题，各种编程语言都开展了并发编程的研究和应用。…...

编程日记 2025/6/2 18:18:39

音乐播放器实现:前端HTML，CSS，JavaScript综合大项目

音乐播放器实现:前端HTML，CSS，JavaScript综合大项目项目概述项目视图效果一、侧边栏相关代码（一）HTML代码（二）css代码二、登录页面（一）HTML代码（二）css代码…...

编程日记 2025/6/2 14:59:03

PixArt--alpha笔记

PixArt-α 是华为发布的文生图模型。训练策略分解：设计三个不同训练步骤，分别优化像素依赖、文本图像对齐和图像审美质量。高效T2I transformer：将 cross-attention融入 Diffusion Transformer (DiT)注入文本条件，简化计算密集的…...

编程日记 2025/5/31 20:50:06

内网渗透测试工具及渗透测试安全审计方法总结

1. 内网安全检查/渗透介绍 1.1 攻击思路有2种思路： 攻击外网服务器，获取外网服务器的权限，接着利用入侵成功的外网服务器作为跳板，攻击内网其他服务器，最后获得敏感数据，并将数据传递到攻击者&#xff0…...

编程日记 2025/6/2 18:17:36

java工程学习步骤

1、安装idea，安装maven，mysql数据库 2、创建一个多maven的springboot的项目，可以正常启动以及可以访问web页面 3、引入日志使用slflogbck进行日志打印，同时封装统一的日志打印工具，idea安装maven analyzer工具&#…...

编程日记 2025/6/3 16:34:30

使用Flask和Pydantic实现参数验证

使用Flask和Pydantic实现参数验证 1 简介 Pydantic是一个用于数据验证和解析的 Python 库，版本2的性能有较大提升，很多框架使用Pydantic做数据校验。 # 官方参考文档 https://docs.pydantic.dev/latest/# Github地址 https://github.com/pydantic/pyd…...

编程日记 2025/6/3 10:36:27

LabVIEW 蔬菜精密播种监测系统

在当前蔬菜播种工作中，存在着诸多问题。一方面，播种精度难以达到现代农业的高标准要求，导致种子分布不均，影响作物的生长发育和最终产量；另一方面，对于小粒径种子，传统的监测手段难以实现有效监…...

编程日记 2025/5/25 1:42:37

统信UOS系统安装redis

1、yum引入redis yum install redis2、创建日志文件夹 mkdir -p /var/log/redis mkdir -p /var/lib/redis3、添加用户 useradd redis -s /usr/sbin/nologin4、文件夹赋权限 chown -R redis:root /var/log/redis chown redis:root /etc/redis.conf chown -R redis:root /var…...

编程日记 2025/5/24 7:51:43

课程如何抵御脑腐的冲击

课程需要引导学生逐步形成深度思考的能力，才有可能抵御‘Brain Rot’，否则都不会取得任何改善。一步步失去的思维力，需要一步步引导恢复，类似康复训练。这是一个非常长期而艰辛但又十分有意义和有价值的工作。这是一篇类似工作转…...

编程日记 2025/6/3 16:02:47

2.4 如何学习表示学习（Representation Learning）

如何学习表示学习（Representation Learning）学习表示学习（Representation Learning）是理解和掌握机器学习、深度学习以及人工智能的关键一步。表示学习主要关注从原始数据中提取有效的特征或表示，使得模型能够高效处理和理解复杂的数据。以下是一些系统的方法，帮助你一…...

编程日记 2025/6/3 21:46:48

介绍下常用的前端框架及时优缺点

以下是一些常用的前端框架及其优缺点介绍： React • 优点 • 组件化架构：可构建可复用的UI组件，提高开发效率和组件可维护性。 • 虚拟DOM：高效更新页面，减少直接操作DOM的性能开销。 • 灵活性和可扩展性&#xf…...

编程日记 2025/5/29 13:55:44

Rust 猜数字游戏：从 0 到 1 的完整实现与深入解析

一、项目概述 1.1 为什么选择“猜数字”？ “猜数字”是编程入门中非常经典的一个项目。它看似简单，却能很好地展示： 输入输出 (I/O)：提示用户输入并读取内容。随机数：每次运行生成一个随机值，保证游戏的…...

编程日记 2025/6/2 18:29:17

使用C语言实现栈的插入、删除和排序操作

栈是一种后进先出（LIFO, Last In First Out）的数据结构，这意味着最后插入的元素最先被删除。在C语言中，我们可以通过数组或链表来实现栈。本文将使用数组来实现一个简单的栈，并提供插入（push）、删除（pop）以及排序（这里采用一种简单的排序方法，例如冒泡排序）的操作示…...

编程日记 2025/5/31 2:56:19

职场的三个阶段及其应对规划：以前端开发工程师为例

作为职场人士，特别是 IT 开发工程师，职业生涯的发展路径往往伴随着不同的挑战与机遇。一般而言，职场生涯可以划分为三个阶段：找工作阶段、有工作阶段以及职业转型阶段。每个阶段都有其特定的特征和应对策略，下面我将从…...

编程日记 2025/5/30 22:35:23

【人工智能】：搭建本地AI服务——Ollama、LobeChat和Go语言的全方位实践指南

前言随着自然语言处理（NLP）技术的快速发展，越来越多的企业和个人开发者寻求在本地环境中运行大型语言模型（LLM），以确保数据隐私和提高响应速度。Ollama 作为一个强大的本地运行框架，支持多种先…...

编程日记 2025/6/2 10:15:01

蓝桥杯训练—斐波那契数列

文章目录一、题目二、解析三、代码一、题目求100以内的斐波那契数列斐波那契数列（Fibonacci sequence），又称黄金分割数列 ，因数学家莱昂纳多斐波那契（Leonardo Fibonacci）以兔子繁殖为例子而引入&…...

编程日记 2025/6/4 4:54:22

TensorFlow DAY3: 高阶 API（Keras，Estimator）（完）

TensorFlow 作为深度学习框架，当然是为了帮助我们更便捷地构建神经网络。所以，本次实验将会了解如何使用 TensorFlow 来构建神经网络，并学会 TensorFlow 构建神经网络的重要函数和方法。知识点 Keras 顺序模型Keras 函数模型Keras 模型存储…...

编程日记 2025/6/3 2:30:19

复健第二天之[MoeCTF 2022]baby_file

打开题目在线环境可以看到： 感觉要用伪协议去求，但是我们并不知道flag的位置，这里我选择用dirsearch去扫一下： 最像的应该就是flag.php了于是就构建payload： **?filephp://filter/convert.base64-encode/resource…...

编程日记 2025/6/2 23:36:17

【QT用户登录与界面跳转】

【QT用户登录与界面跳转】 1.前言2. 项目设置3.设计登录界面3.1 login.pro参数3.2 界面设置3.2.1 登录界面3.2.2 串口主界面 4. 实现登录逻辑5.串口界面6.测试功能7.总结 1.前言在Qt应用程序开发中，实现用户登录及界面跳转功能是构建交互式应用的重要步骤之一。下…...

编程日记 2025/6/1 11:08:07

【docker踩坑记录】

docker踩坑记录踩坑记录(持续更新中.......)docker images 权限问题踩坑记录(持续更新中…) docker images 权限问题 permission denied while trying to connect to the Docker daemon socket at unix:///var/run/docker.sock: Head "http://%2Fvar%2Frun%2Fdocker.s…...

编程日记 2025/5/29 6:37:50

【Azure 架构师学习笔记】- Azure Function (2) --实操1

本文属于【Azure 架构师学习笔记】系列。本文属于【Azure Function 】系列。接上文【Azure 架构师学习笔记】- Azure Function (1) --环境搭建和背景介绍前言上一文介绍了环境搭建，接下来就在本地环境下使用一下。环境准备这里我下载了最新的VS studio&…...

编程日记 2025/6/2 16:26:49

豆包MarsCode：构造特定数组的逆序拼接

问题描述思路分析 1. 数组的组成： 我们要根据 i 的不同值拼接出不同长度的子数组。对于每个 i 从 1 到 n，我们要把数字从 n 逆序到 i 拼接成一个子数组。例如，当 i 1 时，拼接 [n, n-1, ..., 1]。当 i 2 时，拼接 …...

编程日记 2025/6/4 9:55:25

14-美妆数据分析

前言美妆数据分析可以帮助企业更好地理解市场趋势、客户偏好和产品表现 import pandas as pd import numpy as np 一、数据清洗 data pd.read_csv(rC:\Users\B\Desktop\美妆数据.csv,encodinggbk) data.head()data.info()data data.drop_duplicates(inplaceFalse) data.r…...

编程日记 2025/6/3 16:16:28

新阿里云买服务器配置需手动配置80端口

新买阿里云服务器需手动配置80，端口才可以访问nginx CentOS系统安装nginx 1. 安装 Nginx yum install nginx 2. 启动 Nginx 服务 systemctl start nginx 3. 修改默认网页 cd /usr/share/nginx/ echo "666" >index.html cat index.html 访问ngin最后…...

编程日记 2025/6/4 6:15:16

Mysql--实战篇--连接泄漏问题（什么是连接泄漏，未关闭SqlSession，长事务处理，连接池管理等）

1、什么是连接泄漏（Connection Leak）？ 连接泄漏是指应用程序未能正确关闭数据库连接，导致连接池中的可用连接逐渐减少，最终耗尽所有连接。连接泄漏可能会导致新的请求无法获得连接，进而引发服务中断。连…...

编程日记 2025/6/3 5:01:14

【ESP32】ESP-IDF开发 | WiFi开发 | AP模式 + 基站连接例程

1. 简介前面一篇讲了WiFi的基站模式，演示了怎么编程连接AP，所以这一篇讲一讲AP模式，ESP32作AP，让其他的设备连接自己。 1.1 DHCP 这里需要补充一个知识点——DHCP服务器。当基站连接一个AP时，会被分配一个IP&#xf…...

编程日记 2025/6/1 10:23:02

Ubuntu升级Linux内核教程

本文作者CVE-柠檬i: CVE-柠檬i-CSDN博客本文使用的方法是dpkg安装，目前版本为5.4.0-204，要升级成5.8.5版本下载下载网站：https://kernel.ubuntu.com/mainline/ 在该网站下载deb包，选择自己想要升级的版本，这里是5…...

编程日记 2025/6/4 8:32:10

关于AWS网络架构的思考

目录： AWS概述 EMR Serverless AWS VPC及其网络关于AWS网络架构的思考在AWS K8S中部署的业务，有不同的流量路径。流量进入客户端请求普通的客户端流量流向从前到后是: 客户端公司网关(endpoint)业务的Endpoint ServiceLoad Balancers(监听80和…...

编程日记 2025/6/3 21:42:58

Pandas库的常用内容归纳

Pandas 是一个强大的 Python 数据分析库，提供了大量用于数据处理和分析的功能。以下是一些 Pandas 库中常用的功能： 数据创建和操作 Series 和 DataFrame：创建一维的 Series 和二维的 DataFrame 对象。数据导入：从 CSV、Excel、…...

编程日记 2025/5/29 23:32:21

【错误解决方案记录】spine3.8.75导出的数据使用unity-spine3.8插件解析失败报错的解决方案

报错信息 Exception: Unsupported skeleton data, please export with a newer version of Spine. Spine.SkeletonBinary.ReadSkeletonData (System.IO.Stream file) (at Assets/Spine/Runtime/spine-csharp/SkeletonBinary.cs:132) Spine.Unity.Editor.AssetUtility.AddRequi…...

编程日记 2025/6/3 2:31:38

文章目录

1 SQLite

1.1 世界上最流行的数据库

1.1 SQLite简介

相关文章：