当前位置：首页 > news >正文

duckdb导出Excel和导出CSV速度测试

news 来源：原创 2025/5/9 17:34:48

运行duckdb数据库

D:>duckdb
v1.2.0 5f5512b827
Enter “.help” for usage hints.
Connected to a transient in-memory database.
Use “.open FILENAME” to reopen on a persistent database.

生成模拟数据，10个列，100万行数据；

-- 步骤1：创建生成模拟数据的视图
CREATE OR REPLACE VIEW test_data_view AS
SELECT -- 生成自增IDCAST(generate_series AS INTEGER) AS id,-- 随机字符串（3个大写字母）(CHR((RANDOM() * 26 + 65)::INTEGER) || CHR((RANDOM() * 26 + 65)::INTEGER) || CHR((RANDOM() * 26 + 65)::INTEGER)) AS code,-- 可变长度文本（5-10字符）SUBSTRING(REPLACE(RANDOM()::STRING, '0.', '') || REPLACE(RANDOM()::STRING, '0.', ''),1, 5 + (RANDOM() * 5)::INTEGER) AS dynamic_text,-- 数值类型ROUND(RANDOM() * 1000, 2) AS price,         -- 带2位小数的数值(RANDOM() * 10000)::INTEGER AS quantity,    -- 整数库存量RANDOM()::BOOLEAN AS is_available,          -- 布尔值-- 日期时间类型DATE '2024-01-01' AS fixed_date,            -- 固定日期CURRENT_TIMESTAMP AT TIME ZONE 'UTC' AS utc_created,  -- 当前UTC时间-- 组合类型MAP(ARRAY['A', 'B', 'C'], ARRAY[RANDOM(), RANDOM(), RANDOM()]) AS attributes,-- 生成范围约束数值（0-100）LEAST(GREATEST(RANDOM() * 120, 0), 100) AS constrained_valueFROM GENERATE_SERIES(1, 10000000);  -- 生成100万行测试数据

查看一下视图，发现实时随机生成100万行数据要3秒

在这里插入图片描述

所以又建一个t1表，复制这100万行数据

CREATE table t1 as select * from main.test_data_view;

基于T1表进行测试excel导出，这样估计是最快的

1万行，用时0.4秒

5万行，用时2秒

10万行，用时4秒

20万行，用时8秒

100万行，用时35秒

D INSTALL excel;
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 33.381 user 13.625000 sys 0.093750
D LOAD excel;
Run Time (s): real 0.077 user 0.015625 sys 0.000000
D COPY t1 TO 'D:\100w.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 34.868 user 26.968750 sys 0.062500
D COPY (SELECT * FROM t1 limit 10000 ) TO 'D:\test1w.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
Run Time (s): real 0.386 user 0.640625 sys 0.000000
D COPY (SELECT * FROM t1 limit 50000 ) TO 'D:\test5w.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
Run Time (s): real 1.825 user 1.390625 sys 0.015625
D COPY (SELECT * FROM t1 limit 100000 ) TO 'D:\test10w.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 3.793 user 2.875000 sys 0.031250
D COPY (SELECT * FROM t1 limit 200000 ) TO 'D:\test20w.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 7.815 user 12.984375 sys 0.031250
D COPY (SELECT * FROM t1 limit 500000 ) TO 'D:\test50w.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 18.385 user 14.921875 sys 0.062500
D COPY (SELECT * FROM t1 limit 1000000 ) TO 'D:\test100w.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 36.913 user 58.718750 sys 0.218750
D COPY t1 TO 'D:\test100w_2.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 34.845 user 29.859375 sys 0.062500

在这里插入图片描述

导出CSV速度

1万行，0.05秒

10万行，0.4秒

50万行，1.2秒

100万行，3.2秒

D COPY (SELECT * FROM t1 limit   10000) TO 'D:\test1w.csv' (FORMAT CSV, HEADER);
Run Time (s): real 0.046 user 0.015625 sys 0.000000
D COPY (SELECT * FROM t1 limit  100000) TO 'D:\test10w.csv' (FORMAT CSV, HEADER);
Run Time (s): real 0.382 user 0.265625 sys 0.000000
D COPY (SELECT * FROM t1 limit  500000) TO 'D:\test50w.csv' (FORMAT CSV, HEADER);
Run Time (s): real 1.183 user 1.187500 sys 0.015625
D COPY (SELECT * FROM t1 limit 1000000) TO 'D:\test100w.csv' (FORMAT CSV, HEADER);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 3.156 user 2.015625 sys 0.312500

在这里插入图片描述

最后也证明了猜测，从视图实时生成100万随机数据，再导出Excel差3秒，导出csv只差1.5秒

D select count(*) from test_data_view;
┌────────────────┐
│  count_star()  │
│     int64      │
├────────────────┤
│    1000000     │
│ (1.00 million) │
└────────────────┘
Run Time (s): real 0.007 user 0.000000 sys 0.000000
D COPY test_data_view TO 'D:\test100w_view.xlsx' WITH (FORMAT XLSX, HEADER TRUE);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 37.115 user 27.640625 sys 0.093750
D COPY test_data_view TO 'D:\test100w_view.csv' (FORMAT CSV, HEADER);
100% ▕████████████████████████████████████████████████████████████▏
Run Time (s): real 4.641 user 3.656250 sys 0.140625

在这里插入图片描述

duckdb导出Excel和导出CSV速度测试

运行duckdb数据库 D:>duckdb v1.2.0 5f5512b827 Enter “.help” for usage hints. Connected to a transient in-memory database. Use “.open FILENAME” to reopen on a persistent database. 生成模拟数据，10个列，100万行数据； --…...

编程日记 2025/5/9 17:34:48

pt-＞onnx-＞rknn(量化) step by step FAQ

文档修订中... 1.pt->onnx 这个转换是在yolov11的docker环境做的转换。非常简单。 #!/usr/bin/env python3 # -*- coding: utf-8 -*- # 获取当前脚本文件所在目录的父目录，并构建相对路径 import os import sys current_dir os.path.dirname(os.path.abspath…...

编程日记 2025/5/8 0:20:12

Apollo 9.0 速度动态规划决策算法 – path time heuristic optimizer

文章目录 1. 动态规划2. 采样3. 代价函数3.1 障碍物代价3.2 距离终点代价3.3 速度代价3.4 加速度代价3.5 jerk代价 4. 回溯这一章将来讲解速度决策算法，也就是SPEED_HEURISTIC_OPTIMIZER task里面的内容。Apollo 9.0使用动态规划算法进行速度决策，从类名…...

编程日记 2025/5/10 5:16:33

利用AI智能体创建云端文档知识库并集成第三方数据源（上）

许多开发者在管理和集成多种云端的数据源时经常面对各种各样的困难，所以希望能够构建一个聊天机器人来协调这些数据源，针对业务问题并提供全面的答案。本文介绍了一种解决方案，帮助大家开发一个能够从文档和数据库中回答查询的聊天机器人&…...

编程日记 2025/5/9 17:36:49

Cursor AI开发微信小程序教程

1. 准备工作在开始开发之前，需要完成以下准备工作： 1.1 安装微信开发者工具前往微信开发者工具官网下载并安装适合操作系统的开发者工具。注册微信小程序账号，登录微信公众平台（https://mp.weixin.qq.com）&#…...

编程日记 2025/5/4 11:21:54

2025常用的SEO工具有哪些？

在互联网时代，如何让自己的网站或内容脱颖而出，成为许多企业和个人站长们最关注的问题。而在这个过程中，SEO（搜索引擎优化）作为一种有效的提升网站曝光度和吸引流量的手段，已经成为了网站运营的核心之一。对…...

编程日记 2025/5/10 4:44:50

支持直接升级到21c的 Oracle 数据库版本

一、支持直接升级的版本可以从以下版本直接升级到新版本： • 19c (所有版本) • 18c (所有版本) • 12c Release 2 (12.2) 升级到最新Oracle数据库版本必须采用的路径取决于当前数据库的版本号。如果当前的Oracle数据库版本早于12.2 版，则无法直接将…...

编程日记 2025/5/8 15:31:09

线程池-抢票系统性能优化

文章目录引言-购票系统线程池购票系统-线程池优化池化 vs 未池化引言-购票系统 public class App implements Runnable {private static int tickets 100;private static int users 10000;private final ReentrantLock lock new ReentrantLock(true);public void run() …...

编程日记 2025/5/10 5:09:20

回顾Golang的Channel与Select第一篇

深入解析Golang Channel与Select：并发编程的艺术与哲学一、通信顺序进程（CSP）的Go实现 Go语言创始人Rob Pike将CSP理论具象化为channel原语，实现了"不要通过共享内存来通信，而要通过通信来共享内存"的哲学…...

编程日记 2025/5/8 22:11:00

乐理笔记（持续更新）

单音与音程单音：由一个音组成。音程：由两个音组成，表示两个音之间的音高距离。如何数音程： 单音程：9 - X，性质相反。例如，9度音程减去某个数，性质会相反。复音程&#xff1a…...

编程日记 2025/5/9 14:58:27

FastExcel + Java：打造高效灵活的Excel数据导入导出解决方案

作者：后端小肥肠 🍇 我写过的文章中的相关代码放到了gitee，地址：xfc-fdw-cloud: 公共解决方案 🍊 有疑问可私信或评论区联系我。 🥑 创作不易未经允许严禁转载。姊妹篇： 基于AOP的数据字典实现…...

编程日记 2025/5/5 2:43:06

【数据结构入门】一、数组

一、数组的概念数组：一种由相同类型的数据元素组成的基本数据类型，为引用类型二、数据的顺序这里很奇怪，讲了一个寻址函数，就是怎样用坐标求该元素的内存地址。说实话我不知道求这个能干什么，但是感觉还挺好玩的…...

编程日记 2025/5/8 8:39:13

编码格式大全解释以及相关编码特性

目录说明: 1. Base64 Base64编码的字符集通常包括： Base64的工作原理： Base64编码在安全渗透中的应用场景常见的Base64编码绕过场景如何防范Base64绕过攻击 2. URL编码（Percent Encoding） URL编码与安全渗透的关系示…...

编程日记 2025/5/9 14:25:59

正则表达式（Regular expresssion）

正则表达式匹配单次 . ：匹配任意一个字符 [ ] ：匹配[ ]里举例的任意一个字符 /d ：匹配数字0-9 /D ：匹配非数字 /s ：匹配空白或tab建 /S ：匹配非空白 /w ：…...

编程日记 2025/5/10 4:39:47

JavaScript 发起网络请求 axios、fetch、async / await

目录 fetch 发送 GET 请求（fetch） 发送 POST 请求（fetch） 处理后台异常响应 async / await async await 发送 GET 请求（async / await fetch） 发送 POST 请求（async / await fetch&…...

编程日记 2025/5/10 5:23:28

安装OpenJDK21(linux、macos)

文章目录安装OpenJDK21java21linux下安装配置mac下安装安装OpenJDK21 java21 封神！Java 21正式发布了，迎来了史诗级新特性，堪称版本最强！！！ 视频链接：https://www.bilibili.com/video/BV1E8…...

编程日记 2025/5/7 20:54:17

Java面试宝典：说下Spring Bean的生命周期？

Java面试宝典专栏范围：JAVA基础，面向对象编程（OOP），异常处理，集合框架，Java I/O，多线程编程，设计模式，网络编程，框架和工具等全方位面试题详解每…...

编程日记 2025/5/6 20:40:57

k8s向容器内传文件与下载文件

1、下载： kubectl cp <namespace>/<pod-name>:<container-path> <local-path>示例： kubectl cp mynamespace/mypod:/tmp/testfile.txt ./testfile.txt如果 Pod 中有多个容器，可以通过 -c 标志指定容器: kubectl c…...

编程日记 2025/5/6 17:48:04

A4988一款带转换器和过流保护的 DMOS 微步驱动器的使用方式

A4988是一款带转换器和过流保护的 DMOS 微步驱动器，用于驱动双极步进电动机。它支持全、半、1/4、1/8 及 1/16 步进模式，输出驱动性能可达 35 V 及 2 A。其特点包括简单的步进和方向控制接口、可调电位器调节最大电流输出、自动电流衰减模式检测/选择以及…...

编程日记 2025/5/7 9:46:59

Elasticsearch+Logstash+Kibana可视化集群部署

文章目录 1.组件介绍简述2.集群规划3.Es组件部署4.Logstash组件部署5.Kibana组件部署6.Kibana的基础使用 1.组件介绍简述 Elasticsearch：开源实时分布式搜索和分析引擎，支持大规模数据存储和高吞吐量，提供丰富的搜索功能和可扩展性。 Logsta…...

编程日记 2025/5/6 10:03:29

数据结构之二叉树

数据结构之二叉树数据结构之二叉树1. 什么是二叉树？2. 基本概念3. 二叉树的基本形态4. 二叉树的性质5. 特殊二叉树6. 二叉树的存储7. 二叉树的遍历7.1 前序遍历7.2 中序遍历7.3 后序遍历7.4 层次遍历 8. 应用场景9. 实例代码9.1 示例树结构9.2 输出结果数据结构之…...

编程日记 2025/5/4 7:05:36

华为云+硅基流动使用Chatbox接入DeepSeek-R1满血版671B

华为云硅基流动使用Chatbox接入DeepSeek-R1满血版671B 硅基流动 1.1 注册登录 1.2 实名认证 1.3 创建API密钥 1.4 客户端工具 OllamaChatboxCherry StudioAnythingLLM 资源包下载： AI聊天本地客户端接入Chatbox客户端点击设置选择SiliconFloW API 粘贴1.3创…...

编程日记 2025/5/7 7:30:53

《图解设计模式》笔记（十）用类来表现

二十二、Command模式：命令也是类一个类调用某方法，虽然调用结果会反映在对象的状态中，但不会留下工作的历史记录。若有一个类表示“请进行这项工作”的“命令”，每一项想做的工作就不再是“方法的调用”这种动态处理了，而是一个表示命令的类的实例，即可以用“物”来表…...

编程日记 2025/5/7 9:07:10

Scrapy：任务队列底层设计详解

Scrapy 中队列设计详解 1. 概述 Scrapy 的队列系统是其调度器（Scheduler）的核心组件之一，负责存储和管理待抓取的请求。Scrapy 实现了两种类型的队列： 内存队列：请求存储在内存中，重启后数据丢失磁盘队列…...

编程日记 2025/5/9 6:28:42

zola + github page,用 workflows 部署

之前的Zola都是本地build之后，再push到github上，这种方式很明显的弊端就是只能在本地编辑，而不能通过github编辑，再pull到本地，缺乏了灵活性。因此将zola用workflows来部署。 repo地址：https://github.com/…...

编程日记 2025/5/6 5:25:07

pytest测试专题 - 1.2 如何获得美观的测试报告

<< 返回目录 1 pytest测试专题 - 1.2 如何获得美观的测试报告 1.1 背景虽然pytest命令的报文很详细，用例在执行调试时还算比较方便阅读和提取失败信息， 但对于大量测试用例运行时，可能会存在以下不足报文被冲掉测试日志没法归档 …...

编程日记 2025/5/6 22:45:12

关闭浏览器安全dns解决访问速度慢的问题

谷歌浏览器加载速度突然变慢了？检查安全DNS功能(DoH)是否被默认开启。谷歌浏览器在去年已经推出安全DNS功能(即DoH) , 启用此功能后可以通过加密的DNS增强网络连接安全性。例如查询请求被加密后网络运营商将无法嗅探用户访问的地址，因此对于增强用户的…...

编程日记 2025/5/5 3:29:08

今日AI和商界事件(2025-02-14)

今日AI大事件主要包括以下几个方面： 一、苹果新品预告事件概述：苹果CEO蒂姆库克在社交媒体发布7秒视频，配文“准备好迎接家庭的新成员”，并宣布2月19日将有新品发布。知名科技记者马克古尔曼称，新款低端iPhone SE将…...

编程日记 2025/5/6 14:11:08

【黑马点评优化】1-使用JWT登录认证+redis实现自动续期

1-使用JWT登录认证redis实现自动续期 0 前言1 原先的redis实现登录鉴权2 JWT登录认证Redis自动续期2.1 认证（identification）授权 （authorization）和鉴权（Authorization）2.1.1 认证（identificat…...

编程日记 2025/5/3 20:29:38

一个让Stable Diffusion更稳定、更易用的Github开源项目

2023除了ChatGPT大火，Stable Diffusion同样也是非常火热，Stable Diffusion是一个Github开源项目，很多爱好者都会本地安装，但面对一些初学者来说，在安装、配置和使用过程中还是会经常出现很多问题，特别不了解…...

编程日记 2025/5/3 6:02:42

Mac之JDK安装

Mac之JDK安装一.安装 jdk 打开终端输入命令:java -version 查看是否已安装 JDK Oracle 官方下载地址根据自己Mac 系统安装查看 Mac 系统，打开中断命令，输入: uname -a Compressed Archive 是压缩文档，下载的是一个 .tar.gz 压缩包 D…...

编程日记 2025/5/6 15:08:48

深入Flask：如何优雅地处理HTTP请求与响应

哈喽，大家好，我是木头左！本文将带你深入了解如何在Flask中优雅地处理HTTP请求和响应，让你的应用更加高效、安全和用户友好。创建一个简单的Flask应用让从创建一个最简单的Flask应用开始： from flask import Flaskapp = Flask(__name__)@app.route(/) def...

编程日记 2025/5/9 12:46:12

kron积计算mask类别矩阵

文章目录 1. 生成类别矩阵如下2. pytorch 代码3. 循环移动矩阵 1. 生成类别矩阵如下 2. pytorch 代码 import torch import torch.nn as nn import torch.nn.functional as Ftorch.set_printoptions(precision3, sci_modeFalse)if __name__ "__main__":run_code 0…...

编程日记 2025/5/4 4:25:12

Redis实现消息队列

什么是消息列队。消息队列是一种应用间的异步协作机制，同时消息队列中间件是分布式系统中重要的组件，主要解决应用耦合，异步消息，流量削峰等问题。实现高性能，高可用，可伸缩和最终一致性架构。市面上的 M…...

编程日记 2025/5/6 10:04:05

vue+springboot+webtrc+websocket实现双人音视频通话会议

前言最近一些时间我有研究，如何实现一个视频会议功能，但是找了好多资料都不太理想，最终参考了一个文章 WebRTC实现双端音视频聊天（Vue3 SpringBoot） 只不过，它的实现效果里面只会播放本地的mp4视频文件&…...

编程日记 2025/5/4 2:07:50

【免费送书活动】《MySQL 9从入门到性能优化（视频教学版）》

本博主免费赠送读者3本书，书名为《MySQL 9从入门到性能优化（视频教学版）》。《MySQL 9从入门到性能优化（视频教学版）（数据库技术丛书）》(王英英)【摘要书评试读】- 京东图书这本书已经公开…...

编程日记 2025/5/3 2:51:15

【设计模式】【行为型模式】命令模式（Command）

👋hi，我不是一名外包公司的员工，也不会偷吃茶水间的零食，我的梦想是能写高端CRUD 🔥 2025本人正在沉淀中… 博客更新速度 👍 欢迎点赞、收藏、关注，跟上我的更新节奏 🎵 当你的天空突…...

编程日记 2025/5/7 21:25:28

1.14学习总结

日常刷题单刷了题目后，对于排序方法更加熟练，手搓代码的速度也得到了提高。感觉字符串还不熟练，高精度更是云里雾里，上升空间极大。同时看见今晚有个入门难度的测试，去练了练手，想看看自己是什么成分&…...

编程日记 2025/5/6 14:14:14

QxOrm生成json

下载Qxorm-1.5版本使用vs打开项目，直接生成即可： lib目录中会生成dll和lib文件新建Qt项目使用Qxorm: 将QxOrm中上面三个目录拷贝到新建的Qt项目中 pro文件添加使用QxOrm第三方库 INCLUDEPATH $$PWD/include/ LIBS -L"$$PWD/lib" LIBS…...

编程日记 2025/5/5 20:55:58

伯克利 CS61A 课堂笔记 09 —— Data Abstraction

本系列为加州伯克利大学著名 Python 基础课程 CS61A 的课堂笔记整理，全英文内容，文末附词汇解释。目录 01 Data Abstraction 数据抽象 Ⅰ Rational Numbers Ⅱ Rational Number Arithmetic 02 Pairs 对 Ⅰ Representing Pairs Using Lists Ⅱ Re…...

编程日记 2025/5/5 1:04:54

高频 SQL 50 题（基础版）

高频 SQL 50 题（基础版） 查询连接聚合函数排序和分组高级查询和连接子查询高级字符串函数 / 正则表达式 / 子句查询链接: link 链接: link 链接: link 链接: link 链接: link 连接链接: 高频 SQL 50 题基础版_1378. 使用唯一标识码替换员工ID 链接…...

编程日记 2025/5/8 22:55:44

HtmlRAG：RAG系统中，HTML比纯文本效果更好

HtmlRAG 方法通过使用 HTML 而不是纯文本来增强 RAG 系统中的知识表示能力。通过 HTML 清洗和两步块树修剪方法，在保持关键信息的同时缩短了 HTML 文档的长度。这种方法优于现有基于纯文本的RAG的性能。方法其实主要看下围绕html提纯思路，将提纯后的…...

编程日记 2025/5/8 10:42:37

python学opencv|读取图像（六十二）使用cv2.morphologyEx()形态学函数实现图像梯度处理

【1】引言前序已经学习了腐蚀和膨胀的单独作用函数，还研究了按照不同顺序调用腐蚀和膨胀函数调整图像效果，相关文章包括且不限于： python学opencv|读取图像（六十一）先后使用cv2.dilate()函数和cv2.erode()函数实现图…...

编程日记 2025/5/5 17:18:50

10G EPON光模块

一、10G EPON对称光模块工作模式：上行突发接收、下行连续发射。工作原理：当需要发送信号时，系统信号通过光模块的电接口把信号传送到驱动芯片，芯片处理后，驱动激光器发出调制光信号，经光纤发到远端&…...

编程日记 2025/5/7 4:00:35

RocketMQ与kafka如何解决消息丢失问题？

0 前言消息丢失基本是分布式MQ中需要解决问题，消息丢失时保证数据可靠性的范畴。如何保证消息不丢失程序员面试中几乎不可避免的问题。本文主要说明RocketMQ和Kafka在解决消息丢失问题时，在生产者、Broker和消费者之间如何解决消息丢失问题。 1.Rocket…...

编程日记 2025/5/9 13:17:05

每日Attention学习23——KAN-Block

模块出处 [SPL 25] [link] [code] KAN See In the Dark 模块名称 Kolmogorov-Arnold Network Block (KAN-Block) 模块作用用于vision的KAN结构模块结构模块代码 import torch import torch.nn as nn import torch.nn.functional as F import mathclass Swish(nn.Module)…...

编程日记 2025/5/9 13:23:17

【前端】ES6新特性汇总

本文作者： slience_me ES6新特性汇总 1. let声明变量 1）let作用域 // var 声明的变量往往会越域 // let 声明的变量有严格的局部作用域 {var a 1;let b 2; } console.log(a); // 1 console.log(b); // 报错 b is not defined2）声明次数 …...

编程日记 2025/5/9 12:45:49