当前位置：首页 > news >正文

mysql-大批量插入数据的三种方式和使用场景

news 来源：原创 2025/8/5 7:27:53

1.批量插入三种方式

INSERT INTO … SELECT
INSERT INTO … VALUES (…)
LOAD DATA INFILE ‘/path/to/datafile.csv’ INTO TABLE table_name

2.批量插入

2.1 INSERT INTO … SELECT

用途：从另一个表中选择数据并插入到目标表中。
语法示例：

INSERT INTO target_table (column1, column2)
SELECT column1, column2 FROM source_table WHERE condition;

性能特点：

非常适合批量数据复制或迁移任务。
可以一次性处理大量数据，减少了客户端与服务器之间的通信次数。
在某些情况下，MySQL可以在服务器内部优化整个操作，避免不必要的数据传输。
如果SELECT查询本身很复杂（如涉及多个JOIN、子查询等），则可能会影响整体性能。

2.2 INSERT INTO … VALUES (…)

用途：直接插入明确指定的数据值。
语法示例：

INSERT INTO table_name (column1, column/XMLSchema)
VALUES (value1, value2);

性能特点：

对于少量数据插入非常高效。
因为值是预先知道的，所以数据库可以优化这个操作。
当需要插入大量独立的行时，可能需要多次调用该语句，这会导致较高的网络延迟和事务开销。

2.3 LOAD DATA INFILE [path] INTO TABLE table_name

用途：如果数据已经在服务器上作为一个文件存在，或者可以通过网络传输到服务器上，那么使用LOAD DATA INFILE通常是最快的方法之一。
语法示例：

LOAD DATA INFILE '/path/to/datafile.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n';

优点：
相比其他方法，LOAD DATA INFILE通常要快得多，因为它直接读取文件内容并加载到表中，绕过了标准的SQL解析器。
支持多种格式化选项来匹配输入文件结构。
缺点：
需要确保文件位于服务器本地或通过安全的方式传输至服务器。
可能需要调整MySQL的安全设置以允许LOAD DATA LOCAL INFILE。

3. LOAD DATA INFILE基本语法解释

基本语法解释

LOAD DATA INFILE '/path/to/datafile.csv': 指定要导入的数据文件的位置。请注意，这里的路径是相对于服务器端的文件系统路径。
INTO TABLE table_name: 指定要将数据导入的目标表。
FIELDS TERMINATED BY ',': 定义字段之间的分隔符。在这个例子中，字段是以逗号 , 分隔的。
LINES TERMINATED BY '\n': 定义行之间的终止符。这里每一行以换行符 \n 结束。

进一步的配置选项
根据你的具体需求，可能还需要对命令进行一些额外的配置：
忽略某些行：
IGNORE 1 LINES; 是 LOAD DATA INFILE 命令中的一个选项，用于指示 MySQL 在导入数据时跳过文件的前几行
如果 CSV 文件包含标题行，可以使用 IGNORE number LINES 来跳过这些行。

LOAD DATA INFILE '/path/to/datafile.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n'
IGNORE 1 LINES;

指定列映射：
如果 CSV 文件中的列顺序与目标表不匹配，或者你想只导入部分列，可以指定列名(column1, column2, column3);：

LOAD DATA INFILE '/path/to/datafile.csv'
INTO TABLE table_name
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n'
(column1, column2, column3);

处理字符编码：CHARACTER SET utf8mb4
如果你的文件不是 UTF-8 编码，可以指定字符集：

LOAD DATA INFILE '/path/to/datafile.csv'
INTO TABLE table_name
CHARACTER SET utf8mb4
FIELDS TERMINATED BY ',' 
LINES TERMINATED BY '\n';

mysql-大批量插入数据的三种方式和使用场景

1.批量插入三种方式 INSERT INTO … SELECTINSERT INTO … VALUES (…)LOAD DATA INFILE ‘/path/to/datafile.csv’ INTO TABLE table_name 2.批量插入 2.1 INSERT INTO … SELECT 用途：从另一个表中选择数据并插入到目标表中。语法示例： INSERT …...

编程日记 2025/8/5 7:27:53

创建自己的github.io

1、创建GitHub账号 GitHub地址：https://github.com/ 点击Sign up创建账号如果已创建，点击Sign in登录 2、创建仓库假设Owner为username，则Repository name为username.github.io说明： 1、Owner为用户名 2、Repository name为仓…...

编程日记 2025/8/5 7:25:42

Oracle 常用语法汇总

系列文章目录本文对Oracle 常用的语法进行汇总文章目录系列文章目录一、Oracle 表&表字段操作：1.1 DDL语句(数据定义语言)Create、Alter、Drop、Truncate：1.1.1 建表：建表：注释COMMENT :表中字段的约束：表中字…...

编程日记 2025/8/1 12:52:40

java小白日记38（集合-List）

List接口基本介绍 List接口是collection接口的子接口 （1）List集合类中元素有序（即添加顺序和取出顺序一致）、且可以重复 （2）List集合中的每个元素都有其对应的顺序索引，即支持索引 &#xf…...

编程日记 2025/8/5 7:22:01

高能ISP模块功能说明

先看一些常见缩写： BPS：Bayer processing segment CPP：Camera post processor DE：Detailed enhancement EIS：Electronic image stabilization IFE：Image front-end engine IPE：Image-proc…...

编程日记 2025/8/3 16:47:45

单臂路由实验

单臂路由实验文章目录单臂路由实验单臂路由简介工作原理优点与缺点应用场景实验拓扑实验需求：实验步骤：1.PC 配置 IP 地址2.PC3 属于 Vlan10，PC4 属于 Vlan20，配置单臂路由实现 Vlan10 和 Vlan20 三层互通2.1.在 SW2 上创建 Vl…...

编程日记 2025/7/29 8:50:06

SpringMVC全局异常处理机制

异常处理机制异常处理的两种方式： 编程式异常处理：是指在代码中显式地编写处理异常的逻辑。它通常涉及到对异常类型的检测及其处理，例如使用 try-catch 块来捕获异常，然后在 catch 块中编写特定的处理代码，或者在 f…...

编程日记 2025/8/5 7:23:52

UDS诊断、ECU刷写、自动化测试、车联网测试、DTC故障注入测试、坏境测试、可靠性测试、压力测试、性能测试等

每日直播时间：（直播方式：腾讯会议） 周一到周五：20：00-23：00 周六与周日：9：00-17：00 向进腾讯会议学习的，可以关注我并后台留言直播内容&#xff…...

编程日记 2025/8/3 10:39:20

C++的常用容器嵌套

在 C 中，数据结构之间的嵌套是非常常见的，尤其是在处理复杂数据时。以下是几种最常用的数据结构嵌套方式及其典型应用场景的总结： 1. std::vector 嵌套 std::vector 定义：std::vector<std::vector<T>>。用途&#xf…...

编程日记 2025/8/4 9:03:53

Mac - Cursor 配置 + GPT 4.0/4.5/o1/o3/Deepseek Api 使用

前言新换了电脑，所以需要新配置一些环境。已经安装好了Goland，但近期可能有GoJava前端的需求，所以使用Cursor。除去学校各种奇奇怪怪，这已经是一年多来配置的第4台Windows和第四台Mac的Golang环境了。。。且是自己工作外买的第…...

编程日记 2025/8/1 13:47:48

【数据挖掘】Python基础环境安装配置

【数据挖掘】Python基础环境安装配置一、摘要二、安装Python3.13.2三、安装Jupyter Notebook四、安装Numpy和Pandas以及matplotlib五、安装scikit-learn库和seaborn库一、摘要本文主要介绍如何在Windows上安装Python3.13.2，然后基于该Python版本安装Jupyter not…...

编程日记 2025/8/3 1:37:03

详解string类+迭代器

迭代器概念：在 C 中，迭代器是访问容器（如数组、列表、向量、字符串等）元素的一种方式。迭代器提供了一种统一的接口，使得你可以使用相同的代码来遍历不同类型的容器。迭代器本质上是一个指针或者指针的封装&#xff0…...

编程日记 2025/8/2 16:51:06

OpenCV DNN 模块使用指南

OpenCV DNN 模块使用指南一、模块概述 OpenCV 的 DNN（深度神经网络）模块为开发者提供了强大的深度学习功能，能够加载并运行多种格式的预训练深度学习模型。此模块广泛应用于图像分类、目标检测、语义分割等众多计算机视觉任务。接下来&…...

编程日记 2025/8/2 13:41:25

温度（Temperature）在大模型输出中的作用与底层原理

温度（Temperature）在大模型输出中的作用与底层原理在深度学习领域，尤其是自然语言处理（NLP）中，大型语言模型（LLM）的输出生成通常依赖于概率分布的采样。温度（temperatu…...

编程日记 2025/8/1 13:07:13

智能汽车图像及视频处理方案，支持视频智能拍摄能力

美摄科技，作为智能汽车图像及视频处理领域的先行者，凭借其卓越的技术实力和前瞻性的设计理念，为全球智能汽车制造商带来了一场视觉盛宴的革新。我们自豪地推出——美摄科技智能汽车图像及视频处理方案，一个集高效性、智能化、画质…...

编程日记 2025/7/31 22:06:31

一文讲清 C++ CRTP（Curiously Recurring Template Pattern，奇异递归模板模式）

CRTP是 C 中的一种模板元编程技术，其核心原理是通过模板继承和静态多态，在编译期实现基类对派生类成员的访问，从而避免运行时虚函数调用的开销。 1. CRTP 的基本结构 CRTP 的核心思想是：基类是一个模板类，其模板参数…...

编程日记 2025/7/31 10:48:45

如何用Function Calling解锁OpenAI的「真实世界」交互能力？（附Node.js 实战）

一、Function Calling：大模型的「手脚延伸器」 1.1 核心定义 Function Calling是OpenAI在2023年6月13日推出的革命性功能（对应模型版本gpt-3.5-turbo-0613和gpt-4-0613），允许开发者通过自然语言指令触发预定义函数，实…...

编程日记 2025/7/31 8:35:46

MySQL：float，decimal（1）

会四舍五入无符号浮点数更改321zyy1下的salary 为float类型 decimal:...

编程日记 2025/7/27 21:12:30

基于DrissionPage的DY无水印视频采集

基于DrissionPage的Dy无水印视频采集技术解析目录一、项目背景与痛点分析 1.1 典型应用场景1.2 传统方案痛点对比1.3 需求分析流程图二、系统架构设计 2.1 核心架构图2.2 执行流程图解三、开发环境配置 3.1 版本要求3.2 环境搭建指南四、实现流程详解 4.1 主要处理阶段4.2 关…...

编程日记 2025/7/30 7:56:01

yt-dlp工具下载视频使用方法

使用 yt-dlp 下载有土播视频时，可以很容易地同时下载字幕文件。下面是详细操作说明： 一、下载视频并同时下载字幕： 基础命令： yt-dlp --write-subs 视频链接示例： yt-dlp --write-subs https://www.youdubo.com/wa…...

编程日记 2025/8/1 23:34:05

canvas数据标注功能简单实现：矩形、圆形

背景说明基于UI同学的设计，在市面上找不到刚刚好的数据标注工具，遂决定自行开发。目前需求是实现图片的矩形、圆形标注，并获取标注的坐标信息，使用canvas可以比较方便的实现该功能。主要功能选中图形，进行拖动使…...

编程日记 2025/7/31 16:45:53

Linux与HTTP报头属性和请求方式

HTTP报头属性、请求方式本篇介绍在上一节深入HTTP序列化和反序列化已经详细讲解了HTTP是如何进行序列化和反序列化的，但是上一节对请求报头和响应报头的具体内容并没有做出具体的说明，本节就会基于这个问题继续探讨HttpServer；另外在介绍…...

编程日记 2025/8/4 21:54:57

WordPress漏洞

一，后台修改模板拿WebShell 1，安装好靶场后访问 2，在如图所示的位置选择一个php文件写入一句话木马，我们这里选择在404.php中写入 3，访问404.php 二，上传主题拿WebShell 1，找到如图所示的页面…...

编程日记 2025/7/16 21:24:02

go命令使用

查看配置信息 go env配置go国内源 export GO111MODULEon export GOPROXYhttps://goproxy.cn测试 go install github.com/jesseduffield/lazydockerlatesthttps://github.com/jesseduffield/lazydocker...

编程日记 2025/7/19 5:21:22

使用uniapp的onLoad等生命周期 // 需要引入 import { onLoad , onShow } from dcloudio/uni-app; // 箭头函数 onLoad(()>{//内容 })使用vue生命周期 vue官方文档：https://cn.vuejs.org/api/options-lifecycle.html import { ref,onMounted } from vue; onMou…...

编程日记 2025/8/4 8:43:59

nginx vue history模式 try_files

server {listen 80;server_name localhost chat.test.com;#配置根目录location / {root /temp/test;#index index.html index.htm;try_files $uri $uri/ /index.html;add_header Content-Security-Policy upgrade-insecure-requests;}} https://blog.csdn.net/xutongbao/…...

编程日记 2025/8/5 1:18:10

【css酷炫效果】纯CSS实现悬浮弹性按钮

【css酷炫效果】纯CSS实现悬浮弹性按钮缘创作背景html结构css样式完整代码效果图想直接拿走的老板，链接放在这里：https://download.csdn.net/download/u011561335/90492020 缘创作随缘，不定时更新。创作背景刚看到csdn出活动了&…...

编程日记 2025/7/31 3:59:53

MySQL自动化配置工具开发：探索如何用脚本实现MySQL一键安装与配置，提升运维效率

引言 MySQL作为最流行的开源关系型数据库之一，广泛应用于各类业务场景。然而，手动安装和配置MySQL不仅耗时，还容易出错。为了提高运维效率，开发一款MySQL自动化配置工具显得尤为重要。本文将探索如何通过脚本实现MySQL的一键安装与配置，并提供具体的配置脚本文档和关键参…...

编程日记 2025/8/4 11:08:19

如何查看安卓版本号的方法（例如查看是13、12、11、10...）

开发过程中需要了解到安卓版本号是多少，那么以下有三种方法可以知晓安卓手机的Android版本号。方法1：手机设置直接查看 1.打开【设置】 --> 滑动到手机最底部 --> 点击【关于手机】或【系统】--> 选择【Android版本】 2.直接查看版本号&am…...

编程日记 2025/7/31 17:58:19

ubuntu 解挂载时提示 “umount: /home/xx/Applications/yy: target is busy.”

问题如题所示，我挂载一个squanfs文件系统到指定目录，当我使用完后，准备解挂载时，提示umount: /home/xx/Applications/yy: target is busy.，具体的如图所示， 这种提示通常是表明这个路径的内容正在被某些进…...

编程日记 2025/7/30 22:49:11

Java XML与JSON相互转换详解

目录一、为什么需要XML与JSON转换二、使用Jackson库进行转换1. 添加依赖2. XML转JSON3. JSON转XML三、注意事项在现代软件开发中，数据格式的转换是一项常见的任务，特别是在处理不同系统或服务之间的数据交换时。XML（可扩展标记语言）和JSON（JavaScript对象表示法）是两种广…...

编程日记 2025/8/1 15:13:48

[AI速读]用持续集成（CI）优化芯片验证环境：Jenkins与EDA工具的实战指南

在芯片验证中，回归测试（Regression Test）是确保设计稳定性的关键步骤。但随着设计复杂度增加，手动管理海量测试用例、分析日志和覆盖率数据变得异常耗时。本文将介绍如何利用持续集成（CI）工具Jenkins，结合EDA验证环境（如Cadence vManager），实现自动化测试与结果分析，…...

编程日记 2025/8/2 16:15:20

Java-SpringBootWeb入门、Spring官方脚手架连接不上解决方法

一. Spring 官网：Spring | Home Spring发展到今天已经形成了一种开发生态圈，Spring提供了若干个子项目，每个项目用于完成特定的功能(Spring全家桶) Spring Boot可以帮助我们非常快速的构建应用程序、简化开发、提高效率。二. Spring Boot入…...

编程日记 2025/7/29 1:14:05

WEB攻防-PHP反序列化-字符串逃逸

目录前置知识字符串逃逸-减少字符串逃逸-增多前置知识 1.PHP 在反序列化时，语法是以 ; 作为字段的分隔，以 } 作为结尾，在结束符}之后的任何内容不会影响反序列化的后的结果 class people{ public $namelili; public $age20; } var_du…...

编程日记 2025/8/1 8:22:34

Android第五次面试总结（网络篇）

一、引言：为什么需要 DNS？ 在浏览器输入www.example.com的瞬间，一场跨越全球的数字接力赛悄然启动。DNS（域名系统）如同互联网的 “电话号码簿”，将人类可读的域名转化为机器可识别的 IP 地址。本文将以工程…...

编程日记 2025/7/31 8:57:16

全网首创/纯Qt/C++实现国标GB28181服务/实时视频/云台控制/预置位/录像回放和下载/事件订阅/语音对讲

一、前言说明用纯Qt来实现这个GB28181的想法很久了，具体可以追溯到2014年，一晃十年都过去了，总算是整体的框架和逻辑都打通了，总归还是杂七杂八的事情多，无法静下心来研究具体的协议，最开始初步了解协议后…...

编程日记 2025/8/4 9:06:35

详解MySQL的事务实现机制

MySQL事务实现机制 1. 锁机制2. Redo Log（重做日志）3. Undo Log（撤销日志）4. MVCC（多版本并发控制）综合事务处理流程在MySQL中（主要以InnoDB为例），事务的实现依赖于多个…...

编程日记 2025/8/3 9:44:52

什么是 BA ？BA怎么样？BA和BI是什么关系？

前几天有朋友在评论区提到了BA这个角色，具体是干什么的，我大概来说一下。什么是BA BA 英文的全称是Business Analyst，从字面上意思就是商业分析师，做过商业智能BI项目的应该比较了解。实际上以我个人的经验，BA 的角…...

编程日记 2025/7/28 7:49:47

Junit在测试过程中的使用方式，具体使用在项目测试中的重点说明

JUnit 是一个广泛使用的 Java 单元测试框架，主要用于编写和运行可重复的测试。以下是 JUnit 在项目测试中的使用方式和重点说明： 1. 基本使用场景：测试一个简单的 Java 类。示例： import org.junit.Test; import static org.junit.Assert.*;public class CalculatorTe…...

编程日记 2025/7/29 16:12:34

网络安全之前端学习（HTML篇）

前言：网络安全中有一个漏洞叫xss漏洞，就是利用网页引发弹窗，这就要求我们看得懂源码，所以我会持续更新前端学习，可以不精通，但是一定要会，主要掌握HTML，css，js这三项技术…...

编程日记 2025/8/4 19:38:06

Lineageos 22.1(Android 15)实现负一屏

一、前言方案是参考的这位大佬的，大家可以去付费订阅支持一波。我大概理一下Android15的修改。大佬的方案代码二、Android15适配调整 1.bp调整，加入aidl引入，这样make之后就可以索引代码了 filegroup {name: "launcher-src"…...

编程日记 2025/8/2 16:15:07

Redisson分布式锁(超时释放及锁续期)

🍓 简介：java系列技术分享(👉持续更新中…🔥) 🍓 初衷:一起学习、一起进步、坚持不懈 🍓 如果文章内容有误与您的想法不一致,欢迎大家在评论区指正🙏 🍓 希望这篇文章对你有所帮助,欢…...

编程日记 2025/7/31 1:41:13

SQL授予用户查询某个模式或者具体某个表

例如：需要给sjzt授权查询这个模式下的这个表的操作数据库：DB_HZ_HYZHFZ 模式：hn_proxy 服务注册表：hn_proxy."serverrg" 账号:sjzt -- 登录到目标数据库 DB_HZ_HYZHFZ -- 授予权限给账号 sjzt 在模式 hn_proxy 中访问…...

编程日记 2025/8/5 4:11:47

Burp Suite 代理配置与网络通信

目录 1. 引言 2. Burp 代理基础配置 2.1 浏览器代理设置 2.2 Burp 监听端口配置 2.3 常见错误排查 3. 网络问题解决 3.1 端口占用检查 3.2 防火墙配置 3.3 证书信任问题 4. 虚拟机环境配置 4.1 NAT 模式与端口转发 4.2 桥接模式配置 4.3 跨设备访问测试 5. 技术概…...

编程日记 2025/7/30 17:08:48

PyCharm安装redis，python安装redis，PyCharm使用失败问题

报错信息 Usage: D:\wb2\wbrj_pys\venv\Scripts\python.exe -m pip install [options] [package-index-options] … D:\wb2\wbrj_pys\venv\Scripts\python.exe -m pip install [options] -r [package-index-options] … D:\wb2\wbrj_pys\venv\Scripts\python.exe -m pip instal…...

编程日记 2025/7/29 20:43:47