当前位置：首页 > news >正文

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.4 异构数据源整合（CSV/JSON/Excel数据导入）

news 来源：原创 2025/8/23 3:14:32

👉 点击关注不迷路
👉 点击关注不迷路
👉 点击关注不迷路

文章大纲

PostgreSQL异构数据源整合：CSV/JSON/Excel数据导入全攻略
- 4.4 异构数据源整合：多格式数据导入实战
- - 4.4.1 CSV数据导入：高效批量处理
  - - 4.4.1.1 核心工具对比
    - 4.4.1.2 `COPY`命令深度解析
    - 4.4.1.3 性能优化技巧
  - 4.4.2 JSON数据导入：结构化与非结构化融合
  - - 4.4.2.1 数据类型选择
    - 4.4.2.2 嵌套JSON解析示例
    - 4.4.2.3 批量导入工具链
  - 4.4.3 Excel数据导入：跨平台兼容方案
  - - 4.4.3.1 转换流程架构
    - 4.4.3.2 工具对比与选型
    - 4.4.3.3 Python实战案例
    - 4.4.3.4 企业级方案：ODBC驱动配置
  - 4.4.4 数据清洗前置处理
  - - 4.4.4.1 通用清洗规则
    - 4.4.4.2 自动化校验脚本
  - 4.4.5 性能对比与最佳实践
  - - 4.4.5.1 导入速度测试（10GB数据）
    - 4.4.5.2 企业级实施路线图
  - 4.4.6 行业案例：电商数据整合实战
  - - 4.4.6.1 业务场景
    - 4.4.6.2 技术方案
    - 4.4.6.3 关键代码
  - 4.4.7 扩展工具与生态集成
  - - 4.4.7.1 数据集成工具对比
    - 4.4.7.2 自定义函数扩展
  - 4.4.8 总结与最佳实践
  - - 4.4.8.1 技术选型决策树
    - 4.4.8.2 实施 checklist

PostgreSQL异构数据源整合：CSV/JSON/Excel数据导入全攻略

4.4 异构数据源整合：多格式数据导入实战

在数据清洗与预处理阶段，异构数据源整合是核心挑战之一。

PostgreSQL作为企业级关系型数据库，提供了完善的工具链支持CSV、JSON、Excel等多种格式数据的高效导入。
本节将通过具体案例，解析不同数据源的导入技术、最佳实践及性能优化策略。

在这里插入图片描述

4.4.1 CSV数据导入：高效批量处理

4.4.1.1 核心工具对比

工具	适用场景	优势	语法复杂度	权限要求
`COPY`	`本地大规模数据`	内核级速度，支持事务	★★☆☆☆	数据库超级用户
`psql \copy`	本地/远程交互	客户端直接操作，灵活方便	★★★☆☆	客户端权限
`pgloader`	跨数据库迁移	`支持复杂转换逻辑`	★★★★☆	自定义脚本

4.4.1.2 `COPY`命令深度解析

-- 基础语法（带标题行的CSV）
COPY employee_salary (name, salary, hire_date)
FROM '/data/employees.csv' 
DELIMITER ',' 
HEADER 
CSV 
QUOTE '"' 
NULL AS '';-- 数据类型自动映射规则
CREATE TABLE temp_employees (name TEXT,salary NUMERIC,hire_date DATE
);-- 错误处理（跳过非法行）
COPY temp_employees
FROM '/data/employees.csv' 
WITH (FORMAT CSV, HEADER, NULL '', LOG ERRORS INTO error_log);

output.csv 文件内容

name,salary,hire_date
张***,5329.92,2020-01-01
李***,5607.62,2020-02-15
王***,5124.42,2020-03-20
赵***,6507.68,2020-04-10
孙***,6271.28,2020-05-25
周***,7607.81,2020-06-05
吴***,7854.19,2020-07-18
郑***,5662.26,2020-08-30
王***,7275.19,2020-09-12
李***,7011.63,2020-10-22

csv文件编码格式转换（GBK）

import csvdef convert_csv_encoding(input_file, output_file):try:# 以 UTF-8 编码读取 CSV 文件with open(input_file, 'r', encoding='utf-8', newline='') as infile:reader = csv.reader(infile)rows = list(reader)# 以 GBK 编码写入新的 CSV 文件with open(output_file, 'w', encoding='gbk', newline='') as outfile:writer = csv.writer(outfile)for row in rows:writer.writerow(row)print(f"文件 {input_file} 已成功转换为 GBK 编码并保存为 {output_file}。")except FileNotFoundError:print(f"错误：未找到文件 {input_file}。")except UnicodeEncodeError:print("错误：在转换为 GBK 编码时遇到无法编码的字符。")except Exception as e:print(f"发生未知错误：{e}")# 使用示例
input_file = r'..\employee_salary.csv'
output_file = 'output.csv'
convert_csv_encoding(input_file, output_file)

4.4.1.3 性能优化技巧

1. 批量提交：设置COPY批量大小为10000行
1. 禁用索引：导入前删除索引，完成后重建

压缩处理：直接导入.gz格式文件（需PostgreSQL 11+）

gunzip -c employees.csv.gz | psql -h localhost -d yanxishuzhi -c "COPY employee_salary FROM STDIN WITH CSV HEADER"

4.4.2 JSON数据导入：结构化与非结构化融合

4.4.2.1 数据类型选择

数据类型	存储方式	索引支持	查询性能	适用场景
JSON	文本存储	仅全文搜索	低	日志类非结构化数据
`JSONB`	`二进制存储`	`GIN / GIST索引`	高	`需频繁查询的JSON数据`

4.4.2.2 嵌套JSON解析示例

-- 原始数据（sales_record.json）
{"order_id": 1001,"customer": {"name": "张三","address": {"city": "北京","postcode": "100080"}},"items": [{ "product": "笔记本", "price": 5999 },{ "product": "鼠标", "price": 99 }]
}-- 压缩格式
{"order_id":1001,"customer":{"name":"张三","address":{"city":"北京","postcode":"100080"}},"items":[{"product":"笔记本","price":5999},{"product":"鼠标","price":99}]}

-- 创建JSONB表
CREATE TABLE orders (id SERIAL PRIMARY KEY,data JSONB
);-- 导入单个JSON文件
COPY orders (data) FROM '/data/sales_record.json';-- 解析嵌套字段
SELECT data->>'order_id' AS order_id,(data->'customer'->>'name') AS customer_name,jsonb_array_length(data->'items') AS item_count
FROM orders;-- 索引优化
CREATE INDEX idx_orders_customer ON orders USING GIN (data->'customer');

4.4.2.3 批量导入工具链

jq 工具
- 一个轻量级且灵活的强大的命令行 JSON 处理器，可用于解析、过滤、转换和格式化 JSON 数据。
- 在处理 JSON 数组时，jq 可以实现很多实用的预处理操作。
- 其主要功能如下：
  - 1. 数据筛选提取：提取特定字段，过滤数组元素。
  - 1. 格式化美化：让 JSON 数据更易读。
  - 1. 数据转换操作：重命名字段、转换数据类型、操作字符串。
  - 1. 数学运算：支持基本运算和统计计算。
  - 1. 条件分支：用 if-then-else 实现条件判断。
  - 1. 处理嵌套对象：深入嵌套结构提取或修改数据。
  - 1. 数组操作：扁平化数组、映射数组元素。
  - 1. 合并比较对象：合并多个对象，进行对象比较。
  - 1. 自定义函数：用户可定义函数复用逻辑。
  - 1. 流式处理：高效处理大规模 JSON 数据。
```
# 使用jq预处理JSON数组
jq -c '.[]' large_data.json > normalized_data.json# 并行导入（pg_jobs插件）
SELECT create_job('COPY orders FROM ''/data/normalized_data.json'' WITH JSONB');
```

4.4.3 Excel数据导入：跨平台兼容方案

4.4.3.1 转换流程架构

在这里插入图片描述

4.4.3.2 工具对比与选型

工具	支持格式	`自动化程度`	`数据类型保留`	学习成本
pandas	.xls/.xlsx	高	`良好`	★★★☆☆
csvkit	.xls	中	一般	★★☆☆☆
ODBC	原生支持	低	`优秀`	★★★★☆

4.4.3.3 Python实战案例

# 使用pandas读取Excel并写入CSV
import pandas as pd
import psycopg2# 读取Excel
df = pd.read_excel('sales_report.xlsx', sheet_name='2023Q1')# 数据清洗
df['sale_date'] = pd.to_datetime(df['sale_date'])
df.dropna(subset=['product_id'], inplace=True)# 写入CSV
df.to_csv('cleaned_sales.csv', index=False, header=True)# 连接PostgreSQL并导入
conn = psycopg2.connect("dbname=mydb user=postgres")
cur = conn.cursor()with open('cleaned_sales.csv', 'r') as f:next(f)  # 跳过标题行cur.copy_from(f, 'sales', sep=',', columns=df.columns)conn.commit()
cur.close()
conn.close()

4.4.3.4 企业级方案：ODBC驱动配置

1. 安装驱动（Windows）：下载PostgreSQL ODBC驱动（psqlODBC）
1. 配置DSN：通过ODBC数据源管理器创建连接
1. Power BI/Excel直连：使用ODBC数据源进行实时数据同步

4.4.4 数据清洗前置处理

4.4.4.1 通用清洗规则

问题类型	CSV处理方案	JSON处理方案	Excel处理方案
数据类型不匹配	`CAST(column AS TYPE)`	`jsonb_typeof()`校验	`pd.to_numeric()`转换
缺失值	`NULL AS ''`参数	`COALESCE(data->>'field', '')`	填充默认值或删除空行
重复数据	`CREATE UNIQUE INDEX`	`jsonb_path_exists()`去重	`df.drop_duplicates()`
特殊字符	`QUOTE '\"' ESCAPE '\\'`	`REPLACE(data::TEXT, E'\x00', '')`	正则表达式清洗

4.4.4.2 自动化校验脚本

-- CSV数据完整性校验
SELECT COUNT(*) FILTER (WHERE salary < 0) AS negative_salary,COUNT(*) FILTER (WHERE hire_date > CURRENT_DATE) AS future_hire_date
FROM employee_salary_staging;-- JSON结构合规性检查
-- 从 orders 表中选择符合条件的记录的 id 列
-- 该查询的目的是找出 orders 表中 JSON 类型的 data 字段不包含 'order_id' 键或者不包含 'customer' 键的记录
SELECT id 
FROM orders 
-- 使用 WHERE 子句筛选满足特定条件的记录
WHERE -- 使用 NOT 和 ? 操作符检查 data 字段是否不包含 'order_id' 键-- 在 PostgreSQL 中，? 操作符用于检查 JSON 或 JSONB 类型的值是否包含指定的键NOT data ? 'order_id' -- 使用 OR 逻辑运算符，意味着只要满足其中一个条件即可OR -- 同样使用 NOT 和 ? 操作符检查 data 字段是否不包含 'customer' 键NOT data ? 'customer';

4.4.5 性能对比与最佳实践

4.4.5.1 导入速度测试（10GB数据）

数据格式	工具	耗时	内存占用	错误率
CSV	`COPY`	23s	1.2GB	0.01%
JSONB	`pgloader`	48s	1.8GB	0.03%
Excel	pandas+COPY	112s	2.5GB	0.05%

4.4.5.2 企业级实施路线图

1. 数据分类：识别敏感字段（如Excel中的身份证号）
1. 格式标准化：统一编码（UTF-8）、日期格式（YYYY-MM-DD）
1. 增量导入：通过时间戳字段实现WHERE update_time > last_import_time
1. 监控报警：设置导入成功率阈值（建议≥99.5%）
1. 灾备方案：定期备份临时表（如employees_staging）

4.4.6 行业案例：电商数据整合实战

4.4.6.1 业务场景

某电商平台需要整合以下数据：

订单数据（CSV，每日100万条）
用户行为日志（JSON，实时流入）
商品目录（Excel，每周更新）

4.4.6.2 技术方案

1. 订单数据：使用COPY命令配合分区表（按月份分区）
1. 日志数据：通过 Kafka 实时消费，解析JSON后写入JSONB表
1. 商品目录：Python脚本定时转换Excel为CSV，校验后导入

4.4.6.3 关键代码

-- 分区表定义
CREATE TABLE orders_202301 (CHECK (order_date >= '2023-01-01' AND order_date < '2023-02-01')
) INHERITS (orders);-- 实时日志处理（PostgreSQL 15+）
CREATE FOREIGN TABLE log_stream (event_time TIMESTAMP,user_id TEXT,event_type TEXT,details JSONB
) SERVER kafka_server
OPTIONS (topic 'user_log', format 'json');

4.4.7 扩展工具与生态集成

4.4.7.1 数据集成工具对比

工具	优势	PostgreSQL兼容性	学习曲线
Apache NiFi	`可视化数据流设计`	原生JDBC支持	★★★★☆
Talend	预定义PostgreSQL组件	深度集成	★★★☆☆
ETL工具	拖拽式操作	ODBC/JDBC驱动	★★☆☆☆

Apache NiFi

Apache NiFi 是一款开源的数据集成与流处理平台，专为自动化、监控和优化复杂数据流而设计，尤其适用于企业级数据管道、实时分析和跨系统数据流动场景。

与其他工具的对比

工具	定位	优势场景	与NiFi的差异
Apache Kafka	消息队列与流处理框架	高吞吐量消息传递、事件驱动架构	`专注于数据传输，缺乏可视化编排能力`
Apache Airflow	工作流调度平台	批处理任务编排、DAG可视化	不支持实时流处理，依赖编程接口
Talend	企业级ETL工具	复杂数据转换、GUI拖拽式开发	`闭源收费，实时处理能力较弱`
jq	`轻量级JSON命令行工具`	单机数据提取与格式化	仅`处理静态文件，无法构建端到端管道`

Talend
- 数据集成与转换
  - 多源连接： 内置 1,000+ 连接器，支持关系型数据库（Oracle、MySQL）、云服务（AWS S3、Azure Blob）、大数据平台（Hadoop、Spark）及企业应用（SAP、Salesforce）。
  - 复杂转换： 提供 300+ 转换组件，包括字段映射、数据聚合、JSON/XML 解析等。例如，将 CSV 格式的客户数据转换为 Parquet 格式并写入 HDFS。
  - 实时处理： 支持 CDC（Change Data Capture）和流批一体处理，可与 Kafka、Flink 集成实现实时数据同步。
- Talend 是数据集成领域的全能型选手，尤其适合需要端到端数据治理和复杂业务逻辑的企业。其可视化开发、数据质量工具和多源支持使其成为构建数据中台和企业级数据管道的首选。对于实时流处理和轻量级场景，可结合 NiFi 或 Kafka 形成互补方案。

4.4.7.2 自定义函数扩展

-- 创建Excel解析函数（需plpythonu扩展）
CREATE OR REPLACE FUNCTION parse_excel(file_path TEXT)
RETURNS SETOF record AS $$
import pandas as pd
df = pd.read_excel(file_path)
for index, row in df.iterrows():yield (row['name'], row['salary'], row['hire_date'])
$$ LANGUAGE plpythonu 
RETURNS NULL ON NULL INPUT
STRICT;-- 使用自定义函数导入
SELECT * FROM parse_excel('/data/employees.xlsx') 
AS (name TEXT, salary NUMERIC, hire_date DATE);

4.4.8 总结与最佳实践

4.4.8.1 技术选型决策树

在这里插入图片描述

4.4.8.2 实施 checklist

1. 确认数据源编码格式（推荐UTF-8）
1. 定义字段映射关系（源字段→目标字段）
1. 制定数据清洗规则（缺失值/异常值处理）
1. 选择合适的导入工具（参考性能测试结果）
1. 实现增量导入逻辑（避免全量重复处理）
1. 配置错误日志记录（便于问题追溯）
1. 进行数据一致性校验（导入前后对比）

通过系统化的异构数据源整合方案

企业能够将分散的CSV、JSON、Excel数据高效汇入PostgreSQL，为后续的数据分析、可视化奠定坚实基础。
在实际操作中，需结合数据特性、业务场景及性能要求选择最优方案，并通过自动化工具链提升整合效率，降低人工干预成本。

【PostgreSQL数据分析实战：从数据清洗到可视化全流程】4.4 异构数据源整合（CSV/JSON/Excel数据导入）

👉 点击关注不迷路 👉 点击关注不迷路 👉 点击关注不迷路文章大纲 PostgreSQL异构数据源整合：CSV/JSON/Excel数据导入全攻略4.4 异构数据源整合：多格式数据导入实战4.4.1 CSV数据导入：高效批量处理4.4.1.1…...

编程日记 2025/8/23 3:14:32

在macOS上安装windows系统

使用Boot Camp 1. 准备工作：确认Mac满足Boot Camp系统要求，准备好Windows安装光盘或ISO映像文件，以及一个至少8GB的空白USB闪存驱动器用于保存驱动程序。 2. 打开Boot Camp助理：在“应用程序”文件夹的“实用工具”中找到“Boot…...

编程日记 2025/8/23 3:12:37

目录 [BM73 最长回文子串](https://www.nowcoder.com/practice/b4525d1d84934cf280439aeecc36f4af?tpId295&tags&title&difficulty0&judgeStatus0&rp0&sourceUrl/exam/oj?questionJobId10&subTabNameonline_coding_page)1. 动态规划(1)状态表示:…...

编程日记 2025/8/23 3:11:51

学习海康VisionMaster之亮度测量

一：进一步学习了今天学习下VisionMaster中的亮度测量：这个和前面学习的都不一样了，这个是测量ROI区域内的平均亮度等 1：什么是亮度测量？ 我们工业上用的相机里面有一个感光芯片（CCD/CMOS）&…...

编程日记 2025/8/20 14:42:35

LeetCode 238：除自身以外数组的乘积（Java实现）

文章目录 **题目描述**解决思路1. 两次遍历法（左右乘积法）2. 核心思想 Java代码实现复杂度分析示例说明步骤分解注意事项总结题目描述给定一个整数数组 nums，返回一个数组 answer，其中 answer[i] 等于 nums 中除 nums[i] 之外…...

编程日记 2025/8/20 18:36:14

LintCode第23题-判断数字与字母字符第145题-大小写转换第283题-三数之中的最大值

思路: 直接使用包装类的方法来判断比如: isLetter(char c)判断是否是字母（包括大小写、非英语字母也行） isDigit(char c)判断是否是数字（0~9） isLetterOrDigit(char c)是否是字母或数字（等价于 isLetter isLower…...

编程日记 2025/8/20 12:17:03

Visual Studio 项目转Qt项目

1. 先确保qmake 和 minGW （g） 路径都在系统变量内；或者通过WinR -> cmd 来检测， 如果能够显示qmake 的信息 ， g 的信息 ， 就说明设置环境变量成功。 2. 打开项目文件夹，在这里打开cmd, 换…...

编程日记 2025/8/20 16:03:53

判断字符是否唯一 --- 位运算

目录一：题目二：算法与原理三：代码分析一：题目题目链接：面试题 01.01. 判定字符是否唯一 - 力扣（LeetCode） 二：算法与原理三：代码分析 class Solution { publ…...

编程日记 2025/8/23 3:10:47

react路由使用方法

react路由常用方法一、router安装与基础路由二、路由跳转三、路由参数四、路由嵌套无论是小程序端、web端还是移动端前端开发都需要使用到路由组件，学会了路由之后便可以灵活开发各种交互页面。可以说路由在前端开发中占有非常重要的位置。在React中，路由使用方式和Vue比较相…...

编程日记 2025/8/20 16:03:50

Wannier90文件与参数

Wannier90源码https://github.com/wannier-developers/wannier90/releases/tag/v3.1.0 用法 Wannier90 可以以两种模式运行： 后处理模式 Post-processing mode：从文件中读取第一性原理代码计算得到的重叠和投影。我们预计这是使用 wannier90 最常见的…...

编程日记 2025/8/20 16:03:48

学习黑客Nmap 原理

练气期第一重 — 神识探查术（Nmap 原理） 场景设定诸位道友（学生）刚踏入信息安全修真界，手中只有一柄“网路灵剑”（本地终端）。想要探知远处服务器的灵脉（端口）、功法&am…...

编程日记 2025/8/20 16:03:47

VBA信息获取与处理专题五:VBA利用CDO发送电子邮件

《VBA信息获取与处理》教程(版权10178984)是我推出第六套教程，目前已经是第一版修订了。这套教程定位于最高级，是学完初级，中级后的教程。这部教程给大家讲解的内容有：跨应用程序信息获得、随机信息的利用、电子邮件的发送、VBA互…...

编程日记 2025/8/20 8:40:54

Git 第一讲---基础篇 git基础概念与操作

前言： Git，作为目前全球最流行的分布式版本控制系统，以其高效、灵活和强大的分支管理能力，成为开发者手中不可或缺的工具。从个人开源项目到企业级应用，Git的身影无处不在。然而，对初学者而言，…...

编程日记 2025/8/22 17:02:26

心衰生物标志物NT-ProBNP和BNP

B型利钠肽（BNP）和N末端B型利钠肽原（NT-proBNP）都属于利尿钠肽（NP）家族。当发生心衰时，NT-ProBNP和BNP的浓度会升高，它们是心衰（HF）和心功能障碍诊疗中应用最广…...

编程日记 2025/8/19 22:11:27

Winform（11.案例讲解1）

今天写两个案例，用于更好的理解控件的使用在写之前先写一个类 using System; using System.Collections.Generic; using System.Linq; using System.Text; using System.Threading.Tasks; namespace _1.案例讲解 { internal class Student { public string …...

编程日记 2025/8/21 23:09:34

卡尔曼滤波详解

1. 卡尔曼滤波能解决什么问题？ 卡尔曼滤波用于解决含噪声的动态系统状态估计问题，例如： 通过GPS和IMU数据估计车辆位置通过电压电流测量估计电池电量(SOC) 雷达追踪飞行器轨迹它的核心优势是： 递归计算：只需前一…...

编程日记 2025/8/23 3:10:46

数据类型：String

String目录 SetGetMsetMgetIncrIncrbySubstrGetrangeSetrange String是字符串类型， redis给我们提供了String类型的value， 但是内部的实现一共有三种： int、embstr、raw； 三种的不同之处在于当value长度较小的时候使用embstr和int…...

编程日记 2025/8/20 16:03:40

【C/C++】inline关键词

C inline 关键字学习笔记一、什么是 inline 函数？ inline（内联）是 C 中的一个关键字，表示“将函数的代码直接插入到调用点”，以减少函数调用开销，提升执行效率。 ✅ 注意：inline 是一种“请求…...

编程日记 2025/8/20 18:36:12

Hive安装与配置教程

Hive安装与配置教程 1. 环境准备 1.1 系统要求 Java 8或更高版本Hadoop 2.x或更高版本MySQL或其他关系型数据库（用于存储元数据） 1.2 安装依赖 # 安装Java sudo apt update sudo apt install openjdk-8-jdk# 安装MySQL sudo apt install mysql-serv…...

编程日记 2025/8/23 3:14:32

C++负载均衡远程调用学习之获取主机信息功能

目录 01Lars-lbAgentV0.2-赋值均衡数据结构关系分析 02 Lars-lbAgent0.2-host_info-load_balance-route_lb数据结构的定义 03Lars-lbAgentV0.2-proto协议的定义 04 Lars-lbAgentV0.2-route_lb与UDP server的关联 05 -Lars-lbAgentV0.2-route_lb与UDP server的关联 06Lars…...

编程日记 2025/8/20 8:06:14

C++ 适配器模式详解

适配器模式（Adapter Pattern）是一种结构型设计模式，它允许不兼容的接口之间能够协同工作。概念解析适配器模式的核心思想是： 接口转换：将一个类的接口转换成客户希望的另一个接口兼容性：使原本由于接…...

编程日记 2025/8/22 3:05:40

2025.5.5总结

今日感悟：这假期就这样结束了，玩了一次滑板，打扫了一次租房，出去逛了一次街，看完了一本书，追了一部剧。既没有家人，也没有能一同畅饮的同学，更没有对象，显得确实有些孤独…...

编程日记 2025/8/21 20:57:12

数据链路层（MAC 地址）

目录一、前言： 二、以太网： 三、MAC 地址的作用： 四、ARP协议： 一、前言： 数据链路层主要负责相邻两个节点之间的数据传输，其中，最常见数据链路层的协议有以太网（通过光纤 / 网…...

编程日记 2025/8/19 21:13:10

kotlin 05flow -从 LiveData 迁移到 Kotlin Flow 完整教程

一从 LiveData 迁移到 Kotlin Flow 完整教程 LiveData 长期以来是 Android 架构组件中状态管理的核心，但随着 Kotlin Flow 的成熟，Google 官方推荐将现有 LiveData 迁移到 Flow。本教程基于官方文章并扩展实践细节，完成平滑迁移。一、为什…...

编程日记 2025/8/20 18:36:00

PostgreSQL 的 pg_ls_waldir 函数

PostgreSQL 的 pg_ls_waldir 函数 pg_ls_waldir 是 PostgreSQL 中用于列出预写式日志(WAL)目录内容的重要函数，特别适用于 WAL 文件管理和数据库恢复场景。一、函数基本说明语法 pg_ls_waldir() RETURNS SETOF text功能返回 WAL 目录中所有文件的名称集合在…...

编程日记 2025/8/20 1:47:47

形式化数学——Lean求值表达式

作为学习 Lean 的程序员，最重要的是理解求值的工作原理。求值是求得表达式的值的过程，就像算术那样。例如，15 - 6 的值为 9，2 (3 1) 的值为 8。要得到后一个表达式的值，首先将 3 1 替换为 4，得到 2 4&…...

编程日记 2025/8/22 22:15:11

杰理-AC696音箱linein无法插入检测

杰理-AC696音箱linein无法插入检测阻值选用1k，原公版原理图上68k,导致内部上拉电压一直不能掉下来，软件一直无法检测到。...

编程日记 2025/8/23 2:30:07

zst-2001 历年真题程序设计语言

程序设计语言1 b 程序设计语言2 c 程序设计语言3 a 程序设计语言4 b中解释语言可以用高级语言编写 c优化 d反了 a 程序设计语言5 c 程序设计语言6 重复就是循环 b 程序设计语言7 a 程序设计语言8 c就是malloc，动态扩展数组，和类型没什…...

编程日记 2025/8/20 18:35:51

VirtualBox调整虚拟机内存和CPU

当我们配置的虚拟机内存或CPU不足以支撑开发需要时，需要及时调整内存和CPU大小。调整前如果虚拟机在运行，需要先关机。下面的步骤是居于VirtualBox 6.1版本，不同版本的操作界面会有些许差异。 1.选中要调整的虚拟机，点击设置 2…...

编程日记 2025/8/20 18:35:49

SpringMVC框架详解与实践指南

文章目录一、三层架构与MVC模型1. 三层架构2. MVC模型二、SpringMVC入门案例1. 环境搭建2. 核心配置3. 编写Controller 三、执行流程与组件分析四、RequestMapping注解五、请求参数绑定1. 基本类型与对象绑定2. 嵌套对象与集合绑定六、中文乱码解决方案(前端传到后端)1. Str…...

编程日记 2025/8/20 18:35:47

C语言 ——— 函数

目录函数是什么库函数学习使用 strcpy 库函数自定义函数写一个函数能找出两个整数中的最大值写一个函数交换两个整型变量的内容牛刀小试写一个函数判断一个整数是否是素数写一个函数判断某一年是否是闰年写一个函数，实现一个整型有序数组的二分…...

编程日记 2025/8/20 18:35:45

洛谷 P9007 [入门赛 #9] 最澄澈的空与海 (Hard Version)

这道题可不入门。 [Problem Discription] \color{blue}{\texttt{[Problem Discription]}} [Problem Discription] 给定 n n n，求有多少组 ( x , y , z ) (x,y,z) (x,y,z) 满足： x − y z n ! x-\dfrac{y}{z}n! x−zyn! x − y z n ! n \dfrac{x-y…...

编程日记 2025/8/20 18:35:43

Java基础学完，继续深耕（0505）Linux 常用命令

昨天休息了一天，没有写csdn 昨天和今天把Linux大概学了一下。总结一下常用命令，总结的不全。 Linux目录结构 / 是所有目录的顶点目录结构像一颗倒挂的树注意：/itheima 是绝对路径，是指根目录 / 下的itheima目录 itheima…...

编程日记 2025/8/20 18:35:41

详解 FFMPEG 交叉编译 `FLAGS` 和 `INCLUDES` 的作用

FLAGS 和 INCLUDES这两行是 Android NDK 编译时的编译器选项，用于控制代码生成、优化、调试、安全性和头文件搜索路径。下面逐项详解： 1. FLAGS 详解（编译器选项） FLAGS 定义了传递给 C/C 编译器（如 clang 或 gcc&…...

编程日记 2025/8/19 19:59:28

DGI数据治理框架的最佳实践

以下是针对DGI数据治理框架的最佳实践推荐，结合其核心理念与实际应用场景，帮助组织高效落地数据治理，释放数据价值。一、组织架构与角色分工最佳实践1：建立清晰的数据治理委员会 • 实践要点： • 由高层领导&#…...

编程日记 2025/8/20 18:35:37

C++类与对象深度解析：从基础到应用

目录： 1. 类的基本概念与定义1.1 类的定义与访问限定符1.2 实例化与对象内存布局1.3 this指针 2.类的默认成员函数2.1 构造函数与析构函数详解构造函数析构函数 2.2 拷贝构造函数2.3 赋值运算符重载运算符重载 3. 初始化列表4.类型转换5. 静态成员6.友元和内部类6.1…...

编程日记 2025/8/20 18:35:34

JGQ611Ⅱ数据采集电除雾器实验装置

JGQ611Ⅱ数据采集电除雾器实验装置一.实验目的 1.掌握电除雾器的结构特征与工作原理。 2.测定风压、风速、电压、电流板间距等因素对酸雾去除效率的影响。 3.测定电除雾器的工作效率。二.技术指标 1.电场电压：0～20KV（可调）。 2.…...

编程日记 2025/8/20 18:35:32

如何判断cgroup的版本？

在 Linux 系统中，判断当前使用的 cgroup 版本（v1 还是 v2）可以通过以下几种方法： 方法一：查看挂载点（最直接） mount | grep cgroup输出分析 cgroups v1：存在多个以 cgroup 开头的…...

编程日记 2025/8/20 18:35:30

基于 Spark 和 Hadoop 的空气质量数据分析与预测系统

基于 Spark 和 Hadoop 的空气质量数据分析与预测系统文章目录基于 Spark 和 Hadoop 的空气质量数据分析与预测系统引言项目目标技术栈数据来源系统核心功能1. 用户认证与管理2. 数据总览3. 空气质量分析4. 词云图5. AQI 预测项目结构预览关键代码分享1. Flask 主文件&#x…...

编程日记 2025/8/22 15:31:09

qt csv文件写操作

实例1： QStringList header; header << "1" << "2"; QStringList footer; footer << "Here is a footer"; QStringList strList; strList << "one" << "two" <&l…...

编程日记 2025/8/20 16:20:00

Java 反射

反射反射的概述获取class对象的三种方式代码实现 package myreflect1;public class MyReflectDemo1 {public static void main(String[] args) throws ClassNotFoundException {//1.第一种方式//全类名：包名类名//最为常用Class clazz1 Class.forName("…...

编程日记 2025/8/22 5:44:51

Spring-使用Java的方式配置Spring

目录前言一、使用Java配置Spring 前言使用纯Java的配置方式，在SpringBoot中随处可见，是必须要学习的一、使用Java配置Spring 配置Spring有多种方式，我们现在要完全不使用Spring的xml配置了，全权交给Java来做！ J…...

编程日记 2025/8/20 18:35:22

cudaMalloc函数说明

cudaMalloc函数说明 cudaError_t cudaMalloc(void** devPtr, size_t size);参数说明 devPtr (输出参数): 类型为 void**，即指向指针的指针。函数执行成功后，*devPtr 将被赋值为 GPU 内存的起始地址。例如：若分配一个 float 数组，需…...

编程日记 2025/8/22 13:49:52