当前位置：首页 > news >正文

AWS - Redshift - 外部表读取 Parquet 文件中 timestamp 类型的数据

news 来源：原创 2025/9/16 0:40:43

问题：

通过 Redshift Spectrum 功能可以读取 S3 中的文件，当读取 Parquet 文件时，如果列格式设置为 timestamp，通过 psql 客户端读取会出现以下错误：

testdb=# select * from myspectrum_schema_0219.test_ns;
ERROR:  Assert
DETAIL:-----------------------------------------------error:  Assertcode:      1000context:   status == 0 - timestamp: '-3784992261051417264'query:     15121995location:  cg_util.cpp:705process:   padbmaster [pid=1073963104]-----------------------------------------------

通过 Query Editor V2 读取，则显示错误的时间格式：

以下是 CSV 文件，以及通过 python 读取 Parquet 文件的内容：

CSV：

$ more data3.csv
saletime
2024-01-01 01:01:01.000000
2025-01-01 01:01:01.000000
2025-01-02 02:01:01.000000
2025-01-03 03:01:01.000000
2025-01-04 04:01:01.000000
2025-01-04 05:01:01.000000

Parquet：

>>> import pandas as pd
>>> import pyarrow.parquet as pq
>>> parquet_file = 'data3_ns.parquet'
>>> df_read = pd.read_parquet(parquet_file)
>>> print(df_read)saletime
0 2024-01-01 01:01:01
1 2025-01-01 01:01:01
2 2025-01-02 02:01:01
3 2025-01-03 03:01:01
4 2025-01-04 04:01:01
5 2025-01-04 05:01:01

原因：

Redshift 中的时间类型支持到 us，也就是微妙，而 Parquet 文件 timestamp 格式支持的类型为 ns，所以对于时间格式是无法读取，或读取错误。

解决：

在 Parquet 文件设置时间类型时，对值做设置，datetime64[us]，以匹配 Redshift 的时间精度。

以下为CSV生成 Parquet 的代码：

import pandas as pd
import pyarrow.parquet as pq# 读取 CSV 文件
csv_file = 'data3.csv'
df = pd.read_csv(csv_file)# 假设 CSV 文件中有一个时间列 'timestamp'，将其转换为微秒精度
df['saletime'] = pd.to_datetime(df['saletime']).astype('datetime64[us]')# 将 DataFrame 保存为 Parquet 文件
parquet_file = 'data3_us.parquet'
df.to_parquet(parquet_file, engine='pyarrow')# 读取 Parquet 文件以验证
df_read = pd.read_parquet(parquet_file)
print(df_read)saletime
0 2024-01-01 01:01:01
1 2025-01-01 01:01:01
2 2025-01-02 02:01:01
3 2025-01-03 03:01:01
4 2025-01-04 04:01:01
5 2025-01-04 05:01:01

之后创建外部表进行查询，就可以成功匹配到正确的格式。

testdb=# CREATE EXTERNAL TABLE myspectrum_schema_0219.test_us(saletime timestamp)
testdb-# STORED AS parquet
testdb-# LOCATION 's3://XXX/redshiftspectrum/t_0220_p/t_0220_p_us/';
CREATE EXTERNAL TABLEtestdb=# select * from myspectrum_schema_0219.test_us;saletime
---------------------2024-01-01 01:01:012025-01-01 01:01:012025-01-02 02:01:012025-01-03 03:01:012025-01-04 04:01:012025-01-04 05:01:01
(6 rows)

AWS - Redshift - 外部表读取 Parquet 文件中 timestamp 类型的数据

问题： 通过 Redshift Spectrum 功能可以读取 S3 中的文件，当读取 Parquet 文件时，如果列格式设置为 timestamp， 通过 psql 客户端读取会出现以下错误： testdb# select * from myspectrum_schema_0219.test_ns; ERROR…...

编程日记 2025/9/16 0:40:43

H5--开发适配

在 H5 开发中，适配不同设备和屏幕尺寸至关重要，它能确保页面在各种环境下都有良好的显示效果和用户体验。以下介绍几种常见的 H5 开发适配方案： 视口（Viewport）设置视口单位是相对于浏览器视口的尺寸进行度量的单位&…...

编程日记 2025/9/15 20:15:43

llama-factory部署微调方法(wsl-Ubuntu Windows)

llama-factory项目GitHub地址：GitHub - hiyouga/LLaMA-Factory: Unified Efficient Fine-Tuning of 100 LLMs & VLMs (ACL 2024) wsl-Ubuntu： 1.获取项目 git clone https://github.com/hiyouga/LLaMA-Factory.gitcd LLaMA-Factory/ 2.安装环境…...

编程日记 2025/9/16 0:35:36

【Unity】鱼群效果模拟

鱼群效果模拟文章目录鱼群效果模拟Boid算法实现方式version1_CPUversion2_GPUversion3_Multilaterationversion4_Bitonic_Sorting （GPU友好）version5_Skinning （TODO） 细节项优化项参考链接 Boid算法 Boid算法是一种模拟群体行…...

编程日记 2025/9/15 19:13:13

C++ 编程语言简介

C 是一种通用编程语言，它是作为 C 语言的增强而开发的，以包含面向对象的范例。它是一种命令式和编译语言。 C 是一种高级的通用编程语言，专为系统和应用程序编程而设计。它由贝尔实验室的 Bjarne Stroustrup 于 1983 年开发，作为…...

编程日记 2025/9/16 0:34:01

Day15-后端Web实战-登录认证——会话技术JWT令牌过滤器拦截器

目录登录认证1. 登录功能1.1 需求1.2 接口文档1.3 思路分析1.4 功能开发1.5 测试 2. 登录校验2.1 问题分析2.2 会话技术2.2.1 会话技术介绍2.2.2 会话跟踪方案2.2.2.1 方案一 - Cookie2.2.2.2 方案二 - Session2.2.2.3 方案三 - 令牌技术 2.3 JWT令牌2.3.1 介绍2.3.2 生成和校…...

编程日记 2025/9/16 0:39:14

迪威模型：引领 3D 模型轻量化技术革新

在数字化时代，3D 模型的应用领域愈发广泛，从影视制作、游戏开发到工业设计、建筑仿真等，都离不开 3D 模型的支持。然而，随着模型复杂度的不断提高，文件体积也日益庞大，这给存储、传输和加载带来了极大的挑战…...

编程日记 2025/9/10 22:45:02

大学本科教务系统设计方案，涵盖需求分析、架构设计、核心模块和技术实现要点

以下是大学本科教务系统的设计方案，涵盖需求分析、架构设计、核心模块和技术实现要点：大学本科教务系统设计方案一、需求分析 1. 核心用户角色角色功能需求学生选课/退课、成绩查询、课表查看、学分统计、考试报名、学业预警教师成绩录入、课程大纲上传、教学进度管理、…...

编程日记 2025/9/14 17:22:32

安装Liunx（CentOS-6-x86_64）系统

一：下载与安装Liunx（CentOS-7-x86_64） 1.下载： CentOS-6.10-x86_64-bin-DVD1.iso 2.安装： 按照自己的需求来下载的镜像文件地址加载完成后设置查看网络和本地ip 3.配置仓库（用于yum下载&#xff0…...

编程日记 2025/9/15 4:36:11

DeepSeek开源周 Day01：从FlashMLA背后原理回顾KV Cache

FlashMLA 今天DeepSeek开源周第一天，开放了FlashMLA仓库，1小时内星标1.6k！ FlashMLA 是一个高效的 MLA 解码内核，专为 Hopper GPU 优化，适用于可变长度序列。该项目目前发布了 BF16 和具有 64 块大小分页 kvcache 的功…...

编程日记 2025/9/11 0:10:38

java23种设计模式-工厂方法模式

工厂方法模式（Factory Method Pattern）学习笔记 🌟 定义工厂方法模式属于创建型设计模式，定义一个创建对象的接口，但让子类决定实例化哪一个类。将类的实例化操作延迟到子类，是面向对象设计中"开闭…...

编程日记 2025/9/11 20:58:37

数据驱动未来！天合光能与永洪科技携手开启数字化新篇章

在信息化时代的今天，企业间的竞争早就超越了传统产品与服务的范畴，新的核心竞争力即——数据处理能力和信息技术的应用。作为数据技术领域的领军者，永洪科技凭借其深厚的技术积累和丰富的行业经验，成功助力天合光能实现数字化升级…...

编程日记 2025/9/15 11:24:27

【C++设计模式】工厂方法设计模式：深入解析从基础到进阶

1. 引言在软件开发的世界里，设计模式如同巧妙的建筑蓝图，为解决常见问题提供了行之有效的方案。工厂方法模式作为一种广受欢迎的创建型设计模式，以其独特的优势在众多项目中得到广泛应用。它不仅能够为对象的创建提供通用且灵活的方式，还能有效隐藏实现细节，提升代码的可…...

编程日记 2025/9/15 1:14:45

Vue 3 + Vite 项目中配置代理解决开发环境中跨域请求问题

在 Vue 3 Vite 项目中，配置代理是解决开发环境中跨域请求问题的常见方法。通过在 Vite 的配置文件中设置代理，可以将前端请求转发到后端服务器，从而避免浏览器的同源策略限制。 1. 创建 Vue 3 Vite 项目首先，确保你已经安装了…...

编程日记 2025/9/11 18:15:13

2.3 变量

编程日记 2025/9/10 22:46:38

16、Python面试题解析：python中的浅拷贝和深拷贝

在 Python 中，浅拷贝（Shallow Copy） 和深拷贝（Deep Copy） 是处理对象复制的两种重要机制，它们的区别主要体现在对嵌套对象的处理方式上。以下是详细解析： 1. 浅拷贝（Shallow Copy&a…...

编程日记 2025/9/15 17:03:52

BUUCTF-Web方向21-25wp

目录 [HCTF 2018]admin弱口令session伪造 [MRCTF2020]你传你🐎呢[护网杯 2018]easy_tornado[ZJCTF 2019]NiZhuanSiWei[MRCTF2020]Ez_bypass第一层第二层 [HCTF 2018]admin 打开环境，有三处提示，一个跳转链接，一个登录注册&#x…...

编程日记 2025/9/15 0:32:45

elementPlus 中表单验证方法（手机号、正整数、邮箱）

1、手机号验证 <el-form ref"formRef" :model"form" :rules"rule" label-width"100px"><el-form-item label"联系电话" prop"mobile"><el-input type"tel" v-model"form.mobile&q…...

编程日记 2025/9/15 13:52:16

阿里云 ACS：高效、弹性、低成本的容器计算解决方案

阿里云的容器计算服务（Alibaba Cloud Container Service, ACS） 是一种 Serverless 容器计算解决方案，提供高度弹性、低成本、易管理的 Kubernetes（K8s）容器运行环境。用户无需关注底层服务器资源，而是直接…...

编程日记 2025/9/14 18:43:43

启动Redis报错记录

突然启动Redis就报了个错：‘Could not create server TCP listening socket 127.0.0.1:6379: bind: 操作成功完成。‘ 查了下解决方案，应该是6379端口已绑定，服务没有关闭。需要输入命令redis-cli 再输入shutdown 但又出现了新的问题&…...

编程日记 2025/9/14 3:28:40

springBoot统一响应类型2.0版本

前言： 通过实践而发现真理，又通过实践而证实真理和发展真理。从感性认识而能动地发展到理性认识，又从理性认识而能动地指导革命实践，改造主观世界和客观世界。实践、认识、再实践、再认识，这种形式，循环往…...

编程日记 2025/9/14 21:55:28

ubuntu离线安装Ollama并部署Llama3.1 70B INT4

文章目录 1.下载Ollama2. 下载安装Ollama的安装命令文件install.sh3.安装并验证Ollama4.下载所需要的大模型文件4.1 加载.GGUF文件（推荐、更容易）4.2 加载.Safetensors文件（不建议使用） 5.配置大模型文件参考： 1、如…...

编程日记 2025/9/14 22:58:13

Unity游戏制作中的C#基础（4）数组声明和使用

一、数组的声明在 C# 中，声明数组有多种方式，每种方式都有其适用的场景，下面为你逐一详细介绍： 1. 直接初始化声明这种方式直观且便捷，在声明数组的同时就为其赋初值，让数组从诞生之初就拥有了具体的数据…...

编程日记 2025/9/15 14:59:10

自定义SpringBoot Starter

✅自定义SpringBoot Starter SpringBoot 的 starter 可以帮我们简化配置，非常的方便，定义起来其实也不复杂，我的项目中定义了很多 starter，比如business-job就是一个 stater，以他为例，介绍下如何定义 star…...

编程日记 2025/9/14 11:29:29

电脑经常绿屏（蓝屏）怎么办（解决方法）？

一、排查系统与驱动问题进入安全模式修复系统强制重启电脑 3 次触发恢复环境，选择疑难解答 > 高级选项 > 启动设置 > 重启，按 F5 或 5 进入带网络连接的安全模式3。在安全模式下，尝试卸载最近安装的软件或更新，尤其…...

编程日记 2025/9/11 7:47:42

IO/网络IO基础全览

目录 IO基础CPU与外设1. 程序控制IO（轮询）2. 中断中断相关知识中断分类中断处理过程中断隐指令 3. DMA（Direct Memory Access） 缓冲区用户空间和内核空间IO操作的拷贝概念传统IO操作的4次拷贝减少一个CPU拷贝的mmap内存映射文件(m…...

编程日记 2025/9/15 9:56:36

DPVS-5: 后端服务监控原理与测试

后端监控原理被动监测 DPVS自带了被动监控，通过监控后端服务对外部请求的响应情况，判断服务器是否可用。 DPVS的被动监测，并不能获取后端服务器的详细情况，仅仅通过丢包/拒绝情况来发觉后端服务是否可用。 TCP session state…...

编程日记 2025/9/10 18:55:10

前端基础知识

1. 变量和常量 1.1 变量 // 变量let name Jacklet age 20name lisiage 18 1.2 常量 // 常量const PI 3.14// PI 3.1415926 // error，常量不可重新赋值const articleList []const user {name: vue3,age: 10} 1.3 const 声明的数组和对象因为数组和对象在…...

编程日记 2025/9/10 14:49:24

从零到一学习c++（基础篇--筑基期十一-类）

从零到一学习C（基础篇） 作者：羡鱼肘子温馨提示1：本篇是记录我的学习经历，会有不少片面的认知，万分期待您的指正。温馨提示2：本篇会尽量用更加通俗的语言介绍c的基础，用通俗的语言去…...

编程日记 2025/9/13 21:38:26

Linux 第三次脚本作业

源码编译安装httpd 2.4，提供系统服务管理脚本并测试（建议两种方法实现） 一、第一种方法 1、把 httpd-2.4.63.tar.gz 这个安装包上传到你的试验机上 2、安装编译工具 (俺之前已经装好了） 3、解压httpd包 4、解压后的httpd包的文…...

编程日记 2025/9/12 4:09:22

C#与AI的交互（以DeepSeek为例）

C#与ai的交互与AI的交互使用的Http请求的方式，通过发送请求，服务器响应ai生成的文本下面是完整的代码，我这里使用的是Ollama本地部署的deepseek，在联网调用api时，则url会有不同 public class OllamaRequester {[Se…...

编程日记 2025/9/8 11:32:41

Sky Hackathon 清水湾的水 AI美食助手

这里写自定义目录标题视频视频 video...

编程日记 2025/9/12 7:10:41

基于SpringBoot的校园消费点评管理系统

作者：计算机学姐开发技术：SpringBoot、SSM、Vue、MySQL、JSP、ElementUI、Python、小程序等，“文末源码”。专栏推荐：前后端分离项目源码、SpringBoot项目源码、Vue项目源码、SSM项目源码、微信小程序源码精品专栏：…...

编程日记 2025/9/15 10:55:04

企业财务数据分析-投资回报指标ROA

上一篇文章主要介绍了关于投资回报的核心指标ROE，其实还有一个比较关键的指标资产回报率指标（ROA），资产收益率是用来衡量企业盈利能力的重要财务分析指标。资产收益率越高，说明企业资产的利用效率越高，利用…...

编程日记 2025/9/12 3:29:43

PostgreSQL 支持字段类型

PostgreSQL 支持多种字段类型，以下是常见的主要类别和具体类型的简要概述： 数值类型 SMALLINT：2字节整数，范围 -32768 到 32767 INTEGER：4字节整数，范围 -2147483648 到 2147483647 BIGINT：8字节…...

编程日记 2025/9/9 16:03:15

Deepseek引爆AI热潮防静电地板如何守护数据中心安全

近期，Deepseek的爆火将人工智能推向了新的高度，也引发了人们对AI背后基础设施的关注。作为AI运行的“大脑”，数据中心承载着海量数据的存储、处理和传输，其安全稳定运行至关重要。而在这背后，防静电地板扮演着不可或缺…...

编程日记 2025/9/15 19:58:04

【ARM】MDK如何生成指定大小的bin文件，并指定空区域的填充数据

1、文档目标解决MDK如何生成指定大小的bin文件，并指定空区域的填充数据 2、问题场景客户有这样的需求，客户本身的工程编译生成bin文件后，bin文件大小为200k。整体芯片的内存有512k。客户想要最终生成的bin文件可以达到512k的一个情况&a…...

编程日记 2025/9/13 14:48:29

开源基准测试模拟器：BlueROV2 水下机器人的控制

拜读An Open-Source Benchmark Simulator: Control of a BlueROV2 Underwater Robot 非常感谢Esben Uth的帮助。本文介绍了在 Simulink™ 中实现的常用且低成本的遥控潜水器 （ROV） BlueROV2 的仿真模型环境，该环境已针对水下航行器的基准控…...

编程日记 2025/9/13 22:50:14

Nginx 请求超时

Nginx 请求超时详解在现代 Web 服务中，Nginx 作为一个高效的 Web 服务器和反向代理服务器，广泛应用于处理大量的 HTTP 请求。随着 Web 应用和服务的复杂性增加，Nginx 在处理客户端请求时，可能会出现超时问题。请求超时是指当客户…...

编程日记 2025/9/11 13:08:50

2022 年学习 Spring Boot 开发的最佳书籍

在我们之前的文章中，我们查看了学习 Java 编程的必读书籍我们在其中探索了一些您可以利用的资源来加快 Java 开发的速度。在此基础上，在用 vanilla Java 编写一段时间后，您将意识到组织文件和其他内容（例如设置 getter 和 setter、…...

编程日记 2025/9/15 7:26:40

JavaScript 前端面试 5（）

十：new操作符 1：new操作符是什么在JavaScript中new操作符是用于创建一个给定构造函数的实例对象 function Person(name,age){ this.name name; this.age age; } Person.protoype.sayName function (){ console,log(this.name) } cost person1 new…...

编程日记 2025/9/9 15:09:59

【Jenkins】显示 HTML 标签

需求在 Jenkins 中显示 HTML 标签内容（例如格式化的文本、颜色、图标等）是一个常见的需求，如下，编译工程显示当前编译的分支： 但 Jenkins 默认会出于安全考虑（防止 XSS 攻击）转义 HTML 标签&a…...

编程日记 2025/9/15 10:36:14

DeepSeek R1模型提示语技巧：如何高效引导AI生成优质内容

文章目录明确任务目标提供上下文使用结构化提示指定输出格式控制输出长度调整语气和风格提供示例迭代优化提示语避免歧义结合多轮对话总结 DeepSeek R1是一款基于大规模语言模型的AI工具，能够生成高质量的自然语言内容。为了充分发挥其潜力，用户需要掌握…...

编程日记 2025/9/14 2:51:35

UE5从入门到精通之多人游戏编程常用函数

文章目录前言一、权限与身份判断函数1. 服务器/客户端判断2. 网络角色判断二、网络同步与复制函数1. 变量同步2. RPC调用三、连接与会话管理函数1. 玩家连接控制2. 网络模式判断四、实用工具函数前言 UE5给我们提供了非常强大的多人网路系统，让我们可以很方便的开发多人游戏…...

编程日记 2025/9/15 12:51:54

NGINX配置TCP负载均衡

前言之前本人做项目需要用到nginx的tcp负载均衡，这里是当时配置做的笔记；欢迎收藏关注，本人将会持续更新文章目录配置Nginx的负载均衡配置Nginx的负载均衡 nginx编译安装需要先安装pcre、openssl、zlib等库，也可以直接编译…...

编程日记 2025/9/11 21:20:36

PyTorch torch.logsumexp 详解：数学原理、应用场景与性能优化（中英双语）

PyTorch torch.logsumexp 详解：数学原理、应用场景与性能优化在深度学习和概率模型中，我们经常需要计算数值稳定的对数概率操作，特别是在处理 softmax 归一化、对数似然计算、损失函数优化等任务时，直接求和再取对数可能会导致…...

编程日记 2025/9/13 12:12:34

【多模态大模型】端侧语音大模型minicpm-o：手机上的 GPT-4o 级多模态大模型

MiniCPM-o ，它是一款开源、轻量级的多模态大语言模型，目标是在手机等资源受限的环境中实现 GPT-4o 级别的多模态能力！ 1. MiniCPM-o：小身材，大能量！ MiniCPM-o 的名字已经暗示了它的核心特点：Mini (小巧) 和 CPM (中文预训练模型)，最后的 “o” 则代表 Omnimodal …...

编程日记 2025/9/14 4:20:51

【Java 优选算法】模拟

欢迎关注个人主页：逸狼创造不易，可以点点赞吗~ 如有错误，欢迎指出~ 模拟算法的思路比较简单,根据题目描述列出流程,找出规律,将流程转化为代码替换所有的问号题目链接解法直接根据题目给出条件模拟示例,找出规律 1.先找出字符?,再…...

编程日记 2025/9/14 16:00:12

计算机网络复习

目录 1. 前言 2.五层模型 1.应用层 2 传输层 3.网络层 4. 数据链路层编辑5. 物理层 3.UDP/TCP协议 UDP协议 TCP协议 4. HTTP/HTTPS协议 1. 前言博主目前大四, 备战春招, 复习一下计网, 大家也可以看看我的文章. 共同学习, 如有不足之处欢迎指正. 2.五层模型在计…...

编程日记 2025/9/15 18:48:14

应用层的协议-http/https的状态码

1xx：表示临时响应，需要操作者继续操作 2xx：成功，操作被成功接受并处理 3xx：一般是重定向问题 4xx：客户端的问题 5xx：服务端的问题 1xx： 100: 表示服务器收到客户端的第一部分请…...

编程日记 2025/9/11 17:48:35

问题：

原因：

解决：

相关文章：