当前位置：首页 > news >正文

【Python】 -- python3 读取 aws athena 表数据

news 来源：原创 2025/5/17 17:33:39

1、环境准备

2、安装环境

3、举例查询某张表数据和执行 add partition 操作

3.1、编辑文件 athena_jdbc.py

3.2、查找 JVM 的动态链接库路径

3.3、保存文件，执行以下命令

1、环境准备

oracle jdk 11
centos 8
依赖：pandas、pyathenajdbc 和 sqlalchemy

2、安装环境

$ sudo pip install pandas -y
$ sudo pip install pyathenajdbc -y
$ sudo pip install sqlalchemy -y

3、举例查询某张表数据和执行 add partition 操作

3.1、编辑文件 athena_jdbc.py

import time
from datetime import datetime
import pandas as pd
from pyathenajdbc import connect
from sqlalchemy import create_engine, text# 配置 AWS Athena 的连接参数
aws_access_key_id = "your_aws_access_key_id"
aws_secret_access_key = "your_aws_secret_access_key"
aws_region = "your_region"
s3_output_location = "s3://your-test-bucket/athena_result/"
work_group = "primary""""
获取今天的日期并格式化为 YYYYMMDD 的字符串格式。Returns:str: 格式化后的日期字符串。
"""
def get_formatted_date():today = datetime.today()formatted_date = today.strftime("%Y%m%d")return formatted_date# 获取读取表数据的链接
conn = connect(User='aws_access_key_id',Password='aws_secret_access_key',S3OutputLocation='s3://your-test-bucket/athena_result',AwsRegion='your_region',jvm_path='/usr/lib/jvm/java-11/lib/server/libjvm.so')# 获取执行 ddl 的链接
engine = create_engine(f"awsathena+rest://{aws_access_key_id}:{aws_secret_access_key}@athena.{aws_region}.amazonaws.com:443/"f"default?s3_staging_dir={s3_output_location}&work_group={work_group}"
)"""
生成多张表的 athena 添加分区 SQL。Args:today_time (str): 当前日期，格式为 'yyyyMMdd'。table_names (list): 表名列表。Returns:list: 包含所有表的 athena SQL 语句的列表。
"""
def generate_athena_partition_sqls(data_date, table_names):sql_list = []for table_name in table_names:sql = (f"ALTER TABLE tg_bigdata.{table_name} "f"ADD IF NOT EXISTS PARTITION (data_date=\'{data_date}\') "f"LOCATION \'s3://your-test-bucket//ods/{table_name}/data_date={data_date}/\';")sql_list.append(sql)return sql_listprint(f"------> Creating SQL...")
data_date = get_formatted_date()
table_names = ["ods_user_all", "ods_music_all"]
exec_sqls = generate_athena_partition_sqls(data_date, table_names)print(f"------> Created SQL...")
print(f"------> Starting executing SQL...")
with engine.connect() as conn:for sql in exec_sqls:conn.execute(text(sql))print(f"Executed SQL: {sql}...")print(f"------> Ended executing SQL...")

3.2、查找 JVM 的动态链接库路径

$ sudo find /usr/lib/jvm -name "libjvm.so"
修改 jvm_path 为查到到的地址。

3.3、保存文件，执行以下命令

注意：执行前，需要添加环境变量！

export AWS_ACCESS_KEY_ID=your_aws_access_key_id
export AWS_SECRET_ACCESS_KEY=aws_secret_access_key
export AWS_DEFAULT_REGION=your_region
export AWS_ATHENA_S3_STAGING_DIR=s3://your-test-bucket/athena_result/jdbc

$ python3 athena_jdbc.py

【Python】 -- python3 读取 aws athena 表数据

目录 1、环境准备 2、安装环境 3、举例查询某张表数据和执行 add partition 操作 3.1、编辑文件 athena_jdbc.py 3.2、查找 JVM 的动态链接库路径 3.3、保存文件，执行以下命令 1、环境准备 oracle jdk 11centos 8依赖：pandas、pyathenajdbc 和 sq…...

编程日记 2025/5/17 17:33:39

子网掩码计算route命令

子网掩码 - 站长工具 1.子网掩码子网掩码就是用来遮掩IP地址并划分网段的工具，根据遮掩的位数不同来划分不同的网段。 2.网关网关(Gateway)又称网间连接器、协议转换器。默认网关在网络层上以实现网络互连，是最复杂的网络互连设备，仅用…...

编程日记 2025/5/17 17:22:26

admineShopController RestController("admineShopController") RequestMapping("/admin/shop") Api(tags "店铺相关接口") Slf4j public class ShopController {//设置一个常量因为经常使用public static final String KEY "SHOP-ST…...

编程日记 2025/5/17 15:41:58

JavaWeb 开发基础入门

在当今互联网时代，JavaWeb 开发是构建各类网络应用的核心技术之一。无论是大型企业级应用，还是小型的个人网站，JavaWeb 都展现出强大的生命力。今天，就让我们一起踏入 JavaWeb 开发的基础入门之旅。一、认识 JavaWeb JavaWeb 是…...

编程日记 2025/5/17 15:37:26

Unity Dots理论学习-2.ECS有关的模块（1）

Unity的实体组件系统（ECS）是支撑DOTS模块和技术的面向数据架构。ECS为Unity中的内存数据和runtime进程调度提供了高度的控制和确定性。 ECS for Unity 2022 LTS 配备了两个兼容的物理引擎，一个高级的Netcode package，以及一个用来…...

编程日记 2025/5/17 17:10:51

CentOS下安装RabbitMQ

提示：“奔跑吧邓邓子” 的高效运维专栏聚焦于各类运维场景中的实际操作与问题解决。内容涵盖服务器硬件（如 IBM System 3650 M5）、云服务平台（如腾讯云、华为云）、服务器软件（如 Nginx、Apache、GitLab、Redis、Elasticsearch、Kubernetes、Docker 等）、开发工具（如 Gi…...

编程日记 2025/5/17 17:02:27

【JAVA高级篇教学】第四篇：MySQL 5.7 与 MySQL 8 的区别

MySQL 是最流行的开源数据库管理系统之一，而 MySQL 8 的发布相较于 MySQL 5.7 带来了大量的改进与功能增强。目录一、性能改进二、功能增强三、安全性四、开发体验五、默认排序规则六、支持的排序规则数量七、区分敏感性（Sensitivity&…...

编程日记 2025/5/17 17:32:40

【Git】-- 版本说明

Alpha：是内部测试版,一般不向外部发布,会有很多 Bug .一般只有测试人员使用。Beta：也是测试版，这个阶段的版本会一直加入新的功能。在 Alpha 版之后推出。RC：(Release　Candidate) 顾名思义么 ! 用在软件上就是候选版本。系统平台…...

编程日记 2025/5/17 15:51:13

Flink优化----FlinkSQL 调优

目录 FlinkSQL 调优 1 设置空闲状态保留时间 2 开启 MiniBatch 3 开启 LocalGlobal 3.1 原理概述 3.2 提交案例：统计每天每个 mid 出现次数 3.3 提交案例：开启 miniBatch 和 LocalGlobal 4 开启 Split Distinct 4.1 原理概述 4.2 提交案例&…...

编程日记 2025/5/17 15:45:37

云上「算力浪费」，正在掣肘企业应用落地。

投入算力，真的能换来利润吗？这是每个想“入局”大模型的企业都会思考的问题。人工智能行业一直困于成本，无论从模型训练到推理，都充满了“烧钱”的气息。无法避免的高昂算力，成为企业入局大模型的“铁门槛”。据多…...

编程日记 2025/5/17 16:15:26

科技创新数智未来｜清科·沙丘投研院走进竹云

12月20日，清科沙丘投研院带领企投家团队走进竹云交流分享，聚焦技术创新、企业数字化管理、行业前沿应用案例等热点议题，深入探讨数字技术如何点燃企业高质量发展的澎湃动力，共话企业数字化、智能化发展之道。达晨财智股权管理部…...

编程日记 2025/5/17 17:11:45

spring专题笔记（六）：bean的自动装配（自动化注入）-根据名字进行自动装配、根据类型进行自动装配。代码演示，通俗易懂。

目录一、根据名字进行自动装配--byName 二、根据类型进行自动装配 byType 本文章主要是介绍spring的自动装配机制， 用代码演示spring如何根据名字进行自动装配、如何根据类型进行自动装配。代码演示，通俗易懂。一、根据名字进行自动装配--byName Us…...

编程日记 2025/5/17 15:29:30

EDGE浏览器每次关闭时再次打开保存的密码就消失如何解决

文章目录 EDGE浏览器每次重启的时候保存的密码都消失如何解决？ 打开EDGE浏览器点击三个点点击设置点击隐私、搜索和服务找到选择每次关闭浏览器时要清除的内容将开启的关闭即可...

编程日记 2025/5/17 15:33:50

Python - 获取当前函数中的所有参数信息（名称和值）

代码 import inspect import randomclass P:def start(self, p1, p2, p3None, p4None):arg_info inspect.getargvalues(inspect.currentframe())kwargs arg_info.locals # 获取到所有参数print(kwargs)del kwargs["self"]try:self._start(**kwargs)except Except…...

编程日记 2025/5/13 5:52:32

pyqt5冻结+分页表

逻辑代码 # -*- coding: utf-8 -*- import sys,time,copy from PyQt5.QtWidgets import QWidget,QApplication, QDesktopWidget,QTableWidgetItem from QhTableWidgetQGN import Ui_QhTableWidgetQGN from PyQt5.QtCore import Qt from PyQt5 import QtCore, QtGui, QtWidgets…...

编程日记 2025/5/13 10:08:20

uniapp中实现APP调用本地通知栏通知、震动、本地提示音或者mp3提醒

要在uniapp中实现APP调用本地通知栏通知、震动和本地提示音或者mp3提醒，你可以使用uni-app提供的原生API和插件来实现。通知栏通知： 你可以使用uni-app的原生API uni.showToast() 或者 uni.showModal() 来实现通知栏通知的功能。可以在需要发送通知的地…...

编程日记 2025/5/17 17:28:03

JS 数组创建、访问、常用方法

文章目录创建访问常用属性和相关方法1. length 长度属性2. push() 新增元素 - 末尾添加3. unshift() 新增元素 - 开头添加4. pop() 移除元素 - 末尾删除5. shift() 移除元素 - 开头删除6. concat() 复制数组后新增7. slice() 复制数组8. splice() 增删改9. toString() 转字符串…...

编程日记 2025/5/16 17:23:20

【C++】ceil 和 floor 函数的实现与分析

博客主页： [小ᶻ☡꙳ᵃⁱᵍᶜ꙳] 本文专栏: C 文章目录 💯前言💯ceil 和 floor 函数的基础介绍1. ceil 函数定义与功能示例代码输出结果功能分析使用场景 2. floor 函数定义与功能示例代码输出结果功能分析使用场景 💯自行实现…...

编程日记 2025/5/14 23:03:29

每天40分玩转Django：Django类视图

Django类视图一、今日学习内容概述学习模块重要程度主要内容类视图基础⭐⭐⭐⭐⭐View类、URLconf配置通用视图⭐⭐⭐⭐⭐ListView、DetailView等Mixin机制⭐⭐⭐⭐多重继承、功能组合自定义类视图⭐⭐⭐⭐视图定制、方法重写二、类视图基础 2.1 基本类视图 # views.py…...

编程日记 2025/5/16 14:59:24

运动控制卡网络通讯的心跳检测之C#上位机编程

本文导读今天，正运动小助手给大家分享一下如何使用C#上位机编程实现运动控制卡网络通讯的心跳检测功能。 01 ECI2618B硬件介绍 ECI2618B经济型多轴运动控制卡是一款脉冲型、模块化的网络型运动控制卡。控制卡本身最多支持6轴，可扩展至12轴的运动控制…...

编程日记 2025/5/13 3:49:33

秒验简介与下载说明

秒验简介与下载说明产品概述秒验是一款帮助开发者实现一键验证功能的产品，从根源上降低企业验证成本， 有效提高拉新转化率，降低因验证带来的流失率，3秒完成手机号验证 SDK信息下载SDK 下载地址 SDK提供Maven和pod引入两种方…...

编程日记 2025/5/16 2:25:39

Redis中的数据类型

文章目录前言一、字符串（String）应用场景常用命令二、哈希（Hash）应用场景常用命令三、列表（List）应用场景常用命令四、集合（Set）应用场景常用命令五、有序集合（Sort…...

编程日记 2025/5/16 2:49:59

esp8266_TFTST7735语音识别UI界面虚拟小助手

文章目录一实现思路1 项目简介1.1 项目效果1.2 实现方式 2 项目构成2.1 软硬件环境2.2 完整流程总结（重点整合）(1) 功能逻辑图(2) 接线(3) 使用esp8266控制TFT屏(4)TFT_espI库配置方法(5) TFT_esp库常用代码详解(6)TFT屏显示图片(7) TFT屏显示汉字(8) …...

编程日记 2025/5/12 22:22:38

RTOS 基础知识

**实时操作系统（RTOS, Real-Time Operating System）**是一种专为实时性要求设计的操作系统，具有确定性和高效性。RTOS 的系统架构围绕任务调度、时间管理和资源管理展开，以确保系统能够在规定时间内响应外部事件。以下是RTOS的系统…...

编程日记 2025/5/6 0:14:54

【 thefuck 安装与使用】Linux 终端自动纠错工具：一头GitHub上的“草泥马“ - thefuck，妈妈再也不用担心我打错命令行了！

目录快速安装使用 . 1.简介 2.安装 3.配置 4.补充官方盗料参考快速安装使用快速安装使用，四步即可： #Ubuntu/Debian系统 sudo apt update sudo apt install python3-dev python3-pip sudo pip3 install thefuck #编辑bashrc配置文件 vim ~/.bashrc…...

编程日记 2025/5/14 13:02:58

在Nginx部署Web应用，如何保障后端API的安全

1. 使用HTTPS和http2.0 参考：Nginx配置HTTP2.0_nginx 支持 2.0-CSDN博客 2. 设置严格的CORS策略通过add_header指令设置CORS头。只允许来自https://frontend.yourdomain.com的请求访问API location /api/ {if ($http_origin ~* (https://frontend\.yourdomai…...

编程日记 2025/5/11 18:26:30

vue关闭eslint校验及开启debugger

文章目录在Vue项目中关闭ESLint检查，可以通过以下几种方式实现：修改package.json文件中的eslintScript，将其设置为空字符串或者直接删除。在项目根目录下创建.eslintrc.js文件，并设置rules为关闭所有规则。如果使用Vue CLI创建的…...

编程日记 2025/5/16 21:49:40

docker mysql5.7安装

一.更改 /etc/docker/daemon.json sudo mkdir -p /etc/dockersudo tee /etc/docker/daemon.json <<-EOF {"registry-mirrors": ["https://do.nark.eu.org","https://dc.j8.work","https://docker.m.daocloud.io","https:/…...

编程日记 2025/5/15 21:49:38

json字符串或者json文件转换成相应的bean，报错“Unrecognized field xxx , not marked as ignorable”

1. 异常描述将一个json字符串或者json文件转换成相应的bean的时候，报如下错误： 2. 异常分析 bean中某个字段的get和set方法可能不是工具自动生成的，而是自己写的，譬如字段是“sInfo”，本来get方法是应该写成getsI…...

编程日记 2025/5/8 15:53:00

Windows下C++使用SQLite

1、安装进入SQLite Download Page页面，下载sqlite-dll-win-x86-*.zip、sqlite-amalgamation-*.zip、sqlite-tools-win-x64-*.zip三个包，这三个包里分别包含dll文件和def文件、头文件、exe工具。使用vs命令行工具生成.lib文件：进入dll和def文…...

编程日记 2025/5/16 18:11:23

依图科技简介

依图科技（YITU Technology）是中国一家全球领先的人工智能（AI）公司，成立于2012年，总部位于上海。公司专注于计算机视觉、语音识别和自然语言处理等核心AI技术，致力于推动AI技术在医疗、安防、金融…...

编程日记 2025/5/13 22:03:41

BiLSTM模型详解及代码复现（源码）

（需要源码请私信或留言） LSTM基础 LSTM (Long Short-Term Memory) 是一种特殊类型的循环神经网络(RNN)，旨在解决传统RNN在处理长序列时面临的梯度消失和梯度爆炸问题。其核心创新在于引入了门控机制，包括遗忘门、输入门和输出门，有效控制信息的流动和存储。这种独特的…...

编程日记 2025/5/12 12:28:38

HTMLCSS：超炫丝滑的卡片水波纹效果

这段代码创建了一个卡片，卡片上有三个波动效果，这些波动效果通过 CSS 的keyframes 动画实现，创建了一个旋转的动画效果。这种效果适用于创建动态的视觉效果，例如音乐播放器的封面、动态背景或其他需要动态效果的界面元素。演示效…...

编程日记 2025/5/12 15:16:03

8086汇编(16位汇编)学习笔记05.asm基础语法和串操作

8086汇编(16位汇编)学习笔记05.asm基础语法和串操作-C/C基础-断点社区-专业的老牌游戏安全技术交流社区 - BpSend.net asm基础语法 1. 环境配置 xp环境配置 1.拷贝masm615到指定目录 2.将masm615目录添加进环境变量 3.在cmd中输入ml，可以识别即配置成功 dosbox…...

编程日记 2025/5/17 14:30:41

【漏洞复现】BIG-IP Next Central Manager OData 注入漏洞（CVE-2024-21793）

免责声明请勿利用文章内的相关技术从事非法测试，由于传播、利用此文所提供的信息而造成的任何直接或者间接的后果及损失，均由使用者本人负责，作者不为此承担任何责任。工具来自网络，安全性自测，如有侵权请联系删除。本次测试仅供学习使用，如若非法他用，与平台和本文作…...

编程日记 2025/5/13 17:08:05

Go语言及MongoDB数据库安装配置详解！

Go语言安装首先讲一下go语言的安装，这部分可直接从官网下载，基本上一键配置的： 官网地址：All releases - The Go Programming Language 选择自己对应系统的安装包，这里官网提供了5种不同的包可自行下载之后便是默认…...

编程日记 2025/5/17 13:27:54

数据库管理-第275期 Oracle 23ai：画了两张架构图（20241225）

数据库管理275期 2024-12-25 数据库管理-第275期 Oracle 23ai：画了两张架构图（20241225）1 系统管理分片2 用户定义分片总结数据库管理-第275期 Oracle 23ai：画了两张架构图（20241225） 作者：胖…...

编程日记 2025/5/13 23:53:04

HTML速查

HTML 基本文档 <!DOCTYPE html> <html><head><meta charset"utf-8"><title>文档标题</title></head><body>可见文本...</body> </html>基本标签（Basic Tags） <h1>最大的…...

编程日记 2025/5/13 14:15:38

系统分析师第二版口诀

【绪数计网库】、【信工项安规】、【需架设测运】、【We 嵌移大微物论】（第1章绪论、第2章数学与工程基础、第3章计算机系统、第4章计算机网络与分布式系统、第5章数据库系统、第6章企业信息化、第7章软件工程、第8章项目管理、第9章信息…...

编程日记 2025/5/12 12:50:24

E-commerce .net+React（一）——项目初始化

文章目录项目地址一、创建.Net环境1.1环境配置1.1.1 使用vscode创建webapi1.1.2 Clean architecture结构创建1.1.3 将创建好结构的项目添加到git里1.1.4 EF Core配置1. 在infrastructure里安装EF所需环境2. 创建Product数据模型3. 创建EF Core的DbContext 数据库上下文4. 创建…...

编程日记 2025/5/17 14:30:06

15 break和continue

while True: content input("请输入你要喷的内容") print("发送给下路",content) #上述的程序如果没有外力干扰：程序会一直进行输入下去 #break:就能让当前这个循环立即进行停止 while True: content input("请输入…...

编程日记 2025/5/11 9:52:53

SwiftUI 入门趣谈：在文本框（TextField）内限制数字的输入

概述虽然 SwiftUI 本身提供了海量内置的原生视图供我们使用，但对于某些情况我们还需要根据实际需求“量体裁衣、专属定制”。在日常的撸码场景中，我们有时需要限制文本框（TextField）中数字内容的输入，如何又简单又快…...

编程日记 2025/5/16 21:50:33

JOGL 从入门到精通：开启 Java 3D 图形编程之旅

一、引言 Java 作为一门广泛应用的编程语言，在图形编程领域也有着强大的工具和库。JOGL（Java OpenGL）便是其中之一，它为 Java 开发者提供了访问 OpenGL（Open Graphics Library）功能的接口，使得…...

编程日记 2025/5/13 19:43:14

scrollIntoView() 滚动到元素顶部和底部

scrollIntoView() 是一个 DOM 方法，通常用于将某个元素滚动到视口内（可视区域）。这个方法能够使目标元素在页面上可见，尤其是在有滚动条的容器中。当你调用 scrollIntoView() 时，浏览器会自动滚动页面，直到…...

编程日记 2025/5/14 0:57:00

数据预处理

数据预处理科普指南一、数据预处理：开启数据价值之门的钥匙在当今数字化浪潮中，数据被视作蕴含无尽宝藏的富矿。然而，原始数据就如同刚从矿山采出的原石，虽内藏珍贵信息，却混杂着诸多瑕疵，如噪声、缺失…...

编程日记 2025/5/17 5:26:52

关于分布式数据库需要了解的相关知识！！！

成长路上不孤单😊😊😊😊😊😊 【14后😊///计算机爱好者😊///持续分享所学😊///如有需要欢迎收藏转发///😊】今日分享关于关于分布式数据库方面的相关内容&a…...

编程日记 2025/5/17 11:29:11

IP代理测试要测试哪些方面？

在数据采集的征途上，IP代理是我们的得力助手，它不仅帮助我们高效地收集信息，还能在保护数据安全方面发挥重要作用。但面对众多的IP代理服务，如何知道哪一个才是最适合我们的呢？这就需要我们进行一系列的测试。速度与…...

编程日记 2025/4/15 5:39:41

【前沿热点顶会】AAAI 2025中与目标检测有关的论文

CP-DETR: Concept Prompt Guide DETR Toward Stronger Universal Object Detection（AAAI 2025） 最近关于通用物体检测的研究旨在将语言引入最先进的闭集检测器，然后通过构建大规模（文本区域）数据集进行训练&#xff0…...

编程日记 2025/5/16 5:57:46

【Unity3D】Jobs、Burst并行计算裁剪Texture3D物体

版本：Unity2019.4.0f1 PackageManager下载Burst插件(1.2.3版本) 利用如下代码，生成一个Texture3D资源，它只能脚本生成，是一个32*32*32的立方体，导出路径记得改下，不然报错。 using UnityEditor; using Uni…...

编程日记 2025/5/16 21:04:37

HTML与数据抓取：GET与POST请求处理流程

请求数据最重要的三个要点 1. 请求URL 请求URL是客户端向服务器发出请求的目标地址。它指定了要访问的资源位置，并且可以包含路径和查询参数。URL不仅决定了请求的目标，还可以传递必要的信息给服务器； 格式：http(s)://域名/路径…...

编程日记 2025/5/17 7:12:38

1、环境准备

2、安装环境

3、举例查询某张表数据和执行 add partition 操作

3.1、编辑文件 athena_jdbc.py

3.2、查找 JVM 的动态链接库路径

3.3、保存文件，执行以下命令

相关文章：