当前位置：首页 > news >正文

AWS之数据分析类产品

news 来源：原创 2025/8/7 10:40:20

以下是 Amazon Athena、Amazon QuickSight、AWS Lake Formation、AWS Glue、Amazon OpenSearch Service（原 Elasticsearch Service）、Amazon Kinesis Data Analytics 和 Amazon Redshift 的核心区别及典型使用场景的对比分析：

1. Amazon Athena • 核心功能：无服务器交互式查询服务，支持使用标准 SQL 直接分析 Amazon S3 中的原始数据，无需预置基础设施。

• 特点：

• 按查询数据量计费，适合低频临时分析。

• 支持 Parquet、JSON、CSV 等多种格式，与 AWS Glue 元数据目录集成。

• 使用场景：

• 日志分析：例如分析存储在 S3 中的 Web 服务器日志，替代传统 Elasticsearch 的高成本存储方案。

• 数据探索：快速验证数据质量或执行临时查询。

2. Amazon QuickSight • 核心功能：云端商业智能（BI）工具，提供数据可视化、自然语言查询（集成 Amazon Q）和交互式仪表盘。

• 特点：

• 支持与 Redshift、Athena、S3 等数据源集成。

• 生成式 AI 功能可自动生成分析报告、PPT 和关键洞察。

• 使用场景：

• 业务报表：为管理层提供实时销售、运营数据的可视化仪表盘。

• 自助分析：非技术人员通过自然语言提问（如“各区域销售额对比”）生成图表。

3. AWS Lake Formation • 核心功能：数据湖治理工具，集中管理数据权限、元数据目录和跨源数据整合。

• 特点：

• 统一 S3 数据湖的权限控制（库/表/列级）。

• 自动爬取数据源元数据并构建目录。

• 使用场景：

• 多源数据整合：将 S3、RDS、DynamoDB 等数据统一到数据湖。

• 合规管理：满足 GDPR 等法规要求，控制敏感数据访问权限。

4. AWS Glue • 核心功能：无服务器 ETL（数据提取、转换、加载）服务，自动化生成数据处理脚本。

• 特点：

• 支持数据清洗、格式转换（如 CSV 转 Parquet）。

• 与 Lake Formation 共享元数据目录，提供图形化工作流设计。

• 使用场景：

• 数据湖构建：将原始数据转换为分析友好格式后存储到 S3。

• 批处理作业：例如每天定时处理订单数据并加载到 Redshift。

5. Amazon OpenSearch Service • 核心功能：托管式搜索与分析引擎，支持全文检索、日志分析和实时可视化。

• 特点：

• 集成 Kibana 仪表盘，适合日志和点击流分析。

• 提供近实时数据处理能力。

• 使用场景：

• 日志监控：分析应用日志中的错误模式。

• 电商搜索：构建商品标题和描述的快速检索系统。

6. Amazon Kinesis Data Analytics • 核心功能：实时流数据处理服务，支持 SQL 或 Apache Flink 进行流计算。

• 特点：

• 低延迟（毫秒级响应），自动扩展计算资源。

• 集成 Kinesis Data Streams 和 Firehose。

• 使用场景：

• 实时指标计算：例如滚动时间窗口内的网站访问量统计。

• 异常检测：监控 IoT 设备传感器数据并触发报警。

7. Amazon Redshift • 核心功能：云数据仓库，专为复杂 OLAP 查询设计，支持 PB 级数据分析。

• 特点：

• 列式存储和高级查询优化，性能是标准 Spark 的 3 倍以上。

• 支持物化视图、数据共享和机器学习集成（Redshift ML）。

• 使用场景：

• 企业级数据仓库：整合多系统数据并执行复杂关联分析。

• 历史数据分析：例如金融行业的年度销售趋势预测。

对比总结

服务	核心定位	典型场景	性能特点
Athena	临时查询	日志分析、数据探索	按查询付费，无服务器
QuickSight	可视化与 BI	业务报表、自助分析	自然语言生成洞察
Lake Formation	数据湖治理	权限管理、多源整合	元数据统一管理
Glue	ETL 自动化	数据清洗、格式转换	图形化工作流设计
OpenSearch	搜索与日志分析	日志监控、全文检索	近实时处理
Kinesis Data Analytics	实时流处理	实时指标、异常检测	毫秒级延迟
Redshift	企业级数据仓库	复杂 OLAP、历史数据分析	高性能列式存储

协作场景示例 • 电商用户行为分析：

使用 Kinesis 实时采集用户点击流数据。
通过 Glue 清洗后存储到 S3 数据湖（由 Lake Formation 管理权限）。
使用 Athena 探索数据，最终通过 QuickSight 生成可视化报表。

如需进一步了解特定服务的配置细节，可参考对应服务的官方文档或白皮书（如网页）。

RabbitMQ消息的重复消费问题如何解决？

在RabbitMQ中，消息重复消费是一个常见问题，它通常发生在消费者处理消息时出现网络波动、节点故障或消费者自身处理逻辑异常，ACK 失败等情况，都会导致RabbitMQ 不能够正确感知消息已被成功处理，从而重新投递消息。以下是…...

编程日记 2025/8/3 11:53:51

5月9号.

v-for: v-bind: v-if&v-show: v-model: v-on: Ajax: Axios: async&await: Vue生命周期: Maven: Maven坐标:...

编程日记 2025/8/7 10:35:44

如何减少极狐GitLab 容器镜像库存储？

极狐GitLab 是 GitLab 在中国的发行版，关于中文参考文档和资料有： 极狐GitLab 中文文档极狐GitLab 中文论坛极狐GitLab 官网减少容器镜像库存储 (BASIC ALL) 未清理的容器镜像库会随着时间的推移而变大。添加大量镜像或标签时： 获取可用标…...

编程日记 2025/8/3 11:53:45

怎么用idea打jar包

背景前端使用vue开发，打包生成dist文件，需要打包成jar包步骤前端的dict文件放到后端的src\main\resources目录下dict文件夹改名为staticidea打开后端代码，依次点击右侧maven下的clean 、package最后会在项目的target目录下生成jar&…...

编程日记 2025/8/3 11:53:40

03 mysql 连接

安装 MySQL 后，我们就需要连接它。使用命令行方式连接使用图形化工具连接一、使用命令行客户端连接在上一节内容02 mysql 管理（Windows版）-CSDN博客我们采用的就是这个连接方法，这种方法直接连接的是root用户，找到该命令行属性，打开可以看到里面的参数是root：这种…...

编程日记 2025/8/7 10:35:32

Jenkins集成Maven

一、概述 Jenkins是一个开源的持续集成工具，用于自动化各种开发任务。Maven是一个项目管理和构建自动化工具，主要用于Java项目。通过将Jenkins和Maven集成，可以实现自动化构建、测试和部署，提高开发效率和代码质量。二、前提条…...

编程日记 2025/8/7 10:38:03

Qwen智能体qwen_agent与Assistant功能初探

Qwen智能体qwen_agent与Assistant功能初探一、Qwen智能体框架概述 Qwen（通义千问）智能体框架是阿里云推出的新一代AI智能体开发平台，其核心模块qwen_agent.agent提供了一套完整的智能体构建解决方案。该框架通过模块化设计，将L…...

编程日记 2025/8/7 10:38:01

Linux——MySQL基础

基础知识连接服务器 mysql -h 127.0.0.1 -P 3306 -u root -p -h 指明登录部署了myqsl服务的主机 -P 指明访问的端口号 -u 指明用户 -p 指明登录密码（可以不填写） 什么是数据库首先，数据库是分为服务端和客户端的： mysql是客户…...

编程日记 2025/8/3 11:53:23

k8s监控方案实践（二）：集成Alertmanager告警与钉钉Webhook通知

k8s监控方案实践（二）： 集成Alertmanager告警与钉钉Webhook通知文章目录 k8s监控方案实践（二）： 集成Alertmanager告警与钉钉Webhook通知一、Alertmanager简介1. 什么是Alertmanager？2. Promethe…...

编程日记 2025/8/6 22:23:32

学习threejs，使用Physijs物理引擎

👨‍⚕️ 主页： gis分享者 👨‍⚕️ 感谢各位大佬点赞👍 收藏⭐ 留言📝 加关注✅! 👨‍⚕️ 收录于专栏：threejs gis工程师文章目录一、🍀前言1.1 ☘️Physijs 物理引擎1.1.1 ☘️…...

编程日记 2025/8/3 11:53:02

UG471 之 SelectIO 逻辑资源

背景《ug471》介绍了Xilinx 7 系列 SelectIO 的输入/输出特性及逻辑资源的相关内容。第 1 章《SelectIO Resources》介绍了输出驱动器和输入接收器的电气特性，并通过大量实例解析了各类标准接口的实现。第 2 章《SelectIO Logic Resources》介绍了输入输出数据…...

编程日记 2025/8/3 11:52:59

基于HISI3519dv500的yolov8-obb车位检测

1. 数据标注标注软件：roLabelImg 安装方式：见 https://github.com/cgvict/roLabelImg.git 操作指南： 标注后的数据格式如下： <annotation verified"no"><folder>4800</folder><filename>fr…...

编程日记 2025/8/4 3:33:54

Prometheus生产实战全流程详解（存储/负载/调度篇）

一、存储架构实战（TSDB深度优化） 1. 存储拓扑设计 2. 关键参数调优 4. 性能压测对照表二、负载治理实战（百万级Series管控） 三、调度优化实战（精准采集控制） 2. 优先级调度配置 3. 自适应抓取调整 4…...

编程日记 2025/8/3 10:28:00

Mac电脑远程连接window系统服务器

1.下载首先需要下载Microsoft Remote Desktop软件，下载链接如下： https://go.microsoft.com/fwlink/?linkid868963 2、软件下载成功后，可按照引导程序进行安装，成功后进入软件，可看到如下界面：...

编程日记 2025/8/3 8:21:48

【Qt】编译 Qt 5.15.x For Windows 基础教程 Visual Studio 2019 MSVC142 x64

【Qt】编译 Qt 5.15.x For Windows 基础教程 Visual Studio 2019 MSVC142 x64 目录【Qt】编译 Qt 5.15.x For Windows 基础教程 Visual Studio 2019 MSVC142 x64准备工作：（必须）第一步：第二步：第三步： 建议…...

编程日记 2025/8/3 8:12:02

【Qt】之【Bug】点击按钮（ui-＞pushButton）触发非本类设置的槽函数

解决先说解决办法，按钮在ui为默认命名ui->pushButton,后面改了下按钮名为该按钮的功能相关，就不会随意触发其他槽函数了。没想到是这个原因。。。可能是之前默认的objectName与旧的槽函数自动连接了记录一下，找了好久其他的原因。以…...

编程日记 2025/8/3 8:12:00

buck和boost总结

目录 1. 基本概念与原理 2. 工作模式 3. 典型应用场景 4. Buck-Boost电路：升降压结合 5. 核心区别与选择 1. 基本概念与原理 Buck电路（降压电路） 通过开关器件（如MOSFET）周期性地导通和关断，控制电感充…...

编程日记 2025/8/6 10:24:53

rtsp，。。。。

下面是基于 FFmpeg H.264 RTSP GStreamer 的低延时视频传输方案的详细搭建指南。此方案可将延迟控制在 <100ms，适合远程驾驶、监控等实时性要求较高的应用场景。 📦 方案架构摄像头（OpenCV）→ FFmpeg（H.264编码…...

编程日记 2025/8/3 8:11:56

微信小程序地图缩放scale隐性bug

bug1 在真机环境下通过this.mapCtx.getScale获取当前地图的缩放等级带小数， 当设置scale带小数时，地图会先执行到缩放到带小数的缩放等级，然后会再次缩放取整的缩放等级（具体向上取整还是向下取整未知，两种情况都观察…...

编程日记 2025/8/3 8:11:54

Java中关于多态的总结

多态是面向对象编程的三大特性之一（封装、继承、多态），它允许不同类的对象对同一消息做出不同的响应。多态的基本概念 1、定义多态(Polymorphism)指同一操作作用于不同的对象，可以有不同的解释，产生不同的执行结果…...

编程日记 2025/8/3 8:11:52

突破跨界传输瓶颈：Zynq OCM与DDR核间数据共享性能深度调优

一、当硬件加速遇上内存墙：Zynq数据共享的终极挑战在某军工雷达信号处理项目中，工程师小王遇到了棘手难题——通过Zynq的ARM核与FPGA协同处理雷达回波数据时，系统吞吐量始终无法突破200MB/s的瓶颈。经过三天三夜的排查，发现问题的根源竟是OCM与DDR之间的数据传输效率不足…...

编程日记 2025/8/3 8:11:50

基于 Ubuntu 24.04 部署 WebDAV

无域名，HTTP 1. 简介 WebDAV（Web Distributed Authoring and Versioning）是一种基于 HTTP 的协议，允许用户通过网络直接编辑和管理服务器上的文件。本教程介绍如何在 Ubuntu 24.04 上使用 Apache2 搭建 WebDAV 服务，无…...

编程日记 2025/8/5 21:40:52

JVM、JRE、JDK的区别

JVM JVM全称Java虚拟机(Java Virtual Machine, JVM),它是运行java字节码的虚拟机，JVM针对不同的系统有不同的实现，目的运行相同的字节码有同样的结果，JVM是“一次编译，到处运行”实现的关键。如下不同的编程语言编译生成字节码文…...

编程日记 2025/8/3 8:11:46

解密火星文：LeetCode 269 题详解与 Swift 实现

文章目录摘要描述题解答案题解代码分析构建图（Graph）拓扑排序（Topological Sort） 示例测试及结果时间复杂度空间复杂度实际场景类比总结摘要这篇文章我们来聊聊 LeetCode 269 题：火星词典（Alien Dictio…...

编程日记 2025/8/6 17:19:28

系统思考：短期困境与长期收益

最近在项目中，一直有学员会提到一个议题，如何平衡当前困境和长期收益？ 我的思考是在商业和人生的路上，我们常常听到“鱼和熊掌不可兼得”的说法，似乎短期利益和长期目标注定是对立的。但事实上，鱼与熊掌是…...

编程日记 2025/8/3 8:11:42

K8S - Harbor 镜像仓库部署与 GitLab CI 集成实战

引言在 Kubernetes 环境中，容器镜像的存储与管理至关重要。企业级镜像仓库（如 Harbor）为团队提供了安全、稳定、可扩展的镜像管理解决方案。一、Harbor 安装与配置 Harbor 是由 VMware 开源的企业级云原生镜像仓库，它不仅支持…...

编程日记 2025/8/5 13:18:38

裁后代码 import subprocess# 文件路径 input_video_path "bg_video.mp4" output_video_path "output_video_cropped.mp4"# 裁剪视频下方的水印 def crop_video(input_video_path, output_video_path, crop_height):# 获取视频的分辨率def get_video…...

编程日记 2025/8/3 8:11:37

通信协议选型篇：如何根据项目需求选择合适的通信协议？

🧭 本文为《嵌入式通信协议全解析》第七篇，面向系统架构师、嵌入式开发者与技术决策者，提供一套实用的通信协议选型方法论，结合性能对比表、使用案例与决策树，助你在“带宽、功耗、距离、可靠性、生态”之间做出最优权衡。 🔍 一、为什么通信协议的选型很关键？在嵌入…...

编程日记 2025/8/3 10:27:55

Altera系列FPGA纯verilog视频图像去雾，基于暗通道先验算法实现，提供4套Quartus工程源码和技术支持

目录 1、前言工程概述免责声明 2、相关方案推荐我已有的所有工程源码总目录----方便你快速找到自己喜欢的项目Altera系列FPGA相关方案推荐本博主已有的图像处理方案 3、设计思路框架工程设计原理框图输入Sensor之-->OV7725摄像头输入Sensor之-->OV5640摄像头输入Sensor之…...

编程日记 2025/8/3 10:27:53

大模型的实践应用39-Qwen3(72B)+langchain框架+MCP(大模型上下文协议)+RAG+传统算法等研发数学教学管理与成绩提升系统

大家好，我是微学AI，今天给大家介绍一下大模型的实践应用39-Qwen3(72B)+langchain框架+MCP(大模型上下文协议)+RAG+传统算法等研发数学教学管理与成绩提升系统。在2025年AI技术快速发展的背景下，大模型已展现出在教育领域的巨大潜力。通义千问Qwen3作为阿里云推出的最新一代…...

编程日记 2025/8/3 10:27:51

【强化学习】动态规划（Dynamic Programming, DP）算法

1、动态规划算法解题 LeetCode 931. 下降路径最小和给你一个 n x n 的方形整数数组 matrix ，请你找出并返回通过 matrix 的下降路径的最小和。下降路径可以从第一行中的任何元素开始，并从每一行中选择一个元素。在下一行选择的元素和当前行所选…...

编程日记 2025/8/6 0:25:11

【Linux】深入拆解Ext文件系统：从磁盘物理结构到Linux文件管理

目录 1、理解硬件 （1）磁盘 （2）磁盘的物理结构 （3）磁盘的存储结构 （4）磁盘的逻辑结构 （5）CHS && LBA地址 2、引入文件系统 （1&…...

编程日记 2025/8/2 21:31:22

linux ptrace 图文详解（八） gdb跟踪被调试程序的子线程、子进程

目录一、gdb跟踪被调试程序的fork、pthread_create操作二、实现原理三、代码实现四、总结 （代码：linux 6.3.1，架构：arm64） One look is worth a thousand words. —— Tess Flanders 相关链接： …...

编程日记 2025/8/3 10:27:45

【列表类型】

1、按索引取值索引可正向存取，也可反向存取 l [111, paipai, cat] # 正向取值 print(l[1]) # 方向取值 print(l[-1]) # 通过索引给列表重新赋值,前提：索引存在 l[0] ccat print(l) # 索引不存在的情况下，取值or重新赋值的情况下都会报错 …...

编程日记 2025/8/6 5:15:53

MySQL 8.0 OCP 英文题库解析（二）

Oracle 为庆祝 MySQL 30 周年，截止到2025.07.31 之前。所有人均可以免费考取原价245美元的MySQL OCP 认证。从今天开始，将英文题库免费公布出来，并进行解析，帮助大家在一个月之内轻松通过OCP认证。本期公布试题6~15。试题6: …...

编程日记 2025/8/3 10:27:41

数据分析与逻辑思维：六步解决业务难题；参考书籍《数据分析原理：6步解决业务分析难题 (周文全, 黄怡媛, 马炯雄)》

文章目录一、懂业务：业务背景与逻辑前提1.1 明确业务目标与问题定义1.2 培养批判性思维与高于业务视角二、定指标：构建科学的指标体系2.1 指标拆解与维度分析2.2 典型指标体系案例：用户与业务视角三、选方法：匹配业务需求的分析…...

编程日记 2025/8/3 10:27:38

人力资源管理系统如何有效提高招聘效率？

在传统招聘模式下，企业招聘常常陷入 “泥潭”。HR 每天需要花费大量时间在海量简历中 “大海捞针”，手动筛选、电话沟通、安排面试，流程繁琐且效率低下。好不容易邀约到候选人，却因面试安排冲突、信息传递不及时等问题&#xff0c…...

编程日记 2025/8/3 10:27:36

FAISS 与机器学习、NLP 的关系

FAISS（Facebook AI Similarity Search）是一个用于高效相似性搜索和密集向量聚类的开源库，由 Facebook AI Research 开发。它在机器学习（特别是自然语言处理，NLP）领域中扮演着重要角色，主要解决大…...

编程日记 2025/8/3 10:27:34

文件包含2

远程文件包含与本地文件包含的区别对比对比项本地文件包含（LFI）远程文件包含（RFI）定义攻击者包含服务器本地的文件攻击者包含远程服务器（如HTTP/FTP）上的文件依赖条件不需要特殊配置需要allow_url_incl…...

编程日记 2025/8/3 23:17:18

嵌入式系统架构验证工具：AADL Inspector v1.10 全新升级

软件架构建模与早期验证是嵌入式应用的关键环节。架构分析与设计语言（AADL）是专为应用软件及执行平台架构模型设计的语言，兼具文本与图形化的双重特性。AADL Inspector是一款轻量级的独立工具： 核心处理能力包括 √ 支持处理AA…...

编程日记 2025/8/3 10:27:31

软考高级系统架构设计师备考分享：操作系统核心知识点整理

在备战软考高级系统架构设计师的过程中，操作系统作为核心考点之一，需要系统性地掌握其核心原理。本文将从操作系统分类、进程状态模型、同步互斥机制、死锁问题及存储管理五大模块展开梳理，结合考试高频考点和实际案例进行解析。一、操作系统…...

编程日记 2025/8/3 10:27:29

22、城堡防御工事——React 19 错误边界与监控

一、魔法护盾：错误边界机制 1. 城墙结界（Error Boundary） // 客户端错误边界use client function useErrorBoundary() {const [error, setError] useState(null);const handleError useCallback((error, errorInfo) > {setError(erro…...

编程日记 2025/8/3 10:27:27

有关SOA和SpringCloud的区别

目录 1. 定义 2. 架构风格 3. 技术栈 4. 服务交互 5. 适用场景前言面向服务架构（SOA）是一种软件设计风格，它将应用程序的功能划分为一系列松散耦合的服务。这些服务可以通过标准的通信协议进行交互，通常是HTTP或其他消息传…...

编程日记 2025/8/3 10:27:25

大数据——Mac环境DataSpell集成Jupyter

1、设置 2、添加新的解释器 3、解释器类型选择Conda 4、进入选中全部，然后重启 5、dataspell右下角会显示当前项目的运行环境 6、创建Jupyter Notebook文件 7、测试 8、查看当前配置 （1）本地模式安装使用 （2）…...

编程日记 2025/8/3 10:27:23

解锁健康养生新境界

在追求高品质生活的当下，健康养生早已超越 “治未病” 的传统认知，成为贯穿全生命周期的生活艺术。它如同精密的交响乐，需饮食、运动、心理与生活习惯多维度协奏，方能奏响生命的强音。饮食养生讲究 “顺时、适性”。遵循二十四节…...

编程日记 2025/8/4 18:19:49

WORD压缩两个免费方法

日常办公和学习中，Word文档常常因为包含大量图片、图表或复杂格式而导致文件体积过大，带来诸多不便，比如邮件发送受限：许多邮箱附件限制在10-25MB，大文件无法直接发送存储空间占用：大量文档占用硬盘或云…...

编程日记 2025/8/3 10:27:19

Zabbix监控 RabbitMQ 指定消息队列名称(pull_alarms )的消费者

✅ 1. 编写 RabbitMQ 队列监控脚本创建脚本文件 /usr/local/bin/zbx_rabbitmq_metric.sh 并写入以下内容： #!/bin/bash # /usr/local/bin/zbx_rabbitmq_metric.shQUEUE$1 METRIC$2 USER$3 PASS$4if [[ -z "$QUEUE" || -z "$METRIC" || -z &q…...

编程日记 2025/8/3 10:27:17

RabbitMQ ②-工作模式

RabbitMQ 工作模式官方提供了七种工作模式 Simple（简单模式） P：生产者，发布消息到队列C：消费者，从队列中获取消息并消费Queue：消息队列，存储消息。一个生产者，一个…...

编程日记 2025/8/3 10:27:15

《探索React Native社交应用中WebRTC实现低延迟音视频通话的奥秘》

WebRTC，全称为Web Real-Time Communication，是一项开创性的开源技术，为Web和移动应用开启了实时通信的大门。它打破了传统通信的束缚，使得应用之间无需依赖繁琐的中间服务器，就能实现直接的点对点通信，这是…...

编程日记 2025/8/3 10:27:13

相关文章：