当前位置：首页 > news >正文

开放表格式和对象存储架构指南

news 来源：原创 2025/9/19 2:59:23

比较 Apache Iceberg、Delta Lake 和 Apache Hudi，并了解如何为您的数据湖仓一体选择合适的开放表格式。开放表格式和对象存储正在重新定义组织构建其数据系统的方式，为可扩展、高效且面向未来的数据湖仓一体奠定了基础。通过利用对象存储的独特优势（可扩展性、灵活性和成本效益）以及 Apache Iceberg、Delta Lake 和 Apache Hudi 等开放表格式的高级元数据管理功能，组织可以创建满足现代数据工作负载需求的模块化架构。这种架构转变的核心是计算和存储的分解。对象存储作为基础，提供对结构化、半结构化和非结构化数据的无缝管理，而开放表格式充当元数据抽象层，支持类似数据库的功能，例如架构、分区和原子性、一致性、隔离和持久性（ACID）事务。Spark、Presto、Trino 和 Dremio 等计算引擎与这些表格格式交互，从而提供了大规模处理和分析数据的灵活性，而不会受制于供应商。本指南将深入探讨开放表格式和对象存储在构建现代数据湖仓一体中的作用。我将探讨它们的演变，比较领先的表格格式，并重点介绍针对高级分析和 AI 工作负载优化架构的性能注意事项。通过了解这些组件，您将有能力设计不仅高效且可扩展，而且能够适应数据驱动时代快速变化的需求的数据系统。

Open Table Formats 的适用范围

现代数据湖仓一体架构建立在三个关键组件之上：存储层、开放表格式和计算引擎。这种模块化设计经过优化，可充分利用对象存储的可扩展性和成本效益，同时利用开放式表格式实现无缝元数据管理和跨不同计算引擎的互作性。
其基础是对象存储的存储层，它为结构化、半结构化和非结构化数据提供可扩展且灵活的存储。存储层中是开放的表格式，可以是 Apache Iceberg、Delta Lake 或 Apache Hudi。这些开放的表格式充当元数据抽象层，提供类似数据库的功能，包括 Schema、分区和版本控制，以及 ACID 事务、Schema 演变和时间旅行等高级功能。最后，Spark、Presto、Trino 和 Dremio 等计算引擎与开放表格式交互，以大规模处理和分析数据，使用户能够灵活地选择最适合其工作负载的工具。

数据架构的演变

数据湖仓一体的兴起可以理解为数据架构更广泛演变的一部分。在线事务处理（OTLP）数据库等早期系统优先考虑事务完整性，但缺乏分析功能。在线分析处理（OLAP）系统的出现引入了数据仓库，该数据仓库针对查询结构化数据进行了优化，但代价是无法有效处理半结构化和非结构化数据。数据湖的出现是为了解决这些限制，为各种数据类型提供可扩展的存储和 Schema-on-Read 功能。然而，数据湖中缺乏事务保证刺激了数据湖仓一体的发展，它将数据湖和数据仓库的优势集成到一个统一的架构中。Lakehouse 基于开放表格式和对象存储构建，并且完全解耦，这意味着它们由模块化组件构成。这种分解式架构既提供了数据库的事务一致性，又提供了对象存储的可扩展性。

为什么 Open Table 格式是对象存储的理想选择

数据湖仓一体架构经过专门设计，旨在利用对象存储系统的可扩展性和成本效益，例如 Amazon Web Services （AWS） S3、Google Cloud Storage 和 Azure Blob Storage。这种集成支持在一个统一的平台中无缝管理各种数据类型（结构化、半结构化和非结构化）。

对象存储上的数据湖仓一体架构的主要功能包括：

统一存储层：通过利用对象存储，数据湖仓一体可以以其原生格式存储大量数据，无需在存储前进行复杂的数据转换。这种方法简化了数据摄取，并实现了与各种数据源的兼容性。
可扩展性：对象存储系统本质上具有可扩展性，使数据湖仓一体能够容纳不断增长的数据量，而无需对基础设施进行重大更改。这种可扩展性使组织能够有效地管理不断扩大的数据集和不断变化的分析要求。
灵活性：一流的对象存储可以部署在任何地方 - 本地、私有云、公共云、主机托管设施、数据中心和边缘。这种灵活性使组织能够根据特定的运营和地理需求定制其数据基础设施。

通过集成这些元素，数据湖仓一体架构提供了一个全面的解决方案，结合了数据湖和数据仓库的优势。这种设计有助于高效的数据存储、管理和分析，所有这些都建立在可扩展且灵活的对象存储系统的基础上。

定义的 Open Table Formats

开放表格式是一种标准化的开源框架，旨在高效管理大规模分析数据集。它作为数据文件之上的元数据层运行，促进跨各种处理引擎的无缝数据管理和访问。

以下是三种开放表格式的概述：

Apache Iceberg

Apache Iceberg 是一种高性能的表格格式，专为海量数据集而设计。其架构优先考虑高效的读取作和可扩展性，使其成为现代分析工作负载的基石。其定义功能之一是元数据与数据的分离，从而允许基于快照的高效隔离和规划。这种设计消除了成本高昂的元数据作，从而支持跨大型数据集的并行查询规划。Iceberg 生态系统的最新进展凸显了它在整个行业的日益普及。S3 表使查询引擎能够直接访问存储在 S3 兼容系统中的表元数据和数据文件，从而减少延迟并提高互作性，从而简化数据管理。与此同时，Databricks 对 Tabular 的收购凸显了 Iceberg 在开放式湖仓一体平台中的首要作用，并强调了其对性能和治理的关注。此外，Snowflake 将 Polaris 开源的决定表明了该行业对开放性和互作性的承诺，进一步巩固了 Iceberg 作为领先表格格式的地位。

Delta Lake

Delta Lake 最初由 Databricks 开发，与 Apache Spark 密切相关。它与 Spark API 完全兼容，并与 Spark 的结构化流式处理集成，允许批处理和流式处理作。Delta Lake 的一个关键功能是它使用事务日志来记录对数据所做的所有更改，从而确保一致的视图和写入隔离。此设计支持并发数据作，使其适用于高吞吐量环境。

Apache Hudi

Apache Hudi 旨在应对实时数据摄取和分析的挑战，尤其是在需要频繁更新的环境中。其架构支持用于高效数据摄取的写入优化存储（WOS）和用于查询的读取优化存储（ROS），从而实现数据集的最新视图。通过逐步处理数据流中的更改，Hudi 促进了大规模实时分析。Bloom 筛选条件和全局索引等功能可优化 I/O作，从而提高查询和写入性能。此外，Hudi 还包括用于集群、压缩和清理的工具，这些工具有助于维护表的组织和性能。它处理记录级更新和删除的能力使其成为高速数据流和需要合规性和严格数据管理的场景的实用选择。

比较 Open Table 格式

Apache Iceberg、Delta Lake 和 Apache Hudi 都为数据湖仓一体架构带来了独特的优势。以下是基于主要特征的这些格式的比较概述：

ACID 事务：所有三种格式都符合 ACID 要求，确保可靠的数据作。Iceberg 采用快照隔离来实现事务完整性，Delta Lake 利用事务日志实现一致的视图和写入隔离，Hudi 为高并发场景提供文件级并发控制。
架构演变：每种格式都支持架构更改，允许添加、删除或修改列。Iceberg 提供灵活的架构演变，而无需重写现有数据，Delta Lake 在运行时强制执行架构以保持数据质量，Hudi 提供预提交转换以提高灵活性。
分区演变：Iceberg 支持分区演变，无需重写现有数据即可无缝更新分区方案。Delta Lake 允许分区更改，但可能需要手动干预才能获得最佳性能，而 Hudi 提供精细集群作为传统分区的替代方案。
时间旅行：这三种格式都提供时间旅行功能，允许用户查询历史数据状态。此功能对于审计和调试目的非常有用。
广泛采用：Iceberg 是数据社区最广泛采用的开放表格式。从 Databricks 到 Snowflake 再到 AWS，许多大型平台都投资了 Iceberg。如果您已经是这些生态系统的一部分或正在考虑加入它们，那么 Iceberg 可能会自然而然地脱颖而出。
索引：Hudi 提供多模式索引功能，包括 Bloom 过滤器和记录级索引，可以提高查询性能。Delta Lake 和 Iceberg 依赖于元数据优化，但无法提供相同级别的索引灵活性。
并发和流式处理：Hudi 专为实时分析而设计，具有高级并发控制和内置工具（如 DeltaStreamer）用于增量摄取。Delta Lake 支持通过更改数据源进行流式处理，而 Iceberg 提供基本的增量读取功能。

这些区别突出表明，虽然这三种格式都为现代数据架构提供了强大的基础，但最佳选择取决于特定的工作负载要求和组织需求。

性能预期

在数据湖仓一体架构中实现最佳性能对于充分利用开放表格式的功能至关重要。这种性能取决于存储层和计算层的效率。存储层必须提供低延迟和高吞吐量，以满足大规模分析需求。对象存储解决方案应有助于快速访问数据并支持高速传输，即使在高工作负载下也能确保平稳运行。此外，高效的每秒输入/输出作数（IOPS）对于处理大量并发数据请求至关重要，可实现无瓶颈的响应式数据交互。计算层性能同样重要，它直接影响数据处理和查询执行速度。Compute 引擎必须可扩展，才能在不影响性能的情况下管理不断增长的数据量和用户查询。采用优化的查询执行计划和资源管理策略可以进一步提高处理效率。此外，计算引擎需要与开放表格式无缝集成，以充分利用 ACID 事务、架构演变和时间旅行等高级功能。

开放式表格式还包含旨在提高性能的功能。这些也需要正确配置并用于完全优化的堆栈。其中一项功能是高效的元数据处理，其中元数据与数据分开管理，从而可以更快地进行查询规划和执行。数据分区将数据组织成子集，通过减少作期间扫描的数据量来提高查询性能。对架构演变的支持使表格式能够适应数据结构的变化，而无需进行大量的数据重写，从而确保灵活性，同时最大限度地减少处理开销。通过关注存储和计算层的这些性能方面，组织可以确保其数据湖仓一体环境高效、可扩展，并且能够满足现代分析和 AI 工作负载的需求。这些考虑因素使开放式表格格式能够充分发挥其潜力，提供实时洞察和决策所需的高性能。

开放数据湖仓一体和互作性

数据湖仓一体架构基于开放表格式构建，可提供统一的数据管理方法。但是，实现真正的开放性需要的不仅仅是采用开放的表格格式。开放数据湖仓一体必须集成模块化、可互作的开源组件，例如存储引擎、目录和计算引擎，以实现跨不同平台的无缝运行。开放表格式是开放标准，并且根据其设计，支持整个堆栈的互作性和开放性。然而，实际挑战仍然存在，例如确保目录互作性和避免依赖专有服务进行表管理。最近推出的 Apache XTable 等工具展示了通用兼容性的进展，为一次编写、随处查询的系统提供了一条途径。需要注意的是，XTable 不允许你以多种开放的表格格式写入，只允许读取。希望未来互作性的创新将继续建立在这些项目和其他围绕开放表格格式的项目之上。

Open Table 格式的未来

随着数据湖仓一体的不断发展，某些趋势和进步可能会塑造其未来。一个重要的增长领域可能是将 AI 和机器学习（ML）工作负载直接集成到湖仓一体架构中。对于存储层，这可能看起来像是与 Hugging Face 和 OpenAI 等关键 AI 平台直接集成的平台。对于计算层，AI 集成可能会导致创建针对 ML 算法优化的专用计算引擎，从而提高湖仓一体生态系统中训练和推理过程的效率。另一个显著增长的领域可能是开源社区。当 Databricks、Snowflake 和 AWS 等大型私营公司开始大展拳脚时，人们很容易忘记开放表格格式是真正的开放标准。Iceberg、Hudi 和 Delta Lake 可供任何贡献者、协作或集成到开源工具和平台中。换句话说，它们是充满活力且不断发展的开放标准数据生态系统的一部分。重要的是要记住，开源会带来开源。我们将看到开源应用程序、附加组件、目录和创新在该领域的持续激增。最后，随着企业为 AI 和其他高级用例构建大规模、高性能的数据湖仓一体，开放表格式的采用率将继续上升。一些行业专业人士将开放表格式的流行等同于 2000 年代初 Hadoop 的崛起和霸主地位。大数据已死;大数据万岁。

为今天和未来而构建

将开放表格式与高性能对象存储相结合，使架构师能够构建开放、可互作且能够满足 AI、ML 和高级分析需求的数据系统。通过采用这些技术，组织可以创建可扩展且灵活的架构，从而在数据驱动时代推动创新和效率。