什么是零 ETL？引入数据集成的新方法
Posted: Tue Dec 03, 2024 4:05 am
在现代企业中，越来越需要最大限度地缩短部署数据洞察所需的时间。需要一种快速的方法来加速从数据收集到分析、人工智能和机器学习实施的转变。
传统的 ETL（提取、转换、加载）架构在满足大数据和实时数据分析的技术需求方面面临挑战。因此，一种称为零 ETL 的新型数据管理架构应运而生，旨在最大限度地减少或消除对 ETL 流程的需求。
什么是零 ETL？
Zero-ETL 是一种集成系统，旨在消 vnpay 数据库 除或减少创建ETL 数据管道的需要。通过实现跨不同数据孤岛的查询而无需物理移动数据，zero-ETL 旨在简化数据处理并提高效率。
“零 ETL” 一词是在 2022 年 AWS re:Invent 大会上提出的，当时宣布了 Amazon Aurora 与Amazon Redshift的集成。从那时起，AWS 就推进了这一概念，主要是通过支持在数据平台内直接进行数据分析和转换而无需单独的 ETL 管道的服务。
在典型的 ETL 数据处理管道中，数据专业人员（例如数据工程师或数据科学家）从来源（例如数据库、API、JSON 或 XML 文件）收集数据。
提取数据后，会应用各种转换，例如合并数据、执行计算、合并表或删除不必要的信息（如时间戳或用户 ID）。
最后，将转换后的数据加载到平台中以进行进一步分析，例如机器学习、统计分析或数据可视化。由于该过程的复杂性，需要大量的时间、成本和精力。
传统的 ETL 管道
传统 ETL 架构
考虑一下这个类比：在传统摄影中，照片是用负片拍摄的（数据提取），在暗室中处理（转换），然后显影和显示（加载）。现在，想象一下数码相机，照片的拍摄、显影和显示（或在现场直播中即时传输）都在一个地方完成。
同样，零 ETL 通过消除提取、转换和加载来改变数据处理。这种架构最大限度地减少了数据移动，使我们能够在单一平台内转换和分析所有数据。
Zero-ETL 承诺为数据科学家和业务利益相关者提供实时或最小延迟的数据分析。
零 ETL 如何工作？
Zero-ETL 通过将数据源直接链接到数据仓库或数据湖来简化数据集成，确保实时数据可用于分析和报告。这通过多种基于云的技术和服务实现，例如：
数据库复制
数据库复制是将数据从一个数据库复制并同步到另一个数据库的过程。
在数据库和数据仓库之间的零 ETL 环境中，复制可确保数据仓库中的数据实时或近实时地自动更新，从而无需单独的 ETL 流程。Amazon Aurora 与 Amazon Redshift 之间的集成就是这种情况。
联合查询
联合查询是指跨多个数据源（例如数据库、数据仓库或数据湖）运行查询的能力，而无需将数据移动或复制到单个位置。
关于零 ETL，联合查询允许数据专业人员直接访问和分析存储在不同数据平台中的数据，提供统一的数据视图，而无需传统 ETL 流程的开销。
数据流
数据流是指数据生成时连续、实时的处理和传输。
在零 ETL 中，数据流涉及从多个来源（如数据库、物联网设备或应用程序）捕获数据并立即将其传送到数据仓库或数据湖。这确保数据几乎可以立即用于分析和查询，而无需批量 ETL 流程。
就地数据分析
为了实现就地数据分析，需要将必要的转换集成到云数据平台（例如数据湖）中。这种集成允许在数据所在的位置直接进行实时数据处理和分析，从而减少延迟并提高效率。
例如，以 JSON 或 XML 格式收集的非结构化数据将使用数据湖内部的“读取时模式”技术进行转换和分析，从而消除了数据移动到可用于报告的存储的中间步骤。
零 ETL 数据架构
零 ETL 数据架构示例
零 ETL 的不同组件
虽然零 ETL 架构听起来好像没有组件，或者所有组件
传统的 ETL（提取、转换、加载）架构在满足大数据和实时数据分析的技术需求方面面临挑战。因此，一种称为零 ETL 的新型数据管理架构应运而生，旨在最大限度地减少或消除对 ETL 流程的需求。
什么是零 ETL？
Zero-ETL 是一种集成系统，旨在消 vnpay 数据库 除或减少创建ETL 数据管道的需要。通过实现跨不同数据孤岛的查询而无需物理移动数据，zero-ETL 旨在简化数据处理并提高效率。
“零 ETL” 一词是在 2022 年 AWS re:Invent 大会上提出的，当时宣布了 Amazon Aurora 与Amazon Redshift的集成。从那时起，AWS 就推进了这一概念，主要是通过支持在数据平台内直接进行数据分析和转换而无需单独的 ETL 管道的服务。
在典型的 ETL 数据处理管道中，数据专业人员（例如数据工程师或数据科学家）从来源（例如数据库、API、JSON 或 XML 文件）收集数据。
提取数据后，会应用各种转换，例如合并数据、执行计算、合并表或删除不必要的信息（如时间戳或用户 ID）。
最后，将转换后的数据加载到平台中以进行进一步分析，例如机器学习、统计分析或数据可视化。由于该过程的复杂性，需要大量的时间、成本和精力。
传统的 ETL 管道
传统 ETL 架构
考虑一下这个类比：在传统摄影中，照片是用负片拍摄的（数据提取），在暗室中处理（转换），然后显影和显示（加载）。现在，想象一下数码相机，照片的拍摄、显影和显示（或在现场直播中即时传输）都在一个地方完成。
同样，零 ETL 通过消除提取、转换和加载来改变数据处理。这种架构最大限度地减少了数据移动，使我们能够在单一平台内转换和分析所有数据。
Zero-ETL 承诺为数据科学家和业务利益相关者提供实时或最小延迟的数据分析。
零 ETL 如何工作？
Zero-ETL 通过将数据源直接链接到数据仓库或数据湖来简化数据集成，确保实时数据可用于分析和报告。这通过多种基于云的技术和服务实现，例如：
数据库复制
数据库复制是将数据从一个数据库复制并同步到另一个数据库的过程。
在数据库和数据仓库之间的零 ETL 环境中，复制可确保数据仓库中的数据实时或近实时地自动更新，从而无需单独的 ETL 流程。Amazon Aurora 与 Amazon Redshift 之间的集成就是这种情况。
联合查询
联合查询是指跨多个数据源（例如数据库、数据仓库或数据湖）运行查询的能力，而无需将数据移动或复制到单个位置。
关于零 ETL，联合查询允许数据专业人员直接访问和分析存储在不同数据平台中的数据，提供统一的数据视图，而无需传统 ETL 流程的开销。
数据流
数据流是指数据生成时连续、实时的处理和传输。
在零 ETL 中，数据流涉及从多个来源（如数据库、物联网设备或应用程序）捕获数据并立即将其传送到数据仓库或数据湖。这确保数据几乎可以立即用于分析和查询，而无需批量 ETL 流程。
就地数据分析
为了实现就地数据分析，需要将必要的转换集成到云数据平台（例如数据湖）中。这种集成允许在数据所在的位置直接进行实时数据处理和分析，从而减少延迟并提高效率。
例如，以 JSON 或 XML 格式收集的非结构化数据将使用数据湖内部的“读取时模式”技术进行转换和分析，从而消除了数据移动到可用于报告的存储的中间步骤。
零 ETL 数据架构
零 ETL 数据架构示例
零 ETL 的不同组件
虽然零 ETL 架构听起来好像没有组件，或者所有组件