TECH

ELT已死，EtLT才是现代数据处理架构的终点

提到数据处理，经常有人把它简称为“ETL”。但仔细说来，数据处理经历了ETL、ELT、XX ETL（例如，Reverse ETL、Zero-ETL）到现在流行的EtLT架构几次更迭。目前大家使用大数据Hadoop时代，主要都是ELT方式，也

来源： https://mp.weixin.qq.com/s/xfDD-Nat_pcBL5s2U5ZiOA

修订记录

原文总结

• 提到数据处理，经常有人把它简称为“ETL”。但仔细说来，数据处理经历了ETL、ELT、XX ETL（例如，Reverse ETL、Zero-ETL）到现在流行的EtLT架构几次更迭。目前大家使用大数据Hadoop时代，主要都是ELT方式，也

我的感想

对EtLT架构解释地不错，湖仓一体中的数据集成，也需要参考EtLT，并且我加一个：EtL阶段：以数据工程师为主，他们将复杂异构的混合数据源，变为数据仓库或者数据联邦可加载的数据，放到数据存储当中，他们无需对企业指标计算规则有深入理解，但需要对各种源数据和非结构化数据变为结构化数据转化有深入理解。他们需要确保的是数据的及时性、数据源到结构化数据的准确性。T阶段：以数据分析师、各业务部门数据SQL开发者、AI工程师为主，他们深刻理解企业业务规则，可以将业务规则变为底层结构化数据上的SQL语句进行分析统计，最终实现企业内部的数据分析和AI应用的实现，他们需要确保的是数据逻辑关系、数据质量以及最终数据结果满足业务需求。运维治理阶段：集群SRE工程师，以大数据平台团队为主，深刻理解数据湖的底层架构，进行小文件治理，数据clustering等，排查作业问题，各方面（组件优化，组件治理）提升作业性能，所以需要 湖仓管理服务。

落地实践

1. 结合当前场景补充可执行动作。
2. 明确前置条件与风险边界。