TECH

B站基于Iceberg的湖仓一体架构实践

在B站,每天都有PB级的数据注入到大数据平台,经过离线或实时的ETL建模后,提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据,如何高效低成本地满足下游数据的分析需求,一直是我们重点的工作方向。

topic: lakehouse type: 笔记 origin: 笔记 score: 9 addedAt: 2023-10-07

来源: https://mp.weixin.qq.com/s/BsZeAwkQjtzpvi3Ku-b2Rg


修订记录

版本时间说明
v12023-10-07初稿

原文总结

  • 在B站,每天都有PB级的数据注入到大数据平台,经过离线或实时的ETL建模后,提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据,如何高效低成本地满足下游数据的分析需求,一直是我们重点的工作方向。

我的感想

上面几篇文章都是来自B站,而B站在这一块做得非常不错;

落地实践

  1. 结合当前场景补充可执行动作。
  2. 明确前置条件与风险边界。

评论