TECH
B站基于Iceberg的湖仓一体架构实践
在B站,每天都有PB级的数据注入到大数据平台,经过离线或实时的ETL建模后,提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据,如何高效低成本地满足下游数据的分析需求,一直是我们重点的工作方向。
来源: https://mp.weixin.qq.com/s/BsZeAwkQjtzpvi3Ku-b2Rg
修订记录
| 版本 | 时间 | 说明 |
|---|---|---|
| v1 | 2023-10-07 | 初稿 |
原文总结
- 在B站,每天都有PB级的数据注入到大数据平台,经过离线或实时的ETL建模后,提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数据,如何高效低成本地满足下游数据的分析需求,一直是我们重点的工作方向。
我的感想
上面几篇文章都是来自B站,而B站在这一块做得非常不错;
落地实践
- 结合当前场景补充可执行动作。
- 明确前置条件与风险边界。
评论