TECH

网易基于DataOps构建数据生产流水线

本次分享的主题是基于DataOps构建数据生产流水线。文章将围绕下面五点展开：

来源： https://mp.weixin.qq.com/s/eBSkVCIifbvpp7NOXixg2g

修订记录

原文总结

• 本次分享的主题是基于DataOps构建数据生产流水线。文章将围绕下面五点展开：

我的感想

DataOps理念落地的一篇文章，讲得很完整，非常好。这里有两个DAG：一个是参考CICD的数据发布流水线，一个是核心的调度（比如Dolphin）； 网易数帆认为，DataOps是⼀种将软件⼯程CI/CD的⽅法融⼊数据开发的流程，基于⾃动化的数据测试、任务发布等技术，构建数据发布流⽔线，使得数据开发效率更⾼、交付更加频繁，交付质量更有保障。 DataOps要解决的问题： 研发过程中需求频繁变化的情况下，确保数据的质量。 数据开发人员能够更快速地分阶段完成数据开发，阶段性成果能够更快速地被验证。 通过引⼊数据测试，让数据质量通过系统工具得到保障。

落地实践

1. 结合当前场景补充可执行动作。
2. 明确前置条件与风险边界。