TECH

使用 Apache Arrow 进行快速数据交换

这是一系列文章中的第一篇，旨在揭开 Arrow 作为数据库和查询引擎的数据交换格式的神秘面纱。

来源： https://mp.weixin.qq.com/s/ZUnyWRJCZP7XqN1brmbqEQ

修订记录

原文总结

• 这是一系列文章中的第一篇，旨在揭开 Arrow 作为数据库和查询引擎的数据交换格式的神秘面纱。

我的感想

1. Arrow 格式为列式格式，在列式源和列式目标之间传输数据的最有效方法是使用列式传输格式。
2. Arrow 格式是自描述和类型安全的。此外，Arrow 的类型系统类似于许多广泛使用的数据源和目标的类型系统，在许多情况下与它们相同或是一个超集。这包括大多数列式数据系统和许多面向行的系统，例如 Apache Spark 和各种关系数据库。使用 Arrow 格式时，这些系统可以在其本机类型和相应的 Arrow 类型之间快速安全地转换数据值。
3. Arrow格式启用零拷贝。零拷贝作是指将数据从一个介质传输到另一个介质而不创建任何中间副本的操作。当数据格式支持零拷贝作时，这意味着它在内存中的结构与其在磁盘或网络上的结构相同。

落地实践

1. 结合当前场景补充可执行动作。
2. 明确前置条件与风险边界。