RBIR:用 Rust 重写大数据

Hao Ding

中文演讲 #rust

Rust 正迅速成为数据基础设施领域的关键参与者,许多新的大数据系统正在用 Rust 开发。这一趋势被称为“用 Rust 重写大数据”(RBIR),旨在使用 Rust 构建一个现代化的大数据生态系统。RBIR 包含三种方法:创建基于 Rust 的新项目、用 Rust 重新实现现有系统以及将 Rust 支持的组件集成到其他语言中。Rust 蓬勃发展的社区、卓越的工具和丰厚的投资回报推动了这一趋势。本次演讲将探讨 RBIR 背后的动机,重点介绍一些成功的项目,并讨论开发者如何为这个不断发展的生态系统做出贡献。

讲师:


Hao Ding(艺名 Xuanwo)是数据自由的积极倡导者,也是开源社区的积极贡献者。作为 ASF 成员、Apache OpenDAL PMC 主席以及 Apache 孵化器导师,玄我致力于构建一个生态系统,让用户能够使用任何语言、任何方法、任何服务访问任何数据。

Xuanwo 深谙 Rust 和分布式数据系统,积极贡献并维护着多个高影响力的开源项目,包括:

opendal – 一个统一的数据访问层,可与各种存储服务无缝集成。 iceberg-rust – Apache Iceberg 的 Rust 实现。 paimon-rust – Apache Paimon 的 Rust 实现。 arrow-rs – Apache Arrow 的官方 Rust 实现。 databend – 一个针对实时分析优化的现代云数据仓库。 sccache – 用 Rust 编写的共享编译缓存。