Parquet 已死?一位列存巨头在 AI 时代的演进
Gang Wu, Zehua Zou
中文演讲 2026-08-07 17:15 GMT+8 (ROOM : 百望山会议室) #olap诞生于 Hadoop 时代的 Apache Parquet 如今已有十余年历史。随着 AI 工作负载对超宽表、高维向量嵌入(embedding)以及复杂半结构化数据提出需求,Lance、Vortex、Nimble 等新兴选手纷纷登场,将自己定位为"Parquet 杀手"。业界最无处不在的列式格式,是否终于走到了暮年?
在本次演讲中,我们将拨开炒作的迷雾,剖析 Parquet 的现状及其雄心勃勃的 2026 年路线图。我们会探讨为什么 Parquet 的生态依然是它"不可撼动的护城河"——从各大主流查询引擎到 Hugging Face 这样的 AI 枢纽——更重要的是,它如何正在经历一次根本性的技术重生,以应对现代挑战。
本次演讲围绕三大核心支柱展开:
- 挑战者格局:我们将分析 Lance(随机访问)和 Nimble(元数据效率)等现代格式旨在填补的性能差距,正视"经典" Parquet 在以 AI 为中心的工作负载下的局限。
- Parquet 的"自我进化":我们将深入剖析 Apache Parquet 社区中的最新架构突破: (1) 新的原语能力:探索兼具类似 JSON 的灵活性与列式性能的 Variant 类型,以及面向专门分析的 Geometry 类型。 (2) 下一代编码:介绍 ALP(自适应无损浮点编码)与 FSST(快速静态符号表),以实现极致压缩与字符串加速。 (3) 架构现代化:从 Thrift 迁移到 FlatBuffers,以解决拥有数万列的表的元数据瓶颈。
- 跨项目协同:Parquet 如何与 Apache Iceberg 协作,以支持原生的列级更新、二级索引以及非结构化数据存储。
讲师:

Gang Wu:Singdata 软件工程师
Gang 是 Singdata 的软件工程师,从事湖仓存储相关工作。他是 Apache Arrow、Apache ORC、Apache Parquet 的 PMC 成员,以及 Apache Iceberg 的 committer,同时也是 ASF 成员。在加入 Singdata 之前,他曾分别在 Uber 从事 Apache Spark 相关工作,以及在阿里巴巴从事 MaxCompute 云数据仓库相关工作。

Zehua Zou:Singdata 软件工程师
我是 Arrow、Parquet、Iceberg 等项目的贡献者。