Apache Iceberg 的隐藏超能力:治理、实验与自主未来
Shekhar Prasad Rajak
英文演讲 #datalake大多数关于 Apache Iceberg 的演讲都热衷于谈论时间旅行和 ACID 合规性——这已经不足为奇了。但那些鲜为人知的功能呢?那些能够将混乱转化为秩序、将实验转化为胜利、将静态表格转化为自主驱动力的功能——让你的数据平台能够自我思考?欢迎来到这里,我们将一起探索 Iceberg 的隐藏工具包。
以下是 30 分钟深入探讨的计划:首先用 5 分钟介绍为什么 Iceberg 的隐藏功能比基础知识更耀眼。接着用 6 分钟探讨治理——使用快照实现合规性,利用 REST Catalog 实现动态控制。然后,用 6 分钟介绍分支——使用快照和 Nessie 进行无风险实验。之后,用 5 分钟介绍指标——通过报告和扫描统计来提升速度。再用 6 分钟介绍自主 Iceberg——结合 REST Catalog 和模型上下文协议(MCP),这是一个未来愿景,即 Iceberg 与 AI 代理协同工作。
讲师:
Shekhar 对开源软件充满热情,并积极参与多个项目,包括 SymPy、Ruby gems(如他编写的 daru 和 daru-view)、Bundler、NumPy 和 SciPy。 他在 2016 年和 2017 年成功完成了 Google 编程之夏(Google Summer of Code)项目,并担任 SciRuby 的管理员,指导了多个组织。 Shekhar 曾在 RubyConf 2018、PyCon 2017、ApacheCon 2020 和 Community Over Code 2024 等知名会议上发表演讲,并在众多地区性聚会上分享过见解。目前,他在苹果公司担任软件开发工程师。