Iceberg 故障剖析:来自真实线上升级事件的经验教训
Noémi Pap-Takács, Boglárka Egyed
英文演讲 2026-08-07 16:45 GMT+8 (ROOM : 万春厅) #datalakeApache Iceberg 通过引入 ACID 事务和灵活的表更新,彻底改变了数据湖。然而在企业级规模下,“放手不管"式的管理只是一种幻想。如果没有正确的维护策略,高吞吐系统往往会饱受存储成本上升、查询性能退化乃至故障的困扰。
在本次演讲中,我们将剖析真实的客户升级事件——从因不得不处理海量元数据而崩溃的系统,到因多个并发写入者持续更新数据而导致清理任务被阻塞的情况。
听众将超越文档,学到一份经过验证的实用指南:从四处"救火"转向主动管理,让数据湖保持健康和高性能。
我们将涵盖:
- 可观测性:需要监控的关键指标,以便在问题升级为事件之前发现健康隐患。
- 性能技巧:降低存储与计算成本。
- 维护策略:配置维护特性并调度 compaction 作业,同时不锁死生产写入者。
- 恢复:如何修复表并从故障中恢复。
讲师:

Noémi Pap-Takács:Apache Impala Committer
Noémi Pap-Takács 是 Cloudera 的软件工程师,也是 Apache Impala 项目的 committer。她的专长在于性能优化以及将 Apache Iceberg 集成到 Impala 中。

Boglárka Egyed:Cloudera 工程总监
Boglárka Egyed 是 Cloudera 的工程总监,带领着 Apache Impala 和 Hive 背后的团队。她从汽车工程师转型为大数据爱好者,在转向管理岗位之前,她曾作为 Apache Sqoop 开发者工作多年。如今,她专注于扩大工程卓越性,并为现代数据架构推进开源创新。