蚂蚁集团基于 Apache Celeborn 的大规模 Shuffle 实践

Erik Fang

中文演讲 #datastorage

每天处理 PB 级别的 shuffle 数据对批处理作业，尤其是 shuffle 性能，提出了重大挑战。 在本次演讲中，Erik 将介绍蚂蚁集团如何将 Apache Celeborn 与 Spark 结合使用，深入探讨正确性验证、瓶颈诊断、性能优化以及与 DFS 集成等几个主题。

讲师:


Erik Fang，蚂蚁集团软件工程师，技术负责人