在字节跳动规模下,利用A pache Gluten 加速 Spark 作业
Weiting Chen
中文演讲 #olap在本次演讲中,我们将介绍字节跳动如何利用基于开源 Gluten 框架和内部原生加速引擎 Bolt 的原生引擎,在 Spark 使用场景中实现显著的成本节约。Apache Gluten 作为中间件,能够无缝集成原生后端并增强 Spark性能,发挥着关键作用。我们还将分享在EB级数据仓库的生产环境中部署 Gluten 的最佳实践,以及在性能和兼容性方面的优化,同时介绍我们未来的路线图。
讲师:
Weiting Chen 是英特尔数据中心与人工智能集团的高级软件工程师。他拥有十年的工作经验,专注于大数据和云解决方案。他曾在 Spark、OpenStack 等项目中做出重要贡献,最近作为初始提交者之一,参与了 Apache Gluten(孵化中)项目。他的职责之一是挖掘硬件潜力,以提升大数据工作负载的性能。