顺丰速运与 Apache Spark 和 Gluten 的合作之旅
Weiting Chen, Xixu Wang, Feilong He
中文演讲 2025-07-27 16:45 GMT+8 (ROOM : 万春厅) #datalake顺丰速递的研讨会深入探讨了他们在生产环境中对 Apache Spark 和 Apache Gluten 的使用情况。研讨会探讨了当前瓶颈的识别、选择 Gluten 作为 Spark 插件的原理、对矢量化引擎的需求、该领域的持续研究,以及他们在实际运营中取得的切实成本节约和性能提升。研讨会深入分析了顺丰速递面临的挑战、决策过程以及在其大规模数据处理流程中采用矢量化引擎所带来的变革性影响。研讨会还将介绍顺丰速递如何选择 Gluten 和 Velox 作为其原生引擎解决方案、如何将 Gluten 与现有 Spark 设置集成、在生产环境中采用 Gluten 后实现的成本节约和性能提升,以及他们对 Spark 和 Gluten 的未来规划。
讲师:
Weiting Chen: 英特尔,高级软件工程师
Weiting 是英特尔数据中心和人工智能事业部的高级软件工程师。他拥有十年从业经验,专注于大数据和云解决方案。他为 Spark、OpenStack 以及最近的 Apache Gluten(孵化项目)等项目做出了重要贡献,是该项目的初始提交者之一。他的职责之一是利用硬件潜力来提升大数据工作负载的性能。
Xixu Wang: 顺丰科技,大数据平台研发高级工程师,apache doris committer, apache kudu pmc 成员
先后在百度,微博,小米,神策工作过,主要从事大数据计算引擎,存储引擎开发,先后参与Apache Doris, Apache Kudu, Apache Gluten开发,在大数据领域有着丰富的经验
后台在百度,微博,小米,神策工作过,主要从事大数据计算引擎,存储引擎开发,后台参与Apache Doris、Apache Kudu、Apache Gluten开发,在大数据领域拥有丰富的经验
Feilong He: 英特尔,软件工程师
Feilong He是英特尔的一名软件工程师,在数据处理领域拥有超过七年的经验。他作为开发者积极参与Apache孵化中的Gluten项目以及Meta开源的Velox项目。他目前是Gluten项目的Committer和PPMC成员。Feilong是Gluten项目的重要贡献者,推动了该项目在多个科技公司的落地,包括Microsoft、Google、Uber、Pinterest、字节跳动和百度等。他曾是英特尔Smart Storage Management项目的主要维护者,负责对 Hadoop 分布式文件系统(HDFS)进行性能优化,该项目已在多个国内企业用户中部署应用。Feilong拥有中山大学计算机科学硕士学位,研究方向为大规模优化。其研究成果发表在权威学术期刊《Information Sciences》。