顺丰速运与 Apache Spark 和 Gluten 的合作之旅
Weiting Chen
中文演讲 #datalake顺丰速递的研讨会深入探讨了他们在生产环境中对 Apache Spark 和 Apache Gluten 的使用情况。研讨会探讨了当前瓶颈的识别、选择 Gluten 作为 Spark 插件的原理、对矢量化引擎的需求、该领域的持续研究,以及他们在实际运营中取得的切实成本节约和性能提升。研讨会深入分析了顺丰速递面临的挑战、决策过程以及在其大规模数据处理流程中采用矢量化引擎所带来的变革性影响。研讨会还将介绍顺丰速递如何选择 Gluten 和 Velox 作为其原生引擎解决方案、如何将 Gluten 与现有 Spark 设置集成、在生产环境中采用 Gluten 后实现的成本节约和性能提升,以及他们对 Spark 和 Gluten 的未来规划。
讲师:
Weiting 是英特尔数据中心和人工智能事业部的高级软件工程师。他拥有十年从业经验,专注于大数据和云解决方案。他为 Spark、OpenStack 以及最近的 Apache Gluten(孵化项目)等项目做出了重要贡献,是该项目的初始提交者之一。他的职责之一是利用硬件潜力来提升大数据工作负载的性能。