摘要：
在构建大数据平台的过程中，我们从基于Apache Hadoop生态系统的传统部署模式，过渡到通过JuiceFS实现存储与计算分离，最终迁移至以Kubernetes为核心的调度系统。这一技术演进涵盖存储、计算和集群架构三个方面，旨在提升数据处理效率。

存储优化
通过用JuiceFS替换HDFS，我们实现了集中式存储与弹性计算的结合，解决了云环境中容量扩展和资源利用率的挑战。

计算调度
从YARN迁移到Kubernetes后，我们重点优化了作业调度策略、资源隔离和作业稳定性，以提升调度效率。

集群架构优化 通过整合Kubernetes与JuiceFS，我们构建了可扩展的云原生架构，解决了大数据框架（如Apache Spark、Flink）在云环境中的兼容性和可扩展性问题，确保了大规模AI和数据处理任务的高效执行。

讨论主题 本次会议将分享我们的技术实践与洞察，包括：

Apache项目（Hadoop、Spark、YARN）的适配经验 架构演进阶段遇到的挑战，如JuiceFS元数据性能、Spark在对象存储上的Shuffle操作，以及Flink检查点可靠性问题，这些问题通过社区协作得以解决 在推进开源技术生态系统的同时保持生产稳定性的策略，平衡创新与系统可靠性以避免运营风险 我们旨在为正经历类似转型的团队提供可操作的参考，分享关键技术选型及不同阶段迁移路径的决策逻辑。本案例研究记录了大数据平台的企业级演进过程，并为采用云原生架构的团队提供实践性指导。

讲师:

Li Auto 大数据基础设施负责人 负责构建服务于100万辆以上联网车辆的100PB级数据平台

核心专长 为百度广告和京东广告构建流式处理引擎及 OLAP 系统 为字节跳动设计EB级数据湖及 100万核资源调度框架