AI 工作负载——自动驾驶与大语言模型——的兴起，正在从根本上重塑数据处理范式。数据已从结构化的表格转变为 PB 级的多模态文件；处理粒度从分区级细化到了帧级/文档级；任务依赖图也从线性的 ETL 流水线，演进为具备动态并行与条件分支的复杂工作流。传统调度系统围绕结构化数据、静态 DAG 与同构资源而建，正面临前所未有的挑战。

本次演讲基于小米在自动驾驶与大语言模型业务中、每天编排数百万任务实例的生产经验。我们审视四个核心挑战——超越静态 DAG 的动态执行、跨 YARN/K8s/GPU 上 Spark/Flink/脚本的异构资源编排、百万级调度吞吐，以及数据事件驱动的多条件触发——并给出我们的解决方案。亮点包括：声明式的基于 YAML 的工作流定义；一次带来调度吞吐 10 倍提升的架构升级；将利用率提升 50% 的资源画像与资源池化治理；以及我们在 Agent 驱动的开发与运维上的探索。

讲师:

LiWei Yang：软件研发工程师

小米高级软件研发工程师，负责大数据开发平台的数据工程方向。Kestra、Apache Gravitino 与 Apache DolphinScheduler 的贡献者。