本环节将深入探讨伊利集团在使用 Apache DolphinScheduler（一款强大的开源工作流编排工具）过程中的实施历程。我们将分享如何针对大规模乳品生产及供应链管理需求对 DolphinScheduler 进行定制化的实践经验，包括：

1. 定制开发：
   • 扩展复杂ETL工作流的功能，资源配额管理，以及与内部系统（如ERP、物联网平台）的集成。
   • 在混合云环境中进行高并发任务调度的优化策略。
2. 监控与告警：
   • 增强的监控仪表盘，用于实时跟踪工作流健康状况、任务延迟和资源利用率。
   • 与企业通信工具（如钉钉、WeCom）集成的自定义告警机制。
3. 运营最佳实践：
   • 集群性能调优、灾难恢复及版本升级策略的经验总结。
   • 基于指标驱动的方法提升系统稳定性并降低运维成本。
4. 社区协作：
   • 向Apache DolphinScheduler社区贡献功能增强及 bug 修复。

讲师:

一位拥有 10 年以上经验 的 大数据架构师与技术负责人，专注于 OLAP 优化（StarRocks、Spark）、实时数据湖（Flink、Paimon） 和 多云集成。

在伊利集团，他主导了 StarRocks 的落地应用，通过 DolphinScheduler 和 DataX 将查询速度提升了 10 倍，并将 ETL 开发时间缩短了 20 倍。