在当今人工智能+大数据时代，企业面临着海量数据快速增长和需求多样化的挑战。结合 Apache Flink/Spark 两大主流分布式计算引擎，企业可以构建灵活的实时和批量数据处理流水线。然而，在大规模流处理服务集群环境下，可观测性面临诸多挑战，主要包括弹性任务的动态感知、海量可观测数据以及对实时性的严格要求。LoongCollector 作为一款全栈可观测数据收集器，可以帮助用户高效地收集和处理日志、指标和追踪数据。本次演讲将重点探讨如何通过 LoongCollector 实现 Flink/Spark 企业级可观测性的最佳实践。 提纲： ● Apache Flink/Spark 大规模集群可观测性挑战 ● LoongCollector 可观测性能力及架构详解 ● LoongCollector 在大规模 Apache Flink/Spark 集群中可观测性的最佳实践 ● 未来展望

讲师:

曾就职于阿里云简易日志服务团队，主要负责可观察数据收集器、网关服务监控、海量数据访问管理等工作。

个人链接： Github：https://github.com/linrunqi08 阿里云开发者社区：https://developer.aliyun.com/profile/xfmif6w7kun52

演讲经历： 2022 QECon “云服务 API 可观察性构建实践” https://max.book118.com/html/2022/0824/8076007016004132.shtm