今天的 AI 并不慢——单个请求几秒内就能返回结果。但这种"在线实时"本质上是由请求触发的被动推理，而真实世界产生的数据却是一连串持续的事件流。当 AI 需要在实时数据流上做连续、增量且有状态的处理时，我们便进入了一种全新范式——流式 AI（Streaming AI）。它带来一系列独特挑战：把多模态数据作为流处理流水线中的一等公民；在流处理运行时内支持本地执行的计算，例如视频解码、图像处理以及在运行时中借助 GPU 进行小模型推理，而非绕道远程服务；将 Agent 式的多步推理、工具调用、上下文与记忆管理与事件驱动的流处理相融合；并复用流处理在 join、聚合、状态管理和时间语义方面的深厚积累，而非从零重建。

Flink 正通过一系列进展来应对这些挑战：把音频、视频、图像和向量等多模态数据处理为一等数据；为 Flink 运行时内的本地计算提供 GPU 调度；Flink Agents 将带有上下文管理、记忆和工具调用的 Agent 原生嵌入流处理之中；以及为 AI 与数据工程师提供统一、简洁接口的 DataFrame API。这些进展与 Flink 在流式状态和时间语义上的核心优势相结合，共同定义了 Flink 的新角色——流式 AI 的统一底座。

本次演讲将以一个基于 Flink 构建的实时 AI 体育解说系统作为端到端案例：从直播帧抽取与视觉理解，到结合上下文的解说生成，再到与播出画面同步的 TTS 合成。一个看似简单的"AI 解说员"，会同时用到上述每一项能力。

听众将带走对流式 AI 核心挑战的清晰认识、Flink 最新的 AI 能力、一套可复用的多模态流水线架构，以及在生产中平衡延迟、成本与模型质量的工程洞察。

讲师:

Xintong Song：Apache Flink PMC 成员，阿里云高级主任工程师

Xintong 是 Apache Flink PMC 成员，也是 Flink Agents 子项目的主要推动者。他同时是阿里云的高级主任工程师，带领团队从事 Flink 与 AI、湖仓（Lakehouse）融合方向的工作。此前，他在北京大学获得计算机科学博士学位。