打造 AI 的数据动脉:统一多模态数据流水线的架构与实践

Xiaochen Zhou

中文演讲 2026-08-09 13:30 GMT+8  (ROOM : 万寿山会议室) #dataops

摘要: 在 GenAI 时代,多模态数据的海量流动需要坚实的基础设施,然而割裂的数据流水线已成为企业的关键瓶颈。在同程旅行,我们历史上并行运行着 4 套互不相通的数据流水线服务(离线同步、实时入湖、老旧的 Sqoop,以及一套独立的 SeaTunnel 服务)。这种割裂带来了极高的维护成本,也阻碍了统一的数据治理。

本次演讲将详细讲解我们如何通过平台化,成功打造一条统一的"数据动脉"。我们将探讨如何整合数据入口,并基于 Apache SeaTunnel 构建真正"批流一体"的基础架构,全面支撑从传统数仓到现代 AI 场景的数据流转。

核心内容:

  1. 打破数据孤岛:深入讲解基于 Apache SeaTunnel 引擎设计的统一多模态数据流水线服务,平滑替换并整合 4 套老旧集成系统,实现彻底的架构标准化。
  2. 计算增强与 AI 多模态赋能:探讨如何将 SeaTunnel 的 Transform 机制与实时流处理能力深度融合,高效执行复杂的数据清洗与动态转换。我们将重点呈现对 AI 工作负载的硬核支撑,包括非结构化数据的实时解析,以及面向 LLM 的 Embedding 预处理。
  3. 零停机迁移与严格校验:分享海量存量任务迁移的企业级实践。我们将详细讲解所设计的"动态任务转换与双向数据比对(reconciliation)机制",确保在底层架构升级过程中零数据丢失,并实现业务的无缝过渡。
  4. 面向未来的云原生演进:展望多模态统一数据流水线的蓝图。我们将讨论基于 Kubernetes 的云原生容器化部署以实现弹性伸缩,以及如何与 LLM 生态深度融合,构建坚实的 Data+AI 底座。

讲师:


Xiaochen Zhou:同程旅行数据工程师 | Apache SeaTunnel Committer

Xiaochen Zhou 是同程旅行的数据工程师,也是活跃的 Apache SeaTunnel Committer。在当前岗位上,他专注于设计、构建和优化高性能数据流水线。在开源社区中,他深度参与 Apache SeaTunnel 的核心开发与技术演进。近来,他的重心转向数据与 AI 的交汇领域,致力于为 GenAI 时代架构统一的多模态数据流水线。