随着 Apache Kafka 步入 4.0 时代，不仅底层架构经历了历史性的变革，Kafka Streams 在开发者体验与运维机制上也经历了一系列演进。本次演讲将带领听众了解 Kafka Streams 4.0 之后的关键更新，分析这些特性如何从根本上重塑有状态流应用的生命周期。

本次演讲将围绕三个核心维度展开：

1. 拓扑优化与数据驾驭 我们将探讨如何编写更轻量、更具表达力的 DSL 拓扑。借助 KIP-1104，开发者可以直接从 Key 或 Value 中提取外键（foreign key），大幅减少不必要的数据冗余和 state store 开销。此外，我们还会分析 KIP-1271 和 KIP-1285（支持 Headers 的 State Store，Headers-Aware State Stores）。此前，为了防止 Trace ID 或租户标签等元数据在有状态节点中丢失，开发者往往不得不把这些系统信息"硬塞"进纯业务负载（Value）中，导致数据结构臃肿、代码冗余。这两个提案最终让 state store 能够原生保留 Headers，使开发者可以将业务逻辑与系统信息干净地解耦。

2. 弹性与端到端可观测性 在生产环境中，网络波动和瞬时故障在所难免。我们将演示如何利用 KIP-1065 在 ProductionExceptionHandler 中引入的原生 RETRY 机制，构建具备自愈能力的处理管道。随后，我们将把 KIP-1112（自定义 Processor 包装，Custom Processor Wrapping）与支持 Headers 的 state store 结合起来，展示如何在整个拓扑中无缝注入 OpenTelemetry tracing 逻辑，在有状态节点之间实现真正的端到端（E2E）Tracing。

3. 无缝扩缩容与运维 最后，我们将探讨大规模集群扩缩容的运维痛点。我们会介绍 KIP-1106（基于时长的 Offset 重置，Duration-Based Offset Reset）如何帮助开发者在 Tiered Storage 中处理无限保留（infinite-retention）的 topic 时精确控制数据重放范围，避免无意义的算力浪费。我们还会深入讲解 KIP-1071（Streams Rebalance 协议，Streams Rebalance Protocol），探究为什么此前的 Cooperative Rebalancing 在大集群中仍会出现"Sync Barrier"等待时延，以及因处理超时而引发的"Rebalance 风暴"。通过剖析 KIP-1071 中新引入的服务端驱动分配（server-side driven assignment）与独立的 Background Heartbeat 机制，我们将展示 Kafka 4.0 如何彻底消除扩缩容过程中的性能抖动，带领开发者迈入真正无缝的后台扩缩容时代。

目标听众： 无论你是力求精简拓扑代码的数据工程师、专注于系统追踪的架构师，还是追求零停机扩缩容的 SRE，听众都能从本次演讲中获得实用的架构洞见与代码示例，全面掌握 Kafka Streams 的下一代能力。

核心收获：

• 通过实际的 DSL 代码示例，了解如何使用新 API 消除冗余的转换逻辑，让流式应用回归干净、可维护的业务本质。
• 掌握如何在不污染业务代码的前提下，优雅地集成端到端（E2E）Tracing 与原生错误重试机制，提升生产环境下的系统可观测性。
• 深入理解服务端 rebalance 与独立心跳线程的底层机制，让团队在未来 Kafka 升级、日常部署或大规模集群扩展时，能够做出更有底气的架构决策。

讲师:

PoAn Yang：ASF，Apache Kafka / YuniKorn committer

我是一名开源软件爱好者，主要专注于 Apache Kafka。我位列贡献者前 20 名，工作内容包括增强 AsyncKafkaConsumer 以及开发下一代 group coordinator。