当 MQTT 遇见 Kafka:IoT 基础设施从数据接入层到数据层的演进
Lobo Xu
中文演讲 2026-08-09 14:30 GMT+8 (ROOM : 百望山会议室) #iotIoT 设备产生的数据正被越来越多的下游系统消费——实时分析、模型训练、AI 智能体决策。大家熟悉的工程套路是:让 MQTT 负责设备连接,Kafka 负责数据管道,再用一个桥接层把两者粘合起来。这种架构在传统 IoT 场景下表现尚可。但当下游消费者从一个增加到五个,当同一份数据需要同时喂给训练管道和实时推理服务时,桥接层的裂缝就难以忽视了:不可预测的延迟、悄无声息的数据丢失、断裂的反压传导。
根因并不在桥接层本身,而在于 MQTT Broker 的定位——它被设计为数据接入层,数据一到就急于推送出去,没有内置的持久化或流式消费能力。每新增一个下游用例,就意味着多一条桥接链路、多一个运维盲区。
本次演讲将分享来自 RobustMQ 的架构经验——这是一个用 Rust 构建的开源统一消息中间件。其核心理念是:一个原生同时支持 MQTT 和 Kafka 协议的统一存储层——设备通过 MQTT 写入的数据可以直接通过 Kafka 协议消费,无需桥接、无需数据复制,一条消息、一份拷贝,可被任意协议消费。
我们将分享: • 多消费者 IoT 场景下 MQTT + Kafka 桥接架构的真实痛点 • 将 MQTT Broker 从"数据接入层"演进为"数据层"的关键架构决策 • 统一存储层设计:一份数据,由多种协议原生消费 • 从边缘到云的完整管道:离线缓冲、自动同步、最小化部署 footprint • 当前进度、已知局限与未来方向
这是一次正在进行的架构探索,而非一个成功故事。RobustMQ 在 Apache 2.0 许可证下完全开源。我们期待与同样在解决 IoT 数据管道问题的工程师交流实战经验,也希望最终能成为 Apache 软件基金会的顶级项目,回馈开源社区。
https://github.com/robustmq/robustmq
讲师:

Lobo Xu: RobustMQ Auther
RobustMQ 作者,前字节跳动高级工程师,前腾讯云高级工程师。曾任腾讯云消息队列 Kafka/RabbitMQ 技术负责人。 作为 RobustMQ 作者及 Apache Kafka/RocketMQ/Pulsar 贡献者,他活跃于消息队列和 Serverless 开源社区,对 MQ 和 Serverless 有着深入的产品、技术与商业理解及前瞻视野。 他是极客时间专栏《深入拆解消息队列》和《Rust 实战:编写下一代云原生消息队列》的作者,并合著了技术书籍《基础软件之路:企业实践与开源策略》。