IoTDB 时序数据订阅:设计与高效实践
Yuchen Ding
中文演讲 2025-07-27 15:00 GMT+8 (ROOM : 百望山会议室) #iotApache IoTDB 作为一款高性能时序数据库,近年来引入了库内流处理框架 Pipe,为实时数据处理奠定了坚实的基础。然而,在数据集成和备份场景中,基于 Pipe 的解决方案仍然存在开发复杂、运行不稳定、灵活性受限等问题。为了解决这些问题,我们设计并实现了基于库内流处理的时序数据订阅模块,其优势如下:
- 极简上手:提供 Kafka 风格的订阅接口,一行代码即可启动数据流,无需额外开发插件。
- 双模灵活消费:支持实时、行级流式传输和批量 TsFile 导出,按需适配不同业务场景。
- 性能优化:利用操作系统的 Page Cache 实现近乎零延迟的实时传输;历史数据直接导出为 TsFile,导出效率提升 10 倍以上。
- 生态系统集成:与 Apache StreamPipes 等流处理平台无缝集成,轻松融入现有大数据架构。
在本次演讲中,我们将基于上述设计,讲解时间序列数据订阅的机制和应用。
讲师:
Yuchen Ding: Apache IoTDB 提交者, 清华大学学生
Apache IoTDB 提交者,清华大学学生