IoTDB 时序数据订阅:设计与高效实践

Yuchen Ding

中文演讲 2025-07-27 15:00 GMT+8  (ROOM : 百望山会议室) #iot

Apache IoTDB 作为一款高性能时序数据库,近年来引入了库内流处理框架 Pipe,为实时数据处理奠定了坚实的基础。然而,在数据集成和备份场景中,基于 Pipe 的解决方案仍然存在开发复杂、运行不稳定、灵活性受限等问题。为了解决这些问题,我们设计并实现了基于库内流处理的时序数据订阅模块,其优势如下:

  • 极简上手:提供 Kafka 风格的订阅接口,一行代码即可启动数据流,无需额外开发插件。
  • 双模灵活消费:支持实时、行级流式传输和批量 TsFile 导出,按需适配不同业务场景。
  • 性能优化:利用操作系统的 Page Cache 实现近乎零延迟的实时传输;历史数据直接导出为 TsFile,导出效率提升 10 倍以上。
  • 生态系统集成:与 Apache StreamPipes 等流处理平台无缝集成,轻松融入现有大数据架构。

在本次演讲中,我们将基于上述设计,讲解时间序列数据订阅的机制和应用。

讲师:


Yuchen Ding: Apache IoTDB 提交者, 清华大学学生

Apache IoTDB 提交者,清华大学学生