副本是优势而非负担:基于 LSM 存储的 OLAP 引擎可扩展共识机制

Junzhi Peng

中文演讲 #iot

本次研讨会挑战传统思维,提出一种将共识机制作为一种可扩展性解决方案的新思路。在本次会议中,我们首先分析了 Raft 或 Paxos 等传统共识机制设计与基于 LSM 的 OLAP 系统独特语义之间的不匹配之处。然后,我们将介绍一个针对 LSM 分层存储结构定制的状态复制框架,以解决这一问题。通过利用 LSM 排序字符串表 (SSTable) 的高压缩率,该方法支持跨副本并行状态传播,从而降低共识开销,并使性能随着副本数量的增加而扩展而非下降。 我们已经在 Apache IoTDB 中实现了这种创新的共识机制。测试结果显著。我们的共识引擎能够随着副本数量线性扩展,将曾经的性能负担转化为吞吐量的提升,并在不牺牲性能的情况下提升了系统的耐用性和吞吐量。

讲师:


毕业于南京大学,现就读于清华大学软件学院。研究方向为分布式系统、共识协议以及性能优化。2023 年参与Apache IoTDB 开源贡献,负责 Apache IoTDB Metric 框架的改进和优化,现主要从事 Apache IoTDB 分布式系统框架的研究。负责 IoTDB 新一代可扩展共识协议的设计、实现和迭代。