小米基于 Paimon 的 Doris 优化与实践

Wang Long

中文演讲 #olap

主要包括如下内容:

  1. Doris on Paimon如何接入小米OLAP架构体系,并与OLAP多引擎(Spark、Presto)做融合 a. 统一的SQL网关代理接入:实现流量控制、统一鉴权,同时通过统一的代理层协议及client sdk使Doris的接入更加简单易用 b. SQL自动路由:通过RBO和CBO规则的分析,将最适合的SQL路由到Doris执行,达到加速降本的作用 c. SQL改写与语法兼容:统一的SQL解析层将不兼容的SQL转化为Doris方言,解决语法兼容性问题
  2. Doris on Paimon的优化 a. Doris支持Paimon聚合表数据merge优化:Paimon的数据merge on read性能很差,将其merge操作上推到Doris,跳过了归并排序以及不必要的merge操作,同时利用Doris的大规模并行能力进行聚合,可以大大提升Paimon的读取速度 b.Doris支持Paimon实时物化视图:支持Paimon changelog级别的实时物化视图更新,业务查询速度优化两倍+ c. Snapshot元数据缓存优化:增加Paimon Snapshot定时缓存刷新能力,解决元数据缓存延时及从HDFS拉取元数据慢的问题
  3. Doris on Paimon的落地效果 a. 相比优化前,查询性能有5倍提升

讲师:


小米公司 OLAP 引擎组高级开发工程师,主要负责开源项目 Doris、Spark 和 Kyuubi 的内核开发。