基于 Apache Calcite 的“数仓虚拟化”技术

Jiajun Xie

中文演讲 #olap

数仓建设中指标、维度越来越多,维护成本越来越高,存储资源压力越来越大。 如何管理指标,降低指标的维护成本? 如何设计数仓模型,降低存储的成本? 为了解决这些问题,抖音集团数据平台团队基于Apache Calcite和Apache Hive打造了一套完整的“数仓虚拟化”解决方案,其中包含如下技术: 虚拟列和虚拟关联列 SQL Define Function和参数化视图 虚拟分区(视图分区) 这些能力结合,不仅方便对数据分析的指标进行管理,也能帮助降低存储的成本 具体典型案例和实现原理将会在演讲PPT中进行介绍。

讲师:


2022、2023、2024年ApacheCon Asia讲师 Apache Calcite Committer