在大数据场景中，高效的数据检索是许多业务应用的核心需求。​​作为全文搜索和复杂查询的基石，倒排索引可以显著提升查询性能，尤其在需要模糊匹配的日志分析场景中表现优异。与传统解决方案相比，利用 Lakehouse 表格式的存储可扩展性和计算存储分离优势，可以有效降低索引存储成本。然而，在数据湖架构中使用现代表格式（如 Apache Iceberg）实现可扩展、低维护的倒排索引仍然存在诸多挑战，包括索引与数据的实时同步、分布式环境下的一致性保证以及查询优化问题。

​​本次演讲将分享基于 Apache Iceberg 和 Tantivy 构建可靠倒排索引系统的实践经验，涵盖以下关键实现： ​​ ​​1. Iceberg 与倒排索引的兼容性分析 ​​ 探讨 Iceberg 的 ACID 属性和元数据管理功能如何支持索引的原子更新和版本控制。 ​​2.使用 Tantivy 构建倒排索引的挑战 ​​分享与 Rust 进行数据交互的实用方法，并通过修剪不必要的文件来优化存储。 ​​3. 与 Trino 查询引擎的集成实践 ​​演示如何有效地将解决方案与 Trino 集成以增强查询性能。

讲师:

360（奇虎 360）高级软件工程师​​

十年大数据基础设施开发实践经验，在分布式存储系统和查询性能优化方面拥有深厚的专业知识。