跨越 EB 级规模:LY Corporation 的 Hadoop 集成与运营经验
Akira Ajisaka, Kai Hirayama
英文演讲 2026-08-08 14:30 GMT+8 (ROOM : 万寿山会议室) #datastorage在 LINE 与 Yahoo! JAPAN 合并之后,我们面临一项艰巨的任务:在两个庞大且完全独立、各自拥有孤立网络和不同账户体系的 Hadoop 生态之间,实现无缝的数据访问。本次演讲将深入剖析我们用来突破这些架构壁垒、实现跨集群互操作的技术策略。
此外,我们将分享利用 NameNode Federation(包括基于 Router 的 Federation)和 Observer NameNode 进行扩展与性能调优的历程,以突破单个 NameNode 的固有上限。我们会分享所遇到的真实运维难题,以及为在这个全球最大规模的 Hadoop 部署之一中维持稳定性所需的针对性调优。最后,我们还会讨论把补丁回馈给开源社区的经验,以确保这些特性经过企业级要求的实战检验。
讲师:

Akira Ajisaka:LY Corporation 首席工程师
Akira Ajisaka 是 LY Corporation 的首席工程师,在本地和公有云环境下的大数据技术领域拥有超过 10 年的专业经验。他是 Apache 成员、Apache Hadoop PMC 成员,以及 Apache Kyuubi PMC 成员。

Kai Hirayama:LY Corporation 数据工程师
数据平台工程师,从事包括 YARN 和 HDFS 在内的 Hadoop 生态工作,在大规模分布式系统的运维与排障方面经验丰富。