Apache Kylin权威指南
Apache Kylin核心团队
推荐序一
2016年早些时候,我曾经写过一篇有关联通Hadoop的文章,在其中的“展望篇”里谈到过OLAP on Hadoop的新技术Apache Kylin。今天《Apache Kylin权威指南》一书即将出版,我也有幸受本书作者之一韩卿(Luke)的邀请来写推荐序。
联通集团的BI是2010年建设的,由于全国有4亿用户的明细数据需要集中处理,再加上对移动互联网用户流量日志的采集,使得数据量急增。截至2013年已达PB级规模,并仍以指数级速度增长,传统数据仓库不堪重负,数据的存储和批量处理成了瓶颈。另一方面BI上提供的面向用户的数据查询和多维分析服务,使得后台生产的Cube越来越多,几年下来已有七八千个。用户需求对某一维度的改变往往会造成一个新Cube的产生,耗费资源不说,也为管理带来了极大的不便。2013年年底我们在传统数据仓库之外搭建了第一个Hadoop平台,节点数也从最初的几十个发展到了今天的3500个,大大提高了系统的存储及计算能力,为联通大数据对内对外的发展都起到了至关重要的作用。美中不足的是分布式存储和并行计算只解决了系统的性能问题,尽管我们也部署了像Hive、Impala这样的SQL on Hadoop技术,但在Hadoop体系上的多维联机分析(OLAP)却始终得不到满意的结果。Oracle+Hadoop的混搭架构还因为有对OLAP的需求而继续维持着,零散的Cube数还在继续增长,架构师们还在继续寻找奇迹方案的出现。
Apache Kylin就是在这种大背景下出现在我们的视野中的。一个好的产品首先要有一个清晰的定位,要有一套能够明确解决行业痛点的方案。Kylin在这点上做得非常好,它把自己定义为Hadoop大数据平台上的一个开源OLAP引擎。三个关键词:Hadoop、开源、OLAP,使它的定位一目了然,不用过多地解释。同时,Kylin也是透明的,不像许多产…