博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Apache Kylin Cube 的存储
阅读量:6934 次
发布时间:2019-06-27

本文共 658 字,大约阅读时间需要 2 分钟。

 简单的说Cuboid的维度会映射为HBase的Rowkey,Cuboid的指标会映射为HBase的Value。

                      Cube映射成HBase存储

 

 

  如上图原始表所示:Hive表有两个维度列year和city,有一个指标列price。如上图预聚合表所示:我们具体要计算的是year和city这两个维度所有维度组合(即4个cuboid)下的sum(priece)指标,这个指标的具体计算过程就是由MapReduce完成的。

如上图字典编码所示:为了节省存储资源,Kylin对维度值进行了字典编码。图中将beijing和shanghai依次编码为0和1。

  如上图HBase KV存储所示:在计算cuboid过程中,会将Hive表的数据转化为HBase的KV形式。Rowkey的具体格式是cuboid id + 具体的维度值(最新的Rowkey中为了并发查询还加入了ShardKey),以预聚合表内容的第2行为例,其维度组合是(year,city),所以cuboid id就是00000011,cuboid是8位,具体维度值是1994和shanghai,所以编码后的维度值对应上图的字典编码也是11,所以HBase的Rowkey就是0000001111,对应的HBase Value就是sum(priece)的具体值

本文转自大数据躺过的坑博客园博客,原文链接:http://www.cnblogs.com/zlslch/p/7404582.html,如需转载请自行联系原作者

你可能感兴趣的文章
GraphView
查看>>
php调试方法
查看>>
js模仿flash写字动画
查看>>
通过变长数组(VLA)来看编译器的不同
查看>>
企业项目管理体系
查看>>
vim 初学简单设置
查看>>
RobotFrameWork(五)控制流之if语句——Run Keyword If
查看>>
javascript学习之基本概念
查看>>
超凡蜘蛛侠观后感
查看>>
关于android分辨率和使用iphone版切图
查看>>
快应用quickapp快速入门教程 by五个半柠檬2
查看>>
Web Services
查看>>
MFC中的几个常用类——CWnd
查看>>
理解Java中的hashCode 和 equals 方法
查看>>
ImportError: No module named pil
查看>>
mac 香港购买分享
查看>>
Spring JdbcTemplate方法详解
查看>>
AndroidStudio更换黑色主题方法
查看>>
实现entity、dao 、service 、serviceImpl自动生成
查看>>
Python开发环境Wing IDE如何设置Python路径
查看>>