hive中orderby,sortby,distributeby,clusterby作用以及用法

1. order by

    Hive中的order by跟传统的sql语言中的order by作用是一样的,会对查询的结果做一次全局排序,所以说,只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理(不管有多少map,也不管文件有多少的block只会启动一个reducer)。但是对于大量数据这 将会消耗很长的时间去执行。

鱼峰网站制作公司哪家好,找创新互联建站!从网页设计、网站建设、微信开发、APP开发、成都响应式网站建设等网站项目制作,到程序开发,运营维护。创新互联建站从2013年成立到现在10年的时间,我们拥有了丰富的建站经验和运维经验,来保证我们的工作的顺利进行。专注于网站建设就选创新互联建站

    这里跟传统的sql还有一点区别:如果指定了hive.mapred.mode=strict(默认值是nonstrict),这时就必须指定limit 来限制输出条数,原因是:所有的数据都会在同一个reducer端进行,数据量大的情况下可能不能出结果,那么在这样的严格模式下,必须指定输出的条数。

2. sort by

    Hive中指定了sort by,那么在每个reducer端都会做排序,也就是说保证了局部有序(每个reducer出来的数据是有序的,但是不能保证所有的数据是有序的,除非只有一个reducer),好处是:执行了局部排序之后可以为接下去的全局排序提高不少的效率(其实就是做一次归并排序就可以做到全局排序了)。

3. distribute by和sort by一起使用

    ditribute by是控制map的输出在reducer是如何划分的,举个例子,我们有一张表,mid是指这个store所属的商户,money是这个商户的盈利,name是这个store的名字

store:

midmoneyname
AA15.0商店1
AA20.0商店2
BB22.0商店3
CC44.0商店4

    执行hive语句:

select mid, money, name from store distribute by mid sort by mid asc, money asc

我 们所有的mid相同的数据会被送到同一个reducer去处理,这就是因为指定了distribute by mid,这样的话就可以统计出每个商户中各个商店盈利的排序了(这个肯定是全局有序的,因为相同的商户会放到同一个reducer去处理)。这里需要注意 的是distribute by必须要写在sort by之前。

4. cluster by

    cluster by的功能就是distribute by和sort by相结合,如下2个语句是等价的:

    

select mid, money, name from store cluster by mid
select mid, money, name from store distribute by mid sort by mid

    如果需要获得与3中语句一样的效果:

select mid, money, name from store cluster by mid sort by money

    注意被cluster by指定的列只能是降序,不能指定asc和desc。


当前题目:hive中orderby,sortby,distributeby,clusterby作用以及用法
网站路径:http://bzwzjz.com/article/pdohos.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设推广 成都网站设计 重庆网站建设 定制网站制作 成都网站建设流程 成都品牌网站设计 网站制作 手机网站制作 网站制作报价 自适应网站建设 成都企业网站建设 达州网站设计 成都网站建设 做网站设计 响应式网站建设 成都营销网站制作 成都网站建设 四川成都网站建设 四川成都网站设计 成都h5网站建设 网站建设公司 定制网站设计