Hive1.1.0tezhadooporacleNULLsort

     最近发现hive 0.14 运行在tez的时候有不少bug,决定升级hive为hive 1.1.0,因为集群hadoop版本是2.3.0,一不小心踩到坑:

网站建设哪家好,找创新互联!专注于网页设计、网站建设、微信开发、小程序定制开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了繁峙免费建站欢迎大家使用!

    1、hive 1.1.0 需要jdk1.7以上 

    2、设置这个环境变量 HADOOP_USER_CLASSPATH_FIRST="true"

    3、https://issues.apache.org/jira/browse/HIVE-9957  打上这个patch,此patch将在hive1.2.0中集成。编译hive 1.1.0源码后把 hive-shims-0.23-1.1.0.jar 替换了。最后记得还要替换hive-exec-1.1.0.jar中的Hadoop23Shims.class

    

    另外提一点对于NULL的排序,hive与oracle有所不同,对于如下SQL:

SELECT

t.chanl_id,

t.date_id,

t.pltfm_id,

t.prov_id,

t.old_mbr_num,

ROW_NUMBER () OVER (partition by t.date_id ORDER BY t.old_mbr_num) ROW_NUMBER

FROM

data t;

Oracle 执行结果如下:

568592015-02-15114491

568592015-02-151168692

568592015-02-151170473

568592015-02-151186284

568592015-02-1511118045

568592015-02-1511120896

568592015-02-1511187787

568592015-02-1511259068

。。。。

568592015-02-1511191046115939

568592015-02-1511NULL940

568592015-02-1511NULL941

568592015-02-1511NULL942

568592015-02-1511NULL943

Hive 执行结果如下:

0568592015-02-1511NULL1

1568592015-02-1511NULL2

2568592015-02-1511NULL3

3568592015-02-1511NULL4

4568592015-02-15114495

5568592015-02-151168696

6568592015-02-151170477

7568592015-02-151186288

8568592015-02-1511118049

可见两者对于NULL的排序不一样。


本文题目:Hive1.1.0tezhadooporacleNULLsort
本文链接:http://bzwzjz.com/article/ppoiji.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站制作 重庆外贸网站建设 温江网站设计 营销网站建设 外贸网站建设 成都网站设计制作公司 成都网站建设公司 成都网站设计 成都做网站建设公司 成都网站建设 定制网站制作 梓潼网站设计 广安网站设计 成都网站建设 成都网站制作 泸州网站建设 网站设计公司 成都网站制作公司 手机网站建设套餐 网站建设方案 手机网站设计 成都企业网站建设