CentOS上如何编译hadoop2.7-创新互联

这篇文章主要介绍CentOS上如何编译hadoop 2.7,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

成都创新互联公司凭借在网站建设、网站推广领域领先的技术能力和多年的行业经验,为客户提供超值的营销型网站建设服务,我们始终认为:好的营销型网站就是好的业务员。我们已成功为企业单位、个人等客户提供了网站设计制作、成都网站设计服务,以良好的商业信誉,完善的服务及深厚的技术力量处于同行领先地位。

官网下载的 hadoop执行运行报警告:


WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
put: `./in': No such file or directory

主要是lib下的native-hadoop 是32位的,所以这里我们自己在64位的系统上编译hadoop

环境准备:

1 下载hadoop src源码包

2 所需软件:java, svn, autoconf, automake, libtool, ncurses-devel, openssl-devel, gcc, lzo-devel, zlib-devel, znt, maven, protobuf, cmake

yum -y install autoconf  automake libtool ncurses-devel openssl-devel gcc lzo-devel, zlib-devel cmake

3 安装jdk

下载jdk bin包并解压


添加jdk环境变量

在/etc/profile文件下添加


## JAVA

export JAVA_HOME=/usr/local/java/jdk

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

## PATH

export PATH=$JAVA_HOME/bin

让重载环境变量  . /etc/profile

4 maven安装

apache官网下载 maven并解压,然后把其 bin路径添加到环境变量

mvn -version

5 protobuf安装

到网上搜索 protobuf-2.5.0.tar.gz,下载解压,

./configure; make; make install

protoc --version

6 ANT安装

apache官网下载 ANT bin包解压,把其bin路径添加到环境变量中

7 编译hadoop


mvn package -Pdist,native,docs -DskipTests -Dtar

这里需要一个多小时或更久,并需要联网下载依赖包

最后文件在 hadoop-2.7.2-src/hadoop-dist/target 中

可以直接拿 hadoop-2.7.2目录去部署,还有一个hadoop-2.7.2.tar.gz包

以上是“CentOS上如何编译hadoop 2.7”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!

另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。


文章名称:CentOS上如何编译hadoop2.7-创新互联
链接地址:http://bzwzjz.com/article/goddj.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站建设 高端网站设计 网站制作公司 网站制作 成都网站建设公司 手机网站建设套餐 企业网站设计 泸州网站建设 定制网站建设多少钱 定制网站设计 成都商城网站建设 成都网站设计 营销网站建设 成都网站设计公司 网站建设方案 成都网站建设 成都网站制作 成都网站设计 网站建设 成都网站建设 成都网站建设公司 成都网站设计