如何配置HadoopHA集群文件

今天小编就为大家带来一篇配置Hadoop HA 集群文件的文章。小编觉得挺不错的,为此分享给大家做个参考。一起跟随小编过来看看吧。

创新互联公司是一家集网站建设,青浦企业网站建设,青浦品牌网站建设,网站定制,青浦网站建设报价,网络营销,网络优化,青浦网站推广为一体的创新建站企业,帮助传统企业提升企业形象加强企业竞争力。可充分满足这一群体相比中小企业更为丰富、高端、多元的互联网需求。同时我们时刻保持专业、时尚、前沿,时刻以成就客户成长自我,坚持不断学习、思考、沉淀、净化自己,让我们为更多的企业打造出实用型网站。

> 1、hadoop-env.sh配置

export JAVA_HOME=(jdk安装地址)

> 2、hdfs-site.xml配置文件

<此新名称服务的逻辑名称>

dfs.nameservices
mycluster

<名称服务中每个NameNode的唯一标识符>

dfs.ha.namenodes.mycluster
master,slave1

服务器的监听地址>

dfs.namenode.rpc-address.mycluster.master
master:50070


dfs.namenode.rpc-address.mycluster.slave1
slave1:50070

<每个NameNode监听的标准HTTP地址>

dfs.namenode.http-address.mycluster.master
master:9000


dfs.namenode.http-address.mycluster.slave1
slave1:9000

<配置JournalNodes 集群的URI>

dfs.namenode.shared.edits.dir
qjournal://master:8485;slave1:8485;slave2:8485/mycluster

<配置故障转移代理类>

dfs.client.failover.proxy.provider.mycluster
org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider



dfs.ha.fencing.methods
sshfence


dfs.ha.fencing.ssh.private-key-files
/root/.ssh/id_rsa



dfs.ha.fencing.methods
shell(/bin/true)



dfs.journalnode.edits.dir
/usr/local/src/hadoop/data/journalnode/jn

<自动故障转移>

dfs.ha.automatic-failover.enabled
true

> 3、core-site.xml配置文件

<指定hdfs的nameservice>

fs.defaultFS
hdfs://mycluster

<指定hadoop临时目录>

hadoop.tmp.dir
/opt/tmp/hadoop/ha



ha.zookeeper.quorum
master:2181,slave1:2181,slave2:2181

> 4、mapred-site.xml配置


mapreduce.farmework.name
yarn

> 5、yarn-site.xml配置

<打开高可用>

yarn.resourcemanager.ha.enabled
true

<启用自动故障转移 >

yarn.resourcemanager.ha.automatic-failover.enabled
true



yarn.resourcemanager.cluster-id
yarn-rm-cluster



yarn.resourcemanager.ha.rm-ids
rm1,rm2



yarn.resourcemanager.hostname.rm1
master


yarn.resourcemanager.hostname.rm2
server1



yarn.resourcemanager.zk-address
master:2181,server1:2181,server2:2181

<配置YARN的http端口>

yarn.resourcemanager.webapp.address.rm1
master:8088
 

yarn.resourcemanager.webapp.address.rm2
slave1:8088


yarn.nodemanager.aux-services
mapreduce_shuffle

> 6、slaves配置(DataNode)
master
slave1
slave2

以上就是如何配置Hadoop HA 集群文件的汇总,内容较为全面,而且我也相信有相当的一些工具可能是我们日常工作可能会见到或用到的。通过这篇文章,希望你能收获更多。


当前文章:如何配置HadoopHA集群文件
文章地址:http://bzwzjz.com/article/ppohsj.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 梓潼网站设计 达州网站设计 网站建设 成都网站制作 网站制作报价 四川成都网站建设 重庆电商网站建设 成都网站建设 网站设计 成都网站建设公司 网站设计 成都网站建设 成都h5网站建设 网站制作 阿坝网站设计 网站建设推广 重庆网站建设 成都网站设计公司 成都响应式网站建设公司 企业网站制作 手机网站制作 重庆企业网站建设