Hadoop环境如何配置及启动

这篇文章主要介绍Hadoop环境如何配置及启动,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

目前累计服务客户上千家,积累了丰富的产品开发及服务经验。以网站设计水平和技术实力,树立企业形象,为客户提供网站建设、成都网站设计、网站策划、网页设计、网络营销、VI设计、网站改版、漏洞修补等服务。创新互联始终以务实、诚信为根本,不断创新和提高建站品质,通过对领先技术的掌握、对创意设计的研究、对客户形象的视觉传递、对应用系统的结合,为客户提供更好的一站式互联网解决方案,携手广大客户,共同发展进步。

core-site.xml



fs.defaultFS
hdfs://slave2.hadoop:8020
true


hadoop.tmp.dir
file:/home/hadoop/hadoop-root/tmp

 
fs.checkpoint.period 
300 
The number of seconds between two periodic checkpoints. 
 
 
fs.checkpoint.size 
67108864 
The size of the current edit log (in bytes) that triggers a periodic checkpoint even if the fs.checkpoint.period hasn't expired.   
 
 
fs.checkpoint.dir 
${hadoop.tmp.dir}/dfs/namesecondary 
Determines where on the local filesystem the DFS secondary namenode should store the temporary images to merge.If this is a comma-delimited list of directories then the image is replicated in all of the directories for redundancy. 
 

hdfs-site.xml



dfs.namenode.name.dir
/home/hadoop/hadoop-root/dfs/name
true


dfs.datanode.data.dir
/home/hadoop/hadoop-root/dfs/data
true


dfs.replication
3


dfs.permissions
false


  
dfs.namenode.secondary.http-address
slave1:50090 

mapred-site.xml


 
   mapreduce.framework.name
   yarn
 



    mapred.system.dir
    /home/hadoop/hadoop-root/mapred/system
    true


    mapred.local.dir
    /home/hadoop/hadoop-root/mapred/local
    true



    mapreduce.tasktracker.map.tasks.maximum
    2


    mapreduce.tasktracker.reduce.tasks.maximum
    1



    mapreduce.job.maps
    2


    mapreduce.job.reduces
    1



mapreduce.tasktracker.http.threads
50


io.sort.factor
20


mapred.child.java.opts
-Xmx400m


mapreduce.task.io.sort.mb
200


mapreduce.map.sort.spill.percent
0.8


mapreduce.map.output.compress
true


mapreduce.map.output.compress.codec
org.apache.hadoop.io.compress.DefaultCodec


mapreduce.reduce.shuffle.parallelcopies
10

一、恢复hadoop
1、停止所有服务
2、删除/home/hadoop/hadoop-root/dfs下的data和name,并且重新建立
3、删除/home/hadoop/hadoop-root/tmp下的文件
4、在namenode节点执行 hadoop namenode -format
5、启动hadoop服务

-----自此hadoop恢复----
6、停止hbase服务,停不掉就杀掉
7、(多个节点)进入/tmp/hbase-root/zookeeper 删除所有文件
8、启动hbase服务

以上是“Hadoop环境如何配置及启动”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


当前名称:Hadoop环境如何配置及启动
网页路径:http://bzwzjz.com/article/gesgsd.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站设计 营销型网站建设 网站制作报价 成都品牌网站建设 网站设计公司 定制网站建设多少钱 手机网站制作 成都网站建设 高端网站设计 成都网站制作 企业网站设计 网站建设方案 盐亭网站设计 网站建设开发 成都网站建设 品牌网站建设 成都网站建设 温江网站设计 成都网站建设 重庆企业网站建设 网站制作公司 企业网站建设