本篇内容主要讲解“怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序”，感兴趣的朋友不妨来看看。本文介绍的方法操作简单快捷，实用性强。下面就让小编来带大家学习“怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序”吧!
主要从事网页设计、PC网站建设（电脑版网站建设）、wap网站建设（手机版网站建设）、自适应网站建设、程序开发、微网站、重庆小程序开发等，凭借多年来在互联网的打拼，我们在互联网网站建设行业积累了丰富的网站设计制作、成都网站建设、网络营销经验，集策划、开发、设计、营销、管理等多方位专业化运作于一体，具备承接不同规模与类型的建设项目的能力。
前提：
1.我使用的hadoop是hadoop-2.3.0-cdh6.1.0.tar
2.以下是我的hadoop核心配置文件的配置：
core-site.xml
fs.defaultFS hdfs://master:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/home/yinkaipeng/tmp Abase for other temporary directories. hadoop.proxyuser.hduser.hosts * hadoop.proxyuser.hduser.groups *
hdfs-site.xml
dfs.namenode.secondary.http-address master:9001 dfs.namenode.name.dir file:/usr/local/data/dfs/name dfs.datanode.data.dir file:/usr/local/data/dfs/data dfs.replication 3 dfs.webhdfs.enabled true
mapred-site.xml
mapreduce.framework.name yarn mapreduce.jobhistory.address master:10020 mapreduce.jobhistory.webapp.address master:19888
yarn-site.xml
yarn.nodemanager.aux-services mapreduce_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address master:8032 yarn.resourcemanager.scheduler.address master:8030 yarn.resourcemanager.resource-tracker.address master:8031 yarn.resourcemanager.admin.address master:8033 yarn.resourcemanager.webapp.address master:8088
在hadoop2.0 中如果不配置zookeeper，只需将你将你的datanode加入slaves文件中即可。
hadoop集群配置好后，然后就是使用eclipse进行连接啦！
好的，我使用的是：hadoop-eclipse-plugin-2.2.0，从网上下载的。
下面开始我们开始工作。
启动hadoop集群
将hadoop-eclipse-plugin-2.2.0拷贝到eclipse的plugins 目录下，启动eclipse。
如现在就进行连接的话不会成功的。因为我们用的是Windows所以还需要进行以下步骤：
将电脑当前用户名改为hadoop的启动用户名
eclipse连接hadoop源码目录，将hadoop-common-2.2.0-bin-master的bin目录考到eclipse的workspace
注：上面hadoop目录为我从Linux系统上下载的解压后的hadoop。
到这里操作hdfs就没问题了，如果要运行mapreduce还会报错，进行以下两步：
1.将hadoop源码中的org.apache.hadoop.io.nativeio加到项目中，并进行以下修改：
2.在我们的mapreduce的main函数中注入hadoop本地目录地址环境变量。
ok！这下就可以在Windows上进行hadoop集群的mapreduce在线调试了！
到此，相信大家对“怎么使用eclipse在远程hadoop集群上在线运行和调试mapreduce程序”有了更深的了解，不妨来实际操作一番吧！这里是创新互联网站，更多相关内容可以进入相关频道进行查询，关注我们，继续学习！