怎么实现hadoop中RPC通信文件上传原理分析

怎么实现hadoop中RPC通信文件上传原理分析,相信很多没有经验的人对此束手无策,为此本文总结了问题出现的原因和解决方法,通过这篇文章希望你能解决这个问题。

创新互联公司服务项目包括路南网站建设、路南网站制作、路南网页制作以及路南网络营销策划等。多年来,我们专注于互联网行业,利用自身积累的技术优势、行业经验、深度合作伙伴关系等,向广大中小型企业、政府机构等提供互联网行业的解决方案,路南网站推广取得了明显的社会效益与经济效益。目前,我们服务的客户以成都为中心已经辐射到路南省份的部分城市,未来相信会继续扩大服务区域并继续获得客户的支持与信任!

//APP2中调用的代码
public static final String HDFS_PATH = "hdfs://hadoop:9000/hello";
	public static final String DIR_PATH = "/d1000";
	public static final String FILE_PATH = "/d1000/f10000";

	public static void main(String[] args) throws Exception {
		FileSystem fileSystem = FileSystem.get(new URI(HDFS_PATH),
				new Configuration());
		// //创建文件
		// fileSystem.mkdirs(new Path(DIR_PATH));
		// //上传文件
		// FSDataOutputStream out = fileSystem.create(new Path(FILE_PATH));
		// FileInputStream in = new FileInputStream("c:/hello.txt");
		// IOUtils.copyBytes(in, out, 1024,true);
		// //下载数据
		// FSDataInputStream in1 = fileSystem.open(new Path(FILE_PATH));
		// IOUtils.copyBytes(in1, System.out, 1024,true);

		// 删除文件夹
		deleteFile(fileSystem);
	}

	private static void deleteFile(FileSystem fileSystem) throws IOException {
		fileSystem.delete(new Path(FILE_PATH), true);
		
	}

注:RPC(remote procedure call)

  不同java进程间的对象方法的调用。一方称作服务端(server),一方称作客户端(client)。

   server端提供对象,供客户端调用的,被调用的对象的方法的执行发生在server端。

  RPC是hadoop框架运行的基础。

怎么实现hadoop中RPC通信文件上传原理分析

上图为RPC通信调用的一系列方法最终达到把文件写入到linux文件系统中的过程,但是由于hadoop中hdfs分布式文件系统的API封装的特别好,让调用者感觉不到这个复杂的过程,对用户或者程序而言实际是通过网络来访问文件的动作,但对用户看来就像访问本地磁盘一样,充分体现了通透性....

 对于HDFS的操作在应用中只需掌握FileSystem,而不需要关注数据是存放在DataNode的哪个块中(因为这个工作时交给NameNode的)。

  注意:虽然客户端上传数据的时候是通过DataStreamer向NameNode申请block块和blockid,但是数据的传输行为并不是通过NameNode转的,而是与DataNode直接连接!

看完上述内容,你们掌握怎么实现hadoop中RPC通信文件上传原理分析的方法了吗?如果还想学到更多技能或想了解更多相关内容,欢迎关注创新互联行业资讯频道,感谢各位的阅读!


新闻名称:怎么实现hadoop中RPC通信文件上传原理分析
URL分享:http://bzwzjz.com/article/pcgegj.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 高端品牌网站建设 营销型网站建设 成都网站建设 成都h5网站建设 成都网站设计 网站设计制作报价 泸州网站建设 企业网站建设 移动手机网站制作 成都网站建设 企业网站建设 成都网站制作 营销型网站建设 高端网站设计 宜宾网站设计 营销型网站建设 成都网站设计 盐亭网站设计 达州网站设计 网站制作 成都网站设计 阿坝网站设计