hadoop如何解决discp不同版本间拷贝数据的问题

这篇文章主要为大家展示了“hadoop如何解决discp不同版本间拷贝数据的问题”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章吧。

创新互联建站专注骨干网络服务器租用10多年,服务更有保障!服务器租用,中国电信成都枢纽中心 成都服务器租用,成都服务器托管,骨干网络带宽,享受低延迟,高速访问。灵活、实现低成本的共享或公网数据中心高速带宽的专属高性能服务器。

hadoop如何解决discp不同版本间拷贝数据的问题

hadoop   discp 的时候遇到的checksum mismatch问题

解决方法

网上普遍解决方法

在hdfs-site.xml

将dfs.checksum.type属性设置为CRC32

使用过程中仍然有报上述错误

经检验  参照 http://blog.sina.com.cn/s/blog_7ed002b30101kk08.html

使用  -update   -skipcrccheck 选项即可。

hadoop distcp -update -skipcrccheck hftp://host:50070/文件 /路径

以上是“hadoop如何解决discp不同版本间拷贝数据的问题”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


名称栏目:hadoop如何解决discp不同版本间拷贝数据的问题
当前URL:http://bzwzjz.com/article/pccopc.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 企业网站设计 营销网站建设 成都网站建设 成都网站建设 成都网站建设公司 成都网站设计 成都网站建设公司 成都网站设计 成都网站建设公司 成都网站建设 成都做网站建设公司 外贸网站设计方案 成都定制网站建设 营销网站建设 企业网站建设 成都网站设计 企业网站设计 成都网站建设公司 网站建设开发 网站设计制作 营销型网站建设 网站建设方案