HDFS如何解决小文件问题

小编给大家分享一下HDFS如何解决小文件问题,相信大部分人都还不怎么了解,因此分享这篇文章给大家参考一下,希望大家阅读完这篇文章后大有收获,下面让我们一起去了解一下吧!

创新互联主要从事成都做网站、成都网站制作、成都外贸网站建设、网页设计、企业做网站、公司建网站等业务。立足成都服务桦川,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:13518219792

1.理解:我理解小文件为存储在块中的数据大小远小于块的存储容量的文件,这样的多个小文件存在会消耗与同样多的大文件同样的NameNode性能,因为当NN处理多个小文件的时候需要从一个DN跳到另一个DN,但是如果是处理与多个小文件同样大小的几个大文件的话,DN效率与访问速度都会得到大大提升,所以我们需要解决小文件的问题,

2.解决方案:Hadoop目前还没有一个系统级的通用的解决HDFS小文件问题的方案。它自带的三种方案,包括Hadoop Archive,Sequence file和CombineFileInputFormat,需要用户根据自己的需要编写程序解决小文件问题

以上是“HDFS如何解决小文件问题”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


当前文章:HDFS如何解决小文件问题
路径分享:http://bzwzjz.com/article/jedsjh.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都网站设计 攀枝花网站设计 企业网站设计 手机网站制作 手机网站设计 高端网站建设 泸州网站建设 成都网站建设公司 网站建设推广 网站制作 手机网站建设 成都网站制作 营销型网站建设 网站设计 网站制作 专业网站设计 成都响应式网站建设公司 自适应网站建设 移动手机网站制作 成都网站建设 成都网站制作 成都定制网站建设