Flume采集数据时在HDFS上产生大量小文件的问题怎么办

这篇文章主要为大家展示了“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章吧。

创新互联主要从事做网站、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务大关,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

调用agent 配置文件的:

#Describe the sink  添加:

a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
rollSize
默认值:1024,当临时文件达到该大小(单位:bytes)时,滚动成目标文件。如果设置成0,则表示不根据临时文件大小来滚动文件。
rollCount
默认值:10,当events数据达到该数量时候,将临时文件滚动成目标文件,如果设置成0,则表示不根据events数据来滚动文件。

还有另一种出现大量小文件对应的解决方案,即设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件 待测试......

以上是“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


分享文章:Flume采集数据时在HDFS上产生大量小文件的问题怎么办
文章位置:http://bzwzjz.com/article/gcoogo.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 网站建设公司 营销型网站建设 高端品牌网站建设 成都企业网站建设 成都网站设计 成都网站建设 温江网站设计 成都网站制作 网站建设 成都网站建设 成都网站建设 网站设计 网站建设公司 成都网站设计 响应式网站设计方案 四川成都网站建设 企业网站设计 成都网站建设 成都网站设计公司 梓潼网站设计 成都网站制作 品牌网站建设