Flume采集数据时在HDFS上产生大量小文件的问题怎么办

这篇文章主要为大家展示了“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”,内容简而易懂,条理清晰,希望能够帮助大家解决疑惑,下面让小编带领大家一起研究并学习一下“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章吧。

创新互联主要从事做网站、成都网站设计、网页设计、企业做网站、公司建网站等业务。立足成都服务大关,十载网站建设经验,价格优惠、服务专业,欢迎来电咨询建站服务:18980820575

调用agent 配置文件的:

#Describe the sink  添加:

a1.sinks.k1.hdfs.rollSize=0
a1.sinks.k1.hdfs.rollCount=0
rollSize
默认值:1024,当临时文件达到该大小(单位:bytes)时,滚动成目标文件。如果设置成0,则表示不根据临时文件大小来滚动文件。
rollCount
默认值:10,当events数据达到该数量时候,将临时文件滚动成目标文件,如果设置成0,则表示不根据events数据来滚动文件。

还有另一种出现大量小文件对应的解决方案,即设置a1.sinks.k1.hdfs.minBlockReplicas=1。因为文件会因为所在块的复制而滚动文件 待测试......

以上是“Flume采集数据时在HDFS上产生大量小文件的问题怎么办”这篇文章的所有内容,感谢各位的阅读!相信大家都有了一定的了解,希望分享的内容对大家有所帮助,如果还想学习更多知识,欢迎关注创新互联行业资讯频道!


分享标题:Flume采集数据时在HDFS上产生大量小文件的问题怎么办
文章源于:http://bzwzjz.com/article/gcoogo.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 企业网站设计 成都网站制作 app网站建设 四川成都网站设计 做网站设计 营销网站建设 成都模版网站建设 品牌网站建设 成都网站建设 企业网站制作 成都网站建设公司 网站建设公司 手机网站建设套餐 成都网站制作 手机网站设计 成都定制网站建设 重庆企业网站建设 成都网站建设 成都品牌网站建设 移动网站建设 定制网站制作 上市集团网站建设