怎样解析Kafka副本与ISR设计

怎样解析Kafka副本与ISR设计,很多新手对此不是很清楚,为了帮助大家解决这个难题,下面小编将为大家详细讲解,有这方面需求的人可以来学习下,希望你能有所收获。

网站建设哪家好,找创新互联建站!专注于网页设计、网站建设、微信开发、微信小程序开发、集团企业网站建设等服务项目。为回馈新老客户创新互联还提供了龙马潭免费建站欢迎大家使用!

在Kafka中一个分区日志其实就是一个备份日志,kafka利用多个相同备份日志来提高系统的可用性。这些备份日志其实就是所谓的副本。

Kafka的副本具有leader副本和follower副本之分,leader副本为客户端提供读写请求,follower副本只是用于被动地从leader副本中同步数据,对外不提供读写服务。

Kafka的所有节点所有副本假设都在正常运行,那么leader副本会一直不变,但是所谓世界上没有绝对稳定的系统,一旦kafa的leader副本节点出现了问题,那么follower副本需要竞争上岗成为leader副本,但是并不是所有的follower副本都有资格竞争上岗,很明显假设一个follower落后的数据远远少于leader副本,它是没有资格的。因此Kafka内部维护了一组具有资格的follower副本,他们统称ISR。

ISR中的副本会被剔除,也会有新增。

关键的概念点

下图主要讲述了Kafka日志中重要概念,下图的相关概念事关生产、消息消费、ISR以及副本同步机制。怎样解析Kafka副本与ISR设计

  • 首条消息位移(offset):保存了该副本中所含的第一条消息的offset

  • 日志高水印值(HW):leader副本的HW决定了消费者所能消费的消息范围,低于等于HW的消息均可被消费者消费

  • 结束位移(LEO):LEO总是指向下一条消息写入的位置,处在leader的HW和LEO之间的消息表示还未完全备份。只有所有处于ISR中副本都更新了自己LEO以后,leader的HW才会右移表示写入消息成功。

ISR

ISR其实就是Kafka内部维护的具有竞争上岗的一组与leader同步follower的副本集合。

follower副本与leader副本不同步的原因:

  • 同步数据请求速度追不上:follower副本在一段时间无法追上leader副本端的消息接收速度。比如follower副本的网络I/O阻塞,这会导致follower副本同步leader副本的速度大大降低

  • 进程卡住:follower副本一段时间无法向leader发出请求,比如follower频繁的进行GC

  • 新创建的副本:用户主动增加副本数,新创建的副本在启动后会追赶leader的进度,这段时间新增的follower副本通常与leader副本是不同步的

replica.lag.max.messages

该参数用来检测同步数据请求速度追不上的问题,如果ISR中的副本消息数落后于leader副本的消息数超过了该参数的设置,将会被踢出ISR。

这个参数在kafka0.9.0.9版本之后被移除,为什么被移除呢?

肯定是有他的弊端的。考虑以下这个情况,kafka在的生产者的生产速率不是平稳的,会有高峰会有低峰,在高峰的时候,由于消息大量聚集产生,导致ISR中的消息与Leader的消息差超过了该数值,因此ISR中的副本将会被踢出。

但随着生产消息速率的稳定和下降,并且此时follower副本也在全力追赶leader副本,当follower副本重新追上leader副本时,又会重新加入ISR。

replica.lag.max.ms

该参数用来检测另两种情况:如果在该时间内,follower副本无法向leader副本请求数据,那么将会被踢出ISR。

由于在新的版本中移除了replica.lag.max.messages参数的设置,因此replica.lag.max.ms也用于同步数据请求速度追不上问题的检测,但用在次问题的检测上时,检测机制是只要follower副本落后于leader的时间不持续性超过该参数即视为同步,如果持续性超过该参数即视为不同步。

看完上述内容是否对您有帮助呢?如果还想对相关知识有进一步的了解或阅读更多相关文章,请关注创新互联行业资讯频道,感谢您对创新互联的支持。


分享标题:怎样解析Kafka副本与ISR设计
文章分享:http://bzwzjz.com/article/pipdjd.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 移动手机网站制作 成都响应式网站建设 手机网站制作 成都网站建设公司 企业网站设计 企业网站设计 成都做网站建设公司 商城网站建设 网站设计制作报价 成都网站设计 营销型网站建设 温江网站设计 成都网站建设 成都营销网站制作 成都网站制作 营销型网站建设 成都网站建设公司 网站建设推广 网站设计 成都h5网站建设 企业网站制作 企业网站设计