消息队列之kafka(HA)

1. kafka的HA

消息队列之kafka(HA)

让客户满意是我们工作的目标,不断超越客户的期望值来自于我们对这个行业的热爱。我们立志把好的技术通过有效、简单的方式提供给客户,将通过不懈努力成为客户在信息化领域值得信任、有价值的长期合作伙伴,公司提供的服务项目有:域名注册、网络空间、营销软件、网站建设、靖宇网站维护、网站推广。

(1)zookeeper在kafka中的作用:

   - Zookeeper帮助kafka集群运行:存储一些元数据,还会帮助kafka集群进行管理(选主)
   - 存储关于消费者消费了哪些topic到那个进度的数据。

(2)kafka HA解决的问题:

   存在的问题:kafka在0.8以前的版本中,并不提供high available机制,一旦一个或者多个broker宕机,则宕机期间其上的partition都无法继续提供服务。若该broker永远不能回复或磁盘故障,则其上数据丢失。但是对于分布式来说尤其是集群上升到一定规模,一台或者多台机器宕机的可能性大大提高,对failover要求非常高。因此kafka开始在0.8版本以后提供高可用机制。
   解决的问题:Kafka的HA就是在数据层面上,即丢失一份数据,Consumer仍然可以正常消费(也表示一个broker宕机了,其上面的数据不会丢失)。
  解决的方案:使用replication(副本,对同一个数据进行数据备份)。其中副本之间有主副本和从副本之分(由zookeeper选出),每一个broker都会存储一些主副本,保证kafka集群的负载均衡

(3)kafka HA写数据的流程:

   - 使用zookeeper给多个副本的broker进行选主,选出一个leader
    这个leader相当于zookeeper中的一个临时节点,如果leader宕机之后,zookeeper会再次选主,如果ISR列表中所有的follower都宕机了,此时会等待,等待ISR列表有一个follower重新可以使用的时候,这是就将这个follower变成leader。(ISR是kafka在zookeeper中维护的一个可使用的集群节点列表)
   - 在进行写数据的时候,首先向leader写入数据(主副本)
   - 其他的broker(follower)到leader中fetch数据(从副本)
   - 数据抓取完成后,会向leader返回(ack)信息
解释:在leader中会维护一个ISR(同步副本的列表),列表中存放的是所有的有效的follwer, 在这个列表中如果follower的数据和leader的数据落后太多的话(默认是4000条数据)或者一定时间没有向leader发送fetch请求(默认是10秒),这时候会自动的将这个follwer剔除这个ISR列表中,在这个ISR列表中,每一个follower进行fetch完成数据,就会向leader发送数据,最终leader如果接受到所有的follower反馈,然后向producer进行反馈,发送ACK。
其中ACK表示Producer写入数据的返回级别:

    0 表示只要producer发送数据,就表示写数据成功
    1 表示只要leader写入成功,就表示写数据成功
    all /-1 表示所有的副本写成功,才认为数据写入成功

新闻标题:消息队列之kafka(HA)
本文路径:http://bzwzjz.com/article/jsoscj.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 成都营销网站制作 成都网站设计 成都网站制作公司 高端网站建设 手机网站制作 定制网站设计 app网站建设 手机网站制作设计 手机网站建设套餐 宜宾网站设计 成都企业网站设计 网站建设公司 成都网站制作 高端网站设计 泸州网站建设 高端定制网站设计 网站建设 外贸营销网站建设 成都网站设计 攀枝花网站设计 成都模版网站建设 网站制作