Linux中如何安装Kafka分布式集群

这篇文章主要介绍Linux中如何安装Kafka分布式集群,文中介绍的非常详细,具有一定的参考价值,感兴趣的小伙伴们一定要看完!

成都创新互联-专业网站定制、快速模板网站建设、高性价比沙湾网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式沙湾网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖沙湾地区。费用合理售后完善,十多年实体公司更值得信赖。

Kafka(http://kafka.apache.org/) 是由 LinkedIn 使用 Scala 编写的一个分布式消息系统,用作 LinkedIn 的活动流(Activity Stream)和运营数据处理管道(Pipeline)的基础,具有高水平扩展和高吞吐量。Spack、Elasticsearch 都支持与 Kafka 集成。下面看一下几种分布式开源消息队列系统的对比:

Linux中如何安装Kafka分布式集群

Kafka 集群架构:

Linux中如何安装Kafka分布式集群

一般不建议直接使用 Kafka 自带的 Zookeeper 建立 zk 集群,这里我们使用独立的 zk 集群,zk 集群搭建参考文章 Linux下ZooKeeper分布式集群安装。

这里 Linux 选择 CentOS 7.2。

# cd /usr/local
# mkdir kafka
# cd kafka
# wget -P /usr/local/kafka http://mirror.bit.edu.cn/apache/kafka/1.0.0/kafka_2.11-1.0.0.tgz
# tar -zxvf kafka_2.11-1.0.0.tgz
# mkdir kafka-logs

# cd kafka_2.11-1.0.0/config
# vim server.properties

编辑配置文件 (配置项可以参考 http://kafka.apache.org/documentation.html#brokerconfigs) 为:

# 唯一标识,0开始
broker.id=0

# 服务器端口和ip
port=9092
host.name=192.168.2.20
# 日志数据保存的目录
log.dirs=/usr/local/kafka/kafka-logs

log.retention.hours=168
# 每条消息能够容纳的最大大小,默认1000012
message.max.bytes=5242880
# 默认的副本因子,即保存消息的副本数,默认1
default.replication.factor=2
# 取消息的最大直接数,默认1048576
replica.fetch.max.bytes=5242880

# 配置zk地址
zookeeper.connect=192.168.20.11:2181,192.168.20.12:2181,192.168.20.13:2181

启动 Kafka 之前需启动 Zookeeper,然后启动 Kafka,各个节点需单独启动:

# cd /usr/local/kafka/kafka_2.11-1.0.0/bin
# ./kafka-server-start.sh -daemon ../config/server.properties //后台启动服务
# jps       //查看服务是否启动成功
# ./kafka-server-stop.sh  //关闭服务

最后我们在三台不同的服务器上各部署一个 Kafka 进程,以构成一个 Kafka 集群。

以上是“Linux中如何安装Kafka分布式集群”这篇文章的所有内容,感谢各位的阅读!希望分享的内容对大家有帮助,更多相关知识,欢迎关注创新互联行业资讯频道!


文章题目:Linux中如何安装Kafka分布式集群
网站URL:http://bzwzjz.com/article/jijjgs.html

其他资讯

Copyright © 2007-2020 广东宝晨空调科技有限公司 All Rights Reserved 粤ICP备2022107769号
友情链接: 网站设计 网站建设费用 重庆网站建设 网站建设 品牌网站建设 成都网站设计 网站设计 重庆手机网站建设 网站设计制作报价 商城网站建设 响应式网站建设 网站制作公司 成都网站建设公司 成都网站建设 企业网站制作 网站建设改版 上市集团网站建设 高端网站设计推广 成都模版网站建设 温江网站设计 四川成都网站制作 自适应网站设计