这篇文章主要讲解了“Kafka基础知识点有哪些”，文中的讲解内容简单清晰，易于学习与理解，下面请大家跟着小编的思路慢慢深入，一起来研究和学习“Kafka基础知识点有哪些”吧！
公司主营业务：网站制作、成都做网站、移动网站开发等业务。帮助企业客户真正实现互联网宣传，提高企业的竞争能力。创新互联是一支青春激扬、勤奋敬业、活力青春激扬、勤奋敬业、活力澎湃、和谐高效的团队。公司秉承以“开放、自由、严谨、自律”为核心的企业文化，感谢他们对我们的高要求，感谢他们从不同领域给我们带来的挑战，让我们激情的团队有机会用头脑与智慧不断的给客户带来惊喜。创新互联推出阜康免费做网站回馈大家。
| Hadoop102 | Haoop103 | Hadoop104 |
|---|---|---|
| Zookeeper | Zookeeper | Zookeeper |
| kafka | kafka | kafka |
http://kafka.apache.org/downloads
1）解压安装包 tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/ 2）修改解压后的文件名称 mv kafka_2.11-2.4.1/ kafka 3）在/opt/module/kafka目录下创建logs文件夹 mkdir logs
4）修改配置文件 cd config/ vi server.properties 输入以下内容： #broker的全局唯一编号，不能重复 broker.id=2 --需要修改 #处理网络请求的线程数量 num.network.threads=3 #用来处理磁盘IO的现成数量 num.io.threads=8 #发送套接字的缓冲区大小 socket.send.buffer.bytes=102400 #接收套接字的缓冲区大小 socket.receive.buffer.bytes=102400 #请求套接字的缓冲区大小 socket.request.max.bytes=104857600 #kafka运行日志存放的路径 log.dirs=/opt/module/kafka/logs --需要修改 #topic在当前broker上的分区个数 num.partitions=1 #用来恢复和清理data下数据的线程数量 num.recovery.threads.per.data.dir=1 #segment文件保留的最长时间，超时将被删除 log.retention.hours=168 #配置连接Zookeeper集群地址 zookeeper.connect=hadoop102:2181,hadoop103:2181,hadoop104:2181/kafka --需要修改
5）配置环境变量 sudo vim /etc/profile.d/my_env #KAFKA_HOME export KAFKA_HOME=/opt/module/kafka export PATH=$PATH:$KAFKA_HOME/bin source /etc/profile.d/my_env 6）分发安装包 xsync kafka/ 注意：分发之后记得配置其他机器的环境变量 分别在hadoop103和hadoop104上修改配置文件 /opt/module/kafka/config/server.properties中的broker.id=3、broker.id=4 注：broker.id不得重复!!!!
7）启动集群 依次在hadoop102、hadoop103、hadoop104节点上启动kafka [atguigu@hadoop102 kafka]$ kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties [atguigu@hadoop103 kafka]$ kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties [atguigu@hadoop104 kafka]$ kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 8）关闭集群 [atguigu@hadoop102 kafka]$ bin/kafka-server-stop.sh [atguigu@hadoop103 kafka]$ bin/kafka-server-stop.sh [atguigu@hadoop104 kafka]$ bin/kafka-server-stop.sh
9）kafka群起群停脚本 !#/bin/bash #1、判断参数个数 if [ $# -ne 1 ];then echo "args num is error!!!" exit fi #2、根据输入的参数执行逻辑 case $1 in "start") for host in hadoop02,hadoop103,hadoop104 do echo “===============start $host kafka===============” ssh $host "/opt/module/kafka/bin/kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties" done ;; "stop") for host in hadoop102,hadoop103,hadoop104 do echo “===============stop $host kafka===============” ssh $host "/opt/module/kafka/bin/kafka-server-stop.sh" done ;; "status") for host in hadoop102,hadoop103,hadoop104 do pid=$(ssh $host "ps -ef | grep server.properties | grep -v grep") [ "$pid" ] && echo "kafka进程正常" || echo "kafka进程不存在或者异常" done ;; *) echo "input arg error!!! (stop,start,status)" ;; esac
kafka-topics.sh --list --bootstrap-server hadoop102:9092,hadoop103:9092,hadoop104:9092
kafka-topics.sh --create --bootstrap-server hadoop102:9092,hadoop103:9092 --topic second --partitions 2 --replication-factor 2 选项说明： --topic 定义topic名 --replication-factor 定义副本数 --partitions 定义分区数
kafka-topics.sh --delete --bootstrap-server hadoop102:9092,hadoop103:9092 --topic second
kafka-console-producer.sh --broker-list hadoop102:9092 --topic first
kafka-console-consumer.sh --bootstrap-server hadoop102:9092 --from-beginning --topic first --from-beginning：会把主题中以往所有的数据都读取出来。
kafka-topics.sh --describe --bootstrap-server hadoop102:9092,hadoop103:9092 --topic first
kafka-topics.sh --alter --bootstrap-server hadoop102:9092,hadoop103:9092 --topic first --partition 6 注意：分区只能改大不能改小，不能修改副本数
感谢各位的阅读，以上就是“Kafka基础知识点有哪些”的内容了，经过本文的学习后，相信大家对Kafka基础知识点有哪些这一问题有了更深刻的体会，具体使用情况还需要大家实践验证。这里是创新互联，小编将为大家推送更多相关知识点的文章，欢迎关注！