Kafka参数zookeeper和bootstrap-server的区别

1.区别

zookeeper - 旧版Kafka的参数

bootstrap.server - 新版Kafka的参数

2.原因

Kafka开发团队重写了ZooKeeper的Quorum控制器代码并嵌入到Kafka中。所以从v2.8版本开始,Kafka不再依赖ZooKeeper

资料:https://weibo.com/ttarticle/p/show?id=2309404634263655153710

3.特性

bootstrap.servers参数,只在启动客户端连接Kafka服务时使用。并且,即使列表里面填了多个节点,只要有一个可用就行了。

4.实例

假定有3台机,主机名是node1、node2、node3,以创建一个topic为例:

旧版(< v2.2)

kafka-topics.sh --zookeeper node1:2181,node2:2181,node3:2181 --create --topic ..

新版(>= v2.2)

kafka-topics.sh --bootstrap-server node1:9092 --create --topic ..

其中,2181是ZooKeeper的监听端口,9092是Kafka的监听端口。

旧版用--zookeeper参数,主机名(或IP)和端口用ZooKeeper的,也就是server.properties文件中zookeeper.connect属性的配置值

新旧用--bootstrap-server参数,主机名(或IP)和端口用某个节点的即可,即主机名(或主机IP):9092。

5.错误及解决方法

* 如果没有使用对应版本的命令,会报以下2种错误:

(1) 找不到zookeeper参数

zookeeper is not a recognized option

新版已不支持zookeeper参数,需要换成bootstrap-server参数

(2) 节点响应超时(请求超时)

Error while executing topic command : Timed out waiting for a node assignment. Call: xxx
ERROR org.apache.kafka.common.errors.TimeoutException: Timed out waiting for a node assignment. Call: xxx

该错误是由于没有用对应版本的命令,访问了错的主机名(或IP)和端口,所以请求失败导致超时。

* 其中的xxx是指具体的动作,例如createTopics、listTopics等。

另外,如果没配置server.properties文件的listeners值,也会报以上错误。

listeners值默认是PLAINTEXT://:9092,要改为PLAINTEXT://localhost:9092或PLAINTEXT://node1:9092等

附:参考资料

https://blog.csdn.net/zollty/article/details/108975026

https://cwiki.apache.org/confluence/display/KAFKA/KIP-500%3A+Replace+ZooKeeper+with+a+Self-Managed+Metadata+Quorum

https://www.aboutyun.com/thread-27567-1-1.html