kafka启动与配置


查询：
	1. 微应用常见的分解功能
	2. 使用网关、注册中心、配置中心

查询资料的网址

jdk的下载及安装

centos的jdk下载及安装

centos安装python centos卸载python centos安装固定版本3.6的

python3运行kafka，出现self.async的错误第二个

docker启动安装kafka

docker-compose中的deploy kafka kafka列表

centos安装jps kafka常见错误及解决方法

kafka为何弃用zookeeper

kafka consumer 连接zoopkeeper timeout

1. 启动和配置kafka和zookeeper 网址

kafka需安装zookeeper使用，但kafka集成zookeeper，在单机搭建时可直接使用

1)创建zookeeper目录

mkdir /usr/local/kafka/zookeeper

2)创建zookeeper日志目录

mkdir -p /usr/local/kafka/log/zookeeper

3)进入配置目录/usr/local/kafka_2.13-3.0.0

cd /usr/local/kafka_2.13-3.0.0/conf vi zookeeper.properties

4)编辑修改相应的参数

shell
#zookeeper数据目录
dataDir=/usr/local/kafka_2.13-3.0.0/zookeeper 
#zookeeper日志目录
dataLogDir=/usr/local/kafka_2.13-3.0.0/log/zookeeper 
clientPort=2181
maxClientCnxns=100
tickTime=2000
initLimit=10
syncLimit=5

2.配置kafka_2.13-3.0.0/config下的server.properties

1)目录创建及参数配置如下：

shell
	advertised.listeners=PLAINTEXT://192.168.145.132:9092 #远程服务配置，用于远程链接
	broker.id=0
	#topic可以删,默认是false
	delete.topic.enable=true   
	#端口号，可不配置
	port=9092 
	#服务器IP地址，也可修改为自己的服务器IP
	host.name=192.168.145.132   
	log.dirs=/usr/local/kafka_2.13-3.0.0/log/kafka     #日志存放路径，上面创建的目录
	zookeeper.connect=localhost:2181 #zookeeper地址和端口，单机配置部署，localhost:2181

3.启动/停止命令

1)启动zookeeper

shell
bin/zookeeper-server-start.sh config/zookeeper.properties

2)启动kakfa

shell
bin/kafka-server-start.sh config/server.properties

3)停止kafka-zookeeper、kafka

shell
bin/zookeeper-server-stop.sh
bin/kafka-server-stop.sh

4. 创建topic

topic放到前边，网址

shell
bin/kafka-topics.sh --create --topic testtopic --bootstrap-server 192.168.56.3:9092 --partitions 1 --replication-factor 1

查看topic

shell
bin/kafka-topics.sh --list --bootstrap-server 192.168.56.3:9092

5. 生产者发送数据

shell
bin/kafka-console-producer.sh --broker-list 192.168.56.3:9092 --topic testtopic

6. 消费者获取数据

shell
bin/kafka-console-consumer.sh --bootstrap-server 192.168.56.3:9092 --topic testtopic --from-beginning

附录

shell
KAFKA_ADVERTISED_HOST_NAME：广播主机名称，一般用IP指定（https://blog.csdn.net/QQ83512272/article/details/126368978）
KAFKA_ZOOKEEPER_CONNECT：Zookeeper连接地址，格式：zoo1：port1,zoo2:port2:/path
KAFKA_LISTENERS：Kafka启动所使用的的协议及端口
KAFKA_ADVERTISED_LISTENERS：Kafka广播地址及端口，也就是告诉客户端，使用什么地址和端口能连接到Kafka，这个很重要，如果不指定，宿主机以外的客户端将无法连接到Kafka，比如我这里因为容器与宿主机做了端口映射，所以广播地址采用的是宿主机的地址及端口，告诉客户端只要连接到宿主机的指定端口就行了
KAFKA_BROKER_ID：指定BrokerId，如果不指定，将会自己生成