在當(dāng)今的互聯(lián)網(wǎng)和大數(shù)據(jù)時(shí)代，消息隊(duì)列架構(gòu)成為了許多企業(yè)關(guān)注的焦點(diǎn)。比如，千億日活的短視頻應(yīng)用——抖音，它的消息隊(duì)列就是使用Kafka來(lái)完成的。Kafka作為一種高性能、高可靠性的消息中間件，為許多企業(yè)提供了很好的解決方案。在本文中，我們將帶領(lǐng)您一步一步在CentOS 7上搭建Kafka集群，讓您更好地了解Kafka的使用和應(yīng)用。
一、準(zhǔn)備工作
在開(kāi)始之前，我們需要提前準(zhǔn)備好一些工作：
1. 一臺(tái)安裝了CentOS 7的機(jī)器，并開(kāi)啟了網(wǎng)絡(luò)連接。
2. JDK環(huán)境，Kafka需要JDK 1.8及以上版本，因此我們需要先安裝JDK環(huán)境。
3. ZooKeeper，Kafka依賴于ZooKeeper，因此我們需要先安裝好ZooKeeper。
二、安裝JDK環(huán)境
我們可以從Oracle官網(wǎng)上下載JDK，這里我使用的是openjdk-8-jdk版本。在終端中輸入以下命令進(jìn)行安裝：
sudo yum install -y java-1.8.0-openjdk-devel然后，我們可以使用以下命令檢查是否正確安裝了JDK環(huán)境：
java -version如果顯示以下內(nèi)容，則說(shuō)明JDK環(huán)境已經(jīng)安裝成功：
openjdk version "1.8.0_232"OpenJDK Runtime Environment (build 1.8.0_232-b09)OpenJDK 64-Bit Server VM (build 25.232-b09, mixed mode)三、安裝ZooKeeper
在安裝ZooKeeper之前，我們需要為其創(chuàng)建一個(gè)用戶，并授權(quán)：
sudo useradd zookeeper -m -s /bin/bashsudo passwd zookeepersudo chown -R zookeeper:zookeeper /usr/local/zookeeper接下來(lái)，我們可以從官網(wǎng)上下載ZooKeeper，這里我使用的是ZooKeeper 3.4.14版本。在終端中輸入以下命令進(jìn)行安裝：
wget http://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.4.14/zookeeper-3.4.14.tar.gztar -zxvf zookeeper-3.4.14.tar.gzsudo mv zookeeper-3.4.14/ /usr/local/zookeeper然后，我們需要?jiǎng)?chuàng)建ZooKeeper的配置文件：
sudo cp /usr/local/zookeeper/conf/zoo_sample.cfg /usr/local/zookeeper/conf/zoo.cfg現(xiàn)在，我們可以啟動(dòng)ZooKeeper了：
sudo /usr/local/zookeeper/bin/zkServer.sh start可以使用以下命令檢查是否正確啟動(dòng)了ZooKeeper：
sudo /usr/local/zookeeper/bin/zkServer.sh status如果顯示以下內(nèi)容，則說(shuō)明ZooKeeper已經(jīng)啟動(dòng)成功：
Mode: standalone四、安裝Kafka
在安裝Kafka之前，我們需要為其創(chuàng)建一個(gè)用戶，并授權(quán)：
sudo useradd kafka -m -s /bin/bashsudo passwd kafkasudo chown -R kafka:kafka /usr/local/kafka接下來(lái)，我們可以從官網(wǎng)上下載Kafka，這里我使用的是Kafka 2.4.1版本。在終端中輸入以下命令進(jìn)行安裝：
wget http://mirror.bit.edu.cn/apache/kafka/2.4.1/kafka_2.12-2.4.1.tgztar -zxvf kafka_2.12-2.4.1.tgzsudo mv kafka_2.12-2.4.1/ /usr/local/kafka然后，我們需要?jiǎng)?chuàng)建Kafka的配置文件：
sudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-1.propertiessudo cp /usr/local/kafka/config/server.properties /usr/local/kafka/config/server-2.properties現(xiàn)在，我們可以啟動(dòng)Kafka了。在終端中輸入以下命令啟動(dòng)Kafka：
sudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server-1.propertiessudo /usr/local/kafka/bin/kafka-server-start.sh -daemon /usr/local/kafka/config/server-2.properties可以使用以下命令檢查是否正確啟動(dòng)了Kafka：
sudo /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server-1.propertiessudo /usr/local/kafka/bin/kafka-server-stop.sh /usr/local/kafka/config/server-2.properties如果顯示以下內(nèi)容，則說(shuō)明Kafka已經(jīng)啟動(dòng)成功：
[2020-03-05 22:10:26,773] INFO Kafka version: 2.4.1 (org.apache.kafka.common.utils.AppInfoParser:109)[2020-03-05 22:10:26,774] INFO Kafka commitId: c57222ae8cd7866b (org.apache.kafka.common.utils.AppInfoParser:110)[2020-03-05 22:10:26,781] INFO [KafkaServer id=1] started (kafka.server.KafkaServer:58)五、創(chuàng)建主題和分區(qū)
在Kafka中，主題是消息的類別，可以將其理解為一個(gè)消息隊(duì)列。分區(qū)是一個(gè)物理概念，可以將一個(gè)主題分成多個(gè)分區(qū)，每個(gè)分區(qū)保存著一部分消息，因此可以分別在不同的節(jié)點(diǎn)上存儲(chǔ)數(shù)據(jù)，提高了消息的并發(fā)處理能力。在本文中，我們將為Kafka創(chuàng)建一個(gè)名為test的主題，并將其分成3個(gè)分區(qū)。在終端中輸入以下命令：
sudo /usr/local/kafka/bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic test然后，我們可以使用以下命令查看創(chuàng)建的主題信息：
sudo /usr/local/kafka/bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test如果顯示以下內(nèi)容，則說(shuō)明主題和分區(qū)已經(jīng)成功創(chuàng)建：
Topic:test PartitionCount:3 ReplicationFactor:2 Configs: Topic: test Partition: 0 Leader: 1 Replicas: 1,2 Isr: 1,2 Topic: test Partition: 1 Leader: 2 Replicas: 2,1 Isr: 2,1 Topic: test Partition: 2 Leader: 1 Replicas: 2,1 Isr: 1,2六、發(fā)送和接收消息
現(xiàn)在，我們已經(jīng)成功創(chuàng)建了一個(gè)名為test的主題，并將其分成了3個(gè)分區(qū)。接下來(lái)，讓我們來(lái)發(fā)送和接收一些消息。在終端中輸入以下命令：
1. 啟動(dòng)一個(gè)Kafka生產(chǎn)者：
sudo /usr/local/kafka/bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test此時(shí)，終端會(huì)進(jìn)入等待消息輸入的狀態(tài)。
2. 啟動(dòng)一個(gè)Kafka消費(fèi)者：
sudo /usr/local/kafka/bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning此時(shí)，終端會(huì)輸出已經(jīng)發(fā)送的消息。
3. 在生產(chǎn)者終端中輸入一些消息，比如：
hello kafka!4. 在消費(fèi)者終端中，會(huì)輸出剛才發(fā)送的消息：
hello kafka!至此，我們已經(jīng)成功地在CentOS 7上搭建了Kafka集群，并成功地發(fā)送和接收了一些消息。Kafka作為一種高性能、高可靠性的消息中間件，為許多企業(yè)提供了很好的解決方案。通過(guò)本文的學(xué)習(xí)，相信讀者已經(jīng)對(duì)Kafka的使用和應(yīng)用有了更好的了解。
以上就是IT培訓(xùn)機(jī)構(gòu)千鋒教育提供的相關(guān)內(nèi)容，如果您有web前端培訓(xùn)，鴻蒙開(kāi)發(fā)培訓(xùn)，python培訓(xùn)，linux培訓(xùn)，java培訓(xùn)，UI設(shè)計(jì)培訓(xùn)等需求，歡迎隨時(shí)聯(lián)系千鋒教育。
京公網(wǎng)安備 11010802030320號(hào)