Proj4：改進LiteOS中物理記憶體分配演算法 實驗目的 掌握LiteOS系統調用的自定義方法 實驗環境 Ubantu和IMX6ULL mini 實驗內容 （從代碼角度詳細描述實驗的步驟和過程） 原先代碼: 1 /* 2 3 * Description : find suitable free bl ...
手動部署Kraft模式kafka集群
基本信息
| IP地址 | Hostname | Release | Kafka-Version |
|---|---|---|---|
| 172.29.145.157 | iamdemo1 | Centos7.9 | kafka_2.12-3.5.1 |
| 172.29.145.182 | iamdemo2 | Centos7.9 | kafka_2.12-3.5.1 |
| 172.29.145.183 | iamdemo3 | Centos7.9 | kafka_2.12-3.5.1 |
下載安裝包
kafka安裝包官網下載
下載完成後上傳到伺服器/opt目錄下解壓
tar -xf kafka_2.12-3.5.1.tgz
將文件夾重命名為kafka
mv kafka_2.12-3.5.1 kafka
生成集群隨機uuid
[root@iamdemo1 ~ ]cd /opt/kafka/bin
[root@iamdemo1 bin]# sh kafka-storage.sh random-uuid
COY-4PxTT82yfvGKqAepwQ
配置kafka集群的kraft模式參數
參數位置：/opt/kafka/config/kraft/server.properties
##角色可同時為broker和controller
process.roles=broker,controller
##node.id為當前伺服器作為節點的id
node.id=1
##定義投票節點，用於選舉Master,每個節點都必須配置
[email protected]:9093,[email protected]:9093,[email protected]:9093
##9092為每個broker的通信埠，9092為controller節點的混合埠，如果一個節點是混合節點那就需要同時監聽兩個埠
listeners=PLAINTEXT://:9092,CONTROLLER://:9093,EXTERNAL://172.29.145.157:9094
##broker內部監聽協議
inter.broker.listener.name=PLAINTEXT
##對外公開的埠
advertised.listeners=EXTERNAL://172.29.145.157:9094,PLAINTEXT://:9092
controller.listener.names=CONTROLLER
listener.security.protocol.map=CONTROLLER:PLAINTEXT,PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL,EXTERNAL:PLAINTEXT
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=104857600
##kafka數據預設存儲的地方
log.dirs=/opt/kafka/kraft-combined-logs
##每一個topic預設的分區
num.partitions=6
##恢複線程
num.recovery.threads.per.data.dir=2
##用於存儲消費者組的消費偏移量信息的特殊主題，用於在發生故障時或者重新加入時能夠恢復到之前的消費位置
offsets.topic.replication.factor=3
##用於存儲事務狀態信息的特殊主題，kafka支持事務性寫入，當生產者使用事務模式寫入數據時，信息會寫入這個主題
transaction.state.log.replication.factor=3
transaction.state.log.min.isr=3
auto.create.topics.enable=false
default.replication.factor=3
##數據的存儲時間
log.retention.hours=168
##設置kafka一個數據段最大值1G
log.segment.bytes=1073741824
##檢查數據過期時間300s一次
log.retention.check.interval.ms=300000
使用集群uuid格式化kafka數據存儲目錄
[root@iamdemo1 bin]# sh kafka-storage.sh format -t COY-4PxTT82yfvGKqAepwQ -c ../config/kraft/server.properties
Formatting /opt/kafka/kraft-combined-logs with metadata.version 3.5-IV2.
修改啟動腳本，暴露JMX埠，配置JVM記憶體大小
##註意，jdk必須為64位jdk，否則JVM記憶體大小設置為4G會報錯啟動失敗，查看方法java --version如果沒有顯示64bit的都是32位
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx4G -Xms4G"
export JMX_PORT="9999"
fi
修改kafka日誌配置參數，避免一小時生成一個日誌文件
文件位置：/opt/kafka/config/log4j.properties
##添加兩條日誌最大量
log4j.appender.kafkaAppender.MaxFileSize=100MB
log4j.appender.kafkaAppender.MaxBackupIndex=5
##修改DatePattern
log4j.appender.kafkaAppender.DatePattern='.'yyyy-MM-dd
使用腳本啟動kafka集群
[root@iamdemo1 bin]# sh kafka-server-start.sh -daemon ../config/kraft/server.properties
查看集群狀態
通過jps即可看到kafka進程是否在運行，也可通過ps aux查看
查看topic副本分佈情況可以通過
./kafka-topics.sh --describe --bootstrap-server 172.29.145.157:9092,172.29.145.182:9092,172.29.145.183:9092
Topic: test-topic1 TopicId: U3-YpQ4QQqWM7jQ-8uAxjA PartitionCount: 6 ReplicationFactor: 3 Configs: segment.bytes=1073741824
Topic: test-topic1 Partition: 0 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2
Topic: test-topic1 Partition: 1 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
Topic: test-topic1 Partition: 2 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1
Topic: test-topic1 Partition: 3 Leader: 1 Replicas: 1,2,3 Isr: 1,2,3
Topic: test-topic1 Partition: 4 Leader: 2 Replicas: 2,3,1 Isr: 2,3,1
Topic: test-topic1 Partition: 5 Leader: 3 Replicas: 3,1,2 Isr: 3,1,2
