歡迎訪問我的GitHub 這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos 本篇概覽 本文是《Strimzi Kafka Bridge(橋接)實戰》的第三篇,前文咱們掌握了Strimzi Kafka Bridge的基本功能:基於h ...
歡迎訪問我的GitHub
這裡分類和彙總了欣宸的全部原創(含配套源碼):https://github.com/zq2599/blog_demos
本篇概覽
- 本文是《Strimzi Kafka Bridge(橋接)實戰》的第三篇,前文咱們掌握了Strimzi Kafka Bridge的基本功能:基於http提供各種kafka消息的服務
- 此刻,如果想通過http介面調用bridge的服務,勢必要寫不少代碼(請求數據的生成、響應數據的解析),好在Strimzi已經提供了標準OpenApi的配置文件,咱們可以根據這個配置文件生成與http介面相關的代碼,省去不少工作
為什麼是golang版本
- 熟悉欣宸的讀者都知道欣宸是個正宗的java程式員,那麼,本篇應該實戰java版本的SDK吧,怎麼就研究起了golang版本呢?
- 因為Strimzi Kafka Bridge提供的OpenApi配置,用來生成客戶端sdk之後,是無法正常使用的!!!,沒錯,您沒看錯,用工具生成的sdk,不論是golang版還是java版,都用不了!
- 相比之下,golang版的sdk,雖然不能用,但是經過搶救還是可以正常工作的,這也是本篇的主要內容
- 而java版的就沒那麼幸運了,涉及到jar庫的依賴,就算是改代碼也救不活,於是只能放棄,具體的原因本文末尾會給出,當然了,也許是欣宸水平太差,換成其他高手說不定就給救活了
- 閑話少說,接下來的內容由以下這幾個步驟組成
- 介紹一下我這邊的環境信息
- 下載OpenApi的配置文件
- 下載swagger工具
- 用swagger工具生成客戶端sdk代碼
- 創建一個golang的demo程式,使用剛剛生成的客戶端sdk代碼
- 客戶端sdk代碼存在諸多問題,但是可以逐個修複,這裡咱們就來修複它們
- 運行一個demo程式,調用sdk代碼中的API,驗證基本功能
環境信息
- 以下是我這邊的環境信息,您可以作為參考
- JDK:11.0.14.1
- Maven:3.8.5
- strimzi-kafka-bridge:0.22.3
- swagger-codegen-cli:2.4.9
- 需要註意的是,swagger工具是jar格式的,因此需要當前環境準備好JDK
下載OpenApi的配置文件
- Strimzi Kafka Bridge的master分支處於活躍狀態,因此不適合拿來實戰,咱們選擇一個發佈版本吧
- 下載strimzi-kafka-bridge源碼,地址是:https://codeload.github.com/strimzi/strimzi-kafka-bridge/zip/refs/tags/0.22.3 ,下載後解壓得到名為strimzi-kafka-bridge-0.22.3的文件夾
- 這個文件就是OpenApi的配置文件,可以用來生成客戶端sdk源碼:strimzi-kafka-bridge-0.22.3/src/main/resources/openapiv2.json ,稍後會用到
下載swagger工具
- swagger工具的下載地址是:https://repo1.maven.org/maven2/io/swagger/swagger-codegen-cli/2.4.9/swagger-codegen-cli-2.4.9.jar
- 現在新建一個目錄,我這裡新建了一個名為001的目錄,將openapiv2.json和swagger-codegen-cli-2.4.9.jar這兩個剛下載的文件放在這個目錄下
- 在001的目錄下新增一個名為swagger的目錄
用swagger工具生成客戶端sdk代碼
- 使用預設參數來生成客戶端sdk代碼的操作十分簡單
java -jar swagger-codegen-cli-2.4.9.jar generate \
-i ./openapiv2.json \
-l go \
-o swagger
-
執行完命令後,控制台輸出如下
-
查看swagger目錄,發現已經生成了大量文件
➜ 001 tree swagger
swagger
├── README.md
├── api
│ └── swagger.yaml
├── api_consumers.go
├── api_default.go
├── api_producer.go
├── api_seek.go
├── api_topics.go
├── client.go
├── configuration.go
├── docs
│ ├── AssignedTopicPartitions.md
│ ├── BridgeInfo.md
│ ├── Consumer.md
│ ├── ConsumerRecord.md
│ ├── ConsumerRecordList.md
│ ├── ConsumersApi.md
│ ├── CreatedConsumer.md
│ ├── DefaultApi.md
│ ├── KafkaHeader.md
│ ├── KafkaHeaderList.md
│ ├── ModelError.md
│ ├── OffsetCommitSeek.md
│ ├── OffsetCommitSeekList.md
│ ├── OffsetRecordSent.md
│ ├── OffsetRecordSentList.md
│ ├── OffsetsSummary.md
│ ├── Partition.md
│ ├── PartitionMetadata.md
│ ├── Partitions.md
│ ├── ProducerApi.md
│ ├── ProducerRecord.md
│ ├── ProducerRecordList.md
│ ├── ProducerRecordToPartition.md
│ ├── ProducerRecordToPartitionList.md
│ ├── Replica.md
│ ├── SeekApi.md
│ ├── SubscribedTopicList.md
│ ├── TopicMetadata.md
│ ├── Topics.md
│ └── TopicsApi.md
├── git_push.sh
├── model_assigned_topic_partitions.go
├── model_bridge_info.go
├── model_consumer.go
├── model_consumer_record.go
├── model_consumer_record_list.go
├── model_created_consumer.go
├── model_error.go
├── model_kafka_header.go
├── model_kafka_header_list.go
├── model_offset_commit_seek.go
├── model_offset_commit_seek_list.go
├── model_offset_record_sent.go
├── model_offset_record_sent_list.go
├── model_offsets_summary.go
├── model_partition.go
├── model_partition_metadata.go
├── model_partitions.go
├── model_producer_record.go
├── model_producer_record_list.go
├── model_producer_record_to_partition.go
├── model_producer_record_to_partition_list.go
├── model_replica.go
├── model_subscribed_topic_list.go
├── model_topic_metadata.go
├── model_topics.go
└── response.go
2 directories, 66 files
創建一個golang的demo程式,使用剛剛生成的客戶端sdk代碼
- 新建名為sdkdemo的文件夾
- 在sdkdemo的文件夾下麵執行以下命令,新建一個go工程
go mod init sdkdemo
- 需要引入兩個包,執行以下命令
go get golang.org/x/oauth2
go get github.com/antihax/optional
-
將前面生成代碼的swagger文件夾複製到sdkdemo的文件夾下麵
-
現在sdkdemo的文件夾下麵有這些東西
-
為了方便開發,接下來用IDE工具進行開發,我這裡用的是goland,打開項目後新增名為main.go的文件
-
接下來咱們要面對的是一堆破綻百出的sdk代碼,不過還好,可以拯救,咱們一起啦拯救吧
修複有問題的sdk源碼,第一個問題
- 一共有6個問題,咱們逐一修複
- 第一個問題如下圖,SeekToEndOpts這個數據結構在api_seek.go和api_consumer.go中都有,顯然是重覆定義了,將左側api_seek.go中的SeekToEndOpts定義刪除掉
第二個問題
- 第二個問題如下圖,SendOpts這個數據結構在api_topics.go和api_producer.go中都有,顯然是重覆定義了,將左側api_topics.go中的SeekToEndOpts定義刪除掉
第三個問題
- 第三個問題最讓人痛苦(因為java版也被此問題折磨,且不好處理),bridge的請求和響應的contentType,與咱們平時常用的application/json不同,在bridge這裡用的是這兩種:application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json,其實這個也好理解:生產和發送的消息內容不一定只有json格式,可能還會嵌入其他格式的消息,這就要有kafka自己的協議來支持了,於是contentType就變得比較特殊
- 話雖這麼說,但是swagger不認識application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json這兩種格式,於是生成的代碼自然也就不支持了
- 來看看具體問題吧,打開文件client.go,當前decode方法源碼如下,可見是不會處理application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json這兩種的
func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
if strings.Contains(contentType, "application/xml") {
if err = xml.Unmarshal(b, v); err != nil {
return err
}
return nil
} else if strings.Contains(contentType, "application/json") {
if err = json.Unmarshal(b, v); err != nil {
return err
}
return nil
}
return errors.New("undefined response type")
}
- 把代碼改成下麵這樣,對application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json這兩種類型的數據,處理方法都等同於json
func (c *APIClient) decode(v interface{}, b []byte, contentType string) (err error) {
if strings.Contains(contentType, "application/xml") {
if err = xml.Unmarshal(b, v); err != nil {
return err
}
return nil
} else if strings.Contains(contentType, "application/json") ||
strings.Contains(contentType, "application/vnd.kafka.v2+json") ||
strings.Contains(contentType, "application/vnd.kafka.json.v2+json") {
if err = json.Unmarshal(b, v); err != nil {
return err
}
return nil
}
return errors.New("undefined response type")
}
- 當然了這樣做的弊端也很明顯:只支持json格式的內容,kakfa原本支持的多種格式都不能處理了
第四個問題
- 第四個問題也和contentType有關,前面第三個問題發生在請求階段,而第四個問題發生在處理響應數據的階段
- 還是client.go文件,這次是setBody方法,先看看原始內容
// Set request body from an interface{}
func setBody(body interface{}, contentType string) (bodyBuf *bytes.Buffer, err error) {
if bodyBuf == nil {
bodyBuf = &bytes.Buffer{}
}
if reader, ok := body.(io.Reader); ok {
_, err = bodyBuf.ReadFrom(reader)
} else if b, ok := body.([]byte); ok {
_, err = bodyBuf.Write(b)
} else if s, ok := body.(string); ok {
_, err = bodyBuf.WriteString(s)
} else if s, ok := body.(*string); ok {
_, err = bodyBuf.WriteString(*s)
} else if jsonCheck.MatchString(contentType) {
err = json.NewEncoder(bodyBuf).Encode(body)
} else if xmlCheck.MatchString(contentType) {
xml.NewEncoder(bodyBuf).Encode(body)
}
if err != nil {
return nil, err
}
if bodyBuf.Len() == 0 {
err = fmt.Errorf("Invalid body type %s\n", contentType)
return nil, err
}
return bodyBuf, nil
}
- 修改後的內容如下圖,紅色箭頭所指為新增內容
第五個問題
- 第五個問題,簡直是strimzi拿來噁心開發者的,在拉取消息的時候,bridge的server端只支持application/vnd.kafka.json.v2+json,結果在OpenApi中卻定義了多種類型,結果拉去消息的時候,bridge會提示多出的類型不支持
- 這個問題可以用postman等工具復現,如下圖
- 代碼的改動如下圖,修改api_consumers.go
第六個問題
- 最後一個問題是數據結構定義問題,打開model_consumer_record_list.go,看到內容如下,真夠壞的,挖這麼大的坑...
package swagger
type ConsumerRecordList struct {
}
- 改成這樣就好了
package swagger
type ConsumerRecordList []ConsumerRecord
第七個問題
- 第七個問題,也是挖了個坑讓我跳,打開文件model_producer_record.go,內容如下,根據前一篇的請求內容,可知這裡缺少兩個欄位:Key和Value
package swagger
type ProducerRecord struct {
Partition int32 `json:"partition,omitempty"`
Headers *KafkaHeaderList `json:"headers,omitempty"`
}
- 修改後如下
package swagger
type ProducerRecord struct {
Partition int32 `json:"partition,omitempty"`
Value string `json:"value"`
Key string `json:"key,omitempty"`
Headers *KafkaHeaderList `json:"headers,omitempty"`
}
第八個問題
-
最後一個問題,是在提交offset的時候,bridge後臺不接受contentType,所以請打開文件api_consumers.go,修改如下,註釋掉一行代碼
-
坑已經填完了,開始驗證SDK能不能用吧
編寫代碼驗證功能:查看topic列表
- 打開main.go文件,增加以下內容,都是要用到的常量,以及sdk配置的初始化
// 測試用的topic
const TEST_TOPIC = "bridge-quickstart-topic"
const TEST_GROUP = "client-sdk-group"
const CONSUMER_NAME = "client-sdk-consumer-002"
// strimzi bridge地址
const BASE_PATH = "http://127.0.0.1:31331"
var client *swagger.APIClient
func init() {
configuration := swagger.NewConfiguration()
configuration.BasePath = BASE_PATH
client = swagger.NewAPIClient(configuration)
}
- 調用SDK來查看kafka的topic列表的代碼如下
func getAllTopics() ([]string, error) {
array, response, err := client.TopicsApi.ListTopics(context.Background())
if err != nil {
log.Printf("getAllTopics err: %v\n", err)
return nil, err
}
log.Printf("response: %v", response)
return array, nil
}
- 在main方法中調用getAllTopics
func main() {
topics, err := getAllTopics()
if err != nil {
return
}
fmt.Printf("topics: %v\n", topics)
}
- 運行main方法,結果如下,可見成功獲取到topic列表,sdk能用
2022/12/18 21:26:33 response: &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[109] Content-Type:[application/vnd.kafka.v2+json]] 0x140000e0300 109 [] false false map[] 0x14000118100 <nil>}
topics: [__strimzi_store_topic bridge-quickstart-topic __strimzi-topic-operator-kstreams-topic-store-changelog]
Process finished with the exit code 0
編寫代碼驗證功能:發送消息
- 發送消息的代碼如下
// 發送消息(非同步模式,不會收到offset返回)
func sendAsync(info string) error {
log.Print("send [" + info + "]")
_, response, err := client.ProducerApi.Send(context.Background(),
TEST_TOPIC,
swagger.ProducerRecordList{
Records: []swagger.ProducerRecord{
{Value: "message from go swagger SDK"},
},
},
&swagger.SendOpts{Async: optional.NewBool(true)},
)
if err != nil {
log.Printf("send err: %v\n", err)
return err
}
log.Printf("response: %v", response.StatusCode)
return nil
}
- 把main方法改成下麵這樣,連續調用發送消息的請求
func main() {
for i := 0; i < 10; i++ {
sendAsync("message from go client " + strconv.Itoa(i))
}
}
- 控制台輸出如下,可見發送消息成功,稍後咱們還會寫消費的代碼來消費這些消息
/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:35:47 send [message from go client 0]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 1]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 2]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 3]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 4]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 5]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 6]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 7]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 8]
2022/12/18 21:35:47 response: 204
2022/12/18 21:35:47 send [message from go client 9]
2022/12/18 21:35:47 response: 204
Process finished with the exit code 0
編寫代碼驗證功能:創建consumer
- 先增加兩個輔助方法,用來處理特別的包體和錯誤信息
// 取出swagger特有的error類型,從中提取中有效的錯誤信息
func getErrorMessage(err error) string {
e := err.(swagger.GenericSwaggerError)
return string(e.Body())
}
func getBodyStr(body io.ReadCloser) string {
buf := new(bytes.Buffer)
buf.ReadFrom(body)
return buf.String()
}
- 創建consumer的代碼如下
// 創建consumer
func CreateConsumer(group string, consumerName string) (*swagger.CreatedConsumer, error) {
consumer, response, err := client.ConsumersApi.CreateConsumer(context.Background(),
group,
swagger.Consumer{
Name: consumerName,
AutoOffsetReset: "latest",
FetchMinBytes: 16,
ConsumerRequestTimeoutMs: 300 * 1000,
EnableAutoCommit: false,
Format: "json",
})
if err != nil {
log.Printf("CreateConsumer error : %v", getErrorMessage(err))
return nil, err
}
log.Printf("CreateConsumer response : %v, body [%v]", response, getBodyStr(response.Body))
log.Printf("consumer : %v", consumer)
return &consumer, nil
}
- 在main方法中調用,即可創建consumer
func main() {
// 創建consumer
CreateConsumer(TEST_GROUP, CONSUMER_NAME)
}
編寫代碼驗證功能:訂閱
- 訂閱代碼如下
// 訂閱
func Subsciribe(topic string, consumerGroup string, consumerName string) error {
response, err := client.ConsumersApi.Subscribe(context.Background(),
swagger.Topics{Topics: []string{topic}},
consumerGroup,
consumerName,
)
if err != nil {
log.Printf("Subscribe error : %v", err)
return err
}
log.Printf("Subscribe response : %v", response)
return nil
}
- 在main方法中這樣調用
func main() {
err := Subsciribe(TEST_TOPIC, TEST_GROUP, CONSUMER_NAME)
if err != nil {
fmt.Printf("err : %v\n", err)
}
}
編寫代碼驗證功能:拉取消息
- 以下是拉取消息的代碼
// 拉取消息
func Poll(consumerGroup string, consumerName string) error {
// ctx context.Context, groupid string, name string, localVarOptionals *PollOpts
recordList, response, err := client.ConsumersApi.Poll(context.Background(), consumerGroup, consumerName, nil)
if err != nil {
log.Printf("Poll error : %v", err)
return err
}
log.Printf("Poll response : %v", response)
fmt.Printf("recordList: %v\n", recordList)
return nil
}
- main方法如下
func main() {
Poll(TEST_GROUP, CONSUMER_NAME)
}
- 執行main方法,第一次拉取不到消息,別擔心,這是正常的現象,按照官方的說法,拉取到的第一條消息就是空的,這是因為拉取操作出觸發了rebalancing邏輯(rebalancing是kafka的概覽,是處理多個partition消費的操作),再次執行main方法,這下正常了,控制台輸出如下
/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 21:43:16 Poll response : &{200 OK 200 HTTP/1.1 1 1 map[Content-Length:[2301] Content-Type:[application/vnd.kafka.json.v2+json]] 0x140000e0340 2301 [] false false map[] 0x1400011a100 <nil>}
recordList: [{ 163468 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163469 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163470 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163471 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163472 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 163473 0 bridge-quickstart-topic message from go swagger SDK <nil>} { 162246 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162247 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162248 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162249 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 162250 2 bridge-quickstart-topic message from go swagger SDK <nil>} { 163669 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163670 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163671 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163672 1 bridge-quickstart-topic message from go swagger SDK <nil>} { 163146 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163147 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163148 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163149 3 bridge-quickstart-topic message from go swagger SDK <nil>} { 163150 3 bridge-quickstart-topic message from go swagger SDK <nil>}]
Process finished with the exit code 0
編寫代碼驗證功能:提交offset
- 最後是提交offset的功能,這樣從消息的發送再到接收的整個流程都實現了api覆蓋,增加Offset方法
// 提交offset
func Offset(consumerGroup string, consumerName string) error {
response, err := client.ConsumersApi.Commit(context.Background(),
consumerGroup,
consumerName, nil)
if err != nil {
log.Printf("Poll error : %v", err)
return err
}
log.Printf("Offset response : %v", response)
return nil
}
- 調用很簡單
func main() {
err := Offset(TEST_GROUP, CONSUMER_NAME)
if err != nil {
print(err)
}
}
- 執行結果如下,返回204,提交成功
/private/var/folders/5v/p3bj9bzx2nd99y5l21nb1c080000gn/T/GoLand/___go_build_sdkdemo
2022/12/18 22:07:38 Offset response : &{204 No Content 204 HTTP/1.1 1 1 map[] {} 0 [] false false map[] 0x1400011a100 <nil>}
Process finished with the exit code 0
java的問題
- 從go版本的修改程度可以發現,基於openapiv2.json生成的sdk代碼真的很難用,在go環境尚且如此,換成java環境就更難改了,雖然我也嘗試過將其改好,但是面對很多jar的時候還是無能為力,下圖是一個很難處理的地方,ApiClient並不支持application/vnd.kafka.v2+json和application/vnd.kafka.json.v2+json,contentType改不成正常的,bridge後臺就會返回錯誤,所以最終我只能罵罵咧咧的放棄了
有收穫嗎?
- 面對這麼爛的SDK源碼,一般人都不會在生產環境使用,但是個人覺得也不是一無是處,這裡小結一下收穫
- 瞭解了go版本swagger sdk源碼的基本結構,和請求響應邏輯
- 知道了大眾工具也有出問題的時候
- strimzi到底測試過嗎,這個做CICD自動化應該可以做到吧,能進CNCF的項目,也是會出問題的...