Kafka 管道的 SSL 加密

任何

$$ SingleStore $$使用者在那裡？ 為了為 Kafka 管道啟用 SSL 加密（僅），我們創建瞭如下管道：

CREATE PIPELINE `kafka_ssl`
AS LOAD DATA KAFKA '<kafka-host>:<kafka-port>/test'
CONFIG '{"security.protocol": "ssl"
"ssl.ca.location": "<path-to-the-ca-certificate>"}''
INTO table <t>;

來自https://docs.memsql.com/v7.0/concepts/pipelines/kafka-kerberos-ssl/ 22

請注意，我們不是在尋找客戶端身份驗證（雙向 TLS 連接）。這需要我們手動將 CA 證書複製到 memsql 節點並提供該路徑。這適用於獨立的 Kafka 集群。

如果我們使用 AWS MSK，推薦的方法是什麼？

以下文件指向 MSK 客戶端的 SSL 加密客戶端配置。他們使用客戶端信任庫位置作為屬性，該屬性不是 memsql 管道配置 json 的標識屬性

https://docs.aws.amazon.com/msk/latest/developerguide/msk-encryption.html 10 https://docs.aws.amazon.com/msk/latest/developerguide/msk-authentication.html

在 SingleStore 論壇中查看其他有相同問題的人。無法創建從 Singlestore in a box 到 AWS MSK 的管道。

我們假設，

這是您（== 客戶的）服務名稱：com.amazonaws.vpce.ap-southeast-2.vpce-svc-05738b36bf477df03

這是您的端點的（== ss 的）dns 名稱：com.amazonaws.vpce.ap-southeast-2.vpce-svc-05738b36bf477df03 vpce-07e59dd12b36925ee-q2lyxq0y.vpce-svc-05738b36bf477df03.ap-southeast-2vp。 .amazonaws.com vpce-svc-06f99678d75724074.ap-southeast-2.vpce.amazonaws.com

DNS == vpce-07e59dd12b36925ee-q2lyxq0y.vpce-svc-05738b36bf477df03.ap-southeast-2.vpce.amazonaws.com 用於 __spoof.dns；vpce-svc-06f99678d75724074.ap-southeast-2.vpce..com com.amazonaws.vpce.ap-southeast-2.vpce-svc-06f99678d75724074

創建或替換管道 kafka_insert_thing_event_v0 作為載入數據 KAFKA ‘DNS:6000/prod_common_v0_event_wrapper_thing_event’ CONFIG ‘{ “__spoof.dns”: { “DNS:6000”: “DNS:6000”, “b-1.events.eg3qf0.c2.kafka .ap-southeast-2.amazonaws.com:9092”: “DNS:6001”, “b-2.events.eg3qf0.c2.kafka.ap-southeast-2.amazonaws.com:9092”: “DNS:6002 “, “b-3.events.eg3qf0.c2.kafka.ap-southeast-2.amazonaws.com:9092”: “DNS:6003” } }’ INTO TABLE t ;

我還附上了與 SingleStore 集成的 MSK 文件以供參考。我希望它會幫助你。

https://docs.google.com/document/d/17nl9S__oxIo4J30OM1WHTkkqrCSYFqJ44sUcJxKM0QA/edit?usp=sharing&urp=gmail_link

引用自：https://dba.stackexchange.com/questions/313519