Kafka Producer

Flink Kafka Producer 被稱為 FlinkKafkaProducer。它允許將消息流寫入一個或多個 Kafka topic。

構(gòu)造器接收下列參數(shù)：

• 事件被寫入的默認(rèn)輸出 topic

• 序列化數(shù)據(jù)寫入 Kafka 的 SerializationSchema / KafkaSerializationSchema

• Kafka client 的 Properties。下列 property 是必須的：

• “bootstrap.servers” （逗號分隔 Kafka broker 列表）

• 容錯語義

SerializationSchema

Flink Kafka Producer 需要知道如何將 Java/Scala 對象轉(zhuǎn)化為二進制數(shù)據(jù)。

KafkaSerializationSchema 允許用戶指定這樣的 schema。它會為每個記錄調(diào)用 ProducerRecord<byte[], byte[]> serialize(T element, @Nullable Long timestamp) 方法，產(chǎn)生一個寫入到 Kafka 的 ProducerRecord。

用戶可以對如何將數(shù)據(jù)寫到 Kafka 進行細(xì)粒度的控制。你可以通過 producer record：

• 設(shè)置 header 值

• 為每個 record 定義 key

• 指定數(shù)據(jù)的自定義分區(qū)