PublishKafkaRecord_2_6

Описание

Отправляет содержимое файла потока как отдельные записи в Apache Kafka с использованием API Producer Kafka 2.6. Содержимое файла потока предполагается как данные, ориентированные на записи, которые могут быть прочитаны настроенным Record Reader. Дополнительный процессор NiFi для получения сообщений — это ConsumeKafkaRecord_2_6.

Теги

Apache, Kafka, Record, csv, json, avro, logs, Put, Send, Message, PubSub, 2.6

Свойства

Название	Описание
Kafka Brokers	Comma-separated list of Kafka Brokers in the format host:port Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Topic Name	Имя темы Kafka для публикации. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)
Record Reader	Средство чтения записей, используемое для входящих FlowFiles
Record Writer	Средство записи, используемое для сериализации данных перед отправкой в Kafka
Use Transactions	Указывает, должен ли NiFi обеспечивать транзакционные гарантии при взаимодействии с Kafka. Если при отправке данных в Kafka возникает проблема и для этого свойства установлено значение false, то сообщения, которые уже были отправлены в Kafka, продолжат отправляться и доставляться потребителям. Если для этого свойства установлено значение true, то транзакция Kafka будет отменена, и эти сообщения не будут доступны потребителям. Для установки этого свойства в значение true необходимо, чтобы для свойства <Гарантия доставки> было установлено значение «Гарантия реплицированной доставки».
Transactional Id Prefix	Если для параметра Use Transaction установлено значение true, то в конфигурации KafkaProducer 'transactional.id' будет сгенерирован UUID с префиксом в виде этой строки. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [Use Transactions] Property has a value of "true".
Failure Strategy	Specifies how the processor handles a FlowFile if it is unable to publish the data to Kafka
Delivery Guarantee	Указывает требование для гарантии отправки сообщения в Kafka. Соответствует свойству Kafka 'acks'.
Publish Strategy	Формат, используемый для публикации входящей записи FlowFile в Kafka.
Record Key Writer	Записывающее устройство для записи ключей, используемое для исходящих файлов Flow.This Property is only considered if the [Publish Strategy] Property has a value of "Use Wrapper".
Record Metadata Strategy	Указывает, должны ли метаданные записи (тема и раздел) поступать из поля метаданных записи или из настроенных свойств имени темы и раздела / класса Partitioner.This Property is only considered if the [Publish Strategy] Property has a value of "Use Wrapper".
Attributes to Send as Headers (Regex)	A Regular Expression that is matched against all FlowFile attribute names. Any attribute whose name matches the regex will be added to the Kafka messages as a Header. If not specified, no FlowFile attributes will be added as headers.This Property is only considered if the [Publish Strategy] Property has a value of "Use Content as Record Value".
Message Header Encoding	Для любого атрибута, добавляемого в качестве заголовка сообщения, как указано в свойстве <Атрибуты для отправки в виде заголовков>, это свойство указывает кодировку символов для сериализации заголовков.
Security Protocol	Security protocol used to communicate with brokers. Corresponds to Kafka Client security.protocol property
SASL Mechanism	SASL mechanism used for authentication. Corresponds to Kafka Client sasl.mechanism property
Kerberos User Service	Service supporting user authentication with Kerberos
Kerberos Service Name	The service name that matches the primary name of the Kafka server configured in the broker JAAS configuration Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Username	Username provided with configured password when using PLAIN or SCRAM SASL Mechanisms Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [SASL Mechanism] Property is set to one of the following values: [PLAIN], [SCRAM-SHA-512], [SCRAM-SHA-256]
Password	Password provided with configured username when using PLAIN or SCRAM SASL Mechanisms Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [SASL Mechanism] Property is set to one of the following values: [PLAIN], [SCRAM-SHA-512], [SCRAM-SHA-256]
Token Authentication	Enables or disables Token authentication when using SCRAM SASL MechanismsThis Property is only considered if the [SASL Mechanism] Property is set to one of the following values: [SCRAM-SHA-512], [SCRAM-SHA-256]
AWS Profile Name	The Amazon Web Services Profile to select when multiple profiles are available. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [SASL Mechanism] Property
SSL Context Service	Service supporting SSL communication with Kafka brokers
Message Key Field	Имя поля во входных записях, которое следует использовать в качестве ключа для сообщения Kafka. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [Publish Strategy] Property has a value of "Use Content as Record Value".
Max Request Size	Максимальный размер запроса в байтах. Соответствует свойству Kafka 'max.request.size' и по умолчанию равно 1 МБ (1048576).
Acknowledgment Wait Time	После отправки сообщения в Kafka это значение указывает на время, в течение которого мы готовы ждать ответа от Kafka. Если Kafka не подтвердит получение сообщения в течение этого времени, FlowFile будет перенаправлен в состояние «сбой».
Max Metadata Wait Time	Время, в течение которого издатель будет ожидать получения метаданных или очистки буфера во время вызова 'send' перед завершением всего вызова 'send'. Соответствует свойству Kafka 'max.block.ms' Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Partitioner class	Указывает, какой класс использовать для вычисления идентификатора раздела для сообщения. Соответствует свойству Kafka 'partitioner.class'.
Partition	Указывает, в какой раздел будут отправляться записи. То, как интерпретируется это значение, определяется свойством <класса Partitioner>. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)
Compression Type	Этот параметр позволяет указать кодек сжатия для всех данных, генерируемых этим производителем.

Взаимосвязи

• failure: Любой FlowFile, который не может быть отправлен в Kafka, будет перенаправлен в это отношение
• success: Файлы потока, для которых все содержимое было отправлено в Kafka.