PublishKafkaRecord_2_6
Описание
Отправляет содержимое файла потока как отдельные записи в Apache Kafka с использованием API Producer Kafka 2.6. Содержимое файла потока предполагается как данные, ориентированные на записи, которые могут быть прочитаны настроенным Record Reader. Дополнительный процессор NiFi для получения сообщений — это ConsumeKafkaRecord_2_6.
Теги
Apache, Kafka, Record, csv, json, avro, logs, Put, Send, Message, PubSub, 2.6
Свойства
| Название | Описание |
|---|---|
| Kafka Brokers | Comma-separated list of Kafka Brokers in the format host:port Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Topic Name | Имя темы Kafka для публикации. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды) |
| Record Reader | Средство чтения записей, используемое для входящих FlowFiles |
| Record Writer | Средство записи, используемое для сериализации данных перед от правкой в Kafka |
| Use Transactions | Указывает, должен ли NiFi обеспечивать транзакционные гарантии при взаимодействии с Kafka. Если при отправке данных в Kafka возникает проблема и для этого свойства установлено значение false, то сообщения, которые уже были отправлены в Kafka, продолжат отправляться и доставляться потребителям. Если для этого свойства установлено значение true, то транзакция Kafka будет отменена, и эти сообщения не будут доступны потребителям. Для установки этого свойства в значение true необходимо, чтобы для свойства <Гарантия доставки> было установлено значение «Гарантия реплицированной доставки». |
| Transactional Id Prefix | Если для параметра Use Transaction установлено значение true, то в конфигурации KafkaProducer 'transactional.id' будет сгенерирован UUID с префиксом в виде этой строки. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [Use Transactions] Property has a value of "true". |
| Failure Strategy | Specifies how the processor handles a FlowFile if it is unable to publish the data to Kafka |
| Delivery Guarantee | Указывает требование для гарантии отправки со общения в Kafka. Соответствует свойству Kafka 'acks'. |
| Publish Strategy | Формат, используемый для публикации входящей записи FlowFile в Kafka. |
| Record Key Writer | Записывающее устройство для записи ключей, используемое для исходящих файлов Flow.This Property is only considered if the [Publish Strategy] Property has a value of "Use Wrapper". |
| Record Metadata Strategy | Указывает, должны ли метаданные записи (тема и раздел) поступать из поля метаданных записи или из настроенных свойств имени темы и раздела / класса Partitioner.This Property is only considered if the [Publish Strategy] Property has a value of "Use Wrapper". |
| Attributes to Send as Headers (Regex) | A Regular Expression that is matched against all FlowFile attribute names. Any attribute whose name matches the regex will be added to the Kafka messages as a Header. If not specified, no FlowFile attributes will be added as headers.This Property is only considered if the [Publish Strategy] Property has a value of "Use Content as Record Value". |
| Message Header Encoding | Для любого атрибута, добавляемого в качестве заголовка сообщения, как указано в свойстве <Атрибуты для отправки в виде заголовков>, это свойство указывает кодировку символов для сериализации заголовков. |
| Security Protocol | Security protocol used to communicate with brokers. Corresponds to Kafka Client security.protocol property |
| SASL Mechanism | SASL mechanism used for authentication. Corresponds to Kafka Client sasl.mechanism property |
| Kerberos User Service | Service supporting user authentication with Kerberos |
| Kerberos Service Name | The service name that matches the primary name of the Kafka server configured in the broker JAAS configuration Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Username | Username provided with configured password when using PLAIN or SCRAM SASL Mechanisms Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [SASL Mechanism] Property is set to one of the following values: [PLAIN], [SCRAM-SHA-512], [SCRAM-SHA-256] |
| Password | Password provided with configured username when using PLAIN or SCRAM SASL Mechanisms Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [SASL Mechanism] Property is set to one of the following values: [PLAIN], [SCRAM-SHA-512], [SCRAM-SHA-256] |
| Token Authentication | Enables or disables Token authentication when using SCRAM SASL MechanismsThis Property is only considered if the [SASL Mechanism] Property is set to one of the following values: [SCRAM-SHA-512], [SCRAM-SHA-256] |
| AWS Profile Name | The Amazon Web Services Profile to select when multiple profiles are available. Поддержив ает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [SASL Mechanism] Property |
| SSL Context Service | Service supporting SSL communication with Kafka brokers |
| Message Key Field | Имя поля во входных записях, которое следует использовать в качестве ключа для сообщения Kafka. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [Publish Strategy] Property has a value of "Use Content as Record Value". |
| Max Request Size | Максимальный размер запроса в байтах. Соответствует свойству Kafka 'max.request.size' и по умолчанию равно 1 МБ (1048576). |
| Acknowledgment Wait Time | После отправки сообщения в Kafka это значение указывает на время, в течение которого мы готовы ждать ответа от Kafka. Если Kafka не подтвердит получение сообщения в течение этого времени, FlowFile будет перенаправлен в состояние «сбой». |
| Max Metadata Wait Time | Время, в течение которого издатель будет ожидать получения метаданных или очистки буфера во время вызова 'send' перед завершением всего вызова 'send'. Соответствует свойству Kafka 'max.block.ms' Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Partitioner class | Указывает, какой класс использовать для вычисления идентификатора раздела для сообщения. Соответствует свойству Kafka 'partitioner.class'. |
| Partition | Указывает, в какой раздел будут отправляться записи. То, как интерпретируется это значение, определяется свойством <класса Partitioner>. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды) |
| Compression Type | Этот параметр позволяет указать кодек сжатия для всех данных, генерируемых этим производителем. |
Взаимосвязи
- failure: Любой FlowFile, который не может быть отправлен в Kafka, будет перенаправлен в это отношение
- success: Файлы потока, для которых все содержимое было отправлено в Kafka.