ConsumeAzureEventHub

Описание

Получает сообщения от Microsoft Azure Event Hubs с использованием контрольных точек для обеспечения согласованной обработки событий. Отслеживание контрольных точек предотвращает многократное получение одного и того же сообщения и обеспечивает надежное восстановление обработки в случае временных сбоев сети. Отслеживание контрольных точек требует внешнего хранилища и является предпочтительным способом получения сообщений от Azure Event Hubs. В кластерной среде экземпляры процессора ConsumeAzureEventHub образуют группу потребителей, и сообщения распределяются между узлами кластера (каждое сообщение обрабатывается только на одном узле кластера).

Теги

azure, microsoft, cloud, eventhub, events, streaming, streams

Свойства

Название	Описание
Event Hub Namespace	Пространство имен, которому назначен Azure Event Hub. Обычно это <имена Event Hub>-ns. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Event Hub Name	Имя центра событий, из которого необходимо получать сообщения. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Service Bus Endpoint	Для поддержки пространств имен, не входящих в домен windows.net по умолчанию.
Transport Type	Advanced Message Queuing Protocol Transport Type for communication with Azure Event Hubs
Shared Access Policy Name	Имя политики общего доступа. Эта политика должна содержать утверждения Listen. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Shared Access Policy Key	Ключ политики общего доступа. Может использоваться как первичный, так и вторичный ключ. Чувствительный параметр: true
Use Azure Managed Identity	Выберите, следует ли использовать управляемый идентификатор виртуальной машины Azure/VMSS
Consumer Group	Имя группы потребителей, которую нужно использовать. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Record Reader	Устройство чтения записей, которое нужно использовать для чтения полученных сообщений. Имя концентратора событий можно использовать в языке выражений '${eventhub.name}' для доступа к схеме.
Record Writer	Устройство записи, которое нужно использовать для сериализации записей в выходной файл FlowFile. Имя концентратора событий можно использовать в языке выражений '${eventhub.name}' для доступа к схеме. Если оно не указано, для каждого сообщения будет создаваться FlowFile.
Initial Offset	Укажите, с какого места начать получение сообщений, если смещение еще не сохранено в хранилище контрольных точек.
Prefetch Count	No description provided. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Batch Size	Количество сообщений, которые необходимо обработать в рамках сеанса NiFi. Этот параметр влияет на пропускную способность и согласованность. NiFi завершает сеанс и создает контрольные точки в Центрах событий после обработки указанного количества сообщений. Если сеанс NiFi завершен, но не удалось создать контрольную точку в Центрах событий, то возможно повторное получение тех же сообщений. Чем больше число, тем выше пропускная способность, но, возможно, ниже согласованность. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Message Receive Timeout	Время, в течение которого этот потребитель должен ожидать получения размера пакета перед возвратом. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Checkpoint Strategy	Указывает, какую стратегию использовать для хранения и извлечения информации о владельцах разделов и контрольных точках для каждого раздела.
Storage Account Name	Имя учетной записи хранилища Azure для хранения состояния группы потребителей концентратора событий. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [Checkpoint Strategy] Property has a value of "Azure Blob Storage".
Storage Account Key	Ключ учетной записи хранилища Azure для хранения состояния группы потребителей концентратора событий. Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [Checkpoint Strategy] Property has a value of "Azure Blob Storage".
Storage SAS Token	Токен SAS хранилища Azure для хранения состояния группы потребителей Event Hub. Всегда начинается с символа ?. Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [Checkpoint Strategy] Property has a value of "Azure Blob Storage".
Storage Container Name	Имя контейнера хранилища Azure для хранения состояния группы потребителей Event Hub. Если не указано, используется имя центра событий. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [Checkpoint Strategy] Property has a value of "Azure Blob Storage".
Proxy Configuration Service	Specifies the Proxy Configuration Controller Service to proxy network requests. Supported proxies: HTTP + AuthNThis Property is only considered if the [Transport Type] Property has a value of "AMQP_WEB_SOCKETS".

Взаимосвязи

• success: Файлы потока, полученные из концентратора событий