ConsumeKinesisStream
Описание
Читает данные из указанного потока AWS Kinesis и выводит FlowFile для каждой обработанной записи (сырой) или FlowFile для пакета обработанных записей, если настроены Record Reader и Record Writer. Гарантируется доставка каждой записи Kinesis хотя бы один раз, пока процессор работает. AWS Kinesis Client Library может занять несколько секунд на инициализацию перед началом извлечения данных. Использует DynamoDB для контрольных точек и CloudWatch (по желанию) для метрик. Убедитесь, что предоставленные учетные данные имеют доступ к DynamoDB и CloudWatch (по желанию) вместе с Kinesis.
Теги
amazon, aws, kinesis, consume, stream
Свойства
| Название | Описание |
|---|---|
| Amazon Kinesis Stream Name | Имя потока Kinesis |
| Application Name | Имя приложения для чтения потоков Kinesis. |
| Record Reader | Средство чтения записей, используемое для чтения полученных сообщений. Имя потока Kinesis можно использовать в языке выражений для доступа к схеме. Если средство чтения/записи записей не указано, для каждой записи Kinesis будет создан файл потока. |
| Record Writer | Средство записи записей, используемое для сериализации записей в выходной файл FlowFile. Имя потока Kinesis можно использовать в языке выражений для доступа к схеме. Если средство чтения/записи записей не указано, для каждой записи Kinesis будет создан файл FlowFile. |
| Region | No description provided. |
| Endpoint Override URL | URL-адрес конечной точки, который будет использоваться вместо URL-адреса AWS по умолчанию, включая схему, хост, порт и путь. Библиотеки AWS выбирают URL-адрес конечной точки в зависимости от региона AWS, но это свойство переопределяет выбранный URL-адрес конечной точки, позволяя использовать другие конечные точки, совместимые с S3. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| DynamoDB Override | переопределение DynamoDB для использования развертываний, отличных от AWS Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Initial Stream Position | Начальная позиция для чтения потоков Kinesis. |
| Stream Position Timestamp | Timestamp position in stream from which to start reading Kinesis Records. Required if Начальная позиция для чтения потоков Kinesis. is AT_TIMESTAMP. Uses the Timestamp Format to parse value into a Date.This Property is only considered if the [Initial Stream Position] Property has a value of "AT_TIMESTAMP". |
| Timestamp Format | Format to use for parsing the Stream Position Timestamp into a Date and converting the Kinesis Record's Approximate Arrival Timestamp into a FlowFile attribute. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Failover Timeout | Тайм-аут аварийного переключения клиентской библиотеки Kinesis |
| Graceful Shutdown Timeout | Тайм-аут корректного завершения работы клиентской библиотеки Kinesis |
| Checkpoint Interval | Интервал между контрольными точками Kinesis |
| Retry Count | Количество повторных попыток выполнения операции Kinesis (обработка записи, контрольная точка, завершение работы) |
| Retry Wait | Интервал между повторными попытками выполнения операции Kinesis (запись процесса, контрольная точка, завершение работы) |
| Report Metrics to CloudWatch | Отслеживать показатели использования Kinesis в CloudWatch. |
| Communications Timeout | No description provided. |
| AWS Credentials Provider Service | Служба контроллера, которая используется для получения поставщика учетных данных AWS. |
| Proxy Configuration Service | Указывает службу контроллера конфигурации прокси для проксирования сетевых запросов. |
Взаимосвязи
- success: Файлы потока направляются в отношение успеха