ExtractAvroMetadata
Описание
Извлекает метаданные из заголовка Avro-файла данных.
Теги
avro, schema, metadata
Свойства
| Название | Описание |
|---|---|
| Fingerprint Algorithm | Алгоритм, используемый для создания отпечатка схемы. Доступные варианты основаны на рекомендациях Avro по созданию отпечатков. |
| Metadata Keys | Список ключей, разделённых запятыми, указывающих пары «ключ-значение», которые нужно извлечь из заголовка файла Avro. Ключ 'avro.schema' можно использовать для извлечения полной схемы в формате JSON, а 'avro.codec' — для извлечения имени кодека, если он есть. |
| Count Items | Если установлено значение true, количество элементов в файле данных будет подсчитано и сохранено в атрибуте FlowFile 'item.count'. Подсчёт выполняется путём чтения блоков и получения количества элементов в каждом блоке, что позволяет избежать десериализации. Подсчитываемые элементы будут элементами верхнего уровня в файле данных. Например, в схеме типа record элементами будут записи, а в схеме типа Array элементами будут массивы (а не количество элементов в каждом массиве). |
Взаимосвязи
- success: Файл потока направляется в это отношение после извлечения метаданных.
- failure: Файл Flow направляется в эту связь, если его нельзя проанализировать как Avro или если по какой-либо причине невозможно извлечь метаданные