ExtractAvroMetadata

Описание

Извлекает метаданные из заголовка Avro-файла данных.

Теги

avro, schema, metadata

Свойства

Название	Описание
Fingerprint Algorithm	Алгоритм, используемый для создания отпечатка схемы. Доступные варианты основаны на рекомендациях Avro по созданию отпечатков.
Metadata Keys	Список ключей, разделённых запятыми, указывающих пары «ключ-значение», которые нужно извлечь из заголовка файла Avro. Ключ 'avro.schema' можно использовать для извлечения полной схемы в формате JSON, а 'avro.codec' — для извлечения имени кодека, если он есть.
Count Items	Если установлено значение true, количество элементов в файле данных будет подсчитано и сохранено в атрибуте FlowFile 'item.count'. Подсчёт выполняется путём чтения блоков и получения количества элементов в каждом блоке, что позволяет избежать десериализации. Подсчитываемые элементы будут элементами верхнего уровня в файле данных. Например, в схеме типа record элементами будут записи, а в схеме типа Array элементами будут массивы (а не количество элементов в каждом массиве).

Взаимосвязи

• success: Файл потока направляется в это отношение после извлечения метаданных.
• failure: Файл Flow направляется в эту связь, если его нельзя проанализировать как Avro или если по какой-либо причине невозможно извлечь метаданные