SplitAvro
Описание
Разделяет двоично закодированный Avro-файл на более мелкие файлы на основе настроенного размера выходного файла. Стратегия вывода определяет, будут ли меньшие файлы Avro-файлами данных или простыми записями Avro с метаданными в атрибутах FlowFile. Вывод всегда будет двоично закодированным.
Теги
avro, split
Свойства
| Название | Описание |
|---|---|
| Split Strategy | Стратегия разделения входящего файла данных. Стратегия записи будет считывать входящий файл данных, десериализуя каждую запись. |
| Output Size | Количество записей Avro, которые будут включены в каждый файл разделения. В случаях, когда во входящем файле меньше записей, чем указано в параметре OUTPUT_SIZE, или когда общее количество записей не делится нацело на OUTPUT_SIZE, можно получить файл разделения с меньшим количеством записей. |
| Output Strategy | Определяет формат вывода. Либо файл данных Avro, либо простая запись. Вывод простой записи предназначен только для использования в системах, которые уже требуют этого, и не должен быть необходим для обычного использования. |
| Transfer Metadata | Следует ли передавать метаданные из родительского файла данных в дочерние. Если стратегией вывода является простая запись, то метаданные будут сохранены в виде атрибутов потокового файла, в противном случае они будут находиться в заголовке файла данных. |
Взаимосвязи
- failure: Если обработка FlowFile завершится неудачно по какой-либо причине (например, FlowFile не является допустимым Avro), он будет направ лен по этому каналу связи
- original: Исходный файл Flow, который был разделён. Если обработка FlowFile завершится неудачно, ничего не будет отправлено по этому каналу связи
- split: Все новые файлы, разделённые из исходного FlowFile, будут направлены по этому каналу связи