Перейти к основному содержимому

ScriptedPartitionRecord

Описание

Принимает данные, ориентированные на записи (то есть данные, которые могут быть прочитаны с помощью настроенного Record Reader), и оценивает пользовательский скрипт для каждой записи во входном файле потока. Каждая запись затем группируется с другими записями, имеющими ту же партицию, и для каждой группы записей создаётся файл потока. Две записи принадлежат одной и той же партиции, если результат выполнения скрипта для обеих одинаков.

Теги

record, partition, script, groovy, segment, split, group, organize

Свойства

НазваниеОписание
Record ReaderСредство чтения записей для разбора входящего FlowFile на записи
Record WriterЗаписывающее устройство для сериализации записей после их преобразования
Script LanguageЯзык, используемый для сценария
Script BodyТело сценария для выполнения. Можно использовать только один из вариантов: «Файл сценария» или «Тело сценария»
Script FileПуть к файлу сценария для выполнения. Можно использовать только один из вариантов: «Файл сценария» или «Тело сценария»This property requires exactly one file to be provided.. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Module DirectoryСписок путей к файлам и/или каталогам, содержащим модули, необходимые для выполнения сценария, через запятую.This property expects a comma-separated list of resources. Each of the resources may be of any of the following types: directory, file. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)

Взаимосвязи

  • success: Потоковые файлы, которые были успешно разделены, будут перенаправлены в это отношение
  • failure: Если FlowFile не может быть разделен на части в соответствии с настроенным входным форматом и настроенным выходным форматом, неизменный FlowFile будет направлен в эту связь
  • original: После разделения всех записей во входящем FlowFile исходный FlowFile направляется в эту связь.