DetectDuplicate

Описание

Кэширует значение, вычисленное из атрибутов FlowFile, для каждого входящего FlowFile и определяет, было ли кэшированное значение уже встречено. Если да, FlowFile направляется в "дубликат" с атрибутом "original.identifier", который указывает "описание" оригинального FlowFile, указанное в свойстве <FlowFile Description>. Если FlowFile не считается дубликатом, процессор направляет его в "не дубликат".

Теги

hash, dupe, duplicate, dedupe

Свойства

Название	Описание
Cache Entry Identifier	A FlowFile attribute, or the results of an Attribute Expression Language statement, which will be evaluated against a FlowFile in order to determine the value used to identify duplicates; it is this value that is cached Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)
FlowFile Description	Когда FlowFile добавляется в кэш, это значение сохраняется вместе с ним, чтобы при обнаружении дубликата описание исходного FlowFile было добавлено в атрибут ORIGINAL_DESCRIPTION_ATTRIBUTE_NAME дубликата Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)
Age Off Duration	Интервал времени для удаления кэшированных FlowFiles
Distributed Cache Service	Служба контроллера, которая используется для кэширования уникальных идентификаторов, используемых для определения дубликатов
Cache The Entry Identifier	Если значение равно true, процессор проверяет наличие дубликатов и кэширует идентификатор записи. Если значение равно false, процессор проверяет наличие дубликатов, но не кэширует идентификатор записи, и другому процессору необходимо добавить идентификаторы в распределённый кэш.

Взаимосвязи

• duplicate: Если был обнаружен дубликат потокового файла, он будет перенаправлен на это отношение
• non-duplicate: Если идентификатор записи кэша FlowFile не был найден в кэше, он будет направлен в эту категорию
• failure: Если не удалось связаться с кэшем, FlowFile будет оштрафован и направлен в эту категорию