Терминология

Менеджер потоков данных: (англ. - DataFlow Manager, DFM) — это пользователь Visary ETL, который обладает разрешениями на добавление, удаление и изменение компонентов потока данных Visary ETL.

Потоковый файл: (англ. - FlowFile) представляет собой единичный фрагмент данных в Visary ETL. Потоковый файл состоит из двух компонентов: "Атрибуты потокового файла" и "Содержимое потокового файла". Содержимое — это данные, представленные потоковым файлом. Атрибуты — это характеристики, которые предоставляют информацию или контекст о данных; они состоят из пар ключ-значение. Все потоковые файлы имеют следующие стандартные атрибуты:

Уникальный универсальный идентификатор: (англ. - uuid), который отличает потоковых файлов от других потоковых файлов в системе.
Наименование файла: (англ. - filename), которое может использоваться при сохранении данных на диск или в внешнем сервисе.
Путь для сохранения: (англ. - path), иерархически структурированное значение, которое может использоваться при сохранении данных на диск или в внешнем сервисе, чтобы данные не хранились в одной директории.

Процессор: (англ. - Proccesor), компонент Visary ETL, который используется для приема входящих данных; извлечения данных из внешних источников; публикации данных во внешние источники; а также для маршрутизации, трансформации или извлечения информации из потокового файла.

Связь: (англ. - Relatioship), для каждого процессора определено ноль и более взаимосвязей, которые демонстрируют результат обработки потокового файла. После того, как процессор завершит обработку потокового файла, он маршрутизирует (или передаст) потоковый файл в одну из взаимосвязей. Затем DFM может связать каждое из этих соотношений с другими компонентами, чтобы указать, куда должен направляться потоковый файл в соответствии с каждым потенциальным результатом обработки.

Соединение: (англ. - Connection) DFM создает автоматизированный поток данных, перетаскивая компоненты из панели компонентов Visary ETL на холст и затем соединяя компоненты через соединения. Каждое соединение состоит из одной или нескольких связей. Для каждого создаваемого соединения DFM может определить, какие связи следует использовать для соединения. Это позволяет передавать данные различными способами в зависимости от результатов их обработки. Каждое соединение содержит очередь потоковых файлов. Когда потоковый файл передается определенному отношению, он добавляется в очередь, принадлежащую связанному соединению.

Службы управления: (англ. - Controller Service), это точки расширения, которые после добавления и настройки DFM в пользовательском интерфейсе, запускаются вместе с Visary ETL и предоставляют информацию для использования другими компонентами (такими как процессоры или другие службы управления). Общей службой управления, используемой несколькими компонентами, является StandardSSLContextService (служба стандартного SSL-контекста). Она предоставляет возможность настроить свойства хранилища ключей и/или доверенных хранилищ один раз и переиспользовать эту конфигурацию по всему приложению. Идея заключается в том, что вместо настройки этой информации в каждом процессоре, которому она может понадобиться, служба контроллера предоставляет ее любому процессору для использования по мере необходимости.

Задача отчетности: (англ. - Reporting Task), работает в фоновом режиме, предоставляя статистические отчеты о том, что происходит в экземпляре Visary ETL. DFM добавляет и настраивает задачи отчетности в пользовательском интерфейсе по мере необходимости. К числу распространенных задач формирования отчетности можно отнести: ControllerStatusReportingTask (задача отчетности состояния контроллера), MonitorDiskUsage (задача отчетности контроля использования дисков), MonitorMemory (задача отчетности использования памяти) и StandardGangliaReporter.

Правила анализа потока: (англ. - Flow Analysis Rules), могут анализировать компоненты или (части) потока. Они могут выявить нарушения правил, которые могут помочь скорректировать или поддерживать оптимальный порядок потока. DFM добавляет и настраивает правила анализа потока в пользовательском интерфейсе по своему усмотрению.

Поставщики параметров: (англ. - Parameter Provider) могут предоставлять параметры из внешнего источника для контекстов параметров. Параметры поставщика параметров могут быть выбраны и применены ко всем контекстам параметров, на которые ссылаются.

Воронка: (англ. - Funnel), компонент Visary ETL, который используется для объединения данных из нескольких соединений в одно.

Группа процессоров: (англ. - Process Group), в тех случаях когда поток данных становится сложным, полезно его на абстрактном уровне. Visary ETL позволяет группировать несколько компонентов, таких как процессоры, в группу процессов. Пользовательский интерфейс Visary ETL упрощает для DFM объединение нескольких групп процессов в логический поток данных, а также позволяет DFM входить в группу процессов, чтобы видеть компоненты внутри группы процессов и управлять ими.

Порт: (англ. - Port), потоки данных, которые создаются с использованием одной или нескольких групп процессов, нуждаются в способе подключения группы процессов к другим компонентам потока данных, что достигается с помощью портов. DFM может добавить любое количество входных и выходных портов в группу процессов и присвоить этим портам соответствующие наименования.

Удаленная группа процессов: (англ. - Remote Process Group), подобно тому, как данные передаются в группу процессов и из нее, иногда необходимо передать данные из одного экземпляра Visary ETL в другой. Хотя Visary ETL предоставляет множество различных механизмов для передачи данных из одной системы в другую, удаленные группы процессов часто являются самым простым способом выполнения этой задачи при передаче данных в другой экземпляр Visary ETL.

Сводка: (англ. - Bulletin), пользовательский интерфейс Visary ETL обеспечивает значительный объем мониторинга и обратной связи о текущем статусе приложения. В дополнение к текущей статистике и текущему статусу, предоставляемому для каждого компонента, компоненты могут отправлять сводки. Всякий раз, когда компонент публикует сводку, на этом компоненте отображается значок сводки. Сводки системного уровня отображаются в строке состояния в верхней части страницы. При наведении курсора мыши на этот значок появится всплывающая подсказка, показывающая время и статус (отладка, информация, предупреждение, ошибка) появления сводки, а также само сообщение в сводке. Сводки из всех компонентов также можно просмотреть и отфильтровать на странице Доски объявлений, доступной в глобальном меню.