Построение потоков данных

Пользователь может создать автоматизированный поток данных с помощью интерфейса Visary ETL. Необходимо перетащить компоненты с панели инструментов на холст, сконфигурировать компоненты в соответствии с конкретными потребностями и соединить компоненты вместе.

Добавление компонентов на холст

Процессор: является наиболее часто используемым компонентом, поскольку он отвечает за вход, выход, маршрутизацию и манипуляцию данными. Существует множество различных типов процессоров. Когда процессор перетаскивается на холст, пользователю предлагается диалог для выбора типа процессора.

В правом верхнем углу пользователь может отфильтровать список в зависимости от типа процессора или тегов, связанных с процессором. Эти теги используются в данном диалоговом окне для фильтрации и отображаются слева в облаке тегов. Например, если мы хотим показать только те процессоры, которые позволяют нам загружать файлы, мы можем выбрать как тег files , так и тег ingest.

Компоненты с ограниченным доступом будут помечены значком рядом с их названием. Это компоненты, которые могут быть использованы для выполнения произвольного необработанного кода, предоставляемого оператором через REST API/UI Visary ETL, или для получения или изменения данных на хост-системе Visary ETL с использованием учетных данных ОС Visary ETL. Эти компоненты могут быть использованы авторизованным пользователем Visary ETL для выхода за рамки использования приложения по назначению, повышения привилегий или раскрытия данных о внутреннем устройстве процесса Visary ETL или хост-системы. Все эти возможности должны считаться привилегированными, и администраторы должны знать об этих возможностях и явно разрешать их для подмножества доверенных пользователей. Прежде чем пользователь сможет создавать и изменять компоненты с ограниченным доступом, ему должен быть предоставлен доступ. Наведение курсора на значок отобразятся конкретные разрешения, необходимые для компонента с ограниченным доступом. Разрешения могут быть назначены независимо от ограничений. В этом случае пользователь будет иметь доступ ко всем компонентам с ограниченным доступом. В качестве альтернативы пользователям может быть назначен доступ с определенными ограничениями. Если пользователю был предоставлен доступ ко всем ограничениям, которые требует компонент, он будет иметь доступ к этому компоненту при условии, что в противном случае у него будут достаточные разрешения.

Нажатие кнопки "Добавить" или двойное нажатие на тип процессора добавит выбранный процессор на холст в том месте, куда пользователь предпочел его расположить.

ПРИМЕЧАНИЕ

Любой компонент, добавленный на холст, можно выделить с помощью мыши и переместить в любое место холста. Кроме того, можно выбрать сразу несколько элементов, удерживая клавишу Shift и выделяя каждый элемент или удерживая клавишу Shift и перетаскивая поле выделения вокруг нужных компонентов.

После того как вы перетащили процессор на холст, вы можете взаимодействовать с ним, щелкнув правой кнопкой мыши на процессоре и выбрав опцию из контекстного меню. Опции, доступные в контекстном меню, зависят от назначенных вам привилегий.

Следующие параметры обычно доступны при наличии полных прав доступа для работы с процессором:

• Настроить: Этот вариант позволяет пользователю установить или изменить конфигурацию процессора.

ПРИМЕЧАНИЕ

Для процессоров, портов, групп удаленных процессов, соединений и меток можно открыть диалог конфигурации, дважды щелкнув на нужном компоненте.

• Запустить или Остановить: Эта опция позволяет пользователю запустить или остановить процессор; в зависимости от текущего состояния процессора будет выбрано значение Запустить или Остановить.
• Запустить один раз: Эта опция позволяет пользователю запустить выбранный процессор ровно один раз. Если процессору не удается выполнить свою работу, процессор не запускается. Настройки выполнения применяются (т.е. настройки Основного узла и Всех узлов приведут к выполнению процессора только один раз на основном узле или один раз на каждом из узлов соответственно). Работает только с Таймером и CRON стратегиями планирования.
• Включить или Отключить: Эта опция позволяет пользователю включить или отключить процессор; опция будет либо включена, либо отключена, в зависимости от текущего состояния процессора.
• Просмотреть историю происхождения данных: Эта опция отображает таблицу происхождения данных Visary ETL с информацией о событиях происхождения данных для потоковых файлов, маршрутизируемых через этот процессор.
• Повторить последнее событие: Эта опция воспроизводит последнее событие происхождения, фактически повторно загружая последний потоковый файл, который был обработан процессором.
• Просмотреть историю статуса: Эта опция открывает графическое представление статистической информации о процессоре с течением времени.
• Просмотреть использование: Эта опция позволяет пользователю ознакомиться с документацией по использованию процессора.
• Просмотреть соединения->Входящие: Эта опция позволяет пользователю просматривать и "переключаться" на входящие соединения, которые поступают в процессор. Это особенно полезно, когда процессоры подключаются к другим группам процессов и выходят из них.
• Просмотреть соединения->Исходящие: Эта опция позволяет пользователю просматривать и "переключаться" на последующие подключения, которые выходят из процессора. Это особенно полезно, когда процессоры подключаются к другим группам процессов и выходят из них.
• Центрировать в представлении: Эта опция центрирует вид холста на данном процессоре.
• Изменить цвет: Эта опция позволяет пользователю изменять цвет процессора, что может упростить визуальное управление большими потоками.
• Копировать: Эта опция помещает копию выбранного процессора в буфер обмена, чтобы ее можно было вставить в другое место на холсте, щелкнув правой кнопкой мыши на холсте и выбрав "Вставить". Операции копирования/вставки также могут выполняться с помощью клавиш Ctrl-C (Command-C) и Ctrl-V (Command-V).
• Удалить: Эта опция позволяет пользователю удалять процессор с холста.

Входной Порт: Входные порты обеспечивают механизм передачи данных в группу процессов. Когда входной порт перетаскивается на холст, пользователь запрашивает название порта. Все порты в группе процессов должны иметь уникальные имена.

Выходной Порт: Выходные порты предоставляют механизм для передачи данных из группы процессов в пункты назначения за пределами группы процессов. Когда выходной порт перетаскивается на холст, у пользователя запрашивается название порта. Все порты в группе процессов должны иметь уникальные имена.

Группа Процессов: Группы процессов можно использовать для логической группировки набора компонентов, чтобы упростить понимание и обслуживание потока данных. Кроме того, группы процессов используются как механизм объединения компонентов таким образом, чтобы они функционировали как единое целое. Например, путем настройки механизма выполнения или политики исходящих потоковых файлов.

Когда группа процессов перетаскивается на холст, пользователю предлагается определить наименование группы процессов. Затем группа процессов будет вложена в родительскую группу.

После перетаскивания группы процессов на холст с ней можно взаимодействовать, щелкнув правой кнопкой мыши на группе процессов и выбрав опцию из контекстного меню. Опции, доступные в контекстном меню, зависят от назначенных вам привилегий.

Следующие параметры доступны при наличии полных прав доступа для работы с группой процессоров:

• Настроить: Эта опция позволяет пользователю устанавливать или изменять конфигурацию группы процессов.
• Войти в группу: Эта опция позволяет пользователю ввести группу процессов.

ПРИМЕЧАНИЕ

Также можно дважды щелкнуть по группе процессов, чтобы войти в нее.

• Запустить: Эта опция позволяет пользователю запустить группу процессов.

• Остановить: Эта опция позволяет пользователю остановить группу процессов.

• Включить: Эта опция позволяет пользователю включить все процессоры в группе процессов.

• Отключить: Эта опция позволяет пользователю отключить все процессоры в группе процессов.

• Просмотреть историю статуса: Эта опция открывает графическое представление статистической информации группы процессов с течением времени.

• Просмотреть соединения->Входящие: Эта опция позволяет пользователю видеть и «переходить» к соединениям вверх по потоку, которые поступают в группу процессов.

• Просмотреть соединения->Исходящие: Эта опция позволяет пользователю видеть и «переходить» к соединениям, идущим вниз по потоку, которые выходят из группы процессов.

• Центрировать представление: Эта опция центрирует вид холста на данной группе процессов.

• Группировать: Эта опция позволяет пользователю создать новую группу процессов, содержащую выбранную группу процессов и любые другие компоненты, выбранные на холсте.

• Скачать представление потока: Эта опция позволяет пользователю загрузить представление потока группы процессов в виде файла JSON.

  • -> Без внешних сервисов: Службы контроллера, на которые ссылается выбранная группа процессов, но которые находятся за пределами ее области действия (например, службы в родительской группе), не будут включены в определение потока как службы.
  • -> С внешними сервисами: Службы контроллера, на которые ссылается выбранная группа процессов, но которые находятся за пределами ее области действия (например, службы в родительской группе), будут включены в определение потока.

• Копировать: Эта опция помещает копию выбранной группы процессов в буфер обмена, чтобы ее можно было вставить в другое место на холсте, щелкнув правой кнопкой мыши на холсте и выбрав "Вставить". Операции копирования/вставки также можно выполнять с помощью клавиш Ctrl-C (Command-C) и Ctrl-V (Command-V).

• Очистить все очереди: Эта опция позволяет пользователю очистить все очереди в выбранной группе процессов. Все потоковые файлы из всех соединений, ожидающих отправки запроса, будут удалены.

• Удалить: Эта опция позволяет пользователю удалять группу процессов.

(Примечание: Если для группы процессов с версиями выбрано "Определение потока загрузки", информация о версиях в загрузке отсутствует. Другими словами, результирующее содержимое файла JSON остается неизменным независимо от того, является ли группа процессов с версиями или нет.)

Удаленная Группа Процессов: Удаленные группы процессов выглядят и ведут себя так же, как группы процессов. Однако удаленная группа процессов (англ. - Remote Process Group, далее RPG) ссылается на удаленный экземпляр Visary ETL. Когда RPG перетаскивается на холст, вместо запроса определения наименования DFM запрашивает URL-адрес удаленного экземпляра Visary ETL. Если удаленный экземпляр Visary ETL является кластерным, рекомендуется добавить два или более URL-адресов узлов кластера, чтобы первоначальное соединение могло быть установлено даже в случае недоступности одного из узлов. Несколько URL-адресов можно указать в формате, разделенном запятыми.

Когда данные передаются в кластеризованный экземпляр Visary ETL через RPG, RPG сначала подключается к удаленному экземпляру, URL-адрес которого настроен для определения того, какие узлы находятся в кластере и насколько загружен каждый узел. Затем эта информация используется для балансировки нагрузки на данные, передаваемые на каждый узел. Затем удаленные экземпляры периодически запрашиваются для определения информации о любых узлах, которые удаляются из кластера или добавляются в него, и для пересчета балансировки нагрузки на основе нагрузки каждого узла.

После того, как вы перетащили группу удаленных процессов на холст, вы можете взаимодействовать с ней, щелкнув правой кнопкой мыши на группе удаленных процессов и выбрав соответствующий параметр в контекстном меню. Доступные в меню параметры различаются в зависимости от назначенных вам привилегий.

Следующие варианты обычно доступны, когда у вас есть полные привилегии для работы с Удаленной Группой Процессов:

• Настроить: Эта опция позволяет пользователю устанавливать или изменять конфигурацию удаленной группы процессов.
• Включить передачу: Эта опция активирует передачу данных между экземплярами Visary ETL.
• Отключить передачу: Эта опция отключает передачу данных между экземплярами Visary ETL.
• Просмотреть историю статуса: Эта опция открывает графическое представление статистической информации группы удаленных процессов с течением времени.
• Просмотреть соединения->Входящие: Эта опция позволяет пользователю просматривать и "переключаться" на входящие соединения, которые входят в группу удаленных процессов.
• Просмотреть соединения->Исходящие: Эта опция позволяет пользователю просматривать и "переходить" к исходящим подключениям, которые выходят за пределы группы удаленных процессов.
• Обновление: Эта опция обновляет представление о состоянии удаленного экземпляра Visary ETL.
• Управлять удаленными портами: Эта опция позволяет пользователю просматривать входные и/или выходные порты, существующие на удаленном экземпляре Visary ETL, к которому подключена группа удаленных процессов.
• Центрировать в представлении: Эта опция центрирует представление холста на данной удаленной группе процессов.
• Перейти к: Эта опция открывает просмотр удаленного экземпляра Visary ETL на новой вкладке браузера.
• Группировать: Эта опция позволяет пользователю создать новую группу процессов, которая содержит выбранную удаленную группу процессов и любые другие компоненты, выбранные на холсте.
• Копировать: Эта опция помещает копию выбранной группы процессов в буфер обмена, чтобы ее можно было вставить в другое место на холсте, щелкнув правой кнопкой мыши на холсте и выбрав "Вставить". Операции копирования/вставки также могут выполняться с помощью клавиш Ctrl-C (Command-C) и Ctrl-V (Command-V).
• Удалить: Эта опция позволяет DFM удалять группу удаленных процессов с холста.

Воронка: Воронки используются для объединения данных из множества подключений в одно соединение. У этого есть два преимущества. Во-первых, если создается много подключений с одним и тем же адресатом, холст может быть перегружен, если эти подключения должны занимать большое пространство. Объединив эти соединения в одно, можно затем использовать это единственное соединение для охвата большого пространства. Во-вторых, соединения можно настроить с помощью определения приоритетов файлов потока. Данные из нескольких подключений могут быть переданы в одно соединение, что обеспечивает возможность определения приоритетов для всех данных в этом одном соединении, а не для определения приоритетов данных в каждом подключении независимо.

Метка: Метки используются для документирования частей потока данных. Когда метка помещается на холст, она создается с размером по умолчанию. Затем размер метки можно изменить, перетащив маркер в правом нижнем углу. При первоначальном создании метка не содержит текста. Текст надписи можно добавить, щелкнув по ней правой кнопкой мыши и выбрав Настроить.

Сортировка и фильтрация компонентов

При добавлении компонента вы можете выполнить сортировку по номеру версии или выполнить фильтрацию на основе исходного кода.

Чтобы выполнить сортировку по версии, щелкните столбец версии, который будет отображаться в порядке возрастания или убывания версии.

Чтобы выполнить фильтрацию на основе исходной группы, щелкните раскрывающийся список "Источник" в левом верхнем углу диалогового окна "Добавить компонент" и выберите группу, которую вы хотите просмотреть.

Настройка процессора

Чтобы настроить процессор, щелкните правой кнопкой мыши на процессоре и выберите опцию Настроить в контекстном меню. В качестве альтернативы, просто дважды щелкните на процессоре. Откроется диалоговое окно настройки с четырьмя различными вкладками, каждая из которых описана ниже. Как только вы закончите настройку процессора, вы можете применить изменения, нажав кнопку Применить, или отменить все изменения, нажав кнопку Отмена.

Обратите внимание, что после запуска процессора в контекстном меню, отображаемом для процессора, больше нет опции Настроить, а есть опция Просмотреть конфигурацию. Конфигурация процессора не может быть изменена во время работы процессора. Перед повторной настройкой процессора необходимо сначала остановить процессор и дождаться завершения всех его активных задач.

Обратите внимание, что ввод определенных управляющих символов не поддерживается и при вводе они будут автоматически отфильтрованы. Следующие символы и любые непарные кодовые точки, заменяющие Unicode, не будут сохранены ни в одной конфигурации:

[#x0], [#x1], [#x2], [#x3], [#x4], [#x5], [#x6], [#x7], [#x8], [#xB], [#xC], [#xE], [#xF], [#x10], [#x11], [#x12], [#x13], [#x14], [#x15], [#x16], [#x17], [#x18], [#x19], [#x1A], [#x1B], [#x1C], [#x1D], [#x1E], [#x1F], [#xFFFE], [#xFFFF]

Настройки

Эта вкладка содержит несколько различных элементов конфигурации. Во-первых, она позволяет DFM изменять название процессора. По умолчанию название процессора совпадает с типом процессора. Рядом с названием процессора установлен флажок, указывающий, включен ли процессор. Когда процессор добавляется на холст, он включается. Если процессор отключен, он не может быть запущен. Отключенное состояние используется для указания на то, что при запуске группы процессоров, например, когда DFM запускает всю группу процессов, этот (отключенный) процессор должен быть исключен.

Далее приведены два диалога для настройки "Продолжительности штрафа" и "Продолжительности выхода". В ходе обычной обработки фрагмента данных (потокового файла) может произойти событие, указывающее на то, что данные не могут быть обработаны в данный момент, но могут быть обработаны позже. Когда это происходит, процессор может заблокировать потоковый файл. Это предотвратит обработку потокового файла в течение некоторого периода времени. Например, если процессор должен отправить данные в удаленную службу, но у удаленной службы уже есть файл с тем же именем, что и имя файла, указанное процессором, процессор может заблокировать потоковый файл. Параметр "Длительность штрафа" позволяет DFM указать, на какой период времени файл потока должен быть заблокирован. Значение по умолчанию - 30 секунд.

Аналогичным образом, процессор может определить, что существует некоторая ситуация, при которой процессор больше не может выполнять какие-либо действия, независимо от данных, которые он обрабатывает. Например, если Процессор должен отправить данные в удаленную службу, а эта служба не отвечает, процессор не сможет выполнить какие-либо действия. В результате процессор должен "выйти из строя", что предотвратит запланированную работу процессора в течение некоторого периода времени. Этот период времени определяется путем установки "Продолжительности выхода". Значение по умолчанию - 1 секунда.

Последняя настраиваемая опция в левой части вкладки "Настройки" - это статус сводки. Всякий раз, когда процессор записывает данные в свой журнал, он также генерирует сводку. Эта настройка указывает самый низкий уровень сводки, который должен отображаться в пользовательском интерфейсе. По умолчанию уровень сводки установлен на WARN, что означает, что он будет отображать все сводки с предупреждениями и ошибками.

Планирование

Стратегия Планирования

Первым параметром конфигурации является Стратегия планирования. Существует три возможных варианта планирования компонентов:

Управляемый таймером: Это режим по умолчанию. Запуск процессора будет запланирован на регулярной основе. Интервал, с которым процессор будет запускаться, определяется параметром "Расписание запуска" (см. ниже).

Управляемый CRON (Command Run On - запуск задач в определенное время): При использовании режима планирования, управляемого CRON, процессор будет периодически запускаться по расписанию, аналогично режиму планирования, управляемому таймером. Однако режим, управляемый CRON, обеспечивает значительно большую гибкость за счет усложнения конфигурации. Значение планирования, управляемое CRON, представляет собой строку из шести обязательных полей и одного необязательного поля, каждое из которых разделено пробелом. Это поля:

Поле	Допустимые значения
Секунды	0-59
Минуты	0-59
Часы	0-23
День месяца	1-31
Месяц	1-12 или JAN-DEC
День недели	0-7 или SUN-SAT (0 или 7 — это воскресенье)

Значения указываются одним из следующих способов:

• Число: Укажите одно или несколько допустимых значений. Вы можете ввести несколько значений, используя список, разделенный запятыми.
• Диапазон: Укажите диапазон, используя синтаксис <число>-<число>.
• Шаг: Укажите шаг, используя синтаксис <начальное значение>/<шаг>. Например, в поле минуты, 0/15 указывает на минуты 0, 15, 30 и 45.

Также следует помнить о нескольких допустимых специальных символах:

• * — Указывает, что все значения допустимы для этого поля.
• ? — Указывает, что конкретное значение не указано. Этот специальный символ допустим в полях дней месяца и дней недели.
• L — Вы можете добавить L к одному из значений дня недели, чтобы указать последнее вхождение этого дня в месяце. Например, 1L указывает на последнее воскресенье месяца.

Например:

• Строка 0 0 13 * * * указывает на то, что вы хотите запланировать запуск процессора в 13:00 каждый день.
• Строка 0 20 14 ? * MON-FRI указывает на то, что вы хотите запланировать запуск процессора в 14:20 с понедельника по пятницу.

Параллельные Задачи

Далее, на вкладке "Планирование" представлен параметр конфигурации под названием "Параллельные задачи". Он определяет, сколько потоков будет использовать процессор. Другими словами, он определяет, сколько потоковых файлов должно обрабатываться этим процессором одновременно. Увеличение этого значения обычно позволяет процессору обрабатывать больше данных за тот же промежуток времени. Однако это достигается за счет использования системных ресурсов, недоступных другим процессорам. Это, по сути, обеспечивает относительный вес процессоров - определяет, сколько ресурсов системы должно быть выделено этому процессору, а не другим процессорам. Это поле доступно для большинства процессоров. Однако существуют некоторые типы процессоров, для которых можно запланировать выполнение только одной параллельной задачи.

График выполнения

"Расписание запуска" определяет, как часто процессор должен запускаться по расписанию. Допустимые значения для этого поля зависят от выбранной стратегии планирования (см. выше). При использовании стратегии планирования, управляемой таймером, это значение представляет собой продолжительность, заданную числом, за которым следует единица измерения времени. Например, 1 секунда или 5 минут. Значение по умолчанию "0 секунд" означает, что процессор должен работать как можно чаще, пока у него есть данные для обработки. Это верно для любой длительности, равной 0, независимо от единицы измерения времени (например, "0 секунд", "0 минут", "0 дней`).

Выполнение

Параметр "Выполнение" используется для определения того, на каких узле/узлах будет запланировано выполнение процессора. Выбор параметра "Все узлы" приведет к тому, что этот процессор будет запланирован на каждом узле в кластере. Выбор параметра "Основной узел" приведет к тому, что этот процессор будет запланирован только на Основном узле. Процессоры, которые были сконфигурированы для выполнения "Основного узла", обозначаются буквой "Р" рядом со значком процессора:

Длительность Выполнения

В правой части вкладки "Планирование" находится ползунок для выбора "Продолжительности запуска". Он определяет, на какое время должен быть запланирован запуск процессора при каждом его запуске. В левой части ползунка указано "Снижение задержки", а в правой - "Повышение пропускной способности". Когда процессор завершает работу, он должен обновить хранилище, чтобы передать файлы потока при следующем подключении. Обновление хранилища требует больших затрат, поэтому чем больше работы можно выполнить за один раз перед обновлением хранилища, тем больше работы может выполнить процессор (более высокая пропускная способность). Однако это означает, что следующий процессор не сможет начать обработку этих потоковых файлов, пока предыдущий процесс не обновит это хранилище. В результате задержка будет больше (время, необходимое для обработки потокового файла от начала до конца, будет больше). В результате ползунок предоставляет диапазон, из которого DFM может выбрать более низкую задержку или более высокую пропускную способность.

Свойства

Вкладка "Свойства" предоставляет механизм настройки поведения, зависящего от процессора. Свойств по умолчанию не существует. Каждый тип процессора должен определять, какие свойства имеют смысл для его варианта использования.

По умолчанию этот процессор имеет только одно свойство: "Стратегия маршрутизации". Значение по умолчанию - "Маршрут к имени свойства". Рядом с названием этого свойства находится небольшой вопросительный знак . Наведя курсор мыши на этот символ, вы получите дополнительные сведения о свойстве и значении по умолчанию, а также исторические значения, которые были установлены для этого свойства.

Щелчок по значению свойства позволит DFM изменить это значение. В зависимости от значений, которые разрешены для свойства, пользователю либо предоставляется раскрывающийся список, из которого можно выбрать значение, либо предоставляется текстовая область для ввода значения.

В правом верхнем углу вкладки находится кнопка для добавления нового свойства. При нажатии на эту кнопку в DFM откроется диалоговое окно для ввода имени и значения нового свойства. Не все процессоры поддерживают пользовательские свойства. В процессорах, которые не разрешают их, обработка становится недействительной при применении пользовательских свойств.

Выбранные процессоры поддерживают настраиваемый статус конфиденциального значения для пользовательских свойств. Процессоры должны указать поддержку настраиваемого статуса конфиденциального значения, в противном случае выбор конфиденциального значения будет отключен в диалоговом окне Добавления свойств.

Выбор "Да" для параметра "Конфиденциальное значение" указывает Visary ETL обрабатывать значение свойства как конфиденциальное для сохранения конфигурации и операций платформы. Visary ETL шифрует конфиденциальные значения при сохранении конфигурации потока и не включает конфиденциальные значения в экспортируемые определения потока.

RouteOnAttribute допускает свойства, определенные пользователем, и не будет действителен до тех пор, пока пользователь не добавит свойство.

Обратите внимание, что после добавления пользовательского свойства в правой части этой строки появится значок . Щелчок по нему приведет к удалению пользовательского свойства из процессора

В некоторые процессоры также встроен расширенный пользовательский интерфейс (UI). Например, процессор обновления атрибутов имеет расширенный пользовательский интерфейс. Чтобы получить доступ к расширенному пользовательскому интерфейсу, нажмите кнопку "Дополнительно", которая отображается в нижней части окна Настройки процессора. Эта кнопка будет доступна только процессорам с расширенным пользовательским интерфейсом.

Некоторые процессоры имеют свойства, относящиеся к другим компонентам, таким как службы контроллера, которые также необходимо настроить. Например, процессор GetHTTP имеет свойство SSLContextService, которое ссылается на службу контроллера StandardSSLContextService. Если службы управления финансами хотят настроить это свойство, но еще не создали и не настроили службу контроллера. Для получения дополнительной информации о настройке см. раздел "Службы контроллера"

Связи

Вкладка "Связи" содержит раздел "Автоматическое завершение / повторная попытка установления связей". Здесь перечислены все отношения, определенные обработчиком, а также их описание.

Автоматическое завершение

Для того чтобы процессор считался действительным и мог работать, каждое отношение, определенное процессором, должно быть либо подключено к нижестоящему компоненту, либо автоматически завершено. Если связь автоматически прерывается, любой потоковый файл, перенаправленный на эту связь, будет удален из потока, и его обработка будет считаться завершенной. Любая связь, которая уже подключена к нижестоящему компоненту, не может быть автоматически прервана. Сначала связь должна быть удалена из любого соединения, которое ее использует. Кроме того, для любого отношения, выбранного для автоматического завершения, статус автоматического завершения будет снят (выключен), если это отношение добавлено к соединению.

Повторить попытку автоматически

Пользователи также могут настроить, следует ли повторно использовать потоковые файлы, перенаправленные на заданную взаимосвязь. Если потоковый файл перенаправлен на любую взаимосвязь, настроенную для повторной попытки, потоковый файл будет повторно помещен в очередь, и процессор попытается обработать его снова. Если процессор снова перенаправит потоковый файл в восстанавливаемую связь (либо в ту же самую связь, либо в другую, настроенную на повторную попытку), он будет повторно помещен в очередь столько раз, сколько указано пользователем. Если Процессор направляет потоковый файл в восстанавливаемую связь после указанного количества повторных попыток, потоковый файл будет передан Соединению (соединениям), которые включают эту связь, или автоматически разорван, как настроено. Если процессор направляет потоковый файл в какое-либо отношение, которое не настроено для повторной попытки, он будет немедленно перенаправлен в это отношение.

Например, рассмотрим процессор с двумя отношениями: success и failure. Пользователь настраивает отношение failure таким образом, чтобы оно повторяло попытку 10 раз, а также было настроено на автоматическое завершение. В этом случае, если входящий потоковый файл перенаправляется на связь failure, он будет повторен до 10 раз. Если после 10 попыток он снова перенаправляется на failure, он будет автоматически завершен. Однако, если в какой-либо момент оно будет перенаправлено на success, оно будет немедленно переведено на соединения, которые содержат отношение success, и больше не будет повторяться.

Количество попыток повторения

Для связей, настроенных на повторную попытку, это число указывает, сколько раз потоковый файл будет повторно обработан, прежде чем он будет перенаправлен в другое место.

Политика отмены повторной попытки

Когда требуется повторить попытку с потоковым файлом, пользователь может настроить политику отмены двумя параметрами:

• Штраф - попытки повторения будут выполняться вовремя, но процессор тем временем продолжит обрабатывать другие потоковые файлы. Процессор продолжит работу, обрабатывая доступные ему потоковые файлы.
• Ожидание - повторный запуск процессора не будет запланирован в течение некоторого времени (определяется параметром "Длительность ожидания", настроенным на вкладке "Настройки"). Это следует использовать, когда либо желательно сохранить порядок данных в очереди и не обрабатывать последующие потоковые файлы, пока не будет обработан первый, либо когда маршрутизация данных в соответствии с настроенной взаимосвязью указывает на то, что дальнейшая обработка других данных не будет успешной.

Максимальный период отката повтора

Первоначальные повторные попытки основаны на времени, указанном на вкладке "Настройки". Время действия многократно удваивается при каждой последующей повторной попытке. Это число указывает максимально допустимый период времени до повторения попытки.

ПРИМЕЧАНИЕ

Если выбраны как завершить, так и повторить попытку, сначала будет выполняться любая логика повторных попыток, а затем автоматическое завершение.

Комментарии

Последней вкладкой в диалоговом окне настройки процессора является вкладка комментариев. Эта вкладка просто предоставляет пользователям область для добавления любых комментариев, подходящих для данного компонента.

Вы можете получить доступ к дополнительной документации об использовании каждого процессора, щелкнув правой кнопкой мыши на процессоре и выбрав пункт "Использование" в контекстном меню. Кроме того, выберите пункт Справка в глобальном меню в правом верхнем углу пользовательского интерфейса, чтобы отобразить страницу справки со всей документацией, включая документацию по использованию для всех доступных процессоров. Нажмите на нужный процессор, чтобы просмотреть документацию по использованию. -->

Настройка Группы Процессов

Чтобы настроить группу процессов, щелкните правой кнопкой мыши на группе процессов и выберите опцию Настроить в контекстном меню. Откроется диалоговое окно настройки с двумя вкладками: "Общие" и "Службы контроллера".

Общее

На этой вкладке содержится несколько различных элементов конфигурации. Во-первых, это наименование группы процессов, отображающееся в верхней части группы процессов на холсте, а также в виде фрагментов в нижней части пользовательского интерфейса.

Следующим элементом конфигурации является контекст параметров группы процессов, который используется для предоставления параметров компонентам потока. В этом раскрывающемся списке пользователь может выбрать, какой контекст параметров должен быть привязан к этой группе процессов, и при желании может создать новый контекст для привязки к группе процессов.
Для получения дополнительной информации см. разделы "Параметры" и "Контексты Параметров".

Следующим элементом конфигурации является планировка запуска группы процессов. Visary ETL поддерживает два различных механизма выполнения: Традиционный механизм выполнения и механизм выполнения без сохранения состояния. Кроме того, механизм выполнения может быть унаследован от родительской группы процессов, что является поведением по умолчанию. См. "Механизмы выполнения"

Подключение групп, ориентированных на пакетную обработку

Распространенным вариантом использования в Visary ETL является выполнение некоторого пакетно-ориентированного процесса и только после завершения этого процесса выполнение другого процесса с тем же пакетом данных.

Visary ETL делает это возможным, инкапсулируя каждый из этих процессов в свою собственную группу процессов. Исходящая политика первой группы процессов должна быть настроена как "Пакетный вывод", в то время как параллелизм потоковых файлов должен быть либо "Один потоковый файл на узел", либо "Один пакет на узел". При такой конфигурации первая группа процессов будет обрабатывать весь пакет данных (который будет представлять собой либо один потоковый файл, либо множество потоковых файлов, в зависимости от параллелизма потоковых файлов) как единый пакет данных. После завершения обработки этого пакета данных данные будут храниться до тех пор, пока все потоковые файлы не завершат обработку и не будут готовы к выходу из группы процессов. На этом этапе данные могут быть переданы из группы процессов в виде пакета. Эта конфигурация - когда для группы процессов настроена исходящая политика "Пакетный вывод", а выходной порт подключен непосредственно к входному порту Группы процессов с параллелизмом потоковых файлов "Один пакет на узел" - рассматривается как несколько особый случай. Группа процессов-получателей будет принимать данные не только до тех пор, пока не опустеют ее входные очереди, но и до тех пор, пока они не станут пустыми И группа процессов-источников не передаст все данные из этого пакета из группы процессов. Это позволяет передавать набор потоковых файлов в виде единого пакета данных между группами процессов, даже если эти потоковые файлы распределены по нескольким портам.

Настройки по умолчанию для соединений

Последние три элемента в диалоговом окне настройки группы процессов относятся к истечению срока действия файла потока по умолчанию, пороговому значению объекта обратного давления по умолчанию и пороговому значению размера данных обратного давления по умолчанию. Эти параметры задают значения по умолчанию при создании нового подключения. Каждое подключение представляет собой очередь, и в каждой очереди есть настройки для истечения срока действия файла потока, количества объектов обратного давления и размера данных обратного давления. Указанные здесь настройки будут влиять на значения по умолчанию для всех новых подключений, созданных в группе процессов; это не повлияет на существующие подключения. Дочерние группы процессов, созданные в рамках настроенной группы процессов, унаследуют настройки по умолчанию. Опять же, это не повлияет на существующие группы процессов.

ПРИМЕЧАНИЕ

Установка ненулевого значения срока действия файла потока по умолчанию может привести к потере данных из-за истечения срока действия файла потока по истечении установленного срока.

Последним элементом в диалоговом окне настройки являются комментарии к группе процессов. Это обеспечивает механизм добавления любой полезной информации о группе процессов.

Службы контроллеров

Вкладка служб контроллеров в диалоговом окне конфигурации группы процессов рассматривается в разделе "Добавление служб контроллера для потоков данных".

Параметры

Параметры создаются и настраиваются в пользовательском интерфейсе Visary ETL. Любое свойство может быть сконфигурировано для ссылки на параметр при соблюдении следующих условий:

• Конфиденциальное свойство может ссылаться только на конфиденциальный параметр
• Нечувствительное свойство может ссылаться только на Нечувствительный параметр
• Свойства, которые ссылаются на службы контроллера, не могут использовать параметры
• На параметры нельзя ссылаться в задачах создания отчетов, правилах анализа потоков или в службах контроллера управления

Пользовательский интерфейс указывает, можно ли использовать параметр для значения свойства.

Контексты параметров

Параметры создаются в контекстах параметров. Контексты параметров определены глобально и доступны для экземпляра Visary ETL. К контекстам параметров можно применять политики доступа, чтобы определить, какие пользователи могут их создавать. После создания также могут быть применены политики для чтения и записи в контексте определенного параметра. См. "Доступ к параметрам" для получения дополнительной информации.

Создание контекста параметров

Чтобы создать контекст параметров, выберите "Контексты параметров" в глобальном меню.

В окне контекстов параметров нажмите кнопку + в верхнем правом углу, после чего откроется окно добавления контекста параметров. В окне есть две вкладки: "Настройки" и "Параметры".

На вкладке "Настройки" добавьте наименование для контекста параметра и, при желании, описание. Выберите "Применить", чтобы сохранить контекст параметра, или перейдите на вкладку "Параметры", чтобы добавить параметры в контекст.

Добавление параметра в контекст параметров

Параметры можно добавлять во время создания контекста параметров или добавлять в существующие контексты.

Во время создания контекста параметров выберите вкладку "Параметры". Нажмите кнопку +, чтобы открыть окно добавления параметра.

Чтобы добавить параметры в существующий контекст параметров, откройте окно контекста параметров и нажмите кнопку "Редактировать" в строке нужного контекста параметров.

На вкладке "Параметры" нажмите кнопку +, чтобы открыть окно добавления параметра.

Окно добавления параметра имеет следующие возможности конфигурации:

• Наименование, используемое для идентификации параметра. Разрешены только буквенно-цифровые символы (a-z, A-Z, 0-9), дефисы ( - ), подчеркивания ( _ ), точки ( . ) и пробелы.

• Значение, используемое для качественно-количественной характеристики параметра. Если параметр использует язык выражений, важно отметить, что язык выражений будет вычисляться в контексте компонента, который ссылается на этот параметр. См. раздел "Параметры и язык выражений".

• Установить пустую строку, флажок, активация которого указывает на то, что значение параметра явно установлено как пустая строка. По умолчанию флажок не установлен. (Примечание: если флажок установлен, но задано значение, флажок игнорируется.)

• Чувствительное значение, установите значение "Да", если значение параметра следует считать чувствительным. Если значение параметра чувствительно, то после применения значение параметра не будет отображаться в пользовательском интерфейсе. Значение по умолчанию - "Нет". На чувствительные параметры могут ссылаться только чувствительные свойства, а на нечувствительные параметры - только нечувствительные свойства. После создания параметра его флаг чувствительности изменить нельзя.ния параметра его флаг чувствительности нельзя изменить.

• Описание, в котором объясняется, что это за параметр, как его следует использовать и т.д. Это поле необязательно.

После настройки этих параметров выберите "Применить". В разделе "Компоненты для ссылок" перечислены компоненты, на которые ссылается выбранный в данный момент параметр. Добавьте дополнительные параметры или отредактируйте любые существующие.

Чтобы завершить процесс, выберите "Применить" в окне "Контекст параметров". Для проверки всех компонентов, которые ссылаются на добавленные или измененные параметры, выполняются следующие операции: Остановка/перезапуск затронутых процессоров, Отключение/повторное включение затронутых служб контроллера, обновление контекста параметров.

В разделе "Компоненты, на которые ссылаются" теперь перечислены все компоненты, на которые ссылается набор добавленных/измененных/удаленных параметров, упорядоченных по группам процессов.

Параметры и Язык выражений

При добавлении параметра, использующего язык выражений, важно понимать контекст, в котором будет вычисляться язык выражений. Выражение всегда вычисляется в контексте службы процессора или контроллера, которая ссылается на параметр. Возьмем, к примеру, сценарий, в котором к параметру с именем Time добавляется значение ${now()}. Язык выражений приводит к вызову для определения системного времени при его вычислении. При добавлении в качестве параметра системное время вычисляется не при добавлении параметра, а скорее при вычислении выражения службой процессора или контроллера. То есть, если процессор имеет свойство, значение которого равно #{Time}, он будет функционировать точно так же, как если бы значение свойства было равно ${now()}. Каждый раз, когда на это свойство ссылаются, оно будет выдавать другую временную метку.

Кроме того, некоторые свойства не позволяют использовать язык выражений, в то время как другие позволяют использовать язык выражений, но не вычисляют выражения по атрибутам FlowFile. Чтобы понять, как это работает, рассмотрим параметр с именем File, значение которого равно ${filename}. Затем рассмотрим три разных свойства, каждое из которых имеет различную область действия на языке выражений, и потоковый файл с именем файла test.txt. Если для каждого из этих свойств задано значение #{File}, то в следующей таблице показано результирующее значение.

Настроенное значение свойства	Область применения языка выражений	Эффективное значение свойства	Примечания
#{Файл}	Атрибуты потокового файла	test.txt	Имя файла определяется с помощью атрибута filename.
#{Файл}	Окружение	Пустая строка	Атрибуты FlowFile отсутствуют в области видимости, и мы предполагаем, что на уровне JVM не определены ни системное свойство, ни переменная окружения с именем "filename"
#{Файл}	Нет	${имя файла}	Буквальный текст "${имя файла}" не будет обработан.

Присвоение контекста параметров группе процессов

Присвоение контекста параметров группе процессов Чтобы компонент мог ссылаться на параметр, его группе процессов сначала должен быть присвоен контекст параметра. После присвоения, процессоры и службы контроллера в этой группе процессов могут ссылаться на параметры только в контексте этого параметра.

Группе процессов может быть назначен только один контекст параметров, в то время как данный контекст параметров может быть назначен нескольким группам процессов.

ПРИМЕЧАНИЕ

Пользователь может задать для контекста параметров группы процессов только один из контекстов параметров, для которых у пользователя есть политика просмотра. Кроме того, чтобы задать контекст параметров, у пользователя должна быть политика изменения для группы процессов.См. "Доступ к параметрам" для получения дополнительной информации.

Чтобы назначить контекст параметра группе процессов, нажмите кнопку Настроить либо в палитре Управление, либо в контекстном меню группы процессов.

В окне Настройки потока выберите вкладку "Общие". В раскрывающемся меню Контекст параметров группы процессов выберите существующий контекст параметров или создайте новый.

Нажмите "Применить", чтобы сохранить изменения конфигурации. В контекстном меню группы процессов теперь есть опция "Параметры", которая позволяет быстро получить доступ к контекстному окну обновления параметров для назначенного контекста параметров.

При изменении контекста параметров для группы процессов все компоненты, которые ссылаются на какие-либо параметры в этой группе процессов, будут остановлены, проверены и перезапущены при условии, что компоненты были запущены ранее и по-прежнему действительны.

ПРИМЕЧАНИЕ

Если контекст параметра не задан в группе процессов, он НЕ наследует контекст параметра от родительской группы процессов. Вместо этого ссылки на параметры не могут быть предоставлены. Любой компонент, который уже ссылается на параметр, становится недействительным.

Ссылки на параметры

Синтаксис ссылки на параметр

Чтобы настроить подходящее свойство для ссылки на параметр, используйте символ # в качестве начала, а имя параметра заключите в фигурные скобки:

#{Параметр.Имя}

Это можно избежать, используя дополнительный символ # в начале. Чтобы проиллюстрировать это, предположим, что параметр abc имеет значение xxx, а параметр def - значение yyy. Тогда следующие пользовательские значения свойств будут приведены к этим эффективным значениям:

Введенное значение свойства	Действительное значение свойства	Пояснение
#{abc}	xxx	Простая замена
#{abc}/данные	xxx/data	Простая замена дополнительными литеральными данными
#{abc}/#{def}	xxx/гггг	Многократная замена дополнительными литеральными данными
#{abc	#{abc	Нет для замены параметра
#abc	#abc	Нет для замены параметра
##{abc}	#{abc}	Экранированный # для буквальной интерпретации
###{abc}	#xxx	Экранированный # для буквальной интерпретации с последующей простой заменой
####{abc}	##{abc}	Экранированный # для буквальной интерпретации, дважды
#####{abc}	##xxx	Экранированный # для буквальной интерпретации, дважды, с последующей простой заменой
#{abc/data}	При операции установки свойств возникает исключение	/ недопустимый символ в имени параметра

При обращении к параметру с помощью языка выражений, сначала вычисляется ссылка на параметр. В качестве примера, чтобы заменить xxx на zzz для параметра abc:

${ #{abc}:replace('xxx', 'zzz') }

Параметры можно легко ссылаться или создавать во время конфигурации компонентов в вашем потоке. Например, предположим, что Группе процессов назначен Контекст параметров "Настройки Kafka". "Настройки Kafka" содержат параметры kafka.broker и kafka.topic1. -->

Текст справки, описывающий этот процесс, отображается при наведении курсора мыши на индикаторы соответствия языка выражения и параметров.

Чтобы создать параметр для свойства "Имя темы", выберите значок "Преобразовать в параметр" в строке этого свойства. Этот значок будет доступен только в том случае, если у пользователя есть соответствующие разрешения для изменения Контекста параметров. См. "Доступ к параметрам" для получения дополнительной информации.

Откроется диалоговое окно добавления параметра. Настройте новый параметр по своему усмотрению.

Выберите "Применить". Контекст параметра группы процессов будет обновлен, и свойство будет ссылаться на новый параметр с соответствующим синтаксисом, применяемым автоматически.

Значения свойств, которые можно выбрать, также могут ссылаться на параметры. В дополнение к применению метода "Преобразовать в параметр", описанного ранее, в раскрывающемся меню "Значение" доступна опция "Ссылка на параметр..".

При нажатии на "Ссылка на параметр..." отобразится выпадающий список доступных параметров, определяемых контекстом параметра, назначенного группе процессов компонента, и политиками доступа пользователя.

Наведение на значок вопросительного знака отображает описание параметра.

Поставщики параметров

Поставщики параметров позволяют сохранять параметры в источниках, внешних по отношению к Visary ETL. Параметры поставщика параметров могут быть выбраны и применены ко всем ссылочным контекстам параметров.

Чтобы добавить поставщика параметров, выберите "Настройки контроллера" в глобальном меню.

Откроется окно настроек Visary ETL. Выберите вкладку Поставщики параметров и нажмите кнопку + в правом верхнем углу, чтобы создать нового поставщика параметров.

Откроется окно Добавления поставщика параметров. Это окно аналогично окну Добавления процессора. Справа отображается список доступных поставщиков параметров, а слева - облако тегов, отображающее теги наиболее распространенных категорий, используемых для поставщиков параметров. DFM может щелкнуть по любому тегу в облаке тегов, чтобы сузить список поставщиков параметров до тех, которые соответствуют желаемым категориям. DFM также может использовать поле Фильтра в правом верхнем углу окна для поиска поставщика нужных параметров или использовать раскрывающийся список источников в левом верхнем углу, чтобы отфильтровать список по группе, которая их создала. После выбора поставщика параметров из списка DFM может просмотреть описание поставщика ниже. Выберите поставщика необходимых параметров и нажмите "Добавить" или просто дважды щелкните по названию поставщика, чтобы добавить его.

После добавления поставщика параметров DFM может настроить его, нажав кнопку "Редактировать" в крайнем правом столбце. Другие кнопки в этом столбце включают "Выборка параметров", "Удаление" и "Политики доступа".

Вы можете получить информацию о поставщиках параметров, нажав кнопки "Просмотр сведений", "Использование" и "Оповещения" в левой колонке.

Когда DFM нажимает кнопку "Редактировать", открывается окно настройки поставщика параметров. В нем есть три вкладки: Настройки, свойства и комментарии. Это окно аналогично окну Настройки процессора. На вкладке "Настройки" DFM предоставляет возможность присвоить поставщику параметров уникальное имя (при желании). Здесь также указаны UUID, тип и информация о пакете для поставщика и отображается список других компонентов (например, контексты параметров), которые ссылаются на поставщика параметров. DFM может навести курсор мыши на значки с вопросительными знаками, чтобы просмотреть дополнительную информацию о каждой настройке.

На вкладке "Свойства" перечислены различные свойства, которые могут быть настроены для поставщика параметров. DFM может навести курсор мыши на значки с вопросительными знаками, чтобы просмотреть дополнительную информацию о каждом свойстве.

Вкладка комментариев - это просто открытое текстовое поле, в котором DFM может содержать комментарии о поставщике. После настройки поставщика параметров нажмите "Применить", чтобы сохранить конфигурацию и закрыть окно, или нажмите "Отмена", чтобы отменить изменения и закрыть окно.

Если вы хотите получить параметры от поставщика параметров, нажмите кнопку "Получить"

Доступ к параметрам

Права пользователя на доступ к параметрам регулируются с помощью политик доступа на следующих уровнях:

• Контекст параметра
• Группа процессов
• Компонент

Политики доступа к контексту параметров

Чтобы пользователь мог видеть контексты параметров, они должны быть добавлены либо в политику просмотра "доступ к контроллеру", либо в политику просмотра "доступ к контекстам параметров". Чтобы пользователь мог изменять контексты параметров, они также должны быть добавлены в соответствующие политики изменения. Доступ к этим политикам осуществляется через раздел "Политики" в Глобальном меню.

ПРИМЕЧАНИЕ

Политики "контексты параметров доступа" наследуются от политик "доступ к контроллеру", если они не переопределены.

Политики просмотра и изменения также могут быть установлены для отдельных контекстов параметров, чтобы определить, какие пользователи могут просматривать или добавлять параметры в контекст. Выберите "Контексты параметров" в глобальном меню. Выберите кнопку "Политики доступа" в строке с нужным контекстом параметров, чтобы управлять этими политиками

Политики доступа к группе процессов

Пользователь может задать для контекста параметров группы процессов только один из контекстов параметров, для которых у пользователя есть политика просмотра. Кроме того, чтобы задать контекст параметров, пользователь должен иметь политику изменения для группы процессов. Политиками доступа к группе процессов можно управлять, выделив группу процессов и нажав кнопку "Политики доступа" в палитре операций.

Политики доступа к компонентам

Чтобы ссылаться на параметры или преобразовывать свойства в параметр в компоненте, пользователь должен иметь возможность просматривать и изменять политики для компонента. Эти политики наследуются, если пользователь имеет доступ к политикам просмотра и изменения для группы процессов компонента, но эти политики могут быть переопределены на уровне компонента.

Чтобы изменить параметр, пользователь должен иметь политики просмотра и изменения для всех компонентов, которые ссылаются на этот параметр. Это необходимо, поскольку для изменения параметра требуется остановка/запуск компонентов, а также потому, что, выполняя это действие, пользователь изменяет поведение компонента.

Использование пользовательских свойств с помощью языка выражений

Вы можете использовать Visary ETL Expression Language для ссылки на атрибуты потокового файла, сравнения их с другими значениями и манипулирования их значениями при создании и настройке потоков данных.

В дополнение к использованию атрибутов потокового файла, системных свойств и свойств среды в Expression Language, вы также можете определить пользовательские свойства для использования в Expression Language. Определение пользовательских свойств обеспечивает большую гибкость при обработке потоков данных. Вы также можете создать пользовательские свойства для подключения, сервера и служебных свойств, чтобы упростить настройку потока данных.

Свойства Visary ETL имеют приоритет разрешения, о котором вы должны знать при создании пользовательских свойств:

• Атрибуты, зависящие от процессора
• Свойства потокового файла
• Атрибуты потокового файла
• Окружение (системные свойства и переменные окружения операционной системы)

Службы контроллера

Службы контроллера - это общие службы, которые могут использоваться задачами создания отчетов, правилами анализа потоков, процессорами и другими службами для настройки или выполнения задач.

ВАЖНО

Службы контроллера, определенные на уровне контроллера, ограничены задачами создания отчетов, правилами анализа потоков и другими службами, определенными на этом уровне. Службы контроллера для использования процессорами в вашем потоке данных должны быть определены в конфигурации корневой группы процессов или групп подпроцессов, где они будут использоваться.

Добавление служб управляющего контроллера

Чтобы добавить службу контроллера управления, выберите пункт Настройки контроллера в Глобальном меню.

При этом откроется окно настроек Visary ETL. В окне есть шесть вкладок: "Общие", "Службы контроллера управления", "Задачи создания отчетов", "Правила анализа потоков", "Клиенты реестра" и "Поставщики параметров". Вкладка "Общие" содержит настройки для общего максимального количества потоков в экземпляре.

Справа от вкладки "Общие" находится вкладка "Службы контроллера управления". На этой вкладке DFM может нажать кнопку "+" в правом верхнем углу, чтобы создать новую службу контроллера.

Откроется окно "Добавить службу контроллера". Это окно аналогично окну "Добавить процессор". Справа отображается список доступных служб контроллера, а слева - облако тегов, отображающее теги наиболее распространенных категорий, используемых для служб контроллера. DFM может щелкнуть по любому тегу в облаке тегов, чтобы сузить список служб контроллера до тех, которые соответствуют желаемым категориям. DFM также может использовать поле фильтра в правом верхнем углу окна для поиска нужной службы контроллера или использовать раскрывающийся список источников в левом верхнем углу, чтобы отфильтровать список по группе, которая их создала. Выбрав услугу контроллера из списка, DFM может просмотреть описание услуги ниже. Выберите нужную услугу контроллера и нажмите "Добавить" или просто дважды щелкните название услуги, чтобы добавить ее.

После добавления службы контроллера вы можете настроить ее, нажав кнопку "Настроить" в крайнем правом столбце. Другие кнопки в этом столбце включают "Включить", "Удалить" и "Политики доступа".

Вы можете получить информацию о службах контроллера, нажав кнопки "Использование", "Комментарии" и "Оповещения" в левой колонке.

Когда DFM нажимает кнопку "Настроить", открывается служебное окно "Настройка контроллера". В нем есть три вкладки: "Настройки", "Свойства" и "Комментарии". Это окно аналогично окну "Настройка процессора".

На вкладке "Настройки" DFM предоставляет возможность присвоить службе контроллера уникальное имя (при желании). Здесь также указаны UUID, тип, комплектация и информация о поддержке для службы, а также список других компонентов (задачи создания отчетов или другие службы контроллера), которые ссылаются на службу.

Наконец, можно изменить уровень сводки. Всякий раз, когда Служба контроллера записывает данные в свой журнал, служба контроллера также генерирует Бюллетень. Этот параметр указывает самый низкий уровень сводки, который должен отображаться в пользовательском интерфейсе. По умолчанию уровень сводки установлен на ПРЕДУПРЕЖДЕНИЕ, что означает, что на нем будут отображаться все сводки с предупреждениями и ошибками.

На вкладке "Свойства" перечислены различные свойства, применимые к конкретной службе контроллера. Как и при настройке процессоров, DFM может навести курсор на значки с вопросительным знаком, чтобы просмотреть дополнительную информацию о каждом свойстве.

Вкладка комментариев - это просто открытое текстовое поле, в которое DFM может включать комментарии о сервисе. После настройки службы контроллера нажмите "Применить", чтобы сохранить конфигурацию и закрыть окно, или нажмите "Отмена", чтобы отменить изменения и закрыть окно.

Добавление служб контроллера для потоков данных

Чтобы добавить службу контроллера для потока данных, вы можете либо щелкнуть правой кнопкой мыши по группе процессов и выбрать "Настроить", либо щелкнуть "Настроить" на палитре "Управление".

Когда вы нажимаете "Настроить" в палитре "Управление", но ничего не выбираете на своем холсте, вы добавляете службу контроллера для своей корневой группы процессов. Эта служба контроллера становится доступной для всех вложенных групп процессов в вашем потоке данных. Когда вы выбираете группу процессов на холсте, а затем нажимаете "Настроить" либо на палитре "Управление", либо в контекстном меню "Группа процессов", служба будет доступна для всех процессоров и служб контроллеров, определенных в этой группе процессов и ниже.

Чтобы добавить службу контроллера, выполните следующие действия:

1. Нажмите "Настроить" либо в палитре "Управление", либо в контекстном меню "Группа процессов". Откроется окно настройки группы процессов. В окне есть две вкладки: "Общие" и "Службы контроллера". Панель "Общее" предназначена для настроек, которые относятся к общей информации о группе процессов.

2. На странице Конфигурации группы процессов выберите вкладку Службы контроллера.

3. Нажмите кнопку "+", чтобы открыть диалоговое окно "Добавить службу контроллера".

4. Выберите нужную службу контроллера и нажмите "Добавить".

5. Выполните все необходимые действия по настройке службы контроллера, щелкнув значок в правом столбце.

Включение/выключение служб контроллера

После настройки службы контроллера ее необходимо включить для запуска. Сделайте это с помощью кнопки в крайнем правом столбце вкладки "Службы контроллера". Чтобы изменить существующую/запущенную службу контроллера, DFM необходимо остановить/отключить ее (а также все связанные с отчетностью задачи и службы контроллера). Сделайте это с помощью кнопки . Вместо того, чтобы отслеживать каждый компонент, на который ссылается эта служба контроллера, DFM имеет возможность останавливать/отключать их при отключении соответствующей службы контроллера. При включении службы контроллера у DFM есть возможность либо запустить/включить службу контроллера и все связанные с ней компоненты, либо запустить/включить только саму службу контроллера.

Задачи отчетности

Задачи создания отчетов выполняются в фоновом режиме для предоставления статистических отчетов о том, что происходит в экземпляре Visary ETL. DFM добавляет и настраивает задачи создания отчетов, аналогичные процессу для служб контроллера. Чтобы добавить задачу создания отчетов, выберите Настройки контроллера в Глобальном меню.

Отображается окно настроек Visary ETL. Выберите вкладку задачи отчетности и нажмите кнопку + в правом верхнем углу, чтобы создать новую задачу отчетности.

Откроется окно "Добавить задачу создания отчетов". Это окно аналогично окну "Добавить обработчик". Справа отображается список доступных задач создания отчетов, а слева - облако тегов, отображающее теги наиболее распространенных категорий, используемых для задач создания отчетов. DFM может щелкнуть по любому тегу в облаке тегов, чтобы сузить список задач отчетности до тех, которые соответствуют желаемым категориям. DFM также может использовать поле "Фильтр" в правом верхнем углу окна для поиска нужной задачи создания отчетов или использовать раскрывающийся список "Источник" в левом верхнем углу, чтобы отфильтровать список по группе, которая их создала. Выбрав задачу создания отчетов из списка, DFM может просмотреть описание задачи ниже. Выберите нужную задачу создания отчетов и нажмите "Добавить" или просто дважды щелкните название службы, чтобы добавить ее.

После добавления задачи создания отчетов DFM может настроить ее, нажав кнопку "Редактировать" в крайнем правом столбце. Другие кнопки в этом столбце включают "Запустить", "Удалить", "Состояние" и "Политики доступа".

Вы можете получить информацию о задачах создания отчетов, нажав кнопки "Просмотр сведений", "Использование", "Комментарии" и "Оповещения" в левой колонке.

Когда DFM нажимает кнопку "Редактировать", открывается окно задачи настройки отчетов. В нем есть три вкладки: Настройки, свойства и комментарии. Это окно аналогично окну Настройки процессора. На вкладке "Настройки" DFM предоставляет возможность присвоить задаче создания отчетов уникальное имя (при желании). В нем также указаны UUID, тип и информация о пакете для задачи, а также указаны настройки стратегии планирования задачи и графика выполнения (аналогично аналогичным настройкам в процессоре). DFM может навести курсор мыши на значки с вопросительным знаком, чтобы просмотреть дополнительную информацию о каждой настройке.

На вкладке "Свойства" перечислены различные свойства, которые могут быть настроены для задачи. DFM может навести курсор мыши на значки с вопросительными знаками, чтобы просмотреть дополнительную информацию о каждом свойстве.

Вкладка "Комментарии" - это просто открытое текстовое поле, в которое DFM может включать комментарии к задаче. После настройки задачи создания отчетов нажмите "Применить", чтобы сохранить конфигурацию и закрыть окно, или нажмите "Отмена", чтобы отменить изменения и закрыть окно.

Когда вы захотите запустить задачу создания отчетов, нажмите кнопку .

Правила анализа потока

Правила анализа потока могут анализировать компоненты или (части) потока. Они могут приводить к нарушениям правил, которые могут помочь скорректировать или поддерживать оптимальную структуру потока. Каждое правило может быть рекомендацией или политикой, которые можно задать в окне Настройка правила анализа потока. О нарушениях правил типа рекомендации можно сообщать и просматривать позже, но это никак не повлияет на функциональность. О нарушениях правил типа Политики также можно сообщать и просматривать позже, но это также влияет на функциональность: компоненты, нарушающие политику, становятся недействительными и остаются таковыми до тех пор, пока нарушение правил не будет устранено. DFM добавляет и настраивает правила анализа потока, аналогичные процессу для служб контроллера. Чтобы добавить правило анализа потока, выберите Настройки контроллера в Глобальном меню.

Откроется окно настроек Visary ETL. Выберите вкладку Правила анализа потока и нажмите кнопку "+" в правом верхнем углу, чтобы создать новое правило анализа потока.

Откроется окно "Добавить правило анализа потока". Это окно аналогично окну "Добавить процессор". Справа в нем представлен список доступных правил анализа потока, а слева - облако тегов, отображающее наиболее распространенные теги категорий, используемые для правил анализа потока. DFM может щелкнуть по любому тегу в облаке тегов, чтобы сузить список правил анализа потоков до тех, которые соответствуют желаемым категориям. DFM также может использовать поле Фильтра в правом верхнем углу окна для поиска нужного правила анализа потока или использовать раскрывающийся список источников в левом верхнем углу, чтобы отфильтровать список по группе, которая их создала. Выбрав правило анализа потоков из списка, DFM может просмотреть описание правила ниже. Выберите нужное правило анализа потоков и нажмите "Добавить" или просто дважды щелкните название службы, чтобы добавить его.

После добавления правила анализа потока данных DFM может настроить его, нажав кнопку "Настроить" в крайнем правом столбце (когда правило отключено). Другие кнопки в этом столбце включают "Включить", "Отключить", "Просмотреть конфигурацию", "Удалить", "Состояние" и "Политики доступа".

Вы можете получить информацию о правилах анализа потоков, нажав кнопки "Просмотр сведений", "Использование" и "Оповещения" в левой колонке.

Когда DFM нажимает кнопку "Настроить", открывается окно "Настроить правило анализа потока". В нем есть три вкладки: "Настройки", "Свойства" и "Комментарии". Это окно аналогично окну "Настройка процессора". На вкладке "Настройки" DFM предоставляет возможность присвоить правилу анализа потоков уникальное имя (при желании). Здесь также указаны UUID, тип и информация о пакете для правила, а также параметры для его типа (рекомендации или политики). DFM может навести курсор мыши на значки с вопросительными знаками, чтобы просмотреть дополнительную информацию о каждой настройке.

На вкладке "Свойства" перечислены различные свойства, которые могут быть настроены для правила. DFM может навести курсор мыши на значки с вопросительными знаками, чтобы просмотреть дополнительную информацию о каждом свойстве.

Вкладка "Комментарии" - это просто открытое текстовое поле, в которое DFM может включать комментарии к правилу. После настройки правила анализа потока нажмите "Применить", чтобы сохранить конфигурацию и закрыть окно, или нажмите "Отмена", чтобы отменить изменения и закрыть окно.

Если вы хотите, чтобы правило анализа потока было активным, нажмите кнопку .

Если вы хотите, чтобы правило анализа потока было неактивным, нажмите кнопку . Отключение правила также аннулирует все соответствующие нарушения.

Подключение компонентов

Как только процессоры и другие компоненты будут добавлены в canvas и сконфигурированы, следующим шагом будет их подключение друг к другу, чтобы Visary ETL знал, что делать с каждым потоковым файлом после его обработки. Это достигается путем создания Соединения между каждым компонентом. Когда пользователь наводит курсор мыши на центр компонента, появляется новый значок подключения .

Пользователь перетаскивает значок подключения от одного компонента к другому, пока не будет выделен второй компонент. Когда пользователь отпускает мышь, появляется диалоговое окно "Создать подключение". Это диалоговое окно состоит из двух вкладок: "Подробности" и "Настройки". Они подробно рассматриваются ниже. Обратите внимание, что можно установить соединение таким образом, чтобы оно выполнялось в обратном цикле на том же процессоре. Это может быть полезно, если DFM хочет, чтобы процессор попытался повторно обработать потоковые файлы, если в них возникает ошибка. Чтобы создать циклическое соединение такого типа, просто перетащите значок соединения в сторону, а затем снова в тот же процессор, пока он не будет выделен. Затем отпустите мышь, и появится то же диалоговое окно "Создать соединение".

Вкладка "Подробности"

На вкладке "Сведения" диалогового окна "Создать подключение" представлена информация об исходном и целевом компонентах, включая название компонента, тип компонента и группу процессов, в которой находится компонент:

Кроме того, на этой вкладке можно выбрать, какие связи следует включить в это соединение. Необходимо выбрать хотя бы одну связь. Если доступна только одна связь, она выбирается автоматически.

ПРИМЕЧАНИЕ

Если добавлено несколько подключений с одинаковой связью, любой потоковый файл, перенаправленный на эту связь, будет автоматически "клонирован", и копия будет отправлена каждому из этих подключений.

Настройки

На вкладке "Настройки" можно настроить имя подключения, срок действия файла потока, пороговые значения обратного давления, стратегию балансировки нагрузки и расстановку приоритетов:

Имя соединения является необязательным. Если этот параметр не указан, то имя, отображаемое для соединения, будет соответствовать именам связей, которые активны для этого соединения.

Истечение срока действия FlowFile

Истечение срока действия файла потока Истечение срока действия файла потока - это концепция, с помощью которой данные, которые не могут быть обработаны своевременно, могут быть автоматически удалены из потока. Это полезно, например, когда ожидается, что объем данных превысит объем, который может быть отправлен на удаленный сайт. В этом случае истечение срока действия может использоваться совместно с установщиками приоритетов, чтобы гарантировать, что сначала будут обработаны данные с наивысшим приоритетом, а затем все, что не может быть обработано в течение определенного периода времени (например, один час), может быть удалено. Срок действия основан на времени, когда данные были введены в экземпляр Visary ETL. Другими словами, если срок действия файла для данного соединения установлен на 1 час, и файл, который находился в экземпляре Visary ETL в течение одного часа, достигнет этого соединения, срок его действия истечет. Значение по умолчанию 0 секунд указывает на то, что срок действия данных никогда не истечет. Если установлен срок действия файла, отличный от 0 секунд, на ярлыке подключения появляется маленький значок часов, чтобы DFM мог сразу увидеть его при просмотре потока данных на холсте.

Изменение конфигурации и параметров контекстного меню

После установления соединения между двумя компонентами конфигурация соединения может быть изменена, и соединение может быть перемещено в новое место назначения; однако процессоры по обе стороны от соединения должны быть остановлены, прежде чем может быть произведено изменение конфигурации или места назначения.

Чтобы изменить конфигурацию подключения или взаимодействовать с ним другими способами, щелкните правой кнопкой мыши на подключении, чтобы открыть контекстное меню подключения.

Доступны следующие опции:

• Настроить: Эта опция позволяет пользователю изменять конфигурацию подключения.
• Просмотреть историю состояния: Эта опция открывает графическое представление статистической информации о подключении с течением времени.
• Список очередей: Этот параметр отображает список потоковых файлов, которые, возможно, ожидают обработки.
• Перейти к источнику: Эта опция может быть полезна, если между исходным и целевым компонентами соединения на холсте большое расстояние. При нажатии на эту опцию изображение на холсте перейдет к источнику соединения.
• Перейти к месту назначения: Аналогично опции "Перейти к источнику", эта опция изменяет вид целевого компонента на холсте и может быть полезна, если между двумя подключенными компонентами большое расстояние.
• Вывести на передний план: Этот параметр выводит соединение на передний план холста, если что-то еще (например, другое соединение) перекрывает его.
• Пустая очередь: Эта опция позволяет DFM очистить очередь от потоковых файлов, которые, возможно, ожидают обработки. Эта опция может быть особенно полезна во время тестирования, когда DFM не заботится об удалении данных из очереди. Когда этот параметр выбран, пользователи должны подтвердить, что они хотят удалить данные из очереди.
• Удалить: Эта опция позволяет DFM удалять соединение между двумя компонентами. Обратите внимание, что компоненты с обеих сторон соединения должны быть остановлены, а соединение должно быть пустым, прежде чем его можно будет удалить.

Изгиб соединений

Чтобы добавить точку сгиба к существующему соединению, просто дважды щелкните по соединению в том месте, где вы хотите разместить точку сгиба. Затем вы можете с помощью мыши захватить точку сгиба и перетащить ее, чтобы соединение было согнуто нужным образом. Вы можете добавить столько точек сгиба, сколько захотите. Вы также можете с помощью мыши перетащить метку на соединении в любую существующую точку сгиба. Чтобы удалить точку сгиба, просто дважды щелкните по ней еще раз.

Проверка работоспособности (валидация) процессора

Прежде чем пытаться запустить процессор, важно убедиться, что конфигурация процессора верна. В верхнем левом углу процессора отображается индикатор состояния. Если процессор неисправен, на индикаторе отобразится желтый предупреждающий индикатор с восклицательным знаком, указывающий на наличие проблемы.

В этом случае при наведении курсора мыши на значок индикатора появится всплывающая подсказка, показывающая все ошибки проверки для процессора. Как только все ошибки проверки будут устранены, индикатор состояния изменится на значок остановки, указывающий на то, что процессор исправен и готов к запуску, но в данный момент не запущен.

Пример потока данных

В этом разделе описаны шаги, необходимые для создания потока данных. Теперь рассмотрим все это вместе. Следующий пример потока данных состоит всего из двух процессоров: GenerateFlowFile и LogAttribute. Эти процессоры обычно используются для тестирования, но их также можно использовать для создания быстрого потока в демонстрационных целях и просмотра Visary ETL в действии.

После того, как вы перетащите процессоры GenerateFlowFile и LogAttribute на холст и подключите их (используя рекомендации, приведенные выше), настройте их следующим образом:

• Генерация потокового файла

  • На вкладке Планирование установите для расписания выполнения значение: 5 сек. Обратите внимание, что процессор GenerateFlowFile может создавать множество потоковых файлов очень быстро; поэтому важно настроить расписание выполнения, чтобы этот поток не перегружал систему, в которой запущен Visary ETL.
  • На вкладке "Свойства" установите размер файла равным: 10 КБ

• Атрибут логов

  • На вкладке "Настройки" в разделе "Автоматическое завершение связей" установите флажок рядом с "Успешно". Это приведет к завершению работы потоковых файлов после их успешной обработки этим процессором.
  • Также на вкладке "Настройки" установите для сводки уровень "Информация". Таким образом, когда поток данных запущен, этот процессор будет отображать значок сводки, см. "Анатомия процессора", и пользователь может навести на него курсор мыши, чтобы увидеть атрибуты, которые регистрирует процессор.

Поток данных должен выглядеть следующим образом:

Теперь ознакомьтесь со следующим разделом о том, как запускать и останавливать поток данных. Когда поток данных запущен, обязательно обратите внимание на статистическую информацию, которая отображается на лицевой панели каждого процессора, см. "Анатомия процессора"

---