CaptureChangeMySQL

Описание

Извлекает события Change Data Capture (CDC) из базы данных MySQL. События CDC включают операции INSERT, UPDATE, DELETE. События выводятся либо в виде группы из заданного количества событий (значение по умолчанию равно 1, поэтому каждое событие становится отдельным файлом потока), либо сгруппированы как полная транзакция (от BEGIN до COMMIT). Все события упорядочены по времени, в которое была выполнена операция. ПРИМЕЧАНИЕ: Если процессор остановлен до того, как указанное количество событий будет записано в файл потока, то для поддержания согласованности потока событий будет выведен частичный файл потока.

Теги

sql, jdbc, cdc, mysql, transaction, event

Свойства

Название	Описание
Узлы MySQL	Список записей с именами хостов (и необязательным портом), соответствующих узлам в кластере MySQL. Записи должны быть разделены запятой и двоеточием (если необходимо указать порт), например, host1:порт,host2:порт,.... Например, mysql.myhost.com:3306. Порт указывать не обязательно, если он опущен, будет использоваться значение порта MySQL по умолчанию, равное 3306. Этот процессор попытается подключиться к хостам в списке по порядку. Если один узел выходит из строя и для кластера включена отработка отказа, то процессор подключается к активному узлу (при условии, что в этом свойстве указана запись его узла). Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Имя класса драйвера MySQL	Имя класса класса драйвера базы данных MySQL Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Расположение(-я) драйверов MySQL	Список файлов/папок и/или URL-адресов, разделенных запятыми, содержащих JAR-файл драйвера MySQL и его зависимости (если таковые имеются). Например, '/var/tmp/mysql-connector-java-5.1.38-bin.jar'This property expects a comma-separated list of resources. Each of the resources may be of any of the following types: directory, URL, file. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Имя пользователя	Имя пользователя для доступа к кластеру MySQL Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Пароль	Пароль для доступа к кластеру MySQL Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Стратегия обработки событий	Определяет стратегию, используемую при записи событий в потоковые файлы
Количество событий на FlowFile	Указывает, сколько событий должно быть записано в один FlowFile. Если процессор остановлен до того, как будет записано указанное количество событий, события все равно будут записаны в виде FlowFile перед остановкой. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)This Property is only considered if the [Стратегия обработки событий] Property has a value of "Максимальное количество событий на FlowFile".
ID сервера	Клиент, подключающийся к группе репликации MySQL, на самом деле является упрощенной репликой (сервером), и значение идентификатора сервера должно быть уникальным для всей группы репликации (т.е. отличаться от любого другого идентификатора сервера, используемого любой основной репликой). Таким образом, каждый экземпляр Capture Change MySQL должен иметь ID сервера, уникальный для всей группы репликации. Если ID сервера не указан, по умолчанию он равен 65535. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Шаблон имени базы данных/схемы	Регулярное выражение (regex) для сопоставления баз данных (или схем, в зависимости от терминологии вашей СУБД) со списком событий CDC. Регулярное выражение должно соответствовать имени базы данных, хранящемуся в СУБД. Если свойство не задано, имя базы данных не будет использоваться для фильтрации событий CDC. ПРИМЕЧАНИЕ: События DDL, даже если они влияют на разные базы данных, связаны с базой данных, используемой сеансом для выполнения DDL. Это означает, что если установлено соединение с одной базой данных, но DDL выдан для другой, то подключенная база данных будет соответствовать указанному шаблону.
Шаблон имени таблицы	Регулярное выражение (regex) для сопоставления событий CDC, влияющих на соответствующие таблицы. Регулярное выражение должно соответствовать имени таблицы, хранящемуся в базе данных. Если это свойство не задано, никакие события не будут отфильтрованы на основе имени таблицы.
Максимальное время ожидания	Максимальное время, отведенное для установления соединения, ноль фактически означает отсутствие ограничений. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Клиент распределенного кэша карт - не используется	Это устаревшее свойство, которое больше не используется для хранения табличной информации, процессор будет обрабатывать табличную информацию (имена столбцов, типы и т.д.).
Извлекать Все Записи	Определяет, следует ли получать все доступные события CDC, независимо от текущего имени файла binlog и/или позиции. Если в состоянии процессора присутствуют значения имени файла binlog и позиции, значение этого свойства игнорируется. Это позволяет использовать 4 различные конфигурации: 1) Если данные binlog доступны в состоянии процессора, которые используются для определения начального местоположения, а значение Retrieve All Records игнорируется. 2) Если в состоянии процессора нет данных binlog, то извлечение всех записей, для которых установлено значение true, означает начало с начала истории binlog. 3) Если в состоянии процессора нет данных бинлога и начальное имя файла бинлога/позиция не заданы, то извлечение всех записей, для которых установлено значение false, означает начало с конца истории бинлога. 4) Если в состоянии процессора нет данных binlog и заданы начальные имя/позиция файла Binlog, то извлечение всех записей, для которых установлено значение false, означает начало с указанного начального файла/позиции binlog. Чтобы изменить поведение, очистите состояние процессора (обратитесь к разделу "Управление Cостоянием" документации процессора).
Включать события Begin/Commit	Указывает, следует ли генерировать события, соответствующие событию BEGIN или COMMIT, в двоичном журнале. Установите значение true, если события BEGIN/COMMIT необходимы для последующего потока, в противном случае установите значение false, что подавит генерацию этих событий и может повысить производительность потока.
Включать события DDL	Указывает, следует ли генерировать события, соответствующие событиям языка определения данных (DDL), таким как ALTER TABLE, TRUNCATE TABLE, например, в двоичном журнале. Установите значение true, если события DDL желательны/необходимы в нисходящем потоке, в противном случае установите значение false, что подавляет генерацию этих событий и может повысить производительность потока.
Интервал Обновления Состояния	DEPRECATED. Это свойство больше не используется и существует исключительно в целях обратной совместимости. Указывает, как часто следует обновлять состояние процессора с помощью значений файла/позиции binlog. Нулевое значение означает, что состояние будет обновляться только при остановке процессора или выключении. Если в какой-то момент состояние процессора не содержит желаемых значений двоичного журнала, последний отправленный файл потока будет содержать последние наблюдаемые значения, и процессор может быть возвращен в это состояние с помощью свойств исходного файла двоичного журнала, начальной позиции двоичного журнала и идентификатора начальной последовательности. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
ID Начальной Последовательности	Определяет исходный идентификатор последовательности, который будет использоваться, если в состоянии этого процессора нет текущего идентификатора последовательности. Если в состоянии процессора присутствует идентификатор последовательности, это свойство игнорируется. Идентификаторы последовательности - это монотонно возрастающие целые числа, которые записывают порядок файлов потока, сгенерированных процессором. Их можно использовать с процессором Enforce Order, чтобы гарантировать упорядоченную доставку событий CDC. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Начальное Имя Файла Binlog	Указывает начальное имя файла binlog, которое будет использоваться, если в состоянии этого процессора нет текущего имени файла binlog. Если имя файла присутствует в состоянии процессора или свойству "Использовать GTID" присвоено значение false, это свойство игнорируется. Это можно использовать вместе с начальной позицией в Binlog для "пропуска вперед", если предыдущие события нежелательны. Обратите внимание, что поддерживается язык выражений NiFi, но это свойство вычисляется при настройке процессора, поэтому атрибуты FlowFile могут не использоваться. Поддерживается язык выражений, позволяющий использовать свойства среды. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Начальная Позиция в Binlog	Задает начальное смещение в двоичном журнале (заданное начальным именем файла Binlog) для использования, если состояние этого процессора не имеет текущего имени файла binlog. Если в состоянии процессора присутствует имя файла или свойство "Use GTID" имеет значение false, это свойство игнорируется. Это можно использовать вместе с начальным именем файла Binlog, чтобы "пропустить", если предыдущие события нежелательны. Обратите внимание, что поддерживается язык выражений NiFi, но это свойство вычисляется при настройке процессора, поэтому атрибуты FlowFile могут не использоваться. Поддерживается язык выражений, позволяющий использовать свойства среды. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Использовать Binlog GTID	Указывает, следует ли использовать Глобальный Идентификатор Транзакции (GTID) для отслеживания binlog. Если задано значение true, данные процессора об имени файла binlog и его позиции игнорируются. Основное преимущество использования GTID заключается в более надежной отработке отказа, чем при использовании имени файла/позиции binlog.
Начальный Binlog GTID	Указывает начальную СЕТКУ, которая будет использоваться, если состояние этого процессора не имеет текущего GTID. Если в состоянии процессора присутствует сетка или свойству "Use GTID" присвоено значение false, это свойство игнорируется. Это можно использовать для "пропуска вперед", если предыдущие события нежелательны. Обратите внимание, что поддерживается язык выражений NiFi, но это свойство вычисляется при настройке процессора, поэтому атрибуты FlowFile могут не использоваться. Поддерживается язык выражений, позволяющий использовать свойства среды. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Режим SSL	Режим SSL, используемый при настройке службы контекста SSL, поддерживающей параметры проверки сертификата
Служба Контекста SSL	Служба Контекста SSL, поддерживающая передачу данных по зашифрованному сокетуThis Property is only considered if the [Режим SSL] Property is set to one of the following values: [ПРЕДПОЧТИТЕЛЬНЫЙ], [ПРОВЕРЯТЬ_ИДЕНТИЧНОСТЬ], [ТРЕБУЕТСЯ]

Взаимосвязи

• success: Успешно созданный FlowFile из набора результатов SQL-запроса.