GrokReader

Описание

Предоставляет механизм для чтения неструктурированных текстовых данных, таких как файлы журналов, и их структурирования для дальнейшей обработки. Служба настраивается с использованием шаблонов Grok. Она считывает поток данных и разделяет каждое сообщение на отдельные записи, каждая из которых содержит настроенные поля. Если строка входных данных не соответствует ожидаемому шаблону сообщения, эта строка либо считается частью предыдущего сообщения, либо пропускается, в зависимости от настройки, за исключением трассировок стека. Трассировка стека, найденная в конце сообщения журнала, считается частью предыдущего сообщения, но добавляется в поле 'stackTrace' записи. Если у записи нет трассировки стека, это поле будет иметь значение NULL (при условии, что схема действительно включает поле stackTrace типа String). Если схема включает поле '_raw' типа String, исходное сообщение будет включено в запись.

Теги

grok, logs, logfiles, parse, unstructured, text, record, reader, regex, pattern, logstash

Свойства

Название	Описание
Schema Access Strategy	Указывает, как получить схему, которая будет использоваться для интерпретации данных.
Schema Registry	Указывает службу контроллера, которую следует использовать для реестра схемThis Property is only considered if the [Schema Access Strategy] Property is set to one of the following values: [Schema Reference Reader], [Use 'Schema Name' Property]
Schema Name	Указывает имя схемы для поиска в свойстве реестра схем Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [Schema Access Strategy] Property has a value of "Use 'Schema Name' Property".
Schema Version	Указывает версию схемы для поиска в реестре схем. Если не указано, будет получена последняя версия схемы. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [Schema Access Strategy] Property has a value of "Use 'Schema Name' Property".
Schema Branch	Указывает имя ветки, которую нужно использовать при поиске схемы в реестре схем. Если выбранный реестр схем не поддерживает ветки, это значение будет проигнорировано. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [Schema Access Strategy] Property has a value of "Use 'Schema Name' Property".
Schema Text	Текст схемы в формате Avro Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды)This Property is only considered if the [Schema Access Strategy] Property has a value of "Use 'Schema Text' Property".
Schema Reference Reader	Реализация сервиса, отвечающая за чтение атрибутов или содержимого FlowFile для определения идентификатора ссылки на схемуThis Property is only considered if the [Schema Access Strategy] Property has a value of "Schema Reference Reader".
Grok Patterns	Шаблоны Grok для использования при анализе журналов. Если не указано, будет использоваться встроенный файл шаблонов по умолчанию. Если указано, все указанные шаблоны будут переопределять шаблоны по умолчанию. Список предопределенных шаблонов см. в разделе «Дополнительные сведения» службы контроллера.This property requires exactly one resource to be provided. That resource may be any of the following types: URL, file, text. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды)
Grok Expressions	Specifies the format of a log line in Grok format. This allows the Record Reader to understand how to parse each log line. The property supports one or more Grok expressions. The Reader attempts to parse input lines according to the configured order of the expressions.If a line in the log file does not match any expressions, the line will be assumed to belong to the previous log message.If other Grok patterns are referenced by this expression, they need to be supplied in the Grok Pattern File property.This property requires exactly one resource to be provided. That resource may be any of the following types: URL, file, text.
No Match Behavior	Если встречается строка текста, которая не соответствует заданному выражению Grok и не является частью трассировки стека, это свойство определяет, как следует обрабатывать текст.