ListFTP
Описание
Выполняет список файлов, находящихся на FTP-сервере. Для каждого найденного на удаленном сервере файла создается новый FlowFile с именем файла, установленным в атрибут filename. Это затем можно использовать в сочетании с FetchFTP для извлечения этих файлов.
Теги
list, ftp, remote, ingest, source, input, files
Свойства
| Название | Описание |
|---|---|
| Listing Strategy | Specify how to determine new/updated entities. See each strategy descriptions for detail. |
| Hostname | Полное имя хоста или IP-адрес удаленной системы Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Port | Порт, к которому необходимо подключиться на удаленном хосте для получения данных с него Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Имя пользователя | Имя пользователя Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Password | Пароль учетной записи пользователя Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Remote Path | Путь в удаленной системе, по которому можно извлекать или перемещать файлы Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Record Writer | Specifies the Record Writer to use for creating the listing. If not specified, one FlowFile will be created for each entity that is listed. If the Record Writer is specified, all entities will be written to a single FlowFile instead of adding attributes to individual FlowFiles. |
| Distributed Cache Service | NOTE: This property is used merely for migration from old NiFi version before state management was introduced at version 0.5.0. The stored value in the cache service will be migrated into the state when this processor is started at the first time. The specified Controller Service was used to maintain state about what had been pulled from the remote server so that if a new node begins pulling data, it won't duplicate all of the work that has been done. If not specified, the information was not shared across the cluster. This property did not need to be set for standalone instances of NiFi but was supposed to be configured if NiFi had been running within a cluster. |
| Search Recursively | Если значение равно true, то файлы будут извлекаться из произвольно вложенных подкаталогов; в противном случае доступ к подкаталогам не будет осуществляться |
| Follow symlink | Если значение равно true, будут извлекаться даже символьные файлы, а также вложенные символьные подкаталоги; в противном случае не будут считываться символьные файлы и не будут проходить через подкаталоги с символьными ссылками |
| File Filter Regex | Предоставляет регулярное выражение Java для фильтрации имён файлов. Если указан фильтр, будут загружены только файлы, имена которых соответствуют этому регулярному выражению. |
| Path Filter Regex | When Search Recursively is true, then only subdirectories whose path matches the given Regular Expression will be scanned |
| Ignore Dotted Files | If true, files whose names begin with a dot (".") will be ignored |
| Remote Poll Batch Size | Значение указывает, сколько путей к файлам нужно найти в заданном каталоге удалённой системы при просмотре списка файлов. Обычно это значение не требуется изменять, но при опросе удаленной системы с огромным количеством файлов это значение может быть критичным. Слишком высокое значение может привести к снижению производительности, а слишком низкое - к замедлению потока. |
| Connection Timeout | Время ожидания до истечения срока при создании соединения. |
| Data Timeout | При передаче файла между локальной и удаленной системой это значение указывает, сколько времени должно пройти без передачи данных между системами. |
| Connection Mode | Режим подключения FTP |
| Transfer Mode | Режим передачи данных FTP |
| Proxy Configuration Service | Specifies the Proxy Configuration Controller Service to proxy network requests. If set, it supersedes proxy settings configured per component. Supported proxies: HTTP + AuthN, SOCKS + AuthN |
| Proxy Type | Тип прокси-сервера, используемый для передачи файлов |
| Proxy Host | Полное имя хоста или IP-адрес прокси-сервера Поддерживает язык выражений: true (будет оцениваться только с и спользованием переменных среды) |
| Proxy Port | Порт прокси-сервера Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Имя пользователя HTTP-прокси | Имя пользователя HTTP-прокси Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Пароль HTTP-прокси | Пароль HTTP-прокси Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Internal Buffer Size | Задайте размер внутреннего буфера для буферизованных потоков данных |
| Target System Timestamp Precision | Specify timestamp precision at the target system. Since this processor uses timestamp of entities to decide which should be listed, it is crucial to use the right timestamp precision. |
| Entity Tracking State Cache | Listed entities are stored in the specified cache storage so that this processor can resume listing across NiFi restart or in case of primary node change. 'Tracking Entities' strategy require tracking information of all listed entities within the last 'Tracking Time Window'. To support large number of entities, the strategy uses DistributedMapCache instead of managed state. Cache key format is 'ListedEntities::{processorId}(::{nodeId})'. If it tracks per node listed entities, then the optional '::{nodeId}' part is added to manage state separately. E.g. cluster wide cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', per node cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3' The stored cache content is Gzipped JSON string. The cache key will be deleted when target listing configuration is changed. Used by 'Tracking Entities' strategy. |
| Entity Tracking Time Window | Specify how long this processor should track already-listed entities. 'Tracking Entities' strategy can pick any entity whose timestamp is inside the specified time window. For example, if set to '30 minutes', any entity having timestamp in recent 30 minutes will be the listing target when this processor runs. A listed entity is considered 'new/updated' and a FlowFile is emitted if one of following condition meets: 1. does not exist in the already-listed entities, 2. has newer timestamp than the cached entity, 3. has different size than the cached entity. If a cached entity's timestamp becomes older than specified time window, that entity will be removed from the cached already-listed entities. Used by 'Tracking Entities' strategy. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Entity Tracking Initial Listing Target | Specify how initial listing should be handled. Used by 'Tracking Entities' strategy. |
| Use UTF-8 Encoding | Указывает клиенту использовать кодировку UTF-8 при обработке файлов и имен файлов. Если установлено значение true, сервер также должен поддерживать кодировку UTF-8. |
Взаимосвязи
- success: все полученные файлы Flow направляются на этап успеха