ListSFTP
Описание
Выполняет список файлов, находящихся на SFTP-сервере. Для каждого найденного на удаленном сервере файла создается новый FlowFile с именем файла, установленным в атрибут filename. Это затем можно использовать в сочетании с FetchSFTP для извлечения этих файлов.
Теги
list, sftp, remote, ingest, source, input, files
Свойства
| Название | Описание |
|---|---|
| Listing Strategy | Specify how to determine new/updated entities. See each strategy descriptions for detail. |
| Hostname | Полное имя хоста или IP-адрес удаленной системы Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Port | Порт, который удаленная система прослушивает для передачи файлов. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Имя пользователя | Имя пользователя Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Password | Пароль учетной записи пользователя Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Private Key Path | Полный путь к файлу закрытого ключаThis property requires exactly one file to be provided.. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Private Key Passphrase | Пароль для закрытого ключа Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Remote Path | Путь в удаленной системе, по которому можно извлекать или перемещать файлы Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Record Writer | Specifies the Record Writer to use for creating the listing. If not specified, one FlowFile will be created for each entity that is listed. If the Record Writer is specified, all entities will be written to a single FlowFile instead of adding attributes to individual FlowFiles. |
| Distributed Cache Service | NOTE: This property is used merely for migration from old NiFi version before state management was introduced at version 0.5.0. The stored value in the cache service will be migrated into the state when this processor is started at the first time. The specified Controller Service was used to maintain state about what had been pulled from the remote server so that if a new node begins pulling data, it won't duplicate all of the work that has been done. If not specified, the information was not shared across the cluster. This property did not need to be set for standalone instances of NiFi but was supposed to be configured if NiFi had been running within a cluster. |
| Search Recursively | Если значение равно true, то файлы будут извлекаться из произвольно вложенных подкаталогов; в противном случае доступ к подкаталогам не будет осуществляться |
| Follow symlink | Если значение равно true, будут извлекаться даже символьные файлы, а также вложенные символьные подкаталоги; в противном случае не будут считываться символьные файлы и не будут проходить через подкаталоги с символьными ссылками |
| File Filter Regex | Предоставляет регулярное выражение Java для фильтрации имён файлов. Если указан фильтр, будут загружены только файлы, имена которых соответствуют этому регулярному выражению. |
| Path Filter Regex | When Search Recursively is true, then only subdirectories whose path matches the given Regular Expression will be scanned |
| Ignore Dotted Files | If true, files whose names begin with a dot (".") will be ignored |
| Remote Poll Batch Size | Значение указывает, сколько путей к файлам нужно найти в заданном каталоге удалённой системы при просмотре списка файлов. Обычно это значение не требуется изменять, но при опросе удаленной системы с огромным количеством файлов это значение может быть критичным. Слишком высокое значение может привести к снижению производительности, а слишком низкое - к замедлению потока. |
| Strict Host Key Checking | Указывает, следует ли применять строгое соблюдение ключей хостов |
| Host Key File | Если указан, то данный файл будет использоваться в качестве ключа хоста; в противном случае, если применяется свойство «Строгая проверка ключа хоста» (установлено значение true), то используются файлы «known_hosts» и «known_hosts2» из каталога ~/.ssh, в противном случае файл ключа хоста не используетсяThis property requires exactly one file to be provided.. |
| Connection Timeout | Время ожидания до истечения срока при создании соединения. |
| Data Timeout | При передаче файла между локальной и удаленной системой это значение указывает, сколько времени должно пройти без передачи данных между системами. |
| Send Keep Alive On Timeout | Отправляйте сообщение о сохранении активности каждые 5 секунд до 5 раз, чтобы общее время ожидания составило 25 секунд. |
| Target System Timestamp Precision | Specify timestamp precision at the target system. Since this processor uses timestamp of entities to decide which should be listed, it is crucial to use the right timestamp precision. |
| Use Compression | Указывает, следует ли использовать сжатие ZLIB при передаче файлов. |
| Proxy Configuration Service | Specifies the Proxy Configuration Controller Service to proxy network requests. If set, it supersedes proxy settings configured per component. Supported proxies: HTTP + AuthN, SOCKS + AuthN |
| Proxy Type | Тип прокси-сервера, используемый для передачи файлов |
| Proxy Host | Полное имя хоста или IP-адрес прокси-сервера Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Proxy Port | Порт прокси-сервера Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Имя пользователя HTTP-прокси | Имя пользователя HTTP-прокси Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Пароль HTTP-прокси | Пароль HTTP-прокси Чувствительный параметр: true Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Entity Tracking State Cache | Listed entities are stored in the specified cache storage so that this processor can resume listing across NiFi restart or in case of primary node change. 'Tracking Entities' strategy require tracking information of all listed entities within the last 'Tracking Time Window'. To support large number of entities, the strategy uses DistributedMapCache instead of managed state. Cache key format is 'ListedEntities::{processorId}(::{nodeId})'. If it tracks per node listed entities, then the optional '::{nodeId}' part is added to manage state separately. E.g. cluster wide cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b', per node cache key = 'ListedEntities::8dda2321-0164-1000-50fa-3042fe7d6a7b::nifi-node3' The stored cache content is Gzipped JSON string. The cache key will be deleted when target listing configuration is changed. Used by 'Tracking Entities' strategy. |
| Entity Tracking Time Window | Specify how long this processor should track already-listed entities. 'Tracking Entities' strategy can pick any entity whose timestamp is inside the specified time window. For example, if set to '30 minutes', any entity having timestamp in recent 30 minutes will be the listing target when this processor runs. A listed entity is considered 'new/updated' and a FlowFile is emitted if one of following condition meets: 1. does not exist in the already-listed entities, 2. has newer timestamp than the cached entity, 3. has different size than the cached entity. If a cached entity's timestamp becomes older than specified time window, that entity will be removed from the cached already-listed entities. Used by 'Tracking Entities' strategy. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Entity Tracking Initial Listing Target | Specify how initial listing should be handled. Used by 'Tracking Entities' strategy. |
| Minimum File Age | The minimum age that a file must be in order to be pulled; any file younger than this amount of time (according to last modification date) will be ignored |
| Maximum File Age | The maximum age that a file must be in order to be pulled; any file older than this amount of time (according to last modification date) will be ignored |
| Minimum File Size | No description provided. |
| Maximum File Size | No description provided. |
| Ciphers Allowed | A comma-separated list of Ciphers allowed for SFTP connections. Leave unset to allow all. Available options are: 3des-cbc, 3des-ctr, aes128-cbc, aes128-ctr, aes128-gcm@openssh.com, aes192-cbc, aes192-ctr, aes256-cbc, aes256-ctr, aes256-gcm@openssh.com, arcfour, arcfour128, arcfour256, blowfish-cbc, blowfish-ctr, cast128-cbc, cast128-ctr, chacha20-poly1305@openssh.com, idea-cbc, idea-ctr, serpent128-cbc, serpent128-ctr, serpent192-cbc, serpent192-ctr, serpent256-cbc, serpent256-ctr, twofish-cbc, twofish128-cbc, twofish128-ctr, twofish192-cbc, twofish192-ctr, twofish256-cbc, twofish256-ctr Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Key Algorithms Allowed | A comma-separated list of Key Algorithms allowed for SFTP connections. Leave unset to allow all. Available options are: ecdsa-sha2-nistp256, ecdsa-sha2-nistp256-cert-v01@openssh.com, ecdsa-sha2-nistp384, ecdsa-sha2-nistp384-cert-v01@openssh.com, ecdsa-sha2-nistp521, ecdsa-sha2-nistp521-cert-v01@openssh.com, rsa-sha2-256, rsa-sha2-512, ssh-dss, ssh-dss-cert-v01@openssh.com, ssh-ed25519, ssh-ed25519-cert-v01@openssh.com, ssh-rsa, ssh-rsa-cert-v01@openssh.com Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Key Exchange Algorithms Allowed | A comma-separated list of Key Exchange Algorithms allowed for SFTP connections. Leave unset to allow all. Available options are: curve25519-sha256, curve25519-sha256@libssh.org, diffie-hellman-group-exchange-sha1, diffie-hellman-group-exchange-sha256, diffie-hellman-group1-sha1, diffie-hellman-group14-sha1, diffie-hellman-group14-sha256, diffie-hellman-group14-sha256@ssh.com, diffie-hellman-group15-sha256, diffie-hellman-group15-sha256@ssh.com, diffie-hellman-group15-sha384@ssh.com, diffie-hellman-group15-sha512, diffie-hellman-group16-sha256, diffie-hellman-group16-sha384@ssh.com, diffie-hellman-group16-sha512, diffie-hellman-group16-sha512@ssh.com, diffie-hellman-group17-sha512, diffie-hellman-group18-sha512, diffie-hellman-group18-sha512@ssh.com, ecdh-sha2-nistp256, ecdh-sha2-nistp384, ecdh-sha2-nistp521, ext-info-c Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Message Authentication Codes Allowed | A comma-separated list of Message Authentication Codes allowed for SFTP connections. Leave unset to allow all. Available options are: hmac-md5, hmac-md5-96, hmac-md5-96-etm@openssh.com, hmac-md5-etm@openssh.com, hmac-ripemd160, hmac-ripemd160-96, hmac-ripemd160-etm@openssh.com, hmac-ripemd160@openssh.com, hmac-sha1, hmac-sha1-96, hmac-sha1-96@openssh.com, hmac-sha1-etm@openssh.com, hmac-sha2-256, hmac-sha2-256-etm@openssh.com, hmac-sha2-512, hmac-sha2-512-etm@openssh.com Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
Взаимосвязи
- success: все полученные файлы Flow направляются на этап успеха