PutBigQuery
Описание
Записывает содержимое FlowFile в таблицу Google BigQuery. Процессор основан на записях, поэтому схема, которая используется, управляется RecordReader. Атрибуты, которые не соответствуют целевой схеме, пропускаются. Точная семантика доставки достигается за счет смещений потока.
Теги
google, google cloud, bq, bigquery
Свойства
| Название | Описание |
|---|---|
| GCP Credentials Provider Service | Служба контроллера, используемая для получения учётных данных Google Cloud Platform. |
| Project ID | Google Cloud Project ID Поддерживает язык выражений: true (буд ет оцениваться только с использованием переменных среды) |
| BigQuery API Endpoint | Может использоваться для переопределения конечной точки BigQuery по умолчанию. Формат должен быть имя хоста:порт. Поддерживает язык выражений: true (будет оцениваться только с использованием переменных среды) |
| Dataset | BigQuery dataset name (Note - The dataset must exist in GCP) Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды) |
| Table Name | BigQuery table name Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды) |
| Record Reader | Specifies the Controller Service to use for parsing incoming data. |
| Transfer Type | Defines the preferred transfer type streaming or batching |
| Append Record Count | The number of records to be appended to the write stream at once. Applicable for both batch and stream types |
| Number of retries | How many retry attempts should be made before routing to the failure relationship. |
| Skip Invalid Rows | Sets whether to insert all valid rows of a request, even if invalid rows exist. If not set the entire insert request will fail if it contains an invalid row. Поддерживает язык выражений: true (будет оцениваться с использованием атрибутов файла потока и переменных среды) |
| Proxy Configuration Service | Specifies the Proxy Configuration Controller Service to proxy network requests. Supported proxies: HTTP + AuthN |
Взаимосвязи
- failure: Файлы потока направляются в эту связь в случае сбоя операции Google BigQuery.
- success: Файлы потока направляются в эту связь после успешной операции Google BigQuery.