ConsumeTwitter
Описание
Потоково передает твиты из потокового API Twitter v2. Поток предоставляет выборку потока или поиск на основе ранее загруженных правил. Этот процессор также позволяет передавать определенные поля твита в ответе. Подробнее о модели объекта Tweet см. на странице https://developer.twitter.com/en/docs/twitter-api/data-dictionary/introduction.
Теги
twitter, tweets, social media, status, json
Свойства
| Название | Описание |
|---|---|
| Stream Endpoint | Источник, из которого процессор будет получать твиты. |
| Base Path | Базовый путь, который процессор будет использовать для отправки HTTP-запросов. Значение по умолчанию должно быть достаточным для большинства случаев использования. |
| Bearer Token | Токен Bearer, предоставляемый Twitter. Чувствительный параметр: true |
| Queue Size | Максимальный размер внутренней очереди для потоковых сообщений |
| Batch Size | Максимальный размер количества твитов, которые будут записаны в один файл Flow. Будет записано меньше твитов в зависимости от их количества, доступного в очереди на момент вызова процессора. |
| Backoff Attempts | Количество попыток переподключения, которые процессор предпримет в случае отключения потока по какой-либо причине, прежде чем сгенерирует исключение. Чтобы запустить поток после возникновения этого исключения и восстановления соединения, пожалуйста, остановите и перезапустите процессор. Если значение этого свойства равно 0, то сбой никогда не произойдет, и процессор всегда будет нуждаться в перезапуске в случае сбоя потока. |
| Backoff Time | Время ожидания перед запросом нового потока в случае сбоя текущего потока по какой-либо причине. Будет увеличиваться в 2 раза при каждом сбое перезапуска |
| Maximum Backoff Time | Максимальная продолжительность ожидания перед попыткой подключения к новому потоку.Рекомендуется, чтобы это значение было намного больше, чем значение свойства «Время ожидания». |
| Connect Timeout | Максимальное время, в течение которого клиент должен установить соединение с Twitter API до истечения времени ожидания.Установка значения 0 отключает время ожидания подключения. |
| Read Timeout | Максимальное время бездействия между получением твитов из Twitter через API до истечения времени ожидания. Если установить значение 0, время ожидания чтения будет отключено. |
| Backfill Minutes | Количество минут (до 5 минут) потоковой передачи данных, которые будут запрашиваться после отключения. Доступно только для проектов с академическим исследовательским доступом. См. https://developer.twitter.com/en/docs/twitter-api/tweets/filtered-stream/integrate/recovery-and-redundancy-features |
| Tweet Fields | Список полей твита, разделённых запятыми, которые будут возвращены как часть твита. См. https://developer.twitter.com/en/docs/twitter-api/data-dictionary/object-model/tweet для правильного использования. Возможные значения полей: вложения, идентификатор автора, контекстные аннотации, идентификатор беседы, дата создания, сущности, геоданные, идентификатор, идентификатор пользователя, на который был отправлен ответ, язык, закрытые показатели, обычные показатели, потенциально конфиденциальные показатели, продвигаемые показатели, открытые показатели, ссылки на твиты, настройки ответа, источник, текст, скрытое содержимое |
| User Fields | Список полей пользователя, разделённых запятыми, которые будут возвращены как часть твита. Для правильного использования обратитесь к https://developer.twitter.com/en/docs/twitter-api/data-dictionary/object-model/user. Возможные значения полей: created_at, description, entities, id, location, name, pinned_tweet_id, profile_image_url, protected, public_metrics, url, username, verified, withheld |
| Media Fields | Список полей мультимедиа, разделённых запятыми, которые будут возвращены как часть твита. Для правильного использования обратитесь к https://developer.twitter.com/en/docs/twitter-api/data-dictionary/object-model/media. Возможные значения полей: alt_text, duration_ms, height, media_key, non_public_metrics, organic_metrics, preview_image_url, promoted_metrics, public_metrics, type, url, width |
| Poll Fields | Список полей опроса, разделённых запятыми, которые будут возвращены как часть твита. Для правильного использования обратитесь к https://developer.twitter.com/en/docs/twitter-api/data-dictionary/object-model/poll. Возможные значения полей: duration_minutes, end_datetime, id, options, voting_status |
| Place Fields | Список полей места, разделённых запятыми, которые будут возвращены как часть твита. Для правильного использования обратитесь к https://developer.twitter.com/en/docs/twitter-api/data-dictionary/object-model/place. Возможные значения полей: contained_within, страна, код страны, полное имя, гео, идентификатор, название, тип места |
| Expansions | Список расширений для объектов в возвращаемом твите, разделённый запятыми. См. https://developer.twitter.com/en/docs/twitter-api/expansions для правильного использования. Возможные значения полей: author_id, referenced_tweets.id, referenced_tweets.id.author_id, entities.mentions.username, attachments.poll_ids, attachments.media_keys, in_reply_to_user_id, geo.place_id |
Взаимосвязи
- success: Файлы потока, содержащие массив из одного или нескольких твитов