Twitter заблокировал поисковых пауков (на самом деле нет)

Twitter в robots.txt запретил ^[1] индексировать любой контент любым поисковикам.

User-agent: *
Disallow: /

Впрочем, запрет на индексацию не важен, поскольку для нормальной индексации требуется доступ к firehose (прямому потоку всех твитов, близкому к реальному времени), которые есть ^[2] и у Google, и у «Яндекса».

(Обновлено в 14:40): Такой запрет стоит только по ссылке https://www.twitter.com/robots.txt ^[1]. По адресу без «www» ^[3] все по-прежнему, ничего не изменилось. Похоже, Twitter просто не хочет, чтобы URL с www попадали в поиск — это может ухудшить индексацию. Сам по себе доступ к firehose не отменяет необходимость индексировать сайт .