Twitter заблокировал поисковых пауков (на самом деле нет)

в 8:47, , рубрики: Google, twitter, поиск, Текучка, яндекс, метки: , , , ,

Twitter в robots.txt запретил индексировать любой контент любым поисковикам.

User-agent: *
Disallow: /

Впрочем, запрет на индексацию не важен, поскольку для нормальной индексации требуется доступ к firehose (прямому потоку всех твитов, близкому к реальному времени), которые есть и у Google, и у «Яндекса».

(Обновлено в 14:40): Такой запрет стоит только по ссылке https://www.twitter.com/robots.txt. По адресу без «www» все по-прежнему, ничего не изменилось. Похоже, Twitter просто не хочет, чтобы URL с www попадали в поиск — это может ухудшить индексацию. Сам по себе доступ к firehose не отменяет необходимость индексировать сайт .

Источник


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js