Рубрика «user-agent»

Robots.txt указывает веб-краулерам мира, какие файлы можно или нельзя скачивать с сервера. Он как первый сторож в интернете — не блокирует запросы, а просит не делать их. Интересно, что файлы robots.txt проявляют предположения веб-мастеров, как автоматизированным процессам следует работать с сайтом. Хотя бот легко может их игнорировать, но они указывают идеализированное поведение, как следует действовать краулеру.

По существу, это довольно важные файлы. Так что я решил скачать файл robots.txt с каждого из 1 миллиона самых посещаемых сайтов на планете и посмотреть, какие шаблоны удастся обнаружить.

Я взял список 1 млн крупнейших сайтов от Alexa и написал маленькую программу для скачивания файла robots.txt с каждого домена. После скачивания всех данных я пропустил каждый файл через питоновский пакет urllib.robotparser и начал изучать результаты.

Анализ файлов robots.txt крупнейших сайтов - 1
Найдено в yangteacher.ru/robots.txt
Читать полностью »

Почему OneDrive тормозил под Linux - 1

Несколько месяцев пользователи OneDrive for Business жалуются на странную проблему: веб-приложение очень медленно открывается и неторопливо работает под Linux (Chrome/Firefox). Но скорость работы приложения резко возрастает, если изменить user-agent на Windows.
Читать полностью »

Компания Google оригинально «воспитывает» пользователей, которые не обновляют браузер. С 29 августа им показывают старую версию Google.com и старый интерфейс поиска по картинкам. Даже в строчке с копирайтом указан 2013 год.

Старым браузерам — старая версия Google
Читать полностью »

Опубликованы скриншоты Windows Blue и IE 11

Многие подозревают, что Microsoft собирается перейти в режим частых платных обновлений операционной системы в стиле Apple. Cейчас идёт разработка Windows Blue — следующей версии на основе Windows 8. В принципе, её можно считать первым «сервис-паком» для Windows 8, но вполне вероятно, что это будет платный апдейт.

На днях произошла утечка билда 9364, а на форуме Winforum.eu опубликована масса скриншотов. Обозреватели выделяют изменения в интерфейсе Metro UI и стартового меню, а также новый браузер Internet Explorer 11 с функцией синхронизации табов и режимом совместимости с Gecko.
Читать полностью »

Три дня назад (1 февраля) Roger Wang объявил о выходе новой версии движка node-webkit — созданного в недрах Intel Open Source Technology Center мощного сочетания WebKit и Node.js, позволяющего создавать кросс-платформенные графические приложения методом веборазработки на языках HTML, CSS и JavaScript.

Новая версия имеет номер 0.4.1; на её основе нетрудно составить и запустить, например, вот такое окно:

[скриншот]

Почти семь недель прошло с того дня (18 декабря), когда я обозревал одну из предыдущих версий (0.3.6) этого движка. Вам нетрудно заметить, что за это время успела перемениться не только последняя, но и предпоследняя цифра версии. Сейчас я расскажу, какие изменения, в node-webkit произошедшие, отражает эта перемена.

Читать полностью »

Начиная от версии Firefox 13, в платформенно-зависимой части заголовка «User-Agent» HTTP-запроса есть указание на то, запущен ли Firefox на устройстве размером с телефон или на планшете.

Когда Firefox действует на устройстве с форм-фактором мобильника, там указывается подстрока «Mobile;»; когда Firefox действует на планшетном устройстве, там указывается подстрока «Tablet;».

Вот примеры:

Mozilla/5.0 (Android; Mobile; rv:13.0) Gecko/13.0 Firefox/13.0
Mozilla/5.0 (Android; Tablet; rv:13.0) Gecko/13.0 Firefox/13.0

Для выяснения форм-фактора устройства более удобен механизм CSS Media Queries. Однако же, если вы вместо него используете «обнюхивание» заголовка «User-Agent», то тогда, пожалуйста, ищите «Mobile» для мобильников и «Tablet» для планшетов, не подразумевая никакой взаимосвязи между строкою «Android» и форм-фактором устройства. В этом случае ваш код будет работать даже тогда, когда (если) Firefox будет действовать на других мобильных и (или) планшетных операционных системах или когда Android станет употребляться на ноутбуках, а не только на мобильниках и на планшетах.

Читать полностью »

Многие он-лайн сервисы стремятся обезопасить аккаунты своих пользователей самыми различными способами. Кто-то отслеживает IP-адрес, сбрасывая кукисы при его изменении (так происходит на Секлабе; вКонтакте просто просит подтвердить последние 4 цифры мобильника). У кого-то сессия живёт ограниченное время, заставляя пользователя авторизоваться снова и снова. У этих способов есть свои достоинства и недостатки. Но какой бы из механизмов не использовался, отслеживание User-Agent придаст дополнительную защиту от угона аккаунтов (как дополнительная защита, но ни в коем случае не основная). И очень странно, что я до сих порЧитать полностью »

Уважаемые Хабровчане! Вчерашний вариант статьи я полагал, что находится в черновиках. И посему отобразился недописанным. Предлагаю полную, дописанную версию

Многие он-лайн сервисы стремятся обезопасить аккаунты своих пользователей самыми различными способами. Кто-то отслеживает IP-адрес, сбрасывая кукисы при его изменении (так происходит на Секлабе; вКонтакте просто просит подтвердить последние 4 цифры мобильника). У кого-то сессия живёт ограниченное время, заставляя пользователя авторизоваться снова и снова. У этих способов есть свои достоинства и недостатки. Но какой бы из механизмов неЧитать полностью »

Уважаемые Хабровчане! Вчерашний вариант статьи я полагал, что находится в черновиках. И посему отобразился недописанным. Предлагаю полную, дописанную версию

image

Многие он-лайн сервисы стремятся обезопасить аккаунты своих пользователей самыми различными способами. Кто-то отслеживает IP-адрес, сбрасывая кукисы при его изменении (так происходит на Секлабе; вКонтакте просто просит подтвердить последние 4 цифры мобильника). У кого-то сессия живёт ограниченное время, заставляя пользователя авторизоваться снова и снова. У этих способов есть свои достоинстваЧитать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js