Если вы хотите украсть мои данные, то начните с этой статьи! В ней подробно рассказывается, какие правила файрволла я использую, чтобы упростить вам их обход.
Рубрика «краулеры»
99% трафика моего веб‑сайта составляют боты
2026-08-09 в 7:27, admin, рубрики: CloudFlare, ботнеты, боты, краулеры, скрейпинг
Я поставил сайт-визитку и посчитал посетителей. Живых оказалось 8 %
2026-07-27 в 8:40, admin, рубрики: nginx, боты, вэб-аналитика, краулеры, логи, сканерыДве недели назад я закончил домашний проект — небольшую утилиту под Windows, — и решил, что ей нужна страница в интернете. Взял самый дешёвый VPS, так как много мощностей для моих задач не требуется, поднял nginx, выложил статическую страницу без единого внешнего скрипта. Счётчики вроде популярных метрик ставить не хотел принципиально: утилита не собирает никаких данных о пользователе, и было бы странно начинать “слежку” прямо со страницы о ней. Поэтому аналитику я сделал самую честную из возможных — разбор собственных логов nginx.
Zip-бомбы против агрессивных ИИ-краулеров
2025-10-05 в 18:07, admin, рубрики: anubis, gptbot, hashcash, OpenAI, perplexity ai, SHA-256, zip-бомба, краулеры
Некоторые владельцы сайтов жалуются на большое количество ботов, которые создают нагрузку на серверы, особенно краулеры для LLM (ИИ). По информации аналитического отчёта FastlyЧитать полностью »
Для защиты своего сервера я использую zip-бомбы
2025-04-30 в 6:12, admin, рубрики: zip bomb, zip-бомба, краулеры, скрейпинг, спам-боты, спамеры
Руководство по веб-скрейпингу на Python
2024-02-28 в 13:00, admin, рубрики: beautiful soup, ruvds_переводы, scraping, веб-скрейпинг, краулеры, краулинг, скрейпинг
В этом туториале мы создадим надёжные веб-краулеры с использованием таких библиотек, как BeautifulSoup, изучим техники, позволяющие преодолевать реальные трудности при скрейпинге, а также представим рекомендации по крупномасштабному скрейпингу.
Вы получите навыки для скрейпинга сложных сайтов и решения проблем, которые касаются ограничений частоты запросов, блокировок и генерируемых при помощи JavaScript страниц.Читать полностью »
Анализ файлов robots.txt крупнейших сайтов
2017-11-06 в 18:48, admin, рубрики: data mining, seo, user-agent, Карьера в IT-индустрии, краулеры, поисковая оптимизация, поисковые боты, поисковые технологии, яндексRobots.txt указывает веб-краулерам мира, какие файлы можно или нельзя скачивать с сервера. Он как первый сторож в интернете — не блокирует запросы, а просит не делать их. Интересно, что файлы robots.txt проявляют предположения веб-мастеров, как автоматизированным процессам следует работать с сайтом. Хотя бот легко может их игнорировать, но они указывают идеализированное поведение, как следует действовать краулеру.
По существу, это довольно важные файлы. Так что я решил скачать файл robots.txt с каждого из 1 миллиона самых посещаемых сайтов на планете и посмотреть, какие шаблоны удастся обнаружить.
Я взял список 1 млн крупнейших сайтов от Alexa и написал маленькую программу для скачивания файла robots.txt с каждого домена. После скачивания всех данных я пропустил каждый файл через питоновский пакет urllib.robotparser и начал изучать результаты.
Найдено в yangteacher.ru/robots.txt
Читать полностью »