Инструменты CDN: шесть способов остановить накрутку трафика на сайт

Привет! Когда компании используют CDN (Content Delivery Network) ^[1] для ускорения сайтов и приложений, они нередко сталкиваются с резким ростом трафика, который не связан с реальными пользователями. Такая проблема увеличивает загрузку контента и задержку в сети, в худшем случае — приводит к огромному счету за услугу CDN. Для компаний это может стать серьезной финансовой нагрузкой.

Часто причиной увеличения трафика становятся конкуренты, которые используют ботов и скрипты для отправки тысяч запросов на ресурс. В результате вместо стандартного 1 ТБ в месяц клиент может потребить 500 ТБ за три дня, а его чек вырастет в 1 000 раз. В тексте разберем, как определить накрутку трафика и какие меры предпринять для защиты.

Обычно накруткой считают процесс искусственного увеличения посещаемости веб-ресурса. Ниже рассмотрим основные виды атак на CDN.

• Массовые запросы. Боты генерируют тысячи запросов к файлам. Обычно всплески трафика происходят в нехарактерное время для ресурса — например, когда клиенты спят.
• Запросы с подозрительных IP-адресов или географических регионов. Большое количество IP-адресов с неизвестным местоположением затрудняет отслеживание и блокировку.
• Злоупотребление кэшированием. Злоумышленники могут обходить кэш-сервер CDN и увеличивать его нагрузку.
• Аномальные User-Agent или одинаковые заголовки у множества запросов. Фальшивые запросы маскируются под обычных пользователей, чтобы обходить фильтры и системы защиты.

User-Agent — это строка, которую браузер или другое клиентское приложение — например, мобильное, бот или скрипт — отправляет серверу в заголовке HTTP-запроса. Она содержит информацию об устройстве, операционной системе, браузере и его версии. Чтобы выглядеть как обычные пользователи, атакующие хосты используют разные User-Agent. Боты и злоумышленники могут маскироваться под обычные браузеры, чтобы обходить фильтры.

Настройка лимитов и уведомлений

В Selectel мы не отслеживаем клиентский трафик в реальном времени, потому его анализ и контроль находится в зоне ответственности самого клиента. Это связано с тем, что характер трафика может значительно различаться в зависимости от типа ресурса, аудитории и специфики использования CDN.

Однако внезапные скачки потребления трафика могут привести к неожиданным расходам, поэтому у нас предусмотрена настройка уведомлений, которые помогут клиенту своевременно реагировать на изменения нагрузки. Для этого необходимо перейти в панель управления ^[2], нажать на кнопку Помощь → Создать тикет. После — выбрать тему Услуги → CDN и указать в форме, при каком объеме потребленного трафика необходимо отправить уведомление.

Как это работает?

• Вы можете задать пороговое значение трафика — например, 1 ТБ, 10 ТБ и т. д.
• Когда потребление достигнет указанного уровня, система отправит вам уведомление.

Функция позволяет оперативно анализировать ситуацию и при необходимости принимать меры: проверить источник трафика, скорректировать настройки CDN или включить дополнительные механизмы защиты. Таким образом, мы предоставляем инструменты для контроля трафика, но ответственность за мониторинг и реакцию на аномальные изменения остается на стороне клиента.

Блокировка подозрительных IP-адресов и стран

В панели управления есть опция, которая позволяет ограничивать доступ к CDN-контенту по указанному списку IP-адресов. По умолчанию опция выключена, а доступ к контенту ресурса разрешен всем IP. Клиенты могут использовать эту функцию, чтобы повысить безопасность ресурса, снизить вероятность атак и эффективнее контролировать трафик.

Чтобы включить опцию, нужно перейти в раздел CDN-ресурсы → Настройки и выбрать пункт Политика доступа IP-адресов. Настроить можно как разрешающую политику, так и запрещающую — для этого достаточно ввести список IP-адресов.

Атаки на CDN могут исходить из любых стран, но есть регионы, откуда такие угрозы встречаются чаще. Они могут быть связаны с ботнетами, прокси-сетями, VPN, а также деятельностью злоумышленников.

Настройка защиты по токену или заголовкам

В панели управления доступна функция, которая защищает файлы от нежелательных загрузок. Опция позволяет сделать ссылки на контент временными и ограничить доступ по IP. Если мошенник будет использовать истекшую ссылку или запрашивать контент не с доверенного IP, то не сможет ничего загрузить.

Чтобы включить опцию, нужно выбрать пункт Доступ по ключу и сгенерировать ключ. По желанию можно добавить IP-адрес клиента к токену.

Настройка игнорирования параметров

Злоумышленники могут обходить кэш CDN и повышать нагрузку на Origin, добавляя к URL некорректные параметры. Каждый такой запрос CDN воспринимает как уникальный, поэтому отправляет его на Origin. В результате проблема приводит к росту трафика и увеличению расходов. Чтобы этого избежать, рекомендуем включить Игнорирование параметров запросов.

Игнорирование Set-Cookie при кэшировании

Set-Cookie — это HTTP-заголовок, который сервер отправляет в ответе, чтобы установить куки (cookies) в браузере пользователя. Куки — это небольшие фрагменты данных, которые хранятся на стороне клиента и используются для аутентификации, персонализации и хранения настроек.

Set-Cookie — полезный инструмент для аутентификации и персонализации трафика, но при некорректном использовании он может негативно повлиять на кэширование и производительность CDN.

• По умолчанию CDN не кэширует файлы с заголовком Set-Cookie — предполагается, что они персонализированы.
• Если Set-Cookie используют для статических файлов, например image.jpg, то его можно игнорировать в CDN, чтобы кэшировать файлы и снизить нагрузку на Origin.

По умолчанию файлы с HTTP-заголовком Set-Cookie не кэшируются. В результате каждый новый запрос пользователя проксируется на Origin, а не отдается из кэша. Это снижает процент кэшированного трафика и увеличивает нагрузку на источник.

Если Origin-сервер добавляет Set-Cookie к статическим файлам, но сами файлы одинаковы для всех пользователей, опция поможет снизить нагрузку на Origin, уменьшить расход трафика и ускорить раздачу контента. Чтобы ее включить, нужно добавить галочку на пункт Игнорировать Set-Cookie.

Анализ логов CDN и выявление аномалий

Анализ логов — один из самых эффективных способов обнаружения и предотвращения накрутки трафика. Логи ^[3] позволяют увидеть реальные запросы, выявить подозрительную активность и вовремя принять меры, прежде чем накрутка приведет к росту расходов.

У нас в Selectel доступна опция автоматической выгрузки логов CDN-ресурсов в реальном времени. Логи содержат информацию о запросах пользователей, которые поступают на кэшируемые CDN-серверы и серверы предварительного кэширования. Их можно выгружать сразу в объектное хранилище Selectel ^[4] или любое доступное хранилище — например, S3, FTP или SFTP.