Рубрика «CDN»

В 2016 году мы рассказывали, как МегаФон.ТВ справился со всеми желающими посмотреть новый сезон «Игры Престолов». На этом развитие сервиса не остановилось, и к середине 2017 года нам пришлось иметь дело с нагрузками в несколько раз больше. В этом посте мы расскажем, как такой бурный рост вдохновил нас кардинально поменять подход к организации CDN и как этот новый подход прошел проверку чемпионатом мира по футболу.

Как мы помогли CDN МегаФон.ТВ не обрушиться на ЧМ-2018 - 1
Читать полностью »

По оценкам подразделения «Anti-Piracy» Group-IB за 9 месяцев 2018 пираты сделали и показали онлайн 280 «экранок», то есть украли почти все кинокартины вышедшие в прокат, что в 8,5 раз больше чем за весь 2016-й. Доходы пиратов зависят от рекламы, у них она не обязана соответствовать законодательству РФ (и не соответствует, как Читать полностью »

Иногда проект живет в недорогом зарубежном датацентре, попадает под ковровые блокировки Роскомнадзора, периодически оказывается под DDoS атаками, но при этом имеет терабайты данных и трафика.

Как с этим жить?

Про дешевые датацентры, РКН и защиту от DDoS - 1

Преамбула

У нас на поддержке есть небольшой фотобанк. Не будем называть имя и страну, только некоторые технические данные:
50 Тб данных для хранения, ежемесячно обновляется порядка 100 Гб, «горячие данные» (к ним идет 95% запросов) — 200 Гб.
Средний трафик — 50 Тб/мес.

Для размещения фотографий несколько лет назад выбрали несколько серверов SX серии от Hetzner с большими дисками (для хранения ПД пришлось придумывать более сложное решение, но об этом в другой раз).

В Southbridge сомневались, что Hetzner подходит для такого проекта, но требуемый уровень доступности и качества связности достигался.

Плюс для такого проекта использование CDN окажется на порядок дороже, чем раздача статики с серверов в недорогом датацентре.

Читать полностью »

Россияне поставили рекорд: 110 пиратских фильмов на человека - 1Антипиратское подразделение Group-IB Anti-Piracy подготовило отчёт с анализом российского рынка пиратского видео. В этой сфере россиянам есть чем гордиться. Судя по всему, в 2018 году будет поставлен новый рекорд по количеству просмотров «пираток». Специалисты подсчитали, что количество запросов в популярных поисковых системах на «просмотр фильмов и сериалов бесплатно» составил почти 10 млрд. Таким образом, исходя из суммарной аудитории рунета ~90 млн человек, на каждого пользователя в среднем приходится порядка 110 просмотров пиратских копий кинокартин.

Подразделение Group-IB, что по итогам прошлого года пиратский рынок вырос на 21% до $85 млн. Столько зарабатывают преступники, которые выкладывают фильмы для бесплатного просмотра в интернете.
Читать полностью »

Сегодня речь пойдет об одном из вариантов облачного хранилища, по сути, представляющем собой виртуальный сервер VDS/VPS с дополнительным диском большой емкости для хранения данных – до 18 Тбайт без учета издержек на организацию RAID в массиве из 24 дисков. При этом с таким виртуальным сервером можно работать как с обычным удаленным ПК, а не только как с облачным диском. Так что же выбрать – VPS или облачное хранилище «в чистом виде»?

Виртуальный сервер – для хранения данных - 1

Читать полностью »

Наши клиенты в Fastly любят манипулировать заголовками HTTP. Подбор правильной комбинации заголовков — одна из лучших вещей, какую вы можете сделать для безопасности своего сайта и значительного вклада в его производительность.

Большинство разработчиков знают о важных и нужных HTTP-заголовках. Самые известные — Content-Type и Content-Length, это почти универсальные хедеры. Но в последнее время для повышения безопасности начали использоваться заголовки вроде Content-Security-Policy и Strict-Transport-Security, а для повышения производительности — Link rel=preload. Несмотря на широкую поддержку в браузерах, лишь немногие их используют.

В предыдущей статье мы рассмотрели ненужные заголовки. Сейчас разберёмся, какие заголовки действительно следует настроить для своего сайта.
Читать полностью »

Заголовки HTTP важны для контроля, как кэш и браузеры обрабатывают ваш контент. Но многие из них используются неправильно или бессмысленно, затрачивая лишние ресурсы в критический момент загрузки страницы, и они могут работать не так, как вы думаете. В серии статей о лучших практиках сначала рассмотрим ненужные заголовки.

Большинство разработчиков знают о важных и нужных HTTP-заголовках. Самые известные — Content-Type и Content-Length, это почти универсальные хедеры. Но в последнее время для повышения безопасности начали использоваться заголовки вроде Content-Security-Policy и Strict-Transport-Security, а для повышения производительности — Link rel=preload. Несмотря на широкую поддержку в браузерах, лишь немногие их используют.

В то же время есть много чрезвычайно популярных заголовков, которые вообще не новые и не очень полезные. Мы можем это доказать с помощью HTTP Archive, проекта под управлением Google и спонсируемого Fastly, который каждый месяц при помощи WebPageTest скачивает 500 000 сайтов и выкладывает результаты в BigQuery.
Читать полностью »

Филипп Кулин, отслеживающий свежие распоряжения Роскомнадзора о блокировке тех или иных сервисов заметил в выгрузке 17 мая блокировку адресов, принадлежащих мессенджеру WhatsApp:

Да. Прилетел новый дамп. Традиционно нас порадовавший. Итак, пользователи WhatsApp встречайте:
329 IP-адресов WhatsApp
Знаете кто такие Akamai? Это крупнейший мировой CDN. Ими Google пользуется:
180 IP-адресов Akamai
Ну и внезапно много российских хостеров:
Читать полностью »

Каждый год Black Friday становится новым вызовом для e-commerce решений. Клиенты получают возможность купить товары по привлекательным ценам, а IT-специалисты получают шквал запросов к серверам, запредельные нагрузки на все ресурсы и недоступность внешних сервисов (таких как платежные системы, ERP и т.д.).

Black Friday 2017 глазами IT и разработчиков. Как мы выдержали черную пятницу при увеличении трафика в 10 раз - 1

Как мы уже писали ранее, мы работаем с большими интернет-магазинами в разных странах поэтому мы часто сталкиваемся с высокими нагрузками. В данной статье мы расскажем, как прошла Black Friday 2017 на одном из клиентских проектов, реализованном на платформе VirtoCommerce и развернутом в Azure Cloud и как мы смогли выдержать при увеличении трафика в 10 раз.
Читать полностью »

Проект Accelerated Mobile Pages (AMP) от Google вызвал определённый переполох по идеологическим причинам, но саму технологию так и не разобрали подробно. Несколько недель назад Ферди Кристант писал про несправедливое преимущество, которое получает контент AMP за счёт предзагрузки. Это заставило меня задуматься: насколько хорошо AMP работает на самом деле? Я видел тесты как у Ферди, когда сравнивались одна или две страницы, но ещё не встречал всесторонних объективных тестов.

Оценить производительность AMP на самом деле не так просто, чем кажется. Нужно рассмотреть по крайней мере четыре контекста:

  1. Насколько хорошо работает AMP в контексте поиска Google?
  2. Насколько хорошо работает библиотека AMP как автономный фреймворк?
  3. Насколько хорошо работает AMP при загрузке из кэша?
  4. Насколько хорошо работает AMP по сравнению с каноническим документом?

Читать полностью »