Совсем недавно на хабре уже появилась рекламная статья о борьбе с DDoS атаками на уровне приложения. У меня был аналогичный опыт поиска оптимального алгоритма противодействия нападениям, может кому пригодится — когда человек в первый раз сталкивается в DDoS-ом его сайта, это вызывает шок, поэтому полезно заранее знать, что всё не так уж страшно.Читать полностью »
Рубрика «highload» - 8
Защита от легкого DDoS’a
2018-05-02 в 5:49, admin, рубрики: cms, ddos, ddos-атака, ddos-защита, highload, javascript, performance, php, высокая производительность, информационная безопасность, Разработка веб-сайтовЗащита от DDoS атаки на уровне веб-приложений
2018-04-27 в 4:13, admin, рубрики: cleantalk, cms, ddos, ddos-атака, ddos-защита, highload, javascript, performance, php, Блог компании CleanTalk Anti-Spam, высокая производительность, информационная безопасность, Разработка веб-сайтовКак известно DDoS атаки на сайт бывают разной интенсивности, имеет значение количество хостов участвующих в атаке, количество сетевых пакетов и объем передаваемых данных. В самых тяжелых случаях отбить атаку возможно только применяя специализированное оборудование и сервисы.
Если же объем атаки меньше пропускной способности сетевого оборудования и вычислительных мощностей сервера (пула серверов) обслуживающих сайт, то можно попробовать “заглушить” атаку не прибегая к сторонним сервисам, а именно включить программный фильтр трафика поступающего на сайт. Этот фильтр будет отсеивать трафик ботов участвующих в атаке, при этом пропуская легитимный трафик “живых” посетителей сайта.
Щи, или Распознавание 330 млн лиц на скорости 400 фото – сек
2018-03-06 в 21:09, admin, рубрики: big data, cnn, data mining, face detection, face recognition, highload, Блог компании Одноклассники, машинное обучение, обработка изображенийРаспознаванием лиц в 2018 году никого не удивишь – каждый студент, может, даже школьник, его делал. Но всё становится немного сложнее, когда у вас не датасет на 1 млн пользователей, а:
- 330 миллионов пользовательских аккаунтов;
- ежедневно заливается 20 млн пользовательских фотографий;
- максимальное время на обработку одного фото не должно превышать 0.2 сек;
- ограниченные объемы оборудования для решения задачи.
В этой статье мы поделимся опытом разработки и запуска системы распознавания лиц на пользовательских фотографиях в социальной сети Одноклассники и расскажем про все ”от А до Я”:
- математический аппарат;
- техническую реализацию;
- результаты запуска;
- и акцию StarFace, которую мы использовали для PR-а нашего решения.
Как прочитать большой файл средствами PHP (не грохнув при этом сервак)
2017-12-18 в 20:14, admin, рубрики: highload, memory management, php, высокая производительность, оптимизация, Серверная оптимизация, файлыПеревод статьи Christopher Pitt.
PHP разработчикам не так уж часто приходится следить за расходом памяти в своих приложениях. Сам движок PHP неплохо подчищает мусор за нами, да и модель веб-сервера с контекстом исполнения, "умирающим" после выполнения каждого запроса, позволяет даже самому плохому коду не создавать больших долгих проблем.
Однако, в некоторых ситуациях, мы можем столкнуться с проблемами нехватки оперативной памяти — например, пытаясь запустить композер на маленьком VPS, или при открытии большого файла на сервере не богатом ресурсами.
Последняя проблема и будет рассмотрена в этом уроке.
Список полезных идей для высоконагруженных сервисов
2017-12-07 в 12:53, admin, рубрики: highload, mysql, высокая производительность, никто не читает теги, разработка, Разработка веб-сайтов
В этой статье я решил собрать сборную солянку из советов о том, как разрабатывать высоконагруженные сервисы, полученных практическим путем. Для каждого совета я постараюсь приводить небольшое обоснование, без подробностей (иначе статья бы получилась бы сравнима по размеру с войной и миром). Поскольку обоснований я буду приводить не очень много, не стоит воспринимать эту статью, как догму — в каждом конкретном случае приведенные здесь советы могут быть вредны. Всегда думайте своей головой перед тем, как что-то делать.
1. Думайте своей головой и проверяйте факты
Это самое важное. Для вас не должно существовать безусловных авторитетов. Если кто-либо говорит полную чушь, или говорит что-то, что противоречит вашей практике — не прислушивайтесь к таким советам, и не важно, насколько этот человек известный и уважаемый. Если вы разрабатываете большую систему, и она не будет работать хорошо, то спрашивать будут с вас и в данном случае «мы следовали лучшим мировым практикам» оправданием не является. Умение применять нужные технологии в нужном месте и делает вас ценным специалистом, а не слепое следование чьим-то советам — для этого как раз квалификации не требуется.
Читать полностью »
10 очевидных шагов для подготовки инфраструктуры интернет-магазина к Чёрной пятнице
2017-11-23 в 8:30, admin, рубрики: ecommerce, highload, Блог компании Флант, высокая производительность, интернет-магазины, Серверное администрирование, системное администрирование, черная пятница
Несмотря на то, что мы предпочитаем писать про микросервисы, Kubernetes и прочее из области cloud native, нам хорошо известен и другой мир — гораздо более реальный, если посмотреть «в массе», например, на интернет-магазины (даже весьма успешные). В нём нет автоматического provisioning и масштабирования, сложной балансировки нагрузки и прочих красивых технических решений. Зато есть «Чёрная пятница», которая уже завтра, а значит — времени на подготовку практически не осталось. Конечно, наш рецепт №1 по качественной подготовке к ней (а заодно и получению целого букета дополнительных плюсов) — миграция на микросервисную архитектуру и Kubernetes, но предположим, что по какой-то причине этот вариант не подходит (до завтра его всё равно не реализовать).
Эта статья — список более-менее быстрых действий для оптимизации типовой инфраструктуры интернет-магазина (рассматриваются примеры с nginx, Apache, PHP, MySQL) с целью её подготовки к высоким нагрузкам. Они могут быть весьма очевидны для опытных системных администраторов, однако наверняка окажутся полезными для тех, кто глубоко ещё не погружался в эти вопросы, а их актуальность стремительно нарастает. Итак, попробуем выжать максимум из того, что есть в инфраструктуре, или хотя бы взять на заметку те основные вопросы, которыми стоит озаботиться перед следующими всплесками нагрузки.Читать полностью »
Virtuozzo Storage: Реальный опыт эксплуатации, советы по оптимизации и решению проблем
2017-11-07 в 5:13, admin, рубрики: cluster, high availability, highload, linux, openvz, virtualization, virtuozzo, virtuozzo storage, высокая производительность, Настройка Linux, Серверное администрирование, системное администрирование
Данная статья посвящена реальному опыту эксплуатации кластеров на базе Virtuozzo Storage.
За год активного внедрения и использования платформы на серверах нашего хостинга, а также при создании кластеров для наших клиентов, у нас собралось достаточно много советов, замечаний и рекомендаций. Если вы задумались о внедрении этой платформы, вы сможете учесть наш опыт при проектировании своего кластера.
Читать полностью »
Avito на Highload++ 2017
2017-11-03 в 12:52, admin, рубрики: highload, highload ++ 2017, Администрирование баз данных, Блог компании Avito, высокая производительность, конференции, Разработка веб-сайтовHighload++ близко. В этот (одиннадцатый!) раз в Сколково соберутся 2700 разработчиков высоконагруженных систем для того, чтобы обменяться опытом построения и развития архитектуры крупных проектов, о базах данных, системах хранения, системном администрировании, нагрузочном тестировании, эксплуатации крупных проектов и других направлениях, связанных с высоконагруженными системами. Мы традиционно принимаем активное участие в Highload++ и сегодня расскажем, что приготовили для её участников в этот раз.
Обзор конференции Highload fwdays’17
2017-11-01 в 8:36, admin, рубрики: elasticsearch, Facebook, highload, highload fwdays'17, machine learning, Блог компании DataArt, высокая производительность, высоконагруженные проекты, конференции, конференция, машинное обучение
14 октября в Киеве прошла конференция Highload fwdays, посвященная высоконагруженным проектам, работе с базами данных и архитектурой, в частности, микросервисами, машинному обучению и Big Data. DataArt был спонсором конференции. А наши коллеги Игорь Мастерной (лидер Java-сообщества DataArt Киев) и Анна Колот (.NET, SharePoint Developer) рассказали о докладах, на которых они побывали.
Детально с программой конференции можете ознакомиться тут.
Начнем обзор с доклада Дмитрия Охонько из Facebook про Log Device. “Yet another log storage”, — подумаете вы. Вы бы были правы, но этот Log Storage на общем фоне выделяется своими создателями. Заявленная пропускная способность у Facebook — 1TB/s. И узнать, как они справляются с обработкой такого объема данных, было интересно.Читать полностью »
Обзор конференции UFADEVCONF 2017
2017-10-20 в 6:00, admin, рубрики: devops, highload, php7, postgresql, RabbitMQ, redis, Администрирование баз данных, Блог компании Southbridge, конференция, Серверное администрирование, системное администрирование, уфаPostgreSQL для хипстеров, бэкенд "Модульбанка" и другое.
14 октября в солнечном городе Уфа прошла конференция UFADEVCONF.
Это первое мероприятие в Уфе такого масштаба, его организовало уфимское сообщество разработчиков Ufacoder и компания «Открытый регион». Секции докладов — Backend, Frontend, Mobile, Common.
Предлагаем обзор конференции и самых интересных докладов секции Backend.