Рубрика «memcached»
Как масштабироваться с 1 до 100 000 пользователей
2020-02-07 в 12:44, admin, рубрики: Amazon RDS, CDN, Digital Ocean Managed Database, Elasticache, google cloud, heroku, memcached, Memorystore, miran, Miran.ru, mysql, paas, postgresql, read replicas, redis, балансировщик нагрузки, Блог компании Дата-центр «Миран», вертикальное масштабирование, горизонтальное масштабирование, масштабирование, облачные сервисы, партиционирование, Разработка веб-сайтов, реплики чтения, Серверное администрирование, СУБД, хостинг, шардированиеЧерез такое прошли многие стартапы: каждый день регистрируются толпы новых пользователей, а команда разработчиков изо всех сил пытается поддержать работу сервиса.
Это приятная проблема, но в Сети мало чёткой информации, как аккуратно масштабировать веб-приложение с нуля до сотен тысяч пользователей. Обычно встречаются или пожарные решения, или устранение узких мест (а часто и то, и другое). Поэтому люди используют довольно шаблонные приёмы по масштабированию своего любительского проекта в нечто действительно серьёзное.
Попытаемся отфильтровать информацию и записать основную формулу. Мы собираемся пошагово масштабировать наш новый сайт для обмена фотографиями Graminsta с 1 до 100 000 пользователей.
Запишем, какие конкретные действия необходимо сделать при увеличении аудитории до 10, 100, 1000, 10 000 и 100 000 человек.
Читать полностью »
Используем mcrouter для горизонтального масштабирования memcached
2019-06-26 в 8:25, admin, рубрики: mcrouter, memcached, php, Блог компании Флант, Серверное администрирование, системное администрирование, хранение данных
Разработка высоконагруженных проектов на любом языке требует особого подхода и применения специальных инструментов, но когда речь заходит о приложениях на PHP, ситуация может обостриться настолько, что приходится разрабатывать, к примеру, собственный сервер приложений. В данной заметке речь пойдет про знакомую всем боль с распределенным хранением сессий и кэшировании данных в memcached и о том, как мы решали эти проблемы в одном «подопечном» проекте.Читать полностью »
Четыре факта о memcached-амплификации
2018-03-29 в 8:02, admin, рубрики: 11211, ddos, memcached, Qrator Labs, амплификация, Блог компании Qrator Labs, информационная безопасность, протоколы, Сетевые технологии
Это перевод оригинальной публикации Артема ximaera Гавриченкова «Undestanding the facts of memcached amplification attacks», опубликованной в блоге APNIC (Азиатско-Тихоокеанский сетевой информационный центр).
Неделя с 25 февраля по 3 марта была высокоинтенсивной с точки зрения memcached-амплифицированных DDoS-атак во всех уголках мира, то есть в интернете.
Тем не менее, давайте еще раз повторим все то, что мы знаем об амплифицированных атаках, в качестве фактов.
Факт номер один: Амплификаторы были, есть и будут есть
NTP (Network Time Protocol) был первым протоколом, злонамеренно использованным в качестве амплификатора (усилителя) DDoS-атак еще в 2013 году. Тысячи и сотни тысяч NTP-серверов к тому моменту были развернуты по всей сети, так что использование данного вектора амплификации было вполне выгодно злоумышленникам. И NTP давал такую возможность, что вылилось в волну амплифицированных NTP DDoS-атак. В начале 2014 года на какое-то время NTP в качестве главного амплификатора стал даже популярнее протокола DNS (Domain Name System).
Читать полностью »
Давайте поговорим о Plesk с расширением Docker
2017-11-20 в 3:00, admin, рубрики: devops, docker, Gogs, mariadb, memcached, mssql, mysql, nextcloud, Plesk, postgresql, Блог компании Plesk, виртуализация, системное администрирование
Недавно вышла статья Iron_Butterfly, где в числе прочего рассказывается, каким образом возможно запустить мощнейший поисковый движок ElasticSearch внутри Docker-контейнера. Я хочу продолжить этот вектор и рассказать, какие еще задачи возможно решить с помощью Docker-контейнеров используя для этого Plesk и расширение Docker.
Краткий план
В статье мы рассмотрим, как можно решить с помощью нашего Docker extension задачи, которые тяжело решить в Plesk без Docker-контейнеров (или даже невозможно). Данный список задач сформирован на основе популярных вопросов наших пользователей; в качестве пользователей мы рассмотрим владельцев хостинга, разработчиков web-приложений, администраторов WordPress.
Задачи:
— Одновременное использование различных версий баз данных;
— Разворачивание Memcached для WordPress;
— Использование собственного облачного Nextcloud хранилища;
— Запуск собственного приложения на Go. Запуск собственного git-репозитория;
— Тестирование новых версий Plesk не мешая работать боевому серверу.
Хочу уточнить, что все примеры в статье выполнены с использованием бесплатной версии расширения Docker (платная версия позволяет управлять сервисом Docker на удаленных серверах).
Читать полностью »
Что нам стоит CDN построить
2017-05-20 в 0:32, admin, рубрики: CDN, Lua, memcached, nginx, OpenResty, высокая производительность, Клиентская оптимизация, Разработка веб-сайтов, статические ресурсы
Медленные сайты раздражают пользователей. Когда основной контент — фоточки, а сайт тормозит — это раздражает вдвойне. И как бы мы ни оптимизировали свой сервис, всегда остаётся такой фактор, как качество связи между пользователем и нашим ЦОДом. В решении этой проблемы нам помогает CDN.
Мы — это компания «Колёса Крыша Маркет», разработчик самых крупных и посещаемых сайтов частных объявлений в Казахстане и фотографии из объявлений — критически важная часть нашего бизнеса.Читать полностью »
Переезд XenForo форума на современную платформу
2017-04-17 в 10:51, admin, рубрики: memcached, nginx, Plesk, xenforo, Блог компании Plesk, хостинг
Зачем это было нужно
Площадка для сообщества нашего продукта давно работает на базе форумного движка XenForo. До недавнего времени, форум работал VPS на базе CentOS 6.8 с вендорским Apache 2.2.15, MySQL 5.1 и PHP 5.6.
В связи с приближающимся релизом XenForo 2.0, у которого повышенные требования к компонентам, и общим желанием ускорить работу форума на современной компонентной базе, было принято решение о переезде на VPS с nginx, последней версией PHP и базой данных, работающей на Percona Server 5.7.
Приведенная ниже инструкция не претендует на идеальное решение с идеальной конфигурацией и может рассматриваться как общий план использования XenForo на nginx хостинге. Инструкция в первую очередь предназначена для тех администраторов XenForo, которые не слишком сильны в тонкостях администрирования Linux и хотели бы иметь какую-то общую базовую инструкцию.
Читать полностью »
Архитектура растущего проекта на примере ВКонтакте
2017-02-25 в 15:11, admin, рубрики: memcached, mysql, nginx, php, Анализ и проектирование систем, Вконтакте, высокая производительность, высокие нагрузки
Алексей Акулович объясняет жизненный путь высоконагруженного проекта на PHP. Это — расшифровка Highload ++ 2016.
Меня зовут Лёша, я пишу на PHP.
К счастью, доклад не об этом. Доклад будет про ретроспективу развития сети — того, как проект развивался. Какие решения капитанские или весьма специфические для нашей нагрузки мы применяли, что можно использовать в других проектах, которые испытывают нагрузки.
Начнём.
Читать полностью »
Кэширование данных в web приложениях. Использование memcached
2017-01-20 в 14:29, admin, рубрики: highload junior, memcached, Анализ и проектирование систем, Блог компании Конференции Олега Бунина (Онтико), высокая производительность, кеширование, кэширование, Проектирование и рефакторинг, Разработка веб-сайтов, юрий краснощек, метки: юрий краснощек
Юрий Краснощек (Delphi LLC, Dell)
Я немного расскажу вам про кэширование. Кэширование, в общем-то, не сильно интересно, берешь и кэшируешь, поэтому я еще расскажу про memcached, довольно интимные подробности.
Про кэширование начнем с того, что просят вас разработать фабрику по производству омнониевых торсиометров. Это стандартная задача, главное делать скучное лицо и говорить: «Ну, мы применим типовую схему для разработки фабрики».
Читать полностью »
MemC3 — компактный Memcache с повышенной параллельностью — за счет более тупого кэширования и более умного хэширования
2016-12-14 в 17:49, admin, рубрики: memcache, memcached, Алгоритмы, Анализ и проектирование систем, Блог компании okmeter.io, высокая производительность, кеширование, оптимизация кода, параллельное программированиеЭто перевод обзора статьи «MemC3: Compact and Concurrent MemCache with Dumber Caching and Smarter Hashing» Fan et al. в Proceedings of the 10th USENIX Symposium on Networked Systems Design and Implementation (NSDI’13), pdf тут
Чуваки (бывший гугловец, чувак из университета Карнеги Меллон и еще один из Интел лабс) сделали улучшенный Memcached-совместимый кеш (по факту просто допилили мемкеш), и у них классные результаты производительности. Мне очень понравился обзор этой статьи в блоге "The morning paper" — описание алгоритмов и прочее.