Недавно мы писали о том, как перед нами впервые встала задача крупномасштабной миграции данных пользователей между дата-центрами и о том как мы ее решили.
В этот раз мы подробнее остановимся на том, каким образом осуществлялась миграция фотографий пользователей и какие структуры данных использовались для ограничения создаваемой нагрузки на сервера с фотографиями.
Ежедневно пользователи Badoo загружают примерно 3 миллиона фотографий. Для их хранения мы выделили специальный кластер серверов, занимающихся также изменением размеров, наложением «водяных знаков», импортом фотографий из других социальных сетей и прочими манипуляциями с файлами.
Все машины этого кластера можно условно разделить на три группы. Первая ― это серверы, отвечающие за быструю отдачу фотографий пользователям (можно сказать, собственная реализация CDN). В контексте миграции эти серверы нам не будут интересны. Вторая группа ― это хранилища с дисками, на которых, собственно, и находятся все фотографии. И третья группа ― это серверы, предоставляющие интерфейс ко второй группе, условно назовём их фотосерверами. На них по оптоволокну смонтированы дисковые массивы хранилищ, на эти же машины происходит загрузка фотографий и здесь же работают все скрипты, выполняющие какие-либо операции с файлами.
Таким образом, для PHP-кода совершенно неважно, на каком именно диске какого хранилища находится фотография. Все, что нужно сделать, это перенести фотографии пользователя с одного фотосервера на другой и обновить эту информацию в базе данных и некоторых демонах. Здесь важно отметить, что все фотографии пользователя всегда находятся на одном фотосервере.
Читать полностью »
Рубрика «миграция» - 8
Миграция фотографий или ещё одна очередь на MySQL
2013-11-28 в 12:53, admin, рубрики: badoo, mysql, баду, Блог компании Badoo, Веб-разработка, высокая производительность, миграция, метки: badoo, mysql, баду, миграцияМиграция приложения с Windows 8 на Windows 8.1
2013-11-19 в 8:28, admin, рубрики: apps, Migration, windows, Windows 8, Windows 8.1, windows store, Блог компании Microsoft, миграция, приложения, разработка, метки: apps, Migration, Windows 8, Windows 8.1, windows store, миграция, приложенияМиграция приложений на новую версию операционной системы – это всегда непростой вопрос. Ключевое значение имеет нахождение правильного баланса между внедрением новой функциональности, поддержкой кода и наличием целевой аудитории.
Все эти параметры индивидуальны для каждого проекта, и в определенном смысле зависят друг от друга.
Читать полностью »
Миграция с mysql на postgresql
2013-10-21 в 8:25, admin, рубрики: django, mysql, postgresql, python, миграция, метки: Django, mysql, postgresql, миграцияПривет уважаемому сообществу!
В какой-то момент времени встала потребность перенести базу приложения на django с mysql на postgresql. Первые два захода на эту проблему были неудачными, но позволили разобраться с целостностью данных, искоренить проблемы для manage.py syncdb и manage.py migrate.
Читать полностью »
Как мы мигрировали миллионные страны за рабочий день
2013-10-14 в 10:45, admin, рубрики: badoo, highload, баду, Блог компании Badoo, Веб-разработка, высокая производительность, миграция, метки: badoo, highload, баду, миграция 
Badoo — крупнейшая в мире социальная сеть для знакомств с новыми людьми, насчитывающая 190 миллионов пользователей.
Все данные хранятся в двух дата-центрах — европейском и американском. Некоторое время назад мы исследовали качество интернет-соединения у наших пользователей из Азии и обнаружили, что для 7 миллионов пользователей наш сайт будет загружаться в 2 раза быстрее, если мы переместим их из европейского дата-центра в американский. Перед нами впервые встала задача крупномасштабной миграции данных пользователей между дата-центрами, с которой мы успешно справились: мы научились перемещать 1,5 миллиона пользователей за один рабочий день! Мы смогли перемещать целые страны! В первой части мы подробно расскажем о поставленной перед нами задаче и о том, какого результата мы достигли.
Читать полностью »
Миграция контроллеров домена
2013-03-15 в 13:54, admin, рубрики: active directory, powershell, миграция, системное администрирование, метки: active directory, powershell, миграция, системное администрирование В связи со сменой сервис провайдера и переездом из одного датацентра в другой возникла необходимость миграции контроллеров домена леса и трех его доменов. Решено было поднять свежие машины в новом датацентре, мигрировать на них текщие AD DS роли, после чего утилизировать старые серверы домена.
Наш лес состоит из трех доменов: одного корневого (в котором ничего нет, кроме домен котроллеров) и двух дочерних доменов (там находится весь функционал). Основой разделения доменов служило разделение обязанностей между ИТ командой компании и ИТ специалистами сервис провайдера. В каждом домене существует по два домен контроллера: первый на реальном железе, второй в виде виртуальной машины. Функциональный уровень леса – Windows 2008 R2. Операционная система установлена на всех серверах та же. На каждом сервере имеется DNS сервер с интегрированными в AD зонами.
Ниже я в общих чертах опишу весь процесс.
Читать полностью »
Массовая миграция клиентов между хостинг-провайдерами: боремся с энтропией в промышленных масштабах
2013-02-28 в 10:10, admin, рубрики: cms, reg.ru, shared hosting, Блог компании REG.RU, миграция, перенос, хостинг, хостинг-провайдер, метки: cms, Joomla, reg.ru, shared hosting, миграция, перенос, хостинг, хостинг-провайдер 
В жизни любого хостинг-провайдера перенос клиентов между собственными серверами – задача достаточно обыденная. Для подобного переноса может быть множество причин: начиная с планового апгрейда оборудования или софта и планового «перераспределения» клиентов в связи с неравномерной загрузкой серверов, заканчивая срочным перемещением пользователей в случае аварий.
Реже в жизни провайдеров возникают задачи по переносу клиентов от другого провайдера shared-хостинга.
Причиной такого переноса может быть как «усталость» хостера-«донора» от подобного высокотехнологичного бизнеса, так и вынос услуг хостинга на аутсорсинг в более крупную хостинг-компанию в случае, если оказание этих услуг не является для решившейся на перемены организации профильным бизнесом (например, если речь идет о веб-студии, интернет-провайдере, провайдере сервис-услуг и т.д.).
Количество потенциальных проблем при переносе клиентов между разными провайдерами намного больше, нежели при переносе внутри одного хостинг-провайдера. Это связано с тем, что инфраструктура «старого» и «нового» провайдера может значительно отличаться:
Читать полностью »
Системы хранения данных: как медленно, но верно они отвязываются от железа
2013-02-14 в 7:13, admin, рубрики: disaster recovery, EMC, авария, Блог компании КРОК, виртуализация, ит-инфраструктура, миграция, переезд, репликация, синхронизация, СХД, хранение данных, цод, метки: disaster recovery, EMC, авария, виртуализация, миграция, переезд, репликация, синхронизация, СХД, хранение данных, цод 
Авария в первом дата-центре и автоматический перезапуск сервисов в другом
Виртуализация — одна из моих любимых тем. Дело в том, что сейчас можно практически полностью забыть про используемое железо и организовать, например, систему хранения данных в виде «логического» юнита, который умеет взаимодействовать с информацией по простым правилам. При этом все процессы между виртуальным юнитом и реальным железом в разных ЦОДах лежат на системе виртуализации и не видны приложениям.
Это даёт кучу преимуществ, но и ставит ряд новых проблем: например, есть вопрос обеспечения консистентности данных при синхронной репликации, которая накладывает ограничения на расстояния между узлами.
К примеру — скорость света становится реальным физическим барьером, который не даёт заказчику поставить второй ЦОД дальше 40-50, а то и меньше, километров от первого.
Но давайте начнём с самого начала — как работает виртуализация систем хранения, зачем оно всё надо, и какие задачи решаются. И главное — где конкретно вы сможете выиграть и как.Читать полностью »
Великий исход IT & Media-народа в Чианг Май
2012-10-23 в 12:27, admin, рубрики: дауншифтинг, заграница, коворкинг, миграция, переезд, стартапы, Таиланд, я пиарюсь, метки: дауншифтинг, заграница, коворкинг, миграция, переезд, стартапы, Таиланд 
Некоторые старички Хабра до сих пор помнят мой пост «Хотите ли вы коворкинг в Тайланде?». За 3 года в Чиангмае произошли большие и интересные перемены: здесь появилась критическая масса инициативных русских ИТ-специалистов, которые жаждут перемен.
Недавно в Чиангмае русскими был организован CNX Business Club — общественная организация, бескорыстно помогающая специалистам в области IT & Media обосноваться в городе, претендующем на звание одного из IT-центров Юго-Восточной Азии. Расскажу поподробнее, чем привлекателен город.Читать полностью »
Вариант миграции FreeBSD с физического сервера в виртуальную среду VMware ESXi с помощью NFS
2012-08-23 в 12:26, admin, рубрики: dump, ESXi, freebsd, restore, ufs, VMware, xen, xenserver, виртуализация, миграция, перенос, Песочница, системное администрирование, метки: dump, ESXi, freebsd, restore, ufs, vmware, xen, xenserver, миграция, перенос Задача.
Перенести существующий аппаратный сервер с FreeBSD 8.2 архитектура i386 и файловая система ufs в виртуальную среду VMware ESXEi 5.0.0
Легкий способ бросить microsoft, мысли в слух
2012-07-26 в 15:43, admin, рубрики: linux, microsoft, миграция, операционные системы, переход, системное администрирование, холивар, метки: linux, microsoft, миграция, переход, холивар 
Если Вы апологет или евангелист этого производителя, пожалуйста не читайте дальше, на хабре есть множество других интересных статей.
Читать полностью »