TL;DR:
Статья о настройке бекапа линуксовых серверов. В качестве хранилища используется раздел ZFS с включенными дедубликацией и компрессией. Ежедневно делаются снапшоты, которые сохраняются в течение недели (7 штук). Ежемесячные снапшоты хранятся в течение года (еще 12 штук). В качестве транспорта выступает rsync: на сервере он запущен демоном, на клиентах он запускается из crontab.
Читать полностью »
Рубрика «backup» - 9
Организация backup-сервера. Linux, ZFS и rsync
2014-10-07 в 12:25, admin, рубрики: backup, linux, Rsync, zfs, zfsonlinux, системное администрированиеБэкап файлов, базы данных и настроек сервера в Dropbox
2014-09-11 в 10:07, admin, рубрики: backup, DropBox, vps, бэкап, резервное копирование, системное администрирование, хранение данных, метки: backup, DropBox, vps, бэкап
Уже несколько лет как появилась возможность любому смертному желающему арендовать не только shared-хостинг, но и «полноценный» сервер с root-доступом и возможностью настроить его так, как хочется самому. Настроить, например, кроме web-сервера еще и кучу других сервисов.
Так же поступил и я несколько лет назад. Сначала арендовал один сервер, потом другой, и переносил настройки ручками, находя нужные файлы в директории /etc.
За пару лет на моём сервере осело несколько блогов друзей, и даже почтовый сервер, так как давно не хочу, чтобы моя почта была у Google. Насчет сохранности данных задумывался после каждой статьи на Хабре, но всё было как-то не до этого. И, как говорится, админы делятся на три категории: на тех, кто не делает бэкапы, на тех, кто уже делает и на тех, кто даже проверяет восстанавливаемость из бэкапов. Так получилось и со мной, хоть хостер и очень хороший, но произошла у них авария с жесткими дисками. Да такая, что неделю они пытались восстановить диски и предварительные оценки были очень неутешительными. А бэкапов у меня не было. Какое настроение у меня было в те дни можете сами представить.
Но через несколько дней техникам хостера удалось-таки восстановить данные и запустить все виртуальные сервера на той ноде. А я задумался о бэкапах. Думал я так — бэкап должен быть не на том же сервере (естественно!), желательно, чтобы он был у меня на компьютере, но не в одном экземпляре. Я обдумал и установку FTP на домашний компьютер и даже отправку архивов письмами, но все эти варианты меня не устраивали. И я понял, что надо попробовать Dropbox, которым я к тому времени пользовался уже пару лет, а бесплатных гигов у меня было около 18-ти.
Преимущества бэкапа в Dropbox:
- Независимость от домашней инфраструктуры и канала в Интернет
- Множественные копии (сразу на все синхронизируемые ПК)
- Кроме собственного хранения бэкапы хранятся и в облаке
Что делает представленный мной скрипт?
- Инкрементальный бэкап файлов в указанных папках (по первым и пятнадцатым числам идет полный бэкап)
- Бэкап всей базы MySQL
- Бэкап архивируется с помощью 7zip, с указанием пароля (вам же не надо хранить пароли в открытом виде в Dropbox'е?)
Копирование разделов жёсткого диска средствами GNU-Linux: как обойтись загрузочной флешкой там, где раньше нужен был Акронис
2014-08-22 в 6:18, admin, рубрики: backup, image, linux, partitionС тех пор как до меня дошла благая весть о существовании операционной системы под названием GNU/Linux, которую используют все настоящие программисты, я несколько раз пытался заменить ей детище Билла Гейтса и несколько раз потерпел неудачу.
Гуру поблизости отсутствовали, доступ к интернету был жёстко ограничен и потому любая нетривиальная задача становилась в те времена совершенно нерешаемой.
Потом, когда появился безлимитный интернет, вследствие чего с получением софта и знаний стало существенно легче, я настроил себе дуал бут и стал осваивать Убунту.
Основные сложности в процессе переезда создались в первую очередь из за необходимости бросить знакомые практически с самого детства программки, которые попросту отсутствуют в операционной системе для настоящих программистов.
В большинстве случаев это было не фатально. Вместо привычного foobar всегда можно послушать музыку на Rhythmbox. Вместо Microsoft Office есть OpenOffice. Да, его совместимость с продуктом корпорации зла порой оставляет желать лучшего, но им вполне можно пользоваться для решения повседневных задач среднестатистического пользователя. Обо всяких Файрфоксах, Операх и Хромах я вообще молчу.
Но в некоторых случаях приходилось перезагружать компьютер, выбирать в меню загрузчика пункт Microsoft Windows и делать всё по старинке. Такой задачей было например снятие образа логического диска в целях переноса на другой физический носитель, потому как текущий уже изрядно поистрепался.
Читать полностью »
Простой облачный бэкап для разработчиков, и как мы работаем над ним в Yandex Tolstoy Startup Camp
2014-07-31 в 10:59, admin, рубрики: backup, lean startup, SaaS / S+S, service, Блог компании bitCalm, бэкап, бэкап как сервис, резервное копирование, серверСделайте бэкап за 1 минуту — ключевая концепция нашего продукта. С развитием технологий и постоянным появлением новых инструментов разработки, каждый из нас должен все больше времени тратить на поддержание ряда компетенций. Новые технологии фронтэнда и бэкенда, серверная архитектура, сохранность данных. Наш продукт позволяет быстро настроить резервные копии БД, конфигураций и файловой системы сервера. Мы считаем, что для ряда проектов нет нужды в сложных настраиваемых решениях скриптами. В свою очередь, важны простота, скорость настойки, гибкость, цена.
Мы предоставляем решение, которое может быть поднято за одну минуту. Простым вводом одной команды в ssh или предоставления нам логина и пароля от сервера вы получаете слепок вашей файловой системы и баз данных сервера (MySQL, MongoDB, PostgreSQL). Вы отмечаете, что нужно сохранить и с какой периодичностью. Не нужно писать или искать скрипты, покупать сервер или искать хостинг.
Читать полностью »
Резервное копирование для виртуального ЦОДа
2014-07-30 в 7:54, admin, рубрики: backup, Блог компании SAFEDATA, виртуализация, Восстановление данных, дата-центр, резервное копированиеКомпания SAFEDATA предлагает своим заказчикам услугу резервного копирования виртуальных машин, созданных ими в рамках услуги «Виртуальный ЦОД». В качестве инструмента для выполнения резервного копирования применяется программный продукт компании Veeam под названием Backup & Replication Enterprise for Vmware. Высокий уровень партнерских отношения с Veeam подтвержден статусом VEEAM Gold Cloud Provider, которым владеет наша компания.
В рамках услуги резервного копирования заказчику предоставляются средства для осуществления резервного копирования своих виртуальных машин, место для хранения резервных копий, а также возможность восстановления виртуальной машины из резервной копии по запросу заказчика.
Вся система резервного копирования строится на собственном оборудовании SAFEDATA, а архитектура решения построена с дублированием всех узлов ИТ-инфраструктуры и с учетом принципов отказоустойчивости.
Создание резервных копии виртуальных машин производится ежедневно, в ночное время. Глубина хранения каждой резервной копии составляет 14 суток.
Преимущества резервного копирования виртуальных машин от SAFEDATA:
Читать полностью »
NetApp SnapManager for Oracle & SAN сеть
2014-07-22 в 11:18, admin, рубрики: backup, consistency, NetApp, oracle, oracle 10g, oracle 11g, Oracle 12c, oracle database, powershell, SAN, Администрирование баз данных, системное администрированиеSnapManager — это набор утилит компании NetApp позволяющих автоматизировать процессы снятия так называемых Application-Consistent Backup (ACB) и Crash-Consistent Snapshots (CCS) без остановки приложений, средствами СХД NetApp FAS серии, их архивации, резервного копирования, тестирования копий и архивов, клонирования, примапливания склонированных данных к другим хостам, восстановления и др. функциями через GUI интерфейс одним только лишь оператором приложения без привлечения специалистов по серверам, сети и СХД.

SnapManager for Oracle on Windows, Cloning Operation
Зачем вообще бэкапировать данные при помощи снапшотов и тем более средствами СХД? Дело в том, что большинство современных способов бэкапирования информации подразумевают длительность процесса, ресурсоёмкость: нагрузка на хост, загрузка каналов, занимание пространства и как следствие к деградации сервисов. Тоже касается и клонирования больших объемов информации для Dev/Test подразделений, увеличивая «временной разрыв» между актуальными данными и резервируемыми, это повышает вероятность того, что бэкап может оказаться «не восстановим». С применением «аппаратных» снапшотов компании NetApp, не влияющих на производительность и занимающий не положенные 100% резервной копии, а только лишь «разницу» (своего рода инкрементального бэкапа или лучше сказать обратного инкрементального бэкапа, на снятие и сборку которого не нужно тратить время), а также возможность передачи данных для резервирования и архивирования в виде снапшотов, позволяя более элегантно решать современные высокие требования бизнеса для подобных задач, уменьшая время передачи информации и нагрузку на хосты.
Читать полностью »
12 заповедей про бэкап, за которые я чуть не заплатил пальцем
2014-07-17 в 6:01, admin, рубрики: backup, Блог компании КРОК, бэкап, Серверное администрирование, системное администрирование 
В прошлый раз я рассказал вам, не побоюсь этого слова, кровавую историю, как мы срочно спасали сначала инсталляцию, а потом уже и данные. И такие истории лишний раз дают понять важность наличия бэкапа и правильность его настройки. Сегодня я хочу суммировать свои мысли, накопленные за последние 10 лет опыта работы в системном интеграторе.
1. Бэкап должен быть всегда.
Как бы не развивались технологии, старая добрая резервная копия никогда не потеряет своей ценности, в трудную минуту сохраняя нам нервы, работу, премию, а также успокоительные средства. Она, в случае чего, позволяет нам не паниковать, действовать взвешено, допуская разумный риск.
Даже если в вашем сервере все компоненты дублированы, а данные лежат на дорогом массиве с избыточностью, отгоните от себя ложное чувство безопасности. Никто не застрахован от логических ошибок и человеческого фактора. Читать полностью »
Десятимиллионный скрипт резервного копирования
2014-07-05 в 17:57, admin, рубрики: backup, btrfs, linux, LVM, python, Rsync, script, что делать если нет бэкапов 
Это статья-мануал по скрипту резервного копирования, написанному мной. Скрипт написан на python для Linux. Кому интересно прошу под хабракат.
Читать полностью »
Acronis True Image for Mac — зачем и для кого?
2014-06-26 в 14:52, admin, рубрики: acronis, acronis true image, apple, backup, mac os x, Блог компании Acronis, Inc, резервное копирование, метки: Acronis, acronis true image, backup, mac os x, резервное копированиеДобрый день, дорогие обитатели хабра!
Мы сегодня с гордостью представляем вам наш новый продукт Acronis True Image for Mac – приложение, которое защитит ваши «маки» от потери данных.

Собственно, как следуют из названия, это продукт для Мак платформы. И на данный момент самый частый вопрос, который мы встречаем, это зачем и для кого мы сделали этот продукт.
Читать полностью »
Как я возил робота, чуть не поседел и залил кровью серверную
2014-06-24 в 6:00, admin, рубрики: backup, библиотека, Блог компании КРОК, история, ит-инфраструктура, лента, Накопители, хранение данных, метки: backup, robot, библиотека, история, лента, хранение данныхЭто история одного из самых запомнившихся случаев в моей инженерной практике. По понятным причинам я поменял имена, места и некоторые узнаваемые детали, чтобы нельзя было точно определить заказчика и других участников истории.

Вот так выглядит ленточное хранилище (наше было поменьше) и библиотечный робот (наш такой же). Китаец в комплект не входит.
Часть 1. Коробка
Помню, стояли последние дни ноября. Уже думая об окончании рабочего дня, я планировал свой вечер, когда вдруг мне сообщили, что в славном сибирском городе N у нашего заказчика сломалась ленточная библиотека. Запчасть сразу же отправили транспортной компанией, но вот уже 3 дня, как она все еще была в пути. Транспортная компания невнятно объяснялась и хмыкала в телефон, а заказчик стал не в шутку нервничать. Прогнозы были неопределенные, поэтому было принято решение везти еще одну запчасть своими силами на самолете. Сотрудник склада вручил мне габаритную коробку весом килограмм десять, обклеенную штрих-кодами и стикерами, и радостно хлопнул меня по плечу со словами: «Только не вздумай в багаж сдавать — помнут».
Коробка меня, безусловно, беспокоила, но не меньшее беспокойство мне внушал пакет с сухим молоком, который в последний момент мне вручил менеджер проекта. «У них там какие-то траблы с молочкой сейчас… из-за непогоды что ли… ребята местные просили 2 кг им привезти. Тебе ж не сложно?» — сказал он. По выражению его лица и характерному жесту ладони, как бы прикрывавшей мне рот, было ясно, как он сейчас хотел, чтобы я оказался сговорчивым или даже немым.Читать полностью »
