Недавно понадобилось автоматизировать создание и сохранение снепшотов виртуальных машин из XenServer. Ничего не найдя по этой теме в русскоязычном сегменте я пошёл в мировой интернет и нашёл статью на ресурсе tecadmin.net, которая мне очень помогла, поэтому я решил разместить её перевод на хабре. Далее авторский (с адаптацией под нашу речь) перевод исходной статьи:
Читать полностью »
Рубрика «backup» - 6
Автоматический бекап виртуальных машин в XenServer
2016-12-11 в 19:22, admin, рубрики: backup, nfs, snapshot, xen, xenserver, виртуализация, резервное копирование, Серверное администрированиеАвтоматизированное восстановление баз данных MS SQL из бэкапов
2016-12-08 в 15:12, admin, рубрики: backup, MS Sql Server, mssql, Администрирование баз данных, Блог компании СофтЛаб, Серверное администрирование, хранение данных
В этой статье я хотел бы рассказать о том, как с помощью утилиты Quick Maintenance & Backup for MS SQL настроить автоматическое восстановление баз данных из бэкапов на тестовом экземпляре SQL Server в сети. При этом создавать бэкапы будет штатный План обслуживания. Потребность в автоматизированном восстановлении может возникнуть в следующих случаях:
- Если требуется регулярно актуализировать базы данных на тестовых серверах.
- Если требуется периодически проверять через восстановление созданные бэкапы: полный, разностный и журналы транзакций.
В сети можно найти примеры скриптов позволяющие в той или иной мере автоматизировать эти задачи. Но большинство решений требуют хорошего понимания T-SQL, предметной области и скорее всего потребуют изменения ваших Планов обслуживания. Я покажу как это сделать за 15-20 минут с помощью утилиты Quick Maintenance & Backup for MS SQL (QMB). Мы задействуем механизм XML планов восстановления — это XML файл с последовательностью бэкапов, который умеет создавать утилита. По информации в XML файле программа получит последовательность бэкапов, сформирует T-SQL скрипт для восстановления и запустит его на выполнение. Подробнее об этой возможности можно почитать здесь.
Читать полностью »
Как развернуть для своей команды архив slack сообщений c синхронизацией и поиском
2016-10-30 в 21:57, admin, рубрики: api, archive, backup, django, python, slack, Разработка веб-сайтовЯ сам сторонник идеи что если нравится продукт то нужно покупать его и своими деньгами поддержать программистов.
Но иногда бывает что компания на этот софт денег тратить не может или не хочет. Особенно сложно платить от 100$ в месяц когда есть бесплатные аналоги или если чаты используются в некоммерческих целях.
Я опишу как можно развернуть сервис для хранения истории всех публичных сообщений вашей команды в slack и избавиться от основного, неприятного, иногда выбешивающего ограничения — up to 10k of your team’s most recent messages (можно смотреть и искать только среди 10 000 последних сообщений)
Читать полностью »
Разбираемся с Veeam SureBackup
2016-10-06 в 10:26, admin, рубрики: backup, restore, SureBackup, veeam backup and replication, виртуализация, Восстановление данных, резервное копирование, системное администрирование
Бэкапы нужно проверять.
В качестве вступления простая история из бурной молодости. Всем знакома ситуация, когда ресурсов нет, а хранить резервные копии нужно. В свое время для хранения резервных копий своих систем, использовалось два диска объемом по 500GB. Как можно было догадаться, при использовании RAID-1, полезное пространство ограничивалось теми самыми 500GB, чего катастрофически не хватало. Было принято решение использовать Linux LVM, тем самым получить 1000GB пространства, в ущерб надежности.
На протяжении года, а может и больше, резервные копии складывались на данный ресурс, скрипты отчитывались о том, что все хорошо, а список бэкапов при просмотре содержимого директории радовал глаз.
Наступил час Х, и нужно было восстанавливаться, удивлению не было предела, когда один из бэкапов был поврежден, ведь все говорило о том, что бэкапы делаются, хранятся, и в целом все хорошо. Как позже выяснилось, один из дисков, состоящих в LVM начал сыпаться, часть данных можно было восстановить, а другую часть уже нет. Никогда не делайте так, как это делал в свое время я.
Сейчас уже мало компаний, не использующих у себя виртуализацию, чуть больше компаний, которые не выполняют резервное копирование своих виртуальных машин, и, возможно, еще больше тех, кто не проверяет свои резервные копии.
Тем, кому интересно как Veeam проверяет свои резервные копии, прошу под кат.
Читать полностью »
Google Диск в качестве резервного хранилища для VPS сервера на базе Linux
2016-10-06 в 9:02, admin, рубрики: backup, google drive, linux, хранение данных, хранилища данныхПришла идея делать backup сервера VPS на CentOS 7 в Google drive, не пропадать же зря 15 гигам халявного места. Немного поискал и нашел пару статей на эту тему, тема оказалась не нова, и сначала поставил утилиту от самой корпорации добра, вот статья на эту тему Backing up a Directory to Google Drive on CentOS 7.
Но мне это не подходит, так как есть скрипт, который выполняется по расписанию, и в нем я решил проверять файлы по дате создания и не плодить миллион архивов, а для этого нужно смонтировать Google Drive в папку.
Утилита от Google умеет только закачивать и скачивать файлы, проверить по дате и удалить все старше 3х дней не получилось.
Спасение нашлось в google-drive-ocamlfuse, статей на эту тему не мало, но есть одно, но, утилита требует GUI интерфейс, а в частности любой браузер. В браузер передается с генерированная ссылка.
Google как известно авторизует пользователей по OAuth. В моем VPS естественно не о каком GUI речь не идет, только консоль.
На помощь пришла статья с github Headless Usage & Authorization. Предлагаю вам мой вольный перевод.
Читать полностью »
Еще раз о пользе резервных копий или история о моей неудаче
2016-09-03 в 14:12, admin, рубрики: active directory, backup, microsoft, windows, windows server 2003, резервное копирование, Серверное администрирование, системное администрирование, хранение данныхВсегда приятно вспомнить как удалось решить какую-нибудь нетривиальную задачу. Но бывает и наоборот. Задача была вроде понятна, но вот решить её не удалось. Ниже я расскажу грустную историю из моей практики. Грустная она потому, что я, до сих пор, не знаю, как решить ту проблему. История, в очередной раз, напомнит как важно уделять должное внимание резервному копированию и тщательному обдумыванию своих действий. Ну а если кто-то из читателей расскажет мне, что можно было сделать, чтобы добиться лучшего результата, то это будет просто замечательно.
Итак, жил-был системный администратор и был у него Active Directory домен. Так как инфраструктура была небольшой и досталась ему в наследство давно, то был в ней всего один контроллер домена с установленной на нём Windows Server 2003. Ресурсов сильно не хватало, поэтому на этом же сервере было установлено довольно большое количество приложений, которыми пользовался сам администратор и некоторые его коллеги. Ну и вишенкой на торте — резервных копий в этой компании никогда не делалось. Что могло пойти не так? Подробности под катом.
Читать полностью »
Выбор оборудования для резервного копирования в небольшом офисе
2016-08-02 в 10:03, admin, рубрики: backup, Блог компании Администратор сети, бэкап, резервное копирование, Серверное администрирование
Любой офис полон информации. Зачастую она и есть самый дорогой актив компании. Плохо, что об этом вспоминают тогда, когда появляется реальный риск ее утраты. И даже после сбоя, после восстановления лишь части информации, этот урок быстро забывается.
Иной администратор разведет руками и скажет: «А что делать? Бюджета — нет, понимания со стороны руководителей — нет, поэтому и бэкапов у нас тоже нет. Сломается — на их совести.» Но это лишь половина беды, ведь сломать можете и вы сами. Неправильная конфигурация, ошибка в настройке, криптор (вирус-шифратор) — и данные безвозвратно утрачены. Поэтому бекапы делать необходимо. Достигнув этого понимания, можно приступать к практической части.
В этой статье мы рассмотрим возможный подход к резервному копированию в типичном небольшом офисе, работающем на платформе Microsoft, и порекомендуем несколько вариантов оборудования для хранения копий. Конечно, в большом офисе или компании всё по-другому. Там есть и резервные СХД, и ленточные библиотеки, и дорогие специализированные продукты. А резервное копирование датацентра — это и наука, и искусство, которому можно посвятить не только статью, но и всю свою жизнь.
Если читателю интересно наше мнение, а может, есть возможность поделиться своим опытом и даже хитростями — продолжаем под катом.
Читать полностью »
Бекап баз данных через SQL VDI
2016-07-22 в 7:38, admin, рубрики: .net, 7z, backup, Microsoft SQL Server, sql, vdi, архивированиеХочу рассказать о том, как мы захотели сделать собственный бекап баз данных для Microsoft SQL Server, и что из этого получилось.
Проблема
Мы в компании используем Microsoft SQL Server, и вполне ожидаемо, что нам надо делать бекапы баз данных для него, что мы успешно делаем. Делается это следующим образом:
- Первый скрипт делает бекапы нужных баз данных
- Второй скрипт проходит по папкам с бекапами и архивирует их в 7zip
- Третий скрипт уносит эти бекапы на внешнее хранилище
Вроде всё логично на мой взгляд, но есть некая странность во всём этом. Так как некоторое время на сервере находятся файлы, которые активно занимают место, а потом данные файлы удаляются за ненадобностью. Хотелось всё это оптимизировать. Кроме того, у нас в комании есть продукт, одной из задач которого является синхронизация базы данных, и ему подобный код, оптимизирующий задачу, тоже очень пригодился бы.
Тенденции резервного копирования — «золотой век» дискет и современный взгляд на сетевой бэкап
2016-07-05 в 7:35, admin, рубрики: backup, flash, бекап, Блог компании Acronis, Inc, бэкап, дискета, жесткий диск, ит-инфраструктура, резервное копирование, тенденции
Плёночный архив, почти современность
Исторически первые методики резервного копирования были достаточно простыми: документы либо впрямую переписывались (что позволяло сохранять данные с них, если речь шла о чём-то техническом), либо же переносились на плёнку. Плёнка с чёрно-белыми фотографиями может храниться до 130 лет без существенных искажений, и с неё можно напечатать несколько копий документа.
Естественно, с появлением возможности оцифровывать документы поменялось почти всё и сразу. И я бы хотел рассказать о том ярком периоде — с начала 90-х по настоящее время, когда технологии менялись довольно сильно. А начнём мы, пожалуй, с того, что практически все цифровые носители крайне недолговечны и ненадёжны.Читать полностью »
Как устроены бекапы заказчиков в нашем дата-центре TierIII
2016-05-26 в 6:47, admin, рубрики: Avamar, backup, CrocBackApp, бекап, Блог компании КРОК, дата-центр, ит-инфраструктура, Серверное администрирование, хранение данных
Самое простое — наше S3-хранилище. В этом случае мы предоставляем только пространство, без какой-то логики и организации копирования. Дёшево, просто, надёжно, как удар дубинкой в темноте. В S3 умеют копировать большинство продуктов бекапа — Veritas NetBackup/Backup Exec, CommVault, Veeam, EMC Networker и др. Такое решение разворачивается за 2 часа.
Второй подход — полноценная инфраструктура резервного копирования. Мы даём заказчику фактически в аренду часть программно-аппаратного комплекса. И в этом случае заказчик получает не просто хранилку, а сервис резервного копирования целиком, включая программную организацию логики копирования. Например, если заказчик размещается в дата-центре на Волочаевской и пользуется услугой, то комплекс Avamar собирает бекапы из его инфраструктуры и делает как копию в этом же ЦОДе, так и копию на другую площадку при необходимости. Помимо этого, в системе есть внутренние средства защиты самого Avamar — cлепок системы снимается два раза в сутки, дедуплицируется, сжимается.
Все, конечно, отлично, но по объективным причинам (кризис все успели почувствовать) мы стали искать более бюджетные, но при этом функциональные варианты. Читать полностью »