Рубрика «бэкап»
Ленточные накопители: фантастические твари мира архивирования
2022-05-24 в 12:13, admin, рубрики: LTO, lto-6, lto-9, автозагрузка, библиотеки, Блог компании Группа компаний X-Com, бэкап, ленточные накопители, ленточный интерфейс, резервное копирование, системное администрирование, хранение данных, хранилища данныхРазвитие твердотельных накопителей идет невероятными темпами, а использование лент для хранения данных может показаться архаизмом. Но только не тем людям, которые работают с архивированием и резервным копированием огромных массивов данных. В нашей практике ленточные накопители продолжают использоваться, они остаются лучшим решением для целого ряда задач заказчиков. И в этом посте я расскажу о том, как используются современные ленточные накопители и чем они отличаются друг от друга.
WAL-G: бэкапы и восстановление СУБД PostgreSQL
2020-06-14 в 9:44, admin, рубрики: backup, postgresql, s3, sql, wal, wal-e, wal-g, Администрирование баз данных, бекап, бэкап, резервное копирование, системное администрированиеУже давно известно, что делать бэкапы в SQL-дампы (используя pg_dump или pg_dumpall) – не самая хорошая идея. Для резервного копирования СУБД PostgreSQL лучше использовать команду pg_basebackup, которая делает бинарную копию WAL-журналов. Но когда вы начнёте изучать весь процесс создания копии и восстановления, то поймёте что нужно написать как минимум пару трёхколёсных велосипедов, чтобы всё это работало и не вызывало у вас боль как сверху, так и снизу. Дабы облегчить страдания был разработан WAL-G.
WAL-G – это инструмент, написанный на Golang для резервного копирования и восстановления PostgreSQL баз данных (а с недавнего времени и MySQL/MariaDB, MongoDB и FoundationDB). Он поддерживает работу с хранилищами Amazon S3 (и аналогами, например, Yandex Object Storage), а также Google Cloud Storage, Azure Storage, Swift Object Storage и просто с файловой системой. Вся настройка сводится к простым шагам, но из-за того что статьи о нём разрозненны по интернету – нет полного how-to мануала, который бы включал все шаги от и до (на Хабре есть несколько постов, но многие моменты там упущены).
Бэкап данных с помощью связки FreeFileSync и 7-zip
2020-02-01 в 9:31, admin, рубрики: 7-zip, FreeFileSync, бэкап, резервное копирование, системное администрированиеАнамнез, так сказать:
Сервер Fujitsu rx300 s6, RAID6 из 6 1Тб дисков, поднят XenServer 6.2, крутятся несколько серверов, среди них Убунта с несколькими шарами, 3,5 миллиона файлов, 1,5 Тб данных, все это постепенно растет и пухнет.
Задача: настроить резервное копирование данные с файлового сервера, частично ежедневно, частично еженедельно.
Имеем виндовую машину для бэкапа с RAID5 (по бедности обычный системник с встроенным в мать RAID-контроллером) плюс отдельный 2Тб диск для промежуточного копирования текущего состояния файлов. Можно было использовать любой линукс дистрибутив, но эта машина уже была в наличии с рейд-массивом и виндоуз-лицензией.
Читать полностью »
Инкрементальные бэкапы postgresql с pgbackrest — курс молодого бойца от разработчика
2019-11-17 в 18:55, admin, рубрики: postgres, postgresql, администрирование, Администрирование баз данных, Администрирование БД, бэкап, бэкап базы данных, Серверное администрированиеДисклеймер
Я — разработчик. Я пишу код, с базой данных взаимодействую лишь как пользователь. Я ни в коем случае не претендую на должность системного администратора и, тем более, dba. Но…
Так вышло, что мне нужно было организовать резервное копирование postgresql базы данных. Никаких облаков — держи SSH и сделай, чтобы все работало и не просило денег. Что мы делаем в таких случаях? Правильно, пихаем pgdump в cron, каждый день бэкапим все в архив и если совсем разошлись — отправляем этот архив куда-нибудь подальше.
В этот раз сложность состояла в том, что по планам база должна была расти примерно на +- 100 МБ в день. Разумеется, уже через пару недель желание бэкапить все pgdump'ом отпадет. Тут на помощь приходят инкрементальные бэкапы.
Интересно? Добро пожаловать под кат.
Читать полностью »
Как уплотнить до 90% хранение бэкапов в объектном хранилище
2019-07-30 в 6:23, admin, рубрики: s3, Блог компании КРОК Облачные сервисы, бэкап, виртуализация, данные, дата-центр, дедупликация, облачные сервисы, сервис, хранение данных, хранилище, цодНаши турецкие клиенты попросили нас правильно настроить бэкап для дата-центра. Мы делаем подобные проекты в России, но именно здесь история была больше про исследование того, как лучше сделать.
Дано: есть локальное S3-хранилище, есть Veritas NetBackup, который обзавёлся новым расширенным функционалом по перемещению данных в объектные хранилища теперь уже с поддержкой дедупликации, и есть проблема со свободным местом в этом локальном хранилище.
Задача: сделать всё так, чтобы процесс хранения резервных копий был быстр и дешев.
Собственно, до этого в S3 всё складывалось просто файлами, причём это были полные слепки критичных машин дата-центра. То есть не так, чтобы очень оптимизированно, но зато всё работало на старте. Сейчас же пришло время разобраться и сделать правильно.
На картинке то, к чему мы пришли:
Как видно, первый бэкап делался медленно (70 Мб/с), а последующие бэкапы тех же систем — значительно быстрее.
Собственно, дальше чуть больше деталей про то, какие там особенности. Читать полностью »
Резервное копирование, часть 1: Назначение, обзор методов и технологий
2019-04-26 в 8:13, admin, рубрики: devops, sysbench, Блог компании Southbridge, блочное и файловое хранение, бэкап, Серверное администрирование, системное администрирование, хранение данных
Зачем же нужно делать резервные копии? Ведь оборудование весьма и весьма надежное, к тому же есть «облака», которые по надежности лучше физических серверов: при правильной настройке «облачный» сервер запросто переживет отказ инфраструктурного физического сервера, а с точки зрения пользователей сервисов, будет небольшой, еле заметный скачок времени обслуживания. К тому же дублирование информации зачастую требует оплатить «лишнее» процессорное время, дисковую нагрузку, трафик сети.
Читать полностью »
Статья про то, как CommVault делает бэкап PostgreSQL
2019-03-06 в 12:35, admin, рубрики: Commvault, postgresql, softline, Блог компании Softline, бэкап, резервное копирование, СофтлайнВ данной статье мы рассмотрим наш опыт использования CommVault для резервного копирования PostgreSQL. Для этого разберем небольшую часть одного из наших прошлых проектов, где мы настраивали резервное копирование БД PostgreSQL у клиента.
Детям — мороженое, информационной системе — бэкап
2017-11-24 в 13:36, admin, рубрики: backup, veeam backup and replication, veeam endpoint backup, асу тп, Блог компании Cloud4Y, бэкап, Законодательство и IT-бизнес, испдн, Облачные вычисления, резервное копирование
Все люди делятся на две категории: те, кто еще не делает бэкапы, и те, кто уже делает бэкапы.
Говорить о важности резервного копирования данных и о рисках, связанных с отсутствием такового, считаю излишним. Думаю, в этом вопросе все будут солидарны – резервные копии нужны!
В мнении по этому вопросу, к нам присоединились и правительство со своей карающей дланью, и регулирующие органы в области защиты информации. Все мы помним требования законодательства, озвученны в 17-м, 21-м и 31-м Приказах ФСТЭК. Так же регуляторами кредитно-финансовой сферы сформированы требования к резервированию и резервному копированию.
А с 1 января 2018 года к ним добавится (вступит в действие) и Федеральный закон от 26.07.2017 № 187-ФЗ «О безопасности критической информационной инфраструктуры Российской Федерации», который нам так же говорит, что одной из четырех «Основных задач системы безопасности значимого объекта критической информационной инфраструктуры является:» «восстановление функционирования значимого объекта критической информационной инфраструктуры, обеспечиваемого в том числе за счет создания и хранения резервных копий необходимой для этого информации».
Таким образом, данными требованиями охвачены фактически юрлица во всех сферах. А что у нас большего всего любят регуляторы? Читать полностью »
Черная пятница айтишника, или Сказ о потере данных
2017-11-24 в 12:02, admin, рубрики: бекап, Блог компании Инфосистемы Джет, бэкап, Восстановление данных, потеря данных, сбой, хранение данных
Есть прекрасная поговорка «И на старуху бывает проруха». Её можно сделать девизом индустрии: даже хорошо продуманная многоуровневая система защиты от потери данных может пасть жертвой непредвиденного бага или человеческой ошибки. Увы, такие истории не редкость, и сегодня мы хотим рассказать о двух случаях из нашей практики, когда всё пошло не так. Shit happens, как говаривал старина Форрест Гамп.
Читать полностью »