Рубрика «архивирование данных»

Автор статьи — Крис Зибенманн, системный администратор Unix в университете Торонто

Время от времени в моей работе происходит нечто странное, что заставляет задуматься, даже если сразу непонятно, какие следуют выводы. Недавно я упомянул, что мы нашли ошибку в GNU Tar, и история о том, как это произошло, — один из таких случаев.

Для бэкапа файл-серверов мы используем Amanda и GNU Tar. В течение долгого времени у нас периодически возникала довольно редкая проблема, когда tar сходил с ума при резервном копировании файловой системы с каталогом /var/mail, производя огромное количество выходных данных. Обычно этот процесс уходил в бесконечность и приходилось убивать дамп; в других случаях он всё-таки завершался, выдав терабайт(ы) данных, которые вроде бы отлично сжимались. Когда мне в очередной раз попался такой гигантский файл tar, я подверг его проверке — и выяснил, что он частично состоит из нулевых байтов, которые очень не нравятся команде тестирования tar -t, после чего всё возвращается в норму.

(Из-за этого мне стало интересно, появляются ли нулевые байты естественным образом у людей в почтовых ящиках. Оказалось, что поиск нулевых байтов в текстовых файлах не такой простой, и да, они там есть).
Читать полностью »

Предлагаю вашему вниманию перевод статьи моего коллеги Andrew Zhelezko о применении интегрированного решения для хранения резервных копий на базе продуктов Veeam, StarWind и Azure.

Многие компании по сей день используют для своих сервисов ленточные библиотеки, однако всё большую популярность завоёвывают облачные хранилища, которые обеспечивают уверенную и стабильную работу систем резервного копирования. И наряду с поддержкой распространенных виртуальных ленточных библиотек Veeam теперь позволяет работать с библиотекой StarWind VTL для Microsoft Azure Blob Storage. Это отличная возможность для тех, кому требуется недорогое и надежное облачное хранилище для безопасного размещения в нем резервных копий данных. Пользователи такого интегрированного решения смогут реализовать гибкие политики хранения данных: например, держать в обычной инфраструктуре бэкапы 1-2 недели, а затем перемещать их в долгосрочное облачное хранилище Microsoft Azure Blob Storage. В этой статье я кратко расскажу о том, как настроить интеграцию.

Как настроить архивирование резервных копий Veeam в Microsoft Azure Blob Storage с помощью StarWind VTL - 1

Читать полностью »

Архивируй это: как устроено архивирование файловой системы с помощью Commvault - 1
Раньше было больше распространено так называемое долгосрочное архивирование, когда файлы, которые нужно было хранить по закону несколько лет, сбрасывались на ленты, кассеты при необходимости увозили в специальное хранилище. По праздникам, например, по случаю аудита, кассеты приезжали в офис, и с них доставались нужные файлы. С доступностью дисковых хранилищ появилась возможность организовывать архивирование не только для суперважных бухгалтерских или юридических документов, но и для простых смертных файлов, которые вроде как и удалять нельзя (вдруг пригодятся), но и место на быстрой хранилке под них тратить не хочется.
Такое архивирование обычно работает следующим образом: прописываются специальные правила архивирования (дата последнего открытия, редактирования, создания), и все файлы, которые попадают под эти правила, автоматически перемещаются с продуктивного хранилища в архив на более медленных дисках.

Сегодня как раз хочу рассказать про такой вариант архивирования на примере решения Commvault.Читать полностью »

Приветствую всех. Многие знают о необходимости архивирования (резервирования) информационных систем независимо от уровня системы. Для ERP систем это обычно многоуровневое резервирование на уровне операционной системы, на уровне системы управления базами данных, на уровне самой ERP системы.

В SAP среде функциональные консультанты часто путают резервирование и архивирование данных. С точки зрения консультанта есть базисник (системный администратор), который должен позаботиться о функционировании системы, восстановлении ее в случае сбоя или необходимости отката. За свой скромный опыт на этом рынке я еще ни разу не встречал консультанта, который бы поднял вопрос о необходимости архивирования данных. Причем архивирование может иметь разное назначение, например, не только сокращение количества данных и повышение производительности системы, но и передача этих же данных в другие системы.

Настроим архивирование на примере документов изменений HR данных. Считаем, что сами документы изменений настроены и результат изменения инфотипа можно просмотреть через транзакцию S_AHR_61016380.

Вся настройка осуществляется в транзакции SARA, где мы должны выполнить ряд вещей:

  1. Настроить пути архивирование, логические и физические файлы
  2. Настроить варианты для программ запуска архивирования
  3. Запланировать сами программы архивирования

Читать полностью »

Архиваторы — это страшно! Огромные и ужасные алгоритмы, которые обычному человеку никогда в жизни не понять! Rar, zip, gzip, tar — современные стандарты де-факто, а значит крайне сложные и навороченные штуки, которые и пытаться понять не стоит. Ну, tar выглядит попроще, может там всё не так сложно? Смотрим git с исходниками. Видим десятки файлов, многие на десятки килобайт. Мда. Видимо, тупик.

__________________|      |____________________________________________
     ,--.    ,--.          ,--.   ,--.
    |oo  | _    `.       | oo | |  oo|
o  o|~~  |(_) /   ;       | ~~ | |  ~~|o  o  o  o  o  o  o  o  o  o  o
    |//|   '._,'        |//| |//|
__________________        ____________________________________________
                  |      |dwb

На самом деле всё не так сложно. В документации было описано, что tar — просто способ записи нескольких файлов на ленту. Т.е. всё должно быть просто. По факту — набор вспомогательной информации для каждого файла и непосредственно его содержимое. Именно понимание этого факта и позволило сделать читатель tar-файлов в 26 строк.

Читать полностью »

Мы регулярно делаем стримы из нашего учебного центра. И, как показала практика, самым интересным оказался стрим по администрированию EMC Data Domain. В начале курса инструктор Кузьма Пашков сделал внушительный обзор о видах дедупликации, архитектуре систем копирования и восстановления, по сути изложил университетский курс по архитектуре таких систем на примере продуктов ЕМС, сделал обзор продуктов ЕМС, подробно остановился на Data Domain, а также сделал обзор курса по администрированию Data Domain. Почему Data Domain такой дорогой? Почему это не СХД? Что нужно знать о проектировании/пуско-наладке/настройке/техдокументации этих систем? На что обращать внимание? — на эти и другие вопросы инструктор ответил исчерпывающе.

Архитектура систем резервного копирования, архивирования и восстановления - 1

Под катом мегарасшифровка и видеозапись части курса.

Семья технологий и продуктов Backup Recovery Solutions
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js