Рубрика «архивирование данных»

в 10:00, , рубрики: clojure, Deflate, gzip, ruvds_перевод, архивирование данных, коды хаффмана

Распаковываем файл gzip вручную - 1


В этой небольшой статье мы создадим файл gzip, после чего разберём его внутренние составляющие и просмотрим начинку. Избегая лишней сложности, в качестве содержимого для сжатия мы просто запишем в изначальный файл 8 символов a.

$ echo "aaaaaaaa" > test.out
$ xxd test.out
00000000: 6161 6161 6161 6161 0a     aaaaaaaa.

Файл получился размером 9 байт — 8 символов a плюс перевод каретки в конце.

Теперь упакуем его. Сделаем это командой gzip -1, поскольку так мы задействуем самый быстрый метод сжатия, который позволит нам лучше разобрать процесс. 

$ gzip -1 test.out
$ xxd test.out.gz
00000000: 1f8b 0808 bf35 6a61 0403 7465 7374 2e6f  .....5ja..test.o
00000010: 7574 004b 4c84 002e 00b6 66d7 ad09 0000  ut.KL.....f.....
00000020: 00

Дисклеймер: эту статью я писал в целях обучения, так что мог допустить некоторые ошибки. Мне нравится заниматься низкоуровневым программированием, но моя основная деятельность сосредоточена на веб-разработке для Microsoft Teams.

Читать полностью »

в 9:00, , рубрики: digital hoarding, ruvds_статьи, архивирование данных, Блог компании RUVDS.com, здоровье, лайфлоггинг, Накопители, Научно-популярное, резервное копирование, хранение информации, цифровое накопительство

Цифровое хомячество и цифровой минимализм — противоположные концепции и стили жизни - 1

Отбракованные фотографии на блошином рынке средней школы Фэрфакса, Калифорния. Иллюстрация из статьи про вещизм и скопидомство в Los Angeles Times (2014 год)

Имея в своём распоряжении петабайтные диски, появляется соблазн сохранять абсолютно всё. Все интересные фильмы и музыку, которые мы видели и слышали, семейные видео и фото. Прочитанные книги, написанный код. Письма, полученные и отправленные. Документы, мысли, заметки в Obsidian или Evernote (система типа «второй мозг»). Действительно, зачем удалять хоть один файл, если места хватает?

Противоположный подход — изначально ограничивать себя в потреблении информации, игр, фильмов, любого контента, чтобы не захламлять диск (и сознание) ненужной информацией. И хранить только самое лучшее, в минимальном количестве.
Читать полностью »

в 19:47, , рубрики: tar, Ubuntu, архивирование данных, отладка, системное администрирование, Софт, хранение данных

Автор статьи — Крис Зибенманн, системный администратор Unix в университете Торонто

Время от времени в моей работе происходит нечто странное, что заставляет задуматься, даже если сразу непонятно, какие следуют выводы. Недавно я упомянул, что мы нашли ошибку в GNU Tar, и история о том, как это произошло, — один из таких случаев.

Для бэкапа файл-серверов мы используем Amanda и GNU Tar. В течение долгого времени у нас периодически возникала довольно редкая проблема, когда tar сходил с ума при резервном копировании файловой системы с каталогом /var/mail, производя огромное количество выходных данных. Обычно этот процесс уходил в бесконечность и приходилось убивать дамп; в других случаях он всё-таки завершался, выдав терабайт(ы) данных, которые вроде бы отлично сжимались. Когда мне в очередной раз попался такой гигантский файл tar, я подверг его проверке — и выяснил, что он частично состоит из нулевых байтов, которые очень не нравятся команде тестирования tar -t, после чего всё возвращается в норму.

(Из-за этого мне стало интересно, появляются ли нулевые байты естественным образом у людей в почтовых ящиках. Оказалось, что поиск нулевых байтов в текстовых файлах не такой простой, и да, они там есть).
Читать полностью »

в 10:47, , рубрики: StarWind, Veeam, veeam backup and replication, архивирование данных, архивирование на ленту, Блог компании «Veeam Software», Восстановление данных, резервное копирование, системное администрирование

Предлагаю вашему вниманию перевод статьи моего коллеги Andrew Zhelezko о применении интегрированного решения для хранения резервных копий на базе продуктов Veeam, StarWind и Azure.

Многие компании по сей день используют для своих сервисов ленточные библиотеки, однако всё большую популярность завоёвывают облачные хранилища, которые обеспечивают уверенную и стабильную работу систем резервного копирования. И наряду с поддержкой распространенных виртуальных ленточных библиотек Veeam теперь позволяет работать с библиотекой StarWind VTL для Microsoft Azure Blob Storage. Это отличная возможность для тех, кому требуется недорогое и надежное облачное хранилище для безопасного размещения в нем резервных копий данных. Пользователи такого интегрированного решения смогут реализовать гибкие политики хранения данных: например, держать в обычной инфраструктуре бэкапы 1-2 недели, а затем перемещать их в долгосрочное облачное хранилище Microsoft Azure Blob Storage. В этой статье я кратко расскажу о том, как настроить интеграцию.

Как настроить архивирование резервных копий Veeam в Microsoft Azure Blob Storage с помощью StarWind VTL - 1

Читать полностью »

в 7:23, , рубрики: Commvault, OnePass, архивирование, архивирование данных, архивирование информации, Блог компании DataLine, резервное копирование, хранение данных

Архивируй это: как устроено архивирование файловой системы с помощью Commvault - 1
Раньше было больше распространено так называемое долгосрочное архивирование, когда файлы, которые нужно было хранить по закону несколько лет, сбрасывались на ленты, кассеты при необходимости увозили в специальное хранилище. По праздникам, например, по случаю аудита, кассеты приезжали в офис, и с них доставались нужные файлы. С доступностью дисковых хранилищ появилась возможность организовывать архивирование не только для суперважных бухгалтерских или юридических документов, но и для простых смертных файлов, которые вроде как и удалять нельзя (вдруг пригодятся), но и место на быстрой хранилке под них тратить не хочется.
Такое архивирование обычно работает следующим образом: прописываются специальные правила архивирования (дата последнего открытия, редактирования, создания), и все файлы, которые попадают под эти правила, автоматически перемещаются с продуктивного хранилища в архив на более медленных дисках.

Сегодня как раз хочу рассказать про такой вариант архивирования на примере решения Commvault.Читать полностью »

в 14:54, , рубрики: sap, SARA, архивирование данных, системное администрирование

Приветствую всех. Многие знают о необходимости архивирования (резервирования) информационных систем независимо от уровня системы. Для ERP систем это обычно многоуровневое резервирование на уровне операционной системы, на уровне системы управления базами данных, на уровне самой ERP системы.

В SAP среде функциональные консультанты часто путают резервирование и архивирование данных. С точки зрения консультанта есть базисник (системный администратор), который должен позаботиться о функционировании системы, восстановлении ее в случае сбоя или необходимости отката. За свой скромный опыт на этом рынке я еще ни разу не встречал консультанта, который бы поднял вопрос о необходимости архивирования данных. Причем архивирование может иметь разное назначение, например, не только сокращение количества данных и повышение производительности системы, но и передача этих же данных в другие системы.

Настроим архивирование на примере документов изменений HR данных. Считаем, что сами документы изменений настроены и результат изменения инфотипа можно просмотреть через транзакцию S_AHR_61016380.

Вся настройка осуществляется в транзакции SARA, где мы должны выполнить ряд вещей:

  1. Настроить пути архивирование, логические и физические файлы
  2. Настроить варианты для программ запуска архивирования
  3. Запланировать сами программы архивирования

Читать полностью »

в 18:54, , рубрики: C, tar, архивирование данных, Программирование, метки:

Архиваторы — это страшно! Огромные и ужасные алгоритмы, которые обычному человеку никогда в жизни не понять! Rar, zip, gzip, tar — современные стандарты де-факто, а значит крайне сложные и навороченные штуки, которые и пытаться понять не стоит. Ну, tar выглядит попроще, может там всё не так сложно? Смотрим git с исходниками. Видим десятки файлов, многие на десятки килобайт. Мда. Видимо, тупик. 

__________________|      |____________________________________________
     ,--.    ,--.          ,--.   ,--.
    |oo  | _    `.       | oo | |  oo|
o  o|~~  |(_) /   ;       | ~~ | |  ~~|o  o  o  o  o  o  o  o  o  o  o
    |//|   '._,'        |//| |//|
__________________        ____________________________________________
                  |      |dwb

На самом деле всё не так сложно. В документации было описано, что tar — просто способ записи нескольких файлов на ленту. Т.е. всё должно быть просто. По факту — набор вспомогательной информации для каждого файла и непосредственно его содержимое. Именно понимание этого факта и позволило сделать читатель tar-файлов в 26 строк.

Читать полностью »

в 10:54, , рубрики: and backup solutions, Data Protection Adviser, DDboost, emc data domain, emc data recovery, www.muk.ua, www.training.muk.ua, архивирование данных, Блог компании МУК, Восстановление данных, ЕМС Data Protection Suite, ит-инфраструктура, кузьма пашков, Сетевые технологии, системы восстановления данных, тренинг по ЕМС, учебный курс, учебный центр мук, хранение данных, метки: ,

Мы регулярно делаем стримы из нашего учебного центра. И, как показала практика, самым интересным оказался стрим по администрированию EMC Data Domain. В начале курса инструктор Кузьма Пашков сделал внушительный обзор о видах дедупликации, архитектуре систем копирования и восстановления, по сути изложил университетский курс по архитектуре таких систем на примере продуктов ЕМС, сделал обзор продуктов ЕМС, подробно остановился на Data Domain, а также сделал обзор курса по администрированию Data Domain. Почему Data Domain такой дорогой? Почему это не СХД? Что нужно знать о проектировании/пуско-наладке/настройке/техдокументации этих систем? На что обращать внимание? — на эти и другие вопросы инструктор ответил исчерпывающе.

Архитектура систем резервного копирования, архивирования и восстановления - 1

Под катом мегарасшифровка и видеозапись части курса.

Семья технологий и продуктов Backup Recovery Solutions
Читать полностью »

Главная   |  Архив новостей  |   Android  |   Google  |   Apple  |   Microsoft  |   Информационная безопасность  |   Веб – разработка
Публикации RSS  |  Комментарии RSS
https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js