Когда-нибудь в твоей стране запретят IaC и ты вспомнишь про мои бэкапы…
© Джейсон Стетхем
Не так давно мы в компании столкнулись с маленькой проблемкой - RabbitMQ Читать полностью »
Рубрика «backup»
Бэкапим Кроличьи мозги на случай ядерных войн
2023-04-29 в 19:46, admin, рубрики: altenar, automation, backup, development, devops, k8s, kubernetes, RabbitMQ, terraform, управление разработкой
Как компания, в которой я работаю, подверглась хакерской атаке и как можно было этого избежать
2022-11-27 в 9:36, admin, рубрики: access, ActiveDirectory, backup, network, security, viruses
Этим летом компания, в которой я работаю стала жертвой злоумышленников, в следствие чего деятельность компании была приостановлена на неопределенный срок.
Быстрый бэкап всех ваших репозиториев Github
2022-04-24 в 7:51, admin, рубрики: backup, github, Go, golang, mirrorЯ так давно пользуюсь услугами Github, что уже начал забывать, как это страшно потерять код, который целый день сочинял и отлаживал. Раньше для сохранения кода я использовал дискетки, потом cd-rom и переносной жесткий диск, потом пришли флешки. Все это для того, чтобы перенести код с рабочего компьютера на домашний и не потерять. И все эти
устройства постоянно ломались, терялись, у них заканчивался срок службы и т.п.
Бекапер Figma
2022-03-16 в 9:25, admin, рубрики: backup, figma, бекап, дизайн, резервное копирование, управление проектамиПредыстория. В свое время я очень долго сопротивлялся переходу на Figma. Причиной была жесткая политика vendor lock-in, серьезная итоговая цена и невозможность нормально хранить исходники макетов у себя. Кроме того, в сети были описаны несколько случаев, когда люди теряли макеты в Figma, и никакая техподдержка ни за какие деньги им не могла помочь.
Как мы мигрировали в облако… пепла
2022-02-22 в 3:59, admin, рубрики: backup, devops, disaster recovery, kubernetes, kubertenes, OVH, OVHcloud, sla, информационная безопасность, пожар, резервное копирование, сгорелВаня, привет! У меня хорошая и плохая новость, как у вас говорят. Мы нашу миграцию в облако, похоже, сегодня закончим.
Такой вот звонок ко мне пришел от нашего VP of Engineering Виктора около 7 вечера 9 марта прошлого года. Дело в том, что Виктор знает русский, но никогда не жил в России, поэтому он часто добавляет "как у вас говорят" или какие-то другие только ему ведомые присказки, поговорки и пословицы. Но сейчас не об этом.
Настраиваем Restic с systemd на Linux
2021-01-30 в 22:36, admin, рубрики: backup, linux, postgresql, restic, systemd, бэкапы, Настройка Linux, резервное копирование, Серверное администрирование, системное администрированиеRestic — хорошо известная программа для резервного копирования. Она достаточно проста, чтобы переноситься на любую ОС, и, вероятно, поэтому с ней не прилагается полноценный пример настройки на среднестатистической Linux-системе. Исправим это данным постом.
Поставим задачу следующим образом:
- Автоматический бэкап запускается ежедневно.
- Бэкап хранит только важные файлы и данные.
- Бэкап также включает в себя содержимое баз PostgreSQL, которое можно восстановить
psql -f.
TL;DR поста
Пишем два юнита / таймера для systemd, запускаем restic под выделенным пользователем с CAP_DAC_READ_SEARCH, для PostgreSQL архивируем результат pg_dumpall.
WAL-G: бэкапы и восстановление СУБД PostgreSQL
2020-06-14 в 9:44, admin, рубрики: backup, postgresql, s3, sql, wal, wal-e, wal-g, Администрирование баз данных, бекап, бэкап, резервное копирование, системное администрированиеУже давно известно, что делать бэкапы в SQL-дампы (используя pg_dump или pg_dumpall) – не самая хорошая идея. Для резервного копирования СУБД PostgreSQL лучше использовать команду pg_basebackup, которая делает бинарную копию WAL-журналов. Но когда вы начнёте изучать весь процесс создания копии и восстановления, то поймёте что нужно написать как минимум пару трёхколёсных велосипедов, чтобы всё это работало и не вызывало у вас боль как сверху, так и снизу. Дабы облегчить страдания был разработан WAL-G.
WAL-G – это инструмент, написанный на Golang для резервного копирования и восстановления PostgreSQL баз данных (а с недавнего времени и MySQL/MariaDB, MongoDB и FoundationDB). Он поддерживает работу с хранилищами Amazon S3 (и аналогами, например, Yandex Object Storage), а также Google Cloud Storage, Azure Storage, Swift Object Storage и просто с файловой системой. Вся настройка сводится к простым шагам, но из-за того что статьи о нём разрозненны по интернету – нет полного how-to мануала, который бы включал все шаги от и до (на Хабре есть несколько постов, но многие моменты там упущены).
Знакомство с wal-g системой бекапирования PostgreSQL
2020-01-30 в 7:15, admin, рубрики: backup, postgresql, s3, sql, wal, wal-e, wal-g, Администрирование баз данных, бекапWAL-G — простой и эффективный инструмент для резервного копирования PostgreSQL в облака. По своей основной функциональности он является наследником популярного инструмента WAL-E, но переписанным на Go. Но в WAL-G есть одна важная новая особенность — дельта-копии. Дельта-копии WAL-G хранят страницы файлов, изменившиеся с предыдущей версии резервной копии. В WAL-G реализовано довольно много технологий по распараллеливанию бэкапов. WAL-G работает гораздо быстрее чем, WAL-E.
Хабра-детектив: у вас картинка потерялась
2020-01-19 в 8:11, admin, рубрики: backup, diy или сделай сам, habrastorage, habrbusters, hsto, веб-аналитика, визуализация данных, резервная копия, хабра-анализ, хабра-детектив, хранение данных
Вы когда-нибудь задумывались, сколько информации бесследно потеряно? Ведь информация — это то, ради чего Хабр существует. Знаете, что чаще всего случается с ресурсами основанными на пользовательских публикациях? Авторы вставляют изображения, картинки и видео со сторонних сайтов и через какое-то время они больше не доступны. Именно для этого когда-то был создан Habrastorage. Практика показала, что никто (кроме редакторов и нескольких энтузиастов) не загружает туда изображения самостоятельно. Потому в какой-то момент администрация Хабра сделала эту функцию автоматической — каждое изображение, которое встречается в публикации, автоматически загружается в хранилище и оттуда не пропадёт, пока существует сам Хабр. Конечно же, есть и исключения, но сейчас не о них.
Самая большая проблема во всей этой схеме с загрузкой изображений в Habrastorage произошла во время её внедрения. К тому моменту некоторые старые публикации уже были без рисунков, а потому такими и остались. Сегодня мы попробуем выяснить, сколько же графической информации потерял Хабр с момента своего рождения. Кроме того, может нам удастся найти что-то из пропавшего? Ведь раздражает эта заглушка "изображение не может быть загружено", не так ли? Сегодняшний детектив посвящён именно этому. Приступим!
Выбор архиватора для бэкапа логов
2020-01-17 в 15:59, admin, рубрики: 7z, 7zip, backup, logs, powershell, rar, Windows Server, winrar, zip, Блог компании ООО «Хоум Кредит Энд Финанс Банк», разработка под windowsВсем привет!
В этой статье я хочу рассказать о том, как выбирал архиватор для сжатия логов нашей фронт-офисной системы.
Подразделение, в котором я работаю, занимается разработкой и сопровождением единой фронт офисной системы Банка. Я отвечаю за ее сопровождение, мониторинг и DevOps.
Наша Система — это высоконагруженное приложение, ежедневно обслуживающее более 5 000 уникальных пользователей. На сегодняшний день — это «монолит» со всеми своими достоинствами и недостатками. Но сейчас активно идет процесс выноса функционала в микросервисы.
Ежедневно наша система генерирует более 130 ГБ «сырых» логов и, несмотря на то, что мы используем ENG стек (Elasticsearch Nxlog Graylog), файловые логи содержат гораздо больше информации (например, stack trace ошибок), поэтому требуют архивирования и хранения.
Так как место хранения ограничено, встаёт вопрос: «А какой архиватор лучше всего справится с этой задачей».
Для решения этого вопроса я написал скрипт на языке PowerShell, который произвел анализ за меня.