В данной статье публикуются результаты замеров скорости доступа к файловой системе внутри гипервизора в различных вариантах установки ZFS. Всем кому интересно прошу под кат, предупреждаю о наличие большого количества изображений под спойлерами (оптимизированы).
Читать полностью »
Рубрика «zfs» - 3
ZFS и скорость доступа к диску в гипервизорах
2018-09-16 в 15:20, admin, рубрики: hypervisors, proxmox, proxmox ve, raid, zfs, zfsonlinux, виртуализация, гипервизор, Накопители, системное администрирование, Статистика в ITСписок статей и литературы про NAS
2018-08-22 в 12:49, admin, рубрики: cloud, containers, crypto, DAS, data storage, diy или сделай сам, freenas, home server, linux, luks, NAS, omv, openmediavault, sas, system design, virtualization, zfs, zfsonlinux, оборудование, проектирование систем, сервер, сетевые хранилища, хранение данных, хранилища данных, хранилище данных
В рамках цикла статей по построению NAS, либо домашнего сервера, по просьбам пользователей я погуглил за вас и сделал небольшой обзор информационных источников.
В этой статье собраны ссылки на большую часть материалов, которые я использовал. По мере накопления и обработки материалов, тут может появиться что-то новое.
Цикл статей: построение NAS, либо домашнего мини-сервера
2018-07-24 в 13:18, admin, рубрики: cloud, cloudns, containers, crypto, cryptsetup, DAS, data storage, DIY, diy или сделай сам, DNS, docker, freenas, hardware, ldap, ldapadmin, linux, luks, NAS, nginx, omv, openmediavault, operating systems, sas, system design, virtualization, web-сервер, zfs, zfsonlinux, Анализ и проектирование систем, архитектура, оборудование, проектирование систем, сервер, сетевые хранилища, хранилища данных, хранилище данных
Как видно из новостей, облака и крупные компании — это удобно и надёжно, но далеко не всегда:
- Безопасности уделяется мало внимания, несмотря на все заверения.
- Смена тарифов зависит только от прихоти компании.
- Старые сервисы уходят с неизвестными для пользователей последствиями.
- Ваш аккаунт могут заблокировать в любой момент, по не вполне понятным причинам.
- И не стоит даже говорить о том, что в один прекрасный момент доступ к вашим ресурсам вам может заблокировать государство.
Так что, кормить облачные сервисы хорошо, но в некоторых случаях "своя рубашка ближе к телу".
Изначально, одной из моих целей являлось исследование построения собственной системы, в частности NAS с возможностью работы "домашним сервером".
Постепенно возникла идея, что в свете недавних событий, информация такого плана интересна, и неплохо бы аккумулировать её в одном месте, структурировать и дополнить.
В итоге, должно сформироваться что-то вроде общедоступных best practices для энтузиастов, начиная от выбора и сборки железа и заканчивая программным обеспечением.
Данная статья является оглавлением к статьям по построению NAS.
ZFSin: работаем с ZFS нативно под Windows
2018-05-28 в 19:57, admin, рубрики: open zfs, open zfs on windows, openzfsonwindows, zfs, ZFSin, разработка под windows, системное администрирование, хранение данных
Делая поиск на Хабру по слову ZFS, я обнаружил почти полсотни статей так или иначе упоминающих замечательную файловую систему c таким именем. Отдельно, к примеру, можно упомянуть достадочно свежие материалы "ZFS on Linux: вести с полей 2017" и "ZFS — лучшая файловая система (пока)". Делал этот поисковый запрос я вот почему…
Уже более 7 лет люди задаются вопросом, "как получить доступ к ZFS из Windows?". И приблизительно 6 лет вменяемого и практичного ответа на этот вопрос не существовало. Речь даже не о производительности, сама возможность хотя бы нативно читать данные в Windows из томов отформатированных под файловую систему ZFS будоражит мозг многих технарей и сисадминов. И вот однажды один энтузиаст решил изменить унылое положение дел c отсутствиеем поддержки ZFS в самой популярной потребительской десктопной ОС. Странно только, что за год эта новость до сих пор не добралась до Хабра. Думаю, стоит это исправить.
И так встречайте — ZFSin, нативный полнофункциональный драйвер файловой системы ZFS для Windows. Драйвер находится в альфа-стадии и не подходит для продакшн-окружений, но уже многое умеет.
Читать полностью »
-boot на ZFS зеркале
2018-05-19 в 10:49, admin, рубрики: boot, grub, linux, zfs, zfsonlinux, загрузка ос, хранение данных
Понимая, как используется дисковое пространство в Linux
2018-05-10 в 6:27, admin, рубрики: btrfs, linux, zfs, Блог компании Флант, Настройка Linux, системное администрирование, файловые системы, файлы, хранение данныхПрим перев.: Автор оригинальной статьи — испанский Open Source-энтузиаст nachoparker, развивающий проект NextCloudPlus (ранее известен как NextCloudPi), — делится своими знаниями об устройстве дисковой подсистемы в Linux, делая важные уточнения в ответах на простые, казалось бы, вопросы…
Сколько пространства занимает этот файл на жёстком диске? Сколько свободного места у меня есть? Сколько ещё файлов я смогу вместить в оставшееся пространство?
Ответы на эти вопросы кажутся очевидными. У всех нас есть инстинктивное понимание работы файловых систем и зачастую мы представляем хранение файлов на диске аналогично заполнению корзины яблоками.
Однако в современных Linux-системах такая интуиция может вводить в заблуждение. Давайте разберёмся, почему.Читать полностью »
Нужно ли собирать NAS?
2018-05-02 в 15:48, admin, рубрики: DAS, DIY, diy или сделай сам, freenas, linux, NAS, qnap, QNAS, sas, Synology, Thecus, wd, zfs, обзор рынка, оборудование, сервер, сетевые хранилища, хранение данных, хранилища данных, хранилище данных
Как в блогах, так и в журналах есть множество статей о том, как собрать NAS своими руками.
И с первого взгляда кажется, что при наличии прямых рук, свой NAS по всем пунктам бьёт покупное решение.
"Фигак, фигак и в продакшн", — и вот уже быстро, дёшево и качественно реализованное хранилище радует вас высокой производительностью и надёжностью.
Установка Debian с корнем на шифрованном ZFS зеркале
2018-03-24 в 18:18, admin, рубрики: crypto, cryptsetup, linux, luks, rootfs, zfs, zfsonlinux
Предисловие
В связи с необходимостью работать в другом городе, пришлось приобрести ноутбук.
Постепенно, назрела проблема синхронизации его и стационарной машины.
Несмотря на то, что все мои проекты ведутся в гите, не весь код полностью мой, и не хочется его выкладывать на гитхаб.
Для решения этой проблемы, я начал строить свой NAS, который даст мне, ко всему прочему, дополнительные возможности.
Изучив, какие сейчас имеются ОС для решения данной задачи, я пришёл к выводу, что изо всего многообразия, наиболее развиты, широко используемы и, следовательно, проработаны, FreeNAS на основе FreeBSD и OpenMediaVault на основе Debian, созданный одним из разработчиков FreeNAS.
FreeNAS стабилен, удобен, гибок и вообще хорош, но попытавшись его поставить, вместо FreeBSD bsdinstall, я увидел совершенно урезанный инсталлятор, в котором я могу только выбрать диски и ввести пароль root: даже разметить диски нельзя.
GELI мне понравился больше cryptsetup на Linux, как и BSD-шный parted.
Попытавшись сделать root на шифрованном разделе, я понял, что эта задача нетривиальна, несмотря на то, что они уже используют root на ZFS.
Затем, пообщавшись, с сообществом FreeNAS, которые стали доказывать, что FreeNAS — не ОС, а приложение, я решил установить OMV.
К тому же, Debian — моя основная ОС и с Linux дела обещали быть проще...
Выяснилось, что не совсем. Задача создания такой конфигурации, как у меня, совсем не тривиальна. Потому, я решил написать данную статью.
Производительность mdadm raid 5,6,10 и ZFS zraid, zraid2, ZFS striped mirror
2017-12-08 в 9:15, admin, рубрики: fio, linux, mdadm, raid, zfs, виртуализация, высокая производительность, Настройка Linux, системное администрирование, СХДТестируем производительность ZFS и mdadm+ext4 на SSD Sandisk CloudSpeed
для выбора технологии создания локального дискового массива.
Цель данного тестирования — выяснить, с какой реальной скоростью смогут работать виртуальные машины в raw файловых образах, если разместить их на 4-х производительных SSD-дисках. Тестирование будет производится в 32 потока, чтобы приблизительно создать условия работы реального гипервизора.
Клонирование 50Gb базы из Prod в Dev за 1 секунду без потери целостности
2017-10-29 в 5:43, admin, рубрики: lxc, mongodb, proxmox, zfs, виртуализация, контейнерная виртуализация, управление разработкой
Список инструментов
- Proxmox
- ZFS
- LXC
- MongoDB в качестве подопытной базы
Предисловие
Меня зовут Евгений Савёлов, я занимаюсь сетями, виртуализацией, Windows и Linux серверами, координирую работу программистов и заказчиков в небольшой компании.
Я вижу, что многие используют системы виртуализации, такие как Proxmox, но не знают как использовать преимущества LXC и ZFS. Многие просто используют классические файловые системы, такие, как Ext4, и классические методы клонирования и резервного копирования контейнеров. Это приводит к простоям во время клонирования больших контейнеров и к высокой нагрузке на сервер.
Так же я подготовил материал в виде 6 минутного скринкаста. Голосового сопровождения нет, поэтому наушники можете не искать :). Зато есть аннотации снизу.
Открыть видео