В этой статье я отклонюсь от традиционной для меня темы систем хранения FAS и подниму тему объектного хранения данных в системах NetApp StorageGrid WebScale. Если кратко, то объектное хранение — это третий тип хранения наряду с NAS и SAN. Представьте себе, что каждый файл состоит из данных и метаинформации (владелец, права, время модификации и т.д.), так вот объектное хранение позволяет разъединить эти части и хранить их в виде «ключ/значение». Такой подход хранения информации открывает возможности децентрализованного, распределённого хранения данных огромных масштабов с прозрачной миграцией данных, репликацией и прозрачным переключением конечных потребителей между нодами объектного кластера. В широком смысле объектное хранилище может быть реализовано как на уровне устройства (жесткого диска), при помощи специализированных SCSI команд (Object-based Storage Device Commands), так и на уровне протокола доступа к системе хранения, которая состоит из нескольких дисков (которые, в свою очередь, вовсе не обязаны быть объектными). В обоих случаях используется Ethernet для подключения и IP протокол для передачи данных. Примером реализации объектного хранилища на уровне устройства являются жесткие диски линейки Seagate Kinetic Open Storage platform. Примером систем хранения данных в облаке может быть Microsoft Azure BLOB, Amazon S3. В этой статье я остановлюсь на объектных СХД, которые можно развернуть у себя на сайте и при необходимости подключить к облаку.
Читать полностью »
Рубрика «nfs» - 2
Объектное хранилище NetApp StorageGrid
2016-05-10 в 13:18, admin, рубрики: AltaVault, amazon, Amazon CloudFront, amazon s3, archive, backup, big data, blob, CDMI, ceph, CIFS, cinder, Citrix Sharefile, cloudfront, Commvault, Ctera, DDP, docker, Dynamic Disk Pools, E-Series, Egnyte, Erasure Coding, File share, File sync, Geo-EC, glance, Inktank, Inktank Ceph, kilo, kvm, NAS, NetApp, NetApp AltaVault, NetApp E-Series, NetApp StorageGrid, nfs, NTP software, object storage, OpenStack Heat, OpenStack Kilo, raid, RESTful HTTP, s3, SCSI, SGAPI, smb, SoftNAS, stealth, StorageGrid, swift, Swift API, Symantec Enterprise Vault, Анализ и проектирование систем, ит-инфраструктура, системное администрирование, хранение данныхUDP-TCP File System, Trivial Remote File System
2016-04-30 в 13:49, admin, рубрики: file system, file system api, nfs, контроллер, Сетевые технологии, системное программирование, метки: file system, file system apiСегодня выходной, так что напишу коротко про мелочи, до которых, как правило, руки не доходят.
TCP FS
Есть ещё одна вещь, которой нет в современном Юниксе и которую я хочу иметь в unix box фантома. Она проста как мычание, и почему её никто не сделал — непостижимо:
#cat /tcp/host/port > local_file
Правда, я хочу использовать иной синтаксис имени файла, URL style — tcp://host:port, но это уже детали. Естественно, наравне с TCP просится UDP, и там вообще проблем нет.
Для TCP есть очевидная проблема — нужен ли нам listen или connect, но её можно решить через указание в имени «файла» определённого суффикса.
Сказать на эту тему настолько больше нечего, что перейдём без остановки к следующей.
TRFS — тривиальная дистанционная файловая система.
Визуализация NFS-трафика с помощью elasticsearch+kibana
2016-04-02 в 21:49, admin, рубрики: elasticsearch, Go, golang, kibana, nfs, packetbeat, визуализация данных, системное администрирование, системное программирование 
По долгу службы, мне часто приходится анализировать NFS-трафик. Wireshark является моим основным инструментом и для него я даже создавал расширение на lua. Но чего-то не хватало. И вот две недели назад я наткнулся на новый для меня инструмент Packetbeat. К сожалению, paketbeat не поддерживает не поддерживал NFS, но этот недостаток мне удалось исправить.
Packetbeat
Paketbeat — это один из инструментов из комплекта beats от создателей elasticsearch, logstash и kibana. Это отправитель (shipper) данных в elasticsearch, который слушает сетевой трафик, конвертирует его в json-записи и посылает в elasticsearch. Если вы используете Kibana4, то есть стандартные панели для визуализации собранного трафика. На данный момент, packetbeat распознаёт TCP, UDP, DNS, ICMP, HTTP, memcache, MongoDB, redis, PostgreSQL, MySQL, thrift и, теперь уже, NFS. Где-то внутри, packetbeat использует libpcap.
Тонкий клиент HP в качестве домашнего роутера и файл-сервера (часть 1)
2015-05-19 в 10:16, admin, рубрики: CentOS, hostapd, how-to, linux, NAS, nfs, router on a stick, samba, t5550, transmission, домашний сервер, Железо, роутер, Сетевое оборудование, тонкий клиент, метки: t5550Появилась необходимость в домашнем сервере. После изучение тематики, было принят решение о сборке сервера, на базе тонкого клиента. Так как основными требования для меня были:
- низкий уровень шума
- низкое энергопотребление
- универсальность
Мой выбор пал на тонкие клиенты компании HP. В моем городе удалось приобрести тонкий клиент HP t5550:
В течение года EA планирует выпустить новый Mirror’s Edge, NFS и другие игры
2015-05-07 в 15:55, admin, рубрики: EA, Mirrors edge, nfs, Star Wars Battlefront, верните старый C&C., Игровые приставки, игры, релизы, метки: EA, Mirrors edge 
Сиквел полюбившейся многим паркур-игры Mirror's Edge, вышедшей в уже далеком 2008 году, планируется выпустить в начале следующего года для консолей и ПК сообщает engadget.com.
Читать полностью »
Установка FreeBSD по сети (PXE) с linux-сервера (dnsmasq + nfs)
2015-02-04 в 10:59, admin, рубрики: dnsmasq, freebsd, nfs, pxe, Настройка Linux, системное администрирование, метки: FreeBSD, PXE Возникла потребность установить FreeBSD на ноутбук. Так как ноутбук древний, он не поддерживает загрузку с флэшки по usb. Болванки под рукой также не оказалось, было решено опробовать установку через PXE (Preboot eXecution Environment). Погуглив, я нашел несколько статей на эту тему, однако в них описывается установка linux с linux-сервера, либо FreeBSD с FreeBSD-сервера. Я не претендую на создание какого-то особенного метода, просто выкладываю свою инструкцию по быстрому развертыванию FreeBSD 10.1 по сети.
Читать полностью »
VMware ESXi и NetApp FAS: тюнинг
2014-12-30 в 7:47, admin, рубрики: alua, cDOT, disk misalignment, ESXi, esxi 4, FCoE, fiberchannel, gos, HBA, high availability, iscsi, jumbo frames, linux, loadbalancing, misalignment, mpio, NAS, NetApp, NetApp FAS, nfs, RDM, SAN, Solaris, tuning, vaai, vasa, vcenter, vmfs, VMware, VMWare ESXi, wafl, windows, виртуализация, высокая производительность, системное администрирование, хранение данныхВ продолжение темы об оптимизации хоста для взаимодействия с СХД NetApp FAS, эта статья будет посвещена оптимизации производительности VMWare ESXi, предыдущие статьи были посвящены тюнингу ОС Linux и Windows в среде SAN. Компания NetApp давно тесно сотрудничает с VMware, подтверждением тому может стать тот факт, что нашумевшая технология vVOL была реализована одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не выпущен. В связи с чем системы хранения NetApp FAS крайне популярны в этом окружении.
Натройки VMWare ESXi можно разделить на следующие части:
- Оптимизация гипервизора
- Оптимизация гостевой ОС (GOS)
- Оптимальные настройки SAN (FC/FCoE и iSCSI)
- Настройки NAS (NFS)
- Проверка совместимости оборудования, прошивок и ПО
Отслеживаем время отклика NFS сервера с помощю tshark и lua
2014-10-25 в 20:13, admin, рубрики: api, Lua, nfs, wireshark, системное администрирование На днях встал перед задачей, как определить, сколько времени тратит NFS сервер на запрос.
Оказалось, что это не так уж и просто посмотреть. Но на помощь пришёл любимый молоток инструмент — wireshark. Для wireshak можно написать своё расширение на LUA.
Обзор CentOS 7. Часть 3: NFS, FedFS, pNFS
2014-08-01 в 15:11, admin, рубрики: fedfs, infobox, linux, nfs, pNFS, Блог компании Infobox, хостингВ первой части обзора CentOS 7 было рассказано о поддержке контейнеров Linux в Cent OS 7. Во второй части мы поговорили об управлении идентификацией. Третья часть обзора посвящена сетевой файловой системе NFS и файловой системе GFS2. В конце поста ссылка на бесплатное тестирование CentOS 7 в облаке InfoboxCloud.
NFS
Сетевая файловая система NFS позволяет удаленным хостам монтировать файловые системы по сети и взаимодействовать с этими файловыми системами так, словно они смонтированы локально.
В CentOS 7 поддерживаются две версии NFS: v3 и v4. NFSv3 поддерживает безопасные асинхронные записи и более надежную обработку ошибок по сравнению с NFSv2 и поддерживает 64-разрядные размеры файлов, позволяя клиентам получать доступ более чем к двум гигабайтам данный файлов. NFSv4 поддерживает работу через файрволы в интернете, больше не требует сервиса rcpbind, поддерживает списки контроля доступа ACL и использует операции с состоянием.
Читать полностью »
Создание надёжного хранилища раздаваемого нескольким серверам по nfs
2014-02-06 в 12:18, admin, рубрики: drbd, linux, nfs, Ubuntu, метки: drbd, nfs, UbuntuПри создании кластера для обработки звонков на базе CGP возникла необходимость настройки бесперебойного хранилища, монтируемого с нескольких сервров.
В качестве дистрибутиа для серверов был взят Ubuntu Server 10.10. Дисковое пространство было разбито на два логических диска (sda1 для установки системы, и sda2 собственно для разделяемого диска).
После установки базовой системы надо дополнительно установить следующие пакеты: heartbeat, pacemaker, drbd8-utils, xfs, xfsprogs, nfs-kernel-server.
Heartbeat и pacemaker нужны для кластеризации серверов. Хранилище сделано на основе drbd, в качестве файловой системы использовалась xfs. Раздача файловой системы серверам сделана по nfs.