VMware ESXi и NetApp FAS: тюнинг

В продолжение темы об оптимизации хоста для взаимодействия с Linux ^[1] и Windows ^[2] в среде vVOL была реализована ^[3] одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не выпущен. В связи с чем системы хранения NetApp FAS крайне популярны в этом окружении.

Натройки VMWare ESXi можно разделить на следующие части:

• Оптимизация гипервизора
• Оптимизация гостевой ОС (GOS)
• Оптимальные настройки SAN (FC/FCoE и iSCSI)
• Настройки NAS (NFS)
• Проверка совместимости оборудования, прошивок и ПО

Есть пару основных документов, на которые необходимо опираться при настройке VMware + NetApp:

TR-4068: VMware vSphere 5 on NetApp Clustered Data ONTAP ^[4]
TR 3839: Использование NFS в VMware (7-Mode) ^[5]
TR-3749: Руководство по наилучшим способам использования систем NetApp с VMware vSphere (7-Mode) ^[6]
TR-3802: Ethernet для систем хранения: наилучшие методы (7-Mode) ^[7]

Hypervisor ^[8]

Отдавать гостевой ОС все ресурсы сервера не стоит, во-первых гипервизору нужно оставить минимум 4ГБ ОЗУ, во-вторых иногда наблюдается обратный эффект при добавлении ресурсов гостевой ОС, это нужно подбирать эмпирическим путём.

SWAP ^[9]

Рекомендуется не использовать файлы подкачки виртуальной памяти на уровне гостевой о снепшотах и резервном копировании для NetApp FAS ^[10]. Вынеся SWAP «наружу», появится возможность назначать отдельно от гостевой ОС, уровень приоритетов для SWAP-датастора.

Гостевые ОС ^[11]

Тюнинг настроек нужен для двух целей:

• Оптимизация скорости рабоыты гостевых ОС
• Нормальная работа в HA паре, при отказе одного контроллера (takeover) и возобновлении его работы (takeover)

Disk alignment ^[12]

Для оптимизации производительности, возможно, потребуется устранить disk misalignment. Misalignment можно получить в двух случаях:

1. из-за неправильно выбранной геометрии луна при его создании в СХД. Такую ошибку можно создать только в SAN окружении
2. внутри виртуальных дисков виртаульных машин. Может быть как в SAN так и в NAS окружении

Давайте разберем эти случаи.
Для начала рассмотрим полностью выровнянные блоки по границах VMFS датастора и хранилища.

Первый случай это когда есть misalignment VMFS датастора относительно хранилища. Для устранения первого типа проблемы необходимо создать лун с правильной геометрией и переместить туда виртуальные машины.

Вторую ситуацию, со смещенными разделами файловой системы внутри гостевой гостевых ОС Windows ^[13] при помощи утилиты dmdiag.exe -v (значение поля Rel Sec должно быть кратно 4KB на диагностике misalignment для Windows ^[14] машин. Также размещение файловой системы на диске может быть проверено при помощи утилиты mbralign для ESXi хоста ^[15], входящей в состав NetApp Host Utilities version 5.x ^[16] и VSC ^[17]. Подробнее как устранять такие ситуации описано в TR-3747 Best Practices for File System Alignment in Virtual Environments ^[18].

Ну и конечно же можно получить misalignment сразу на двух уровнях: как на уровне поиске misalignment со стороны хранилища NetApp FAS ^[19].

takeover/giveback ^[20]

Для отработки при takeover/giveback необходимо настроить павильные таймауты гостевых ОС:

Дефолтные значения ОС в случае использования NFS удовлетворительны, и настройки для гостевых ОС не нужно менять.

Устанавливаются эти значения вручную или при помощи скриптов доступных в составе VSC ^[17].
Windows: Установить значение задержки доступа к диску 60 сек при помощи реестара (задаётся в секундах, в шеснадцатиричной форме).

[HKEY_LOCAL_MACHINESYSTEMCurrentControlSetservicesDisk]
"TimeOutValue"=dword:0000003c

Linux: Установить значение задержки доступа к диску 60 сек при помощи создания udev правила (задаётся в секундах, в шеснадцатиричной форме).

DRIVERS=="sd", SYSFS{TYPE}=="0|7|14", RUN+="/bin/sh -c 'echo 60 > /sys$$DEVPATH/timeout'"

(Linux дистрибутивы могут иметь разное расположение установки правил udev). VMware Tools для гостевой Linux ОС автоматически устанавливает udev правило со значением задержки для виртуального диска равное 180 секунд. Вы можете запустить команду grep для «VMware» vendor ID в папке с правилами udev чтобы найти скрипт который устанваливает это значение и изменить его при необходимости. Не забудьте проверить это значение.

Solaris: Устанавить значение 60 сек задержки (задаётся в секундах, в шеснадцатиричной форме) для диска можно в файле /etc/system:

set sd:sd_io_time=0x3c

Дополнительные настройки могут быть внесены в файл /kernel/drv/sd.conf:
Solaris 10.0 GA — Solaris 10u6:

sd-config-list="NETAPP  LUN","netapp-sd-config",
"VMware  Virtual","netapp-sd-config";
netapp-sd-config=1,0x9c01,32,0,0,0,0,0,0,0,0,0,300,300,30,0,0,8,0,0;

Solaris 10u7 и новее и Solaris 11:

sd-config-list= "NETAPP  LUN","physical-block-size:4096,retries-busy:300,retries-timeout:16,retries-notready:300,retries-reset:30,throttle-max:32,throttle-min:8",
"VMware  Virtual","physical-block-size:4096,retries-busy:300,retries-timeout:16,retries-notready:300,retries-reset:30,throttle-max:32,throttle-min:8";

Обратите внимение: на два пробела между vendor ID NETAPP и ID LUN, также как и между словами «VMware» и «Virtual» в конфиге выше.

Настройки FC/FCoE Switch Zoning ^[21]

Для cDOT 8.x: LIF интерфейс настраивается поверх физического интерфейса. Один физический интерфейс может меть несколько vserver'ов, удостоверьтесь, что как минимум один LIF интерфейс был настроен на той ноде, на которой расположен LUN чтобы они могли быть использован как FC или FCoE target'ы. Таргетам должен быть проасоциированы WWPN'ы и каждый получил ID от свича при помощи NPIV.
Для обоих NetApp + VMWare с SAN ^[22].
Подробнее о настройках зонирования для NetApp FAS ^[23].

#esxcfg-advcfg -s 30 /Net/TcpipHeapSize
#esxcfg-advcfg -s 120 /Net/TcpipHeapMax
 
#esxcfg-advcfg -s 64 /NFS/MaxVolumes
#esxcfg-advcfg -s 10 /NFS/HeartbeatMaxFailures
#esxcfg-advcfg -s 12 /NFS/HeartbeatFrequency
#esxcfg-advcfg -s 5 /NFS/HeartbeatTimeout
 
#esxcfg-advcfg -s 32 /Disk/QFullSampleSize
#esxcfg-advcfg -s 8 /Disk/QFullThreshold

#esxcfg-advcfg -g /Net/TcpipHeapSize
#esxcfg-advcfg -g /Net/TcpipHeapMax
 
#esxcfg-advcfg -g /NFS/MaxVolumes
#esxcfg-advcfg -g /NFS/HeartbeatMaxFailures
#esxcfg-advcfg -g /NFS/HeartbeatFrequency
#esxcfg-advcfg -g /NFS/HeartbeatTimeout
 
#esxcfg-advcfg -g /Disk/QFullSampleSize
#esxcfg-advcfg -g /Disk/QFullThreshold

#esxcfg-advcfg -s 32 /Net/TcpipHeapSize
#esxcfg-advcfg -s 128 /Net/TcpipHeapMax(For vSphere 5.0/5.1) 
#esxcfg-advcfg -s 512 /Net/TcpipHeapMax(For vSphere 5.5)

#esxcfg-advcfg -s 256 /NFS/MaxVolumes
#esxcfg-advcfg -s 10 /NFS/HeartbeatMaxFailures
#esxcfg-advcfg -s 12 /NFS/HeartbeatFrequency
#esxcfg-advcfg -s 5 /NFS/HeartbeatTimeout 
#esxcfg-advcfg -s 64 /NFS/MaxQueueDepth

#esxcfg-advcfg -s 32 /Disk/QFullSampleSize
#esxcfg-advcfg -s 8 /Disk/QFullThreshold

#esxcfg-advcfg -g /Net/TcpipHeapSize
#esxcfg-advcfg -g /Net/TcpipHeapMax

#esxcfg-advcfg -g /NFS/MaxVolumes
#esxcfg-advcfg -g /NFS/HeartbeatMaxFailures
#esxcfg-advcfg -g /NFS/HeartbeatFrequency
#esxcfg-advcfg -g /NFS/HeartbeatTimeout
#esxcfg-advcfg -g /NFS/MaxQueueDepth

#esxcfg-advcfg -g /Disk/QFullSampleSize
#esxcfg-advcfg -g /Disk/QFullThreshold

# esxcli storage core device set --device naa.60a98000486e5334524a6c4f63624558 --queue-full-sample-size 32 --queue-full-threshold 8

# esxcli storage core device list