- PVSM.RU - https://www.pvsm.ru -
В продолжение темы об оптимизации ESXi хоста для взаимодействия с Linux [1], Windows [2] и VMware ESXi 5.X [3] в среде vVOL была реализована [4] одной из первых ещё в релизе Clustered Data ONTAP 8.2.1 (Август 2014), в то время как vSphere 6.0 ещё даже не был выпущен. Компания NetApp первой объявила поддержку vVol c NFS (Возможно NetApp по-прежнему здесь единственный, не слежу). В связи с чем системы хранения ONTAP крайне популярны в этом окружении.
Эта статья будет полезна владельцам систем хранения с ONTAP, а часть про Disk Alignment [5] будет полезна не только владельцам NetApp`а.
Настройки VMWare ESXi 6.X можно разделить на следующие части:
Для поиска узкого места обычно выполняют методику последовательного исключения. Предлагаю перво-наперво начать с СХД [6] -> Сеть (Ethernet [7] / FC) -> Хост ( Windows [2] / Linux [1] / VMware ESXi ) -> Приложение.
Есть пару основных документов, на которые необходимо опираться при настройке VMware + NetApp:
How to configure VMware vSphere 6.x on ONTAP 8.x [8]
Virtual Storage Console 6.0 for VMware vSphere Installation [9]
TR-4128: vSphere 6 on NetApp MetroCluster 8.3 [10]
Отдавать гостевой ОС все ресурсы сервера не стоит, во-первых гипервизору нужно оставить минимум 4ГБ ОЗУ, во-вторых иногда наблюдается обратный эффект при добавлении ресурсов гостевой ОС, это нужно подбирать эмпирическим путём.
Этот раздел вынесен в отдельный пост [13].
Тюнинг настроек нужен для двух целей:
Для оптимизации производительности, возможно, потребуется устранить disk misalignment [15]. Misalignment можно получить в двух случаях:
Давайте разберем эти случаи
В ново созданной VMFS5 (не апгрейд с VMFS3) блок имеет размер 1MB с суб-блоками 8KB.
Для отработки при takeover/giveback в HA паре, необходимо настроить правильные таймауты гостевых ОС. Для дисковых FAS систем это время 60 секунд, а для All Flash FAS (AFF) это 2-15 секунд. Так как в кластере могут находиться СХД разных моделей, дисковые, гибридные и AFF системы, а данные могут мигрировать между этими системами, рекомендуется использовать наихудшее значение таймаутов (у дисковых систем), а именно 60 секунд:
ОС | Updated Guest OS Tuning for SAN: ESXi 5 и новее, или ONTAP 8.1 и новее (SAN) |
---|---|
Windows | disk timeout = 60 |
Linux | disk timeout = 60 |
Solaris | disk timeout = 60; busy retry = 300; not ready retry = 300; reset retry = 30; max. throttle = 32; min. throttle = 8; corrected VID/PID specification |
Дефолтные значения ОС в случае использования NFS удовлетворительны, и настройки для гостевых ОС не нужно менять.
Устанавливаются эти значения вручную или при помощи скриптов доступных в составе VSC:
[HKEY_LOCAL_MACHINESYSTEMCurrentControlSetservicesDisk]
"TimeOutValue"=dword:0000003c
DRIVERS=="sd", SYSFS{TYPE}=="0|7|14", RUN+="/bin/sh -c 'echo 60 > /sys$$DEVPATH/timeout'"
(Linux дистрибутивы могут иметь разное расположение установки правил udev). VMware Tools для гостевой Linux ОС автоматически устанавливает udev правило со значением задержки для виртуального диска равное 180 секунд. Вы можете запустить команду grep для «VMware» vendor ID в папке с правилами udev чтобы найти скрипт, который устанавливает это значение и изменить его при необходимости. Не забудьте проверить это значение.
set sd:sd_io_time=0x3c
Дополнительные настройки могут быть внесены в файл /kernel/drv/sd.conf:
Solaris 10.0 GA — Solaris 10u6:
sd-config-list="NETAPP LUN","netapp-sd-config",
"VMware Virtual","netapp-sd-config";
netapp-sd-config=1,0x9c01,32,0,0,0,0,0,0,0,0,0,300,300,30,0,0,8,0,0;
sd-config-list= "NETAPP LUN","physical-block-size:4096,retries-busy:300,retries-timeout:16,retries-notready:300,retries-reset:30,throttle-max:32,throttle-min:8",
"VMware Virtual","physical-block-size:4096,retries-busy:300,retries-timeout:16,retries-notready:300,retries-reset:30,throttle-max:32,throttle-min:8";
Обратите внимание: на два пробела между vendor ID NETAPP и ID LUN, также, как и между словами «VMware» и «Virtual» в конфиге выше.
Подробнее о рекомендациях зонирования для NetApp в картинках [22].
Для ONTAP 8.X и 9.X ALUA всегда включён для всех блочных протоколов: iSCSI/FC/FCoE.
Если хост правильно определил ALUA, то Storage Array Type plug-in будет отображать VMW_SATP_ALUA. Для ALUA, разрешается к использованию алгоритм Most Recently Used или Round Robin — любой.
Round Robin будет более производительнее если путей больше чем один к контроллеру. В случае использования Microsoft Cluster + RDM дисков к применению рекомендован механизм балансировки Most Recently Used.
Ниже таблица рекомендуемых настроек балансировки нагрузки. Подробнее о логике работы NetApp ONTAP, ALUA и балансировке нагрузки для блочных протоколов [24].
Mode | ALUA | Protocol | Политика ESXi | Балансировка путей ESXi |
---|---|---|---|---|
ONTAP 9.x / 8.x (Clustered) | Enabled | FC/FCoE/iSCSI | VMW_SATP_ALUA | Most Recently Used |
ONTAP 9.x / 8.x (Clustered) | Enabled | FC/FCoE/iSCSI | VMW_SATP_ALUA | Round Robin |
~ # esxcli storage nmp device list
naa.60a980004434766d452445797451376b
Device Display Name: NETAPP Fibre Channel Disk (naa.60a980004434766d452445797451376b)
Storage Array Type: VMW_SATP_ALUA
Storage Array Type Device Config: {implicit_support=on;explicit_support=off; explicit_allow=on;alua_followover=on;{TPG_id=1,TPG_state=ANO}{TPG_id=0,TPG_state=AO}}
Path Selection Policy: VMW_PSP_RR
Path Selection Policy Device Config: {policy=rr,iops=1000,bytes=10485760,useANO=0; lastPathIndex=0: NumIOsPending=0,numBytesPending=0}
Path Selection Policy Device Custom Config:
Working Paths: vmhba2:C0:T6:L119, vmhba1:C0:T7:L119
Is Local SAS Device: false
Is USB: false
Is Boot USB Device: false
Для оптимальной работы ESXi хоста необходимо установить рекомендуемые для него параметры.
Параметр | Протокол(ы) | ESXi 6.x с DataONTAP 8.x | ESXi 6.x с DataONTAP 9.x |
---|---|---|---|
Net.TcpipHeapSize | iSCSI/NFS | 32 | |
Net.TcpipHeapMax | iSCSI/NFS | 512 | |
NFS.MaxVolumes | NFS | 256 | |
NFS41.MaxVolumes | NFS 4.1 | 256 | |
NFS.HeartbeatMaxFailures | NFS | 10 | |
NFS.HeartbeatFrequency | NFS | 12 | |
NFS.HeartbeatTimeout | NFS | 5 | |
NFS.MaxQueueDepth | NFS | 64 | |
Disk.QFullSampleSize | iSCSI/FC/FCoE | 32 | |
Disk.QFullThreshold | iSCSI/FC/FCoE | 8 |
Есть несколько способов это сделать:
#Для протоколов iSCSI/NFS
#esxcfg-advcfg -s 32 /Net/TcpipHeapSize
#esxcfg-advcfg -s 512 /Net/TcpipHeapMax
#Для протокола NFS
#esxcfg-advcfg -s 256 /NFS/MaxVolumes
#esxcfg-advcfg -s 10 /NFS/HeartbeatMaxFailures
#esxcfg-advcfg -s 12 /NFS/HeartbeatFrequency
#esxcfg-advcfg -s 5 /NFS/HeartbeatTimeout
#esxcfg-advcfg -s 64 /NFS/MaxQueueDepth
#Для протокола NFS v4.1
#esxcfg-advcfg -s 256 /NFS41/MaxVolumes
#Для протоколов iSCSI/FC/FCoE
#esxcfg-advcfg -s 32 /Disk/QFullSampleSize
#esxcfg-advcfg -s 8 /Disk/QFullThreshold
#Для протоколов iSCSI/NFS
#esxcfg-advcfg -g /Net/TcpipHeapSize
#esxcfg-advcfg -g /Net/TcpipHeapMax
#Для протокола NFS
#esxcfg-advcfg -g /NFS/MaxVolumes
#esxcfg-advcfg -g /NFS/HeartbeatMaxFailures
#esxcfg-advcfg -g /NFS/HeartbeatFrequency
#esxcfg-advcfg -g /NFS/HeartbeatTimeout
#esxcfg-advcfg -g /NFS/MaxQueueDepth
#Для протокола NFS v4.1
#esxcfg-advcfg -g /NFS41/MaxVolumes
#Для протоколов iSCSI/FC/FCoE
#esxcfg-advcfg -g /Disk/QFullSampleSize
#esxcfg-advcfg -g /Disk/QFullThreshold
NetApp как правило рекомендует использовать для ONTAP систем с хостом ESXi «значения по умолчанию» для смотри стр. 21 [27]) увеличить длину очереди до 64 на ESXi (как это сделать написано в Vmware KB 1267 [28]).
# посмотреть драйвер для Qlogic на ESXi 5.5 и 6.0
# esxcli system module list | grep qln
# Установить значение для Qlogic на ESXi 5.5 и 6.0
# esxcli system module parameters set -p qlfxmaxqdepth=64 -m qlnativefc
В случае использования Ethernet с NetApp ONTAP [32]. Не забывайте также о рекомендациях VMware по настройкам LACP, Port-channel, Spanning Tree, PortFast, Flowcontrol.
Также не забудьте, что порт-группа установленная для виртуального сетевого адаптера вашей виртуальной машине должна быть подключена к виртуальному свичу с установленной настройкой MTU 9000 для всего свича.
Системы ONTAP поддерживают примитивы VMware VSC [29] может выполнить установку правильно настроить NFS шару для VAAI [36], для чего необходимо удовлетворить несколько требований:
cm3240c-rtp::> export-policy rule show -vserver vmware -policyname vmware_access -ruleindex 2
(vserver export-policy rule show)
Vserver: vmware
Policy Name: vmware_access
Rule Index: 1
Access Protocol: nfs3 <---- needs to be 'nfs' or 'nfs3,nfs4'
Client Match Spec: 192.168.1.7
RO Access Rule: sys
RW Access Rule: sys
User ID To Which Anonymous Users Are Mapped: 65534
Superuser Security Flavors: sys
Honor SetUID Bits In SETATTR: true
cm3240c-rtp::> export-policy rule show -vserver vmware -policyname root_policy -ruleindex 1
(vserver export-policy rule show)
Vserver: vmware
Policy Name: root_policy
Rule Index: 1
Access Protocol: nfs <--- like requirement 1, set to nfs or nfs3,nfs4
Client Match Spec: 192.168.1.5
RO Access Rule: sys
RW Access Rule: never <--- this can be never for security reasons
User ID To Which Anonymous Users Are Mapped: 65534
Superuser Security Flavors: sys <--- this is required for VAAI to be set, even in the parent volumes like vsroot
Honor SetUID Bits In SETATTR: true
Allow Creation of Devices: true
cm3240c-rtp::> nfs modify -vserver vmware -vstorage enabled
VASA — это бесплатное ПО которое позволяет vCenter через API узнавать о возможностях хранилища и более разумно использовать их. VASA интегрируется в VSC и позволяет через GUI интерфейс создавать профили датасторов с определёнными возможностями хранилища (к примеру наличие/отсутствие Thing Provitioning, тип диска: SAS/SATA/SSD, наличие кэша второго уровня и т.д.) и включать уведомления по достижению некого уровня (к примеру занятое пространство или нагрузка). Начиная с версии 6.0 VASA является обязательным компонентом VSC и является важной (и обязательной) частью парадигмы VMware vVOL.
Начиная с ESXi 5.0 поддерживается возврат высвобожденных блоков из тонкого луна (датастора) назад, хранилищу. В версиях ESXi 5.X/6.0 с VMFS необходим ручной запуск для возврата пространства, для ESXi 6.X с vVOL работает автоматически, а начиная с версии 6.5 работает автоматически (с задержкой) на VMFS-6 датасторах. На стороне ONTAP этот функционал всегда по умолчанию выключен, для его включения необходимо выполнить несколько не сложных команд на СХД [38].
Эта тема заслуживает особого внимания и вынесена в отдельную статью [39].
Широко применяйте матрицу совместимости [41] в вашей практике для уменьшения потенциальных проблем в инфрастурктуре NetApp [42] и VMware [43].
Уверен, что со временем мне будет что добавить в эту статью по оптимизации ESXi хоста, так что заглядывайте сюда время от времени.
Правильные настройки для среды виртуализации VMWare позволят не только повысить производительность вашей инфраструктуры, но и повысить её отказоустойчивость. Обязательно следуйте рекомендациям VMware и NetApp при начальном запуске вашей инфраструктуры. Во время запуска обязательно создайте план тестирования состоящий как из нагрузочного тестирования, так и тестирования отказоустойчивости, для того чтобы устранить возможные ошибки конфигурации и иметь представление о возможностях и поведении вашей инфраструктуры в режиме нормальной работы, и работы при сбоях.
Здесь могут содержаться ссылки на Habra-статьи, которые будут опубликованы позже.
Сообщения по ошибкам в тексте прошу направлять в ЛС.
Замечания и дополнения напротив прошу в комментарии
Автор: bbk
Источник [44]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/linux/207945
Ссылки в тексте:
[1] Linux: http://habrahabr.ru/post/245357/
[2] Windows: http://habrahabr.ru/post/243153/
[3] VMware ESXi 5.X: https://habrahabr.ru/post/247833/
[4] vVOL была реализована: http://community.netapp.com/t5/Tech-OnTap-Articles/NetApp-Unlocks-the-Power-of-VMware-VVOLs/ta-p/86939
[5] Disk Alignment: #alignment
[6] СХД: http://habrahabr.ru/post/243045/
[7] Ethernet: http://habrahabr.ru/post/243119/
[8] How to configure VMware vSphere 6.x on ONTAP 8.x: https://kb.netapp.com/support/index?page=content&id=1015266&pmv=print&impressions=false
[9] Virtual Storage Console 6.0 for VMware vSphere Installation: https://library.netapp.com/ecm/ecm_download_file/ECMP12405914
[10] TR-4128: vSphere 6 on NetApp MetroCluster 8.3: https://www.netapp.com/us/media/tr-4128.pdf
[11] Hypervisor: #Hypervisor
[12] SWAP: #SWAP
[13] отдельный пост: http://habrahabr.ru/post/247631/
[14] Гостевые ОС: #GOS
[15] устранить disk misalignment: https://kb.netapp.com/support/index?page=content&id=1010881
[16] гостевых ОС Windows: https://kb.netapp.com/support/index?page=content&id=1013644&actp=search&viewlocale=en_US&searchid=1419848156220
[17] диагностике misalignment для Windows: https://kb.netapp.com/support/index?page=content&id=1010803&actp=search&viewlocale=en_US&searchid=1419848156220
[18] TR-3747 Best Practices for File System Alignment in Virtual Environments: http://media.netapp.com/documents/tr-3747.pdf
[19] поиске misalignment со стороны хранилища ONTAP: http://habrahabr.ru/post/243045/#Misalignment
[20] takeover/giveback: #takeover-giveback
[21] Настройки FC/FCoE Switch Zoning: #zoning
[22] зонирования для NetApp в картинках: http://habrahabr.ru/post/260107/
[23] ALUA: #ALUA
[24] логике работы NetApp ONTAP, ALUA и балансировке нагрузки для блочных протоколов: http://habrahabr.ru/post/243045/#Likbez
[25] Настройки ESXi хоста: #ESXI_configurations
[26] HBA: #HBA
[27] смотри стр. 21: http://www.netapp.com/us/media/wp-7109.pdf
[28] Vmware KB 1267: http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1267
[29] VSC: #VSC
[30] Ethernet: #Ethernet
[31] Jumbo frames: #Jumbo_frames
[32] Ethernet с NetApp ONTAP: http://habrahabr.ru/post/243119/#jumboframe
[33] ESXi & MTU9000: #ESXi_and_MTU9000
[34] Подробнее.: http://kb.vmware.com/selfservice/microsites/search.do?language=en_US&cmd=displayKC&externalId=1001805
[35] NAS и VAAI: #NAS
[36] правильно настроить NFS шару для VAAI: https://kb.netapp.com/support/index?page=content&id=1014234&act=SAT&impressions=false&newguid=3cfa2cb3cf9544c597c8479f7ff38ca3
[37] VASA: #VASA
[38] включения необходимо выполнить несколько не сложных команд на СХД: https://habrahabr.ru/post/271959/
[39] вынесена в отдельную статью: https://habrahabr.ru/post/279945/
[40] Совместимость: http://habrahabr.ru/post/154205/#compatibility
[41] применяйте матрицу совместимости: http://habrahabr.ru/post/154205/#Matrix
[42] NetApp: https://kb.netapp.com
[43] VMware: http://kb.vmware.com
[44] Источник: https://habrahabr.ru/post/314778/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.