- PVSM.RU - https://www.pvsm.ru -

Система Hyperwall от НАСА теперь использует СХД vFlash

Hyperwall НАСА — это видеостена [1], состоящая из огромного массива мониторов и способная отображать множество изображений в высоком качестве одновременно. Эта установка нужна агентству для визуализации феноменов, идей и изменений, происходящих в мире и имеющих отношение к астрофизике, гелиофизике и планетоведению. Для этого используются данные, получаемые НАСА с телескопов и спутников.

Вычислительная ферма НАСА располагается в Исследовательском центре Эймса. Там ведутся работы над проектом HECC, который позволяет ученым и инженерам проводить симуляции, моделирование и аналитические работы в крупных масштабах для расчетов всех миссий Космического агентства.

Система Hyperwall от НАСА теперь использует СХД vFlash - 1 [2]
/ Flickr / Steve Jurvetson [3] / CC [4]

Hyperwall была разработана как часть этого проекта. Стена состоит из 16 столбцов и 8 строк мониторов для отображения результатов симуляций. Одним из примеров такой симуляции может служить проект «Схема течений и климатических особенностей океана» (Estimating the Circulation and Climate of the Ocean, ECCO [5]), цель которого обеспечить визуальную модель мирового океана.

Подобные модели (примеры которых вы можете найти по ссылке [6]) включают в себя огромные своды многомерных данных, генерируемых суперкомпьютерами НАСА. Поэтому перед инженерами встала нетривиальная задача обеспечения параллельного доступа к данным для всех 128 вычислительных узлов, обрабатывающих информацию с неопределенным числом случайных входных и выходных параметров. В качестве решения была использована виртуальная система хранения данных на основе NVMe-накопителей.

Интерфейс NVMe спроектирован с целью максимизации преимуществ твердотельных накопителей, которые обладают низкой латентностью и позволяют конвейеризировать операции чтения и записи. NVMe содержит целый ряд усовершенствований, направленных на уменьшение паразитных задержек при работе с данными по сравнению с интерфейсом SATA и протоколом AHCI.

Стоит отметить, что технология NVM приобрела на рынке определенную популярность. И сразу несколько компаний планируют наладить (или наладили) выпуск накопителей класса NVMe для потребительского рынка. Toshiba и Plextor уже выпустили свое решение в массы, а продукт от Western Digital увидит свет [7] в начале 2017 года.

Новые WD Black будут выполнены в формате M.2 NVMe, что подразумевает использование четырёх линий PCI Express 3.0 с совокупной пропускной способностью 32 Гбит/с. Характеристики новых WD неизвестны, но если предположение об используемом контроллере подтвердится, от них следует ждать скоростей, аналогичных тем, которые показывают продукты других компаний, а именно Toshiba OCZ RD400 и Plextor M8Pe.

Разрабатывая систему, инженеры НАСА сперва поместили [8] в каждый вычислительный узел флеш-накопитель объемом 2 ТБ. Затем программисты разбили данные на блоки по 2 ТБ и скопировали их на каждый диск. Однако затем они столкнулись с определенными трудностями: дальнейшая обработка должна была учитывать местоположение данных во время вычислений, что усложняло процесс программирования. Решением этой проблемы стала технология NVMesh.

Система Hyperwall от НАСА теперь использует СХД vFlash - 2
/ Flickr / Steve Jurvetson [3] / CC [4]

Все 128 накопителей по 2ТД были агрегированы [9] в пул — виртуальную систему хранения данных объемом 256 ТБ, доступ к которой осуществляется по RDMA. При этом каждый флеш-накопитель как бы остался локальным для каждого нода, но это упростило процедуру параллельного доступа к ним.

Такой подход добавил 5 мкс задержки (в основном по вине сетей) по сравнению с локальным размещением, однако исключил сложности, связанные с программированием решения. Согласно тестам, пропускная способность системы составила порядка 140 ГБ/с. Такой подход позволил проводить ученым и инженерам более быстрые и «гладкие» симуляции, повышая продуктивность проводимых исследований.

Другие материалы из блога ИТ-ГРАД [10] на Хабре:

Автор: ИТ-ГРАД

Источник [16]


Сайт-источник PVSM.RU: https://www.pvsm.ru

Путь до страницы источника: https://www.pvsm.ru/it-infrastruktura/221378

Ссылки в тексте:

[1] видеостена: https://eospso.nasa.gov/content/about-nasas-hyperwall

[2] Image: https://habrahabr.ru/company/it-grad/blog/316284/

[3] Steve Jurvetson: https://www.flickr.com/photos/jurvetson/

[4] CC: https://creativecommons.org/licenses/by/2.0/

[5] ECCO: http://www.ecco-group.org/index.htm

[6] ссылке: https://svs.gsfc.nasa.gov/cgi-bin/search.cgi?contentType=hw

[7] увидит свет: http://www.3dnews.ru/944054

[8] поместили: http://www.theregister.co.uk/2016/12/06/nasas_hyperwall_wonderwall_uses_virtual_flash_san/

[9] агрегированы: https://www.nas.nasa.gov/hecc/resources/viz_systems.html

[10] ИТ-ГРАД: http://it-grad.ru

[11] часть 1: https://habrahabr.ru/company/it-grad/blog/315312/

[12] часть 2: https://habrahabr.ru/company/it-grad/blog/315314/

[13] Как облачные технологии меняют мир спорта: https://habrahabr.ru/company/it-grad/blog/315310/

[14] IaaS-дайджест: Знакомство с виртуальной инфраструктурой: https://habrahabr.ru/company/it-grad/blog/312044/

[15] «В чем выгода»: Технико-экономическое обоснование использования IaaS: https://habrahabr.ru/company/it-grad/blog/312042/

[16] Источник: https://habrahabr.ru/post/316284/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best