- PVSM.RU - https://www.pvsm.ru -
Hyperwall НАСА — это видеостена [1], состоящая из огромного массива мониторов и способная отображать множество изображений в высоком качестве одновременно. Эта установка нужна агентству для визуализации феноменов, идей и изменений, происходящих в мире и имеющих отношение к астрофизике, гелиофизике и планетоведению. Для этого используются данные, получаемые НАСА с телескопов и спутников.
Вычислительная ферма НАСА располагается в Исследовательском центре Эймса. Там ведутся работы над проектом HECC, который позволяет ученым и инженерам проводить симуляции, моделирование и аналитические работы в крупных масштабах для расчетов всех миссий Космического агентства.
[2]
/ Flickr / Steve Jurvetson [3] / CC [4]
Hyperwall была разработана как часть этого проекта. Стена состоит из 16 столбцов и 8 строк мониторов для отображения результатов симуляций. Одним из примеров такой симуляции может служить проект «Схема течений и климатических особенностей океана» (Estimating the Circulation and Climate of the Ocean, ECCO [5]), цель которого обеспечить визуальную модель мирового океана.
Подобные модели (примеры которых вы можете найти по ссылке [6]) включают в себя огромные своды многомерных данных, генерируемых суперкомпьютерами НАСА. Поэтому перед инженерами встала нетривиальная задача обеспечения параллельного доступа к данным для всех 128 вычислительных узлов, обрабатывающих информацию с неопределенным числом случайных входных и выходных параметров. В качестве решения была использована виртуальная система хранения данных на основе NVMe-накопителей.
Интерфейс NVMe спроектирован с целью максимизации преимуществ твердотельных накопителей, которые обладают низкой латентностью и позволяют конвейеризировать операции чтения и записи. NVMe содержит целый ряд усовершенствований, направленных на уменьшение паразитных задержек при работе с данными по сравнению с интерфейсом SATA и протоколом AHCI.
Стоит отметить, что технология NVM приобрела на рынке определенную популярность. И сразу несколько компаний планируют наладить (или наладили) выпуск накопителей класса NVMe для потребительского рынка. Toshiba и Plextor уже выпустили свое решение в массы, а продукт от Western Digital увидит свет [7] в начале 2017 года.
Новые WD Black будут выполнены в формате M.2 NVMe, что подразумевает использование четырёх линий PCI Express 3.0 с совокупной пропускной способностью 32 Гбит/с. Характеристики новых WD неизвестны, но если предположение об используемом контроллере подтвердится, от них следует ждать скоростей, аналогичных тем, которые показывают продукты других компаний, а именно Toshiba OCZ RD400 и Plextor M8Pe.
Разрабатывая систему, инженеры НАСА сперва поместили [8] в каждый вычислительный узел флеш-накопитель объемом 2 ТБ. Затем программисты разбили данные на блоки по 2 ТБ и скопировали их на каждый диск. Однако затем они столкнулись с определенными трудностями: дальнейшая обработка должна была учитывать местоположение данных во время вычислений, что усложняло процесс программирования. Решением этой проблемы стала технология NVMesh.
/ Flickr / Steve Jurvetson [3] / CC [4]
Все 128 накопителей по 2ТД были агрегированы [9] в пул — виртуальную систему хранения данных объемом 256 ТБ, доступ к которой осуществляется по RDMA. При этом каждый флеш-накопитель как бы остался локальным для каждого нода, но это упростило процедуру параллельного доступа к ним.
Такой подход добавил 5 мкс задержки (в основном по вине сетей) по сравнению с локальным размещением, однако исключил сложности, связанные с программированием решения. Согласно тестам, пропускная способность системы составила порядка 140 ГБ/с. Такой подход позволил проводить ученым и инженерам более быстрые и «гладкие» симуляции, повышая продуктивность проводимых исследований.
Другие материалы из блога ИТ-ГРАД [10] на Хабре:
Автор: ИТ-ГРАД
Источник [16]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/it-infrastruktura/221378
Ссылки в тексте:
[1] видеостена: https://eospso.nasa.gov/content/about-nasas-hyperwall
[2] Image: https://habrahabr.ru/company/it-grad/blog/316284/
[3] Steve Jurvetson: https://www.flickr.com/photos/jurvetson/
[4] CC: https://creativecommons.org/licenses/by/2.0/
[5] ECCO: http://www.ecco-group.org/index.htm
[6] ссылке: https://svs.gsfc.nasa.gov/cgi-bin/search.cgi?contentType=hw
[7] увидит свет: http://www.3dnews.ru/944054
[8] поместили: http://www.theregister.co.uk/2016/12/06/nasas_hyperwall_wonderwall_uses_virtual_flash_san/
[9] агрегированы: https://www.nas.nasa.gov/hecc/resources/viz_systems.html
[10] ИТ-ГРАД: http://it-grad.ru
[11] часть 1: https://habrahabr.ru/company/it-grad/blog/315312/
[12] часть 2: https://habrahabr.ru/company/it-grad/blog/315314/
[13] Как облачные технологии меняют мир спорта: https://habrahabr.ru/company/it-grad/blog/315310/
[14] IaaS-дайджест: Знакомство с виртуальной инфраструктурой: https://habrahabr.ru/company/it-grad/blog/312044/
[15] «В чем выгода»: Технико-экономическое обоснование использования IaaS: https://habrahabr.ru/company/it-grad/blog/312042/
[16] Источник: https://habrahabr.ru/post/316284/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.