НАСА хочет сохранить 247 петабайт в облаке AWS, но не учло расходы на скачивание

в 10:01, , рубрики: Amazon Web Services, DAAC, Earthdata Cloud, EOSDIS, ESDIS, Блог компании ITSumma, дата-центры, Научно-популярное, облачные сервисы, Серверное администрирование

НАСА хочет сохранить 247 петабайт в облаке AWS, но не учло расходы на скачивание - 1
Спутники НАСА для топографии поверхности океана и других водных территорий (SWOT) первыми начнут присылать данные в облако Earthdata

Не секрет, что современные научные приборы генерируют огромные объёмы данных. Например, Большой адронный коллайдер выдавал 1 петабайт в секунду, а крупнейший радиотелескоп MeerKAT — до 1 петабайта сжатых данных в сутки.

У НАСА объёмы скромнее, но тоже значительные. Например, система Earth Science Data and Information System (ESDIS) предусматривает сбор данных с десятка миссий по изучению Земли — около 100 терабайт в день. По плану, в ближайшие несколько лет объём хранения вырастет с 32 до 247 петабайт.

Ради экономии НАСА планировало перенести данных со своих дата-центров Distributed Active Archive Centers (DAAC) в облако Amazon Web Services. Но в своих финансовых расчётах агентство не учло важный нюанс, который сильно снижает экономическую привлекательность облачного хранилища. А именно, стоимость скачивания данных.

На сегодня в системе НАСА 12 дата-центров. Все они находятся на территории США.

НАСА хочет сохранить 247 петабайт в облаке AWS, но не учло расходы на скачивание - 2

Дата-центры являются частью информационной системы Earth Observing System Data and Information System (EOSDIS).

НАСА решило постепенно отказаться от управления этой инфраструктурой, ибо это непрофильная деятельность для космического агентства. Поэтому с 2019 года организован перенос данных в облако AWS, пишет The Register. Миграция происходит в рамках проекта, получившего название облако Earthdata.

НАСА хочет сохранить 247 петабайт в облаке AWS, но не учло расходы на скачивание - 3

Первый этап перехода от локального хранения данных к облачному был запланирован на I квартал 2020 года, затем остальные. НАСА планирует, что для полного отказа от локального хранения данных потребуется несколько лет аккуратного переноса всех систем.

По прогнозу, около 15-ти предстоящих миссий, таких как NASA-ISRO Synthetic Aperture Radar (NISAR) и спутники Surface Water and Ocean Topography (SWOT), будут генерировать более 100 терабайт данных в день. Это две первые миссии, которые миссиями, которые начнут сбрасывать данные непосредственно в облако Earthdata.

НАСА хочет сохранить 247 петабайт в облаке AWS, но не учло расходы на скачивание - 4

Таким образом, агентство прогнозирует, что к 2025 году у него будет 247 петабайт данных для обработки. НАСА считает переход в облако отличной идеей. В документации по миграции говорится: «Облако предоставит более широкие возможности для быстрого доступа и обработки больших объёмов данных, что позволит проводить новые виды исследований. Данные, которые ранее были географически распределены, теперь будут доступны через облако, экономя время и ресурсы».

Проблема в том, что НАСА не совсем реалистично оценивает будущие расходы на облачный хостинг. В аудиторском отчёте за март 2020 года от генерального инспектора НАСА отмечается отсутствие должного моделирования расходов на скачивание данных из облака.

«В частности, агентство сталкивается с возможностью существенного увеличения затрат на вывод данных из облака [которые сегодня отсутствуют]», — сказано в отчёте генерального инспектора. «Когда конечные пользователи загружают данные из облака Earthdata, плата за каждую передачу информации будет взиматься с агентства, а не пользователей. В конечном счете, ESDIS будет нести расходы и на облачный хостинг, включая расходы на вывод данных, и на эксплуатацию двенадцати своих дата-центров DAAC», — делают вывод аудиторы.

По их мнению, расходы могут оказаться гораздо выше, чем запланировано. А если NASA введёт ограничения на объём исходящих данных, то это ударит по научному сообществу: «В результате внедрение облачных технологий может увеличить затраты и бремя управления».

Аудиторы рекомендуют дождаться, когда проекты NISAR и SWOT заработают и пришлют достаточно данных — и сразу провести независимый анализ, чтобы определить долгосрочный финансовый смысл миграции со своих дата-центров в облако.

Автор: ITSumma

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js