НАСА хочет сохранить 247 петабайт в облаке AWS, но не учло расходы на скачивание

Спутники НАСА для топографии поверхности океана и других водных территорий (SWOT) первыми начнут присылать данные в облако Earthdata ^[1]

Не секрет, что современные научные приборы генерируют огромные объёмы данных. Например, Большой адронный коллайдер выдавал 1 петабайт в секунду ^[2], а крупнейший радиотелескоп MeerKAT — до 1 петабайта сжатых данных в сутки ^[3].

У НАСА объёмы скромнее, но тоже значительные. Например, система Earth Science Data and Information System (ESDIS ^[4]) предусматривает сбор данных с десятка миссий по изучению Земли — около 100 терабайт в день. По плану, в ближайшие несколько лет объём хранения вырастет с 32 до 247 петабайт.

Ради экономии НАСА планировало перенести данных со своих дата-центров Distributed Active Archive Centers (DAAC) в облако Amazon Web Services. Но в своих финансовых расчётах агентство не учло важный нюанс, который сильно снижает экономическую привлекательность облачного хранилища. А именно, стоимость скачивания данных.

На сегодня в системе НАСА 12 дата-центров ^[5]. Все они находятся на территории США.

Дата-центры являются частью информационной системы Earth Observing System Data and Information System (EOSDIS ^[6]).

НАСА решило постепенно отказаться от управления этой инфраструктурой, ибо это непрофильная деятельность для космического агентства. Поэтому с 2019 года организован перенос данных в облако AWS, пишет ^[7] The Register. Миграция происходит в рамках проекта, получившего название облако Earthdata ^[1].

Первый этап перехода от локального хранения данных к облачному был запланирован на I квартал 2020 года, затем остальные. НАСА планирует, что для полного отказа от локального хранения данных потребуется несколько лет аккуратного переноса всех систем.

По прогнозу, около 15-ти предстоящих миссий, таких как NASA-ISRO Synthetic Aperture Radar (NISAR ^[8]) и спутники Surface Water and Ocean Topography (SWOT ^[9]), будут генерировать более 100 терабайт данных в день. Это две первые миссии, которые миссиями, которые начнут сбрасывать данные непосредственно в облако Earthdata.

Таким образом, агентство прогнозирует, что к 2025 году у него будет 247 петабайт данных для обработки. НАСА считает переход в облако отличной идеей. В документации по миграции говорится: «Облако предоставит более широкие возможности для быстрого доступа и обработки больших объёмов данных, что позволит проводить новые виды исследований. Данные, которые ранее были географически распределены, теперь будут доступны через облако, экономя время и ресурсы».

Проблема в том, что НАСА не совсем реалистично оценивает будущие расходы на облачный хостинг ^[10]. В аудиторском отчёте ^[11] за март 2020 года от генерального инспектора НАСА отмечается отсутствие должного моделирования расходов на скачивание данных из облака.

«В частности, агентство сталкивается с возможностью существенного увеличения затрат на вывод данных из облака [которые сегодня отсутствуют]», — сказано в отчёте генерального инспектора. «Когда конечные пользователи загружают данные из облака Earthdata, плата за каждую передачу информации будет взиматься с агентства, а не пользователей. В конечном счете, ESDIS будет нести расходы и на облачный хостинг ^[10], включая расходы на вывод данных, и на эксплуатацию двенадцати своих дата-центров DAAC», — делают вывод аудиторы.

По их мнению, расходы могут оказаться гораздо выше, чем запланировано. А если NASA введёт ограничения на объём исходящих данных, то это ударит по научному сообществу: «В результате внедрение облачных технологий может увеличить затраты и бремя управления».

Аудиторы рекомендуют дождаться, когда проекты NISAR и SWOT заработают и пришлют достаточно данных — и сразу провести независимый анализ, чтобы определить долгосрочный финансовый смысл миграции со своих дата-центров в облако.

Автор: ITSumma

Источник ^[12]