- PVSM.RU - https://www.pvsm.ru -
Расскажем, как работает технология иммерсионного охлаждения оборудования в дата-центрах. Поговорим о нашем решении, разработанном совместно с дочерней компанией Allied Control, и приведем примеры других «жидкостных» способов «сбить температуру» у чипов.
[1]
/ Bitfury [2]
Как пишут [3] в журнале Nature, все дата-центры в мире потребляют порядка 200 ТВт·ч электроэнергии ежегодно. Это количество сравнимо с расходом электричества некоторых отдельно взятых стран [4], например Австралии. Также ЦОДы являются одним из главных загрязнителей окружающей среды. На них приходится 0,3% мировых выбросов CO2. Цифра кажется небольшой, но столько же углекислого газа «генерируют [5]» самолеты всех авиакомпаний мира.
Почти половину потребляемой электроэнергии дата-центры тратят на охлаждение [6] серверного оборудования. По этой причине многие компании разрабатывают технологии, которые должны сократить «расход» электричества и повысить эффективность систем кондиционирования.
Этим вопросом занимается и Bitfury. Совместно с дочерней компанией Allied Control мы создали [7] двухфазную иммерсионную систему охлаждения. Она предназначена для работы в высоконагруженных ЦОД, потребляющих большие объемы электроэнергии во время обработки больших объемов данных (например, майнинговых фермах).
Система потребляет меньше электричества и занимает меньше места, по сравнению с традиционными кондиционерами для охлаждения воздуха. Это связано с тем, что печатные платы, предназначенные для охлаждения иммерсионным способом, не имеют радиаторов. Компоненты на них можно размещать более плотно.
Так как серверы (в нашем случае ASIC-чипы) погружены в жидкость, дата-центр становится практически бесшумным. Такие системы охлаждения помогают ЦОД предоставить сотрудникам более комфортные условия для работы. Иммерсионное охлаждение внедрено в нашем дата-центре мощностью 45 МВт в Грузии. Это одно из крупнейших внедрений иммерсионного охлаждения в настоящее время. Мы подготовили короткое видео, в котором рассказываем о возможностях системы охлаждения:
Серверное оборудование помещается в большие резервуары, похожие на аквариумы. Они заполнены специальной жидкостью 3M Novec 7100 [8]. Она не проводит электричество, не горит, не выделяет токсинов и не наносит вреда серверам. По этой причине жидкости бренда 3M еще называют «сухой водой».
Охлаждение оборудования происходит [9] в два этапа. Микросхемы нагреваются и выделяют тепло, жидкость Novec закипает и превращается в пар. Испарения поднимаются к змеевику конденсатора, который имеет форму цилиндрической пружины.
Затем наступает вторая фаза — змеевик (сам он имеет водяное охлаждение) превращает пар в жидкость, и она стекает обратно в резервуар. Процесс конденсации занимает очень мало времени, так как Novec 7100 кипит всего лишь при 61°C. Такой подход позволяет экономить до 95% энергии с минимальными потерями жидкости.
Новая система охлаждения позволяет снизить коэффициент PUE [10] дата-центра до 1,02 и повысить плотность размещения оборудования — для охлаждающих установок не нужно выделять дополнительные площади. «Холодильная система» сама выполняет роль стойки и эффективно справляется с 40 мегаваттами вычислительной мощности (252 кВт на стойку) без чрезмерного расхода электричества.
Как мы уже говорили, разработка систем иммерсионного охлаждения занимаются многие мировые компании. Одной из популярных технологий является погружение оборудования в минеральное масло, которое удаляет излишки тепла. Например, такое решение используют в компании Green Revolution Cooling. В качестве теплопроводящей жидкости они применяют прозрачную смесь минеральных масел ElectroSafe [11]. По словам авторов проекта, такой подход в тысячу раз эффективнее охлаждения воздухом, а мощность системы достигает 100 КВт на стойку.
Принцип работы масляных установок похож на тот, что используем мы в Bitfury, только для отведения тепла здесь требуются дополнительные насосы для перекачки хладагента (масло более вязкое, чем вода). В нашей системе циркуляция «сухой воды» происходит пассивно, за счет тепла, выделяемого при работе ASIC-чипов.
Но бывают и подходы, когда дата-центр затапливают целиком, погружая в океан. В этом случае вода поступает к радиаторам на чипах через специальные трубки и удаляет излишки тепла. Отработанная жидкость поступает обратно в водоем. Однако значительного вреда экосистеме это не наносит — вода вокруг погруженного дата-центра нагревается всего на несколько тысячных градусов Цельсия.
Первый прототип такого ЦОД «затопили [12]» в Тихом океане пять лет назад недалеко от побережья Калифорнии. Он проработал без перебоев 105 дней. В этом году компания отправила [13] «на дно» второй экспериментальный дата-центр. Погружение проходило недалеко от Оркнейских островов [14], расположенных в 16 км от Шотландии. По плану, ЦОД должен проработать пять лет. Если всё пройдет удачно, под воду уйдет уже «боевой» дата-центр, который используют для решения реальных задач.
Главный недостаток подхода — сложность ремонта и обновления инфраструктуры. Также такой ЦОД подвержен коррозии и атакам морских обитателей. Но компания работает над устранением этих проблем.
Мы убеждены, что из-за роста цен на электроэнергию и необходимости внедрения новых «зеленых» технологий в будущем все больше компаний начнут внедрять системы иммерсионного охлаждения. Тренд уже наметился, и со временем он будет развиваться все сильнее.
P.S. Наш первый хабрапост на английском: How Exonum Shifted from Iron to Actix-web [15].
Автор: BitfuryRussia
Источник [16]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/ohlazhdenie-protsessora/308285
Ссылки в тексте:
[1] Image: https://habr.com/ru/company/bitfury/blog/439654/
[2] Bitfury: https://www.youtube.com/watch?v=J38GhUPGpKE
[3] пишут: https://www.nature.com/articles/d41586-018-06610-y
[4] отдельно взятых стран: https://en.wikipedia.org/wiki/List_of_countries_by_electricity_consumption
[5] генерируют: https://data-economy.com/data-centers-going-green-to-reduce-a-carbon-footprint-larger-than-the-airline-industry/
[6] тратят на охлаждение: https://www.apc.com/salestools/nran-72754v/nran-72754v_r2_en.pdf
[7] создали: https://venturebeat.com/2015/01/22/this-bitcoin-mining-startup-bought-an-immersion-cooling-company-to-keep-servers-cool/
[8] 3M Novec 7100: http://multimedia.3m.com/mws/media/771202O/3mtm-novectm-7100dl-engineered-fluid.pdf?fn=7100DL%20Engineered%20Fluid.pdf
[9] происходит: http://multimedia.3m.com/mws/media/1127920O/2-phase-immersion-coolinga-revolution-in-data-center-efficiency.pdf
[10] коэффициент PUE: https://en.wikipedia.org/wiki/Power_usage_effectiveness
[11] ElectroSafe: http://www.grcooling.com/wp-content/uploads/2015/03/ElectroSafe-Coolant-Fact-Sheet.pdf
[12] затопили: https://news.microsoft.com/features/microsoft-research-project-puts-cloud-in-ocean-for-the-first-time/
[13] отправила: https://www.datacenterknowledge.com/microsoft/microsoft-has-sunk-another-data-center-here-s-what-you-need-know
[14] Оркнейских островов: https://ru.wikipedia.org/wiki/%D0%9E%D1%80%D0%BA%D0%BD%D0%B5%D0%B9%D1%81%D0%BA%D0%B8%D0%B5_%D0%BE%D1%81%D1%82%D1%80%D0%BE%D0%B2%D0%B0
[15] How Exonum Shifted from Iron to Actix-web: https://habr.com/ru/company/bitfury/blog/439258/
[16] Источник: https://habr.com/ru/post/439654/?utm_source=habrahabr&utm_medium=rss&utm_campaign=439654
Нажмите здесь для печати.