«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах

в 7:22, , рубрики: Chiliescope, Блог компании КРОК, инженерный выезд, ит-инфраструктура, камни, монтаж, телескоп, чили

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 1

Анды, высота 1564 метра, чистейший горный воздух, остро пахнущий соляркой. Голая каменистая площадка, четыре купола и три контейнера — купола для телескопов, а контейнеры поменьше — жилой для сторожа или инженеров, санузел, мастерская размером с санузел, плюс купол для стойки Циски и линейки аккумуляторов ИБП. Вокруг — забор из металлической сетки.

По площадке ходит Карлос, местный житель, и красочно ругается по-испански с индейским акцентом. Карлос сейчас находится в режиме энергосбережения, работы у него нет. Поэтому на автопилоте он собирает все камни в радиусе 30 метров и закладывает ими щели. Например, под забором, чтобы мелкая живность не пролезла.

Судя по тому, что такими же камнями плотно и очень заботливо заложены все колодцы нашей будущей кабельной трассы от энергоблока к куполам, работа предстояла интересная. Как мы уже знали из вводной, протяжку они в гофру положить забыли, и предстоит всё раскапывать.

Простая работа, говорили они. Нужен сисадмин, говорили они. Карлос увидел нас, поздоровался и сразу предупредил на своём ломаном испанском:
— Видишь облака — беги. Если начнётся дождь, всё, совсем конец!

Но акцент мы не разобрали, поэтому его не поняли.

Откуда взялись телескопы и почему нужно было ехать к ним из России

Один из наших российских заказчиков решил построить чудо-девайс, чтобы помочь астрономическому сообществу, где сам и состоит. В буклете, который нам дали, было написано примерно следующее: «Крутая точка для сообщества, качественные наблюдения, хорошая техника, «Astronomy on demand» всем в чате!»

Самое удачное расположение для таких конструкций — там, где звезды видно лучше всего, то есть в горах и с чистым небом, так, чтобы по минимуму пасмурных дней. В Андах есть участки, где облака бывают всего 3-4 дня в году, воздух чистый, небо хорошее. Поэтому так далеко. Место на южной границе пустыни Атакама. Полностью ясных ночей (подходящих для занятий астрономией и наблюдения за очень слабо заметными объектами) от 280 до 310.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 2

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 3

Почва каменистая, мелкие фракции гораздо крупнее песка, поэтому нет пыли. Купола наверху этой фотографии — наша позиция:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 4

Проект сделали до нас.

Если описывать упрощённо, работает это так:

  • Есть подсистема питания, которая умеет сама запускать дизель-генератор, управляет зарядкой батарей и периодически проверяет исправность дизеля методом пуска двигателя. Есть солнечные батареи, которые работают весь день, питают всю систему и заряжают линейку аккумуляторов, так как основная работа происходит ночью. Есть стойка, где стоит железо, которое всё это правильно коммутирует и контролирует. В этой же подсистеме есть куча датчиков, передающих разную телеметрию. Вход — привезённый дизель (редко) и солнечная энергия. Выход — автономное питание на все остальные системы площадки и телеметрия в блок контроля. Система делает всё автоматически, но умеет принимать и ручные команды из консоли управления.
  • Система управления и GUI к ней. На площадке только собственно интеграционный сервер, который принимает команды и разбрасывает их на подсистемы, плюс умеет отдавать консоли конкретных узлов, если надо. Основной элемент — удалённое управление телескопом и планирование его задач, чтобы люди далеко-далеко могли навести его на нужный объект и рассмотреть, не забираясь на нашу площадку ногами.
  • Связь. В будущем на объект планируется завести радиорелейную линию. Ответный конец радиомоста будет стоять на узле оптоволокна в предгорьях. Пока же —специальная направленная антенна LTE с модемной спаркой, которая смотрит на базовую станцию в нескольких десятках километров по прямой. К счастью, здесь, в горах, БС переключена в режим «покрытие», а не «множество абонентов», и абонентов нет. Поэтому почти вся полоса, без соканальных помех, наша.
  • Телеметрия. Это охранные камеры, камера перед стойкой с оборудованием, различные датчики и детекторы проникновения, данные о статусах оборудования. Всё собирается с периметра и заводится в сервер, который и отправляет их на удалённую машину для контроля.
  • Коммутация — километр кабелей питания ВВГ-НГ-LS 3х2,5 и километр витой пары. Соединяют купола друг с другом и с энергоблоком. Всё спрятано под землю и дополнительно экранировано.

Местный подрядчик смонтировал купола, поставил солнечные батареи (стационарные — мы рассчитали наклон на местную зиму) и проложил кабель-каналы. И сразу же благополучно их засыпал, чтобы не лазили грызуны и мы не смогли просунуть кабель. Ещё раньше до места проложили грейдером дорогу, подходящую для внедорожника.

Вот купола:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 5

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 6

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 7

Поскольку заказчику приходилось прыгать сразу через два языковых барьера, финальную сборку и пусконаладку решили поручить тем, кто хотя бы может объяснить, какой шайтанама раскривушка не хватает. Нас вчетвером спросили, хотим ли мы с интересом провести 3 недели в феврале в Чили за простенькой работёнкой, просто каблу повтыкать. Мы подозревали, что не всё так просто, но Чили упускать было нельзя.

Так мы вчетвером оказались в горах, в двух с половиной часах езды от гордого городка Авайо.

Вот что застали мы, когда приехали:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 8

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 9

Мастерская, где стол пришлось делать из транспортной тары:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 10

На фото уже счастливый момент, когда мы развернули ноутбуки и подключились к питанию. Для начала надо было добраться до места.

Поездка

Начали как обычно, в уже ставшем родным Шереметьево. По 30 килограммов хрупкого оборудования и инструмента с каждым, дичайший перевес, доплата за багаж (всё крупное полетело палетами транспортной компанией за неделю).

Пересадка в Париже, гуляли по аэропорту целых полтора часа, пополняли базу знаний о халявных розетках — всё пригодится. Следующие 14 часов — трансатлантический перелёт на задних креслах у туалетов, попытки убить нас круглосуточной непрекращающейся едой. Привет, Сантьяго.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 11
Поля у них круглые, чтобы было удобнее орошать автоматикой

У нас язык знал только Алексей, на уровне азов школьной программы («Меня зовут Алексей», «Как тебя зовут», «Давай, работай!»). И ещё Google Translate (но интернета не было). Предполагалось, что на объекте нам нужен будет только русский и русский мат с жестами для управления командой разнорабочих. Но до объекта ещё надо было добраться.

В самолёте познакомились с русскоговорящей женщиной Татьяной, живущей 20 лет в Аргентине. Она помогла с арендой машины и немного поработала переводчикам. Нас должен был встречать специально обученный человек, но им оказался водитель подрядчика, который, увы, знал только испанский.

Водитель сразу вручил нам местные симки, чтобы мы не потерялись. Но предупредил, что работать они начнут только к вечеру — долгая активация после первой установки в телефон. В компании по аренде машин нас сразу обрадовали, что заказанный пикап отсутствует, из того, во что влезет наш багаж, есть только тойота. Учитывая косяк автосервиса, на машину небольшая скидка, но стоит она всё равно почти в два раза дороже. Вот такая:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 12

Взяли автомобиль, закупились едой и поехали в местный хозмаг на окраине города по типу наших «Леруа» — покупать ещё примерно 50 килограммов всякой всячины, очень нужной на объекте, которую можно достать. Где обналичить деньги, не нашли (банкомат наши карточки не видел), поэтому рассчитывались карточкой (в хозмаге получилось). Позже это сыграло с нами нехорошую шутку: автотрассы платные, стоят рублей 50–100 по-нашему, но пункты взимания платы каждые 50 километров. Строго наличка. Поэтому в первый раз Лёха сделал глаза как у кота из «Шрека» и сказал что-то вроде: «Американо долларс, пор фавор!». Полицейский с омерзением на лице принял портрет президента чужой страны и вместо сдачи показал: «Езжайте!»

Сразу же взяли тент для машины, много воды, крем от солнца (в Чили в горах опасно — нужно сразу пятидесятку, иначе станешь красный как рак уже вечером). После первого ПВП, поняв свою ошибку с валютой, начали стучать в домики какой-то деревушки. Нам не открывали. В итоге поменяли деньги только уже на заправке. Кстати, местный увидел канистры сзади, сразу запрыгнул в кузов и начал лить и в них. Тоже на уровне рефлексов. Бака бы не хватило, заправки в горах нет.

Права, кстати, при аренде приняли русские, а больше мы их никому не показывали. Вели по очереди. На крупных дорогах просто пристраивались за кем-то, едущем в нужном направлении, и повторяли все манёвры. Нас предупредили, что лихачить нельзя, гайцы прячутся по кустам.

Несколько часов мы ехали по дороге мимо океана и любовались всем подряд. Мы были в 600 километрах на север от Сантьяго, близ города Овалья. Въехали в долину реки Уртадо, начался горный серпантин и активная работа рулём. Дорога местами асфальтированная, местами — нет. Где нет асфальта, там смачивают поверхность, потом грейдер ковшом разравнивает, получается каток не хуже асфальта. Судя по тому, что про гостиницу предупреждают за 75 километров, кое-кто уже терялся:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 13

Сам городок Авайо стал точкой, где мы докупали мелочи из хозмага. Из необычного — там довольно много полиции: по 4 человека на каждом углу, и машины их обрамлены сетками от добрых сограждан.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 14

Гостиница нас порадовала тем, что она предлагает экологический отдых высокого класса. В переводе на человеческий это означало:

  • интернета нет;
  • телевизора нет;
  • телефон не ловит;
  • но есть тормозной Wi-Fi на скорости 2G в холле;
  • воду сюда возят тягачи в цистернах;
  • есть целебные кактусы.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 15

От гостиницы до позиции в первый день рулили полтора часа, потом научились и добирались за час.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 16
Когда куда-то лезешь — главное, не схватиться за кактус. Кактусы очень прочные — можно со всего размаху бросить камень в 10 килограммов, и он отскочит.

Каждое утро мы вставали за час до завтрака, ходили по горам, потому что потом ехали на объект и возвращались уже по темноте. Видели, как спят козы. Просто лежали в шезлонгах и смотрели в небо по вечерам.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 17

Гостиница исправно заворачивала нам еду с собой, но её было мало, в основном — невкусные бутерброды и странные батончики. Бутерброды приманивали орлов. Точнее, сначала на запах выходили грызуны, а потом на грызунов прилетали орлы. Батончики же мы отдали детям целым пакетом потом.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 18
Массив солнечных панелей, тут всё было сделано правильно и на твёрдую пятёрку — технологии региону очень знакомые. Производитель LG.

На месте нас встретил Карлос, местный разнорабочий. Он привозил воду, хорошо делал сварку, таскал разные вещи. В режиме пониженного энергосбережения Карлос строил кучи из камней.

Надо было сделать ТО ДГУ: она проработала больше 500 часов, заменить масло и фильтры, чтобы и дальше работала. Пришлось выгрести кучу масла оттуда, где его не должно быть. В результате первую неделю в горах мы дышали дизелем.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 19
На второй день с трудом взяли из гостиницы фены и обогреватели, нагрузили максимально на 13 КВт, из него полетело много всего. 500 часов почти холостой работы — вредно.

Дерева на месте нет, поэтому столы и стулья мы делали из транспортных ящиков.

Задач было много. Кроме упомянутой выше протяжки кабеля и обслуживания дизеля, надо было смонтировать видеонаблюдение, скоммутировать разные датчики, настроить автоматику и ещё починить купол. Большой купол местные смонтировали так, что раскрытие обеспечивалось недостаточное. Меньше, чем по проекту.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 20
Высота 3 метра, долезть сложно, деталей нет, поэтому варили их из того, что нашли вокруг и какой-то матери. На 70 километров вокруг нет болтов, магазинов и инструментов.

Раскапывали закладные. В этом нам помогали местные, они вручную очень хорошо копают. Но стоит им задуматься, начинают собирать камни и складывать их в кучи. Говорят по-испански, но с ужасающим шуршащим акцентом. Четыре дня не могли приступить к прокладке. Кабель привезли свой:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 21

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 22

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 23

Измотали километр силового кабеля, не хватило в конце буквально пары метров. В итоге купили в долине удлинители, распотрошили их.

До каждого купола шли по две линии витухи: вымеряли, раскладывали зигзагами, чтобы не замотались, затягивали через колодцы. Хорошо, Карлос точно помнил, где они.

Пока укладывали — соляры ушёл целый бак.

Аккумуляторы монтировать было тяжело физически. Один ярус — 300 килограммов, и вертикально ставить нельзя ни в коем случае. Четыре линейки, итого: тонна двести батарей в помещении 2х2 метра, где вчетвером не развернёшься. Кое-как уложили:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 24

На 23 февраля поехали за топливом, плюс по списку, чего не хватает, в хозмаг. Это у нас был выходной, один-единственный за три недели. Купили мяса, решили сделать шашлык.Разделывали прямо на стоянке. Но в итоге не пожарили — оказывается, можно разводить на пляже огонь только после 19:00. Съели уже в отеле. Так и не нашли USB-удлинитель — местные просто не знают, что это такое, и в продаже его не было. Не было и роутеров со внешней антенной.

Пока обходили границу пляжа по воде, исцарапались камнями до крови — прибоем приносит мелкую острую фракцию, она реально ранит.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 25

Обнаружили потом, что люди тут иногда живут прямо в кемпингах: спутниковые тарелки, газовые плиты. Люди на пляже просто неделями сидят.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 26

Смонтировали охлаждение и камеры:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 27

Сделали опору:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 28

Местный подрядчик поставил антенну:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 29
Выставляли они «на глаз», мол, вооон там за горой базовая станция, но всё поднялось сразу.

Смонтировали периметр:

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 30

В итоге сделали мониторинг территории: въезд и охрана, подключили камеру в серверной, чтобы смотреть на стойку, свели датчики температур (уличный и в помещениях), по две штуки на бокс. Настроили систему тревог по типу Watchdog: система в зависимости от наличия интернета перезагружала роутеры, выбирала канал, отправляла SMS про разные аварии, смотрела на доступность всего железа регулярными пингами. Это же оборудование по движению на камерах отправляло тревогу на проникновение. И туда же завели аварии и события по питанию. С дизеля и со стойки питания. Настроили сборку и хранение логов на сервере. Да, для управления используется промышленный системный блок безвентиляторный.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 31
Стойка

Кстати, датчики монтировались очень просто, спасибо коллегам из проектировки. Они заставили подрядчика монтировать заглушки на их месте или лепить наклейки по месту монтажа, поэтому ничего не перепутали.

Дособирали всю электрику. Самой сложной была грозозащита. Место очень сухое и идеальное для удара, плюс молнии тут частые. Нужно было делать защиту с двух сторон, смотря куда молния ударит — чтобы в случае чего сгорела только половина.

Связь — сейчас со всей площадки по локальной сети в локальный сервер. Уже сервер связывается с большой сетью. В будущем тут недалеко будет оптика, потом радиорелейка с оптики, но сейчас — LTE.

Сам телескоп туда привезут уже вот-вот, прямо на днях, если ещё не привезли.

«Космонавты» в Чили: как мы делали всю ИТ-инфраструктуру для четырех телескопов в Андах - 32
Наша команда: Алексей Падалко, Loco conductor и мозги энергоснабжения, я — Максим Ширенин — отвечал за электричество, Игорь Дрозд, управление куполами, Кирилл Николаев, управление куполами и связь (цискарь).

Конец

В последний день, буквально за несколько часов до нашего выезда, приехала ещё одна железка, которую надо было смонтировать и проверить. Заканчивали уже минута в минуту. Когда надо было выезжать, вдруг закапал дождь. Мы уже знали, что это грозит селями, и выбираться будет очень опасно. Но, к счастью, он за пару минут закончился, и мы уехали нормально.

Ссылки:

В самолёте, ещё на взлётной полосе, попробовали уснуть. Когда выехали от гейта, пилоты начали проверять, а левый движок не заводился. Нам об этом сообщили на двух языках. Алексей в полусне принял информацию и сообщил:
— Я движок чинить не буду, у меня допуска нет.

Автор: КРОК

Источник

* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js