Как сделать коммутатор?

в 10:27, , рубрики: коммутатор, печатные платы, Производство и разработка электроники, Сетевое оборудование, Сетевые технологии, элтекс

14-й и 15-й выпуски СДСМ, а параллельно с этим работа в мегаскейле стимулировала мой интерес к аппаратной начинке сетевых устройств.

Теперь стало любопытно, как выглядит процесс производства оборудования, и насколько российское импортозамещение соответствует представлениям СДСМ14.

По счастливой неслучайности мы всё ещё поддерживаем тесную связь с Артёмом Спицыным — ныне руководителем Московского офиса Элтекс Коммуникации. И он мне предложил новые вопросы привезти на Окружную 29В в Новосибирске.

Данная статья — продукт поездки на фабрику Элтекс и дальнейших размышлений.

Как сделать коммутатор? - 1

И мы снова собрали доблестную четвёрку в поход на Элтекс: сетевой инженер Яндекса (Я), тестировщица из Plesk (наша Наташа), безработный, вернувшийся из кругосветки (Сергей, помогавший нам с CCIE за год), и студент СибГУТИ ИВТ (Миша).

Одна из вещей, которые изменились за 2,5 года — разрешили фотографировать. Поэтому часть фотографий в этой публикации предоставлена Элтекс — хорошего качества, а часть — в общем, извините.

Итак в декабре 2018-го Элтекс наконец-то запустил новый корпус. Буквально за неделю до нашего туда пришествия. Шума было много, запускали с апломбом. Пресса, министры, экскурсии.
На мой избалованный вкус дизайн исключительно утилитарный: стерильные лабиринты коридоров, однообразные кабинеты, рыжие столы-клоны, про которые уже и в прошлый раз было замечено. Однако на этом фоне особенно живо смотрятся логова конструкторов и железячников, усыпанные платами, сопротивлениями, чипами, осциллографами и прочей возбуждающей техникой.

Как сделать коммутатор? - 2


Производственная линия

На втором этаже построили первую из трёх линий длиной метров в 200.
Это примерно десяток станков, выстроенных в ряд, между которыми по конвейеру путешествует плата, обрастая всё новыми и новыми деталями. Станки перемежаются участками с установленными вокруг конвейера столами, где трудятся обычные люди, выполняя работу, для которой мозг и противопоставленный палец обходится дешевле, чем бездушное азиатское железо.
Таким образом линия обеспечивает полный цикл производства продукта: в её начале въезжают голые печатные платы, а в конце выходит коробка с устройством, готовая к продаже или установке.

Давайте сначала взглянем на этапы производства, а потом разберёмся, какая исследовательская и разработческая работа этому предшествует.

Как сделать коммутатор? - 3

Поверхностный монтаж

Первая стадия — это поверхностный монтаж SMD-компонентов (Surface Mounted Device) — чипы, резисторы, конденсаторы и прочие компоненты устанавливаются на свои места и припаиваются.

В первый станок с торца въезжает печатная плата с уже вытравленными дорожками и подготовленными посадочными площадками.

Станок наносит на плату смесь припоя с флюсом в соотношении 9:1. Чтобы смесь ложилась только на нужные точки, используется заранее подготовленный трафарет.

Далее плата с припоем передвигается в другой станок, где на неё в соответствии со схемой помещаются компоненты.

Резисторы, транзисторы, конденсаторы, чипы памяти, пакетные процессоры, CPU находятся на бобинах с лентами, закреплёнными на лицевой стороне станка.

Таких станка три, и установлены они один за другим — все физически идентичны, но имеют разную программу и оперируют разными компонентами. Если грубо, то хват настроен на разные размеры элементов.

Как сделать коммутатор? - 4

Следующим станком является печь для запекания плат. Сначала они плавно прогреваются до 100 градусов, это выравнивает температуру компонентов и защищает их от термального шока на следующем шаге производства, когда температура резкого повышается до примерно 330°C на 5 минут. Допустимые температурные режимы указываются в спецификациях компонентов.

В завершение первой стадии происходит оптический анализ пайки. В автоматическом режиме каждая плата проверяется на предмет холодной пайки, повреждений и дефектов.

Штыревой монтаж

Дальше заканчивается изящество автоматизации. Платы попадают на растерзание в нежные женские (впрочем, не только) руки. В прошлый наш визит цех штыревого монтажа произвёл неизгладимое впечатление. К счастью этот благоухающий оазис с амазонками никуда не делся, просто в новом корпусе добавился конвейер.

Как сделать коммутатор? - 5

На этой стадии на платы устанавливают в уже готовые отверстия элементы, имеющие штыри. К ним относятся, например, разъёмы питания, сетевые, кнопки, светодиоды.

Автоматизация такой работы всё ещё крайне невыгодна сравнительно мелкому производителю, поэтому как и прежде в Элтекс выполняют её люди. А поскольку мужчины (крайне слабо приспособленные к такой монотонной работе создания) совершают много ошибок, её поручают преимущественно женщинам (и не заводите разговор о сексизме — между полами исторически сложилась разница).

Дальше плата ещё раз попадает в печь, где волновым методом запаиваются установленные элементы.

Сначала здесь происходит нанесение флюса, далее как и при поверхностном монтаже в три этапа плата прогревается. А в самом конце станка — большой чан с жидким припоем и в чане ламинарная ходит волна. Волна слегка касается одной из сторон платы, и припой смачивает контактные площадки, а под действием капиллярного эффекта поднимается вверх по сквозным отверстиям, запаивая штыри.

Излишки припоя стекают обратно в чан. Температура — около 260°C.

Как сделать коммутатор? - 6
На фото платы как раз устремлены в печь.

Линию выключили незадолго до нашего визита — станок ещё сохранил волнующее тепло, однако припой уже застыл.

Как сделать коммутатор? - 7
Иллюстрация из статьи о волновой пайке


Прошивка

Все устройства далее проходят прошивку.

Как сделать коммутатор? - 8
На фото её проходят ТВ-приставки.


Установка в корпус

Следующая стадия — это монтаж оставшихся элементов и корпуса.

Как сделать коммутатор? - 9

Делается это вручную: человек в заранее изготовленный в Азии (или России) корпус монтирует едущую по линии плату.


Тестирование

Как сделать коммутатор? - 10
На фотографии тестируют ТВ-приставки.

Довольно интересно выглядит тестирование оборудования Wi-Fi — на специальных столах установлены металлические ящики, изолирующие излучение, а соответственно и влияние соседних испытуемых, напичканные измерительной аппаратурой.


Упаковка

Последним шагом является упаковка готового устройства в защитные мешки, коробки и добавление аксессуаров: антенн, монтажных ушек, блоков питания, пультов итд. Занимается этим, конечно же человек. По линии к нему приезжает собранное устройство, а рядом в ящиках подвозят упаковочный материал.

Готовую продукцию увозят заказчику.


В конкретный момент времени линия настроена на определённое устройство: начиная с программ и трафаретов и заканчивая набором лент с компонентами.

Если нужно поменять конфигурацию, производство останавливается и полностью перенастраивается.

В новом корпусе предполагается крупносерийное производство — ТВ-приставки, коммутаторы, маршрутизаторы, VoIP-шлюзы и VoIP-телефоны — то, что сразу разъезжается сотням заказчиков разного калибра (Вопреки бытующим стереотипам — у Элтекса не один заказчик).
Старую же линию, на который мы были в прошлый раз, не демонтируют, разумеется — на ней будет мелкосерийное и экспериментальное производства — устройства, которые пока требуются штучно.


Но самый интересный вопрос не в том, как в азиатских станках платы обрастают азиатскими компонентами, а в том, откуда берутся программы для них, сами платы, трафареты.

До того, как запустить устройство в производство — его нужно разработать, начиная с бизнес-задачи и заканчивая 3D-симуляцией потоков воздуха внутри устройства и температурной картой.

Разработка печатной платы

В этот наш визит инженеры и архитекторы Элтекс оказались гораздо более общительны, чем два года назад. Я связываю это с тем, что за это время linkmeup вырос из никому неизвестного подкаста в проект, у которого есть даже свои личные ненавистники. Хотя вполне вероятно, потому что в прошлый раз это было четыре человека из Huawei, который как известно, везде своих казачков засылает, а теперь это Я — янедксоид, Наташа из Плеска, безработный Серёга, и студент Миша).

Поэтому инженеры Элтекс были открыты и с видимым удовольствием рассказывали о своей работе. А мы в свою очередь не упускали возможности задать вопрос.

Структурная схема

Всё начинается со структурной схемы. Это наиболее поверхностный взгляд на устройство/плату.

На такой схеме изображаются все элементы платы и логические связи между ними. Её задача дать представление о структуре устройства, роли отдельных частей и интерфейсах взаимодействия между ними без лишней детализации.

Так на иллюстрации ниже изображена структурная схема материнской платы обычного компьютера

Как сделать коммутатор? - 11
Структурная схема материнской платы ASUS P5BW-MB.

Мы видим все её базовые элементы и связи между ними в самом общем виде.

В случае сетевого оборудования это будет CPU, память, чип коммутации (он же пакетный процессор, он же Forwarding Engine), PHY (до сих пор не определено, как произносить — «фи» или фаи" в Элтексе все склоняются ко второму варианту) итд.

Элтекс имеет несколько линеек оборудования от STB до модульных маршрутизаторов. В больших железках уровня оператора или ДЦ верны заветам Juniper и Forwarding Plane полностью отделён от Control, поэтому CPU не принимает участия в передаче данных, а берёт на себя интеллектуальные функции. Для коммутации же есть отдельный чип FE.

Об этом подробнее в 14-м выпуске СДСМ.
С другой стороны в SOHO-рутерах и ТВ-приставках используется SoC, которого вполне достаточно для функций, которые ожидают от устройства.

Каждый тип устройства имеет свою структурную схему.

Можно понизить уровень абстракции и вспомнить, что каждый микрочип сам имеет сложную структуру и соответствующие структурную и принципиальную схемы. В общем-то и разница между печатной платой и чипом в том, что в качестве подложки в одном случае используется текстолит с медными дорожками, а в другом — оксид кремния.

Принципиальная схема

После того, как определена структурная схема, пора приступать к выбору каждого конкретного компонента и разработке принципиальной схемы.

Это уже детализированная схема устройства с абсолютно всеми элементами, актуальным количеством контактов и их соединениями. Обычно это многостраничный документ, на котором схема разбита на множество частей.

Но это всё ещё логика работы — не разводка токопроводящих соединений на плате.

Вот пример небольшого кусочка принципиальной схемы материнской платы:

Как сделать коммутатор? - 12
Часть принципиальной схемы той же материнской платы ASUS P5BW-MB.

А вот отрывок из приницпиальной схемы коммутатора MES1124M:

Как сделать коммутатор? - 13

С какими-то из компонентов всё сравнительно просто. Грубо говоря, резисторы да конденсаторы подбираются по номиналу. Простые ASIC'и по своим функциям.

Однако, чем сложнее чип, тем больше возникает вопросов и компромиссов.

С одной стороны каждый поставщик реализует одни и те же механизмы по-своему. С другой набор поддерживаемых функций тоже у всех разный.

Наиболее сложным является, очевидно выбор процессоров — центрального и пакетного (FE). Причём последнего сложнее, потому что для CPU достаточно определить архитектуру, а дальше все производители делают ± одно и то же, а для FE вариации по поддерживаемой функциональности и языку общения с чипом не ограничены.

К тому же и производителей сейчас на рынке хватает:

  • Серия Broadcom
  • Marvell XPliant
  • Barefoot Tofino
  • Mellanox Spectrum
  • Innovium Teralynx
  • Даже Realtek

Для коммутаторов Элтекс не остановился на одном в роли FE, а использует Broadcom, Marvell и Realtek.

Как чип коммутации для свитча, так и SoC для какой-нибудь Wi-Fi-точки или STB является его сердцем, вокруг которого строится вся прочая обвязка.

Когда счёт идёт на сотни и тысячи ножек, разобраться в том, как чип работает, уже достойно научной работы. Поэтому производитель обычно поставляет какое-то экспериментальное устройство с этим чипом. Оно не должно быть гибким, компактным, энергосберегающим — его единственная роль — показать, как взаимодействовать с чипом (помимо тысяч страниц документации SDK).

А вендор сетевого оборудования после этого уже думает, как эти ноги пристроить на свои устройства.

Кстати, в качестве софта для домовых и Fixed-size железок используют этот самый SDK, предоставляемый производителем чипов. В некоторых случаях его допиливают, а порой отдают пользователю — как есть.


Таким образом на стадии завершения принципиальной схемы становится уже окончательно понятно, как устройство будет работать и какие компоненты использованы.

Разводка печатной платы

Следующая задача — расположить это всё на текстолитовой плате.

Современные платы многослойные — вплоть до 40 слоёв (что, скорее редкость, чем общая практика). Наращиваются на производстве они постепенно — сначала схема вытравливается на самом глубоком внутреннем слое, далее один за другим вытравливаются следующие и прессуются с имеющимися. Чем больше слоёв, тем меньше толщина каждой пластинки. Соответственно зависимость между числом слоёв и толщиной платы — нелинейная.

В простейшем случае — слой один. В простом случае — их четыре, и они разделены функционально: сигнальные, электропитание, заземление. В сложных платах, как например, для коммутаторов — это ещё и возможность многократно увеличить доступную для проводников площадь без фактического увеличения размеров, а также избежать индукции между соседними дорожками на одном слое, проходящими рядом друг с другом.

Как сделать коммутатор? - 14
Пример четырёхслойной платы: заметно на просвет, как на разных слоях отличаются токопроводящие дорожки и заливка заземления.

Естественно, разные слои должны взаимодействовать друг с другом, то есть иметь металлический контакт, поэтому в нужных местах слои высверливаются на необходимую глубину (до какого слоя нужно добуриться). Если диаметр больше 0,2 мм, используется обычное сверло, при меньших значениях — уже лазер.

Далее это отверстие металлизируется.

На фото я выделил то, как такие переходные отверстия выглядят на плате.

Как сделать коммутатор? - 15
Переходные отверстия.

Как сделать коммутатор? - 16
3D-модель многослойной платы и реализации переходных отверстий.

Как сделать коммутатор? - 17
Срез всамделишной платы в месте переходного отверстия.

Как сделать коммутатор? - 18

Любопытный момент (который, кстати, возникает тут на каждом шагу) — если через переходное отверстие проходит высокоскоростной сигнал (10GE), допустим с верхнего слоя и «ныряет» на внутренний, то остается неиспользуемая часть отверстия между этим внутренним и нижним слоями. Так скажем паразитная (stub) часть переходного отверстия. Чтобы от нее избавиться с обратной стороны платы такие переходные отверстия высверливаются большим сверлом на определенную глубину до необходимого внутреннего слоя.

Любопытный момент (которые, кстати, возникают тут на каждом шагу) — если оставить такое переходное отверстие, как есть, то высокоскоростной сигнал (10GE), ныряя с верхнего слоя на внутренний, будет отражаться от паразитной части (stub), и могут возникать помехи передаваться помехи, ухудшающие работу платы вплоть до полной неисправности.

Одно из возможных решений этой проблемы, которое использует Элтекс, — технология backdrilling. С противоположной стороны сверлится встречное отверстие большего диаметра. В этом случае сигнал не отражается, а проходит насквозь.

Как сделать коммутатор? - 19

Естественным образом, получается, что в месте такого переходного отверстия ни на одном из слоёв не может пролегать дорожка.

Однако общая рекомендация — избегать переходных отверстий, насколько это возможно, тем более для высокочастотных сигналов.

До недавних пор у меня были иллюзии, что трассировки дорожек на печатных платах уже давно делаются автоматическим методом. Сложно было представить, что километры тончайших дорожек рисуются руками.

Но сначала в подкасте про виртуализацию Господин Инженер, далеко углубившись в железо, тоном не терпящим возражений сообщил что сейчас ни один продукт не умеет в адекватную автотрассировку, а теперь и Элтекс стал примером, подтверждающим это утверждение.

Хуже того изначально нет даже библиотеки чипов, которые можно было бы накидать на рабочее пространство и соединять их дорожками. В спецификации чипов указывается схема расположения контактных площадок, которая вручную воссоздаётся в проекте.

И если, к примеру, чип имеет 1200 контактов, то и сами контакты и дорожки от каждого рисуются вручную.

В целом современные платформы для разработки платы функциональность автотрассировок имеют, только для их адекватной работы, необходимо задавать сотни правил в случае более или менее сложной схемы.

Часть из них достаточно простые:

  • Ширина токопроводящих дорожек. Тут море нюансов. Но универсальные правила следуют из закона Ома: чем ниже сечение, тем выше сопротивление и больше падение напряжение, а соответственно и нагрев.
  • Ширина зазора. При наличии разных потенциалов в двух проводниках даже диэлектрик может стать проводником. И тем вероятнее, чем проводники ближе.
    Таким образом ширина дорожек и зазоров — это компромисс между рисками и эффективностью.
    Кстати, здесь есть тонкий момент: в то время как вся (нет) Россия использует миллиметры для расчётов размеров, Китай (и не он один) считает в милах.
    Mille — тысячная доля дюйма или, соответственно, 0.0254 мм.
    Вот где нас подстерегла имперская система мер, словно 8 измерений, затаившихся внутри элементарных частиц (интересно, успею ли я при жизни пожалеть об этой вере).
    Поэтому совершенно типичны ситуации, когда при работе с китайскими производителями приходится пересчитывать из одной системы в другую. Удобно. Так в своё время греки переводили числа в вавилонскую систему, потому что в ней удобно было считать, а потом обратно в греческую — потому что так принято.

А другая часть менее очевидна.

  • Не рекомендуется делать повороты дорожек под углом 90 градусов — правильнее под 45 или закруглять по радиусу.

    В противном случае ток распространяется неравномерно. При больших токах это может вызывать локальные перегревы и выгорания дорожки.

    В случае когда имеем дело с высокоскоростным сигналом необходимо максимально плавно прокинуть сигнал на плате для уменьшения его затухания и здесь не допускается поворот даже под 45 градусов — только скругления.

    Элтекс использует радиус загиба на глаз, чего более чем достаточно.

  • На некоторых участках требуется, чтобы длина проводников была одинаковой.
    Одним из примеров будет подключение оперативной памяти.

    Другим — дифференциальные пары, соединяющие высокоскоростной порт (10GE) с чипом PHY. В этом методе сигнал передаётся по двум проводникам, но по одному из них в инвертированном виде (с другим знаком). Приёмник сравнивает два сигнала, полученных разным путём, а не сигнал одного провода с землёй. В этом случае электромагнитные помехи влияют одновременно на два провода, что повышает устойчивость, которая очень важна на таких скоростях.

    Очевидно, для того чтобы на приёмнике был один и тот же сигнал, сигнал этот должен прийти одновременно, соответственно и длина проводников должна быть одинаковой.

    Как сделать коммутатор? - 20
    CPU+DDR платы MES1124M.

    Как сделать коммутатор? - 21
    Плата, ты просто космос!

    Этим объясняются подчас странные формы дорожек на платах. Это не что иное, как выравнивание длин проводников между собой.

    Как сделать коммутатор? - 22
    Дорожки, связывающие процессор и оперативную память

    Необходимость в этом имелась всегда.

    Как сделать коммутатор? - 23
    Векторный суперкомпьютер CRAY-1.

Не только траектории каждой из тысяч дорожек определяются вручную, но и все переходные отверстия, скругления, контроль одинаковости длины проводников там где это требуется (Читай ниже про дифференциальные пары).

Павел Бомбизов, инженер-конструктор Элтекс, показал, как выделить дорожки, посмотреть их длину и сравнить с длиной её пары, как выбрать стык и сгладить его по радиусу, как создать контактные площадки чипов в виде равномерного массива точек.

Новые корпуса компонентов действительно необходимо рисовать вручную. В документации на чип производителем указывается схема расположения контактных площадок, их размеры и прочая информация, которую нужно перерисовать в библиотечный компонент. Порой это сделать не так-то просто поскольку количество контактов микросхемы может достигать нескольких тысяч, и здесь главное — не ошибиться с их расположением и обозначением.

Однако далее однажды нарисованный компонент вносится в библиотеку, и в будущем его можно будет просто переносить на рабочее пространство.

То есть рисуются только новые компоненты, не использовавшиеся в проектах ранее. Основная часть компонентов либо уже нарисована ранее, либо имеется в стандартной библиотеке компонентов, встроенной в САПР.

Как сделать коммутатор? - 24
Марвеловский чип PHY с обратной стороны — для оценки числа контактов, которые нужно правильно нарисовать.

Во время экскурсии было не очень понятно, почему Элтекс делает вручную выравнивания и загибы. Софт для разводки плат уже очень давно умеет как минимум в сравнение длины проводников, выравнивание, задание параметров кривизны. Но позднее Элтекс дал комментарии.
Выравнивание сигналов делается автоматом, но бывает проще и быстрее сделать это вручную. Всё зависит от конкретного случая.

Например, память, которая на фото Дорожки, связывающие процессор и оперативную память" разведена автоматом, вручную так нарисовать проблематично.
А вот диффпары на картинке Плата, ты просто космос!" выровнены вручную, причем здесь необходимо выровнять лишь одну и скопировать выравнивание на все остальные.

То есть проектирование плат — всё ещё колоссальный труд, который требует от конструктора предельной аккуратности и сосредоточенности внимания.

По словам Павла на разводку одной платы уходит от месяца. Если это коммутатор с четырёхслойной платой — около одного месяца. А например, MES9032, имеющий 20 слоев, множество нюансов и требующий решения многих конструктивных задач, может потребовать более полугода).

Последним шагом при проектировании платы является шелкография — расстановка позиционных обозначений компонентов, подписей разъемов, интерфейсов ввода-вывода итд.

Это не только обязательное требование при промышленной разработке плат, но и своего рода «комментарии к коду»:
Как использовать плату, как установить компонент, где плюс/минус питания, что показывает индикатор, даже как расположить плату в устройстве (например, гиродатчик, для которого важно расположение осей).

На этом этапе уже есть полное понимание того, как плата будет выглядеть и какие компоненты где на ней будут стоять.

Однако разработка устройства на этом ещё не закончена. Даже печатную плату ещё нельзя отправлять в производство, потому что по результатам следующего шага могут потребоваться ещё изменения.


Расчёт корпуса и системы вентиляции

Далее (на самом деле параллельно) проект передаётся конструкторам корпуса и системы вентиляции. Очевидно, это связанные вещи, поэтому и занимается ими один человек (или отдел).
На этом этапе в SolidWorks импортируются результаты предыдущего этапа.

С точки зрения формы корпуса важно знать размеры платы, расположение портов, индикаторов, кнопок, выводы антенн И так далее.

С точки зрения системы вентиляции — количество тепла, выделяемого компонентами, их размер и местоположение.

Теперь строится трёхмерная модель устройства вместе с корпусом и внутренней набивкой.
Исходя из тепловыделения, предполагаемых потоков воздуха и опыта, конструктор располагает отверстия вентиляции, радиаторы и перегородки и запускает расчёт.

Но прежде всего модель в значительной степени упрощается. Убираются:

  • Многослойность платы
  • Дорожки
  • Переходные отверстия
  • Монтажные отверстия
  • Компоненты, выделяющие пренебрежимо мало тепла и не влияющие на потоки воздуха
  • Сами компоненты тоже упрощаются вплоть до параллелепипедов.

Как сделать коммутатор? - 25
Упрощенная модель MES1124M.

Температурная карта, направления потоков воздуха, их скорость и всё это для разных временных интервалов вычисляются достаточно продолжительное время. Для простого коммутатора или STB на околотоповой видеокарте это занимает несколько часов. А для модульного маршрутизатора ME5000 — 2 недели.

К сожалению, изумительной красоты результаты расчётов с траекториями потоков воздуха и температурными картами, возбуждающие живой интерес любого инженера, опубликовать не разрешили.

Увы, у Элтекса пока нет достаточной потребности в вычислительном кластере, поэтому трудится на благо заказчика десктоп конструктора. Забыл спросить, а не было бы удобнее здесь обратиться к публичным облакам — каждый уважающий себя провайдер уже имеет ферму с GPU (или планирует).

На основе первых результатов конструктор пробует различные конфигурации радиаторов, перегородок, вентиляторов и отверстий в рамках имеющихся ограничений.

Не всегда это удаётся, поэтому в некоторых случаях приходится возвращать проект на шаг назад и пересматривать расположение элементов и даже их модели.

Этот итеративный процесс продолжается до тех пор, пока расчёты не будут показывать стабильный температурный режим.

Разумеется, система охлаждения — это одно из компромиссных решений между энергоэффективностью и номинальным температурным режимом работы.

Например, в ТВ-приставках кулер будет смотреться неуместно. В то же время никто не ожидает от пятнадцатиюнитового шасси пассивного охлаждения. Кстати в нём стоят 6 вот таких вентиляторов, каждый из которых при максимальной скорости отрывается от поверхности стола:

Как сделать коммутатор? - 26

Хочется тут вспомнить Яндекс, который благодаря грамотному планированию потоков воздуха в серверах (не только этому, конечно) добился в своих ДЦ фрикулинга и PUE близкого к единице.

Ну а потом наступает этап проверки теории практикой. До серийного производства корпуса в самом Элтексе печатается на 3д-принтере пробный вариант, в него помещается опытный образец платы. И далее устройство подвергается многочисленным тестам.

Здесь можно обнаружить нестыковки корпуса с платой, ошибки в расположении элементов, удобство использования, а самое главное измерить реальную температуру чипов и на разных участках платы, выяснив насколько модель соответствует реальности.

По словам сотрудников Элтекс в большинстве случаев никаких отклонений не обнаруживается. Однако если тесты не прошли, модель приходится корректировать — либо чего-то не учли, либо во входные данные вкралась ошибка, например, неправильно ввели тепловыделение чипа.

Что же до модели, то как всегда — она компромисс между близостью её к реальности и эффективностью расчётов. Моделируемый объект нужно упростить настолько, насколько это возможно, но не больше.


Когда испытания пройдены, корпус утверждён, устройство работает исправно, оно пускается в серию.

Как сделать коммутатор? - 27
3д-модель MES1124M в корпусе.

Пластиковые корпуса изготовляются преимущественно в Китае. Металл гнуть и у нас, кажется, умеют, хотя и не всегда, как рассказывает Элтекс.

Многослойные платы производят так же в Азии, хотя есть и у нас в России заводы. Такой выбор обусловлен рядом причин. Например, возможности техпроцесса: переходные отверстия 0,1 мм наши пока делать не умеют. Стабильность продукта и предсказуемое время поставки — другие причины. Ну и никуда не деть того факта, что производство в Азии всё ещё дешевле, чем в России.

Вся рассыпуха и микрочипы — тоже оттуда.

Ну а компонуется это всё уже на сборочной линии в Новосибирске.

Для этого создаются:

  • сборочный чертеж на плату,
  • трафареты для нанесения паяльной пасты на станке,
  • программа для установщика компонентов: что, как и куда устанавливать

Это всё ожидаемо делают те же ребята, что и занимаются разработкой.


Так выглядит печатная плата, изготовленная в Китае.

Как сделать коммутатор? - 28
Плата коммутатора MES1124M. На ней я отметил ключевые компоненты: CPU и память, чипы FE и PHY, Downlink и Uplink порты, и что интересно — трансформаторы. Их роль здесь — изолировать цепи контактов разъёма от остальных цепей коммутатора и корпуса и, как следствие защитить дорогостоящие чипы PHY и чипы пакетной коммутации.

Изоляция в 1500 VAC — это минимальное требование стандарта IEEE802.3, поэтому при попадании 220 VAC на порт (например, через витую пару при повреждении изоляции кабеля), ничего не сгорит — 220 VAC не сможет пробить.

Однако трансформатор не может защитить от электростатического разряда, так как разряд с первичной стороны трансформатора наводится на цепи на вторичной стороне. Защита от электростатики выполняется другими средствами.


Что же до импортозамещения, увы, приходится признать, что дальше разводки печатных плат и сборки/пайки готового устройства, мы так и не зашли. Все микрочипы всё ещё закупаются в Азии.
У Элтекса был (да и есть) опыт с Байкалами в качестве центральных процессоров. Взаимодействие с экспертами Baikal Electronics ведётся при создании оборудования для госорганов.

Однако с пакетными процессорами (FE) ситуация не изменилась — всё ещё не умеем. И, насколько мне известно, не пробуем. Элтекс говорит, что я ошибаюсь, но без деталей, увы. Если, конечно, речь не о чипах Миландра, которые безусловно любопытны, но всё-таки далеки от bleeding edge.

Кроме того в этот раз нам представилась возможность второй раз поговорить с Александром Евгеньевичем Моховым — начальником лаборатории Ethernet Technology. Из-под его рук в некотором смысле выходят коммутаторы серии MES и маршрутизаторов ME5000.

В прошлый раз мы были лазутчиками из Huawei, о которых не предупредили заранее. А теперь и визит заранее согласовали, и гости из понятных мест. Поэтому вместо недоверчивых аккуратных фраз получился приватный разговор, из которого стало ясно, что в целом Элтекс следует лучшим практикам при строительстве модульных устройств.

Пожалуй, по существу здесь добавить нечего.


Полезные ссылки


Заключение

С точки зрения техники экскурсия вышла превосходной. Лично мне было интересно окунуться в процессы, к тому же это заставило меня и самого немного почитать на эту тему. Несколько вещей стали настоящими открытиями, другие просто расставили всё по местам.

Несмотря на неоднозначное отношение как инженеров операторов, так и обычных пользователей к Элтексу, я рад, что у нас есть люди, которые способны создавать такие вещи, создают их, и не боятся о них рассказывать.

За это время модульный маршрутизатор вышел из стадии разработки и трудится на сети неназванного заказчика. Если есть счастливые инженеры, эксплуатирующие их, пишите комментарии.

По словам отдела маркетинга Элтекс на сегодняшний день поставки их оборудования, помимо России, осуществляются в страны СНГ, Европы, Ближнего Востока, Северной и Южной Америки, Юго-Восточной Азии. Наибольшим спросом на зарубежном рынке пользуется оборудование широкополосного доступа для операторов связи.

Что ж, желаем нашему производителю активной и результативной экспансии на международный рынок — только там здоровая конкуренция бросает настоящие вызовы.

Если вы приносите в сетевой мир что-то новое и вам есть, что показать и рассказать, то мы с удовольствием наведаемся и к вам в гости.


Спасибы

  • Мария Мищенко — маркетолог Элтекс и наш гид.
  • Артём Спицын — руководитель московского офиса Элтекс Коммуникации и инициатор экскурсии.
  • Павел Бомбизов — инженер-конструктор Элтекс (проектирование плат)
  • Алексей Филон — инженер-конструктор Элтекс (проектирование корпусов и системы вентиляции)
  • Сергей Игонин — начальник участка SMD Элтекс (производственная линия)
  • Вячеслав Горбач — инженер-программист Элтекс (лаборатория Hardware, рассказ про использование SDK для SoC)
  • Александр Мохов — начальник лаборатории Ethernet Technоlogy Элтекс (разработка сетевого оборудования и взаимодействие с производителями чипов)
  • Роман Гурьев — инженер-электронщик (за исправление неточностей)
  • Дмитрий Булыгин — инженер связи (за знакомство с Артёмом и замечания по читаемости текста)
  • Сергей Луньков — сетевой инженер (за компанию)
  • Наталья Асташенко — тестировщик (за компанию и поправки к статье)
  • Михаил Пуртов — студент (за компанию)
  • Павел Остапенко — инженер связи (за несделанные фото и поправки к статье)

Автор: Марат

Источник

* - обязательные к заполнению поля