Занимательная десятигигабитность

в 6:04, , рубрики: 10gbe, ethernet, Блог компании Intel, Телекомы, метки: ,

Занимательная десятигигабитность
В то время как наши корабли, теперь уже оснащенные современными беспроводными технологиями, продолжают бороздить просторы Большого Театра, менее мобильные и более активные потребители трафика данных по-прежнему пользуются старым добрым Ethernet, который, в своей нынешней 10-гигабитной ипостаси, способен удовлетворить большинство их потребностей. В этой заметке мы дадим практический обзор технологий десятигигабитного Ethernet (10Gbe) в целом и сетевых адаптеров 10Gbe Intel в частности.

Почему 10Gbe?

Почему речь идет именно о 10Gbe, а не о новейших 40- и 100-гигабитных стандартах? Причина проста: несмотря на солидный по телекомовским меркам возраст (самому старому десятигигабитному стандарту 802.3ae в этом году исполнилось 10 лет) 10Gbe остается самой востребованной технологией для ядра провайдерских и крупных корпоративных сетей, а также центров обработки данных. Можно говорить, что 100Gbe слишком молод и имеет целый набор стандартных «детских болезней» — высокая стоимость оборудования, трудности с поставками, малое количество предложений и т.д. Однако главная причина, на мой взгляд, заключается в том, что такие скорости в большинстве случаев просто не нужны; за исключением сверх больших ЦОД или гигантских облачных площадок одна или несколько линий 10Gbe прекрасно справляются с передачей возложенного на них трафика.

Немного оптической терминологии

Чтобы не отвлекаться в дальнейшем, сразу дадим описание некоторым оптическим терминам, которые встречаются в этой статье. Оптические волокна могут быть многомодовыми и одномодовыми. В многомодовых кабелях пучок света из нескольких лучей распространяется, постоянно отражаясь от пограничных областей; лучи с разной длиной волны имеют различную траекторию движения. Подобный характер движения лучей приводит к дисперсии сигнала, закодированного в световой пучок – искажению его формы. Одномодовое волокно намного тоньше многомодового, его толщина сравнима с длиной световой волны (стандартные для телекоммуникаций параметры оптических линий приведены в таблице ниже). По нему движется всего один луч с определенной длиной волны, не испытывая отражений. В качестве источника многомодового света обычно выступает светодиод, одномодового – лазер.

Одномод Многомод
Толщина сердечника, мкм 8 50
Толщина волокна, мкм 125 125
Длина волны, мкм 1,3 или 1,5 0,8
Затухание, дб/км ~ 0,5 ~ 3

Стандарты 10Gbe

Конкуренция между протоколами локальных сетей осталась далеко в прошлом – Ethernet победил всех прочих окончательно и бесповоротно. Возможно, это даже к лучшему, по крайней мере производители сетевого оборудования тому, без сомнения, рады: работать с одним стандартом намного проще, чем «женить» несколько. Так или иначе, «единицей измерения» сети сейчас можно смело считать один порт Ethernet в каком-то из его видов: 100 Мбит/с (Fast Ethernet, Fe), 1 Гбит/с (Gigabit Ethernet, Gbe) или 10 Гбит/с. Ну а к портам коммутатора, в свою очередь, подключаются сервера, рабочие станции и другое сетевое оборудование. Понятно, что для персональных компьютеров применять 10Gbe навряд ли кто придумает, а вот более мощные устройства такие скорости вполне оценят.
Занимательная десятигигабитность
Коммутатор 10Gbe, видны пустые гнезда под модули среды (о них речь пойдет ниже)

Как уже говорилось, первый стандарт 10Gbe был принят в 2002 году. Он стал логическим продолжением гигабитных протоколов (к слову сказать, при переходе к 40Gbe преемственность прервалась). К настоящему времени опубликовано несколько стандартов 10Gbe, различающихся средой передачи сигнала. Вот основные из них:

Стандарт Среда передачи Макс. расстояние Разъем
10GBase-LR Оптика, одномод, 1,3 мкм 10 км SC/LC
10GBase-ER Оптика, одномод, 1,5 мкм 40 км SC/LC
10GBase-SR Оптика, многомод, 0,8 мкм 300 м SC/LC
10GBase-CX4 4-жильный медный кабель 15 м Infiniband
10GBase-T Медная витая пара 100 м 8P8C (RJ45)

Как видно из таблицы, одномодовые стандарты позволяют передавать сигнал на большие расстояния, однако они дороже и сложнее в монтаже – тем не менее для магистральных нужд им нет равных. Многомодовый 10Gbe широко применяется в локальных сетях в пределах одного узла, медный CX4 – для разводки внутри одного монтажного шкафа. 10GBase-T стандартизирован скорее из уважения к прежним заслугам витой пары и практически не используется, так же как и другие, более экзотические 10-гигабитные стандарты.
Кроме того, существует вариант соединения 10Gbe карт медным кабелем Direct Attach с разъемами в виде SFP+ модулей – такие линии обычно используются для стекирования, их длина – порядка 10 м.
Занимательная десятигигабитность
Цвет оптического патч-корда указывает на его тип: желтый – одномодовое волокно, оранжевый – многомодовое волокно. Сверху на патч-корде разъемы FC, ниже – LC

Желающих применить полученные знания на практике, прошу обратить внимание на последнюю колонку. Оптические интерфейсы 10Gbe имеют разьемы SC (потолще и покороче) или LC (подлиннее и потолще). Существует еще третий популярный вид коннекторов, FC со спиральной стяжкой – он применяется на пассивном оптическом оборудовании. Будьте внимательны при проектировании оптических линий!

Модули среды передачи

В полном соответствии с заветами ISO/OSI, в то время как обработкой Ethernet кадров занимается сетевой процессор интерфейса, сопряжение с физической средой отдано на откуп модулям физического уровня (PHY) – именно они определяют способность конкретной сетевой карты работать с конкретной линией передачи. Новые скорости требовали новых модулей среды – и они, конечно, были разработаны. Первым был стандартизирован модуль XENPAK; его главным недостатком впоследствии оказался большой физический размер, в силу чего в настоящее время он применяется в устройствах с низкой плотностью портов, скажем, маршрутизаторах. Следующим на очереди был стандарт Х2: при архитектуре, идентичной с XENPAK, он имел почти в два раза меньший размер, что позволяло использовать его в многопортовых устройствах, таких как коммутаторы. Модуль XFP был принципиально новым решением, также прогрессивным по размеру, однако наибольшее распространение получил стандарт SFP+ — именно он поддерживается сейчас большинством производителей.
Занимательная десятигигабитность
Модули среды. Слева – XENPAK (тип разъемов SC), справа – SFP+ (тип разъемов LC)

Стандартизация интерфейсов предполагает, что модули разных типов и производителей должны нормально работать друг с другом, однако в жизни всё, как водится, немного сложнее, и проблемы совместимости имеют место быть по сей день.

Сетевые адаптеры Intel

Не могу считать этот факт общеизвестным, но компания Intel является одним из старейших производителей сетевых контроллеров и адаптеров. В настоящее время актуальной является линейка 10Gbe карт Intel серии Х520 на контроллере Intel 82599ES, которая выглядит следующим образом:

P/n Название Тип порта
E10G42BTDA Intel Ethernet Server Adapter X520-DA2 2 x Direct Attach
E10G42BT Intel Ethernet Server Adapter X520-T2 2 x 10GBase-T
E10G41BFSR Intel Ethernet Server Adapter X520-SR1 10GBase-SR
E10G42BFSR Intel Ethernet Server Adapter X520-SR2 2 x 10GBase-SR
E10G41BFLR Intel Ethernet Server Adapter X520- LR1 10GBase-LR

Все указанные карты поставляются с уже установленными модулями PHY, тип оптического разъема – LC. Если вдруг кому понадобится карта CX4, то она выполнена на чипе Intel 82598EB и имеет название «Intel 10 Gigabit CX4 Dual Port Server Adapter» (P/n EXPX9502CX4) – два порта CX4. Нетрудно видеть, что в линейке отсутствуют адаптеры ER/ZR, их в данный момент вообще не существует в принципе – это, конечно, немного огорчает.
Занимательная десятигигабитность
Карта Intel X520 Series, кокретно – «Intel Ethernet Server Adapter X520-SR1» с одним портом SR

В список совместимых с картами операционных систем входят как серверные ОС Microsoft (Windows Server 2008 в различных вариантах), так и *nix ОС – RHEL/SLES Linux и FreeBSD.
Общей темой в развитии серверных сетевых карт, полностью отраженной в линейке Х520, стал перенос средств управления трафиком с программной части на аппаратную. Мощность современных сетевых процессоров позволяет им самостоятельно, не дергая центральный хост, производить ряд манипуляций с трафиком, таких как контроль ошибок и обеспечение целостности, применение политик QoS, взаимодействие с виртуальными машинами сервера и т.д.

Подводя итог нашему маленькому обзорчику можно сказать так: за 10 лет существования 10Gbe, его реализации были отточены настолько, что ожидать революции в этом направлении уже не приходится, да ее, наверное, никто и не ждет. 10Gbe – это «рабочая лошадка» телекома, основа его узлов и магистралей, а знание его возможностей и ограничений – необходимый компонент в портфеле знаний любого айтишника. Задача этого ликбеза – показать куда копать в случае необходимости и чего опасаться; надеюсь, что она таки достигнута.

Автор: saul


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js