Со дна на сушу: разбираемся в сетях между дата-центрами

Привет! Я Лев, специалист продуктовой поддержки в Selectel ^[1]. В прошлых текстах мы подробно разобрали, как строят и проектируют подводные линии связи. Теперь давайте вернемся на сушу — под катом рассмотрим, как проектируют сети между центрами обработки данных (ЦОД).

Используйте навигацию, если не хотите читать текст целиком:
→ Почему важна связность между ЦОД ^[2]
→ Как проектируют сеть между дата-центрами ^[3]
→ Технологии ^[4]
→ Сравнение Fibre Channel и iSCSI ^[5]
→ Заключение ^[6]

Почему важна связность между ЦОД

Сегодня IT-технологии играют ключевую роль в бизнесе, науке и государственных структурах. С ростом объемов данных и повышением требований к отказоустойчивости все большую значимость приобретает надежная связь между дата-центрами.

Фотография ЦОД.

По данным Минцифры ^[7], в первом полугодии 2024 года объем трафика в российских сетях фиксированного интернета вырос на 31,5% по сравнению с тем же периодом 2023 года — до 68,5 млрд ГБ. Это отражает общий тренд: развитие ИИ, рост спроса на облачные решения, а также активный интерес со стороны инвесторов.

В отдельном тексте ^[8] мы уже разбирались в многообразии дата-центров, их задачах и устройстве. Рассматривали моменты, на которые стоит обратить внимание при поиске подходящего ЦОД, а также говорили о безопасности и законодательстве в этой области.

Как проектируют сеть между дата-центрами

Связь между ЦОД — это не просто «протянуть оптику». Это сложный и многогранный процесс, который требует учитывать топологию, требования к пропускной способности, уровень резервирования, масштабируемость и способы управления.

Топология

Для связи небольшого количества дата-центров — например, двух-трех, часто выбирают простую и надежную схему «точка-точка». Она проста, обеспечивает прямое соединение, минимальные задержки и простое управление. Однако при большом количестве узлов приходится переходить к более сложным топологиям — кольцу, ячеистой структуре и т. д.

Топологическая схема «Точка-точка». Источник ^[9].

Волоконно-оптические сети часто используют кольцевую топологию, обладающую естественной способностью к «самовосстановлению». В таких сетях линейная часть обычно строится на паре волокон, что обеспечивает два возможных пути передачи данных между узлами.

• Основной маршрут — передача трафика по или против часовой стрелки.
• Резервный маршрут — альтернативное направление, используемое для защиты и восстановления при повреждениях.

Таким образом, в случае отказа основного пути трафик автоматически переключается на резервный, обеспечивая непрерывность связи.

Топологическая схема «Кольцо». Источник ^[10].

Пропускная способность

Пропускная способность — это объем данных, который сеть способна передать за единицу времени. В современных условиях, когда количество подключенных устройств и объемы данных стремительно растут, важно тщательно анализировать потребности в трафике. Это позволит выбрать технологии и оборудование, способные обеспечить высокие скорости передачи — часто на периферии ЦОД требуются скорости вплоть до 100 Гбит/с и выше.

Отказоустойчивость

Отказоустойчивость сети гарантирует бесперебойную работу и доступность сервисов даже при сбоях отдельных компонентов — узлов, линков или оборудования. Для ее обеспечения закладывают резервирование на всех уровнях:

• дублируют каналы связи;
• строят резервные маршруты;
• используют протоколы с быстрым восстановлением — например, FRR, BFD или ECMP.

Технологии

Современные сети между ЦОД проектируют на базе множества технологий и протоколов. Рассмотрим наиболее распространенные:

• DWDM (Dense Wavelength Division Multiplexing),
• OTN (Optical Transport Network),
• Fibre Channel,
• iSCSI (Internet Small Computer Systems Interface).

Dense Wavelength Division Multiplexing

DWDM — это технология плотного спектрального мультиплексирования. Она позволяет создавать оптические магистрали, работающие на мультигигабитных и терабитных скоростях.

DWDM лежит в основе гибких высокоскоростных оптических сетей и обеспечивает прозрачную передачу любого типа трафика, в том числе чувствительного к задержкам. Технологию используют в передовых системах связи, где требуется обеспечение высокоскоростной передачи больших объемов информации с повышенной надежностью.

Использование DWDM при соединении ЦОД. Источник ^[11].

Такие решения критически важны при соединении дата-центров.

DWDM обеспечивает:

• высокую пропускную способность;
• низкие задержки передачи;
• прозрачную доставку трафика любого типа, включая трафик, чувствительный к задержкам (например, SAN или потоки синхронизации).

Разберем ключевые компоненты системы DWDM.

• Транспондеры — модули, преобразующие электрический сигнал в оптический и обратно.
• Мукспондеры — агрегируют несколько потоков в один оптический канал.
• Оптические усилители — компенсируют потери сигнала на больших дистанциях.
• Демультиплексоры и мультиплексоры — разделяют или объединяют сигналы на разных длинах волн.

Длина волн DWDM.

Подход к проектированию DWDM-сети

При проектировании DWDM-сегмента инженеры анализируют множество факторов. Например, необходимую пропускную способность, оптический бюджет, расстояние между ЦОД, места размещения усилителей, а также совместимость оборудования (особенно в случае мультивендорной среды). Далее на основе этого инженеры подбирают:

• число каналов (чаще всего 40–80, для обеспечения требуемой пропускной способности и количества данных);
• пропускную способность системы;
• типы и количество транспондеров или агрегаторов;
• усилители и компенсаторы дисперсии (если требуется).

Optical Transport Network (OTN)

DWDM сам по себе не является цифровой сетью — он лишь предоставляет оптические каналы в виде разных длин волн. Чтобы передавать по таким каналам цифровые данные, нужно каким-то образом договориться о методе модуляции или кодирования двоичных данных, а также предусмотреть важные механизмы: контроль корректности, исправление битовых ошибок, обеспечение отказоустойчивости, оповещение пользователя о состоянии соединения и т. д. Эти задачи решает технология Optical Transport Network (OTN).

OTN — это оптическая транспортная сеть с высокой пропускной способностью. Она позволяет передавать большие объемы цифровой информации — от интернет-трафика до потокового видео — на дальние расстояния с высокой скоростью и низкими задержками.

Почему OTN важна для ЦОД

Использование OTN между дата-центрами становится все более актуальным благодаря целому набору преимуществ. Рассмотрим ключевые.

Схема объединения разных видов информации в OTN. Источник ^[12].

Высокая пропускная способность. OTN обеспечивает передачу большого объема данных на скоростях от 100 Гбит/с и выше — с возможностью дальнейшего масштабирования.

Мультисервисность. В одном канале могут одновременно передаваться трафики разных типов: голос, видео, данные.

Эффективное распределение ресурсов. OTN позволяет динамически распределять полосу пропускания. Это оптимизирует использование сетевых ресурсов и снижает эксплуатационные расходы.

Управляемость. OTN включает механизмы мониторинга, резервирования и коррекции ошибок — они повышают надежность сети.

Схема мультиплексирования в OTN.

Применение OTN позволяет удовлетворить растущие потребности в передаче данных, поддерживая современные облачные сервисы, распределенные вычисления и другие требовательные приложения.

Fibre Channel

Fibre Channel (FC) — это семейство протоколов высокоскоростной и высокопроизводительной передачи данных. Его разработали специально для сетей хранения информации (SAN).

FC поддерживает как оптические, так и электрические интерфейсы. Технология обеспечивает:

• стабильную работу хранилищ,
• минимальные задержки при доступе к данным,
• высокую надежность за счет резервирования путей и встроенной коррекции ошибок,
• встроенные механизмы коррекции ошибок и резервирования путей.

Рассмотрим, где используют Fibre Channel.

• Подключение серверов к дисковым массивам и ленточным библиотекам.
• Организация централизованного доступа к хранилищам (SAN).
• Сценарии, где критична предсказуемая производительность и минимальные задержки — например, для баз данных или виртуализации.

Организация связи при помощи технологии Fiber Channel. Источник ^[13].

Скорость передачи — от 8 до 256 Гбит/с. Этого достаточно даже для высоконагруженных систем и приложений, которые требуют быструю обработку больших объемов данных.

iSCSI: доступный способ построить SAN

iSCSI (Internet Small Computer Systems Interface) — это протокол, который позволяет передавать команды SCSI через IP-сети. В отличие от Fibre Channel, iSCSI не требует специализированного оборудования: он работает поверх стандартной Ethernet-инфраструктуры.

Преимущества iSCSI для ЦОД

Экономия. iSCSI работает поверх существующей Ethernet-инфраструктуры, что позволяет снизить затраты на оборудование и использовать стандартные коммутаторы, адаптеры, кабели и т. д.

Простота настройки и управления. iSCSI базируется на стандартных сетевых протоколах TCP/IP, поэтому его развертывание и администрирование не требуют глубоких специализированных знаний, что облегчает эксплуатацию SAN.

Гибкая архитектура. iSCSI позволяет строить более простые и доступные по стоимости SAN, исключая необходимость в выделенных кабелях и дорогостоящем оборудовании. Это значительно упрощает проектирование и внедрение систем хранения данных.

Организация связи при помощи технологии iSCSI. Источник ^[14].

Сравнение Fibre Channel и iSCSI

При проектировании сети между ЦОД важно выбрать подходящую технологию передачи данных. Наиболее популярные варианты — Fibre Channel и iSCSI — существенно различаются по стоимости, производительности и сложности внедрения.

iSCSI проще в реализации и дешевле за счет использования стандартной Ethernet-инфраструктуры, однако в условиях высокой нагрузки может уступать Fibre Channel по надежности и задержкам. Fibre Channel, в свою очередь, требует специализированного оборудования, но обеспечивает предсказуемую производительность и низкий уровень ошибок.

Сравним ключевые характеристики протоколов iSCSI и Fibre Channel с помощью таблицы, подчеркивая их преимущества и особенности при использовании в ЦОД.

Заключение

В статье мы разобрали ключевые технологии, применяемые при построении волоконно-оптических соединений между дата-центрами ^[15]: DWDM, OTN, Fibre Channel и iSCSI. Каждая из них решает разные задачи — от физического уровня передачи до построения сетей хранения и управления трафиком.

При выборе конкретной технологии важно учитывать не только технические характеристики, но и масштаб инфраструктуры, допустимые задержки, уровень отказоустойчивости и бюджет проекта.

Делитесь в комментариях, что было бы интересно узнать о проектировании межцодовых сетей в будущих текстах!