Infiniband: матрица для данных

в 9:22, , рубрики: infiniband, Блог компании Intel, Телекомы, метки:

Infiniband: матрица для данных
По мере роста трафика данных между компонентами высоконагруженных систем, все острее встает проблема его точной, а скорее даже точечной доставки. Идеальным решением в данном случае могла бы стать универсальная технология обмена информацией, обладающая высокой пропускной способностью и осуществляющая эффективное взаимодействие как локальных, так и сетевых устройств, то есть по сути объединяющая их в единую матрицу масштаба ЦОД или ядра сети. Забавно, но факт: одна такая «матрица» (а точнее, технология коммутации данных) появилась практически одновременно с фильмом братьев Вачовски. Речь идет о стандарте Infiniband.

Технология Infiniband берет свое начало в 1999 году, когда были объединены два конкурирующих проекта под авторством крупнейших производителей коммуникационного оборудования того времени: Compaq, IBM, Hewlett-Packard, Intel, Microsoft и Sun. С точки зрения архитектуры она представляет собой коммутируемую сеть высокоскоростных соединений между вычислительными модулями и устройствами хранения масштаба суперкомпьютера или вычислительного центра. При проектировании стандарта Infiniband в него были заложены следующие приоритеты:

  • Иерархическая приоритизация трафика;
  • Низкая латентность;
  • Масштабируемость;
  • Возможность резервирования;

ну и, наверное, самое главное – возможность выбора подходящей из диапазона скоростей, от высоких до очень высоких. В таблице ниже приведена симплексная пропускная способность Infiniband в пересчете на полезный трафик для различных режимов и количества линий.

SDR DDR QDR FDR EDR
1X 2 Gbit/s 4 Gbit/s 8 Gbit/s 13.64 Gbit/s 25 Gbit/s
4X 8 Gbit/s 16 Gbit/s 32 Gbit/s 54.54 Gbit/s 100 Gbit/s
12X 24 Gbit/s 48 Gbit/s 96 Gbit/s 163.64 Gbit/s 300 Gbit/s

SDR – Single Data Rate; DDR – Double Data Rate; QDR – Quad Data Rate; FDR – Fourteen Data Rate; EDR – Enhanced Data Rate.

Infiniband: матрица для данныхШина Infiniband является последовательной, так же как, скажем, PCIe или SATA, но в отличие от последних, может использовать как волоконную, так и медную среду передачи, что позволяет ей обслуживать и внутренние, и сильно внешние соединения. Кодирование передаваемых данных производится по схеме 8B/10B для скоростей до QDR включительно и по схеме 64B/66B для FDR и EDR. Медные линии Infiband обычно оконцовывают коннекторами СХ4 (на фотографии слева), для высокоскоростных линков сейчас все больше применяется оптика.

Продвижением и стандартизацией Infiniband занимается InfiniBand Trade Association – консорциум заинтересованных производителей, включающий в себя IBM, Hewlett-Packard, Intel, Oracle и другие компании. Что же касается непосредственно оборудования, то есть адаптеров и коммутаторов Infiniband, то лидирующие позиции на рынке занимают Mellanox и QLogic (приобретена Intel в начале 2012 года).

Рассмотрим более подробно архитектуру сетей Infiniband на примере небольшой SAN.
Infiniband: матрица для данных

Адаптеры Infiniband делятся на две категории: Host Channel Adapters (HCA) и Target Channel Adapters (TCA). НСА устанавливаются в сервера и рабочие станции, ТСА – в устройства хранения; соответственно, на долю первых приходится управление и передача данных, вторые исполняют команды и также передают данные. Каждый адаптер имеет один или несколько портов. Как уже говорилось, одной из особенностей Infiniband является высокоточная маршрутизация трафика. Например, перемещение данных с одного стораджа на другой должно быть инициировано НСА, но после передачи управляющих директив сервер выходит из игры – весь трафик движется напрямую из одного хранилища в другое.

Infiniband: матрица для данныхНа фото слева показан адаптер HCA QLogic QLE7340 (QDR, 40 Гбит/с).

Как можно заметить, количество соединений между абонентами Infiniband избыточно. Это сделано для увеличения скорости передачи и обеспечения резервирования. Совокупность конечных пользователей, подключенных к одному или нескольким коммутаторам, называется подсетью; карта подсети, то есть набор доступных маршрутов между пользователями, находится в памяти менеджера подсети – таковой обязательно должен быть, хотя бы один. Несколько подсетей может объединяться в одну сеть с помощью маршрутизаторов Infiniband.

Infiniband разрабатывался не только как средство оптимальной передачи данных, но и как стандарт прямого обмена содержимым памяти серверов; так, на его основе работает протокол RDMA (Remote Direct Memory Access), позволяющий удаленно получать и передавать области памяти без участия операционной системы. В свою очередь, на RDMA базируется серия более специализированных протоколов, расширяющих его функциональность.

Существуют также протоколы водружения поверх Infiniband стандартного стека протоколов TCP/IP, они включены, думается, во все наборы ПО для Infiniband, как фирменные, различных производителей сетевых устройств, так и открытые.

Infiniband: матрица для данных
График роста скоростей Infiband

В принципе, можно сказать, что Infiniband находит свое применение везде, где передаются большие объемы данных с высокими скоростями, идет ли речь о суперкомпьютерах, высокопроизводительных кластерах, распределенных базах данных и т.д. Скажем, такой активный участник ассоциации ITA, как Oracle, уже достаточно давно использует Infiniband как, можно сказать, единственное средство для внутренних соединений в своей фирменной кластеризации и даже разработала собственный протокол передачи данных поверх Infiband – Reliable Datagram Sockets (RDS). Инфраструктура Infiniband — достаточно дорогое удовольствие, поэтому широко распространенной ее назвать трудно. Но шансы встретиться с ней лично определенно есть, если вы в своей карьере идете навстречу большим гигабитам в секунду и терабайтам. Тогда и закопаетесь в тему глубоко, ну а пока можно ограничиться просто ликбезом – вы его как раз и прочитали.

Автор: saul

Поделиться

* - обязательные к заполнению поля