В MIT разработали технологию управления трафиком датацентра, которая многократно уменьшает задержки и очереди

Технология, названная Fastpass, была протестирована в одном из датацентров Facebook и показала очень впечатляющие результаты. Суть системы Fastpass — в добавлении специализированного узла управления трафиком, который играет роль «дирижёра», сообщающего серверам, когда им следует отправлять пакеты данных. Этот узел вычисляет оптимальное время отправки пакета данных с точностью до сотен наносекунд и оптимальный его путь в сети. В результате резко снижается количество коллизий пакетов и время их ожидания в очередях.

С использованием Fastpass медианный размер очереди пакетов падает с 4,35 мегабайт до 18 килобайт. Теоретически, Fastpass позволяет вообще избавиться от очередей, но на практике это пока невозможно из-за недостаточно точной синхронизации времени между серверами. Так же значительно уменьшается и пинг — с 3,56 миллисекунд до 230 микросекунд. Необходимость в повторной отправке пакетов в сети, управляемой Fastpass, уменьшается в два с половиной раза.

Плата за такое существенное улучшение характеристик сети не слишком высока: необходимость передавать дополнительный управляющий трафик по специальному протоколу Fastpass Control Protocol (FCP) приводит к незначительному уменьшению общей пропускной способности сети — с 9,43 до 9,28 гигабит в секунду.

Алгоритм, используемый в Fastpass, хорошо масштабируется — при росте количества запросов нагрузка на процессор растёт линейно. В ходе экспериментов сервер Fastpass с восемью ядрами управлял суммарным трафиком 2,21 терабит в секунду. Если реализовать его на специализированном железе, с помощью (FPGA или ASIC), производительность можно повысить ещё в несколько раз. Для дальнейшего масштабирования можно использовать иерархическую схему с несколькими серверами Fastpass.

Подробное описание алгоритма, протокола и архитектуры Fastpass, а так же исходники, можно найти в открытом доступе на сайте fastpass.mit.edu ^[1]. Лично мне описание системы очень напомнило работу другого алгоритма, который решает похожую проблему но, в совершенно другой области — управлении автомобильным трафиком. Алгоритм управления работой перекрёстка ^[2], который разработал доцент Техасского университета в Остине Питер Стоун, рассчитан на беспилотные автомобили, способные в реальном времени обмениваться информацией между собой и управляющим движением компьютером. Потоки машин на таком перекрёстке будут пересекаться почти не мешая друг другу, каждый автомобиль, подъезжая к перекрёстку, будет лишь слегка притормаживать или разгоняться, а его траектория движения будет рассчитана заранее. Вот как это выглядит:

Автор: ilya42

Источник ^[3]