- PVSM.RU - https://www.pvsm.ru -
Тесты «в полях»
Есть коммерческая задача: необходимо быстро подключать сайты к обычной WAN-сети, но делать это там, где в наличии только сотовое покрытие и нет возможности провести кабель или организовать радиорелейный переход до волокна или меди.
Решение — модемные кластеры. Очевидная проблема решения в том, что каждый из модемов — это отдельный физический канал. Нужно с помощью зубила и какой-то матери объединить их в одно инкапсулированное устройство, которое просто будет отдавать канал. Кроме того, необходимо, чтобы при появлении кабеля не требовалось менять коробку и что-то перенастраивать.
Технология называется SD-WAN. Лидерами считаются 3 американских стартапа: Versa Networks, Viptela, Velocloud. Классические производители сетевого оборудования стараются догнать. В частности, Cisco заявляет, что у них 2 решения SD-WAN — iWAN и Meraki. Но при этом пару месяцев назад объявили о покупке Viptela. А Riverbed где-то полтора года назад купил компанию Ocedo для выхода на рынок SD-WAN решений.
В целом оценивались:
Мы остановились на решении Versa; сначала из-за преимущества в цене. Обычные SDN-решения используются немного для других задач, в частности, для объединения филиалов компаний в одну логическую сеть, видимую всем терминалам и серверам как единое физическое пространство адресации, чем-то похожий на DMVPN от Cisco, но своим блэкджеком в виде ZTP, channel-bundling и SLA. Выбранное решение оказалось чуть более специфичным, и за счет отсутствия fullstack-протоколов классических маршрутизаторов на самой коробке и использования стандартных комплектующих снижена базовая стоимость. Большинство вендоров предлагают купить железо и софт сразу или по подписке, но Versa железо не делает, поэтому софт — по подписке, а железо — у партнеров, которые делают референсные x86 коробки. Для заказчиков модель расходов по мере эксплуатации с каждым годом становится все более удобной. Например, самая маленькая коробка от Versa (на фото выше) стоит не дороже Cisco 800-й серии, но при этом может прокачать через себя 500 Mbps. И это на IMIX трафике, где 90% TCP и 10% UDP и при этом включены IPv4 Routing/Forwarding, IPSecEncryption, Layer 7 Application based traffic steering, CGNAT, NextgenFirewall (NGFW), QOS (Classification and Marking), SLA monitoring, internal service chaining, URL Filtering).
Концепция SD-WAN
От SDN взят принцип разделения control и data plane, а также overlay. Control plane — это Director (управление), контроллер (BGP route reflector и IPSEC), Analytics — необязательный компонент, но добавляет прозрачности в сервисы, которые используются на WAN.
Сравнение тех самых двух коробок
Логика работы внутри каждой бранчовой коробки.
Логическая архитектура коробки
Сравнение такое: у Cisco в конце года в EOS уходит 19хх серия, и её надо будет заменять. То есть обойти (облететь, объездить) физически все точки ногами. Versa позволяет отправить коробку на место любой службой доставки. На месте в железяку надо будет воткнуть модем или кабель с интернетом. Как только железяка почует свежий коннект, она сама построит VXLAN-туннель с контроллером, получит с него IKE и с ним уже построит служебный IPSEC-туннель, через который заберет настройки и получит от контроллеров маршруты всей сети, поскольку, напомню, контроллер — это BGP route-reflector. Все это происходит полностью автоматически.
То есть на месте справится даже бухгалтер — воткнул кабель, немного магии, заработало.
Инициализация коробки на новой площадке
Вот как эта процедура выглядит в англоязычной документации: 1. Branch device comes with stage–Controller’s IP address is the remote IP in IPSec config. 2. Establishes IKE session with controller over VXLAN tunnel. 3. Controller assigns an IP address to the branch device and generates a notification to Versa Director. 4. VD IP address is notified to branch. 5. Branch installs reverse route to VD. 6. VD pushes the post staging configuration to branch device over the IKE session and reboots the branch device.
Сами настройки — это шаблоны, причем шаблоны с переменными — в них можно включить QOS, shaping, SLA, настройки LAN, правила балансировки по внешним каналам и бондинга этих каналов в одну трубу.
Если есть большое желание, то можно залезть на коробку руками, производитель пока этого не закрыл, а там, сюрприз, Juniper-like-консоль.
Прототипы с двумя модемами
Для эмуляции реальной сети, где часть коробок на кабеле, а часть для LTE-кластерах. В одну железку втыкались 3G-LTE-данглы (в момент фото это были МТС и Мегафон), а во вторую кабель с Интернетом от «Гарса». Модемы объединяются в трубу, проходит передача информации. Железка смотрит трафик, распознает его по приложениям, накладывает политики и критерии по приоритизации.
После небольшого допила Мегафон и МТС (как на фото) со своими залоченными модемами начали автоматически распознаваться коробками. Синтетический iperf-трафик на 5 сессиях выдавал практически 50/50 балансировку.
Встроенные в Director функции мониторинга
Графики загрузки двух LTE-модемов в интерфейсе Director
Суммарная полоса составляла где-то 50 Мбит, по каждому из модемов в отдельности — 25 Мбит. Встроенные системы аналитики прямо из коробки в риал-тайме выдавали статистику по нагрузке.
Эмпирически очень удачно получилось с телефонией: например, если бывает одновременно 15 телефонных вызовов, то с первого по восьмой мы пихаем в первый канал, а остальные — во второй с высоким приоритетом (во втором по умолчанию также остальные сервисы офиса типа почты).
Вторая особенность: в местах, где много дропов на последней миле из-за особенностей загрузки сетей или покрытия, удалось поставить более-менее стабильное соединение.
Протестировали per-packet-балансировку. Одна TCP-сессия раскидывается на два LTE-интерфейса. Тестировали iperf, одна TCP-сессия, в панели мониторинга видно, что разбивается по двум каналам. То есть на синтетическом трафике работает, далее уже зависит от каждого конкретного приложения, как они себя ведут при такой балансировке. Например, на базе собственного опыта можем подтвердить, что трансляция видео по RTSP через VLC работает отлично. Данную политику можно применять по отдельности для каждого сервиса. То есть сервисы, что хорошо работают при per-packet-балансировке, балансируем попакетно, остальные — per-flow. При этом сами политики раскатываются на коробках по кнопке. Из-за этого best-practice считает делать несколько групп сайтов: тестовые поближе к себе (лучше — в офисе), потом вторая для early-deploy шаблонов и политик и уже основная для продакшна.
Переключение трафика с одного LTE-модема на другой работает. Тестировали iperf с одной сессией и всё тот же видеостриминг VLC. Вынимаешь тот модем, по которому идёт сессия, происходит небольшая просадка по пропускной способности (iperf показывает падение на 40–60%), видео немного рябит в течение пары секунд, потом всё восстанавливается.
Отличия в классическом site-to-site ipsec и в Versa SD-WAN IPSEC:
VPN-облако от Versa
Ещё один важный момент: железки для сотовых операторов стоят в разы дешевле, есть возможность закупаться почти напрямую с крупных заводов. Для этого вендор даёт отмашку заводу на то, чтобы поставлять устройства напрямую крупному клиенту, а потом даёт заводу базовые прошивки. Софт заливается в коробку, коробка приезжает оператору связи или клауд-провайдеру. Провайдер в нее забивает 2 параметра: IP-контроллера и конфиг доступа к Интернету (например, static-IP). Дальше коробка отправляется хоть почтой РФ заказчику. Коробка дальше сама найдет что и как. Совместимость широкая, то есть сразу сервисы IP-телефонии, ВКС — всё может входить.
Ещё есть стандартные Packet steering (SLA) и bonding — это как раз объединение группы внешних каналов в одну трубу и прописывание логики переключения под каждый сервис. Причем в решении Versa или Riverbed идет автоматическое распознавание какому сервису принадлежит проходящий трафик, чтобы общаться не на уровне сессии «порт-тип», а на уровне «корпоративному Skype for buisness дать приоритет, а обычным видеозвонкам по Скайпу такого не давать». Бондинг же помогает решить проблемы с долгим предоставлением последней мили. Воткнули 3 LTE-модема от разных операторов и решили вопрос с доступностью площадки на 99,999.
Динамические туннели между коробками на разных площадках
Всё. Отвечу на вопросы в комментариях. Ну, или пишите на почту: MKazakov@croc.ru
Автор: MKazakov_croc
Источник [1]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/sistemnoe-administrirovanie/262617
Ссылки в тексте:
[1] Источник: https://habrahabr.ru/post/336210/
Нажмите здесь для печати.