- PVSM.RU - https://www.pvsm.ru -
В 90-е, когда российский интернет только зарождался, провайдерам из одного города приходилось обмениваться трафиком через Европу и платить за него транзитным и вышестоящим операторам (аплинкам). Конечный пользователь в итоге получал высокие цены на доступ в Интернет, ограничения по объему доступного трафика, большим временем отклика веб-ресурсов. Чтобы не гонять национальный трафик по заграничным городам и весям, местные провайдеры стали объединяться и создавать точки обмена трафиком в крупных городах.
Сегодня речь пойдет о них: расскажем, зачем нам понадобилась собственная точка обмена трафиком DataLine-IX [1], как она устроена, и поделимся первыми результатами.
Провайдеры ISP-A и ISP-B обмениваются трафиком своих сетей через точку обмена трафиком. Без нее обмен происходил бы через “большой” Интернет.
Точка обмена Интернет-трафиком (Internet Exchange Point, IX) – это инфраструктура, позволяющая автономным системам обмениваться трафиком (пиринг) напрямую, в обход вышестоящих операторов связи (аплинков). Пиринг помогает участникам IX сократить маршруты передачи пакетов между сетями и снизить затраты на трафик. Если нужно соединиться сразу c нескольким участниками, то через точку обмена трафиком это сделать проще: вместо отдельного коннекта к каждому участнику – один к IX, где эти участники присутствуют. Это организационная сторона. Финансово участник IX тоже выигрывает за счет экономии на каналах и закупке трафика у аплинков.
Для конечного пользователя плюсы тоже есть: уменьшаются сетевые задержки, сокращается время отклика ресурсов в Интернете.
Точки обмена трафиком – вещь позитивная. Чем их больше, тем лучше связность Интернета и тем он доступнее для конечного пользователя.
Первые точки обмена трафиком начали появляться с 1994 г. в крупных европейских городах: Лондоне (LINX), Франкфурте (DE-CIX), Амстердаме (AMS-IX), Москве (MSK-IX). Сейчас во всем мире работает около 580 IX.
Крупнейшие точки обмена трафиком в России. Источник:internetexchangemap.com [2]
Когда в 2015 году мы задумались над собственной точкой обмена трафиком, в наших дата-центрах уже присутствовало более 40 операторов (сейчас их 53). Работала Meet-Me-Room, упрощающая подключение к любому оператору на наших площадках. Своя точка обменом трафиком дала бы еще больше возможностей для наших клиентов, особенно для интернет-провайдеров и контент-генераторов (игровые сервисы, CDN, видео-хостинги, медиа, соцсети):
Инфраструктура точки обмена трафиком DataLine-IX распределена по двум площадкам – OST и NORD.
На двух площадках работают 6 коммутаторов BlackDiamond X8. Два из них связывают дата-центры в единую сеть и формируют ядро сетевой инфраструктуры DataLine-IX (Core). К ядру подключаются по два узла доступа (Access) с каждой площадки. Новые участники присоединяются к точке обмена трафиком через эти узлы доступа.
Между узлами ядра организовано 8 линков по 10G, которые объединены в логический канал с суммарной пропускной способностью 80 Gbps. Пропускная способность каналов, соединяющих ядро и узлы доступа, – 40 G.
Топология точки обмена трафиком DataLine-IX.
Один из BlackDiamond X8 на площадке OST.
На одном шасси коммутатора BlackDiamond X8 может работать 768 портов 10 GbE (7.68 Tbps) или 192 порта 40 GbE (7.68 Tbps). По умолчанию для подключения новых участников мы используем 10 GbE порты, но по запросу можем предоставить 40 и 100 GbE порты. Вот все доступные стандарты подключения:
Участники DataLine-IX обмениваются друг с другом маршрутами через сервер маршрутизации (Route Server, RS) по протоколу BGPv4. RS также обеспечивают фильтрацию маршрутов участников в соответствии c политиками Internet Routing Registry (IRR) и другими атрибутами протокола BGPv4 (AS_PATH, Next-hop и пр.).
Серверы маршрутизации развернуты на двух серверах Huawei RH1288 V2-8S с UNIX-based средой.
Cервер маршрутизации.
Инфраструктура точки обмена трафиком объединяет участников в единый широковещательный домен (L2-домен), поэтому велик риск широковещательных штормов [3] из-за мусорного BUM-трафика (broadcast, unknown destination address, multicast). Как минимум, шторм может привести к снижению пропускной способности каналов участников. В худшем сценарии будет потеряна связь с сервером маршрутизации, оборвутся BGP-сессии и вся инфраструктура IX накроется. Чтобы DataLine-IX не заштормило, мы используем многоуровневую защиту от BUM-трафика, ограничивая трафик следующим образом:
На третьем и четвертом уровнях OSI фильтруются протоколы динамической маршрутизации, кроме BGP, и иные протоколы, несущие угрозу участникам и самой инфраструктуре IX. При передаче маршрутной информации по BGP анализируются как сами префиксы, так и набор атрибутов для данного префикса (элементы AS_PATH, Next-hop, и т.д).
Для новых участников IX действуют стандартные правила по настройке:
Сама процедура подключения выстроена так, чтобы у нас была возможность перепроверить правильность этих настроек. Сначала новый участник подключается в порт, находящийся в карантинном VLAN. Мы анализируем его трафик, и если все настроено правильно, то порт переводится в продуктивный VLAN. Там новый участник все еще изолирован от остальных: его префиксы не анонсируются остальным участникам IX, и сам участник тоже ничего не получает. Если все в норме, то сессии переводятся в продуктивный режим работы.
Новые участники могут выбрать следующие варианты подключения к DataLine-IX:
Схема общего пиринга.
Схема прямого пиринга.
Схема подключения через выделенный VLAN.
Схема подключения p2p.
DataLine-IX пока еще на самом раннем этапе развития. На текущий момент у нас 38 участников, суммарное число маршрутов – 6889. Помимо наращивания числа участников, в ближайших планах – организация узлов доступа на внешних площадках.
Статистика DataLine-IX на ru.map-ix.net [4]
Статистика участников DataLine-IX по по роду деятельности.
Задавайте вопросы в комментариях, если что-то интересное осталось за кадром. Во второй части расскажем про полезные инструменты DataLine-IX для управлениями исходящими и входящими анонсами, защиты от DDoS-атак.
Автор: DataLine
Источник [5]
Сайт-источник PVSM.RU: https://www.pvsm.ru
Путь до страницы источника: https://www.pvsm.ru/it-infrastruktura/218384
Ссылки в тексте:
[1] DataLine-IX: http://www.dtln.ru/uslugi/telecom/dataline-ix
[2] internetexchangemap.com: http://internetexchangemap.com/
[3] широковещательных штормов: https://habrahabr.ru/company/dataline/blog/253609/
[4] ru.map-ix.net: http://ru.map-ix.net/
[5] Источник: https://habrahabr.ru/post/317122/?utm_source=habrahabr&utm_medium=rss&utm_campaign=best
Нажмите здесь для печати.