Архитектура Рунета

в 15:22, , рубрики: BGP, архитектура, Блог компании Qrator Labs, интернет, надежность, Разработка систем связи, Россия, рунет, связность, Сетевые технологии

Как знают наши читатели, Qrator.Radar неустанно исследует глобальную связность протокола BGP, равно как и региональную. Так как «Интернет» является сокращением от «interconnected networks» — «взаимосвязанных сетей», наилучшим способом обеспечения высоких качества и скорости его работы является богатая и разнообразная связность индивидуальных сетей, чье развитие мотивировано в первую очередь конкуренцией.

Отказоустойчивость интернет-соединения в любом отдельно взятом регионе или стране связана с количеством альтернативных маршрутов между автономными системами — AS. Однако, как мы уже неоднократно писали в наших исследованиях национальной устойчивости сегментов глобальной сети, некоторые пути становятся более важными по-сравнению с остальными (например, пути до Tier-1 транзитных провайдеров или AS, на которых размещены авторитативные DNS-серверы) — это значит, что наличие как можно большего числа альтернативных маршрутов в итоге является единственным жизнеспособным способом обеспечить надежность системы (в смысле AS).

В этот раз, мы поближе посмотрим на устройство интернет-сегмента Российской Федерации. Есть причины не сводить глаз с данного сегмента: согласно данным, которые предоставляет база данных регистратора RIPE, к РФ относится 6183 AS из 88664 зарегистрированных глобально, что составляет 6,87%.

Такой процент ставит Россию на второе место в мире по данному показателю, сразу после США (30,08% зарегистрированных AS) и перед Бразилией, владеющей 6,34% всех автономных систем. Эффекты, которые возникают вследствие изменений российской связности, могут наблюдаться в других странах, зависимых от или примыкающих к данной связности и, наконец, на уровне почти любого интернет-провайдера.

Обзор

image
Диаграмма 1. Распределение автономных систем между странами в IPv4 и IPv6, топ-20 стран

В IPv4 интернет-провайдерами из Российской Федерации анонсируется 33933 из 774859 глобально видимых сетевых префиксов, что представляет 4,38% и ставит российский интернет-сегмент на пятое место такого рейтинга. Данные префиксы, анонсируемые исключительно из RU-сегмента, покрывают 4,3*10^7 уникальных IP-адресов из 2,9*10^9 анонсируемых глобально — 1,51%, 11 место.

image
Диаграмма 2. Распределение сетевых префиксов между странами в IPv4, топ-20 стран

В рамках IPv6 интернет-провайдерами из Российской Федерации анонсируется 1831 из 65532 глобально видимых префиксов, что представляет 2,79% и 7 место. Данные префиксы покрывают 1.3*10^32 уникальных IPv6 адресов из 1,5*10^34 анонсируемых глобально — 0,84% и 18 место.

image
Диаграмма 3. Распределение сетевых префиксов между странами в IPv6, топ-20 стран

Индивидуальный размер

Одним из многих способов оценить связность и надежность Интернета в отдельной стране является ранжирование автономных систем, относящихся к данному региону, по количеству анонсируемых префиксов. Данная методика, однако, уязвима к деагрегации маршрутов, что постепенно балансируется фильтрацией избыточно деагрегированных префиксов на оборудовании интернет-провайдеров, в первую очередь по причине постоянного и неизбежного роста таблиц маршрутизации, занимающих память.

  Топ-20 IPv4     Топ-20 IPv6  
ASN AS Name Количество префиксов ASN AS Name Количество префиксов
12389 ROSTELECOM-AS 2279 31133 MF-MGSM-AS 56
8402 CORBINA-AS 1283 59504 vpsville-AS 51
24955 UBN-AS 1197 39811 MTSNET-FAR-EAST-AS 30
3216 SOVAM-AS 930 57378 ROSTOV-AS 26
35807 SkyNet-SPB-AS 521 12389 ROSTELECOM-AS 20
44050 PIN-AS 366 42385 RIPN-RU 20
197695 AS-REGRU 315 51604 EKAT-AS 19
12772 ENFORTA-AS 291 51819 YAR-AS 19
41704 OGS-AS 235 50543 SARATOV-AS 18
57129 RU-SERVERSGET-KRSK 225 52207 TULA-AS 18
31133 MF-MGSM-AS 216 206066 TELEDOM-AS 18
49505 SELECTEL 213 57026 CHEB-AS 18
12714 TI-AS 195 49037 MGL-AS 17
15774 TTK-RTL 193 41682 ERTH-TMN-AS 17
12418 QUANTUM 191 21191 ASN-SEVERTTK 16
50340 SELECTEL-MSK 188 41843 ERTH-OMSK-AS 15
28840 TATTELECOM-AS 184 42682 ERTH-NNOV-AS 15
50113 SuperServersDatacenter 181 50498 LIPETSK-AS 15
31163 MF-KAVKAZ-AS 176 50542 VORONEZH-AS 15
21127 ZSTTKAS 162 51645 IRKUTSK-AS 15

Таблица 1. Размер AS по количеству анонсируемых префиксов

Мы используем агрегированный размер анонсированного адресного пространства в качестве более надежной метрики для сравнения размеров автономных систем, который определяет ее потенциал и пределы, до которых она может масштабироваться. Эта метрика не всегда релевантна в IPv6 в силу действующих политик выделения IPv6 адресов RIPE NCC и заложенной в протокол избыточности.

Постепенно, данная ситуация будет балансироваться ростом использования IPv6 в российском сегменте интернета и развитием практик работы с протоколом IPv6.

  Топ-20 IPv4     Топ-20 IPv6  
ASN AS Name Количество IP-адресов ASN AS Name Количество IP-адресов
12389 ROSTELECOM-AS 8994816 59504 vpsville-AS 2.76*10^30
8402 CORBINA-AS 2228864 49335 NCONNECT-AS 2.06*10^30
12714 TI-AS 1206272 8359 MTS 1.43*10^30
8359 MTS 1162752 50113 SuperServersDatacenter 1.35*10^30
3216 SOVAM-AS 872608 201211 DRUGOYTEL-AS 1.27*10^30
31200 NTK 566272 34241 NCT-AS 1.27*10^30
42610 NCNET-AS 523264 202984 team-host 1.27*10^30
25513 ASN-MGTS-USPD 414464 12695 DINET-AS 9.51*10^29
39927 Elight-AS 351744 206766 INETTECH1-AS 8.72*10^29
20485 TRANSTELECOM 350720 20485 TRANSTELECOM 7.92*10^29
8342 RTCOMM-AS 350464 12722 RECONN 7.92*10^29
28840 TATTELECOM-AS 336896 47764 mailru-as 7.92*10^29
8369 INTERSVYAZ-AS 326912 44050 PIN-AS 7.13*10^29
28812 JSCBIS-AS 319488 45027 INETTECH-AS 7.13*10^29
12332 PRIMORYE-AS 303104 3267 RUNNET 7.13*10^29
20632 PETERSTAR-AS 284416 34580 UNITLINE_MSK_NET1 7.13*10^29
8615 CNT-AS 278528 25341 LINIYA-AS 7.13*10^29
35807 SkyNet-SPB-AS 275968 60252 OST-LLC-AS 7.13*10^29
3267 RUNNET 272640 28884 MR-SIB-MTSAS 6.73*10^29
41733 ZTELECOM-AS 266240 42244 ESERVER 6.44*10^29

Таблица 2. Размер AS по количеству анонсируемых IP-адресов

Обе метрики — количество анонсируемых префиксов и агрегированный размер адресного пространства — поддаются манипуляции. Хотя мы и не увидели подобного поведения от упомянутых AS за время проведения исследования.

Связность

Существует 3 основных типа отношений между автономными системами:
• Клиент: платит другой AS за транзит трафика;
• Пиринг-партнер: AS обменивающаяся своим и клиентским трафиком бесплатно;
• Поставщик: получает платежи за транзит трафика от других AS.

Обычно, данные типы взаимоотношений одинаковы для любых двух интернет-провайдеров, что подтверждается в рассматриваемом нами регионе РФ. Тем не менее, иногда бывает, что два интернет-провайдера имеют разные типы отношений в разных регионах, например обмениваясь бесплатно в Европе, но имея коммерческие отношения в Азии.

  Топ-20 IPv4     Топ-20 IPv6  
ASN AS Name Количество клиентов в регионе ASN AS Name Количество клиентов в регионе
12389 ROSTELECOM-AS 818 20485 TRANSTELECOM 94
3216 SOVAM-AS 667 12389 ROSTELECOM-AS 82
20485 TRANSTELECOM 589 31133 MF-MGSM-AS 77
31133 MF-MGSM-AS 467 20764 RASCOM-AS 72
8359 MTS 313 3216 SOVAM-AS 70
20764 RASCOM-AS 223 9049 ERTH-TRANSIT-AS 58
9049 ERTH-TRANSIT-AS 220 8359 MTS 51
8732 COMCOR-AS 170 29076 CITYTELECOM-AS 40
2854 ROSPRINT-AS 152 31500 GLOBALNET-AS 32
29076 CITYTELECOM-AS 143 3267 RUNNET 26
29226 MASTERTEL-AS 143 25478 IHOME-AS 22
28917 Fiord-AS 96 28917 Fiord-AS 21
25159 SONICDUO-AS 94 199599 CIREX 17
3267 RUNNET 93 29226 MASTERTEL-AS 13
31500 GLOBALNET-AS 87 8732 COMCOR-AS 12
13094 SFO-IX-AS 80 35000 PROMETEY 12
31261 GARS-AS 80 49063 DTLN 11
25478 IHOME-AS 78 42861 FOTONTELECOM 10
12695 DINET-AS 76 56534 PIRIX-INET-AS 9
8641 NAUKANET-AS 73 48858 Milecom-as 8

Таблица 3. Связность AS по количеству клиентов

Количество клиентов заданной AS отображает ее роль, как прямого поставщика услуги интернет-связности коммерческим потребителям.

  Топ-20 IPv4     Топ-20 IPv6  
ASN AS Name Количество пиринг-партнеров в регионе ASN AS Name Количество пиринг-партнеров в регионе
13238 YANDEX 638 13238 YANDEX 266
43267 First_Line-SP_for_b2b_customers 579 9049 ERTH-TRANSIT-AS 201
9049 ERTH-TRANSIT-AS 498 60357 MEGAGROUP-AS 189
201588 MOSCONNECT-AS 497 41617 SOLID-IFC 177
44020 CLN-AS 474 41268 LANTA-AS 176
41268 LANTA-AS 432 3267 RUNNET 86
15672 TZTELECOM 430 31133 MF-MGSM-AS 78
39442 UNICO-AS 424 60764 TK-Telecom 74
39087 PAKT-AS 422 12389 ROSTELECOM-AS 52
199805 UGO-AS 418 42861 FOTONTELECOM 32
200487 FASTVPS 417 8359 MTS 28
41691 SUMTEL-AS-RIPE 399 20764 RASCOM-AS 26
13094 SFO-IX-AS 388 20485 TRANSTELECOM 17
60357 MEGAGROUP-AS 368 28917 Fiord-AS 16
41617 SOLID-IFC 347 31500 GLOBALNET-AS 14
51674 Mehanika-AS 345 60388 TRANSNEFT-TELECOM-AS 14
49675 SKBKONTUR-AS 343 42385 RIPN-RU 13
35539 INFOLINK-T-AS 310 3216 SOVAM-AS 12
42861 FOTONTELECOM 303 49063 DTLN 12
25227 ASN-AVANTEL-MSK 301 44843 OBTEL-AS 11

Таблица 4. Связность AS по количеству пиринг-партнеров

Большое количество пиринг-партнеров может значительно улучшить связность целого региона. Здесь важны, хотя и не обязательны, точки обмена трафиком (IX — Internet Exchange) — крупнейшие интернет-провайдеры обычно не участвуют в региональном обмене (за несколькими, достойными упоминания исключениями, такими как NIXI) из-за природы их бизнеса.

Для контент-провайдера количество пиринг-партнеров может косвенно служить индикатором объема генерируемого трафика — стимул обмениваться большими его объемами бесплатно является фактором мотивации (достаточным для большинства локальных интернет-провайдеров) к тому, чтобы видеть в контент-провайдере достойного кандидата в пиринг-партнеры. Есть и обратные случаи, когда контент-провайдеры не поддерживают политику значительного числа региональных соединений, что делает данный индикатор не слишком точным для оценки размера именно контент-провайдеров, то есть объема генерируемого ими трафика.

  Топ-20 IPv4     Топ-20 IPv6  
ASN AS Name Размер клиентского конуса ASN AS Name Размер клиентского конуса
3216 SOVAM-AS 3083 31133 MF-MGSM-AS 335
12389 ROSTELECOM-AS 2973 20485 TRANSTELECOM 219
20485 TRANSTELECOM 2587 12389 ROSTELECOM-AS 205
8732 COMCOR-AS 2463 8732 COMCOR-AS 183
31133 MF-MGSM-AS 2318 20764 RASCOM-AS 166
8359 MTS 2293 3216 SOVAM-AS 143
20764 RASCOM-AS 2251 8359 MTS 143
9049 ERTH-TRANSIT-AS 1407 3267 RUNNET 88
29076 CITYTELECOM-AS 860 29076 CITYTELECOM-AS 84
28917 Fiord-AS 683 28917 Fiord-AS 70
3267 RUNNET 664 9049 ERTH-TRANSIT-AS 65
25478 IHOME-AS 616 31500 GLOBALNET-AS 54
43727 KVANT-TELECOM 476 25478 IHOME-AS 33
31500 GLOBALNET-AS 459 199599 CIREX 24
57724 DDOS-GUARD 349 43727 KVANT-TELECOM 20
13094 SFO-IX-AS 294 39134 UNITEDNET 20
199599 CIREX 290 15835 MAP 15
29226 MASTERTEL-AS 227 29226 MASTERTEL-AS 14
201706 AS-SERVICEPIPE 208 35000 PROMETEY 14
8641 NAUKANET-AS 169 49063 DTLN 13

Таблица 5. Связность AS по размеру клиентского конуса

Клиентский конус представляет собой множество всех AS, являющихся прямо или косвенно зависимыми на рассматриваемой автономной системе. С экономической точки зрения, каждая AS внутри клиентского конуса является, прямо или косвенно, платящим клиентом. На более высоком уровне, количество AS внутри клиентского конуса, равно как и количество прямых потребителей, является ключевым показателем связности.

Наконец, мы приготовили для вас еще одну таблицу, рассматривающую связность до ядра Рунета. Понимая структуру ядра региональной связности, исходя из числа прямых клиентов и размера клиентского конуса для каждой автономной системы в регионе, мы можем подсчитать, насколько далеко они находятся от крупнейших в регионе транзитных интернет-провайдеров. Чем ниже число — тем выше связность. «1» означает, что для всех видимых путей существует прямая связность с региональным ядром.

  IPv4 top 20     IPv6 top 20  
ASN AS Name Connectivity rating ASN AS Name Connectivity rating
8997 ASN-SPBNIT 1.0 21109 CONTACT-AS 1.0
47764 mailru-as 1.0 31133 MF-MGSM-AS 1.0
42448 ERA-AS 1.0 20485 TRANSTELECOM 1.0
13094 SFO-IX-AS 1.0 47541 VKONTAKTE-SPB-AS 1.0
47541 VKONTAKTE-SPB-AS 1.07 13238 YANDEX 1.05
13238 YANDEX 1.1 8470 MAcomnet 1.17
3216 SOVAM-AS 1.11 12389 ROSTELECOM-AS 1.19
48061 GPM-TECH-AS 1.11 41722 MIRAN-AS 1.2
31133 MF-MGSM-AS 1.11 8359 MTS 1.22
8359 MTS 1.12 60879 SYSTEMPROJECTS-AS 1.25
41268 LANTA-AS 1.13 41268 LANTA-AS 1.25
9049 ERTH-TRANSIT-AS 1.16 44020 CLN-AS 1.25
20485 TRANSTELECOM 1.18 29226 MASTERTEL-AS 1.25
29076 CITYTELECOM-AS 1.18 44943 RAMNET-AS 1.25
12389 ROSTELECOM-AS 1.23 12714 TI-AS 1.25
57629 IVI-RU 1.25 47764 mailru-as 1.25
48297 DOORHAN 1.25 44267 IESV 1.25
42632 MNOGOBYTE-AS 1.25 203730 SVIAZINVESTREGION 1.25
44020 CLN-AS 1.25 3216 SOVAM-AS 1.25
12668 MIRALOGIC-AS 1.25 24739 SEVEREN-TELECOM 1.29

Таблица 6. Связность AS по расстоянию до ядра региональной связности

Что может быть предпринято для улучшения общей связности и, в результате, стабильности, надежности и безопасности любой страны, Российской Федерации в частности? Вот лишь некоторые из мер:

  • Налоговые вычеты и другие льготы для локальных операторов точек обмена трафиком, а также свободный доступ к ним;
  • Бесплатный или дешевый сервитут земли под прокладку оптоволоконных коммуникационных линий;
  • Проведение тренингов и обучающих занятий для технического персонала в отдаленных регионах, включая воркшопы и другие форматы обучения лучшим практикам работы с BGP. RIPE NCC организует часть из них, доступных по ссылке.

Данные, представленные выше, являются выдержкой из исследования, проведённого Qrator Labs в отношении второго по размерам в мире регионального Интернет-сегмента Российской Федерации (известного также как «Рунет») на основе открытых данных, собираемых и обрабатываемых в рамках проекта Radar. Презентация полного исследования заявлена в качестве воркшопа (workshop) в рамках 10th Asia Pacific Regional Internet Governance Forum в июле. Запрос аналогичных данных для сегментов иных стран и регионов можно направить на e-mail-адрес mail@qrator.net.

Автор: Shapelez

Источник


* - обязательные к заполнению поля


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js