Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР

в 9:27, , рубрики: адреса, Анализ и проектирование систем, базы данных, Блог компании HFLabs, Геоинформационные сервисы, КЛАДР, Конвертеры, открытые данные, реверс-инжиниринг, ФИАС

Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР - 1

С 1 января ФНС перестанет обновлять адресный справочник КЛАДР. Он официально устареет, останется один ФИАС. Но многие промышленные системы до сих пор работают с КЛАДР. Поставщики не собираются их обновлять, а переделывать своими руками бизнесу выходит долго и дорого.

Мы послушали клиентов и придумали решение: взять ФИАС, который живее всех живых, и написать перекодировщик в КЛАДР.

Со стороны задача кажется легкой. Нам так и говорили: «То есть вы просто берете ФИАС и переделываете в КЛАДР?». На деле никакого «просто» нет. У справочников совсем разные структуры и непонятно, как из подкачанного ФИАС раскидать данные в неказистый КЛАДР. При этом общей документации для справочников нет.

Это было веселье, которым мы сейчас щедро поделимся.

Сопоставили структуры справочников

ФИАС весит порядка 28 Гб, в нем около 450 таблиц. КЛАДР — это примерно 500 Мб и 6 табличек. Данные для КЛАДР лежат всего в трех таблицах ФИАС. Остальные для перекодирования не нужны, их КЛАДР не предусматривает.

Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР - 2

Если на схеме в скобках стоит «<i>», значит, для каждого региона есть своя табличка с подобным названием

Переносить запись за записью не получится: сломаются или связи между таблицами, или логика внутри таблиц, или еще что-нибудь.

Например, в ФИАС один дом — это одна запись в таблице. Мы на радостях перекидали дома один за другим в КЛАДР, и справочник фатально разбух: 3,5 Гб против нормальных 500 Мб.

КЛАДР — скромняга, он не может себе позволить отдельную запись под каждый дом. Поэтому похожие дома в справочнике сгруппированы в одну строку. При этом их номера на голубом глазу хранят в поле NAME через запятую.

Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР - 3

Когда дома находятся на одной улице и различаются только номером, их записывают в одну строку

Тогда мы принялись загружать из ФИАС улицу за улицей и группировать дома по записям. Отсчитываешь, столько номеров влезет через запятую в NAME, и создаешь в КЛАДР общую запись для этих домов. (В NAME, к слову, 40 символов.) Дело пошло́.

Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР - 4

Для тех, кто решится повторить наш путь: так выглядит диаграмма зависимостей ФИАС и КЛАДР

Обычная проблема перекодировки: неясно, как переносить поля между похожими таблицами, а документация не выручает. Удивляться нечему, потому что документацию писали явно не для перепиливания одного справочника в другой.

Например, в ФИАС есть поля:

  • «Код ИФНС ФЛ»;
  • «Код ИФНС ЮЛ»;
  • «Код территориального участка ИФНС ФЛ»;
  • «Код территориального участка ИФНС ЮЛ».

В КЛАДР для этих же целей только два поля:

  • «Код ИФНС»;
  • «Код территориального участка ИФНС».

Какой код куда переносить — непонятно.

Еще пример. Это описание полей в ФИАС:

  • «Официальное наименование адресного объекта» содержит наименование и тип адресного объекта, введенное соответствующим нормативным документом органом исполнительной власти, решением, постановлением муниципального образования. Используется при формировании документов и почтовых отправлений;
  • «Наименование адресного объекта» содержит формализованное наименование адресного объекта.

Такое даже прочитать сложно, но, положим, у нас не было выбора. Провал в том, что описание ничего не проясняет. Что такое «формализованное наименование»? На что влияет формализация? Главное, какое поле переносить в КЛАДР?

В итоге мы брали КЛАДР и ФИАС от ФНС и смотрели, как значения полей перетекают из одного справочника в другой. Универсального рецепта нет, поэтому получилась тьма разнородных правил переноса.

Нашли, где брать КЛАДР-коды

КЛАДР-код — главный идентификатор справочника КЛАДР. Только по нему можно однозначно определить адресный объект.

ФИАС тоже хранит КЛАДР-коды. Причем с оптимизацией в справочнике так себе, поэтому из одной только таблицы ADDROB можно получить коды тремя способами:

  • взять из поля PLAINCODE. Здесь хранится собственно КЛАДР-код объекта;
  • взять из CODE. Здесь лежит тот же КЛАДР-код плюс две цифры признака актуальности;
  • сделать подарок своими руками. КЛАДР-код объекта можно собрать из гранулярных кодов других объектов.

Сначала сунулись в PLAINCODE. Проверили, а он иногда не совпадает с тем кодом, что лежит в оригинальном КЛАДР.

Ничего страшного, у нас же есть CODE! Снова сюрприз: он пуст так часто, что со временем перестаешь удивляться. А если не пуст, расслабляться рано: код в нем может не совпадать с PLAINCODE.

Подобрались к последнему бастиону: начали склеивать КЛАДР-коды сами. И что бы вы думали? Да, собранный код частенько расходится с PLAINCODE или CODE.

Суровая реальность ФИАС: CODE != PLAINCODE != склеенному коду. Откуда брать правильный идентификатор, непонятно. Начали матчить эталонные справочники и через 50 кружек кофе нашли закономерность:

  • CODE != PLAINCODE → CODE;
  • PLAINCODE != склеенному → PLAINCODE;
  • в остальных случая подходит склеенный код.

И тогда КЛАДР-код совпадает с кодом в официальном справочнике.

Поняли, как переносить планировочные структуры и дополнительные территории

Разработчики предусмотрели в ФИАС больше уровней адресных объектов, чем в КЛАДР: 13 и 6 соответственно.

При этом в КЛАДР есть объекты «лишних» уровней: планировочные структуры и доптерритории. Это садовые товарищества, дачные кооперативы и т. д. Их переносят из ФИАС с изрядными костылями. Делают так: условное садовое товарищество превращают в улицу, а к названию подчиненных ему улиц в скобках добавляют название товарищества.

В теории сложно, объясню на примере. Допустим, в садовом товариществе «Массив N2 СТ Вишня» есть улица Луговая. При переносе этих объектов из ФИАС в КЛАДР происходит вот что:

  • товарищество превращается в улицу «Садовое товарищество „Массив N2 СТ Вишня“»;
  • название подчиненной улицы становится таким: «улица Луговая(Массив N2 СТ Вишня)».

С точки зрения человеческой логики выглядит ужасно, зато в КЛАДР появляются нужные данные. Кто мы такие, чтобы идти наперекор? Конечно, делаем так же.

Разобрались с переименованиями и переподчинениями

В России постоянно переименовывают и переподчиняют города, области, улицы. Например, подмосковный Железнодорожный 40 лет был городом, а потом внезапно стал районом Балашихи.

В адресных справочниках устаревшие сущности хранят для обратной совместимости. Получаются цепочки версий.

Задача со звездочкой: как мы перекодировали ФИАС в КЛАДР - 5

Был город V1. Его переименовали — в справочнике появилась версия V2. Переподчинили — V3. И так далее до V<k>

Цепочки подчинений переносят с учетом уровней, которых нет в КЛАДР. Например, цепочка «улица → район города → город» приходит из ФИАС в КЛАДР в виде «улица → город».

Иногда в ФИАС одна версия объекта отличается от другой только полями, которых вообще нет в КЛАДР. Например, у города Майкоп 20 февраля 2017 года сменился ОКТМО: был 79701000, стал 79701000001. Больше ничего не поменялось, но в ФИАС все равно появилась новая версия объекта. Если изменившиеся данные не предусмотрены в КЛАДР, правильно переносить только новую версию объекта. Мы делаем вид, что прошлой как бы и не было.

А порой объект из-за переподчинения переходит на уровень, которого нет в КЛАДР. Типичная история: поселок Обираловка → город Железнодорожный → район Железнодорожный города Балашиха. Уровня городских районов нет в КЛАДР, и Железнодорожный переселяют с 4-го уровня на 99-й. Казалось бы, повышение, но нет: на 99-м уровне хранят исчезнувшие адресные объекты. Был город, стал деклассированный элемент. Еще и улицы переподчинили, причем хитро: создали в КЛАДР несколько населенных пунктов, передали им улицы Железнодорожного, а населенные пункты — Балашихе.

Разрешили конфликты сокращений

В ФИАС хранятся все официальные сокращения типов адресных объектов.

LEVEL SOCRNAME SCNAME KOD_T_ST
3 Автономный округ АО 305
3 Территория тер 303
3 Район р-н 301
3 Улус у 302
3 Муниципальный р-н м р-н 309

В КЛАДР таблица сокращений тоже есть, но записей там поменьше. Просто перенести сокращения из ФИАС в КЛАДР нельзя: уровни не совпадают. Некоторых вообще нет, у других разные номера.

Мы долго сравнивали справочники и все-таки вывели ФНС на чистую воду. Вот как она сдвигает уровни сокращений.

ФИАС КЛАДР
0 X
1 1
2 1
3 2
4 3
5 X
6 4
7 5
8 6
9 X
35 X
65 5
75 X
90 X
91 X

«X» значит, что уровень просто закрывается. Все сокращения, что были в ФИАС на этом уровне, не попадают в КЛАДР. Например, в справочнике нет внутригородских территорий, помещений в пределах зданий, земельных участков и т. д.

Из-за сдвига уровней появляются проблемы с KOD_T_ST — уникальным идентификатором сокращения. KOD_T_ST состоит из двух частей: уровня сокращения и собственно ID сокращения. При переходе с ФИАС на КЛАДР уровни сдвигаются и появляются конфликты.

Например, в ФИАС:

  • набережная: 711;
  • район: 6511.

В КЛАДР после сдвига уровней:

  • набережная: 711 → 511;
  • район: 6511 → 511.

И вот мы уже не знаем, на набережную ехать или на район.

В официальном КЛАДР проблему решают лихо: в код одного из конфликтующих сокращений вместо уровня подставляют девятку. Потому что могут. Из-за этого в эталонном КЛАДР код сокращения для района — 911 вместо 511, причем в поле LEVEL остается пятерка.

В документации об этом ничего, конечно же, не написано.

Протестировали в полях

Мы делали из ФИАС такой же КЛАДР, какой поставляет ФНС. Проверяли по трем параметрам:

  1. Структура.
  2. Объем таблиц.
  3. Работа со спецсофтом.

Третий пункт тестировали утилитой ASVCheck. Она проверяет соответствие формата адресов указаниям Банка России. В ASVCheck загружают КЛАДР, а потом — список адресов. Утилита проверяет адреса по справочнику и отмечает ошибки.

Через ASVCheck мы проверяли адреса из живого банковского реестра. Сначала прогоняли по официальному КЛАДР, а потом по своему́. Затем, понятное дело, смотрели на отличия.

Тут надо сказать, что ASVCheck — таинственный парень. Он не говорит, почему пометил адрес как неправильный. Отлаживали наугад. Некоторые ошибки вообще выглядели как баг утилиты: она перестала браковать часть адресов, когда мы просто отсортировали записи в своем справочнике по КЛАДР-коду.

Но закончилось все успешно: теперь ASVCheck выдает одинаковый результат на нашем КЛАДР и на справочнике ФНС.

Получили КЛАДР с преферансом и обновлениями

Теперь у нас есть КЛАДР, который будет жить в веках. Нашим клиентам не нужно спешно переделывать ПО под ФИАС: они подключают новый справочник и все работает как раньше.

У КЛАДР HFLabs:

  • та же структура, что у официального КЛАДР от ФНС;
  • поставка в том же виде, что у ФНС;
  • обновления через день после выхода свежей версии ФИАС, не реже одного раза в две недели;
  • платная подписка на обновления.

Полную декабрьскую версию мы раздаем бесплатно, можно развернуть ее на живой системе и потестировать.

Если интересно, напишите на elenar@hflabs.ru Елене Расторгуевой. Елена задаст уточняющие вопросы и через день пришлет новый КЛАДР.

Автор: DEADStop

Источник

Поделиться

* - обязательные к заполнению поля