WikiLeaks представил поисковый механизм по более чем 2 млн. документам

WikiLeaks представил ^[1] свой проект «Public Library of US Diplomacy (PlusD)» — поисковую систему ^[2] по более чем 2 миллионам секретным или ранее секретным документам США. Как говориться на официальном сайте, «это самый большой объем геополитического материала, который когда-либо публиковался».

В настоящий момент коллекция PlusD состоит из двух основных «пакетов»:

Cablegate

Набор из более чем 250,000 дипломатических телеграмм (т.н. "cables ^[3]"), публиковавшихся на WikiLeaks ^[4] с ноября 2010 года и по сегодняшний день. Данные документы детально описывают внешнюю политику США на протяжении последнего десятилетия. Несмотря на то, что бОльшая часть из них после утечки была официально рассекречена, более 15,000 из них всё ещё имеют гриф «Секретно».

The Kissinger Cables

Содержит более 1.7 миллиона дипломатических записей времен госсекретаря Генри Киссинджера, одного из самых противоречивых периодов холодной войны. Данные записи были рассмотрены госдепом США ввиду истечения 25-летнего срока их секретности. По результатам анализа комиссией принималось решение о рассекречивании или частичном рассекречивании каждого из документов. Затем записи дополнительно рассматривались Национальным Управлением Архивов и Документации (NARA). И только после этого документы в виде отдельных PDF файлов были помещены в Национальный Архив США. Несмотря на то, что формально данные должны быть рассекречены через 25 лет, до сих пор в открытом доступе нет документов позднее 1976 года. Из-за сложной процедуры ревью, данный процесс запаздывает на 12 лет.

Команде пришлось проделать поистине титаническую работу ^[5], для того чтобы PlusD смог воплотиться в жизнь. Многие записи имеют запутанную структуру, которая, к тому же, может отличаться от документа к документу, что делает сложным создание унифицированного механизма, позволяющего добавлять документы в поисковую систему.

Автор: Captcha

Источник ^[6]