Какой софт использует ЦРУ и АНБ для дата-майнинга

После утечки данных от Сноудена стало понятно, что АНБ собирает данные на всех граждан до совершения преступлений, а не на конкретных подозреваемых после преступления.

Аналогичную практику сбора разведданных на всех граждан до совершения преступления начали практиковать и в других странах, в том числе России. Речь идёт о длительном хранении интернет-трафика, сведений о перемещении, звонков, записей видеонаблюдения и т.д. Это очень удобно, ведь в случае необходимости найдутся улики практически на любого человека.

Разумеется, для быстрого поиска в таком огромном массиве данных требуется специальный софт.

Облачная инфраструктура

Роль своеобразной «облачной инфраструктуры» для информационной сети АНБ сейчас выполняет дата-центр Шмель ^[1] (Юта), рассчитанный на хранение 5 зеттабайт ^[2] данных. Это был последний крупный ЦОД, созданный по заказу спецслужб, и теперь они постепенно переходят в облако, причём частично используют инфраструктуру обычных провайдеров, начиная с AWS.

Станция Menwith Hill ^[3]: небольшой дата-центр АНБ в Великобритании, обрабатывает более 300 млн телефонных звонков и электронных сообщений в сутки

В частности, АНБ к 2018 году перенесло большую часть своих данных в облако Intelligence Community GovCloud ^[4], которое работает на собственной инфраструктуре АНБ (on-premise), на стандартном железе, но с использованием множества уникальных наработок АНБ по аппаратной и программной части.

Обширное разведывательное сообщество США ^[5] в качестве альтернативы может использовать гибридное облако Commercial Cloud Enterprise ^[6] (C2E) от ЦРУ, работающее на мощностях пяти коммерческих провайдеров: AWS, Microsoft, Google, Oracle и IBM.

Идёт работа по созданию ещё одного гибридного облака на публичной инфраструктуре Hybrid Compute Initiative ^[7], которое придёт на смену C2E.

Волшебные палантиры

Палантир Сарумана, кадр из фильма «Властелин колец: Две крепости»

Какой софт используют разведывательные агентства?

В области дата-майнинга основным подрядчиком для спецслужб считается Palantir Tenchonologies ^[8].

Компания основана в 2003 году группой инвесторов во главе с Питером Тилем. Питер Тиль вместе с Илоном Маском известны как основатели финансовой компании PayPal Inc. Однако в 2002-2003 гг их пути разошлись: первый основал Palantir, а второй запустил сразу два стартапа: SpaceX и Tesla. Все эти фирмы созданы на миллиарды, заработанные молодыми стартаперами на продаже PayPal гиганту eBay.

Итак, Питер Тиль увидел коммерческую возможность в разработке софта по заказу ЦРУ и АНБ, что обеспечит фирме безбедное существование и огромные контракты на протяжении длительного времени.

Название для фирмы выбрали соответствующее: Палантир — это магический камень во вселенной Толкина, который позволяет увидеть то, что происходит в настоящее время в другом месте или происходило в прошлом. Здесь очевидна аналогия c дата-майнингом конкретных целей через программное обеспечение Palantir.

Первым инвестором в стартап стало ЦРУ (через своё венчурное крыло In-Q-Tel ^[9]).

Софт

Питер Тиль переманил к себе нескольких программистов PayPal, которые в 2004 году написали первый прототип системы ^[10] для демонстрации потенциальным клиентам из разведывательного сообщества.

Что конкретно делает софт Palantir? По сути это продвинутая поисковая система, объединяющая разрозненные данные из множества источников, из сотен баз данных, которые собирает и хранит АНБ. Сами разработчики называют эту систему аугментацией разведки ^[11] (intelligence augmentation), поскольку она сочетает компьютерный ИИ и труд людей-аналитиков.

Система индексирует всю эту информацию, чтобы в реальном отвечать на поисковые запросы пользователя. Например, выдать список всех членов наркокартеля. Софт находит «скрытые» связи между людьми и организациями, что раньше требовало месяцев кропотливого изучения документов десятками следователей.

Страница из презентации Palantir для государственных клиентов, утечка ^[12]

Лицензии на Palantir продаются по количеству пользователей — следователей и оперативников — которые имеют доступ к системе. Дополнительную плату берут за обучение. Например, в 2011 году агентство US Immigration and Customs Enforcement купило лицензии для 1150 своих сотрудников за $7,5 млн ^[10].

Кроме основного продукта для ЦРУ и АНБ, компания разрабатывает коммерческие решения для обычных заказчиков. Это четыре платформы, в продаже три:

1. Metropolis (бывш. Finance), продажи прекращены ^[13]
2. Foundry ^[14]
3. Gotham ^[15] (бывш. Government)
4. Apollo ^[16]

В них используются те же фирменные технологии вычислительной аналитики и интеграции данных (из разрозненных источников), что и в основном софте.

Foundry позиционируется как «операционная система современного предприятия». Это корпоративная система для интеграции всех доступных данных и принятия решений.

Смежная система Palantir Gotham ^[15] используется для описания свойств и отношений между объектами. Его базовая модель, по сути, является графом.

Скриншоты системы Palantir Gotham

Gotham выполняет нисходящий анализ (начиная с некоторых описательных статистических данных о наборе объектов или событий и итеративно уточняя набор), а также восходящий анализ (он начинается с одного или нескольких объектов — и расширяя набор путём поиска и добавления похожих или связанных объектов).

В свою очередь, Metropolis выполняет математический анализ поведения моделей во времени и поддерживает агрегированный анализ: клиент выбирает набор моделей и период времени — и проводит над ними сложные математические расчёты.

Далее, Gotham поддерживает геопространственный анализ. Вы можете нанести местоположение сущностей на карту и проанализировать, как они меняются со временем, а также импортировать произвольные шейп-файлы для отображения и использования в запросах.

Gotham работает с неструктурированными данными. Система соединяет объекты в графе и находит недостающие фрагменты, используя данные, например, из социальных сетей.

В отличие от неё, у Metropolis базовая модель построена на временных рядах, то есть по сути представляет поток событий. Хотя система снята с продажи, но этот подход (с временными рядами и потоком событий) нашёл воплощение в других продуктах Palantir.

Palantir Apollo

Наконец, Palantir Apollo — система для управления и развёртывания Gotham и Foundry, она создана в связи с необходимостью использования клиентами нескольких публичных и частных облачных платформ в рамках своей инфраструктуры. Apollo организует обновление конфигураций и программного обеспечения платформ Foundry и Gotham с использованием архитектуры микросервисов. Этот продукт позволяет компании Palantir предоставлять программное обеспечение как услугу (SaaS), а не работать как консалтинговая компания.

Функциональность этих коммерческих систем примерно совпадает с функциональностью софта Palantir, который находится в распоряжении ФБР, ЦРУ, АНБ и других разведывательных агентств. Разница только в наборе данных, объёме и скорости вычислений.

Большие данные — это новая нефть

Можно предположить, что программное обеспечение Palantir не уникально. Наверняка подобные системы разрабатываются и/или эксплуатируются спецслужбами и других стран. Например, в РФ по закону Яровой идёт сбор таких же огромных объёмов данных. И кто-то наверняка хочет извлечь выгоду из их использования.

Всем операторы связи в России обязаны поддерживать систему СОРМ-3 (система технических средств для обеспечения функций оперативно-разыскных мероприятий). Система СОРМ-3 создана как дистанционная, когда сотрудник спецслужб сидит у пульта управления и вводит команды, которые удалённо передаются в сеть оператора связи. По мнению некоторых экспертов ^[17], российская система СОРМ очень похожа на американскую систему тотальной прослушки PRISM ^[18], которую рассекретил Эдвард Сноуден.

Среди документов Сноудена был опубликован список некоторых целей по сбору данных АНБ ^[19]. Это поисковые запросы каждого пользователя, посещённые сайты, загруженные видеоролики (программа Aladdin ^[20] по сбору данных о загружаемых видео), полученная и отправленная почта, активность в соцсетях, комментарии, звукозаписи телефонных переговоров с биометрической идентификацией личности по голосу (программа Babel ^[21] для быстрого полнотекстового поиска по звукозаписям), видеозвонки, ДНК, онлайновые игры (программа Reynard ^[22] по анализу профилей игроков массивных многопользовательских игр) и многое другое. Каждый тип данных нуждается в классификации, индексировании и отдельном анализе.

Использование системы Palantir предполагается для дата-майнинга данных, извлечённых из сети жертвы в результате кибератаки, из секретной презентации GCHQ ^[12]

Мрачное будущее

В недавнем отчёте аналитической группы JDC "The Future of Government 2030+" ^[23] указано, что программное обеспечение Palantir успешно применяется правительственными агентствами не только США, но также Великобритании, Германии, Дании. Эксперты предполагают, что в будущем такой дата-майнинг станет привычной практикой в государственном управлении. Вот как они видят один из четырёх возможных сценариев социального устройства через десять лет:

Источник: "The Future of Government 2030+" ^[23], стр. 42

• раздача всем гражданам электронных eID с чипами,
• использование моделей ИИ для формирования мнения избирателей,
• продажа людьми своих персональных данных для покупки сервисов,
• глобальная власть транснациональных цифровых корпораций.

С точки зрения национальных правительств это пессимистичный сценарий. Предполагается, что общество должно приложить все силы, чтобы этот сценарий не реализовался. Для этого нужно изменить существующие тренды, указанные в левой части, иначе финиш может быть неприятным.

С другой стороны, кто-то может принять эту схему как логичный маршрут к неизбежному киберпанку.

Есть и альтернативные сценарии: 1) сверхрегулирование со стороны государства; 2) прямая демократия с исчезновением бюрократических барьеров; 3) общественное самоуправление (DIY-демократия).

Возможно, разные страны сначала пойдут по разным сценариям развития, прежде чем эти отличия нивелируются в более отдалённом будущем.