Рубрика «Блог компании Edison» - 20

В 2009 году китайская киберразведка на своей шкуре испытала мощь всевидящего ока Palantir. Аналитики из Information Warfare Monitor раскрыли крупные китайские разведывательные операции — Ghostnet и Shadow Network. (отчет)

Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.
Palantir: как обнаружить ботнет - 1

«Надеюсь, что немного осталось лет до того, как человеческий мозг и вычислительные машины будут тесно связаны, а получившееся партнерство будет думать так, как человеческий мозг никогда не сможет, и обрабатывать данные способами, недоступными известным нам машинам.» Сказал Джозеф Ликлайдер 56 лет назад, стартанул кафедры информационных технологий в ведущих вузах Америки и начал строить ARPANET. — «Люди будут задавать цели, формулировать гипотезы, определять критерии и выполнять оценку. Компьютеры будут делать рутинную работу чтобы расчистить путь к открытиям в технических и научных областях».

«Взаимодополняемость человека и компьютера — не только глобальный факт. Это еще и путь к созданию успешного бизнеса. Я осознал это на собственном опыте, полученном в PayPal. В середине 2000-х наша компания, пережив крах пузыря доткомов, быстро росла, но нас тревожила одна серьезная проблема: из-за мошенничеств с кредитными картами мы теряли больше 10 миллионов долларов ежемесячно. Совершая сотни и даже тысячи переводов в минуту, мы не могли физически отслеживать каждый из них — никакая команда контролеров не в состоянии работать с подобной скоростью. Мы поступили так, как поступила бы на нашем месте любая команда инженеров: попытались найти автоматизированное решение.»
Сказал Питер Тиль и основал Palantir.

Под катом кейс о том, как с помощью инструмента финансовой аналитики можно вскрыть ботнет.
Кейс «вымышленный», но на скриншотах фигурируют данные 2009 года.

(За помощь с переводом спасибо Ворсину Алексею)
Читать полностью »

Как данные в руках разведчиков аналитиков Palantir превращаются из неструктурированных в структурированные.

Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.
Palantir: торговля оружием и распространение пандемии - 1

Palantirчастная американская компания, четвертый по капитализации (после Uber, Xiaomi и Airbnb) стартап в мире (данные на начало 2016 года). Основные заказчики — ЦРУ, военные, ЦКЗ и крупные финансовые организации.

По-моему, как-то так видели пользу информационных технологий «отцы-основатели» Вэнивар Буш («As We May Think»), Дуглас Энгельбарт («The Mother of All Demos») и Джозеф Ликлайдер («Интергалактическая компьютерная сеть» и «Симбиоз человека и компьютера»), о которых я писал немного ранее.

Под катом — два кейса (2010 года).

  • Первый — анализ распространения вируса во время национальной пандемии на основе пятнадцати миллионов записей обращений в больницу и трехсот пятидесяти семи тысячах записей о смерти.
  • Второй — анализ сотни отчетов из расследования по глобальной сети торговцев оружием.

(За помощь с переводом спасибо Ворсину Алексею)

Читать полностью »

Сегодня мы расскажем об успешно реализованном проекте для крупного немецкого производителя телекоммуникационного оборудования (хабы, роутеры, сетевые серверы и пр.)

В помощь DevOps: сборщик прошивок для сетевых устройств на Debian за 1008 часов - 1

Задача

Embedded Debian не предоставляет готовой к использованию среды для сборки произвольных образов системы. Чтобы ее подготовить, требуется использовать стандартный дистрибутив Debian, обладать навыками системного администрирования, подобрать и настроить набор утилит, написав при этом ряд shell скриптов для автоматизации процедуры кросс-компиляции пакетов. Проделав всю ручную работу, вы получите консольный инструмент, пользоваться которым может исключительно технический персонал с определенным уровнем навыков работы с ОС Linux, а это не удобно, встает вопрос по организации многопользовательского доступа к этой среде и ограничению прав, а также постоянной поддержки среды в актуальном состоянии.

Выбор производителя телекоммуникационного оборудования пал на дистрибутив Embedded Debian благодаря большому количеству пакетов входящих в состав ОС, позволяющих решать самые разнообразные задачи, и обилию поддерживаемых платформ.

Перед разработчиками EDISON была поставлена задача разработать веб-сервис с интуитивно понятным веб-интерфейсом в виде мастера, позволяющего подготовить произвольный образ системы на базе Embedded Debian на целевую платформу в несколько шагов, который также решает ряд смежных задач.

  • Многопользовательский доступ к системе сборки образов Debian.
  • Хранение подготовленных образов и предоставление доступа к ним.
  • Модификация и повторная сборка подготовленных ранее образов.
  • Клонирование и модификация подготовленных ранее образов.
  • Возможность делится созданным образом с другими пользователями.
  • Зеркалирование дистрибутива Embedded Debian, поддержка его в актуальном состоянии.
  • Предварительная сборка пакетов дистрибутива на различные платформы по расписанию.
  • Предоставление статистики по итогам сборки пакетов на различные платформы.
  • Поддержка классических img образов, а также iso образов, в том числе с поддержкой Live CD.

Дополнительным пожеланием была возможность включения в систему пакетов, разработанных производителем оборудования непосредственно для выпускаемых устройств.

Реализация и технологии.

  • Python 2 / Django.
  • Bash shell scripts.
  • MySQL.
  • Debian 5.0 (Lenny).
  • Embedded Debian 1.0 (Grip / Crush).

Читать полностью »

В главе 33 повязали главного героя. Он хотел отойти от дел и стать whitehat, но правительство надавило на сервис анонимной почты, и те скомпрометировали ключи.

Подпольный рынок кардеров. Перевод книги «KingPIN». Глава 33. «Стратегия выхода» - 1Кевин Поулсен, редактор журнала WIRED, а в детстве blackhat хакер Dark Dante, написал книгу про «одного своего знакомого».

В книге показывается путь от подростка-гика (но при этом качка), до матерого киберпахана, а так же некоторые методы работы спецслужб по поимке хакеров и кардеров.

Квест по переводу книги начался летом в ИТишном лагере для старшеклассников — «Шкворень: школьники переводят книгу про хакеров», затем к переводу подключились и читатели и даже немного редакция.

Второе дыхание «квест по переводу книги» получил благодаря компании Edison.

Глава 33. «Стратегия выхода»

(за перевод спасибо r0mk )

“Это федералы” — сказал Макс, указывая на седан следовавший за ним по улице. Чарити скептически относилась к фордам. Американские машины были лишь одной из многих вещей, тревоживших Макса в эти дни. Прошли недели с момента ареста Криса, и чтения обзоров прессы из округа Оранж, Макс не давало понять, сколько улик нашла полиция в доме Арагона.

Используя платежные чеки как дорожную карту, копы окружали всю команду обнальщиков; даже Маркуса, карманного садовода Криса, он же мальчик на побегушках, был пойман с фермой гидропоники, которую он растил у себя дома в Арчстоне. После двух недель охоты полиция накрыла производство кредитных карт Криса в офисе Федерико Виго в долине, арестовала Виго и захватили контрафактные детали. Крис находился под залогом в миллион долларов.

Вся операция разбиралась по частям. Они это называли, возможно, самым крупным кольцом поиска воров в истории округа Оранж.

“Черт, я предполагаю, какие записи он делал обо всем этом”- написал позже Макс The3C0rrupted0ne. “Я имею в виду, если он был достаточно небрежен, чтобы держать оборудование у себя дома”.

Макс уже уничтожил его предоплаченный сотовый и произвел блокировку аккаунта партнера в Carders Market. Это были обычные меры предосторожности, он в основном не заботился об арестах в первый раз; в конце концов, это был обычный случай. Крис был пойман с поличным на W, и в этот раз ушел с испытательным сроком.

Но через несколько недель, как Крис попал в тюрьму, Макс начал волноваться. Он замечал странные автомобили, припаркованные на улице — вагончик службы контроля за животными вызвал подозрения, он достал фонарик, чтобы посмотреть в окна.

Затем агент ФБР в Сан-Франциско неожиданно вызвал его, чтобы узнать о базе данных arachNIDS. Макс решил сделать веревочную лестницу; и держал ее у дальнего окна квартиры, где он жил с Чарити, на случай если ему нужно будет экстренно уходить. Временами он останавливался, чтобы подумать о своей свободе — вот он здесь, наслаждается жизнью, хакерством, в то время как Крис находится за решеткой в округе Оранж.

Макс взял из желтых страниц случайного адвоката по уголовным делам, из Сан-Франциско, вошел к нему в офис и передал кучу наличных; он хотел, чтобы адвокат отправился в Южную Калифорнию для проверки Криса и посмотрел, что он может сделать. Адвокат сказал, что возьмется за дело, но Макс никогда больше о нем не слышал.
Читать полностью »

Вместе с компанией Edison продолжаем расследование возможностей системы Palantir.

Palantir и отмывание денег - 1

Palantirчастная американская компания, разработчик программного обеспечения анализа данных для организаций, основные заказчики — спецслужбы, инвестиционные банки, хедж-фонды. Основана в 2003 году группой инвесторов — выходцев из PayPal во главе с Питером Тилем.

До 2008 года ЦРУ было единственным заказчиком компании, когда с его разрешения программное обеспечение Palantir начало внедряться правоохранителям и в другие американские спецслужбы. С 2010 года началась активная кампания по публичному продвижению продукции компании на широком рынке.

В конце 2010 года представлены результаты шестнадцатимесячной разработки Palantir для тактико-аналитической поддержки военных операций в Афганистане, проводимых Армией США, в которой кроме серверных технологий и настольных клиентских программ применены также мобильные приложения для носимых устройств; вскоре в прессе появились сведения о том, что технологии Palantir предположительно были задействованы в спецоперации по уничтожению лидера «Аль-Каиды» Усамы бин Ладена весной 2011 года.

По состоянию на начало 2016 года считается четвёртым по капитализации стартапом в мире (после Uber, Xiaomi и Airbnb) с оценкой стоимости бизнеса в $20 млрд.

На официальном канале Palantir есть видео с демонстрацией работы аналитика, использующего систему Palantir в ходе расследования отмывания денег. По-моему, как-то так видели пользу информационных технологий «отцы-основатели» Вэнивар Буш («As We May Think»), Дуглас Энгельбарт («The Mother of All Demos») и Джозеф Ликлайдер («Интергалактическая компьютерная сеть» и «Симбиоз человека и компьютера»), о которых я писал немного ранее.

(За помощь с переводом спасибо Ворсину Алексею)

Читать полностью »

В 31 главе описывается кейс, как спецслужбы вычисляют кардеров по метаданным.

Подпольный рынок кардеров. Перевод книги «KingPIN». Глава 31. «Суд» - 1Кевин Поулсен, редактор журнала WIRED, а в детстве blackhat хакер Dark Dante, написал книгу про «одного своего знакомого».

В книге показывается путь от подростка-гика (но при этом качка), до матерого киберпахана, а так же некоторые методы работы спецслужб по поимке хакеров и кардеров.

Квест по переводу книги начался летом в ИТишном лагере для старшеклассников — «Шкворень: школьники переводят книгу про хакеров», затем к переводу подключились и читатели и даже немного редакция.

Второе дыхание «квест по переводу книги» получил благодаря компании Edison.

Глава 31. «Суд»

(за перевод спасибо Богдану Журу aka K3lwiN )

Кардер с Лонг-Айленда Джонатан Джианноне, с которым Макс и Крис познакомились, когда он был тинэйджером, хранил тайну ото всех.

В день, когда Макс своим сайтом поглотил всех конкурентов, агенты Тайной службы арестовали Джианноне в доме его родителей за продажу нескольких дампов Макса Бретту Джонсону, информатору Тайной службы под ником Gollumfun. Джианноне выпустили под залог, но о своем проколе он никому не сказал. Он считал это очередной мелкой неприятностью. В конце концов, ну что ему грозило за продажу двадцати девяти дампов?

Впечатление укрепилось после того, как уже через месяц после ареста суд Южной Каролины снял с него запрет на перемещение. Джианноне тут же полетел в аэропорт Окленда за покупками, где его встретила Теа. Они катались по шоссе вдоль тихоокеанского побережья, она покупала ему пиццу в Fat Slice на Берклиз Телеграф Авеню. Джианноне казался ей забавным — хвастливый белый паренек с вьющимися волосами и пристрастием к хип-хопу, который как-то раз хвалился, что побил футболиста из Нью-Йорк Джетс во время драки в местном баре. Теперь у них появилось что-то общее: Крис прервал контакты с Джианноне незадолго до ареста, а Теа сказал вернуться к заливу Сан-Франциско, чтобы она не создавала проблем в отношениях Криса. Он избавился от них обоих.
Читать полностью »

«Бесспорно, величайшая фигура хакерской культуры»

Эрик Рэймонд о Ричарде Столлмане

image

  • Свобода запускать программу для любых целей (свобода 0)
  • Свобода изучать устройство программы и приспосабливать ее к своим потребностям (свобода 1). Это предполагает доступ к исходному коду программы.
  • Свобода распространять программу, имея возможность помочь другим (свобода 2).
  • Свобода улучшать программу и публиковать улучшения, в пользу всего сообщества (свобода 3). Это предполагает доступ к исходному коду программы.

Сегодня день рождения «последнего истинного хакера», Ричарда Столлмана, «вечного студента», освободителя ПО и идеолога свободного программного обеспечения (не путать с Открытое программное обеспечение), создателя GNU, автора концепции «copyleft».

Хоть Ричард и выглядит чудаком, но список наград и вклад в развитие самосознания и мировоззрения хакеров разработчиков ПО впечатляет.

Награды

  • 1986: Honorary lifetime membership of the Chalmers University of Technology Computer Society
  • 1990: Exceptional merit award MacArthur Fellowship («genius grant»)
  • 1990: The Association for Computing Machinery's Grace Murray Hopper Award «For pioneering work in the development of the extensible editor EMACS (Editing Macros)»
  • 1996: Honorary doctorate from Sweden's Royal Institute of Technology
  • 1998: Electronic Frontier Foundation's Pioneer award
  • 1999: Yuri Rubinsky Memorial Award
  • 2001: The Takeda Techno-Entrepreneurship Award for Social/Economic Well-Being (武田研究奨励賞)
  • 2001: Honorary doctorate, from the University of Glasgow
  • 2002: United States National Academy of Engineering membership
  • 2003: Honorary doctorate, from the Vrije Universiteit Brussel
  • 2004: Honorary doctorate, from the Universidad Nacional de Salta
  • 2004: Honorary professorship, from the Universidad Nacional de Ingeniería del Perú
  • 2007: Honorary professorship, from the Universidad Inca Garcilaso de la Vega
  • 2007: First Premio Internacional Extremadura al Conocimiento Libre
  • 2007: Honorary doctorate, from the Universidad de Los Angeles de Chimbote
  • 2007: Honorary doctorate, from the University of Pavia
  • 2008: Honorary doctorate from the Universidad Nacional de Trujillo, in Peru
  • 2009: Honorary doctorate, from Lakehead University
  • 2011: Honorary doctorate, from National University of Córdoba
  • 2012: Honorary professorship, from the Universidad César Vallejo de Trujillo, in Peru
  • 2012: Honorary doctorate, from the Universidad Latinoamericana Cima de Tacna, in Peru
  • 2012: Honorary doctorate, from the Universidad José Faustino Sanchez Carrió, in Peru
  • 2014: Honorary doctorate, from Concordia University, in Montréal

Предлагаю воспользуемся правом читать, пока оно есть.
(под катом — подборка статей на русском, один забавный факт со взломами паролей и картинка первого компьютера Столлмана)
Читать полностью »

«Любой человек и любая компания, использующие компьютер в интерактивном режиме, должны испытывать благодарность по отношению к Лику»

Боб Тейлор

Джозеф «Lick» Ликлайдер: «Интергалактическая компьютерная сеть» и «Симбиоз человека и компьютера» - 1

«Какой нам представится общая коммуникационная картина мира, если мы заглянем в будущее, скажем в 2000 г.? Будет ли это единая универсальная сеть, охватывающая весь земной шар, или жесткая структура, состоящая из отдельных сетей, или, наконец, совокупность отдельных независимых сетей? Но не исключена еще одна альтернатива: согласованная система, состоящая из отдельных функционально связанных, но независимых сетей? Эта перспектива наиболее вероятна.»

Ликлайдер, 1978

Читать полностью »

«Интерфейс не должен вредить человеку или своим бездействием допустить, чтобы человеку был нанесен вред». Азимов-Раскин
image
На фото: Джеф Раскин. То чувство, когда ты один знаешь, как сделать интерфейсы правильно, а весь мир делает не так.

Для тех, кто еще не знает Джеф Раскин (Jef Raskin) — специалист по компьютерным интерфейсам, автор статей по юзабилити и книги «The Humane Interface», сотрудник № 31 фирмы Apple Computer, наиболее известен как инициатор проекта Макинтош в конце 70-x.

image

В день рождения (9 марта) старика-бунтаря Раскина, решил поделиться мыслями про интерфейсы в своей жизни. Какой интерфейс помогает лично вам в жизни, служит «усилителем интеллекта»?

Мой первый интерфейс, где я был максимально продуктивен на то время (и под задачи молодости) — DOS Navigator, затем его сменил Total Commander.

Возможно, мой мозг засох после выпуска из универа, но мне кажется, что все, что связано с интерфейсами, с тех пор стало только хуже (субъективно). Я даже перестал искать и пробовать, стал пользоваться первым, что под руку попадется (например, встроенный редактор в Хабре). Но если надо взяться за серьезный проект, где «думать надо», я спрыгиваю из гамака и снимаю лыжи открываю… CorelDraw X3.

Corel — самая крутая штука после белой доски на всю стену и десятка цветных маркеров. В Corel есть ZUI. Стабильный и рабочий ZUI. Для моих задач и того типа информации (много текста и много картинок) которым я оперирую, чтобы «думать», Corel подходит почти идеально (лучшего пока не нашел). Хотя, нет, вроде бы Palantir тоже имеет ZUI. (Радует, что и читатели шевелятся в этом направлении — icefall с его «Тектограммы — новое поколение майндмапов»)

Под катом немного наследия Джефа Раскина.
Читать полностью »

«I can never thank Ralph enough for what he gave to me and everyone else.» Steve Wozniak, Co-founder Apple Computers

Ральф Баер: «Видеоигры, я ваш отец!» - 1
Ральф Баер сконструировал первый световой меч пистолет.

Год 1951. Баер работал старшим инженером в оборонной компании Loral Electronics, он разрабатывал аналоговый компьютер для радарных установок. Знания в этой области очень пригодились ему при работе над видеоиграми. Одной из задач, была разработка модели черно-белого телевизора.

В то время только все компании по производству электроники пытались освоить этот перспективный рынок. Работая над телеприемником, Баер подумал, а почему бы не сделать в нем нечто, отличающее его от творений конкурентов: например, специальный канал, работающий на частоте телевизионных каналов 3 или 4 (в те времена они были не заняты). Этот канал Баер назвал LP (Let’s Play!), и на нем телезритель мог… поиграть в интерактивные игры.

Мыслями о телеканале LP, записанными в тетради в линейку карандашом, Баер поделился со своим боссом – старшим инженером Loral Сэмом Лецкоф, который и поручил Баеру создать «лучший в мире телевизор». В ответ он услышал бюрократическое: «Забудь про это, парень. Просто сделай этот чертов телевизор. Мы и так дико выбились из графика». Концепция видеоигр ждала своего часа 15 лет.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js