10 000 000 000 000 000 байтов заархивировано

25 октября активисты и сотрудники Internet Archive провели торжественную церемонию ^[1] по поводу знаменательного события: архив интернета перевалил за 10 петабайт (10¹⁶ байт). Благодаря этому архиву с Машиной времени ^[2] мы можем посмотреть, как выглядели знаменитые сайты много лет назад, найти сохранённые копии веб-страниц или просто восстановить свой сайт из «бесплатного бэкапа».

Internet Archive объявил о раздаче 80-терабайтных образцов ^[3] выборки за 2011 год всем желающим для исследований. Файлы в формате WARC ^[4] содержат около 2,7 млрд URIs. Они включают в себя весь текстовый контент и всё остальное, что удалось сохранить, в том числе изображения, видео, флэш и т.д.

Выборка:
Дата начала: 09 марта 2011
Дата окончания: 23 декабря 2011
Количество уникальных URL: 2 273 840 159
Количество хостов: 29 032 069

Паук Heritrix ^[5] сначала скачал 1 миллион самых популярных сайтов по версии Alexa ^[6] (Хабр там уже был), а потом пошёл по ссылкам.

Ещё один интересный факт, о котором объявили на церемонии. Впервые всё литературное достояние целого народа полностью оцифровано и выложено в интернет. Этим народом стали балийцы ^[7].

Праздничные торжества Internet Archive почтил своим присутствием легендарный учёный и идеолог программирования Дональд Кнут. Он сыграл на органе, открыв церемонию.

Автор: alizar