Как поднять на виртуальном сервере собственную интернет-машину времени с помощью ArchiveBox

Всем привет, на связи PQ.Hosting! Меня зовут Игорь, начиная с 2024 года я работаю в техподдержке компании. А начиная с этого дня я еще буду писать для нашей нашей странички на Хабре ;)

И знаете, что я заметил за время работы? Многие считают, что виртуальный сервер или даже выделенный — это не очень интересно. Ну что максимум на нем можно сделать? Разместить интернет-магазин или любой другой сайт — так себе развлечение. 

Поэтому я взял на себя задачу добавить немного рок-н-ролла и показать, что сервер — это на самом деле гигабайты свежей информации виртуальная техно-лаборатория интересных проектов, экспериментов и даже профессионального роста. Главное, чтобы под рукой был смартфон или компьютер с установленным openssh. И это все по цене пары кружек кофе в месяц. 

Готовьтесь — у меня в планах написать целую серию статей, в которых будут рассматриваться полезные и необычные self-hosted сервисы, которые можно поднять на VPS ^[1] или Dedicated. 

Кстати, если вы хотите, чтобы я рассказал о каком-либо конкретном сервисе, то обязательно напишите об этом в комментариях — я подробно рассмотрю все предложения! 

В первом выпуске я расскажу о ArchiveBox — сервисе, который позволяет самостоятельно запустить аналог Wayback Machine. 

Еще парочку слов о проекте ArchiveBox

ArchiveBox ^[2] — опенсорсная утилита, разработанная для архивации сайтов. Она позволяет собирать, сохранять и удобно организовывать снэпшоты интересующих вас страниц.

В целом сервис повторяет функциональность всем известного Wayback Machine. Однако, есть одно принципиальное различие: в ArchiveBox можно сохранять и непубличные сайты. И в том числе информацию из социальных сетей, YouTube, Soundcloud и других. 

При этом, как и во всех других селф-хостед приложениях, вы обладаете полным контролем над всей информацией и не зависите от решений владельцев сервиса. А с Internet Archive может случиться все что угодно — вспомним хотя бы многодневный сбой, который случился совсем недавно. 

Какое оборудование потребуется для установки

Если судить по информации на сайте разработчика, то для работы ArchiveBox подойдет не самое мощное железо. Например, сервис в теории можно крутить даже на одноплатном компьютере Raspberry Pi 3, который вышел 8 лет назад. 

Для теста я буду использовать наш VPS ^[1] начального уровня Aluminium с одним ядром процессора Xeon E5-2697A, гигом оперативки и SSD на 25 гигов. Такой конфигурации должно с головой хватить для работы. 

Что нужно сделать перед установкой 

В теории ArchiveBox можно установить и с помощью Apt, pip или Pacman, но разработчики настойчиво предлагают использовать для установки Docker. Ну что же, побудем чилловыми ребятами и не будем противиться советам авторов софта. 

Или может все-таки стоило побыть плохими парнями и поставить сервис через пакетный менеджер? Напишите в комментариях, какой вариант вы выберете?

Если на вашем сервере еще пока не установлен Docker, то я оставлю небольшую инструкцию, как это сделать из apt-репозитория. 

Для начала обновляем список репозиториев и добавим GPG-ключи: 

sudo apt-get update

sudo apt-get install ca-certificates curl

sudo install -m 0755 -d /etc/apt/keyrings

sudo curl -fsSL https://download.docker.com/linux/ubuntu/gpg -o /etc/apt/keyrings/docker.asc

sudo chmod a+r /etc/apt/keyrings/docker.asc

После добавим репозиторий в apt и снова обновим список: 

echo "deb [arch=$(dpkg --print-architecture) signed-by=/etc/apt/keyrings/docker.asc] https://download.docker.com/linux/ubuntu $(. /etc/os-release && echo "$VERSION_CODENAME") stable" |

sudo tee /etc/apt/sources.list.d/docker.list > /dev/null

sudo apt-get update

После этого можно будет установить сам Докер:

sudo apt-get install docker-ce docker-ce-cli containerd.io

docker-buildx-plugin docker-compose-plugin

Если вы переживаете, что что-то пошло не так, то можете выполнить команду, которая проверит работоспособность Docker на вашей машине: 

sudo docker run hello-world

Если все хорошо, то в терминале вы увидите такое сообщение: 

Как проходит установка

Вариантов для установки ArchiveBox много, но тут я решил пойти по пути KISS и воспользуемся вариантом установки с Docker run. Мне он показался менее сложным — трудностей и заморочек мне хватает и во время рабочего дня. 

Сначала создадим директорию, в которой будут храниться снэпшоты сайтов: 

mkdir -p ~/archivebox/data && cd ~/archivebox/data

После этого наконец-то запустим установщик ArchiveBox:

docker run -v $PWD:/data -it archivebox/archivebox init --setup

Далее установщик предложит создать пользователя для веб-интерфейса (это пригодится нам чуть позже):

Придумываем имя для юзера, указываем почту и пароль:

Иии, все готово! Можете начать пользоваться ArchiveBox!

Как пользоваться ArchiveBox

Тут есть 2 два варианта. Первый — можете продолжить пользоваться ArchiveBox прямо в терминале. Например, чтобы добавить ссылку, которую будет хранить и отслеживать утилита достаточно одной команды: 

echo 'https://example.com' | docker run -i -v $PWD:/data archivebox/archivebox add

А чтобы посмотреть все сохраненные сайты нужно будет ввести: 

docker run -v /path/on/host:/path/inside/container

Полный список команд доступен ^[3] на странице проекта на Гитхабе. 

Второй вариант — установить GUI. Удобно ли это или нет — решать вам. Тру-линуксоиды будут ругаться, но приятно иногда перейти из суровой консоли в графический интерфейс. 

Для этого понадобится запустить 2 команды: 

docker run -v $PWD:/data -p 8000:8000 archivebox/archivebox

docker run -v $PWD:/data -it archivebox/archivebox help

После этого перейдите в браузере по http://IP-вашего-сервера:8000. В итоге вы должны оказаться на такой странице. Остается только добавить интересующие вас сайты!

Выводы

Вот и все — у вас собственная интернет-машина времени! Да такая, которая практически не зависит от различных внешних факторов. На контент на вашем личном VPS ^[1] точно не пожалуются, и вы сможете сохранять на будущее любую информацию. Да и к тому же делается все очень легко: есть на вашем сервере уже есть Докер, то понадобится буквально ввести пару команд в терминале. 

Виртуальный сервер Aluminium, на котором все тестировалось стоит всего 4.77 евро. А по нашему промокоду HABR вы сможете взять его и другие тарифы еще дешевле — со скидкой 15%! Переходите на сайт, выбирайте подходящую услугу и закажите быстрый и надежный VPS/ VDS ^[1] в одной из 42 локаций по всему миру. 

И помните, что сервер — это не скучно. Он дает возможность покреативить и с пользой провести время. ArchiveBox — только начало! Вас ждет еще много интересных обзоров на self hosted сервисы.