Система хранения файлов с дедупликацией между пользователями

Начало этому проекту положила очень простая идея, о которой, я год назад писал ^[1] на страницах хабрахабра. Именно тогда, я задумался, почему все сервисы хранения файлов такие жадные? Почему они зарабатывают на том, что несколько различных пользователей, хранят один и тот же файл? Почему мы должны платить дважды, трижды, а иногда и в сотни раз больше, чем реально это стоит? По-моему это несправедливо.

Вторая проблема всех платных сервисов хранения файлов – абонентская плата. Нас заставляют постоянно платить за хранение наших файлов. Если не заплатить, файлы удалят. Больше похоже на вымогательство, чем на удобный сервис, особенно в свете вот этого исследования ^[2] на тему стоимости хранения данных. Поэтому я решил, что настала пора создать проект, который лишен этих недостатков.

Так появилась идея, а что из этого получилось можно прочитать под хабракатом.

MD5 File ^[3] это персональная система хранения файлов c дедупликацией. Пока другие зарабатывают на хранении множества одинаковых файлов у разных пользователей, сервис предлагает разделить стоимость хранения файла между всеми пользователями. Таким образом, постоянное хранение файла может практически ничего не стоить для пользователя, а максимальная стоимость хранения не превышает 1 доллара за гигабайт. Это единовременная плата. Никакой абонентской платы не взимается.

Как это работает.

Когда загружается файл, система проверяет, есть ли другие пользователи, которые используют этот же файл и рассчитывает стоимость хранения. Например, если 10 пользователей хранят один и тот же 10 гигабайтный файл, то фактически, каждый из них будет использовать только 1 гигабайт своего пространства. При увеличении количества пользователей система автоматически пересчитывает занимаемое место файлом и свободное пространство у всех пользователей файла увеличивается.

Я очень хочу, чтобы проект не стал «еще одной системой хранения файлов», ведь кроме того, чтобы просто загрузить свои файлы, особенно на длительный срок, необходимо иметь удобную систему поиска и систематизации. Лично мне не очень нравится система с папками, так как она не позволяет одновременно добавить файл в несколько разных групп, поэтому я решил, что необходимо реализовать поддержку тегов. Именно поэтому сервис поддерживает очень гибкую систему поиска, которая позволяет задавать, например, такие правила:

• париж,!жена – ищет все файлы с тегом или именем париж, но без тега или имени жена
• париж,!tag:я,name=2012 – ищет все файлы с тегом или именем париж, но без тега я, в имени которого есть текст 2012
• париж|tag:жена,ext:pdf — ищет все файлы с тегом или именем париж или c тегом жена и расширением pdf

Поисковые теги можно спокойно добавлять в закладки и таким образом сразу переходить на нужную группу файлов, что по-моему очень удобно.

Такая же система реализована в webdav, т.е. вы можете примонтировать webdav диск и делать на него ссылки по тегам, например, md5filestorageпариждети или md5filestorageсемьядети в любой кобинации. В настоящий момент webdav сервис работает в beta-readonly режиме по адресу https://webdav.md5file.com/storage/

Что в планах на будущее?

• Загрузка файлов из торрентов и HTTP/FTP ссылок
• WebDav (полная поддержка)
• Обмен файлами между пользователями
• Интеграция с другими сервисами хранения файлов
• Мгновенная загрузка файла (при наличии на сервере)

Ссылка на проект: MD5 File ^[3]

P.S. К сожалению, регистрация через социальные сети пока не поддерживается, в связи с тем, что необходим пароль для WebDav. В будущем планируем реализовать и такую авторизацию.

Автор: aig

Источник ^[4]