Рубрика «bittorrent»

Сегодня речь пойдёт о технологии распределённой сети VPN Gate, своего рода недруга Поднебесной в области интернет цензуры. На Хабре много статей на тему SoftEther VPN (нижележащий слой VPN Gate), но нет ни одной технически всесторонней статьи про саму распределённую сеть и такое чувство, что в рунете про неё вообще забыли.

VPN Gate — академический эксперимент Дайу Нобори с 2013-го года. Проект представляет собой интернет-сервис научных исследований в Высшей Школе Университета Цукуба, Япония. Цель данного исследования заключается в расширении знаний «Глобальных распределенных открытых ретрансляторов VPN».

Читать полностью »

Двадцать лет назад относительно неизвестный в то время программист по имени Брэм Коэн в одиночку совершил революцию в сфере технологий обмена файлами. Тогда социальные сети ещё не были развиты, но BitTorrent особо и не нуждался в лайках. Со временем он был оценён по достоинству в ИТ-сообществе. В начале двухтысячных новый протокол обмена файлами изменил ход развития Интернета.

«Наконец-то заработало моё новое приложение BitTorrent, оно доступно по ссылке ниже», — написал Коэн на доске объявлений Yahoo!.. Это было 2-го июля 2001 года.

Протоколу BitTorrent 20 лет: как изменить ход развития Интернета с помощью «словаря» и сарафанного радио - 1

Вероятно, за всю историю ИТ это была одна из самых, мягко говоря, лаконичных PR-кампаний в поддержку запуска нового продукта. Не впечатлил и «дизайн» официального сайта с чёрным текстом на белом фоне: весь сайт — несколько строк HTML-кода. Тогда никто не мог представить, какую роль в развитии всего Интернета сыграет BitTorrent.

Полное отсутствие маркетинговой составляющей Брэм Коэн компенсировал за счёт технических характеристик продукта. Он ранее работал в стартапе, команда которого трудилась над одноранговой сетью MojoNation. Потом у этого проекта закончилось финансирование, и 25-летний разработчик сосредоточился на развитии собственного проекта — протокола для обмена файлами.
Читать полностью »

Качаем 16GB торрент через планшет с 4GB свободного места - 1

Задача:

Есть ПК без интернета но есть возможность перекинуть файл по USB. Есть планшет с интернетом с которого этот файл можно перекинуть. На планшет можно скачать нужный торрент но не достаточно свободного места. Файл в торренте один и большой.

Путь к решению:

Я запустил торрент на загрузку. Когда свободное место почти подошло к концу я поставил загрузку на паузу. Подключил планшет к ПК и переместил файл с планшета на ПК. Отжал паузу и к моему удивлению файл был снова создан и торрент продолжил качаться дальше как ни в чем не бывало.

Благодаря тому что торрент клиент устанавливает sparse флаг файлу в который записывает полученные данные система не пытается зарезервировать сразу 16GB и не возникнет ошибки при попытке записи в файл дальше 4GB.

Повторив процедуру четыре раза я получил на ПК четыре файла в котором разные части одного и того же торрента. Теперь осталось собрать их воедино. Процедура по сути простая. Нужно заменить нуль байты на другое значение если оно есть в данной позиции в одном из четырёх файлов.

Мне казалось что такая простая программка должна быть в интернете. Неужели никто не сталкивался с такой задачей? Но я понял что даже не знаю по каким ключевым словам её искать. Поэтому я быстро накидал Lua скрипт под эту задачу а теперь уже и оптимизировал его. Им и хочу поделиться.

Читать полностью »

TL;DR: IPFS позволяет хостить статические сайты распределённо, доступ к которым можно осуществлять через публичные кеширующие гейты (прозрачные реверс-прокси) в интернете, без необходимости устанавливать программу посетителю. Такие сайты можно раздавать без маршрутизируемого («белого») статического IP-адреса (будет работать за NAT), они остаются работоспособными при кратковременном (несколько часов) отсутствии раздающих, за счет кеша на гейтах. К гейтам по желанию можно привязать свой домен, причём добавить DNS-записи можно на несколько гейтов одновременно, для повышения надёжности и балансировки нагрузки. Сайт могут скачать другие пользователи IPFS и помочь с раздачей.
IPFS отлично подходит для статических блогов, простых сайтов, файловых архивов (в качестве замены Bittorrent), а также просто для единовременной передачи больших файлов без предварительной загрузки их на какой-либо сервис.

Что такое IPFS?

IPFS — децентрализованная пиринговая система передачи файлов, по принципу работы похожая на BitTorrent, но с возможностью доступа через HTTP, для Web. Все скачиваемые пользователем файлы временно кешируются IPFS-демоном и раздаются другим пользователям, запрашивающим их. Важные файлы можно «прикрепить» (pin) к IPFS-демону, тогда они не исчезнут из кеша.Читать полностью »

Атака BitErrant с коллизиями SHA-1: создаём разные .exe с одинаковым файлом .torrent - 1

23 февраля 2017 года сотрудники компании Google и Центра математики и информатики в Амстердаме представили первый алгоритм генерации коллизий для SHA-1. Эта находка стала результатом двухлетнего исследования, которая началась вскоре после публикации в 2013 году работы криптографа Марка Стивенса из Центра математики и информатики в Амстердаме о теоретическом подходе к созданию коллизии SHA-1. Он же в дальнейшем продолжил поиск практических методов взлома. Теперь вместе с коллегами из Google он опубликовал научную работу, в которой описаны общие принципы генерации документов с блоками сообщений, подверженных коллизиям SHA-1 (атака SHAttered).
Читать полностью »

«Храм должен был быть вечным. Как сама глубина. А значит, не зависеть ни от одного сервера. Создающие Храм программы свободно блуждают по сети, их фрагменты дублируются, рекомбинируются, самостоятельно организуются для работы. Чтобы Храм исчез, надо уничтожить все машины в сети.»
«Фальшивые зеркала», 1999 год, за 2 года до появления протокола BitTorrent

Брэм Коэн: Я писал BitTorrent сидя в гостиной, безработный, в трусах - 1
Сегодня стукнуло 41 год Брэму Коэну, создателю протокола BitTorrent.

Интересные факты:

  • Коэн начал программировать в 10 лет.
  • Коэн признается, что неспособен работать в фиксированном графике, по часам, в компании, предъявляющей строгие требования к дресс-коду, и категорически не может выполнять бессмысленную и неинтересную работу.
  • Работал в компании «Evil Geniuses for a Better Tomorrow» и Работал в «Valve».
  • Для тестирования BitTorrent Брэм собрал немалую пачку порнухи, которую и раздавали туда-сюда.
  • Организатор конференции CodeCon.
  • Есть жена и трое детей.
  • Самый большой файл на раздаче — архив сайта geocities.com размером в 641 Гб.
  • За первые два года было более 20 млн. закачек клиента, сейчас от 100 до 250 млн. пользователей BitTorrent.
  • В 2008 в раздачах исполняемых файлов 18% были заражены.
  • В 2009 от 43% до 70% трафика в Интернет принадлежало Peer-to-peer сетям.
  • В 2009 более 14.5% BitTorrent загрузок содержало zero-day вредоносные программы и поэтому BitTorrent был механизмом дистрибуции 47% zero-day зловредов.
  • Технологией BitTorrent пользуются Facebook, Twitter, Internet Archive, Blizzard, World of Tanks, Eve Online, правительство Великобритании, научные исследования (BOINC), множество open source и free software проектов.

Читать полностью »

Сегодня поговорим о фонтанных кодах. Их ещё называют «кодами нефиксированной скорости». Фонтанный код позволяет взять, например, какой-нибудь файл, и преобразовать его в практически неограниченное количество закодированных блоков. Имея некоторое подмножество этих блоков, можно восстановить исходный файл, при условии, что размер этого подмножества немного превышает размер файла. Другими словами, такой код позволяет создавать «фонтан» из кодируемых данных. Получатель может восстановить исходные данные, собрав достаточно «капель» из фонтана, при этом неважно – какие именно «капли» у него есть, и какие именно он пропустил.

Фонтанные коды - 1


Замечательное свойство фонтанных кодов заключается в том, что их применение позволяет отправлять данные по ненадёжным каналам связи, например – через интернет, не полагаясь на знание уровня потери пакетов, и не требуя от получателя связываться с отправителем для восстановления недостающих фрагментов данных. Легко заметить, что подобные возможности окажутся весьма кстати во множестве ситуаций. Среди них, например, отправка информации по широковещательным каналам связи, как в системах передачи видео по запросу. К той же категории задач относится работа протокола Bittorrent и других подобных, когда фрагменты файла распространяются среди большого количества пиров.
Читать полностью »

Первые слова крупных проектов - 1

Большое дело начинается с малого шага. Какой-то студент из Питера смастерил веб-сайт на коленке. Никому не известный энтузиаст из Финляндии прислал анонс в тематическую эхо-конференцию по Minix. Кто может предположить, к чему это приведёт?

Спустя много лет интересно взглянуть, как начинались некоторые популярные ИТ-проекты.
Читать полностью »

Торрент-клиент Transmission наконец-то вышел под Windows - 1Один из самых популярных торрент-клиентов Transmission спустя много лет всё-таки вышел под Windows. «У пользователей Windows в конце концов появился хороший BitTorrent-клиент», — пишет TechCrunch, намекая на деградацию uTorrent в последних версиях.

Дистрибутивы Transmission 2.92 для 32-битной и 64-битной Windows уже появились в официальном депозитории (в самом низу), наряду со стандартными версиями для Linux и OS X, хотя официально о выходе пока не объявлено.
Читать полностью »

Apple поддерживает работу BitTorrent-трекеров в своей штаб-квартире в Купертино - 1

Корпорация Apple не слишком тепло встречает BitTorrent приложения в App Store. Но это вовсе не означает, что компания отвергает саму идею использования технологии для себя. Как оказалось, в штаб-квартире компании работает сразу несколько BitTorrent-трекеров. Этот факт удалось выяснить благодаря IoT-поисковику Shodan.

Чаще всего такие трекеры используют 6969 порт. После проверки оказалось, что активные трекеры находятся сразу на нескольких IP, которые принадлежат Apple. Это 17.17.17.102, 17.17.17.108, 17.17.17.30, 17.17.17.59, 17.17.17.8, 17.17.17.15, 17.17.17.133, 17.17.17.110, 17.17.17.138, 17.17.17.248, 17.17.17.56 и 17.17.17.248. Также трекеры можно «простучать» по 80 (HTTP) порту, это 17.17.17.220, 17.17.17.41, 17.17.17.44, 17.17.17.170, 17.17.17.58, 17.17.17.21, 17.17.17.104, 17.17.17.102, 17.17.17.133, 17.17.17.59, 17.17.17.108, 17.17.17.27, 17.17.17.5, 17.17.17.15, 17.17.17.24, 17.17.17.243, 17.17.17.68 и 17.17.17.41. Все эти IP принадлежат корпорации Apple. Журналисты интернет-СМИ Torrentfreak отправили в Apple запрос, желая получить информацию о цели использования трекеров в компании, но ответа пока нет.
Читать полностью »


https://ajax.googleapis.com/ajax/libs/jquery/3.4.1/jquery.min.js