Как скачать торрент, зная хеш
Обновлено: 21.11.2024
> Идентичные файлы также легче идентифицировать в разных роях, поскольку их корневой хэш зависит только от содержимого файла.
Подождите, контент адресован большим скоплениям в роях. означает ли это, что торренты, созданные совершенно разными людьми в разное время и содержащие один или несколько идентичных файлов, могут извлечь выгоду из пиров друг друга? Если это так, это кажется важной функцией, которая улучшит долгосрочную работоспособность многих торрентов и соединит больше пиров, которые могли бы помогать друг другу.
На мой взгляд, это самая важная новая функция, и ее следовало более подробно обсудить в объявлении. Я также думаю, что они должны были пойти дальше в этом направлении, прежде чем выпускать v2.
Адресация содержимого — одно из больших преимуществ приложений p2p, и IPFS уже давно продвигает его.
Только представьте, если бы это было сделано на уровне отдельных деталей. У вас есть два разных торрента (скажем, Linux ISO), где 20% фрагментов перекрываются из-за сходства (возможно, точечное обновление или что-то в этом роде, и вам нужны обе версии). Вместо того, чтобы 100% и того, и другого, вам нужно только один раз загрузить общие фрагменты. Не только это, но и то, что в последней версии гораздо больше сидов/пиров, вместо этого вы могли бы загрузить фрагменты из этого роя, сэкономив пропускную способность старого роя торрентов для оставшихся 80%, которые вам нужно скачать.
Вероятно, это можно как-то сделать на стороне клиента, но было бы неплохо увидеть фактическую поддержку этого протокола, чтобы Bittorent мог двигаться в этом направлении.
Только если блоки имеют одинаковое смещение в одном и том же двоичном файле и если они совпадают с границами блока. В противном случае будут сгенерированы разные хэши. Я не ожидаю, что это будет происходить часто.
Есть способы обойти это. См. «Разбиение на фрагменты с учетом содержимого», например. реализовано с использованием скользящих хэшей [1]. Это, например, то, что делает rsync.
Идея состоит в том, чтобы сделать блоки (слегка) переменными по размеру. Границы блоков определяются на основе ограниченного окна предшествующих байтов. Таким образом, изменение в одном месте окажет лишь ограниченное влияние на следующие блоки.
Нельзя объявить некое "скользящее хэш-значение" таким образом, чтобы другие люди с копией, выровненной по-разному, заметили, что у вас и у них есть дублирующиеся диапазоны байтов.
Повторяющиеся хэши работают, только если один человек (или два человека, участвующие в беседе, например rsync) уже имеют обе копии.
Я думаю, вы неправильно поняли, как в этом контексте используется скользящий хэш. Он не используется для адресации фрагмента; вы бы использовали для этого простую старую криптографическую хеш-функцию.
Скользящий хеш используется для нахождения границы фрагмента: хэшируйте окно перед каждым байтом (что не требует больших затрат при использовании скользящего хэша) и сравнивайте его с определенной битовой маской. Например: проверьте, равны ли первые 20 байтов нулю. Если это так, вы получите фрагменты со средней длиной около 2^20 байт (1 МБ).
Если я обнаружу, что файл, который я хочу опубликовать, находится в одном диапазоне с существующим файлом, это мало что даст, потому что существующий файл уже выбрал границы фрагментов, и я не могу на них повлиять. Этот корабль уплыл.
Я могу извлечь выгоду только в том случае, если априорные фрагменты достаточно малы, чтобы некоторое подмножество идентифицированного совпадения все еще было адресуемым. И тогда я могу получить только половину из двух третей того улучшения, к которому стремился.
Если они оба использовали одну и ту же скользящую хеш-функцию для одних и тех же или похожих данных, независимо от начальной и конечной границ и независимо от того, когда они выбрали границы, они с высокой вероятностью будут использовать много фрагментов. Именно так работает разбиение с скользящими хэшами. Они создают фрагменты переменной длины.
Идея состоит в том, что для неслучайных данных вы можете использовать эвристику, которая создаст фрагменты переменного размера, соответствующие данным. Кажется, самый простой способ обнаружить заполнение нулями и начать новый блок с первого следующего за ним ненулевого байта. Вероятно, есть и другие способы, знание типа данных должно помочь.
Это маловероятно. Не так много больших файлов имеют нулевое заполнение, и если они их сжимают. Это сократит количество ваших переводов больше, чем когда-либо сократит количество замен.
> Идентичные файлы всегда будут иметь один и тот же хэш, и их будет легче перемещать из одного торрента в другой (при создании торрентов) без необходимости повторного хеширования.
Хорошо, если файлы в ISO выровнены по какой-то границе, это очень помогло бы, подобно тому, как файловые системы на диске имеют размер сектора, где все файлы начинаются в начале сектора. Однако я не знаю, верно ли это для ISO9660 или любого из его расширений.
ISO — это монтируемая файловая система, поэтому это может быть так, если в ней нет оптимизаций для экономии места, создающих переменные размеры блоков.
также нужно следить за сжатием
Надеюсь, это также будет полезно для взаимодействия между ними, поскольку все, что имеет достаточно маленький размер блока, может быть получено IPLD.
Я не знаю об этом. С достаточно большим количеством пользователей, не начнете ли вы сталкиваться с хеш-коллизиями из-за парадокса дня рождения? Может быть, лучше оставить его на уровне файла. (Хотя это побуждает злоумышленников находить хеш-коллизии определенных файлов, которые они хотят защитить, и заполнять рой мусорными файлами)
Хеши теперь имеют длину 256 бит. Чтобы получить столкновение с вероятностью 1%, вам нужно произвести около 4e37 хэшей. Для сравнения, если бы у вас был компьютер с тактовой частотой 5 ГГц, который выполнял бы хеширование SHA-256 каждый цикл и давал бы по 100 таких компьютеров каждому человеку на Земле, на создание хэшей 4e37 ушло бы более 300 млн лет.
Да, хотя вполне возможно (в соответствии с законом Мерфи), что произойдет случайное столкновение, вероятность этого близка к нулю. Это оправданный риск.
Означает ли здесь "получить коллизию" обнаружение определенного конфликта с известным хэшем или поиск любого конфликта между любыми двумя сгенерированными хэшами?
Последнее. Я использовал формулу со страницы Википедии об атаке на день рождения: p ~= 1 - e^, где n — количество выбранных вами элементов, а H — размер вселенной
Как магнитные ссылки и информационные хэши помогают скачивать торрент-файлы? Как вы конвертируете информационный хэш в магнитные файлы?
Если вы когда-либо скачивали торрент, вы наверняка сталкивались с такими терминами, как "магнит" и "информационный хеш".
Большинство людей думают, что им никогда не придется беспокоиться о том, что означают термины или как они связаны с процессом загрузки. Но иногда это полезно знать.
Сегодня мы рассмотрим, что на самом деле означают магнит и информационный хеш, как они связаны друг с другом и как преобразовать информационный хеш в магнитный файл.
Использование торрентов: предупреждение
MakeUseOf не оправдывает использование торрентов для загрузки материалов, защищенных авторским правом. Это может привести к проблемам с вашим интернет-провайдером и властями. В лучшем случае вы можете столкнуться с дросселированием скорости. На более серьезном уровне вы можете получить штраф. В зависимости от серьезности вашего правонарушения сумма может составить десятки тысяч долларов.
Чтобы быть в безопасности, всегда используйте надежный платный VPN-сервис, чтобы скрыть свою активность. Мы рекомендуем попробовать ExpressVPN и CyberGhost.
Что такое информационный хэш?
Чтобы объяснить, что такое информационный хеш, сначала нужно сделать шаг назад и посмотреть, как работают торренты.
В отличие от обычного веб-трафика (который подключается к центральному серверу для загрузки файла или веб-страницы), торрент-загрузки децентрализованы через одноранговую (P2P) сеть. Для их работы не требуется центральный сервер.
Незаметно вы одновременно загружаете и скачиваете файл. Загружаемые части поступают небольшими порциями от десятков разных пользователей, а затем ваш компьютер снова собирает их вместе, чтобы создать один пригодный для использования файл.
Поскольку файл, который вы загружаете, сильно фрагментирован, необходим надежный способ проверки его содержимого. Иначе как ваш торрент-клиент узнает, какие биты скачивать из P2P-сети?
Здесь появляется информационный хэш. Его лучше всего рассматривать как уникальный идентификатор загружаемого вами торрента. Он одинаков для всех пользователей и для всех трекеров.
Информационный хэш использует криптографический хэш SHA-1. Хэши SHA-1 имеют длину 40 цифр (хотя вы также встретите типы информационных хэшей, которые состоят из 32 или 64 цифр). Хэш создается путем сбора конкретной информации, такой как размер файла, путь, имя, длина фрагмента, хэши фрагментов и флаги конфиденциальности, а затем обработки ее с помощью математического алгоритма.
После создания хэша торрента конечные пользователи получают ряд ключевых преимуществ:
- Проверяет, загружаете ли вы правильные данные.
- Предоставляет доказательства того, что кто-то подделал данные.
- Может выделять поврежденные данные.
Если вы технически подкованы, вы также можете использовать информационный хэш, чтобы обойти централизованные торрент-трекеры и напрямую общаться с пирами через распределенную хэш-таблицу (DHT).
Что такое магнитная ссылка?
Добавить файл в торрент-клиент можно двумя способами. Вы можете использовать либо магнитную ссылку, либо файл TORRENT (.torrent).
Файл TORRENT — это небольшой файл, содержащий информацию о большом торренте. Когда вы используете файл TORRENT, ваш торрент-клиент создает необходимый информационный хэш и начинает искать файлы в сети.
Магнитная ссылка использует более упрощенный подход. Это гиперссылка, содержащая хэш торрента. Таким образом, вашему клиенту не нужно создавать собственный хэш — он может немедленно начать поиск файлов в DHT.
Вам также не нужно загружать какие-либо файлы на жесткий диск, прежде чем начать загрузку; магнитный файл откроется прямо в вашем торрент-клиенте.
На более практическом уровне магнитные файлы также способствуют более успешным загрузкам. На них не влияет, если трекеры не работают или закрыты для регистрации.
Как преобразовать информационный хеш в магнит
Несколько онлайн-инструментов позволяют преобразовать информационный хеш в файлы магнита. Они полезны, если вы хотите создать свой собственный торрент или кто-то поделился с вами хешем торрента.
Вот четыре преобразователя информационного хэша в магнит.
1. Романр.info
Инструмент Romanr.info выглядит немного примитивным, но это один из самых быстрых конвертеров хэша в магнит. Просто вставьте информационный хэш в первое текстовое поле, дайте торренту имя (при желании) и нажмите «Создать».
Для большего контроля вы можете выбрать, какие трекеры включить. 43 включены по умолчанию, но вы можете добавлять и удалять их по мере необходимости.
2. ХэштоМагнит
HashtoMagnet — это побочный продукт некогда популярного (но ныне несуществующего) инструмента Hash2Magnet.
На сайте есть две функции. Во-первых, вы можете выполнить преобразование хэша в магнит. Для этого вам просто нужен информационный хеш-код.
Во-вторых, вы можете проверить текущую раздачу, раздачу и завершенный статус для любого торрента. Он сканирует десятки трекеров и может помочь вам вернуть мертвый торрент к жизни.
3. Конвертер BTIH в Magnet URI от Дэниела Александерсена
Разработчик Даниэль Александерсен создал на своем веб-сайте конвертер хэша в магнит. У этого инструмента нет официального названия, но он работает так же хорошо, как и другие рассмотренные нами конвертеры.
Никаких причудливых настроек вроде выбираемых трекеров или названий торрентов нет. Просто вставьте информационный хеш, и инструмент мгновенно создаст новую магнитную ссылку.
4. Сделайте магнитную ссылку самостоятельно
Можно создать свою собственную магнитную ссылку, основываясь только на информационном хэше. С точки зрения форматирования это сложный процесс. Если вы не знакомы с работой с криптографическими хеш-значениями, мы не рекомендуем это делать.
Чтобы узнать больше о схеме универсального идентификатора ресурса (URI) магнитных файлов, начните с прочтения соответствующей статьи в Википедии.
Подробнее об использовании торрентов
Надеемся, что наше подробное рассмотрение взаимосвязи между информационным хешем и магнитной ссылкой помогло вам лучше понять, как работают торренты.
И помните, если вам когда-нибудь понадобится преобразовать хэш торрента в магнитную ссылку, инструменты, которые мы рассмотрели, помогут вам начать работу за считанные секунды.
Если вы хотите узнать больше об использовании и скачивании торрентов, обязательно прочитайте наше руководство по лучшим альтернативам The Pirate Bay. Для устранения неполадок с торрентами см. наш список способов разблокировать торрент, когда он не работает.
Когда ваш компьютер выходит из строя, utorrent hash проверяет данные при следующей загрузке, потому что у него нет возможности узнать, действительно ли ОС правильно записала все данные на диск.
Как превратить файл в магнитную ссылку?
Открытие Magnet Links в Chrome. Вам просто нужно найти торрент-сайт для загрузки, на котором размещены magnet-ссылки (большинство из них), выбрать файл, который вы хотите загрузить, и выбрать «Magnet Download», если есть такая возможность. Если нет, просто выберите вариант загрузки по умолчанию, и есть большая вероятность, что это будет магнитная ссылка.
Является ли uTorrent вирусом?
Популярный BitTorrent-клиент uTorrent снова помечен антивирусными поставщиками как проблемный. Сюда входит Защитник Windows от Microsoft, который просто удаляет приложение из операционной системы. Согласно сообщениям, это программное обеспечение классифицируется как «опасное ПО», «вредоносное ПО» и «потенциально нежелательное ПО».
Можно ли попасть в тюрьму за торрент?
Это зависит от обстоятельств, но нет, крайне сомнительно, что вас посадят в тюрьму за скачивание торрентов. Большинство судебных процессов, связанных с торрентами, являются гражданскими, а не уголовными, поэтому если и налагается штраф, то обычно это штраф или иная денежная компенсация.
Может ли вас поймать торрент, если вы используете VPN?
Да, работа с торрентами абсолютно безопасна, если вы знаете и доверяете используемой сети P2P и используете VPN. Некоторые люди используют P2P-сети и торрент-сайты для распространения вредоносных файлов, поэтому вам всегда следует активировать антивирусную программу, когда вы скачиваете торренты, чтобы защитить себя.
Как рассчитывается информационный хеш в торренте?
Здравствуйте, у торрентов есть информационный хэш, который представляет торрент в целом со всеми его файлами (на самом деле это хэш раздела «информация» исходного торрент-файла), и рассчитывается с использованием шифрования SHA1.
Что делать, если ваш информационный хеш не работает в uTorrent?
Когда у вас есть информационный хэш торрент-файла, вам больше ничего не нужно. Если ваш информационный хэш не работает, попробуйте преобразовать его в магнитную ссылку и добавить в uTorrent, чтобы завершить загрузку.
Как использовать информационный хэш для загрузки файлов?
Перейдите к онлайн-генератору магнитных ссылок: II. Скопируйте хэш info_hash или Torrent. Изображения являются примерами info_hash. Совет: когда вы видите, что файл, который вы ищете, не имеет сидов, скопируйте и вставьте info_hash в поле ввода поисковой системы и просмотрите результаты для тех, у которых есть сиды. Как показано ниже:
Насколько велик хэш информации в метаинформации?
info_hash — это 20-байтовый хэш sha1 закодированной формы значения информации из файла метаинформации.
В настоящее время каждому создаваемому торренту присваивается магнитная ссылка, содержащая 40-значное значение SHA-хэша. Следовательно, этот хэш должен быть уникальным, чтобы идентифицировать торрент и отправлять нужные байты (пакеты) нужным людям. Следовательно, существует $16^$ (1461501637330902918203684832716283019655932542976) возможных хэшей для уникальной идентификации торрента. Что произойдет после того, как это число будет достигнуто или два торрента с разным контентом будут иметь одинаковый хэш? (Хотя этого практически никогда не происходит, существует вероятность того, что $\frac<16^>$, где $x$ — это количество общедоступных торрентов, т. е. присвоенных хэшей, которые конфликтуют с вашими хэшами.)
Итак, короче говоря: что произойдет, если два хэша магнитных ссылок будут одинаковыми для разного контента? Что происходит после использования каждой магнитной ссылки?
3 ответа 3
$16^$ — это огромное число. Например, если вы считаете, что каждый торрент состоит из одного байта (так что это совершенно неинтересные торренты), и вы упаковываете их все на жесткие диски по 10 ТБ (чтобы торрент существовал, он должен существовать хотя бы на одном жестком диске). на планете), и если каждый такой диск весит около 100г, то общий вес дисков примерно в 24 миллиарда раз превышает массу всей Земли.
Поэтому я совершенно уверен, что это число не будет достигнуто.
Риски столкновений на самом деле выше. Если вы накапливаете 160-битные хеш-значения (результаты SHA-1), то в среднем первые коллизии должны появляться примерно после значений $2^$ (это известно как парадокс дня рождения). Так что описанная вами ситуация может возникнуть гораздо раньше, чем после исчерпания пространства $16^$. Но $2^$ по-прежнему огромен, и его практически невозможно достичь ($2^$ торрентов означает более ста тысяч миллиардов торрентов на человека на Земле). р>
Если произойдет коллизия хэшей, потоковая передача любого из двух коллизирующихся файлов, скорее всего, перестанет работать; загрузчики получат смесь обоих файлов. Другие торренты останутся совершенно незатронутыми.
Интересный вопрос: можете ли вы, имея существующий торрент $T$, создать вручную другой $T'$ с таким же хэшем — он будет использоваться в качестве оружия для предотвращения использования $T$. Для этого вам нужно было бы сломать сопротивление второго прообраза хеш-функции. У SHA-1 есть несколько известных слабых мест, но на данный момент нет известного метода получения второго прообраза, кроме удачи (пробуйте случайные значения, пока не совпадет). Удача (также известная как «грубая сила») обходится в среднем в $2^$, что совершенно недоступно современным технологиям (а также технологиям завтрашнего и следующего десятилетия).
Читайте также: