IPFS

Всем доброго времени суток. В этой статье я расскажу вкратце про своё знакомство с сетью IPFS. Думаю, очень многим она понравится.
1. Что это такое?
Если очень кратко - IPFS напоминает работу BitTorrent с раздачей по magnet-ссылкам, без трекеров - связность по DHT. Только прозрачно и глобально. Каждый файл адресуется по хешу. Хеши произвольным образом собираются в каталоги, при этом именуются как угодно. Полученные каталоги также адресуются по хешу, их можно собрать в любое другое дерево каталогов и т.д. Поскольку хеши конечных файлов остаются теми же самыми, то неважно, кто, когда, под каким именем и в каком каталоге распространил файл - он может найтись где угодно. И в кешах присутствует в одной копии. Строго говоря, не исключено пересечение хешей, но оно крайне крайне маловероятно. BitTorrent тоже с хешами работает, ничего, пока не сломался. Возможно, пилит кто-нибудь из разработчиков на досуге какой-нибудь механизм проверки, не знаю. Пока принято считать, что хеш уникально адресует контент.
2. Как получить файл из сети?
Двумя способами - по HTTP и из смонтированного каталога. Первый более удобен для HTML, второй - для всего остального.
2.1. По HTTP. Используется любой публичный гейт. В дальнейшем, когда прочувствуете, войдёте во вкус и установите софт - локальный.
Классическая схема Гейт/ipfs/Хеш. Локальный по умолчанию работает на порту 8080, поэтому схема будет 127.0.0.1:8080/ipfs/Хеш. Вложенные каталоги и файлы будут адресоваться уже под понятными именами через "/" после хеша. Сейчас идёт переход на другие хеши, отображаемые в нижнем регистре (некоторые браузеры переводят старый формат хешей в нижний регистр и схема ломается). А также на трансляцию URL в форму поддомена Хеш.ipfs.Гейт (изолирует разные странички для безопасности). Так что пусть Вас не озадачивает, если гейт сменил адрес на что-то совершенно другое. Например, гейт dweb.link, который сейчас считается рекомендуемым для безопасного открытия HTML-страниц (кстати, в расширении для браузеров IPFS-Компаньон перенаправление на этот гейт включено по умолчанию, если установлена опция "use subdomains", обычно тоже по умолчанию). Например, если обратиться по адресу
https://dweb.link/ipfs/QmZfSNpHVzTNi9gezLcgq64Wbj1xhwi9wk4AxYyxMZgtCG
то гейт перенаправит на
https://bafybeifiics2kkmodj273475svs6hhll6s7nfz4zhk3sgcrvodfxui7uce.ipfs.dweb.link/
Это версия (по крайней мере текущая) заглавной странички ipfs.io для сети IPFS. В браузере Firefox верхняя ссылка сломается и никуда мы не попадём (возможно, решается через настройки, не проверял). Браузер Chromium ссылки не занижает и перенаправление работает.
Список активных гейтов можно глянуть по адресу https://ipfs.github.io/public-gateway-checker/
2.2 Через файловую систему. После установки софта можно будет примонтировать всё это пространство в каталог командой "ipfs mount". По умолчанию /ipfs в корне ФС. Также и /ipns, об этом будет ниже. Удобно оставить так, получается единая короткая адресация как по HTTP, так и в ФС: /ipfs/Хеш. При желании изменяется в конфиге. Если будет ругаться при монтировании - попробуйте разблокировать там же рядом FuseAllowOther. Для чего-нибудь часто адресуемого можно сделать понятные ссылки и переходить по ним. При открытии такого каталога ipfs подтягивает его из сети, разворачивает адресуемый контент в дерево вложенных каталогов и файлов. Не забудьте занизить владельца каталогов - IPFS работает с правами пользователя. Запускать от рута незачем. В Windows будет несколько другая схема, это нужно уточнять.
3. Как установить?
Наиболее быстрый способ для знакомства - поставить ipfs-desktop https://github.com/ipfs/ipfs-desktop/releases Но я не рекомендую. Бинарик ipfs упрятан где-то в глубине, приходится искать чтобы выполнить то, чего нет в GUI. Тяжеловесный и медленный. Видимо, авторы хотели снизить "порог вхождения" в тему. Чтобы сразу поставить и пользоваться. Но - не то.
Лучше скачать и установить бинарник https://github.com/ipfs/go-ipfs/releases благо он в виде одного файла, никакой "россыпи". WebUI в нем тот же самый (https://github.com/ipfs/ipfs-webui).
Либо вытянуть git go-ipfs и собрать самому. Golang только поставить надо. Собирается без шаманства и вообще без каких-либо дополнительных движений, "make build" - после сборки бинарник будет в /cmd/ipfs. Переместить куда угодно, я его в /usr/bin прямо.
Как под Windows? Примерно так же, exe-установщики по ссылкам выше тоже есть, но не пользовался, поэтому точно описать процесс не могу. А может даже описанная выше Linux-версия заработает во встроенном Линуксе (WSL). Прав рута для работы не требует.
Первый запуск - команда "ipfs init". В домашнем каталоге будет создан "./ipfs" со всей структурой и файлом "config". Его можно сразу подправить на предмет разблокировки Filestore (об этом ниже) или подрезания дозволенного кеша (по умолчанию как-то слишком - 10 Гб).
Затем собственно "ipfs daemon &". Доложит подробности о запуске (или незапуске), и можно начинать изучать либо через консоль, либо открыть WebUI по адресу 127.0.0.1:5001/webui и наслаждаться красивостями
Также можно поставить расширение для браузера https://github.com/ipfs/ipfs-companion/releases
4. Как раздавать файлы?
Есть 3 способа. Последний экспериментальный, но самый удобный.
4.1. Скопировать каталог в кеш. Выполняется командой "ipfs add -r [-w] путь". Опция -r для каталогов ("recursion"), а так как раздавать по сути имеет смысл только каталоги (чтобы у файлов были имена), эта оцпия понадобится всегда. Опция -w ("wrap") нужна, если важно сохранить корневой каталог вместе с его именем. В этом случае будет создан дополнительный каталог-"обтекатель" уровнем выше. Файлы копируются в кеш и закрепляются (термин "pin") для защиты от удаления сборщиком мусора. После добавления Вы увидите список хешей всех уровней, самый нижний и есть хеш корневого объекта. Его уже можно публиковать. Это местный аналог magnet-ссылки.
Минус способа в том, что файлы дублируются. Конечно, можно удалить оригиналы и адресовать файлы из кеша. Но сама мысль о том, что файлы хранятся всего лишь в кеше не очень вдохновляет.
4.2. Встроенная файловая система MFS. Для работы с ней есть группа команд "ipfs files", но тут проще через GUI. И ipfs-desktop, и WebUI из стандартного комплекта в меню "Файлы" адресуют именно эту файловую систему. После добавления файлов там также видны хеши, которые можно публиковать. "Закреплять" файлы излишне, они и так видны в сети и недоступны для сборщика мусора. Файлы, естественно, так же дублируются и нужно что-то делать с оригиналами.
4.3. Адресация из "родной" файловой системы. Наиболее удобный способ. Выполняется так же как первый, но с добавлением опции "--nocopy". При этом в кеше будет создана такая же закреплённая структура каталогов со всеми хешами, но сами файлы будут читаться с диска. Опция пока экспериментальная, необходимо разблокировать в конфиге "FilestoreEnabled".
Просмотреть все действующие ссылки на файлы можно командой "ipfs filestore ls". Разумеется, после добавления файлы изменять нельзя. А вот переименовывать и перемещать - можно, если поддерживать исходную структуру ссылками в файловой системе. Проверить, не сломалось ли что-то, можно командой "ipfs filestore verify".
5. Динамический контент.
IPFS по своей организации предназначена для статичных данных. Что делать, если содержимое часто меняется? Для этого есть IPNS. Это пространство хешей, адресующих не контент непосредственно, а узлы. Пока ID Вашего узла и пара ключей неизменны, у Вас будет свой хеш IPNS. Хеш сам по себе не значит ничего, к нему нужно привязать IPFS-хеш каталога. Делается просто: "ipfs name publish Хеш". Команда немного повисит и вернёт в консоли Ваш IPNS. Адресуется он так же как IPFS, только "/ipns/". По хешу узла будет найден IPFS-хеш привязанного каталога и открыт. При каждом изменении контента нужно выполнять "add" заново, а следом и "name publish" с новым хешем. Минусы - нельзя надолго пропадать из сети, привязка нигде кроме как в DHT не хранится.
6. Ссылки.
В первую очередь, конечно же - https://ipfs.io
Там всё. Подробная документация, описание команд, Web API, ссылки на загрузки. Но - на английском.
На русском - есть несколько неплохих статей на Хабре, https://habr.com
В остальном - поиск
7. От себя.
Мне нравится этот проект. И самой идеей, и серьёзной организацией. Всепланетный архив. Очень хочется надеяться, что его не будут засорять и компрометировать чем попало.

Отсюда: https://docs.ipfs.io/concepts/privacy-and-encryption/ Современный интернет таков, что если публикуемый вами контент не встречает возражений у третьих сторон, то его гораздо проще, удобней и дешевле размещать в обычном, "ванильном" вебе. А если это не так, то хоть какая-то приватность участников уже обязательное условие. Протокол не только напоминает bittorrent но и прямо идет по его граблям.
Кроме того, адреса
https://bafybeifiics2kkmodj273475svs6hhll6s7nfz4zhk3sgcrvodfxui7uce.ipfs.dweb.link/
Ну очень просто блокируются по SNI. Это уже обычное дело.

Согласен, при желании нас всех можно найти и оштрафовать. Ни BitTorrent ни IPFS не анонимны. Я и не утверждал, что сеть анонимная. В общем случае (если не создавать приватный кластер) это тот же самый BitTorrent по DHT, только без дробления пространства на отдельные раздачи. Все раздачи в одном пространстве хешей. Можно создавать абсолютно любые комбинации конечных файлов без их дублирования. Шлюзы нужны только для знакомства, после установки софта все адреса работают локально, дальше весь обмен по хешам. Этот адрес будет иметь вид bafybeifiics2kkmodj273475svs6hhll6s7nfz4zhk3sgcrvodfxui7uce.ipfs.localhost:8080/
* Вдогонку. Насчёт "проще, удобнее и дешевле" тоже спорно. Вот тут, например, используется в оформлении какой-то смайл с сайта колобка. Как и на тысячах других сайтов. Гораздо проще и удобнее иметь этот смайл в одной копии в сети и ссылаться на его хеш со всех сайтов. Файл в кеше будет один вместо кучи. При адресации по URL так не делают, потому что это забитие канала раздающего сервера. При переходе на IPFS этому уже ничто не мешает.
В плане распространения чего-то "тяжёлого" тоже выгоднее распределённость, это существенная разгрузка канала сервера.

А в чём смысл этой IPFS?
Ну битторент, так же магнет ищется в DHT который в свою очередь централизован, на каком-то айпи крутится. Блочишь айпи=не работает IPFS.
Кто у нас там сервер держит, Cloudflare? По айпи блокают и делов то.
В общем не понял смысла очередной поделки локалхоста. Переубедите.
Ну и ещё как её в качестве прокси в torrent-client установить? Ну чтобы трафик через шлюзы публичные шёл и не было видно айпи) это пожалуй её единственное применение) потому что гонять торренты через тор не желательно

Можно ли использовать IPFS в качестве личного децентрализованного файлохранилища? То есть допустим у меня есть файлы; я не уверен что их вот так сразу начнут качать другие пиры, но мне нужно выложить их куда-то в IPFS - ну скажем в качестве резервного хранилища. Возможно ли это? Иными словами, есть ли там просто узлы которые берут всё?
Если да, то ли лимиты на объем закачки на такие узлы?
Как происходит поиск в IPFS? Есть ли какие-то тематические каталоги? Аналоги трекеров, где можно по тематическому дереву, описаниям, тегам найти "раздачи"?

DHT как раз-таки штука децентрализованная, каждый хост создаёт связность с другими и строит маршруты. Это не прокси, это файлообменная сеть с привязкой к хешу вместо имени. Один и тот же файл может быть выложен под разными именами, но для сети это один и тот же файл. В том и прикол, в отвязке от имён, только содержимое имеет значение. Похоже на битторрент, только проще и прозрачнее. Такое в природе есть, но применяется для коммерческих целей. Если лично себе и относительно бесплатно, то нужно несколько узлов IPFS создать и синхронизировать. Дисковым пространством непонятно для чего вряд ли кто-то будет делиться) Другое дело если что-то нужное выкладываете и анонсируете. Тогда данные будут зависать в кэшах скачавших и оттуда раздаваться (как и в битторрент). Если человек пин сделал для Вашей раздачи у себя - данные не сотрутся. Если просто скачал, глянул и забыл - то будут храниться и раздаваться временно. Вот этого не знаю, возможно, кто-то и создаёт. Увижу подобное - отпишусь. Только термин "трекер" тут не подходит, там чисто на DHT вся связность.