Открытая база раздач RuTracker.ORG [обновление за 15.01.2016]

можно с Infotor-1 взять номер темы и по нему быстро выводить комменты в браузер, используя прогу "Просмотривалка" в полной базе, тогда вид страниц будет как на трекере, но тогда обе базы нужны в наличии

Обновления в формате CSV, MDB, SQLite от 31.12.2022 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google
Для тех, кто пользуется Infotor или Infotor-2:
В связи с оптимизацией приложений и разделением файла content.db3 на два файла: content.db3 и files.db3, необходимо скачать и обновить вашу версию программы до версии 2.
Файл БД files.db3 опциональный - если вам не нужна информация о включенных в раздачи файлах, то этот файл можно не скачивать.
Также, Infotor-2 доработан в плане Ctrl + F а также возможности работать с другими базами. (См. Описание.rtf)
С Новым Годом!
Для Akar

Обновления в формате CSV, MDB, SQLite от 28.01.2023 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google

Обновленный индекс Elasticsearch от 28.01.2023, подробнее в посте. Спасибо spidergun и y3401 за базу в csv формате.
https://mega.nz/folder/jQcXVYyB#FxeYgmk6sXPrPVX1yyAXlw
https://www.mediafire.com/folder/sr9bc06onrhx4/

Спасибо, добрый человек

Butodien
Большое спасибо! Очень удобно и крайне актуально.

spidergun
Butodien
y3401
Спасибо!

Обновления в формате CSV, MDB, SQLite от 25.02.2023 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google
Новое:
Поменялась структура каталогов на указанных ресурсах. В каждом каталоге есть описание содержимого.
В Infotor 1 и 2 добавлена возможность искать по имени-фамилии актера/режиссера/дублера/исполнителя/.. в категориях "Кино, видео и ТВ" и "Сериалы". Для этого надо обновить версии программ и дополнительно скачать базу "actors.db3".
Также, появилась программа для обновления Ваших баз без скачивания огромных файлов. В каталоге "Обновления(Infotor 1 и 2)" помещен файл с изменениями за месяц, который значительно меньше. Программа "Updater"
позволит загрузить эти изменения. (Если Вы воспользуетесь этой программой, то базу актеров можно не скачивать, она создастся автоматически из обновления).
Обновление базы формата MDB можно также осуществить. Для этого есть вариант "sql2mdb". (поиска по актерам в этой базе нет)

y3401
Всё это прекрасно и за труды спасибо!
Но опыт явно подсказывает, что у народа нет времени копаться-разбираться, что к чему, ему надобно, как в моей раздаче: скачал, завел приложенную "просмотривалку", забил запрос, нажал на кнопку и сразу получил результат!
Ещё бы и от торрентов не чокнуться, на пенсии-то времени много, а не на пенсии это дело искушает и отрывает от работы, хочется именно собирать вкусняшки такая дребедень ещё и сволочь-Америка грозит делами своими обделать, пардонте, обгадить, а нам как раз им самим это нужно ещё раньше успеть!

Очередные обновления в формате CSV, MDB, SQLite от 29.04.2023 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google

А возможно-ли как нибудь добыть базу не только с названием, но и с самим описанием раздачи?

это она и есть, есть даже база не только с комментами под описанием, но и с отзывами в темах-обсуждениях (не раздачи) https://rutr.life/forum/viewtopic.php?t=6221624

Очередные обновления в формате CSV, MDB, SQLite от 27.08.2023 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google

Обновите пожалуйста

Очередные обновления в формате CSV, MDB, SQLite от 30.12.2023 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google
! Новое: С Новым годом!

Очередные обновления в формате CSV, MDB, SQLite от 02.03.2024 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google

Как в каком-то юмарном но прошлом кино шутки С каихто файлообменников качать программы для просмотра базы Почему нельзя было выбрать и прилепить одну программу чтоб тупо было проще Зачем 100вариантов но тех где надо танчить с бубном Даже архив этих программ в эту раздачу не добавили Не ну это не нормально просто усложнили задачу и все на ровном месте

кто-нибудь пробывал прикрутить к bitmagnet?

https://bitmagnet.io ? Там ничего нет, поиск ничего не ищет

Очередные обновления в формате CSV, MDB, SQLite от 29.06.2024 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google

Друзья,
1. Для самых маленьких/ленивых :
В условиях нестабильной окружающей обстановки я решил каждый месяц делать бэкапы нужных сайтов.
Не все знакомы с необходимыми технологиями, поэтому для вашего удобства решил облегчить доступ к информации и поделиться наработками.
На текущий момент для вас создано:
Мои ресурсы в сети TOR:
Поиск раздач и хэшей по ежемесячному бэкапу базы rutr.life:
http://jundnd4xlfxd72xotv6gka5pnhsc2quztafbklvo4koizvnsq3pblayd.onion
==
Бэкап версия сайта ru*tor.info:
http://lx7x6ucdwztktuv5y6a56kx6knhcra4pbfcch3ggos7mvqwaqqzo4tqd.onion
==
Бэкап версия сайта dugtor.ru:
http://qa72hq6ntxifx3wqtedyymoaxjpmmxponhdrsjiaqevxqudjth7lneqd.onion
==
Бэкап версия русской и английской Википедии в сети TOR:
http://ibdtyly4nkgonmkumfn6d32v6y76c7p4p76iv5zo2pkpbv5oxqggogad.onion
==
Бот rutracker_hash_bot - отправляете ему ссылку, в ответ получаете .csv-файл с хэшами для скачивания (из бэкапа базы).
https://t.me/rutracker_hash_bot
Мои tg-каналы:
Мониторинг обновлений всех раздач оригинального онлайн-сайта rutr.life каждую минуту:
https://t.me/rutracker_updater
==
Мониторинг обновлений всех раздач оригинального онлайн-сайта ru*tor.info каждую минуту (убери звездочку):
https://t.me/ru*tor_updater
2. Для тех, кто постарше:
Качаем архив от пользователя y3401, разархивируем его, большинству пригодится только 7z-файл в папке Hashtor/Полные БД(Infotor 1 и 2).
Надо выбирать файл с последней датой на текущий момент, допустим:
Hashtor/Полные БД(Infotor 1 и 2)/torrents_sqlite3_20240629.7z
Разархивируем этот файл torrents_sqlite3_20240629.7z, из этого архива получается файл torrents.db3.
В общем в итоге имеем файл torrents.db3, остальное можно удалить.
2.1 Работа с файлом torrents.db3 для Linux-пользователей в терминале:
Для Linux-пользователей уже можно делать SQL-запросы в терминале в этот файл с помощью утилиты sqlite3.
Допустим найдем в файле все строки где поле title содержит значение 'Над пропастью во ржи' и отсортируем выдачу по дате регистрации торрента, убыванию:
sqlite3 torrents.db3 "SELECT * FROM torrent WHERE title LIKE '%Над пропастью во ржи%' ORDER BY date_reg DESC;"
Ответ терминала, первая строка:
6041451|3F3A0474489C51612286D39B47B3DFC1D6E31D50|Филологическая книга СГУ - Петренко Д. И. - Роман Дж.Д. Сэлинджера «Над пропастью во ржи» и его переводы на русский язык: монография [2016, PDF, RUS]|2083055|2021.04.16 10:55:00|2524
2.2 Работа с файлом torrents.db3 для Windows и Linux-пользователей в программе Dbeaver:
Скачиваем и устанавливаем бесплатную программу для просмотра любой SQL-базы Dbeaver, бесплатная версия это Community https://dbeaver.io/download/.
В ней открываем наш файл torrents.db3 и уже можем его просматривать:
Символ вилки слева наверху -> New Database Connection -> Тип выбираем sqlite -> Путь - путь к файлу torrents.db3 -> finish
Видим что база открыта, слева раскрываем базу, раскрываем tables, два раза кликаем на torrent, посередке открылись окна Properties, Data, ER Diagram. Кликаем на Data.
Видим что нам открылась база с первыми 200 значениями и всеми полями.
Если убрать ограничение в 200 значений то программа может зависнуть ведь в базе более 2 миллионов записей.
Поэтому для поиска по базе просто откроем окно SQL запросов: Наверху опция SQL Editor -> Open SQL Script.
И тут уже можем искать по этой базе тем же SQL-запросом, допустим:
SELECT * FROM torrent WHERE title LIKE '%Над пропастью во ржи%' ORDER BY date_reg DESC;
И в появившемся окне результатов уже можно убрать ограничение в 200 значений.
3. Для самых взрослых:
Те, кто продвинут в современных технологиях могут сделать то же что и я:
rutracker:
Файл torrents.db3 с помощью настольного Dbeaver экспортировать в файл импорта SQL.
На своем PostgreSQL-сервере создать базу и таблицу для этого файла, поля как в самом файле, импортировать этот файл в свою базу, для ускорения выборки можно создать индекс столбику title.
Теперь у вас есть PostgreSQL-база с раздачами Rutracker, можно делать SQL-выборку в терминале.
Для удобства можно пойти дальше и сделать веб-интерфейс на Flask + psycopg + JQuery Ajax и завернуть его в docker-контейнер.
Теперь у вас есть простой веб-сайт с поиском по бэкапу rutracker.
ZIM-бэкап rutracker делать не стал - скачивался более 7 суток..
ru*tor, dugtor:
Касаемо бэкапов ru*tor, dugtor - я их сделал с помощью утилиты zimit которая сканирует любой сайт и сохраняет его в единственных ZIM-файл.
Чтобы поднять веб-сайт на основе этого файла поднимаете в Docker kiwix-контейнер.
Теперь у вас есть личная веб-копия любого сайта.
Продолжительность:
Бэкап ru*tor делался 1 день 5 часов 20 минут, итоговый размер ZIM-файла 7 GB
Бэкап dugtor делался 15 часов 15 минут, итоговый размер ZIM-файла 35 GB
wikipedia:
Касаемо бэкапа Wikipedia - Wikipedia сама предлагает уже готовые ZIM-файлы https://wiki.kiwix.org/wiki/Content_in_all_languages - я скачал полные версии (с меткой all maxi) российской и англоязычной вики.
Также поднимаем kiwix-контейнер или просто в программе Kiwix и у вас есть личная копия вики с доступом через браузер.
Один kiwix-контейнер/приложение может обслуживать сразу несколько ZIM-файлов.
Выложил бы полную инструкцию но кода получилось на 600 строк минимум, основные моменты изложил в этом комментарии.

Честь и хвала! Респект и уважуха!

А можно вопросик - с какими ключами запускали zimit? Я тут пытаюсь один сайт уже неделю стянуть, он стартует, доходит где-то до 700-800 МБ выкачанного, и дальше крашится и вылетает ( Моя строчка вот так выглядит:
docker run -v C:\Users\user\Downloads\output:/output --shm-size=1gb ghcr.io/openzim/zimit zimit --url ht*tps://xxxxxxxx.xxx/ --name xxxxxxx --waitUntil load --timeout 0 --diskUtilization 0

Очередные обновления в формате CSV, MDB, SQLite от 03.08.2024 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google

# Находясь допустим в папке /home/user/Desktop/ клонируем репозиторий:
git clone https://github.com/openzim/zimit.git
# Прыгаем в склонированную папку:
cd zimit
# Билдим image на основе которого мы поднимем контейнер который будет скачивать (точка в конце команды ниже - не опечатка):
docker build -t ghcr.io/openzim/zimit .
# Перед непосредственным скачиванием смотрим на место на диске либо следим в процессе скачивания за оставшимся местом потому что
# его может не хватить. Допустим сайт будет весить 35 ГБ, тогда Zimit сначала скачает исходники сайта с этим размером а затем
# рядом создаст из них уже готовый ZIM-файл тоже на 35 ГБ, то есть скушает он в пике 70 ГБ в этом примере, и затем по идее должен удалить исходники, и останется только ZIM-файл на 35 ГБ конкретно в этом примере.
# Сама команда запуска:
docker run -v /home/user/Desktop/sites_backup:/output --shm-size=1gb ghcr.io/openzim/zimit zimit --url https://ваш_сайт --name название_итогового_файла --workers 6 --waitUntil domcontentloaded
# Пояснения к опциями:
# -v /home/user/Desktop/sites_backup:/output - тут /home/user/Desktop/sites_backup это директория куда скачивать на вашем компьютере (можете указать любой путь куда вам скачать) а :/output это директория внутри контейнера - ее в команде не меняем,
# контейнер выполнит работы и готовые файлы окажутся в выбранной вами директории на компьютере.
# --shm-size=1gb - выдаем контейнеру 1GB RAM для своих нужд.
# --url https://ваш_сайт - сайт который скачиваем
# --name название_итогового_файла - как назовем zim-файл который получится (можно как угодно назвать, допустим mysite).
# --workers 6 - количество воркеров.
# --waitUntil domcontentloaded - дождаться чтобы все элементы оригинального HTML-файлы были спарсированы и вставлены в DOM.
# По идее после скачивания Zimit должен сконструировать ZIM-файл а кишки из которых он его собирал он должен удалить, если этого не произошло то можно удалить вручную,
# оставив только ZIM-файл.
Попробуйте с этими опциями, если с ними не получится то слабыми местами могут быть нехватка места на диске - тогда увеличить, либо можно увеличить --shm-size, либо то и другое, в целом надо логи Zimit смотреть на что жалуется.
Ну вот с этими опциями все выкачалось без единой ошибки.

Вот тут точно я обламывался, даже на --workers 2 где-то через час вываливается с ошибкой, причём точно не из-за места на диске. Возможно память (у меня 8 ГБ всего). По логам совершенно непонятно, пишет просто, мол, crawler словил эксцепшн и завершил работу. Поставил --workers 1, четвёртый день тяну, 11 ГБ уже )

Ну посмотрим как отработает, я вообще делал на ноуте, ОС Debian, 8 ГБ RAM, 300 ГБ HDD, 4 ядра

Очередные обновления в формате CSV, MDB, SQLite от 03.11.2024 (из https://rutr.life/forum/viewtopic.php?t=5591249) -> Вот тут
И продублировано -> Google

как собираешь инфу о новых раздачах, через RSS + парсинг конкретных страниц?

Конвертацией из XML в эти форматы из базы, предоставляемой Spidergun. Он предоставляет обновления, я только перевожу в другие удобные форматы. Ссылка на источник указана в скобках в цитируемом сообщении.