|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
31-Авг-24 04:36
(9 месяцев назад)
Торрент обновлён (2024-08-31)
Цитата:
Кстати, а есть способ их найти, не обращаясь к сторонним ресурсам?
Добавил в базу тег <old/>, предназначенный как раз для этого.
|
|
|
|
1dNDN
Стаж: 6 лет 3 месяца Сообщений: 642
|
1dNDN ·
13-Сен-24 00:24
(спустя 12 дней, ред. 13-Сен-24 00:24)
Спасибо
Запилил утилиту на C#, которая перегоняет базу в sqlite за обозримое время:
Код:
Импорт: 02:55 минут
Всего записей 2515986
Вставка в базу данных: 02:25 минут
Сохранение базы данных на диск: 01:30 минут
https://github.com/1dNDN/RutrackerDumpParser
Ахтунг! Минимальные системные требования: 128 гб ОЗУ
|
|
|
|
CBSRealityГниющегоЗапада
Стаж: 3 года Сообщений: 22
|
CBSRealityГниющегоЗапада ·
13-Сен-24 15:15
(спустя 14 часов, ред. 13-Сен-24 15:15)
1dNDN писал(а):
86694691Спасибо
Запилил утилиту на C#, которая перегоняет базу в sqlite за обозримое время:
Код:
Импорт: 02:55 минут
Всего записей 2515986
Вставка в базу данных: 02:25 минут
Сохранение базы данных на диск: 01:30 минут
https://github.com/1dNDN/RutrackerDumpParser
Ахтунг! Минимальные системные требования: 128 гб ОЗУ
Хорошо, как клоунство вполне себе ничего 
|
|
|
|
1dNDN
Стаж: 6 лет 3 месяца Сообщений: 642
|
1dNDN ·
13-Сен-24 15:43
(спустя 27 мин., ред. 13-Сен-24 15:43)
Это серьезно. Память отдана в жертву скорости работы.
Утилита в первую очередь делалась для себя, а у меня столько есть
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
28-Сен-24 23:50
(спустя 15 дней)
Торрент обновлён (2024-09-28)
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
03-Ноя-24 07:33
(спустя 1 месяц 4 дня)
Торрент обновлён (2024-11-03)
|
|
|
|
DimKo_MSK
Стаж: 14 лет 6 месяцев Сообщений: 36
|
DimKo_MSK ·
05-Ноя-24 09:39
(спустя 2 дня 2 часа, ред. 05-Ноя-24 09:39)
spidergun писал(а):
86932022Торрент обновлён (2024-11-03)
Спасибо, а в формате MS Access пока не выложили 
P.S. теперь и в формате mdb появилось. Огромное спасибо! 
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
30-Ноя-24 17:06
(спустя 25 дней)
Торрент обновлён (2024-11-30)
|
|
|
|
forfr
Стаж: 13 лет 10 месяцев Сообщений: 8
|
forfr ·
20-Дек-24 01:14
(спустя 19 дней, ред. 20-Дек-24 01:14)
spidergun писал(а):
86932022Торрент обновлён (2024-11-03)
Есть у кого-нибудь magnet-ссылка этой версии?
Как раз в конце ноября пропал раздел Игры для Java (был в Игры для мобильных устройств), так что в раздачу от 2024-11-30 не попал, а хочется.
Нашлись старые хэши, в самой этой раздаче.
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
28-Дек-24 20:33
(спустя 8 дней)
Торрент обновлён (2024-12-28)
|
|
|
|
Another-one
Стаж: 16 лет 1 месяц Сообщений: 1328
|
Another-one ·
02-Янв-25 19:20
(спустя 4 дня, ред. 02-Янв-25 19:20)
spidergun
Шикарная штука, спасибо! Есть вопросец - а описания раздач обновляются при изменении? На примере этой раздачи
https://rutr.life/forum/viewtopic.php?t=4985088
на форуме она называется
[DL] Death Skid Marks [P] [ENG / ENG] (2014, Arcade) (1.10 + DLC) [Portable]
а в файле
[DL] Death Skid Marks [L] [ENG / ENG] (2014, Arcade) (1.10 + DLC) [Steam-Rip]
Отбой, разобрались.
|
|
|
|
stei
Стаж: 16 лет 7 месяцев Сообщений: 10
|
stei ·
08-Янв-25 00:04
(спустя 5 дней, ред. 08-Янв-25 00:04)
Скачал файл, разобрался со структурой, нашел как получить торрент файл. Но рутрекер не позволяет таким образом загрузить больше 1000 торрентов в сутки. Как скачать все сразу, без ограничений?
|
|
|
|
Another-one
Стаж: 16 лет 1 месяц Сообщений: 1328
|
Another-one ·
08-Янв-25 12:05
(спустя 12 часов)
stei писал(а):
87226515Как скачать все сразу, без ограничений?
А зачем Вам больше 1000?
|
|
|
|
Papant
Стаж: 17 лет 9 месяцев Сообщений: 57380
|
Papant ·
08-Янв-25 14:31
(спустя 2 часа 26 мин.)
stei
У членов групп другие ограничения, попробуйте сейчас. Включил вас в группу Старожилы.
|
|
|
|
KorDen32
Стаж: 15 лет 10 месяцев Сообщений: 2888
|
KorDen32 ·
08-Янв-25 15:02
(спустя 30 мин., ред. 08-Янв-25 15:02)
stei
В базе есть хэши, можно часть торрент-файлов скачать через DHT, а остальное уже дотянуть с трекера. Или вступить в группу Хранителей, если ваши задачи, среди прочего совпадают с "хранить и регулярно сидировать определенный объем раздач трекера"
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
26-Янв-25 07:27
(спустя 17 дней)
Торрент обновлён (2025-01-26)
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
23-Фев-25 21:17
(спустя 28 дней)
Торрент обновлён (2025-02-23)
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
29-Мар-25 14:07
(спустя 1 месяц 5 дней)
Торрент обновлён (2025-03-29)
|
|
|
|
liricca
Стаж: 14 лет 11 месяцев Сообщений: 219
|
liricca ·
22-Апр-25 17:28
(спустя 24 дня, ред. 22-Апр-25 17:28)
Всё сделал по инструкции, закинул xml в UPDATE. На главном экране программы и Пуск и Обновление перебрасывает на пустой экран, что я делаю не так?
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
26-Апр-25 17:57
(спустя 4 дня)
Торрент обновлён (2025-04-26)
|
|
|
|
MRWITEK
Стаж: 15 лет 5 месяцев Сообщений: 14
|
MRWITEK ·
21-Май-25 02:06
(спустя 24 дня)
Время в дампе, похоже, пишется в часовом поясе Europe/Moscow, но с учётом прошлого летнего времени, в отличие от самого рутрекера. Например, у меня в профиле выставлено московское время https://rutr.life/forum/viewtopic.php?t=2142 пишет "Зарегистрирован: 08-Апр-05 05:51", а в дампе записано "2005.04.08 06:51:00".
Может перейдёте на ISO 8601 / RFC 3339?
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
31-Май-25 20:28
(спустя 10 дней)
Торрент обновлён (2025-05-31)
Цитата:
Может перейдёте на ISO 8601 / RFC 3339?
Я использовал тот же формат, что и в давно мёртвой официальной базе, чтобы уже понаписанные народом скрипты нормально работали. Вплоть до опечаток, вроде "regis tred_at=" вместо "regist ered_at=". Но я могу добавить новое поле, плюс к старому. В этом обновлении уже поздно что-то менять, а в следующем я добавлю unix timestamp (секунды с 1970-01-01T00:00:00Z).
|
|
|
|
chin11
Стаж: 15 лет 4 месяца Сообщений: 9
|
chin11 ·
02-Июн-25 18:58
(спустя 1 день 22 часа, ред. 02-Июн-25 18:58)
Раз уж намечаются изменения в формате, хочу тоже свои пожелания высказать. Довольно неудобно, что основной элемент назван torrent и внутри него присутствует другой элемент с тем же именем torrent со свойством hash, это доставило ненужных сложностей при написании парсера-конвертора. Можно ли как-то это изменить? Например, вместо `<torrent hash=xyz/>` сделать `<hash>xyz</hash>`.
И еще хочу спросить, возможно ли дополнительно генерировать этот файл в формате yaml? Например:
Код:
torrents:
- id: {ID топика}
registered: {timestamp регистрации}
size: {Размер раздачи в байтах}
title: {Название раздачи}
hash: {Инфохеш}
tracker_id: {Номер трекера}
forum: {Название форума с категориями}
forum_id: {ID форума}
deleted: true/false
content: {Оформление раздачи} (multiline, конечно)
files:
{Имя каталога}:
{Имя файла}: {Размер в байтах}
{Имя каталога}:
{Имя файла}: {Размер в байтах}
old:
hash: {Инфохеш старой версии}
time: {Дата старой версии}
title: {Заголовок старой версии}
dups:
- p: {Уверенность в процентах}
id: {ID топика возможного дубля}
title: {Заголовок возможного дубля}
Текущий формат для удобства сверки:
Код:
<torrent id="{ID топика}" registred_at="{Дата регистрации в формате Y.[*]m.d H:i:s}" size="{Размер раздачи в байтах}">
<title>{Название раздачи}</title>
<torrent hash="{Инфохеш}" tracker_id="{Номер трекера}"/>
<forum id="{ID форума}">{Название форума с категориями}</forum>
<del/>
<content>{Оформление раздачи}</content>
<dir name="{Имя каталога}">
<file size="{Размер в байтах}" name="{Имя файла}/>
</dir>
<old hash="{Инфохеш старой версии}" time="{Дата старой версии}">{Заголовок старой версии}</old>
<dup p="{Уверенность в процентах}" id="{ID топика возможного дубля}">{Заголовок возможного дубля}</dup>
</torrent>
|
|
|
|
spidergun
Стаж: 7 лет Сообщений: 109
|
spidergun ·
03-Июн-25 10:43
(спустя 15 часов)
Цитата:
Раз уж намечаются изменения в формате, хочу тоже свои пожелания высказать. Довольно неудобно, что основной элемент назван torrent и внутри него присутствует другой элемент с тем же именем torrent со свойством hash, это доставило ненужных сложностей при написании парсера-конвертора. Можно ли как-то это изменить? Например, вместо `<torrent hash=xyz/>` сделать `<hash>xyz</hash>`.
Да, это неудобно, но как я уже написал ранее, я стараюсь сохранять совместимость со старой базой. Я мог бы добавить тег hash плюс к тегу torrent, как планирую добавить атрибут unix плюс к атрибуту registred_at, но если я это сделаю, лишний тег torrent останется, и по-прежнему будет вам мешать.
Цитата:
И еще хочу спросить, возможно ли дополнительно генерировать этот файл в формате yaml? Например:
Возможно, но не обещаю. Это вдвое больше на файлообменник заливать... Возможно, стоит сделать его многофайловым, и в каждый следующий файл включать только то, что изменилось относительно предыдущего? Я подумаю, но это определённо не в следующем обновлении будет.
|
|
|
|
juzver143
Стаж: 16 лет Сообщений: 99
|
juzver143 ·
07-Июн-25 16:38
(спустя 4 дня)
spidergun писал(а):
86648720Добавил в базу тег <old/>
А он где-то не трекере хранится или Вы из своих бэкапов его формируете?
|
|
|
|
chin11
Стаж: 15 лет 4 месяца Сообщений: 9
|
chin11 ·
07-Июн-25 16:42
(спустя 3 мин.)
spidergun писал(а):
87854091Да, это неудобно, но как я уже написал ранее, я стараюсь сохранять совместимость со старой базой. Я мог бы добавить тег hash плюс к тегу torrent, как планирую добавить атрибут unix плюс к атрибуту registred_at, но если я это сделаю, лишний тег torrent останется, и по-прежнему будет вам мешать.
Моему парсеру будет легче, если <hash> и <tracker_id> будут отдельно, легко сможет игнорировать вложенные элементы <torrent>, но это скорее всего заметно увеличит размер файла, поэтому не стоит беспокоиться, спасибо.
А по поводу yaml - я сначала попробую сам сконвертировать xml в yaml и посмотреть, насколько хорошо получившийся yaml сжимается.
|
|
|
|
juzver143
Стаж: 16 лет Сообщений: 99
|
juzver143 ·
08-Июн-25 00:07
(спустя 7 часов)
chin11 писал(а):
87852000
Код:
files:
{Имя каталога}:
{Имя файла}: {Размер в байтах}
{Имя каталога}:
{Имя файла}: {Размер в байтах}
А родительский каталог для второго каталога в этом YAML отступами определяется что ли? ИМХО ненадежно как-то это.
|
|
|
|
