|
|
|
ulatina
Стаж: 16 лет 9 месяцев Сообщений: 2757
|
ulatina ·
14-Янв-12 00:08
(12 лет 10 месяцев назад)
по скорости ничего не сообщу, но блю-реи качать, наверно, не очень комфортно 
|
|
|
|
B@ZILI0
Стаж: 15 лет 10 месяцев Сообщений: 1124
|
B@ZILI0 ·
14-Янв-12 12:52
(спустя 12 часов)
Vesdaris
похоже снизили
ulatina
да долго
я 5 учеток подключил и качало примерно на скорости 300-330 но уже полтора дня все стоит . может учетки забанили ? или сервер перегружен и они бесплатные учетки ограничили
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
14-Янв-12 17:31
(спустя 4 часа, ред. 16-Июн-12 13:07)
Ликбез по Usenet
скрытый текст
НачалоНовостные группы(Newsgroup) также известные как Юзнет(Usenet) являются особой частью интернета,которые предшествуют собственно "всемирной паутине"(WWW,World Wide Web).Однажды,давным-давно, когда интернет был еще молодым и зеленым, существовали специальные группы по интересам,которые обменивались информацией и поддерживали связь друг с другом посредством системы а ля эл. доски обьявления (bulletin board). Эта система в противовес старым BBS(bulletin board) была создана таким образом,что имела следующее преимущество перед интернетом: каждый из новостных серверов,находящихся в разных локациях,хранил все сообщения новостных групп, в которых были заинтересованы пользователи.
Время от времени сервера соединяись друг с другом чтобы обменяться теми сообщениями,которые отсутствовали на них.Таким образом сообщение ,посланное любым пользователем,со временем появлялось на всех серверах,которые хостили данные новостные группы.
Долго ли,коротко ли, головастым пользователям пришла в голову гениальная идея - а ведь эта система идеально подошла бы для расшаривания файлов!Однако, новостные группы не были в принципе созданы для передачи бинарных(двоичных) файлов - только текстовые файлы могли быть задействованы.Для того,чтобы новостной сервер мог работать с бинарными файлами нужно преодолеть ограничения системы. Учитывая то,что обойти правило "только текстовые файлы" не представлялось возможным, вместо того,чтобы попытаться победить эту проблему капитально,люди,которые намеревались создать новую файлообменную среду, решили работать с ней,следуя правилам игры.Так появилось решение использовать закодированные текстом бинарные файлы.Преодолевая ограничения новостных серверовБинарный файл,зашифрованный в виде текстового сообщения,- это информация,которая закодирована или трасформирована из бинарного формата в текстовый. Именно благодаря этому методу любой файл может быть загружен на новостной сервер. Вы можете подумать- "Вау.круто. давайте-как закодируем образ ISo в текст и загрузим гада на сервер!" Однако,не все так просто. Перед нами стоит еще одно препятствие.
Новостные сервера могут принимать артикль (или новостное сообщения) не больше определенного размера.Обычно лимит достаточно небольшой. Так сложилось,что в основном сервера не принимают артикли,состоящие больше чем из 5000 строк текста. 5 гигабайтный файл ,сконвертированный в текст, состоит из десятка если не сотен миллионов строчек текста. Каким же образом можно загрузить большие файлы на сервер?
Хитрым.
Процесс обработки бинарного файла в такой вид,чтобы его можно было загрузить на сервер не прост.Давайте возьмем в качестве примера 700 мб файл ISO,что равно примерно 15 миллионам строчек текста.
Наша задача - загрузить этот файл в новостную группу.К примеру alt.binaries.test ( все группы с бинарным содержанием находятся в иерархии "binaries". alt.binaries.erotica, alt.binaries.hdtv etc)
В чем секрет фокуса?
Перво-наперво мы разделим 700 мб файл на на множество небольших файликов. Для этого по традиции( как и по ряду чисто прагматических причин) используется RAR. Опять же по традиции,прочно связанной с правилам релизных групп (scene) мы бьем на куски по 15 Мб каждый.
Примечание:
При создание архивов мы не используем собственно архивирование. Процесс сжатия должен быть отключен,те. режим сжатия должен быть "store")
Стоит отметить,что помимо RAR иногда,но в целом редко, используются такие программы, как HJ-Split.
Обратим внимание на приведенную ниже картинку,которая наглядно иллюстрирует то,что мы будем делать:
Мы разбиваем 700мб файл на куски по 15мб.Один из последних имеет размер 10 мб.
Обычно распиленный таким образом файл имеет формат bablabla.part1.rar, bablabla.part2.rar etc либо blablabla.r01,...r02.. r03 etc( в зависимости от настроек архивирования)
Программы типа HJ-Split создают файлы наподобие blabla.iso.001, blabla.iso.002, etc
На данный момент у нас 47 15 мб файлов и один 10 мб. И они все еще слишком большие,чтобы пролезть на сервер. Как сервер может обработать 15мб файл равный 300000 линиям текста?Картинка
показывает каким образом нам необходимо разделить файл снова( это уже выполняемая автоматом задача программы с помощью которой вы загружаете файлы в юзнет). Каждый из архивных файлов разделяется на текстовые сообщения.(процесс кодирования на этапе которого сервер может принять себе эти сообщения)
15 мб файл.который загружается на сервер, на самом деле состоит из 70 текстовых сообщений суммарным обьемом 5000 линий.
На картинке мы видим. как каждый архивный файл конвертируется в текстовое сообщение . Мы выбрали лимит в 5000 сообщений(наиболее популярны 3000 и 5000. Количество линий текста обязательно должны задаваться в настройках программы,которая загружает файлы в юзнет). Большинство клиентов новостных скомбинируют эти 70 текстовых сообщений в одно для удобства пользователя.
Причины по которым мы пилим файлы на множество небольших разные. Мы уже знаем.что сервера не пропустят артикли размером больше определенного размера. Почему бы нам тогда не опустить часть работы с архивированием\разбитием файла на куски RAR-ом и сразу не сконвертировать 700мб файл в текст?Ну, в общем, мы могли бы. Правда,нас за это бы не поблагодарили,выражаясь политкорректно. С архивами намного легче работать. Во-первых, легко скачать только нужную часть.Во-вторых.т.к. протокол юзнета не гарантирует защищу от ошибок,то нам нужно иметь какой-то способ починить \восстановить недостающую информацию. Для этого используется PAR2 файлы. А лучше всего создание и применение файлов починки работает в связке с большим кол-вом небольших файлов.В-третьих, разбивка на архивы стало давней традицией.
Кроме того, RAR предполагает возможность использования внутренних механизмов для проверки на ошибки
Однако, в отличие от ситуации "курица-яйцо-яйцо-курица" в нашем случае именно устройство юзнета подсказало наиболее лучший,надежный и практичный вариант.
Выглядит все это слегка громоздко и запутанно на первый взгляд, но благодаря изобретению формата nzb, и появления многочисленных индексирующих содержание юзнета сайтов, а также "умных" клиентов по закачке из и загрузке в юзнет информации, весь процесс проходит фактически невидимо для конечного пользователя. Новостные Сервера Новостной сервер-это сервер,который хранит все текстовые сообщения для тех новостных групп,на которые он подписан. Он " общается" с другими серверами для передачи и обмена сообщениями - процесс известный как propagation (размножение\распространение).
Причина по которой новостные группы предоставляют быстрый и надежный источник информации состоит в том,что большинство серверов поддерживаются на коммерческой основе операторами.Компании, в ведение которых находятся сервера, такие как giganews, astraweb,supernews,bocknews etc имеют огромные серверные "фермы" с гигантским количеством серверов.предоставляющих запредельные обьемы для хранения информации и пропускные способности.
В отличие от p2p, битторрента, проблемы с пропускной способностью у крупных операторов фактически не существуют
Примечание:
В зависимости от вашего местоположения, от маршрутов по которым идет траффик от вашего провайдера до конечных серверов,вы можете закачивать информацию на скорости 50+ МБАЙТ.Однако,скорость скачивания старых файлов может быть ниже по ряду техн. причин
Безусловно за все нужно платить.Цена за надежность. пропускную способность, гигантские обьемы информации,доступные для пользования, полностью окупает себя.
Примечание:
В настоящее время стоимость в месяц от 10-11долларов США
Некоторые интернет провайдеры предоставляют бесплатный доступ к бинарным ньюс-группам,но это урезанный доступ как по скорости, так и по количеству информации.Retention(срок хранения)Хранение всех сообщений на серверах, которые содержат файлы(закодированные в тысячи линий текста каждый) занимает огромное количество места.Это подводит нас к термину.который вам надлежит уяснить хорошенько,т к он весьма важный- retention\ретеншен\срок хранения.
Ретеншен - это количество времени,в течение которого соощение будет находится на сервере прежде , чем будет удалено.
В стародавние времена ретеншен не был большим,где-то несколько недель,максимум месяц.Вдобавок к этому, ретеншен разных ньюс-групп отличался.Популярные группы, в которую очень много заливали информации, имели меньше ретеншен,чем менее "населенные".Но с развитием тех. прогресса, увеличением возможностей жестких дисков и пропускной способности серверов,каналов етс эта политика изменилась.
Если провайдер заявляет.что ретеншен 50 дней или 1000 дней,то он касается, как правило, всех групп,которые находятся на серверах.
Примечание:
Крупнейшие провайдеры юзнета имеют ретеншен более 1300(тысячи) дней.Это 3 с лишним года. 3 года с момента заливки сообщения на сервер оно хранится на сервере. На данный момент ретеншен растет каждый день
Количество соединение.которые можно использовать с сервером, - еще один важный момент.
Провайдеры предоставляют до 20-30 соединений обычно. В редких случаях до 50. Но тут правило-чем больше.тем лучше не всегда действует.
Важно найти то количество соединений,при котором вы будете качать на максимуме тарифа будь-то 10мбит. 100мбит или 500 мбит. Но не больше. Установка бОльшего количества соединений.чем нужно может наоборот повлиять негативно на общую скорость скачивания.
Не стоит также покупаться на обещания провайдеров предоставить 50 соединений.или 60. Крупные игроки имеют достаточно пропускной способности.чтобы выжать максимум из наименьшего возможного количества соединений.Некоторые провайдеры второго эшелона количеством соединений пытаются,часто безуспешно. компенсировать небольшую пропускную способность.Так, используя премиум провайдера и 10 соединений вы получите .скажем, 50+мбит, а чтобы получить их же на более мелком провайдере, вам может понадобится все 30.Completion (Целостность) Другой термин,который необходимо знать.
Его можно перевести как "целостность"(информации на сервере).
Выбирая новостной сервер вам захочется узнать какой у него уровень целостности.Уровень целостности в процентном отношение базируется на том, сколько сообщений имеет файл вообще к тому,сколько сообщений имеется на сервере. Говоря проще,это отношение того.сколько файлов на сервере на самом деле полностью залиты туда и доступны для загрузки.Сейчас везде пишут о 99% целостности провайдеры,что,конечно,является преувеличением.Недостающие сообщения восстанавливаются клиентами по загрузке из юзнета при помощи присутствующих в раздаче PAr2 файлов.(если хватает блоков для починки)SSLПрактически все провайдеры крупные предоставляют уже включенный доступ через SSL к их серверам.Если есть доступ к 443 порту,то это часто помогает преодолеть шейпинг вашим провайдером nntp(ньюсгруппы) трафикаDMCA Закон об авторском праве в цифровую эпоху.
Для того,чтобы не пасть жертвой копирайт мафии многие провайдеры( в зависимости от места регистрации компании и нахождения серверных ферм) вынуждены подчиняться ДМСА.
Иными словами, если мафия находит в юзнете фильм "чебурашка против карлсона",то бандиты могут заполнить соответствующую форму с обязательным указанием всех артиклей и провайдер их уберет.
На сегодняшний день те провайдеры.которые охотно подчиняются ДМСА( Giganews\Supernews \Highwinds+реселлеры) в основном убирают часть сериалов от HBO, консольные игры некоторые етс. Но не все так плохо.Во-первых, как сложилась практика. убиваются из каждого файла только один-два артикля. Таким образом при наличие par2 файлов на 10% все чинится.Однако консольным играм открыто залитым ( с названием полным)повезло меньше(см. ниже)
Во-вторых. есть провайдеры.,взаимоотношение которых с ДМСА не особо хорошие =) (Astraweb, и Bblocknews).
апдейт 16.06.2012. на астравэбе стали удалять спортивные программы UFC.так что рекомендуется скачивать,как можно скорее.
В-третьих, мы можем использовать так называемые блок-аккаунты другого провайдера. (см. ниже) Анализ наиболее популярных провайдеров 2011 года Рассмотрим несколько подробнее ситуацию на 14 января 2012 года с наиболее популярными провайдерами,а также способ использования блок-аккаунтов.
Пожалуй,стоит начать с того,что на данный момент крайней рекомендуется иметь комбинированный доступ к юзнету.
Что это значит?
Основной аккаунт безлимитный + второй аккаунт другого провайдера в виде блок аккаунта,на котором ХХХ Гбайт пожизненно,пока не истратите их, для заполнения отсутствующих частей на первом ,основном сервере(главное не забыть поставить именно backup сервером, иначе спустите свои 100гб за пару дней)
Самые популярные комбо на данный момент:
a) Supernews + Blocknews
b) Astraweb(тыц тыц2 ) + Blocknews
Выбирая комбо нужно учитывать слабые места каждого провайдеров(на текущий момент)
Примечание: Giganews -выброс денег на ветер.Если хочется брать GN, то стоит подключатся к Supernews (их дочка).Вам не нужны тормозной клиент для ньюсгрупп от гиганьюз, к тому же привязанный к их аккаунту, их VPN (см. ниже) , 30Гб личного пространства на их серверах и 50 соединений. Поэтому ниже мы речь поведем исключительно о Supernews
Что касается их т н VPN сервиса(на giganews , diamond account),то был прецедент, когда пользователю убили аккаунт за использование VPN при скачивание торрентов с соотв. материалом(после жалоб). Если вам нужен нормальный VPN сервис,то рекомендуется смотреть в другую сторону, например, в Швецию.
(Supernews \ Реселлеры Giganews )
- DMCA частичное HBO сериалов(снимают по 1-2 блока с каждого файла, часто даже без резерва починить можно,если PAR2 10%) и полное удаление многих открыто залитых( с полным названием) игр консольных.
- Аплоадить через GN с использованием полных названий чревато.При поступление жалоб правообладателей могут временно заблокировать аплоад(пока в личном кабинете не щелкните на соглашение новое).При повторном нарушение -бан.
Однако, в целом это очень быстрый,надежный в остальном провайдер. Оперативный саппорт.
Astraweb
- Пару раз в год имеет какие-то технические проблемы, что выражается в дырках в файлах в период,когда их штормило (иногда они затягиваются). Степень дырявости зависит от крутости "шторма".
- Аплоадить можно со спокойно совестью и сколько душе угодно + DMCA практически отсутствует (видимо, сказывается то,что офис в Сингапуре в отличие от американской Giganews )
апдейт 16.06.2012. на астравэбе стали удалять спортивные программы UFC.так что рекомендуется скачивать,как можно скорее.
- По выходным проводят "обслуживание" серверов и восстанавливают отсутствующие артикли(по их заявлениям) что выражается в местами сильном падении скорости
Саппорт отличается некоторой медлительностью, скорости как правило хорошие, правда, иногда приходится поиграться с IP адресами серверов. Настройка серверов в клиенте (комбо вариант)
На примере Sabnzbd и провайдере Astraweb
Цитата:
Server 1: Astraweb EU
-enabled
Server 2: XSusenet (free server)
-enabled
-connections=2
-retention=500
-backup server или optional*
Server 3: Astraweb US
-enabled
-backup server или optional*
Server 4: Blocknews (100 gb block account $9)
-enabled
-backup server
* SABnzbd не позволят установить нам приоритет использования серверов.Таким образом,если мы имеет xsusenet+ AW US и blocknews в роли backup серверов,то иногда клиент будет качать артикли с blocknews сервера. Учитывая,что первый- бесплатный,второй безлимитный, а за третий мы заплатили и у нас там ХХХ кол-во Гб,то мне представляется,что желательнее xsusenet и AW US сервер поставить как optional, а не backup.Но в целом,это лучше смотреть на практике.
Чем качать?
1) Бесплатный кроссплатформенный, многофункциональный клиент для работы с NZB файлами - SABnzbd
2) http://altbinz.net/ nzb качальщик с множеством настроек
3) Платный(единовременная оплата с бесплатными пожизненными апдейтами) полноценный новостной клиент(newsreader) для работы с заголовками(headers) и NZB - Newsbin
Для большинства пользователей как несколько устаревшая работа с заголовками,так и прилагаемые к этому соответствующие фичи клиента ,будут излишеством. Чем RARить\PAR2ить файлы\папки для аплоада в юзнет
-winrar\quickpar
-autorarpar
http://www.binaries4all.com/autorarpar/
-использовать JbinUp(templates+rar\par2 exe) Чем заливать?
http://jbinup.com/en/
- заливать в максимум возможных соединений
- желательно после заливки использовать встроенную проверку(header check) вручную(ПКМ на задание в списке после окончания заливки) ,автоматическую отключить в настройках сервера Чем искать?
http://www.mysterbin.com/advsearch?q= ( поиск внутри архивов!!) \в последнее время много стал выдавать false positive в отношение якобы запароленных файлов. рекомендуется проверять на остальных поисковиках.
http://www.nzbindex.com/
http://binsearch.info/ (можно искать внутри nfo файла в advanced разделе)
http://www.nzbclub.com/ Бесплатные новостные сервера
1) http://www.xsusenet.com/en/#1
Что обещают? Аккаунт со скоростью 1 Мбит , 2 соединения, хранением файлов ~500 дней, 25Гбайт на аккаунт в месяц
Просто регистриуемся и получаем логин и пароль. Использовать можно в любом клиете.
Теоретически можно зарегистрировать несколько аккаунтов и одновременно использовать.
2) http://just4today.net/ Скорость повыше, 2 соединения, качать можно в пределах 10 дней, логин и пароль меняются каждый день При создание основной теоретической части использовался материл с сайта slyck.com
Довел до ума статейку по Юзнет,которую давно планировал выложить
Надеюсь, она снизит количество вопросов по соотв. теме.
Разделы по чем качать\заливать\искать в виде лишь наброска. Времени нет на подробные обьяснения дальнейшие пока =)
Это не замена прилепленному сообщению, а отдельное дополнение, затрагивающее ряд других вопросов.
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
20-Янв-12 04:25
(спустя 5 дней)
я правильно понял что 25гигабайтного аккаунта на астравебе достаточно для анлимит аплоада, причем даже можно это делать с пары ip одновременно?
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
20-Янв-12 09:32
(спустя 5 часов, ред. 20-Янв-12 14:50)
kukushka
Цитата:
достаточно для анлимит аплоада
когда я тестировал 5 гбатный аккаунт от гиганьюз, то при аплоаде в разделе даунлоад траффик не набегал вообще. Так что,да. Входящий учитывается только при скачке артиклей. (заголовки бесплатно)
Цитата:
причем даже можно это делать с пары ip одновременно?
Не знаю. Блокньюс точно можно. Но это не очень хороший выбор для аплоада.
Я послал в саппорт им вопрос.как ответят,напишу.
PS
Цитата:
We limit access to 1 IP address per account at any one time for Unlimited use accounts. This is to discourage account sharing.
If you would like to connect from more than 1 IP address at the same time, we recommend you purchase our Pay by Download plans.
из ФАКа
Выходит,что да. Только я думаю,что 50 соединений это лимит общий,для всех.
PPS Вот и ответили
Цитата:
For pay by download plan, you can sign in simultaneously. Thank you.
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
20-Янв-12 16:52
(спустя 7 часов)
Vesdaris писал(а):
Цитата:
For pay by download plan, you can sign in simultaneously. Thank you.
спасибо
|
|
|
|
SurferNet
Стаж: 18 лет 11 месяцев Сообщений: 23
|
SurferNet ·
21-Янв-12 15:05
(спустя 22 часа)
Vesdaris
Благодарю за ответ, во сколько примерно обойдётся комплект из 2х аккаунтов?
Жалко, что с фри аплоад тоже режут.
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
21-Янв-12 16:23
(спустя 1 час 18 мин., ред. 21-Янв-12 16:23)
Vesdaris писал(а):
Кстати, похоже Phpar2 быстрее ощутимо проверяет и чинит по сравнению со стандартными
par2
par2-classic
которые sabnzbd использует.
Заменил оба этих файла,переименовав,и пока складывается впечатление,что значительно быстрее. Но и использует процессорных ресурсов больше(все ядра жрет=)
Кто-нибудь пробовал сравнить на каком-нибудь битом релизе?
http://paulhoule.com/phpar2/index.php
www.altbinz.net/forum/general-talk/par2-creation-multipar-vs-par2vs-par2tbb!
(c воскл знаком)
да, похоже самый быстрый на момент. хотя на распаковке мне все равно, там у меня p3-1000 стоит где качается и пришлось где-то галку в сабе снимать, а то встроенный пар пытался второе ядро использовать и падал в корчах
..создание с 10% резервом на объемах блюра жрет немерянно времени у меня, быстрее залить два раза... вообще я так понимаю целесообразность par2 снизилась с учетом блок аккаунтов, самоликвидации дыр и тп.. вообще было бы интересно почитать качественный труд на тему оптимальных настроек всего - количества строк, размера архива, соотношения размера архива и количества томов, уместности reсovery record внутри архива, уместности разбивания больших архивов на части или создания par2 для части архива (с учетом производительности систем), распределения размеров par2 и тд. для выживаемости релизов с учетом реальных вариантов повреждения...
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
21-Янв-12 17:43
(спустя 1 час 19 мин.)
ну, я диссертаций не писал насчет того,что оптимальнее в конкретных определенных случаях,так что свою любительскую имхо выскажу
kukushka писал(а):
вообще я так понимаю целесообразность par2 снизилась с учетом блок аккаунтов
Это не гарантия.Всегда может что-то навернуться. по разным причинам
Цитата:
создание с 10% резервом на объемах блюра жрет немерянно времени у меня
Ну..Думаю на дешевом относительно своей производительности и7 2600 быстро будет) Во всяком случае как посмотрю сколько некоторые заливают ежедневно обьемы такие,то
Кстати,полагаю 10% излишне на больших объемах с множеством файлов релизов. Мне кажется,достаточно сделать пар2 для восстановления 4 полных файлов.
Цитата:
самоликвидации дыр
Что это?
3000\5000 только в основном.
В клиенте аплоадера ставить такие же.
Цитата:
уместности reсovery record внутри архива
может помочь при CRC ошибках(1-3% я беру)
почему бы не использовать , как на сцене(или около того?)
Мне их степени разбитие релизов от двдрипо до бд25 блюреев кажется вполне нормальным.И ка правило бОЛьшая часть в таком формате и выкладывается
Цитата:
распределения размеров par2
ну, делать одинакового размера явно не стоит, только variable
Цитата:
интересно почитать качественный труд
где бы его достать) чтобы тестов было много с различными вариантами етс.
Честно говоря,если ты планируешь делать пар2 на такой древней машине, то я не знаю,что тут посоветовать.
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
21-Янв-12 18:55
(спустя 1 час 12 мин., ред. 21-Янв-12 18:55)
Vesdaris писал(а):
Честно говоря,если ты планируешь делать пар2 на такой древней машине, то я не знаю,что тут посоветовать.
не, делаю на amd x2 на 3.5ггц, правда пока не выбирал на каком харде делать из коллекции.. на п3 1000 совет-то очевидный - застрелиться ))
Vesdaris писал(а):
3000\5000 только в основном.
В клиенте аплоадера ставить такие же.
10тыщ хоть кто-то из известных провайдеров не пропускает? просто ымхо эмпирическое - если косяки происходят с каким-то %% сообщений, то чем меньше сообщений - тем лучше. сейчас протестил 10000 - на астру отправилось все нормал, на nzbindex nzb отобразился, на just4today & xsusenet все дошло без проблем
Vesdaris писал(а):
почему бы не использовать , как на сцене(или около того?)
да вообще непонятно зачем разбивать, всякие отговорки про левые клиенты и распределение места при скачивании - ну, отговорки.. для первого пара или .rev - или той же сцены - понятно зачем.
..у меня просто барахло лежит по гигабайту которое бэкапилось на погибший мегааплоад, вот я пока и не понял, зачем мне пережимать
Vesdaris писал(а):
Цитата:
самоликвидации дыр
Что это?
ну астра-то обещала между серваками попереливать накрывшиеся части
Vesdaris писал(а):
уместности reсovery record внутри архива
может помочь при CRC ошибках(1-3% я беру)
ну это может помочь думаю только когда par2 нет. когда он есть, то восстановление силами par2 будет сразу.. и если par2 не поможет, я что-то не вижу сценария, чтобы можно было файло восстановить. ну то есть допустим каждый сотый байт в каждом сообщении побился, тогда еще может - но это вряд ли реалистичный сценарий. напоминает два презерватива.
http://www.quickpar.org.uk/PostingGuide.htm квикпаровцы вот не рекомендуют recovery record, хотя может чушь несут, кто их знает
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
21-Янв-12 19:53
(спустя 58 мин., ред. 21-Янв-12 19:53)
kukushka писал(а):
10тыщ хоть кто-то из известных провайдеров не пропускает?
Я приверженец классики, похоже=)
Если 10к все ОК,то делай тогда.
Цитата:
на астру отправилось все нормал
только не забудь активировать
header check
Если заштормит еще,то выйдет релиз как сыр, а так- пролезет=)
Я не люблю java , но пока с этой фичей других аплоадеров нет.
старенькие powerpost ,его обновления, easy usenet uploader, еще кто-то делать такое не умеют.
В общем,для любого провайдера крайне полезная штука(немного более на астравэбе- у них на моей памяти были несколкьо раз как раз проблемы с аплоадом и проверка спасала релиз). Какие временные интервалы ставить проверок - естественно как лучше тебе.
Цитата:
ну астра-то обещала между серваками попереливать накрывшиеся части
ну,обещать все горазды=) Они частично починили свой в районе 200 дней( +- 90) провал,но пока там все равно прилично очень проблем.Без блока в этом промежутке делать нечего=) В этом как раз мне нравится юзнет в отличие от мегааплоадов - залил в одно место, а отзеркалилось у всех провайдеров. Если что не так на одном- блок с другого.
Цитата:
ну это может помочь думаю только когда par2 нет. когда он есть, то восстановление силами par2 будет сразу
У меня было несколько раз,когда CRC ошибки были и ПАР 2 не чинил их Они как бы воспринимались,как часть нормального релиза. Может, где-то сбой произошел еще перед создания пар2 файлов,скорей всего,после создания архивов.
Кто знает.. тогда удалось убрать их силами recovery record
Но,если не рекомендую,то ладно.
Цитата:
да вообще непонятно зачем разбивать
Туплю.Где,что разбивать?
Цитата:
вот я пока и не понял, зачем мне пережимать
т е у тебя уже есть разбитое на архивы?Так полработы сделано получается
Если,конечно.там не малое кол-во архивов на 600мб каждый=)
Цитата:
которое бэкапилось на погибший мегааплоад,
Я в юзнет сливаю иногда, в какую-нибудь группу alt.binaries(есть такая=)) общую..Под паролем простеньким для меня ,конечно. Мне не нужно,чтобы туда мистербины заглядывали или еще кто лол
Пытался выяснить,как создать свою собственную группу, и даже что-то там химичил,но что-то не очень понял и бросил дело. Тем более потом все равно еще надо просить других провайдеров включить в свои списки)если не хочешь ,чтобы она была только на одном изначальном сервере
Если вдруг захочешь это сделать и получится,отпиши=)
|
|
|
|
vzasos
Стаж: 13 лет 10 месяцев Сообщений: 449
|
vzasos ·
21-Янв-12 20:01
(спустя 7 мин.)
Vesdaris
А ты не пробовал Usenet Explorer (клиент)? Интересно, насколько он оправдывает свою стоимость.
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
21-Янв-12 20:18
(спустя 16 мин.)
Vesdaris писал(а):
только не забудь активировать
header check
ага, стоит естественно.
Vesdaris писал(а):
Цитата:
да вообще непонятно зачем разбивать
Туплю.Где,что разбивать?
архивы на тома. значение имеет же лишь целостность блоков, с ними par2 и работает..
Vesdaris писал(а):
У меня было несколько раз,когда CRC ошибки были и ПАР 2 не чинил их Они как бы воспринимались,как часть нормального релиза. Может, где-то сбой произошел еще перед создания пар2 файлов,скорей всего,после создания архивов.
да, думаю что криворукий аплоадер. опять же, читал что один из par2 оптимизированных под 64 бита (в камментах в предыдущих ссылках) делает косячные par2. а, еще интересно - если отсутствуют сообщения, саб будет изначально создавать файлы, частью которых должны были быть эти посты с нулями/мусором на их месте или укороченными? просто если первый случай, recovery должна работать, если второй - нет. опять же, если первый случай, вполне можно сделать сразу архив одним кусков, recovery 3% и все, без всяких par2
Vesdaris писал(а):
т е у тебя уже есть разбитое на архивы?Так полработы сделано получается
Если,конечно.там не малое кол-во архивов на 600мб каждый=)
не, какие там полработы. создание паров занимает на порядок больше времени чем архива
...а смысла нет свою группу делать. по поводу сливать - ну есть же .boneless, специально предназначенная для помоечки
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
21-Янв-12 20:38
(спустя 19 мин., ред. 21-Янв-12 20:45)
vzasos
У меня он есть. Мне понравился.Правда,интерфейс стремный=) олд-скул.
Ты,кстати,можешь сам посмотреть.Там триал есть+поиск через их сервер работает, и его ,вроде,даже можно продлять, почистив папку, по-моему.
Но если тебе работа с заголовками не нужна(на что он и нацелен),то толку с него поменьше,чем от саба.
kukushka писал(а):
архивы на тома. значение имеет же лишь целостность блоков, с ними par2 и работает..
так,если у тебя немного архивов здоровых и бОльшее кол-во архивов не очень больших,то восстановительная способность посредством пар2 ,имхо,выше у первых,разве нет?
возьми,700мб двдрип.
1) 7 томов, 10% пар2= 0 целых блоков для восстановления.один полетит и все, куку
2)35 томов,10% пар2 -3 целых куска можно восстановить.(хотя ,если полетит размер общий с прмиера выше,то тоже куку, в принципе)
Если в общем смотреть,то,конечно,одинаковое кол-во блоков.но на мой взгляд да и в плане декодирования\проверки\сохранения на диск одновременно размеры 15-50-100-150-200 лучше выглядят.
Тут надо узнать еще,что оптимальнее для юзнета,т к мне кажется,что здоровые тома больший риск несут порчи
но могу ошибаться
Вот тут на сайте квикпара пишут
Цитата:
If you don't use QuickPar's built in file splitting function, then it is recommended that you set the split size to be an exact multiple of the PAR2 block size (which should of course be equal to the UseNet article size you are using). This has the advantage that every article posted contains a whole block of data, reducing the total number of articles that have to be posted (and therefore also reducing the chances of lost articles causing too much damage).
т о если у тебя один гигантский архив,т е один "сплит файл",то он скорей всего не будет multiple от , к примеру, 384000( это при 3000 строчек) или твой случай с 10к.
Или я не так понял?
Цитата:
если отсутствуют сообщения, саб будет изначально создавать файлы, частью которых должны были быть эти посты с нулями/мусором на их месте или укороченными?
не знаю.
рекавери тогда делал вручную.через сам винрар.,т.к клиент не хотел распаковывать из-за СРС
kukushka писал(а):
а смысла нет свою группу делать. по поводу сливать - ну есть же .boneless, специально предназначенная для помоечки
смысл в том,чтобы создать свое пр-во,где не будет(ну или по минимуму) мусора,куда не будет ежедневно сливаться по паре сотен гигабайт непонятно чего,облегчает поиск к тому же.можно заголовки нормально смотреть за большйо промежуток времени(мало ли понадобится), ну и приятнее,не?=)
Тот же боунлесс - там траффик бешеный.
|
|
|
|
vzasos
Стаж: 13 лет 10 месяцев Сообщений: 449
|
vzasos ·
21-Янв-12 20:39
(спустя 1 мин.)
Vesdaris писал(а):
Ты,кстати,можешь сам посмотреть.
ага, я поставил. интерфейс для меня слишком умный, надо разбираться)
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
21-Янв-12 20:56
(спустя 17 мин., ред. 21-Янв-12 21:07)
Vesdaris писал(а):
1) 7 томов, 10% пар2= 0 целых блоков для восстановления.один полетит и все, куку
2)35 томов,10% пар2 -3 целых куска можно восстановить.(хотя ,если полетит размер общий с прмиера выше,то тоже куку, в принципе)
да похрен на сколько томов разбивается и сколько отсутствующих томов можно восстановить. пропадают не тома, а посты и пар работает ровно со всей пачкой барахла, ему подсунутого и значение имеют выпадания только конкретных блоков/постов. количество томов - это так, для общего развития информация, наследство от rev/par"1"
...естественно, если барахло имеет какое-то логическое разделение, есть некоторый смысл разобрать его на отдельные архивы (архивы, а не тома) - тогда фатальное пропадание одного архива не влечет порчу другого. с другой стороны, если %% порчи блоков более менее равномерен, у паров, охватывающих все барахло при равном %%, отведенном на восстановление, больше шансов восстановить 100% исходников, нежели у нескольких комплектов паров, каждый из которых охватывает свою часть барахла. но создание паров для больших объемов сопряжено опять же с бОльшим временем. собственно поэтому для больших объемов нужный %% par меньше - если на маленьких релизов разовый вылет десятка блоков фатален, на больших - это будет чхи. опять же, блок аккаунты.. так что если залил нечто и оно в непобитом виде расползлось - считай, будет жить до 22.12 спокойно. а если грохнется одновременно на серваках по всему миру, то скорее всего, в тот момент это уже будет не очень актуально )
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
21-Янв-12 21:05
(спустя 8 мин., ред. 21-Янв-12 21:05)
kukushka
Цитата:
пропадают не тома, а посты
ну это-то понятно=)
меня больше интересует в техническом плане процесс аплоада туда и какие есть риски с увеличением размера кусков или наоборот практически их отсутствием.
Не знаю как ты,кстати,,но я всегда ругаю почем свет автора,когда качаю разбитый на 500мб файлы релиз. Сказывается на декодирование\сохранение\проверке сильно у меня.
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
22-Янв-12 00:16
(спустя 3 часа, ред. 22-Янв-12 09:33)
Vesdaris писал(а):
kukushka
Цитата:
пропадают не тома, а посты
ну это-то понятно=)
меня больше интересует в техническом плане процесс аплоада туда и какие есть риски с увеличением размера кусков или наоборот практически их отсутствием.
Не знаю как ты,кстати,,но я всегда ругаю почем свет автора,когда качаю разбитый на 500мб файлы релиз. Сказывается на декодирование\сохранение\проверке сильно у меня.
ну я так понял раньше было - залил чел архив, часть не дошла, ему в irc пишут - слышь че, дозалей вон то-то, он и дозаливает. случай потерянной дискетты в общем. актуальность слабая.
..не знаю, сам посуди - ну есть у тебя один большой архив или он же, разбитый на кучу кусочков. работа с ним совершенно одинаковая. ну да, есть там косяки у вин7 с принудительным затиранием нулями места при работе юторрента в ограниченном режиме, если томов десятки тысяч - ну, каталог может подтормаживать, но это все нюансы, работа все равно идет с полным объемом информации.
//за исключением того же recovery record, который относится только к своему тому
Vesdaris писал(а):
смысл в том,чтобы создать свое пр-во,где не будет(ну или по минимуму) мусора,куда не будет ежедневно сливаться по паре сотен гигабайт непонятно чего,облегчает поиск к тому же.можно заголовки нормально смотреть за большйо промежуток времени(мало ли понадобится), ну и приятнее,не?=)
ну юзнет дело вольное и если кому взбредет лить что-то в "твою" группу, остановить его будет непросто ). а фильтровать (когда знаешь, что именно) и так хватает возможностей. конечно, свою песочницу иметь прикольно, но вполне достаточно все же, когда это на уровне нзб или типа того.
....проверил - ну, по крайней мере в сабе отсутствующие части просто скипаются, так что если проблема в отсутствующих блоках, recovery record не спасет ни разу. отписал на форуме саба предложние, посмотрим, куда пошлют
..провел эксперимент по дублированию отсутствующего куска предыдущим в nzb - recovery record сработал сцуко.
..гнида на сабе рогами пока упирается forums.sabnzbd.org/viewtopic.php?f=4&t=9851
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
22-Янв-12 10:13
(спустя 9 часов, ред. 22-Янв-12 10:13)
kukushka писал(а):
forums.sabnzbd.org/viewtopic.php?f=4&t=9851
наблюдаю =)
т е ты хочешь,чтобы саб использовал рр ,если пар2 не смог починить путем этих манипуляций?
ЗЫ может тебе это предложение и на форуме ньюсбина вывесить?
|
|
|
|
kukushka
Стаж: 17 лет 9 месяцев Сообщений: 1853
|
kukushka ·
22-Янв-12 10:32
(спустя 19 мин., ред. 22-Янв-12 10:32)
Vesdaris писал(а):
kukushka писал(а):
forums.sabnzbd.org/viewtopic.php?f=4&t=9851
наблюдаю =)
т е ты хочешь,чтобы саб использовал рр ,если пар2 не смог починить путем этих манипуляций?
ЗЫ может тебе это предложение и на форуме ньюсбина вывесить?
лучше если у тебя есть уже история постов на сабе, поддержи, у тебя ж опит был когда rr помогал ) мне просто как халявщику ньюсбин не близок ))
..я еще и в dev@rarlab.com отписал чтобу они со своей стороны занялись ))
толку конечно вряд ли будет, но кто знает, вода камень точит.
|
|
|
|
stas274
Стаж: 18 лет 3 месяца Сообщений: 363
|
stas274 ·
23-Янв-12 16:10
(спустя 1 день 5 часов, ред. 23-Янв-12 16:21)
Кстати. По поводу одного большого файла. Не знаю, как в jBinUp, а в powerpost или yEncBinPoster нельзя залить файлы больше 2 ГБ. Первый у меня просто-напросто крашится, когда приходит время заливать очередной кусок свыше 2ГБ, а второй уже не помню что делал. Помню только, что в nzb-файле было отрицательное количество кусков. Кажется, вообще такой файл не добавлялся.
Еще дополнительно могу порекомендовать не заливать через eu astraweb. После него у меня бывали или пропуски, или crc error. То есть при аплоаде он сам повреждал кусок и поврежденный распространял по другим серверам. us медленный (для России), но вроде явно меньше вреда наносит. Хотя кто знает, может это просто так совпало, что заливал во время каких-либо внутренних проблем у eu. Больше всего залил через supernews. Ни одной ошибки со стороны сервера. Однако после поста выше по поводу dmca решил перестать и снова поробовать astraweb. Только на этот раз us.
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
23-Янв-12 16:20
(спустя 9 мин., ред. 23-Янв-12 16:20)
stas274 писал(а):
а в powerpost или yEncBinPoster нельзя залить файлы больше 2 ГБ
powerpost вообще динозавр) хотя помню,там патченая даже версия была с 50 соединений или около того(жаль,что единственное усовершенствование) , а yencbin poster стал глюкавый и тормозной,после того,как автор кучу всего туда присобачил.
Потом он сделал easy usenet uploader легкий ,но т к там отсутствовал header check,то я перешел на jbinup.Обжигался прилично без этой фичи.
|
|
|
|
stas274
Стаж: 18 лет 3 месяца Сообщений: 363
|
stas274 ·
23-Янв-12 16:41
(спустя 21 мин., ред. 23-Янв-12 16:41)
Vesdaris, так всё-таки jBinUp нормально заливает файлы больше двух гигабайт? Мне интересно просто, это какое-то ограничение yEnc или просто в этих старых программах какая-нибудь проблема с битностью/разрядностью или ещё чем, что случается переполнение. А так же любой ли клиент потом сможет скачать этот файл больше 2-х гигабайт.
Мне в своё время не понравилось, что он не постит nzb-файлы. Сейчас я, правда, думаю, что и нафиг они нужны. Всё-равно если в процессе аплоада будет какой-либо сбой, то этот nzb может не подходить к реально залитым данным, так как заливается ещё до того, как заливаются все файлы. А ещё мне не понравилось, что он по-другому заполняет поле постера. Он ставит более правильное "ник <email>", а эти "динозавры" "email (ник)". То есть просто не совпадало с уже залитыми файлами, поэтому переходить не хотелось. Плюс java-приложения сам по себе не люблю.
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
23-Янв-12 16:45
(спустя 4 мин.)
stas274
он может делать нзб,но это через add a new batchjob. как дополение к созданию им же раров и паров
А вот просто создание нзб к тому,что сразу добавляешь через обычный add a new job я что-то не нашел.
Кстати, да, я раньше нзб делал, потом забил как раз по этой причине.
Я думаю нормально. Если есть предложение,какие размеры попробовать,то могу залить сегодня в тест
Могу какой-нибудь 720рип целым файлом закинуть,сделаю пар2 5%(на бОльшее терпения не хватит) к нему.
Цитата:
Плюс java-приложения сам по себе не люблю.
ну я тоже. Альтернативы нет.
|
|
|
|
stas274
Стаж: 18 лет 3 месяца Сообщений: 363
|
stas274 ·
23-Янв-12 16:56
(спустя 11 мин., ред. 23-Янв-12 16:56)
Vesdaris, делать может. Я имел в виду заливать сразу же. Те "динозавры" постят нулевым файлом nzb и первым nfo. В итоге удобно, что поисковики объединяют в одну группу nzb и nfo файл, в другую сами данные rar/par2. Я так и не понял, как удобнее скачивать. Выделяя все файлы или один только nzb на том же мистербине. Но иногда бывает всё-таки полезно. Например, на том же binsearch после сбоя сейчас есть посты, которые показываются инкоиплитами, хотя на самом деле таковыми не являются.
По поводу пробы. Это чисто спортивный интерес. Закачивать такие больше файлы я не собираюсь. Но если тоже интересно, то любой файл, который имеет размер больше, чем 2*1024*1024*1024 байт.
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
23-Янв-12 17:31
(спустя 34 мин., ред. 23-Янв-12 17:31)
Выбрал бдрип 720 стандартного двд5 размера и проблемы уже на стадии аплоада. ( 3000 Lines)
Не знаю, как у других,но у меня один файл такого размера медленно аплоадился. Сначала разогнался до стандартной,когда загружаешь "по правилам", 5.5+ МБ скорости , а потом постепенно скатывался все ниже и ниже, пока не достиг 1.5МБ и так и держался немного, а потом упал еще ниже до 1.2МБ..
Так что хотя бы ради скорости аплоада( в моем случае) уже разбивать стоит на "нормальные" куски.
+ джава эта нехило грузит мой старенький c2d 3Ghz процессор при аплоаде здорового куска такого. порядка 50% 0_0
PS вот и уже ниже 1МБ. лол 700-800КБ
....
...
500КБ
О ошибочку какую-то выдало,лить по 500+ КБ продолжает. 
E
Цитата:
rror no. 1. occured in part testteststetetet (1/9) "Maria.Full.Of.Grace.2004.720p.BluRay.x264-CiNEFiLE.mkv" - 4,57 GB - yEnc (1775/12177) ! Details:
JBinUp will wait 10 Seconds.
Error message: NullPointerException in object NNTPTask. Upload timer for connection $N stopped.: null
Все, устаканилось на отметке в 1МБ,продолжаю лить )).
|
|
|
|
stas274
Стаж: 18 лет 3 месяца Сообщений: 363
|
stas274 ·
23-Янв-12 17:49
(спустя 18 мин.)
Ну, судя по всему, уже залито больше трёх гигабайт. Так что явно проблема в "динозаврах".
|
|
|
|
Vesdaris
Стаж: 16 лет 7 месяцев Сообщений: 1122
|
Vesdaris ·
23-Янв-12 18:24
(спустя 34 мин., ред. 23-Янв-12 18:24)
Я сейчас только что "закончил" заливать, идет проверка только заголовков жбинапом.. так вот обычно к этому времени поисковые системы,где обновление идет каждую минуту( usenet explorer к примеру) показывают все доступно уже. Сейчас задал поиск- UE показывает 300 мб всего(только пары 2)
newsleecher 1Гб всего.(там тоже обновление достаточно быстрое)
Скачал заголовки ньюсбином- меньше 300 мб показывает
PS Интересно,откуда мистербин тянет заголовки. явно не астравэб.т к там показывает уже 4 Гб
астравэб показывает мой мкв размером 50 КБ, ПАР2 нормально, и показывает,что все ОК, не инкомплит( при скачке заголовков)
PS Вот, теперь заголовки сформировались и на астре полностью.
проверил нзб чекером:
Цитата:
Files found: 9
Message-ID's required: 12795
Message-ID's found: 12795
Message-ID's missing from the NZB: 0 (0%)
The files were posted 0 day(s) ago.
Parts checked: 12795
Undownloadable parts: 0
All OK!
Но это мало что меняет. считаю,что заливать таким образом -ересь и только напрашиваться на неприятности(это не говоря уже о реальных неприятностях с аплоадом в плане скорости и загрузки процессора)
|
|
|
|
stas274
Стаж: 18 лет 3 месяца Сообщений: 363
|
stas274 ·
23-Янв-12 18:59
(спустя 35 мин.)
Vesdaris, спасибо за тест. Файл успешно скачался. Популярные онлайновые поисковики тоже его успешно проиндексировали.
|
|
|
|
teftel
Стаж: 17 лет 1 месяц Сообщений: 1030
|
teftel ·
25-Янв-12 11:13
(спустя 1 день 16 часов)
Пожалуйста помогите скачать вот это http://www.mysterbin.com/search?q=Absolutely.Fabulous+subs
Весит всего пару мегабайт, но поможете очень сильно.
У меня пишет Article Not Found
|
|
|
|
