|
|
|
Xoro2000
Стаж: 19 лет 4 месяца Сообщений: 21
|
Xoro2000 ·
01-Май-12 15:26
(13 лет 7 месяцев назад, ред. 01-Май-12 15:26)
Он вообще что то парсит? У Озона и MY другие совершенно URLы в сравнении с тем что в примере указаны.
|
|
|
|
Angariya
Стаж: 16 лет 10 месяцев Сообщений: 6
|
Angariya ·
01-Май-12 19:46
(спустя 4 часа)
cyber01 писал(а):
Angariya по вашему такая привязка поможет?) Сомневаюсь)) Умельцы все сломают)
Да умельцы то ладно, пускай ломаю, их не так уж и много, и ломают в основном для себя а не для школоты разной...)
|
|
|
|
terr66
Стаж: 17 лет 1 месяц Сообщений: 29
|
terr66 ·
03-Май-12 18:13
(спустя 1 день 22 часа)
Код:
Парсинг Market.yandex.ru
Fatal error: Unsupported operand types in /home/u8910/parser.ekbt.ru/www/includes.php(2) : eval()'d code(1) : eval()'d code(1) : eval()'d code on line 1147
Очередное д.....мо!
Или дайте рабочую демку
|
|
|
|
lastuser
Стаж: 16 лет 11 месяцев Сообщений: 135
|
lastuser ·
04-Май-12 02:04
(спустя 7 часов)
Ну это один из косяков - яндекс выплюнул страницу 403, парсер попытался её разобрать, случился fail. Об этом я выше писал - там есть 1) проблемы с кукисами 2) проблемы с антикапчей. Выше я выкладывал деобфусцированную версию, глянув на сорсы, там все довольно понятно, что куда. Там только надо пару-тройку мест поправить, после ковыряний в сорцах остались ссылки на /srv/www/...cookies.txt, до имени файла надо все поскипать.
|
|
|
|
JarkoLeto
Стаж: 15 лет 4 месяца Сообщений: 530
|
JarkoLeto ·
06-Май-12 13:52
(спустя 2 дня 11 часов)
Парсер, он и в Африке... Очень стоящий штук. Спасибо.
|
|
|
|
{Old_School}
Стаж: 15 лет 3 месяца Сообщений: 2
|
{Old_School} ·
12-Май-12 10:25
(спустя 5 дней)
lastuser писал(а):
Провел деобфускацию кода, впечатления не самые радужные.
Во-первых, недостает папок captcha, files, images - их надо создавать руками. Без этого картинки никуда валиться не будут, каптча работать не будет.
Во-вторых, яндекс.маркет (возможно, и другие маркеты тоже) не работает с антикапчей из-за ошибки в коде: модуль parser_yamarket.php передает в парсер переменную $config['antikey'], которой просто не существует, зато есть $config['antigate']. Надо либо править переменную в коде, либо создавать в таблице pref еще одну строку antikey. С учетом того, что код обфусцирован, проще сделать второе.
В-третьих, через прокси если и работает, то через одно место: вбил 10 работоспособных проксей, на всех вываливался в fatal error (либо параметры прокси не передаются курлу, либо где-то другой косяк в коде, еще не разбирался - итог такой, что парсер вытается распарсить страницу 403, не находит кол-во страниц и делит на 0).
В-четвертых, время от времени парсер после ввода капчи залипает на первой странице: счетчик страниц растет, но парсится один и тот же список из 10 товаров.
В целом решение, хоть и написанное на коленке, рабочее, но не лишено ряда серьезных косяков. "Чистую" версию без обфускации выложил тут.
Спасибо за труд, забрал. Попробую на локали...
|
|
|
|
kawerin
Стаж: 14 лет 11 месяцев Сообщений: 42
|
kawerin ·
15-Май-12 16:52
(спустя 3 дня)
Помогите пожалуйста!! Поставил на денвер, а как запустить не знаю.... Хельп....
|
|
|
|
cyber01
Стаж: 17 лет Сообщений: 329
|
cyber01 ·
15-Май-12 17:44
(спустя 52 мин.)
kawerin а для кого инструкция в раздаче?
|
|
|
|
Neovit
Стаж: 13 лет 6 месяцев Сообщений: 5
|
Neovit ·
24-Май-12 03:11
(спустя 8 дней)
Ребят трабла использую движок shopos парсёр рабить не хочет ваще что делать ?
|
|
|
|
legalalternative
Стаж: 15 лет 10 месяцев Сообщений: 6
|
legalalternative ·
31-Май-12 16:55
(спустя 7 дней)
Почему в названии версия 8.1, в картинке 8.2 а при установке 8.1? 8.1 с датой 04.02.2011 не заработало ничего(( ну или руки кривые
|
|
|
|
kawerin
Стаж: 14 лет 11 месяцев Сообщений: 42
|
kawerin ·
01-Июн-12 22:48
(спустя 1 день 5 часов)
cyber01 писал(а):
kawerin а для кого инструкция в раздаче?
инструкция не понятна. как его запустить? или сложно ответить?
|
|
|
|
_et
Стаж: 15 лет 7 месяцев Сообщений: 95
|
_et ·
02-Июн-12 07:58
(спустя 9 часов)
Че там не понятного?
Создать БД и залить туда дамп.
поправить файл конфига
выставить права на папки
запустить скрипт и следовать установки
ну и соблюдать требования для работы скрипта на сервере.
|
|
|
|
disgrund
Стаж: 17 лет 11 месяцев Сообщений: 2
|
disgrund ·
20-Июн-12 12:58
(спустя 18 дней)
привет , а что за ошибка такая при запуске парсета с яндекс.маркета :
Warning: Invalid argument supplied for foreach() in /var/www/ph86046/data/www/parser/parser_yamarket.php(2) : eval()'d code(1) : eval()'d code(1) : eval()'d code on line 54
|
|
|
|
qiwifuck
Стаж: 15 лет 4 месяца Сообщений: 62
|
qiwifuck ·
05-Июл-12 13:35
(спустя 15 дней, ред. 05-Июл-12 13:35)
lastuser писал(а):
Провел деобфускацию кода, впечатления не самые радужные.
Во-первых, недостает папок captcha, files, images - их надо создавать руками. Без этого картинки никуда валиться не будут, каптча работать не будет.
Во-вторых, яндекс.маркет (возможно, и другие маркеты тоже) не работает с антикапчей из-за ошибки в коде: модуль parser_yamarket.php передает в парсер переменную $config['antikey'], которой просто не существует, зато есть $config['antigate']. Надо либо править переменную в коде, либо создавать в таблице pref еще одну строку antikey. С учетом того, что код обфусцирован, проще сделать второе.
В-третьих, через прокси если и работает, то через одно место: вбил 10 работоспособных проксей, на всех вываливался в fatal error (либо параметры прокси не передаются курлу, либо где-то другой косяк в коде, еще не разбирался - итог такой, что парсер вытается распарсить страницу 403, не находит кол-во страниц и делит на 0).
В-четвертых, время от времени парсер после ввода капчи залипает на первой странице: счетчик страниц растет, но парсится один и тот же список из 10 товаров.
В целом решение, хоть и написанное на коленке, рабочее, но не лишено ряда серьезных косяков. "Чистую" версию без обфускации выложил тут.
1. исходный скрипт не был обфусцирован, посему ваш "деобфусцированный" вариант некорректен в плане названия.
2. добавьте недостающие папки, в чем проблема? ясен пень, это неправильно не включать нужные папки в дистрибутив, но тут уж коли разраб лоханулся, надо самим исправлять положение.
3. элемент массива antigate работает с языковой переменной, так у разраба названо то, что надо выводить узерам на экран в качестве пояснений. antikey - это переменная, входящая в состав механизма обработки капчи. вы просто путаете апельсины с бананами.
lastuser писал(а):
Уважаемый zuziken, 8.1 изначально кривая. Баги, перечисленные выше, я выявил в оригинальных деобфусцированных скриптах, поэтому давайте не будем кидать какашки в релизера из-за отсутствия трех папок, когда ваш программист наплодил ошибок на порядок больше.
И давайте быть реалистами: с такими косяками ваше поделие не стоит этих денег. За те деньги, которые вы просите, можно купить три копии Content Downloader, который на порядок лучше отлажен и имеет на порядок больший функционал, позволяющий парсить (почти) любой магазин, на лету подгонять парсер под изменения в дизайне и не зависеть от того, выпустит ли новую версию разработчик или нет, поправит баги или нет.
как уже сказано выше, здесь скорее вы не понимаете, о чем пишете, чем разраб.
хотя, я конечно соглашусь, что скрипт написан не лучшим образом. меня, например, позабавило выставление обращений к базе в виндоузовскую кодировку, в то время как база изначально создается в утф. также требуется проведение большой работы по рефакторингу, просто огромной, иначе это слезы, а не скрипт.
далее - этот скрипт изначально подразумевает постоянные обновления, потому что приходится постоянно перенастраивать граберы по ресурсам, когда те меняются.
либо делать это самому, либо брать у разраба.
либо пользоваться универсальным грабером типа wce.
_et писал(а):
Че там не понятного?
Создать БД и залить туда дамп.
поправить файл конфига
выставить права на папки
запустить скрипт и следовать установки
ну и соблюдать требования для работы скрипта на сервере.
плюс не забыть запустить setup.php, о чем в доке не сказано, иначе будет глючить.
pressa-p1 писал(а):
не работает этот скрипт.
не работает используемый вами сценарий грабилки, либо надо обновить у разраба, либо переписать самому, тогда заработает. просто ваш донор поменял разметку страницы, и грабер перестал находить то, что нужно.
кстати, с ресурсов грабит грабер, а парсер - это то, что раскладывает (распарсивает) результаты по движкам. в данном скрипте реализован частично.
|
|
|
|
vk_alvin
Стаж: 14 лет 9 месяцев Сообщений: 2
|
vk_alvin ·
01-Авг-12 17:31
(спустя 27 дней)
была бы возможность парсить с amazon.com
|
|
|
|
gabdr
Стаж: 15 лет 5 месяцев Сообщений: 3
|
gabdr ·
08-Авг-12 16:58
(спустя 6 дней)
|
|
|
|
Mistral65
Стаж: 14 лет 3 месяца Сообщений: 1
|
Mistral65 ·
27-Авг-12 22:04
(спустя 19 дней)
Приветствую, lastuser!
Подскажите пожалуйста как пользоваться этим?
lastuser писал(а):
52148456Провел деобфускацию кода, впечатления не самые радужные.
Во-первых, недостает папок captcha, files, images - их надо создавать руками. Без этого картинки никуда валиться не будут, каптча работать не будет.
Во-вторых, яндекс.маркет (возможно, и другие маркеты тоже) не работает с антикапчей из-за ошибки в коде: модуль parser_yamarket.php передает в парсер переменную $config['antikey'], которой просто не существует, зато есть $config['antigate']. Надо либо править переменную в коде, либо создавать в таблице pref еще одну строку antikey. С учетом того, что код обфусцирован, проще сделать второе.
В-третьих, через прокси если и работает, то через одно место: вбил 10 работоспособных проксей, на всех вываливался в fatal error (либо параметры прокси не передаются курлу, либо где-то другой косяк в коде, еще не разбирался - итог такой, что парсер вытается распарсить страницу 403, не находит кол-во страниц и делит на 0).
В-четвертых, время от времени парсер после ввода капчи залипает на первой странице: счетчик страниц растет, но парсится один и тот же список из 10 товаров.
В целом решение, хоть и написанное на коленке, рабочее, но не лишено ряда серьезных косяков. "Чистую" версию без обфускации выложил тут.
|
|
|
|
uatara
Стаж: 16 лет 7 месяцев Сообщений: 3
|
uatara ·
10-Сен-12 22:09
(спустя 14 дней)
Господа, как насчет версии 8.2?
Ни у кого не завалялась?
|
|
|
|
Tuz2000
Стаж: 15 лет 11 месяцев Сообщений: 7
|
Tuz2000 ·
10-Сен-12 23:54
(спустя 1 час 44 мин.)
С парсингом с горем пополам разобрался (удалось спарсить с ЯндексМаркета несколько десятков товаров). В результате работы скрипта имеем базу данных со спарсенными товарами, картинки и CSV-файл.
Теперь стоит задача все это имплементировать на Joomla 2.5 + VirtueMart 2.0.10 В раздаче версии скрипта 6.2 вложен компонент com_csvi_virtuemart_1.9.zip, который как я понимаю и служит для импорта товаров из CSV-файлов. Но вот почему-то сделать импорт не получается (появляются сообщения про ошибки). Буду очень благодарен за любую помощь в этом вопросе.
|
|
|
|
cyber01
Стаж: 17 лет Сообщений: 329
|
cyber01 ·
11-Сен-12 01:10
(спустя 1 час 16 мин.)
Tuz2000 может для начала выложить эти самые сообщения про ошибки?
|
|
|
|
seom
Стаж: 15 лет 10 месяцев Сообщений: 10
|
seom ·
11-Сен-12 17:08
(спустя 15 часов, ред. 11-Сен-12 17:08)
Tuz2000 писал(а):
55143405С парсингом с горем пополам разобрался (удалось спарсить с ЯндексМаркета несколько десятков товаров). В результате работы скрипта имеем базу данных со спарсенными товарами, картинки и CSV-файл.
Теперь стоит задача все это имплементировать на Joomla 2.5 + VirtueMart 2.0.10 В раздаче версии скрипта 6.2 вложен компонент com_csvi_virtuemart_1.9.zip, который как я понимаю и служит для импорта товаров из CSV-файлов. Но вот почему-то сделать импорт не получается (появляются сообщения про ошибки). Буду очень благодарен за любую помощь в этом вопросе.
К примеру, потому что CSV Improved не совместим с этой связкой.
Joomla! 1.5
VirtueMart 1.1.x - CSVI 1, CSVI 3
VirtueMart 2.x - Not Supported
Joomla! 2.5
VirtueMart 1.x - Not Supported
VirtueMart 2.x - CSVI 4/5
|
|
|
|
Tuz2000
Стаж: 15 лет 11 месяцев Сообщений: 7
|
Tuz2000 ·
13-Сен-12 02:05
(спустя 1 день 8 часов, ред. 13-Сен-12 02:05)
Спасибо за помощь, господа!
После десятка переустановок сайта с вероятностью 99% удалось установить что причина ошибок в работе CSV Improver была толи в русификаторе Joomla 2.5 толи в русификаторе virtuemart 2.0.10
А вообще было бы не плохо если б был расписан весь процес импорта по шагам (понимаю что прошу слишком многого).
Кстати картинки товаров после импорта не отображаются. Так и должно быть? (Папку images, следуя подсказке lastuser создал, и фотографии с ЯндекМаркета туда записываются)
Кому-нибудь на Joomla 2.5 удалось импортировать картинки?
|
|
|
|
mika_phaeton
Стаж: 16 лет 6 месяцев Сообщений: 40
|
mika_phaeton ·
14-Сен-12 23:23
(спустя 1 день 21 час)
а что может означать сообщение
"Парсинг прерван по запросу пользователя." ?
|
|
|
|
Tuz2000
Стаж: 15 лет 11 месяцев Сообщений: 7
|
Tuz2000 ·
15-Сен-12 09:42
(спустя 10 часов)
Цитата:
а что может означать сообщение
"Парсинг прерван по запросу пользователя." ?
обыно оно появляется после того как вы нажмете кнопку "Остановить"
|
|
|
|
mika_phaeton
Стаж: 16 лет 6 месяцев Сообщений: 40
|
mika_phaeton ·
15-Сен-12 12:00
(спустя 2 часа 17 мин.)
странно, ведь пункт меню "Остановить" я не нажимаю.
Может быть я что то не так делаю?
Я просто в окно "URL-ы категории:" вставляю url интересующий меня категории и нажимаю кнопочку
"Начать парсинг"
через пару секунд появляется сообщение "Парсинг прерван по запросу пользователя."
Никаких дополнительных настроек не делал.
Каталоги создал, права дал. Всё это проделывалось на FreeBSD.
cURL support enabled
cURL Information 7.24.0
|
|
|
|
Banifaki
Стаж: 16 лет 8 месяцев Сообщений: 358
|
Banifaki ·
15-Сен-12 13:38
(спустя 1 час 37 мин., ред. 16-Сен-12 07:21)
При парсинге не отображается состояние процесса, то есть в окне пустое, хотя процесс парсинга идет. И только когда оканчивается парсинг, появляется отчет о том что товары спарсены. Как это можно исправить? А то порой не понимаешь работает он или нет, и сколько уже позиций спарсил.
|
|
|
|
rombi
Стаж: 15 лет 11 месяцев Сообщений: 9
|
rombi ·
10-Окт-12 01:41
(спустя 24 дня)
Banifaki, купи лицуху, поставь на локальный серв и не мучайся)
|
|
|
|
cyber01
Стаж: 17 лет Сообщений: 329
|
cyber01 ·
10-Окт-12 12:45
(спустя 11 часов)
zuziken эмм в чем проблема поправить .htaccess под nginx?
|
|
|
|
WERTER_BOY
Стаж: 15 лет 7 месяцев Сообщений: 16
|
WERTER_BOY ·
13-Окт-12 18:43
(спустя 3 дня)
zuziken писал(а):
51917306
_et писал(а):
Вы же давно отбили свой скрипт по деньгам. Его же не один человек купил, правильно.
Что жалеть то? Или Вы планировали всю жизнь на нем зарабатывать?))
Мухахахахахаах 
Скажите это директору АвтоВАЗ: "На ваших машинах уже столько народу ездит. Что жалеть-то? Раздавай бесплатно или Вы планировали всю жизнь на нем зарабатывать?"
Вот такой тупости я ещё не встречал.
Автоваз, по вашей тупой логике, за проданную однажды машину дерёт деньги всю оставшуюся жизнь? или всё-таки с каждой новой, выпущенной?
Перефразируя вашу тупень, делаю вывод что вы как автоваз каждый день в поте лица по новой одну и туже программу стряпаете? Тады да, тады вам положен гонорар..
Почему-то вы за одно и туже, однажды проданную вам булку хлеба, не платите в магазин. Надеюсь, очень надеюсь что ход мыслей понять сможете, иначе с логикой у вас действительно швах судя по вашему тупому сравнению с автовазом
|
|
|
|
probeprobe
Стаж: 15 лет 6 месяцев Сообщений: 13
|
probeprobe ·
15-Окт-12 23:43
(спустя 2 дня 4 часа)
а для джумлы как? через зеброид?
|
|
|
|
