|
|
|
solist-vi
Стаж: 16 лет 4 месяца Сообщений: 2
|
solist-vi ·
11-Фев-12 16:59
(12 лет 10 месяцев назад)
Подскажите, как можно убрать комментарии из скаченных файлов, типа tppabs=... и /*tpa=...
У меня браузер их как-то не хочет переваривать!
|
|
|
|
assis2007
Стаж: 17 лет 10 месяцев Сообщений: 8
|
assis2007 ·
29-Фев-12 15:18
(спустя 17 дней)
У меня такая проблема: нужно скачать сайт, а потом залить на сервер. Этой прогой можно осуществить скачку для последующей заливки на сервак или нет? И если кто знает: какой прогой можно это сделать?
|
|
|
|
SILENT_Pavel
Стаж: 14 лет 10 месяцев Сообщений: 2257
|
SILENT_Pavel ·
29-Фев-12 20:44
(спустя 5 часов)
assis2007
Можно вроде, но ты должен ориентироваться в структуре сайта очень хорошо, если это сайт огромный с кучей разделов очень сложно правильно все это дело перераспределить, ибо файлов будут десятки или сотни тысяч. Ну если ты менять его хочешь конечно, а так вроде должно работать, с условием что сайт скачать корректно, разве что обычно фоны отключаются и всякие эффекты. Для бекапов советую скачивать только текст и проход на 3 ссылки.
|
|
|
|
ShinDog
Стаж: 15 лет 3 месяца Сообщений: 4
|
ShinDog ·
02-Мар-12 10:30
(спустя 1 день 13 часов)
Кто-нибудь может сказать, как скачать личные сообщения с форума? У меня не получается, хотя и ввожу в программу логин и пароль для входа на форум. Буду благодарен за помощь.
|
|
|
|
SILENT_Pavel
Стаж: 14 лет 10 месяцев Сообщений: 2257
|
SILENT_Pavel ·
02-Мар-12 14:56
(спустя 4 часа)
ShinDog
ну они обычно глубоко вложены, больше чем на 3 ссылки внутрь, попробуй забить так сказать direct link на свои сообщения в утилиту, возможно заработает, но не уверен, легче сохранить их вручную как html или воспользоваться стандартной функцией форума ,если есть.
|
|
|
|
ShinDog
Стаж: 15 лет 3 месяца Сообщений: 4
|
ShinDog ·
02-Мар-12 19:40
(спустя 4 часа, ред. 02-Мар-12 19:40)
XPEH_RUSSIA, спасибо что откликнулся, вручную сохранять очень долго да и неудобно, сообщений около 8000, поэтому хотелось бы автоматизировать процесс. Использовал утилиту Teleport Ultra, в настройках выставил заимствовать куки из IE, ессно ввёл в прогу логин пароль, потом зашёл на форум и авторизировался. Direct link тоже давал на сообщения, это раздел privmsg. Как результат, качает всё, кроме этих самых private message. Попробую глубину скачивания увеличить, может поможет.
|
|
|
|
SILENT_Pavel
Стаж: 14 лет 10 месяцев Сообщений: 2257
|
SILENT_Pavel ·
02-Мар-12 22:32
(спустя 2 часа 52 мин.)
ShinDog
В таком тяжелом случае рекомендую увеличивать глубину прохода на одну ссылку поочередно, отключая при этом все медиа файлы как картинки, звуки, элементы дизайн, иначе затянется на недели скачивания, если это трекер или большой форум. Минимизировать все до необходимых текстовых данных. п.с. все же напишите администратору своего форума может он добавит или что-то посоветует насчет сохранения сообщений, на многих форумах такая система давно отлажена и работает в личном кабинете в настройках.
|
|
|
|
alex1_09
Стаж: 15 лет 4 месяца Сообщений: 33
|
alex1_09 ·
03-Мар-12 13:07
(спустя 14 часов)
ShinDog писал(а):
XPEH_RUSSIA, спасибо что откликнулся, вручную сохранять очень долго да и неудобно, сообщений около 8000, поэтому хотелось бы автоматизировать процесс. Использовал утилиту Teleport Ultra, в настройках выставил заимствовать куки из IE, ессно ввёл в прогу логин пароль, потом зашёл на форум и авторизировался. Direct link тоже давал на сообщения, это раздел privmsg. Как результат, качает всё, кроме этих самых private message. Попробую глубину скачивания увеличить, может поможет.
сообщений около 8000 - Блин... 8000! Для истории качать хош, или книгу решил написать? (Шутка!)
А по теме: "...в настройках выставил заимствовать куки из IE..." Еще надо чтобы IE был загружен. Подробности не разбирал, но если работаеш с куками надо чтобы эксплорер был загружен на все время загрузки...
Ну а вообще делай глубину 5-7. Все, конечно, зависит от скорости соединения - я всегда делаю 6 - если такой глубины нет то не страшно, а если есть - то самое то...
И запрети скачку с ненужных ссылок - пройдись по стартовой странице и проверь все ссылки - не нужные забей в exclude (где -то в настройках). Я так понимаю что ты разобрался с настройками - поэтому подробности не указываю...
Ну и удачи...
PS не все сайты дают скачивать все подряд...
|
|
|
|
Зордрак
Стаж: 16 лет 11 месяцев Сообщений: 89
|
Зордрак ·
17-Мар-12 14:15
(спустя 14 дней, ред. 17-Мар-12 14:15)
херня эта ваша прога. Хрен поймешь как скачать с сайта картинки только определенной категории.
|
|
|
|
Alexk553
Стаж: 17 лет 2 месяца Сообщений: 41
|
Alexk553 ·
18-Мар-12 17:35
(спустя 1 день 3 часа, ред. 19-Мар-12 11:19)
как опытный скачиватель сайтов поделюсь опытом.
Эта программа удобна для БЫСТРОЙ настройки (до 10 минут) с последующим получением готового результата. Для сложной работы - типа вот то не скачивать, туда не ходить, и.т.п. она не подходит.
для сложных случяаев больше подходит Offline Explorer. Но времени на отладку настроек уходит обычно очень много. Хорошо помню, как потратил дня три (!!!) на настройку программы, чтобы был скачан форум с картинками, но без лишнего контента. Откуда берётсся лишний контент? А очень просто. На ПХП обычно к линкам приклеиваются параметры:
index.php?parameter1=par1name¶meter2=par2name и.т.д.
и вот эти обе программы ПЛОХО работаю т с параметрами урлов., точнее они не отличают имя файла от параметров.Поэтому скачивают кучу дубликатов контента, как то: сортировка по убыванию и возрастанию, сессионный айди, и куча другого мусора. Поэтому для задачи скачивания ЛС с форума програма должна уметь манипулировать паораметрами урлов. Увы, ни одна из известных мне программ этого делать не умеет в полной мере. Поэтому для скачивания нужно писать собственные программы.
Делается это очень просто. Например, этой программой скачивается скелет сайта. Затем пишется свой скрипт для извлечения нужных УРЛ из этого набора. например, делается файлик *.js примерно такого содержания:
Код:
var wsh=WScript.CreateObject("WScript.Shell"); //инициализация
var fso = WScript.CreateObject("Scripting.FileSystemObject");
//var _source="E:\\ALL\\Programming\\WSH\\Vkontakte_photos\\source";
//var _destination="\\Sampler\\Vkontakte";
//var _destination="E:\\ALL\\Programming\\WSH\\Vkontakte_photos\\dest";
var _source="E:\\Downloads\\vkontakte";
var _destination="\\Sampler\\Vkontakte";
var _file_count=0;
var _max_file_count=5000;
var _sss="";
objArgs=WScript.Arguments;
//////////////////
/*
f2 = fso.GetFile("c:\\testfile.txt");
// Move the file to \tmp directory.
f2.Move ("c:\\tmp\\testfile.txt");
Response.Write("Copying file to c:\\temp <br>");
// Copy the file to \temp.
f2.Copy ("c:\\temp\\testfile.txt");
Response.Write("Deleting files <br>");
// Get handles to files' current location.
f2 = fso.GetFile("c:\\tmp\\testfile.txt");
f3 = fso.GetFile("c:\\temp\\testfile.txt");
// Delete the files.
f2.Delete();
f3.Delete();
Response.Write("All done!");
*/
///////////////
function move_files(folderspec)
{var f, fc, s,s1,sss;
f=fso.GetFolder(folderspec);
fc=new Enumerator(f.SubFolders);
fcf=new Enumerator(f.files);
for (;!fcf.atEnd();fcf.moveNext())
{curfileobj=fcf.item();
curfile=curfileobj.Path;
cur_file_extn=fextfromfname(curfile).toLowerCase();
cur_file_handle=fso.GetFile(curfile); // get current file handle
// if no extention then delete file
if (cur_file_extn=="") ;// cur_file_handle.Delete();
// if Offline Explorer's description file then delete
if (cur_file_extn=="WD3") ;// cur_file_handle.Delete();
// if JPG then
if (cur_file_extn=="jpg")
{_file_count++;
if (_file_count%_max_file_count==0)
{_sss=_destination+"\\vkontakte_"+"\\"+leadzero(Math.floor(_file_count/_max_file_count),4);
if (!fso.FolderExists(_sss))
fso.CreateFolder(_sss);
}
s=_sss+"\\"
+"-"+getparentdir(curfile,2)+"-"+getparentdir(curfile,1)
+"-"+vkontakteservernum(getparentdir(curfile,3))+"-"
+fnamefrompath(curfile);
//WScript.Echo(s);
cur_file_handle.Copy(s);
}
}
for (;!fc.atEnd();fc.moveNext())
{s1=fc.item();
move_files(s1);
}
}
function fextfromfname(ss) //extracts file extension from full path
{var s;
s=ss.split(".");
return(s[s.length-1]);
}
function frelnamefromfname(ss) //02.Beyond the Gates.mp3 -> 02.Beyond the Gates
{var s,str="";
s=ss.split(".");
str=s[0];
for (i=1;i<s.length-1;i++){str+="."+s[i];}
return(str);
}
function fnamefrompath(ss) //extracts file name from full path
{var s;
s=ss.split("\\");
return(s[s.length-1]);
}
function drivefrompath(ss) //extracts drive name from full path
{var s;
s=ss.split("\\");
return(s[0]);
}
function relpathfrompath(ss) //d:\folder\one\file.txt -> \folder\one\
{var s,str="";
s=ss.split("\\");
str=s[1];
for (i=2;i<s.length-1;i++){str+="\\"+s[i];}
return(str);
}
//d:\folder\one\two\file.txt , 0 -> file.txt
//d:\folder\one\two\file.txt , 1 -> two
//d:\folder\one\two\file.txt , 2 -> one
//d:\folder\one\two\file.txt , 3 -> folder
//d:\folder\one\two\file.txt , 4 (and more) -> ""
function getparentdir(ss,depth)
{var s;
s=ss.split("\\");
if (s.length-1-depth>0) return(s[s.length-1-depth]);
else return ("");
}
// vkontakteservernum(ss)
function vkontakteservernum(ss)
{var s;
s=ss.split(".");
return(s[0]);
}
function leadzero(i,dig) //3345,7 -> 0003345
{var s;
s=i.toString(10);
if (s.length>=dig) return (s);
for (j=1;j<=dig;j++)
{if (s.length>=dig) return (s);
else s="0"+s;
}
}
if (!fso.FolderExists(_destination+"\\vkontakte_"))
fso.CreateFolder(_destination+"\\vkontakte_");
move_files(_source);
WScript.Echo(leadzero(Math.floor(100/3),1));
этот давно очень писал. Этот скрипт сохраняет все фотографии с Vkontakte , добавляя в имя файла информацию о пользователе, номер альбома, и.т.п и рассовывая в нужные папки.
а вот более простой скрипт для формирования списка урлов:
Код:
var ForWriting = 2;
var ForReading = 1;
var wsh=WScript.CreateObject("WScript.Shell"); //инициализация
var fso = WScript.CreateObject("Scripting.FileSystemObject");
//*******************USER VARS********************
var DIR = "name"; // the name of a project
var NUM = 7760; // the number of videos/URLs to obtain
var TOKEN1 = "<img src=\"./data/media/"; // first token
var TOKEN2 = "\" border=\"1\" alt=\""; // last token, between them is filename
var SITEURL = "http://www.something.com/data/media/";
//**********END OF USER VARS***********************
//create output file with urls
var out=fso.CreateTextFile("E:\\ALL\\Programming\\WSH\\"+DIR+"\\"+DIR+".txt",true);
// parse each file
//var a = fso.CreateTextFile("c:\\testfile.txt", true);
//a.WriteLine("This is a test.");
for (i=1;i<=NUM;i++)
{f_ts=fso.OpenTextFile("E:\\ALL\\Programming\\WSH\\"+DIR+"\\source\\index"+i+".htm",ForReading);
ts=f_ts.ReadAll();
ss=ts.split(TOKEN1);
// ss[0] is garbage
for (j=1;j<ss.length;j++)
{src=ss[j].split(TOKEN2);
result=SITEURL+src[0];
out.WriteLine(result);
}
f_ts.Close();
}
out.Close();
такой скрипт-говнокод клепается за десяток минут, затем полученный результат грузится в программу типа Download manager.
Вот такие костыли 
а свою полноценную программу лень писать, хотя и надо бы. может напишу, когда накипит.
|
|
|
|
VIC-PAL
Стаж: 17 лет 9 месяцев Сообщений: 596
|
VIC-PAL ·
23-Мар-12 06:51
(спустя 4 дня)
Alexk553 писал(а):
как опытный скачиватель сайтов поделюсь опытом.
скрытый текст
Эта программа удобна для БЫСТРОЙ настройки (до 10 минут) с последующим получением готового результата. Для сложной работы - типа вот то не скачивать, туда не ходить, и.т.п. она не подходит.
для сложных случяаев больше подходит Offline Explorer. Но времени на отладку настроек уходит обычно очень много. Хорошо помню, как потратил дня три (!!!) на настройку программы, чтобы был скачан форум с картинками, но без лишнего контента. Откуда берётсся лишний контент? А очень просто. На ПХП обычно к линкам приклеиваются параметры:
index.php?parameter1=par1name ¶meter2=par2name и.т.д.
и вот эти обе программы ПЛОХО работаю т с параметрами урлов., точнее они не отличают имя файла от параметров.Поэтому скачивают кучу дубликатов контента, как то: сортировка по убыванию и возрастанию, сессионный айди, и куча другого мусора. Поэтому для задачи скачивания ЛС с форума програма должна уметь манипулировать паораметрами урлов. Увы, ни одна из известных мне программ этого делать не умеет в полной мере. Поэтому для скачивания нужно писать собственные программы.
Делается это очень просто. Например, этой программой скачивается скелет сайта. Затем пишется свой скрипт для извлечения нужных УРЛ из этого набора. например, делается файлик *.js примерно такого содержания:
Код:
var wsh=WScript.CreateObject("WScript.Shell"); //инициализация
var fso = WScript.CreateObject("Scripting.FileSystemObject");
//var _source="E:\\ALL\\Programming\\WSH\\Vkontakte_photos\\source";
//var _destination="\\Sampler\\Vkontakte";
//var _destination="E:\\ALL\\Programming\\WSH\\Vkontakte_photos\\dest";
var _source="E:\\Downloads\\vkontakte";
var _destination="\\Sampler\\Vkontakte";
var _file_count=0;
var _max_file_count=5000;
var _sss="";
objArgs=WScript.Arguments;
//////////////////
/*
f2 = fso.GetFile("c:\\tes СПАМ
// Move the file to \tmp directory.
f2.Move ("c:\\tmp\\tes СПАМ
Response.Write("Copying file to c:\\temp <br>");
// Copy the file to \temp.
f2.Copy ("c:\\temp\\tes СПАМ
Response.Write("Deleting files <br>");
// Get handles to files' current location.
f2 = fso.GetFile("c:\\tmp\\tes СПАМ
f3 = fso.GetFile("c:\\temp\\tes СПАМ
// Delete the files.
f2.Delete();
f3.Delete();
Response.Write("All done!");
*/
///////////////
function move_files(folderspec)
{var f, fc, s,s1,sss;
f=fso.GetFolder(folderspec);
fc=new Enumerator(f.SubFolders);
fcf=new Enumerator(f.files);
for (;!fcf.atEnd();fcf.moveNext())
{curfileobj=fcf.item();
curfile=curfileobj.Path;
cur_file_extn=fextfromfname(curfile).toLowerCase();
cur_file_handle=fso.GetFile(curfile); // get current file handle
// if no extention then delete file
if (cur_file_extn=="") ;// cur_file_handle.Delete();
// if Offline Explorer's description file then delete
if (cur_file_extn=="WD3") ;// cur_file_handle.Delete();
// if JPG then
if (cur_file_extn=="jpg")
{_file_count ;
if (_file_count%_max_file_count==0)
{_sss=_destination "\\vkontakte_" "\\" leadzero(Math.floor(_file_count/_max_file_count),4);
if (!fso.FolderExists(_sss))
fso.CreateFolder(_sss);
}
s=_sss "\\"
"-" getparentdir(curfile,2) "-" getparentdir(curfile,1)
"-" vkontakteservernum(getparentdir(curfile,3)) "-"
fnamefrompath(curfile);
//WScript.Echo(s);
cur_file_handle.Copy(s);
}
}
for (;!fc.atEnd();fc.moveNext())
{s1=fc.item();
move_files(s1);
}
}
function fextfromfname(ss) //extracts file extension from full path
{var s;
s=ss.split(".");
return(s[s.length-1]);
}
function frelnamefromfname(ss) //02.Beyond the Gates.mp3 -> 02.Beyond the Gates
{var s,str="";
s=ss.split(".");
str=s[0];
for (i=1;i<s.length-1;i ){str ="." s[i];}
return(str);
}
function fnamefrompath(ss) //extracts file name from full path
{var s;
s=ss.split("\\");
return(s[s.length-1]);
}
function drivefrompath(ss) //extracts drive name from full path
{var s;
s=ss.split("\\");
return(s[0]);
}
function relpathfrompath(ss) //d:\folder\one\file.txt -> \folder\one\
{var s,str="";
s=ss.split("\\");
str=s[1];
for (i=2;i<s.length-1;i ){str ="\\" s[i];}
return(str);
}
//d:\folder\one\two\file.txt , 0 -> file.txt
//d:\folder\one\two\file.txt , 1 -> two
//d:\folder\one\two\file.txt , 2 -> one
//d:\folder\one\two\file.txt , 3 -> folder
//d:\folder\one\two\file.txt , 4 (and more) -> ""
function getparentdir(ss,depth)
{var s;
s=ss.split("\\");
if (s.length-1-depth>0) return(s[s.length-1-depth]);
else return ("");
}
// vkontakteservernum(ss)
function vkontakteservernum(ss)
{var s;
s=ss.split(".");
return(s[0]);
}
function leadzero(i,dig) //3345,7 -> 0003345
{var s;
s=i.toString(10);
if (s.length>=dig) return (s);
for (j=1;j<=dig;j )
{if (s.length>=dig) return (s);
else s="0" s;
}
}
if (!fso.FolderExists(_destination "\\vkontakte_"))
fso.CreateFolder(_destination "\\vkontakte_");
move_files(_source);
WScript.Echo(leadzero(Math.floor(100/3),1));
этот давно очень писал. Этот скрипт сохраняет все фотографии с Vkontakte , добавляя в имя файла информацию о пользователе, номер альбома, и.т.п и рассовывая в нужные папки.
а вот более простой скрипт для формирования списка урлов:
Код:
var ForWriting = 2;
var ForReading = 1;
var wsh=WScript.CreateObject("WScript.Shell"); //инициализация
var fso = WScript.CreateObject("Scripting.FileSystemObject");
//*******************USER VARS********************
var DIR = "name"; // the name of a project
var NUM = 7760; // the number of videos/URLs to obtain
var TOKEN1 = "<img src=\"./data/media/"; // first token
var TOKEN2 = "\" border=\"1\" alt=\""; // last token, between them is filename
var SITEURL = "http://www.something.com/data/media/";
//**********END OF USER VARS***********************
//create output file with urls
var out=fso.CreateTextFile("E:\\ALL\\Programming\\WSH\\" DIR "\\" DIR ".txt",true);
// parse each file
//var a = fso.CreateTextFile("c:\\tes СПАМ true);
//a.WriteLine("This is a test.");
for (i=1;i<=NUM;i )
{f_ts=fso.OpenTextFile("E:\\ALL\\Programming\\WSH\\" DIR "\\source\\index" i ".htm",ForReading);
ts=f_ts.ReadAll();
ss=ts.split(TOKEN1);
// ss[0] is garbage
for (j=1;j<ss.length;j )
{src=ss[j].split(TOKEN2);
result=SITEURL src[0];
out.WriteLine(result);
}
f_ts.Close();
}
out.Close();
такой скрипт-говнокод клепается за десяток минут, затем полученный результат грузится в программу типа Download manager.
Вот такие костыли
а свою полноценную программу лень писать, хотя и надо бы. может напишу, когда накипит.
вопрос к вам ,как, к продвинотому в етои обасти...
этои прогои собрать своиу станицу , ну типа похожую ...
скачать оригенал ...
поменять тхт ...
поменять pic ...
поменять какие то данные...
ну и т.д.
|
|
|
|
КостяДзю
Стаж: 14 лет Сообщений: 2
|
КостяДзю ·
26-Мар-12 19:46
(спустя 3 дня)
Alexk553, хочу скачать сайт translate.google.com. Перепробывал различными программами, но ничего не получилось. Может подскажешь как это возможно сделать. Мне важно оставить ресурс работоспособным у себя на компе. Есть ли такая возможность?
|
|
|
|
Васюковска
Стаж: 15 лет Сообщений: 18
|
Васюковска ·
28-Мар-12 23:14
(спустя 2 дня 3 часа)
А нельзя ли русифицировать Вашу сборку? Или что-то уже есть в Интернете?
|
|
|
|
Alexk553
Стаж: 17 лет 2 месяца Сообщений: 41
|
Alexk553 ·
23-Апр-12 01:07
(спустя 25 дней)
КостяДзю писал(а):
Alexk553, хочу скачать сайт translate.google.com. Перепробывал различными программами, но ничего не получилось. Может подскажешь как это возможно сделать. Мне важно оставить ресурс работоспособным у себя на компе. Есть ли такая возможность?
это принципиально невозможно, так как страницы генерируются на серверной стороне. Можно скачать и запустить клиентский код, но серверный - никогда.
|
|
|
|
dikislonn
Стаж: 15 лет Сообщений: 1
|
dikislonn ·
29-Апр-12 01:28
(спустя 6 дней)
Доброго времмени...
Скажите возможно ли скачать http://www.autodata-online.net/onlineea/chapters/ui/modelidentification.aspx
Логин: RULADEMO518050
Пароль: nzMacPdS
ДО 5 мая 2012г.
Может кто сможет выкачать на диск будем все признательны если потом поделитесь
|
|
|
|
septer12
Стаж: 15 лет 11 месяцев Сообщений: 131
|
septer12 ·
10-Май-12 20:36
(спустя 11 дней)
Доброго времени суток. У меня вопрос для опытных пользователей подобных программ.
Если долго или сложно отвечать на мой вопрос, то просьба хотя бы поделиться ссылкой на статьи или форумы с информацией об ответе на подобные вопросы:
1) Есть сайт _ http://line6.com/customtone/browse/podfarm/
2) По вышеуказанной ссылке можно скачивать файлы формата *.l6t
3) Данных файлов там свыше 12000 шт, НО скачать их можно только по отдельности, нажимая на каждый файл по отдельности, что очень долго само собой.
4) При копировании ссылки на ЛЮБОЙ отдельный файл, в буфер копируется один и тот же адрес _ http://line6.com/customtone/browse/podfarm/#
5) Моя задача скачать все эти файлы за один раз.
Вопрос: возможно ли это как-то осуществить и с помощью какого софта это можно сделать?
Заранее благодарю за советы и помощь.
|
|
|
|
pavelhodyukov
Стаж: 14 лет Сообщений: 7
|
pavelhodyukov ·
11-Май-12 19:44
(спустя 23 часа)
спасибо огромное! чотко работает и ничего лишнего! 
|
|
|
|
HardBox
Стаж: 17 лет 3 месяца Сообщений: 3
|
HardBox ·
14-Май-12 18:26
(спустя 2 дня 22 часа)
|
|
|
|
tetukaz
Стаж: 16 лет 1 месяц Сообщений: 46
|
tetukaz ·
08-Июн-12 04:49
(спустя 24 дня)
Alexk553 писал(а):
как опытный скачиватель сайтов поделюсь опытом.
Эта программа удобна для БЫСТРОЙ настройки (до 10 минут) с последующим получением готового результата. Для сложной работы - типа вот то не скачивать, туда не ходить, и.т.п. она не подходит.
для сложных случяаев больше подходит Offline Explorer. Но времени на отладку настроек уходит обычно очень много. Хорошо помню, как потратил дня три (!!!) на настройку программы, чтобы был скачан форум с картинками, но без лишнего контента. Откуда берётсся лишний контент? А очень просто. На ПХП обычно к линкам приклеиваются параметры:
index.php?parameter1=par1name ¶meter2=par2name и.т.д.
и вот эти обе программы ПЛОХО работаю т с параметрами урлов., точнее они не отличают имя файла от параметров.Поэтому скачивают кучу дубликатов контента, как то: сортировка по убыванию и возрастанию, сессионный айди, и куча другого мусора. Поэтому для задачи скачивания ЛС с форума програма должна уметь манипулировать паораметрами урлов. Увы, ни одна из известных мне программ этого делать не умеет в полной мере. Поэтому для скачивания нужно писать собственные программы.
Делается это очень просто. Например, этой программой скачивается скелет сайта. Затем пишется свой скрипт для извлечения нужных УРЛ из этого набора. например, делается файлик *.js примерно такого содержания:
я, как опытный пользователь (и качок  прежде чрм что нибудь ломать - читаю инструкцию  но хочю отметить, что они с каждым выпуском все хуже (как для Телепорт, в виде ПДФ так и других, напр. Мракософт'а...) самя внятная была и есть образца CHM версии 1,29 которой и радуюсь
слычай разной качки британского журнала - интересен, насколько он репродуцируеться?
я всетаки склонен верить, что более дорогая версия работает лучше, но это еще предстой проверить
Teleport Ultra and VLX: Differences from Teleport Pro
Teleport Ultra and Teleport VLX are enhanced versions of Teleport Pro. They have all of the same
functions and features as Teleport Pro, as well as many new features and abilities that Teleport Pro lacks,
and are useful for larger and more advanced spidering projects.
Teleport Ultra and VLX can both read Teleport Pro project files (.tpp files). They will automatically upconvert
these projects to their own project file formats (.tpu for Teleport Ultra, and .tpx for Teleport VLX).
The original .tpp files will be left unchanged.
Larger Project Database: Teleport Pro is limited to keeping up to 65,000 URLs in its project database.
Teleport Ultra extends this limit to 250,000 URLs, giving it the ability to copy much larger websites, or to
handle more sites in a single project simultaneously. Teleport VLX extends the limit to approximately
40 million URLs, giving it the ability to copy nearly anything in a single project.
Note: Teleport VLX uses an extremely efficient database, but it still requires considerable RAM memory in
order to run. Be sure you have enough available RAM to run the program. We recommend at least 64MB
of available RAM per 1 million addresses scanned, to avoid excessive disk usage. You can explore larger
areas with less RAM, but the program will operate more slowly and will use your disk drive more
frequently.
HTTPS Capability: Teleport Ultra and Teleport VLX can both crawl secure servers.
|
|
|
|
alat2007
Стаж: 15 лет 6 месяцев Сообщений: 3
|
alat2007 ·
25-Июн-12 21:25
(спустя 17 дней)
Для тех у кого проблемы с логин\пароль.
В Project properties вкладка Advanced отметить Borrow cookies from Internet Explorer
во вкладке Netiquette поставить свою версию браузера и снять галочку с Obey the Robot.
Все качает, причем с закрытым браузером.
|
|
|
|
r1a2p3
Стаж: 14 лет 9 месяцев Сообщений: 4
|
r1a2p3 ·
09-Июл-12 04:27
(спустя 13 дней)
всяко пытался этой прогой скачать картинки с сайтов для обоев высокого разрешения (сайты с обоями где отдельный размер нужно открывать в отдельном окне). так вот возможно ли это как нибудь всё таки сделать или нет?
|
|
|
|
Зайцукеш
Стаж: 16 лет 10 месяцев Сообщений: 2
|
Зайцукеш ·
19-Июл-12 14:03
(спустя 10 дней)
Можно ли заставить Телепорт каждые Х часов заходить и самостоятельно обновлять проект?
Долго разбирался в управлении, но всё, что у меня получалось, это отложенно запускать прокет один раз и рестартовать его после записи - второй раз.
Нужно, чтобы после отключения инета была наиболее свежаяверсия сайта, на который Телепорт натравлен.
|
|
|
|
scukolat
Стаж: 16 лет 5 месяцев Сообщений: 10
|
scukolat ·
20-Июл-12 23:07
(спустя 1 день 9 часов)
Помогите пожалуйста скачать фотографии с сайта 35photo.ru , Какие настройки ставить в проекте чтобы скачать, настроил фильтр на вес от 200кб, прога фот не видит.
|
|
|
|
Lexa984
Стаж: 13 лет 10 месяцев Сообщений: 20
|
Lexa984 ·
15-Авг-12 23:12
(спустя 26 дней)
Ребята, не могу скачать сайт http://www.anthropology.ru/ru/texts/. Скачивает только первую заданную страницу - а дальше не качает. В чем может быть причина? Качаю teleport 1.63
|
|
|
|
indigovich
Стаж: 15 лет Сообщений: 57
|
indigovich ·
25-Авг-12 10:04
(спустя 9 дней)
Привет,
есть вопрос, как загрузить сайты сделанные на флеше, или например только всю графику с картинками появляющимися при зумме с этих сайтов.
Например вот с таких:
http://www.buccellati.com/
http://www.chopard.com/
Может настройки нужно определенные выставить?
Помогите плиз, очень нужно.
Заранее благодарен за ответы.
|
|
|
|
hexen544
Стаж: 13 лет 5 месяцев Сообщений: 639
|
hexen544 ·
26-Авг-12 21:39
(спустя 1 день 11 часов, ред. 27-Авг-12 22:17)
|
|
|
|
lexou37
Стаж: 15 лет Сообщений: 485
|
lexou37 ·
12-Сен-12 15:51
(спустя 16 дней)
Программа может выкачать видео? ибо пробовал, но она у меня качала все кроме видео
|
|
|
|
SILENT_Pavel
Стаж: 14 лет 10 месяцев Сообщений: 2257
|
SILENT_Pavel ·
12-Сен-12 16:37
(спустя 45 мин.)
lexou37
В настройках перед началом скачивания можно указать, брать видео или нет ,и какие форматы.
|
|
|
|
lexou37
Стаж: 15 лет Сообщений: 485
|
lexou37 ·
12-Сен-12 17:08
(спустя 31 мин., ред. 12-Сен-12 17:08)
пробовал, но не вижу там, например формата flv…. запускал с этой настройкой прогу она ищет, но ничего не находит
Пробовал на youtube, да и вообще на многих сайтах ни че с видео не находит
|
|
|
|
SILENT_Pavel
Стаж: 14 лет 10 месяцев Сообщений: 2257
|
SILENT_Pavel ·
12-Сен-12 17:12
(спустя 3 мин.)
lexou37
прога старая, она вроде не поддерживает flv, хотя если кастомизировать... фиг знает, флв потоковый его лучше качать через разные плагины к браузеру и другие сервисы для скачивания интернет видео. В общем эта прога в основном для текста многослойного, не для видео.
|
|
|
|
