Массовая Выкачка

Опубликовано ср, 11/06/2008 - 02:52 пользователем writer
Forums: 
Функциональность

Цитата:

Если загружен сильнее (la>2), то массовая выкачка доступна только тем, кто совершал пожертвования.
Поштучная выкачка, а так же выкачка больших кусков (http://lib.rus.ec/allbooks, http://lib.rus.ec/all/daily/) работают в обычном режиме - нагрузка от них невелика.

ну раз нельзя чтоб перепаковывалось. то хоть по кнопке дайте список мною выбранного на отдельной новой странице(как раньше показывало как там идет упаковка файлов)
чтоб я мог добавить в wget или еще какой Download менеджер

Опубликовано ср, 11/06/2008 - 03:38 пользователем soshial

над этим трудятся - пишут скрипт.
этим agrey занимается. вопросы - к нему.

Опубликовано ср, 11/06/2008 - 09:28 пользователем agrey

ТрудЮсь, трудЮсь. "Емкость" списка будет 200-400 книг (добавлять можно с разных страниц) - этого достаточно?

Опубликовано ср, 11/06/2008 - 09:30 пользователем kv

ха, я подобное еще в прошлом году делал - для новинок, наверное где-то валяетсяЖ)
все собирался собрать автомат, чтоб запускать раз в сутки а оно выкачивало все с последнего запуска. Да никак руки не дойдут. А оно кому-нибудь надо?

Опубликовано ср, 11/06/2008 - 09:51 пользователем agrey

Да вроде надо... Я тоже поначалу делать не собирался, хотя мысль давно была, но тут ограничения ввели...

Опубликовано ср, 11/06/2008 - 10:05 пользователем Bullfear

Надо. Всем кто хочет качать массово, а сервер не дает. Таких тут 80% :)

Опубликовано ср, 11/06/2008 - 13:13 пользователем writer

нужен тока список в файл по кнопке
автомат - это cron+wget и все
для windows nncron+wget(есть для винды)

Опубликовано чт, 12/06/2008 - 01:16 пользователем kv

посмотрел на старое - не годится, формат страниц поменялся, надо править. Ниче сложного, конечно, но время надо.

А насчет автомата, то просьба бросить в меня скриптом. Пригодится:)

Опубликовано чт, 12/06/2008 - 14:34 пользователем writer

#это в файл go.cmd
wget.exe --background --continue --input-file=from_clipboard.txt --append-output=wget-log.log --directory-prefix=_wwwinet
#в cron'е
# run five minutes after midnight, every day
5 0 * * * path/to/go.cmd

Опубликовано чт, 12/06/2008 - 15:12 пользователем writer

добавляет в файл всё что похоже на ссылки для закачки
чтоб потом когда надо качать
в nncron'e (под windows) www.nncron.ru
##############################################################################
# This task monitors Windows clipboard contents for URLs that can be
# downloaded and starts 'wget.exe', passing the URL as command line
# parameter. Regular Expressions are used to parse the URL.

#( WGET_task
: WGET-PAT S" /(http)|(ftp):\/\/[^ ]+?\.(zip)|(gz)|(rar)|(jpeg)|(jpg)|(exe)|(mp3)|(rm)|(rpm)/i" ;

WatchClipboard: *
Rule: RE-MATCH: %CLIPBOARD% %WGET-PAT%
Action:
RE-ALL: %CLIPBOARD% %WGET-PAT%

FILE-APPEND: "d:\Downloads\_\down_clipboard.txt" "%$0%%crlf%"

;RE-ALL
)#

Опубликовано пт, 13/06/2008 - 02:04 пользователем kv

а как это юзать? Сорри за непонятливость:(

Опубликовано пт, 13/06/2008 - 04:56 пользователем writer

хм. если совсем не понятно, то следуй совету hagen'a внизу ;).
поставил oGet прогу с оперой и все
или задавай конкретные вопросы
качаем с www.nncron.ru прогу nncron. ставим её. регистрируем для некомерческого юзания (оно бесплатно для exUSSR)
качаем wget c http://gnuwin32.sourceforge.net/packages/wget.htm (http://gnuwin32.sourceforge.net/downlinks/wget.php)
распаковываем/устанваливаем wget
создаем файлик с содержимым
#это в файл go.cmd
wget.exe --background --continue --input-file=c:\downloads\from_clipboard.txt --append-output=c:\downloads\wget\wget-log.log --directory-prefix=c:\downloads\_wwwinet
del c:\downloads\from_clipboard.bak
rename c:\downloads\from_clipboard.txt from_clipboard.bak

на установленом nncron'e в systray'e в меню Добавить задачу. Запустить приложение. наш файлик go.cmd
ставим время какое нам удобно
в nncron'e WGET_TASK вроде уже есть. редактируем его ставим наш путь для файла куда копируется клипбоард c:\downloads\from_clipboard.txt

p.s. работает так. когда в клипбоарде появляется ссылка на закачку файла типа *.zip *.exe и др. он добавляется прогой nncron (задача WGET_TASK) в from_clipboard.txt
потом nncron в заданное тобой время запускает go.cmd-> wget -> скачка всего что есть в from_clipboard.txt в c:\downloads\_wwwinet

Опубликовано пт, 13/06/2008 - 05:03 пользователем writer

т.е. щас на ссылках например на http://lib.rus.ec/all/daily/
мне надо жать Copy на каждую ссылку
ну или найти/написать выдиратель из htm'а этих самых ссылок
и если он есть, то уже 1 шаг до скачивания http://lib.rus.ec/all/daily/ автоматом ночью без участия человека

у кого есть? дайте плиз

Опубликовано пт, 13/06/2008 - 05:09 пользователем kv

writer написал:

p.s. работает так. когда в клипбоарде появляется ссылка на закачку файла типа *.zip *.exe и др. он добавляется прогой nncron (задача WGET_TASK) в from_clipboard.txt

непонятно "когда в клипбоарде появляется ссылка ", ну в смысле как сделать чтобы она там без моего участия появилась.

Опубликовано пт, 13/06/2008 - 13:47 пользователем writer

как можно заметить;)
началось с

Цитата:
нужен тока список в файл по кнопке
автомат - это cron+wget и все
для windows nncron+wget(есть для винды)

т.е. мне тоже нужен plain text
но раз без твоего участия ...
то смотря когда и что именно
если нужна ежедневная загрузка http://lib.rus.ec/all/daily/
то в винде нужен какой нить скриптовый язык для обработки закачанного списка в хтмл. например php, perl, или др прога типа sed, awk. но т.к. у меня стоит php, то
#создаем файл go2.cmd
wget.exe http://lib.rus.ec/all/daily/
php.exe -F my_script.php -- http://lib.rus.ec/all/daily/ <index.html >my_file_for_download.txt
wget.exe --background --continue --input-file=my_file_for_download.txt --append-output=wget-log.log --directory-prefix=_wwwinet
del my_file_for_download.txt

#cоздаем my_script.php;)
<?php
$line=trim(fgets(STDIN)); // читаем строку из STDIN 
preg_match('/a href=([^>]*)/',$line,$m); //выдирает ссылки
print $argv[1].$m[1]."\n"; // приводит в удобный для любого даунлоадера вид
?>

в виндовых Назначенных заданиях или в nncron'е или другом sheduler'е указываем go2.cmd для ночного запуска
итого в папке _wwwinet наши загруженые зипы

Опубликовано пт, 13/06/2008 - 14:13 пользователем kv

да я тоже ковыряю, но у меня гораздо тупее получается - я не знаю таких вещей как пхп и т.д. Пока что восстановил свое старое, итого, отдельную страницу закачать получается. Теперь надо допилить сравнение с закачанным в последний раз и включить в новый список закачки только новое.
Кстати, я работаю не с этой страницей, в со списками новинок "последние поступления" - там получается еще и список типа оглавления. Но гораздо сложнее парсить и сравнивать. А, кроме того, почему-то через wget не получается авторизоваться.

Опубликовано пт, 13/06/2008 - 17:26 пользователем writer

авторизация
wget http://lib.rus.ec/node --load-cookies "с:\MyDocs\cookies.txt"
загрузит страницу с авторизацией
для этого надо в Inet Explorer зайти на либрусек и залогиниться (поставить remember me)
а IE меню Файл-Импорт экспорт-Экспорт файлов cookies- сохраняешь например сюда с:\MyDocs\cookies.txt
ну и наверно почистить файл надо от всех записей кроме lib.rus.ec

Опубликовано пт, 13/06/2008 - 18:00 пользователем kv

да, это сработало, только пишет что кукис действителен на месяц, потом надо будет снова править. Не есть хорошо:(
а чего оно просто через user/password не хочет? На других сайтах работает. Чего здесь особенного?
кстати, там где daily, авторизация не требуется.

Опубликовано пт, 13/06/2008 - 17:41 пользователем writer

сравнение закаченного с новым не надо
wget --timestamping
ключ --timestamping для предотвращения таких ситуаций

Опубликовано пт, 13/06/2008 - 18:07 пользователем kv

не, это не мой путь - зачем сервак долбить, я лучше у себя сравню по списку ИДов, да и все. А то вобче можно на зеркало поставить - и курить неделю:) Главное - Иды добыть, пока в лоб не получается. А их в любом случае добывать надо.

Опубликовано пт, 13/06/2008 - 23:32 пользователем writer

http://home-lib.net/
вроде koreec каталог книг и сделал
может тебе это надо?

Опубликовано сб, 14/06/2008 - 01:02 пользователем kv

да, я слежу как там дела. Хорошая прога получилась. Но автомат со списком - это совсем не то. Здесь просто должно выкачиваться все новое и складываться отдельно а список книг - пополняться. Вот если бы у корейца тоже был автомат, ну типа, который смотрел бы раз в сутки на новое скачанное и фб2 автоматом парсил, а описание остального брал из списка - тогда да, их можно было бы объединить и получился бы постоянно актуальный локальный каталог. У меня так работает бук-либ. Удобно. Само базу правит, само файлы подтягивает. Жаль, что время не резиновое - читать некогда:)
Вот потому я в начале и спрашивал, нужен ли автомат покнижной скачки вообще. А с учетом, что кукисы живут только месяц, полного автомата все равно не получится. Так что брошу я это, наверное. Есть daily - и хватит:)

Опубликовано пн, 16/06/2008 - 04:28 пользователем writer

т.к. кукисы - текстовый файл
то в нем автоматом наверно;) можно и дату поправлять/обновлять
>Так что брошу я это, наверное
ок

Опубликовано пт, 13/06/2008 - 15:48 пользователем kv

посмотрел на http://lib.rus.ec/all/daily/. Здесь просто, у меня для него все есть:) Закачивает те файлы, что есть на сервере и нету на локальном компе. надо иметь wget. http://kv-kvar.mylivepage.ru/file/126/4313_news-avt.rar

Опубликовано чт, 12/06/2008 - 05:18 пользователем writer

разве по этой ссылке http://lib.rus.ec/all/daily/ не новинки?
тока страницу преобразовать в plain список;)

Опубликовано чт, 12/06/2008 - 07:22 пользователем Bullfear

Не совсем то, что хотелось бы. А точнее совсем не то. Надо чтобы можно было поставить галочки напротив книжек и рядом с кнопкой "скачать" просто добавлялась бы кнопочка "отправить список ссылок в качалку", по нажатии которой, ссылки на отмеченные файлы добавлялись бы в буфер обмена.

Опубликовано чт, 12/06/2008 - 07:41 пользователем kv

наверное, новинки. Но я под автоматом понимаю некое приложение, что запускается автоматически в заданное время и скачивает все новинки за прошедшее время. Без моего участия. Главное, чтоб комп был включен. А не включен - следующий раз выкачает. Очень удобно.

Опубликовано чт, 12/06/2008 - 10:49 пользователем hagen

а есть такая штука для оперы, называется oGet:

oGet Ver 2.5.6
Программа предназначена для использования различных менеджеров закачки вместе с Opera.
Поддерживается 26+ штук (USD, FlashGet, ReGet, Download Master...).

Возможности:
Обычная закачка файла. Выделенный текст (если он есть) добавляется в описание.
Закачать всё. Все ссылки на данной странице, передаются в качалку.
Закачать выделенное. Все ссылки (включая текстовые) в выделенном тексте передаются в качалку.
Во всех случаях передаётся referrer.
При закачке с использованием Ctrl+Click, передаются cookie и post-данные.

Установка:
Перед установкой желательно сделать копию меню в Ctrl+F12->Дополнительно->Панели и меню. Потом закрыть Opera, запустить oGet_setup.exe и указать папку Opera.
Требуемый менеджер закачки выбирается в меню Инструменты->Менеджеры закачки.

Можно использовать и обычную закачку (не из меню). При закрытой Opera, поставьте галочку "Полная интеграция с Opera".
Также, вы можете зажать Ctrl и кликнуть на ссылку. (Opera9 only)
Для закачки с rapidshare и подобного, зажмите Ctrl перед кликом по кнопке. (Opera9 only)
Для закачки картинок и флешек установите extra-download-links.js (в папку \profile\userjs\). (Opera9 only)

Известные проблемы:
В Opera 9.20 build 8771 и выше не работает javascript на FTP (Opera bug-263787. Разработчики отключали javascript для локальных страниц, но перестарались).
Версии FlashGet-a выше 1.82, имеют баг приводящий к вылету FlashGot.exe при попытке "Закачать всё".

Удаление:
Снять галочку "Полная интеграция с Opera". Удалить Opera\oget. Переименовать menu.ini_1.bak в menu.ini (в папке Opera\defaults или \profile\menu).

Список поддерживаемых качалок:
BitComet
Download Accelerator Plus
Download Master
FlashGet
Free Download Manager
FreshDownload
GetRight
GigaGet
HiDownload
InstantGet
Internet Download Accelerator
Internet Download Manager
LeechGet
Mass Downloader
NetAnts
Net Transport
Net Transport 2
Orbit
ReGet
Star Downloader
TrueDownloader
Thunder
WellGet
wxDownload Fast

RapGet
Universal Share Downloader
--------------------------------------
Скачать: http://www.esnips.com/doc/92cb57e4-c625-44a3-9d2c-484762ca20fe/oGet

я пользуюсь, и скриптов никаких ненадо.

Опубликовано ср, 25/06/2008 - 05:54 пользователем Paul_TC

Можно ли сделать отложенную отправку файлов?
Например, заходишь под своим аккаутном, отметил произведения или их группу, нажать на кнопочку и отправка произойдёт когда сервер будет свободен на указанный ранее почтовый ящик или FTP.

Ещё одно пожелание.
Если создаётся архив со сборником одного автора, то внутри делать папки с названием серий, если таковые есть.
X