Выкачка всего. Как?

Опубликовано пн, 08/10/2007 - 03:47 пользователем oleg77
Forums: 
Функциональность

Захожу на страницу выкачка всего . Генерирую список по fb2 . 70 с чем-то тысяц книг на 8 страницах . Хорошо . А дальше то что делать ? Как закачать все одним файлом ?

Опубликовано пн, 08/10/2007 - 21:21 пользователем larin

Одним - никак.
Сейчас случайно есть возможность - ftp://anonymous@librusec.net@ftp.librusec.net/fb2.tgz - именно что все fb2 одним файлом, по состоянию на 3 октября. Осторожно, 9 гиг.
Штатно - полученный список засовывается в качалку, и она уже качает. По одному файлику. Я лично предпочитаю wget, но есть масса более дружественных.

Опубликовано вт, 09/10/2007 - 03:31 пользователем oleg77

А сколько времени предположительно этот файл будет на сервере ? За день ведь не скачать :)

Опубликовано вт, 09/10/2007 - 03:34 пользователем larin

За полгода ручаюсь.

Опубликовано пт, 12/10/2007 - 10:48 пользователем vvt

А нельзя ли этот 23-гигафайл разбить хотя бы по 4.5 гига, чтобы их можно было независимо записывать на DVD и пользоваться?
А то мало что места не хватит для записи, а потом что с ним делать?

Опубликовано пт, 12/10/2007 - 13:54 пользователем larin

Он вообще-то случайно образовался, при переезде с хостинга на хостинг.
А тут попросили...
Я и не стал удалять.

Опубликовано ср, 17/10/2007 - 11:20 пользователем oleg77

Качается файл на 20.5 Гига , при попытке открыть - неожиданный конец архива , при распаковке распаковывает 3.5 гига , дальше одни ошибки ( winrar и 7zip - одно и то же ) . Скачал повторно - такой же результат. Может файлик на сервере побился ?

Опубликовано ср, 17/10/2007 - 13:35 пользователем larin

пересобрал, упаковал в tgz и положил на ftp: ftp://anonymous@librusec.net@ftp.librusec.net/fb2.tgz

Опубликовано чт, 18/10/2007 - 11:00 пользователем FiL

говорит правей нет.

Опубликовано чт, 18/10/2007 - 11:39 пользователем oleg77

Что-то не везет . Менеджеры закачки и браузеры считают fb2.tgz директорией . Пытаются в нее войти ( cwd /fb2.tgz )и не могут в нее войти . А файла такого не видят .

Опубликовано чт, 18/10/2007 - 12:29 пользователем dzver

Проблема в permissions, надеюсь Larin исправит:

ftp> ls
200 PORT command successful
150 Opening ASCII mode data connection for file list
lrwxrwxrwx 1 anonymous ilarin 7 Oct 6 01:24 1.pl -> pl/1.pl
drwx---r-x 2 anonymous ilarin 4096 Oct 17 18:54 books.man
drwxr-xr-x 2 anonymous ilarin 12288 Oct 10 02:07 books.notes
-rw------- 1 anonymous ilarin 10037893120 Oct 16 04:26 fb2.tgz
drwx-----x 3 anonymous ilarin 12288 Oct 12 07:03 modlogan
drwx-----x 2 anonymous ilarin 4096 Oct 6 07:01 webalizer
226 Transfer complete.

Опубликовано чт, 18/10/2007 - 13:55 пользователем larin

Что-то хостинг мутит - вчера было нормально, я проверял.
Написал им, будут разбираться.
У них какие-то проблемы с большими файлами.
Разберуться - отпишу.

Опубликовано сб, 20/10/2007 - 03:12 пользователем larin

работает ftp://anonymous@librusec.net@ftp.librusec.net/fb2.tgz , пароль пустой

Опубликовано пт, 12/10/2007 - 13:09 пользователем mvolovich

Главное не удаляйте fb2.tar ... Пожалуйста.

Опубликовано пт, 12/10/2007 - 14:08 пользователем larin

не буду.

Опубликовано чт, 18/10/2007 - 16:37 пользователем daugavpils

И все же... это .. как там с выкачкой всего?

Опубликовано чт, 18/10/2007 - 20:59 пользователем larin

будет.

Опубликовано сб, 20/10/2007 - 03:12 пользователем larin

работает ftp://anonymous@librusec.net@ftp.librusec.net/fb2.tgz , пароль пустой

Опубликовано вс, 21/10/2007 - 15:21 пользователем dzver

Поставил на торрент http://torrents.thepiratebay.org/3852247/librusec-library-all-fb2-Oct-20-2007.tgz.3852247.TPB.torrent
Буду шарить несколько дней, потом не знаю.

P.S У меня распаковка заканчивается плохо:
....
books.fb2/Rene__Manfredi_Vyishe_neba.fb2
books.fb2/Yuriy_Ignatevich_Muhin_Kak_uroduyut_istoriyu_tvoey_Rodinyi.fb2
books.fb2/Yuriy_Ignatevich_Muhin_Za_Derzhavu_obidno1.fb2

gzip: stdin: unexpected end of file
tar: Unexpected EOF in archive
tar: Unexpected EOF in archive
tar: Error is not recoverable: exiting now

Но, похоже бОльшая часть /если не все/ распаковывается нормально, 24G 80389 файла:
manul@siduxbox:/backup/archives/librusec$ du -sh books.fb2/
24G books.fb2/
manul@siduxbox:/backup/archives/librusec$ ls -al books.fb2/ | wc -l
80389

Опубликовано вс, 21/10/2007 - 16:01 пользователем larin

можешь взять общий список http://lib.rus.ec/librusec.zip, проверить чего не хватило и докачать http://lib.rus.ec/pl/2.pl?ID (ID в списке)

Опубликовано чт, 25/10/2007 - 08:05 пользователем isamson

выкачка всего не работает - сгенерить файл и все, перерисовывает страницу

Опубликовано чт, 25/10/2007 - 17:45 пользователем larin

Странно.
За последние сутки укачано два гига.
На каком авторе не работает?

Опубликовано пт, 26/10/2007 - 05:57 пользователем isamson

когда ставлю all или указываю расширение fb2 например, проверил еще - вообще ничего не генерит даже когда ид писателя указать
кстати по фтп тоже не пускает - пароль просит , на пустой пароль не пускает

Опубликовано пн, 12/11/2007 - 09:18 пользователем isamson

Так кто-нибудь скачивает таким путем или нет, у меня нифига не получается. Ни по расширению, ни по тематике, ни по индексу. Не генерится список и все.

Опубликовано ср, 14/11/2007 - 00:29 пользователем belomor

ага
тоже не получается

Опубликовано вс, 25/11/2007 - 00:38 пользователем BRMAIL

скачал ftp://anonymous@librusec.net@ftp.librusec.net/fb2.tgz , пароль пустой
Чуток более 9 гиг. Винрар почти в самом конце дает CRC Error и ничего не распаковывает.
старый досовский pzipfix его не берет мз за размера.
Чем бы его попинать?

Опубликовано вс, 25/11/2007 - 00:46 пользователем BRMAIL

попробовал на нем же ObjectFixZip - безрезультатно

*********************************************************************
Current file: "E:\fb2.zip", Total 0 files inside archive.
Checking data integrity...
Finished

Опубликовано вс, 25/11/2007 - 17:51 пользователем larin

странно всё это, у меня распаковывается.
Перепаковал по кусочкам и выложил - http://lib2.rus.ec/books.fb2/fb20.zip, http://lib2.rus.ec/books.fb2/fb21.zip, http://lib2.rus.ec/books.fb2/fb22.zip и так далее до http://lib2.rus.ec/books.fb2/fb279.zip. (примерно по тысяче книжек на кусочек, +-100мег)

Опубликовано вс, 25/11/2007 - 19:45 пользователем BRMAIL

Спасибо, пробуем.
Список линков для заправки во флашгет
259 ссылок
Странно работает кнопка добавить линк, ну ручками если , то работает

Опубликовано вс, 25/11/2007 - 20:08 пользователем BRMAIL

Кстати о птичках. Полученные файлики, будут положены в общий фолдер либрусек на диске, после чего на него будет натравлена отечественная софтина с названием Архивариус 3000 (офигеть, купленный, не краденный!),
он сгенерирует здоровый индекс, (можно и не здоровый, но я предпочту потратить больше места в угоду удобности поиска) Поиск по индексу потом - моментальный.
Удобство - ну зависит от умения составлять запросы на поиск.
FB2 формат он понимает.

Опубликовано пн, 26/11/2007 - 03:14 пользователем BRMAIL

облом в середине пути
-------------------------
Sun Nov 25 21:50:16 2007 GET /books.fb2/fb30.zip HTTP/1.1
Sun Nov 25 21:50:16 2007 Host: lib2.rus.ec
Sun Nov 25 21:50:16 2007 Accept: */*
Sun Nov 25 21:50:16 2007 User-Agent: Mozilla/4.0 (compatible; MSIE 5.00; Windows 98)
Sun Nov 25 21:50:16 2007 Pragma: no-cache
Sun Nov 25 21:50:16 2007 Cache-Control: no-cache
Sun Nov 25 21:50:16 2007 Connection: close
Sun Nov 25 21:50:16 2007 HTTP/1.1 404 Not Found
Sun Nov 25 21:50:16 2007 Date: Mon, 26 Nov 2007 02:50:18 GMT
Sun Nov 25 21:50:16 2007 Server: Apache
Sun Nov 25 21:50:16 2007 Last-Modified: Tue, 28 Nov 2006 21:58:33 GMT
Sun Nov 25 21:50:16 2007 ETag: "45ad687-251-456cb109"
Sun Nov 25 21:50:16 2007 Accept-Ranges: bytes
Sun Nov 25 21:50:16 2007 Content-Length: 593
Sun Nov 25 21:50:16 2007 Connection: close
Sun Nov 25 21:50:16 2007 Content-Type: text/html
Sun Nov 25 21:50:16 2007 Error occured!
-------------------------
и так по файл fb209.zip
ДАлее качается, дошел до fb230 счас .
Там в середине файлы то должны быть?

Опубликовано пн, 26/11/2007 - 12:27 пользователем larin

$ ls -l fb2*zip
-rw-r--r-- 1 librusec pg1449080 140106492 2007-10-29 05:44 fb20.zip
-rw-r--r-- 1 librusec pg1449080 162439168 2007-10-29 05:46 fb21.zip
-rw-r--r-- 1 librusec pg1449080 126450197 2007-10-29 06:06 fb210.zip
-rw-r--r-- 1 librusec pg1449080 139602149 2007-10-29 06:09 fb211.zip
-rw-r--r-- 1 librusec pg1449080 113254176 2007-10-29 06:11 fb212.zip
-rw-r--r-- 1 librusec pg1449080 83895975 2007-10-29 06:12 fb213.zip
-rw-r--r-- 1 librusec pg1449080 115002506 2007-10-29 06:14 fb214.zip
-rw-r--r-- 1 librusec pg1449080 122864307 2007-10-29 06:16 fb215.zip
-rw-r--r-- 1 librusec pg1449080 138528161 2007-10-29 06:19 fb216.zip
-rw-r--r-- 1 librusec pg1449080 163110385 2007-10-29 06:23 fb217.zip
-rw-r--r-- 1 librusec pg1449080 147049784 2007-10-29 06:25 fb218.zip
-rw-r--r-- 1 librusec pg1449080 171582057 2007-10-29 06:29 fb219.zip
-rw-r--r-- 1 librusec pg1449080 100552258 2007-10-29 05:48 fb22.zip
-rw-r--r-- 1 librusec pg1449080 142233303 2007-10-29 06:31 fb220.zip
-rw-r--r-- 1 librusec pg1449080 145209030 2007-10-29 06:34 fb221.zip
-rw-r--r-- 1 librusec pg1449080 170481704 2007-10-29 06:38 fb222.zip
-rw-r--r-- 1 librusec pg1449080 119212912 2007-10-29 06:41 fb223.zip
-rw-r--r-- 1 librusec pg1449080 109065314 2007-10-29 06:43 fb224.zip
-rw-r--r-- 1 librusec pg1449080 155814767 2007-10-29 06:46 fb225.zip
-rw-r--r-- 1 librusec pg1449080 79300172 2007-10-29 06:48 fb226.zip
-rw-r--r-- 1 librusec pg1449080 73550329 2007-10-29 06:49 fb227.zip
-rw-r--r-- 1 librusec pg1449080 126744831 2007-10-29 06:51 fb228.zip
-rw-r--r-- 1 librusec pg1449080 141695937 2007-10-29 06:53 fb229.zip
-rw-r--r-- 1 librusec pg1449080 105909592 2007-10-29 05:50 fb23.zip
-rw-r--r-- 1 librusec pg1449080 181991905 2007-10-29 06:56 fb230.zip
-rw-r--r-- 1 librusec pg1449080 128723227 2007-10-29 06:58 fb231.zip
-rw-r--r-- 1 librusec pg1449080 106219393 2007-10-29 07:00 fb232.zip
-rw-r--r-- 1 librusec pg1449080 148341143 2007-10-29 07:03 fb233.zip
-rw-r--r-- 1 librusec pg1449080 143021996 2007-10-29 07:06 fb234.zip
-rw-r--r-- 1 librusec pg1449080 146513793 2007-10-29 07:10 fb235.zip
-rw-r--r-- 1 librusec pg1449080 100775899 2007-10-29 07:11 fb236.zip
-rw-r--r-- 1 librusec pg1449080 117903029 2007-10-29 07:13 fb237.zip
-rw-r--r-- 1 librusec pg1449080 149011567 2007-10-29 07:16 fb238.zip
-rw-r--r-- 1 librusec pg1449080 95975640 2007-10-29 07:19 fb239.zip
-rw-r--r-- 1 librusec pg1449080 109365575 2007-10-29 05:52 fb24.zip
-rw-r--r-- 1 librusec pg1449080 153388479 2007-10-29 07:22 fb240.zip
-rw-r--r-- 1 librusec pg1449080 120135494 2007-10-29 07:24 fb241.zip
-rw-r--r-- 1 librusec pg1449080 102231125 2007-10-29 07:26 fb242.zip
-rw-r--r-- 1 librusec pg1449080 133487610 2007-10-29 07:28 fb243.zip
-rw-r--r-- 1 librusec pg1449080 95185478 2007-10-29 07:30 fb244.zip
-rw-r--r-- 1 librusec pg1449080 154784493 2007-10-29 07:34 fb245.zip
-rw-r--r-- 1 librusec pg1449080 136991497 2007-10-29 07:36 fb246.zip
-rw-r--r-- 1 librusec pg1449080 140631249 2007-10-29 07:38 fb247.zip
-rw-r--r-- 1 librusec pg1449080 124202441 2007-10-29 07:40 fb248.zip
-rw-r--r-- 1 librusec pg1449080 122473495 2007-10-29 07:42 fb249.zip
-rw-r--r-- 1 librusec pg1449080 100993401 2007-10-29 05:54 fb25.zip
-rw-r--r-- 1 librusec pg1449080 105249543 2007-10-29 07:44 fb250.zip
-rw-r--r-- 1 librusec pg1449080 151352581 2007-10-29 07:46 fb251.zip
-rw-r--r-- 1 librusec pg1449080 106526013 2007-10-29 07:48 fb252.zip
-rw-r--r-- 1 librusec pg1449080 103739305 2007-10-29 07:49 fb253.zip
-rw-r--r-- 1 librusec pg1449080 136522790 2007-10-29 07:51 fb254.zip
-rw-r--r-- 1 librusec pg1449080 110398852 2007-10-29 07:53 fb255.zip
-rw-r--r-- 1 librusec pg1449080 91621003 2007-10-29 07:55 fb256.zip
-rw-r--r-- 1 librusec pg1449080 123142583 2007-10-29 07:57 fb257.zip
-rw-r--r-- 1 librusec pg1449080 131400820 2007-10-29 08:00 fb258.zip
-rw-r--r-- 1 librusec pg1449080 90816538 2007-10-29 08:02 fb259.zip
-rw-r--r-- 1 librusec pg1449080 125953984 2007-10-29 05:56 fb26.zip
-rw-r--r-- 1 librusec pg1449080 148476839 2007-10-29 08:04 fb260.zip
-rw-r--r-- 1 librusec pg1449080 127758943 2007-10-29 08:07 fb261.zip
-rw-r--r-- 1 librusec pg1449080 117035021 2007-10-29 08:09 fb262.zip
-rw-r--r-- 1 librusec pg1449080 104004866 2007-10-29 08:11 fb263.zip
-rw-r--r-- 1 librusec pg1449080 93581181 2007-10-29 08:12 fb264.zip
-rw-r--r-- 1 librusec pg1449080 101746529 2007-10-29 08:14 fb265.zip
-rw-r--r-- 1 librusec pg1449080 68525466 2007-10-29 08:15 fb266.zip
-rw-r--r-- 1 librusec pg1449080 120331553 2007-10-29 08:17 fb267.zip
-rw-r--r-- 1 librusec pg1449080 139331438 2007-10-29 08:20 fb268.zip
-rw-r--r-- 1 librusec pg1449080 105968786 2007-10-29 08:21 fb269.zip
-rw-r--r-- 1 librusec pg1449080 149504967 2007-10-29 06:00 fb27.zip
-rw-r--r-- 1 librusec pg1449080 154351934 2007-10-29 08:24 fb270.zip
-rw-r--r-- 1 librusec pg1449080 120626490 2007-10-29 08:27 fb271.zip
-rw-r--r-- 1 librusec pg1449080 111610697 2007-10-29 08:29 fb272.zip
-rw-r--r-- 1 librusec pg1449080 119046334 2007-10-29 08:31 fb273.zip
-rw-r--r-- 1 librusec pg1449080 167100862 2007-10-29 08:35 fb274.zip
-rw-r--r-- 1 librusec pg1449080 134306239 2007-10-29 08:37 fb275.zip
-rw-r--r-- 1 librusec pg1449080 147561786 2007-10-29 08:39 fb276.zip
-rw-r--r-- 1 librusec pg1449080 157566122 2007-10-29 08:41 fb277.zip
-rw-r--r-- 1 librusec pg1449080 178335230 2007-10-29 08:44 fb278.zip
-rw-r--r-- 1 librusec pg1449080 102019529 2007-10-29 08:46 fb279.zip
-rw-r--r-- 1 librusec pg1449080 92836395 2007-10-29 06:03 fb28.zip
-rw-r--r-- 1 librusec pg1449080 89787772 2007-10-29 06:04 fb29.zip

всего 80 штук

Опубликовано пн, 26/11/2007 - 19:26 пользователем BRMAIL

80 штук. 10 гиг суммарный размер.
скачалось и распаковалось . Спасибо

Опубликовано вс, 25/11/2007 - 23:27 пользователем dzver

Кстати у меня есть скрипт который автоматически скачивает все последние поступления с либрусека, когда что-то новое появится.
Типа для синхры.
Только в первый раз когда запускать, надо однажды задать начальное ID чтобы не начинал с самого начала (типа 93617, если у нас есть fb2.tgz или его еквивалент).
Все работает, только я как-то не пользовался.
Ето кому-нибудь надо?
P.S Под виндой, vbscript.

Опубликовано пн, 26/11/2007 - 03:15 пользователем BRMAIL

так публикуй прям тут. Или оно очень длинное?

Опубликовано пн, 26/11/2007 - 04:24 пользователем dzver

http://lib.rus.ec/node/610
X