LinuxForum.Fans
Тема

Скачивание wget

Автор: valokorden 9 сообщений 971 просмотров
#318431

Как скачать файлы с сайта допустим от 1 до 100 в формате пдф
чтоб он сам подставлял номер файла, 1 скачал начал второй?

#318432

Как-то так?

text
wget -r -nH http://some-site.org/docs/{1-100}.pdf
#318435

Это же еще зависит от того може ли сайт такое позволить? Или в любом случае будет качаться

#318439

Да, зависит, если там есть эти 100 PDF-ок, то они будут скачаны :)
wget умеет и все подряд качать:

text
wget -r -nH http://some-site.org/*.pdf

Будут скачаны вообще все PDF-ки, а не только с имнами 1.pdf, 2.pdf ... 100.pdf.

#318448

видимо там на сайте стоит ограничение на такое скачивание, пробовал я через * рекурсивную скачку, работает только по одному

#318452

А можно адресок на посмотреть?

#319164

возможно на сайте стоит ограничение на скачивание одновременно с одного айпи пдф-файлов...

#319257

Прошу пардону, возможно я отстал от жизни, но разве wget уже научился использовать подстановочные символы при скачивании по HTTP? Насколько я помню, такое себе можно было позволить только при скачивании по FTP, так как FTP-серверы позволяют запрашивать список имеющихся на них файлов. А при работе с HTTP приходилось либо выкачивать сайт целиком, либо точно знать URL каждого файла и скачивать эти файлы поодиночке. Как-то вот так...

#319406
yars написал:
Да, зависит, если там есть эти 100 PDF-ок, то они будут скачаны :)
wget умеет и все подряд качать:
text
wget -r -nH http://some-site.org/*.pdf

Будут скачаны вообще все PDF-ки, а не только с имнами 1.pdf, 2.pdf ... 100.pdf.

Ну как бы ложное мнение ибо шелл разберет сию строку и должен подставить вместо *.pdf файлы удовлетворяющие сему шаблону.
так как путь не найден, то он повидимому его игнорит и передает вгету, на что тот радостно отвечает:
wget -r -nH http://some-site.org/*.pdf
Попередження: в HTTP не підтримуються шаблони.
Вот если б вы качали wget -r -nH http://some-site.org/index.html
а там были ссілки на все пдф, то качнуло б все пдф, а так же все остальное...
А вообще интересно как он сканирует штмл-сайт если ему не дают права читать директорию (это правило номер 1 почти везде по умолчанию для сайтов)?

Войдите или зарегистрируйтесь, чтобы ответить.