WEB-качалка: Wget или cURL?

Libretto


Существует web-качалка Libretto, написанная на PHP. Всё управление происходит через веб-интерфейс. Мне это кажется неудобным. Сижу я в Лисе и для скачивания файла мне надо открывать страницу, вводить/копировать туда линк на файл... А я хочу качать файлы, как обычно - кнопкой в браузере "Скачать", но что бы сам процесс запускался на стороне сервера.

Тем не менее, продукт может быть интересен:
Домашка - http://libretto.sourceforge.net/
Настройка - http://www.siniy.ws/2010/03/26/libretto
Настройка ближе к FreeNAS - https://sourceforge.net/apps/phpbb/freenas/viewtopic.php?f=25&t=3276

PyLoad

Следующей качалкой будет питоновский монстер.

Умеет очень многое, поддерживает основные файлообменники. Управляется уже не только с web-морды, но и с GUI-клиента

Домашка - http://pyload.org/
Установка на FreeNAS - http://freenaswiki.ru/doku.php/ustanovka_pyload
И ещё буквы по интеграции на FreeNAS - https://sourceforge.net/apps/phpbb/freenas/viewtopic.php?f=25&t=8179#p40302
Но опять таки, для добавления закачки надо пользоваться копи-пастом линка :( Поэтому далее сконцентрируемся на CLI-качалках (консольных), которым можно передать командную строку прямо из браузера.


Wget - wiki

-b Перейти в фоновый режим после запуска. Если файл для сообщений не указан параметром -o, то он записывается в wget-log

-o logfile Записывать все сообщения в logfile. Иначе они будут направлены в stderr.

-a logfile Дополнить logfile. Как и -o, только logfile не заменяется, а дополняется. Если logfile не существует, создается новый файл. 

-c Возобновление загрузки файла. Используется, если загрузка файла была прервана. 

   Если в текущей папке уже есть файл с именем ls-lR.Z, то Wget проверит, соответствует ли данный файл загружаемому (не по размеру!), и если это так, то отправит запрос на сервер на продолжение загрузки файла с того же места, где оборвалась загрузка в прошлый раз.

   Помните, что при обрыве связи Wget повторяет попытки дозагрузки самостоятельно и без параметра -c, и только когда он "сдастся" и завершит свою работу, то для возобновления загрузки файла будет нужен этот параметр.

-N Включить сравнение по дате.

-r Включить рекурсивную загрузку.

-nc Если при загрузке сайта связь оборвалась, то укажите этот параметр для продолжения загрузки с места прерывания связи.

    При запуске Wget с параметром -r, но без -N или -nc, новая загрузка сайта приведет к замене уже загруженных файлов. При указании параметра -nc загрузка продолжится с места обрыва и загруженные файлы не будут загружаться заново (если только они не изменились). 

   При запуске Wget с параметром -N, с или без -r, файл будет загружен только если он новее уже существующего, или если размер его не совпадает с имеющейся копией (см. Сравнение по дате). -nc не комбинируется с -N. 

Про имя выходного файла прочёл тут:

если оставлять одним и тем же выходное имя файла (ключ -O), то можно качать один файл частями в любое время и использую каждый раз новую ссылку (и с изменившимся cookie).

Пример:

Загрузить в фоне файл (подразумеваем длительную загрузку с разрывами)

используя 60 попыток (по умолчанию 20) 

сообщения дополняем в wget.log

в папку /usr/Download

продолжать загрузку с места дисконнекта

с ограничением скорости в 800k

 

wget -O "bigfile.zip" -b -t 60 -a wget.log -P/usr/Download -nc --limit-rate=800k http://byfly.by/bigfile.zip

cURL - wiki

-s Silent

curl -L -o "write_file_name.exe"

 

Всё это прекрасно, но не Wget, не cURL не умеют качать многопоточно :(

 

 

 

Там-там-м-м! А вот к чему мы шли! 

Многопоточность из консоли!

Axel 

Существует скрипт для многопоточного скачивания - McURL

Но вот на что я наткнулся: Multi-part загрузка файлов, используя Axel

Домашка - http://axel.alioth.debian.org/

Для нас можно взять в портах: ftp://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-7.3-release/Latest/axel.tbz

Опций будет поменьше, чем у предшествующих аксакалов:

Опции:
 -s x    Specify maximum speed (bytes per second)
 -n x    Specify maximum number of connections
 -o f    Specify local output file
 -S [x]  Search for mirrors and download from x servers
 -N      Just don't use any proxy server
 -q      Leave stdout alone
 -v      More status information
 -a      Alternate progress indicator
 -h      This information
 -V      Version information

Хотя, некоторые опции можно задать и в конфиге /etc/axelrc
Кстати, эта качалка поддерживается и дополнением FlashGot к FireFox.

UPD: май 2012 - Финальные аккорды по этой теме: web-качалка finality