web-качалка finality

Делаю WEB-качалку. Для этого настраиваю SSH-авторизацию по ключам: Веб качалка http, ftp
В статье подправил путь пользователя wgetu.
Сгенерированные PuttyGen ключи кладу под нос SSH, именуя их, как id_rsa
Проверяю коннект с win-машинки: ssh -v wgetu@10.10.10.10
Ставлю всё: curl, wget, axel
Проверяю закачку.
cliget говорит, что для wget это выглядело бы так:

wget 

--header='Host: ftp.byfly.by' 

--header='User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; nick:1.9.2.28) Gecko/20120306 Firefox/3.6.28' 

--header='Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' 

--header='Accept-Language: en-us,en;q=0.5' --header='Accept-Encoding: gzip,deflate' 

--header='Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7' 

--header='Keep-Alive: 115' 

--header='Connection: keep-alive' 

--header='Referer: http://ftp.byfly.by/' 

--header='Cookie: __utma=xxx' 

'http://ftp.byfly.by/robots.txt' 

--content-disposition 

-c

 Для axel попробую так:
ssh wgetu@10.10.10.10 "/usr/local/bin/axel -o '/mnt/1TB/Download/robots.txt' 'http://ftp.byfly.by/robots.txt'"

  // Выход из axel - Ctrl-Z

Добавляю в FlashGot (подсматриваю сюда):

win-wget

работает, но зачем?

C:\WINDOWS\system32\cmd.exe
/C c:\usr\GnuWin32\bin\wget.exe [--directory-prefix=s:\Download] [--referer=REFERER] [--user-agent=UA] [URL]

ssh-wget

работает, но надо свернуть окно, мешает

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ [--referer=REFERER] [URL]

ssh-axel

работает, но не докачивает (не переписывает)

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/axel -o /mnt/1TB/Download/[FNAME] [URL]

Избавляюсь от консольного окна в Винде.

ssh-wget

C:\WINDOWS\system32\cmd.exe
/C c:\usr\ssh-wget.cmd [REFERER] [URL]

Содержимое командного файла:
c:\usr\hstart.exe /NOCONSOLE "C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 nohup /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ --referer=%1 %2"
Здесь для запуска SSH-консоли в фоне используется первая попавшаяся на просторах инета утилита Hidden Start. Командный файл используется для сворачивания кавычек, которые FlashGot люто не полюбил с самого начала в целях безопасности. Но без кавычек запустить hstart не получится, он каждый аргумент оптом запускает, как отдельный процесс. А вот если referer в кавычках, то начинается канитель :(


По итогу качалка на стороне сервера у меня получилась, но в частных самых простых случаях. Для рапид и депозитов пожалуй придётся воспользоваться cliget и ручками (самому дописать C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 к буферу и закачка пойдёт в домашний католог), ибо в FlashGot все параметры передать оказалось проблемно для меня. Утешает, что я на самом деле уже точно и не вспомню, когда последний раз пользовался выше упомянутыми файлопомойками :)

Заметка на полях: Качаем с wget или curl из rapidshare.com (--save-cookies)


UPDATE 08.02.2013
Из комментов: sisugi (http://sisugi.livejournal.com/)

Привет.

Может тебе пригодиться.

Нехватало веб-качалки на nas4free (раньше использовал pyLoad, но добавление ссылок copy-paste вводило в уныние).
Воодушевившись твоими записями решил настроить идентификацию по ключам и запуск wget или что то в этом роде.
Но настроив openssh и скормив ключ putty пришла мысль (если не рпав, то поправь):

- закачка будет продолжаться пока активно/свернуто окно с сессией ssh. То есть закрыв окно закачка на НАСе хериться.

В итоге поставил pyLoad.

А так как у него есть CLI, решил попробовать его использовать в своих целях.
Через долгий путь проб и ошибок был рождён следующий батник (ногами не бить, я прозженный виндузятник =))) ):

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем обромляющие кавычки
set "STRURL=%STRURL:~1,-1%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

В настройках FlashGot добавляем новый менеджер закачек и указываем к нему путь.

Всё. При запуске закачки наблюдаем долю секунды моргнувшее окошко cmd и закачка идёт на стороне файлопомойки.

Апдейт батничка.

set "STRURL=%STRURL:~1,-1%" заменить на set "STRURL=%STRURL:""=%"
Переопределяет переменную STRURL обрезая не кавычки, а любые символы слева и справа. А так как в некоторых случаях FlashGot возвращает url без кавычек, то по итогу url получается некорректным.

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем кавычки
set "STRURL=%STRURL:""=%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

 
 Ещё забыл добавить. Не смог корректно запустить pyLoadCli.py в putty - постоянно получаю ошибки:
>>nas:~# python /mnt/data/pyload/pyLoadCli.py -uUser --pw=123456 status
>>Unknown Argument(s) "-uUser --pw=789456 status"

Так как в питоне не разбираюсь - возможную ошибку в коде pyLoadCli.py не исправлял, а внес "хардкодом" пароль в строку:
#client = ThriftClient(config["addr"], int(config["port"]), username, password)
client = ThriftClient(config["addr"], int(config["port"]), username, "123456")
Пока поработает с костылём =)