Делаю WEB-качалку. Для этого настраиваю SSH-авторизацию по ключам:
Веб качалка http, ftp
В статье подправил путь пользователя
wgetu.
Сгенерированные
PuttyGen ключи кладу под нос
SSH, именуя их, как
id_rsa
Проверяю коннект с win-машинки:
ssh -v wgetu@10.10.10.10
Ставлю всё:
curl, wget, axel
Проверяю закачку.
cliget говорит, что для
wget это выглядело бы так:
wget
--header='Host: ftp.byfly.by'
--header='User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; nick:1.9.2.28) Gecko/20120306 Firefox/3.6.28'
--header='Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'
--header='Accept-Language: en-us,en;q=0.5' --header='Accept-Encoding: gzip,deflate'
--header='Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7'
--header='Keep-Alive: 115'
--header='Connection: keep-alive'
--header='Referer: http://ftp.byfly.by/'
--header='Cookie: __utma=xxx'
'http://ftp.byfly.by/robots.txt'
--content-disposition
-c
Для
axel попробую так:
ssh wgetu@10.10.10.10 "/usr/local/bin/axel -o '/mnt/1TB/Download/robots.txt' 'http://ftp.byfly.by/robots.txt'"
// Выход из axel - Ctrl-Z
Добавляю в FlashGot (подсматриваю
сюда):
win-wget
работает, но зачем?
C:\WINDOWS\system32\cmd.exe
/C c:\usr\GnuWin32\bin\wget.exe [--directory-prefix=s:\Download] [--referer=REFERER] [--user-agent=UA] [URL]
ssh-wget
работает, но надо свернуть окно, мешает
C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ [--referer=REFERER] [URL]
ssh-axel
работает, но не докачивает (не переписывает)
C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/axel -o /mnt/1TB/Download/[FNAME] [URL]
Избавляюсь от консольного окна в Винде.
ssh-wget
C:\WINDOWS\system32\cmd.exe
/C c:\usr\ssh-wget.cmd [REFERER] [URL]
Содержимое командного файла:
c:\usr\hstart.exe /NOCONSOLE "C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 nohup /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ --referer=%1 %2"
Здесь для запуска SSH-консоли в фоне используется первая попавшаяся на просторах инета утилита Hidden Start. Командный файл используется для сворачивания кавычек, которые FlashGot люто не полюбил с самого начала в целях безопасности. Но без кавычек запустить hstart не получится, он каждый аргумент оптом запускает, как отдельный процесс. А вот если referer в кавычках, то начинается канитель
:(
По итогу качалка на стороне сервера у меня получилась, но в частных самых простых случаях. Для рапид и депозитов пожалуй придётся воспользоваться cliget и ручками (самому дописать C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 к буферу и закачка пойдёт в домашний католог), ибо в FlashGot все параметры передать оказалось проблемно для меня. Утешает, что я на самом деле уже точно и не вспомню, когда последний раз пользовался выше упомянутыми файлопомойками :)
Заметка на полях: Качаем с wget или curl из rapidshare.com (--save-cookies)
UPDATE 08.02.2013
Из комментов: sisugi (
http://sisugi.livejournal.com/)
Привет.
Может тебе пригодиться.
Нехватало веб-качалки на nas4free (раньше использовал pyLoad, но добавление ссылок copy-paste вводило в уныние).
Воодушевившись твоими записями решил настроить идентификацию по ключам и запуск wget или что то в этом роде.
Но настроив openssh и скормив ключ putty пришла мысль (если не рпав, то поправь):
- закачка будет продолжаться пока активно/свернуто окно с сессией ssh. То есть закрыв окно закачка на НАСе хериться.
В итоге поставил pyLoad.
А так как у него есть CLI, решил попробовать его использовать в своих целях.
Через долгий путь проб и ошибок был рождён следующий батник (ногами не бить, я прозженный виндузятник =))) ):
set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем обромляющие кавычки
set "STRURL=%STRURL:~1,-1%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"
В настройках FlashGot добавляем новый менеджер закачек и указываем к нему путь.
Всё. При запуске закачки наблюдаем долю секунды моргнувшее окошко cmd и закачка идёт на стороне файлопомойки.
Апдейт батничка.
set "STRURL=%STRURL:~1,-1%" заменить на set "STRURL=%STRURL:""=%"
Переопределяет переменную STRURL обрезая не кавычки, а любые символы слева и справа. А так как в некоторых случаях FlashGot возвращает url без кавычек, то по итогу url получается некорректным.
set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем кавычки
set "STRURL=%STRURL:""=%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"
Ещё забыл добавить. Не смог корректно запустить pyLoadCli.py в putty - постоянно получаю ошибки:
>>nas:~# python /mnt/data/pyload/pyLoadCli.py -uUser --pw=123456 status
>>Unknown Argument(s) "-uUser --pw=789456 status"
Так как в питоне не разбираюсь - возможную ошибку в коде pyLoadCli.py не исправлял, а внес "хардкодом" пароль в строку:
#client = ThriftClient(config["addr"], int(config["port"]), username, password)
client = ThriftClient(config["addr"], int(config["port"]), username, "123456")
Пока поработает с костылём =)
