WIDLE v.0.0.2

Работа над утилитой WIDLE идёт. Но нечто не дают сосредоточится и писать ровный код. Очень гложет глобальное потепление. А может я просто разучился кодить ))) Больше я код выкладывать не буду, стыдно! Но, АДОВ КОТ работает! 
И так, версия ВТОРАЯ базируется на первой, но сильно переработана. Поэтому и кривоват исходник. Но всё тестируется и прогоняется. Чекаются баги, утечки памяти и пр. Теперь WIDLE разумней называть не утилитой, а программой.
Скачать: WIDLE 2

Win7 and OpenSSH

Бог послал кусочек сыра. На этот кусочек злачный поставил я Win7. Про миграцию вкратце я уже писал Миграция инструментария на Win-машине. А сейчас вот столкнулся с затором OpenSSH. Дело в том, что сейчас работаю над управлением скоростью закачки Transmission, который стоит на сервере NAS4Free, из под параллельно смотрящего в инет компа на Win7. Тыркнулся на сервер

ssh -v root@10.10.10.10

А в ответ типа:

Could not create directory '/home/Admin/.ssh'.
Failed to add the host to the list of known hosts (/home/Admin/.ssh/known_hosts).

Крутил-вертел директории и прописал в результате конкретные файлы в конфиге c:\Program Files (x86)\OpenSSH\etc\ssh_config благо файл конфигурации нашёлся! Но и на этот случай его можно указывать в аргументах.

IdentityFile с:/Keys/rsa
UserKnownHostsFile С:/Keys/user_known_hosts

Тогда нашёлся ключ, добавился фингер на хост и всё заработало в тихом режиме.

Что мне не пригодилось, но понравилось и я решил запомнить:
Installing OpenSSH on Windows 7
Памятка пользователям ssh по продвинутым функциям
Но бывает материал в инетах теряется, а не притянуть ли его сюда?

SSH-тоннель, как шифрующий архивирующий прокси

Я работаю в организации, где безопасность на высоте )))
В инете я через прокси. Порты закрыты, всё слушается и читается. Социалки, развлечения и не угодные вырезаны. Ограничение по трафику в гигабайт. Не смотря на то, что мультимедиа вырезана его на месяц совсем не хватает. Самый простой вариант купить 3G модем. Но кто ходит по горам, тот быстрее и по долам )))

Хочу свой прокси, шифрующий и архивирующий трафик.
Можно выйти на этот туалетный сервер с работы по SSH, но я ведь не только работаю, но и живу в организации, где всё читается и слушается. Поэтому есть у меня мыслишка купить хостинг. Об этом позже. А пока буду тренироваться на кошках.

Первое, что делаю, это настраиваю SSH на удалённой машине, которая на свободе, за бугром, на порт 443 вместо стандартного 22. Предварительно, конечно, убеждаюсь, что он (порт) свободен на этой машине. Подразумевается, что мой драконовский фаерволл пропускает 443. Точно открытый порт 80 не использую, так как шифрованный трафик через него будет ну уж слишком подозрителен.

SSH конфигурируется при помощи двух файлов:
/etc/ssh/ssh_config – это общесистемный файл, и
~/.ssh/config – это личные настройки пользователя.

Меняю стандартный порт SSH на удалённой машине:

Правлю файл /etc/ssh/sshd_config

Рисую в нём строки:

Port 443
Compression yes
Ciphers blowfish-cbc,aes128-cbc,3des-cbc,cast128-cbc,arcfour,aes192-cbc,aes256-cbc
После чего перезапускаю sshd

/etc/rc.d/sshd restart

или
killall -1 sshd

Соединяюсь
На рабочей станции запускаю команду:

ssh -p 443 -D 5555 user@$remote -f -N -2 -C -c blowfish-cbc,aes128-cbc,3des-cbc,cast128-cbc,arcfour,aes192-cbc,aes256-cbc

  D 5555 - эмуляция SOCKS сервера через порт 5555 по защищённому каналу (привилегированные порты может перенаправлять только root)
   p 443 - использовать порт 443
   f - работа в фоне, после аутентификации
   N - не запускать shell на удаленном хосте
   2 - вторая версия SSH
   C - компрессия
   c - список способов шифрования по приоритету. На первое место ставлю вроде как быстрый и надёжный.



Это означает, что локальный SSHD слушает порт 5555 на локальной машине и перенаправляет с компрессией на $remote по защищённому каналу на порт 443. Соответственно, в конфигах SSHD $remote должен быть указан порт 443.
 # Ключи имеют приоритет над файлами конфигурации.
В клиенте в качестве SOCKS-proxy указываю localhost:5555

Вариант с использованием PuTTY в картинках на английском расписан тут и на русском тут



Ещё почитать можно:
Туннели с использованием SSH. Режим эмуляции Socks proxy в SSH
Создание SOCKS-сервера

web-качалка finality

Делаю WEB-качалку. Для этого настраиваю SSH-авторизацию по ключам: Веб качалка http, ftp
В статье подправил путь пользователя wgetu.
Сгенерированные PuttyGen ключи кладу под нос SSH, именуя их, как id_rsa
Проверяю коннект с win-машинки: ssh -v wgetu@10.10.10.10
Ставлю всё: curl, wget, axel
Проверяю закачку.
cliget говорит, что для wget это выглядело бы так:

wget 

--header='Host: ftp.byfly.by' 

--header='User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; nick:1.9.2.28) Gecko/20120306 Firefox/3.6.28' 

--header='Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' 

--header='Accept-Language: en-us,en;q=0.5' --header='Accept-Encoding: gzip,deflate' 

--header='Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7' 

--header='Keep-Alive: 115' 

--header='Connection: keep-alive' 

--header='Referer: http://ftp.byfly.by/' 

--header='Cookie: __utma=xxx' 

'http://ftp.byfly.by/robots.txt' 

--content-disposition 

-c

 Для axel попробую так:
ssh wgetu@10.10.10.10 "/usr/local/bin/axel -o '/mnt/1TB/Download/robots.txt' 'http://ftp.byfly.by/robots.txt'"

  // Выход из axel - Ctrl-Z

Добавляю в FlashGot (подсматриваю сюда):

win-wget

работает, но зачем?

C:\WINDOWS\system32\cmd.exe
/C c:\usr\GnuWin32\bin\wget.exe [--directory-prefix=s:\Download] [--referer=REFERER] [--user-agent=UA] [URL]

ssh-wget

работает, но надо свернуть окно, мешает

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ [--referer=REFERER] [URL]

ssh-axel

работает, но не докачивает (не переписывает)

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/axel -o /mnt/1TB/Download/[FNAME] [URL]

Избавляюсь от консольного окна в Винде.

ssh-wget

C:\WINDOWS\system32\cmd.exe
/C c:\usr\ssh-wget.cmd [REFERER] [URL]

Содержимое командного файла:
c:\usr\hstart.exe /NOCONSOLE "C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 nohup /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ --referer=%1 %2"
Здесь для запуска SSH-консоли в фоне используется первая попавшаяся на просторах инета утилита Hidden Start. Командный файл используется для сворачивания кавычек, которые FlashGot люто не полюбил с самого начала в целях безопасности. Но без кавычек запустить hstart не получится, он каждый аргумент оптом запускает, как отдельный процесс. А вот если referer в кавычках, то начинается канитель :(


По итогу качалка на стороне сервера у меня получилась, но в частных самых простых случаях. Для рапид и депозитов пожалуй придётся воспользоваться cliget и ручками (самому дописать C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 к буферу и закачка пойдёт в домашний католог), ибо в FlashGot все параметры передать оказалось проблемно для меня. Утешает, что я на самом деле уже точно и не вспомню, когда последний раз пользовался выше упомянутыми файлопомойками :)

Заметка на полях: Качаем с wget или curl из rapidshare.com (--save-cookies)


UPDATE 08.02.2013
Из комментов: sisugi (http://sisugi.livejournal.com/)

Привет.

Может тебе пригодиться.

Нехватало веб-качалки на nas4free (раньше использовал pyLoad, но добавление ссылок copy-paste вводило в уныние).
Воодушевившись твоими записями решил настроить идентификацию по ключам и запуск wget или что то в этом роде.
Но настроив openssh и скормив ключ putty пришла мысль (если не рпав, то поправь):

- закачка будет продолжаться пока активно/свернуто окно с сессией ssh. То есть закрыв окно закачка на НАСе хериться.

В итоге поставил pyLoad.

А так как у него есть CLI, решил попробовать его использовать в своих целях.
Через долгий путь проб и ошибок был рождён следующий батник (ногами не бить, я прозженный виндузятник =))) ):

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем обромляющие кавычки
set "STRURL=%STRURL:~1,-1%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

В настройках FlashGot добавляем новый менеджер закачек и указываем к нему путь.

Всё. При запуске закачки наблюдаем долю секунды моргнувшее окошко cmd и закачка идёт на стороне файлопомойки.

Апдейт батничка.

set "STRURL=%STRURL:~1,-1%" заменить на set "STRURL=%STRURL:""=%"
Переопределяет переменную STRURL обрезая не кавычки, а любые символы слева и справа. А так как в некоторых случаях FlashGot возвращает url без кавычек, то по итогу url получается некорректным.

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем кавычки
set "STRURL=%STRURL:""=%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

 
 Ещё забыл добавить. Не смог корректно запустить pyLoadCli.py в putty - постоянно получаю ошибки:
>>nas:~# python /mnt/data/pyload/pyLoadCli.py -uUser --pw=123456 status
>>Unknown Argument(s) "-uUser --pw=789456 status"

Так как в питоне не разбираюсь - возможную ошибку в коде pyLoadCli.py не исправлял, а внес "хардкодом" пароль в строку:
#client = ThriftClient(config["addr"], int(config["port"]), username, password)
client = ThriftClient(config["addr"], int(config["port"]), username, "123456")
Пока поработает с костылём =)

Веб качалка http, ftp

Хочется качать не только терренты на стороне FreeNAS, но и web-контент - освобождаем процессорное время рабочих станций.

В FreeNAS создаём пользователя для этого дела - wgetu

Для этого пользователя определим домашнюю директорию /mnt/wget
В этой директории будет хранится публичный ключ. Несмотря на то, что он публичный, выставляем права только на чтение для хозяина wgetu
Даём этому пользователю права на запись в директорию /mnt/Download/
Устанавливаем на Windows-стороне на FireFox дополнение FlashGot
Это дополнение перехватывает из браузера линки файлов и передаёт загрузчикам.
В нашем случае загрузчиком будет Wget на стороне сервера. Ну а более конкретным выбором качалки будем определяться в следующем моём посте - WEB-качалка: Wget или cURL?

Есть ещё эксперементальное дополнение Cliget, но я не совсем понял для чего оно. Это дополнение формирует коммандную строку с куками для wget и curl. На этом автоматизация заканчивается. Добавил отзыв:

Please add to Download Dialog radio button for execute command.
And possibility of addition of a prefix:
ssh wgetuser@serveraddr 'wget -O "download_file.exe"'

Будем ждать новую версию...

Но как запусть процесс на строне сервера?
Через SSH, конечно :)
Подразумевается, что OpenSSH уже стоит.
В коммандной строке уже Windows выполняем:

>ssh wgetu@10.10.10.10 'wget -O......'

Как обойти ввод пароля?

Ключами SSH, конечно :)
На Windows-стороне генерируем ключи:

>ssh-keygen -t dsa

Это мы сгенерировали ключи типа DSA
   - приватный
   - публичный

Приватный служит для подписи (но не шифрования). Подпись создается секретно, но может быть публично проверена. Это означает, что инициатор (в нашем случае Windows-клиент) секретно подписывает, а проверить при помощи публичного ключа может любой. Соответственно FreeNAS-у достаточно знать публичный ключ. Обращаю внимание, что в web-морде FreeNASa не надо указывать сгенерированный приватный ключ. Приватный, в свою очередь, хранится в секрете на Win-клиенте, какбы смешно это не звучало :)
Ключи складываются в профиле пользователя в директорию .ssh
Публичный ключ надо показать проверяющей стороне - FreeNASу.
Заходим на сервак консолью под пользователем wgetu и создаём в домашней директории файл authorized_keys, являющийся публичным ключём:

mkdir ~/.ssh 
touch ~/.ssh/authorized_keys  
chmod 600 ~/.ssh/authorized_keys

Несмотря на то, что ключ публичный, это не означает, что его нельзя подменить. Поэтому даём права только хозяину - wgetu.
Копируем в authorized_keys содержимое публичного ключа с Windows.

Проверяем!
Чтобы проверить мы попробуем зайти на сервачёк WinSCP через ключ, не используя пароль. Этой приблуде надо скормить приватный ключ, но в формате PuTTY. Для конвертации ключа используем утилиту puttygen.exe из пакета PuTTY.
Получилось! Но помним, что приватный ключ, который указывается WinSCP является секретным! Это означает, что поиграться с пользователями и правами надо и на винде.
Теперь пробуем выполнить команду на стороне сервера, запуская её на винде:

>ssh wgetu@10.10.10.10 'shutdown -h -now'

shutdown: Permission denied

Кажется, получилось! :)

Дополнительно можно почитать на английском про SSH авторизацию без пароля - SSH Passwordless authentication

UPD: май 2012 - Финальные аккорды по этой теме: web-качалка finality 



X11
На правах заметки на полях приведу урывок отсюдава:

Одной из наимение известных функций SSH является перенаправление протокола X. Это позволяет запускать практически любое X приложение удалённо! Для этого всего лишь нужно добавить параметр -X при соединении с удалённым сервером:

ssh -X user1@remote_server

После этого изображения всех запущенных X приложений будут перенаправлены на ваш локальный X сервер. В файле /etc/ssh/ssh_config можно включить постоянное использование перенаправления X11 (указав ForwardX11 yes). Разумеется, чтобы этот параметр сработал, удалённый SSH сервер должен также поддерживать перенаправление X11. Настроить это можно отредактровав файл /etc/ssh/sshd_config.

Инструментарий

Для комфортной работы с FreeNAS одной веб-морды мало.
Использую WinSCP для закидывания файлов в коробку и редактирования конфигов FreeNAS.
PuTTY для работы с консолью коробки.
Всё это может не корректно работать, если не поставить OpenSSH

Не забываем включить службу SSH на 22 порт.