Ярлыки

FreeNAS (29) SSH (16) Transmission (13) WIDLE (11) FreeBSD (9) NAS4Free (9) серверный корпус (7) OpenSSH (6) звук (6) фото (6) Dropbox (5) ZXV10 H201L (5) cron (5) kldload (5) FreeNAS test (4) MPD (4) NAS (4) PXE (4) transmission-remote (4) widle.exe (4) ребёнок и компьютер (4) чулок (4) DHCP (3) FireFox (3) Intel NAS Perfomance Toolkit (3) MTU (3) Raspberry Pi (3) RusBSD (3) SSH proxy (3) WebDAV (3) Wget (3) home server (3) musicpd (3) uptime (3) web-качалка (3) обои (3) сиськи (3) 7KJD0 (2) AdBlock (2) Android (2) Athlon (2) Axel (2) BitTorrent Sync (2) Cliget (2) Clonezilla (2) Curl (2) DHCP on FreeNAS (2) DynDNS (2) FireFox vs ZXV10 H201L (2) FlashGot (2) FreeNAS 8 (2) Ghostery (2) IXL.dll (2) Linux (2) PassCryptoBox (2) ProxyCap (2) PuTTY (2) PyLoad (2) RAID (2) SAMBA (2) SSH SOCKS (2) UFS (2) Wallpaper (2) WinSCP (2) Windows (2) blogspot (2) cubieboard2 (2) encfs (2) fsck (2) fstab (2) github (2) mount (2) mpc (2) net.inet.tcp (2) nnCron (2) pkg_add (2) privoxy (2) proxy (2) pxelinux (2) Маршрутизация (2) Тюнинг (2) Яндекс.Диск (2) Яндекс.Диск в FreeNAS (2) будильник (2) девушка (2) шифрование (2) шлюзность (2) шум (2) 0.7.5.9898 (1) 256 (1) 3G и локальная сеть (1) 3G интернет (1) 3proxy (1) 3proxy конфигурация (1) ALR (1) APC (1) AUSTRUMI (1) Amazon (1) Android + NAS4Free (1) Andromission (1) Athlon AXDA2200UV3C (1) Autocopy (1) BIOS (1) Backup WinSCP Sessions (1) CNic (1) CPU (1) Cannot find file system superblock (1) Canon 600D (1) Canon 600D пробег на FreeBSD (1) Ceph FS (1) Chaintech (1) Chocolatey (1) Clear Type (1) Client175 (1) Comprar Tirar Comprar (1) CrystalDiskInfo (1) DDNS (1) DOS (1) Defendant (1) Dokan (1) Dropbox + Android (1) Dropbox + NAS4Free (1) Dropbox API (1) Dropbox in FreeBSD (1) Dropbox in FreeNAS (1) DynDNS.org (1) EducationPack (1) ExtraDNS (1) FolderSync (1) FolderSync Lite (1) FoxyProxy (1) FreeBSD 10 (1) FreeBSD 10.0-RELEASE (1) FreeNAS 10 (1) FreeNAS NAS4Free (1) FreeNAS WebGUI (1) FreeNAS завис (1) FreeNAS с ноля (1) GetLastInputInfo (1) Gmail Watcher (1) Google translate (1) Gruzila (1) H208L (1) HTTPS Everywhere (1) IDLE (1) ILIS (1) Intercepter (1) Intercepter-NG (1) Jumbo Frames (1) KDE4 (1) KMS (1) KiTTY (1) Kolibri (1) LASTINPUTINFO (1) Libretto (1) Linux + Android (1) M200a (1) MPD-Webinterface (1) MiniX (1) NAS4Free TEST (1) NAS4Free с ноля (1) NAS4Free-Plus (1) NASPT (1) NFS (1) NFS vs SAMBA (1) Native Shell (1) NativeCMD (1) New TTCP (1) On-line репетитор (1) OpenMediaVault (1) OpenSSL (1) PAC (1) PCI-SATA (1) PDNSD (1) PLINK (1) PLOP Linux (1) PMagic (1) Parted Magic (1) PersistAllDeviceInstalls (1) Pico PSU (1) Pixlr Grabber (1) Port Forwarding (1) Prestigio 4300 (1) Prestigio 4300 root (1) Prestigio MultiPhone 4300 DUO (1) PuTTY SOCKS (1) PuttyGen (1) R-Studio (1) R.saver (1) RDP (1) RDP for M200a (1) RDR (1) RealXXP (1) Release Notes (1) Remote Transmission (1) SMART (1) SMB/CIFS (1) SOCKS-proxy (1) SSH -D (1) SSH port (1) SSH продвинутые функции (1) SSH туннель (1) SSH шлюз (1) SSH-ключ (1) SerCrypt (1) Shadow Defender (1) SliTaz (1) SoftEther VPN (1) Software Data Cable (1) Sparkleshare (1) Static library (1) SyntaxHighlighter (1) TCP/IP (1) TeamViewer port (1) TorrentBox (1) TorrentMonitor (1) Transmission Add-ons (1) Transmission из консоли (1) Transmission через SSH (1) UALinux (1) UPS (1) Ubuntu (1) Ubuntu для ребёнка (1) Upgrade (1) UrlCorrector (1) WD (1) WOL (1) WPAD (1) WatchDog (1) Wi-Fi Keyboard (1) Win7 (1) Win7 and OpenSSH (1) WinAPIExec (1) Windows 7 из образа в домене (1) Windows AIK (1) Windows7 (1) X11 (1) XTips (1) Xorg (1) ZFS (1) ZTE (1) ZTE H208L (1) Zentyal (1) box.com (1) cifled (1) cmdradio (1) comled (1) crontab (1) davfs2 (1) dd (1) demonizer (1) devcon (1) dump (1) encfs4win (1) fail2ban (1) failed its checksum test (1) festival (1) festvox-aec (1) festvox-kal16 (1) forums.nas4free.org (1) fsbackup (1) fusefs-wdfs (1) gPXE (1) generalize (1) girl (1) gmail (1) gnome (1) google search (1) grep (1) http://repetitor.tut.by (1) icecast (1) ilis.by (1) iwconfig (1) iЛис (1) kill (1) mycubieserv.blogspot.com (1) ncpa.cpl (1) nuttcp (1) oobeSystem (1) passwd (1) pax (1) proftpd (1) ps (1) radio (1) root (1) route (1) rxcsum (1) samba antivirus (1) sendmail (1) shoutcast (1) smb.conf (1) startx (1) sysctls (1) syslinux (1) sysprep (1) tan (1) test (1) tor (1) transmission-daemon (1) transmisson-remote-gui (1) txcsum (1) ufs2tools (1) uname (1) unattend.xml (1) vi (1) wdfs (1) weather (1) which (1) winamp (1) winport-transmission (1) xprintidle (1) xprintidle для Windows (1) Агент Смит (1) БП (1) Белтелеком (1) Восстановление пароля root FreeBSD (1) Защита от взлома SSH (1) ИЛИС (1) Многопользовательськая торрент-качалка на transmission (1) Оптимизация wi-fi (1) Охолождение CPU (1) Переход на NAS4Free (1) Проброс портов (1) Распределенная файловая система (1) Сетевая загрузка (1) Туалетная автоматизация (1) Ускорение Интернета (1) ФФ (1) Хранение паролей в облаке (1) авторегулирование скорости Transmission (1) админка (1) антивирус на самбе (1) атака на SSH (1) безвентиляторная система (1) безвентиляторный корпус (1) блог (1) вентилятор (1) взлом SSH (1) восстановление (1) вставка кода (1) вставка кода в blogger (1) день программиста (1) дьяволица (1) заговор вокруг лампочки (1) запуск exe-шника из Dokan (1) интернет радио (1) интернет ускользает (1) кибермама (1) компрессия трафика (1) копия раздела FreeBSD (1) корпус (1) куллер (1) маршрут по умолчанию в Linux (1) маршрутизация NAS4Free (1) маршрутизация в FreeBSD (1) маршрутизация в NAS4Free (1) матрица играет со мной (1) метрика (1) модем (1) настройки PuTTy (1) не полное меню модема (1) ноутбучный БП (1) озабоченная (1) оповещения (1) пароли (1) пароль (1) погода (1) подбор пароля к SSH-ключу (1) подготовка к школе (1) подсветка синтаксиса в blogger (1) потоп (1) права доступа (1) проксинатор (1) радиатор (1) резервное копирование (1) репка (1) репозиторий (1) роутер (1) русификация консоли (1) рут (1) рут Prestigio 4300 (1) сбой (1) сетевой шлюз (1) сжатие трафика (1) скорость закачки Transmission (1) солярий в туалете (1) солярий дома (1) солярий своими руками (1) тренинги для детей (1) туалет (1) тян (1) упал FreeNAS (1) управление Transmission из командной строки (1) управление скоростью загрузки торрентов (1) ускоритель интернета (1) файл ответов (1) фильтрация контента (1) фотогалерея NAS4Free (1) фрагментация (1) функциональность bash в cmd.exe (1) хранение паролей (1) чертовка (1) шифрование трафика (1)
Показаны сообщения с ярлыком PyLoad. Показать все сообщения
Показаны сообщения с ярлыком PyLoad. Показать все сообщения

web-качалка finality

Делаю WEB-качалку. Для этого настраиваю SSH-авторизацию по ключам: Веб качалка http, ftp
В статье подправил путь пользователя wgetu.
Сгенерированные PuttyGen ключи кладу под нос SSH, именуя их, как id_rsa
Проверяю коннект с win-машинки: ssh -v wgetu@10.10.10.10
Ставлю всё: curl, wget, axel
Проверяю закачку.
cliget говорит, что для wget это выглядело бы так:

wget 
--header='Host: ftp.byfly.by' 
--header='User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; nick:1.9.2.28) Gecko/20120306 Firefox/3.6.28' 
--header='Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8' 
--header='Accept-Language: en-us,en;q=0.5' --header='Accept-Encoding: gzip,deflate' 
--header='Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7' 
--header='Keep-Alive: 115' 
--header='Connection: keep-alive' 
--header='Referer: http://ftp.byfly.by/' 
--header='Cookie: __utma=xxx' 
'http://ftp.byfly.by/robots.txt' 
--content-disposition 
-c

 Для axel попробую так:
ssh wgetu@10.10.10.10 "/usr/local/bin/axel -o '/mnt/1TB/Download/robots.txt' 'http://ftp.byfly.by/robots.txt'"
  // Выход из axel - Ctrl-Z


Добавляю в FlashGot (подсматриваю сюда):
win-wget
работает, но зачем?
C:\WINDOWS\system32\cmd.exe
/C c:\usr\GnuWin32\bin\wget.exe [--directory-prefix=s:\Download] [--referer=REFERER] [--user-agent=UA] [URL]
ssh-wget
работает, но надо свернуть окно, мешает
C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ [--referer=REFERER] [URL]
ssh-axel
работает, но не докачивает (не переписывает)
C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/axel -o /mnt/1TB/Download/[FNAME] [URL]

Избавляюсь от консольного окна в Винде.
ssh-wget
C:\WINDOWS\system32\cmd.exe
/C c:\usr\ssh-wget.cmd [REFERER] [URL]
Содержимое командного файла:
c:\usr\hstart.exe /NOCONSOLE "C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 nohup /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ --referer=%1 %2"
Здесь для запуска SSH-консоли в фоне используется первая попавшаяся на просторах инета утилита Hidden Start. Командный файл используется для сворачивания кавычек, которые FlashGot люто не полюбил с самого начала в целях безопасности. Но без кавычек запустить hstart не получится, он каждый аргумент оптом запускает, как отдельный процесс. А вот если
referer в кавычках, то начинается канитель :(


По итогу качалка на стороне сервера у меня получилась, но в частных самых простых случаях. Для рапид и депозитов пожалуй придётся воспользоваться cliget и ручками (самому дописать C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 к буферу и закачка пойдёт в домашний католог), ибо в FlashGot все параметры передать оказалось проблемно для меня. Утешает, что я на самом деле уже точно и не вспомню, когда последний раз пользовался выше упомянутыми файлопомойками :)



Заметка на полях: Качаем с wget или curl из rapidshare.com (--save-cookies)


UPDATE 08.02.2013
Из комментов: sisugi (http://sisugi.livejournal.com/)

Привет.

Может тебе пригодиться.

Нехватало веб-качалки на nas4free (раньше использовал pyLoad, но добавление ссылок copy-paste вводило в уныние).
Воодушевившись твоими записями решил настроить идентификацию по ключам и запуск wget или что то в этом роде.
Но настроив openssh и скормив ключ putty пришла мысль (если не рпав, то поправь):

- закачка будет продолжаться пока активно/свернуто окно с сессией ssh. То есть закрыв окно закачка на НАСе хериться.

В итоге поставил pyLoad.

А так как у него есть CLI, решил попробовать его использовать в своих целях.
Через долгий путь проб и ошибок был рождён следующий батник (ногами не бить, я прозженный виндузятник =))) ):


set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем обромляющие кавычки
set "STRURL=%STRURL:~1,-1%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

В настройках FlashGot добавляем новый менеджер закачек и указываем к нему путь.

Всё. При запуске закачки наблюдаем долю секунды моргнувшее окошко cmd и закачка идёт на стороне файлопомойки.


Апдейт батничка.

set "STRURL=%STRURL:~1,-1%" заменить на set "STRURL=%STRURL:""=%"
Переопределяет переменную STRURL обрезая не кавычки, а любые символы слева и справа. А так как в некоторых случаях FlashGot возвращает url без кавычек, то по итогу url получается некорректным.



set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем кавычки
set "STRURL=%STRURL:""=%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"
 
 Ещё забыл добавить. Не смог корректно запустить pyLoadCli.py в putty - постоянно получаю ошибки:
>>nas:~# python /mnt/data/pyload/pyLoadCli.py -uUser --pw=123456 status
>>Unknown Argument(s) "-uUser --pw=789456 status"


Так как в питоне не разбираюсь - возможную ошибку в коде pyLoadCli.py не исправлял, а внес "хардкодом" пароль в строку:
#client = ThriftClient(config["addr"], int(config["port"]), username, password)
client = ThriftClient(config["addr"], int(config["port"]), username, "123456")

Пока поработает с костылём =)

WEB-качалка: Wget или cURL?

Libretto


Существует web-качалка Libretto, написанная на PHP. Всё управление происходит через веб-интерфейс. Мне это кажется неудобным. Сижу я в Лисе и для скачивания файла мне надо открывать страницу, вводить/копировать туда линк на файл... А я хочу качать файлы, как обычно - кнопкой в браузере "Скачать", но что бы сам процесс запускался на стороне сервера.

Тем не менее, продукт может быть интересен:
Домашка - http://libretto.sourceforge.net/
Настройка - http://www.siniy.ws/2010/03/26/libretto
Настройка ближе к FreeNAS - https://sourceforge.net/apps/phpbb/freenas/viewtopic.php?f=25&t=3276

PyLoad
Следующей качалкой будет питоновский монстер.
Умеет очень многое, поддерживает основные файлообменники. Управляется уже не только с web-морды, но и с GUI-клиента


Домашка - http://pyload.org/
Установка на FreeNAS - http://freenaswiki.ru/doku.php/ustanovka_pyload
И ещё буквы по интеграции на FreeNAS - https://sourceforge.net/apps/phpbb/freenas/viewtopic.php?f=25&t=8179#p40302
Но опять таки, для добавления закачки надо пользоваться копи-пастом линка :( Поэтому далее сконцентрируемся на CLI-качалках (консольных), которым можно передать командную строку прямо из браузера.


Wget - wiki
-b Перейти в фоновый режим после запуска. Если файл для сообщений не указан параметром -o, то он записывается в wget-log

-o logfile Записывать все сообщения в logfile. Иначе они будут направлены в stderr.
-a logfile Дополнить logfile. Как и -o, только logfile не заменяется, а дополняется. Если logfile не существует, создается новый файл. 

-c Возобновление загрузки файла. Используется, если загрузка файла была прервана. 
   Если в текущей папке уже есть файл с именем ls-lR.Z, то Wget проверит, соответствует ли данный файл загружаемому (не по размеру!), и если это так, то отправит запрос на сервер на продолжение загрузки файла с того же места, где оборвалась загрузка в прошлый раз.
   Помните, что при обрыве связи Wget повторяет попытки дозагрузки самостоятельно и без параметра -c, и только когда он "сдастся" и завершит свою работу, то для возобновления загрузки файла будет нужен этот параметр.

-N Включить сравнение по дате.
-r Включить рекурсивную загрузку.
-nc Если при загрузке сайта связь оборвалась, то укажите этот параметр для продолжения загрузки с места прерывания связи.
    При запуске Wget с параметром -r, но без -N или -nc, новая загрузка сайта приведет к замене уже загруженных файлов. При указании параметра -nc загрузка продолжится с места обрыва и загруженные файлы не будут загружаться заново (если только они не изменились). 
   При запуске Wget с параметром -N, с или без -r, файл будет загружен только если он новее уже существующего, или если размер его не совпадает с имеющейся копией (см. Сравнение по дате). -nc не комбинируется с -N. 
Про имя выходного файла прочёл тут:

если оставлять одним и тем же выходное имя файла (ключ -O), то можно качать один файл частями в любое время и использую каждый раз новую ссылку (и с изменившимся cookie).

Пример:
Загрузить в фоне файл (подразумеваем длительную загрузку с разрывами)
используя 60 попыток (по умолчанию 20) 
сообщения дополняем в wget.log
в папку /usr/Download
продолжать загрузку с места дисконнекта
с ограничением скорости в 800k

 
wget -O "bigfile.zip" -b -t 60 -a wget.log -P/usr/Download -nc --limit-rate=800k http://byfly.by/bigfile.zip

cURL - wiki

-s Silent
curl -L -o "write_file_name.exe"
 
Всё это прекрасно, но не Wget, не cURL не умеют качать многопоточно :(
 
 
 
Там-там-м-м! А вот к чему мы шли! 
Многопоточность из консоли!
Axel 

Существует скрипт для многопоточного скачивания - McURL
Но вот на что я наткнулся: Multi-part загрузка файлов, используя Axel
Домашка - http://axel.alioth.debian.org/
Для нас можно взять в портах: ftp://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-7.3-release/Latest/axel.tbz
Опций будет поменьше, чем у предшествующих аксакалов:
Опции:
 -s x    Specify maximum speed (bytes per second)
 -n x    Specify maximum number of connections
 -o f    Specify local output file
 -S [x]  Search for mirrors and download from x servers
 -N      Just don't use any proxy server
 -q      Leave stdout alone
 -v      More status information
 -a      Alternate progress indicator
 -h      This information
 -V      Version information

Хотя, некоторые опции можно задать и в конфиге /etc/axelrc
Кстати, эта качалка поддерживается и дополнением FlashGot к FireFox.

UPD: май 2012 - Финальные аккорды по этой теме: web-качалка finality