my.toilet.server

Ребёнок и компьютер - 4

Это продолжение тем 1 и 2 и 3

On-line репетитор - подготовка к школе.
Каталог тестов

Винда становится удобней

Хабр открыл мне Chocolatey
Доступные пакеты с картинками

Радуюсь, как ребёнок :)

cinst vlc
cinst sysinternals

cinst pstools

cinst notepadplusplus
cinst Silverlight
cinst googledrive
cinst picasa
cinst fsviewer
cinst jpegoptim
cinst PDFCreator
cinst defraggler
cinst winscp

cinst putty

cinst wincommandpaste
cinst FoxitReader
cinst dropbox
cinst foobar2000

cinst skype

cinst lessmsi

Нашептать погоду

По мотивам замечательной статьи FreeBSD разговаривает…ожилА!

Ставлю:
festival
festvox-aec

festvox-kal16

Избавляюсь от NAS (Network Audio System) в конфиг
/usr/local/share/festival/lib/siteinit.scm добавляю строку:

(Parameter.set 'Audio_Method 'freebsd16audio)

Чтобы воспроизвести текст из файла нужно выполнить:

festival --tts /mnt/weather/pogoda.txt

Провайдеры к богу:

http://rss.wunderground.com/auto/rss_full/global/stations/26832.xml?units=metric

http://www.yr.no/place/Belarus/Hrodna/Lida/varsel.rss

http://xml.weather.yahoo.com/forecastrss?p=BOXX0017&u=c

или

http://weather.yahooapis.com/forecastrss?w=827688&u=c

и разумеется

http://www.google.com/ig/api?weather=Lida%20Hrodna%20Province

Скрипт, который будет в утреннем CRON-е:

/mnt/weather/say.sh

echo "In the city of Lida .." > /mnt/weather/pogoda.txt
curl -s "http://www.google.com/ig/api?weather=Lida%20Hrodna%20Province" | sed 's|.*<temp_c data="$[^"]*$"/>.*|\1|' >> /mnt/weather/pogoda.txt
echo ".. degrees" >> /mnt/weather/pogoda.txt
festival --tts /mnt/weather/pogoda.txt
rm /mnt/weather/pogoda.txt

Русский:
http://festlang.berlios.de/docu/doku.php?id=russianru
http://developer.berlios.de/project/showfiles.php?group_id=3272
http://forum.sources.ru/index.php?showtopic=204030&view=showall

PLUS - Краткий обзор синтезаторов речи

davfs2 и encfs на box.com

Хорошая на мой взгляд статья на хабре: davfs2 и encfs на box.com

Делаю WEB-качалку. Для этого настраиваю SSH-авторизацию по ключам: Веб качалка http, ftp
В статье подправил путь пользователя wgetu.
Сгенерированные PuttyGen ключи кладу под нос SSH, именуя их, как id_rsa
Проверяю коннект с win-машинки: ssh -v wgetu@10.10.10.10
Ставлю всё: curl, wget, axel
Проверяю закачку.
cliget говорит, что для wget это выглядело бы так:

wget

--header='Host: ftp.byfly.by'

--header='User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; nick:1.9.2.28) Gecko/20120306 Firefox/3.6.28'

--header='Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'

--header='Accept-Language: en-us,en;q=0.5' --header='Accept-Encoding: gzip,deflate'

--header='Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7'

--header='Keep-Alive: 115'

--header='Connection: keep-alive'

--header='Referer: http://ftp.byfly.by/'

--header='Cookie: __utma=xxx'

'http://ftp.byfly.by/robots.txt'

--content-disposition

-c

Для axel попробую так:
ssh wgetu@10.10.10.10 "/usr/local/bin/axel -o '/mnt/1TB/Download/robots.txt' 'http://ftp.byfly.by/robots.txt'"

// Выход из axel - Ctrl-Z

Добавляю в FlashGot (подсматриваю сюда):

win-wget

работает, но зачем?

C:\WINDOWS\system32\cmd.exe
/C c:\usr\GnuWin32\bin\wget.exe [--directory-prefix=s:\Download] [--referer=REFERER] [--user-agent=UA] [URL]

ssh-wget

работает, но надо свернуть окно, мешает

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ [--referer=REFERER] [URL]

ssh-axel

работает, но не докачивает (не переписывает)

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/axel -o /mnt/1TB/Download/[FNAME] [URL]

Избавляюсь от консольного окна в Винде.

ssh-wget

C:\WINDOWS\system32\cmd.exe
/C c:\usr\ssh-wget.cmd [REFERER] [URL]

Содержимое командного файла:
c:\usr\hstart.exe /NOCONSOLE "C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 nohup /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ --referer=%1 %2"
Здесь для запуска SSH-консоли в фоне используется первая попавшаяся на просторах инета утилита Hidden Start. Командный файл используется для сворачивания кавычек, которые FlashGot люто не полюбил с самого начала в целях безопасности. Но без кавычек запустить hstart не получится, он каждый аргумент оптом запускает, как отдельный процесс. А вот если referer в кавычках, то начинается канитель :(

По итогу качалка на стороне сервера у меня получилась, но в частных самых простых случаях. Для рапид и депозитов пожалуй придётся воспользоваться cliget и ручками (самому дописать C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 к буферу и закачка пойдёт в домашний католог), ибо в FlashGot все параметры передать оказалось проблемно для меня. Утешает, что я на самом деле уже точно и не вспомню, когда последний раз пользовался выше упомянутыми файлопомойками :)

Заметка на полях: Качаем с wget или curl из rapidshare.com (--save-cookies)

UPDATE 08.02.2013
Из комментов: sisugi (http://sisugi.livejournal.com/)

Привет.

Может тебе пригодиться.

Нехватало веб-качалки на nas4free (раньше использовал pyLoad, но добавление ссылок copy-paste вводило в уныние).
Воодушевившись твоими записями решил настроить идентификацию по ключам и запуск wget или что то в этом роде.
Но настроив openssh и скормив ключ putty пришла мысль (если не рпав, то поправь):

- закачка будет продолжаться пока активно/свернуто окно с сессией ssh. То есть закрыв окно закачка на НАСе хериться.

В итоге поставил pyLoad.

А так как у него есть CLI, решил попробовать его использовать в своих целях.
Через долгий путь проб и ошибок был рождён следующий батник (ногами не бить, я прозженный виндузятник =))) ):

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем обромляющие кавычки
set "STRURL=%STRURL:~1,-1%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

В настройках FlashGot добавляем новый менеджер закачек и указываем к нему путь.

Всё. При запуске закачки наблюдаем долю секунды моргнувшее окошко cmd и закачка идёт на стороне файлопомойки.

Апдейт батничка.

set "STRURL=%STRURL:~1,-1%" заменить на set "STRURL=%STRURL:""=%"
Переопределяет переменную STRURL обрезая не кавычки, а любые символы слева и справа. А так как в некоторых случаях FlashGot возвращает url без кавычек, то по итогу url получается некорректным.

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем кавычки
set "STRURL=%STRURL:""=%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

Ещё забыл добавить. Не смог корректно запустить pyLoadCli.py в putty - постоянно получаю ошибки:
>>nas:~# python /mnt/data/pyload/pyLoadCli.py -uUser --pw=123456 status
>>Unknown Argument(s) "-uUser --pw=789456 status"

Так как в питоне не разбираюсь - возможную ошибку в коде pyLoadCli.py не исправлял, а внес "хардкодом" пароль в строку:
#client = ThriftClient(config["addr"], int(config["port"]), username, password)
client = ThriftClient(config["addr"], int(config["port"]), username, "123456")
Пока поработает с костылём =)

Переход на NAS4Free

Я не так себе это планировал, но рас уж система упала, то вот он и стартовый сигнал.
Насобирал я всего на Full-версии 1,7Gb файлов на системном разделе. Это для заметки. Полагаю, что большая половина - временные файлы, залитые ошибочно моими качалками
Мануальчик по преходу: Installing NAS4Free 9.0.0.1.x over FreeNAS 0.7.2
Трудностей не должно быть, поменялось имя.

Второе падение FreeNAS

Сейчас у меня 9898
В результате моих шаловливых ручек я уже имел гимор.
И вот второе падение. Как я писал в Яндекс.Диск в FreeNAS система упала. RSYNC на WebDAV подвесил FreeNAS, а жёсткий ресет помял ФС. При загрузке система не смогла найти конфигурационные файлы, а апгрейд с CD не нашёл Full-версию. Впрочем и любую другую тоже не нашёл.
Сейчас загрузился с LiveCD дал интерфейсу IP-адрес, запустил службу SSH и удалённо делаю fsck:
Без монтирования (только Disks | Management) проверяю разделы:

#fsck -t UFS -yf /dev/ada0p1 - данные на большом винте

FILE SYSTEM MARKED CLEAN
Проверяю разделы на системном винте:
#fsck -t UFS -yf /dev/ada1s1a - система
FILE SYSTEM IS CLEAN
#fsck -t UFS -yf /dev/ada1s2a - данные
FILE SYSTEM MARKED CLEAN

Не прокатило, Upgrade не видит прошлую версию. Примонтирую разделы, забекаплюсь.
Подсунул старый конфиг на место исчезнувшего. Загрузка не осуществилась, но Upgrade прошёл. Странно, что после Upgrade система снова тормазнула на загрузке файлов конфигурации. Начинаю подумывать, что просто мой системный винт лёг, SMART на него давно уже ругался.

А дальше... Вот он и повод перейти на NAS4Free

Яндекс.Диск в FreeNAS

Хотя свой туалетный сервер я и подружил с облаками Dropbox in FreeNAS, но не сидится на месте - буду искать геморрой.

С Я.Диском буду работать через WebDAV при помощи fusefs-wdfs - файловая система WebDAV для FUSE. Доходчиво написано тут.

pkg_add -rv wdfs

ЗапускаюFUSE:

Set fusefs_enable to YES in /etc/rc.conf

# /usr/local/etc/rc.d/fusefs start

Монтирую:

wdfs https://webdav.yandex.ru /mnt/1TB/yad/ -o allow_other,umask=0777,uid=21,locking=2,accept_sslcert,username=user@yandex.ru,password=pass

При монтировалось, файлы появились, но прочитать их WinSCP через три раза. А вот записать без проблем.

Пробую fstab

wdfs#https://webdav.yandex.ru/ /mnt/1TB/yad fuse rw/users 0 0

Хотя должно быть примерно так:
wdfs#https://webdav.yandex.ru /mnt/1TB/yad fuse users,username=user,password=pass,allow_other,accept_sslcert 0 0

Я так и не смог подружить опции. При попытке монтирования
mount -a /mnt/1TB/yad или
mount -a -t fuse
если "users", то:
fstab: /etc/fstab:X: Inappropriate file type or format

если "rw", то:

mount: wdfs#https:/webdav.yandex.ru : Operation not supported by device

В первом случае ругается на не верный формат fstab
а во втором случае не доволен mount

Попробовал rsync с локальной директории на WebDAV yad
Результат интересный - подвисание FreeNAS с определёнными настройками rsync. С дефолтными настройками просто ничего не происходит. Так вот после очередного подвисания и жёсткого ресета с лёгкой женской руки моей девочки придётся поднимать FreeNAS с диска.

P.S.
Дебаг:

#kldstat

#mount

Отсоединиться:

umount /dev/fuse0

Полезные ссылки:

Про русский не много тут
Шифрование и прочее тут
Шведские халявные 2Гб тут

Размышлизмы по правам:

Пользовательские соглашения, которые никто не читает (Dropbox vs Яндекс)
В этой статье ещё упоминается, что шифровать Яндекс запрещает:
Пользовательское соглашение сервисов Яндекса:

При использовании сервисов Яндекса Пользователь не вправе:

5.2.12. ограничивать — с помощью пароля или иным способом — доступ к 
файлам, размещенным Пользователем в рамках сервисов, в т. ч. 
использовать архивы с паролями. 

В то время, как Dropbox, намекает, что важную личную информацию лучше таки шифровать. Пожалуй я добьюсь стабильной работы с WebDAV, но откажусь от YAD.

UPD 30.04.2012 Яндекс разрешил шифрованный контент

А следующим этапом будет прикручивание к Dropbox шифрования на лету на FreeNAS при помощи EncFS и на Win-стороне при помощи Boxcryptor (который совместим с EncFS). Boxcryptor даёт 2Гб шифрованного пространства бесплатно, заточен под облака.

FreeNAS - NAS4Free

Спасибо хабру :
Развод, начавшийся в конце января 2012 года, закончился созданием нового проекта на старых кодах. Начало истории можно прочесть здесь. Все перепетии развода отражены на форуме FreeNAS

NAS4Free основана на кодах FreeNAS 0.7 и FreeBSD 9.0. Но на официальном сайте вы не найдете упоминания FreeNAS ибо таково было требование компании IX systems.

NAS4Free уже можно скачать с официального сайта NAS4Free.
На данный момент доступна:
2012-04-15: NAS4Free Nightly build 9.0.0.1.67 Released

Ну и я перехожу, пост в этом блоге: Переход на NAS4Free

Dropbox in FreeNAS

Это продолжение темы Transmission + Dropbox
Я тогда не слабо ступил, думая, что у Дропбокса нет клиента в портах. Его-то нет, но есть API :)

Заметки на полях 

Для графических Linux статейка по nautilus+dropbox. 

Порт для графических FreeBSD:  freebsd-linux-nautilus-dropbox

И описание установки: Install nautilus-dropbox in FreeBSD

Ну а я для начала предполагаю через Dropbox передавать torrent-файлы. Трансмиссия уже сама подхватит новые файлы и переименует их в xxx.torrent.added На дальнем конце по появлению переименованного файла в директории Dropbox я пойму, что трансмиссия его проглотила и процесс пошёл.

Иду и регистрирую Dropbox App https://www.dropbox.com/developers/apps

Ставлю:
pkg_add -rv ftp://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-9-stable/Latest/p5-WebService-Dropbox.tbz

pkg_add -rv ftp://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-9-stable/Latest/dropbox-api-command.tbz

Настраиваю/подключаюсь:
dropbox-api setup

Ошибка:

SSL requires IO::Socket::SSL, but it is not available. Please install IO::Socket::SSL using your prefer CPAN client at /usr/local/lib/perl5/site_perl/5.12.4/WebService/Dropbox.pm line 290

Ставлю IO-Socket-SSL:

pkg_add -rv ftp://ftp.freebsd.org/pub/FreeBSD/ports/i386/packages-9-stable/Latest/p5-IO-Socket-SSL.tbz

Пробую заново:

dropbox-api setup

Указываю (подсмотреть):

API Key
API Secret

Иду по линку и жму Allow
Вижу приглашение:
success! try
> dropbox-api ls
> dropbox-api find /
Испытываю: работает, но проблемы с русским, конечно...

Настраивая CRON, следует помнить, что limit of 5000 API calls per day.
Если предположить без особой избыточности, только синхронизация директорий sync, то проверять можно ну раз в минуту. И раз в минуту синхронизировать назад в Dropbox. На самом деле и раз в минут 5 мне будет предостаточно :)

Как пользоваться новой игрушкой читаю тут: https://github.com/s-aska/dropbox-api-command

dropbox-api sync dropbox:/_torrent_/_new_ /mnt/1TB/_torrent_/_new_

Файл опустился из облака в туалет. Из туалета возношу в облакА с разрешающей удаление опцией:

dropbox-api sync /mnt/1TB/_torrent_/_new_ dropbox:/_torrent_/_new_ -d

Всё работает! Надо сломать ))))

Правлю установленный perl-скрипт:
/usr/local/bin/dropbox-api

24: my $config_file = file( $ENV{'DROPBOX_CONF'} || ($ENV{'HOME'}, '/../../mnt/dropbox/.dropbox-api-config') );
25: # my $config_file = file( $ENV{'DROPBOX_CONF'} || ($ENV{'HOME'}, '.dropbox-api-config') );

Не забываю положить сам конфиг в указанное место, перетащив его из /root:

/mnt/dropbox/.dropbox-api-config

Теперь пишу скрипт синхронизации Dropbox <--> Transmission:

#!/bin/sh

########################################################################
# Syncing script     dropboxsync.sh
# Goal            Dropbox<-->Transmission
# Use             https://github.com/s-aska/dropbox-api-command
# By             rvm.my.home.s@gmail.com
# URL            http://mytoiletserver.blogspot.com/

### SYNC_OPTIONS:
# -v -- Verbose
# -d -- Delete

API_BIN="/usr/local/bin/dropbox-api"
SYNC_OPTIONS="-d"
DROPBOX_REMOTE_FOLDER="dropbox:/_torrent_/_new_/"
LOCAL_SYNC_FOLDER="/mnt/1TB/_torrent_/_new_/"
LOG_FILE="dropboxsync.log"
LOG_FILEPATH="/mnt/dropbox/$LOG_FILE"
SYNC_PAUSE_SECONDS=30
START_MESSAGE=">>>>>>>>>> Now syncing '`hostname`' with Dropbox [UID=`dropbox-api uid`]"
END_MESSAGE="<<<<<<<<<< Syncing complete!"
PAUSE_MESSAGE="========== Syncing now sleeping $SYNC_PAUSE_SECONDS seconds for Transmission work..."
DATE_FORMAT="date +%t%d.%m.%Y%t%k:%M:%S%t"

echo "*****************************************" >> ${LOG_FILEPATH}
MESSAGE="echo Current dir:  `pwd`"
$MESSAGE >> ${LOG_FILEPATH}
MESSAGE="echo Current user: `id`"
$MESSAGE >> ${LOG_FILEPATH}
MESSAGE="echo `$DATE_FORMAT` $START_MESSAGE"
$MESSAGE >> ${LOG_FILEPATH}

### Command: Sync to Me
$API_BIN sync ${DROPBOX_REMOTE_FOLDER} ${LOCAL_SYNC_FOLDER} ${SYNC_OPTIONS} >> ${LOG_FILEPATH}

MESSAGE="echo `$DATE_FORMAT` $PAUSE_MESSAGE"
$MESSAGE >> ${LOG_FILEPATH}
sleep $SYNC_PAUSE_SECONDS

### Command: Sync to Dropbox
$API_BIN sync ${LOCAL_SYNC_FOLDER} ${DROPBOX_REMOTE_FOLDER} ${SYNC_OPTIONS} >> ${LOG_FILEPATH}

MESSAGE="echo `$DATE_FORMAT` $END_MESSAGE"
$MESSAGE >> ${LOG_FILEPATH}

### Command: Copy Log-File to Dropbox
cp ${LOG_FILEPATH} ${LOCAL_SYNC_FOLDER}${LOG_FILE}
$API_BIN put ${LOCAL_SYNC_FOLDER}${LOG_FILE} ${DROPBOX_REMOTE_FOLDER}

Даю ему права, проверяю - всё работает.
Помещаю в cron от root или от нового пользователя dropbox:
/mnt/dropbox/dropboxsync.sh

P.S.

1. Немаловажное замечание. Весь обмен идёт с приватными папками DropBox.
2. Кстати, кронтабы пользователей хранятся вот по этому пути:
/var/cron/tabs
/etc/crontab - root's crontab

Запостился на эту тему на форуме FreeNAS sourceforge.net

Там даже както красивее получилось, собрал мысли в кучку :)
Но форум тот канул в лету, а на новом только скромный пост в эту тему.

Sparkleshare действительно свободный аналог Dropbox на своем сервере