my.toilet.server

Новые возможности API Яндекс.Диска

Некоторое время назад мы открыли API Яндекс.Диска. Сегодня документация пополнилась двумя новыми методами: публикация файлов, размещённых на Диске, и получение оповещений об изменениях.
На базе доступной документации теперь можно создавать программы и приложения не только для хранения и синхронизации данных, но и для их публикации. С помощью API можно сгенерировать публичную ссылку на любой файл, загруженный на Яндекс.Диск, или вернуть ему статус личного.
Благодаря оповещениям об изменениях ваша программа сможет получать информацию о загрузке и удалении файлов, создании и удалении каталогов, а также об изменении объема доступного пространства. Оповещения реализованы с помощью протокола XMPP. Для получения уведомлений необходимо сначала настроить соединение с сервером, после чего подписаться на уведомления об изменениях.
Создавайте программы и приложения на базе API Диска и не забудьте рассказать нам о них!

От сюда содрано, комменты там ещё есть

Думаю, что однажды, спортивного интереса ради, я всёже запущу Яндекс Диск. Хотя с первого раза и не получилось.

Ребёнок и компьютер - 4

Это продолжение тем 1 и 2 и 3

On-line репетитор - подготовка к школе.
Каталог тестов

Винда становится удобней

Хабр открыл мне Chocolatey
Доступные пакеты с картинками

Радуюсь, как ребёнок :)

cinst vlc
cinst sysinternals

cinst pstools

cinst notepadplusplus
cinst Silverlight
cinst googledrive
cinst picasa
cinst fsviewer
cinst jpegoptim
cinst PDFCreator
cinst defraggler
cinst winscp

cinst putty

cinst wincommandpaste
cinst FoxitReader
cinst dropbox
cinst foobar2000

cinst skype

cinst lessmsi

Нашептать погоду

По мотивам замечательной статьи FreeBSD разговаривает…ожилА!

Ставлю:
festival
festvox-aec

festvox-kal16

Избавляюсь от NAS (Network Audio System) в конфиг
/usr/local/share/festival/lib/siteinit.scm добавляю строку:

(Parameter.set 'Audio_Method 'freebsd16audio)

Чтобы воспроизвести текст из файла нужно выполнить:

festival --tts /mnt/weather/pogoda.txt

Провайдеры к богу:

http://rss.wunderground.com/auto/rss_full/global/stations/26832.xml?units=metric

http://www.yr.no/place/Belarus/Hrodna/Lida/varsel.rss

http://xml.weather.yahoo.com/forecastrss?p=BOXX0017&u=c

или

http://weather.yahooapis.com/forecastrss?w=827688&u=c

и разумеется

http://www.google.com/ig/api?weather=Lida%20Hrodna%20Province

Скрипт, который будет в утреннем CRON-е:

/mnt/weather/say.sh

echo "In the city of Lida .." > /mnt/weather/pogoda.txt
curl -s "http://www.google.com/ig/api?weather=Lida%20Hrodna%20Province" | sed 's|.*<temp_c data="\([^"]*\)"/>.*|\1|' >> /mnt/weather/pogoda.txt
echo ".. degrees" >> /mnt/weather/pogoda.txt
festival --tts /mnt/weather/pogoda.txt
rm /mnt/weather/pogoda.txt

Русский:
http://festlang.berlios.de/docu/doku.php?id=russianru
http://developer.berlios.de/project/showfiles.php?group_id=3272
http://forum.sources.ru/index.php?showtopic=204030&view=showall

PLUS - Краткий обзор синтезаторов речи

davfs2 и encfs на box.com

Хорошая на мой взгляд статья на хабре: davfs2 и encfs на box.com

web-качалка finality

Делаю WEB-качалку. Для этого настраиваю SSH-авторизацию по ключам: Веб качалка http, ftp
В статье подправил путь пользователя wgetu.
Сгенерированные PuttyGen ключи кладу под нос SSH, именуя их, как id_rsa
Проверяю коннект с win-машинки: ssh -v wgetu@10.10.10.10
Ставлю всё: curl, wget, axel
Проверяю закачку.
cliget говорит, что для wget это выглядело бы так:

wget

--header='Host: ftp.byfly.by'

--header='User-Agent: Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; nick:1.9.2.28) Gecko/20120306 Firefox/3.6.28'

--header='Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8'

--header='Accept-Language: en-us,en;q=0.5' --header='Accept-Encoding: gzip,deflate'

--header='Accept-Charset: windows-1251,utf-8;q=0.7,*;q=0.7'

--header='Keep-Alive: 115'

--header='Connection: keep-alive'

--header='Referer: http://ftp.byfly.by/'

--header='Cookie: __utma=xxx'

'http://ftp.byfly.by/robots.txt'

--content-disposition

-c

Для axel попробую так:
ssh wgetu@10.10.10.10 "/usr/local/bin/axel -o '/mnt/1TB/Download/robots.txt' 'http://ftp.byfly.by/robots.txt'"

// Выход из axel - Ctrl-Z

Добавляю в FlashGot (подсматриваю сюда):

win-wget

работает, но зачем?

C:\WINDOWS\system32\cmd.exe
/C c:\usr\GnuWin32\bin\wget.exe [--directory-prefix=s:\Download] [--referer=REFERER] [--user-agent=UA] [URL]

ssh-wget

работает, но надо свернуть окно, мешает

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ [--referer=REFERER] [URL]

ssh-axel

работает, но не докачивает (не переписывает)

C:\Program Files\OpenSSH\bin\ssh.exe
wgetu@10.10.10.10 /usr/local/bin/axel -o /mnt/1TB/Download/[FNAME] [URL]

Избавляюсь от консольного окна в Винде.

ssh-wget

C:\WINDOWS\system32\cmd.exe
/C c:\usr\ssh-wget.cmd [REFERER] [URL]

Содержимое командного файла:
c:\usr\hstart.exe /NOCONSOLE "C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 nohup /usr/local/bin/wget --directory-prefix=/mnt/1TB/Download/ --referer=%1 %2"
Здесь для запуска SSH-консоли в фоне используется первая попавшаяся на просторах инета утилита Hidden Start. Командный файл используется для сворачивания кавычек, которые FlashGot люто не полюбил с самого начала в целях безопасности. Но без кавычек запустить hstart не получится, он каждый аргумент оптом запускает, как отдельный процесс. А вот если referer в кавычках, то начинается канитель :(

По итогу качалка на стороне сервера у меня получилась, но в частных самых простых случаях. Для рапид и депозитов пожалуй придётся воспользоваться cliget и ручками (самому дописать C:\usr\OpenSSH\bin\ssh.exe wgetu@10.10.10.10 к буферу и закачка пойдёт в домашний католог), ибо в FlashGot все параметры передать оказалось проблемно для меня. Утешает, что я на самом деле уже точно и не вспомню, когда последний раз пользовался выше упомянутыми файлопомойками :)

Заметка на полях: Качаем с wget или curl из rapidshare.com (--save-cookies)

UPDATE 08.02.2013
Из комментов: sisugi (http://sisugi.livejournal.com/)

Привет.

Может тебе пригодиться.

Нехватало веб-качалки на nas4free (раньше использовал pyLoad, но добавление ссылок copy-paste вводило в уныние).
Воодушевившись твоими записями решил настроить идентификацию по ключам и запуск wget или что то в этом роде.
Но настроив openssh и скормив ключ putty пришла мысль (если не рпав, то поправь):

- закачка будет продолжаться пока активно/свернуто окно с сессией ssh. То есть закрыв окно закачка на НАСе хериться.

В итоге поставил pyLoad.

А так как у него есть CLI, решил попробовать его использовать в своих целях.
Через долгий путь проб и ошибок был рождён следующий батник (ногами не бить, я прозженный виндузятник =))) ):

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем обромляющие кавычки
set "STRURL=%STRURL:~1,-1%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

В настройках FlashGot добавляем новый менеджер закачек и указываем к нему путь.

Всё. При запуске закачки наблюдаем долю секунды моргнувшее окошко cmd и закачка идёт на стороне файлопомойки.

Апдейт батничка.

set "STRURL=%STRURL:~1,-1%" заменить на set "STRURL=%STRURL:""=%"
Переопределяет переменную STRURL обрезая не кавычки, а любые символы слева и справа. А так как в некоторых случаях FlashGot возвращает url без кавычек, то по итогу url получается некорректным.

set str=%1
::удаляем пробелы в строке
set STRURL=%str: =%
::удаляем кавычки
set "STRURL=%STRURL:""=%"
cd "c:\Program Files (x86)\putty\"
PLINK.EXE -l user "/usr/local/bin/python /mnt/data/pyload/pyLoadCli.py -u User add other '%STRURL%'"

Ещё забыл добавить. Не смог корректно запустить pyLoadCli.py в putty - постоянно получаю ошибки:
>>nas:~# python /mnt/data/pyload/pyLoadCli.py -uUser --pw=123456 status
>>Unknown Argument(s) "-uUser --pw=789456 status"

Так как в питоне не разбираюсь - возможную ошибку в коде pyLoadCli.py не исправлял, а внес "хардкодом" пароль в строку:
#client = ThriftClient(config["addr"], int(config["port"]), username, password)
client = ThriftClient(config["addr"], int(config["port"]), username, "123456")
Пока поработает с костылём =)

Переход на NAS4Free

Я не так себе это планировал, но рас уж система упала, то вот он и стартовый сигнал.
Насобирал я всего на Full-версии 1,7Gb файлов на системном разделе. Это для заметки. Полагаю, что большая половина - временные файлы, залитые ошибочно моими качалками
Мануальчик по преходу: Installing NAS4Free 9.0.0.1.x over FreeNAS 0.7.2
Трудностей не должно быть, поменялось имя.

Второе падение FreeNAS

Сейчас у меня 9898
В результате моих шаловливых ручек я уже имел гимор.
И вот второе падение. Как я писал в Яндекс.Диск в FreeNAS система упала. RSYNC на WebDAV подвесил FreeNAS, а жёсткий ресет помял ФС. При загрузке система не смогла найти конфигурационные файлы, а апгрейд с CD не нашёл Full-версию. Впрочем и любую другую тоже не нашёл.
Сейчас загрузился с LiveCD дал интерфейсу IP-адрес, запустил службу SSH и удалённо делаю fsck:
Без монтирования (только Disks | Management) проверяю разделы:

#fsck -t UFS -yf /dev/ada0p1 - данные на большом винте

FILE SYSTEM MARKED CLEAN
Проверяю разделы на системном винте:
#fsck -t UFS -yf /dev/ada1s1a - система
FILE SYSTEM IS CLEAN
#fsck -t UFS -yf /dev/ada1s2a - данные
FILE SYSTEM MARKED CLEAN

Не прокатило, Upgrade не видит прошлую версию. Примонтирую разделы, забекаплюсь.
Подсунул старый конфиг на место исчезнувшего. Загрузка не осуществилась, но Upgrade прошёл. Странно, что после Upgrade система снова тормазнула на загрузке файлов конфигурации. Начинаю подумывать, что просто мой системный винт лёг, SMART на него давно уже ругался.

А дальше... Вот он и повод перейти на NAS4Free

Яндекс.Диск в FreeNAS

Хотя свой туалетный сервер я и подружил с облаками Dropbox in FreeNAS, но не сидится на месте - буду искать геморрой.

С Я.Диском буду работать через WebDAV при помощи fusefs-wdfs - файловая система WebDAV для FUSE. Доходчиво написано тут.

pkg_add -rv wdfs

ЗапускаюFUSE:

Set fusefs_enable to YES in /etc/rc.conf

# /usr/local/etc/rc.d/fusefs start

Монтирую:

wdfs https://webdav.yandex.ru /mnt/1TB/yad/ -o allow_other,umask=0777,uid=21,locking=2,accept_sslcert,username=user@yandex.ru,password=pass

При монтировалось, файлы появились, но прочитать их WinSCP через три раза. А вот записать без проблем.

Пробую fstab

wdfs#https://webdav.yandex.ru/ /mnt/1TB/yad fuse rw/users 0 0

Хотя должно быть примерно так:
wdfs#https://webdav.yandex.ru /mnt/1TB/yad fuse users,username=user,password=pass,allow_other,accept_sslcert 0 0

Я так и не смог подружить опции. При попытке монтирования
mount -a /mnt/1TB/yad или
mount -a -t fuse
если "users", то:
fstab: /etc/fstab:X: Inappropriate file type or format

если "rw", то:

mount: wdfs#https:/webdav.yandex.ru : Operation not supported by device

В первом случае ругается на не верный формат fstab
а во втором случае не доволен mount

Попробовал rsync с локальной директории на WebDAV yad
Результат интересный - подвисание FreeNAS с определёнными настройками rsync. С дефолтными настройками просто ничего не происходит. Так вот после очередного подвисания и жёсткого ресета с лёгкой женской руки моей девочки придётся поднимать FreeNAS с диска.

P.S.
Дебаг:

#kldstat

#mount

Отсоединиться:

umount /dev/fuse0

Полезные ссылки:

Про русский не много тут
Шифрование и прочее тут
Шведские халявные 2Гб тут

Размышлизмы по правам:

Пользовательские соглашения, которые никто не читает (Dropbox vs Яндекс)
В этой статье ещё упоминается, что шифровать Яндекс запрещает:
Пользовательское соглашение сервисов Яндекса:

При использовании сервисов Яндекса Пользователь не вправе:

5.2.12. ограничивать — с помощью пароля или иным способом — доступ к 
файлам, размещенным Пользователем в рамках сервисов, в т. ч. 
использовать архивы с паролями. 

В то время, как Dropbox, намекает, что важную личную информацию лучше таки шифровать. Пожалуй я добьюсь стабильной работы с WebDAV, но откажусь от YAD.

UPD 30.04.2012 Яндекс разрешил шифрованный контент

А следующим этапом будет прикручивание к Dropbox шифрования на лету на FreeNAS при помощи EncFS и на Win-стороне при помощи Boxcryptor (который совместим с EncFS). Boxcryptor даёт 2Гб шифрованного пространства бесплатно, заточен под облака.

FreeNAS - NAS4Free

Спасибо хабру :
Развод, начавшийся в конце января 2012 года, закончился созданием нового проекта на старых кодах. Начало истории можно прочесть здесь. Все перепетии развода отражены на форуме FreeNAS

NAS4Free основана на кодах FreeNAS 0.7 и FreeBSD 9.0. Но на официальном сайте вы не найдете упоминания FreeNAS ибо таково было требование компании IX systems.

NAS4Free уже можно скачать с официального сайта NAS4Free.
На данный момент доступна:
2012-04-15: NAS4Free Nightly build 9.0.0.1.67 Released

Ну и я перехожу, пост в этом блоге: Переход на NAS4Free

Ярлыки