FreeNASWiki.Ru заканчивает работу

На FreeNASWiki.Ru пишут:

Времени и денег на поддержание работы сайта у меня нет. «Срок делегирования» домена и оплаченный период хостинга freenaswiki.ru заканчивается 2011-05-21...

Читать далее, если не открывается, то денег так ни кто и не дал.
UPD: http://freenaswiki.ru продолжает работу Новый хостинг

Transmission — внедряем в него плюшки

Вот статья на Хабре может пригодится:

Добрый день.
На своём домашнем серваке сменил систему, и собственно софт тоже нужно было переставлять.
Поэтому ради теста просмотрел несколько самых популярных торрент-клиентов, работающих на *nix (rTorrent, Deluge, MLDonkey, Transmission).
Последний понравился мне больше всего, однако для меня нашёлся существенный минус — невозможно переименовывать зашитые в .torrent-файл имена торрентов.
То есть у нас на диске будут всякие разные папки, например — «Krovavaja gora», «Место Преступления Нью-Йорк», а то и просто «7 Сезон».
Мне это не по нраву, я люблю порядок, соотвестсвенно свою фильмотеку (точнее её сериальную часть) организую в виде "%SERIAL_NAME%/Season N".
Transmission увы не позволяет такого. Но так как в основном всё было хорошо, я взялся подгонять клиент под себя...

Читать далее

Восстановление пароля root FreeBSD

Продолжая тему сбоев...
Собственно всё дальнейшее в этом посте взято здесь.
Или без регистрации здесь.


Забыли пароль root или вовсе его не знали, не беда-это лечится. Имено сбросом пароля root на freebsd сейчас и займёмся.

1) Грузимся в режиме «Single user mode».
Перемонтируем / раздел в режиме чтения/записи 

#mount -u /

Меняем пароль

#passwd

Changing local password for root
New Password: пишем_новый_пароль
Retype New Password: повторяем_новый_пароль

Выйти из режима «Single user» и продолжить загрузку системы 

#exit

либо 

#reboot

Вот собственно и всё.

2) Бывает такое, что в режиме «Single user» запрашивается пароль суперпользователя, тогда поступаем следующим образом:
Загружаемся с установочного диска FreeBSD. В главном меню выбираем пункт «Fixit» и далее пункт «CDROM/DVD», запускаем аварийную консоль.
Если система рухнула внезапно, то надо проверить файловую систему жесткого диска «/» и «/usr»

#fsck_ffs /dev/ad0s1a #fsck_ffs /dev/ad0s1f

Если вы знаете, что файловая система в порядке, можете пропустить этот шаг.
Заметьте, что раздел «/usr» у вас может отличаться от приведенного тут (/dev/ad0s1f). Узнать раздел можно после монтирования корневой файловой системы, посмотрев расположенный на нем файл fstab

#cat /mnt/etc/fstab | grep /usr

Монтируем корень /

#mount /dev/ad0s1a /mnt

а теперь «/usr»

#mount /dev/ad0s1f /mnt/usr

Теперь

#chroot /mnt /bin/sh

меняем пароль root 

#passwd
Changing local password for root
New Password:
Retype New Password:

Выходим из консоли, перезагружаемся. Диск выньте из привода. Всё, заходим под новым паролем.

Файловая система UFS + пьяный электрик = FSCK

Уже писал, что FreeNAS не любит резкого отключения питания. По этой причине сразу прикрутил UPS. Вот и на заборе lurkmore.ru пишут "Родная файловая система не самая устойчивая и люто не любит внезапного отключения питания".

Превентивно разберёмся слегка, что можно будет предпринять.


Проверка ФС в случае сбоя (система не грузится)


1. Загрузится в single user mode.
2. Монтируемся mount -a -f -w (man mount)

3. # fsck -y

Чем мы оперируем?  
FSCK - man команда UNIX, позволяющая проверять файловые системы и исправлять в них ошибки. Параметром может служить имя устройства /dev или точка монтирования /mnt... Причём список для проверки по умолчанию хранится в /etc/fstab. Почти всегда при ликвидации повреждений файловой системы происходит частичная потеря информации.


Ключи:
-f Force
-y Yes

Но мы то с вами знаем, что прежде чем проверять имеет смысл сохранить образ.


Создание полной копии раздела

# cd / (заходим в тот каталог, который хотим скопировать)
# pax -p eme -X -rw . /mnt в /mnt предварительно подмонтировать тот накопитель, на который будем копировать файлы, вот например здесь я монтировал флешку.

PAX - man команда для чтения и записи архивов, а так же для копирования директорий с сохранением иерархии в них.

Прочее
Могут также пригодится Win-утилиты, например, если винт придётся перенести на другую машину.  

Raise Data Recovery - заявлена, как программа для восстановления данных, в том числе с UFS/UFS2. Но, сабака, платная. Вот специальная версия 4.6.2 именно для UFS, без лицензии. Пароль на архив: "rdrufs".
Но есть и бесплатная для СССР версия R.saver 1.0 - программа для восстановления данных. В ней заявлен доступ к UFS Read Only. Почитать подробней и вообще как пользоваться можно здесь.
Скачать или с моих гугл-документов скачать.

ufs2tools - UFS for Windows.
Домашняя страница - home, качаем архив.

Ну, собственно, восстанавливать валидные файлы умеет и привычная мне R-Studio - оф. сайт, или скачать с моих гугл-документов архив ("rstd").

Update: 04.10.2011
О практике использования эхтого самого прочего Грянул гром, упала UFS

А теперь Авторитетно


Основы технологии резервного копирования - из этой статьи почерпну основное:
Элизабет сказала, что лучшая программа для резервного копирования - DUMP. Остановимся на программе dump, она работает с приводом как с набором дисковых блоков, которые расположены ниже понятий файлов, связей и каталогов, создаваемых файловыми системами. В отличие от других программ для резервного копирования, программа dump выполняет резервное копирование всей файловой системы, располагающейся на устройстве. Утилита dump не записывает на ленту файлы и каталоги, она записывает блоки данных, из которых строятся файлы и каталоги.

Замечание: Если вы используете программу dump для работы с корневым каталогом, при этом не будет выполняться резервное копирование /home, /usr и многих других каталогов, так как они обычно являются точками монтирования других файловых систем или символическими ссылками на эти файловые системы.

Использование dump через ssh

# /sbin/dump -0uan -f - /usr | gzip -2 | ssh -c blowfish \
targetuser@targetmachine.example.com dd of=/mybigfiles/dump-usr-l0.gz

Но к сбою надо подготовится.


1. Распечатайте разметку диска для всех ваших дисков (к примеру, bsdlabel da0 | lpr), таблицу файловых систем (/etc/fstab) и все сообщения, выводимые при загрузке, каждого по два экземпляра.

2. Запишите CD диск с ''livefs''. Этот диск позволяет загружаться в режим аварийного восстановления FreeBSD. Образ CD с ''livefs'' для FreeBSD/i386 8.2-RELEASE

3. Регулярно создавайте резервные копии

4. Проверяйте работу CD диска (который вы сделали при выполнении второго шага) и накопителей с резервными копиями. Ведите журнал выполняемых действий.



После сбоя


 Грузимся с LiveCD, выбираем:

Fixit -> Repair mode with CDROM/DVD/floppy or start a shell. 

а в нём выберите пункт  

CDROM/DVD -> Use the live filesystem CDROM/DVD. 

Утилита restore и другие нужные вам программы находятся в каталоге /mnt2/rescue.
И бла-бла-бла читаем в Основы технологии резервного копирования.



PS
Ну и нельзя не упомянуть fsbackup – небольшая бесплатная утилита для создания резервных копий, представляет собой набор скриптов, позволяющих без усилий получить заархивированную копию необходимых файлов. Помимо файлов, fsbackup поддерживает бэкап баз данных MySQL, PostgreSQL и SQLite. Есть возможность шифрования создаваемых архивов программой gpg. Языки, на которых она написана (perl и sh), позволяют без изменений переносить эту программу между платформами, все необходимые для работы fsbackup библиотеки поставляются в одном архиве со скриптами.
Для создания архивов используются средства системы, а результат сохраняется в формате .tar.gz, что дает возможность впоследствии восстановить данные, не прибегая к помощи сторонних программ, пользуясь штатными средствами операционной системы.
Вот человек рассказывает, как обращаться с этим скриптом - FreeBSD. Резервирование данных при помощи fsbackup
или более основательно на opennet.ru - FSBACKUP - система инкрементального резервного копирования и синхронизации ФС


Update 06.06.2011

Копирование посекторно данных с битого диска источник

 dd if=/dev/ad4 of=/dev/ad5 bs=512 conv=noerror,sync

/dev/ad4 - битый винчестер
/dev/ad5 - целый винчестер

Все данные попадающие на битые сектора будут пропускаться, в выходном буфере они будут заменены на Null

После копирования данных можно делать fsck

Теория относительности в действии - сетевая червоточина

Почему червоточина? При растягивании сети длиной пакета расстояние между точками уменьшается :)

Речь пойдёт об Jumbo Frames и MTU

С MTU вроде как всё понятно, в большинстве случаев для Ethernet он = 1500 - это максимальный размер блока, который может быть передан на канальном уровне сетевой модели OSI. А может MTU=1518? На этом я не буду заморачиваться, так как имею строгое намерение использовать Jumbo Frames.
   Для гигабитной локалки размер пакета явно маловат. Да и много ли коллизий при прямом подключении двух точек, как в моём случае?
   Вообще, максимальный JF, имеет смысл = 12000. На этой цифре заканчивается эффективность CRC32, применяемая в Ethernet. Мне проще, в WinXP в драйверах для моей сетевухи в выпадающем боксе максимальным является 7KБ MTU. Для ручной настройки MTU в WinXP можно воспользоваться этой вот инструкцией, рассказывающей про параметр в реестре:

[HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\services\Tcpip\Parameters\Interfaces\{NIC_Name}] "MTU"=dword:00001b58 (7000)

   Но скольким именно ровняется "7КБ" в WinXP? Это 7000 или 7168? Это желательно знать в точности, так как в FreeNAS размер MTU устанавливается конкретной цифрой.
   На самом деле, Jumbo Frames - это пакеты Ethernet, которые в шесть раз больше чем  обычные 1500 байтов + заголовок Ethernet (9108 байтов) (источник). Но мы пока ограничимся поддерживаемыми сетевой картой 7КБ.
   Не смотря на то, что в FreeNAS можно указать MTU в веб-морде приведу на всякий случай способ установки ручками:

Для кратковременного использования (до перезагрузки):
# ifconfig em1 10.20.110.2 mtu 7000
Для постоянного использования JF редактируем конфигурационный файл:
/etc/rc.conf
И редактируем следующую строку:
ifconfig_em1="inet x.x.x.x netmask y.y.y.y media 1000baseTX mediaopt full-duplex mtu 7000"
Сохраняем файл и перезапускаем сетевой интерфейс:
# /etc/rc.d/netif restart

   В этот фрейм (7000), конечно, сектор UFS2 в 4Кб влезет, но буфер в SMB/CIFS по умолчанию больше. Поэтому у меня лично нет идей по согласованию размеров сектора файловой системы, буфера SMB/CIFS, буфера TCP и размера MTU. Всё будет дробиться и клеиться в рамках стека протоколов. Но уверен, что поиграться с некоторыми параметрами стоит!

UFS2 = 4096

SMB = 64240

TCP = 262144

MTU = 7000

Что ещё можно покрутить? Подсмотрим тут

sysctls

1. Размеры буферов TCP:

net.inet.tcp.sendspace = 262144
net.inet.tcp.recvspace = 262144

Полагаю, что размер буфера SMB/CIFS целесообразно делать меньше этого значения. И правда, значение по умолчанию во FreeNAS = 64240, что в ~4 раза меньше.
Кстати, статистика использования сетевых буферов:

netstat -m

2. Размер очереди, принимающей входящие подключения TCP.

kern.ipc.somaxconn = 8192

При превышении очереди запросы будут отброшены. В моём сервере наврятли будет такая нагрузка.

3. Максимальное количество одновременно открытых дескрипторов файлов:

kern.maxfiles = 65536

4. Опрос NIC вместо использования прерываний - Polling. Тут эффективность 50/50 или 1/0 - надо эксперементировать.

5. Samba. Так как мы предполагаем низкие потери пакетов и минимум коллизий, то отключаем алгоритм Nagle, позволяющий находиться в сети только одному неподтвержденному пакету. Редактируем smb.conf:

socket options = IPTOS_LOWDELAY TCP_NODELAY

Водружение

Этот пост - просто фотографии водружённого сервера на своё место обитания. ДСП-полка подразумевает размещение UPS, ADSL-модем и внешний SATA-винт. Подвешены рестайлинговые колоночки Genius с убитым волумайзером. Управляю музыкой cron-ом и ручками.

Визуализация

В продолжение темы Самая озабоченная ось - FreeBSD?
В эти долгие вечера, когда я не могу скачивать весь Интернет своим туалетным серваком по причине новостроя порадую себя и уважаемого читателя сиськами :)
Заодно посмотрим как тег "сиськи" сказывается на посещаемости.