Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625


Сообщение #1241 grayich » 25.01.2017, 16:44

Юрий Небесный писал(а):хотел что бы ровненько были колоночки
тыж в линухе?
awk {'print $1 $2 $3 $5 $4'}  file.log
выведет нужные тебе колонки, где цифра это номер колонки, так-же можно форматировать чтоб было ровно
да и анализ можно автоматизировать а не самому считать
x64 Linux
grayich M
Аватара
Откуда: Харьков
Сообщения: 4008

Сообщение #1242 Юрий Небесный » 25.01.2017, 17:03

grayich, а куда этот awk сувать?
а вообще, у меня на шести рабочих столах всё кипит, я не успеваю еще что-то кроме графики
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1243 grayich » 25.01.2017, 17:18

Юрий Небесный, консоль же)
тогда лучше girafenok идею вручить 8-D про встроенный анализ )
x64 Linux
grayich M
Аватара
Откуда: Харьков
Сообщения: 4008

  • 1

Сообщение #1244 girafenok » 25.01.2017, 18:36

Юрий Небесный писал(а):Вот, еще что подумалось: было бы здорово иметь возможность создавать пресеты настроек.
Например, "Личное GPU", "Общее ANY".
У меня бы их было не меньше 4-рех.
Поставил в очередь.
Юрий Небесный писал(а):Еще, когда ставишь темную тему в Минт Синнамон, текст становится нечитабельным.
Можно этот серый заменить на черный? Черный он будет универсально удобным.
Поправим.
Юрий Небесный писал(а):А! Вот что еще подумалось, когда недавно нода баннилась посреди задачи, из-за нехватки памяти на ГПУ.
Если задача запущена в статусе ANY, и нода в статусе ANY и у ноды не хватает памяти на видяхе, она несколько раз пробует, не получается, то потом обычно она баннится, а можно ей давать второй шанс? Пусть потом пробуется ЦПУ рендерить.
Думаю, что можно только не в обозримом будущем. Слишком сложное управление получится.
Юрий Небесный писал(а):Давно при давно хочу еще сказать про имена у нод. Можно местами поменять колонки "Нод" и "Name"? В закладке "Задачи", "Инфо" и "Мои ноды".
И в в рабочем логе. Постоянно туда глядишь, что бы понять какая из нод тупит, а какая молодец. :) Анализирую сколько времени тратится на каждый кластер, в общем много изучаю лог.
В закладке задачи и мои ноды можно и поменять местами, в закладке Инфо не будем, ориентироваться по id удобнее, при отлавливании ошибок и общем поиске. Лог будем полностью переработан, так что туда тоже добавим имя нода.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1245 ProfessorX » 29.01.2017, 15:32

А это нормально что два блендера запускаются когда хтото рендерит ? http://i.imgur.com/kCx9NM3.png
ProfessorX
Сообщения: 11

Сообщение #1246 stark » 29.01.2017, 15:38

ProfessorX, я считаю что это глюк и завершаю нод и оба экземпляра Blender. Потом запускаю нод снова с мотрю чтобы не было удвоения. В логе нода тоже видно 2 одновременных запуска blender. По-моему, при таком двойном запуске результата не дождаться.
stark M
Сообщения: 1410

Сообщение #1247 girafenok » 29.01.2017, 15:52

ProfessorX, stark,
Если это потоки, то нормально, если процессы - то нет. Буду искать ошибку.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1248 stark » 29.01.2017, 16:04

girafenok, это 2 процесса и в логе тоже подряд идут 2 строки вида "render job xxxxx begin", а вот разные кадры или нет запускаются - этого не помню. Прошвырнулся по логам и не нашёл. Похоже что уже месяц не сталкивался с этим.

Использую последнюю версию 0.60-4 под Linux x64. Может у ProfessorX не последняя версия?
stark M
Сообщения: 1410

  • 1

Сообщение #1249 ProfessorX » 29.01.2017, 16:23

stark http://i.imgur.com/kmN8i3b.png

Добавлено спустя 4 минуты 21 секунду:
girafenok
Установил ноду на паузу один процес убрался сам , удалил оставшийся процес , запустил ноду )) и пока все норм ) Лишнего не появилось

Добавлено спустя 9 минут 18 секунд:
Насчет улучшений фермы ))) Хотелось бы чтоб нода при запуске имела самый низкий приоритет ну или чтоб в настройках нод это можно было установить http://i.imgur.com/xkmm9Qo.png
ProfessorX
Сообщения: 11

Сообщение #1250 girafenok » 29.01.2017, 16:47

stark, ProfessorX,
С двойным запуском Blender очевидно ошибка, буду искать и исправлять.

ProfessorX писал(а):Насчет улучшений фермы ))) Хотелось бы чтоб нода при запуске имела самый низкий приоритет ну или чтоб в настройках нод это можно было установить
В процессе, думаю к следующей версии нода появиться (на картинке normal):
Изображение
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1251 Юрий Небесный » 29.01.2017, 21:19

girafenok, большое спасибо за рендер-ферму. Очень удобно стало с exr.
Но я два раза поймал артефакты, которых раньше не наблюдал.
Один раз были инвертированы некоторые из фреймов, а сегодня увидел вот такую полосу (словно вырезали, насквозь). И это во всех каналах.

Изображение
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1252 girafenok » 30.01.2017, 09:52

Юрий Небесный,
Если фреймы инвентированы, то возможно какой-либо нод сбоит. А вот полоса через все тайлы - очень странное явление. Если еще раз возникнет буду детально разбираться.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1253 BigGoga » 30.01.2017, 11:45

ProfessorX писал(а):Насчет улучшений фермы ))) Хотелось бы чтоб нода при запуске имела самый низкий приоритет ну или чтоб в настройках нод это можно было установить http://i.imgur.com/xkmm9Qo.png
Поддерживаю.
Задачи Юрия Небесного умудряются привести комп к зависанию. Такого раньше не было.
С его же задачами. Уж не знаю в чём тут может быть причина.

И ещё из пожеланий.
Я могу выбрать задачу какую мне рендерить если их несколько.
Например: Выставить повышенный приоритет задачи для своего приватного пула из несколько компов, и после рендерить уже другую чью то задачу.

PS. Запуск двух блендеров подтверждаю.
Что в Win10 x64, Win7pro x64, что в Liux Mint 18; 18.1 x64
BigGoga M
Откуда: Belarus.Minsk
Сообщения: 141

Сообщение #1254 girafenok » 30.01.2017, 14:17

BigGoga,
Юрий Небесный, просто сейчас многослойные exr рендерит, поэтому зависания и идут. Сделаю приоритет к следующей версии.
Выбора задачи точно не будет, а вот над возможностью рендерить свои задачи на своих же компьютерах без очереди подумаю.
С запусками двух Blender буду разбираться, думаю проблема на стороне сервера, а я как раз хотел им заняться.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1255 Юрий Небесный » 04.02.2017, 17:39

girafenok, а почему нет поддержки OpenEXR в режиме видео-рендеринг?
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1256 girafenok » 04.02.2017, 20:13

Юрий Небесный,
А надо? Сделаем.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1257 Юрий Небесный » 05.02.2017, 10:03

girafenok, да, очень! Спасибо, буду ждать :oD
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1258 Юрий Небесный » 12.02.2017, 13:07

Почему то чунки эти не стали собираться в один exr.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1259 girafenok » 12.02.2017, 16:42

Юрий Небесный,
Можно ли подробнее? Если проект не удален с фермы, то скиньте id, посмотрю в чем может быть причина.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1260 Levitanus » 12.02.2017, 16:59

girafenok, а можно ли пересчитать рейтинг? Я чего-то не уверен в том, что там все адекватно, т.к. долго и мучительно пытался это сделать еще впервые, как он появился. А сегодня вот выдались свободные сутки на сид, и повторно просчет запустить не получилось. Или все ок? Так-то вроде рендер идет, но считается ли рейтинг я посмотреть не успел
>>а можно ли пересчитать рейтинг?
Естесвенно, не рейтинг, а это... тест нода
пишу музыку, примеры тут
Levitanus M
Аватара
Откуда: Новосибирск
Сообщения: 741



Пред.След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 2 гостя