Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 19

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 605

  • 2

Сообщение #2 maleficmax » 30.03.2014, 02:24

Немного поправил пост, надеюсь автор не против.
Не стоит путать небо со звездами, отраженными ночью в поверхности пруда. А.Сапковский
Моя свалка | Уроки
maleficmax M
добрый админ
Аватара
Откуда: Україна, Кременчук
Сообщения: 3867


  • 2

Сообщение #3 mateparaguai » 30.03.2014, 02:31

ребята молодцы!!!!!
mateparaguai
Аватара
Откуда: Валарад
Сообщения: 88

Сообщение #4 Mup0k » 30.03.2014, 02:32

maleficmax, хотел по поводу этого сделать как раз замечание. Может все таки конкурс сделаем на лого?
Mup0k M
Аватара
Откуда: CZE
Сообщения: 259

Сообщение #5 ExeQt0r » 30.03.2014, 08:10

Попытался завести ноду на 7ке, ничего не получилось :( прям совсем ничего, при запуске через консоль тоже тишина
ExeQt0r
Аватара
Откуда: 42RUS
Сообщения: 478

Сообщение #6 WorldLand » 30.03.2014, 08:21

Если я правильно понял, при запуске ноды в трее должен появиться зелёный кружок. Ну и в клиенте в списке нодов запись появится. У меня на 7-ке работает.
WorldLand M
Аватара
Откуда: Новосибирск
Сообщения: 139

Сообщение #7 ExeQt0r » 30.03.2014, 08:45

неа, даже в процессах пусто :(
ExeQt0r
Аватара
Откуда: 42RUS
Сообщения: 478

Сообщение #8 Jack-of-Shadow » 30.03.2014, 08:48

На бубунте не обошлось без небольших плясок с бубном, библиотек некоторых не хватало. Мож на винде тоже на дополнительно ставить чего?
Вся жизнь - игра, и люди в ней - еноты!
Jack-of-Shadow M
Аватара
Откуда: Россия, Томск
Сообщения: 209

Сообщение #9 WorldLand » 30.03.2014, 09:21

Попробовал запустить через консоль, сломал программу (и клиент, и ноду), выдаёт такую ошибку:
Код: Выделить всё
cx_Freeze: Python error in main script
Traceback (most recent call last):
  File "C:\Python27\lib\site-packages\cx_Freeze\initscripts\Console.py", line 27, in <module>
  File "qt4client.py", line 454, in <module>
  File "qt4client.py", line 55, in __init__
  File "qt4.py", line 115, in mbAuth
  File "netcom.py", line 50, in send
TypeError: not all arguments converted during string formatting

Переустановка не помогает.
WorldLand M
Аватара
Откуда: Новосибирск
Сообщения: 139

Сообщение #10 Jack-of-Shadow » 30.03.2014, 09:37

WorldLand, может на стороне сервера проблемы? у меня тоже не запустилось, хотя первый раз все норм было...
Вся жизнь - игра, и люди в ней - еноты!
Jack-of-Shadow M
Аватара
Откуда: Россия, Томск
Сообщения: 209

Сообщение #11 WorldLand » 30.03.2014, 09:44

Да, наверно.
WorldLand M
Аватара
Откуда: Новосибирск
Сообщения: 139

Сообщение #12 girafenok » 30.03.2014, 11:03

Прошу прощения, проблема была на стороне сервера. Уже поправил.

Добавлено спустя 2 минуты 19 секунд:
Jack-of-Shadow,
Можно чуть подробнее. Какая версия Ubuntu и каких библиотек не хватало?
girafenok
рендер-фермер
рендер-фермер
Сообщения: 605

Сообщение #13 Akisora » 30.03.2014, 11:14

Под Мак ОС как обычно ничего нет(
Не с той ноги встала! Не на ту метлу села! Да еще и полетела не в ту сторону...
Akisora F
Аватара
Откуда: Krakow, PL
Сообщения: 181

Сообщение #14 girafenok » 30.03.2014, 11:18

Akisora, Если действительно есть намерение пользоваться, то соберу и под MacOS.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 605

Сообщение #15 ExeQt0r » 30.03.2014, 11:36

Чета все равно не запускается(
ExeQt0r
Аватара
Откуда: 42RUS
Сообщения: 478

Сообщение #16 maleficmax » 30.03.2014, 11:36

girafenok, при установке через dpkg -i зависимости же не самоудовлетворяются, так что мне пришлось вручную все пакеты ставить...
Запустил клиента, зарегился, запустил ноду, работает.
Жууууутко не хватает логов в консоли!
Типа
...starting blabla
...connecting
...authorizing
...loading gui

...connected from blabla
...rendering bla

Ну вроде того =)

И не хватает какой-то основной инфы при наведении мышой на значек в трее. Вроде, простаивает или рендерит для такого-то количества клиентов.
Не стоит путать небо со звездами, отраженными ночью в поверхности пруда. А.Сапковский
Моя свалка | Уроки
maleficmax M
добрый админ
Аватара
Откуда: Україна, Кременчук
Сообщения: 3867


  • 1

Сообщение #17 girafenok » 30.03.2014, 11:44

ExeQt0r,
Лично на семерке не проверял, смогу только во вторник на работе, но у другого пользователя на 7 и 8 предыдущая версия работала.У меня на XP работало. Можно в логи посмотреть. В Windows находятся в с:\users\имя пользователя\.gabbler\render\node.log или client.log. В Windows ничего доставлять не надо, все идет вместе с программой.

maleficmax,
dpkg зависимости не разруливает, после него надо давать команду sudo apt-get -f install для доустановки нужных пакетов. Надо включить в документацию.
Логи ведутся в файл. /home/имя пользовтеля/.gabbler/render/node.log или client.log. Хорошо сделаем параллельно в консоль в следующей версии.

Добавлено спустя 1 минуту 9 секунд:
Какой-нод на 7 у меня появился, правда не зарегистрированный.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 605

Сообщение #18 SergeV » 30.03.2014, 11:48

У меня семёрка, установилось и запустилось без проблем. Кинул для теста файлик, жду как отрендерится. :)

Какой-нод на 7 у меня появился, правда не зарегистрированный.
Может мой, но почему не зарегистрированный, регистрацию делал?

ПС. Удалилось из задач, значить вроде как отработало, вопрос где картинка? :)
Последний раз редактировалось SergeV 30.03.2014, 11:55, всего редактировалось 1 раз.
Не говори - "не умею", тот кто не пробует, тот никогда не научится. Mein Slogan :)
Моя свалка...
SergeV M
Аватара
Откуда: Германия
Сообщения: 839

Сообщение #19 girafenok » 30.03.2014, 11:53

SergeV,
Может, правда уже его нет.
Нод тоже надо зарегистрировать отдельно в открывающемся окошке по щелчку в трее. Потом его надо перезапустить.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 605

Сообщение #20 ExeQt0r » 30.03.2014, 11:54

в логе
 Render engines not available
ExeQt0r
Аватара
Откуда: 42RUS
Сообщения: 478

След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 1 гость

cron