Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625


Сообщение #1261 girafenok » 12.02.2017, 17:05

Levitanus,
На вкладке "Мои ноды" выбрать нод и нажать кнопку "Test node".
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1262 Levitanus » 12.02.2017, 17:20

girafenok писал(а):На вкладке "Мои ноды" выбрать нод и нажать кнопку "Test node".
ничего не происходит. Он же должен загрузить проц и в нодах отобразиться как paused. А чего-то нет...
Я правда, 0.6 устанавливал не на чистую, а просто через dpkg -i поверх. Но сегодня 19 кадров отработал, вроде. Рейтинг, кстати, тоже посчитался, так что наверное, все норм)
пишу музыку, примеры тут
Levitanus M
Аватара
Откуда: Новосибирск
Сообщения: 741



Сообщение #1263 Pavel » 04.03.2017, 22:02

А где скачать программу клиента? На странице http://render.gabbler.ru/download.html только нод и плагин к блендеру.
Pavel
Сообщения: 384

  • 1

Сообщение #1264 stark » 04.03.2017, 22:31

Pavel, нод и клиент теперь одна программа. Качай нод - получишь и клиент впридачу.
stark M
Сообщения: 1410

Сообщение #1265 Pavel » 04.03.2017, 22:48

stark, а как создать задание для нодов? Нужно запустить gbnode.exe? Но я его запускаю и ничего не происходит (ОС Windows 7 64 bit). Не появляется окно в котором указывается задача. Но в диспетчере задач висит процесс gbnode.exe, который использует 37 мб памяти. И в трее нет ничего.
Pavel
Сообщения: 384

Сообщение #1266 stark » 04.03.2017, 23:03

Pavel, у меня Linux. Но я знаю что должно появиться окно. В трее ничего нет - может развернуть надо?

Писали о таких проблемах. У меня при проблемах связи нод не стартовал. Но тут наверное что-то другое.
stark M
Сообщения: 1410

Сообщение #1267 Pavel » 04.03.2017, 23:13

Я когда первый раз запустил gbnode.exe, появилось окно с регистрацией. Я зарегистрировался, ввёл пароль, почту, логин. Но после регистрации ничего не произошло. Трей разворачивал. Нет там нода. Может на семёрке не работает. На сайте написано, что тестировалось только на XP.
Pavel
Сообщения: 384

Сообщение #1268 stark » 04.03.2017, 23:27

Pavel, тогда надо ждать girafenok'а. Я на Windows 10-е какую-то версию нода-клиента рендерфермы не смог запустить когда пробовал, но не самую последнюю и потому молчу ) Решил тогда что firewall в Windows мешает, но добавить нод в исключения не помогло и я бросил.
stark M
Сообщения: 1410

Сообщение #1269 СамСуCам » 04.03.2017, 23:43

На 7ке работает.
В любой непонятной ситуации спи, кушай и улыбайся. SATtva
Моя галерея Ежедневный конкурс моделирования в Blender
СамСуCам M
то добрый, то злой админ
Аватара
Откуда: Русь, Китеж
Сообщения: 3051



Сообщение #1270 Pavel » 04.03.2017, 23:49

СамСуCам писал(а):На 7ке работает.
нужно двойным щелчком запустить файл gbnode.exe? И никаких параметров экзешнику указывать не нужно? И должно появиться окно, в котором можно указать задание нодам? Если да, то у меня на 7-ке не работает. Я всё так сделал, а программа в диспетчере задач появляется и никакие окна не отрываются. И потребление озу не меняется (всегда 32 мб).

И на всякий случай:
я установил не в папку C:\Program Files\, а в другую (без кирилицы в пути).
Pavel
Сообщения: 384

Сообщение #1271 grayich » 04.03.2017, 23:52

Pavel, x64 же?
запусти с командной строки, может чего полезного напишет
x64 Linux
grayich M
Аватара
Откуда: Харьков
Сообщения: 4008

Сообщение #1272 СамСуCам » 04.03.2017, 23:56

Pavel писал(а):Я всё так сделал, а программа в диспетчере задач появляется и никакие окна не отрываются. И потребление озу не меняется (всегда 32 мб).
Такое было, когда процесс авторизации не проходил. Вроде.
В любой непонятной ситуации спи, кушай и улыбайся. SATtva
Моя галерея Ежедневный конкурс моделирования в Blender
СамСуCам M
то добрый, то злой админ
Аватара
Откуда: Русь, Китеж
Сообщения: 3051



Сообщение #1273 Pavel » 05.03.2017, 00:13

grayich писал(а):Pavel, x64 же?
да
grayich писал(а):запусти с командной строки, может чего полезного напишет
ничего не пишет
СамСуCам писал(а):Такое было, когда процесс авторизации не проходил. Вроде.
а как заново зарегистрироваться? Я когда первый раз запустил, открылось окно с регистрацией, а сейчас ничего не отрывается.
Pavel
Сообщения: 384

Сообщение #1274 СамСуCам » 05.03.2017, 00:24

C:\Users\user\.gabbler\render\auth.crt
Удали файл и перезапусти.
В любой непонятной ситуации спи, кушай и улыбайся. SATtva
Моя галерея Ежедневный конкурс моделирования в Blender
СамСуCам M
то добрый, то злой админ
Аватара
Откуда: Русь, Китеж
Сообщения: 3051



Сообщение #1275 Pavel » 05.03.2017, 11:08

Удалил, заново зарегистрировался. Всё равно не работает.
Pavel
Сообщения: 384

  • 1

Сообщение #1276 girafenok » 05.03.2017, 13:40

Pavel,
Pavel писал(а):я установил не в папку C:\Program Files\, а в другую (без кирилицы в пути).
Надо установить в путь по умолчанию. Хотя и установщик дает выбрать другую папку, но сама программа требует нахождение в папке Program files (x86), этот баг как-нибудь поправлю.
Далее надо проврерить, чтобы антивирус и фаейрвол не блокировали порты 8013 и 9069.
Нод может подвисать также, если введен неправильный пароль. Для перерегистрации надо удалить папку C:\Users\user\.gabbler\render\ и запустить программу заново. Программу лучше запускать через меню.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1277 Pavel » 05.03.2017, 13:48

girafenok, а ферма может рендерить анимацию в luxrender? И сколько компьютеров выделяется для одного клиента? Столько, сколько решит сервер или сам клиент?
Pavel
Сообщения: 384

  • 1

Сообщение #1278 girafenok » 05.03.2017, 13:51

Pavel,
В старых версиях можно было, в новой версии сломал, так что пока нельзя. Нодов сейчас немного, поэтому доступны все, которые есть. А так количество нодов зависит от рейтинга пользователя и приоритета задачи.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1279 Pavel » 05.03.2017, 13:52

girafenok писал(а):Нодов сейчас немного, поэтому доступны все, которые есть.
а сколько их всего на данный момент времени?
Pavel
Сообщения: 384

  • 1

Сообщение #1280 girafenok » 05.03.2017, 13:57

Pavel,
Сейчас 5.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Пред.След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 5 гостей