Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625


Сообщение #1281 Pavel » 05.03.2017, 14:06

Установил в путь по-умолчанию, всё равно не работает. Так же как и раньше.
Pavel
Сообщения: 384

  • 1

Сообщение #1282 girafenok » 05.03.2017, 14:10

Pavel,
Версия последняя?
Плагин для Blender установлен? Без него запускаться не будет.
Заново зарегистрировались?
Что пишет лог C:\Users\user\.gabbler\render\gbfarm./log ?
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

  • 1

Сообщение #1283 Pavel » 05.03.2017, 15:49

Всё получилось. Установил плагин в туже папку, где и программа-клиент. Сейчас попробую тестовую сцену отрендерить.
Pavel
Сообщения: 384

Сообщение #1284 СамСуCам » 23.03.2017, 20:32

Случайно нашёл на D диске папки chunks_
А там картинки с рендеры фермы, кто-то заюзал ноды Output
:)
В любой непонятной ситуации спи, кушай и улыбайся. SATtva
Моя галерея Ежедневный конкурс моделирования в Blender
СамСуCам M
то добрый, то злой админ
Аватара
Откуда: Русь, Китеж
Сообщения: 3051



Сообщение #1285 Юрий Небесный » 04.04.2017, 07:48

А можно ли на одном компьютере запускать две ноды? Одну на мульти гпу, а другую на цпу. Переживаю, что мощный процессор простаивает в момент рендеринга. А он довольно шустро рендерит.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1286 girafenok » 04.04.2017, 09:00

Юрий Небесный,
На текущий момент нельзя.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1287 ProfessorX » 04.04.2017, 09:52

почему на моей ноде 2,77 версия а на остальных 2,78 ? Изображение хотя я последнюю версию плагина и ноды установил )))
ProfessorX
Сообщения: 11

Сообщение #1288 girafenok » 04.04.2017, 11:52

ProfessorX,
Это баг в отображении информации. Если установлена последняя версия, то там 2.78. Исправим.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1289 Юрий Небесный » 04.04.2017, 22:36

girafenok, я заметил, что вы реализовали поддержку люкс рендера. А какой версии? 1.6 с новым API поддерживается?
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1290 girafenok » 04.04.2017, 22:55

Юрий Небесный,
Поддержка Люксрендера была в старой версии нода (до июля прошлого года). Так как версия 1.6 на Ubuntu 12.04 уже не работает, то я восстановления этого функционала притормозил. В принципе там работы на пару вечеров, но это надо переносить разработку на ноутбук, а это надо себя заставить.
P.S. До отпуска осталось чуть меньше двух месяцев, там возобновлю процесс разработки.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1291 Юрий Небесный » 26.06.2017, 13:01

Будет ли развитие проекта в свете появления таких моментов как деноизер и Eevee?
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1292 girafenok » 26.06.2017, 15:24

Развитие проекта будет.
Про денойзер надо почитать, а Eevee - он же реалтайм, ферма не нужна.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1293 Юрий Небесный » 12.11.2017, 14:30

уважаемый girafenok, можешь ли обновить проект, что бы деноизер поддерживался?
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 1

Сообщение #1294 stark » 12.11.2017, 15:40

Юрий Небесный, привет. Если рендеришь в Cycles и нужно помощь больше - я могу активировать GPU-рендеринг на своём узле. Я оставляю рендеринг на процессоре по умолчанию потому, что он очень надёжен. Рендеринг на GPU же надо проверить сначала на корректность результата (у меня AMD).
stark M
Сообщения: 1410

Сообщение #1295 Юрий Небесный » 12.11.2017, 15:50

stark, пока превью рендерю, не особо важно, спасибо за предложение.
финалка 240 кадров, 4К будет.
Вот и интересуюсь про денойзер, т.к. с денойзером 500 семплов достаточно, а без и на 4000 шум остается маленько. Рендерить 240 кадров в 4К и 4000 семплов достаточно долго. если деноизера не будет, то буду сам рендерить.
ферма нужна, т.к. я собрался снова на микростоки нажать, надо прям много рендерить. но без деноизера придется локально выкручиваться.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1296 stark » 12.11.2017, 15:55

Юрий Небесный, да, при нашей "мощи" 500 с денойзером локально быстрее будет чем 4К без него на рендерферме.
stark M
Сообщения: 1410

  • 1

Сообщение #1297 girafenok » 12.11.2017, 15:57

Юрий Небесный,
У уважаемого жирафенка отходняк идет уже 6 месяц после увольнения со второй работы :facepalm:

Проблема в следующем: у меня на компьютере до сих пор Ubuntu 12.04, стоит, работает и всем меня удовлетворяет, однако уже практически ни одна новая версия программ на ней не запускается, слишком старый glibc. Надо бы обновиться, но я этого процесса боюсь, поскольку очень много настроено руками. Попробую собрать на ноуте в следующие выходные, раньше не обещаю, организм еще сопротивляется что-либо делать.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1298 Юрий Небесный » 12.11.2017, 16:01

ой, мамочки...
спасибо за информацию, буду ждать и надеяться.

Добавлено спустя 1 минуту 20 секунд:
stark, да, это все так, но у фермы столько плюсов. список задач, возможность ноду ставить на паузу.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1299 СамСуCам » 12.11.2017, 16:53

У меня в логах одни ошибки. Что ты там пытался рендерить? :)
В любой непонятной ситуации спи, кушай и улыбайся. SATtva
Моя галерея Ежедневный конкурс моделирования в Blender
СамСуCам M
то добрый, то злой админ
Аватара
Откуда: Русь, Китеж
Сообщения: 3051



Сообщение #1300 Юрий Небесный » 12.11.2017, 17:04

СамСуCам, биткоин
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Пред.След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 1 гость