Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625


Сообщение #1221 girafenok » 17.01.2017, 15:30

Юрий Небесный,
Вечером попробую. Хотя судя по картинке, тут скорее проблема в рендеринге, а не сборке. Какой-то нод сбоит. Если бы проблема была в сборке, то файл бы просто не открылся. Я тупо копирую данные из нескольких exr файлов в один, без какой-либо обработки и преобразования.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1222 Юрий Небесный » 17.01.2017, 16:44

girafenok писал(а):Какой-то нод сбоит
Проверил, и на домашней ноде и на рабочей - такая штука происходит.
А собираю chunks руками - все классно. Причем только на некоторых каналах этот засвет. На АО, например.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1223 girafenok » 17.01.2017, 19:39

Юрий Небесный,
На тестовом файле ошибку воспроизвести не удалось. Рендерил на Ваших двух и компьютере stark. Результат собирался нодом на Ubuntu 14.04. Вы пытались добавить ноду File output и посмотреть на получившийся результат? Возможно это дефект отображения Blender на Вашем компьютере.

Добавлено спустя 29 минут 13 секунд:
В догонку проверил еще на ноутбуке с Windows 7. Все собралось без проблем. Надо искать проблему на Вашей стороне.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1224 Юрий Небесный » 18.01.2017, 08:49

Я не знаю как быть. Удалил и плагин, и ноду, поставил снова - то же самое. Удалил Блендер, поставил снова - опять засветы. Поставил Natron - и он так же с засветом отображает собранную exr.
Вот чунки: https://www.dropbox.com/s/n5za21hqaw78qbu/chunks_7535f.tar.gz?dl=0
А вот собранная картинка: https://www.dropbox.com/s/tsq72genveywrxz/test.blend.exr?dl=0
Пробовал другую сцену - так же.
По моему, что то в момент сборки происходит.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1225 girafenok » 18.01.2017, 09:21

Юрий Небесный,
В самой программе с засветом отображается или при сохранении exr в png результат тоже с засветом?
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1226 Юрий Небесный » 18.01.2017, 10:13

Сама exr собранная такая. Она, собранная exr с засветом отображается и в других программах которые могут смотреть многослойные exr (фотошоп, Natron, Fusion)

Изображение

Про png не понял ?:-|
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1227 girafenok » 18.01.2017, 10:40

Юрий Небесный писал(а):Про png не понял ?:-|
Имел ввиду добавить в Blender ноду File output и посмотреть как сохранится результат в png формате.

Есть у меня подозрение, что в сборке участвует видеокарта, отсюда и разные результаты на разных компьютерах.
В общем, поэкспериментирую с различными вариантами рендера в EXR. Если у Вас есть еще какие-нибудь файлы, которые собираются неверно, то выложите их, пожалуйста.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1228 Юрий Небесный » 18.01.2017, 10:44

все файлы так засвечиваются.
попробую сейчас файл утпут приедлать...

Добавлено спустя 20 минут 46 секунд:
Проверил на канале АО, через file output в png все хорошо.

Изображение


Переключил на рендер-ноде сохранение в exr и тут же получил такой результат:

Изображение


Причем, если в случае с сохранением в pgn связка нод в композитинге сработала - вывелся только канал АО (ЧБ картинка), то в случае с exr ноды в композитинге проигнорировались, и внутри файла оказались оба канала (диффуз розовый (специально покрасил что бы откличать от АО), и АО ч/б). Ну и ненавистный засвет.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 1

Сообщение #1229 girafenok » 18.01.2017, 11:13

Юрий Небесный,
Хорошо, буду разбираться более детально.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

  • 1

Сообщение #1230 girafenok » 21.01.2017, 02:43

girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1231 Юрий Небесный » 21.01.2017, 13:31

girafenok, благодарствую! Подтверждаю, есть контакт! Все отлично!
Урааа, теперь прям вообще шикарно :oD
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1232 Юрий Небесный » 22.01.2017, 08:48

girafenok, я поинтересоваться хочу, а на сколько сложно, и вообще реально ли что бы при установке файла на рендер можно было указывать какую из сцен запускать в этом рендере?
Ну то есть есть один файл, внутри него нексколько сцен. Какие то из них нужно отрендерить. Понимаю, что можно пересохранять копии файлов. Но часто так бывает, что потом нужно вносить правки, и вот уже вносишь их не в файл где все сцены, а в те, дубли, а потом тебе нужно еще 50 раз другого нарендерить с теми же правками, начинаешь путаться, терять контроль.. Если оно всё в одном файле, то гораздо удобнее, все кучнее, подконтрольнее
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 2

Сообщение #1233 girafenok » 22.01.2017, 11:35

Юрий Небесный,
Не сложно, сделаю, вот только без определенных сроков. Можно еще подумать, каких настроек не хватает, чтобы уже разом все сделать.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1234 Юрий Небесный » 24.01.2017, 11:25

А есть ли возможность поменять иконку в трее на свою?
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1235 girafenok » 24.01.2017, 11:36

Юрий Небесный,
Можно выбрать одну из зашитых в ноде, в настройках нода. Если хочется свою можно мне скинуть в векторном формате (inscape) или в формате png размером не менее 256x256 с альфа каналом, включу в следующий релиз.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1236 Юрий Небесный » 24.01.2017, 13:26

girafenok, хорошо. если так, то я еще потыркаю, а то такая ответственность!
Которые иконки в ноде, чего то не переключаются у меня. Хм..
А что вот это такое, новенькое, интересное и как им пользоваться?

Изображение
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 1

Сообщение #1237 girafenok » 24.01.2017, 13:39

Юрий Небесный,
C иконками надо посмотреть, может что сломал.
Новенькое - вынесены часто используемые настройки нода, применяются сразу после выбора(справа налево).
4 - Количество ядер процессора (работает)
GPU - устройство рендеринга (не работает, пока)
Normal - приоритет процесса в операционной системе (тоже не работает, пока).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1238 Юрий Небесный » 24.01.2017, 14:50

girafenok, хочу выразить огромную благодарность :beer:
Рендеры потекли, все работает, все удобно :oD
Еxr'ки получаются правильные и свободно бегут по моим нодовым деревьям и превращаются в такие важные для меня и долгожданные результаты =-)


Изображение

Добавлено спустя 5 часов 40 минут:
Я правильно припоминаю, что раньше не было рендера по слоям, а теперь есть?
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1239 girafenok » 24.01.2017, 21:20

Юрий Небесный писал(а):Я правильно припоминаю, что раньше не было рендера по слоям, а теперь есть?
Эта возможность появилась достаточно давно, год или полтора назад, как и прогрессивный рендеринг.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1240 Юрий Небесный » 25.01.2017, 16:02

Вот, еще что подумалось: было бы здорово иметь возможность создавать пресеты настроек.
Например, "Личное GPU", "Общее ANY".
У меня бы их было не меньше 4-рех.
Когда постоянно запускаешь, обрщаешь на это внимание.

Еще, когда ставишь темную тему в Минт Синнамон, текст становится нечитабельным.
Можно этот серый заменить на черный? Черный он будет универсально удобным.

Изображение

А! Вот что еще подумалось, когда недавно нода баннилась посреди задачи, из-за нехватки памяти на ГПУ.
Если задача запущена в статусе ANY, и нода в статусе ANY и у ноды не хватает памяти на видяхе, она несколько раз пробует, не получается, то потом обычно она баннится, а можно ей давать второй шанс? Пусть потом пробуется ЦПУ рендерить.

Давно при давно хочу еще сказать про имена у нод. Можно местами поменять колонки "Нод" и "Name"? В закладке "Задачи", "Инфо" и "Мои ноды".
И в в рабочем логе. Постоянно туда глядишь, что бы понять какая из нод тупит, а какая молодец. :) Анализирую сколько времени тратится на каждый кластер, в общем много изучаю лог.
Хочется что бы вместо такого:
Job's log
2017-01-25 15:33:33 Job start.
2017-01-25 15:33:33 Frame 1 start at node 07d26.
2017-01-25 15:33:34 Frame 2 start at node a3445.

Было понятные так:
Job's log
2017-01-25 15:30:00 Job start.
2017-01-25 15:30:00.....|.....Frame 1 start.....|.....node Dez-home |
2017-01-25 15:33:34.....|.....Frame 2 start.....|.....node Stark-PC.....|
2017-01-25 16:30:18.....|.....Frame 27 finish.....|.....node Dez-home.....|.....render time 01:35:47
2017-01-25 16:30:18.....|.....Frame 27 finish.....|.....node Dez-home.....|.....render time 00:24:15

не получилось, хотел что бы ровненько были колоночки :)
Последний раз редактировалось Юрий Небесный 25.01.2017, 18:25, всего редактировалось 1 раз.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Пред.След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 5 гостей