Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 634


Сообщение #1321 Юрий Небесный » 20.11.2017, 08:02

girafenok, проект твой классный, очень нужный. я все время к нему возвращаюсь потому как зачастую имею огромный поток на рендер. Я дизайнер в интернет-магазине, и автор на микростоках. Моделю и рендерю товар целыми партиями по 100-150 рендеров, делаю сразу серию по 50-100 рендеров на стоки. Иногда удается держать все в одном блендер-файле и рендерить сценами аддоном, который все время глючит и автор его плох в кодинге и только руками разводит, мол да, у меня так же... Но и такой способ проходит не всегда. Нет возможности нажать на паузу у этой очереди и по быстрому зарендерить микротекучечку, а потом возобновить. И уж тем более нет возможности задействовать все имеющиеся ГПУ и ЦПУ ресурсы распределенно.
Для меня твой проект крайне востребован, когда приходит пора трехмерки в списке трудовых задач в Trello. И тогда мне очень нужен и "плейлист рендеров" и распределенные вычисления. А все остальное время вполне хорошие ГПУ стоят простаивают а могли бы помочь людям.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1234

  • 1

Сообщение #1322 girafenok » 20.11.2017, 13:35

Characterhero,
Ну может налоговая и ни причем, но банк точно возбудится если начнут поступать суммы из разных источников. Блокировки по 115-ФЗ банки сейчас делают при малейшей подозрительной активности, а регистрироваться в качестве ИП пока рано.

Юрий Небесный,
Процесс разработки возобновится, сейчас рабочая нагрузка у меня вполне адекватная, так что время на проект найдется.
Последний раз редактировалось girafenok 20.11.2017, 14:30, всего редактировалось 1 раз.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 634

Сообщение #1323 mac7 » 20.11.2017, 14:20

girafenok, а если электронный кошелек, а потом с него выводить
mac7 M
Аватара
Откуда: Луцьк
Сообщения: 184

  • 1

Сообщение #1324 girafenok » 20.11.2017, 14:35

mac7,
С кошельками такая же ситуация.
Потом зарабаываемых денег мне пока хватает, а от пожертвований быстрее и лучше работать не стану, да и богаче тоже. Лучшим вариантом подержать проект на текущий стадии - это подключить свой нод к ферме, чтобы набрать адеватное количество нодов, ну и использовать ферму, чтобы баги отлавливать и у меня был стимул ее развивать.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 634

Сообщение #1325 stark » 20.11.2017, 14:58

girafenok, очень тебя понимаю :)
girafenok писал(а):Лучшим вариантом подержать проект на текущий стадии - это подключить свой нод к ферме, чтобы набрать адеватное количество нодов, ну и использовать ферму, чтобы баги отлавливать и у меня был стимул ее развивать.
Да, с количеством одновременно доступных нодов и пользователей как-то очень грустно.
stark M
Сообщения: 1452

Сообщение #1326 mac7 » 20.11.2017, 17:56

можно настраивать сколько % CPU отдавать на ферму?
mac7 M
Аватара
Откуда: Луцьк
Сообщения: 184

Сообщение #1327 Юрий Небесный » 20.11.2017, 18:23

mac7, да можно.
будет стабильность в работе, будут и ноды.
мы как-то форумом если не ошибаюсь, порядка 15-ти нод запускали на один проект
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1234

Сообщение #1328 girafenok » 20.11.2017, 18:56

mac7,
На текущий момент можно только указывать количество ядер, выделяемых для фермы. % от CPU в стадии разработки.
Юрий Небесный,
Да, вроде ферма стабильна. Не все возможности поддерживает, но это уже немного другой вопрос.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 634

  • 1

Сообщение #1329 Юрий Небесный » 22.11.2017, 08:55

разработал три варианта иконок в трей.
Изображение
Изображение

файлик в svg
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1234

  • 1

Сообщение #1330 girafenok » 22.11.2017, 10:56

Юрий Небесный,
Спасибо! Добавим в следующей версии.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 634

Сообщение #1331 Юрий Небесный » 07.12.2017, 09:20

Хочу обратить внимание, что кроме уже добавленного деноизера, ожидается в 2.79.1 добавка возможности рендерить всеми доступными устройствами. Даже простенький цпу и слабенькая гпу добавляют к моей основной рендерной видеокарточке ощутимые 20% скорости.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1234

Сообщение #1332 NaCl » 07.12.2017, 14:12

Только про БП не стоит забывать, у меня БП слабый, пару раз жесткие ребуты были когда в люксе с OpenCL баловался.
Væk mig når vi har et sted at stå
NaCl M
шеф-повар
Откуда: Калининград
Сообщения: 752


Сообщение #1333 stark » 07.12.2017, 23:58

NaCl,
Спойлер
если действительно Б/П, то я бы на твоём месте зашевелился в сторону покупки нового. Значит Б/П вообще на пределе работает у тебя, это может быть очень плохо, я думаю. Напряжения хоть в норме?
stark M
Сообщения: 1452

Сообщение #1334 girafenok » 10.12.2017, 15:21

Юрий Небесный,
Принял к сведению. Сейчас решаю проблему с домашнем компьютером, что-то он тихо умирает.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 634

Пред.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 1 гость