Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625


Сообщение #1201 Ambreaux » 13.01.2017, 16:33

Всем Ку! Я разработчик С\С++ Python со своей майнинг фермой на 5 штучек GTX1050, на днях решил что пора бы завязать с майнингом и сделать комьюнити версию распеделенного рендера (жена аниматор), начал гуглеть по тегам и нашел ваш форум чему был весьма рад =)
Ambreaux
Сообщения: 4

  • 1

Сообщение #1202 Ambreaux » 13.01.2017, 17:01

Могу подключится к разработке\допиливатнию\причесыванию\оптимизациям кода, конечно если это входит планы @girafenok , чтоб поучаствовать в подъеме проекта на мировой уровень =) опыт разработки 7 лет, 4 из которых в Самсунг. В качестве примера кода если будет интерес можно чекнуть тут: https://github.com/gbarcomu/QInterpreter/tree/windows/vc

кода не много, но другого вклада в опенсорс я не делал пока, не было ничего интересного) плотно зарефаторил парсер QASM и сделал билд под винду, можно сравнить мою ветку и оригинальный код, комментариев не писал, может быть какие-то из "стандартных" и "общепринятых" требований по форматированию кода могут быть не соблюдены.
Ambreaux
Сообщения: 4

Сообщение #1203 Ambreaux » 15.01.2017, 16:47

Вопрос по возможной монетизации этого добра( ко сожалению я пока не успел выкурить достаточно матчасти): у блендера или какого другого рендер двигателя, ментал рея, скажем, есть концы чтоб одну большую рендер таску раскидать на несколько нод? тогда появляется отличная перспектива развивать сеть нод, которая могла бы стать конкурентом амазоновским рендер-фермам которые для домашнего использования чуть более чем полностью не рентабельны. ?:-| :beer: :bad: ]:-> ]:-> ]:->
Ambreaux
Сообщения: 4

  • 3

Сообщение #1204 girafenok » 15.01.2017, 19:36

Ambreaux,
Спасибо за интерес к проекту! Но проект не опенсурсный, хотя и бесплатный. Пока не планирую никого привлекать к разработке, поскольку это моя игрушка в свободное время, игрушками не делятся ), плюс на организацию процесса совместной разработки нет времени и сил.
Ambreaux писал(а):у блендера или какого другого рендер двигателя, ментал рея, скажем, есть концы чтоб одну большую рендер таску раскидать на несколько нод?
Собственно этим рендер-ферма и занимается.
Ambreaux писал(а):стать конкурентом амазоновским рендер-фермам которые для домашнего использования чуть более чем полностью не рентабельны.
Ну если amazon не рентабелен с точки зрения минимальных капиталовложений, тогда что? Если только полностью бесплатные рендер-фремы.

Добавлено спустя 4 часа 24 минуты:
Новый релиз нода 0.60.
Основная цель реализа - перенос сборки проекта на сторону нода. Теперь изображения, в том числе OpenEXR, и анимация собирается средствами нода, который отправил задачу на ферму в момент скачивания.
Просьба оперативно обновится, поскольку текущий сервер не в состоянии собирать большие проекты и эта возможность будет в ближайшее время отключена.
Также некоторые другие улучшения и исправления ошибок.
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-1_amd64.deb
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-1.x86_64.rpm
http://render.gabbler.ru/download/win/gbfarm-node_0.60-3_x64.exe
Последний раз редактировалось girafenok 16.01.2017, 19:47, всего редактировалось 2 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

  • 1

Сообщение #1205 Юрий Небесный » 16.01.2017, 06:21

Ура! Долгожданное обновление!
На Минте заработала нода.
А вот на винде 10-ке в процесах висит, а в трее нет, и с минтовской ноды не вижу виндовской. Пробовал удалить, поставить снова. Пробовал перезагрузить комп. Пробовал запустить от имени администратора.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 1

Сообщение #1206 girafenok » 16.01.2017, 08:11

Юрий Небесный,
Удалите файл c:\users\имя пользователя\.gabbler\render\gbfarm.log и запустите нод заново. Вечером исправлю ошибку.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1207 Юрий Небесный » 16.01.2017, 09:03

Не помогло :(
Лог посмотрел - пустой. И 0 Кб весит
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 1

Сообщение #1208 Ambreaux » 16.01.2017, 11:24

@girafenok,
Пока не планирую никого привлекать к разработке, поскольку это моя игрушка в свободное время, игрушками не делятся ), плюс на организацию процесса совместной разработки нет времени и сил.
понимаю, сам такой =) значит буду пользоваться и сообщать ошибки, если будут =) мне нравится этот проект!
Ambreaux
Сообщения: 4

Сообщение #1209 girafenok » 16.01.2017, 17:17

Юрий Небесный,
Ошибку испоравил. Новый билд:
http://render.gabbler.ru/download/win/gbfarm-node_0.60-2_x64.exe
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1210 Юрий Небесный » 16.01.2017, 18:26

всеравно почему то не работает. так же сидит в задачах, а в трее нет
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1211 girafenok » 16.01.2017, 18:45

Юрий Небесный,
Сначала в задачах убить, потом установить обновленную версию, потом запустить заново.
Код, который выдавал ошибку я вроде изолировал, так что должно работать.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1212 Юрий Небесный » 16.01.2017, 19:02

girafenok,
убил в процессах. удалил. установил снова. запустил. ввел пароль логин. всё, снова так же, висит в задачах и всё тут.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1213 girafenok » 16.01.2017, 19:05

Юрий Небесный,
Какая версия Windows?
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1214 Юрий Небесный » 16.01.2017, 19:07

10
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 1

Сообщение #1215 girafenok » 16.01.2017, 19:43

girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1216 Юрий Небесный » 16.01.2017, 20:01

Всё так же.
С компом ничего не делал, с момента как на нем была предыдущая нода. Меня даже на работе не было, с тививера им пользуюсь. Может из-за тимвивера? Но предыдущая нода не обращала на него внимания. Не знаю как еще поставить, нажать. Могу по тимвиверу дать доступ на комп. Просто не знаю что еще сделать... Как быть то..
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1217 girafenok » 16.01.2017, 20:06

Юрий Небесный,
На семерке у меня работает, 10 нет, чтобы проверить.
Давайте доступ, попробую понять в чем проблема.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1218 Юрий Небесный » 16.01.2017, 20:52

girafenok выяснил в чем дело, люди, кто обновляться будет, не забудте обновить не только ноду, но и плагин!
я затупил, и вон сколько шума навел .

Добавлено спустя 12 часов 29 минут:
Собирается EXR с ошибкой.

Изображение

тестовая сцена
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1219 girafenok » 17.01.2017, 15:09

Юрий Небесный,
BMW рендерится нормально.
Тестовая сцена не открывается, даже если ее переименовать в .blend
girafenok
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1220 Юрий Небесный » 17.01.2017, 15:27

гм. у меня открывается. ладно, а вот сюда выложил: https://drive.google.com/open?id=0B-8tNlME1XZXOVFSNENXSjl5dzA

у меня все сцены так рендерит. на обоих доступных мне компах
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Пред.След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 2 гостя