Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_8.0_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb

RPM:
http://render.gabbler.ru/download/rpms/gbfarm.blender27-plugin-8-1.x86_64.rpm
http://render.gabbler.ru/download/rpms/gbfarm.node-0.60-4.x86_64.rpm

Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_8-1_x64.exe
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe
Последний раз редактировалось girafenok 21.01.2017, 02:41, всего редактировалось 6 раз(а).
girafenok В сети
рендер-фермер
рендер-фермер
Сообщения: 625


Сообщение #1301 СамСуCам » 12.11.2017, 20:22

Юрий Небесный, ему гига памяти не хватило на гпу? Написал бы больше требование к памяти, на цпу бы запустилось
В любой непонятной ситуации спи, кушай и улыбайся. SATtva
Моя галерея Ежедневный конкурс моделирования в Blender
СамСуCам M
то добрый, то злой админ
Аватара
Откуда: Русь, Китеж
Сообщения: 3051



  • 1

Сообщение #1302 Юрий Небесный » 12.11.2017, 21:04

СамСуCам, хорошо, в следующий раз буду внимательней к настройкам проекта.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1303 stark » 12.11.2017, 21:32

Да, ЕМНИП задача 1.5 Гб памяти занимала. Но мне думается, что если на борту видеокарты 1 Гб, то эта видеокарта не может выделить 1Гб на рендеринг если тянет вьюпорт при этом. Поправьте если не прав.

Добавлено спустя 2 минуты 9 секунд:
Кто-нибудь в 90-х докупал микросхемы памяти и вставлял в специальные держатели под них на видеокарте, чтобы разрешение экрана поднять и/или цветность? :fool:
stark M В сети
Сообщения: 1410

Сообщение #1304 СамСуCам » 12.11.2017, 21:37

stark писал(а):Но мне думается, что если на борту видеокарты 1 Гб, то эта видеокарта не может выделить 1Гб на рендеринг если тянет вьюпорт при этом.
Да, там чуть меньше будет доступно для рендера. Что-то около 900 Мб. Может даже и меньше.
В любой непонятной ситуации спи, кушай и улыбайся. SATtva
Моя галерея Ежедневный конкурс моделирования в Blender
СамСуCам M
то добрый, то злой админ
Аватара
Откуда: Русь, Китеж
Сообщения: 3051



Сообщение #1305 girafenok » 12.11.2017, 21:58

stark писал(а):Кто-нибудь в 90-х докупал микросхемы памяти и вставлял в специальные держатели под них на видеокарте, чтобы разрешение экрана поднять и/или цветность? :fool:
Я! =-)
girafenok В сети
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1306 stark » 12.11.2017, 22:08

girafenok писал(а):Я! =-)
Я не одинок! :-D Эта PCI видеокарточка от S3 потом меня ещё раз выручила, когда моя купленная за немалые деньги AMD X800 Pro AGP накрылась в грозу.
stark M В сети
Сообщения: 1410

Сообщение #1307 girafenok » 12.11.2017, 22:12

stark,
У меня похожая до сих пор в сервере стоит, на котором рендер-ферма крутится, для подключения монитора в случае непредвиденных ситуаций.
girafenok В сети
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1308 stark » 12.11.2017, 22:15

girafenok, а у меня в сохранённом на память первом компе. Но это почти без дела. Хотя он рабочий.
stark M В сети
Сообщения: 1410

Сообщение #1309 NaCl » 12.11.2017, 22:22

Спойлер
stark писал(а):Кто-нибудь в 90-х докупал микросхемы памяти и вставлял в специальные держатели под них на видеокарте, чтобы разрешение экрана поднять и/или цветность?

Не в 90 к сожалению, но в 10-х, когда баловался даунгрейдом, прокачивал старую межделмашевскую эвм доп памятью которую выдрал из видюхи...
Pentium MMMX 128MB (128 Карл!) памяти и НЖМД на 2 гига!
Это десктоп, там райзер унутре даже есть, что-бы высота корпуса была минимальной.
До сих пор валяеется, думаю продать на авито любителям старины ]:->
Væk mig når vi har et sted at stå
NaCl M
шеф-повар
Откуда: Калининград
Сообщения: 663


Сообщение #1310 stark » 12.11.2017, 22:48

NaCl,
Спойлер
Да, для Pentium MMX 128Мб - это много памяти, у моего только 80 Мб, и это выручало, когда машинка уже прилично поустарела. Диск такой же, 2 Гб. У меня обычная Mini-башня.
stark M В сети
Сообщения: 1410

Сообщение #1311 Странник » 13.11.2017, 09:58

СамСуCам писал(а):У меня в логах одни ошибки. Что ты там пытался рендерить? :)
Юрий Небесный писал(а):СамСуCам, биткоин
Сначала подумал: "Приспособился же народ майнить уже и на рендерфермах", а потом только вспомнил про модель биткойна Юрия Небесного :-D .
Mageia Linux x64 KDE
Странник M
Откуда: Краснодарский край
Сообщения: 385


Сообщение #1312 Юрий Небесный » 13.11.2017, 10:08

:-D :-D
смешно вышло )
потихоньку локально рендерю.. половина уже
Изображение
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1313 Юрий Небесный » Вчера, 10:51

очень - очень надеюсь на праздник :)
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 2

Сообщение #1314 girafenok » Вчера, 14:53

Праздник наполовину. Собрал пакет под Ubuntu, под Windows только архив, без установщика. Уважаемый СамСуCам, Вам придется удалить папку blender27 и файл blender27_plugin.pyc из папки проекта и распоковать туда файлы из архива.
Ничего не тестировалось, так что просьба перед запуском реального проекта провести тест. Возможные ошибки постараюсь исправить оперативно сегодня.
Во избежании конфликтов со старыми версиями Blender, теперь фермой поддерживается только 2.79. Пока не обновите плагин, к ферме будет не подключиться.

http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_9.1_amd64.deb
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_9-1_x64.zip

Как следствие мой компьютер выпал из фермы до того момента пока не обновлю ОС.

Добавлено спустя 2 минуты 21 секунду:
Торжественно обещаю, прежде всего себе, что со следующих выходных постепенно возобновлю работу над проектом O:-)
Последний раз редактировалось girafenok 19.11.2017, 17:05, всего редактировалось 1 раз.
girafenok В сети
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1315 stark » Вчера, 15:23

Ну и отображение версии Blender у нода на вкладке Info не правильное, не обновлено. Я уже обновился, но по списку нодов это не ясно :ice:
stark M В сети
Сообщения: 1410

Сообщение #1316 Юрий Небесный » Вчера, 15:34

спасибо что поделал ;)
но не работает )
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

Сообщение #1317 girafenok » Вчера, 17:07

Поменяли API для определения видеокарт. За 5 минут не разобраться, тем более, что дома дискретной карты нет. Сделал компромисный вариант: рендеринг только на процессоре.

http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_9.1_amd64.deb
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_9-1_x64.zip

Добавлено спустя 2 минуты 10 секунд:
stark писал(а):Ну и отображение версии Blender у нода на вкладке Info не правильное, не обновлено. Я уже обновился, но по списку нодов это не ясно :ice:
Да, это баг. Но несмотря на кажущуюся простоту, исправить его нелегко ).
girafenok В сети
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1318 Юрий Небесный » Вчера, 18:10

Дак а нафига поддерживать старые версии?
А хотя когда выйдет следующий, 2.8, возможно я не сразу на него побегу так что да, вообще то актуально..
Эх ладно, продолжаем мучать аддон Рендер+.
girafenok, а напомни, почему ты не сделаешь это хотя бы донатным продуктом? честно, я бы даже 20$ заплатил бы за возможность иметь доступ к рендер-ферме, по типу как аддоны стоят.
Elementary OS Loki | Dell Inspiron 7000 | Wacom
Донат в Blender Foundation, всего: 29 €
Дизайн в linux: http://vk.com/designlinux
Юрий Небесный M
Аватара
Сообщения: 1200

  • 1

Сообщение #1319 girafenok » Вчера, 18:26

Юрий Небесный,
Даже если не подерживать старые версии, то от этого никуда не денется необходимость переписывать код под новую версию. В 2.79 поменяли команды для определения видеокарт, из-за этого старый код перестал работать, надо разобраться что они там поменяли и переписать часть программы, на это надо время. Думаю, что в 2.8 опять что-нибудь поменяют.

От того, что будет донат, я быстрее работать не стану, а проблемы с налоговой только прибавятся. Вот если бы был донат, который позволил мне бы не работать, и все время уделять проекту, вот тогда бы может быть... Однако, работу я свою люблю, несмотря на то что она сволочная, и бросать ее не хочу, даже если бы мне платили раз 10 больше.
girafenok В сети
рендер-фермер
рендер-фермер
Сообщения: 625

Сообщение #1320 Characterhero » Сегодня, 06:36

проблемы с налоговой только прибавятся
Не понимаю при чем здесь налоговая? Ты можешь прикрутить кнопку доната на сайте или в группе ВК. Донат - как способ поддержки продукта, а не его использование.
Intel Core 2 Duo CPU E5200 2.50GHz | 5GB RAM | NVIDIA GeForce 9800GT
i3-7100 3,9 GHz | 8Gb RAM DDR4 2133 mHz | GTX 1050 2Gb
Characterhero M
Аватара
Сообщения: 1083


Пред.След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: girafenok и 1 гость