Рендер-ферма "Бормотунчика" )

Список разделов Общие разделы Обсуждение CG

Описание: О работах, выполненных на компьютере. Видео, тридешечка, просто рисунки.
Модератор: exooman

  • 20

Сообщение #1 girafenok » 30.03.2014, 01:48

Что такое Рендер-ферма
Рендер-ферма представляет собой объединение компьютеров в сеть с целью ускорение процесса рендеринга изображения или анимации. Анимация разбивается на кадры, изображение разбивается на части и рендерятся независимо на отдельных компьютерах, подключенных к ферме, тем самым позволяя ускорить процесс рендеринга за счет параллельного просчета проекта.
Рендер-ферма состоит из компьютеров, осуществляющих ренедеринг проектов - нодов, работающих под управлением компьютера, распределяющего задания - сервера.
Управлением рендер-фермой рсуществляет программное обеспечение, называемое менеджером сетевоого рендринга.

Вступление: идея, цели, анализ рынка
Так случилось, что много лет назад я заинтересовался темой сетевого рендеринга. Компьютеров было достаточно много, поэтому вопрос стоял только в подходящем менеджере рендеринга. При этом, так как часть работы осуществлялась вне учреждения, компьютеры работали под разными операционными системами, программы для рендеринга использовались разные и много других нюансов, то для менеджера сетевого рендаринга были соформулированы следующие требования:
1. Кроссплатформенность. Система управления должна работать под управлением различных операционных систем, как минимум под управлением трех основных: Linux, MacOS и Windows. Система должна иметь возможность запуска системы в консольном режиме.
2. Гетерогенность. Система должна уметь управлять компьютерами в смешанных сетях, т.е объединять компьютеры, находящиеся в разных локальных сетях, а также не имеющих внешнего ip-адреса..
3. Автонастройка. Система должна самостоятельно уметь включать или исключать компьютеры из рендер-фермы. Подключаемые к рендер-фермы компьютеры должны автоматически настраиваться на участие в рендер-ферме.
4. Универсальность. Система должна поддерживать различные программы создания 3d графики и рендеринга.
5. Многопользовательская система. Систему одновременно и независимо друг от друга должны иметь возможность использовать несколько пользователей.

Поиск показал, что существуют следующие готовые решения: собственные средства систем 3D графики по управлению рендерингом в компьютерных сетях, коммерческие менеджеры, свободные менеджеры Loki Render, DrQueue, Farmjoe, Afanasy. Анализ существующих систем управления сетевым рендерингом выявил, что ни одна из рассмотренных систем не соответствует установленным критериям. Наихудшие показатели для большинства систем оказались по критериям автонастройка и гетерогенность. Некоторые менеджеры мне даже попробовать не удалось из-за черезвычайно сложной установки и настройки.
В итоге возникла идея создания собственного менеджера и построения на его основе рендер-фермы. За 4 года неспешного развития система доросла до уровня, когда ей можно начать пользоваться.

Рендер-ферма "Бормотунчика" является бесплатной community-based рендер-фермой, т.е. вычислительные мощности фермы складываются из ресурсов пользователей-добровольцев.

Программное обеспечение состоит из программ сервера, нода и клиента.
Описание программного комплекса
Нод превращает ваш компьютер в узел рендер фермы, осуществляющий рендеринг проектов пользователей.
Клиент - программа, с помощью которой можно формировать задания для рендер-фермы, следить за ходом и получать информацию о рендер-ферме в целом.
Управление клиентами и нодом осуществляет программа сервер, работающая на VDS.

Программное обеспечение фермы разработано с использованием языка программирования Python, сетевого фрейворка Twisted и инструментария разработки Qt.
Программное обеспечение не требует какой-либо настройки и готово к использованию сразу после установки и регистрации.

На текущей момент ПО обеспечение фермы поддерживает
Программы:
Blender верси 2.69 и 2.70, рендеры: internal, cycles, lux, povray.
LuxRender 1.3.1 standalone.
PovRay 3.7 standalone.
В разработке находится поддержка Pixie, Aqsis, 3DELight, Vray и др. На самом деле, может быть добавлен любой рендер имеющий возможность ренедрить из командой строки.

Операционные системы и дистрибутивы:

Ubuntu 12.04 и новее, а также производные от них.
Windows XP/7/8.
Поддержка других ОС и дистрибутивов будет осуществляться по мере необходимости.

Для стимулирования использования фермы введен рейтинг.
Расчет рейтинга
Рейтинг считается в ТГц/ч. Сид - нод. Лич - задачи пользователя.
Для сида считается количество ГГц потраченных на рендеринг задачи и времени, проведенном нодом в ожидании. Время переводится как 0.1 ГГц/ч за час ожидания вне зависимости от мощности машины.
Для лича считается количество ГГц/ч потраченных на рендеринг задач сумарно всеми нодами.
Рейтинг - отношение значений лича и сида.

Внешний вид клиента:
Изображение

Официальный сайт проекта: render.gabbler.ru.
Скачать: render.gabbler.ru/download.html
Для того, чтобы нод могу работать в графическом режиме, необюходимо устанавливать программы и клиента, и нода. Для подсчета рейтинга необходимо зарегистрировать в ферме пользователя и зарегистрировать нод(ы) от имени этого пользователя.
Немного документации: render.gabbler.ru/work.html. Будет обновляться по мере возможностей.

Замечания:
1. Программное обеспечение рендер-фермы все еще находится в разработке, поэтому возможны ошибки и сбои в работе фермы.
2. Защита проектов на текущий момент не реализована. Проект доступен всем нодам в открытом виде, пока задача не будет удалена.
3. Рендеринг проектов, не умещающихся в памяти нодов проходит не предсказуемо, просьба это учитывать. Размер файла проекта на рендеринг влиять не должен.
4. Репозитарий для дистрибутивов Linux находится в разработке.
5. Поддержка рендеринга на GPU появиться позже.

Пожелания по работе и возможностям рендер-фермы приветствуются!


Быстрый старт от Юрия Небесного
Спойлер
Мануал как я пользуюсь фермой.
Как, что бы рендер не тормозил компьютер.

Первое, что нужно сделать после установки и первого запуска - вручную положить ноду в автозагрузку. В винде и в линуксах это делается просто.

Что бы нода при загрузке была свернута в трей, поставте в ее настройках "Стартовать минимизированным - да":
Изображение

Во вкладке настройки ноды, вы можете указать сколько ядер процессора вы готовы выделять для рендеринга.
Я оставляю все, т.к. количеством ядер выделенных на работу рендер-фермы управляю выставив расписание.
Ограничение ядер CUDA находится в долгосрочной разработке, возможно когда-то заработает.
Изображение

Очень важная вкладка Blender 2.79. Тут вы указываете какие устройства готовы предоставить для рендеринга.
Если в Compute Device оставить ANY то будет использоваться всё доступное для рендеринга. ЦПУ и ГПУ.
Изображение

Это один из самых важных моментов настройки ноды. Тут стоит понимать принцип работы самой рендер-фермы распределенных вычислений. Это очень похоже на торрент-качалку. Но вместо раздачи файлов, каждый компьютер раздает частичку своих мощностей. Ключевое слово тут - частичку. Не стоит выделять полностью все ресурсы своего компа, как вы им пользоваться то будете?
Давайте рассмотрим самый классический вариант обычного компа/ноута: обычный проц 4-ре ядра и какая-то одна видяха.
Что бы и ферма работала и вы могли пользоваться таким компом, стоит выделить только ЦПУ. И только 1-2 ядра. Будем откровенны, эти 1-2 ядра и так всё время простаивают и их нагрузки вы не заметите. А вот если вы предоставите для фермы видеокарту, а она у вас одна, то 100% ваш комп встанет.
Выставлять режим ANY в строке "Compute Device" следует только в том случае, если у вас в компе две видеокарты, и одна из них специально для нужд рендеринга.
На скриншоте как раз такой случай, видно что для работы монитора в моем компе стоит какая-то лишь бы была видяха, а вот рендер GPU я запускаю на второй видеокарте - GeForce GTX 780.

Если у вас, как и у меня, две видеокарты, вы можете указать какую из них можно использовать рендер-ферме, а какую нельзя:
Изображение

Давно доказанный экспериментальным путем, что быстрее всего рендер процессором идет при размере кластера 16*16 пикселей, а рендер GPU при 256*256.
Укажите эти параметры в CPU Tile и GPU Tile, как на скриншоте:
Изображение

Вкладка Shedule - расписание.
Тут сутски разбиты на часы. В каждый из часов вы можете указать сколько ядер ЦПУ готовы предоставить на рендер, и вообще держать ли ноду включенной.
Днем, в рабочее время на рабочем компе я выставляю только 2 ядра, а ночью отдаю под нужды фермы всю доступную мощность.
Изображение

На домашнем компе наоборот, что бы ночью комп не шумел я выставляю на ночь только 2 ядра. А днем все 4 ядра и Ge Force 1050 доступны для рендера.


Теперь о том, как правильно запускать свои рендеры.
Захдите в "Задачи", жмете "Добавить", указываете в источнике блендер-файл который нужно отрендерить, а в "Destination" указываете папку куда сохранится отрендеренная картинка.
Изображение
Тут внимательно - все пути к файлам и папкам должны быть на латинице.
В блендер-файле все текстуры должны быть внедрены в файл.

Давайте сейчас рассмотрим обычный Сайклс рендер обычного одного изображения:
Переключите режим рендера с BlenderAnimation в BlenderImage.
Теперь обратите внимание на 4-тую строку "Фрейм" - тут нужно указать какой кадр рендерить. Бывает, что рендеришь не анимацию, но кадр не первый а там 100-тый, например. Вот тут нужно указать.

Ниже, 5-тая строка "XY Tiles" очень важная.
Изображение
Это на сколько частей будет разбита картинка. Если поставите 2, то картинка разобъется на 2 по высоте и 2 по ширине, итого на 4-ре части. Каждая часть будет отдана одному из свободных компьютеров подключенных к рендер-ферме.
Выставляйте от 2 до 8, в зависимости от сложности рендера. Ведь каждую из частей будет рендерить чей-то ЦПУ с выделенными двумя ядрами. По этому сила этой фермы в большом количестве пользователей.
Мы однажды всем форумом рендерили умопомрочительный 360 градусный кадр для VR в 8К разрешением. И справились! :beer:

Так, теперь вкладка Job.
Изображение
Тут важный параметр в первой же строке - Encrypted. Это самая настоящая защита вашего проекта. Т.к. ваш блендер-файл разлетится по всем кто будет принимать участие в рендере, разумеется каждый из этих людей сможет потом этот файл найти у себя на компе в недрах папок. С одной стороны стремно, хочется индивидуальности, а с другой стороны да сдались они ваши файлы кому-то, у людей своих хватает. К тому же, защита эта существенно замедляет процесс подготовки к рендеру. Существенно.
Вывод такой - хотите индивидуальности то рендерите локально, самостоятельно, либо перейдите на вкладку "Рендер-ферма" и в нижней стоке "Группа нод" выберете "Private" так будут использоваться только ваши компы подключенные к ферме.
Защита проекта для очень-очень индивидуальных редких случаев.

Теперь вкладка Рендер-ферма.
Изображение
Тут очень интересно.
В первой строке выставляем чем ваш проект можно рендерить.
Важно протестировать свой файл, запустить его локально у себя перед отправкой на ферму, отрендерить в низком качестве но в финальном размере (разрешении) и посмотреть сколько памяти ушло в пике:
Изображение
Если памяти требуется где-то до 2-3 Гб, то можно смело ставить в строке Compute Device - ANY. Таким образом те, у кого подключены к ферме видеокарты с памятью 2-3 и более Гб памяти быстро отрендерят ваш проект, и им будут помогать те, у кого подключены только ЦПУ.
Но, если памяти в пике требуется значительно, стоит выставить CPU - так вы сбережете время и силы тех, у кого видеокарты подключены. Ведь ферма в любом случае будет пытаться ваш огромный файл запустить на рендер на их видеокартах, рендер будет слетать, и ферма будет заставлять их снова и снова, три раза, а затем оптавит их комп в бан для вашей задачи. А ведь у этих людей подключены и процессоры - так пусть изначально они включатся в работу, и не будут забанены, и все пройдет как по маслу.

В следующих двух строках указываете минимальное количество выделенных ядер которое должно быть у компа, что бы включиться в ваш рендер, а ниже минимальное количество герц которое должно быть у проца, и сколько оперативы на компе должно быть.
Всё это анализируйте исходя из сложности вашей задачи. Не стоит давать её всем, отфильтруйте слабые компы, пусть они даже не напрягаются если ваша задача сложная, ведь если им это сложно, их пользователи будут замечать тормоза системы и выйдут из фермы навсегда, хотя могли бы порендерить чей-то простой и легкий проект. Будте внимательны тут.
К тому же, если чей-то слабый комп будет рендерить ваш сложный проект, то он может на долго застрять со своим участком рендера - все уже отрендерили, а этот все висит и рендерит и рендерит...
Изображение

В последней строке - Nodes group укажите, только вашим компам рендерить ваш проект, или всем-всем, или только доверенным из "Белого листа".
Кстати, списки черных и белых листов задавать можно тыркая тут:
Изображение

Теперь расскажу об одной особенности. Бывает, рендер идёт-идёт, все хорошо, но вот он застрял на 99% готовности, и ферма никого не подключает дорендерить этот последний оставшийся процент. В таких случаях нужно остановить задачу и запустить снова.

По окончании рендера, вы увидете ее статус "finished". Посмотите, в папке которую указывали должен лежать рендер готовый.
Не захламляйте сервак, удаляйте свои проекты по готовности.
Всем удачных рендеров :oD



Последняя версия программного обеспечения.
Это алmфа версия значительно переработанного программного обеспечения. Поддерживает только Blender: Internal и Cycles. После стабилизации кода, будут восстановлены все возможности. Работает параллельно с предыдущей версией.

Пост с описанием изменений: /viewtopic.php?p=58242#p58242

Пакеты deb и rpm собирались в Ubuntu 12.04.
Пакеты для Arch собирались в Manjaro 0.8.
Версия для Windows собиралась в Windows 7 64 bit.

Deb:
http://render.gabbler.ru/download/debs/gbfarm.blender27-plugin_10_amd64.deb
http://render.gabbler.ru/download/debs/gbfarm.node_0.60-4_amd64.deb


Windows:
http://render.gabbler.ru/download/win/gbfarm-blender27-plugin_10_x64.zip
http://render.gabbler.ru/download/win/gbfarm-node_0.60-4_x64.exe

Плагин Blender для windows необходимо распаковать поверх старого (папка blender27 и файл blender27_plugin.pyc в программной папке проекта).
Последний раз редактировалось girafenok 10.01.2018, 21:08, всего редактировалось 8 раз(а).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 656


Сообщение #201 stark » 21.06.2014, 10:29

Все рендерят на CPU. Это тоже Blender Internal Render. Это задача уже 7 дней считается (показывается время уже затраченное на задачу) :) И учитывая что сделана где-то половина, если в том же темпе, то она ещё столько же считаться и будет.

Правда темп этот невелик - сравним с одним i7 в режиме 24/7. Так что вклад быстрого CPU даже за пару часов ощутим. Я тут тоже не собираюсь висеть круглосуточно. Благо результат финализируется каждые 10-20 минут.

frame time - это как я заметил, сколько времени уже считается кадр. Только периодическим обновлением и мониторингом можно понять, какая машина сколько на кадр тратит. А нет, касательно своей машины, по логам нода можно понять.

P.S. Не работает ограничение на количество ядер. Ни сразу ни при взятии следующего кадра. Возможно надо нод перезапускать. Да, перезапуск помогает.
stark M
Сообщения: 2246


Сообщение #202 SergeV » 21.06.2014, 10:43

Я в предыдущем своём посте корректировки по поводу настроек сделал..., заметил что количество ядер в настройках до 4-х отрабатывает не правильно, если задавать 4 и больше, то работают все, если 2 и 3, то работает на ядро меньше...

Все рендерят на CPU. Это тоже Blender Internal Render. Это задача уже 7 дней считается (показывается время уже затраченное на задачу) :) И учитывая что сделана где-то половина, если в том же темпе, то она ещё столько же считаться и будет.
Ещё один повод ввести хинты в программу.

Да тут ещё мысля прокатила, из за такой большой задачи, другие будут висеть долго в ожидании, поэтому если была бы возможность настраивать количество ядер на отдельные задачи, скажем 2-4 ядра на одну большую задачу, и 1-2 ядра на следующую(ие) мелкую(ие), то тогда бы ожидание бы для других было бы не столь длительным. К примеру я бы мог 2 ядра на главную/большую задачу отдать, и по одному ядру(2-3) на мелкие...
Не говори - "не умею", тот кто не пробует, тот никогда не научится. Mein Slogan :)
Моя свалка...
SergeV M
Аватара
Откуда: Германия
Сообщения: 1470

Сообщение #203 stark » 21.06.2014, 10:49

На предыдущей странице я тоже предлагал автору подумать на счёт более "умного" менеджмента задач. Автор согласен что надо, но видно руки пока не доходят.

Ну и как-то сегодня мы уже считали относительно небольшую задачу, которая вклинилась в выполнение вот этой большой.
stark M
Сообщения: 2246


Сообщение #204 SergeV » 21.06.2014, 10:58

Сейчас ещё раз проверил..., на 2-х ядрах второе так и не включилось в работу, а на 3-х, с запозданием в пару минут, но запустилось... В общем хз что там и как.

Лан.., до обеда комп повисит немного на трёх ядрах, а потом усё хлопче, бананы закончатся как минимум на выходные, а там видно будет. ;)

С играми в настройки, до сих пор считается у меня 802 кадр. :-D
Не говори - "не умею", тот кто не пробует, тот никогда не научится. Mein Slogan :)
Моя свалка...
SergeV M
Аватара
Откуда: Германия
Сообщения: 1470

Сообщение #205 stark » 21.06.2014, 11:12

SergeV писал(а):С играми в настройки, до сих пор считается у меня 802 кадр. :-D
Тоже заметил. Никто тут никому не должен так-то. Но как говорится - "с миру по нитке" - и будет результат. Главное чтоб результат этот был востребован... а то окажется - "тут тень не так легла" и всё пересчитывать заново. Тогда как-то некрасиво будет со стороны того, кто такую большую задачу, оказавшуюся такой ненужной, на эту добровольную рендер-ферму скинул.
stark M
Сообщения: 2246


Сообщение #206 nabsis » 21.06.2014, 12:22

А я вот думаю, что колхоз дело добровольное. Никто, вроде, не не заставляет делить вои ресурсы на всех. Есть возможность помогаем, нет извольте. И просить от автора таких титанических усилий для халявы, чтоб всем хватало, уж совсем не хорошо. Я вот когда могу тогда и делюсь своим i7, стараюсь не менее 2 часов в сутки(как вспомню свои мучения на atlon +3800 так сразу и включаю).
nabsis
Сообщения: 27

  • 1

Сообщение #207 girafenok » 21.06.2014, 19:47

По порядку.
Система написана на Pyton+Qt.
Иконки вшиты в саму программу, также привязаны одним кликом, но из-за особенностей формирования исполняемого файла, видимо Windows их не видит.
Фиксированный размер пока останется, поскольку хорошо сделать масштабируемое окно - не совсем простая задача, как может показаться на первый взгляд.
Подсказки к элементам интерфейса сделаем, в том числе переведем остаток информации с английского на русский к следующей версии.

По терминам:
Время задачи (job time) - время выполнения задачи на ферме (сколько прошло времени с начала рендеринга задачи).
Время кадра (frame time) - время рендеринге кадар на ноде (сколько прошло времени с начала рендеринга кадра).
Время нода (seed time) - сколько времени нод рендерит задачи (только текущая сессия). Общее время сидирования нодом доступно пользователю, которому принадлежит нод, в программе клиента.
Время рендеринга кадра для своих нодов, можно также посмотреть в логе: в ноде нижнее поле и кнопка с троеточием.

Загрузка ядер процессора зависит не только от параметров нода, но и от настроек проекта, а также от его вычислительной сложности. Например, простая анимация кубика, при всем желании, не загрузит все 8 ядер процессора.
К тому же, по моему наблюдению Blender работает немного по-разному при нормальном запуске и при запуске из командной строки, который используется нодом. На это влияют, как показывает опыт, галочки композитинг и секвенсор постобработки, как именно еще не разобрался.
Не все рендеры используют GPU, поэтому если GPU по каким-либо причинам использовать нельзя, даже если оно выставлено в настройках, будет использовано CPU. В следующих версиях нода, планирую сделать расширенные настройки по управлению вычислительными устройствами компьютера. Можно будет задействовать только GPU, только CPU, и то, и другое вместе.
Ограничение по ядрам работают на лету только в Windows со следующего кадара, текущий кадр рендерится с ранее заданными настройками. В Linux изменение количества ядер требует перезапуска нода. Почему пока не разбирался.

Неправильное задействованное количество ядер, думаю, что это особенности связки Windows и AMD FX.

Разбивать мощности нода на несколько задач - нецелесообразно, за исключением параллельного использования CPU и GPU.

Согласен с nabsis, для полных халявщиков титанических усилий прилагать не хочется, а пока так и получается, пользователь зарегистрируется, кинет свою вычислительно емкую задачу и ждет, пока ее отрендерят, сам при этом в процессе, даже ради приличия не участвует.

В связи с этим следующей задачей, которую я буду решать - это грамотный планировщик задач, в том числе на основе рейтинга. Также, есть задумка сделать существенный бонус пользователям, которые активно предоставляют свои ресурсы в пользование другим.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 656

Сообщение #208 SergeV » 22.06.2014, 09:54

А я вот думаю, что колхоз дело добровольное. Никто, вроде, не не заставляет делить вои ресурсы на всех. Есть возможность помогаем, нет извольте.
Вот именно, колхоз дело добровольное, и если я к примеру могу предоставить свои ресурсы, то могу также и иметь желание их предоставить так как хочу. Другая проблема, что реализовать разделение ядер на задачи возможно сложно, если вообще возможно относительно для данной фермы...

И просить от автора таких титанических усилий для халявы, чтоб всем хватало, уж совсем не хорошо.
Так не кто и не просит, просто идёт дискуссия о том что хорошо, что плохо, и чего не хватает, а дальше уже автору решать, что и как...

Я лично вообще фермой интересуюсь пока только ради спортивного интереса, чисто поглядеть и чего сказать по недоработкам на мой взгляд, и не больше, так как использовать ферму в ближайший год, а то и два, я думаю и не буду, своего компа хватает пока, быстрей самому отрендерить чем неделю-другую ждать с моря погоды. Вчерашний тест новой версии клиента показал как может сегодня рендерится неделями одна задача. :)

Также, есть задумка сделать существенный бонус пользователям, которые активно предоставляют свои ресурсы в пользование другим.
Задумка правильная, вопрос лишь в реализации, как будет считаться кто и сколько потратил ресурсов.

ПС. Я думаю на страницу инфы, к данным по компам и активным задачам, добавлять имя клиента/пользователя, что бы видно было кому что принадлежит. Это скорее на мой взгляд нужно для отличения своего компа от похожих по конфигурации, когда нодов будет не 3-5-10 штук, а 20-100 и больше... Ну и с "задумкой выше", "можно" туда же и рейтинг для компа вписывать.
Не говори - "не умею", тот кто не пробует, тот никогда не научится. Mein Slogan :)
Моя свалка...
SergeV M
Аватара
Откуда: Германия
Сообщения: 1470

Сообщение #209 stark » 22.06.2014, 14:32

Код: Выделить всё
/opt/gabbler/render/node$ ./node
Traceback (most recent call last):
  File "/usr/local/lib/python2.7/dist-packages/cx_Freeze/initscripts/ConsoleKeepPath.py", line 13, in <module>
  File "twstdnode.py", line 66, in <module>
KeyError: 'server'
Видно сервер на overhaul ушёл - не стартует ни нод, ни клиент.
stark M
Сообщения: 2246


  • 1

Сообщение #210 girafenok » 22.06.2014, 15:11

stark,
Файл настроек сохранился неверно.
Удалить ~/.gabbler/render/client.cfg
SergeV писал(а):Задумка правильная, вопрос лишь в реализации, как будет считаться кто и сколько потратил ресурсов.
Ресурсы нодов, на текущий момент, считаются по формуле:
Количество ядер*количество ГГц + время сидирования*0.1ГГц/ч.

Рейтинг считается для пользователя, выводить для отдельного компьютера не получится.
Также имена пользователей не будут добавляться ни к задачам, ни к нодам, будем соблюдать анонимность. Нод можно будет отличить по номеру (id), который будет уникальным для каждого зарегистрированного компьютера (в скором времени).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 656

Сообщение #211 stark » 22.06.2014, 17:41

girafenok писал(а):Файл настроек сохранился неверно.
Удалить ~/.gabbler/render/client.cfg
Помогло. Но странно... не стартуют оба, а удалить надо только client.cfg, а node.cfg не надо. Впрочем - разработчик однозначно лучше знает.

Раз стали говорить на счёт рейтинга, вот у меня сейчас вот так дело обстоит.
Код: Выделить всё
Rating:
Leech, Thz: 0.000000.
Seed, Thz: 0.189368.
Seed bonus, Thz: 0.500000.
Seed hours, hrs: 19.916667.
Rating: 0.000.
CPU (i7 3770) имеет 4 ядра + 4 ядра HT на 3.4Ггц. Рендерит в 8 потоков подавляющую часть времени. Простоев не бывало.
Делю Seed / Seed hours = 0.18937 Thz / 19.92 = 0.0095 Thz = 9.5 Ghz.
Ни 4, ни 8 ядер на 3.4 Ггц не получаются и близко. В общем , это конечно не очень важно, но я так и не смог понять, как считать надо.

Добавлено спустя 16 минут 49 секунд:
И ещё. Если рендеринг идёт в Blender Internal Render, то размер тайла откуда берётся?
Есть настройка тайла под Cycles в интерфейсе нода. Есть настройка в .blend файле пользователя. Есть настройка по ветке else в файле .py что рядом с .blend лежит.
Похоже что именно используется настройка из файла .py. Но там стоит 32x32 - маловато значение - поменять его пользователь у себя не может?
stark M
Сообщения: 2246


  • 1

Сообщение #212 girafenok » 22.06.2014, 22:46

stark писал(а):не стартуют оба, а удалить надо только client.cfg, а node.cfg не надо.
ip адрес и порт сервера хранится в client.cfg.

stark писал(а):В общем , это конечно не очень важно
Важно! Рейтинг важен. В отсутствии какой-либо материальной выгоды, должен быть стимул предоставлять свои ресурсы. Таким является рейтинг, тем более он потом позволит использовать ресурсы других.

С рейтингом накосячил где-то, еще частота процессора не всегда правильно определяется. Найдем, исправим, рейтинг скорректируем, никто не уйдет обиженным ).

Размер берется 32х32. Для процессора, чем меньше tile, тем лучше.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 656

Сообщение #213 stark » 22.06.2014, 23:39

Спасибо за понятный ответ.

Про 32x32 я потому заговорил, что в Blender Internal Render при 128x128 или даже 200x200 кадр у меня быстрее рендерится процентов на 5%-8%. Понятно что невелика оптимизация и далеко не первоочередная задача настолько выжимать. А в Cycles да - 16x16 или там 32x32 лучший по времени результат дают.
stark M
Сообщения: 2246


  • 1

Сообщение #214 stark » 30.06.2014, 14:11

Видно серверная часть рендер-фермы обновилась. Спасибо за поправленый рейтинг, теперь он вызывает гораздо меньше вопросов.

Вопрос: как запустить рендеринг на рендер-ферме в Lux? У меня на "Ubuntu" варианты при оформлении задачи следующие:
- Blender269Image, Blender269Anim, Blender269ExtAnim,
- Blender27Image, Blender27Amin, Blender27ExtAnim,
- POVRayImage, POVRayAnim
... и никакого Lux :( .
При указании Blender27Image автоматически рендеринг в Lux по настройкам файла тоже не определяет.

И такая вроде мелочь - нод сохранил настройку значка в трее, а клиент не сохраняет, сбрасывает на первый вариант от пользователя mup0k.... а сейчас подумал - не такая уж и мелочь!
Дело в том, что файл client.cfg отсутствует рядом с node.cfg почти всегда, а когда появляется, то приводит к упомянутой ранее ошибке (получается битым) и его приходится удалять. Одним из следствий этого видно и является не сохранение настройки значка в трее.

Добавлено спустя 9 минут 25 секунд:
Ну и давненько никто уже ничего не рендерил. Так что не знаю насчёт "репрессивных" мер... меня вот не напрягает помочь кому-нибудь отрендерить задачу - может у человека своя машинка слабая совсем.

Пользуясь случаем, хочу передать привет владельцу AMD Phenom 960T, с которым вместе "добивали" эту "чудовищно" длинную анимацию, что больше недели занимала рендер-ферму :)
stark M
Сообщения: 2246


  • 1

Сообщение #215 girafenok » 30.06.2014, 14:38

stark,
Да, серверная часть обновилась, рейтинг поправил, попутно ввел "карательные" меры, посмотрим что из этого получится.

Параметры иконки сохраняются в client.cfg, поэтому если с ним проблемы, то и иконка будет сбрасываться на по-умолчанию. Проблему с client.cfg вопроизвести не удалось. Какой рабочий стол?

Включил Lux, правда он работает крайне не стабильно. Если сцена сформирована отдельно, то выбирать LuxImage, если внутри Blender, то выбирать Blender27ExtImage (Blender269ExtImage), параметры рендеринга и сам движок рендеринга берется из файла проекта, на тестовых сценах работало. Для появления новых дивжков нужно перезапустить клиент.

AMD Phenom 960T - мой, привет получил ).
girafenok
рендер-фермер
рендер-фермер
Сообщения: 656

Сообщение #216 stark » 30.06.2014, 15:16

У меня Kubuntu 13.4 штатный. Графическая оболочка значит KDE. Рабочий стол - Plasma Desktop.

girafenok писал(а):Включил Lux, правда он работает крайне не стабильно.
Просто хотел для теста (и инициализации рейтинга) отрендерить кубик, а чтобы рендерился не мгновенно, решил использовать Lux. В общем "не ту дорожку" выбрал значит :) Мне пока не имеет большого смысла рендерить в Lux на рендер-ферме, т.к. задачи возникают обычно на несколько часов. И ещё есть возможность усилить систему адекватной видеокартой.
.blend файл с Blender27ExtImage не пошёл (пишет что работает, но CPU не загружен), а .zip через опцию LuxImage пошёл :oD Судя по всему, он 16 раз указанное количество сэмплов посчитал - т.е. надо указывать целевое количество сэмплов в 16 раз меньше желаемого. Посчитал, клиент вывел preview, но вот картинку не отдаёт - пишет, что "Job was deleted". Да, проблемки есть.

Из-за настойчивости AMD Phenom 960T, я склонялся к тому, что это автор задачи, а вон оно как оказывается ))

Добавлено спустя 11 минут 49 секунд:
С галочкой "frames" отдал 16 файлов .flm. Наверное можно как-то слить их в 1 - но это уже вопрос к Lux.

Добавлено спустя 4 минуты 45 секунд:
По поводу сохранения настроек. Проверил ещё раз: как только в клиенте нажимаю "Save settings", то получаю client.cfg на диск, но его приходится удалить, иначе программа не стартует.
stark M
Сообщения: 2246


  • 1

Сообщение #217 girafenok » 30.06.2014, 15:41

С результатом в Lux косяк, буду исправлять.
Результат тестовой сцены отправил в личку.
Пока технология рендеринга с Lux не продумана и не отработана, рендерит 16 раз с настройками из проекта, т.е. результат получается в 16 раз лучше.
Собрать из flm
Код: Выделить всё
luxmerger -o renderfarm_small_test_lux.flm *.flm
luxconsole -r renderfarm_small_test_lux.lxs (или через графический интерфейс загрузить flm)

С client.cfg буду разбираться, подозреваю, что файловая система Ext4. С ней косяки бывают.
girafenok
рендер-фермер
рендер-фермер
Сообщения: 656

Сообщение #218 stark » 30.06.2014, 16:00

Право, не стоило беспокоиться об отправке результата )) Хотелось просто провести полный тест и посмотреть как оно работает с Lux - пощупать вживую так сказать. Спасибо, сборка flm реально полезная фича - хорошо что предоставился повод ей научиться. Тогда и рендером Lux в тестовом режиме уже можно пользоваться! ))

Впрочем, Cycles гораздо популярнее чем Lux, и то что он работает без явных нареканий - уже большой плюс.

Да, файловая система ext4.
stark M
Сообщения: 2246


Сообщение #219 Jack-of-Shadow » 09.07.2014, 20:11

Поставил ноду и клиент из репозитория. Кто-то начал рендерить, и комп повесился... Я извиняюсь, за то, что отключил ноду, но работать стало невозможно( Изначально в настройках выставил ГПУ и 4 ядра, во второй раз - ЦПУ и 8 ядер. Результат одинаковый. Жуткие лаги. Ubuntu 14.04.
Вся жизнь - игра, и люди в ней - еноты!
Jack-of-Shadow M
Аватара
Откуда: Россия, Томск
Сообщения: 209

Сообщение #220 stark » 09.07.2014, 20:49

Какой-то нехороший человек отправил на рендер чисто тестовую сцену (задача f338e9a94b544ee7), которая не укладывается в 16Gb RAM из-за того, что содержит "over9000" одинаковых примитивов, с сабсурф включенным на 6, и принципиально без инстансов - в общем кто-то придумал как "терракт" на рендер-ферме устроить :-D

Напоржать наверное :-/
stark M
Сообщения: 2246


Пред.След.

Вернуться в Обсуждение CG

Кто сейчас на форуме (по активности за 5 минут)

Сейчас этот раздел просматривают: 1 гость