Страница 1 из 1

Запуск Windows программ в кластере или вычислительной ферме

Добавлено: 05 окт 2013, 23:18
torvn77
Не то,чтобы я хотел это сделать,но интересно узнать про возможность в принципе.

Вопрос вот какой:
Можно взять несколько компьютеров и через сеть объеденить их в один большой виртуальный.
На него поставить виндовс или линукс с вайном и запустить какуюнибудь виндовую CAD программу,
умеющею паралелить вычесления.
Ну и получить профит от вычеслении на большом количестве процессоров.
Скажем на одном компьютере восемь процессоров,а после объединения N таких компьютеров в один получить монстро в 8*N процессорных ядер.
Вроде как такое делают и называют не то кластерами,не то вычеслительными фермами.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 00:07
michael-yurov
По моему для нормальной работы CAD программ достаточно хиленького Core i3, и современной видеокарты за 3000 руб.
А распараллелить вычисления не получится, т.к. большинство операций требующих быстроты происходят в одном потоке.

Я еще понимаю, что подобные кластеры нужны для расчета качественного 3d видео, но в этом случае затраты на дизайнеров обычно намного выше затрат на оборудование,
а модули для распределения вычислений уже есть в самих программах рендеринга.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 00:13
torvn77
Ну я думаю о всяких художественных рельефах у которых куча завитушек,и всяких 4D~5D художествах.
В этом случае мощьность лишней не будет.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 00:32
michael-yurov
torvn77 писал(а):Ну я думаю о всяких художественных рельефах у которых куча завитушек,и всяких 4D~5D художествах.
В этом случае мощьность лишней не будет.
Больше будет проблем с рапараллеливанием нагрузки, т.к. быстродействие нужно для скорости реакции программы на действия мышкой, а эти операции сложно распараллелить, если только не написать свою собственную CAD программу.
Некоторые CAM программы при расчете траекторий научились рапараллеливать нагрузку, но не всю, а только однотипную работу (где одно не зависит от другого). 8-ми потоков обычного i7 мне вполне хватает для работы со сложными моделями, а тормозят программы там, где распределить нагрузку почти невозможно.
Если нормальный процессор, хорошая мать, быстродействующая память, SSD диск, и, главное быстрая (не мощная для игр, а именно быстрая) современная видеокарта. То никаких проблем не возникает.
Если компьютер нормальный, то скорость работы ограничена только пользователем и ждать компьютер не приходится.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 00:46
NightV
насколько я знаю при сьёмках фильма Titanic исползовалась подобная система распрееления ресурсов...
.... нам ждать Титаник 2 ? :)

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 00:48
torvn77
michael-yurov писал(а): и, главное быстрая (не мощная для игр, а именно быстрая) современная видеокарта.
А в чём разница между быстрой и мощьной видеокартой?

Медленная реакция на мышь и есть один из моментов ради которого хочется убыстрить программу.
Ещё Арткам достал медленным рендерингом,но ему ферма не поможет,он не паралелится.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 01:44
michael-yurov
torvn77 писал(а):А в чём разница между быстрой и мощьной видеокартой?
Мощная - это та, где вычисления распараллелены на много процессоров. Это хорошо для игр, где картинку на ресурсоемких стадиях отрисовки возможно разделить на части.
Для игр сейчас выгоднее купить старую модель, но с большим количеством ядер (мощную модель). Либо, модель на устаревших но мощных процессрах.
А для CAD программ лучше купить что-то недорогое но современное, желательно NVidia на PCI-Ex 3.0, например, GeForce GTX 650, или, если финансы позволяют - более новую модель.
Дело в том, что для CAD программ не нужен большой объем вычислений - там, обычно задачи простые, но выполнять их нужно максимально быстро.

Наверное, ситуацию в некоторой степени можно сравнить с автомобилями. Мощнее - не всегда быстрее.
torvn77 писал(а):Ещё Арткам достал медленным рендерингом,но ему ферма не поможет,он не паралелится.
Арткаму уже вообще ничего не поможет.
Хотя, он почему-то жутко тормозит на древних видеокартах и ноутбуках.
А о каком рендеринге идет речь? Об отрисовке 3d картинки?
У меня никогда с этим проблем не было. Может быть не работает ускорение OpenGL?

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 10:38
Uglykoyote
:) вы уточните - что он имеет ввиду про кластер, мне на другом форуме он начал ссылками кидаться, не слушая ответы из практики. :mrgreen:

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 11:29
torvn77
Арткам у меня в virtualbox'се,и opengl конечно нет.
Но особой разницы в перемещении-верчении не большого клише нету,
главные тормоза это расчёт визуализации как таковой.
И к сожалению делаются это процессором в один поток
и установка на прямую винду поэтому результатов не даёт.

Как я понимаю,речь идет о моём посте в теме на mir-cnc.
И там вы зовётесь ТoрТoр.
Идея у меня та,что судя по обсуждениям есть софт,позволяющии физические процессор
и память "удалённого" хоста представить в локальном как его часть.
В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.

Про XEN я свою ссылку посмотрел,там похоже не то,что я имел ввиду.
Но описание технологии путанное,хрен поймещь с моим разумом,то это или не то.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 12:02
michael-yurov
torvn77 писал(а):Арткам у меня в virtualbox'се,и opengl конечно нет.
Ну тут уж простите, хотели секеса - получайте.
torvn77 писал(а):главные тормоза это расчёт визуализации как таковой.
Зачем делать в арткаме визуализацию? Или я что-то не понимаю? Что вы называете визуализацией?
torvn77 писал(а):И к сожалению делаются это процессором в один поток
Визуализацию обычно программы без проблем разделяют на много потоков. Только не пойму, при чем здесь арткам?
torvn77 писал(а):В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.
Да не будет такого никогда, т.к. распределение нагрузки и ограничение скорости передачи данных между компьютерами будет бочкой дегтя с каплями меда.

Года два назад обрабатывал в фотошопе файл размером в 108 гигапикселей, и, в общем-то обычный компьютер вполне сносно справлялся, правда пришлось установить 32 ГБ оперативки и твердотельный диск для кэша.
А вы ради арткама с рельефом в 16 мегапикселей хотите кластер создать. Я бы сказал - из "Катюши" по воробью.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 12:21
torvn77
michael-yurov писал(а):Ну тут уж простите, хотели секеса - получайте.
На моих моделях уровень удовольствия не зависит от того,в виртуалбоксе винда или поставлена прямо на компьютер.
В виртуал боксе держать винду удобней,а потеря производительности софтварной эмуляции не существенна
Повторюсь:
torvn77 писал(а):Но особой разницы в перемещении-верчении не большого клише нету,
главные тормоза это расчёт визуализации как таковой.
michael-yurov писал(а):Зачем делать в арткаме визуализацию? Или я что-то не понимаю? Что вы называете визуализацией?
Берёте русифицированный арткам с рутреккера и смотрите Меню-Траектории-Имитация-`Визуализация траектории`
Я понимаю так,что правильнее перевести это используя слово Рендеринг.
Но в Арткаме написано таквизуализация,и так как скорее всего этот перевод и является общеизвестным,то я им и пользуюсь.
michael-yurov писал(а): А вы ради арткама с рельефом в 16 мегапикселей хотите кластер создать. Я бы сказал - из "Катюши" по воробью.
Для Арткама этого я делать не буду,так как не знаю сколько он создаёт при вычеслении потоков,
но оказываются они все на одном ядре при семи других свободных.
Я предпочту поискать другую программу,которая равномерно распределит вычесления по ядрам и вот ради неё уже и стараться.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 06 окт 2013, 13:36
michael-yurov
torvn77 писал(а):В виртуал боксе держать винду удобней,а потеря производительности софтварной эмуляции не существенна
Так в этом режиме почти ничего не работает из оборудования, аппаратного ускорения и т.п.
Да и многопоточность, возможно, не поддерживается. Хотя, я не знаю этого, просто помню старый опыт общения с виртуальной машиной.
torvn77 писал(а):смотрите Меню-Траектории-Имитация-`Визуализация траектории`
Аааа! понял о чем речь!
Это называется "Симуляция"!
Untitled-1.png <a class='original' href='./download/file.php?id=19376&sid=04f5999dc457cbb037e208f782a923b9&mode=view'>Загрузить оригинал (51.44 КБ)</a>
Я то думал, что речь про фотореалистичный рендеринг. Я еще удивился, что это можно делать в арткаме.

А визуализация траектории действительно не всегда быстро работает, особенно при очень высоком разрешении и с профильными и сферическими фрезами.
torvn77 писал(а):так как не знаю сколько он создаёт при вычеслении потоков,
Я сейчас проверил 2008 арткам, он только в одном потоке проводит симуляцию.
torvn77 писал(а):Я предпочту поискать другую программу,которая равномерно распределит вычесления по ядрам и вот ради неё уже и стараться.
У меня в таких программах многопоточные вычисления происходят очень быстро, а вот то, что нельзя распределить - отнимает большую часть времени.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 07 окт 2013, 00:44
Serg
torvn77 писал(а):В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.
Не получится.
Ещё не научились создавать кластеры, где один процесс (программа) может исполнятся одновременно несколькими процессорами на разных компах.
Вернее как это сделать знают - для этого нужны сети передачи данных со скоростью порядка 300 Gbit/s и выше. Правда стоимость реализации таких сетей получится неоправданно высокая.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 07 окт 2013, 01:39
torvn77
Если так.то можно сеть сделать через scasi или sata порты?

И софт для организации такого вычислительного центра существует?
(Делать я такую систему не буду,но интересно)

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 07 окт 2013, 02:59
Serg
torvn77 писал(а):Если так.то можно сеть сделать через scasi или sata порты?
Это как минимум в 100 раз медленнее, чем нужно.
torvn77 писал(а):И софт для организации такого вычислительного центра существует?
Для исполнения одного процесса на нескольких компах? - Нет, ибо его негде запустить.

Re: Запуск Windows программ в кластере или вычислительной фе

Добавлено: 09 окт 2013, 07:19
Maxekb77
Собрать то ферму можно, только как обычно все в софт упираться начнет.