Запуск Windows программ в кластере или вычислительной ферме

Обсуждение установки, настройки и использования LinuxCNC. Вопросы по Gкоду.
Аватара пользователя
torvn77
Мастер
Сообщения: 2426
Зарегистрирован: 02 июн 2012, 22:12
Репутация: 214
Откуда: Россия,Санкт-Петербург
Контактная информация:

Запуск Windows программ в кластере или вычислительной ферме

Сообщение torvn77 »

Не то,чтобы я хотел это сделать,но интересно узнать про возможность в принципе.

Вопрос вот какой:
Можно взять несколько компьютеров и через сеть объеденить их в один большой виртуальный.
На него поставить виндовс или линукс с вайном и запустить какуюнибудь виндовую CAD программу,
умеющею паралелить вычесления.
Ну и получить профит от вычеслении на большом количестве процессоров.
Скажем на одном компьютере восемь процессоров,а после объединения N таких компьютеров в один получить монстро в 8*N процессорных ядер.
Вроде как такое делают и называют не то кластерами,не то вычеслительными фермами.
Дилетанту сложные вещи кажутся очень простыми,а профессионалу простые очень сложными.
В результате дилетант работает,а профессионал чешет в затылке.
Аватара пользователя
michael-yurov
Почётный участник
Почётный участник
Сообщения: 11210
Зарегистрирован: 26 июл 2012, 00:10
Репутация: 4436
Настоящее имя: Михаил Львович
Откуда: Новоуральск, Свердловская область.
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение michael-yurov »

По моему для нормальной работы CAD программ достаточно хиленького Core i3, и современной видеокарты за 3000 руб.
А распараллелить вычисления не получится, т.к. большинство операций требующих быстроты происходят в одном потоке.

Я еще понимаю, что подобные кластеры нужны для расчета качественного 3d видео, но в этом случае затраты на дизайнеров обычно намного выше затрат на оборудование,
а модули для распределения вычислений уже есть в самих программах рендеринга.
Аватара пользователя
torvn77
Мастер
Сообщения: 2426
Зарегистрирован: 02 июн 2012, 22:12
Репутация: 214
Откуда: Россия,Санкт-Петербург
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение torvn77 »

Ну я думаю о всяких художественных рельефах у которых куча завитушек,и всяких 4D~5D художествах.
В этом случае мощьность лишней не будет.
Дилетанту сложные вещи кажутся очень простыми,а профессионалу простые очень сложными.
В результате дилетант работает,а профессионал чешет в затылке.
Аватара пользователя
michael-yurov
Почётный участник
Почётный участник
Сообщения: 11210
Зарегистрирован: 26 июл 2012, 00:10
Репутация: 4436
Настоящее имя: Михаил Львович
Откуда: Новоуральск, Свердловская область.
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение michael-yurov »

torvn77 писал(а):Ну я думаю о всяких художественных рельефах у которых куча завитушек,и всяких 4D~5D художествах.
В этом случае мощьность лишней не будет.
Больше будет проблем с рапараллеливанием нагрузки, т.к. быстродействие нужно для скорости реакции программы на действия мышкой, а эти операции сложно распараллелить, если только не написать свою собственную CAD программу.
Некоторые CAM программы при расчете траекторий научились рапараллеливать нагрузку, но не всю, а только однотипную работу (где одно не зависит от другого). 8-ми потоков обычного i7 мне вполне хватает для работы со сложными моделями, а тормозят программы там, где распределить нагрузку почти невозможно.
Если нормальный процессор, хорошая мать, быстродействующая память, SSD диск, и, главное быстрая (не мощная для игр, а именно быстрая) современная видеокарта. То никаких проблем не возникает.
Если компьютер нормальный, то скорость работы ограничена только пользователем и ждать компьютер не приходится.
Аватара пользователя
NightV
Почётный участник
Почётный участник
Сообщения: 6582
Зарегистрирован: 30 дек 2011, 09:14
Репутация: 2271
Настоящее имя: Владимир Айрапетян
Откуда: Israel
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение NightV »

насколько я знаю при сьёмках фильма Titanic исползовалась подобная система распрееления ресурсов...
.... нам ждать Титаник 2 ? :)
Всё просто! если знаешь КАК!
Аватара пользователя
torvn77
Мастер
Сообщения: 2426
Зарегистрирован: 02 июн 2012, 22:12
Репутация: 214
Откуда: Россия,Санкт-Петербург
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение torvn77 »

michael-yurov писал(а): и, главное быстрая (не мощная для игр, а именно быстрая) современная видеокарта.
А в чём разница между быстрой и мощьной видеокартой?

Медленная реакция на мышь и есть один из моментов ради которого хочется убыстрить программу.
Ещё Арткам достал медленным рендерингом,но ему ферма не поможет,он не паралелится.
Дилетанту сложные вещи кажутся очень простыми,а профессионалу простые очень сложными.
В результате дилетант работает,а профессионал чешет в затылке.
Аватара пользователя
michael-yurov
Почётный участник
Почётный участник
Сообщения: 11210
Зарегистрирован: 26 июл 2012, 00:10
Репутация: 4436
Настоящее имя: Михаил Львович
Откуда: Новоуральск, Свердловская область.
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение michael-yurov »

torvn77 писал(а):А в чём разница между быстрой и мощьной видеокартой?
Мощная - это та, где вычисления распараллелены на много процессоров. Это хорошо для игр, где картинку на ресурсоемких стадиях отрисовки возможно разделить на части.
Для игр сейчас выгоднее купить старую модель, но с большим количеством ядер (мощную модель). Либо, модель на устаревших но мощных процессрах.
А для CAD программ лучше купить что-то недорогое но современное, желательно NVidia на PCI-Ex 3.0, например, GeForce GTX 650, или, если финансы позволяют - более новую модель.
Дело в том, что для CAD программ не нужен большой объем вычислений - там, обычно задачи простые, но выполнять их нужно максимально быстро.

Наверное, ситуацию в некоторой степени можно сравнить с автомобилями. Мощнее - не всегда быстрее.
torvn77 писал(а):Ещё Арткам достал медленным рендерингом,но ему ферма не поможет,он не паралелится.
Арткаму уже вообще ничего не поможет.
Хотя, он почему-то жутко тормозит на древних видеокартах и ноутбуках.
А о каком рендеринге идет речь? Об отрисовке 3d картинки?
У меня никогда с этим проблем не было. Может быть не работает ускорение OpenGL?
Uglykoyote
Опытный
Сообщения: 180
Зарегистрирован: 06 июн 2013, 21:00
Репутация: 24
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение Uglykoyote »

:) вы уточните - что он имеет ввиду про кластер, мне на другом форуме он начал ссылками кидаться, не слушая ответы из практики. :mrgreen:
Аватара пользователя
torvn77
Мастер
Сообщения: 2426
Зарегистрирован: 02 июн 2012, 22:12
Репутация: 214
Откуда: Россия,Санкт-Петербург
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение torvn77 »

Арткам у меня в virtualbox'се,и opengl конечно нет.
Но особой разницы в перемещении-верчении не большого клише нету,
главные тормоза это расчёт визуализации как таковой.
И к сожалению делаются это процессором в один поток
и установка на прямую винду поэтому результатов не даёт.

Как я понимаю,речь идет о моём посте в теме на mir-cnc.
И там вы зовётесь ТoрТoр.
Идея у меня та,что судя по обсуждениям есть софт,позволяющии физические процессор
и память "удалённого" хоста представить в локальном как его часть.
В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.

Про XEN я свою ссылку посмотрел,там похоже не то,что я имел ввиду.
Но описание технологии путанное,хрен поймещь с моим разумом,то это или не то.
Дилетанту сложные вещи кажутся очень простыми,а профессионалу простые очень сложными.
В результате дилетант работает,а профессионал чешет в затылке.
Аватара пользователя
michael-yurov
Почётный участник
Почётный участник
Сообщения: 11210
Зарегистрирован: 26 июл 2012, 00:10
Репутация: 4436
Настоящее имя: Михаил Львович
Откуда: Новоуральск, Свердловская область.
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение michael-yurov »

torvn77 писал(а):Арткам у меня в virtualbox'се,и opengl конечно нет.
Ну тут уж простите, хотели секеса - получайте.
torvn77 писал(а):главные тормоза это расчёт визуализации как таковой.
Зачем делать в арткаме визуализацию? Или я что-то не понимаю? Что вы называете визуализацией?
torvn77 писал(а):И к сожалению делаются это процессором в один поток
Визуализацию обычно программы без проблем разделяют на много потоков. Только не пойму, при чем здесь арткам?
torvn77 писал(а):В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.
Да не будет такого никогда, т.к. распределение нагрузки и ограничение скорости передачи данных между компьютерами будет бочкой дегтя с каплями меда.

Года два назад обрабатывал в фотошопе файл размером в 108 гигапикселей, и, в общем-то обычный компьютер вполне сносно справлялся, правда пришлось установить 32 ГБ оперативки и твердотельный диск для кэша.
А вы ради арткама с рельефом в 16 мегапикселей хотите кластер создать. Я бы сказал - из "Катюши" по воробью.
Аватара пользователя
torvn77
Мастер
Сообщения: 2426
Зарегистрирован: 02 июн 2012, 22:12
Репутация: 214
Откуда: Россия,Санкт-Петербург
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение torvn77 »

michael-yurov писал(а):Ну тут уж простите, хотели секеса - получайте.
На моих моделях уровень удовольствия не зависит от того,в виртуалбоксе винда или поставлена прямо на компьютер.
В виртуал боксе держать винду удобней,а потеря производительности софтварной эмуляции не существенна
Повторюсь:
torvn77 писал(а):Но особой разницы в перемещении-верчении не большого клише нету,
главные тормоза это расчёт визуализации как таковой.
michael-yurov писал(а):Зачем делать в арткаме визуализацию? Или я что-то не понимаю? Что вы называете визуализацией?
Берёте русифицированный арткам с рутреккера и смотрите Меню-Траектории-Имитация-`Визуализация траектории`
Я понимаю так,что правильнее перевести это используя слово Рендеринг.
Но в Арткаме написано таквизуализация,и так как скорее всего этот перевод и является общеизвестным,то я им и пользуюсь.
michael-yurov писал(а): А вы ради арткама с рельефом в 16 мегапикселей хотите кластер создать. Я бы сказал - из "Катюши" по воробью.
Для Арткама этого я делать не буду,так как не знаю сколько он создаёт при вычеслении потоков,
но оказываются они все на одном ядре при семи других свободных.
Я предпочту поискать другую программу,которая равномерно распределит вычесления по ядрам и вот ради неё уже и стараться.
Дилетанту сложные вещи кажутся очень простыми,а профессионалу простые очень сложными.
В результате дилетант работает,а профессионал чешет в затылке.
Аватара пользователя
michael-yurov
Почётный участник
Почётный участник
Сообщения: 11210
Зарегистрирован: 26 июл 2012, 00:10
Репутация: 4436
Настоящее имя: Михаил Львович
Откуда: Новоуральск, Свердловская область.
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение michael-yurov »

torvn77 писал(а):В виртуал боксе держать винду удобней,а потеря производительности софтварной эмуляции не существенна
Так в этом режиме почти ничего не работает из оборудования, аппаратного ускорения и т.п.
Да и многопоточность, возможно, не поддерживается. Хотя, я не знаю этого, просто помню старый опыт общения с виртуальной машиной.
torvn77 писал(а):смотрите Меню-Траектории-Имитация-`Визуализация траектории`
Аааа! понял о чем речь!
Это называется "Симуляция"!
Untitled-1.png <a class='original' href='./download/file.php?id=19376&sid=97a72ec4b86042d49b64b74902278ada&mode=view'>Загрузить оригинал (51.44 КБ)</a>
Я то думал, что речь про фотореалистичный рендеринг. Я еще удивился, что это можно делать в арткаме.

А визуализация траектории действительно не всегда быстро работает, особенно при очень высоком разрешении и с профильными и сферическими фрезами.
torvn77 писал(а):так как не знаю сколько он создаёт при вычеслении потоков,
Я сейчас проверил 2008 арткам, он только в одном потоке проводит симуляцию.
torvn77 писал(а):Я предпочту поискать другую программу,которая равномерно распределит вычесления по ядрам и вот ради неё уже и стараться.
У меня в таких программах многопоточные вычисления происходят очень быстро, а вот то, что нельзя распределить - отнимает большую часть времени.
Аватара пользователя
Serg
Мастер
Сообщения: 20686
Зарегистрирован: 17 апр 2012, 14:58
Репутация: 4913
Заслуга: c781c134843e0c1a3de9
Настоящее имя: Сергей
Откуда: Москва
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение Serg »

torvn77 писал(а):В результате может получится монстро с тысячами процессоров и терабайтами ОЗУ,работающии как единый ПК.
Не получится.
Ещё не научились создавать кластеры, где один процесс (программа) может исполнятся одновременно несколькими процессорами на разных компах.
Вернее как это сделать знают - для этого нужны сети передачи данных со скоростью порядка 300 Gbit/s и выше. Правда стоимость реализации таких сетей получится неоправданно высокая.
Я не Христос, рыбу не раздаю, но могу научить, как сделать удочку...
Аватара пользователя
torvn77
Мастер
Сообщения: 2426
Зарегистрирован: 02 июн 2012, 22:12
Репутация: 214
Откуда: Россия,Санкт-Петербург
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение torvn77 »

Если так.то можно сеть сделать через scasi или sata порты?

И софт для организации такого вычислительного центра существует?
(Делать я такую систему не буду,но интересно)
Дилетанту сложные вещи кажутся очень простыми,а профессионалу простые очень сложными.
В результате дилетант работает,а профессионал чешет в затылке.
Аватара пользователя
Serg
Мастер
Сообщения: 20686
Зарегистрирован: 17 апр 2012, 14:58
Репутация: 4913
Заслуга: c781c134843e0c1a3de9
Настоящее имя: Сергей
Откуда: Москва
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение Serg »

torvn77 писал(а):Если так.то можно сеть сделать через scasi или sata порты?
Это как минимум в 100 раз медленнее, чем нужно.
torvn77 писал(а):И софт для организации такого вычислительного центра существует?
Для исполнения одного процесса на нескольких компах? - Нет, ибо его негде запустить.
Я не Христос, рыбу не раздаю, но могу научить, как сделать удочку...
Maxekb77
Мастер
Сообщения: 1551
Зарегистрирован: 05 окт 2013, 00:04
Репутация: 276
Настоящее имя: Максим
Откуда: Екатеринбург
Контактная информация:

Re: Запуск Windows программ в кластере или вычислительной фе

Сообщение Maxekb77 »

Собрать то ферму можно, только как обычно все в софт упираться начнет.
Ответить

Вернуться в «LinuxCNC»