Как из нескольких фоток/рисунков получить 3d векторный файл?

Контроллеры, драйверы, датчики, управляющие устройства.

Где ты берешь УправляющиеПрограммы (читай: G-коды) для станков с ЧПУ?

Можно выбрать до 2 вариантов ответа

 
 
Результаты голосования

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 12 июн 2012, 15:29

mochalok.komandir писал(а):Отсюда, по прежнему остаются вопросы из моего первого сообщения. Подождем автора темы, как наиболее изучившего данный вопрос.
Кто может также ответить по существу поставленных вопросов, присоединяйтесь.


сначала ты спрашиваешь о постройке системы без использования сканеров...
mochalok.komandir писал(а):Возможно ли имея две хорошие,малошумящие камеры и проектор, построить систему с точностью не хуже?

а потом заходит речь о "Leap 3D", "Сканера у Delcam", "3shape"...

так ты хочешь без использования сканера или с использованием? :eh:
Эта тема создавалась именно для изучения вопроса получения 3d без использования сканера.
И если ты пойдешь этим путем:

если нужно получить приемлемую точность без сканера, то можно попробовать использовать цифровой микроскоп для получения снимков зуба, а потом уже их оцифровывать... вот пример: viewtopic.php?f=3&t=1064&p=6954#p6954

или купить готовый цифровой микроскоп - сейчас они не дорого стоят - это же по сути - просто вэбки.

с нетерпением ждем результатов эксперимента, фоток и получившееся 3д зубиков.
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 18 июн 2012, 17:08

...подумал... :thinking: ... для твоей задачи возможно будет достаточно обычного фотоаппарата с режимом макросъемки,
и обязательно такого фотика в котором разрешение побольше...
...только не заявленное в рекламе разрешение, а разрешение матрицы - т.е. аппаратное разрешение, а не программное...

нужно самому попробовать отрэндэрить свой зуб... :thinking:
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Impartial » 18 июн 2012, 18:40

Гармонист писал(а):нужно самому попробовать отрэндэрить свой зуб...

Это как? Его для этого как минимум надо оттуда вытащить.
Я видел такие фокусы на рентгеновских сканерах. (стоимость скана около 80$). Даже где то построенные модели есть.
Но вырезать по ним зуб с требованиями стоматологов нереально. Хотя вручную делают как попало.
Неплохо получается резать по циркониевым заготовкам, но после отжига размер уходит, не угадаешь. На фирменных станках применяется только ихняя керамика в программу уже заложены ее свойства на отжиг. Другая не проходит.
Вообще проблема, решив которую можно недурно заработать.
Impartial
Мастер
 
Сообщения: 917
Зарегистрирован: 23 фев 2011, 01:50
Репутация: 31

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 18 июн 2012, 19:58

Impartial писал(а):Это как? Его для этого как минимум надо оттуда вытащить.

план простой: открыть рот и фотиком в макросъемке отснять свои передние нижние под разными углами... а потом отрэндерить полученные фотки...

...конечно легче если бы кто-то то делал, а не сам себе... в общем - можно попробовать... )))

..обычно реальные, физические проблемы возникают в процессе реализации и предвидеть их заранее не всегда можно.
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Impartial » 18 июн 2012, 20:45

Рентгеновский сканер делает 160 снимков и по ним востаналивает программа . При этом на удобном снимке указывается еще и точный размер размер проекции. Точности достаточно для определения расположения нервных каналов но недостаточно для фрезеровки. Тут что то надо другое, не фотоаппарат.
Impartial
Мастер
 
Сообщения: 917
Зарегистрирован: 23 фев 2011, 01:50
Репутация: 31

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Nick » 19 июн 2012, 00:03

Гармонист писал(а):...конечно легче если бы кто-то то делал, а не сам себе... в общем - можно попробовать... )))

У тебя собака есть? Если нет - попроси у соседа :) У них и рот шире открывается :).

Impartial писал(а):Рентгеновский сканер делает 160 снимков и по ним востаналивает программа .

Этож какая доза от 160 рентгенов? :o
Аватара пользователя
Nick
Мастер
 
Сообщения: 22552
Зарегистрирован: 23 ноя 2009, 16:45
Откуда: Gatchina, Saint-Petersburg distr., Russia
Репутация: 1571
Заслуга: Developer
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Impartial » 19 июн 2012, 08:43

Этож какая доза от 160 рентгенов?

Где ты такие цены видел? 1 бакс за 2 рентгена. Их бы жаба давно удавила.
Там в десятки тысяч меньше дозы. Аппарат наверное за всю свою жизнь столько рентген не произведет.
Вот и прикинь сколько стоит 160 рентген. Супер выгодный бизнес. :)
Impartial
Мастер
 
Сообщения: 917
Зарегистрирован: 23 фев 2011, 01:50
Репутация: 31

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Impartial » 19 июн 2012, 09:10

Вот как происходит реконструкция в программе EZ3D из DCM фотографий.
http://video.yandex.ua/#search?where=all&text=ez3d
Из реконструкции можно вытащить программу для фрезеровки любого зуба или группы.
Impartial
Мастер
 
Сообщения: 917
Зарегистрирован: 23 фев 2011, 01:50
Репутация: 31

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 19 июн 2012, 12:02

Impartial писал(а):Вот как происходит реконструкция в программе EZ3D из DCM фотографий.
http://video.yandex.ua/#search?where=all&text=ez3d

видео по ссылке:
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Мои изделия

Сообщение Fisher » 24 июл 2012, 07:12

А у мну есть кинект. Надо и его очпушить как-нибудь и пустить на благое дело. Правда для этого надо найти переходник на нормальный УСБ. Софт вроде как появился в сети.
www.cncru.ru - все виды станков с ЧПУ. Комплектующие.
Аватара пользователя
Fisher
Почётный участник
Почётный участник
 
Сообщения: 3394
Зарегистрирован: 09 апр 2012, 12:39
Откуда: Киров
Репутация: 423

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение KopkoH » 25 ноя 2012, 14:39

В настоящее время существует несколько недорогих устройств для создания 3д моделей, почти в реальном времени :-) Это Kinect для Xbox, Kinect для Windows, Asus Xtion Pro и Asus Xtion Pro Live.
Программы, для получения 3д моделей с помощью данных устройств, есть разные: Reconstructme - http://reconstructme.net
Kscan3d - http://kscan3d.com , Artec Studio 9 - http://www.artec3d.com/ru/.
Ну, а также: http://labs.manctl.com/rgbdemo/ , KinFu - http://codewelt.com/kinect3dscan и прочие
Примечание многие из этих программ требуют современные видео карты с поддержкой OpenCL (или CUDA).
KopkoH
Новичок
 
Сообщения: 1
Зарегистрирован: 25 ноя 2012, 14:27
Репутация: 0

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 19 июл 2014, 12:52

капец какие люди ленивые и скучные - тема "Как из нескольких фоток/рисунков получить 3d векторный файл?", а они парят 3д сканеры и иже с ними...


Прорыв в теме - определение 3д по теням - "Shape from Shading" (SFS):


я писал ранее что некоторые проекты(см1, см2) уже определяют объект по теням, но не всегда хорошо.
Преимущество определение 3д по теням в том, что для получения 3д - достаточно только 1й фотки/картинки! Не требуется делать серию снимков или видео.
Примерно так же строит 3д - мозг человека...

Многие проекты только на стадии тестирования и не имеют названий
Проект №1 - Nirgal(ник автора темы "High-Res DEMs from single HiRISE images, First results of new "Shape from Shading" algorithm" на unmannedspaceflight.com)
прямая ссылка
Результаты алгоритма
Как из нескольких фоток/рисунков получить 3d векторный файл? sokrates_sfs.jpg
Сократ - 2д слева, восстановленное по картинке 3д - справа (смотри не перепутай!)
Автор специально сделал подсветку с другой стороны чем на фотке слева, чтобы продемонстрировать...

некоторые не поверили атору, думая что это он сам рисует 3д.
Как из нескольких фоток/рисунков получить 3d векторный файл? t2.jpg
2д картинка

Как из нескольких фоток/рисунков получить 3d векторный файл? columbia_SFS_3D.jpg
восстановленное по картинке 3д

Как из нескольких фоток/рисунков получить 3d векторный файл? Slide_0054_Original.jpg
фотка Slide_0054_Original

strat_term.jpg
strat_term.jpg (8.64 Кб) Просмотров: 5770

Как из нескольких фоток/рисунков получить 3d векторный файл? endev_strata_terms.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? enw_orig_crop.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? endv_above.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? dem_8bit.jpg

автор Nirgal - ссылается на документы в "The College of Information Sciences and Technology" on "The Pennsylvania State University"

кто заинтересовался алгоритмом вот подробное описание подобного алгоритма
Examplar_SFS_3DIM07.pdf.zip
Examplar-based Shape from Shading
(484 байт) Скачиваний: 247
"Graphics and Vision Technology Lab (GRAVITY)" "Center for Visualization and Virtual Environments" "University of Kentucky, USA"
Как из нескольких фоток/рисунков получить 3d векторный файл? 3д по 2д.png


Нашумевший проект CrazyBump

- которым активно пользуются 3д-дизайнеры(и не зря)
Как из нескольких фоток/рисунков получить 3d векторный файл? CBMacScreenshot.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? 195698.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? 180338.jpg
2d grayscale

Как из нескольких фоток/рисунков получить 3d векторный файл? 112308515724483064.jpg
обычный куб с натянутой на него картинкой текстуры - слева
по картинке текстуры - восстановлен 3д рельеф, этот рельеф наложен на куб, а сверху - натянута все та же 2д текстура - см. справа
выбери тот который больше радует глаз

Как из нескольких фоток/рисунков получить 3d векторный файл? digitally_painted_texture_samples02.jpg
больше всего CrazyBump - используется для создания 3д текстур материалов типа: дерево, каменная щебенка, поры кожи, ...
которые потом используют для улучшения правдоподобности основных 3д объектов (см. предыдущий слайд)

ссылка на источник - CrazyBump test
Как из нескольких фоток/рисунков получить 3d векторный файл? takkik_stemple_wip017_crazy.jpg
оригинальное фото

Как из нескольких фоток/рисунков получить 3d векторный файл? takkik_stemple_wip018_crazy.jpg
3д вытащенное из картинки CrazyBump (если я правильно понял...)

Как из нескольких фоток/рисунков получить 3d векторный файл? takkik_stemple_wip019_crazy.jpg
на 3д наложили оригинальное фото как текстуру в 3дмаксе

Как из нескольких фоток/рисунков получить 3d векторный файл? takkik_stemple_wip020_crazy.jpg
финальная 3д-сцена для какой-то игры

Как из нескольких фоток/рисунков получить 3d векторный файл? crazybump_example2.jpg

ссылка
Как из нескольких фоток/рисунков получить 3d векторный файл? CastleDoor_process.jpg
вот только что такое Gradient-work и чем/как он его получил?
был бы у меня такой Gradient-work - мне бы наверное хватило просто image2gcode...
думаю он его рисовал руками в PhotoShop-e...


еще один проект - ShaderMap



Как из нескольких фоток/рисунков получить 3d векторный файл? 3_1.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? 3_2.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? 3_3.jpg

shaderMap2.jpg
shaderMap2.jpg (16.15 Кб) Просмотров: 5762


еще я встречал сайт одного исследователя, который так же описывал (очень детально) методику и алгоритм получения 3д по 2д. Найду - выложу...
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 21 июл 2014, 00:45

еще проект производящий 3д реконструкцию по фото

cs.washington.edu -Computer Vision (CSE 455), Autumn 2012


ссылка - обязательно перейдите по ссылкам в разделе Links.

Как из нескольких фоток/рисунков получить 3d векторный файл? buddha_process.png
3д реконструкцию по фото
Example of reconstruction using "Buddha" image set. From left to right: source image (1 of 12), normal vectors, albedo map, depth map, and a reconstructed view.

In this project, you will implement an algorithm to construct a height field from a series of 2D images.


тут кстати дается алгоритм в формулами...

так же в этом проекте есть разработки реконструкции 3д - по серии снимков...
duomo_input.jpg
duomo_input.jpg (7.83 Кб) Просмотров: 5738

Как из нескольких фоток/рисунков получить 3d векторный файл? duomo_large.jpg

NotreDameFacade_input.jpg
NotreDameFacade_input.jpg (25.9 Кб) Просмотров: 5738

Как из нескольких фоток/рисунков получить 3d векторный файл? NotreDameFacade_large.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? index.png
Rendering of the shapes in different viewpoints and photos (not used in reconstruction) of the person in similar viewpoints.


и еще оттуда же (ссылка)
интересно то что это 3д полупрозрачного объекта!
Как из нескольких фоток/рисунков получить 3d векторный файл? flower.jpg
A photo of a flower shaped refractive object.

Как из нескольких фоток/рисунков получить 3d векторный файл? deflection_diag2.png
A sparse set of deflection vectors computed from these captured patterns.

Как из нескольких фоток/рисунков получить 3d векторный файл? multiple_patterns.png
Mutiple images are taken from a same viewpoint and with different background patterns.

Как из нескольких фоток/рисунков получить 3d векторный файл? flower-shape.png
The reconstructed shape of the flower glass.

а теперь этот же объект - только реконструкция по одной фотографии...
Как из нескольких фоток/рисунков получить 3d векторный файл? single_pattern.png
A single image is taken with a specifically designed color pattern.

Как из нескольких фоток/рисунков получить 3d векторный файл? single_shape.png
The reconstructed shape.


А вот вариант применения технологии реконструкции 3д по фото отсюда - это потрясающе...


Еще один проект ELIGOVISION


Представляет специальные технологии для 3д-реконструкции: ПО и/или спец оборудование основанное на принципе съемке сцены 2мя камерами одновременно...
Их ПО позволяет в полу-ручном режиме(оператор задает на фото ближайший объект, остальное делает ПО) получать 3д по статическим фото
Как из нескольких фоток/рисунков получить 3d векторный файл? flowerWOW-03.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? 22.jpg

все это они делают для создания контента под 3д-телевизоры...

еще один проект - G. Sourimant, C. Guillemot


(Gwangju Institute of Science and Technology ?)

ссылка. Воссоздает 3д по видеоряду: раскладывает видеоряд в кадры, заглядывает на 5 кадров вперед и по серии кадров восстанавливает 3д...
Вложения
Как из нескольких фоток/рисунков получить 3d векторный файл? ResCompNewspaper.jpg
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 31 дек 2014, 12:11

нашел в квартире хозяйки - панно из гипса и решил его отрендерить(зачем добру зря пропадать)
Когда переведу в 3д - выложу в этой темке...

BUNDLER


так вот - в поисках - чем же это сделать - из всего нагромождения функционала, представленного в этой теме - я обращал внивание на открытые системы...
положив глаз Bundler от Noah Snavely (между прочим: Currently on leave at Google.)


на видео показано как по картинкам создается 3д
а потом показана технология плавно перемещающая сцену от картинки к картинке:
но только в 1м квадрате - прерывисто, а в 4м - плаааавнооооо...
как тут в моем предыдущем посте на виде о помещениях...

(а еще я тут подумал что в теме нехватает сисек... :hottabych: )


виновник дальнейшего безобразия - компания ir-ltd и triplegangers.com


Как из нескольких фоток/рисунков получить 3d векторный файл? triple-banner03.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? screenshot028.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? screenshot007_5.jpg

делалось вот в этой студии и этих технологиях
ребята серьезно подошли к вопросу
Как из нескольких фоток/рисунков получить 3d векторный файл? GI-01.gif
студия ir-ltd
обратите внимание - что подсветка сделана со всех сторон по сфере

Как из нескольких фоток/рисунков получить 3d векторный файл? 1a2f6d2f414ecc1a507da50509559ca8.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? s4.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? infinite-background.jpg

Обратите внимание - какую ЧУМОВУЮ детализацию можно получить!!!

Использовался тот самый Bundler - для перевода набора точеек ply в объектную 3d-модель obj

делалось это для
The teaser announces a new video game (developed by Polish video game company CD Projekt RED) based on Cyberpunk 2020 – an RPG system created by Mike Pondsmith back in the 90's. ссылка

смотрим и наслаждаемся...
Как из нескольких фоток/рисунков получить 3d векторный файл? e25fef3d5bd3352175fe67ed0cf867a9.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? студия ir-ltd 1.png

Как из нескольких фоток/рисунков получить 3d векторный файл? студия ir-ltd 2.png

Как из нескольких фоток/рисунков получить 3d векторный файл? студия ir-ltd 3.png

Как из нескольких фоток/рисунков получить 3d векторный файл? 4c96aa71233a3ea8930ea3e66610edb5.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? 033a4a09b2c2ca13deb318301e2e9504.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? f51c189bfcacac313f3b1ba090fb91c2.jpg

Как из нескольких фоток/рисунков получить 3d векторный файл? 4642f9f44e557d24eed64ceb1b21f058.jpg



результат смотрим на видео


бонус 1 (uncensored 8-) )




бонус 2 (uncensored 8-) )


http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 20 янв 2015, 15:52

Для систематизации решил сделать список технологий с описаниями, использованных в ПО топика(а так же терминология, сокращения, понятия,...).

Забегая в самый конец моего повествования хочу сказать, что конечное назначение этих технологий - это не просто получение реалистичного 3д, а помощь реализация задачи "распознавания образов" для достижения цели "компьютерного зрения" - позволящее машинам ориентироваться в нашем мире - автономно - те без участия оператора...


...ну и конечно же системы оперативного контроля эмоционального состояния граджан для выявления "неблагонадежных" и их быстрого устранения... :hehehe: прямо как в фильме с Томом Крузом "Особое мнение" :good:

Технология номер 1 - Фотограмметрия.

Еще можно встретить такие наименования и термины: photogrammetry, SfM - Structure from Motion (получение 3д структуры из динамической информации), MVS - Multi-view stereo dense reconstruction (реконструкция объема по стерео-изображениям), IBM - Image-Based Modelling (3д моделирование на основе изображений), CV - Computer vision(компьютерное зрение)

Возвращаясь к фотограмметрии:
В простейшем случае пространственные координаты точек объекта определяются путём измерений, выполняемых по двум или более фотографиям, снятым из разных положений. При этом на каждом изображении отыскиваются общие точки.

данная технология известа и используется очень давно - только в основном архитекторами, криминалистами и археологами...

для получения этих пространственных координат - используются 4е (+1) неразрывно связанных наборов данных:
Photogrammetry.png
4е (+1) неразрывно связанных наборов данных
Photogrammetry.png (10.64 Кб) Просмотров: 5209


пространственные координаты определяют положение точек объекта в пространстве;
координаты на фотографии определяют положения точек объекта на аналоговом или цифровом снимке;
элементы внешнего ориентирования фотоаппарата определяют его положение в пространстве и направление съёмки;
элементы внутреннего ориентирования определяют геометрические характеристики процесса съёмки.

Мы ищем - пространственные координаты используя остальные 3 +1 массива данных.


Упрощенная схема алгоритма реконструкции 3D по серии снимков или видео использующих фотограмметрию:


1. нахождение на изображении "особых точек" привязки (например алгоритмами SIFT и/или SURF)


Как из нескольких фоток/рисунков получить 3d векторный файл? поиск особых точек - предварительно.png
поиск особых точек с помощью детектора Харриса

Как из нескольких фоток/рисунков получить 3d векторный файл? OpenCV SURF.png
openCV SURF

Как из нескольких фоток/рисунков получить 3d векторный файл? SIFT.gif
SIFT

есть мнение что SURF лучше и открытее чем SIFT

1.2. Фильтрация ложных соответствий между изображениями

(например алгоритмами RANSAC или графами )
255px-Line_with_outliers.svg.png
RANSAC
255px-Line_with_outliers.svg.png (10.08 Кб) Просмотров: 5209
Как из нескольких фоток/рисунков получить 3d векторный файл? фильтрация ложных соответствий - алгоритм графов.png


2. алгоритмами фотограмметрии - нахождени координат этих "особых точек"


Как из нескольких фоток/рисунков получить 3d векторный файл? фотограмметрия - нахождение координаты точки.jpg
нахождение координаты точки

Пример: раз,

2.2. иногда требуется объединение нескольких облаков точек - в единое облако


Как из нескольких фоток/рисунков получить 3d векторный файл? MergePoints1Snap2_a.jpg
объединение облаков точек в единое облако

2.3. чистка от "мусора"

(я бы сказал - от ошибок и несовершенства алгоритмов) - от точек "зависших в пространстве" те те которые не смогли образовать полигон а так от "зависших" в воздухе "небольших" поверхностей
Обычно это делается частично автоматически частично руками. Поэтому логично возникли фирмы которые предоставляют услуги "по обработке облака точек, полигональной модели и постоении NURBS поверхности с последующим экспортом в CAD системы"
Как из нескольких фоток/рисунков получить 3d векторный файл? зашумленное облако точек.jpg
зашумленное облако точек


3. соединение 3д точек в полигоны

(обычно треугольные - поэтому есть термин "триангуляция") и объединение полигонов в единые поверхности
Как из нескольких фоток/рисунков получить 3d векторный файл? триангуляция.jpg
триангуляция

Как из нескольких фоток/рисунков получить 3d векторный файл? способы построения сетки.jpg
способы построения сетки

3.2. оптимизация сетки


Как из нескольких фоток/рисунков получить 3d векторный файл? оптимизация сетки.jpg
оптимизация сетки
Как из нескольких фоток/рисунков получить 3d векторный файл? оптимизация сетки ".jpg
оптимизация сетки 2
Как из нескольких фоток/рисунков получить 3d векторный файл? оптимизация сетки 3.jpg
оптимизация сетки
Как из нескольких фоток/рисунков получить 3d векторный файл? оптимизация сетки Xunnian Yang.png
самый лучший алгоритм оптимизации сетки - что я видел - от Xunnian Yang

оптимизация сетки Xunnian Yang
Еще пример

4. сглаживание полученных поверхностей, натягивание на них текстур из которых они были получены и экспорт в 3д форматы(stl, obj, 3ds, ...)



Минусы:
- для нахождения "особых" точек - они должны быть на изображении. Например веснушки на лице, царапины на поверхности, капельки краски, и тп. Если поверхность однородная и алгоритмам - не за что зацепиться - то реконструкция получиться очень далекой от совершенства.
- алгоритмы не используют цвет, тени и блики - более того - это все мешает реконструкции. Правда цвет используется но только в местах с контрастным переходом - а если цвет поверхности предvета будет плавно перетекать из одного в другой - то алгоритму опять же - не за что зацепиться
- для высокой детализации - нужно "много" этих самых "особых" точек. Поэтому время работы алгоритмов прямопропорционально детализации которую мы хотим получить.
- опять же - степень детализации ограничено количеством найденных "особых" точек.
- К тому же - эти самые точки не всегда находятся в максимумах/минимумах рельефа(например - те самые веснушки) - поэтому для получения нормальной детализации - нужна избыточность - которая потом устраняется на этапе "опитимизации сетки" - но опять же - скорость реконструкции из-за этой избыточности сильно падает. В большинстве систем - картинки "сжимают" чтобы не ждать вечность
- тк сначала ищется облако точек, а только потом эти точки соединяються в полигоны - то не учитываются взаимосвязи/расстояния между точками.
В результате:
Как из нескольких фоток/рисунков получить 3d векторный файл? погрешности алгоритма.gif
погрешности алгоритма нахождения "особых" точек

а если бы проводился анализ взаимных положений точек между собой - то это бы повысило качество реконструкции. Но - снова же - сложность данных расчетов(положение каждой точки - отностительно каждой) возрастает в геометрической програссии - пропорционально количеству точек...

частовстречаемые абревиатуры
CMVS - Clustering Views for Multi-view Stereo (ПО для MVS - для работы с фотками большого разрешения),
PMVS и PMVS2 - Patch-based Multi-view Stereo Software (ПО для реконструкции 3д),
PPT - Python Photogrammetry Toolbox

продолжение следует...
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

BRDF reconstruction part 1

Сообщение Гармонист » 05 фев 2015, 15:23

(новая) технология номер 2 - радиометрия, BRDF или ДФОС,
или "реконструкция геометрии объекта по интенсивности отраженного света"

Bidirectional reflectance distribution function - двунаправленная функция распределения отражений (поверхностных отражений) (ДФОС) описывает, как свет отражается или поглощается поверхностью в зависимости от разных углов падения.

Проще говоря - BRDF - описывает правила отражения света от поверхности
Как из нескольких фоток/рисунков получить 3d векторный файл? 01-specular-vs-diffuse-reflections.jpg
на примере изображены отражения одного и того же источника света от различных типов поверхностей:
от "зеркального"(блики) к "рассеянному или диффузное"(по закону Ламберта)


Так же можно встретить понятия: (для просмотра содержимого нажмите на ссылку)
BSSRDF - более обобщённая 8-мерная функция чем 6-ти мерная BRDF(но не используеся из-за сложности),
Стерадиан - единица измерения функции ДФОС,
Телесный угол,
диффузная модель Ламберта - описывает модель отражения света от "абсолютно" матовых поверхностей(чаще всего используется в алгоритмах Компьютерного зрения),
эмпирическая модель Фонга - для построения комбинации диффузной и зеркальной составляющей(по сути алгоритм объединения в результирующую сцену "бликов"+"ДФОС"+"матовой" - см.картинку ниже),
Как из нескольких фоток/рисунков получить 3d векторный файл? Phong_components_version_4.png
Модель Фонга


Первоначально - данная технология использовалась для создания реалистичных бликов 3д объектов и сцен в 3д моделировании - в пакетах рендэринга.
А вот для реконструкции поверхностей по бликам - додумались - относительно недавно.

Отличнейшая статья(для 3д моделлеров) с описанием реального применения этой функции в 3д рендеринге.
Как из нескольких фоток/рисунков получить 3d векторный файл? BRDF r.png
пример "заскрашивания" заек с помощью технологии BRDF

Как из нескольких фоток/рисунков получить 3d векторный файл? BRDF.png


отсюда
При создании реалистических изображений следует учитывать то, что в природе, веро­ятно, не существуют идеально зеркальные или идеально матовые поверхности. При изо­бражении объектов средствами компьютерной графики обычно моделируют сочетание зер­кальности и диффузного рассеивания в пропорции, характерной для конкретного материа­ла. В этом случае модель отражения записывают в виде взвешенной суммы диффузной и зеркальной составляющих

Но на сегодня - пока еще нет более-менее полной библиотеки материалов...(к стати - определить отражающие свойста материалов можно экспериментально прибором гониорефлектометром)
Например вот библиотека BTF (bidirectional texture function) Universität Bonn
Но использование этих "библиотек отражательных спосбоностей материалов" - затруднительно для автоматической реконструкции геометрии объектов,
т.к. алгоритмы не могут еще автоматически определить из какого материала сделан объект на фото
поэтому на практике используют теоретические модели: Блина, Кука-Торенса, Орена-Наяра, обобщенную модель Ламберта, Лебедева, Эшкмина-Ширли и др.


К сожалению в инете - очень мало материалов на русском :cry: ,
вот одна из немногих работ "Модель отражения света поверхностью для задачи реконструкции формы объекта по полутонам"
авторов ОЯ Ковальчук БП Русын ПИ Чопык - но даже в ней - дальше теории авторы не пошли...
Думаю это из-за нашего менталитета (для просмотра содержимого нажмите на ссылку)
- мы найдем 100500 УМНЫХ причин почему не получиться, чем сесть и "тупо по задротски" попробовать.
(Вот тест - ваше отношение к идеям: "редуктор из дерева", "капролоновая гайка", "хоббийный станок с последовательной кинематикой", "шпиндель из асинхронного двигателя", "серводвигатель из 3х фазного двигателя", "станок из фанеры", "энкодер из лазерной мышки", "микроскоп из вэбкамеры", ...
ради лулзов - можно сделать отдельную тему со списком подобных идей для их "поливанием тоннами любви и обожания" и тролинга олдфагов - думаю получится "много ржаки" :hehehe: )
а если серьезно циата отсюда
да, свето-тень косвенно несет информацию про объем, но увы, эта информация перемешана с рисунком, фактурой и прочей модуляцией коэффициента отражения поверхностей (безвозвратно перемешана, как фарш). Что очень печально сказывается на точности.

хотя далее sabos уточняет
...там есть лазейка. Имея лишь данные BRDF без карты глубин - можно восстановить картинку. Но только с той точки, где стояла камера (спектрофотометр). Двигаться зрителю нельзя. Imho, такое воспроизведение нельзя назвать качественной репродукцией.

что он подразумевал под картинкой?


Очень упрощенная - Физика отражения - нужна для понимания дальнейшего повествования):


Упрощенная тк не учитываются многие эффекты: самосветимость, переотражения, подповерхностные отражения, ...

1. Падение света на поверхность.


Очевидно что чем больше поверхность тем больше фотонов на нее упадет.
Так же не сложно догадаться что чем больше фотонов упадет на поверхность тем больше фотонов эта поверхность сможет отразить.

Свет может падать на поверхность под различными углами.
Если свет падает на поверхность под прямым углом, то поверхность получит максимальное количество фотонов(поверхность максимально освещена).
Чем больше этот угол отличается от 90 градусов - тем меньше поверхность получит фотонов -
и соответственно меньше фотонов сможет отразить(поверхность будет минимально освещена - заметьте: независимо от силы! источника света)

Это свойство зависимости угла наклона поверхности к источнику света и используется для определения нормали поверхности.


Как из нескольких фоток/рисунков получить 3d векторный файл? 1.gif


Обратите внимание как нелинейна эта зависимость! При отклонении от прямого угла на 3 - 5 - 10 градусов - количество полученной энергии практически не уменьшается,
но если угол приближается к 180ти - то сильно играет роль даже пол градуса. Эту нелинейность как раз и выравнивают с помощью ДФОС.

2. Отражение света. (Блик, матовое отражение, цвет).


Цвет материала это не что иное как отраженный от материала свет - только поляризованный.
Т.е. материал поверхности фильтрует свет определенн(ой/ых) волн(ы) - а все остальные отражает.
Чем больше отфильтровано спектра - тем меньше будет светимость.
Подозреваю так же что различные цвета - имеют различную мощность(для сравнения возьмите желтый и синий).

Поэтому на одну и ту же площать материала, свет с одной и той же интенсивностью, падающий под одним и тем же углом,
но если цвета этих поверхностей - разные - то интесивность свечения этих 2х поверхностей - будет различной.
Особенно хорошо это видно если эти 2е поверхности различных цветов - сфотографировать и фото перевести в градации серого - то разница интенсивности отраженного света будет видна явно.

(вставить фотки)

Из-за этого цвет поверхности является одной из самых большых проблем в процессе определения геометрии объекта - тк - не несет о ней(геометрии) - никакой информации, но при этом вносит свою дезинформацию. Поэтому методом ДФОС лучше определять геометрию одноцветных предметов.
Хотя уже существуют алгоритмы способные различать цвета предмета и реконструировать геометрию многоцветных предметов

Как из нескольких фоток/рисунков получить 3d векторный файл? ДФОС реконструкция многоцветного объекта.png

Как из нескольких фоток/рисунков получить 3d векторный файл? Реконструкция кота.png


Но сам цвет имеет значение. В смысле - цветная фотография несет больше информации чем обесцвеченная. Это видно даже по битности - у цветной 16миллионов градаций а у серой только 256. А еще по цвету можно дополнительно определять границы объекта и пр.
К стати: когда обесцвечиваете цветную картинку в GIMP-е - Цвет - Обесцвечивание,
то ГИМП предлагает 3 варианта: Освещенность, Светимость и Среднее.
Вибирайте - Светимость! так как - только у этого режима полностью совпадает Карта палитры (Меню-Цвет-Карта-Отобразить Палитру) с Картой палитры в цветном режиме.

Как из нескольких фоток/рисунков получить 3d векторный файл? Карта палитры.gif
В гифке - 3 карты для [u]Цветного[/u] режима, для [u]Освещенности[/u] и для [u]Среднего[/u]

еще раз - для Светимости карта палитры совпадает с цветной - поэтому этого режима нет в гифке.


Свет отражается от точки падения (как ни странно) - во все стороны! одновременно. Но в разные стороны с разной силой.

Как из нескольких фоток/рисунков получить 3d векторный файл? 11.png
отражение света:
красный - энергия и направление блика
синий - энергия и направление рассеенного отражения


Это происходит из-за микроструктуры поверхности.
Очевидно, что чем более гладкая поверхность тем больше света будет отражено по закону Ламберта(зеральное отражение-блик)
и тем меньше будет отражено в разные стороны(матовое отражение), и наоборот...
Разница между бликом и матовым свечением - очень существенна(хотя имеют единую природу) не только по силе отраженной энергии но и по геометрии отражения.

Как из нескольких фоток/рисунков получить 3d векторный файл? Capture_00011_22.png
Как "блик" отличается от "рассеянного" излучения

Почему шар так вытянулся?
Потому что источник света расположен был не прямо за камерой, а под углом. Из-за этого нормали сдвигаются(собственно для этого и нужен ДФОС).

Блик - всегда засвечен, интенсивность всегда на столько мощная что поляризация практически отсутствует(поэтому блик еще называют - засветом).
Блик отражается всегда только в определенную сторону - из-за этого если смотреть на предмет с разных сторон,
то блик будет следовать за нами с какой стороны мы бы ни смотрели на предмет, и исчезнет только на теневой стороне - где свет вовсе не падает на поверхность.
Блик - несет не много информации чтобы ее использовать - но можно(например как это делает проект "Давид лазер").

Матовое отражение - отражает свет во все стороны относительно равномерно и это свечение не столь интенсивно как блик - из-за чего оно несет в себе еще и информацию о цвете поверхности.
Этот тип отражения несет в себе больше всего нужной нам информации для реконструкции геометрии.
Из-за сильной нелинейной зависимости угла наклона поверхности к световому потоку(описано выше)
- информацию на концах функции матового отражения(сильно затененная и приблежающаяся к блику)
- использовать затруднительно - поэтому она обычно - отсекается.

Как из нескольких фоток/рисунков получить 3d векторный файл? 1.gif
Если взять черно-белое изображение как карту высот(normal map) то получим примерно такое...
поэтому - не все так просто...

Как из нескольких фоток/рисунков получить 3d векторный файл? Capture_00011.jpg


Но остальная информация несет почти линейную зависимость от формы. Путем некоторых коррекций - по ней восстанавливают геометрию поверхности с достаточно хорошей детализацией - очень быстро. (Плюс перспективы данной технологии - очень радужные...)


Вот замечательные видео-демонстрация:





и спайдермен - на закуску
Как из нескольких фоток/рисунков получить 3d векторный файл? 0012-SpiderMan-LightStage3.jpg
пример оцифровки спайдермэна с помощью BRDF

Бонус
Как из нескольких фоток/рисунков получить 3d векторный файл? BRDF - настройка студии - бюджетный вариант.png
BRDF - бюджетный вариант студии.png



как это работает для реконструкции изображения напишу в следующей статье (т.к. уже слишком много информации)...
Как из нескольких фоток/рисунков получить 3d векторный файл? суть радиометрической реконструкции.png
суть

предварительно - кому не терпится...
13_Wscg_Seylan_Slides.pdf
Замечательный документ с общим описанием методик реконструкции ДФОС
только на английском
(1.39 Мб) Скачиваний: 453
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: BRDF reconstruction/remodeling part 2

Сообщение Гармонист » 10 фев 2015, 18:32

к сожалению, я пока не буду(нет времени) описывать методики реконструкции геометрии объектов используя ДФОС.
Но я выложу всю собранную документацию(на английском) - чтобы любой желающий по ней сам смог разобраться(и надеюсь - описать здесь - вместо меня).

Небольшое отступление: очень перспективное направление реконструкции - связка BRDF + HDR
Cейчас появляются методы реконструкции используя BRDF -
но без создания специальной сцены - с освещением объекта с разных сторон,
а используя обычные современные фотоаппараты со способностью снимать HDR фото.
Дело в том что для съемки HDR фото - фотоаппарат делает несколько снимков с фото-вспышкой разной мощности.
По разнице между полученными снимками - посредством ДФОС - теоретически(зная где находится источник света) - можно определить нормали...
Но на эту тему - в инете на данный момент - почти нет информации... кто найдет - кидайте.
Одна из немногих работ на похожую тему - смотрите в архиве(BRDF reconstruction.zip) в конце статьи - называется "!!!!! High Dynamic Range Image Reconstruction.pdf"


Мой архив документации на тему BRDF reconstruction:

Команда 1 - Aaron Hertzmann, University of Toronto, Canada and Steve M.Seitz University of Wasington, Seattle, USA


Герои (для просмотра содержимого нажмите на ссылку)
Как из нескольких фоток/рисунков получить 3d векторный файл? Aaron Hertzmann.png

Aaron Hertzmann is an Associate Professor of Computer Science at University of Toronto.
He received a BA in Computer Science and Art & Art History from Rice University in 1996, and an MS and PhD in Computer Science from New York University in 1998
and 2001, respectively. In the past, he has worked at Pixar Animation Studios, University of Washington, Microsoft Research, Mitsubishi Electric Research Lab, Interval Research Corporation and NEC Research Institute. His awards include the MIT TR100 (2004), an Ontario Early Researcher Award (2005), a Sloan Foundation Fellowship (2006), a Microsoft New Faculty Fellowship (2006), a UofT CS teaching award (2008), the CACS/AIC Outstanding Young CS Researcher Award
(2010), and the Steacie Prize for Natural Sciences (2010).

Выше я показывал видео - которое демонстирует технологию которая по серии фотографий помещения - собирает псевдо-3д-панораму позволяющую проводить интерактивные видео туры по этому помещению - плавно перемещаясь из комнаты в комнату... Так вот - он так же учавствовал в разработке этой технологии(ссылка на pdf).

Как из нескольких фоток/рисунков получить 3d векторный файл? Steve M. Seitz.png

его страничка в его институте в Вашингтоне
received the BA degree in computer science and mathematics from the University of California, Berkeley, in 1991 and the PhD degree in computer sciences from the
University of Wisconsin, Madison, in 1997. He holds the Short-Dooley Associate Professorship in the Department of Computer Science and
Engineering at the University of Washington. Following his doctoral work, he spent one year at Microsoft Research and, subsequently, two years as an assistant professor in the Robotics Institute at Carnegie Mellon University. He joined the faculty at the University of Washington in July 2000. He was twice awarded the David Marr Prize for the best paper at the International Conference of Computer Vision, and has received an US National Science Foundation CAREER Award, a US
Office National Research Young Investigator Award, and an Alfred P. Sloan Fellowship. He is interested in problems in computer vision and computer graphics. His current research focuses on capturing the structure, appearance, and behavior of the real world from digital imagery. He is a member of the IEEE.

просто потряcающие ребята!
Как из нескольких фоток/рисунков получить 3d векторный файл? velvet BRDF.png
ДФОС реконструкция формы бархатной ткани и анизотропного материала -
это очень сложные для распознавания формы - материалы
Как из нескольких фоток/рисунков получить 3d векторный файл? velvet and brushed BRDF - vertical.png
ДФОС реконструкция формы бархатной ткани и анизотропного материала -
это очень сложные для распознавания формы - материалы
Как из нескольких фоток/рисунков получить 3d векторный файл? fish clustering color.png
ДФОС реконструкция формы цветного! объекта
(в предыдущем посте - есть еще фотка реконструкции статуэтки цветной кошки - тоже их работа)
Как из нескольких фоток/рисунков получить 3d векторный файл? fish.png
ДФОС реконструкция формы цветной! статуэтки рыбка
Как из нескольких фоток/рисунков получить 3d векторный файл? Capture_00011.jpg

с некоторыми их техниками - я вообще еще не разобрался...
Как из нескольких фоток/рисунков получить 3d векторный файл? бутылка.png
Как из нескольких фоток/рисунков получить 3d векторный файл? rino.png


итак - их работы одним архивом:
Бутылка рыбка кот.zip
Aaron Hertzmann and Steve M.Seitz - 3 работы еще 2003-2005гг
до сих пор не переведенные на русский язык... :-(
(4.92 Мб) Скачиваний: 184


Команда 2 - Manmohan Chandraker(NEC Laboratories of America), Jianmin Bai and Ravi Ramamoorthi(EECS Departament at the University of Calyfornia, Barkeley)


Герои (для просмотра содержимого нажмите на ссылку)
Как из нескольких фоток/рисунков получить 3d векторный файл? Manmohan Chandraker.png

received a B.Tech. in Electrical Engineering at the Indian Institute of Technology, Bombay and a PhD in Computer
Science at the University of California, San Diego. Following a postdoctoral scholarship at the University of California, Berkeley, he joined
NEC Labs America in Cupertino, where he conducts research in computer vision. His principal research interests are modern optimization
methods for geometric 3D reconstruction and theoretical analysis of shape recovery in the presence of complex illumination effects and material behavior. His
work on provably optimal algorithms for structure and motion estimation has received the Marr Prize Honorable Mention for Best Paper at IEEE
International Conference on Computer Vision and the CSE Dissertation Award for Best Thesis at UC San Diego.

Как из нескольких фоток/рисунков получить 3d векторный файл? Jiamin Bai.png

received his BS degree in electrical and computer engineering with a minor in photography from Carnegie Mellon University in
2008. He is currently a student in the University of California, Berkeley. His research interests include computational photography and image
and video editing. He has been awarded the A*STAR NSS (BS-PhD) Fellowship.

Как из нескольких фоток/рисунков получить 3d векторный файл? Ravi Ramamoorthi.png

eceived the BS degree in engineering and applied science and the MS degrees in computer science and physics from
the California Institute of Technology in 1998. He received the PhD degree in computer science from Stanford Universitys Computer Graphics
Laboratory in 2002, upon which he joined the Columbia University Computer Science Department. He is now an associate professor at the
University of California, Berkeley since 2009. His research interests cover many aspects of computer vision and graphics, including mathematical foundations and
sampling and reconstruction, real-time photorealistic rendering, datadriven appearance models, physics-based computer vision, and visiongraphics methods for image and video editing. He has published papers on all of these topics in leading graphics and vision conferences and journals. His work has been recognized by a number of awards from private foundations (Sloan Research Fellowship and Okawa Foundation Research Grant), federal agencies (NSF Career Award and ONR
Young Investigator Award), professional organizations (ACM SIGGRAPH Significant New Researcher Award) and the White House (Presidential Early Career Award for Scientists and Engineers).

при поддержке Intel, Adobe, NVIDIA and Pixar

Как из нескольких фоток/рисунков получить 3d векторный файл? r.png
Как из нескольких фоток/рисунков получить 3d векторный файл? ap.png
Как из нескольких фоток/рисунков получить 3d векторный файл? t.png
Как из нескольких фоток/рисунков получить 3d векторный файл? t2.png
Как из нескольких фоток/рисунков получить 3d векторный файл? st.png
студия


Скачать их документы:
Chandracke.zip
Manmohan Chandraker, Jianmin Bai and Ravi Ramamoorthi
(18.18 Мб) Скачиваний: 188


Команда 3 - George Vogiatzis and Carlos Hernandez(Toshiba Research Europe Ltd)


эти ребята тоже меня потрясли - но о них не много информации.
George Vogiatzis
Toshiba Research Europe Ltd, CB4 0GZ, e-mail: george.vogiatzis@crl.toshiba.co.uk
Carlos Hernandez
Toshiba Research Europe Ltd, CB4 0GZ,e-mail: carlos.hernandez@crl.toshiba.co.uk

Но их алгоритмы используют(если не ошибся) даже тени!
Как из нескольких фоток/рисунков получить 3d векторный файл? j.png
Comparison with photometric stereo.
(A-C) show three grayscale images captured by a digital camera, each taken under a different illumination, providing the input to a classic photometric stereo reconstruction [51] shown in (D). (E) shows a frame from a jacket sequence, where the same object is illuminated simultaneously by three different coloured lights. Our algorithm only uses one such frame to generate the surface mesh shown in (F). Note that both algorithms give very similar results, but only the new one (bottom row) can be applied to video since only one frame is required to obtain a reconstruction. As a quantitative comparison, the average error between both reconstructions is only 1.4%of the bounding box diagonal
Как из нескольких фоток/рисунков получить 3d векторный файл? bdd.png
Reconstructing coloured jade.
Left: Two input images. Middle: model obtained by multi-view stereo method from [17]. Right: proposed method. The resulting surface is filtered from noise while new high frequency geometry is revealed (note the reconstructed surface cracks in the middle of the figurine’s back)
Как из нескольких фоток/рисунков получить 3d векторный файл? yy.png
Shadow segmentation.
This experiment shows the result of our shadow region segmentation. From left to right, the three input images (a), (b), (c) and the mask with the resulting shadow labels(d)
Как из нескольких фоток/рисунков получить 3d векторный файл? fc.png
Face sequence. Acquisition of 3d facial expressions using [19] and the shadow processing technique described in this paper.
The shadows are processed with the shading regularisation scheme. The full video sequence has more than a 1000 frames reconstructed.


Скачать их документы:
!!! icvss_chapter2010_photometric.pdf
George Vogiatzis and Carlos Hernandez
(4.34 Мб) Скачиваний: 634


Команда 4 - Liang Wang, Ruigang Yang, James E.Davis


авторы (для просмотра содержимого нажмите на ссылку)
Как из нескольких фоток/рисунков получить 3d векторный файл? Liang Wang.png

Liang Wang received his BS degree from the School of Computer Science, Beijing University of Aeronautics and Astronautics in 2004. He is currently a Ph.D student in the Computer Science Department at the University of Kentucky. His research interests lie in computer vision, especially in 3D reconstruction and stereo matching.
Ruigang Yang.png
Ruigang Yang.png (71.19 Кб) Просмотров: 4986

Ruigang Yang is an Assistant Professor in the Computer Science Department at the University of Kentucky. He received his Ph.D. degree in Computer Science from University of North Carolina at Chapel Hill in 2003. Prior to coming to UNC-Chapel Hill, he earned a M.S. degree in Computer Science from Columbi
a University in 1998. Dr.Yang’s research interests include computer graphics, computer vision, and multimedia. He is a recipient of U.S. NSF CAREER award in 2004, and a member of the IEEE Computer Society and ACM.
James E.Davis.png
James E.Davis.png (81.73 Кб) Просмотров: 4986

ames E. Davis is currently an Assistant Professor at University of California at Santa Cruz, with research focused primarily on acquiring digital models of the real
world for use in computer graphics. He also serves as a technical advisor for VSeeLab, a startup developing video based collaboration tools. After obtaining his Ph.D. from Stanford University in 2002, he spent two years at Honda Research Institute USA, working on realtime range sensing for humanoid robotics applications. Dr. Dav
is has received awards for both his research and teaching, including the IEEE ICRA Best Vision Paper Award in 2003, and Excellence in Teaching recognition given to 2% of USSC faculty in 2006.

примечательно что они изобрели свой метод стереореконструкции который назвали Light Transport Constancy с использованием BRDF.
Преимущество данного метода в том что не требуется откалиброванных источников света(у других авторов тоже есть эта фича)
и настройки/калибровки угла между камерой и источником света(эта фича у других авторов тоже есть, но реже встречается).
Но они используют 2е камеры - вместо одной(для сравнения - в других проектах и поболее камер).
Как из нескольких фоток/рисунков получить 3d векторный файл? 2.png
(Left) Tree with non-Lambertian reflectance properties and many depth discontinuities. (Right) Disparity map computed from thirty lighting variations
Как из нескольких фоток/рисунков получить 3d векторный файл? 3.png
The ground truth dataset. Left is one color image and right is its corresponding depth map. Bad pixels due to occlusions are manually removed
Как из нескольких фоток/рисунков получить 3d векторный файл? cccc.png
Our experimental setup with four cameras and two variable light sources.


Скачать их работу:
BRDF_PAMI.pdf
Liang Wang, Ruigang Yang, James E.Davis
(2.64 Мб) Скачиваний: 641



Команда 5 - HENDRIK P. A. LENSCH, JAN KAUTZ and MICHAEL GOESELE (Max-Planck-Institut für Informatik)
and WOLFGANG HEIDRICH (The University of British Columbia) and HANS-PETER SEIDEL (Max-Planck-Institut für Informatik)


Сами они достаточно скромные, поэтому о них самих - гуглите.
Ребята очень активно занимаются этой темой и достаточно давно и серьезно.
Lensch-2003-IBR.zip
HENDRIK P. A. LENSCH, JAN KAUTZ and MICHAEL GOESELE and WOLFGANG HEIDRICH and HANS-PETER SEIDEL
(1.97 Мб) Скачиваний: 187


остальной жемчуг собранный мной на просторах инет-а:
BRDF reconstruction.zip
(30.93 Мб) Скачиваний: 196


и несколько ссылок (не только по теме реконструкция посредством ДФОС):
Лекция на русском по свету и ДФОС
небезинтересная страничка Prof. Dr.-Ing. Matthias B. Hullin (Head of Digital Material Appearance Group Institute for Computer Science II
University of Bonn Friedrich-Ebert-Allee 144 53113 Bonn GERMANY)

еще одна работа от команды 1 - на тему реконструкции формы Что за технологии - не разобрал, но техника очень интересная...
интересные работы по распознаванию доктора Qi Shan в том же институте в Вашингтоне

работы института в Washington-e(рекомендую ознакомиться)
еще инетересные работы по распознаванию - Institut Max Planck - Graphics, Vision & Video
еще работы по распознаванию - Graphics Vision Technology Laboratory
работы по распознаванию - University of BATH

И напоследок видео - определение источника света по теням на фото:



Серьезные фирмы и серьезные люди с профессорскими званиями - всерьез занимаются этой темой(компьютерного зрения)
(а как еще заставить танчики - видеть и объезжать препятствия? Один оператор (как в стратегии) смог бы управлять танковой дивизией...),
а у нас во всю пропагандируют по телеку темы "готовить/жениться/петь/танцевать/..." - видно кому-то это выгодно...
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 28 янв 2019, 19:34

недавно наткнулся на аналогичный функционал в Photoshop


хотя заниматься 3Д - это не дело Photoshop.
Видимо разрабы фотошопа реализовали все что можно было реализовать в 2Д, и теперь осваивают область псевдо 3Д и полноценного 3Д.
Если так пойдет дело дальше, то можно ждать слияния(поглощения) Photoshop c 3D-Max или Maya...
Как говорил Дункан Маклауд: "Должен остаться только один бессмертный" 8-)
Так что запасаемся печеньками и наслаждаемся этой битвой эпопеей... :eat:
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение X-Ray » 31 май 2019, 11:48

кто выбрал "1. Пишу УП полностью руками. 3D, CAM-ы и прочие погремушки - мне не к чему :-)", а эвольвентные зубья на шестернях тоже в ручную написать сможете?
Прежде чем писать о багах проверьте, является ли ваша версия последней!
Программа G2G (фрезеровка из гербера, производство ПП на ЧПУ) https://github.com/XRay3D/GERBER_X2/releases
Краткая справка по ^: https://www.youtube.com/watch?v=zihGkOE ... W2vJPz4AQQ
Аватара пользователя
X-Ray
Мастер
 
Сообщения: 265
Зарегистрирован: 04 фев 2016, 23:06
Репутация: 126
Медальки:
Настоящее имя: Дамир

Re: Как из нескольких фоток/рисунков получить 3d векторный ф

Сообщение Гармонист » 03 июн 2019, 13:32

X-Ray писал(а):кто выбрал "1. Пишу УП полностью руками. 3D, CAM-ы и прочие погремушки - мне не к чему :-)", а эвольвентные зубья на шестернях тоже в ручную написать сможете?

Как ни как, а на сейгодня 61 человек выбрали этот ответ. К тому же этот ответ сейчас лидирующий.

Но я согласен с комментарием. Мы люди стремимся автоматизировать ручной труд, но ребята почему-то гордятся, что пишут УП сами, вручную.
И как правильно заметил X-Ray - нарисовать вручную эвольвенту можно и вручную, но все же автоматы(в широком понимании) делают это на много точнее чем человек.

С другой стороны - роботы и Искусственный Интеллект не знают и возможно никогда не узнают, что такое "эстетика". Они смогут только имитировать "красоту", "эстетику", "тактичность", "культуру", ... но не смогут ее прочувствовать. Но что касается точности - тут человек проигрывает роботам по полной. К тому же - если уже нарисована эстетически красивая 3D-модель, то писать по ней УП вручную - это ...ну... даже не знаю как назвать... наверное мазохизм... И если кто-то получает от этого удовольствие - я не против, лишь бы он это не преподносил как норму поведения.
Но конечно рисование УП станет не нужным, только когда появятся общедоступные средства, позволяющие легко эти УП получить. Но на данный момент не для всех случаев есть программы, позволяющие эти УП создать. В таких случаях рисование УП руками - это единственная возможность. Так что формулировка "мазохизм" - применима не для всех случаев. Тут больше подходит термин "героизм".
Получается автоматизация превращает "ручной труд по созданию УП" из категории "героизма" в категорию "мазохизма"... Странная метаморфоза... :hottabych:
Но вобщем-то логично. Это то же самое что взрыхлять землю мотыгой, в то время когда можно трактором... :wtf:

К тому же для инженеров заводов, какой-то нанопромышненности, научных институтов или где требуется создать простую форму типа идеального круга, прямоугольника и пр. - то рисование небольших УП руками - это оправдано с точки зрения скорости написания и точности. Т.к. аппроксимация 3D дуговыми сплайнами, кубическими сплайнами и прочими функциями G-кодов - это аппроксимация с каким-то приближением к целевой 3D поверхности с заранее заданной точностью. При этом отклонение будет всегда - не нулевое.
Хотя при рисование УП вручную - это отклонение можно свести к нулю или значительно уменьшить. Но опять же - программы по созданию УП будут со временем усовершенствоваться и будут все более и более облегчать(читай "обесценивать") человеческий труд по созданию УП вручную.

Я лично для себя решил, что не стоит тратить время на изучение G-кодов, по описанным выше причинам.
Хотя у меня знакомые в Германии на некоторых специальностях заставляют учить G-коды, учат писать УП вручную... наверное для крупных заводов такие инженеры зачем-то нужны...
Нужны из-за того что большинство выпускаемых заводами деталей - простые. Но я думаю это временно. Т.к. для вот такой детали конечно проще нарисовать УП вручную:
image303.jpg
простая деталь
image303.jpg (8.31 Кб) Просмотров: 386

Но сейчас появляются детали нового поколения созданные нейросетями. Например вот такие:
Как из нескольких фоток/рисунков получить 3d векторный файл? деталь созданная нейросетью.jpg
деталь созданная нейросетью

Такие детали созданны исходя из расчетов нагрузок из назных положений, чтобы деталь была максимально упругой именно там где это нужно, а там где это не нужно - чтобы не было избыточного веса.
Подумайте, вы захотите рисовать для такой детали УП вручную? Вопрос риторический.
http://cnc-club.ru/forum/viewtopic.php?t=1064 - домашний станок типа "рука"
http://cnc-club.ru/forum/viewtopic.php?t=1107 - быстро создать 3d образ без сканера по фоткам
http://cnc-club.ru/forum/viewtopic.php?t=1073 - прогноз станко-строения
http://livehistory.ru - мозаика складывается
http://www.economics.kiev.ua - почему все так в нашем мире
Аватара пользователя
Гармонист
Почётный участник
Почётный участник
 
Сообщения: 411
Зарегистрирован: 24 апр 2011, 09:14
Откуда: планета Земля
Репутация: 67
Медальки:

Пред.След.

Вернуться в Электроника

Кто сейчас на конференции

Зарегистрированные пользователи: Bing [Bot], Google [Bot], vestkot, YaCy [Bot], Yandex [bot]

Reputation System ©'