EA035221B1 - Способ реконструкции 3d модели статичного объекта и устройство для его реализации - Google Patents
Способ реконструкции 3d модели статичного объекта и устройство для его реализации Download PDFInfo
- Publication number
- EA035221B1 EA035221B1 EA201800533A EA201800533A EA035221B1 EA 035221 B1 EA035221 B1 EA 035221B1 EA 201800533 A EA201800533 A EA 201800533A EA 201800533 A EA201800533 A EA 201800533A EA 035221 B1 EA035221 B1 EA 035221B1
- Authority
- EA
- Eurasian Patent Office
- Prior art keywords
- static object
- polarization
- polarized
- images
- map
- Prior art date
Links
- 230000003068 static effect Effects 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 title claims description 37
- 230000010287 polarization Effects 0.000 claims abstract description 49
- 238000001914 filtration Methods 0.000 claims abstract description 11
- 230000003190 augmentative effect Effects 0.000 claims description 9
- 238000003384 imaging method Methods 0.000 claims description 7
- 230000003287 optical effect Effects 0.000 claims description 4
- 238000012544 monitoring process Methods 0.000 abstract description 3
- 238000010276 construction Methods 0.000 abstract description 2
- 238000001514 detection method Methods 0.000 abstract description 2
- 239000003814 drug Substances 0.000 abstract description 2
- 230000001360 synchronised effect Effects 0.000 abstract description 2
- 238000004364 calculation method Methods 0.000 description 6
- 238000004458 analytical method Methods 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000000875 corresponding effect Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 238000010606 normalization Methods 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 239000012634 fragment Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/514—Depth or shape recovery from specularities
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Architecture (AREA)
- Computer Hardware Design (AREA)
- General Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Abstract
Изобретение относится к области реконструкции электронной 3D модели статичного объекта, в частности, к реконструкции трехмерной формы поверхности и сопоставлении ей исходных изображения реконструируемого объекта и может быть использовано в разных отраслях промышленности, в том числе дефектоскопии, строительстве, мониторинге форм конструкций, а также в медицине, археологии, игровой и киноиндустриях. Сущность заявленного изобретения направлено на 3D реконструкцию статичного объекта с помощью поляризационных стереоизображений, что достигается съемкой, которая производится стереокамерой с синхронизированными поляризационными фильтрами, определением поляризационной стереокарты глубины статичного объекта и поляризационной карты нормалей с уточнением углов фильтрации поляризованного света, а также многоракурсной съемки, с помощью которой создается 3-х мерная форма поверхности объекта, текстурируется усредненным изображением по картам минимальной и максимальной интенсивности и, таким образом, определяется 3D модель статичного объекта.
Description
Изобретение относится к области реконструкции электронной 3D модели статичного объекта, в частности к реконструкции трехмерной формы поверхности и сопоставлении ей исходных изображения реконструируемого объекта, и может быть использовано в разных отраслях промышленности, в том числе дефектоскопии, строительстве, мониторинге форм конструкций, а также в медицине, археологии, игровой и киноиндустриях.
Известен способ [1] для реконструкции формы поверхности статичного объекта по его изображениям снятых с несколькими углами фильтрации поляризационного фильтра, в котором восстановление формы поверхности включает в себя этап получения карты нормалей и 3-х мерной формы поверхности объекта, имеющего отражающую металлическую поверхность. Однако известный способ является неточным при воспроизведении формы поверхности 3D модели статичного объекта за счет того, что при воспроизведении реконструируемого объекта ориентация его поверхности определяется неоднозначно с учётом существующих проблем Пи неоднозначности вычисления нормалей, неточности вычисления нормали для фронто-параллельных поверхностей, возможности получения только относительной 3-х мерной формы поверхности и не позволяет получить многоракурсную 3D реконструкцию. Так же этот способ имеет ограничение в применении, так как он рассчитан только на анализ статичных объектов с отражающей поверхностью.
Известен способ [2] для реконструкции 3D поверхности с помощью изображений, по которым анализируется часть поверхности, подлежащей восстановлению. В известном способе форма поверхности статичного объекта реконструируется по поляризационным изображениям и по изображениям теней, возникающих при его освещении под различными углам при использовании восстановления поверхности изображения по поляризации, где измеренные значения могут быть объединены друг с другом в контексте минимизируемой функции ошибки. Однако данный способ воспроизводит не точную форму поверхности 3D модели статичного объекта за счет того, что при воспроизведении реконструируемого объекта ориентация его поверхности определяется неоднозначно с учётом существующих проблем Пи неоднозначности вычисления нормалей, а также рефракционной неточности вычисления зенитного угла вследствие неизвестного индекса рефракции поверхности, неточности вычисления нормали для фронтопараллельных поверхностей, разрывов в карте глубины, что не позволяет получать многоракурсную 3D реконструкцию, и это сужает как сферу применения, так и качество реконструкции 3D моделей. Кроме того, известный способ ограничивает сферу своего применения за счет использования активного метода реконструкции, который требует проведение съемки исключительно с использованием контролируемого освещения, что обеспечивается более сложным конструктивным устройством за счет необходимости контролируемого освещения в зависимости от 3-х мерной формы реконструируемой поверхности статичного объекта.
Известен способ [3] реконструкции 3D формы объекта с помощью изображений объекта, на который проецируются кодированные световые шаблоны. Однако известный способ обеспечивает низкое разрешение реконструкции 3-х мерной формы поверхности, так как она зависит от разрешения используемого устройства проецирования с более низким разрешением относительно камеры этого устройства. Также, известный способ является сложным и дорогим в реализации, поскольку требует наличия дополнительного оборудования для проецирования светового шаблона на объект. Кроме того, данный способ имеет ограниченное применение, так как требует специального освещения устройством проецирования.
Наиболее близким техническим решением к заявленному изобретению является способ [4], принятый в качестве прототипа, который состоит в реконструкции трехмерной формы поверхности объекта, заключающийся в получении уточненной и дополненной карты глубины статичного объекта и последующей его 3-х мерной формы с помощью карты глубины и поляризационных изображений объекта.
Недостатком известного способа, принятого в качестве прототипа, является относительно низкая точность реконструкции статичного объекта за счет того, что карта глубины, полученная от стереокамеры, имеет ограниченную информацию о 3-х мерной форме поверхности статичного объекта, а также неизбежных ошибок при измерении углов фильтрации поляризованного света. Кроме того, известный способ имеет меньшую информативность вследствие ограниченности одноракурсной съемки и, как следствие, получение менее качественной по визуализации искомой 3D модели статичного объекта.
Наиболее близким устройством [4] для реализации способа по совокупности признаков с заявляемой группой изобретения (способа и устройства) является принятое в качестве прототипа устройство, использующее сенсор глубины для создания первоначальной карты глубины объекта, камер для получения поляризационных изображений и вычислительного устройства.
Недостатком этого устройства является ограниченность получения карты глубины по стереокамере за счет конструктивного расположения имеющихся в нем камер, что влечет за собой информационные ошибки при получении карты глубины с помощью триангуляции по двум поляризационным камерам, установленным под ненулевым углом друг к другу, поскольку при таком расположении камер поляризационные фильтры существенно изменяют видимое изображение статичного объекта по разному для каждой из камер. Кроме того, усложняет устройство и увеличивает ошибку наличие у каждой из камер независимого поляризационного фильтра.
Техническим результатом заявленного изобретения является повышение точности 3D реконструк- 1 035221 ции статичного объекта и информативности реконструируемой 3D модели, а также упрощение устройства для реализации способа.
Указанный технический результат достигается тем, что в известном способе реконструкции 3D модели статичного объекта, заключающимся в поляризационной стереосъемке статичного объекта при различных углах фильтрации поляризованного света при последовательном их изменении и по полученным двум формируемым наборам поляризованных изображений получают две поляризационные карты нормалей и разреженную карту глубины поверхности, и определении по ним дополненной поляризационной карты глубины, по которой определяют трехмерную форму поверхности статичного объекта, и получении по этой 3-х мерной форме поверхности 3D модели статичного объекта, в соответствии с заявленным изобретением, в каждом из двух формируемых наборов из не менее 4-х поляризованных изображений статичного объекта изменяют углы поляризации, которые выбирают равномерно в диапазоне от 0 до 180 град., при этом каждый из формируемых наборов принимают в качестве базы для определения поляризованной карты нормалей, после чего по каждому из двух наборов поляризованных изображений получают два скорректированных по интенсивности изображения, по которым получают стереокарты глубины, затем получают поляризационную карту глубины по двум поляризационным картам нормалей, после чего объединяют стереокарты глубины и поляризационную карту глубины в поляризационную стереокарту глубины и получают поверхностную карту нормалей на основе дополненной карты глубины, после чего повторяют поляризационную стереосъемку не менее двух раз с разных ракурсов, попарно пересекающихся по области наблюдения статичного объекта, и для каждого ракурса по дополненной поляризационной карте глубины получают поляризационное облако точек, которые объединяют в многоракурсное облако точек 3D поверхности статичного объекта, 3-х мерную форму поверхности получают по сформированному многоракурсному облаку точек, а исходные поляризованные изображения статичного объекта корректируют по картам интенсивностей цвета, полученных из каждого набора поляризованных изображений, после чего сопоставляют скорректированные исходные поляризованные изображения статичного объекта с трехмерной поверхностью статичного объекта, и по полученным результатам их сопоставления определяют 3D модель статичного объекта.
Кроме того, указанный технический результат достигается тем, что количество углов фильтрации выбирают по количеству поляризованных изображений в одном наборе изображений.
Помимо этого, указанный технический результат достигается тем, что ракурсы поляризационной съемки выбирают равномерно вокруг статичного объекта.
Указанный технический результат достигается также тем, что в известном устройстве, содержащим систему из 2-х зафиксированных друг относительно друга камер получения изображений, одна из которых имеет расположенный перед ее объективом поворотный поляризационный фильтр, и вычислительное устройство, в соответствии с заявленным изобретением по п.2, вторая камера получения изображений снабжена расположенным перед ее объективом поворотным поляризационным фильтром, при этом поляризационные фильтры обеих камер имеют одинаковые углы поворота и соединены поворотным устройством, оптические оси камер получения изображений расположены друг относительно друга параллельно, корпус каждой из камер изображений имеет по два разъема, один из которых соединен кабелем с вычислительным устройством, а другой со второй камерой получения изображений, к вычислительному устройству подсоединен поворотный стол для кругового вращения статичного объекта.
Сущность заявленного изобретения поясняется многочисленными экспериментальными результатами реконструкции 3D модели статичного объекта, апробированных в лабораторных условиях на оборудовании компании ООО ИТ центр СпбГУ и ниже поясняется теоретическими и прикладными исследованиями, которые дали реальное подтверждение заявленному в данном изобретении повышению точности 3D реконструкции статичного объекта, повышению информативности реконструируемой 3D модели, а также упрощению устройства для реализации заявленного способа.
Как известно, способ реконструкции нормалей по поляризованных изображениям основан на измерении интенсивности света для различных углов фильтрации поляризованного света, по которому происходит вычисление углов азимута φ и зенита θ нормалей к поверхности в сферической системе коорди нат.
В соответствии с уравнениями Френеля, измеренная освещенность в одной точке сцены выражается как [6]:
(1) ί(<Ρροΐ) = !!!ί^4·^^€θε(2(φρ.ι-φ)), где φ - азимутальный угол,
Imax и Imin максимум и минимум интенсивности света.
Поскольку гармоника имеет три неизвестных, имея три различных измерения φροί можно рассчитать φ, Imax и Imin.
При вычислении азимутального угла φ возникает две основные проблемы.
Во-первых, поскольку в уравнении 1 аргумент косинуса умножается на 2, то в диапазоне от 0 до 2π угол φ может иметь 2 значения, сдвинутых на π радиан, и определить правильное из этих 2-х решение на основе только анализа поляризованных изображений без дополнительных допущений невозможно. Это
- 2 035221 первая проблема называется азимутальной двусмысленностью и имеется у всех методов реконструкции нормалей по поляризованным изображениям.
Во-вторых, если тип поверхности неизвестен априори - диффузный или зеркальный, то не определено смещение азимутального угла φ на π/2 радиан. Эта вторая неоднозначность, обусловлена отражением поверхности, и называется несоответствием азимутальной модели, и критически относится к реконструкции нормалей по поляризованных изображениям.
Как известно, расчет зенитного угла зависит от степени поляризации и имеет вид:
Р ~ Imax+lmin 1 '
Подставляя в данное уравнение формулу Френеля, получаем следующую формулу, по которой можно вычислить зенитный угол для диффузных поверхностей:
(n~) *sin2(6) р =-----------------______ (3)
2+2n2-(n+4) $in2(0)+4*cos(0)*7n2-sin2(0) где n - обозначает показатель преломления, а θ - зенитный угол. И зенитный угол для зеркальных поверхностей:
(4) _ 2*sin(0) * tan(0) *Vn2-stn2(0) P n2-2*sin2(0)+tan2(ff)
На основе изложенных формул (1-4) в заявленном способе получают карты нормалей с использованием 4-х и более изображений с разным углом фильтрации поляризованного света. Система уравнений состоит из уравнений по количеству изображений с 3-мя неизвестными. При расчете карты нормалей задача решается с помощью метода наименьших квадратов. Решение данной задачи приводит к решению системы таких уравнений:
АтАх = АТЬ => х = (АТА')~1АТЬ (5)
Таким образом, за счет большего количества данных, полученных при различных углах фильтрации поляризованного света, точность определения фазы синусоидально изменяющейся интенсивности увеличивается при наличии различных помех в системе, связанных с неточностью измерения интенсивностей отдельных пикселей камеры, которые появляются вследствие возмущений, действующих на систему извне, и при наличии неточности в измерении углов фильтрации поляризованного света.
После решения данной системы уравнений для каждого пикселя изображения, полученного с камер, получают минимальную и максимальную интенсивность света, углы азимута φ и зенита θ нормали к участку поверхности объекта, свет от которой попадает в данный пиксель, которые в совокупности формируют поляризационную карту нормалей поверхности статичного объекта, карту минимальной интенсивности света и карту максимальной интенсивности света. По карте минимальной интенсивности света и карте максимальной интенсивности света получают карту средней интенсивности света. Такие карты получают для каждого из двух наборов изображений реконструируемого статичного объекта.
Так как изображения получены с камер, оптические оси которых направлены параллельно, плоскости сенсоров изображения расположены параллельно и направления фильтрации поляризованного света также параллельны, то пиксели в двух картах средней интенсивности света, соответствующие одним и тем же участкам поверхности, будут иметь одинаковые значения. Таким образом, на основе данных о калибровке стереокамер путем корреляции изображений по эпиполярным линиям путем триангуляции получают стереокарту глубины. Полученные поляризационные карты нормалей по двум наборам изображений также будут иметь одинаковые значения для одинаковых участков поверхности. Таким образом, коррелируют карты нормалей вдоль эпиполярных линий и путем триангуляции получают поляризационную карту глубины. Полученные стереокарту глубины и поляризационную карту глубины объединяют в поляризационную стереокарту глубины.
Соединение карт глубин происходит следующим образом: при отсутствии данных в одной из карт глубин, берут данные из другой, в остальных случаях берут среднее арифметическое между значениями карт глубин, получая поляризационную стереокарту глубины. Далее из поляризационной карты нормалей и поляризационной стереокарты глубины рассчитывают дополненную карту глубины.
Используя поляризационную карту нормалей, дополненную карту глубины и внутренние параметры камер получают 3D облако точек, в котором каждая точка имеет 3D координаты и поляризационную нормаль. Для каждой точки в 3D облаке точек получают нормаль к поверхности.
По методу выше производят многоракурсную съемку статичного объекта, повторяя предыдущие шаги, после чего для каждого ракурса получают 3D облако точек, которые объединяют в единое 3D облако точек путем сопоставления точек поверхности статичного объекта, наблюдаемых с нескольких ракурсов. При сопоставлении происходит минимизация ошибки сопоставления по формуле среднего квадратического отклонения координат точек в облаках, поверхностных карт нормалей и поляризационных карт нормалей для тех точек, которые были сопоставлены как точки, принадлежащие одной и той же точкой поверхности статичного объекта. Две точки из двух разных 3D облаков точек считают сопоставленными, если расстояние между ними не превышает заданное пороговое значение, которое определяет- 3 035221 ся по параметрам камер и размеру объекта. В совокупности этот способ позволяет точнее реконструировать объект, так как при сопоставлении учитывается индекс рефракции материала.
Затем по облаку точек 3D поверхности статичного объекта получают 3-х мерную форму поверхности статичного объекта по алгоритму ближайшего соседа.
После этого получают текстуру 3D поверхности статичного объекта. Для этого исходное поляризованное изображение необходимо скорректировать по интенсивности, чтобы уменьшить эффект поляризации, приводящий к изменению интенсивности цвета каждого пикселя изображения в зависимости от угла между соответствующей точкой поверхности объекта и плоскостью фильтрации поляризованного света. На основе решения системы уравнений при расчете поляризационной карты нормалей определяют значения минимальной и максимальной интенсивности света для каждого анализируемого пикселя исходного изображения. В качестве интенсивности цвета изображения в скорректированном поляризованном изображении выбирают среднее арифметическое значений минимальной и максимальной интенсивности света.
Таким образом, для каждого ракурса съемки получают по два скорректированных поляризованных изображения, которые сопоставляют с 3-х мерной формой поверхности статичного объекта. Если одному плоскому сегменту 3D поверхности статичного объекта соответствует больше одного изображения, то для сопоставления выбирается то изображение, которое обеспечивает наибольшее количество пикселей для данного сегмента. Сопоставленные фрагменты скорректированных изображений в совокупности определяют текстуру 3-х мерной поверхности статичного объекта.
После чего, по 3-х мерной форме поверхности статичного объекта и сопоставленным изображениям объекта (текстурам) определяют 3D модель реконструированного статичного объекта.
Сущность заявленного изобретения поясняется фиг.1-7.
На фиг. 1 показано устройство для реализации способа реконструкции 3D модели статичного объекта поляризационной съемкой, состоящее из двух камер 1 и 2, зафиксированные друг относительно друг друга, например, общей стойкой 3, образуя стереопару, подключения для синхронизации затворов камер кабелем 10, поляризационных фильтров 4 и 6, с поворотным механизмом для поляризационных фильтров 7, вычислительного устройства 5, подключения камер к вычислительному устройству кабелями 8 и 9, поворотного механизма 12 и подключения поворотного механизма к вычислительному устройству кабелем 11.
Заявленное устройство для реализации способа по п. 1 изобретения предназначено для съемки двумя камерами (1-2), имеющими свойства стереокамеры, две камеры закреплены на стойке (3) и соединены друг с другом кабелем (10), перед камерами установлены два синхронизированных поляризационных фильтра (4 и 6), поляризационные фильтры соединены поворотным механизмом (7) для построения более точной карты глубины за счет минимизации разности интенсивностей отражения света от статичного объекта, камеры подключены к вычислительному устройству (5) с помощью кабелей (8 и 9), к вычислительному устройству подключен поворотный стол (12) кабелем (11).
На фиг. 2 представлен набор поляризованных изображений, полученных от камеры (1), изображенной на фиг. 1, с указанными углами поворота поляризационного фильтра в градусах 0, 45, 90, 135.
На фиг. 3 представлен набор поляризованных изображений, полученных от камеры (2), изображенной на фиг. 1, с указанными углами поворота поляризационного фильтра в градусах 0, 45, 90, 135.
На фиг. 4 показана карта глубины, полученная с помощью двух изображений из первого и второго набора изображений, полученных с камер (1-2), изображенных на фиг. 1, полученных при одном ракурсе.
На фиг. 5 показана карта глубины, полученная с помощью двух карт нормалей из первого и второго набора изображений, полученных с камер (1-2), изображенных на фиг. 1, полученных при одном ракурсе.
На фиг. 6 показано облако точек, полученное с помощью многоракурсной съемки статичного объекта, сформированной по карте глубины, которая скорректирована и дополнена с помощью карты нормалей поверхностей.
На фиг. 7 показан итог 3D реконструкции статичного объекта.
Заявленное изобретение, как было указано выше, экспериментально апробировано на оборудовании и в лаборатории компании ООО ИТ центр СпбГУ
Примеры конкретной реализации приведены ниже.
Пример 1.
В качестве примера получения конкретного ожидаемого результата с более высокой точностью реконструкции 3D модели статичного объекта, он был расположен на поворотном столе (12), изображенном на фиг. 1. На фиг. 2 и 3 показаны два набора поляризованных изображений, полученных с одного ракурса. По каждому набору строятся изображения Imax, Imin и усредненная карта Iavg. По двум картам Iavg строится стереокарта глубины с помощью триангуляции, которая показана на фиг. 4. По двум наборам изображений был проведен расчет поляризационных карт нормалей, на основе которых при помощи триангуляции была рассчитана поляризационная карта глубины, показанная на фиг. 5. Данный пример экспериментально подтверждает, что заявленный способ, основанный на построении карты глубины с помощью поляризационных карт нормалей дополняет стереокарту глубины, которая дает дополнительную более объективную информацию о глубине точек, а, значит, для участков поверхности, где произошло
- 4 035221 дополнение карты глубины, позволяет дополнительно разрешать π неоднозначность и уточнять рефракционную неточность вычисления зенитного угла, тем самым увеличивая как точность, так и качество реконструируемой 3D модели.
Пример 2.
Для создания полной 3D модели статичного объекта требуется многоракурсная съемка и текстурирование объекта. При соединении поляризационной и стереокарт глубин, полученных при помощи поляризационных карт глубин и стереоизображений, была произведена корректировка поляризационной стереокарты глубины с помощью поляризационной карты нормалей. После многократно проведенной съемки при различных ракурсах и использования вышеприведенных в примере 1 вычислений карт глубин, были рассчитаны облака точек, которые были сведены в одно облако, которое изображено на фиг. 6. На основе облака точек была сформирована 3-х мерная поверхность статичного объекта. После этого было получено усредненное изображение статичного объекта Iavg с помощью карт Imax и Imin, рассчитанных по выше приведенным уравнениям Френеля (1-4), что позволило получить более точную текстуру поверхности статичного объекта. После этого полученное усредненное изображение Iavg сопоставили с 3-х мерной поверхностью статичного объекта, что позволило получить текстурированную 3D модель, изображенную на фиг. 7, что экспериментально подтверждает достижение заявленным изобретением высокой информативности реконструкции 3D модели статичного объекта.
Пример 3.
На фиг. 1 показана схема конкретного устройства, состоящего из двух цветных камер PoIntGrey CM3-U3-31S4C-CS с разрешением 3 МП, камеры оснащены объективами Kowa LM8JC10M с фокусным расстоянием 8 мм, перед камерами установлены поляризационные фильтры Goyo CPL диаметром 57 мм, каждый из которых имеет привод к одному шаговому двигателю. Камеры установлены так, что их оптические оси параллельны, а стороны сенсоров изображений внутри них параллельны друг другу. Расстояние между центрами камер составляет 76 мм. На расстоянии 2 м от камер расположен поворотный стол. Экспериментальный образец заявленного устройства позволяет осуществлять поляризационную съемку статических объектов размером до 1x1x1 м3. За счет расположения фильтров в одной плоскости параллельно друг другу установка приводов к одному шаговому двигателю упрощается, и существенно уменьшает ошибки измерения углов поворота фильтров. Кроме того, заявленное устройство, реализованное в виде конкретной экспериментальной установки, позволяет получать изображения двумя камерами, где одна и та же точка поверхности статичного объекта имеет одинаковые максимальную и минимальную интенсивность, а значения азимутального и зенитного углов нормали имеют одинаковое значение в системах координат этих камер, что значительно увеличивает точность триангуляции.
Заявленное изобретение, как показывают результаты проведенных испытаний, могут быть использованы для реконструкции 3D модели статичного объекта с высокой точностью и информативностью.
Заявленное изобретение имеет широкий спектр применения, в частности, оно наиболее эффективно для решения, например, медицинских задач при контроле за процессом лечения и выздоровления пациентов, а также в археологии для реконструкции физически устаревших памятников, скульптур и разных видов ископаемых; эффективно также использование реконструированных 3D моделей объектов в киноиндустрии, игровой индустрии и многих других отраслях и сферах производства, где требуется высокое качество, точность и информативность реконструируемых объектов.
Список использованной литературы:
[1] PCT/FR2006/002550 WO 2007057578 A1 Method and system for reconstructing surfaces of objects by polarization imagery, МПК G01B 11/24.
[2] Патент DE102004062461A1 Image supported surface reconstruction procedure uses combined shape from shading and polarisation property methods от 2008.01.31, МПК G01B 11/24.
[3] PCT/IL2007/001432 WO2008062407A2 3d geometric modeling and 3d video content creation, МПК G06T 15/205.
[4] Патент США №20160261844 Methods and Apparatus for Enhancing Depth Maps with Polarization Cues от 27.12.2015; МПК H04N 13/00, H04N 13/02 (прототип).
[5] Daisuke Miyazaki, Masataka Kagesaway and Katsushi Ikeuchi, Polarization-based Transparent Surface Modeling from Two Views Proceedings of the Ninth IEEE International Conference on Computer Vision, 2003.
[6] Matthew Howard. (2018) CV online, [Shape from Polarisation] // (https://homepages.inf.ed.ac.uk/rbf/ CVonline/LOCAL_COPIES/AV0405/HOWARD/prac2.html).
Claims (4)
1. Способ реконструкции 3D модели статичного объекта, заключающийся в поляризационной стереосъемке статичного объекта при различных углах фильтрации поляризованного света, при последовательном их изменении и по полученным двум формируемым наборам поляризованных изображений получают две поляризационные карты нормалей и разреженную карту глубины поверхности и по ним определяют дополненную поляризационную карту глубины, по которой определяют трехмерную форму
- 5 035221 поверхности статичного объекта, и по этой трехмерной форме поверхности получают 3D модель статичного объекта, отличающийся тем, что в каждом из двух формируемых наборов из не менее 4-х поляризованных изображений статичного объекта изменяют углы поляризации, которые выбирают равномерно в диапазоне от 0 до 180°, каждый из формируемых наборов принимают в качестве базы для определения поляризованной карты нормалей, по каждому из двух наборов поляризованных изображений получают два скорректированных по интенсивности изображения, по которым получают стереокарты глубины, получают поляризационную карту глубины по двум поляризационным картам нормалей, после чего объединяют стереокарты глубины и поляризационную карту глубины в поляризационную стереокарту глубины и получают поверхностную карту нормалей на основе дополненной карты глубины, затем повторяют поляризационную стереосъемку не менее двух раз с разных ракурсов, попарно пересекающиеся области наблюдения статичного объекта, затем для каждого ракурса по дополненной поляризационной карте глубины получают поляризационное облако точек, которые объединяют в многоракурсное облако точек 3D поверхности статичного объекта, а трехмерную форму поверхности получают по сформированному многоракурсному облаку точек, а исходные поляризованные изображения статичного объекта корректируют по картам интенсивностей цвета, полученным из каждого набора поляризованных изображений, после чего сопоставляют скорректированные исходные поляризованные изображения статичного объекта с трехмерной поверхностью статичного объекта и по полученным результатам их сопоставления определяют 3D модель статичного объекта.
2. Способ по п.1, отличающийся тем, что количество углов фильтрации выбирают по количеству поляризованных изображений в одном наборе изображений.
3. Способ по п.1, отличающийся тем, что ракурсы поляризационной съемки выбирают равномерно вокруг статичного объекта.
4. Устройство для реконструкции 3D модели статичного объекта по п.1, содержащее систему из 2-х зафиксированных друг относительно друга камер получения изображений, одна из которых имеет расположенный перед ее объективом поворотный поляризационный фильтр, и вычислительное устройство отличающееся тем, что вторая камера получения изображений снабжена расположенным перед ее объективом поворотным поляризационным фильтром, при этом поляризационные фильтры обеих камер имеют одинаковые углы поворота и соединены поворотным механизмом, оптические оси камер получения изображений расположены друг относительно друга параллельно, корпус каждой из камер изображений имеет по два разъема, один из которых соединен кабелем с вычислительным устройством, а другой со второй камерой получения изображений, к вычислительному устройству кабелем подсоединен поворотный стол для кругового вращения статичного объекта.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2018132707A RU2693327C1 (ru) | 2018-09-14 | 2018-09-14 | Способ реконструкции 3D модели статичного объекта и устройство для его реализации |
Publications (2)
Publication Number | Publication Date |
---|---|
EA201800533A1 EA201800533A1 (ru) | 2020-03-31 |
EA035221B1 true EA035221B1 (ru) | 2020-05-18 |
Family
ID=67252168
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
EA201800533A EA035221B1 (ru) | 2018-09-14 | 2018-10-24 | Способ реконструкции 3d модели статичного объекта и устройство для его реализации |
Country Status (2)
Country | Link |
---|---|
EA (1) | EA035221B1 (ru) |
RU (1) | RU2693327C1 (ru) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2453922C2 (ru) * | 2010-02-12 | 2012-06-20 | Георгий Русланович Вяхирев | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) |
US20160261844A1 (en) * | 2015-03-06 | 2016-09-08 | Massachusetts Institute Of Technology | Methods and Apparatus for Enhancing Depth Maps with Polarization Cues |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
FR2893428B1 (fr) * | 2005-11-17 | 2008-01-11 | Univ Bourgogne | Procede et systeme de reconstruction de surfaces d'objets par imagerie de polarisation |
DE102015223003A1 (de) * | 2015-11-20 | 2017-05-24 | Bitmanagement Software GmbH | Vorrichtung und Verfahren zur Überlagerung zumindest eines Teils eines Objekts mit einer virtuellen Oberfläche |
US11212508B2 (en) * | 2016-01-19 | 2021-12-28 | Zivid As | Imaging unit and system for obtaining a three-dimensional image |
US20180124378A1 (en) * | 2016-11-03 | 2018-05-03 | Qualcomm Incorporated | Enhanced depth map images for mobile devices |
US10462444B2 (en) * | 2017-04-17 | 2019-10-29 | Faro Technologies, Inc. | Three-dimensional inspection |
RU2653097C1 (ru) * | 2017-07-05 | 2018-05-07 | Марина Витальевна Самойленко | Способ восстановления формы трёхмерного объекта по его двухмерным изображениям |
-
2018
- 2018-09-14 RU RU2018132707A patent/RU2693327C1/ru not_active IP Right Cessation
- 2018-10-24 EA EA201800533A patent/EA035221B1/ru active IP Right Revival
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2453922C2 (ru) * | 2010-02-12 | 2012-06-20 | Георгий Русланович Вяхирев | Способ представления исходной трехмерной сцены по результатам съемки изображений в двумерной проекции (варианты) |
US20160261844A1 (en) * | 2015-03-06 | 2016-09-08 | Massachusetts Institute Of Technology | Methods and Apparatus for Enhancing Depth Maps with Polarization Cues |
Non-Patent Citations (1)
Title |
---|
"Polarized 3D: High-Quality Depth Sensing with Polarization Cues", KADAMBI ACHUTA et al., 2015 IEEE INTERNATIONAL CONFERENCE ON COMPUTER VISION, IEEE, стр. 3370-3378, 2015.12.07. * |
Also Published As
Publication number | Publication date |
---|---|
EA201800533A1 (ru) | 2020-03-31 |
RU2693327C1 (ru) | 2019-07-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN105203044B (zh) | 以计算激光散斑为纹理的立体视觉三维测量方法及*** | |
WO2022179259A1 (zh) | 一种偏振相位偏折测量方法和装置 | |
CN110672039B (zh) | 一种基于平面反射镜的物体全方位三维测量方法 | |
WO2018171384A1 (zh) | 一种基于多模态复合编码和极线约束的高效三维图像获取方法 | |
WO2013058710A1 (en) | Apparatus and method for 3d surface measurement | |
CN108036740B (zh) | 一种基于多视角的高精度实时三维彩色测量***及其方法 | |
Aliaga et al. | A self-calibrating method for photogeometric acquisition of 3D objects | |
KR20110059631A (ko) | 3차원 계측 장치 및 그 방법 | |
CN105241397A (zh) | 基于结构光的实时测量拼接方法及其设备 | |
CN106643563B (zh) | 一种桌面式大视场三维扫描装置及方法 | |
CN108759721A (zh) | 一种基于光学条纹投影和反射的三维形貌测量方法及装置 | |
CN102506825B (zh) | 一种输变电设备外绝缘防污参数摄影测量方法 | |
CN113256795B (zh) | 一种内窥三维检测方法 | |
Schreve | How accurate can a stereovision measurement be? | |
CN116295113A (zh) | 一种融合条纹投影的偏振三维成像方法 | |
US10151581B2 (en) | Method and device for determining the position and orientation of a specular surface forming a diopter | |
CN113280755B (zh) | 基于曲面屏相位偏折的大曲率镜面三维形貌测量方法 | |
Karami et al. | Exploiting light directionality for image‐based 3d reconstruction of non‐collaborative surfaces | |
CN113847880A (zh) | 镜面三维变形的高精度测量方法 | |
Yamazaki et al. | Dense 3D reconstruction of specular and transparent objects using stereo cameras and phase-shift method | |
RU2693327C1 (ru) | Способ реконструкции 3D модели статичного объекта и устройство для его реализации | |
Ma et al. | Single-shot 3D reconstruction imaging approach based on polarization properties of reflection lights | |
Gu et al. | Joint dense 3D reconstruction method for endoscopic images of weak texture scenes | |
Yang et al. | Point Light Measurement and Calibration for Photometric Stereo | |
Jin et al. | Shadow-Based Lightsource Localization with Direct Camera-Lightsource Geometry |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Lapse of a eurasian patent due to non-payment of renewal fees within the time limit in the following designated state(s) |
Designated state(s): AM AZ BY KZ KG TJ TM RU |
|
NF4A | Restoration of lapsed right to a eurasian patent |
Designated state(s): AM AZ BY TJ RU |