RU2557674C2 - Получение пространственных топографических изображений следов от инструмента с использованием нелинейного фотометрического стерео способа - Google Patents
Получение пространственных топографических изображений следов от инструмента с использованием нелинейного фотометрического стерео способа Download PDFInfo
- Publication number
- RU2557674C2 RU2557674C2 RU2013101791/28A RU2013101791A RU2557674C2 RU 2557674 C2 RU2557674 C2 RU 2557674C2 RU 2013101791/28 A RU2013101791/28 A RU 2013101791/28A RU 2013101791 A RU2013101791 A RU 2013101791A RU 2557674 C2 RU2557674 C2 RU 2557674C2
- Authority
- RU
- Russia
- Prior art keywords
- images
- image
- light sources
- mirror
- program code
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
- G01B11/00—Measuring arrangements characterised by the use of optical techniques
- G01B11/24—Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/586—Depth or shape recovery from multiple images from multiple light sources, e.g. photometric stereo
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10141—Special mode during image acquisition
- G06T2207/10152—Varying illumination
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30108—Industrial image inspection
- G06T2207/30136—Metal
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Theoretical Computer Science (AREA)
- Length Measuring Devices By Optical Means (AREA)
- Image Processing (AREA)
Abstract
Описаны способ и система формирования пространственного изображения, в общем, для металлических поверхностей с зеркальной характеристикой и, в частности, для баллистических улик, при этом используют фотометрическое стерео путем определения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x, y) векторов нормалей к поверхности и использовать N(x, y) для определения пространственной топографии Z(x, y). 3 н. и 17 з. п. ф-лы,9 ил.
Description
Область техники, к которой относится изобретение
Настоящее изобретение относится к области формирования топографических изображений зеркальных объектов с использованием нелинейного фотометрического стереоспособа.
Уровень техники
Баллистические сравнительные тесты основаны на сравнении бороздок и углублений, которые создаются на поверхности баллистической улики (ВРОЕ), такой как пуля или гильза патрона. Эти бороздки обладают уникальными особенностями, которые представляют собой уникальную отличительную характеристику огнестрельного оружия. Путем сравнения бороздок или характеристик углублений двух ВРОЕ возможно сделать заключение, были ли они выпущены из одного и того же огнестрельного оружия.
При формировании пространственных топографических изображений некоторой области объекта, то есть карты Z(x, у) поверхности, где Z - локальная высота поверхности в позиции (х, у), используется оптическая система, содержащая датчик (или фотокамеру) и источник света. Изучаемый объект освещают и формируют топографическое изображение освещенной поверхности.
В области баллистики изучаемые объекты часто являются неплоскими и с большой вероятностью зеркальными. Это означает, что большая часть света, падающего под углом 6 относительно локальной нормали N к поверхности, будет отражаться в небольшом конусе в направлении -9. Следовательно, если источник света располагают вдоль оптической оси датчика, как в большинстве оптических способов формирования топографических изображений, то для участков поверхности, имеющих значительные наклоны, лишь чрезвычайно малая часть падающего света отражается назад к датчику, в результате чего получаются локально недостоверные измерения.
Существует другой способ измерения рельефа поверхности объектов. В соответствии с этим способом, известным как фотометрическое стерео, формируют набор изображений светимости (или энергетической яркости) поверхности, при этом каждое изображение набора получают при отличающихся условиях освещения. В предположении постоянной отражающей способности поверхности и одинаковой силе освещения для источников света и чисто диффузной поверхности (или ламбертовской поверхности) трех источников света достаточно для получения поля N(x,y) нормалей к поверхности. Топографию Z(x,y) поверхности получают путем объединения поля нормалей.
Тем не менее изображения энергетической яркости поверхности подвергаются воздействию шумов, и отражающая способность поверхности может не быть постоянной из-за локального изменения цвета и/или альбедо. Общее решение состоит в использовании большего количества источников света, чтобы определить больше уравнений в линейной системе уравнений. Далее получают поле N(x,y) нормалей к поверхности, что делают с помощью процедуры минимизации ошибки, такой как схема хи-квадрат минимизации ошибки. Если количество источников света достаточно велико, можно даже позволить себе не измерять интенсивность источников света или даже положений источников света и получать эту информацию с помощью процедуры аппроксимации, анализа главных компонентов или другими способами, известными специалистам в рассматриваемой области.
Очень мало действительно диффузных поверхностей, и в случае блестящей или яркой поверхности использование упомянутой выше процедуры приводит к очень плохим результатам с точки зрения точности рельефа поверхности. Тем не менее когда направление просмотра сильно отличается от направления зеркального отражения для конкретного источника света, модель Ламберта отражения света на поверхности может быть справедливой до определенной степени. Снова обычное решение при наличии такого блестящего или яркого материала состоит в решении проблемы путем использования более трех источников света и определении для каждого пиксела из результирующего набора изображений, имеется ли источник света, который создает отражение в направлении фотокамеры, и в котором доминирует неламбертов вклад. Если обнаружено выполнение такого условия, то вклад этого источника света игнорируют в вычислении нормали N к поверхности для рассматриваемого пиксела.
Тем не менее при рассмотрении баллистических улик (ВРОЕ) ни один из этих способов не работает, так как поверхность является металлической, что ведет к тому, что диффузный вклад в отражении света, если он вообще присутствует, составляют величину, меньшую, чем зеркальный вклад. Следовательно, существует потребность в усовершенствовании фотометрического стерео с целью съемки металлических поверхностей в целом и, в частности изображений ВРОЕ.
Раскрытие изобретения
Описаны способ и система формирования пространственного изображения, которые предназначены, в общем, для металлических поверхностей с зеркальной характеристикой и, в частности, для баллистических улик, при этом используется метод фотометрического стерео путем определения и решения нескольких систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поля N(x,y) векторов нормалей к поверхности и путем использования N(x,y) для определения пространственной топографии Z(x,y).
В соответствии с первым аспектом предложен способ определения топографии Z(x,y) зеркальной поверхности объекта. Этот способ включает в себя следующее: последовательно освещают поверхность объекта из нескольких локализованных осевых направлений; формируют по меньшей мере одно изображение поверхности объекта для каждого последовательного освещения поверхности объекта, что делают с использованием датчика, который ориентирован, по существу, перпендикулярно общей плоскости поверхности объекта, в результате чего формируют набор изображений энергетической яркости с одинаковым полем зрения (FOV); используют изображения энергетической яркости для получения и решения нескольких наборов нелинейных уравнений, содержащих рассеивающий член и зеркальный член, что делают с целью определения поля N(x,y) векторов нормалей к поверхности; и определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.
В одном из вариантов изобретения поле N(x,y) векторов нормалей к поверхности используют для просмотра объекта с устройством рендеринга.
Кроме того, предпочтительно при последовательном освещении поверхности объекта используют Q физических источников света и последовательность из Р поворотов объекта или физических источников света вокруг оси датчика с тем, чтобы получить К локализованных осевых направлений, где К>Q.
В соответствии со вторым аспектом предложена система определения пространственной топографии Z(x,y) зеркальной поверхности объекта. Эта система содержит: датчик, приспособленный для формирования плоских изображений энергетических яркостей, при этом чувствительная ось датчика, по существу, перпендикулярна общей плоскости объекта; набор из К эффективных источников света, расположенных в соответствии с несколькими локализованными осевыми направлениями; и считываемый компьютером носитель информации, на котором хранится программный код и в результате выполнения процессором которого: К эффективных источников света последовательно освещают поверхность объекта из нескольких локализованных осевых направлений; датчик формирует, по меньшей мере, одно изображение поверхности объекта для каждого последовательного освещения поверхности объекта, в результате получают набор изображений энергетической яркости с одинаковым полем зрения (FOV); используют изображения энергетической яркости для получения и решения нескольких наборов нелинейных уравнений, содержащих рассеивающий член и зеркальный член, что делают с целью определения поля N(x,y) векторов нормалей к поверхности; и определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.
Предпочтительно программный код, при выполнении которого используются изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, также содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.
В соответствии с другим аспектом предложен считываемый компьютером носитель информации, на котором содержится: программный код модуля управления светом, который может быть выполнен процессором, в результате чего К эффективных источников света последовательно освещают поверхность объекта из нескольких локализованных осевых направлений; программный код модуля управления датчиком, который может быть выполнен процессором, в результате чего датчик формирует, по меньшей мере, одно изображение поверхности объекта для каждого последовательного освещения поверхности объекта, вследствие чего получают набор изображений энергетической яркости с одинаковым полем зрения (FOV); и программный код модуля получения топографии, который может быть выполнен процессором, в результате чего получают и решают нескольких наборов нелинейных уравнений, содержащих рассеивающий член и зеркальный член, что нужно для определения поля N(x,y) векторов нормалей к поверхности и в результате чего получают пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.
Предпочтительно программный код модуля получения топографии дополнительно содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.
В настоящем описании термином «пространственная топография» обозначается рельеф Z(x, у) поверхности, где Z представляет собой локальную высоту поверхности в позиции (х, у) относительно оси датчика в плоскости, перпендикулярной оси датчика. Выражение «плоское изображение энергетической яркости» надо понимать как карту R(x,y) светимости (или энергетической яркости), сформированную оптической фотокамерой. Она непосредственно пропорциональна карте интенсивности света, испущенного поверхностью в направлении фотокамеры. На обычном языке такое изображение называют фотографическим. В этом тексте считаем, что изображения энергетических яркостей являются одноканальными или монохроматическими. Следовательно, не записывают информацию о цвете, и глубина цвета для изображений представляет собой глубину цвета одного канала. Также может быть использовано монохроматическое изображение, полученное цветной фотокамерой, или путем объединения информации из различных цветовых каналов, или путем учета только одного такого канала. Также ясно, что фотокамера обладает или линейной радиометрической чувствительностью или в противном случае известна радиометрическая чувствительность фотокамеры, так что сформированное изображение может быть линеаризовано. Выражение «эффективные источники света» надо понимать как источники света, включающие в себя общее число физических источников света и эффективное общее число источников света, используемых при применении последовательных поворотов физических источников света и/или рассматриваемого объекта.
Краткое описание чертежей
Другие признаки и достоинства настоящего изобретения будут ясны из последующего подробного описания изобретения, приведенного со ссылками на приложенные чертежи, на которых:
фиг.1 - вид, показывающий типовой вариант выполнения системы, используемой для получения пространственной топографии посредством способа нелинейного фотометрического стерео;
фиг.2 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа нелинейного фотометрического стерео для получения пространственной топографии;
фиг.3 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа получения изображения с несколькими уровнями серого;
фиг.4 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа вычисления маски достоверности;
фиг.5 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа вычисления составного изображения и составной маски достоверности;
фиг.6 - вид, схематически показывающий различные векторы, используемые для вычислений в способе нелинейного фотометрического стерео;
фиг.7 - вид, схематически показывающий многоступенчатые отражения;
фиг.8 - вид, показывающий структурную схему типового варианта вычислительной системы с фиг.1; и
фиг.9 - вид, схематически показывающий типовой вариант набора источников света с несколькими уровнями подъема.
Заметим, что в прилагаемых чертежах аналогичные признаки обозначены одинаковыми ссылочными позициями.
Подробное описание изобретения
Некоторые объекты, имеющие следы от инструментов, не являются плоскими. Например, использованные гильзы патронов имеют большую и глубокую вмятину в центральной части капсюля (для калибров центрального боя) или во внешней области головки патрона (для калибров бокового боя). Эта вмятина обычно по порядку величины глубже обычных отметин в виде бороздок или углублений, полезных для баллистической идентификации. Многие использованные гильзы патронов калибров центрального боя также имеют области, вытянутые вдоль общей плоскости капсюля. Эти области называются обратным потоком, и часто на их внешней границе имеются бороздки следов сдвига, характеризующие огнестрельное оружие. Более того, так как пули являются приблизительно цилиндрическими объектами, локальное значение нормали к поверхности изменяется непрерывно в направлении, перпендикулярном цилиндрической оси.
Даже если датчик формирования изображений расположен над изучаемым объектом, при этом его оптическая ось (или ось датчика) приблизительно перпендикулярна общей плоскости объекта, и при наличии соосного источника света может случиться так, что соответствующие баллистические следы расположены в локальных областях поверхности, которые далеко не перпендикулярны упомянутой оптической оси. Если материал изучаемого объекта является в значительной степени зеркальным материалом (то есть он отражает большую часть падающего света как зеркало, утлы падения и отражения равны), что, в общем, верно для металлов и, в частности, верно для баллистических улик (ВРОЕ), то очень малая часть падающего света, освещающего эти локально наклонные области, будет отражена назад к датчику, что приводит к неверному топографическому измерению.
На фиг.1 показан типовой вариант осуществления системы, используемой для получения пространственной топографии с применением способа нелинейного фотометрического стерео. Система в общем состоит из датчика 102 и набора из К локализованных источников 106 света. Как показано, устройство 102 формирования изображения и устройство 106 освещения разделены, но одна из осей источников света может быть коллинеарна с осью датчика. В этой конфигурации устройство 102 формирования изображений расположено над изучаемым объектом 108, а его оптическая (или ось формирования изображения) ось 104 приблизительно перпендикулярна общей плоскости объекта 108. В рассматриваемом примере используется система координат, содержащая ось Z, которая соответствует оптической оси 104 датчика 102. Оси Х и Y представляют собой пару взаимно перпендикулярных осей, которые определяют плоскость, перпендикулярную оси Z. Позиции на поверхности объекта и на сформированных изображениях одинаково обозначают через (х, у), и они описывают физическую точку и точку, сформированную на изображении. Не ограничивая общности этого способа, могут быть использованы другие системы координат.
Объект освещают из нескольких локализованных осевых направлений 106. Более того, эти локализованные источники 106 света светят поочередно и для каждого источника 106 света из набора оптический датчик 102 получает одно изображение энергетической яркости. Вычислительная система 110, содержащая процессор 114, приложение 112 и память 116, функционально соединена с датчиком 102 и источниками 106 света с целью выполнения операций управления и обработки. Приложение 112 содержит программный код, который выполняет процессор 114, что будет подробно описано ниже.
На фиг.2 показана блок-схема, иллюстрирующая типовой способ определения пространственной топографии Z(x, у) области объекта. Первый этап способа представляет собой этап 202 калибровки, на котором используют контрольную плоскость, что будет подробно описано ниже. Калибровка включает в себя определение относительных интенсивностей источников света и индивидуальных характеристик распределения интенсивностей по полю обзора (FOV) фотокамеры. После завершения калибровки контрольную плоскость заменяют объектом (этап 204). Далее, (на этапе 206) К источников света из набора последовательно светят, при этом для каждого источника света из набора фотокамера формирует, по меньшей мере, одно изображение энергетической яркости (этап 208). Когда сформированы все изображения для набора вычисляют поле N(x,y) нормалей к поверхности, что делают путем решения для каждого пиксела FOV задаваемой системы уравнений (этап 210):
Ii=А × РассеивающийЧлен(N, L;)+В × ЗеркальныйЧлен(М, L, C),
В результате получают NPX (количество пикселов на строку)·× NPY (количество пикселов на столбец) независимых систем нелинейных уравнений, при этом i равно от 1 до К, L представляет собой единичный вектор, направленный от поверхности на i-й источник света, и С представляет собой единичный вектор, направленный от поверхности на фотокамеру. Далее поле N(x, y) нормалей к поверхности объединяют по FOV для вычисления топографии Z(x, y) (этап 212). Коэффициенты А и В являются неизвестными и будут составлять часть результата решения уравнений, как и 3 компонента поля N. В одном варианте осуществления изобретения этап 208 осуществляют последовательно с целью достижения большей глубины цвета изображений, как показано на блок-схеме фиг.3. Сначала на этапе 302 определяют набор из М времен аккумулирования заряда для фотокамеры (или набор скоростей затвора фотокамеры). Эти времена аккумулирования заряда должны достаточно различаться, чтобы сформировать достаточно различающиеся изображения. В зависимости от глубины цвета изображений, сформированных фотокамерой, и конечной глубины цвета результирующего изображения количество М времен аккумулирования заряда может составлять от 2 до 10, но также возможны большие значения М. На этапе 304 для фотокамеры последовательно устанавливают каждое время аккумулирования заряда и на этапе 306 для каждого времени аккумулирования заряда формируют и сохраняют одно изображение. Для каждого сформированного и сохраненного изображения на этапе 308 вычисляют и сохраняют маску достоверности.
Пиксел считается неправильным, если его интенсивность не содержится в линейном диапазоне формирования изображения для фотокамеры. Когда получены М изображений и вычислены М масок, на этапе 310 вычисляют результирующее изображение, называемое составным или сложным изображением или изображением с большим динамическим диапазоном (HDR).
На фиг.4 показан типовой способ, используемый для вычисления маски 308 достоверности для каждого изображения энергетической яркости, полученного с заданным временем аккумулирования заряда. Сначала на этапе 402 определяют пару порогов интенсивности, один порог ТН для пикселов большой интенсивности и один порог TL для пикселов низкой интенсивности. Далее на этапе 404 вычисляют значение достоверности пиксела соответствующей маски достоверности для каждого изображения: значение пиксела для маски устанавливают равным 0, если соответствующее значение интенсивности пиксела в изображении больше ТН или меньше TL, и устанавливают равным 1 в противном случае. Обычно значения TL очень малы и обуславливают возможные минимальные значения в изображениях, сформированных фотокамерой, и/или обуславливают ожидаемый уровень шума темнового тока фотокамеры. Также значения TL могут быть немного больше с целью исключения фотографирования сигнала, в котором преобладает шум. Обычные значения ТН зависят от исходной глубины цвета одного канала в изображениях, сформированных фотокамерой. В случае восьмибитовых изображений максимальный уровень серого в изображениях равен 255. Значение ТН используется для сохранения условия линейности между интенсивностью пикселов и временем аккумулирования заряда. Таким образом, упомянутое значение установлено меньшим 255 с целью избегания предельного значения пиксела и установлено достаточно большим для сохранения удовлетворительного динамического диапазона.
На фиг.5 показан вариант осуществления изобретения, обозначенный ссылочной позицией 310 и приспособленный для вычисления составного изображения и соответствующей маски составного изображения. Для каждой позиции х, у пиксела сначала на этапе 502 получают набор из М надлежащим образом линеаризованных интенсивностей 1;(х, у) для каждого пиксела (х, у) в FOV и на этапе 504 получают М значений Mask;(x, y) маски достоверности. На этапе 506 временное значение интенсивности составного изображения вычисляют в соответствии со следующим выражением:
Здесь STi представляет собой i-e время аккумулирования заряда из набора, а SТM считается наибольшим временем аккумулирования заряда из упомянутого набора. Наконец, на этапе 508 составное изображение большой глубины цвета и соответствующую маску достоверности вычисляют следующим образом:
если
иначе
С(х, у)=0 и CMask(x, y)=0,
где С(х, у) - составное изображение и CMask(x, y) - соответствующая маска достоверности. Специалистам в рассматриваемой области известны другие способы получения HDR изображений из М изображений.
Это определение составного изображения опирается на линейность записанной интенсивности от времени экспозиции. Аналогичные результаты могут быть получены путем изменения интенсивности источника света и/или коэффициента усиления датчика. Тем не менее условия линейности добиться тяжелее. Если параметры конструкции для составного изображения установлены должным образом (количество времен аккумулирования заряда фотокамеры и их значения), то практически каждый пиксел составного изображения будет достоверным.
В альтернативном варианте осуществления изобретения для получения изображений с большой глубиной цвета может быть использована цифровая монохромная фотокамера, что может быть удобной заменой для такой процедуры, и в некоторых примерах это приведет к более быстрой процедуре путем уменьшения количества времен аккумулирования заряда для фотокамеры, необходимых для получения изображений с надлежащей глубиной.
Как показано на фиг.2, когда получен набор из К составных изображений С;(х, у), возможно, вместе с набором из К масок CMaski(x, y) достоверности, на этапе 210 может быть решен набор из нелинейных уравнений, ведущий к вычислению поля N(x, y) нормалей к поверхности. В общем, отдельное уравнение выглядит следующим образом:
Ii(х, у)=А(х, у)×ДиффузныйЧленi+В(х, у)×3еркальныйЧленi.
Коэффициенты А и В являются неизвестными и будут частями результатов решения уравнений. Ii(х, у) является составным изображением набора или записанной интенсивностью изображения или составного или записанного изображения, скорректированного описанным ниже значением Calmap(x, y). Диффузный член представляет регулярную модель Ламберта отражения света рассеивающим материалом и он зависит только от косинуса угла между нормалью к поверхности и направлением падающего света. Он может быть выражен в терминах скалярного произведения, что сводится к следующему:
ДиффузныйЧленi(х.у)=N.L=NxLxi+NyLyi+NzLzi,
где через N.L обозначено скалярное произведение и Lxi Lyi и Lzi являются нормированными декартовыми координатами i-го источника света, при этом начало системы декартовых координат находится в центре FOV фотокамеры. Nx, Ny и Nz являются декартовым разложением единичного вектора нормали к поверхности в позиции (х, у). Также возможны другие представления рассеивающего члена.
Нелинейность уравнения появляется в зеркальном члене, который может быть записан различным образом в соответствии с моделью, используемой для отражения света. Тем не менее во всех случаях член зависит от угла между локальным единичным вектором N, перпендикулярным поверхности, и единичным вектором Li, который смотрит в направлении i-го источника света. В случае идеальной зеркальной поверхности, такой как зеркало, свет, вышедший из источника i света, достигает фотокамеры только тогда, когда угол между N и Li таков, что направление S отражения направлено к фотокамере, то есть зеркальный лепесток бесконечно узок. Для реального блестящего материала, параметр шероховатости которого больше или равен длине световой волны, зеркальное отражение имеет место внутри лепестка, ширина которого зависит от локальных характеристик поверхности.
В одном варианте осуществления изобретения нелинейный член может быть смоделирован с использованием модели Фонга. Модель Фонга зеркального отражения использует аналогию с функцией косинуса диффузного члена и описывает зеркальный лепесток как косинус угла между Si и С, возведенный в степень α. Чем больше α, тем уже зеркальный лепесток. Вектор С направлен в сторону фотокамеры и, таким образом, равен [0,0,1] в рассматриваемой системе координат, при этом вектор S выражают в терминах N и L следующим образом:
Si=2(N.L) N-L.
Учитывая приведенное выше определение С, i-e уравнение набора переписывается следующим образом:
Ii(х,у)=A(x,y)×(NxLxi+NyLyi+NzLzi)+B(x,y)×[2(NxLxi+NyLyi+NzLzi)Nz-Lz]α
В этой точке параметр α ширины зеркального лепестка неизвестен и будет получен при решении набора уравнений, как и А, В и N.
В другом варианте осуществления изобретения для нелинейного члена используют модель Торренса и Спарроу (также известна как модель Кука-Торренса). Торренс и Спарроу предложили модель отражения света на металлических поверхностях. В соответствии с этой моделью каждый элемент металлической поверхности (или в общем зеркальной поверхности) разделен на несколько микрограней, средняя ориентация которых соответствует поверхности элемента, но которые случайным образом в соответствии с нормальным распределением размещены вокруг этого значения. Математически зеркальный лепесток описывается в терминах скалярного произведения N и единичного вектора Н, который указывает локальную нормаль к поверхности, которая ведет к зеркальному отражению точно по направлению к фотокамере. Так как центр рассматриваемой системы координат находится в центре FOV фотокамеры и ось Z направлена к фотокамере и так как законы физики предписывают, чтобы этот вектор был расположен точно между L и С (единичный вектор, показывающий на фотокамеру) при расположении фотокамеры на очень большом расстоянии от поверхности объекта, этот единичный вектор равен:
Нi=[Lxi,Lyi,Lzi+1]/ ||[Lxi,Ly;,Lzi+l]||,
где символом || || обозначен оператор нормирования. Так как фотокамера расположена в [0,0,1], мы можем записать:
Ii(x,y)==A(x,y)×(NxLxi+NyLyi+NzLzi)+
B(x,y)×Exp[-[ArcCos(NxHxi+NyHyi+NzHzi)]2/σ2].
Exp представляет собой экспоненциальную функцию, ArcCos является функцией, обратной косинусу, а σ представляет собой ширину экспоненциальной функции. Чем меньше σ, тем уже зеркальный лепесток. В общем В(х,у) должен также содержать геометрические факторы, которые зависят от углов падения и отражения и которые предотвращают отклонение зеркального члена. Тем не менее если мы сохраним угол наклона Li (угол между оптической осью и направлением от центра FOV и источником света, так же известный как зенитный угол) единичными векторами достаточно далекими от π/2 (то есть достаточно далеким от падения по касательной), то этими факторами можно пренебречь. В этой точке параметр σ ширины зеркальный лепесток неизвестен и будет получен при решении набора уравнений, как и А, В и N.
В другом варианте осуществления изобретения для нелинейного члена используют модель Бекманна-Спицичино. В соответствии с этой моделью зеркальный член является суммой двух составляющих: зеркального лепестка, который может быть описан моделью типа модели Торренса-Спарроу, и зеркального пика, который описывает энергию остаточного света, которая отражается идеально зеркальным образом. Таким образом, зеркальный член может быть переписан следующим образом:
ЗеркальныйЧлен=В1(х,у)×ЗеркальныйЛепесток+
В2(х,у)×ЗеркальныйПик.
Член зеркальный пик формально записывается как δ(N,L), что равно 1, если N=H, и 0 в противном случае. Тем не менее так как оптика датчика обладает конечной числовой апертурой, то член зеркальный пик может быть записан, например, как очень узкая экспоненциальная функция N и Н.
Специалистам в рассматриваемой области известны другие способы моделирования отражения света от зеркальной или рассеивающей поверхности
Из описанных выше моделей ясно, что все члены Nx, Ny, Nz также зависят от позиции (х,у) в FOV. Если фотокамера и/или источники света не расположены далеко от поверхности объекта, то единичные векторы Li, Нi и С также могут зависеть от позиций (х,у) на поверхности объекта. Специалистам в рассматриваемой области ясны модификации приведенных выше выражений, которые вводят такие геометрические коррекции. На фиг.6 показана позиция каждого из векторов N, С, S, Н и L.
Модели Фонга и Торренса-Спарроу содержат до пяти свободных параметров (три декартовы координаты нормали N к поверхности [с добавленным ограничением, что N нормирован], два коэффициента А и В и ширина зеркального лепестка),и модели Бекмана-Спицичино добавляют по меньшей мере еще два параметра для зеркального пика. При условии, что количество К источников света и, таким образом, количество уравнений в решаемой системе достаточно велико, можно найти решение для всех этих параметров. В качестве альтернативы, возможно измерять функцию отражения материала изучаемого объекта и фиксировать коэффициенты и/или значения ширины лепестка и/или ширины пика в уравнении и решать систему для уменьшенного набора свободных параметров. Эти значения параметров также могут быть зафиксированы способами, отличными от фактических измерений.
Этап 202 на фиг.2 относится к калибровке контрольной плоскости. Это делается для калибровки источников света. Три цели этого этапа заключаются в следующем:
получить калибровку по интенсивности для источников света с одним и тем же углом наклона, получить калибровку по интенсивности для источников света с разными углами наклона и получить калибровку по интенсивности для пикселов в FOV, освещенных конкретным источником света.
В одном варианте осуществления изобретения калибровка может быть выполнена следующим образом. Сначала плоскую калибровочную поверхность располагают в FOV фотокамеры на фокусном расстоянии оптического датчика. К источников света светят последовательно,и для каждого источника света получают по меньшей мере одно изображение энергетической яркости. Из каждого изображения извлекают вклады значений темного тока и/или минимального значения. Один возможный путь осуществить этот этап состоит в формировании изображения в отсутствиесвета и вычитании этого изображения из каждого изображения набора из К изображений. Далее каждое результирующее изображение делят на косинус угла наклона источника света, соответствующего изображению (это обеспечивает калибровку источников света с разных уровней при условии, что калибровочная поверхность является ламбертовой) и записывают результирующие изображения Сi(х,у). В качестве альтернативы могут быть использованы другие поверхности с известными функциями отражения с соответствующей коррекцией для угла наклона источника света. Для каждого изображения из набора К результирующих изображений записывают среднее значений пикселов. Более того, эти средние значения делят на наибольшее значение для набора и записывают этот набор нормированных средних как MeanNi. Набор К калибровочных карт определяют следующим образом:
СаlМарi(х,у)=MeanNi/Ci(x,y).
Вместо использования среднего значения пикселов для каждого калибровочного изображения можно рассмотреть максимальное значение, ли медиану, ли другие характеристические значения этих изображений и закончить набором нормированных максимумов,или медиан,или других характеристик для вычисления члена CalMapi(x,y).
Если не записано никаких калибровочных изображений, то калибровочные карты устанавливают равными 1 для каждого пиксела. При работе с калибровочными изображениями во всех предшествующих (и последующих) уравнениях необходимо заменить записанную интенсивность Ii(х,у) пиксела на следующее:
ICi(x,y)=Ii(x,y) X СаlМарi(х,у).
На втором этапе процедуры калибровки сформированные изображения делят на косинус угла наклона источника света, при этом предполагают, что калибровочная поверхность является ламбертовской, по меньшей мере, для используемого набора углов наклона. В качестве альтернативы может быть использована поверхность с другой, но известной функцией отражения с корректным делителем. Другой возможный этап может заключаться в том, чтобы обеспечить другим способом или с помощью другого устройства, чтобы все К источников света обладали одинаковой интенсивностью или разными, но известными интенсивностями. В этом случае необходимо осуществлять только последнюю упомянутую выше процедуру и используемое выражение является следующим:
СаlМар;(х,у)=Меаni/Сi(х,у).
Mean означает среднее значение i-ro калибровочного изображения. Тем не менее этот этап не является обязательным в случае, когда источники света расположены достаточно далеко от поверхности, так что можно считать, что они вырабатывают постоянную характеристику освещения поверхности.
Как показано на фиг.6, математическое описание отражения света от поверхности объекта в направлении фотокамеры потенциально подразумевает однократное отражение. Тем не менее учитывая высокую отражающую способность зеркальных материалов и выпуклую форму области капсюля использованной гильзы патрона, многократные отражения от поверхности объекта могут передавать интенсивность света от источника в фотокамеру. Это показано на фиг.7. Зеркальную поверхность последовательно освещают источником 1 и источником 2 и результат наблюдают с помощью фотокамеры. При освещении источником 1 ожидается высокая интенсивность в пикселе фотокамеры, соответствующем точке Р1 поверхности, так как благодаря локальному расположению поверхности, свет из источника 1 отражается внутри зеркального лепестка в общем направлении к фотокамере. Когда светит источник 2, мы не должны ожидать, что получится записать свет в пикселе фотокамеры, который соответствует точке Р1, так как в этой точке свет должен отразиться не в сторону фотокамеры. Тем не менее свет, достигающий точки Р2,из источника 2 отражается по направлению к точке Р1 с углом падения,близким к оптимальному углу отражения, в результате чего в пикселе фотокамеры, который соответствует точке Р1, запишут значительную интенсивность.
Когда в ходе решения получают локальный вектор, являющийся нормалью к поверхности в точке Р1 с интенсивностью, полученной от источника 1 и источника 2, алгоритм аппроксимации будет применяться к несовместимой информации, так как физическая модель этого алгоритма не учитывает многократные отражения. Обычно это приводит к недооценке локального наклона поверхности. Заметим, что масштаб поверхности, показанной на фиг.7, является сравнительно произвольным. Описанный эффект будет иметь место до тех пор, пока справедлива модель геометрической оптики, то есть если масштаб углубления больше нескольких микрон для видимого света. В случае более мелких деталей также могут происходить многократные отражения, и потребуется гораздо более сложное описание, включающее в себя волновую природу света. Следовательно, следы от инструментов и баллистические следы на зеркальных материалах в общем могут давать многократные отражения.
Не существует легкого пути решения этого вопроса, так как это переводит изначально локальное математическое описание в глобальное описание, которое усложняет численное решение до уровня, который не может быть осуществлен на практике. Такую проблему обычно решают итеративным образом, так как некоторое априорное знание формы поверхности нужно для оценки вкладов многократного отражения, но из-за нелинейной природы проблемы не гарантируется постепенное нахождение результата.
Предложенный здесь подход состоит в удалении вклада от источника для конкретного пиксела, если мы считаем, что записанная интенсивность для этого источника в этом месте значительно искажена из-за многократных отражений. Идентификацию интенсивности, искаженной многократными отражениями, поддерживают принципом, что функция, описывающая процесс отражения, является азимутально монотонной. Другими словами, если мы рассматриваем группу источников света, которые приблизительно обладают одинаковым углом наклона к оптической оси системы, но которые более или менее равномерно распределены вокруг этой оси (то есть они обладают различными азимутальными углами), то кривая зависимости полученной интенсивности от азимутального угла источника должна обладать единственным максимумом и этот максимум возникает для источника, который наиболее близок к плоскости, определяемой оптической осью и локальной нормалью N к поверхности.
На практике нужно анализировать набор полученных интенсивностей для конкретного пиксела следующим образом. Сначала перегруппировать интенсивности в подмножества со сравнимыми углами наклона источников света к оптической оси и упорядочить интенсивности в соответствии с азимутальными углами источников. Для конкретного подмножества, если кривая зависимости интенсивности от азимутального угла имеет только один максимум, то все интенсивности сохраняют для процедуры аппроксимации. И наоборот, если найдено много максимумов, определяют наиболее вероятный наилучший максимум. Это можно сделать, сравнивая позицию и форму максимума с позициями и формами максимумов в других подмножествах интенсивностей. Наилучший максимум должен повторяться более равномерно для всех подмножеств с разными углами наклона. Когда найден правильный максимум, все интенсивности, связанные с другими максимумами, удаляют из набора данных, для которого будет проводиться аппроксимация.
Аналогично, функция отражения также является монотонной относительно угла наклона для заданного азимутального угла и максимум, когда угол между N и оптической осью является половиной угла между L (направление на источник света) и оптической осью. Тем не менее для небольшого значения углов наклона (то есть для источников, расположенных рядом с оптической осью) азимутальный угол обладает меньшей значимостью. Также, так как функция отражения не является линейной и быстро изменяется в зависимости от L для заданного N, невозможно в одной схеме отражения записать высокие интенсивности как от подмножеств с малым углом наклона, так и от подмножеств с большим углом наклона. Таким образом, второй критерий используют для источников подмножеств с малым углом наклона (то есть приблизительно меньше 15°). Если максимальное записанное значение для заданного пиксела для подмножества с наибольшим углом наклона превосходит умноженное на k максимальное значение для подмножества с наименьшим углом наклона, то все интенсивности для наименьшего угла наклона удаляют из набора данных, для которого будут осуществлять аппроксимацию. Значение k обычно меньше 1 и его точное наилучшее значение зависит от разницы углов наклона двух подмножеств.
Описанные выше две технологии обращения с многократными отражениями обычно осуществляются для каждого пиксела FOV фотокамеры до процедуры нелинейной аппроксимации. Как ясно специалистам в рассматриваемой области, могут быть использованы другие способы определения записанных интенсивностей, для которых преобладают многократные отражения.
На фиг.8 показана структурная схема типового варианта осуществления приложения 112, выполняемого процессором 114 вычислительной системы 110 с фиг.1. Блок 802 управления светом таким образом управляет источниками 106 света, чтобы они светили последовательно, по одному. Блок 804 управления фотокамерой так управляет датчиком 102, чтобы он формировал изображения в соответствующие моменты времени и в соответствии с определенными ранее временами аккумулирования заряда, как описано выше. Каждое сформированное изображение принимают в блоке 806 приема изображений и передают в устройство 808 получения изображения.
В устройстве 808 получения изображения используют сформированные изображения для решения набора нелинейных уравнений, содержащих диффузный член и зеркальный член, что нужно для получения пространственной топографии Z(x, y). Как описано выше, это выполняют путем решения для каждого пиксела системы из К уравнений, определяемой из К изображений, уравнения связывают сформированную или откалиброванную энергетическую яркость Ii для i-го изображения с суммой диффузного члена и зеркального члена, которая зависит от локальной нормали к поверхности, направления освещения и/или направления обзора. Отображение вычисленной единичной нормали N к поверхности объединяют для получения топографии Z(x, y). Интерфейс 810 пользователя соединен с процессором 114. Интерфейс пользователя может содержать клавиатуру, дисплей и любые другие известные компоненты интерфейса пользователя, используемые для взаимодействия с вычислительной системой. Например, дисплей может быть использован для ввода и вывода, если экран является сенсорным. Специалистам в рассматриваемой области ясны различные другие варианты осуществления изобретения.
Может быть предусмотрена память 116,и процессор 114 может ее использовать для приема и хранения данных. Память может быть основной памятью, такой как высокоскоростное оперативное запоминающее устройство (ОЗУ), или может быть вспомогательным блоком хранения, таким как накопитель на жестких дисках, привод для гибких дисков или привод для магнитной пленки. Память может быть любым другим считываемым компьютером носителем информации, таким как постоянное запоминающее устройство (ПЗУ), или оптическим носителем информации, таким как видеодиск или компакт-диск. Заметим, что память 116 может быть внешним устройством для вычислительной системы.
Процессор 114 может получать доступ к памяти 116 для извлечения данных. Процессор 114 может являться любым устройством, которое может осуществлять операции с данными. Примерами являются центральный процессор (ЦП), процессор ввода-вывода, микропроцессор, графический процессор (ГП/ВП), физический процессор (ФП), цифровой сигнальный процессор и сетевой процессор. Приложение может быть соединено с процессором 114 и приспособлено для осуществления различных задач, как подробно описано выше. Ясно, что показанные на фиг.8 модули могут являться единым приложением или являться объединением двух или более приложений, соединенных с процессором 114.
В некоторых вариантах осуществления изобретения процессор 114 приспособлен для управления датчиком с целью формирования по меньшей мере одного изображения для каждого одного определенного времени аккумулирования заряда при включенном источнике света, который светит с постоянной интенсивностью. Для каждого пиксела каждого изображения из набора устройство 808 получения изображений будет определять, является ли этот пиксел достоверным, если его записанная интенсивность меньше заданного порога. Для каждой позиции пиксела в FOV устройство 808 получения изображений будет добавлять значения интенсивности достоверного пиксела набора, умноженные на значение, обратное для ветствующего времени аккумулирования заряда, и будет делить результат на количество достоверных пикселов в этой позиции, что делают для получения составного увеличенного изображения глубины цвета.
В некоторых вариантах осуществления изобретения набор из К источников света делят на J подмножеств, каждое из которых характеризуется определенным углом наклона. Значение J может быть равным двум или равным большему значению. На фиг.9 показан один типовой вариант осуществления источников света.
В некоторых вариантах осуществления изобретения К эффективных источников света получают из Q физических источников света и набора Р поворотов изучаемого объекта вокруг оптической оси датчика. Специалистам в рассматриваемой области известны способы повторного выравнивания сформированных изображений с набором изображений, которые не поворачивали. Повороты могут быть применены ко всему датчику или только к набору источников света, без влияния на общий принцип способа. Если вращают только набор источников света, то для всех К эффективных источников света нужна калибровочная карта. Если поворачивают объект (или датчик вместе с набором источников света), то калибровочная карта нужна только для Q физических источников света, но ее нужно применять к изображению до процедуры повторного выравнивания.
Хотя на структурных схемах показаны группы отдельных компонентов, взаимодействующих друг с другом с помощью отдельных соединений для сигналов данных, специалистам в рассматриваемой области ясно, что предпочтительные варианты осуществления изобретения являются объединением аппаратных и программных компонентов, при этом некоторые компоненты реализованы с помощью заданной функции или операции аппаратной или программной системы и многие показанные пути данных реализованы путем передачи данных в компьютерном приложении или операционной системе. Таким образом, показанная структура показана для эффективного понимания рассматриваемого предпочтительного варианта осуществления изобретения.
Ясно, что настоящее изобретение может быть осуществлено в виде способа, может быть осуществлено в виде системы, считываемого компьютером носителя информации или электрического или электромагнитного сигнала. Описанные выше варианты осуществления изобретения предназначены только для иллюстрации. Следовательно, объем изобретения ограничен только приложенной формулой изобретения.
Claims (20)
1. Способ определения пространственной топографии Z(x,y) зеркальной поверхности объекта, характеризующийся тем, что:
освещают поверхность объекта последовательно из нескольких локализованных осевых позиций;
для каждого последовательного освещения поверхности объекта получают по меньшей мере одно изображение поверхности объекта с использованием датчика, который ориентирован, по существу, перпендикулярно общей плоскости поверхности объекта, в результате чего формируют набор изображений энергетической яркости с одним и тем же полем обзора (FOV);
используют изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x,y) векторов нормалей к поверхности; и
определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.
освещают поверхность объекта последовательно из нескольких локализованных осевых позиций;
для каждого последовательного освещения поверхности объекта получают по меньшей мере одно изображение поверхности объекта с использованием датчика, который ориентирован, по существу, перпендикулярно общей плоскости поверхности объекта, в результате чего формируют набор изображений энергетической яркости с одним и тем же полем обзора (FOV);
используют изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x,y) векторов нормалей к поверхности; и
определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.
2. Способ по п.1, в котором дополнительно калибруют контрольную плоскость и заменяют контрольную плоскость указанным объектом до последовательного освещения поверхности объекта.
3. Способ по п.2, в котором на этапе калибровки контрольной плоскости:
располагают контрольную поверхность в поле обзора датчика на фокусном расстоянии от датчика;
освещают контрольную поверхность последовательно из указанных нескольких локализованных осевых направлений;
формируют по меньшей мере одно калибровочное изображение энергетической яркости при каждом последовательном освещении;
вычисляют набор характеристических значений Ci(x,y) для калибровочных изображений энергетических яркостей;
определяют максимальное характеристическое значение;
нормируют набор характеристических значений указанным максимальным значением для получения набора нормированных характеристик Mi и
получают набор калибровочных карт из изображений, обратных указанным калибровочным изображениям, деленным на нормированные характеристики Mi; при этом калиброванные изображения для источника i получают путем умножения полученного изображения на i-ю калибровочную карту.
располагают контрольную поверхность в поле обзора датчика на фокусном расстоянии от датчика;
освещают контрольную поверхность последовательно из указанных нескольких локализованных осевых направлений;
формируют по меньшей мере одно калибровочное изображение энергетической яркости при каждом последовательном освещении;
вычисляют набор характеристических значений Ci(x,y) для калибровочных изображений энергетических яркостей;
определяют максимальное характеристическое значение;
нормируют набор характеристических значений указанным максимальным значением для получения набора нормированных характеристик Mi и
получают набор калибровочных карт из изображений, обратных указанным калибровочным изображениям, деленным на нормированные характеристики Mi; при этом калиброванные изображения для источника i получают путем умножения полученного изображения на i-ю калибровочную карту.
4. Способ по п.1, в котором дополнительно используют поле N(x,y) векторов нормалей к поверхности для просмотра объекта с устройством рендеринга.
5. Способ по п.1, в котором при последовательном освещении поверхности объекта используют Q физических источников света и последовательность из Р поворотов объекта или физических источников света вокруг оси датчика с тем, чтобы получить К локализованных осевых направлений, где К>Q.
6. Способ по п.1, в котором при получении по меньшей мере одного изображения:
определяют набор из М различных значений времени аккумулирования заряда фотокамеры;
получают одно изображение с каждым из указанных определенных значений времени аккумулирования заряда, при этом получают М изображений;
вычисляют маску достоверности для каждого изображения и
вычисляют составное изображение, глубина цвета которого больше глубины цвета полученного изображения, и вычисляют составную маску достоверности, при этом используют одно изображение, полученное для каждого значения времени аккумулирования заряда, и соответствующие маски достоверности.
определяют набор из М различных значений времени аккумулирования заряда фотокамеры;
получают одно изображение с каждым из указанных определенных значений времени аккумулирования заряда, при этом получают М изображений;
вычисляют маску достоверности для каждого изображения и
вычисляют составное изображение, глубина цвета которого больше глубины цвета полученного изображения, и вычисляют составную маску достоверности, при этом используют одно изображение, полученное для каждого значения времени аккумулирования заряда, и соответствующие маски достоверности.
7. Способ по п.6, в котором при вычислении маски достоверности для каждого изображения:
устанавливают высокий порог ТН интенсивности и устанавливают низкий порог TL интенсивности; и
устанавливают значение mask(x,y) для каждого пиксела в одном изображении в виде функции от ТН и TL.
устанавливают высокий порог ТН интенсивности и устанавливают низкий порог TL интенсивности; и
устанавливают значение mask(x,y) для каждого пиксела в одном изображении в виде функции от ТН и TL.
8. Способ по п.6, в котором при вычислении составного изображения и составной маски достоверности:
получают набор из М интенсивностей Ii(x,y) пикселов из М изображений;
получают М значений Maski(x,y) масок достоверности из масок достоверности для каждого изображения;
вычисляют временное значения для интенсивности составного изображения и
вычисляют составное изображение с большой глубиной цвета и соответствующую составную маску достоверности.
получают набор из М интенсивностей Ii(x,y) пикселов из М изображений;
получают М значений Maski(x,y) масок достоверности из масок достоверности для каждого изображения;
вычисляют временное значения для интенсивности составного изображения и
вычисляют составное изображение с большой глубиной цвета и соответствующую составную маску достоверности.
9. Способ по п.1, в котором на этапе использования изображений энергетической яркости для решения системы нелинейных уравнений решают для каждого пиксела из изображений энергетической яркости систему уравнений, связывающих полученную или калиброванную энергетическую яркость Ii для i-го изображения с суммой диффузного члена и зеркального члена, которая зависит от локальной нормали к поверхности, направления освещения и/или направления просмотра.
10. Способ по п.1, в котором дополнительно: удаляют из наборов изображений энергетической яркости эффекты многократных отражений от зеркальной поверхности объекта.
11. Система определения пространственной топографии Z(x,y) зеркальной поверхности объекта содержащая:
датчик для получения плоских изображений энергетических яркостей, при этом ось датчика, по существу, перпендикулярна общей плоскости объекта;
набор из К эффективных источников света, расположенных в нескольких локализованных осевых направлениях; и
считываемый компьютером носитель информации, на котором хранится программный код и в результате выполнения которого процессором:
К эффективных источников света освещают поверхность объекта последовательно из указанных нескольких локализованных осевых направлений;
датчик получает по меньшей мере одно изображение поверхности объекта при каждом последовательном освещении поверхности объекта, в результате получают набор изображений энергетической яркости с одним и тем же полем обзора (FOV);
используют изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x,y) векторов нормалей к поверхности; и
определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.
датчик для получения плоских изображений энергетических яркостей, при этом ось датчика, по существу, перпендикулярна общей плоскости объекта;
набор из К эффективных источников света, расположенных в нескольких локализованных осевых направлениях; и
считываемый компьютером носитель информации, на котором хранится программный код и в результате выполнения которого процессором:
К эффективных источников света освещают поверхность объекта последовательно из указанных нескольких локализованных осевых направлений;
датчик получает по меньшей мере одно изображение поверхности объекта при каждом последовательном освещении поверхности объекта, в результате получают набор изображений энергетической яркости с одним и тем же полем обзора (FOV);
используют изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x,y) векторов нормалей к поверхности; и
определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.
12. Система по п.11, в которой считываемый компьютером носитель информации дополнительно содержит программный код, исполняемый процессором для калибровки контрольной плоскости.
13. Система по п.12, в которой программный код для калибровки контрольной плоскости содержит программный код, при исполнении которого:
К эффективных источников света освещают контрольную поверхность последовательно из нескольких локализованных осевых направлений;
датчики получают по меньшей мере одно калибровочное изображение энергетической яркости при каждом последовательном освещении;
вычисляют набор характеристических значений Ci(x,y) для калибровочных изображений энергетических яркостей;
определяют максимальное характеристическое значение;
нормируют набор характеристических значений максимальным значением для получения набора нормированных характеристик Mi; и
получают набор калибровочных карт из изображений, обратных калибровочным изображениям, деленным на нормированные характеристики Mi; при этом калиброванные изображения для источника i получают путем умножения полученного изображения на i-ю калибровочную карту.
К эффективных источников света освещают контрольную поверхность последовательно из нескольких локализованных осевых направлений;
датчики получают по меньшей мере одно калибровочное изображение энергетической яркости при каждом последовательном освещении;
вычисляют набор характеристических значений Ci(x,y) для калибровочных изображений энергетических яркостей;
определяют максимальное характеристическое значение;
нормируют набор характеристических значений максимальным значением для получения набора нормированных характеристик Mi; и
получают набор калибровочных карт из изображений, обратных калибровочным изображениям, деленным на нормированные характеристики Mi; при этом калиброванные изображения для источника i получают путем умножения полученного изображения на i-ю калибровочную карту.
14. Система по п.11, в которой К эффективных источников света содержат Q физических источников света, установленных с возможностью поворота в положения, соответствующие указанным нескольким локализованным осевым направлениям.
15. Система по п.11, дополнительно содержащая стойку для поворота объекта в несколько локализованных осевых направлений для соответствия указанным нескольким локализованным осевым направлениям для К эффективных источников света.
16. Система по п.11, в которой К эффективных источников света разделены на несколько подсистем с различными углами наклона.
17. Система по п.11, в которой программный код для использования изображений энергетической яркости для решения системы нелинейных уравнений содержит программный код для решения для каждого пиксела из изображений энергетической яркости системы уравнений, связывающих полученную или калиброванную энергетическую яркость Ii для i-го изображения с суммой диффузного члена и зеркального члена, которая зависит от локальной нормали к поверхности, направления освещения и/или направления просмотра.
18. Система по п.11, в которой программный код для использования изображений энергетической яркости для получения и решения множества систем нелинейных уравнений также содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.
19. Считываемый компьютером носитель информации, характеризующийся тем, что содержит:
программный код модуля управления светом, исполняемый процессором, в результате чего К эффективных источников света последовательно освещают поверхность объекта из нескольких локализованных осевых направлений;
программный код модуля управления датчиком, исполняемый процессором, в результате чего датчик получает по меньшей мере одно изображение поверхности объекта при каждом последовательном освещении поверхности объекта, вследствие чего получают набор изображений энергетической яркости с одним и тем же полем обзора (FOV); и
программный код модуля получения топографии, исполняемый процессором, в результате чего получают и решают множество систем нелинейных уравнений, содержащих диффузный член и зеркальный член, для определения поля N(x,y) векторов нормалей к поверхности и пространственной топографии Z(x,y) с использованием указанного поля N(x,y) векторов нормалей к поверхности.
программный код модуля управления светом, исполняемый процессором, в результате чего К эффективных источников света последовательно освещают поверхность объекта из нескольких локализованных осевых направлений;
программный код модуля управления датчиком, исполняемый процессором, в результате чего датчик получает по меньшей мере одно изображение поверхности объекта при каждом последовательном освещении поверхности объекта, вследствие чего получают набор изображений энергетической яркости с одним и тем же полем обзора (FOV); и
программный код модуля получения топографии, исполняемый процессором, в результате чего получают и решают множество систем нелинейных уравнений, содержащих диффузный член и зеркальный член, для определения поля N(x,y) векторов нормалей к поверхности и пространственной топографии Z(x,y) с использованием указанного поля N(x,y) векторов нормалей к поверхности.
20. Считываемый компьютером носитель информации по п.19, в котором программный код модуля получения топографии дополнительно содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US35524110P | 2010-06-16 | 2010-06-16 | |
US61/355,241 | 2010-06-16 | ||
PCT/CA2011/050335 WO2011156919A1 (en) | 2010-06-16 | 2011-06-02 | Acquisition of 3d topographic images of tool marks using non-linear photometric stereo method |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2013101791A RU2013101791A (ru) | 2014-07-27 |
RU2557674C2 true RU2557674C2 (ru) | 2015-07-27 |
Family
ID=45328712
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2013101791/28A RU2557674C2 (ru) | 2010-06-16 | 2011-06-02 | Получение пространственных топографических изображений следов от инструмента с использованием нелинейного фотометрического стерео способа |
Country Status (11)
Country | Link |
---|---|
US (1) | US9007457B2 (ru) |
EP (1) | EP2583054B1 (ru) |
CN (1) | CN103003663B (ru) |
AU (1) | AU2011267751B2 (ru) |
BR (1) | BR112012031828B1 (ru) |
CA (1) | CA2801097C (ru) |
ES (1) | ES2742264T3 (ru) |
MX (1) | MX2012014516A (ru) |
RU (1) | RU2557674C2 (ru) |
WO (1) | WO2011156919A1 (ru) |
ZA (1) | ZA201208945B (ru) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2682012C1 (ru) * | 2018-05-04 | 2019-03-14 | Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") | Устройство выявления электронного портрета тепловизионной камеры |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9202310B2 (en) * | 2010-04-13 | 2015-12-01 | Disney Enterprises, Inc. | Physical reproduction of reflectance fields |
BR112016016941A2 (pt) * | 2014-01-23 | 2017-08-08 | Performance Sk8 Holding Inc | Sistema e método para a fabricação de um corpo de prancha |
CZ305606B6 (cs) * | 2014-03-31 | 2016-01-06 | Ăšstav teoretickĂ© a aplikovanĂ© mechaniky AV ÄŚR, v.v.i. | Integrální zařízení pro tvorbu digitalizovaných 3D modelů objektů pomocí metody fotometrického sterea |
JP6366344B2 (ja) * | 2014-05-02 | 2018-08-01 | 国立大学法人群馬大学 | ツールマーク照合システム |
GB2526866A (en) * | 2014-06-05 | 2015-12-09 | Univ Bristol | Apparatus for and method of inspecting surface topography of a moving object |
JP6290720B2 (ja) * | 2014-06-09 | 2018-03-07 | 株式会社キーエンス | 検査装置、検査方法およびプログラム |
DE102014112648A1 (de) | 2014-08-29 | 2016-03-03 | Carl Zeiss Ag | Bildaufnahmevorrichtung und Verfahren zur Bildaufnahme |
US9664507B2 (en) | 2014-09-17 | 2017-05-30 | Canon Kabushiki Kaisha | Depth value measurement using illumination by pixels |
US9958383B2 (en) * | 2014-12-18 | 2018-05-01 | Microsoft Technology Licensing, Llc. | Range camera |
EP3057067B1 (en) * | 2015-02-16 | 2017-08-23 | Thomson Licensing | Device and method for estimating a glossy part of radiation |
US9958259B2 (en) | 2016-01-12 | 2018-05-01 | Canon Kabushiki Kaisha | Depth value measurement |
DE102016106535B4 (de) * | 2016-04-08 | 2019-03-07 | Carl Zeiss Ag | Vorrichtung und Verfahren zum Vermessen einer Flächentopografie |
PL3475926T3 (pl) * | 2016-06-23 | 2022-10-24 | Ultra Electronics Forensic Technology Inc. | Wykrywanie nieprawidłowości powierzchni w monetach |
CN107677216B (zh) * | 2017-09-06 | 2019-10-29 | 西安交通大学 | 一种基于光度立体视觉的多个磨粒三维形貌同步获取方法 |
US11249293B2 (en) | 2018-01-12 | 2022-02-15 | Iballistix, Inc. | Systems, apparatus, and methods for dynamic forensic analysis |
US10785422B2 (en) | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
US11245875B2 (en) | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
KR102222992B1 (ko) * | 2019-07-03 | 2021-03-05 | 대한민국 | 가해진 힘의 측정이 가능한 공구 줄무늬흔 생성 실험장치 및 이를 이용하여 가해진 힘을 측정하는 방법 |
CN110227662A (zh) * | 2019-08-08 | 2019-09-13 | 征图新视(江苏)科技股份有限公司 | 一种受话器产品成像缺陷的检测方法及其检测光源 |
US20220392045A1 (en) | 2019-11-15 | 2022-12-08 | Vural DERYA | Topographical ballistic identification with section profiles and comparison system |
CN115164776B (zh) * | 2022-07-04 | 2023-04-21 | 清华大学 | 一种结构光解码与深度学习融合的三维测量方法及装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997040342A2 (en) * | 1996-04-24 | 1997-10-30 | Cyra Technologies, Inc. | Integrated system for imaging and modeling three-dimensional objects |
US20060274921A1 (en) * | 2003-04-04 | 2006-12-07 | Lumidigm, Inc. | Texture-biometrics sensor |
US20090116697A1 (en) * | 2007-10-26 | 2009-05-07 | Ahmed Shalaby | Method and Tool for Surface Texture Evaluation |
US20100142804A1 (en) * | 2005-06-17 | 2010-06-10 | The Regents Of The University Of California | Method for editing multi-channel images |
Family Cites Families (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2786207B2 (ja) * | 1988-08-26 | 1998-08-13 | 株式会社日立製作所 | 走査型顕微鏡における表面形状算出方法 |
US4912336A (en) * | 1989-02-21 | 1990-03-27 | Westinghouse Electric Corp. | Surface shape and reflectance extraction system |
JP2682559B2 (ja) * | 1992-09-30 | 1997-11-26 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 物体の画像をディスプレイ装置上に表示する装置及び方法並びにコンピュータ・グラフィックス表示システム |
US5838428A (en) * | 1997-02-28 | 1998-11-17 | United States Of America As Represented By The Secretary Of The Navy | System and method for high resolution range imaging with split light source and pattern mask |
ATE197503T1 (de) | 1997-08-22 | 2000-11-11 | Fraunhofer Ges Forschung | Verfahren und vorrichtung zur automatischen prüfung bewegter oberflächen |
US6410872B2 (en) | 1999-03-26 | 2002-06-25 | Key Technology, Inc. | Agricultural article inspection apparatus and method employing spectral manipulation to enhance detection contrast ratio |
EP1391176A1 (en) * | 2002-08-16 | 2004-02-25 | Universiteit Maastricht | Method and arrangement for performing measurements of the topography of a corneal surface |
US7359562B2 (en) | 2003-03-19 | 2008-04-15 | Mitsubishi Electric Research Laboratories, Inc. | Enhancing low quality videos of illuminated scenes |
WO2006077710A1 (ja) | 2005-01-19 | 2006-07-27 | Matsushita Electric Industrial Co., Ltd. | 画像変換方法、テクスチャマッピング方法、画像変換装置、サーバークライアントシステム、および画像変換プログラム |
JP2007206797A (ja) * | 2006-01-31 | 2007-08-16 | Omron Corp | 画像処理方法および画像処理装置 |
JP4077869B2 (ja) | 2006-05-29 | 2008-04-23 | 松下電器産業株式会社 | 光源推定装置、光源推定システムおよび光源推定方法、並びに、画像高解像度化装置および画像高解像度化方法 |
KR100967701B1 (ko) * | 2007-02-26 | 2010-07-07 | 한국외국어대학교 연구산학협력단 | 3차원 유화 데이터의 복원 |
BRPI0912742B1 (pt) * | 2008-05-16 | 2019-06-18 | Ultra Electronics Forensic Technology Inc. | Aquisição de topografia de objetos tendo geometrias arbitrárias |
EP2288849B1 (en) * | 2008-06-11 | 2013-10-30 | Koninklijke Philips N.V. | Light emitting system producting beam with adjustable width |
-
2011
- 2011-06-02 MX MX2012014516A patent/MX2012014516A/es active IP Right Grant
- 2011-06-02 RU RU2013101791/28A patent/RU2557674C2/ru active
- 2011-06-02 BR BR112012031828-4A patent/BR112012031828B1/pt active IP Right Grant
- 2011-06-02 ES ES11795004T patent/ES2742264T3/es active Active
- 2011-06-02 AU AU2011267751A patent/AU2011267751B2/en active Active
- 2011-06-02 EP EP11795004.8A patent/EP2583054B1/en active Active
- 2011-06-02 US US13/151,538 patent/US9007457B2/en active Active
- 2011-06-02 CN CN201180029780.7A patent/CN103003663B/zh active Active
- 2011-06-02 WO PCT/CA2011/050335 patent/WO2011156919A1/en active Application Filing
- 2011-06-02 CA CA2801097A patent/CA2801097C/en active Active
-
2012
- 2012-11-27 ZA ZA2012/08945A patent/ZA201208945B/en unknown
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO1997040342A2 (en) * | 1996-04-24 | 1997-10-30 | Cyra Technologies, Inc. | Integrated system for imaging and modeling three-dimensional objects |
US20060274921A1 (en) * | 2003-04-04 | 2006-12-07 | Lumidigm, Inc. | Texture-biometrics sensor |
US20100142804A1 (en) * | 2005-06-17 | 2010-06-10 | The Regents Of The University Of California | Method for editing multi-channel images |
US20090116697A1 (en) * | 2007-10-26 | 2009-05-07 | Ahmed Shalaby | Method and Tool for Surface Texture Evaluation |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2682012C1 (ru) * | 2018-05-04 | 2019-03-14 | Закрытое акционерное общество "МНИТИ" (ЗАО "МНИТИ") | Устройство выявления электронного портрета тепловизионной камеры |
Also Published As
Publication number | Publication date |
---|---|
CA2801097A1 (en) | 2011-12-22 |
ZA201208945B (en) | 2015-08-26 |
CN103003663A (zh) | 2013-03-27 |
BR112012031828A2 (pt) | 2016-11-08 |
ES2742264T3 (es) | 2020-02-13 |
US20110311107A1 (en) | 2011-12-22 |
AU2011267751B2 (en) | 2014-12-18 |
EP2583054B1 (en) | 2019-05-22 |
CA2801097C (en) | 2015-08-04 |
AU2011267751A1 (en) | 2012-12-20 |
WO2011156919A1 (en) | 2011-12-22 |
EP2583054A4 (en) | 2017-08-23 |
BR112012031828B1 (pt) | 2020-05-12 |
CN103003663B (zh) | 2016-03-16 |
MX2012014516A (es) | 2013-01-29 |
US9007457B2 (en) | 2015-04-14 |
RU2013101791A (ru) | 2014-07-27 |
EP2583054A1 (en) | 2013-04-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2557674C2 (ru) | Получение пространственных топографических изображений следов от инструмента с использованием нелинейного фотометрического стерео способа | |
Ikehata et al. | Robust photometric stereo using sparse regression | |
Quéau et al. | A non-convex variational approach to photometric stereo under inaccurate lighting | |
Logothetis et al. | Semi-calibrated near field photometric stereo | |
US9958383B2 (en) | Range camera | |
US9648300B2 (en) | Calibration of multi-camera devices using reflections thereof | |
US20030128207A1 (en) | 3-Dimensional image processing method, 3-dimensional image processing device, and 3-dimensional image processing system | |
US10012496B2 (en) | Multispectral binary coded projection using multiple projectors | |
JP6161714B2 (ja) | 3次元の物体の直線寸法を制御する方法 | |
Lopez‐Moreno et al. | Multiple light source estimation in a single image | |
US11582399B2 (en) | Adaptive sampling for structured light scanning | |
US20180240241A1 (en) | Three-dimensional imager | |
US20210148694A1 (en) | System and method for 3d profile determination using model-based peak selection | |
Langmann | Wide area 2D/3D imaging: development, analysis and applications | |
US11528427B2 (en) | Shape and reflectance reconstruction | |
US11949843B1 (en) | System and method for enhancing three-dimensional (3D) depth acquisition | |
Kogumasaka et al. | Surface finishing inspection using a fisheye camera system | |
US10762671B2 (en) | Image processing apparatus, image processing method, and storage medium | |
JP6379651B2 (ja) | 光源の配光分布および物体の双方向反射率分布関数測定のための装置、方法、及びプログラム | |
Knuth et al. | Detection and characterization of non-transiting extra-solar planets in Kepler Data using reflected light variations. | |
JP2020139821A (ja) | 検査装置、検査システム及び検査方法 | |
Buffington et al. | Change detection for visual satellite inspection using pose estimation and image synthesis | |
Pipitone et al. | A structured light range imaging system using a moving correlation code | |
Büyükatalay | Photometric stereo considering highlights and shadows | |
KOROTKAYA | Prediction of normal maps using machine learning methods |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
HZ9A | Changing address for correspondence with an applicant |