RU2557674C2

RU2557674C2 - Получение пространственных топографических изображений следов от инструмента с использованием нелинейного фотометрического стерео способа

Info

Publication number: RU2557674C2
Application number: RU2013101791/28A
Authority: RU
Inventors: Серж ЛЕВЕСК
Original assignee: Ультра Элетроникс Форенсик Текнолоджи Инк.
Priority date: 2010-06-16
Filing date: 2011-06-02
Publication date: 2015-07-27
Also published as: CA2801097A1; ZA201208945B; CN103003663A; BR112012031828A2; ES2742264T3; US20110311107A1; AU2011267751B2; EP2583054B1; CA2801097C; AU2011267751A1; WO2011156919A1; EP2583054A4; BR112012031828B1; CN103003663B; MX2012014516A; US9007457B2; RU2013101791A; EP2583054A1

Abstract

Описаны способ и система формирования пространственного изображения, в общем, для металлических поверхностей с зеркальной характеристикой и, в частности, для баллистических улик, при этом используют фотометрическое стерео путем определения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x, y) векторов нормалей к поверхности и использовать N(x, y) для определения пространственной топографии Z(x, y). 3 н. и 17 з. п. ф-лы,9 ил.

Description

Область техники, к которой относится изобретение

Настоящее изобретение относится к области формирования топографических изображений зеркальных объектов с использованием нелинейного фотометрического стереоспособа.

Уровень техники

Баллистические сравнительные тесты основаны на сравнении бороздок и углублений, которые создаются на поверхности баллистической улики (ВРОЕ), такой как пуля или гильза патрона. Эти бороздки обладают уникальными особенностями, которые представляют собой уникальную отличительную характеристику огнестрельного оружия. Путем сравнения бороздок или характеристик углублений двух ВРОЕ возможно сделать заключение, были ли они выпущены из одного и того же огнестрельного оружия.

При формировании пространственных топографических изображений некоторой области объекта, то есть карты Z(x, у) поверхности, где Z - локальная высота поверхности в позиции (х, у), используется оптическая система, содержащая датчик (или фотокамеру) и источник света. Изучаемый объект освещают и формируют топографическое изображение освещенной поверхности.

В области баллистики изучаемые объекты часто являются неплоскими и с большой вероятностью зеркальными. Это означает, что большая часть света, падающего под углом 6 относительно локальной нормали N к поверхности, будет отражаться в небольшом конусе в направлении -9. Следовательно, если источник света располагают вдоль оптической оси датчика, как в большинстве оптических способов формирования топографических изображений, то для участков поверхности, имеющих значительные наклоны, лишь чрезвычайно малая часть падающего света отражается назад к датчику, в результате чего получаются локально недостоверные измерения.

Существует другой способ измерения рельефа поверхности объектов. В соответствии с этим способом, известным как фотометрическое стерео, формируют набор изображений светимости (или энергетической яркости) поверхности, при этом каждое изображение набора получают при отличающихся условиях освещения. В предположении постоянной отражающей способности поверхности и одинаковой силе освещения для источников света и чисто диффузной поверхности (или ламбертовской поверхности) трех источников света достаточно для получения поля N(x,y) нормалей к поверхности. Топографию Z(x,y) поверхности получают путем объединения поля нормалей.

Тем не менее изображения энергетической яркости поверхности подвергаются воздействию шумов, и отражающая способность поверхности может не быть постоянной из-за локального изменения цвета и/или альбедо. Общее решение состоит в использовании большего количества источников света, чтобы определить больше уравнений в линейной системе уравнений. Далее получают поле N(x,y) нормалей к поверхности, что делают с помощью процедуры минимизации ошибки, такой как схема хи-квадрат минимизации ошибки. Если количество источников света достаточно велико, можно даже позволить себе не измерять интенсивность источников света или даже положений источников света и получать эту информацию с помощью процедуры аппроксимации, анализа главных компонентов или другими способами, известными специалистам в рассматриваемой области.

Очень мало действительно диффузных поверхностей, и в случае блестящей или яркой поверхности использование упомянутой выше процедуры приводит к очень плохим результатам с точки зрения точности рельефа поверхности. Тем не менее когда направление просмотра сильно отличается от направления зеркального отражения для конкретного источника света, модель Ламберта отражения света на поверхности может быть справедливой до определенной степени. Снова обычное решение при наличии такого блестящего или яркого материала состоит в решении проблемы путем использования более трех источников света и определении для каждого пиксела из результирующего набора изображений, имеется ли источник света, который создает отражение в направлении фотокамеры, и в котором доминирует неламбертов вклад. Если обнаружено выполнение такого условия, то вклад этого источника света игнорируют в вычислении нормали N к поверхности для рассматриваемого пиксела.

Тем не менее при рассмотрении баллистических улик (ВРОЕ) ни один из этих способов не работает, так как поверхность является металлической, что ведет к тому, что диффузный вклад в отражении света, если он вообще присутствует, составляют величину, меньшую, чем зеркальный вклад. Следовательно, существует потребность в усовершенствовании фотометрического стерео с целью съемки металлических поверхностей в целом и, в частности изображений ВРОЕ.

Раскрытие изобретения

Описаны способ и система формирования пространственного изображения, которые предназначены, в общем, для металлических поверхностей с зеркальной характеристикой и, в частности, для баллистических улик, при этом используется метод фотометрического стерео путем определения и решения нескольких систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поля N(x,y) векторов нормалей к поверхности и путем использования N(x,y) для определения пространственной топографии Z(x,y).

В соответствии с первым аспектом предложен способ определения топографии Z(x,y) зеркальной поверхности объекта. Этот способ включает в себя следующее: последовательно освещают поверхность объекта из нескольких локализованных осевых направлений; формируют по меньшей мере одно изображение поверхности объекта для каждого последовательного освещения поверхности объекта, что делают с использованием датчика, который ориентирован, по существу, перпендикулярно общей плоскости поверхности объекта, в результате чего формируют набор изображений энергетической яркости с одинаковым полем зрения (FOV); используют изображения энергетической яркости для получения и решения нескольких наборов нелинейных уравнений, содержащих рассеивающий член и зеркальный член, что делают с целью определения поля N(x,y) векторов нормалей к поверхности; и определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.

В одном из вариантов изобретения поле N(x,y) векторов нормалей к поверхности используют для просмотра объекта с устройством рендеринга.

Кроме того, предпочтительно при последовательном освещении поверхности объекта используют Q физических источников света и последовательность из Р поворотов объекта или физических источников света вокруг оси датчика с тем, чтобы получить К локализованных осевых направлений, где К>Q.

В соответствии со вторым аспектом предложена система определения пространственной топографии Z(x,y) зеркальной поверхности объекта. Эта система содержит: датчик, приспособленный для формирования плоских изображений энергетических яркостей, при этом чувствительная ось датчика, по существу, перпендикулярна общей плоскости объекта; набор из К эффективных источников света, расположенных в соответствии с несколькими локализованными осевыми направлениями; и считываемый компьютером носитель информации, на котором хранится программный код и в результате выполнения процессором которого: К эффективных источников света последовательно освещают поверхность объекта из нескольких локализованных осевых направлений; датчик формирует, по меньшей мере, одно изображение поверхности объекта для каждого последовательного освещения поверхности объекта, в результате получают набор изображений энергетической яркости с одинаковым полем зрения (FOV); используют изображения энергетической яркости для получения и решения нескольких наборов нелинейных уравнений, содержащих рассеивающий член и зеркальный член, что делают с целью определения поля N(x,y) векторов нормалей к поверхности; и определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.

Предпочтительно программный код, при выполнении которого используются изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, также содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.

В соответствии с другим аспектом предложен считываемый компьютером носитель информации, на котором содержится: программный код модуля управления светом, который может быть выполнен процессором, в результате чего К эффективных источников света последовательно освещают поверхность объекта из нескольких локализованных осевых направлений; программный код модуля управления датчиком, который может быть выполнен процессором, в результате чего датчик формирует, по меньшей мере, одно изображение поверхности объекта для каждого последовательного освещения поверхности объекта, вследствие чего получают набор изображений энергетической яркости с одинаковым полем зрения (FOV); и программный код модуля получения топографии, который может быть выполнен процессором, в результате чего получают и решают нескольких наборов нелинейных уравнений, содержащих рассеивающий член и зеркальный член, что нужно для определения поля N(x,y) векторов нормалей к поверхности и в результате чего получают пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.

Предпочтительно программный код модуля получения топографии дополнительно содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.

В настоящем описании термином «пространственная топография» обозначается рельеф Z(x, у) поверхности, где Z представляет собой локальную высоту поверхности в позиции (х, у) относительно оси датчика в плоскости, перпендикулярной оси датчика. Выражение «плоское изображение энергетической яркости» надо понимать как карту R(x,y) светимости (или энергетической яркости), сформированную оптической фотокамерой. Она непосредственно пропорциональна карте интенсивности света, испущенного поверхностью в направлении фотокамеры. На обычном языке такое изображение называют фотографическим. В этом тексте считаем, что изображения энергетических яркостей являются одноканальными или монохроматическими. Следовательно, не записывают информацию о цвете, и глубина цвета для изображений представляет собой глубину цвета одного канала. Также может быть использовано монохроматическое изображение, полученное цветной фотокамерой, или путем объединения информации из различных цветовых каналов, или путем учета только одного такого канала. Также ясно, что фотокамера обладает или линейной радиометрической чувствительностью или в противном случае известна радиометрическая чувствительность фотокамеры, так что сформированное изображение может быть линеаризовано. Выражение «эффективные источники света» надо понимать как источники света, включающие в себя общее число физических источников света и эффективное общее число источников света, используемых при применении последовательных поворотов физических источников света и/или рассматриваемого объекта.

Краткое описание чертежей

Другие признаки и достоинства настоящего изобретения будут ясны из последующего подробного описания изобретения, приведенного со ссылками на приложенные чертежи, на которых:

фиг.1 - вид, показывающий типовой вариант выполнения системы, используемой для получения пространственной топографии посредством способа нелинейного фотометрического стерео;

фиг.2 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа нелинейного фотометрического стерео для получения пространственной топографии;

фиг.3 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа получения изображения с несколькими уровнями серого;

фиг.4 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа вычисления маски достоверности;

фиг.5 - вид, показывающий блок-схему, иллюстрирующую типовой вариант осуществления способа вычисления составного изображения и составной маски достоверности;

фиг.6 - вид, схематически показывающий различные векторы, используемые для вычислений в способе нелинейного фотометрического стерео;

фиг.7 - вид, схематически показывающий многоступенчатые отражения;

фиг.8 - вид, показывающий структурную схему типового варианта вычислительной системы с фиг.1; и

фиг.9 - вид, схематически показывающий типовой вариант набора источников света с несколькими уровнями подъема.

Заметим, что в прилагаемых чертежах аналогичные признаки обозначены одинаковыми ссылочными позициями.

Подробное описание изобретения

Некоторые объекты, имеющие следы от инструментов, не являются плоскими. Например, использованные гильзы патронов имеют большую и глубокую вмятину в центральной части капсюля (для калибров центрального боя) или во внешней области головки патрона (для калибров бокового боя). Эта вмятина обычно по порядку величины глубже обычных отметин в виде бороздок или углублений, полезных для баллистической идентификации. Многие использованные гильзы патронов калибров центрального боя также имеют области, вытянутые вдоль общей плоскости капсюля. Эти области называются обратным потоком, и часто на их внешней границе имеются бороздки следов сдвига, характеризующие огнестрельное оружие. Более того, так как пули являются приблизительно цилиндрическими объектами, локальное значение нормали к поверхности изменяется непрерывно в направлении, перпендикулярном цилиндрической оси.

Даже если датчик формирования изображений расположен над изучаемым объектом, при этом его оптическая ось (или ось датчика) приблизительно перпендикулярна общей плоскости объекта, и при наличии соосного источника света может случиться так, что соответствующие баллистические следы расположены в локальных областях поверхности, которые далеко не перпендикулярны упомянутой оптической оси. Если материал изучаемого объекта является в значительной степени зеркальным материалом (то есть он отражает большую часть падающего света как зеркало, утлы падения и отражения равны), что, в общем, верно для металлов и, в частности, верно для баллистических улик (ВРОЕ), то очень малая часть падающего света, освещающего эти локально наклонные области, будет отражена назад к датчику, что приводит к неверному топографическому измерению.

На фиг.1 показан типовой вариант осуществления системы, используемой для получения пространственной топографии с применением способа нелинейного фотометрического стерео. Система в общем состоит из датчика 102 и набора из К локализованных источников 106 света. Как показано, устройство 102 формирования изображения и устройство 106 освещения разделены, но одна из осей источников света может быть коллинеарна с осью датчика. В этой конфигурации устройство 102 формирования изображений расположено над изучаемым объектом 108, а его оптическая (или ось формирования изображения) ось 104 приблизительно перпендикулярна общей плоскости объекта 108. В рассматриваемом примере используется система координат, содержащая ось Z, которая соответствует оптической оси 104 датчика 102. Оси Х и Y представляют собой пару взаимно перпендикулярных осей, которые определяют плоскость, перпендикулярную оси Z. Позиции на поверхности объекта и на сформированных изображениях одинаково обозначают через (х, у), и они описывают физическую точку и точку, сформированную на изображении. Не ограничивая общности этого способа, могут быть использованы другие системы координат.

Объект освещают из нескольких локализованных осевых направлений 106. Более того, эти локализованные источники 106 света светят поочередно и для каждого источника 106 света из набора оптический датчик 102 получает одно изображение энергетической яркости. Вычислительная система 110, содержащая процессор 114, приложение 112 и память 116, функционально соединена с датчиком 102 и источниками 106 света с целью выполнения операций управления и обработки. Приложение 112 содержит программный код, который выполняет процессор 114, что будет подробно описано ниже.

На фиг.2 показана блок-схема, иллюстрирующая типовой способ определения пространственной топографии Z(x, у) области объекта. Первый этап способа представляет собой этап 202 калибровки, на котором используют контрольную плоскость, что будет подробно описано ниже. Калибровка включает в себя определение относительных интенсивностей источников света и индивидуальных характеристик распределения интенсивностей по полю обзора (FOV) фотокамеры. После завершения калибровки контрольную плоскость заменяют объектом (этап 204). Далее, (на этапе 206) К источников света из набора последовательно светят, при этом для каждого источника света из набора фотокамера формирует, по меньшей мере, одно изображение энергетической яркости (этап 208). Когда сформированы все изображения для набора вычисляют поле N(x,y) нормалей к поверхности, что делают путем решения для каждого пиксела FOV задаваемой системы уравнений (этап 210):

I_i=А × РассеивающийЧлен(N, L;)+В × ЗеркальныйЧлен(М, L, C),

В результате получают NPX (количество пикселов на строку)·× NPY (количество пикселов на столбец) независимых систем нелинейных уравнений, при этом i равно от 1 до К, L представляет собой единичный вектор, направленный от поверхности на i-й источник света, и С представляет собой единичный вектор, направленный от поверхности на фотокамеру. Далее поле N(x, y) нормалей к поверхности объединяют по FOV для вычисления топографии Z(x, y) (этап 212). Коэффициенты А и В являются неизвестными и будут составлять часть результата решения уравнений, как и 3 компонента поля N. В одном варианте осуществления изобретения этап 208 осуществляют последовательно с целью достижения большей глубины цвета изображений, как показано на блок-схеме фиг.3. Сначала на этапе 302 определяют набор из М времен аккумулирования заряда для фотокамеры (или набор скоростей затвора фотокамеры). Эти времена аккумулирования заряда должны достаточно различаться, чтобы сформировать достаточно различающиеся изображения. В зависимости от глубины цвета изображений, сформированных фотокамерой, и конечной глубины цвета результирующего изображения количество М времен аккумулирования заряда может составлять от 2 до 10, но также возможны большие значения М. На этапе 304 для фотокамеры последовательно устанавливают каждое время аккумулирования заряда и на этапе 306 для каждого времени аккумулирования заряда формируют и сохраняют одно изображение. Для каждого сформированного и сохраненного изображения на этапе 308 вычисляют и сохраняют маску достоверности.

Пиксел считается неправильным, если его интенсивность не содержится в линейном диапазоне формирования изображения для фотокамеры. Когда получены М изображений и вычислены М масок, на этапе 310 вычисляют результирующее изображение, называемое составным или сложным изображением или изображением с большим динамическим диапазоном (HDR).

На фиг.4 показан типовой способ, используемый для вычисления маски 308 достоверности для каждого изображения энергетической яркости, полученного с заданным временем аккумулирования заряда. Сначала на этапе 402 определяют пару порогов интенсивности, один порог ТН для пикселов большой интенсивности и один порог TL для пикселов низкой интенсивности. Далее на этапе 404 вычисляют значение достоверности пиксела соответствующей маски достоверности для каждого изображения: значение пиксела для маски устанавливают равным 0, если соответствующее значение интенсивности пиксела в изображении больше ТН или меньше TL, и устанавливают равным 1 в противном случае. Обычно значения TL очень малы и обуславливают возможные минимальные значения в изображениях, сформированных фотокамерой, и/или обуславливают ожидаемый уровень шума темнового тока фотокамеры. Также значения TL могут быть немного больше с целью исключения фотографирования сигнала, в котором преобладает шум. Обычные значения ТН зависят от исходной глубины цвета одного канала в изображениях, сформированных фотокамерой. В случае восьмибитовых изображений максимальный уровень серого в изображениях равен 255. Значение ТН используется для сохранения условия линейности между интенсивностью пикселов и временем аккумулирования заряда. Таким образом, упомянутое значение установлено меньшим 255 с целью избегания предельного значения пиксела и установлено достаточно большим для сохранения удовлетворительного динамического диапазона.

На фиг.5 показан вариант осуществления изобретения, обозначенный ссылочной позицией 310 и приспособленный для вычисления составного изображения и соответствующей маски составного изображения. Для каждой позиции х, у пиксела сначала на этапе 502 получают набор из М надлежащим образом линеаризованных интенсивностей 1;(х, у) для каждого пиксела (х, у) в FOV и на этапе 504 получают М значений Mask;(x, y) маски достоверности. На этапе 506 временное значение интенсивности составного изображения вычисляют в соответствии со следующим выражением:

T (x, y) = {\sum_{i = 1}^{M} M a s k}_{i} (x, y) * I_{i} (x, y) * \frac{S T_{M}}{S T_{i}}

.

Здесь ST_i представляет собой i-e время аккумулирования заряда из набора, а SТ_M считается наибольшим временем аккумулирования заряда из упомянутого набора. Наконец, на этапе 508 составное изображение большой глубины цвета и соответствующую маску достоверности вычисляют следующим образом:

если

\sum_{i = 1}^{M} M a s k_{i} (x, y) > 0

, то

C (x, y) = \frac{T (x, y)}{Σ_{i = 1}^{m} M a s k_{i} (x, y)} и CMask(x,y) = 1

иначе

С(х, у)=0 и CMask(x, y)=0,

где С(х, у) - составное изображение и CMask(x, y) - соответствующая маска достоверности. Специалистам в рассматриваемой области известны другие способы получения HDR изображений из М изображений.

Это определение составного изображения опирается на линейность записанной интенсивности от времени экспозиции. Аналогичные результаты могут быть получены путем изменения интенсивности источника света и/или коэффициента усиления датчика. Тем не менее условия линейности добиться тяжелее. Если параметры конструкции для составного изображения установлены должным образом (количество времен аккумулирования заряда фотокамеры и их значения), то практически каждый пиксел составного изображения будет достоверным.

В альтернативном варианте осуществления изобретения для получения изображений с большой глубиной цвета может быть использована цифровая монохромная фотокамера, что может быть удобной заменой для такой процедуры, и в некоторых примерах это приведет к более быстрой процедуре путем уменьшения количества времен аккумулирования заряда для фотокамеры, необходимых для получения изображений с надлежащей глубиной.

Как показано на фиг.2, когда получен набор из К составных изображений С;(х, у), возможно, вместе с набором из К масок CMask_i(x, y) достоверности, на этапе 210 может быть решен набор из нелинейных уравнений, ведущий к вычислению поля N(x, y) нормалей к поверхности. В общем, отдельное уравнение выглядит следующим образом:

I_i(х, у)=А(х, у)×ДиффузныйЧлен_i+В(х, у)×3еркальныйЧлен_i.

Коэффициенты А и В являются неизвестными и будут частями результатов решения уравнений. I_i(х, у) является составным изображением набора или записанной интенсивностью изображения или составного или записанного изображения, скорректированного описанным ниже значением Calmap(x, y). Диффузный член представляет регулярную модель Ламберта отражения света рассеивающим материалом и он зависит только от косинуса угла между нормалью к поверхности и направлением падающего света. Он может быть выражен в терминах скалярного произведения, что сводится к следующему:

ДиффузныйЧлен_i(х.у)=N.L=NxLx_i+NyLy_i+NzLz_i,

где через N.L обозначено скалярное произведение и Lx_i Ly_i и Lz_i являются нормированными декартовыми координатами i-го источника света, при этом начало системы декартовых координат находится в центре FOV фотокамеры. Nx, Ny и Nz являются декартовым разложением единичного вектора нормали к поверхности в позиции (х, у). Также возможны другие представления рассеивающего члена.

Нелинейность уравнения появляется в зеркальном члене, который может быть записан различным образом в соответствии с моделью, используемой для отражения света. Тем не менее во всех случаях член зависит от угла между локальным единичным вектором N, перпендикулярным поверхности, и единичным вектором L_i, который смотрит в направлении i-го источника света. В случае идеальной зеркальной поверхности, такой как зеркало, свет, вышедший из источника i света, достигает фотокамеры только тогда, когда угол между N и L_i таков, что направление S отражения направлено к фотокамере, то есть зеркальный лепесток бесконечно узок. Для реального блестящего материала, параметр шероховатости которого больше или равен длине световой волны, зеркальное отражение имеет место внутри лепестка, ширина которого зависит от локальных характеристик поверхности.

В одном варианте осуществления изобретения нелинейный член может быть смоделирован с использованием модели Фонга. Модель Фонга зеркального отражения использует аналогию с функцией косинуса диффузного члена и описывает зеркальный лепесток как косинус угла между S_i и С, возведенный в степень α. Чем больше α, тем уже зеркальный лепесток. Вектор С направлен в сторону фотокамеры и, таким образом, равен [0,0,1] в рассматриваемой системе координат, при этом вектор S выражают в терминах N и L следующим образом:

S_i=2(N.L) N-L.

Учитывая приведенное выше определение С, i-e уравнение набора переписывается следующим образом:

I_i(х,у)=A(x,y)×(NxLx_i+NyLy_i+NzLz_i)+B(x,y)×[2(NxLx_i+NyLy_i+NzLz_i)Nz-Lz]^α

В этой точке параметр α ширины зеркального лепестка неизвестен и будет получен при решении набора уравнений, как и А, В и N.

В другом варианте осуществления изобретения для нелинейного члена используют модель Торренса и Спарроу (также известна как модель Кука-Торренса). Торренс и Спарроу предложили модель отражения света на металлических поверхностях. В соответствии с этой моделью каждый элемент металлической поверхности (или в общем зеркальной поверхности) разделен на несколько микрограней, средняя ориентация которых соответствует поверхности элемента, но которые случайным образом в соответствии с нормальным распределением размещены вокруг этого значения. Математически зеркальный лепесток описывается в терминах скалярного произведения N и единичного вектора Н, который указывает локальную нормаль к поверхности, которая ведет к зеркальному отражению точно по направлению к фотокамере. Так как центр рассматриваемой системы координат находится в центре FOV фотокамеры и ось Z направлена к фотокамере и так как законы физики предписывают, чтобы этот вектор был расположен точно между L и С (единичный вектор, показывающий на фотокамеру) при расположении фотокамеры на очень большом расстоянии от поверхности объекта, этот единичный вектор равен:

Н_i=[Lx_i,Ly_i,Lz_i+1]/ ||[Lxi,Ly;,Lzi+l]||,

где символом || || обозначен оператор нормирования. Так как фотокамера расположена в [0,0,1], мы можем записать:

I_i(x,y)==A(x,y)×(NxLx_i+NyLy_i+NzLz_i)+

B(x,y)×Exp[-[ArcCos(NxHx_i+NyHy_i+NzHz_i)]²/σ²].

Exp представляет собой экспоненциальную функцию, ArcCos является функцией, обратной косинусу, а σ представляет собой ширину экспоненциальной функции. Чем меньше σ, тем уже зеркальный лепесток. В общем В(х,у) должен также содержать геометрические факторы, которые зависят от углов падения и отражения и которые предотвращают отклонение зеркального члена. Тем не менее если мы сохраним угол наклона L_i (угол между оптической осью и направлением от центра FOV и источником света, так же известный как зенитный угол) единичными векторами достаточно далекими от π/2 (то есть достаточно далеким от падения по касательной), то этими факторами можно пренебречь. В этой точке параметр σ ширины зеркальный лепесток неизвестен и будет получен при решении набора уравнений, как и А, В и N.

В другом варианте осуществления изобретения для нелинейного члена используют модель Бекманна-Спицичино. В соответствии с этой моделью зеркальный член является суммой двух составляющих: зеркального лепестка, который может быть описан моделью типа модели Торренса-Спарроу, и зеркального пика, который описывает энергию остаточного света, которая отражается идеально зеркальным образом. Таким образом, зеркальный член может быть переписан следующим образом:

ЗеркальныйЧлен=В1(х,у)×ЗеркальныйЛепесток+

В2(х,у)×ЗеркальныйПик.

Член зеркальный пик формально записывается как δ(N,L), что равно 1, если N=H, и 0 в противном случае. Тем не менее так как оптика датчика обладает конечной числовой апертурой, то член зеркальный пик может быть записан, например, как очень узкая экспоненциальная функция N и Н.

Специалистам в рассматриваемой области известны другие способы моделирования отражения света от зеркальной или рассеивающей поверхности

Из описанных выше моделей ясно, что все члены Nx, Ny, Nz также зависят от позиции (х,у) в FOV. Если фотокамера и/или источники света не расположены далеко от поверхности объекта, то единичные векторы L_i, Н_i и С также могут зависеть от позиций (х,у) на поверхности объекта. Специалистам в рассматриваемой области ясны модификации приведенных выше выражений, которые вводят такие геометрические коррекции. На фиг.6 показана позиция каждого из векторов N, С, S, Н и L.

Модели Фонга и Торренса-Спарроу содержат до пяти свободных параметров (три декартовы координаты нормали N к поверхности [с добавленным ограничением, что N нормирован], два коэффициента А и В и ширина зеркального лепестка),и модели Бекмана-Спицичино добавляют по меньшей мере еще два параметра для зеркального пика. При условии, что количество К источников света и, таким образом, количество уравнений в решаемой системе достаточно велико, можно найти решение для всех этих параметров. В качестве альтернативы, возможно измерять функцию отражения материала изучаемого объекта и фиксировать коэффициенты и/или значения ширины лепестка и/или ширины пика в уравнении и решать систему для уменьшенного набора свободных параметров. Эти значения параметров также могут быть зафиксированы способами, отличными от фактических измерений.

Этап 202 на фиг.2 относится к калибровке контрольной плоскости. Это делается для калибровки источников света. Три цели этого этапа заключаются в следующем:

получить калибровку по интенсивности для источников света с одним и тем же углом наклона, получить калибровку по интенсивности для источников света с разными углами наклона и получить калибровку по интенсивности для пикселов в FOV, освещенных конкретным источником света.

В одном варианте осуществления изобретения калибровка может быть выполнена следующим образом. Сначала плоскую калибровочную поверхность располагают в FOV фотокамеры на фокусном расстоянии оптического датчика. К источников света светят последовательно,и для каждого источника света получают по меньшей мере одно изображение энергетической яркости. Из каждого изображения извлекают вклады значений темного тока и/или минимального значения. Один возможный путь осуществить этот этап состоит в формировании изображения в отсутствиесвета и вычитании этого изображения из каждого изображения набора из К изображений. Далее каждое результирующее изображение делят на косинус угла наклона источника света, соответствующего изображению (это обеспечивает калибровку источников света с разных уровней при условии, что калибровочная поверхность является ламбертовой) и записывают результирующие изображения С_i(х,у). В качестве альтернативы могут быть использованы другие поверхности с известными функциями отражения с соответствующей коррекцией для угла наклона источника света. Для каждого изображения из набора К результирующих изображений записывают среднее значений пикселов. Более того, эти средние значения делят на наибольшее значение для набора и записывают этот набор нормированных средних как MeanNi. Набор К калибровочных карт определяют следующим образом:

СаlМар_i(х,у)=MeanN_i/C_i(x,y).

Вместо использования среднего значения пикселов для каждого калибровочного изображения можно рассмотреть максимальное значение, ли медиану, ли другие характеристические значения этих изображений и закончить набором нормированных максимумов,или медиан,или других характеристик для вычисления члена CalMapi(x,y).

Если не записано никаких калибровочных изображений, то калибровочные карты устанавливают равными 1 для каждого пиксела. При работе с калибровочными изображениями во всех предшествующих (и последующих) уравнениях необходимо заменить записанную интенсивность Ii(х,у) пиксела на следующее:

IC_i(x,y)=I_i(x,y) X СаlМар_i(х,у).

На втором этапе процедуры калибровки сформированные изображения делят на косинус угла наклона источника света, при этом предполагают, что калибровочная поверхность является ламбертовской, по меньшей мере, для используемого набора углов наклона. В качестве альтернативы может быть использована поверхность с другой, но известной функцией отражения с корректным делителем. Другой возможный этап может заключаться в том, чтобы обеспечить другим способом или с помощью другого устройства, чтобы все К источников света обладали одинаковой интенсивностью или разными, но известными интенсивностями. В этом случае необходимо осуществлять только последнюю упомянутую выше процедуру и используемое выражение является следующим:

СаlМар;(х,у)=Меаn_i/С_i(х,у).

Mean означает среднее значение i-ro калибровочного изображения. Тем не менее этот этап не является обязательным в случае, когда источники света расположены достаточно далеко от поверхности, так что можно считать, что они вырабатывают постоянную характеристику освещения поверхности.

Как показано на фиг.6, математическое описание отражения света от поверхности объекта в направлении фотокамеры потенциально подразумевает однократное отражение. Тем не менее учитывая высокую отражающую способность зеркальных материалов и выпуклую форму области капсюля использованной гильзы патрона, многократные отражения от поверхности объекта могут передавать интенсивность света от источника в фотокамеру. Это показано на фиг.7. Зеркальную поверхность последовательно освещают источником 1 и источником 2 и результат наблюдают с помощью фотокамеры. При освещении источником 1 ожидается высокая интенсивность в пикселе фотокамеры, соответствующем точке Р1 поверхности, так как благодаря локальному расположению поверхности, свет из источника 1 отражается внутри зеркального лепестка в общем направлении к фотокамере. Когда светит источник 2, мы не должны ожидать, что получится записать свет в пикселе фотокамеры, который соответствует точке Р1, так как в этой точке свет должен отразиться не в сторону фотокамеры. Тем не менее свет, достигающий точки Р2,из источника 2 отражается по направлению к точке Р1 с углом падения,близким к оптимальному углу отражения, в результате чего в пикселе фотокамеры, который соответствует точке Р1, запишут значительную интенсивность.

Когда в ходе решения получают локальный вектор, являющийся нормалью к поверхности в точке Р1 с интенсивностью, полученной от источника 1 и источника 2, алгоритм аппроксимации будет применяться к несовместимой информации, так как физическая модель этого алгоритма не учитывает многократные отражения. Обычно это приводит к недооценке локального наклона поверхности. Заметим, что масштаб поверхности, показанной на фиг.7, является сравнительно произвольным. Описанный эффект будет иметь место до тех пор, пока справедлива модель геометрической оптики, то есть если масштаб углубления больше нескольких микрон для видимого света. В случае более мелких деталей также могут происходить многократные отражения, и потребуется гораздо более сложное описание, включающее в себя волновую природу света. Следовательно, следы от инструментов и баллистические следы на зеркальных материалах в общем могут давать многократные отражения.

Не существует легкого пути решения этого вопроса, так как это переводит изначально локальное математическое описание в глобальное описание, которое усложняет численное решение до уровня, который не может быть осуществлен на практике. Такую проблему обычно решают итеративным образом, так как некоторое априорное знание формы поверхности нужно для оценки вкладов многократного отражения, но из-за нелинейной природы проблемы не гарантируется постепенное нахождение результата.

Предложенный здесь подход состоит в удалении вклада от источника для конкретного пиксела, если мы считаем, что записанная интенсивность для этого источника в этом месте значительно искажена из-за многократных отражений. Идентификацию интенсивности, искаженной многократными отражениями, поддерживают принципом, что функция, описывающая процесс отражения, является азимутально монотонной. Другими словами, если мы рассматриваем группу источников света, которые приблизительно обладают одинаковым углом наклона к оптической оси системы, но которые более или менее равномерно распределены вокруг этой оси (то есть они обладают различными азимутальными углами), то кривая зависимости полученной интенсивности от азимутального угла источника должна обладать единственным максимумом и этот максимум возникает для источника, который наиболее близок к плоскости, определяемой оптической осью и локальной нормалью N к поверхности.

На практике нужно анализировать набор полученных интенсивностей для конкретного пиксела следующим образом. Сначала перегруппировать интенсивности в подмножества со сравнимыми углами наклона источников света к оптической оси и упорядочить интенсивности в соответствии с азимутальными углами источников. Для конкретного подмножества, если кривая зависимости интенсивности от азимутального угла имеет только один максимум, то все интенсивности сохраняют для процедуры аппроксимации. И наоборот, если найдено много максимумов, определяют наиболее вероятный наилучший максимум. Это можно сделать, сравнивая позицию и форму максимума с позициями и формами максимумов в других подмножествах интенсивностей. Наилучший максимум должен повторяться более равномерно для всех подмножеств с разными углами наклона. Когда найден правильный максимум, все интенсивности, связанные с другими максимумами, удаляют из набора данных, для которого будет проводиться аппроксимация.

Аналогично, функция отражения также является монотонной относительно угла наклона для заданного азимутального угла и максимум, когда угол между N и оптической осью является половиной угла между L (направление на источник света) и оптической осью. Тем не менее для небольшого значения углов наклона (то есть для источников, расположенных рядом с оптической осью) азимутальный угол обладает меньшей значимостью. Также, так как функция отражения не является линейной и быстро изменяется в зависимости от L для заданного N, невозможно в одной схеме отражения записать высокие интенсивности как от подмножеств с малым углом наклона, так и от подмножеств с большим углом наклона. Таким образом, второй критерий используют для источников подмножеств с малым углом наклона (то есть приблизительно меньше 15°). Если максимальное записанное значение для заданного пиксела для подмножества с наибольшим углом наклона превосходит умноженное на k максимальное значение для подмножества с наименьшим углом наклона, то все интенсивности для наименьшего угла наклона удаляют из набора данных, для которого будут осуществлять аппроксимацию. Значение k обычно меньше 1 и его точное наилучшее значение зависит от разницы углов наклона двух подмножеств.

Описанные выше две технологии обращения с многократными отражениями обычно осуществляются для каждого пиксела FOV фотокамеры до процедуры нелинейной аппроксимации. Как ясно специалистам в рассматриваемой области, могут быть использованы другие способы определения записанных интенсивностей, для которых преобладают многократные отражения.

На фиг.8 показана структурная схема типового варианта осуществления приложения 112, выполняемого процессором 114 вычислительной системы 110 с фиг.1. Блок 802 управления светом таким образом управляет источниками 106 света, чтобы они светили последовательно, по одному. Блок 804 управления фотокамерой так управляет датчиком 102, чтобы он формировал изображения в соответствующие моменты времени и в соответствии с определенными ранее временами аккумулирования заряда, как описано выше. Каждое сформированное изображение принимают в блоке 806 приема изображений и передают в устройство 808 получения изображения.

В устройстве 808 получения изображения используют сформированные изображения для решения набора нелинейных уравнений, содержащих диффузный член и зеркальный член, что нужно для получения пространственной топографии Z(x, y). Как описано выше, это выполняют путем решения для каждого пиксела системы из К уравнений, определяемой из К изображений, уравнения связывают сформированную или откалиброванную энергетическую яркость I_i для i-го изображения с суммой диффузного члена и зеркального члена, которая зависит от локальной нормали к поверхности, направления освещения и/или направления обзора. Отображение вычисленной единичной нормали N к поверхности объединяют для получения топографии Z(x, y). Интерфейс 810 пользователя соединен с процессором 114. Интерфейс пользователя может содержать клавиатуру, дисплей и любые другие известные компоненты интерфейса пользователя, используемые для взаимодействия с вычислительной системой. Например, дисплей может быть использован для ввода и вывода, если экран является сенсорным. Специалистам в рассматриваемой области ясны различные другие варианты осуществления изобретения.

Может быть предусмотрена память 116,и процессор 114 может ее использовать для приема и хранения данных. Память может быть основной памятью, такой как высокоскоростное оперативное запоминающее устройство (ОЗУ), или может быть вспомогательным блоком хранения, таким как накопитель на жестких дисках, привод для гибких дисков или привод для магнитной пленки. Память может быть любым другим считываемым компьютером носителем информации, таким как постоянное запоминающее устройство (ПЗУ), или оптическим носителем информации, таким как видеодиск или компакт-диск. Заметим, что память 116 может быть внешним устройством для вычислительной системы.

Процессор 114 может получать доступ к памяти 116 для извлечения данных. Процессор 114 может являться любым устройством, которое может осуществлять операции с данными. Примерами являются центральный процессор (ЦП), процессор ввода-вывода, микропроцессор, графический процессор (ГП/ВП), физический процессор (ФП), цифровой сигнальный процессор и сетевой процессор. Приложение может быть соединено с процессором 114 и приспособлено для осуществления различных задач, как подробно описано выше. Ясно, что показанные на фиг.8 модули могут являться единым приложением или являться объединением двух или более приложений, соединенных с процессором 114.

В некоторых вариантах осуществления изобретения процессор 114 приспособлен для управления датчиком с целью формирования по меньшей мере одного изображения для каждого одного определенного времени аккумулирования заряда при включенном источнике света, который светит с постоянной интенсивностью. Для каждого пиксела каждого изображения из набора устройство 808 получения изображений будет определять, является ли этот пиксел достоверным, если его записанная интенсивность меньше заданного порога. Для каждой позиции пиксела в FOV устройство 808 получения изображений будет добавлять значения интенсивности достоверного пиксела набора, умноженные на значение, обратное для ветствующего времени аккумулирования заряда, и будет делить результат на количество достоверных пикселов в этой позиции, что делают для получения составного увеличенного изображения глубины цвета.

В некоторых вариантах осуществления изобретения набор из К источников света делят на J подмножеств, каждое из которых характеризуется определенным углом наклона. Значение J может быть равным двум или равным большему значению. На фиг.9 показан один типовой вариант осуществления источников света.

В некоторых вариантах осуществления изобретения К эффективных источников света получают из Q физических источников света и набора Р поворотов изучаемого объекта вокруг оптической оси датчика. Специалистам в рассматриваемой области известны способы повторного выравнивания сформированных изображений с набором изображений, которые не поворачивали. Повороты могут быть применены ко всему датчику или только к набору источников света, без влияния на общий принцип способа. Если вращают только набор источников света, то для всех К эффективных источников света нужна калибровочная карта. Если поворачивают объект (или датчик вместе с набором источников света), то калибровочная карта нужна только для Q физических источников света, но ее нужно применять к изображению до процедуры повторного выравнивания.

Хотя на структурных схемах показаны группы отдельных компонентов, взаимодействующих друг с другом с помощью отдельных соединений для сигналов данных, специалистам в рассматриваемой области ясно, что предпочтительные варианты осуществления изобретения являются объединением аппаратных и программных компонентов, при этом некоторые компоненты реализованы с помощью заданной функции или операции аппаратной или программной системы и многие показанные пути данных реализованы путем передачи данных в компьютерном приложении или операционной системе. Таким образом, показанная структура показана для эффективного понимания рассматриваемого предпочтительного варианта осуществления изобретения.

Ясно, что настоящее изобретение может быть осуществлено в виде способа, может быть осуществлено в виде системы, считываемого компьютером носителя информации или электрического или электромагнитного сигнала. Описанные выше варианты осуществления изобретения предназначены только для иллюстрации. Следовательно, объем изобретения ограничен только приложенной формулой изобретения.

Claims

1. Способ определения пространственной топографии Z(x,y) зеркальной поверхности объекта, характеризующийся тем, что:
освещают поверхность объекта последовательно из нескольких локализованных осевых позиций;
для каждого последовательного освещения поверхности объекта получают по меньшей мере одно изображение поверхности объекта с использованием датчика, который ориентирован, по существу, перпендикулярно общей плоскости поверхности объекта, в результате чего формируют набор изображений энергетической яркости с одним и тем же полем обзора (FOV);
используют изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x,y) векторов нормалей к поверхности; и
определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.

2. Способ по п.1, в котором дополнительно калибруют контрольную плоскость и заменяют контрольную плоскость указанным объектом до последовательного освещения поверхности объекта.

3. Способ по п.2, в котором на этапе калибровки контрольной плоскости:
располагают контрольную поверхность в поле обзора датчика на фокусном расстоянии от датчика;
освещают контрольную поверхность последовательно из указанных нескольких локализованных осевых направлений;
формируют по меньшей мере одно калибровочное изображение энергетической яркости при каждом последовательном освещении;
вычисляют набор характеристических значений C_i(x,y) для калибровочных изображений энергетических яркостей;
определяют максимальное характеристическое значение;
нормируют набор характеристических значений указанным максимальным значением для получения набора нормированных характеристик M_i и
получают набор калибровочных карт из изображений, обратных указанным калибровочным изображениям, деленным на нормированные характеристики M_i; при этом калиброванные изображения для источника i получают путем умножения полученного изображения на i-ю калибровочную карту.

4. Способ по п.1, в котором дополнительно используют поле N(x,y) векторов нормалей к поверхности для просмотра объекта с устройством рендеринга.

5. Способ по п.1, в котором при последовательном освещении поверхности объекта используют Q физических источников света и последовательность из Р поворотов объекта или физических источников света вокруг оси датчика с тем, чтобы получить К локализованных осевых направлений, где К>Q.

6. Способ по п.1, в котором при получении по меньшей мере одного изображения:
определяют набор из М различных значений времени аккумулирования заряда фотокамеры;
получают одно изображение с каждым из указанных определенных значений времени аккумулирования заряда, при этом получают М изображений;
вычисляют маску достоверности для каждого изображения и
вычисляют составное изображение, глубина цвета которого больше глубины цвета полученного изображения, и вычисляют составную маску достоверности, при этом используют одно изображение, полученное для каждого значения времени аккумулирования заряда, и соответствующие маски достоверности.

7. Способ по п.6, в котором при вычислении маски достоверности для каждого изображения:
устанавливают высокий порог ТН интенсивности и устанавливают низкий порог TL интенсивности; и
устанавливают значение mask(x,y) для каждого пиксела в одном изображении в виде функции от ТН и TL.

8. Способ по п.6, в котором при вычислении составного изображения и составной маски достоверности:
получают набор из М интенсивностей I_i(x,y) пикселов из М изображений;
получают М значений Mask_i(x,y) масок достоверности из масок достоверности для каждого изображения;
вычисляют временное значения для интенсивности составного изображения и
вычисляют составное изображение с большой глубиной цвета и соответствующую составную маску достоверности.

9. Способ по п.1, в котором на этапе использования изображений энергетической яркости для решения системы нелинейных уравнений решают для каждого пиксела из изображений энергетической яркости систему уравнений, связывающих полученную или калиброванную энергетическую яркость I_i для i-го изображения с суммой диффузного члена и зеркального члена, которая зависит от локальной нормали к поверхности, направления освещения и/или направления просмотра.

10. Способ по п.1, в котором дополнительно: удаляют из наборов изображений энергетической яркости эффекты многократных отражений от зеркальной поверхности объекта.

11. Система определения пространственной топографии Z(x,y) зеркальной поверхности объекта содержащая:
датчик для получения плоских изображений энергетических яркостей, при этом ось датчика, по существу, перпендикулярна общей плоскости объекта;
набор из К эффективных источников света, расположенных в нескольких локализованных осевых направлениях; и
считываемый компьютером носитель информации, на котором хранится программный код и в результате выполнения которого процессором:
К эффективных источников света освещают поверхность объекта последовательно из указанных нескольких локализованных осевых направлений;
датчик получает по меньшей мере одно изображение поверхности объекта при каждом последовательном освещении поверхности объекта, в результате получают набор изображений энергетической яркости с одним и тем же полем обзора (FOV);
используют изображения энергетической яркости для получения и решения множества систем нелинейных уравнений, содержащих диффузный член и зеркальный член, с тем, чтобы определить поле N(x,y) векторов нормалей к поверхности; и
определяют пространственную топографию Z(x,y) с использованием поля N(x,y) векторов нормалей к поверхности.

12. Система по п.11, в которой считываемый компьютером носитель информации дополнительно содержит программный код, исполняемый процессором для калибровки контрольной плоскости.

13. Система по п.12, в которой программный код для калибровки контрольной плоскости содержит программный код, при исполнении которого:
К эффективных источников света освещают контрольную поверхность последовательно из нескольких локализованных осевых направлений;
датчики получают по меньшей мере одно калибровочное изображение энергетической яркости при каждом последовательном освещении;
вычисляют набор характеристических значений C_i(x,y) для калибровочных изображений энергетических яркостей;
определяют максимальное характеристическое значение;
нормируют набор характеристических значений максимальным значением для получения набора нормированных характеристик M_i; и
получают набор калибровочных карт из изображений, обратных калибровочным изображениям, деленным на нормированные характеристики M_i; при этом калиброванные изображения для источника i получают путем умножения полученного изображения на i-ю калибровочную карту.

14. Система по п.11, в которой К эффективных источников света содержат Q физических источников света, установленных с возможностью поворота в положения, соответствующие указанным нескольким локализованным осевым направлениям.

15. Система по п.11, дополнительно содержащая стойку для поворота объекта в несколько локализованных осевых направлений для соответствия указанным нескольким локализованным осевым направлениям для К эффективных источников света.

16. Система по п.11, в которой К эффективных источников света разделены на несколько подсистем с различными углами наклона.

17. Система по п.11, в которой программный код для использования изображений энергетической яркости для решения системы нелинейных уравнений содержит программный код для решения для каждого пиксела из изображений энергетической яркости системы уравнений, связывающих полученную или калиброванную энергетическую яркость I_i для i-го изображения с суммой диффузного члена и зеркального члена, которая зависит от локальной нормали к поверхности, направления освещения и/или направления просмотра.

18. Система по п.11, в которой программный код для использования изображений энергетической яркости для получения и решения множества систем нелинейных уравнений также содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.

19. Считываемый компьютером носитель информации, характеризующийся тем, что содержит:
программный код модуля управления светом, исполняемый процессором, в результате чего К эффективных источников света последовательно освещают поверхность объекта из нескольких локализованных осевых направлений;
программный код модуля управления датчиком, исполняемый процессором, в результате чего датчик получает по меньшей мере одно изображение поверхности объекта при каждом последовательном освещении поверхности объекта, вследствие чего получают набор изображений энергетической яркости с одним и тем же полем обзора (FOV); и
программный код модуля получения топографии, исполняемый процессором, в результате чего получают и решают множество систем нелинейных уравнений, содержащих диффузный член и зеркальный член, для определения поля N(x,y) векторов нормалей к поверхности и пространственной топографии Z(x,y) с использованием указанного поля N(x,y) векторов нормалей к поверхности.

20. Считываемый компьютером носитель информации по п.19, в котором программный код модуля получения топографии дополнительно содержит программный код для удаления эффектов многократных отражений на зеркальной поверхности объекта.