RU2460137C1 - Способ определения пространственного сдвига изображений - Google Patents

Abstract

Изобретение относится к средствам обработки изображений. Техническим результатом является повышение точности определения пространственного сдвига изображений одной и той же сцены. В способе приводят изображения к одинаковому числу строк и столбцов, выбирают признаковые пространства для первого и второго изображений, формируют матрицы признаков, каждый элемент которых представляет собой вектор значений признаков пикселей, выбирают из матрицы признаков первого изображения множество элементов, для каждого элемента выбирают множество элементов из матрицы признаков второго изображения, формируют изображения, представляющие собой матрицы скалярных элементов, формируют матрицы значений оценок, аппроксимируют матрицы, определяют пространственный сдвиг второго изображения относительно первого изображения. 4 з.п. ф-лы, 12 ил.

Description

Изобретение относится к области обработки данных дистанционного зондирования и может быть использовано для решения задач обнаружения и распознавания в различных областях народного хозяйства. Эффективность дешифровки изображений объектов зачастую может быть достигнута только при совместной обработке видеоданных, соответствующих одной наблюдаемой сцене и получаемых в разное время или разными съемочными системами в различных спектральных зонах. Такие изображения отличаются друг от друга - имеют яркостные отличия. Для совместной обработки таких изображений требуется их высокоточное пространственное совмещение, зачастую с субпиксельной точностью, то есть с погрешностью до долей пикселя. Проблемы совмещения изображений возникают при дистанционном сборе данных в задачах дистанционного зондирования Земли, в биомедицинских приложениях, в материаловедении.

Одним из этапов выполнения пространственного совмещения является определение пространственного сдвига совмещаемых изображений или фрагментов изображений для дальнейшего определения параметров пространственно-ракурсного преобразования.

Изображения одних и тех же объектов, полученные в различных спектральных зонах или в разное время, даже при одинаковых ракурсах и масштабах, значительно отличаются друг от друга. Поэтому обычные корреляционные методы определения пространственного сдвига изображений могут оказаться неудовлетворительными [Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации - М.: Радио и связь, 1986, - 216 с.]. В настоящее время высокоточные полностью автоматические системы совмещения изображений с яркостными отличиями, не требующие вмешательства человека, разработаны лишь для узкого класса задач.

Известен способ того же назначения к заявленному изобретению по совокупности признаков, описанный в [Златопольский А.А., Современные проблемы дистанционного зондирования Земли из Космоса, 2006, т.3, №1, стр.99-101]. Способ называется способом «согласованного голосования» и включает в себя разбиение изображений на фрагменты (возможно перекрывающиеся), далее выбор фрагментов. В процедуре выбора фрагментов предусмотрено исключение тех фрагментов, которые практически не содержат рисунка. Такие участки автоматически помечают и исключают из дальнейшей процедуры. Затем для каждого фрагмента определяют сдвиг, при котором происходит его лучшее совпадение с аналогичным фрагментом другого изображения. Составляют таблицу, строка и столбец которой соответствует сдвигу, а значение элемента в данной строке и столбце соответствует количеству фрагментов, которые определили данный сдвиг. В полученной таким образом таблице находят максимум количества фрагментов. Номер соответствующих строки и столбца и определяет искомый сдвиг одного изображения относительно другого.

К причинам, препятствующим достижению указанного ниже технического результата при использовании известного способа, относятся следующие. Реализация способа затруднена сложностями выбора фрагментов и их отбраковки по признаку «не содержат рисунка». Для автоматизации процесса необходимо формализовать понятие «рисунка» и предложить алгоритм его отбраковки. Процедура выбора фрагментов также не определена. В слишком маленьких фрагментах практически не будет рисунка, либо появятся идентичные фрагменты, приводящие к ошибке определения сдвига. В то же время фрагмент не должен быть слишком большим, так как при этом существенно уменьшается число фрагментов, которые независимо друг от друга определяют сдвиг. Использование известного способа не обеспечивает субпиксельной точности и высокой достоверности (под достоверностью мы понимаем вероятность субпиксельного отличия определяемого значения сдвига от его истинного значения) при автоматическом определении сдвига изображений, полученных при различных условиях съемки различными системами.

Наиболее близким способом того же назначения к заявленному изобретению по совокупности признаков является способ определения пространственных сдвигов изображений [Аксенов О.Ю., Цифровая обработка сигналов, №3, 2005, стр.51-55], осуществляемый автором при решении задачи совмещения изображений одной и той же сцены. Способ принят за прототип.

Известный способ использует бинаризацию совмещаемых изображений. При осуществлении способа производят оценку гистограмм яркостей совмещаемых изображений, оценивают пороги бинаризации изображений, осуществляют бинаризацию изображений и разбивают изображения на образы, имеющие конечные размеры и соответствующие участкам изображений с определенными координатами. Затем осуществляют идентификацию образов, т.е. для каждого из образов одного изображения ищут соответствующий образ на втором изображении, определяют пространственный сдвиг каждого образа первого изображения относительно положения соответствующего образа на втором изображении. Для использования в процедуре определения сдвига изображений отбирают только те образы, которые содержат не менее определенного количества «ярких» - со значением «1» - точек. Пространственный сдвиг всего изображения оценивают как среднее значение сдвигов, полученных по всем образам.

К причинам, препятствующим достижению указанного ниже технического результата при использовании известного способа, относятся следующие. При автоматическом определении сдвига изображений, полученных в разное время и в разных спектральных диапазонах разными съемочными системами, использование для формирования образов участков изображений, сформированных на основе гистограмм яркостей, приводит к возникновению ошибок определения сдвига. Действительно, гистограммы яркостей несут ограниченную информацию, которая только в простых случаях позволяет выделить на изображениях образы, соответствующие одним и тем же объектам сцены. Количество образов, полученных способом-прототипом, весьма ограничено размером изображения и требованием, чтобы образ содержал не менее определенного количества «ярких» - со значением «1» - точек. Вследствие этого определяемое значение сдвига может значительно отличаться от истинного даже при высокой точности (при небольшом значении среднеквадратичного отклонения от среднего значения). Для более сложных изображений достоверность определения сдвига при автоматическом осуществлении способа-прототипа крайне мала.

Сущность изобретения заключается в следующем.

Задачей изобретения является повышение точности и достоверности определения пространственного сдвига изображений одной и той же сцены, при этом изображения могут быть получены в разное время и разными съемочными системами в различных спектральных диапазонах, а способ определения пространственного сдвига является полностью автоматическим.

Технический результат, который достигается при осуществлении заявляемого способа, заключается в повышении точности и достоверности определения пространственного сдвига изображений одной и той же сцены, полученных в разное время и/или в разных спектральных диапазонах разными съемочными системами. Пространственный сдвиг определяется полностью автоматически с достижением субпиксельной точности и высокой достоверности.

Указанный технический результат при осуществлении изобретения достигается тем, что в способе определения пространственного сдвига изображений, включающем получение двух исходных оцифрованных изображений одной и той же сцены одного масштаба и ракурса, формирование образов из исходных изображений, определение пространственного сдвига второго изображения относительно первого изображения, в соответствии с заявляемым техническим решением приводят изображения к одинаковому числу строк и столбцов, выбирают признаковые пространства для первого и второго изображений, где в качестве признаков используют яркость и/или модуль градиента яркости и/или текстурные признаки пикселей исходных изображений, для первого и второго изображения формируют матрицы признаков, соответственно

и

размером M×N, каждый элемент которых представляет собой соответственно P₁-и Р₂-мерный вектор значений признаков пикселей

;

,

где

,

,… - признаки пикселя с координатами (i,j) первого изображения;

,

,… - признаки пикселя с координатами (i,j) второго изображения;

i, j - текущий номер строки и столбца 1≤i≤N, 1≤j≤М;

N - число столбцов в исходных оцифрованных изображениях;

М - число строк в исходных оцифрованных изображениях;

P₁ - количество признаков первого изображения;

Р₂ - количество признаков второго изображения;

выбирают из матрицы признаков, соответствующей первому изображению, множество

элементов с различными по значению признаками и такими номерами строки и столбца, для которых выполняется условие d+1≤n_S ≤ N-d;

d+1≤ m_S ≤M-d, где (n_S, m_S) - номер соответственно строки и столбца выбранных элементов, s=1, 2,…H; Н - число выбранных элементов

с различными по значению признаками; d - величина предполагаемого сдвига, задаваемая из условия

;

для каждого элемента

выбирают множество элементов

размером (2d+1)×(2d+1) из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤d, |l|≤d, образы формируют в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

, которые определяют как

где

(i₀, j₀) - номер соответственно строки и столбца, 1≤i₀≤N-2d, 1≤j₀≤M-2d;

ρ - евклидово расстояние в пространстве признаков;

для каждого образа

составляют (2d+1)×(2d+1) пар с каждым из образов

и для каждой пары вычисляют значение оценки критериальной функции

, при этом в качестве критериальной функции используют корреляционное отношение или разностную критериальную функцию или коэффициент корреляции, формируют Н матриц

размером (2d+1)×(2d+1), элементами которых являются значения оценок критериальной функции, аппроксимируют матрицы гладкими непрерывными поверхностями

с областью определения

-d≤x≤d, -d≤y≤d, определяют значения

, в которых достигаются экстремумы поверхностей

, пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение

полученных значений

.

Если после приведения изображений к одинаковому числу строк и столбцов дополнительно осуществляют фильтрацию исходных изображений фильтрами различных частот, а в качестве признаков используют дополнительно яркость и/или модуль градиента яркости и/или текстурные признаки пикселей преобразованных путем фильтрации изображений, то возникает усиление технического результата, заключающееся в повышении точности и достоверности определения сдвига.

Если исходные изображения получают многоспектральными (под многоспектральным изображением понимаем векторно-значную функцию двух пространственных переменных

с компонентами {S₁(i,j), S₂(i,j),…, S_P(i,j)}, где S₁(i,j), S₂(i,j),…, S_P(i,j) - яркости спектральных составляющих многоспектрального изображения в точке с координатами (i,j)), а в качестве признаков используют яркости пикселей в спектральных диапазонах, в которых получены исходные изображения, то это характеризует одну из частных форм реализации изобретения.

Если после формирования Н матриц

производят дискретное преобразование Фурье и вычисляют Фурье-спектр каждой матрицы, суммируют все элементы Фурье-спектра каждой матрицы, выбирают матрицы

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм, аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц, то возникает усиление технического результата, заключающееся в повышении точности и достоверности определения сдвига.

Если в качестве критериальной функции используют корреляционное отношение или коэффициент корреляции и после формирования H матриц

выбирают матрицы

для которых соответствующие значения

где R_nop - пороговое значение, задаваемое в диапазоне 0,5≤R_nop<1; а аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц, то возникает усиление технического результата, заключающееся в повышении точности и достоверности определения сдвига. Совокупность вышеизложенных признаков изобретения связана причинно-следственной связью с техническим результатом изобретения.

При определении сдвига изображений одной и той же сцены, полученных в разное время или разными съемочными системами в различных спектральных зонах, для того, чтобы их яркостные отличия не приводили к ошибкам, сопоставляют не исходные изображения, а их образы.

В способе-прототипе образы формируют из участков бинаризованных изображений, имеющих не менее определенного числа точек, на основе гистограмм яркостей. В заявленном способе также формируют образы, но используют при этом не участки, а целые изображения с совокупностью признаков пикселей, привлекая для создания признакового пространства яркостные и/или градиентные, и/или текстурные признаки.

Количество используемых образов в прототипе не превышает величины отношения количества точек, составляющих изображение, к количеству точек, составляющих образ. Количество же образов, которые могут быть использованы для определения сдвига в заявленном способе, определяется количеством пикселей на изображениях, имеющих отличающиеся значения признаков, привлекаемых для создания признакового пространства. Таким путем можно сформировать существенно большее количество образов, чем в прототипе, и тем точнее определить сдвиг.

Достоверность определения сдвига зависит от того, насколько близко соответствие сопоставленных образов идентичным участкам изображаемой сцены.

В силу имеющихся яркостных отличий, одинаковые объекты сцены могут иметь признаки на первом изображении, отличающиеся от признаков на втором изображении. Задача формирования образов - отобразить схожим образом одинаковые объекты сцены на сопоставляемых изображениях. Чем больше используемое признаковое пространство, тем вероятнее формируемые образы при правильном совмещении пространственных координат соответствуют одинаковым объектам сцены, тем достовернее определяется сдвиг.

В заявленном способе образы соответствуют не участкам изображений, как в прототипе, а целым изображениям, вследствие чего отпадает необходимость для каждого из образов одного изображения искать соответствующий образ на втором изображении. Вместо идентификации образов мы осуществляем оценку наилучшего сходства образов. В заявленном способе сходство образов оценивается с помощью вычисления значений критериальной функции, и весь процесс определения сдвига производится полностью автоматически. Использование в качестве критериальной функции корреляционного отношения, или разностной критериальной функции, или коэффициента корреляции позволяет достичь заявленного результата.

В заявленном способе при определении сдвига используется гладкая поверхность, аппроксимирующая матрицу оценок критериальной функции. Поверхность непрерывна и имеет экстремум в точке с координатами, имеющими значения, описываемые действительными числами. Такая обработка результатов также повышает точность определения сдвига и, как показали наши оценки, позволяет определить сдвиг с субпиксельной точностью.

Как следует из вышеизложенного, не имеет значения, каким образом получены исходные изображения. Изображения одной и той же сцены могут быть получены в разное время и/или в разных спектральных диапазонах разными съемочными системами. Если изображения не являются оцифрованными, то их переводят в растровый цифровой формат с одинаковым масштабом и одинаковым числом строк и столбцов известными способами.

Фильтрация исходных изображений фильтрами различных частот и использование в качестве признаков дополнительно яркостей пикселей преобразованных путем фильтрации изображений расширяет признаковое пространство, в результате повышается достоверность и точность определения сдвига.

В том случае, когда в качестве исходных изображений используются многоспектральные изображения, возможно использовать в качестве признаков яркости пикселей в спектральных диапазонах, в которых получены исходные изображения.

Осуществление после формирования Н матриц

дискретного преобразования Фурье и вычисление Фурье-спектра каждой матрицы, суммирование всех элементов Фурье-спектра каждой матрицы, далее выбор матриц

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм, позволяет осуществить «отбраковку» матриц

, не в полной мере подходящих для оценки сдвига из-за наличия множества локальных экстремумов, свидетельствующих о ненадежности определения сдвига. Аппроксимация гладкими непрерывными поверхностями выбранных матриц

позволяет достичь усиления результата - повысить достоверность и точность определения сдвига.

Сравнение матриц

по максимальному значению входящих в них элементов и выбор тех матриц

, для которых соответствующие значения

где R_nop - пороговое значение, задаваемое в диапазоне 0,5≤R_nop≤1, когда в качестве критериальной функции используют корреляционное отношение или коэффициент корреляции, позволяет осуществить «отбраковку» матриц

, не в полной мере подходящих для оценки сдвига из-за малых значений критериальной функции, свидетельствующего о несходстве образов. Аппроксимация гладкими непрерывными поверхностями выбранных матриц

позволяет достичь усиления результата - повысить достоверность и точность определения сдвига.

На Фиг.1 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в видимом диапазоне, соответствующем красному участку R диапазона, и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения предоставлены компанией СЗЦ «ЭкоЛаб». На Фиг.1А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.1В - изображение в видимой области, соответствующее диапазону R (принято за второе изображение). Изначально изображения не имели пространственного сдвига. Для демонстрации метода был произведен сдвиг второго изображения относительно первого на 0 пикселя по столбцам и -3 пикселя по строкам. На Фиг.1А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.1В - изображение в видимой области, соответствующее диапазону R (принято за второе изображение). Размеры изображений 236×366 пикселей. На Фиг.1С на координатной плоскости ХОУ представлены оценки сдвига второго изображения относительно первого с использованием признаков яркости пикселей и модуля градиента яркости пикселей. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.2 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.2А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.2В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.2С на координатной плоскости представлены оценки сдвига второго изображения относительно первого с использованием для обоих изображений признака яркости пикселей. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.3 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.3А - изображение в ИК диапазоне (принято за первое изображение), на Фиг.3В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.3С на координатной плоскости представлены оценки сдвига второго изображения относительно первого с использованием текстурной характеристики - вариации яркости пикселя, вычисленной по смежным пикселям со скользящим окном 3×3. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.4 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на (0) пикселя по столбцам и (-2,5) пикселя по строкам. На Фиг.4А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.4В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.4С на координатной плоскости представлены оценки сдвига второго изображения относительно первого с использованием текстурной характеристики - среднего значения яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3). Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.5 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на (0) пикселя по столбцам и (-2,5) пикселя по строкам. На Фиг.5А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.5В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.5С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.6 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.6А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.6В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.6С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3. В качестве критериальной функции использовано корреляционное отношение. Сдвиги были оценены лишь по тем матрицам критериальных функций

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм элементов Фурье-спектра, вычисленных для каждой из матриц

. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумыповерхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.7 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на (0) пикселя по столбцам и (-2,5) пикселя по строкам. На Фиг.7А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.7В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.7С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3. В качестве критериальной функции использовано корреляционное отношение. Сдвиги были оценены лишь по тем матрицам критериальных функции

, для которых соответствующие значения

«Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей . Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.8 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.8А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.8В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.8С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.9 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.9А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.9В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.9С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3х3, яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений. В качестве критериальной функции использовано корреляционное отношение. Сдвиги были оценены лишь по тем матрицам критериальных функций

для которых соответствующие значения

«Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

в которых достигаются экстремумы поверхностей

Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.10 представлены два изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в разное время года - соответственно, в апреле и в августе, предоставленные компанией СЗЦ «ЭкоЛаб». Изображения являются многоспектральными. Эти многоспектральные изображения имеют по 4 канала: три - в видимом диапазоне (R, G, B) и один канал - в ИК-диапазоне. Для демонстрации метода были взяты фрагменты этих изображений размером 400×400 пикселей. Изображение, полученное в апреле, было принято за первое изображение изображение, полученное в августе, принято за второе изображение. На Фиг.10А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.10В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Для первого и для второго изображения в качестве признаков использовалась яркость пикселей R,G,B и ИК-диапазонов. В качестве критериальной функции была использована разностная критериальная функция. Сдвиги были оценены лишь по тем матрицам критериальных функций

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм элементов Фурье-спектра, вычисленных для каждой из матриц

. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

в которых достигаются экстремумы поверхностей

На Фиг.10С на координатной плоскости «точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

в которых достигаются экстремумы поверхностей

Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. Сдвиг, определенный как

, представлен на фигуре 10С точкой пересечения штрихпунктирных прямых линий. Вокруг точки определенного таким образом сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.11 представлены два изображения, полученных в результате дистанционного зондирования одной и той же сцены земной поверхности в разное время года - соответственно, в апреле и в августе, предоставленных компанией СЗЦ «ЭкоЛаб». Изображения являются многоспектральными. Эти многоспектральные изображения имеют по 4 канала: три - в видимом диапазоне (R,G,B) и один канал - в ИК-диапазоне. Для демонстрации метода были взяты фрагменты этих изображений размером 50×60 пикселей. Изображение, полученное в апреле, было принято за первое изображение изображение, полученное в августе, принято за второе изображение. На Фиг.11А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.11В представлено изображение, полученное в августе, в виде четырех составляющих его компонент.В качестве признаков и для первого изображения, и для второго изображения использовалась яркость пикселей исходных изображений, всех четырех диапазонов. В качестве критериальной функции использован коэффициент корреляции. На Фиг.11С на координатной плоскости «точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. Сдвиг, определенный как

, представлен на фигуре 11С точкой пересечения штрихпунктирных прямых линий. Вокруг точки определенного таким образом сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

На Фиг.12 представлены два изображения, полученных в результате дистанционного зондирования одной и той же сцены земной поверхности в разное время года - соответственно, в апреле и в августе, предоставленных компанией СЗЦ «ЭкоЛаб». Изображения являются многоспектральными. Эти многоспектральные изображения имеют по 4 канала: три - в видимом диапазоне (R, G, B) и один канал - в ИК-диапазоне. Для демонстрации метода были взяты фрагменты этих изображений размером 50×60 пикселей. Изображение, полученное в апреле, было принято за первое изображение изображение, полученное в августе, принято за второе изображение. На Фиг.12А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.12В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. В качестве признаков и для первого изображения, и для второго изображения использовалась яркость пикселей исходных изображений, всех четырех диапазонов. В качестве критериальной функции использован коэффициент корреляции. Сдвиги были оценены лишь по тем матрицам критериальных функций

, для которых соответствующие значения

На Фиг.12С на координатной плоскости «точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей

. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. Сдвиг, определенный как

, представлен на фигуре 12С точкой пересечения штрихпунктирных прямых линий. Вокруг точки определенного таким образом сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.

Работа способа иллюстрируется следующими примерами конкретного выполнения.

Пример 1. В результате дистанционного зондирования одной и той же сцены земной поверхности были получены изображения в видимом диапазоне, соответствующем красному участку (R) диапазона, и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения предоставлены компанией СЗЦ «ЭкоЛаб». Изначально эти изображения не имели пространственного сдвига. Для демонстрации метода был произведен сдвиг второго изображения относительно первого на 0 пикселей по столбцам и -3 пикселя по строкам. Изображение ИК-диапазона (Фиг.1А) было принято за первое изображение, изображение, соответствующее участку R диапазона, (Фиг.1В) - за второе. Были взяты фрагменты этих изображений размером 236×366 пикселей. Полученные таким образом изображения стали исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовалась яркость пикселей х¹ и модуль градиента яркости пикселей х². Для получения градиентных характеристик х² была произведена оценка модуля градиента яркости для каждого пикселя каждого из изображений с использованием соотношений, взятых из [Дуда, П.Харт, Распознавание образов и анализ сцен, Москва, «Мир», 1976, с.511]. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой 2-мерный вектор значений признаков пикселей исходных изображений:

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, которое в данном случае составило 485. Предполагалось, что величина предполагаемого сдвига d=5. Для номеров строки и столбца (n_S,m_S) выполнялось условие 6≤n_S≤231, 6≤m_S≤361, s=1,2,…H.

Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

, которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀<226, 1≤j₀≤356;

ρ - евклидово расстояние в пространстве признаков;

для каждого из 485 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

, сформировали 485 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения -5≤x≤5, -5≤y≤5, определили значения

, в которых достигаются экстремумы поверхностей

, пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение

полученных значений.

В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю. Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Таким образом было получено 485 действительных значений сдвига в пикселях. Эти значения представлены на Фиг.1C в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 485 значений сдвигов:

=0,079 пикселей,

=-2,653 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,55 пикселей и по оси ОУ: σу=1,03 пикселей.

Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=485 использованных образов первого изображения, равных числу полученных значений сдвигов. В нашем примере при Δ=0.5 значение D=0,6 пикселей; при Δ=1 значение D=0,76 пикселей; при Δ=1.5 значение D=0,91 пикселей. Эти области отличий от значения истинного сдвига представлены на фигуре 1C окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 2. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.2А), изображение видимого диапазона - за второе (Фиг.2В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовалась яркость пикселей х¹. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой одномерный вектор значений признаков пикселей исходных изображений:

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 74. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s,m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1,2,…74. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

, которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀<40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 74 образов

составили 121 (11×11) пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Затем сформировали 74 матрицы

размером 11×11, элементами которых являются значения оценок критериальной функции, и аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения

-5≤x≤5, -5≤у≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом было получено 74 действительных значений оценок сдвига. Эти значения представлены на Фиг.2С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных 74 значений сдвигов:

=-0,004 пикселей,

=-2,549 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,31 пикселей и по оси ОУ: σу=0,38 пикселей. Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=74 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,76; при Δ=1 значение D=0,97; при Δ=1.5 значение D=0,99.

Эти области отличий от истинного сдвига представлены на фигуре 2С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 3. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.3А), изображение видимого диапазона - за второе (Фиг.3В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений х¹ использовалась текстурная характеристика пикселей - значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3х3. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой одномерный вектор значений признаков пикселей исходных изображений:

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 161. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_S,m_S) выполнялось условие 6≤n_S<45; 6≤m_S<55, s=1,2,…161. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 161 образов

составили 121 пару с каждым из образов

, и для каждой пары вычислили значение оценки критериальной функции

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.]. Затем сформировали 161 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, и аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения -5≤x≤5, -5≤y≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом было получено 161 действительных значений оценок сдвига. Эти значения представлены на Фиг.3С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ.

Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение

полученных 161 значений сдвигов:

=-0,22 пикселей,

=-3,36 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,39 пикселей и по оси ОУ: σу=0,55 пикселей. Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=161 использованных образов первого изображения. В нашем примере при Δ=0.5 значение Δ=0,22; при Δ=1 значение D=0,6; при Δ=1.5 значение D=0,75. Эти области отличий от истинного сдвига представлены на фигуре 3С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 4. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.4А), изображение видимого диапазона - за второе (Фиг.4В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений х¹ использовалась текстурная характеристика пикселей - среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3). Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Barman, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images, "Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой одномерный вектор значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, H в данном случае составило 188. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1, 2,…188. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 188 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.]. Затем сформировали 188 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения -5≤х≤5, -5≤у≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом было получено 188 действительных значений оценок сдвига. Эти значения представлены на Фиг.4С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 161 значений сдвигов:

=-0,19 пикселей,

=-1,85 пикселей. Были вычислены также среднеквадратичные отклонения сдвига ОХ: σх=0,48 пикселей и по оси ОУ: σу=0,68 пикселей. Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=188 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,33; при Δ=1 значение D=0,6; при Δ=1.5 значение D=0,86. Эти области отличий от истинного сдвига представлены на фигуре 4С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 5. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.5А), изображение видимого диапазона - за второе (Фиг.5В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовались: яркость пикселей х¹, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3) х² и значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х³. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, Н., A. Bannari, D.С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images, "Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 3-мерные векторы значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, H в данном случае составило 1808. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s<55, s=1,2,…1808. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

, которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 1808 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Затем сформировали 1808 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения

-5≤x≤5, -5≤у≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом было получено 1808 действительных значений оценок сдвига по образам. Эти значения представлены на Фиг.5С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 1808 значений сдвигов:

=-0,059 пикселей,

=-2,387 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,496 пикселей и по оси ОУ: σу=0,697 пикселей.

Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу Н=1808 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,465; при Δ=1 значение D=0,82; при Δ=1.5 значение D=0,94. Эти области отличий от истинного сдвига представлены на фигуре 5С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 6. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.6А), изображение видимого диапазона - за второе (Фиг.6В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовались: яркость пикселей х¹, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3) х² и значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х³. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 3-мерные векторы значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1808. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1,2,… 1808. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 1808 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Затем сформировали 1808 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции. Далее из этих матриц выбрали матрицы

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм. Таких матриц оказалось 100. Затем аппроксимировали каждую из этих матриц гладкой непрерывной поверхностью

с областью определения -5≤x≤5, -5≤у≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом, было получено 100 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.6С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 100 значений: по оси OX

=-0,06 пикселей, по оси ОУ

=-2.305 пикселей. Значения координат истинного сдвига представлены на фигуре 6С точкой пересечения штрихпунктирных прямых линий. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,127 пикселей и по оси ОУ: σу=0,294 пикселей.

Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу Н=100 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,71; при Δ=1 значение D=1; при Δ=1.5 значение D=1. Эти области отличий от истинного сдвига представлены на фигуре 6С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 7. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.7А), изображение видимого диапазона - за второе (Фиг.7В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовались: яркость пикселей х¹, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3) х² и значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х³. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Barman, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 3-мерные векторы значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1808. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤n_s≤55, s=1,2,… 1808. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

множества X₁ и

для каждого из множеств

которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 1808 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Затем сформировали 1808 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции. Далее из этих матриц выбрали матрицы

, для которых соответствующие значения

Таких матриц оказалось 222. Аппроксимировали каждую из выбранных матриц и

гладкими непрерывными поверхностями

с областью определения -5≤x≤5, -5≤y≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом, было получено 222 действительных значений в пикселях оценок сдвига по образам. Эти значения представлены на Фиг.7С в виде точек, представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 222 значений: по оси ОХ

=0,033 пикселей, по оси ОУ

=-2,27 пикселей. Значения координат истинного сдвига представлены на Фиг.7С точкой пересечения штрихпунктирных прямых линий. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,13, по оси ОУ: σу=0,23 пикселей.

Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу Н=222 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,772; при Δ=1 значение D=0,995; при Δ=1.5 значение D=1. Эти области отличий от истинного сдвига представлены на Фиг.7С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 8. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.8А), изображение видимого диапазона - за второе (Фиг.8 В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.

Была произведена обработка исходных изображений фильтром высокой частоты с окном следующего вида:

-1	-1	-1
-1	8	-1
-1	-1	-1

В качестве признаков пикселей оцифрованных исходных изображений использовались: х¹ - яркость пикселей, х² -среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), х³ - значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х⁴ - яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений.

Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245].

Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1876. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1, 2,… 1876. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 1876 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Затем сформировали 1876 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения

-5≤х≤5, -5≤y≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом, было получено 1876 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.8С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ.

Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 1876 значений: по оси OX

=-0,058 пикселей, по оси ОУ

=-2,432 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,71 пикселей и по оси ОУ: σу=0,93 пикселей.

Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=1876 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,32; при Δ=1 значение D=0,695; при Δ=1.5 значение D=0,856. Эти области отличий от истинного сдвига представлены на Фиг.8С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 9. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.9А), изображение видимого диапазона - за второе (Фиг.9В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.

Была произведена обработка исходных изображений фильтром высокой частоты с окном следующего вида:

-1	-1	-1
-1	8	-1
-1	-1	-1

В качестве признаков пикселей оцифрованных исходных изображений использовалась яркость пикселей х¹, х² - среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), х³ - значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, в качестве признаков х⁴ использовалась яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений.

Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве H элементов с различными по значению признаками, H в данном случае составило 1876. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1,2,…1876. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили как

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 1876 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю. Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Затем сформировали 1876 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, из этих матриц выбрали матрицы

, для которых соответствующие значения

Таких матриц оказалось 66. Аппроксимировали каждую из этих матриц гладкой непрерывной поверхностью

c областью определения -5≤x≤5, -5≤y≤5, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом, было получено 66 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.9С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ.

Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 66 значений: по оси OX

=0,033 пикселей, по оси ОУ

=-2,575 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σx=0,138 пикселей и по оси ОУ: σу=0,357 пикселей.

Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=66 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,783; при Δ=1 значение D=1; при Δ=1.5 значение D=1. Эти области отличий от истинного сдвига представлены на фигуре 9С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.

Пример 10. В результате дистанционного зондирования одной и той же сцены земной поверхности со спутника в апреле и в августе были получены два многоспектральных изображения. [Изображения предоставлены компанией СЗЦ «ЭкоЛаб».] Пиксели этого многоспектрального изображения имеют 4-мерные векторные компоненты, соответствующие яркостям в диапазонах R, G, В и в ИК-диапазоне. Все четыре изображения, полученные в апреле месяце, не имеют относительно друг друга сдвигов, и все четыре изображения, полученные в августе месяце, не имеют относительно друг друга сдвигов. На Фиг.10А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.10В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Эти изображения размером 400×400 служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.

Признаковое пространство и для первого, и для второго изображений было сформировано следующим образом. В качестве признаков х¹(i, j) использовалась яркость пикселей исходного изображения, соответствующего ИК-излучению, а в качестве признаков х²(i,j) - яркость пикселей исходного изображения, соответствующего красному диапазону (диапазону R) длин волн, в качестве признаков х³(i,j) - яркость пикселей исходного изображения, соответствующего зеленому диапазону (диапазону G) длин волн, в качестве признаков х⁴(i,j) - яркость пикселей исходного изображения, соответствующего голубому диапазону длин волн (диапазону В). Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1876. Предполагалось, что значение возможного сдвига d=10. Для номеров строки и столбца (n_s, m_s) выполнялось условие 11≤n_s≤390; 11≤m_s≤390, s=1,2,…2381. Затем для каждого элемента

выбрали множество элементов

размером 441 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤10, |l|≤10, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤380, 1≤j₀≤380;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 2381 образов

составили 441 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. В качестве критериальной функции в данном примере была взята разностная критериальная функция [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].

Затем сформировали 2381 матриц

размером 21×21, элементами которых являются значения оценок критериальной функции. После формирования матриц произвели дискретное преобразование Фурье каждой из матриц, вычислили Фурье-спектр и суммировали все элементы Фурье-спектра каждой из матриц. Затем выбирали из 2381 те матрицы

, сумма элементов Фурье-спектра которых превосходила не более чем в 1,1 раза минимальную из всех сумм. Таких матриц оказалось 50. Аппроксимацию матриц гладкими непрерывными поверхностями с областью определения -10≤х≤10, -10≤у≤10 осуществили для 50 выбранных матриц. Таким образом было получено 50 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.10С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных значений 50 значений: по оси ОХ

=6,73 пикселей, по оси ОУ

=-l,73 пикселей. Вычислено также среднеквадратичное отклонение оценок сдвига по оси ОХ: σx=0,24 пикселей и по оси ОУ: σу=0,20 пикселей. Сдвиг, определенный как

, представлен на фигуре 10С точкой пересечения штрихпунктирных прямых линий. Окружности на фигуре 10С с центром в точке

имеют соответственно радиусы 0,5 пикселя, 1 пиксель, 1,5 пикселя. Таким образом, сдвиг определен с субпиксельной точностью.

Пример 11. В результате дистанционного зондирования одной и той же сцены земной поверхности со спутника в апреле и в августе были получены два многоспектральных изображения. [Изображения предоставлены компанией СЗЦ «ЭкоЛаб».] Пиксели этого многоспектрального изображения имеют 4-мерные векторные компоненты, соответствующие яркостям в диапазонах R, G, В и в ИК-диапазоне. Все четыре изображения, полученные в апреле месяце, не имеют относительно друг друга сдвигов, и все четыре изображения, полученные в августе месяце, не имеют относительно друг друга сдвигов. На Фиг.11А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.11В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Фрагменты этих изображений размером 50×60 служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.

Признаковое пространство и для первого, и для второго изображений было сформировано следующим образом. В качестве признаков х¹(i,j) использовалась яркость пикселей исходного изображения, соответствующего ИК-излучению, а в качестве признаков х² (i,j) - яркость пикселей исходного изображения, соответствующего красному диапазону (диапазону R) длин волн, в качестве признаков х³(i,j) - яркость пикселей исходного изображения, соответствующего зеленому диапазону (диапазону G) длин волн, в качестве признаков х⁴(i,j) - яркость пикселей исходного изображения, соответствующего голубому диапазону длин волн (диапазону В). Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1167. Величина предполагаемого сдвига предполагалась равной 10 пикселей: d=10. Для номеров строки и столбца (n_s, m_s) выполнялосьусловие 11≤n_s≤40; 11≤m_s≤50, s=1, 2,… 1167.

Затем для каждого элемента

выбрали множество элементов

размером 441 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤10, |l|≤10, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили как

где

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤380, 1≤j₀≤380;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 1167 образов

составили 441 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. Далее сформировали 1167 матриц

размером 21×21, элементами которых являются значения оценок критериальной функции. При этом в качестве критериальной функции в данном примере был взят коэффициент корреляции [Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации - М.: Радио и связь, 1986, - 216 с.]. Затем аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения -10≤х≤10, -10≤у≤10, определили значения

, в которых достигаются экстремумы поверхностей

, пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение

полученных значений.

Таким образом, было получено 1167 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.11C в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных значений 1167 значений: по оси ОХ:

=4,71 пикселей, по оси ОУ:

=2,28 пикселей. Вычислено также среднеквадратичное отклонение оценок сдвига по оси ОХ: σх=1,6 пикселей и по оси ОУ: σу=1,3 пикселей. Сдвиг, определенный как

, представлен на фигуре 11С точкой пересечения штрихпунктирных прямых линий. Окружности на фигуре 11С с центром в точке

имеют соответственно радиусы 0,5 пикселя, 1 пиксель, 1,5 пикселя.

Пример 12. В результате дистанционного зондирования одной и той же сцены земной поверхности со спутника в апреле и в августе были получены два многоспектральных изображения. [Изображения предоставлены компанией СЗЦ «ЭкоЛаб».] Пиксели этого многоспектрального изображения имеют 4-мерные векторные компоненты, соответствующие яркостям в диапазонах R, G, В и в ИК-диапазоне. Все четыре изображения, полученные в апреле месяце, не имеют относительно друг друга сдвигов, и все четыре изображения, полученные в августе месяце, не имеют относительно друг друга сдвигов. На Фиг.12А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.12В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Фрагменты этих изображений размером 50×60 служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.

Признаковое пространство и для первого, и для второго изображений было сформировано следующим образом. В качестве признаков х¹(i,j) использовалась яркость пикселей исходного изображения, соответствующего ИК-излучению, а в качестве признаков х²(i,j) - яркость пикселей исходного изображения, соответствующего красному диапазону (диапазону R) длин волн, в качестве признаков х³(i,j) - яркость пикселей исходного изображения, соответствующего зеленому диапазону (диапазону G) длин волн, в качестве признаков x⁴(i,j) - яркость пикселей исходного изображения, соответствующего голубому диапазону длин волн (диапазону В). Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:

;

.

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1167. Величина предполагаемого сдвига предполагалась равной 10 пикселей: d=10. Для номеров строки и столбца (n_s, m_s) выполнялось условие 11≤n_s≤40; 11≤m_s≤50, s=1, 2,…1167.

Затем для каждого элемента

выбрали множество элементов

размером 441 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤10, |l|≤10, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

множества X₁ и

для каждого из множеств

которые определили как

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤380, 1≤j₀≤380;

ρ - евклидово расстояние в пространстве признаков.

Для каждого из 1167 образов

составили 441 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

. Далее сформировали 1167 матриц

размером 21×21, элементами которых являются значения оценок критериальной функции. При этом в качестве критериальной функции в данном примере был взят коэффициент корреляции [Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации - М.: Радио и связь, 1986, - 216 с.]. Затем из этих матриц выбрали матрицы

, для которых соответствующие значения

Таких матриц оказалось 242. Аппроксимировали каждую из выбранных матриц

гладкими непрерывными поверхностями

c областью определения -10≤х≤10, -10≤у≤10, определили значения

, в которых достигаются экстремумы поверхностей

. Таким образом, было получено 242 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.12С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных значений 242 значений: по оси ОХ:

=4,64 пикселей, по оси ОУ:

=2,36 пикселей. Вычислено также среднеквадратичное отклонение оценок сдвига по оси ОХ: σх=0,33 пикселей и по оси ОУ: σу=0,28 пикселей. Сдвиг, определенный как

, представлен на фигуре 12С точкой пересечения штрихпунктирных прямых линий. Окружности на фигуре 12С с центром в точке

имеют соответственно радиусы 0,5 пикселя, 1 пиксель, 1,5 пикселя. Таким образом, сдвиг определен с субпиксельной точностью.

Claims (5)

1. Способ определения пространственного сдвига изображений, включающий получение двух исходных оцифрованных изображений одной и той же сцены одного масштаба и ракурса, формирование образов из исходных изображений, определение пространственного сдвига второго изображения относительно первого изображения, отличающийся тем, что приводят изображения к одинаковому числу строк и столбцов, выбирают признаковые пространства для первого и второго изображений, где в качестве признаков используют яркость, и/или модуль градиента яркости, и/или текстурные признаки пикселей исходных изображений, для первого и второго изображения формируют матрицы признаков соответственно

и

размером M×N, каждый элемент которых представляет собой соответственно P₁ и Р₂ - мерный вектор значений признаков пикселей

… - признаки пикселя с координатами (i,j) первого изображения;

,

, … - признаки пикселя с координатами (i,j) второго изображения;
i,j - текущий номер строки и столбца 1≤i≤N, 1≤j≤M;
N - число столбцов в исходных оцифрованных изображениях;
М - число строк в исходных оцифрованных изображениях;
P₁ - количество признаков первого изображения;
P₂ - количество признаков второго изображения;
выбирают из матрицы признаков, соответствующей первому изображению, множество

элементов с различными по значению признаками и такими номерами строки и столбца, для которых выполняется условие d+1≤n_s≤N-d; d+1≤m_s≤M-d, где (n_s, m_s) - номер соответственно строки и столбца выбранных элементов, s=1, 2, …Н; Н - число выбранных элементов

с различными по значению признаками; d - величина предполагаемого сдвига, задаваемая из условия

для каждого элемента

выбирают множество элементов

размером (2d+1)·(2d+1) из матрицы признаков

соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤d, |l|≤d, образы формируют в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определяют как

(i₀, j₀) - номер соответственно строки и столбца, 1≤i₀≤N-2d, 1≤j₀≤M-2d;
ρ - евклидово расстояние в пространстве признаков;
для каждого образа

составляют (2d+1)·(2d+1) пар с каждым из образов

и для каждой пары вычисляют значение оценки критериальной функции

при этом в качестве критериальной функции используют корреляционное отношение, или разностную критериальную функцию, или коэффициент корреляции, формируют H матриц

размером (2d+1)·(2d+1), элементами которых являются значения оценок критериальной функции, аппроксимируют матрицы гладкими непрерывными поверхностями

с областью определения
-d≤x≤d, -d≤y≤d, определяют значения

в которых достигаются экстремумы поверхностей

пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение

полученных значений

2. Способ по п.1, отличающийся тем, что дополнительно осуществляют фильтрацию исходных изображений фильтрами различных частот, а в качестве признаков используют дополнительно яркость, и/или модуль градиента яркости, и/или текстурные признаки пикселей преобразованных путем фильтрации изображений.

3. Способ по п.1, отличающийся тем, что получают многоспектральные исходные изображения, а в качестве признаков используют яркости пикселей в спектральных диапазонах, в которых получены исходные изображения.

4. Способ по пп.1-3, отличающийся тем, что после формирования Н матриц

производят дискретное преобразование Фурье и вычисляют Фурье-спектр каждой матрицы, суммируют все элементы Фурье-спектра каждой матрицы, выбирают матрицы

сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм, аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц.

5. Способ по пп.1-3, отличающийся тем, что при использовании в качестве критериальной функции корреляционного отношения или коэффициента корреляции после формирования Н матриц

выбирают матрицы

для которых соответствующие значения

где R_пор - пороговое значение, задаваемое в диапазоне 0,5≤R_пор≤1, аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц.

Images