RU2460137C1

RU2460137C1 - Method of determining spatial shift of images

Info

Publication number: RU2460137C1
Application number: RU2011123714/08A
Authority: RU
Inventors: Татьяна Анатольевна Шереметьева (RU); Татьяна Анатольевна Шереметьева; Геннадий Николаевич Филиппов (RU); Геннадий Николаевич Филиппов
Priority date: 2011-06-02
Filing date: 2011-06-02
Publication date: 2012-08-27

Abstract

FIELD: information technology.

SUBSTANCE: method involves converting an image to an equal number of rows and columns; selecting feature space for the first and second images; generating feature matrices, each element of which is a vector of pixel feature values; a plurality of elements is selected from the feature matrix of the first image; for each element, a plurality of elements is selected from the feature matrix of the second image; images are formed, which are matrices of scalar elements; a matrices of estimate values are formed; the matrices are approximated; the spatial shift of the second image relative the first image is determined.

EFFECT: high accuracy of determining spatial shift of images of the same scene.

5 cl, 12 dwg

Description

Изобретение относится к области обработки данных дистанционного зондирования и может быть использовано для решения задач обнаружения и распознавания в различных областях народного хозяйства. Эффективность дешифровки изображений объектов зачастую может быть достигнута только при совместной обработке видеоданных, соответствующих одной наблюдаемой сцене и получаемых в разное время или разными съемочными системами в различных спектральных зонах. Такие изображения отличаются друг от друга - имеют яркостные отличия. Для совместной обработки таких изображений требуется их высокоточное пространственное совмещение, зачастую с субпиксельной точностью, то есть с погрешностью до долей пикселя. Проблемы совмещения изображений возникают при дистанционном сборе данных в задачах дистанционного зондирования Земли, в биомедицинских приложениях, в материаловедении.The invention relates to the field of processing remote sensing data and can be used to solve problems of detection and recognition in various fields of the national economy. The decoding efficiency of images of objects can often be achieved only by joint processing of video data corresponding to one observed scene and obtained at different times or by different shooting systems in different spectral zones. Such images differ from each other - they have brightness differences. The joint processing of such images requires their high-precision spatial combination, often with sub-pixel accuracy, that is, with an error of up to a fraction of a pixel. Image combining problems arise during remote data collection in Earth remote sensing problems, in biomedical applications, and in material science.

Одним из этапов выполнения пространственного совмещения является определение пространственного сдвига совмещаемых изображений или фрагментов изображений для дальнейшего определения параметров пространственно-ракурсного преобразования.One of the steps for performing spatial alignment is to determine the spatial shift of the combined images or image fragments to further determine the spatial-angle transformation parameters.

Изображения одних и тех же объектов, полученные в различных спектральных зонах или в разное время, даже при одинаковых ракурсах и масштабах, значительно отличаются друг от друга. Поэтому обычные корреляционные методы определения пространственного сдвига изображений могут оказаться неудовлетворительными [Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации - М.: Радио и связь, 1986, - 216 с.]. В настоящее время высокоточные полностью автоматические системы совмещения изображений с яркостными отличиями, не требующие вмешательства человека, разработаны лишь для узкого класса задач.Images of the same objects obtained in different spectral zones or at different times, even at the same angles and scales, are significantly different from each other. Therefore, the usual correlation methods for determining the spatial shift of images may be unsatisfactory [Baklitsky V.K., Bochkarev A.M., Mus'yakov MP Methods of filtering signals in correlation-extreme navigation systems - M .: Radio and communication, 1986, - 216 p.]. Currently, high-precision fully automatic systems for combining images with brightness differences that do not require human intervention are developed only for a narrow class of tasks.

Известен способ того же назначения к заявленному изобретению по совокупности признаков, описанный в [Златопольский А.А., Современные проблемы дистанционного зондирования Земли из Космоса, 2006, т.3, №1, стр.99-101]. Способ называется способом «согласованного голосования» и включает в себя разбиение изображений на фрагменты (возможно перекрывающиеся), далее выбор фрагментов. В процедуре выбора фрагментов предусмотрено исключение тех фрагментов, которые практически не содержат рисунка. Такие участки автоматически помечают и исключают из дальнейшей процедуры. Затем для каждого фрагмента определяют сдвиг, при котором происходит его лучшее совпадение с аналогичным фрагментом другого изображения. Составляют таблицу, строка и столбец которой соответствует сдвигу, а значение элемента в данной строке и столбце соответствует количеству фрагментов, которые определили данный сдвиг. В полученной таким образом таблице находят максимум количества фрагментов. Номер соответствующих строки и столбца и определяет искомый сдвиг одного изображения относительно другого.A known method of the same purpose for the claimed invention according to the totality of features described in [Zlatopolsky AA, Modern problems of remote sensing of the Earth from Space, 2006, v.3, No. 1, pp. 99-101]. The method is called the “coordinated voting” method and includes dividing images into fragments (possibly overlapping), then selecting fragments. The procedure for selecting fragments provides for the exclusion of those fragments that practically do not contain a picture. Such areas are automatically marked and excluded from the further procedure. Then, for each fragment, a shift is determined at which its best coincidence with a similar fragment of another image occurs. They compose a table, the row and column of which corresponds to the shift, and the value of the element in this row and column corresponds to the number of fragments that determined this shift. In the table thus obtained, the maximum number of fragments is found. The number of the corresponding row and column determines the desired shift of one image relative to another.

К причинам, препятствующим достижению указанного ниже технического результата при использовании известного способа, относятся следующие. Реализация способа затруднена сложностями выбора фрагментов и их отбраковки по признаку «не содержат рисунка». Для автоматизации процесса необходимо формализовать понятие «рисунка» и предложить алгоритм его отбраковки. Процедура выбора фрагментов также не определена. В слишком маленьких фрагментах практически не будет рисунка, либо появятся идентичные фрагменты, приводящие к ошибке определения сдвига. В то же время фрагмент не должен быть слишком большим, так как при этом существенно уменьшается число фрагментов, которые независимо друг от друга определяют сдвиг. Использование известного способа не обеспечивает субпиксельной точности и высокой достоверности (под достоверностью мы понимаем вероятность субпиксельного отличия определяемого значения сдвига от его истинного значения) при автоматическом определении сдвига изображений, полученных при различных условиях съемки различными системами.The reasons that impede the achievement of the following technical result when using the known method include the following. The implementation of the method is complicated by the difficulties of selecting fragments and their rejection on the basis of "do not contain a picture." To automate the process, it is necessary to formalize the concept of “drawing” and propose an algorithm for its rejection. The procedure for selecting fragments is also not defined. In too small fragments there will be practically no pattern, or identical fragments will appear, leading to an error in determining the shift. At the same time, the fragment should not be too large, since this significantly reduces the number of fragments that independently determine the shift. Using the known method does not provide subpixel accuracy and high reliability (by reliability we mean the probability of subpixel difference of the determined shift value from its true value) when automatically detecting the shift of images obtained under various shooting conditions by various systems.

Наиболее близким способом того же назначения к заявленному изобретению по совокупности признаков является способ определения пространственных сдвигов изображений [Аксенов О.Ю., Цифровая обработка сигналов, №3, 2005, стр.51-55], осуществляемый автором при решении задачи совмещения изображений одной и той же сцены. Способ принят за прототип.The closest method of the same purpose to the claimed invention by the totality of features is a method for determining spatial shifts of images [Aksenov O.Yu., Digital signal processing, No. 3, 2005, p.51-55], carried out by the author in solving the problem of combining images of one and the same scene. The method adopted for the prototype.

Известный способ использует бинаризацию совмещаемых изображений. При осуществлении способа производят оценку гистограмм яркостей совмещаемых изображений, оценивают пороги бинаризации изображений, осуществляют бинаризацию изображений и разбивают изображения на образы, имеющие конечные размеры и соответствующие участкам изображений с определенными координатами. Затем осуществляют идентификацию образов, т.е. для каждого из образов одного изображения ищут соответствующий образ на втором изображении, определяют пространственный сдвиг каждого образа первого изображения относительно положения соответствующего образа на втором изображении. Для использования в процедуре определения сдвига изображений отбирают только те образы, которые содержат не менее определенного количества «ярких» - со значением «1» - точек. Пространственный сдвиг всего изображения оценивают как среднее значение сдвигов, полученных по всем образам.The known method uses binarization of compatible images. When implementing the method, histograms of brightnesses of the combined images are estimated, thresholds for binarization of images are estimated, binarization of images is carried out, and images are divided into images having finite sizes and corresponding to image sections with certain coordinates. Then, images are identified, i.e. for each of the images of one image, they search for the corresponding image in the second image, determine the spatial shift of each image of the first image relative to the position of the corresponding image in the second image. For use in the procedure for determining the shift of images, only those images are selected that contain at least a certain number of "bright" - with a value of "1" - points. The spatial shift of the entire image is estimated as the average value of the shifts obtained for all images.

К причинам, препятствующим достижению указанного ниже технического результата при использовании известного способа, относятся следующие. При автоматическом определении сдвига изображений, полученных в разное время и в разных спектральных диапазонах разными съемочными системами, использование для формирования образов участков изображений, сформированных на основе гистограмм яркостей, приводит к возникновению ошибок определения сдвига. Действительно, гистограммы яркостей несут ограниченную информацию, которая только в простых случаях позволяет выделить на изображениях образы, соответствующие одним и тем же объектам сцены. Количество образов, полученных способом-прототипом, весьма ограничено размером изображения и требованием, чтобы образ содержал не менее определенного количества «ярких» - со значением «1» - точек. Вследствие этого определяемое значение сдвига может значительно отличаться от истинного даже при высокой точности (при небольшом значении среднеквадратичного отклонения от среднего значения). Для более сложных изображений достоверность определения сдвига при автоматическом осуществлении способа-прототипа крайне мала.The reasons that impede the achievement of the following technical result when using the known method include the following. When automatically detecting the shift of images obtained at different times and in different spectral ranges by different shooting systems, the use of image sections formed on the basis of luminance histograms to form images leads to errors in determining the shift. Indeed, luminance histograms carry limited information, which only in simple cases allows you to select images on images that correspond to the same scene objects. The number of images obtained by the prototype method is very limited by the size of the image and the requirement that the image contain at least a certain number of “bright” - with a value of “1” - points. As a result of this, the determined shift value can significantly differ from the true one even with high accuracy (with a small value of the standard deviation from the average value). For more complex images, the reliability of determining the shift in the automatic implementation of the prototype method is extremely small.

Сущность изобретения заключается в следующем.The invention consists in the following.

Задачей изобретения является повышение точности и достоверности определения пространственного сдвига изображений одной и той же сцены, при этом изображения могут быть получены в разное время и разными съемочными системами в различных спектральных диапазонах, а способ определения пространственного сдвига является полностью автоматическим.The objective of the invention is to improve the accuracy and reliability of determining the spatial shift of images of the same scene, while the images can be obtained at different times and by different shooting systems in different spectral ranges, and the method for determining the spatial shift is fully automatic.

Технический результат, который достигается при осуществлении заявляемого способа, заключается в повышении точности и достоверности определения пространственного сдвига изображений одной и той же сцены, полученных в разное время и/или в разных спектральных диапазонах разными съемочными системами. Пространственный сдвиг определяется полностью автоматически с достижением субпиксельной точности и высокой достоверности.The technical result that is achieved by the implementation of the proposed method is to increase the accuracy and reliability of determining the spatial shift of the images of the same scene obtained at different times and / or in different spectral ranges by different shooting systems. Spatial shift is determined fully automatically with subpixel accuracy and high confidence.

Указанный технический результат при осуществлении изобретения достигается тем, что в способе определения пространственного сдвига изображений, включающем получение двух исходных оцифрованных изображений одной и той же сцены одного масштаба и ракурса, формирование образов из исходных изображений, определение пространственного сдвига второго изображения относительно первого изображения, в соответствии с заявляемым техническим решением приводят изображения к одинаковому числу строк и столбцов, выбирают признаковые пространства для первого и второго изображений, где в качестве признаков используют яркость и/или модуль градиента яркости и/или текстурные признаки пикселей исходных изображений, для первого и второго изображения формируют матрицы признаков, соответственно

и

размером M×N, каждый элемент которых представляет собой соответственно P₁-и Р₂-мерный вектор значений признаков пикселейThe specified technical result in the implementation of the invention is achieved by the fact that in the method for determining the spatial shift of images, which includes obtaining two source digitized images of the same scene of the same scale and angle, forming images from the source images, determining the spatial shift of the second image relative to the first image, in accordance with the claimed technical solution, the images are brought to the same number of rows and columns, the feature spaces for the first and second images, where the brightness and / or the brightness gradient module and / or texture features of the pixels of the original images are used as signs, the matrix of signs is formed for the first and second images, respectively

and

size M × N, each element of which is respectively a P ₁ and P ₂ -dimensional vector of pixel attribute values

;

,

гдеWhere

,

,… - признаки пикселя с координатами (i,j) первого изображения;

,

, ... are the signs of a pixel with coordinates (i, j) of the first image;

,

,… - признаки пикселя с координатами (i,j) второго изображения;

,

, ... are the signs of a pixel with coordinates (i, j) of the second image;

i, j - текущий номер строки и столбца 1≤i≤N, 1≤j≤М;i, j is the current row and column number 1≤i≤N, 1≤j≤M;

N - число столбцов в исходных оцифрованных изображениях;N is the number of columns in the original digitized images;

М - число строк в исходных оцифрованных изображениях;M is the number of lines in the original digitized images;

P₁ - количество признаков первого изображения;P ₁ - the number of features of the first image;

Р₂ - количество признаков второго изображения;P ₂ - the number of signs of the second image;

выбирают из матрицы признаков, соответствующей первому изображению, множество

элементов с различными по значению признаками и такими номерами строки и столбца, для которых выполняется условие d+1≤n_S ≤ N-d;selected from a matrix of features corresponding to the first image, the set

elements with attributes of various meanings and such row and column numbers for which the condition d + 1≤n _S ≤ Nd is satisfied;

d+1≤ m_S ≤M-d, где (n_S, m_S) - номер соответственно строки и столбца выбранных элементов, s=1, 2,…H; Н - число выбранных элементов

с различными по значению признаками; d - величина предполагаемого сдвига, задаваемая из условия

;d + 1≤ m _S ≤Md, where (n _S , m _S ) is the number of the row and column of the selected elements, respectively, s = 1, 2, ... H; H is the number of selected items

with signs of various meanings; d is the value of the estimated shift specified from the condition

;

для каждого элемента

выбирают множество элементов

размером (2d+1)×(2d+1) из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤d, |l|≤d, образы формируют в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

, которые определяют какfor each item

choose a lot of items

the size of (2d + 1) × (2d + 1) from the feature matrix

corresponding to the second image, with such row and column numbers for which the condition | k | ≤d, | l | ≤d is fulfilled, the images are formed in the form of images representing matrixes of scalar elements

for the set X ₁ and

for each of the sets

which define how

гдеWhere

(i₀, j₀) - номер соответственно строки и столбца, 1≤i₀≤N-2d, 1≤j₀≤M-2d;(i ₀ , j ₀ ) is the number of the row and column, respectively, 1≤i ₀ ≤N-2d, 1≤j ₀ ≤M-2d;

ρ - евклидово расстояние в пространстве признаков;ρ is the Euclidean distance in the space of signs;

для каждого образа

составляют (2d+1)×(2d+1) пар с каждым из образов

и для каждой пары вычисляют значение оценки критериальной функции

, при этом в качестве критериальной функции используют корреляционное отношение или разностную критериальную функцию или коэффициент корреляции, формируют Н матриц

размером (2d+1)×(2d+1), элементами которых являются значения оценок критериальной функции, аппроксимируют матрицы гладкими непрерывными поверхностями

с областью определенияfor each image

are (2d + 1) × (2d + 1) pairs with each of the images

and for each pair calculate the value of the evaluation of the criterial function

in this case, as a criterion function, a correlation relation or a difference criterion function or a correlation coefficient is used, H matrices are formed

the size of (2d + 1) × (2d + 1), whose elements are the values of the estimates of the criterion function, approximate the matrices by smooth continuous surfaces

with scope

-d≤x≤d, -d≤y≤d, определяют значения

, в которых достигаются экстремумы поверхностей

, пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение

полученных значений

.-d≤x≤d, -d≤y≤d, determine the values

in which extremes of surfaces are reached

, the spatial shift of the second image relative to the first image is determined as the average value

obtained values

.

Если после приведения изображений к одинаковому числу строк и столбцов дополнительно осуществляют фильтрацию исходных изображений фильтрами различных частот, а в качестве признаков используют дополнительно яркость и/или модуль градиента яркости и/или текстурные признаки пикселей преобразованных путем фильтрации изображений, то возникает усиление технического результата, заключающееся в повышении точности и достоверности определения сдвига.If, after reducing the images to the same number of rows and columns, the source images are additionally filtered with filters of different frequencies, and the brightness and / or brightness gradient module and / or texture signs of pixels converted by image filtering are used as signs, then the technical result is enhanced, consisting of in increasing the accuracy and reliability of determining the shift.

Если исходные изображения получают многоспектральными (под многоспектральным изображением понимаем векторно-значную функцию двух пространственных переменных

с компонентами {S₁(i,j), S₂(i,j),…, S_P(i,j)}, где S₁(i,j), S₂(i,j),…, S_P(i,j) - яркости спектральных составляющих многоспектрального изображения в точке с координатами (i,j)), а в качестве признаков используют яркости пикселей в спектральных диапазонах, в которых получены исходные изображения, то это характеризует одну из частных форм реализации изобретения.If the source images are multispectral (by multispectral image we mean the vector-valued function of two spatial variables

with components {S ₁ (i, j), S ₂ (i, j), ..., S _P (i, j)}, where S ₁ (i, j), S ₂ (i, j), ..., S _P (i, j) is the brightness of the spectral components of the multispectral image at the point with coordinates (i, j)), and as signs use the brightness of the pixels in the spectral ranges in which the original images were obtained, this characterizes one of the particular forms of implementation of the invention.

Если после формирования Н матриц

производят дискретное преобразование Фурье и вычисляют Фурье-спектр каждой матрицы, суммируют все элементы Фурье-спектра каждой матрицы, выбирают матрицы

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм, аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц, то возникает усиление технического результата, заключающееся в повышении точности и достоверности определения сдвига.If after the formation of H matrices

produce a discrete Fourier transform and calculate the Fourier spectrum of each matrix, summarize all the elements of the Fourier spectrum of each matrix, select the matrix

, the sum of the elements of the Fourier spectrum of which exceeds no more than 1.1 times the minimum of all sums, the matrices are approximated by smooth continuous surfaces for the selected matrices, then there is an increase in the technical result, which consists in increasing the accuracy and reliability of determining the shift.

Если в качестве критериальной функции используют корреляционное отношение или коэффициент корреляции и после формирования H матриц

выбирают матрицы

для которых соответствующие значения

где R_nop - пороговое значение, задаваемое в диапазоне 0,5≤R_nop<1; а аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц, то возникает усиление технического результата, заключающееся в повышении точности и достоверности определения сдвига. Совокупность вышеизложенных признаков изобретения связана причинно-следственной связью с техническим результатом изобретения.If a correlation relation or correlation coefficient is used as a criterion function even after the formation of H matrices

choose matrices

for which the corresponding values

where R _nop is a threshold value specified in the range 0.5≤R _nop <1; and the matrices are approximated by smooth continuous surfaces for the selected matrices, an increase in the technical result occurs, which consists in increasing the accuracy and reliability of determining the shift. The combination of the foregoing features of the invention is associated with a causal relationship with the technical result of the invention.

При определении сдвига изображений одной и той же сцены, полученных в разное время или разными съемочными системами в различных спектральных зонах, для того, чтобы их яркостные отличия не приводили к ошибкам, сопоставляют не исходные изображения, а их образы.When determining the shift of images of the same scene obtained at different times or by different filming systems in different spectral zones, so that their brightness differences do not lead to errors, it is not the original images that are compared, but their images.

В способе-прототипе образы формируют из участков бинаризованных изображений, имеющих не менее определенного числа точек, на основе гистограмм яркостей. В заявленном способе также формируют образы, но используют при этом не участки, а целые изображения с совокупностью признаков пикселей, привлекая для создания признакового пространства яркостные и/или градиентные, и/или текстурные признаки.In the prototype method, images are formed from sections of binarized images having at least a certain number of points, based on brightness histograms. In the claimed method, images are also formed, but not plots are used, but whole images with a set of pixel attributes, using brightness and / or gradient and / or texture signs to create a characteristic space.

Количество используемых образов в прототипе не превышает величины отношения количества точек, составляющих изображение, к количеству точек, составляющих образ. Количество же образов, которые могут быть использованы для определения сдвига в заявленном способе, определяется количеством пикселей на изображениях, имеющих отличающиеся значения признаков, привлекаемых для создания признакового пространства. Таким путем можно сформировать существенно большее количество образов, чем в прототипе, и тем точнее определить сдвиг.The number of images used in the prototype does not exceed the ratio of the number of points that make up the image to the number of points that make up the image. The number of images that can be used to determine the shift in the claimed method is determined by the number of pixels in the images having different values of the attributes involved to create the attribute space. In this way, a significantly larger number of images can be formed than in the prototype, and the more accurately determine the shift.

Достоверность определения сдвига зависит от того, насколько близко соответствие сопоставленных образов идентичным участкам изображаемой сцены.The reliability of determining the shift depends on how close the correspondence of the mapped images to the identical parts of the depicted scene.

В силу имеющихся яркостных отличий, одинаковые объекты сцены могут иметь признаки на первом изображении, отличающиеся от признаков на втором изображении. Задача формирования образов - отобразить схожим образом одинаковые объекты сцены на сопоставляемых изображениях. Чем больше используемое признаковое пространство, тем вероятнее формируемые образы при правильном совмещении пространственных координат соответствуют одинаковым объектам сцены, тем достовернее определяется сдвиг.Due to the brightness differences, the same scene objects may have features in the first image that are different from features in the second image. The task of image formation is to display similar objects of the scene in comparable images in a similar way. The larger the feature space used, the more likely the generated images with the correct combination of spatial coordinates correspond to the same objects in the scene, the more reliably the shift is determined.

В заявленном способе образы соответствуют не участкам изображений, как в прототипе, а целым изображениям, вследствие чего отпадает необходимость для каждого из образов одного изображения искать соответствующий образ на втором изображении. Вместо идентификации образов мы осуществляем оценку наилучшего сходства образов. В заявленном способе сходство образов оценивается с помощью вычисления значений критериальной функции, и весь процесс определения сдвига производится полностью автоматически. Использование в качестве критериальной функции корреляционного отношения, или разностной критериальной функции, или коэффициента корреляции позволяет достичь заявленного результата.In the claimed method, the images correspond not to the image areas, as in the prototype, but to the whole images, as a result of which there is no need for each of the images of one image to search for the corresponding image in the second image. Instead of identifying images, we evaluate the best similarity of images. In the claimed method, the similarity of the images is estimated by calculating the values of the criterial function, and the whole process of determining the shift is carried out completely automatically. The use of a correlation relation as a criterial function, or a difference criterion function, or a correlation coefficient allows one to achieve the stated result.

В заявленном способе при определении сдвига используется гладкая поверхность, аппроксимирующая матрицу оценок критериальной функции. Поверхность непрерывна и имеет экстремум в точке с координатами, имеющими значения, описываемые действительными числами. Такая обработка результатов также повышает точность определения сдвига и, как показали наши оценки, позволяет определить сдвиг с субпиксельной точностью.In the claimed method, when determining the shift, a smooth surface is used that approximates the matrix of estimates of the criterial function. The surface is continuous and has an extremum at a point with coordinates having values described by real numbers. Such processing of the results also increases the accuracy of determining the shift and, as our estimates showed, allows us to determine the shift with subpixel accuracy.

Как следует из вышеизложенного, не имеет значения, каким образом получены исходные изображения. Изображения одной и той же сцены могут быть получены в разное время и/или в разных спектральных диапазонах разными съемочными системами. Если изображения не являются оцифрованными, то их переводят в растровый цифровой формат с одинаковым масштабом и одинаковым числом строк и столбцов известными способами.As follows from the foregoing, it does not matter how the original images are obtained. Images of the same scene can be obtained at different times and / or in different spectral ranges by different shooting systems. If the images are not digitized, then they are converted to a raster digital format with the same scale and the same number of rows and columns by known methods.

Фильтрация исходных изображений фильтрами различных частот и использование в качестве признаков дополнительно яркостей пикселей преобразованных путем фильтрации изображений расширяет признаковое пространство, в результате повышается достоверность и точность определения сдвига.Filtration of source images with filters of different frequencies and the use of additional brightness of pixels transformed by filtering images as attributes expands the attribute space, as a result, the reliability and accuracy of determining the shift are increased.

В том случае, когда в качестве исходных изображений используются многоспектральные изображения, возможно использовать в качестве признаков яркости пикселей в спектральных диапазонах, в которых получены исходные изображения.In the case when multispectral images are used as the source images, it is possible to use pixel brightness in the spectral ranges in which the source images were obtained as signs of pixel brightness.

Осуществление после формирования Н матриц

дискретного преобразования Фурье и вычисление Фурье-спектра каждой матрицы, суммирование всех элементов Фурье-спектра каждой матрицы, далее выбор матриц

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм, позволяет осуществить «отбраковку» матриц

, не в полной мере подходящих для оценки сдвига из-за наличия множества локальных экстремумов, свидетельствующих о ненадежности определения сдвига. Аппроксимация гладкими непрерывными поверхностями выбранных матриц

позволяет достичь усиления результата - повысить достоверность и точность определения сдвига.Exercise after the formation of H matrices

discrete Fourier transform and calculation of the Fourier spectrum of each matrix, summation of all elements of the Fourier spectrum of each matrix, then the choice of matrices

, the sum of the elements of the Fourier spectrum of which exceeds not more than 1.1 times the minimum of all sums, it allows the “rejection” of matrices

, not fully suitable for estimating the shift due to the presence of many local extrema, indicating the unreliability of the determination of the shift. Approximation by smooth continuous surfaces of selected matrices

allows to achieve amplification of the result - to increase the reliability and accuracy of determining the shift.

Сравнение матриц

по максимальному значению входящих в них элементов и выбор тех матриц

, для которых соответствующие значения

где R_nop - пороговое значение, задаваемое в диапазоне 0,5≤R_nop≤1, когда в качестве критериальной функции используют корреляционное отношение или коэффициент корреляции, позволяет осуществить «отбраковку» матриц

, не в полной мере подходящих для оценки сдвига из-за малых значений критериальной функции, свидетельствующего о несходстве образов. Аппроксимация гладкими непрерывными поверхностями выбранных матриц

позволяет достичь усиления результата - повысить достоверность и точность определения сдвига.Matrix Comparison

by the maximum value of the elements included in them and the choice of those matrices

for which the corresponding values

where R _nop is a threshold value specified in the range 0.5≤R _nop ≤1, when the correlation ratio or correlation coefficient is used as a criterion function, it allows “rejection” of matrices

, not fully suitable for estimating the shift due to small values of the criterial function, indicating the dissimilarity of the images. Approximation by smooth continuous surfaces of selected matrices

На Фиг.1 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в видимом диапазоне, соответствующем красному участку R диапазона, и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения предоставлены компанией СЗЦ «ЭкоЛаб». На Фиг.1А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.1В - изображение в видимой области, соответствующее диапазону R (принято за второе изображение). Изначально изображения не имели пространственного сдвига. Для демонстрации метода был произведен сдвиг второго изображения относительно первого на 0 пикселя по столбцам и -3 пикселя по строкам. На Фиг.1А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.1В - изображение в видимой области, соответствующее диапазону R (принято за второе изображение). Размеры изображений 236×366 пикселей. На Фиг.1С на координатной плоскости ХОУ представлены оценки сдвига второго изображения относительно первого с использованием признаков яркости пикселей и модуля градиента яркости пикселей. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 1 presents the images obtained by remote sensing of the same scene of the earth's surface in the visible range corresponding to the red portion of the R range, and in the infrared range, in the digital raster BMP format. Images provided by SZC EcoLab. On figa - the image in the infrared range (taken as the first image), in figv - image in the visible region corresponding to the range R (taken as the second image). Initially, the images did not have a spatial shift. To demonstrate the method, the second image was shifted relative to the first by 0 pixels in columns and -3 pixels in rows. On figa - the image in the infrared range (taken as the first image), in figv - image in the visible region corresponding to the range R (taken as the second image). Image sizes 236 × 366 pixels. On Figs on the coordinate plane HOU presents estimates of the shift of the second image relative to the first using signs of pixel luminance and a module of the gradient of pixel luminance. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. A correlation relation is used as a criterion function. “Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

. The intersection point of the dash-dotted lines corresponds to the coordinates of the true shift. Around the true shift point on the coordinate plane, circles are drawn whose radii are 0.5; 1 and 1.5 pixels.

На Фиг.2 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.2А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.2В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.2С на координатной плоскости представлены оценки сдвига второго изображения относительно первого с использованием для обоих изображений признака яркости пикселей. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 2 presents the images obtained as a result of remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. On Figa - image in the infrared range (taken for the first image), Fig.2B - image in the visible range (taken for the second image). Image sizes 50 × 60 pixels. On figs on the coordinate plane presents estimates of the shift of the second image relative to the first using for both images the sign of pixel brightness. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. A correlation relation is used as a criterion function. “Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

На Фиг.3 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.3А - изображение в ИК диапазоне (принято за первое изображение), на Фиг.3В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.3С на координатной плоскости представлены оценки сдвига второго изображения относительно первого с использованием текстурной характеристики - вариации яркости пикселя, вычисленной по смежным пикселям со скользящим окном 3×3. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 3 presents the images obtained as a result of remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. On figa - image in the infrared range (taken for the first image), in figv - image in the visible range (taken for the second image). Image sizes 50 × 60 pixels. On Figs on the coordinate plane presents estimates of the shift of the second image relative to the first using the texture characteristics - the variation of the brightness of the pixel, calculated from adjacent pixels with a sliding window 3 × 3. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. A correlation relation is used as a criterion function. “Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

На Фиг.4 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на (0) пикселя по столбцам и (-2,5) пикселя по строкам. На Фиг.4А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.4В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.4С на координатной плоскости представлены оценки сдвига второго изображения относительно первого с использованием текстурной характеристики - среднего значения яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3). Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 4 presents the images obtained as a result of remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first one by (0) pixels in columns and (-2.5) pixels in rows. On Figa - image in the infrared range (taken for the first image), Figv - image in the visible range (taken for the second image). Image sizes 50 × 60 pixels. On Figs on the coordinate plane presents estimates of the shift of the second image relative to the first using the texture characteristics - the average value of the pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window). The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. A correlation relation is used as a criterion function. “Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

На Фиг.5 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на (0) пикселя по столбцам и (-2,5) пикселя по строкам. На Фиг.5А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.5В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.5С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 5 presents the images obtained by remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first one by (0) pixels in columns and (-2.5) pixels in rows. On figa - the image in the infrared range (taken as the first image), in figv - the image in the visible range (taken as the second image). Image sizes 50 × 60 pixels. On Figs on the coordinate plane presents estimates of the shift of the second image relative to the first. As signs, we used the pixel brightness of the digitized source images, the average pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window), and the value of the pixel brightness variation calculated from adjacent pixels with a 3 × 3 sliding window. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. A correlation relation is used as a criterion function. “Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

На Фиг.6 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.6А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.6В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.6С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3. В качестве критериальной функции использовано корреляционное отношение. Сдвиги были оценены лишь по тем матрицам критериальных функций

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм элементов Фурье-спектра, вычисленных для каждой из матриц

. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумыповерхностей

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 6 presents the images obtained by remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. On figa - the image in the IR range (taken for the first image), Fig.6B - the image in the visible range (taken for the second image). Image sizes 50 × 60 pixels. On Figs on the coordinate plane presents estimates of the shift of the second image relative to the first. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. As signs, we used the pixel brightness of the digitized source images, the average pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window), and the value of the pixel brightness variation calculated from adjacent pixels with a 3 × 3 sliding window. A correlation relation is used as a criterion function. Shifts were estimated only for those matrices of criterion functions

, the sum of the elements of the Fourier spectrum of which exceeds not more than 1.1 times the minimum of all the sums of the elements of the Fourier spectrum calculated for each of the matrices

. “Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

На Фиг.7 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на (0) пикселя по столбцам и (-2,5) пикселя по строкам. На Фиг.7А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.7В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.7С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3. В качестве критериальной функции использовано корреляционное отношение. Сдвиги были оценены лишь по тем матрицам критериальных функции

, для которых соответствующие значения

«Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, в которых достигаются экстремумы поверхностей . Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 7 presents the images obtained by remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first one by (0) pixels in columns and (-2.5) pixels in rows. On figa - the image in the infrared range (taken for the first image), Figv - image in the visible range (taken for the second image). Image sizes 50 × 60 pixels. On Figs on the coordinate plane presents estimates of the shift of the second image relative to the first. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. As signs, we used the pixel brightness of the digitized source images, the average pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window), and the value of the pixel brightness variation calculated from adjacent pixels with a 3 × 3 sliding window. A correlation relation is used as a criterion function. Shifts were estimated only for those matrices of criterion functions

for which the corresponding values

“Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached . The intersection point of the dash-dotted lines corresponds to the coordinates of the true shift. Around the true shift point on the coordinate plane, circles are drawn whose radii are 0.5; 1 and 1.5 pixels.

На Фиг.8 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.8А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.8В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.8С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений. В качестве критериальной функции использовано корреляционное отношение. «Точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

. Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.On Fig presents images obtained as a result of remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. On Figa - image in the infrared range (taken for the first image), Figv - image in the visible range (taken for the second image). Image sizes 50 × 60 pixels. On figs on the coordinate plane presents estimates of the shift of the second image relative to the first. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. As signs, we used the pixel brightness of the digitized source images, the average pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window), the value of the pixel brightness variation calculated from adjacent pixels with a 3 × 3 sliding window, and the pixel brightness filtered by a high-pass filter images. A correlation relation is used as a criterion function. “Dots”, representing circles of small radii, denote the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

На Фиг.9 представлены изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. На Фиг.9А - изображение в ИК-диапазоне (принято за первое изображение), на Фиг.9В - изображение в видимом диапазоне (принято за второе изображение). Размеры изображений 50×60 пикселей. На Фиг.9С на координатной плоскости представлены оценки сдвига второго изображения относительно первого. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. В качестве признаков использовалась яркость пикселей оцифрованных исходных изображений, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3х3, яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений. В качестве критериальной функции использовано корреляционное отношение. Сдвиги были оценены лишь по тем матрицам критериальных функций

для которых соответствующие значения

в которых достигаются экстремумы поверхностей

Точка пересечения штрихпунктирных линий соответствует координатам истинного сдвига. Вокруг точки истинного сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 9 presents the images obtained as a result of remote sensing of the same scene of the earth's surface in 2 spectral ranges: in the visible and in the infrared range. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. On Figa - image in the infrared range (taken for the first image), Figv - image in the visible range (taken for the second image). Image sizes 50 × 60 pixels. On Figs on the coordinate plane presents estimates of the shift of the second image relative to the first. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. The signs used were the pixel brightness of the digitized source images, the average pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window), the value of the pixel brightness variation calculated from adjacent pixels with a 3x3 sliding window, and the pixel brightness filtered by a high-frequency filter of the original images. A correlation relation is used as a criterion function. Shifts were estimated only for those matrices of criterion functions

for which the corresponding values

in which extremes of surfaces are reached

The intersection point of the dash-dotted lines corresponds to the coordinates of the true shift. Around the true shift point on the coordinate plane, circles are drawn whose radii are 0.5; 1 and 1.5 pixels.

На Фиг.10 представлены два изображения, полученные в результате дистанционного зондирования одной и той же сцены земной поверхности в разное время года - соответственно, в апреле и в августе, предоставленные компанией СЗЦ «ЭкоЛаб». Изображения являются многоспектральными. Эти многоспектральные изображения имеют по 4 канала: три - в видимом диапазоне (R, G, B) и один канал - в ИК-диапазоне. Для демонстрации метода были взяты фрагменты этих изображений размером 400×400 пикселей. Изображение, полученное в апреле, было принято за первое изображение изображение, полученное в августе, принято за второе изображение. На Фиг.10А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.10В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Для первого и для второго изображения в качестве признаков использовалась яркость пикселей R,G,B и ИК-диапазонов. В качестве критериальной функции была использована разностная критериальная функция. Сдвиги были оценены лишь по тем матрицам критериальных функций

На Фиг.10С на координатной плоскости «точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. Сдвиг, определенный как

, представлен на фигуре 10С точкой пересечения штрихпунктирных прямых линий. Вокруг точки определенного таким образом сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 10 presents two images obtained as a result of remote sensing of the same scene of the earth's surface at different times of the year - respectively, in April and in August, provided by the company SZTS EcoLab. Images are multispectral. These multispectral images have 4 channels each: three in the visible range (R, G, B) and one channel in the infrared range. To demonstrate the method, fragments of these images 400 × 400 pixels in size were taken. The image obtained in April was taken as the first image; the image obtained in August was taken as the second image. On figa presents the image obtained in April, in the form of the four constituent components. Figure 10B shows an image obtained in August in the form of the four constituent components. For the first and second images, the brightness of the pixels of R, G, B and IR ranges was used as signs. As a criterion function, a difference criterion function was used. Shifts were estimated only for those matrices of criterion functions

in which extremes of surfaces are reached

In Fig. 10C, on the coordinate plane, "points" representing circles of small radii indicate the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. Shift defined as

is represented in Figure 10C by the point of intersection of the dot-dash straight lines. Around the point of the shift so determined on the coordinate plane, circles are drawn with radii of 0.5; 1 and 1.5 pixels.

На Фиг.11 представлены два изображения, полученных в результате дистанционного зондирования одной и той же сцены земной поверхности в разное время года - соответственно, в апреле и в августе, предоставленных компанией СЗЦ «ЭкоЛаб». Изображения являются многоспектральными. Эти многоспектральные изображения имеют по 4 канала: три - в видимом диапазоне (R,G,B) и один канал - в ИК-диапазоне. Для демонстрации метода были взяты фрагменты этих изображений размером 50×60 пикселей. Изображение, полученное в апреле, было принято за первое изображение изображение, полученное в августе, принято за второе изображение. На Фиг.11А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.11В представлено изображение, полученное в августе, в виде четырех составляющих его компонент.В качестве признаков и для первого изображения, и для второго изображения использовалась яркость пикселей исходных изображений, всех четырех диапазонов. В качестве критериальной функции использован коэффициент корреляции. На Фиг.11С на координатной плоскости «точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

. Координатная плоскость ХОУ введена так, что начало координат (0,0) соответствует отсутствию сдвига, сдвиг по столбцам оцифрованного изображения соответствует оси ОХ, сдвиг по строкам соответствует оси ОУ. Сдвиг, определенный как

, представлен на фигуре 11С точкой пересечения штрихпунктирных прямых линий. Вокруг точки определенного таким образом сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.Figure 11 presents two images obtained as a result of remote sensing of the same scene of the earth's surface at different times of the year - in April and in August, respectively, provided by the SZC EcoLab company. Images are multispectral. These multispectral images have 4 channels each: three in the visible range (R, G, B) and one channel in the infrared range. Fragments of these images 50 × 60 pixels in size were taken to demonstrate the method. The image obtained in April was taken as the first image; the image obtained in August was taken as the second image. On figa presents the image obtained in April, in the form of four constituent components. 11B shows the image obtained in August in the form of the four components composing it. As characteristics for both the first image and the second image, the pixel brightness of the original images, all four ranges, was used. The correlation coefficient is used as a criterion function. In Fig. 11C, on the coordinate plane, "points" representing circles of small radii indicate the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

. The coordinate plane of the HOU is introduced so that the origin (0,0) corresponds to the absence of a shift, the shift along the columns of the digitized image corresponds to the OX axis, the shift along the lines corresponds to the OA axis. Shift defined as

is represented in Figure 11C by the point of intersection of the dot-dash straight lines. Around the point of the shift so determined on the coordinate plane, circles are drawn with radii of 0.5; 1 and 1.5 pixels.

На Фиг.12 представлены два изображения, полученных в результате дистанционного зондирования одной и той же сцены земной поверхности в разное время года - соответственно, в апреле и в августе, предоставленных компанией СЗЦ «ЭкоЛаб». Изображения являются многоспектральными. Эти многоспектральные изображения имеют по 4 канала: три - в видимом диапазоне (R, G, B) и один канал - в ИК-диапазоне. Для демонстрации метода были взяты фрагменты этих изображений размером 50×60 пикселей. Изображение, полученное в апреле, было принято за первое изображение изображение, полученное в августе, принято за второе изображение. На Фиг.12А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.12В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. В качестве признаков и для первого изображения, и для второго изображения использовалась яркость пикселей исходных изображений, всех четырех диапазонов. В качестве критериальной функции использован коэффициент корреляции. Сдвиги были оценены лишь по тем матрицам критериальных функций

, для которых соответствующие значения

На Фиг.12С на координатной плоскости «точками», представляющими собой кружки малых радиусов, обозначены полученные оценки координат сдвигов, то есть значения

, представлен на фигуре 12С точкой пересечения штрихпунктирных прямых линий. Вокруг точки определенного таким образом сдвига на координатной плоскости нанесены окружности, радиусы которых равны 0,5; 1 и 1,5 пикселя.12 shows two images obtained as a result of remote sensing of the same scene of the earth’s surface at different times of the year - in April and August, respectively, provided by the SZC EcoLab company. Images are multispectral. These multispectral images have 4 channels each: three in the visible range (R, G, B) and one channel in the infrared range. Fragments of these images 50 × 60 pixels in size were taken to demonstrate the method. The image obtained in April was taken as the first image; the image obtained in August was taken as the second image. On figa presents the image obtained in April, in the form of the four constituent components. On figv presents the image obtained in August, in the form of four constituent components. As signs for both the first image and the second image, the pixel brightness of the original images, all four ranges, was used. The correlation coefficient is used as a criterion function. Shifts were estimated only for those matrices of criterion functions

for which the corresponding values

On Figs on the coordinate plane, "points", representing circles of small radii, indicate the obtained estimates of the coordinates of the shifts, that is, the values

in which extremes of surfaces are reached

is represented in FIG. 12C by the point of intersection of the dash-dotted straight lines. Around the point of the shift so determined on the coordinate plane, circles are drawn with radii of 0.5; 1 and 1.5 pixels.

Работа способа иллюстрируется следующими примерами конкретного выполнения.The method is illustrated by the following examples of specific performance.

Пример 1. В результате дистанционного зондирования одной и той же сцены земной поверхности были получены изображения в видимом диапазоне, соответствующем красному участку (R) диапазона, и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения предоставлены компанией СЗЦ «ЭкоЛаб». Изначально эти изображения не имели пространственного сдвига. Для демонстрации метода был произведен сдвиг второго изображения относительно первого на 0 пикселей по столбцам и -3 пикселя по строкам. Изображение ИК-диапазона (Фиг.1А) было принято за первое изображение, изображение, соответствующее участку R диапазона, (Фиг.1В) - за второе. Были взяты фрагменты этих изображений размером 236×366 пикселей. Полученные таким образом изображения стали исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовалась яркость пикселей х¹ и модуль градиента яркости пикселей х². Для получения градиентных характеристик х² была произведена оценка модуля градиента яркости для каждого пикселя каждого из изображений с использованием соотношений, взятых из [Дуда, П.Харт, Распознавание образов и анализ сцен, Москва, «Мир», 1976, с.511]. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой 2-мерный вектор значений признаков пикселей исходных изображений:Example 1. As a result of remote sensing of the same scene of the earth's surface, images were obtained in the visible range corresponding to the red part of the (R) range, and in the infrared range, in the BMP digital raster format. Images provided by SZC EcoLab. Initially, these images did not have a spatial shift. To demonstrate the method, the second image was shifted relative to the first one by 0 pixels in columns and -3 pixels in rows. The image of the infrared range (Figa) was taken for the first image, the image corresponding to the plot R of the range (Figv) for the second. Fragments of these images were taken in the size of 236 × 366 pixels. The images thus obtained became initial images for determining the spatial shift of the second image relative to the first. As the signs of pixels of the digitized source images, the pixel brightness x ¹ and the pixel brightness gradient modulus x ^{2 were used} . To obtain the gradient characteristics x ² , the brightness gradient module for each pixel of each image was estimated using the ratios taken from [Duda, P. Hart, Pattern Recognition and Scene Analysis, Moscow, Mir, 1976, p. 511]. Then, two matrixes of signs were formed, each element of each matrix was a 2-dimensional vector of pixel attribute values of the source images:

После этого из множества векторов матрицы признаков первого изображения было выбрано множество

в количестве Н элементов с различными по значению признаками, которое в данном случае составило 485. Предполагалось, что величина предполагаемого сдвига d=5. Для номеров строки и столбца (n_S,m_S) выполнялось условие 6≤n_S≤231, 6≤m_S≤361, s=1,2,…H.After that, from the set of vectors of the matrix of features of the first image, a set of

in the number of H elements with different in value attributes, which in this case amounted to 485. It was assumed that the magnitude of the estimated shift d = 5. For row and column numbers (n _S , m _S ), the condition 6≤n _S ≤231, 6≤m _S ≤361, s = 1,2, ... H was fulfilled.

Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

, которые определили какThen for each item

selected a lot of elements

size 121 of the feature matrix

corresponding to the second image, with such row and column numbers for which the condition | k | ≤5, | l | ≤5 is fulfilled, the images were formed in the form of images representing matrixes of scalar elements

for the set X ₁ and

for each of the sets

which identified as

где

Where

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀<226, 1≤j₀≤356;(i ₀ , j ₀ ) is the number of the row and column, respectively, 1≤i ₀ <226, 1≤j ₀ ≤356;

для каждого из 485 образов

составили 121 пару с каждым из образов

и для каждой пары вычислили значение оценки критериальной функции

, сформировали 485 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения -5≤x≤5, -5≤y≤5, определили значения

, пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение

полученных значений.for each of 485 images

amounted to 121 pairs with each of the images

and for each pair the value of the evaluation of the criterial function was calculated

formed 485 matrices

11 × 11 in size, whose elements are the values of the criteria function estimates, approximated matrices by smooth continuous surfaces

with a scope of -5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

, the spatial shift of the second image relative to the first image was determined as the average value

received values.

В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю. Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].In this example, a correlation relation was taken as a criterion function. Estimates of correlation relations were calculated using the formulas of empirical correlation relations [Abezgauz G., G., Tron A.P., Kopenkin Yu. N., Korovina I.A., Handbook of Probabilistic Calculations., M. Voenizdat., 1970, 536 pp. .].

Таким образом было получено 485 действительных значений сдвига в пикселях. Эти значения представлены на Фиг.1C в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 485 значений сдвигов:

=0,079 пикселей,

=-2,653 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,55 пикселей и по оси ОУ: σу=1,03 пикселей.Thus, 485 real pixel shift values were obtained. These values are presented in FIG. 1C as “points” representing circles of small radii on the coordinate plane XU. The spatial shift of the second image relative to the first image is defined as the average value of the received 485 shift values:

= 0.079 pixels,

= -2.653 pixels. The standard deviations of the shift along the OX axis were also calculated: σx = 0.55 pixels and along the OA axis: σy = 1.03 pixels.

Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=485 использованных образов первого изображения, равных числу полученных значений сдвигов. В нашем примере при Δ=0.5 значение D=0,6 пикселей; при Δ=1 значение D=0,76 пикселей; при Δ=1.5 значение D=0,91 пикселей. Эти области отличий от значения истинного сдвига представлены на фигуре 1C окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

, which differ by less than Δ pixels from the true shift value, to the number H = 485 of the used images of the first image, equal to the number of received shift values. In our example, when Δ = 0.5, the value of D = 0.6 pixels; at Δ = 1, the value of D = 0.76 pixels; at Δ = 1.5, the value of D = 0.91 pixels. These areas of differences from the true shift value are represented in FIG. 1C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 2. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.2А), изображение видимого диапазона - за второе (Фиг.2В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовалась яркость пикселей х¹. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой одномерный вектор значений признаков пикселей исходных изображений:Example 2. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the IR range was taken for the first image (Fig.2A), the image of the visible range for the second (Fig.2B). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first. As signs of pixels of the digitized source images, the brightness of pixels x ^{1 was used} . Then, two matrixes of signs were formed, each element of each matrix was a one-dimensional vector of pixel attribute values of the source images:

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 74. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s,m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1,2,…74. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

для множества X₁ и

для каждого из множеств

, которые определили какAfter that, from the set of vectors of the matrix of features of the first image, a set of

in the number of H elements with different in value attributes, H in this case was 74. It was assumed that the value of the possible shift d = 5. For row and column numbers (n _s , m _s ), the condition 6≤n _s ≤45 was fulfilled; 6≤m _s ≤55, s = 1,2, ... 74. Then for each item

selected a lot of elements

size 121 of the feature matrix

for the set X ₁ and

for each of the sets

which identified as

где

Where

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀<40, 1≤j₀≤50;(i ₀ , j ₀ ) is the number of the row and column, respectively, 1≤i ₀ <40, 1≤j ₀ ≤50;

ρ - евклидово расстояние в пространстве признаков.ρ is the Euclidean distance in the feature space.

Для каждого из 74 образов

составили 121 (11×11) пару с каждым из образов

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].For each of 74 images

amounted to 121 (11 × 11) pair with each of the images

. Estimates of correlation relations were calculated using the formulas of empirical correlation relations [Abezgauz G., G., Tron AP, Kopenkin Yu.N., Korovina IA, Handbook of Probabilistic Calculations., M. Voenizdat., 1970, 536 pp. .].

Затем сформировали 74 матрицы

размером 11×11, элементами которых являются значения оценок критериальной функции, и аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определенияThen formed 74 matrix

11 × 11 in size, whose elements are the values of the criteria function estimates, and the matrices are approximated by smooth continuous surfaces

with scope

-5≤x≤5, -5≤у≤5, определили значения

. Таким образом было получено 74 действительных значений оценок сдвига. Эти значения представлены на Фиг.2С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных 74 значений сдвигов:

=-0,004 пикселей,

=-2,549 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,31 пикселей и по оси ОУ: σу=0,38 пикселей. Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=74 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,76; при Δ=1 значение D=0,97; при Δ=1.5 значение D=0,99.-5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

. Thus, 74 real values of the shear estimates were obtained. These values are presented in FIG. 2C in the form of “dots” representing circles of small radii on the coordinate plane of the HOU. The spatial shift of the second image relative to the first image was determined as the average value of the obtained 74 shift values:

= -0.004 pixels

= -2.549 pixels. The standard deviations of the shift along the OX axis were also calculated: σx = 0.31 pixels and along the OA axis: σy = 0.38 pixels. The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

which differ by less than Δ pixels from the true shift value, to the number H = 74 of the used images of the first image. In our example, when Δ = 0.5, the value of D = 0.76; when Δ = 1, the value of D = 0.97; at Δ = 1.5, the value of D = 0.99.

Эти области отличий от истинного сдвига представлены на фигуре 2С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.These areas of differences from the true shift are represented in Figure 2C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 3. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.3А), изображение видимого диапазона - за второе (Фиг.3В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений х¹ использовалась текстурная характеристика пикселей - значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3х3. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой одномерный вектор значений признаков пикселей исходных изображений:Example 3. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the IR range was taken as the first image (Fig.3A), the image of the visible range for the second (Fig.3B). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first. As the signs of the pixels of the digitized source images x ^{1, we} used the texture characteristic of the pixels — the value of the pixel brightness variation calculated from adjacent pixels with a 3x3 sliding window. Relationships taken from [Anys, H., A. Bannari, D. C. He, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," were used to calculate texture characteristics. Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol. 3, pp. 231-245]. Then, two matrixes of signs were formed, each element of each matrix was a one-dimensional vector of pixel attribute values of the source images:

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 161. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_S,m_S) выполнялось условие 6≤n_S<45; 6≤m_S<55, s=1,2,…161. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤5, |l|≤5, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определили какAfter that, from the set of vectors of the matrix of features of the first image, a set of

in the number of H elements with different in value attributes, H in this case was 161. It was assumed that the value of the possible shift d = 5. For row and column numbers (n _S , m _S ), the condition 6≤n _S <45 was fulfilled; 6≤m _S <55, s = 1,2, ... 161. Then for each item

selected a lot of elements

size 121 of the feature matrix

for the set X ₁ and

for each of the sets

who determined how

где

Where

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤40, 1≤j₀≤50;(i _0, j ₀₎ - number of rows and columns, respectively, 1≤i ₀ ≤40, 1≤j ₀ ≤50;

Для каждого из 161 образов

составили 121 пару с каждым из образов

, и для каждой пары вычислили значение оценки критериальной функции

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.]. Затем сформировали 161 матриц

. Таким образом было получено 161 действительных значений оценок сдвига. Эти значения представлены на Фиг.3С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ.For each of 161 images

amounted to 121 pairs with each of the images

, and for each pair we calculated the value of the evaluation of the criterion function

. Estimates of correlation relations were calculated using the formulas of empirical correlation relations [Abezgauz G., G., Tron AP, Kopenkin Yu.N., Korovina IA, Handbook of Probabilistic Calculations., M. Voenizdat., 1970, 536 pp. .]. Then formed 161 matrices

with a scope of -5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

. Thus, 161 valid values of the shift estimates were obtained. These values are presented on Figs in the form of "points", representing circles of small radii, on the coordinate plane of the COW.

Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение

полученных 161 значений сдвигов:

=-0,22 пикселей,

=-3,36 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,39 пикселей и по оси ОУ: σу=0,55 пикселей. Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=161 использованных образов первого изображения. В нашем примере при Δ=0.5 значение Δ=0,22; при Δ=1 значение D=0,6; при Δ=1.5 значение D=0,75. Эти области отличий от истинного сдвига представлены на фигуре 3С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.The spatial shift of the second image relative to the first image is defined as the average value

obtained 161 shift values:

= -0.22 pixels,

= -3.36 pixels. The standard deviations of the shift along the OX axis were also calculated: σx = 0.39 pixels and along the OA axis: σy = 0.55 pixels. The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

that differ by less than Δ pixels from the true shift value to the number H = 161 of the used images of the first image. In our example, when Δ = 0.5, the value Δ = 0.22; when Δ = 1, the value of D = 0.6; at Δ = 1.5, the value of D = 0.75. These areas of differences from the true shift are represented in Figure 3C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 4. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.4А), изображение видимого диапазона - за второе (Фиг.4В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений х¹ использовалась текстурная характеристика пикселей - среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3). Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Barman, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images, "Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков, каждый элемент каждой матрицы представлял собой одномерный вектор значений признаков пикселей исходных изображений:Example 4. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the infrared range was taken as the first image (Figa), the image of the visible range for the second (Figv). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first. The texture characteristics of the pixels — the average value of the pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window) were used as signs of pixels of the digitized source images x ¹ . Relationships taken from [Anys, H., A. Barman, D. C. He, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," were used to calculate texture characteristics. Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol. 3, pp. 231-245]. Then, two matrixes of signs were formed, each element of each matrix was a one-dimensional vector of pixel attribute values of the source images:

;

.

;

.

в количестве Н элементов с различными по значению признаками, H в данном случае составило 188. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1, 2,…188. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

для множества X₁ и

для каждого из множеств

in the number of H elements with attributes of different values, H in this case was 188. It was assumed that the value of the possible shift is d = 5. For row and column numbers (n _s , m _s ), condition 6≤n _s ≤45 was fulfilled; 6≤m _s ≤55, s = 1, 2, ... 188. Then for each item

selected a lot of elements

size 121 of the feature matrix

for the set X ₁ and

for each of the sets

who determined how

где

Where

Для каждого из 188 образов

составили 121 пару с каждым из образов

. В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.]. Затем сформировали 188 матриц

с областью определения -5≤х≤5, -5≤у≤5, определили значения

. Таким образом было получено 188 действительных значений оценок сдвига. Эти значения представлены на Фиг.4С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 161 значений сдвигов:

=-0,19 пикселей,

=-1,85 пикселей. Были вычислены также среднеквадратичные отклонения сдвига ОХ: σх=0,48 пикселей и по оси ОУ: σу=0,68 пикселей. Достоверность определения сдвига D оценивали такой характеристикой, как отношение количества значений из совокупности

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=188 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,33; при Δ=1 значение D=0,6; при Δ=1.5 значение D=0,86. Эти области отличий от истинного сдвига представлены на фигуре 4С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.For each of 188 images

amounted to 121 pairs with each of the images

. In this example, a correlation relation was taken as a criterion function. Estimates of correlation relations were calculated using the formulas of empirical correlation relations [Abezgauz G., G., Tron AP, Kopenkin Yu.N., Korovina IA, Handbook of Probabilistic Calculations., M. Voenizdat., 1970, 536 pp. .]. Then formed 188 matrices

with a scope of -5≤x≤5, -5≤y≤5, the values determined

in which extremes of surfaces are reached

. Thus, 188 valid shear estimates were obtained. These values are presented in FIG. 4C in the form of “dots” representing circles of small radii on the coordinate plane of the HOU. The spatial shift of the second image relative to the first image is determined as the average value of the obtained 161 shift values:

= -0.19 pixels,

= -1.85 pixels. The standard deviations of the OX shift were also calculated: σx = 0.48 pixels and along the axis of the OC: σy = 0.68 pixels. The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

, which differ by less than Δ pixels from the true shift value, to the number H = 188 used images of the first image. In our example, when Δ = 0.5, the value of D = 0.33; when Δ = 1, the value of D = 0.6; at Δ = 1.5, the value of D = 0.86. These areas of differences from the true shift are represented in Figure 4C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 5. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.5А), изображение видимого диапазона - за второе (Фиг.5В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовались: яркость пикселей х¹, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3) х² и значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х³. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, Н., A. Bannari, D.С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images, "Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 3-мерные векторы значений признаков пикселей исходных изображений:Example 5. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the infrared range was taken as the first image (Fig.5A), the image of the visible range for the second (Fig.5B). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first. The following were used as signs of pixels of the digitized source images: pixel brightness x ¹ , average pixel brightness (averaging over adjacent pixels with a 3 × 3 moving window) x ^2, and pixel brightness variation calculated from adjacent pixels with a 3 × 3 moving window, x ³ . Relationships taken from [Anys, N., A. Bannari, D.C. He, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," were used to calculate texture characteristics. Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol. 3, pp. 231-245]. Then two matrixes of signs were formed - for the first and for the second image, the elements of the matrices were 3-dimensional vectors of pixel values of the original images:

;

.

;

.

в количестве Н элементов с различными по значению признаками, H в данном случае составило 1808. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s<55, s=1,2,…1808. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

для множества X₁ и

для каждого из множеств

in the number of H elements with attributes of different values, H in this case was 1808. It was assumed that the value of the possible shift is d = 5. For row and column numbers (n _s , m _s ), condition 6≤n _s ≤45 was fulfilled; 6≤m _s <55, s = 1,2, ... 1808. Then for each item

selected a lot of elements

size 121 of the feature matrix

for the set X ₁ and

for each of the sets

which identified as

где

Where

Для каждого из 1808 образов

составили 121 пару с каждым из образов

. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].For each of 1808 images

amounted to 121 pairs with each of the images

Затем сформировали 1808 матриц

с областью определения 1808 matrices were then formed

with scope

-5≤x≤5, -5≤у≤5, определили значения

. Таким образом было получено 1808 действительных значений оценок сдвига по образам. Эти значения представлены на Фиг.5С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 1808 значений сдвигов:

=-0,059 пикселей,

=-2,387 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,496 пикселей и по оси ОУ: σу=0,697 пикселей.-5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

. Thus, 1808 actual values of the estimates of the shift in the images were obtained. These values are presented in Fig. 5C in the form of "points", which are circles of small radii, on the coordinate plane XU. The spatial shift of the second image relative to the first image is defined as the average value of the obtained 1808 shift values:

= -0.059 pixels

= -2.387 pixels. The standard deviations of the shift along the OX axis were also calculated: σx = 0.496 pixels and along the OA axis: σy = 0.697 pixels.

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу Н=1808 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,465; при Δ=1 значение D=0,82; при Δ=1.5 значение D=0,94. Эти области отличий от истинного сдвига представлены на фигуре 5С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

, which differ by less than Δ pixels from the true shift value, to the number H = 1808 of the used images of the first image. In our example, when Δ = 0.5, the value of D = 0.465; when Δ = 1, the value of D = 0.82; at Δ = 1.5, the value of D = 0.94. These areas of differences from the true shift are represented in figure 5C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 6. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.6А), изображение видимого диапазона - за второе (Фиг.6В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовались: яркость пикселей х¹, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3) х² и значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х³. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 3-мерные векторы значений признаков пикселей исходных изображений:Example 6. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the IR range was taken as the first image (Fig.6A), the image of the visible range for the second (Fig.6B). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first. The following were used as signs of pixels of the digitized source images: pixel brightness x ¹ , average pixel brightness (averaging over adjacent pixels with a 3 × 3 moving window) x ^2, and pixel brightness variation calculated from adjacent pixels with a 3 × 3 moving window, x ³ . Relationships taken from [Anys, H., A. Bannari, D. C. He, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," were used to calculate texture characteristics. Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol. 3, pp. 231-245]. Then two matrixes of signs were formed - for the first and for the second image, the elements of the matrices were 3-dimensional vectors of pixel values of the original images:

;

.

;

.

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1808. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1,2,… 1808. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

для множества X₁ и

для каждого из множеств

in the number of H elements with attributes of different values, H in this case was 1808. It was assumed that the value of the possible shift is d = 5. For row and column numbers (n _s , m _s ), condition 6≤n _s ≤45 was fulfilled; 6≤m _s ≤55, s = 1,2, ... 1808. Then for each element

selected a lot of elements

size 121 of the feature matrix

for the set X ₁ and

for each of the sets

who determined how

где

Where

Для каждого из 1808 образов

составили 121 пару с каждым из образов

amounted to 121 pairs with each of the images

Затем сформировали 1808 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции. Далее из этих матриц выбрали матрицы

, сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм. Таких матриц оказалось 100. Затем аппроксимировали каждую из этих матриц гладкой непрерывной поверхностью

с областью определения -5≤x≤5, -5≤у≤5, определили значения

. Таким образом, было получено 100 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.6С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 100 значений: по оси OX

=-0,06 пикселей, по оси ОУ

=-2.305 пикселей. Значения координат истинного сдвига представлены на фигуре 6С точкой пересечения штрихпунктирных прямых линий. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,127 пикселей и по оси ОУ: σу=0,294 пикселей.1808 matrices were then formed

11 × 11 in size, whose elements are the values of the criteria function estimates. Further, matrices were selected from these matrices

, the sum of the elements of the Fourier spectrum of which exceeds not more than 1.1 times the minimum of all the sums. There were 100 such matrices. Then each of these matrices was approximated by a smooth continuous surface

with the scope of -5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

. Thus, 100 valid pixel shift values were obtained. These values are presented in FIG. 6C in the form of “points” representing circles of small radii on the coordinate plane of the HOU. The spatial shift of the second image relative to the first image is determined as the average value of the obtained 100 values: along the OX axis

= -0.06 pixels, along the axis of the op-amp

= -2.305 pixels. The true shift coordinates are shown in Figure 6C as the intersection point of the dot-dash straight lines. The standard deviations of the shift along the OX axis were also calculated: σx = 0.127 pixels and along the OA axis: σy = 0.294 pixels.

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу Н=100 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,71; при Δ=1 значение D=1; при Δ=1.5 значение D=1. Эти области отличий от истинного сдвига представлены на фигуре 6С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

which differ by less than Δ pixels from the true shift value to the number H = 100 of the used images of the first image. In our example, when Δ = 0.5, the value of D = 0.71; when Δ = 1, the value of D = 1; at Δ = 1.5, the value of D = 1. These areas of differences from the true shift are represented in Figure 6C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 7. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.7А), изображение видимого диапазона - за второе (Фиг.7В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого. В качестве признаков пикселей оцифрованных исходных изображений использовались: яркость пикселей х¹, среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3) х² и значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х³. Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Barman, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 3-мерные векторы значений признаков пикселей исходных изображений:Example 7. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the infrared range was taken as the first image (Figa), the image of the visible range for the second (Figv). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first. The following were used as signs of pixels of the digitized source images: pixel brightness x ¹ , average pixel brightness (averaging over adjacent pixels with a 3 × 3 moving window) x ^2, and pixel brightness variation calculated from adjacent pixels with a 3 × 3 moving window, x ³ . Relationships taken from [Anys, H., A. Barman, D. C. He, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," were used to calculate texture characteristics. Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol. 3, pp. 231-245]. Then two matrixes of signs were formed - for the first and for the second image, the elements of the matrices were 3-dimensional vectors of pixel values of the original images:

;

.

;

.

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1808. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤n_s≤55, s=1,2,… 1808. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

множества X₁ и

для каждого из множеств

in the number of H elements with attributes of different values, H in this case was 1808. It was assumed that the value of the possible shift is d = 5. For row and column numbers (n _s , m _s ), condition 6≤n _s ≤45 was fulfilled; 6≤n _s ≤55, s = 1,2, ... 1808. Then for each element

selected a lot of elements

size 121 of the feature matrix

sets X ₁ and

for each of the sets

who determined how

где

Where

Для каждого из 1808 образов

составили 121 пару с каждым из образов

amounted to 121 pairs with each of the images

Затем сформировали 1808 матриц

, для которых соответствующие значения

Таких матриц оказалось 222. Аппроксимировали каждую из выбранных матриц и

гладкими непрерывными поверхностями

. Таким образом, было получено 222 действительных значений в пикселях оценок сдвига по образам. Эти значения представлены на Фиг.7С в виде точек, представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 222 значений: по оси ОХ

=0,033 пикселей, по оси ОУ

=-2,27 пикселей. Значения координат истинного сдвига представлены на Фиг.7С точкой пересечения штрихпунктирных прямых линий. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,13, по оси ОУ: σу=0,23 пикселей.1808 matrices were then formed

for which the corresponding values

There were 222 such matrices. Each of the selected matrices was approximated and

smooth continuous surfaces

with a scope of -5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

. Thus, 222 real values in pixels of the image shift estimates were obtained. These values are presented in Fig. 7C in the form of points representing circles of small radii on the coordinate plane of the HOU. The spatial shift of the second image relative to the first image is determined as the average value of the obtained 222 values: along the axis OX

= 0.033 pixels, along the axis of the opamp

= -2.27 pixels. The true shift coordinates are shown in FIG. 7C as the intersection point of dash-dotted straight lines. The standard deviations of the shift along the OX axis were also calculated: σx = 0.13, along the OA axis: σy = 0.23 pixels.

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу Н=222 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,772; при Δ=1 значение D=0,995; при Δ=1.5 значение D=1. Эти области отличий от истинного сдвига представлены на Фиг.7С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

which differ by less than Δ pixels from the true shift value to the number H = 222 of the used images of the first image. In our example, when Δ = 0.5, the value of D = 0.772; when Δ = 1, the value of D = 0.995; at Δ = 1.5, the value of D = 1. These areas of differences from the true shift are shown in Fig. 7C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 8. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.8А), изображение видимого диапазона - за второе (Фиг.8 В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.Example 8. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the IR range was taken as the first image (Fig.8A), the image of the visible range for the second (Fig.8B). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first.

Была произведена обработка исходных изображений фильтром высокой частоты с окном следующего вида:The source images were processed with a high-pass filter with a window of the following form:

-1-one -1-one -1-one -1-one 88 -1-one -1-one -1-one -1-one

В качестве признаков пикселей оцифрованных исходных изображений использовались: х¹ - яркость пикселей, х² -среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), х³ - значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, х⁴ - яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений.The following were used as signs of pixels of the digitized source images: x ¹ — pixel brightness, x ² — average pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window), x ³ — pixel brightness variation calculated from adjacent pixels with a sliding window 3 × 3, x ⁴ - the brightness of the pixels filtered by the high-pass filter of the original images.

Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245].Relationships taken from [Anys, H., A. Bannari, D. C. He, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," were used to calculate texture characteristics. Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol. 3, pp. 231-245].

Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:Then, two matrixes of signs were formed - for the first and for the second image, the matrix elements were 4-dimensional vectors of pixel values of the original images:

;

.

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1876. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1, 2,… 1876. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

для множества X₁ и

для каждого из множеств

которые определили как

After that, from the set of vectors of the matrix of features of the first image, a set of

in the number of H elements with attributes of different values, H in this case was 1876. It was assumed that the value of the possible shift is d = 5. For row and column numbers (n _s , m _s ), condition 6≤n _s ≤45 was fulfilled; 6≤m _s ≤55, s = 1, 2, ... 1876. Then for each element

selected a lot of elements

size 121 of the feature matrix

for the set X ₁ and

for each of the sets

who determined how

где

Where

Для каждого из 1876 образов

составили 121 пару с каждым из образов

. В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].For each of the 1876 images

amounted to 121 pairs with each of the images

. In this example, a correlation relation was taken as a criterion function. Estimates of correlation relations were calculated using the formulas of empirical correlation relations [Abezgauz G., G., Tron AP, Kopenkin Yu.N., Korovina IA, Handbook of Probabilistic Calculations., M. Voenizdat., 1970, 536 pp. .].

Затем сформировали 1876 матриц

с областью определения Then formed 1876 matrices

with scope

-5≤х≤5, -5≤y≤5, определили значения

. Таким образом, было получено 1876 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.8С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ.-5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

. Thus, 1876 valid pixel shift values were obtained. These values are presented on Figs in the form of "points", representing circles of small radii, on the coordinate plane of the HOU.

Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 1876 значений: по оси OX

=-0,058 пикселей, по оси ОУ

=-2,432 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σх=0,71 пикселей и по оси ОУ: σу=0,93 пикселей.The spatial shift of the second image relative to the first image is determined as the average value of the 1876 values obtained: along the OX axis

= -0.058 pixels, along the axis of the op-amp

= -2.432 pixels. The standard deviations of the shift along the OX axis were also calculated: σx = 0.71 pixels and along the OA axis: σy = 0.93 pixels.

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=1876 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,32; при Δ=1 значение D=0,695; при Δ=1.5 значение D=0,856. Эти области отличий от истинного сдвига представлены на Фиг.8С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

which differ by less than Δ pixels from the true shift value to the number H = 1876 of the used images of the first image. In our example, when Δ = 0.5, the value of D = 0.32; when Δ = 1, the value of D = 0.695; at Δ = 1.5, the value of D = 0.856. These areas of differences from the true shift are shown in Fig. 8C with circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 9. В результате дистанционного зондирования земной поверхности были получены изображения одной и той же сцены в 2-х спектральных диапазонах: в видимом и в ИК-диапазоне, в цифровом растровом формате BMP. Изображения получены малогабаритным сканирующим прибором, предоставлены ФГУП НИИКИ ОЭП. Изображения, изначально не имевшие сдвига, были использованы для получения модельных изображений со сдвигом второго изображения относительно первого на 0 пикселя по столбцам и -2,5 пикселя по строкам. Изображение ИК-диапазона было принято за первое изображение (Фиг.9А), изображение видимого диапазона - за второе (Фиг.9В). Размеры изображений 50×60 пикселей. Полученные таким образом изображения служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.Example 9. As a result of remote sensing of the earth's surface, images of the same scene were obtained in 2 spectral ranges: in the visible and in the infrared range, in the BMP digital raster format. Images obtained by a small-sized scanning device, provided by FSUE NIIKI OEP. Images that did not initially have a shift were used to obtain model images with a shift of the second image relative to the first by 0 pixels in columns and -2.5 pixels in rows. The image of the IR range was taken as the first image (Figa), the image of the visible range for the second (Figv). Image sizes 50 × 60 pixels. The images thus obtained served as initial images for determining the spatial shift of the second image relative to the first.

-1-one -1-one -1-one -1-one 88 -1-one -1-one -1-one -1-one

В качестве признаков пикселей оцифрованных исходных изображений использовалась яркость пикселей х¹, х² - среднее значение яркости пикселя (усреднение по смежным пикселям со скользящим окном 3×3), х³ - значение вариации яркости пикселя, вычисленное по смежным пикселям со скользящим окном 3×3, в качестве признаков х⁴ использовалась яркость пикселей отфильтрованных фильтром высокой частоты исходных изображений.As the signs of pixels of the digitized source images, the pixel brightness x ^{1 was used} , x ² is the average pixel brightness (averaging over adjacent pixels with a 3 × 3 sliding window), x ³ is the pixel brightness variation calculated from adjacent pixels with a 3 × sliding window 3, the brightness of the pixels filtered by the high-pass filter of the original images was used as signs x ⁴ .

Для вычисления текстурных характеристик были использованы соотношения, взятые из [Anys, H., A. Bannari, D. С.Не, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol.3, pp.231-245]. Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:Relationships taken from [Anys, H., A. Bannari, D. C. He, and D. Morin, 1994. "Texture analysis for the mapping of urban areas using airborne MEIS-II images," were used to calculate texture characteristics. Proceedings of the First International Airborne Remote Sensing Conference and Exhibition, Strasbourg, France, Vol. 3, pp. 231-245]. Then, two matrixes of signs were formed - for the first and for the second image, the matrix elements were 4-dimensional vectors of pixel values of the original images:

в количестве H элементов с различными по значению признаками, H в данном случае составило 1876. Предполагалось, что значение возможного сдвига d=5. Для номеров строки и столбца (n_s, m_s) выполнялось условие 6≤n_s≤45; 6≤m_s≤55, s=1,2,…1876. Затем для каждого элемента

выбрали множество элементов

размером 121 из матрицы признаков

для множества X₁ и

для каждого из множеств

которые определили как

in the number of H elements with attributes of different values, H in this case was 1876. It was assumed that the value of the possible shift is d = 5. For row and column numbers (n _s , m _s ), condition 6≤n _s ≤45 was fulfilled; 6≤m _s ≤55, s = 1,2, ... 1876. Then for each item

selected a lot of elements

size 121 of the feature matrix

for the set X ₁ and

for each of the sets

who determined how

Для каждого из 1876 образов

составили 121 пару с каждым из образов

. В качестве критериальной функции в данном примере было взято корреляционное отношение. Оценки корреляционных отношений вычислялись по формулам эмпирических корреляционных отношений [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю. Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].For each of the 1876 images

amounted to 121 pairs with each of the images

. In this example, a correlation relation was taken as a criterion function. Estimates of correlation relations were calculated using the formulas of empirical correlation relations [Abezgauz G., G., Tron A.P., Kopenkin Yu. N., Korovina I.A., Handbook of Probabilistic Calculations., M. Voenizdat., 1970, 536 pp. .].

Затем сформировали 1876 матриц

размером 11×11, элементами которых являются значения оценок критериальной функции, из этих матриц выбрали матрицы

, для которых соответствующие значения

Таких матриц оказалось 66. Аппроксимировали каждую из этих матриц гладкой непрерывной поверхностью

c областью определения -5≤x≤5, -5≤y≤5, определили значения

. Таким образом, было получено 66 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.9С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ.Then formed 1876 matrices

size 11 × 11, the elements of which are the values of the estimates of the criterion function, from these matrices the matrices were chosen

for which the corresponding values

There were 66 such matrices. Each of these matrices was approximated by a smooth continuous surface.

with the scope of -5≤x≤5, -5≤y≤5, determined the values

in which extremes of surfaces are reached

. Thus, 66 valid pixel shift values were obtained. These values are presented on Figs in the form of "points", representing circles of small radii, on the coordinate plane of the HOU.

Пространственный сдвиг второго изображения относительно первого изображения определяют как среднее значение полученных 66 значений: по оси OX

=0,033 пикселей, по оси ОУ

=-2,575 пикселей. Были вычислены также среднеквадратичные отклонения сдвига по оси ОХ: σx=0,138 пикселей и по оси ОУ: σу=0,357 пикселей.The spatial shift of the second image relative to the first image is determined as the average of the obtained 66 values: along the OX axis

= 0.033 pixels, along the axis of the opamp

= -2.575 pixels. The standard deviations of the shift along the OX axis were also calculated: σx = 0.138 pixels and along the OA axis: σy = 0.357 pixels.

, которые отличаются менее чем на Δ пикселей от истинного значения сдвига, к числу H=66 использованных образов первого изображения. В нашем примере при Δ=0.5 значение D=0,783; при Δ=1 значение D=1; при Δ=1.5 значение D=1. Эти области отличий от истинного сдвига представлены на фигуре 9С окружностями соответствующих радиусов. Таким образом, сдвиг определен с субпиксельной точностью и с высокой достоверностью.The reliability of determining the shift D was evaluated by such a characteristic as the ratio of the number of values from the set

which differ by less than Δ pixels from the true shift value to the number H = 66 of the used images of the first image. In our example, when Δ = 0.5, the value of D = 0.783; when Δ = 1, the value of D = 1; at Δ = 1.5, the value of D = 1. These areas of differences from the true shift are represented in figure 9C by circles of corresponding radii. Thus, the shift is determined with subpixel accuracy and with high reliability.

Пример 10. В результате дистанционного зондирования одной и той же сцены земной поверхности со спутника в апреле и в августе были получены два многоспектральных изображения. [Изображения предоставлены компанией СЗЦ «ЭкоЛаб».] Пиксели этого многоспектрального изображения имеют 4-мерные векторные компоненты, соответствующие яркостям в диапазонах R, G, В и в ИК-диапазоне. Все четыре изображения, полученные в апреле месяце, не имеют относительно друг друга сдвигов, и все четыре изображения, полученные в августе месяце, не имеют относительно друг друга сдвигов. На Фиг.10А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.10В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Эти изображения размером 400×400 служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.Example 10. As a result of remote sensing of the same scene of the earth's surface from a satellite in April and August, two multispectral images were obtained. [Images courtesy of SZC EcoLab.] The pixels of this multispectral image have 4-dimensional vector components corresponding to luminances in the R, G, B ranges and in the IR range. All four images obtained in the month of April have no shifts relative to each other, and all four images obtained in the month of August have no shifts relative to each other. On figa presents the image obtained in April, in the form of the four constituent components. Figure 10B shows an image obtained in August in the form of the four constituent components. These 400 × 400 images served as source images to determine the spatial shift of the second image relative to the first.

Признаковое пространство и для первого, и для второго изображений было сформировано следующим образом. В качестве признаков х¹(i, j) использовалась яркость пикселей исходного изображения, соответствующего ИК-излучению, а в качестве признаков х²(i,j) - яркость пикселей исходного изображения, соответствующего красному диапазону (диапазону R) длин волн, в качестве признаков х³(i,j) - яркость пикселей исходного изображения, соответствующего зеленому диапазону (диапазону G) длин волн, в качестве признаков х⁴(i,j) - яркость пикселей исходного изображения, соответствующего голубому диапазону длин волн (диапазону В). Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:The attribute space for both the first and second images was formed as follows. As the signs of x ¹ (i, j), we used the brightness of the pixels of the original image corresponding to IR radiation, and as the signs of x ² (i, j), the brightness of the pixels of the original image corresponding to the red range (R range) of wavelengths, as feature x ³ (i, j) is the brightness of the pixels of the original image corresponding to the green range (range G) of wavelengths, as features x ⁴ (i, j) is the brightness of the pixels of the original image corresponding to the blue range of wavelengths (range B). Then two matrixes of signs were formed - for the first and for the second image, the elements of the matrices were 4-dimensional vectors of pixel values of the original images:

;

.

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1876. Предполагалось, что значение возможного сдвига d=10. Для номеров строки и столбца (n_s, m_s) выполнялось условие 11≤n_s≤390; 11≤m_s≤390, s=1,2,…2381. Затем для каждого элемента

выбрали множество элементов

размером 441 из матрицы признаков

, соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤10, |l|≤10, образы сформировали в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

in the number of H elements with attributes of different values, H in this case was 1876. It was assumed that the value of the possible shift is d = 10. For row and column numbers (n _s , m _s ), the condition 11≤n _s ≤390 was fulfilled; 11≤m _s ≤390, s = 1,2, ... 2381. Then for each item

selected a lot of elements

size 441 from the feature matrix

corresponding to the second image, with such row and column numbers for which the condition | k | ≤10, | l | ≤10 is fulfilled, the images were formed in the form of images representing matrixes of scalar elements

for the set X ₁ and

for each of the sets

who determined how

где

Where

(i₀,j₀) - номер соответственно строки и столбца, 1≤i₀≤380, 1≤j₀≤380;(i ₀ , j ₀ ) is the number of the row and column, respectively, 1≤i ₀ ≤380, 1≤j ₀ ≤380;

Для каждого из 2381 образов

составили 441 пару с каждым из образов

. В качестве критериальной функции в данном примере была взята разностная критериальная функция [Абезгауз Г.,Г., Тронь А.П., Копенкин Ю.Н., Коровина И.А., Справочник по вероятностным расчетам., М. Воениздат., 1970, 536 с.].For each of 2381 images

amounted to 441 pairs with each of the images

. The difference criterial function [Abezgauz G., G., Tron A.P., Kopenkin Yu.N., Korovina I.A., Handbook of probabilistic calculations., M. Voenizdat., 1970 was taken as a criterion function in this example , 536 p.].

Затем сформировали 2381 матриц

размером 21×21, элементами которых являются значения оценок критериальной функции. После формирования матриц произвели дискретное преобразование Фурье каждой из матриц, вычислили Фурье-спектр и суммировали все элементы Фурье-спектра каждой из матриц. Затем выбирали из 2381 те матрицы

, сумма элементов Фурье-спектра которых превосходила не более чем в 1,1 раза минимальную из всех сумм. Таких матриц оказалось 50. Аппроксимацию матриц гладкими непрерывными поверхностями с областью определения -10≤х≤10, -10≤у≤10 осуществили для 50 выбранных матриц. Таким образом было получено 50 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.10С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных значений 50 значений: по оси ОХ

=6,73 пикселей, по оси ОУThen formed 2381 matrices

21 × 21 in size, whose elements are the values of the criteria function estimates. After the matrices were formed, a discrete Fourier transform of each of the matrices was performed, the Fourier spectrum was calculated, and all elements of the Fourier spectrum of each of the matrices were summed. Then, those matrices were selected from 2381

, the sum of the elements of the Fourier spectrum of which exceeded no more than 1.1 times the minimum of all the sums. There were 50 such matrices. The matrices were approximated by smooth continuous surfaces with a domain of definition of -10≤x≤10, -10≤y≤10 for 50 selected matrices. Thus, 50 valid pixel shift values were obtained. These values are presented in FIG. 10C in the form of “points” representing circles of small radii on the coordinate plane of the COW. The spatial shift of the second image relative to the first image was determined as the average value of the obtained values of 50 values: along the axis OX

= 6.73 pixels, along the axis of the opamp

=-l,73 пикселей. Вычислено также среднеквадратичное отклонение оценок сдвига по оси ОХ: σx=0,24 пикселей и по оси ОУ: σу=0,20 пикселей. Сдвиг, определенный как

, представлен на фигуре 10С точкой пересечения штрихпунктирных прямых линий. Окружности на фигуре 10С с центром в точке

имеют соответственно радиусы 0,5 пикселя, 1 пиксель, 1,5 пикселя. Таким образом, сдвиг определен с субпиксельной точностью.

= -l, 73 pixels. The standard deviation of the shift estimates along the OX axis was also calculated: σx = 0.24 pixels and along the OA axis: σy = 0.20 pixels. Shift defined as

is represented in Figure 10C by the point of intersection of the dot-dash straight lines. The circles in figure 10C centered at a point

respectively, have radii of 0.5 pixels, 1 pixel, 1.5 pixels. Thus, the shift is determined with subpixel accuracy.

Пример 11. В результате дистанционного зондирования одной и той же сцены земной поверхности со спутника в апреле и в августе были получены два многоспектральных изображения. [Изображения предоставлены компанией СЗЦ «ЭкоЛаб».] Пиксели этого многоспектрального изображения имеют 4-мерные векторные компоненты, соответствующие яркостям в диапазонах R, G, В и в ИК-диапазоне. Все четыре изображения, полученные в апреле месяце, не имеют относительно друг друга сдвигов, и все четыре изображения, полученные в августе месяце, не имеют относительно друг друга сдвигов. На Фиг.11А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.11В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Фрагменты этих изображений размером 50×60 служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.Example 11. As a result of remote sensing of the same scene of the earth's surface from a satellite in April and in August, two multispectral images were obtained. [Images courtesy of SZC EcoLab.] The pixels of this multispectral image have 4-dimensional vector components corresponding to luminances in the R, G, B ranges and in the IR range. All four images obtained in the month of April have no shifts relative to each other, and all four images obtained in the month of August have no shifts relative to each other. On figa presents the image obtained in April, in the form of four constituent components. On figv presents the image obtained in August, in the form of four constituent components. Fragments of these 50 × 60 images served as source images to determine the spatial shift of the second image relative to the first.

Признаковое пространство и для первого, и для второго изображений было сформировано следующим образом. В качестве признаков х¹(i,j) использовалась яркость пикселей исходного изображения, соответствующего ИК-излучению, а в качестве признаков х² (i,j) - яркость пикселей исходного изображения, соответствующего красному диапазону (диапазону R) длин волн, в качестве признаков х³(i,j) - яркость пикселей исходного изображения, соответствующего зеленому диапазону (диапазону G) длин волн, в качестве признаков х⁴(i,j) - яркость пикселей исходного изображения, соответствующего голубому диапазону длин волн (диапазону В). Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:The attribute space for both the first and second images was formed as follows. As the signs of x ¹ (i, j), we used the brightness of the pixels of the original image corresponding to IR radiation, and as the signs of x ² (i, j), the brightness of the pixels of the original image corresponding to the red range (R range) of wavelengths, as feature x ³ (i, j) is the brightness of the pixels of the original image corresponding to the green range (range G) of wavelengths, as features x ⁴ (i, j) is the brightness of the pixels of the original image corresponding to the blue range of wavelengths (range B). Then two matrixes of signs were formed - for the first and for the second image, the elements of the matrices were 4-dimensional vectors of pixel values of the original images:

;

.

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1167. Величина предполагаемого сдвига предполагалась равной 10 пикселей: d=10. Для номеров строки и столбца (n_s, m_s) выполнялосьусловие 11≤n_s≤40; 11≤m_s≤50, s=1, 2,… 1167.After that, from the set of vectors of the matrix of features of the first image, a set of

in the number of H elements with attributes of different values, H in this case was 1167. The magnitude of the estimated shift was assumed to be 10 pixels: d = 10. For row and column numbers (n _s , m _s ), condition 11≤n _s ≤40 was satisfied; 11≤m _s ≤50, s = 1, 2, ... 1167.

Затем для каждого элемента

выбрали множество элементов

размером 441 из матрицы признаков

для множества X₁ и

для каждого из множеств

которые определили как

Then for each item

selected a lot of elements

size 441 from the feature matrix

for the set X ₁ and

for each of the sets

who determined how

где

Where

Для каждого из 1167 образов

составили 441 пару с каждым из образов

. Далее сформировали 1167 матриц

размером 21×21, элементами которых являются значения оценок критериальной функции. При этом в качестве критериальной функции в данном примере был взят коэффициент корреляции [Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации - М.: Радио и связь, 1986, - 216 с.]. Затем аппроксимировали матрицы гладкими непрерывными поверхностями

с областью определения -10≤х≤10, -10≤у≤10, определили значения

полученных значений.For each of 1167 images

amounted to 441 pairs with each of the images

. Then formed 1167 matrices

21 × 21 in size, whose elements are the values of the criteria function estimates. Moreover, the correlation coefficient [Baklitsky V.K., Bochkarev AM, Musyakov MP Methods of filtering signals in correlation-extreme navigation systems - M .: Radio and communication, 1986, - 216 p.]. Then the matrices were approximated by smooth continuous surfaces

with the scope of -10≤x≤10, -10≤y≤10, the values determined

in which extremes of surfaces are reached

received values.

Таким образом, было получено 1167 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.11C в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных значений 1167 значений: по оси ОХ:

=4,71 пикселей, по оси ОУ:

=2,28 пикселей. Вычислено также среднеквадратичное отклонение оценок сдвига по оси ОХ: σх=1,6 пикселей и по оси ОУ: σу=1,3 пикселей. Сдвиг, определенный как

, представлен на фигуре 11С точкой пересечения штрихпунктирных прямых линий. Окружности на фигуре 11С с центром в точке

имеют соответственно радиусы 0,5 пикселя, 1 пиксель, 1,5 пикселя.Thus, 1167 valid pixel shift values were obtained. These values are shown in FIG. 11C as “dots” representing circles of small radii on the coordinate plane of the COW. The spatial shift of the second image relative to the first image was determined as the average value of the obtained values of 1167 values: along the axis OX:

= 4.71 pixels, along the axis of the op-amp:

= 2.28 pixels. The standard deviation of the shift estimates along the OX axis was also calculated: σx = 1.6 pixels and along the OA axis: σy = 1.3 pixels. Shift defined as

is represented in Figure 11C by the point of intersection of the dot-dash straight lines. The circles in figure 11C centered at a point

respectively, have radii of 0.5 pixels, 1 pixel, 1.5 pixels.

Пример 12. В результате дистанционного зондирования одной и той же сцены земной поверхности со спутника в апреле и в августе были получены два многоспектральных изображения. [Изображения предоставлены компанией СЗЦ «ЭкоЛаб».] Пиксели этого многоспектрального изображения имеют 4-мерные векторные компоненты, соответствующие яркостям в диапазонах R, G, В и в ИК-диапазоне. Все четыре изображения, полученные в апреле месяце, не имеют относительно друг друга сдвигов, и все четыре изображения, полученные в августе месяце, не имеют относительно друг друга сдвигов. На Фиг.12А представлено изображение, полученное в апреле, в виде четырех составляющих его компонент. На Фиг.12В представлено изображение, полученное в августе, в виде четырех составляющих его компонент. Фрагменты этих изображений размером 50×60 служили исходными изображениями для определения пространственного сдвига второго изображения относительно первого.Example 12. As a result of remote sensing of the same scene of the earth's surface from a satellite in April and in August, two multispectral images were obtained. [Images provided by SZC EcoLab.] The pixels of this multispectral image have 4-dimensional vector components corresponding to luminances in the R, G, B ranges and in the IR range. All four images obtained in the month of April have no shifts relative to each other, and all four images obtained in the month of August have no shifts relative to each other. On figa presents the image obtained in April, in the form of the four constituent components. On figv presents the image obtained in August, in the form of four constituent components. Fragments of these 50 × 60 images served as source images to determine the spatial shift of the second image relative to the first.

Признаковое пространство и для первого, и для второго изображений было сформировано следующим образом. В качестве признаков х¹(i,j) использовалась яркость пикселей исходного изображения, соответствующего ИК-излучению, а в качестве признаков х²(i,j) - яркость пикселей исходного изображения, соответствующего красному диапазону (диапазону R) длин волн, в качестве признаков х³(i,j) - яркость пикселей исходного изображения, соответствующего зеленому диапазону (диапазону G) длин волн, в качестве признаков x⁴(i,j) - яркость пикселей исходного изображения, соответствующего голубому диапазону длин волн (диапазону В). Затем были сформированы две матрицы признаков - для первого и для второго изображений, элементы матриц представляли собой 4-мерные векторы значений признаков пикселей исходных изображений:The attribute space for both the first and second images was formed as follows. As the signs of x ¹ (i, j), we used the brightness of the pixels of the original image corresponding to IR radiation, and as the signs of x ² (i, j) - the brightness of the pixels of the original image corresponding to the red range (R range) of wavelengths, as feature x ³ (i, j) is the brightness of the pixels of the original image corresponding to the green range (range G) of wavelengths, as features x ⁴ (i, j) is the brightness of the pixels of the original image corresponding to the blue range of wavelengths (range B). Then two matrixes of signs were formed - for the first and for the second image, the elements of the matrices were 4-dimensional vectors of pixel values of the original images:

;

.

в количестве Н элементов с различными по значению признаками, Н в данном случае составило 1167. Величина предполагаемого сдвига предполагалась равной 10 пикселей: d=10. Для номеров строки и столбца (n_s, m_s) выполнялось условие 11≤n_s≤40; 11≤m_s≤50, s=1, 2,…1167.After that, from the set of vectors of the matrix of features of the first image, a set of

in the number of H elements with attributes of different values, H in this case was 1167. The magnitude of the estimated shift was assumed to be 10 pixels: d = 10. For row and column numbers (n _s , m _s ), the condition 11≤n _s ≤40 was fulfilled; 11≤m _s ≤50, s = 1, 2, ... 1167.

Затем для каждого элемента

выбрали множество элементов

размером 441 из матрицы признаков

множества X₁ и

для каждого из множеств

которые определили какThen for each item

selected a lot of elements

size 441 from the feature matrix

sets X ₁ and

for each of the sets

who determined how

Для каждого из 1167 образов

составили 441 пару с каждым из образов

. Далее сформировали 1167 матриц

размером 21×21, элементами которых являются значения оценок критериальной функции. При этом в качестве критериальной функции в данном примере был взят коэффициент корреляции [Баклицкий В.К., Бочкарев A.M., Мусьяков М.П. Методы фильтрации сигналов в корреляционно-экстремальных системах навигации - М.: Радио и связь, 1986, - 216 с.]. Затем из этих матриц выбрали матрицы

, для которых соответствующие значения

Таких матриц оказалось 242. Аппроксимировали каждую из выбранных матриц

гладкими непрерывными поверхностями

c областью определения -10≤х≤10, -10≤у≤10, определили значения

. Таким образом, было получено 242 действительных значений оценок сдвига в пикселях. Эти значения представлены на Фиг.12С в виде «точек», представляющих собой кружки малых радиусов, на плоскости координат ХОУ. Пространственный сдвиг второго изображения относительно первого изображения определили как среднее значение полученных значений 242 значений: по оси ОХ:

=4,64 пикселей, по оси ОУ:

=2,36 пикселей. Вычислено также среднеквадратичное отклонение оценок сдвига по оси ОХ: σх=0,33 пикселей и по оси ОУ: σу=0,28 пикселей. Сдвиг, определенный как

, представлен на фигуре 12С точкой пересечения штрихпунктирных прямых линий. Окружности на фигуре 12С с центром в точке

имеют соответственно радиусы 0,5 пикселя, 1 пиксель, 1,5 пикселя. Таким образом, сдвиг определен с субпиксельной точностью.For each of 1167 images

amounted to 441 pairs with each of the images

. Then formed 1167 matrices

21 × 21 in size, whose elements are the values of the criteria function estimates. Moreover, the correlation coefficient [Baklitsky V.K., Bochkarev AM, Musyakov MP Methods of filtering signals in correlation-extreme navigation systems - M .: Radio and communication, 1986, - 216 p.]. Then, matrices were selected from these matrices

for which the corresponding values

There were 242 such matrices. Each of the selected matrices was approximated.

smooth continuous surfaces

with a scope of -10≤x≤10, -10≤y≤10, the values determined

in which extremes of surfaces are reached

. Thus, 242 valid pixel shift values were obtained. These values are presented on Figs in the form of "points", representing circles of small radii, on the coordinate plane of the HOU. The spatial shift of the second image relative to the first image was determined as the average value of the obtained values of 242 values: along the axis OX:

= 4.64 pixels, along the axis of the op-amp:

= 2.36 pixels. The standard deviation of the shift estimates along the OX axis was also calculated: σx = 0.33 pixels and along the OA axis: σy = 0.28 pixels. Shift defined as

is represented in FIG. 12C by the point of intersection of the dash-dotted straight lines. The circles in figure 12C centered at a point

Claims

1. Способ определения пространственного сдвига изображений, включающий получение двух исходных оцифрованных изображений одной и той же сцены одного масштаба и ракурса, формирование образов из исходных изображений, определение пространственного сдвига второго изображения относительно первого изображения, отличающийся тем, что приводят изображения к одинаковому числу строк и столбцов, выбирают признаковые пространства для первого и второго изображений, где в качестве признаков используют яркость, и/или модуль градиента яркости, и/или текстурные признаки пикселей исходных изображений, для первого и второго изображения формируют матрицы признаков соответственно

и

размером M×N, каждый элемент которых представляет собой соответственно P₁ и Р₂ - мерный вектор значений признаков пикселей

… - признаки пикселя с координатами (i,j) первого изображения;

,

, … - признаки пикселя с координатами (i,j) второго изображения;
i,j - текущий номер строки и столбца 1≤i≤N, 1≤j≤M;
N - число столбцов в исходных оцифрованных изображениях;
М - число строк в исходных оцифрованных изображениях;
P₁ - количество признаков первого изображения;
P₂ - количество признаков второго изображения;
выбирают из матрицы признаков, соответствующей первому изображению, множество

элементов с различными по значению признаками и такими номерами строки и столбца, для которых выполняется условие d+1≤n_s≤N-d; d+1≤m_s≤M-d, где (n_s, m_s) - номер соответственно строки и столбца выбранных элементов, s=1, 2, …Н; Н - число выбранных элементов

для каждого элемента

выбирают множество элементов

размером (2d+1)·(2d+1) из матрицы признаков

соответствующей второму изображению, с такими номерами строки и столбца, для которых выполняется условие |k|≤d, |l|≤d, образы формируют в виде изображений, представляющих собой матрицы скалярных элементов

для множества X₁ и

для каждого из множеств

которые определяют как

(i₀, j₀) - номер соответственно строки и столбца, 1≤i₀≤N-2d, 1≤j₀≤M-2d;
ρ - евклидово расстояние в пространстве признаков;
для каждого образа

составляют (2d+1)·(2d+1) пар с каждым из образов

при этом в качестве критериальной функции используют корреляционное отношение, или разностную критериальную функцию, или коэффициент корреляции, формируют H матриц

размером (2d+1)·(2d+1), элементами которых являются значения оценок критериальной функции, аппроксимируют матрицы гладкими непрерывными поверхностями

с областью определения
-d≤x≤d, -d≤y≤d, определяют значения

полученных значений

1. The method of determining the spatial shift of images, including obtaining two source digitized images of the same scene of the same scale and angle, forming images from the source images, determining the spatial shift of the second image relative to the first image, characterized in that the images result in the same number of lines and columns, select feature spaces for the first and second images, where brightness is used as features, and / or a brightness gradient modulus, and / or eksturnye signs pixels of source images for the first and second image forming characteristics of the matrix, respectively,

and

size M × N, each element of which is respectively P ₁ and P ₂ is a dimensional vector of pixel attribute values

... - features of a pixel with coordinates (i, j) of the first image;

,

, ... are the signs of a pixel with coordinates (i, j) of the second image;
i, j is the current row and column number 1≤i≤N, 1≤j≤M;
N is the number of columns in the original digitized images;
M is the number of lines in the original digitized images;
P ₁ - the number of features of the first image;
P ₂ is the number of features of the second image;
selected from a matrix of features corresponding to the first image, the set

elements with attributes of various meanings and such row and column numbers for which the condition d + 1≤n _s ≤Nd is satisfied; d + 1≤m _s ≤Md, where (n _s , m _s ) is the number of the row and column of the selected elements, respectively, s = 1, 2, ... N; H is the number of selected items

for each item

choose a lot of items

size (2d + 1) · (2d + 1) from the feature matrix

for the set X ₁ and

for each of the sets

which determine how

(i ₀ , j ₀ ) is the number of the row and column, respectively, 1≤i ₀ ≤N-2d, 1≤j ₀ ≤M-2d;
ρ is the Euclidean distance in the space of signs;
for each image

make up (2d + 1) · (2d + 1) pairs with each of the images

in this case, as a criterion function, a correlation relation is used, or a difference criterion function, or a correlation coefficient, form H matrices

of size (2d + 1) · (2d + 1), whose elements are the values of the estimates of the criterion function, approximate the matrices by smooth continuous surfaces

with scope
-d≤x≤d, -d≤y≤d, determine the values

in which extremes of surfaces are reached

the spatial shift of the second image relative to the first image is defined as the average value

obtained values

2. Способ по п.1, отличающийся тем, что дополнительно осуществляют фильтрацию исходных изображений фильтрами различных частот, а в качестве признаков используют дополнительно яркость, и/или модуль градиента яркости, и/или текстурные признаки пикселей преобразованных путем фильтрации изображений.2. The method according to claim 1, characterized in that the source images are additionally filtered by filters of various frequencies, and the brightness and / or the brightness gradient module and / or texture features of pixels converted by image filtering are used as features.

3. Способ по п.1, отличающийся тем, что получают многоспектральные исходные изображения, а в качестве признаков используют яркости пикселей в спектральных диапазонах, в которых получены исходные изображения.3. The method according to claim 1, characterized in that the multispectral source images are obtained, and pixel brightness in the spectral ranges in which the original images are obtained is used as features.

4. Способ по пп.1-3, отличающийся тем, что после формирования Н матриц

сумма элементов Фурье-спектра которых превосходит не более чем в 1,1 раза минимальную из всех сумм, аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц.4. The method according to claims 1 to 3, characterized in that after the formation of H matrices

the sum of the elements of the Fourier spectrum of which exceeds not more than 1.1 times the minimum of all sums, the matrices are approximated by smooth continuous surfaces for the selected matrices.

5. Способ по пп.1-3, отличающийся тем, что при использовании в качестве критериальной функции корреляционного отношения или коэффициента корреляции после формирования Н матриц

выбирают матрицы

для которых соответствующие значения

где R_пор - пороговое значение, задаваемое в диапазоне 0,5≤R_пор≤1, аппроксимацию матриц гладкими непрерывными поверхностями осуществляют для выбранных матриц. 5. The method according to claims 1 to 3, characterized in that when using as a criterion function the correlation ratio or correlation coefficient after the formation of H matrices

choose matrices

for which the corresponding values

where R _then - a threshold value specified in the range of 0.5≤R _then ≤1, the matrices are approximated by smooth continuous surfaces for the selected matrices.