RU2789691C1 - Method for aligning images from matrix photodetectors of different spectral bands - Google Patents

Abstract

FIELD: image data processing.

SUBSTANCE: invention relates to the field of digital image processing and pertains to a method for aligning images from matrix photodetectors of different spectral bands. When the method is implemented, an image made by a photodetector with a large angle of view is selected as a reference image; the image scale relativity coefficient is determined; the resolution of the source images is reduced by a given factor; the contours of objects in the images brought to the minimum scale are calculated. The values of the Pearson linear correlation coefficient are found for all possible positions of the image from the nth photodetector relative to the reference image, wherein the indices of the Pearson correlation coefficient (n, m) indicate the number of pixel of the base image characterising the position of the top left-hand corner of the nth image relative to the reference image, and the maximum correlation coefficient of all the resulting values is determined. Indices (n, m) are used to find the position of the image from the nth photodetector brought to the minimum scale relative to the reference image, and the position of the source images from the n photodetectors relative to the reference image is calculated.

EFFECT: accelerated process of aligning images and possibility of aligning images of different spectral bands.

1 cl, 2 dwg

Description

Изобретение относится к способам цифровой обработки изображений, в частности к совмещению цифровых изображений разного спектрального диапазона и может быть использовано для осуществления мониторинга местности в любое время суток при помощи оптических электронных систем, размещенных на беспилотных летательных аппаратах или пилотируемых летательных средствах.The invention relates to methods for digital image processing, in particular to the combination of digital images of different spectral ranges and can be used to monitor the area at any time of the day using optical electronic systems placed on unmanned aerial vehicles or manned aircraft.

Известен способ предварительного грубого совмещения изображений (см. статью Волегов Д.Б., Юрин Д.В. Предварительное грубое совмещение изображений по найденным на них прямым линиям для построения мозаик, сверхразрешения и восстановления трехмерных сцен // Программирование. - 2008. - Т. 34, №5. - С. 47-66). Предлагаемый способ заключается в выделении контурного аппарата (например, с помощью известного фильтра Собеля) на совмещаемых изображениях, поиске параметрических линий с помощью быстрого варианта известного преобразования Хафа, вычислении параметров проективного матричного преобразования сцены, зависящего от параметров найденных прямых, которое находят путем минимизации суммы квадратов разности яркости элементов изображений в окрестности соответствующих прямых и применении найденного преобразования для одного из изображений.There is a known method of preliminary rough alignment of images (see the article Volegov D.B., Yurin D.V. Preliminary rough alignment of images along the straight lines found on them to build mosaics, super-resolution and restore three-dimensional scenes // Programming. - 2008. - T. 34, No. 5. - S. 47-66). The proposed method consists in isolating the contour apparatus (for example, using the well-known Sobel filter) on superimposed images, searching for parametric lines using a fast version of the well-known Hough transform, calculating the parameters of the projective matrix transformation of the scene, depending on the parameters of the found lines, which is found by minimizing the sum of squares brightness difference of image elements in the vicinity of the corresponding lines and applying the found transformation for one of the images.

Недостатком данного способа является низкая точность совмещения по близости, по критерию яркости, соответствующих деталей, что говорит о применимости метода только для совмещения изображений одного спектрального диапазона, соответственно выполнить совмещение кадров разного спектрального диапазона не представляется возможным.The disadvantage of this method is the low accuracy of alignment in proximity, according to the criterion of brightness, of the corresponding details, which indicates the applicability of the method only for combining images of the same spectral range; accordingly, it is not possible to combine frames of different spectral ranges.

Наиболее близким выбран способ совмещения одновременно получаемых изображений от матричных фотоприемников разного спектрального диапазона (см. патент RU 2705423 С1, МПК G06T 3/00, опубл. 07.11.2019 г.). Данный способ, заключающийся в том, что одновременно получают несколько изображений разного спектрального диапазона, из числа этих изображений выбирают эталонное изображение, выбирают начало координат и четыре опорные точки на эталонном изображении, определяют координаты этих точек, затем находят те же точки на всех остальных изображениях и также определяют их координаты, далее по этим измерениям вычисляют параметры проективных матричных преобразований томографии, полученные преобразования применяют для совмещения всех изображений к эталонному.The closest method was chosen for combining simultaneously obtained images from matrix photodetectors of different spectral ranges (see patent RU 2705423 C1, IPC G06T 3/00, publ. 07.11.2019). This method consists in the fact that several images of different spectral range are simultaneously obtained, a reference image is selected from among these images, the origin of coordinates and four reference points on the reference image are selected, the coordinates of these points are determined, then the same points are found on all other images and their coordinates are also determined, then the parameters of projective matrix transformations of tomography are calculated from these measurements, the resulting transformations are used to match all images to the reference one.

Недостатками данного способа является то, что изображение выбирается один раз оператором наблюдения в ручном режиме, что увеличивает время определения эталонного изображения, а затем, за основу совмещения берут четыре опорные точки и визуально выбирают те же точки наблюдаемых объектов на всех изображениях. Данные изображения получены одновременно, что не обеспечивает возможность использования разновременных изображений, тем самым не учитываются изменения взаимного положения кадров при съемке одного участка местности, на котором расположены элементы сцены.The disadvantages of this method is that the image is selected once by the observation operator in manual mode, which increases the time for determining the reference image, and then, four reference points are taken as the basis for matching and visually select the same points of the observed objects in all images. These images were obtained simultaneously, which does not provide the possibility of using images at different times, thereby not taking into account changes in the relative position of frames when shooting one area of the terrain on which scene elements are located.

Техническим результатом предлагаемого способа является сокращение времени определения эталонного изображения, обеспечение возможности совмещения изображений разного спектрального диапазона, формируемых матричными фотоприемниками в разные интервалы времени, отсутствием потерь по разрешающей способности.The technical result of the proposed method is to reduce the time for determining the reference image, providing the possibility of combining images of different spectral ranges formed by matrix photodetectors in different time intervals, and the absence of loss in resolution.

Указанный технический результат достигается тем, что принимают сигнал от n фотоприемников разного спектрального диапазона, установленных на одной базе, которые формируют исходные изображения с различными разрешениями, выделяют из исходных изображений эталонное изображение, преобразуют исходные изображения и совмещают с эталонным.The specified technical result is achieved by receiving a signal from n photodetectors of different spectral ranges installed on the same base, which form original images with different resolutions, extract a reference image from the original images, convert the original images and combine with the reference one.

Сущность заключается в том, что выбирают в качестве эталонного изображения, изображение от матричного фотоприемника с большим углом зрения, затем определяют коэффициент относительности масштабов изображений (k_n) относительно эталонного на основе величин углов зрения (ϕ_n) разноспектральных матричных фотоприемников в соответствии с формулойThe essence lies in the fact that the image from the matrix photodetector with a large viewing angle is chosen as a reference image, then the coefficient of relativity of the image scales (k _n ) relative to the reference one is determined based on the angles of view (ϕ _n ) of the multispectral matrix photodetectors in accordance with the formula

где n - номер матричного фотоприемника, ϕ₁ - угол зрения эталонного матричного приемника, ϕ_n - угол зрения n-го матричного фотоприемника (фиг. 1), затем приводят все изображения к изображению, имеющему наименьшее разрешение матрицы, для этого уменьшают разрешение исходных изображений в k_pn раз, что позволяет уменьшить вычислительные затраты по сравнению с обработкой изображений исходного разрешения по формулеwhere n is the number of the matrix photodetector, ϕ ₁ is the angle of view of the reference matrix detector, ϕ _n is the angle of view of the n-th matrix photodetector (Fig. 1), then all images are brought to the image with the smallest resolution of the matrix, for this, the resolution of the original images is reduced by k _pn times, which makes it possible to reduce computational costs compared to processing images of the original resolution using the formula

где k_pn - коэффициент масштабирования разрешения матрицы n-го матричного фотоприемника, k_мин - относительный масштаб изображения с минимальным углом зрения, который соответствует минимальному значению k_n (с худшим разрешением), Δ_n - значение матрицы в пикселях от n-го матричного фотоприемника, Δ_мин - минимальное значение матрицы фотоприемника в пикселях (с худшим разрешением), затем находят взаимное расположение разноспектральных уменьшенных изображений на основе корреляционного анализа, для этого вычисляют на всех изображениях контуры объектов приведенных к минимальному масштабу (например с помощью алгоритма Кении, Собеля) и находят значения линейного коэффициента корреляции Пирсона (r_n,m), для всех возможных положений изображения от n-го фотоприемника относительно эталонного, где индексы коэффициента корреляции Пирсона (n, m) показывают номер пикселя базового изображения характеризующего положение верхнего левого угла n-го изображения относительно эталонного (фиг. 2), определяют максимальный коэффициент корреляции из всех получившихся значений, и по индексам (n, m) находят положение изображения n-го фотоприемника относительно эталонного, приведенных к минимальному масштабу, вычисляют положение исходных изображений от n-х фотоприемников относительно эталонного, приведенных к одинаковому разрешению пикселя в соответствии с выражениямиwhere k _pn is the resolution scaling factor of the matrix of the n-th matrix photodetector, k _min is the relative scale of the image with the minimum angle of view, which corresponds to the minimum value of k _n (with the worst resolution), Δ _n is the value of the matrix in pixels from the n-th matrix photodetector , Δ _min - the minimum value of the photodetector matrix in pixels (with the worst resolution), then the relative position of multispectral reduced images is found based on correlation analysis, for this, the contours of objects reduced to the minimum scale are calculated on all images (for example, using the Kenya, Sobel algorithm) and find the values of the linear Pearson correlation coefficient (r _n,m ), for all possible positions of the image from the nth photodetector relative to the reference one, where the indices of the Pearson correlation coefficient (n, m) show the pixel number of the base image characterizing the position of the upper left corner of the nth image relative to the reference (Fig. 2), determining calculate the maximum correlation coefficient from all the resulting values, and by indices (n, m) find the position of the image of the nth photodetector relative to the reference one, reduced to the minimum scale, calculate the position of the original images from the nth photodetectors relative to the reference one, reduced to the same pixel resolution in expressions

Где

и

- положение верхнего левого угла изображения n-го фотоприемника относительно эталонного изображения с максимальным полем зрения. На основе полученных координат верхнего левого угла изображения возможно совмещение изображений от всех матричных приемников, в которых все элементы сцены совмещены.Where

And

- the position of the upper left corner of the image of the n-th photodetector relative to the reference image with the maximum field of view. Based on the obtained coordinates of the upper left corner of the image, it is possible to combine images from all matrix receivers in which all elements of the scene are combined.

Заявленный способ разъясняется следующими графическими изображениями:The claimed method is explained by the following graphics:

На фиг. 1 представлено расположение кадров n-х фотоприемников;In FIG. 1 shows the arrangement of frames of n-x photodetectors;

На фиг. 2 представлена диаграмма значений индексов n,m характеризующих положение верхнего левого угла изображения относительно эталонного.In FIG. 2 shows a diagram of the values of the indices n,m characterizing the position of the upper left corner of the image relative to the reference.

Claims (7)

Способ совмещения изображений от матричных фотоприемников разного спектрального диапазона, заключающийся в том, что принимают сигнал от N фотоприемников разного спектрального диапазона, установленных на одной базе, которые формируют исходные изображения с различными разрешениями, выделяют из исходных изображений эталонное изображение, преобразуют исходные изображения и совмещают с эталонным, отличающийся тем, что в качестве эталонного выбирают изображение, полученное фотоприемником с большим углом зрения, определяют коэффициент относительности масштабов изображений, уменьшают разрешение исходных изображений в заданное число раз, вычисляют контуры объектов на изображениях, определяют коэффициент относительности масштабов изображений (k_n) относительно эталонного на основе величин углов зрения (ϕ_n) разноспектральных матричных фотоприемников в соответствии с формулойA method for superimposing images from matrix photodetectors of different spectral ranges, which consists in receiving a signal from N photodetectors of different spectral ranges installed on the same base, which form original images with different resolutions, extract a reference image from the original images, convert the original images and combine with reference, characterized in that the image obtained by a photodetector with a large viewing angle is selected as the reference, the coefficient of relativity of the image scales is determined, the resolution of the original images is reduced by a specified number of times, the contours of objects in the images are calculated, the coefficient of relativity of the image scales (k _n ) is determined relative to reference based on the values of the angles of view (ϕ _n ) multispectral matrix photodetectors in accordance with the formula

где n - номер матричного фотоприемника, ϕ₁ - угол зрения эталонного матричного приемника, ϕ_n - угол зрения n-го матричного фотоприемника, затем приводят все изображения к изображению, имеющему наименьшее разрешение матрицы, для этого уменьшают разрешение исходных изображений в k_pn раз, по формулеwhere n is the number of the matrix photodetector, ϕ ₁ is the angle of view of the reference matrix detector, ϕ _n is the angle of view of the n-th matrix photodetector, then all images are brought to the image with the smallest matrix resolution, for this, the resolution of the original images is reduced by k _pn times, according to the formula

где k_pn - коэффициент масштабирования разрешения матрицы n-го матричного фотоприемника, k_мин - относительный масштаб изображения с минимальным углом зрения, который соответствует минимальному значению k_n с худшим разрешением, Δ_n - значение матрицы в пикселях от n-го матричного фотоприемника, Δ_мин - минимальное значение матрицы фотоприемника в пикселях с худшим разрешением, вычисляют на всех изображениях контуры объектов, приведенных к минимальному масштабу, находят значения линейного коэффициента корреляции Пирсона (r_n,m), для всех возможных положений изображения от n-го фотоприемника относительно эталонного, где индексы коэффициента корреляции Пирсона (n, m) показывают номер пикселя базового изображения, характеризующего положение верхнего левого угла n-го изображения относительно эталонного, определяют максимальный коэффициент корреляции из всех получившихся значений и по индексам (n, m) находят положение изображения n-го фотоприемника относительно эталонного, приведенных к минимальному масштабу, вычисляют положение исходных изображений от n-х фотоприемников относительно эталонного, приведенных к одинаковому разрешению пикселя в соответствии с выражениямиwhere k _pn is the resolution scaling factor of the matrix of the n-th matrix photodetector, k _min is the relative scale of the image with the minimum angle of view, which corresponds to the minimum value of k _n with the worst resolution, Δ _n is the value of the matrix in pixels from the n-th matrix photodetector, Δ _min - the minimum value of the photodetector matrix in pixels with the worst resolution, the contours of objects reduced to the minimum scale are calculated on all images, the values of the linear Pearson correlation coefficient (r _n,m ) are found for all possible image positions from the nth photodetector relative to the reference, where the indices of the Pearson correlation coefficient (n, m) show the pixel number of the base image characterizing the position of the upper left corner of the nth image relative to the reference one, determine the maximum correlation coefficient from all the resulting values, and use the indices (n, m) to find the position of the nth image photodetector relative to the reference, reduced to mi minimum scale, calculate the position of the original images from n-x photodetectors relative to the reference, reduced to the same pixel resolution in accordance with the expressions

где N_i и M_i - положение верхнего левого угла изображения n-го фотоприемника относительно эталонного изображения с максимальным полем зрения и на основе полученных координат верхнего левого угла изображения осуществляют совмещение изображений от всех матричных приемников.where N _i and M _i - the position of the upper left corner of the image of the n-th photodetector relative to the reference image with the maximum field of view and based on the obtained coordinates of the upper left corner of the image, images from all matrix receivers are combined.

Images