RU2705423C1 - Method of combining simultaneously obtained images from matrix photodetectors of different spectral range - Google Patents

Abstract

FIELD: image processing means.

SUBSTANCE: invention relates to digital image processing methods, in particular, to combination of digital images. Disclosed coincidence method includes an action of selecting a reference image with a maximum field of view and maximum resolution, normalizing the coordinate system of images, selecting, on the reference image, four characteristic points of the observed objects as reference, determining their coordinates, visual selection of the same four points of the observed objects on all other images and determination of their coordinates for calculating the projective matrix transformations of the homography with subsequent memorizing of the obtained parameters of the homography transformation and performing the combination of each subsequent series of images using these stored parameters.

EFFECT: technical result consists in continuous hardware independent provision of combination of images in real time, which are simultaneously formed by matrix photodetectors of different spectral range, for subsequent output of combined information on one display without loss of resolution.

1 cl, 3 dwg

Description

Изобретение относится к способам цифровой обработки изображений, в частности к совмещению цифровых изображений.The invention relates to methods for digital image processing, in particular to combining digital images.

Необходимость совмещения изображений связана с одновременным использованием оптико-электронных цифровых камер (видеоканалов) на базе фотоприемных датчиков разного спектрального диапазона, а также с требованиями вывода на общий экран комбинированного изображения, одновременно содержащего информационные признаки от совмещаемых изображений. Под фотоприемными датчиками понимаются фотоприемные матрицы, формирующие цифровые изображения. В настоящий момент промышленно выпускаются фотоприемные матрицы, которые могут быть включены в состав мультиспектральной видеосистемы, работающие в следующих спектральных диапазонах: ультрафиолетовый (УФ, 0,2-0,4 мкм), видимый или телевизионный (ТВ, 0,4-0,9 мкм), ближний инфракрасный (ближний ИК, 0,9-1,7 мкм), средний ИК (3-5 мкм) и дальний ИК или тепловизионный (ТП, 8-14 мкм). Известно, что фотоприемники, чувствительные в указанных диапазонах, изготавливаются по разным топологическим нормам и с использованием разных материалов. Соответствующая фокусирующая оптика, также выполняется из различающихся материалов, которые пропускают излучение в нужном диапазоне спектра (для УФ диапазона обычно применяют кварцевое стекло, для ТВ - оптическое стекло разных марок на основе оксида кремния, для оптики ИК диапазона применяют селенид цинка, для ТП диапазона - германий). Этот факт существенно затрудняет, а часто делает физически невозможным при текущем уровне технологий формирование комбинированных мультиспектральных изображений на одной фотоприемной фотоприемной матрице без необходимости процедуры совмещения их компонент, например, широко известным способом наложения RGB светофильтра-шаблона Байера на матричный фотоприемник для формирования цветного трехкомпонентного изображения (в данном случае видимый ТВ диапазон спектрально разделяется на 3 области: красную «R», зеленую «G» и синюю «В»). Если же спектральный диапазон системы технического зрения существенно шире или существенно отличается от ТВ диапазона, то физические и технологические ограничения могут требовать использование нескольких фотоприемников, которые, очевидно, будут формировать изображения в разных ракурсах, что делает задачу их совмещения актуальной.The need to combine images is associated with the simultaneous use of optoelectronic digital cameras (video channels) based on photodetector sensors of different spectral ranges, as well as with the requirements for displaying a combined image on the common screen that simultaneously contains information signs from the combined images. By photodetector sensors we mean photodetector arrays that form digital images. At the moment, photodetector arrays are commercially available that can be included in a multispectral video system operating in the following spectral ranges: ultraviolet (UV, 0.2-0.4 microns), visible or television (TV, 0.4-0.9 microns), near infrared (near IR, 0.9-1.7 microns), medium IR (3-5 microns) and far infrared or thermal imaging (TP, 8-14 microns). It is known that photodetectors sensitive in these ranges are manufactured according to different topological standards and using different materials. Corresponding focusing optics are also made of different materials that transmit radiation in the desired spectral range (quartz glass is usually used for the UV range, silica-based optical glass of various grades is used for TV, zinc selenide is used for the IR range optics, and for the TP range - germanium). This fact significantly complicates, and often makes it physically impossible at the current level of technology, the formation of combined multispectral images on a single photodetector photodetector without the necessity of combining their components, for example, by the well-known method of applying a Bayer RGB filter to a photodetector to form a color three-component image ( in this case, the visible TV range is spectrally divided into 3 areas: red “R”, green “G” and blue “B”). If the spectral range of the vision system is significantly wider or significantly different from the TV range, then physical and technological limitations may require the use of several photodetectors, which, obviously, will form images from different angles, which makes the task of combining them relevant.

Заявляемый способ может быть использован в рамках класса видеосистем, одновременно формирующих два и более цифровых изображения разного спектрального диапазона, которые совмещаются, затем комплексируются, и результирующее комбинированное изображение выводится на монитор.The inventive method can be used within the class of video systems that simultaneously form two or more digital images of different spectral ranges, which are combined, then combined, and the resulting combined image is displayed on the monitor.

В частности, способ может быть использован в мультиспектральных системах информационного обеспечения экипажей пилотируемой мобильной техники, когда комбинированное изображение подстилающей поверхности выводится на пилотажно-навигационный дисплей в кабине пилотов, и операторов беспилотной мобильной техники при управлении в сложных условиях видимости, так называемые многоканальные системы усиленного видения (СУВ, например, см. статью «Анализ алгоритмов совмещения видеоинформации в авиационных системах», Международный журнал Открытых информационных технологий (InJOIT), ISSN: 2307-8162, том. 4, №10, 2016); в пассивных системах оптико-электронной разведки; в системах охраны периметра объектов при сложных условиях наблюдения, когда все ключевые наблюдаемые объекты могут быть видимы только с помощью двух и более датчиков разного диапазона спектра; в видеосистемах неразрушающего контроля для автоматического сопоставления данных от разнородных фотоприемных датчиков и проведения спектрального анализа объектов, например комплексная диагностика воздушных линий электропередач одновременно в УФ (контроль утечки заряда) и ТП (контроль электропроводности) диапазонах (см, например, Завидей В.И., Вихров М.А., Крупенин Н.В., Голубев А.В. Электронно-оптическое оборудование при контроле технического состояния элементов сетей и подстанций на рабочем напряжении, // Электро, №1. - 2006. - С. 19-23.); в системах фотографического анализа документов на предмет скрытых деталей для исторической и криминалистической проверки, см., например, статью «Исследование документов в УФ и ИК лучах» // электронный pecypc,URL: https://studfiles.net/preview/2554887/page:5/.In particular, the method can be used in multispectral information support systems for crews of manned mobile equipment, when a combined image of the underlying surface is displayed on the navigation and navigation display in the cockpit, and operators of unmanned mobile equipment when operating in difficult visibility conditions, the so-called multi-channel enhanced vision systems (SUV, for example, see the article "Analysis of Algorithms for Combining Video Information in Aviation Systems", International Open Journal s information technology (InJOIT), ISSN: 2307-8162, vol 4, №10, 2016). in passive systems of optoelectronic intelligence; in security systems for the perimeter of objects under difficult observation conditions, when all key observable objects can be visible only with the help of two or more sensors of different spectral ranges; in non-destructive testing video systems for automatic comparison of data from heterogeneous photodetector sensors and spectral analysis of objects, for example, complex diagnostics of overhead power lines simultaneously in the UV (charge leakage control) and TP (conductivity control) ranges (see, for example, Zavidei V.I., Vikhrov M.A., Krupenin N.V., Golubev A.V. Electron-optical equipment for monitoring the technical condition of network elements and substations at operating voltage // Electro, No. 1. - 2006. - P. 19-23. ); in systems for the photographic analysis of documents for hidden details for historical and criminalistic verification, see, for example, the article “Study of documents in UV and IR rays” // electronic pecypc, URL: https://studfiles.net/preview/2554887/page :5/.

В качестве аналога изобретения можно было бы выбрать способ совмещения изображений, полученных с помощью разнодиапазонных фотодатчиков (см. патент РФ №2538340, опубл. 10.01.2015 г.). Однако, на самом деле авторами заявляется способ комплексирования изображений за счет использования собственной терминологии, в отличие от принятой в рассматриваемой предметной области, например, «совмещение двух изображений в одно». При этом часть патентов, которые они приводят в качестве аналогов, являются именно способами комплексирования. Вообще, в большинстве источников (см., например, Бондаренко М.А. Разработка методов и алгоритмов совмещения 2D и 3D информации для авиационных систем улучшенного и синтезированного видения, дисс. канд. тех. наук: 05.13.11. - Москва, 2016. - 113 с.) под совмещением двух изображений понимается процедура их пространственной трансформация такая, что координаты объектов на одном изображении переходят в координаты им отвечающих объектов на другом. Под комплексированием же понимается процедура слияния, микширования или объединения двух и более изображений в одно с целью записать полезную информацию от нескольких изображений в общее изображение, называемое комбинированным. Часто в публикациях комплексирование изображений используют для наглядности представления результата их совмещения. Настоящая работа подтверждает это правило: в Приложении на фиг. 1, 2 и 3 изображены именно комбинированные изображения, только вот для получения комбинированного изображения на фиг. 1 не выполнялось предварительное совмещение его составляющих. Если все же при этом считать патент РФ №2538340 «способом совмещения изображений», то такой способ является непригодным для практического применения, так как, очевидно, чересстрочная запись двух изображений в одно с последующей интерполяцией элементов строк результирующего изображения не способна решить задачу совмещения изображений, отснятых в различающихся ракурсах.As an analogue of the invention, it would be possible to choose a method for combining images obtained using multi-range photosensors (see RF patent No. 2538340, publ. 10.01.2015). However, in fact, the authors declare a method for complexing images through the use of their own terminology, in contrast to that adopted in the subject area, for example, “combining two images into one”. Moreover, part of the patents that they cite as analogues are precisely methods of integration. In general, in most sources (see, for example, M. Bondarenko, A. Development of methods and algorithms for combining 2D and 3D information for aviation systems with improved and synthesized vision, diss. Candidate of technical sciences: 05.13.11. - Moscow, 2016. - 113 p.) By combining two images, we mean the procedure of their spatial transformation such that the coordinates of objects in one image go into the coordinates of the corresponding objects in another. Under the complexing is understood the process of merging, mixing or combining two or more images into one in order to write useful information from several images into a common image, called a combined. Often in publications, image aggregation is used to visualize the presentation of the result of their combination. The present work confirms this rule: in the Appendix to FIG. 1, 2 and 3, it is the combined images that are shown, only to obtain the combined image in FIG. 1 did not carry out a preliminary combination of its components. If, nevertheless, we consider RF patent No. 2538340 as a “way of combining images,” then this method is unsuitable for practical use, since, obviously, interlacing two images into one with subsequent interpolation of the line elements of the resulting image is not able to solve the problem of combining images, captured in different angles.

Аналогом изобретения является способ совмещения изображений, полученных с помощью различных фотодатчиков, и устройство для его реализации, патент РФ №2435221, опубл. 27.11.2011 г. Заявленное устройство, содержит телекамеру видимого спектра, телекамеру инфракрасного спектра, светоделитель, последовательно соединенные блок попиксельного считывания первого изображения, переключатель записи пикселей, память совмещенного изображения и блок попиксельного считывания второго изображения. В заявляемом способе предварительно световой поток разделяют на два потока, из первого потока формируют изображение видимого спектра, из второго - изображение инфракрасного спектра, считывают пиксели первого и второго изображения и попеременно записывают в память общее изображение этих пикселей. На нечетных строках записывают последовательно пиксели первого и второго изображения, а на четных строках - последовательно пиксели второго и первого изображения. Технический результат - повышение точности определения взаимного расположения фрагментов изображений и возможность вычисления их параметров положения.An analogue of the invention is a method of combining images obtained using various photosensors, and a device for its implementation, RF patent No. 2435221, publ. 11/27/2011, The claimed device contains a visible camera, infrared camera, a beam splitter, a series-connected pixel-by-pixel reading unit of the first image, a pixel recording switch, a combined image memory, and a pixel-by-pixel reading unit of the second image. In the inventive method, the luminous flux is preliminarily divided into two fluxes, an image of the visible spectrum is formed from the first flux, an infrared image is formed from the second flux, the pixels of the first and second images are read and the general image of these pixels is alternately written to the memory. On odd lines, pixels of the first and second images are recorded sequentially, and on even lines, pixels of the second and first images are sequentially recorded. EFFECT: increased accuracy of determining the mutual arrangement of image fragments and the ability to calculate their position parameters.

Основные недостатки аналога вытекают из наличия светоделителя, предварительно разделяющего световой поток от наблюдаемой сцены на две части: ослабленный входной сигнал за счет светоделения и невозможность масштабирования или реконфигурации видеосистемы путем замены видеодатчиков или их добавления, так как невозможно универсальным образом разделить световой поток для произвольного числа и типа датчиков, принимающих сигнал в разных спектральных диапазонах.The main disadvantages of the analogue arise from the presence of a beam splitter that previously divides the light flux from the observed scene into two parts: a weakened input signal due to beam splitting and the inability to scale or reconfigure the video system by replacing video sensors or adding them, since it is impossible to split the light flux universally for an arbitrary number and type of sensors that receive a signal in different spectral ranges.

Другим аналогом является способ «предварительного грубого совмещения изображений» (см. статью Волегов Д.Б., Юрин Д.В. Предварительное грубое совмещение изображений по найденным на них прямым линиям для построения мозаик, сверхразрешения и восстановления трехмерных сцен // Программирование. - 2008. - Т. 34, №5. - С. 47-66.). Предлагаемый способ заключается в выделении контурного препарата (например, помощью известного фильтра Собеля) на совмещаемых изображениях, поиске параметрических линий с помощью быстрого варианта известного преобразования Хафа, вычислении параметров проективного матричного преобразования сцены, зависящего от параметров найденных прямых, которое находят путем минимизации суммы квадратов разности яркости элементов изображений в окрестности соответствующих прямых и применении найденного преобразования для одного из изображений.Another analogue is the method of “preliminary rough registration of images” (see the article Volegov DB, Yurin DV. Preliminary rough registration of images on the straight lines found on them for building mosaics, super-resolution and restoration of three-dimensional scenes // Programming. - 2008 . - T. 34, No. 5. - S. 47-66.). The proposed method consists in isolating a contour preparation (for example, using the well-known Sobel filter) on compatible images, searching for parametric lines using a quick version of the well-known Hough transform, calculating the parameters of the projective matrix transformation of the scene, depending on the parameters of the lines found, which is found by minimizing the sum of the squares of the difference brightness of image elements in the vicinity of the corresponding lines and the application of the found transformation for one of the images.

Ключевым недостатком этого аналога для совмещения разноспектральных изображений является невозможность оценки точности совмещения по близости их соответствующих деталей по яркости, что говорит о применимости метода только для совмещения изображений одного спектрального диапазона. Этим же недостатком обладают классические корреляционно-экстремальные методы (см., например, книгу «Совмещение изображений в корреляционно-экстремальных навигационных системах» под ред. Л.Н. Костяшкина, М.Б. Никифорова, изд. Радиотехника: 2015, 208 с.), которые ищут искомое преобразование для совмещения также по мере соответствия яркости.The key disadvantage of this analogue for combining multi-spectral images is the impossibility of assessing the accuracy of combining by the proximity of their respective parts by brightness, which indicates the applicability of the method only for combining images of the same spectral range. The same drawback is possessed by classical correlation-extreme methods (see, for example, the book “Combining Images in Correlation-Extreme Navigation Systems” under the editorship of LN Kostyashkin, MB Nikiforov, publishing house Radio Engineering: 2015, 208 pp. ), who are looking for the desired transformation for matching also as brightness matches.

Известным зарубежным аналогом (владелец - компания Интел Корпорейшн, США) является способ совмещения игрового поля на основе модели (см. патент РФ №2480832, опубл. 27.04.2013, бюл. №12), который заключается в том, что выделяют ключевые точки на реальном изображении сцены, формируемого цифровой видеокамерой, и на совмещаемой проекции предварительно созданной трехмерной (3D) модели этой сцены определяют, достаточное ли количество точек было выделено, выполняют оценку изображения и затем генерируют томографическую матрицу преобразования изображения. При этом для оценки взаимного положения опорных точек используют цветовые характеристики фона: «…обработка включает в себя выполнение изучения доминирующих цветов и классификацию типа обзора…», линии разметки «игрового поля», найденные с помощью известного преобразования Хафа, и оценки движения объектов на последовательности изображений от видеокамеры.A well-known foreign analogue (the owner is Intel Corporation, USA) is a method of combining the playing field on the basis of the model (see RF patent No. 2480832, publ. 04/27/2013, bull. No. 12), which consists in identifying key points on the real image of the scene formed by the digital video camera, and on the combined projection of a previously created three-dimensional (3D) model of this scene, it is determined whether a sufficient number of points have been allocated, an image is evaluated, and then a tomographic image transformation matrix is generated. In this case, to evaluate the relative position of the control points, the background color characteristics are used: “... processing includes studying the dominant colors and classifying the type of review ...”, “playing field” marking lines found using the well-known Hough transform, and evaluating the movement of objects on a sequence images from the camcorder.

Как видно из описания, подход Интел Корпорейшн для вычисления параметров совмещения не применим к рассматриваемой области техники (совмещение разноспектральных изображений), так как совмещаемые изображения, полученные в спектральных диапазонах, отличных от ТВ, не содержат по определению информацию о цвете и являются монохромными. Также предлагаемый способ ограничен применением для тех изображений, для которых заведомо известна их 3D модель определенного типа, при этом способ не может обеспечивать устойчивое совмещение для последовательности изображений, где нет однородного простого фона, движения объектов и характерных особенностей типа прямых линий, так как для выполнения необходимых действий способа не будет требуемых входных данных.As can be seen from the description, the Intel Corporation approach for calculating the alignment parameters is not applicable to the technical field under consideration (combining different spectral images), since the combined images obtained in the spectral ranges other than TV do not contain color information by definition and are monochrome. Also, the proposed method is limited to use for those images for which their 3D model of a certain type is known, and the method cannot provide stable alignment for a sequence of images where there is no uniform simple background, movement of objects and characteristic features such as straight lines, since The necessary steps of the method will not be the required input.

В качестве прототипа выбран способ совмещения изображений, формируемых видеосистемой, состоящей из нескольких независимых видеодатчиков. Способ изложен в статье (см. Новиков А.И., Саблина В.А., Горячев Е.О. Применение контурного анализа для совмещения изображений // Известия ТулГУ. Технические науки, 2013, Вып. 9, Ч. 1, стр. 260-269), который заключается в поиске на разноспектральных изображениях одних и тех же объектов, их сопоставлении и вычислении проективного преобразования томографии изображений к плоскости эталонного изображения по четверкам опорных точек в каждом видеоканале. При этом поиск опорных точек предлагается осуществлять путем выделения бинарных растровых контуров объектов на изображениях с последующим их векторным приближением с помощью поиска аппроксимирующего многоугольника с минимальным количеством вершин для тех точек контура, где достигается локальный максимум косинусов углов при вершинах. Окончательно полученные точки контуров сопоставляются с помощью оценки сходства углов при их вершинах и их взаимному расположению, что позволяет выбрать четверки опорных точек для получения искомых преобразований томографии.As a prototype, a method for combining images formed by a video system consisting of several independent video sensors was selected. The method is described in the article (see Novikov A.I., Sablina V.A., Goryachev E.O. Application of contour analysis for image combination // Izvestiya TulGU. Engineering, 2013, Issue 9, Part 1, p. 260-269), which consists in searching for the same objects on different-spectral images, comparing them and calculating the projective transformation of image tomography to the plane of the reference image by four reference points in each video channel. At the same time, it is proposed to search for control points by selecting binary raster contours of objects in images with their subsequent vector approximation by searching for an approximating polygon with a minimum number of vertices for those contour points where the local maximum cosines of the angles at the vertices are reached. Finally, the obtained contour points are compared using an assessment of the similarity of the angles at their vertices and their relative positions, which allows us to select four control points to obtain the desired tomography transformations.

Способ-прототип не накладывает ограничения на аппаратную конфигурацию видеосистемы, одновременно формирующей входные изображения, и позволяет их совмещать без использования специального оптико-электронного решения: использования светоделительных призм, особых зеркал, изготовления специальных объективов или заказных матричных фотоприемников.The prototype method does not impose restrictions on the hardware configuration of the video system, simultaneously generating input images, and allows them to be combined without the use of a special optical-electronic solution: the use of beam-splitting prisms, special mirrors, the manufacture of special lenses or custom matrix photodetectors.

Однако способ-прототип не гарантирует устойчивость совмещения изображений в каждый момент времени в условиях изменчивости сцены из-за неточностей при распознавании контуров и их аппроксимации многоугольниками и накладывает повышенные требования к вычислительной части видеосистемы. Также в прототипе отсутствуют указания на принцип выбора эталонного изображения, что может повлечь за собой потери разрешающей способности изображений видеоканалов при совмещении.However, the prototype method does not guarantee the stability of the combination of images at every moment of time under conditions of scene variability due to inaccuracies in the recognition of contours and their approximation by polygons and imposes increased requirements on the computing part of the video system. Also in the prototype there are no indications of the principle of choosing a reference image, which may entail loss of resolution of images of video channels when combined.

В цифровой обработке изображений, если не оговорено дополнительно, для вычисления координат элементов цифровых (растровых) изображений используется целочисленная дискретная система координат, «матрица из строк и столбцов» (см., например, Р. Гонсалес, Р. Вудс Цифровая обработка изображений, М.: Техносфера, 2005, с. 102), где ее начало совпадает с левым верхним элементом изображения, ось абсцисс (ось «X») параллельна столбцам изображений и направлена вниз, а ось ординат (ось «Y») параллельна их строкам и направлена вправо. Таким образом, еще одним недостатком является то, что в прототипе нет уточнений по выбору системы координат, в которой производится совмещение изображений: если она не нормированная (вещественные значения координат изображений меняются в диапазоне от 0 до 1, переход к такой системе осуществляется операцией нормировки: делением координаты «X» на число элементов изображения по ширине и делением координаты «Y» на число элементов изображения по высоте), то это не обеспечивает аппаратную независимость (возможность представления результатов совмещения на дисплеях разного разрешения) и может служить причиной появления артефактов дискретизации за счет преобразования координат в целых числах.In digital image processing, unless otherwise specified, to calculate the coordinates of digital (raster) image elements, an integer discrete coordinate system, a “matrix of rows and columns” is used (see, for example, R. Gonzalez, R. Woods Digital image processing, M .: Technosphere, 2005, p. 102), where its beginning coincides with the upper left image element, the abscissa axis (X axis) is parallel to the image columns and directed downwards, and the ordinate axis (Y axis) is parallel to their lines and directed to the right. Thus, another drawback is that in the prototype there are no refinements on the choice of the coordinate system in which the images are aligned: if it is not normalized (real values of the image coordinates vary in the range from 0 to 1, the transition to such a system is carried out by the normalization operation: dividing the “X” coordinate by the number of image elements in width and dividing the “Y” coordinate by the number of image elements in height), this does not provide hardware independence (the ability to present results with receiving on the displays of different resolution) and can cause artifacts due to sampling the coordinate conversion in integers.

Задача изобретения заключается в непрерывном аппаратно независимом обеспечении совмещения изображений разного спектрального диапазона, формируемых матричными фотоприемниками, без потерь по разрешающей способности и в реальном масштабе времени.The objective of the invention is continuous hardware-independent ensuring the combination of images of different spectral ranges generated by matrix photodetectors, without loss of resolution and in real time.

Сущность изобретения заключается в том, что выбирают эталонное изображение с максимальным полем зрения, при этом выбранное изображение должно также иметь максимальную разрешающую способность как по ширине, так и по высоте, по сравнению с остальными (не эталонными) изображениями, иначе будут потери по разрешению, затем определяют его относительные размеры, нормируют координатную систему эталонного изображения по ширине и высоте, определяют размеры не эталонных изображений и преобразуют их координаты в нормированную координатную систему эталонного изображения, визуально вручную выбирают в качестве опорных точек четыре координаты на эталонном изображении, визуально находят на каждом из не эталонных изображений соответствующие четыре точки, которые принадлежат одним и тем же объектам, вычисляют проективные матричные преобразования томографии, их число равняется числу не эталонных изображений, преобразования имеют вид:The essence of the invention lies in the fact that they select a reference image with a maximum field of view, while the selected image should also have a maximum resolution both in width and in height compared to other (non-reference) images, otherwise there will be loss in resolution, then determine its relative dimensions, normalize the coordinate system of the reference image in width and height, determine the dimensions of non-reference images and convert their coordinates into normalized coordinate systems for the reference image, visually manually select the four coordinates as reference points on the reference image, visually find on each of the non-reference images the corresponding four points that belong to the same objects, projective matrix tomography transformations are calculated, their number is equal to the number of non-reference images , transformations have the form:

где (u_i ν_i,) - точки эталонного изображения, (x_i y_i) - точки одного из не эталонных изображений, i=1, 2, 3, 4; неизвестные коэффициенты а, b, с, d, е, f, g, h для каждого не эталонного изображения находят с помощью решения системы линейных уравнений (например, общеизвестным методом Гаусса):where (u _i ν _i ,) are the points of the reference image, (x _i y _i ) are the points of one of the non-reference images, i = 1, 2, 3, 4; unknown coefficients a, b, c, d, e, f, g, h for each non-standard image are found by solving a system of linear equations (for example, the well-known Gauss method):

что равносильно системеwhich is equivalent to the system

затем запоминают полученные преобразования для каждого из не эталонных изображений и их применяют на каждом из входных изображений, кроме эталонного, для последующего формирования синтезированного изображения. Для вывода результата совмещения на цифровой дисплей произвольного разрешения и размеров последовательно применяют известные процедуры масштабирования, интерполяции и растеризации изображений.then, the obtained transformations are memorized for each of the non-reference images and they are used on each of the input images, except the reference, for the subsequent formation of the synthesized image. To display the result of combining on a digital display of arbitrary resolution and size, the well-known procedures of scaling, interpolation and rasterization of images are successively applied.

Техническим результатом является обеспечение возможности одновременного вывода и сопоставления изображений, полученных от цифровых камер разного спектрального диапазона на одном дисплее, что достигается аппаратной независимостью предлагаемого способа, универсальностью его применения за счет работы в единой системе нормированных координат, простотой реализации, отсутствием потерь по разрешающей способности, а также его реализуемостью на компактных бортовых вычислителях с низким энергопотреблением за счет предварительного вычисления параметров совмещения. Выполненная программная реализация способа с использованием вычислительных ресурсов графического процессора показала скорость совмещения изображений в реальном масштабе времени - со скоростью не ниже скорости формирования изображений в видеоканалах.The technical result is the possibility of simultaneous output and comparison of images obtained from digital cameras of different spectral ranges on a single display, which is achieved by the hardware independence of the proposed method, the versatility of its application due to the work in a single system of normalized coordinates, ease of implementation, no loss in resolution, as well as its feasibility on compact on-board computers with low energy consumption due to preliminary computation allenization parameters. The software implementation of the method using the computing resources of the graphics processor showed the speed of combining images in real time - with a speed not lower than the speed of image formation in video channels.

Вариант реализации заявляемого способа совмещения изображений видеоканалов на примере оптико-электронной трехспектральной системы (ТВ, ближний ИК, ТП) заключается в том, что исходные растровые изображения, одновременно формируемые тремя видеоканалами, взаимное расположение которых не меняется при эксплуатации, преобразуют в текстуры (под текстурами здесь, как и в компьютерной графике, понимают плоские растровые изображения в нормированных вещественных координатах, подготовленные для наложения на выбранную полигональную поверхность), которые накладывают на общий полигон в режиме слияния их текселей (элемент текстуры, аналог пикселя цифрового (растрового) изображения: если изображение имеет, например, w элементов по ширине, h элементов по высоте, и размер элемента в обоих измерениях равен 1, то в нормированной системе координат тексель текстуры имеет размер 1/w по ширине и 1/h по высоте), выбирают в качестве эталонного видеоканала видеоканал с максимальным разрешением и полем зрения, переводят не эталонные изображения в нормированную систему координат эталонного изображения, визуально выбирают на эталонном изображении четыре точки и на не эталонных изображениях - им соответствующие точки, далее производят независимое перемещение четверок соответствующих точек текстур на изображениях от не эталонных видеоканалов, при этом перемещается та точка текстуры, к которой ближе курсор компьютерной мыши. Матричные преобразования и последующую линейную интерполяцию с растеризацией изображений-текстур производят в подпрограмме для видеокарты - пиксельном шейдере. Перемещение точек текстур изображений осуществляют при их предварительном визуальном совмещении на оптической мире, видимой одновременно всеми видеоканалами, так, чтобы целевые объекты на изображениях от разных видеоканалов совпадали. Коэффициенты искомых матричных преобразований томографии для изображений-текстур относительно изображения эталонного видеоканала находят путем решения соответствующей системы линейных уравнений известным методом Гаусса. Затем запоминают матричные преобразования томографии для видеоканалов, для эталонного видеоканала матричное преобразование единичное (тождественное), и загруженные настройки применяют в процессе эксплуатации. На фиг. 1 и 2 в Приложении показано наложение (комплексирование) видеоканалов без совмещения и с совмещением по предлагаемому способу. Процесс программного совмещения изображений видеоканалов показан на фиг. 3 в Приложении.An embodiment of the inventive method for combining images of video channels using an example of an optoelectronic three-spectral system (TV, near infrared, TP) is that the original raster images, simultaneously generated by three video channels, the mutual arrangement of which does not change during operation, are converted into textures (under textures here, as in computer graphics, they understand flat raster images in normalized material coordinates, prepared for overlay on the selected polygonal surface ), which are superimposed on the common polygon in the mode of merging their texels (texture element, analog of a digital (raster) image pixel: if the image has, for example, w elements in width, h elements in height, and the element size in both dimensions is 1, then in the normalized coordinate system, the texel texture has a size of 1 / w in width and 1 / h in height), select the video channel with the maximum resolution and field of view as the reference video channel, transfer non-reference images to the normalized coordinate system of the reference image Ia visually selected on the reference image and four points on the reference image does not - they are corresponding points, produce more independent quadruples displacement of corresponding points in the images from texture not reference video channels, thus moving the point texture, which is closer to the cursor computer mouse. Matrix transformations and subsequent linear interpolation with rasterization of texture images are performed in a subroutine for a video card - a pixel shader. The movement of the points of the texture of the images is carried out during their preliminary visual alignment on the optical world, visible simultaneously by all video channels, so that the target objects in the images from different video channels coincide. The coefficients of the required matrix tomography transformations for texture images relative to the image of the reference video channel are found by solving the corresponding system of linear equations by the known Gauss method. Then, matrix tomography transformations for video channels are stored, for a reference video channel, the matrix transformation is single (identical), and the loaded settings are applied during operation. In FIG. 1 and 2 in the Appendix shows the overlay (integration) of video channels without combining and combining according to the proposed method. The process of software image alignment of video channels is shown in FIG. 3 in the Appendix.

Claims (1)

Способ совмещения одновременно получаемых изображений от матричных фотоприемников разного спектрального диапазона, заключающийся в том, что одновременно получают несколько изображений разного спектрального диапазона, из числа этих изображений выбирают эталонное изображение, выбирают начало координат и четыре опорные точки на эталонном изображении, определяют координаты этих точек, затем находят те же точки на всех остальных изображениях и также определяют их координаты, далее по этим измерениям вычисляют параметры проективных матричных преобразований гомографии, полученные преобразования применяют для совмещения всех изображений к эталонному, отличающийся тем, что наблюдают картину удаленных объектов, эталонное изображение выбирают с максимальным полем зрения и наибольшей разрешающей способностью, выполняют нормировку системы координат изображений, на эталонном изображении визуально выбирают четыре характерные точки наблюдаемых объектов в качестве опорных и определяют их координаты, визуально выбирают те же четыре точки наблюдаемых объектов на всех остальных изображениях и определяют их координаты для определения проективных матричных преобразований гомографии, запоминают полученные параметры проективных матричных преобразований гомографии, а затем производят совмещение каждой последующей серии изображений с использованием этих сохраненных параметров.A method of combining simultaneously received images from photodetector arrays of different spectral ranges, which consists in the fact that several images of different spectral ranges are obtained simultaneously, a reference image is selected from among these images, the origin of coordinates and four reference points on the reference image are selected, the coordinates of these points are determined, then they find the same points on all other images and also determine their coordinates, then the parameters of the projective materials are calculated from these measurements Of homographic transformations, the obtained transformations are used to combine all images to a reference one, characterized in that the picture of distant objects is observed, the reference image is selected with the maximum field of view and maximum resolution, the coordinate system of the images is normalized, four characteristic points of the observed are visually selected on the reference image objects as reference and determine their coordinates, visually select the same four points of the observed objects on all remaining images and determine their coordinates to determine the projective matrix transformations of homography, remember the obtained parameters of the projective matrix transformations of homography, and then combine each subsequent series of images using these saved parameters.

Images