RU2775592C1 - Method for combining digital halftone images of several ranges of the optical spectrum - Google Patents

Abstract

FIELD: imaging technology.

SUBSTANCE: invention relates to the field of digital image processing, in particular to the combining of digital images. The method for combining is based on the ranking of images according to an integral-multiplicative indicator of quality and threshold processing, which consists in choosing images for combining whose informativeness exceeds the threshold value, while the threshold of informativeness is adaptive and linearly related to the value of the indicator of informativeness of the most informative channel. The method for combining digital halftone images of several ranges of the optical spectrum consists in calculating for images of each spectral range of non-etalon quality indicators, ranking images according to this indicator, calculating the threshold of informativeness, linearly dependent on the indicator of informativeness of the most informative image, comparing the indicators of informativeness of images of each channel with the threshold, decomposing the original images that exceeded the threshold into low-frequency and high-frequency components, calculation of the weight sum of the values of the low-frequency and high-frequency components of the source images for each pixel of the synthesized image. The summation of the low-frequency components is performed with weights proportional to their informativeness value, and the high-frequency components with weights proportional to the values of their main components. Before the output of the integrated image to the display device, its brightness range is aligned.

EFFECT: invention provides an increase in the information content of the combined image.

2 cl, 9 dwg

Description

Изобретение относится к области цифровой обработки изображений, в частности, к комплексированию цифровых изображений.The invention relates to the field of digital image processing, in particular, to the integration of digital images.

Для комплексирования изображений одной и той же сцены в двух диапазонах оптического спектра из уровня техники известен ряд способов комплексирования полутоновых изображений телевизионной (ТВ) и тепловизионной (ТПВ) камер [1-5]. Результирующее изображение при этом получают различными путями.To combine images of the same scene in two ranges of the optical spectrum, a number of methods for combining halftone images of television (TV) and thermal imaging (TPV) cameras are known from the prior art [1-5]. The resulting image is then obtained in various ways.

В патентах [1, 2] - последовательной поочередной записью пикселей ТВ и ТПВ изображений в чересстрочном [1] или шахматном [2] порядке. Недостатком обоих способов является двукратное снижение пространственного разрешения результирующего изображения по сравнению с каждым из исходных.In patents [1, 2] - sequential alternate recording of pixels of TV and TPV images in interlaced [1] or checkerboard [2] order. The disadvantage of both methods is a twofold decrease in the spatial resolution of the resulting image compared to each of the original ones.

В патентах [3-5] - наложением на изображение приоритетного канала изображения второго канала с компенсированной постоянной составляющей [3-5]. При этом определяют основной канал (с наибольшим уровнем информативных деталей), вычисляют среднюю яркость изображения второго канала (с меньшим уровнем информативных деталей), вычисляют среднее значение абсолютных разностей между значением средней яркости изображения второго канала и значениями яркости всех пикселей изображения второго канала, вычисляют сумму значения яркости пикселя изображения основного канала и абсолютной разности значения яркости пикселя изображения второго канала и средней яркости изображения второго канала, из полученной суммы вычитают среднее значение абсолютных разностей яркости пикселей изображения второго канала и средней яркости изображения второго канала [3, 4] либо указанную разность дополнительно масштабируют с весовым коэффициентом [5]. Мерой уровня информативности комплексируемых изображений является или оценка мощности высокочастотных (ВЧ) компонент изображения [3], или энтропия [4].In patents [3-5] - superimposing on the image of the priority channel of the image of the second channel with a compensated constant component [3-5]. At the same time, the main channel is determined (with the highest level of informative details), the average brightness of the image of the second channel is calculated (with a lower level of informative details), the average value of the absolute differences between the value of the average brightness of the image of the second channel and the brightness values of all pixels of the image of the second channel is calculated, the sum is calculated pixel brightness values of the image of the main channel and the absolute difference between the brightness value of the image pixel of the second channel and the average brightness of the image of the second channel, the average value of the absolute differences between the brightness of the pixels of the image of the second channel and the average brightness of the image of the second channel [3, 4] or the specified difference is additionally subtracted from the resulting sum scaled with a weighting factor [5]. A measure of the level of informativeness of images being combined is either an estimate of the power of high-frequency (HF) image components [3], or entropy [4].

Однако оценка визуального качества изображения по отдельным мерам может не совпадать с субъективным восприятием качества [6, 7]: например, изображение, содержащее только белый гауссовский шум со среднеквадратическим отклонением (СКО) в 30..50 уровней яркости не несет никакой полезной информации, но при этом обеспечивает высокие значения оценок и энтропии, и мощности ВЧ компонент.However, the assessment of the visual quality of an image by individual measures may not coincide with the subjective perception of quality [6, 7]: for example, an image containing only white Gaussian noise with a standard deviation (RMS) of 30..50 brightness levels does not carry any useful information, but at the same time, it provides high estimates of both the entropy and the power of the RF components.

Другим недостатком способов комплексирования с приоритетом одного канала [3, 4] является прибавление к яркости пикселей изображения основного канала абсолютного значения (модуля) разности яркости пикселей второго канала и их среднего значения, что приводит к неправильному отображению теплового контраста сцены в результирующем изображении [8]: яркость объектов с низкой температурой (темных на ТПВ изображении) при комплекси-ровании увеличивается, что приводит к снижению, например, меры подобия SSIM [9], используемой как критерий качества комплексирования [10].Another disadvantage of the methods of complexing with the priority of one channel [3, 4] is the addition to the brightness of the image pixels of the main channel of the absolute value (modulus) of the difference between the brightness of the pixels of the second channel and their average value, which leads to incorrect display of the thermal contrast of the scene in the resulting image [8] : the brightness of objects with low temperature (dark in the TPR image) increases during complexing, which leads to a decrease, for example, in the SSIM similarity measure [9] used as a criterion for the quality of complexing [10].

Учесть при комплексировании отличительные детали изображений сцены в нескольких спектральных диапазонах позволяют алгоритмы объединения информации, основанные на методе главных компонент (от англ. principal component analysis, РСА) [11]. Например, в [12, 13] разделяют изображения от каждого из каналов на низкочастотную (НЧ) и ВЧ составляющие, затем находят среднее арифметическое НЧ составляющих и прибавляют к нему ВЧ компоненты составляющих каждого канала, веса которых зависят от отношения сглаженных в окрестности анализируемого пикселя главных компонент ВЧ составляющих каждого канала:When complexing, the distinctive details of scene images in several spectral ranges can be taken into account by algorithms for combining information based on the principal component analysis (PCA) [11]. For example, in [12, 13], the images from each channel are divided into low-frequency (LF) and HF components, then the arithmetic mean of the LF components is found and the HF components of the components of each channel are added to it, the weights of which depend on the ratio of the main components smoothed in the vicinity of the analyzed pixel component of the RF components of each channel:

где F - яркость пикселя комплексированного изображения, S и D - яркости НЧ и ВЧ составляющих соответственно, w - весовые коэффициенты,where F is the brightness of the pixel of the complexed image, S and D are the brightness of the low and high frequencies, respectively, w are the weight coefficients,

где PC_k - главные компоненты ВЧ составляющих ТВ и ТПВ каналов, G - ядро гауссовского фильтра, «*» - операция свертки.where PC _k - the main components of the RF components of the TV and TV channels, G - the kernel of the Gaussian filter, "*" - the convolution operation.

Выражение (1) может быть обобщено на случай L спектральных диапазонов:Expression (1) can be generalized to the case of L spectral ranges:

Из уровня техники также известны изобретения для комплексирования L>2 изображений различных диапазонов оптического спектра.The prior art also known inventions for combining L>2 images of different ranges of the optical spectrum.

В способе комплексирования цифровых многоспектральных полутоновых изображений, основанном на применении вейвлет-разложения [14], рассмотрен алгоритм, основанный на весовом суммировании составляющих кратномасштабного разложения изображений. В указанном способе выполняют разложение каждого исходного изображения на низкочастотную (аппроксимирующую) и высокочастотные (детализирующие) компоненты путем многоуровневой декомпозиции с применением вейвлета Хаара, определяют значения матриц энергетических характеристик пикселей на всех уровнях разложения для каждого изображения, осуществляют фильтрацию всех детализирующих составляющих, вычисляют для каждого разложения корректирующие функции яркости и контраста, вычисляют для каждого разложения на каждом уровне весовую функцию, параметром которой является значение энергетической характеристики, производят для каждого пикселя на каждом уровне разложения вычисление компонент синтезированного изображения путем взвешенного суммирования значений соответствующих составляющих разложений исходных изображений, выполняют обратное вейвлет-преобразование и согласуют яркостной диапазон результирующего изображения с параметрами видеосистемы.In a method for complexing digital multispectral halftone images based on the use of wavelet decomposition [14], an algorithm based on the weighted summation of the components of a multi-scale decomposition of images is considered. In this method, each source image is decomposed into low-frequency (approximating) and high-frequency (detailing) components by multilevel decomposition using the Haar wavelet, the values of the matrix of pixel energy characteristics are determined at all decomposition levels for each image, filtering all the detailing components, calculating for each correction functions of brightness and contrast are calculated for each decomposition at each level, the weight function is calculated, the parameter of which is the value of the energy characteristic, the components of the synthesized image are calculated for each pixel at each decomposition level by weighted summation of the values of the corresponding components of the decompositions of the original images, the inverse wavelet- conversion and match the brightness range of the resulting image with the parameters of the video system.

Энергетической характеристикой при этом выступает сумма квадратов значений яркости пикселей на каждом уровне кратномасштабного разложения.In this case, the energy characteristic is the sum of the squares of the pixel brightness values at each level of the multi-scale decomposition.

К недостаткам способа [14] можно отнести следующее.The disadvantages of the method [14] include the following.

Во-первых, использование критерия качества изображений каждого уровня кратномасштабного разложения, основанного на энергетической характеристике, как и в случае способов [3, 4], будет увеличивать вес составляющих не только для резких и высококонтрастных изображений, но и для сильно зашумленных.Firstly, the use of the image quality criterion of each level of the multi-scale decomposition based on the energy characteristic, as in the case of methods [3, 4], will increase the weight of the components not only for sharp and high-contrast images, but also for highly noisy ones.

Во-вторых, практика испытаний мультиспектральных систем технического зрения [15] показывает, что комплексирование информации от всех имеющихся каналов технического зрения в ряде условий наблюдения (например, недостаточная видимость, обусловленная дымом, туманом, моросью, низкой освещенностью и др.) не оправдано и необходима пороговая обработка: адаптивный выбор для последующего комплексирования кадров только тех каналов, которые являются наиболее информативными. В качестве критерия информативности может выступать, например, нормированный показатель информативности (НПИ) [15, 16], оперирующий максимумом и минимумом среднего градиента яркости в окне 5×5 пикселей.Secondly, the practice of testing multispectral vision systems [15] shows that the integration of information from all available vision channels in a number of observation conditions (for example, insufficient visibility due to smoke, fog, drizzle, low light, etc.) is not justified and thresholding is required: an adaptive choice for subsequent frame aggregation of only those channels that are the most informative. For example, the normalized information content indicator (NPI) [15, 16], which operates with the maximum and minimum of the average brightness gradient in a 5 × 5 pixel window, can serve as a criterion of information content.

Известен способ комплексирования цифровых многоспектральных изображений земной поверхности, а именно - локационных изображений земной поверхности [17]. Способ предполагает выполнение весового суммирования для каждого пикселя, при этом после получения всех изображений определяют наиболее информативное, считая таковым изображение с большей энтропией. Далее выполняют вычисление морфологической формы наиболее информативного изображения на основе гистограммной сегментации с заданным количеством мод гистограммы, вычисляют морфологические проекции остальных изображений на форму наиболее информативного изображения, а комплексирование выполняют путем суммирования яркостей пикселей наиболее информативного изображения, которое принимают за базовое, и проекций остальных изображений на форму этого изображения.A known method of complexing digital multispectral images of the earth's surface, namely, location images of the earth's surface [17]. The method involves performing a weight summation for each pixel, and after receiving all the images, the most informative one is determined, considering the image with the highest entropy as such. Next, the morphological shape of the most informative image is calculated based on histogram segmentation with a given number of histogram modes, the morphological projections of the remaining images onto the shape of the most informative image are calculated, and the aggregation is performed by summing the brightness of the pixels of the most informative image, which is taken as the base image, and the projections of the remaining images onto the shape of this image.

Недостатком способа [17] является то, что по критерию максимальной энтропии за наиболее информативное может быть выбрано в том числе и изображение, содержащее только шум.The disadvantage of the method [17] is that, according to the criterion of maximum entropy, an image containing only noise can be selected as the most informative one.

В качестве прототипа выбран наиболее близкий по совокупности признаков способ комплексирования цифровых многоспектральных полутоновых изображений L различных диапазонов спектра, в котором также определяют наиболее приоритетное изображение. Далее на основе приоритетного и остальных изображений формируют результирующее комплексированное изображение, при этом наиболее приоритетное изображение параллельно подают на сумматор, а также - совместно с остальными изображениями - на формирователь единого эталонного изображения. В полученном эталонном изображении вычисляют значения градиентов яркости пикселя с координатами (i, j) с пикселями в его окрестности. Полученные градиенты подают на усилитель с заданным коэффициентом усиления и далее в сумматор, где вычисляют сумму значений яркости пикселей окрестности в скользящем окне приоритетного изображения с полученными соответствующими значениями градиентов пиксела (i, j) эталонного изображения, а затем формируют результирующее комплексированное изображение путем усреднения вычисленных в сумматоре значений в скользящем окне.As a prototype, the method of complexing digital multispectral halftone images L of different spectral ranges, which is also the most priority image, is selected as the closest in terms of the set of features. Further, on the basis of the priority and other images, the resulting complexed image is formed, while the highest priority image is fed in parallel to the adder, and also - together with the rest of the images - to the single reference image generator. In the obtained reference image, the values of the brightness gradients of a pixel with coordinates (i, j) with pixels in its vicinity are calculated. The resulting gradients are fed to the amplifier with a given gain and then to the adder, where the sum of the brightness values of the neighborhood pixels in the sliding window of the priority image is calculated with the corresponding values of the gradients of the pixel (i, j) of the reference image obtained, and then the resulting complexed image is formed by averaging the calculated values in totalizer of values in a sliding window.

При этом в описании патента [18] указано, что выбор приоритетного изображения выполняется либо путем субъективной оценки оператором, либо используя «какой-нибудь автоматический критерий». Примера «автоматического критерия» в описании [18] не приводится.At the same time, the description of the patent [18] states that the selection of a priority image is performed either by subjective evaluation by the operator, or using "some kind of automatic criterion." An example of an “automatic criterion” is not given in the description [18].

Недостатком прототипа, как и способа [14], является учет в итоговом комплексированном изображении высокочастотных составляющих яркости абсолютно всех входных изображений, в том числе, например, не содержащих иной информации, кроме шума.The disadvantage of the prototype, as well as the method [14], is that the resulting complex image takes into account the high-frequency components of the brightness of absolutely all input images, including, for example, those that do not contain information other than noise.

Техническая проблема, решаемая заявляемым изобретением, заключается в отсутствии способа объединения на уровне пикселей информации от цифровых полутоновых изображений для L>2 различных диапазонов спектра, адаптивного к информативности кадров каждого из спектральных каналов.The technical problem solved by the claimed invention lies in the absence of a method for combining at the pixel level information from digital halftone images for L>2 different spectral ranges, adaptive to the information content of the frames of each of the spectral channels.

Технический результат изобретения заключается в увеличении информативности комплексированного изображения и достигается адаптивным выбором подлежащих объединению L>2 цифровых полутоновых изображений различных диапазонов спектра с применением безэталонного комплексного показателя качества.The technical result of the invention consists in increasing the information content of the complexed image and is achieved by adaptive selection of L>2 digital halftone images of different spectrum ranges to be combined using a standardless complex quality indicator.

Технический результат достигается тем, что перед выполнением операции попиксельного объединения яркости выполняется ранжирование исходных изображений по безэталонному комплексному критерию качества и пороговая обработка: изображения, не превысившие порога, исключаются из процедуры комплексирования.The technical result is achieved by the fact that before performing the operation of pixel-by-pixel brightness merging, the source images are ranked according to a non-standard complex quality criterion and threshold processing: images that do not exceed the threshold are excluded from the fusion procedure.

Комплексный интегрально-мультипликативный показатель качества (ИМПК) цифровых полутоновых изображений приводится в [7]. Он оперирует нормированными средней яркостью, отношением сигнал-шум, СКО высокочастотной составляющей яркости с компенсацией СКО шума, а также средними значениями локальных контрастов высокочастотной и низкочастотной составляющих яркости по полю изображения, с их коррекцией, учитывающей оценку СКО шума.A complex integral-multiplicative quality index (CQIM) of digital halftone images is given in [7]. It operates with normalized average brightness, signal-to-noise ratio, RMS of the high-frequency brightness component with noise RMS compensation, as well as average values of local contrasts of the high-frequency and low-frequency brightness components over the image field, with their correction taking into account the estimated noise RMS.

Известное правило выбора информативных изображений для комплексирования рассмотрено, например, в [15, 16] и заключается в следующем:The well-known rule for choosing informative images for aggregation is considered, for example, in [15, 16] and is as follows:

1) для всех изображений L спектральных диапазонов оценивается показатель информативности Q_i, i=1, 2,…L (в [15, 16] в качестве Q_i применяется нормированный показатель информативности);1) for all images of L spectral ranges, the information content indicator Q _i , i=1, 2,…L is estimated (in [15, 16] the normalized information content indicator is used as Q _i );

2) изображения ранжируются по показателю Q_i;2) images are ranked according to Q _i ;

3) выбираются два изображения с наибольшей информативностью и сравниваются с фиксированным порогом Q_пор=0,25;3) two images with the highest information content are selected and compared with a fixed threshold _Qthr =0.25;

4) если информативность каждого из них превышает порог, выполняется их комплексирование;4) if the information content of each of them exceeds the threshold, their integration is performed;

5) если информативности изображений не превышают Q_пор=0,25, то потребителю выводится изображение от наиболее информативного канала.5) if the information content of the images does not exceed Q _then =0.25, then the image from the most informative channel is displayed to the consumer.

Указанное правило имеет недостаток: в ситуации, когда изображения всех спектральных каналов имеют приблизительно одинаковую информативность и в то же время каждое из них содержит признаки объектов сцены, не наблюдаемые в других спектральных диапазонах, оставление для комплексирования только двух каналов с максимальной информативностью не позволяет достичь максимальной информативности результирующего изображения.This rule has a drawback: in a situation where the images of all spectral channels have approximately the same information content and at the same time each of them contains features of scene objects that are not observed in other spectral ranges, leaving only two channels with maximum information content for aggregation does not allow achieving the maximum informativeness of the resulting image.

В предлагаемом способе комплексирования выбор информативных каналов основан на сравнении показателей информативности не с фиксированным значением порога, а с адаптивно изменяющимся, зависящим от значения показателя информативности наиболее информативного изображения:In the proposed method of integration, the choice of informative channels is based on comparing the information content indicators not with a fixed threshold value, but with an adaptively changing one, depending on the value of the information content indicator of the most informative image:

1) для всех изображений L спектральных диапазонов оценивается показатель информативности Q_i, i=1, 2, …, L, где в качестве Q_i выступает ИМПК;1) for all images of L spectral ranges, the indicator of information content Q _i , i=1, 2, ..., L, where Q _i is PMMC, is estimated;

2) изображения ранжируются по показателю Q_i;2) images are ranked according to Q _i ;

3) устанавливается порог информативности Q_пор=cQ_max, где Q_max - ИМПК наиболее информативного изображения, а с - константа, которая определяет отличие от Q_max информативности кадров, включаемых в процедуру комплексирования, 0<с<1; например, с - 0,5;3) a threshold of information content Q _then =cQ _max is set, where Q _max is the IMPC of the most informative image, and c is a constant that determines the difference from Q _max of the information content of frames included in the aggregation procedure, 0<c<1; for example, c - 0.5;

4) для кадров, информативность которых превысила порог, выполняется комплексирование по модификации метода главных компонент, в которой, в отличие от (2), веса НЧ составляющих суммируются не по правилу среднего арифметического, а с весами, пропорциональными ИМПК каждого изображения:4) for frames whose information content exceeded the threshold, complexing is performed according to the modification of the principal component method, in which, in contrast to (2), the weights of the low-frequency components are summed not according to the arithmetic mean rule, but with weights proportional to the IMPC of each image:

где L^* - количество изображений, которые превысили порог информативности Q_пор.where L ^* is the number of images that have exceeded the threshold of informativeness Q _then .

Применение формулы (3) позволяет, например, минимизировать проникновение в результирующее комплексированное изображение малоинформативной низкочастотной фоновой составляющей от переэкспонированных кадров (засветки).The use of formula (3) makes it possible, for example, to minimize the penetration into the resulting complex image of an uninformative low-frequency background component from overexposed frames (flare).

Рассмотрим различные стратегии попиксельного комплексирования на примере изображений трех спектральных диапазонов - видимого, коротковолнового инфракрасного (ПК) и длинноволнового ИК - с сюжетом «Kaptein_1123» из открытой базы TNO [19] (фиг. 1-3). Для комплексирования будем использовать алгоритм объединения информации, основанный на методе главных компонент: как показано в [20], применение стратегии весового суммирования, основанной как на вейвлет-преобразовании с вейвлетом Хаара [14], так и на методе главных компонент обеспечивает результат комплексирования приблизительно одинакового качества. В качестве показателя информативности примем ИМПК [7]. Для синтезированного комплексиро-ванного изображения дополнительно будем применять процедуру контрастирования для приведения диапазона уровней яркости к интервалу [0, 255].Let us consider different strategies of pixel-by-pixel aggregation using the example of images of three spectral ranges - visible, short-wave infrared (PC), and long-wave IR - with the "Kaptein_1123" plot from the open TNO database [19] (Fig. 1-3). For complexing, we will use an information combining algorithm based on the principal component method: as shown in [20], the application of the weight summation strategy based on both the wavelet transform with the Haar wavelet [14] and the principal component method provides a result of complexing approximately the same quality. As an indicator of information content, we will take IMPC [7]. For the synthesized complexed image, we will additionally apply the contrasting procedure to bring the range of brightness levels to the interval [0, 255].

Все три исходных изображения на фиг. 1-3 имеют приблизительно одинаковый ИМПК: для ТВ канала Q_TB=0,21, для коротковолнового ИК канала Q_КВИК=0,17, для длинноволнового ИК - Q_двик=0,2. Результат комплексирования всех трех каналов по (3) приведен на фиг. 4, его ИМПК Q_F=0,24. Для сравнения результат комплексирования по методу главных компонент двух наиболее информативных (по ИМПК) каналов согласно стратегии [15, 16] приведен на фиг. 5, его ИМПК равен 0,22. Из сравнения фиг. 4 и фиг. 5 видно, что выбор только двух, пусть и наиболее информативных каналов (фиг. 5) приводит к менее информативному результату, чем учет информации от каналов всех трех спектральных диапазонов: на фиг. 4 наблюдаем более контрастные изображения кустарника (в правой части кадра) и осветительного прибора, расположенного слева в холле здания (центральная часть кадра) за счет получения дополнительной информации о данных объектах от канала коротковолнового ИК диапазона.All three original images in Fig. 1-3 have approximately the same IMPC: for the TV channel Q _TB = 0.21, for the short-wave IR channel Q _QUIC = 0.17, for the long-wave IR - Q _dvik = 0.2. The result of combining all three channels according to (3) is shown in Fig. 4, his IMPC Q _F =0.24. For comparison, the result of integration by the method of principal components of the two most informative (according to IMPC) channels according to the strategy [15, 16] is shown in Fig. 5, his IMPC is 0.22. From a comparison of Fig. 4 and FIG. Fig. 5 shows that the choice of only two, albeit the most informative channels (Fig. 5) leads to a less informative result than taking into account information from channels of all three spectral ranges: in Fig. 4, we observe more contrasting images of a shrub (in the right part of the frame) and a lighting device located on the left in the hall of the building (the central part of the frame) due to additional information about these objects from the short-wave infrared channel.

В то же время в ситуации, когда информативности каналов различаются в разы, объединение изображений всех спектральных диапазонов, как справедливо отмечено в [15, 16], не оправдано. Сымитируем для фиг. 1 и фиг. 2 уменьшение освещенности, которое в режиме автоэкспозиции камер каналов технического зрения приведет к увеличению времени экспонирования и росту уровня шумов (фиг. 6 с Q_TB=0,09 и фиг. 7 с Q_КВИК=0,08); при этом будем использовать математическую модель аддитивного белого гауссовского шума. При выборе порога с целью отбора изображений для дальнейшей процедуры комплексирования примем значение константы с=0,5. При этом значение Q_пор=cQ_max=0,5Q_max=0,5⋅0,2=0,1 и применение процедуры комплексирования не оправдано, так как информативность изображения длинноволнового ИК диапазона более чем в 2 раза превосходит информативности кадров видимого и коротковолного ИК диапазонов. Это подтверждается как визуальным сравнением, так и ИМПК результатов комплексирования. Действительно, на фиг. 8 приведен результат объединения всех трех каналов с Q_F=0,14, а на фиг. 9 - только изображение от длинноволнового ИК канала (фиг. 3) после применения контрастирования с ИМПК, равным 0,2. Поскольку изображение фиг. 3 уже изначально содержит объекты как высокой, так и низкой яркости, применение процедуры контрастирования к увеличению ИМПК длинноволнового ИК канала не приводит.At the same time, in a situation where the informativeness of the channels differ by several times, the combination of images of all spectral ranges, as rightly noted in [15, 16], is not justified. We simulate for Fig. 1 and FIG. 2 decrease in illumination, which in the auto-exposure mode of the cameras of the technical vision channels will lead to an increase in the exposure time and an increase in the noise level (Fig. 6 with Q _TB =0.09 and Fig. 7 with Q _QUICK = 0.08); in this case, we will use the mathematical model of additive white Gaussian noise. When choosing a threshold for the purpose of selecting images for the further procedure of complexing, we will take the value of the constant c=0.5. At the same time, the value of _Qthr =cQ _max =0.5Q _max =0.5⋅0.2=0.1 and the use of the complexing procedure is not justified, since the information content of the image of the long-wave IR range is more than 2 times higher than the information content of the frames of the visible and short-wave IR ranges. This is confirmed by both visual comparison and PBM of the results of integration. Indeed, in FIG. 8 shows the result of combining all three channels with Q _F =0.14, and in FIG. 9 is only an image from the long-wavelength IR channel (FIG. 3) after applying contrast with a IMOC of 0.2. Since the image of Fig. 3 already initially contains objects of both high and low brightness, the application of the contrasting procedure does not lead to an increase in the PMI of the long-wavelength IR channel.

Таким образом, предлагаемый способ комплексирования цифровых полутоновых изображений нескольких диапазонов оптического спектра согласно (3) обеспечивает без участия оператора автоматический выбор по величине интегрально-мультипликативного критерия качества информативных изображений нескольких каналов для комплексирования.Thus, the proposed method for complexing digital halftone images of several ranges of the optical spectrum according to (3) provides, without the participation of the operator, automatic selection by the value of the integral-multiplicative criterion of the quality of informative images of several channels for complexing.

Список использованных источниковList of sources used

1. Патент RU 2538340, опубликовано 10.01.2015, МПК G06T 3/00 (2006.01).1. Patent RU 2538340, published on January 10, 2015, IPC G06T 3/00 (2006.01).

2. Патент RU 2435221, опубликовано 27.11.2011, МПК G06T 3/00 (2006.01).2. Patent RU 2435221, published on November 27, 2011, IPC G06T 3/00 (2006.01).

3. Патент RU 2451338, опубликовано 20.05.2012, МПК G06T 5/00 (2006.01).3. Patent RU 2451338, published on May 20, 2012, IPC G06T 5/00 (2006.01).

4. Патент RU 2684585, опубликовано 09.04.2019, МПК G06T 5/50 (2006.01), G06K 9/46 (2006.01).4. Patent RU 2684585, published on 04/09/2019, IPC G06T 5/50 (2006.01), G06K 9/46 (2006.01).

5. Патент RU 2667800, опубликовано 24.09.2018, МПК G06T 5/50 (2006.01), G06K 9/46 (2006.01).5. Patent RU 2667800, published on September 24, 2018, IPC G06T 5/50 (2006.01), G06K 9/46 (2006.01).

6. Старовойтов В.В., Старовойтов Ф.В. Сравнительный анализ безэталонных мер оценки качества цифровых изображений // Системный анализ и прикладная информатика. 2017. №1. С. 24-32.6. Starovoitov V.V., Starovoitov F.V. Comparative analysis of standard-free measures for assessing the quality of digital images // System Analysis and Applied Informatics. 2017. No. 1. pp. 24-32.

7. Сычев А.С., Холопов И.С. Безэталонный интегрально-мультипликативный показатель качества цифровых полутоновых изображений // Цифровая обработка сигналов. 2018. №3. С. 49-55.7. Sychev A.S., Kholopov I.S. Standardless integral-multiplicative indicator of the quality of digital halftone images // Digital Signal Processing. 2018. №3. pp. 49-55.

8. Дрынкин В.Н., Фальков Э.Я., Царева Т.И. Формирование комбинированного изображения в двухзональной бортовой авиационно-космической системе // Техническое зрение в системах управления 2012: сборник трудов научно-технической конференции под ред. P.P. Назирова. М.: Механика, управление и информатика, 2012. С. 33-39.8. Drynkin V.N., Falkov E.Ya., Tsareva T.I. Formation of a combined image in a dual-zone airborne aerospace system // Technical vision in control systems 2012: Proceedings of a scientific and technical conference, ed. P.P. Nazirov. M.: Mekhanika, upravlenie i informatika, 2012. S. 33-39.

9. Wang Z., Bovik А.С., Sheikh H.R., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Trans, on Image Processing. 2004. Vol. 13, Is. 4. P. 600-612.9. Wang Z., Bovik A.S., Sheikh H.R., Simoncelli E.P. Image quality assessment: from error visibility to structural similarity // IEEE Trans, on Image Processing. 2004 Vol. 13, Is. 4. P. 600-612.

10. Фролов B.H., Тупиков В.А., Павлова В.А., Александров В.А. Методы информационного совмещения изображений в многоканальных оптико-электронных системах // Известия ТулГУ. Технические науки. 2016. Вып.11, Ч. 3. С. 95-104.10. Frolov B.N., Tupikov V.A., Pavlova V.A., Aleksandrov V.A. Methods of informational combination of images in multichannel optical-electronic systems. Izvestiya TulGU. Technical science. 2016. Issue 11, part 3, pp. 95-104.

11. Comparison of three different methods to merge multiresolution and mul-tispectral data: Landsat TM and SPOT Panchromatic // Photogrammetric Engineering and Remote Sensing. 1991. Vol. 57, No. 3. P. 265-303.11. Comparison of three different methods to merge multiresolution and mul-tispectral data: Landsat TM and SPOT Panchromatic // Photogrammetric Engineering and Remote Sensing. 1991 Vol. 57, no. 3. P. 265-303.

12. Sadhasivam S.K., Keerthivasan M.B., Muttan S. Implementation of max principle with PCA in image fusion for surveillance and navigation application // Electronic Letters on Computer Vision and Image Analysis. 2011. Vol. 10, No. 1. P. 1-10.12. Sadhasivam S.K., Keerthivasan M.B., Muttan S. Implementation of max principle with PCA in image fusion for surveillance and navigation application // Electronic Letters on Computer Vision and Image Analysis. 2011 Vol. 10, no. 1. P. 1-10.

13. Das S., Krebs W.K. Sensor fusion of multi-spectral imagery // IEEE Letters. 2000. Vol. 36. P. 1115-1116.13. Das S., Krebs W.K. Sensor fusion of multi-spectral imaging // IEEE Letters. 2000 Vol. 36. P. 1115-1116.

14. Патент RU 2342701, опубликовано 27.12.2008, МПК G06K 9/40 (2006.01), G06T 5/40 (2006.01).14. Patent RU 2342701, published on 12/27/2008, IPC G06K 9/40 (2006.01), G06T 5/40 (2006.01).

15. Бондаренко А., Бондаренко M. Аппаратно-программная реализация мультиспектральной системы улучшенного видения // Современная электроника. 2017. №1. С. 32-37.15. Bondarenko A., Bondarenko M. Hardware and software implementation of a multispectral system for improved vision // Modern electronics. 2017. No. 1. pp. 32-37.

16. Бондаренко М.А., Дрынкин В.Н., Набоков С.А., Павлов Ю.В. Адаптивный алгоритм выбора информативных каналов в бортовых мультиспектральных видеосистемах // Программные системы и вычислительные методы. 2017. №1. С.46-52.16. Bondarenko M.A., Drynkin V.N., Nabokov S.A., Pavlov Yu.V. An adaptive algorithm for selecting informative channels in on-board multispectral video systems // Program systems and computational methods. 2017. No. 1. pp.46-52.

17. Патент RU 2520424, опубликовано 20.01.2014, МПК G06T 5/40 (2006.01).17. Patent RU 2520424, published on January 20, 2014, IPC G06T 5/40 (2006.01).

18. Патент RU 2737699, опубликовано 02.12.2020, МПК G06T 5/40 (2006.01).18. Patent RU 2737699, published on 12/02/2020, IPC G06T 5/40 (2006.01).

19. TNO Image Fusion Dataset: https://figshare.com/articles/ TNO_Image_Fusion_Dataset/1008029. Дата обращения: 06.06.21.19. TNO Image Fusion Dataset: https://figshare.com/articles/TNO_Image_Fusion_Dataset/1008029. Date of access: 06.06.21.

20. Krishnamoorthy S. Soman K.P. Implementation and comparative study of image fusion algorithms // International Journal of Computer Applications. 2010. Vol. 9, No. 2. P. 25-35.20. Krishnamoorthy S. Soman K.P. Implementation and comparative study of image fusion algorithms // International Journal of Computer Applications. 2010 Vol. 9, no. 2. P. 25-35.

Claims (2)

1. Способ комплексирования цифровых полутоновых изображений нескольких диапазонов оптического спектра, включающий получение исходных изображений в L-диапазонах, по которым определяют наиболее приоритетное изображение, результирующее комплексированное изображение формируют путем весового суммирования высокочастотных компонент яркости, выравнивают яркостный диапазон результирующего изображения и подают его на вывод, отличающийся тем, что выполняется ранжирование исходных изображений по показателю информативности; вводится пороговое значение информативности, линейно зависящее от величины показателя качества наиболее информативного изображения; выполняется сравнение показателей информативности изображений каждого канала с порогом; для изображений, показатель информативности которых превысил порог, выполняется суммирование низкочастотных компонент с весами, пропорциональными их показателю информативности, а для высокочастотных компонент - с весами, пропорциональными величинам их главных компонент.1. A method for complexing digital halftone images of several ranges of the optical spectrum, including obtaining initial images in L-bands, from which the most priority image is determined, the resulting complexed image is formed by weight summing the high-frequency brightness components, the brightness range of the resulting image is equalized and it is output, characterized in that the original images are ranked according to the information content indicator; a threshold value of informativity is introduced, which linearly depends on the value of the quality index of the most informative image; a comparison of information content indicators of images of each channel with a threshold is performed; for images whose information value exceeded the threshold, the low-frequency components are summed with weights proportional to their information value, and for high-frequency components - with weights proportional to the values of their principal components. 2. Способ по п. 1, в котором показателем информативности является безэталонный интегрально-мультипликативный показатель качества.2. The method according to claim 1, in which the indicator of informativeness is a non-standard integral-multiplicative quality indicator.

Images