KR102161166B1 - Method for image fusion and recording medium - Google Patents
Method for image fusion and recording medium Download PDFInfo
- Publication number
- KR102161166B1 KR102161166B1 KR1020190035350A KR20190035350A KR102161166B1 KR 102161166 B1 KR102161166 B1 KR 102161166B1 KR 1020190035350 A KR1020190035350 A KR 1020190035350A KR 20190035350 A KR20190035350 A KR 20190035350A KR 102161166 B1 KR102161166 B1 KR 102161166B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- images
- fusion
- infrared
- fusing
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 45
- 230000004927 fusion Effects 0.000 title claims description 36
- 238000001914 filtration Methods 0.000 claims abstract description 30
- 238000007500 overflow downdraw method Methods 0.000 claims abstract description 25
- 238000009499 grossing Methods 0.000 claims description 8
- 238000004590 computer program Methods 0.000 claims description 3
- 238000005516 engineering process Methods 0.000 description 20
- 230000003287 optical effect Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000000354 decomposition reaction Methods 0.000 description 5
- 238000007499 fusion processing Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 2
- 238000005070 sampling Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000002146 bilateral effect Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000004321 preservation Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10048—Infrared image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 영상 융합 방법 및 기록 매체에 관한 것으로서, 보다 상세하게는 복수의 영상을 융합하는 영상 융합 방법 및 기록 매체에 관한 것이다.The present invention relates to an image fusion method and a recording medium, and more particularly, to an image fusion method and a recording medium for fusing a plurality of images.
최근, 이미지 센서로부터 입력되는 복수의 영상을 융합(fusion)하기 위한 영상 융합 기술에 대한 연구가 활발하게 진행되고 있다.Recently, research on an image fusion technology for fusion of a plurality of images input from an image sensor has been actively conducted.
영상 융합 기술은 의료 분야에서 정밀하고 정확한 진단을 내릴 수 있는 도구로 이용되고 있으며, 군사 분야에서는 서로 다른 파장 대역의 이미지 센서 정보를 융합하여 표적 인식 및 추적 시스템의 신뢰성 및 정확성을 높이기 위하여 이용되고 있다.Image fusion technology is being used as a tool to make precise and accurate diagnosis in the medical field, and in the military field, it is used to increase the reliability and accuracy of the target recognition and tracking system by fusion of image sensor information of different wavelength bands. .
이와 같은, 영상 융합 기술은 전체적으로 3 단계로 구분될 수 있다. 여기서, 제1 단계는 각 이미지 센서의 입력 영상에 대한 처리를 수행하는 단계이고, 제2 단계는 각 이미지 센서의 입력 영상의 각 화소에 대한 정렬을 수행하는 단계이며, 제3 단계는 정렬된 영상들을 융합 처리하는 단계를 의미한다.Such an image fusion technology can be divided into three stages as a whole. Here, the first step is a step of performing processing on the input image of each image sensor, the second step is a step of aligning each pixel of the input image of each image sensor, and the third step is the aligned image It means the step of fusion processing.
여기서, 영상들을 융합 처리하는 기술은 동일한 이미지 센서로부터 노출을 달리하여 촬영된 영상으로부터 HDR(High Dynamic Range) 영상을 생성하기 위한 단일 이미지 센서 융합 기술과, 서로 다른 이미지 센서의 장점을 취하여 이를 하나의 영상으로 생성하기 위한 이종 이미지 센서 융합 기술로 나뉜다.Here, the technology for fusion processing images is a single image sensor fusion technology for generating HDR (High Dynamic Range) images from images photographed by varying exposures from the same image sensor, and a single image sensor fusion technology that takes advantage of different image sensors. It is divided into a heterogeneous image sensor fusion technology to create an image.
그러나, 이종 이미지 센서를 이용한 대부분의 영상 융합 기술은 영상의 특징을 분석하고, 각 이미지 센서로부터 출력되는 영상 중 잘 보이는 부분을 융합하기 위해 복잡한 구조와 많은 시간을 필요로 한다. 따라서, 실시간적인 영상 획득을 요구하는 감시 또는 정찰 환경에서는 이와 같은 영상 융합 기술을 적용하기가 어려운 문제점이 있었다.However, most image fusion technologies using heterogeneous image sensors require a complex structure and a lot of time to analyze the characteristics of an image and fuse a well-visible part of the image output from each image sensor. Therefore, it is difficult to apply such an image fusion technology in a surveillance or reconnaissance environment that requires real-time image acquisition.
본 발명은 복수의 영상을 융합하여 시인성이 높은 영상을 생성할 수 있는 영상 융합 방법 및 기록 매체를 제공한다.The present invention provides an image fusion method and recording medium capable of generating an image with high visibility by fusing a plurality of images.
본 발명의 실시 예에 따른 영상 융합 방법은, 복수 개의 영상을 입력받는 과정; 및 상기 복수 개의 영상을 융합하는 과정;을 포함하고, 상기 복수 개의 영상을 융합하는 과정은, 상기 복수 개의 영상 중 어느 하나를 기준 영상으로 설정하고, 상기 복수 개의 영상 중 적어도 두 개의 영상을 가이드 영상으로 설정하여 다중 가이디드 필터링(Multi Guided Filtering)을 수행한다.An image fusion method according to an embodiment of the present invention includes: receiving a plurality of images; And fusing the plurality of images; wherein the fusing of the plurality of images includes setting any one of the plurality of images as a reference image, and at least two of the plurality of images as a guide image It is set to and performs multi-guided filtering.
상기 가이드 영상은, 상기 기준 영상으로 설정된 영상 및 상기 기준 영상으로 설정된 영상과는 상이한 이미지 센서로부터 촬영된 영상을 포함할 수 있다.The guide image may include an image set as the reference image and an image photographed from an image sensor different from the image set as the reference image.
상기 다중 가이디드 필터링은 하기의 수학식 1에 의하여 이루어질 수 있다.The multi-guided filtering may be performed by Equation 1 below.
[수학식 1][Equation 1]
(여기서, p는 기준 영상, I는 가이드 영상, q는 융합 영상, E는 커널 영역의 평균 값, W는 가중치, var는 분산 값, ε은 평활화 상수를 나타낸다.)(Where p is the reference image, I is the guide image, q is the fusion image, E is the average value of the kernel region, W is the weight, var is the variance value, and ε is the smoothing constant.)
또한, 본 발명의 실시 예에 따른 영상 융합 방법은, 적외선 영상 및 전자광학 영상을 포함하는 복수 개의 영상을 입력받는 과정; 및 상기 복수 개의 영상을 융합하는 과정;을 포함하고, 상기 복수 개의 영상을 융합하는 과정은, 상기 적외선 영상을 기준 영상으로 설정하고, 상기 전자광학 영상을 포함하는 적어도 두 개의 영상을 가이드 영상으로 설정하여, 다중 가이디드 필터링(Multi Guided Filtering)을 수행한다.In addition, an image fusion method according to an embodiment of the present invention includes: receiving a plurality of images including an infrared image and an electro-optical image; And fusing the plurality of images; wherein in the fusing of the plurality of images, the infrared image is set as a reference image, and at least two images including the electro-optical image are set as a guide image. Thus, multi-guided filtering is performed.
상기 적외선 영상은 파장 대역이 상이한 적외선 이미지 센서로부터 촬영된 적어도 두 개의 적외선 영상을 포함하고, 상기 복수 개의 영상을 융합하는 과정은, 상기 적어도 두 개의 적외선 영상 중 어느 하나를 기준 영상으로 설정할 수 있다.The infrared image includes at least two infrared images captured by infrared image sensors having different wavelength bands, and the process of fusing the plurality of images may set one of the at least two infrared images as a reference image.
또한, 본 발명의 실시 예에 따른 영상 융합 방법은, 복수 개의 영상을 입력받는 과정; 상기 복수 개의 영상 중 어느 하나를 기준 영상으로 설정하고, 상기 복수 개의 영상 중 적어도 두 개의 영상을 가이드 영상으로 설정하는 과정; 상기 복수 개의 영상 각각의 적분 영상을 생성하는 과정; 상기 적분 영상으로부터 상기 복수 개의 영상 각각의 커널 영역의 평균 값을 산출하는 과정; 및 상기 커널 영역의 평균 값을 이용하여 다중 가이디드 필터링(Multi Guided Filtering)을 수행하는 과정;을 포함한다.In addition, an image fusion method according to an embodiment of the present invention includes the process of receiving a plurality of images; Setting one of the plurality of images as a reference image and setting at least two of the plurality of images as a guide image; Generating an integral image of each of the plurality of images; Calculating an average value of kernel regions of each of the plurality of images from the integrated image; And performing multi-guided filtering by using the average value of the kernel region.
상기 적분 영상을 생성하기 전에, 상기 복수 개의 영상 각각의 해상도를 감소시키는 과정; 및 상기 다중 가이디드 필터링을 수행하기 전에, 상기 복수 개의 영상 각각의 해상도를 복원시키는 과정;을 더 포함할 수 있다.Reducing the resolution of each of the plurality of images before generating the integrated image; And restoring the resolution of each of the plurality of images before performing the multi-guided filtering.
또한, 본 발명의 실시 예에 따른 기록 매체는 전술한 어느 하나에 영상 융합 방법을 수행하기 위한 컴퓨터 프로그램을 저장한다.In addition, a recording medium according to an embodiment of the present invention stores a computer program for performing an image fusion method in any one of the above.
본 발명의 실시 예에 따른 영상 융합 방법 및 기록 매체에 의하면, 다중 가이디드 필터링(MGF: Multi Guided Filtering)을 수행하여 복수 개의 영상을 융합함으로써 융합되는 영상의 시인성을 향상시키고, 예를 들어 적외선 영상에서의 표적 정보가 손실되는 것을 방지할 수 있다.According to an image fusion method and a recording medium according to an embodiment of the present invention, multi-guided filtering (MGF) is performed to fuse a plurality of images to improve visibility of the fused image, for example, an infrared image. It is possible to prevent the loss of target information in
또한, 다중 가이디드 필터링을 수행함에 있어 해상도를 조절하고 적분 영상을 활용하여 커널 영역의 평균 값을 산출함으로써 영상을 융합하기 위한 처리 속도를 최적화할 수 있다.In addition, in performing multi-guided filtering, the processing speed for fusing images can be optimized by adjusting the resolution and calculating the average value of the kernel region using the integrated image.
도 1은 본 발명의 실시 예에 따른 영상 융합 방법을 개략적으로 나타내는 도면.
도 2 및 도 3은 일반적인 가이디드 필터링이 수행되는 모습을 나타내는 도면.
도 4는 본 발명의 실시 예에 따른 다중 가이디드 필터링이 수행되는 모습을 나타내는 도면.
도 5 및 도 6은 본 발명의 실시 예에 따라 융합된 영상을 종래 기술과 비교하여 나타내는 도면.
도 7은 본 발명의 실시 예에 따라 영상을 융합하는 속도를 종래 기술과 비교하여 나타내는 도면.1 is a diagram schematically showing an image fusion method according to an embodiment of the present invention.
2 and 3 are diagrams showing a state in which general guided filtering is performed.
4 is a diagram illustrating a state in which multi-guided filtering is performed according to an embodiment of the present invention.
5 and 6 are diagrams showing images fused according to an embodiment of the present invention compared with the prior art.
7 is a diagram showing a rate of fusing images in comparison with the prior art according to an embodiment of the present invention.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예들을 상세히 설명하기로 한다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 발명의 실시 예들은 본 발명의 개시가 완전하도록 하며, 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이다. 도면상에서 동일 부호는 동일한 요소를 지칭한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. However, the present invention is not limited to the embodiments disclosed below, but will be implemented in a variety of different forms, only the embodiments of the present invention make the disclosure of the present invention complete, and the scope of the invention to those of ordinary skill in the art. It is provided to fully inform you. In the drawings, the same reference numerals refer to the same elements.
도 1은 본 발명의 실시 예에 따른 영상 융합 방법을 개략적으로 나타내는 도면이다.1 is a diagram schematically illustrating an image fusion method according to an embodiment of the present invention.
도 1을 참조하면, 본 발명의 실시 예에 따른 영상 융합 방법은 복수 개의 영상을 입력받는 과정(S100) 및 상기 복수 개의 영상을 융합하는 과정(S200)을 포함하고, 상기 복수 개의 영상을 융합하는 과정(S200)은 상기 복수 개의 영상 중 어느 하나를 기준 영상으로 설정하고, 상기 복수 개의 영상 중 적어도 두 개의 영상을 가이드 영상으로 설정하여 다중 가이디드 필터링(Multi Guided Filtering)을 수행한다.1, the image fusion method according to an embodiment of the present invention includes a process of receiving a plurality of images (S100) and a process of fusing the plurality of images (S200), and fusing the plurality of images. In the process S200, one of the plurality of images is set as a reference image, and at least two of the plurality of images are set as a guide image to perform multi-guided filtering.
영상들을 융합 처리하는 기술은 동일한 이미지 센서로부터 노출을 달리하여 촬영된 영상으로부터 HDR(High Dynamic Range) 영상을 생성하기 위한 단일 이미지 센서 융합 기술과, 서로 다른 이미지 센서의 장점을 취하여 이를 하나의 영상으로 생성하기 위한 이종 이미지 센서 융합 기술로 나뉜다.The fusion processing technology of images is a single image sensor fusion technology for generating HDR (High Dynamic Range) images from images captured by varying exposure from the same image sensor, and taking advantage of different image sensors to form a single image. It is divided into heterogeneous image sensor fusion technology to generate.
이 중에서, 이종 이미지 센서 융합 기술은 이미지 센서의 종류와 목적에 따라 다양하게 구분되는데, 크게는 이종 이미지 센서로부터 촬영되는 각각의 영상을 밴드 패스 필터(BPF: Band Pass Filter)를 거쳐 영상의 특징들을 융합하는 영상 분해(decomposition) 방법과 영상의 상관도를 분석하여 융합하는 방법으로 나눌 수 있다.Among them, the heterogeneous image sensor fusion technology is classified in various ways according to the type and purpose of the image sensor. In general, each image captured from the heterogeneous image sensor is subjected to a band pass filter (BPF) to determine the characteristics of the image. It can be divided into a method of decomposition of images to be fused and a method of fusion by analyzing the correlation of images.
이와 같은 이종 이미지 센서를 이용한 대부분의 영상 융합 기술은 영상의 특징을 분석하고, 각 이미지 센서로부터 출력되는 영상 중 잘 보이는 부분을 융합하기 위해 복잡한 구조와 많은 시간을 필요로 한다.Most image fusion technologies using such heterogeneous image sensors require a complex structure and a lot of time to analyze the characteristics of an image and to fuse a well-visible part of the image output from each image sensor.
예를 들어, FMMR(Fast Multi-exposure image fusion with Median filter and Recursive filter)은 서로 다른 노출 환경에서 촬영된 영상들을 융합하는 기술로, 재귀 필터(recursive filter)로 영상들의 가중치를 교정하며 노출이 다른 영상을 융합한다. 이와 같은 FMMR은 단일 이미지 센서를 이용한 영상 융합 기술이지만, 서로 다른 이미지 센서로부터 촬영되는 영상의 융합에서도 확장하여 적용할 수 있으며, 각 영상에서 잘 보이는 부분에 가중치를 높임으로써 각 영상의 특징이 잘 표현되는 장점이 있으나, 재귀 필터를 사용함으로써 영상의 실시간 처리가 불가능한 단점이 있다.For example, FMMR (Fast Multi-exposure image fusion with Median filter and Recursive filter) is a technology that fuses images captured in different exposure environments, and corrects the weight of images with a recursive filter. Fuse the video. Such FMMR is an image fusion technology using a single image sensor, but it can be extended and applied to the fusion of images captured from different image sensors, and the characteristics of each image are well expressed by increasing the weight on the clearly visible part of each image. However, there is a disadvantage that real-time processing of an image is impossible by using a recursive filter.
Hybrid MSD(Multi-Scale Decomposition)는 영상 분해 방법을 사용하는 기술 중 하나로, 가우시안 및 양방향 필터(gaussian and bilateral filter)를 사용하여 영상을 분해하고, 각 스케일에 대한 필터링 결과의 차이를 이용하여 분해 정보를 획득한다. 그리고, 융합 단계마다 다른 융합 전략을 적용하는 부분 영상 융합을 거쳐 최종적인 융합 영상을 생성한다. 이와 같은 Hybrid MSD는, 예를 들어 전자광학(EO: Electro Optic) 영상의 세밀한 부분은 잘 표현하지만, 적외선(IR: Infrared Ray) 영상의 뚜렷한 표적 정보를 잃어버릴 수 있는 문제점이 있으며, 영상 분해 과정에서 많은 시간이 소요되는 단점이 있다.Hybrid MSD (Multi-Scale Decomposition) is one of the technologies that use the image decomposition method.It decomposes an image using a Gaussian and bilateral filter, and decomposes information using the difference in filtering results for each scale. Get In addition, the final fusion image is created through partial image fusion applying a different fusion strategy for each fusion step. Such a hybrid MSD, for example, expresses fine details of an EO (Electro Optic) image well, but has a problem in that clear target information of an infrared (IR) image may be lost, and the image decomposition process There is a drawback that it takes a lot of time in.
MST SR(Multi-Scale Transform and Sparse Representation)은 다중 분해 방법과 희소 표현 방법을 결합한 형태로, 전술한 Hybrid MSD와 유사한 결과를 나타낸다. 즉, 영상을 융합하는 속도는 Hybrid MSD보다 빠르지만, 적외선(IR) 영상의 뚜렷한 표적 정보를 잃어버릴 수 있는 문제점을 그대로 가진다.MST SR (Multi-Scale Transform and Sparse Representation) is a form that combines the multiple decomposition method and the sparse expression method, and shows a result similar to the hybrid MSD described above. That is, the speed of fusing images is faster than that of Hybrid MSD, but it has a problem in that clear target information of infrared (IR) images may be lost.
GTF(Gradient Transfer Fusion)은 영상의 상관도를 분석하여 융합하는 방법 중 하나로, 반복적으로 변화도(gradient)를 전달하여 영상을 융합한다. GTF는, 예를 들어 적외선(IR) 영상을 기반으로 전자광학(EO) 영상의 변화도(gradient)를 조합하여 적외선(IR) 영상의 밝기 분포와 전자광학(EO) 영상의 가시적 특성을 잘 표현한다. 그러나, 이와 같은 GTF는 반복적인 절차를 수행함에 따라 많은 시간이 소요되며, 수행 시간을 예측하기 어려운 단점이 있다.GTF (Gradient Transfer Fusion) is one of the methods of fusion by analyzing the correlation of images, and fusion of images by repeatedly transmitting gradients. GTF, for example, combines the gradient of an electron optical (EO) image based on an infrared (IR) image to better express the brightness distribution of the infrared (IR) image and the visible characteristics of the electron optical (EO) image. do. However, this GTF takes a lot of time as iterative procedures are performed, and it is difficult to predict the execution time.
따라서, 실시간적인 영상 획득을 요구하는 감시 또는 정찰 환경에서는 이와 같은 영상 융합 기술을 적용하기가 어려운 문제점이 있었다.Therefore, it is difficult to apply such an image fusion technology in a surveillance or reconnaissance environment that requires real-time image acquisition.
이에, 본 발명의 실시 예에 따른 영상 융합 방법에서는 GTF와 같이 가시적 특성의 표현에 따른 영상의 시인성(visibility)을 향상시키고, 영상을 융합하기 위한 처리 속도를 높이기 위하여 다중 가이디드 필터링(MGF: Multi Guided Filtering)을 수행하여 복수 개의 영상을 융합한다. 이와 같은 다중 가이디드 필터링(MGF)에 의하여 영상을 융합하기 위한 처리 속도를 향상시키고, 적외선(IR) 영상에서의 표적 정보 손실의 문제를 해결할 수 있다.Accordingly, in the image fusion method according to an embodiment of the present invention, in order to improve the visibility of an image according to the expression of visible characteristics, such as GTF, and to increase the processing speed for fusing images, multi-guided filtering (MGF: Multi Guided Filtering) is performed to fuse a plurality of images. Through such multi-guided filtering (MGF), a processing speed for fusing images may be improved, and a problem of target information loss in an infrared (IR) image may be solved.
영상을 입력받는 과정(S100)은 이미지 센서로부터 촬영된 복수 개의 영상을 입력받는다. 여기서, 복수 개의 영상은 동일하거나 다른 시간 대에 동일한 영역에 대하여 이미지 센서로부터 촬영된 복수 개의 영상을 포함한다. 또한, 복수 개의 영상은 적외선(IR) 이미지 센서로부터 촬영된 적어도 하나의 적외선(IR) 영상 및 전자광학(EO) 이미지 센서로부터 촬영된 적어도 하나의 전자광학(EO) 영상을 포함할 수 있다. 적외선(IR) 영상은 파장 대역이 상이한 적외선 이미지 센서로부터 촬영된 적어도 두 개의 영상을 포함할 수 있다.In the process of receiving an image (S100), a plurality of images captured from an image sensor are received. Here, the plurality of images includes a plurality of images captured by the image sensor for the same area at the same or different time periods. In addition, the plurality of images may include at least one infrared (IR) image captured from an infrared (IR) image sensor and at least one electro-optical (EO) image captured from an electro-optical (EO) image sensor. Infrared (IR) images may include at least two images captured from infrared image sensors having different wavelength bands.
영상을 융합하는 과정(S200)은 복수 개의 영상을 융합하여 융합 영상을 생성한다. 또한, 영상을 융합하는 과정(S200)은 복수 개의 영상 중 어느 하나를 기준 영상으로 설정하고, 상기 복수 개의 영상 중 적어도 두 개의 영상을 가이드 영상으로 설정하여 다중 가이디드 필터링을 수행한다.In the process of fusing the images (S200), a fused image is generated by fusing a plurality of images. Further, in the process of fusing the images (S200), one of a plurality of images is set as a reference image, and at least two of the plurality of images are set as a guide image to perform multi-guided filtering.
가이디드 필터(Guided Filter)는 Kaiming He 등이 제안한 필터로서, 기준 영상과 가이드 영상의 변화도(gradient)를 더하여 연무 제거, 윤곽선 보존 평활화(smoothing), 마스크 세밀화 등에 쓰이는 범용적인 필터이다. GTF와 같이 가시적 특성의 표현에 따른 영상의 시인성(visibility)을 향상시키고, 영상을 융합하기 위한 처리 속도를 높이기 위하여, 우선 가이디드 필터를 사용하여 기준 영상과 가이드 영상을 합성하는 방법을 생각해 볼 수 있다.The guided filter is a filter proposed by Kaiming He et al., and is a general-purpose filter used for haze removal, contour preservation smoothing, and mask refinement by adding the gradient of the reference image and the guide image. In order to improve the visibility of the image according to the expression of visible characteristics like GTF, and to increase the processing speed for fusing the image, first, a method of synthesizing the reference image and the guide image using a guided filter can be considered. have.
그러나, 기존의 가이디드 필터를 사용한 가이디드 필터링을 수행하여 영상을 융합하는 경우, 가이드 영상의 변화도(gradient)가 낮은 경우 영상이 흐려지는 단점이 있으며, 기준 영상의 변화도(gradient)가 낮은 경우 가이드 영상의 세밀한 정보를 반영하지 못하는 단점이 있다.However, in the case of fusing images by performing a guided filtering using a conventional guided filter, there is a disadvantage in that the image is blurred when the gradient of the guide image is low, and when the gradient of the reference image is low There is a drawback of not reflecting the detailed information of the guide video.
도 2 및 도 3은 기존의 가이디드 필터를 사용하여 일반적인 가이디드 필터링이 수행되는 모습을 나타내는 도면이다. 여기서, 기준 영상으로는 적외선(IR) 이미지 센서로부터 촬영된 적외선(IR) 영상을 사용하였으며, 가이드 영상으로는 전자광학(EO) 이미지 센서로부터 촬영된 전자광학(EO) 영상을 사용하였다.2 and 3 are diagrams illustrating a state in which general guided filtering is performed using a conventional guided filter. Here, an infrared (IR) image captured from an infrared (IR) image sensor was used as a reference image, and an electron optical (EO) image captured from an electron optical (EO) image sensor was used as a guide image.
도 2에서 가이드 영상으로 사용된 전자광학(EO) 영상에서 점선으로 표시된 타이어 부분(A)은 변화도(gradient)가 낮아 구분이 어려우나, 기준 영상으로 사용된 적외선(IR) 영상에서 타이어 부분은 매우 밝게 구분이 됨을 알 수 있다. 하지만, 이러한 방식으로 기준 영상과 가이드 영상을 융합하게 되면 기존의 가이디드 필터의 특성에 따라 융합 영상에 가이드 영상의 낮은 변화도(gradient)가 적용되어 A'와 같이 기준 영상의 세밀한 정보를 상실하게 된다.In the electro-optical (EO) image used as the guide image in FIG. 2, the tire part (A) indicated by the dotted line has a low gradient and is difficult to distinguish. However, in the infrared (IR) image used as the reference image, the tire part is very It can be seen that it is distinguished brightly. However, when the reference image and the guide image are fused in this way, a low gradient of the guide image is applied to the fused image according to the characteristics of the existing guided filter, resulting in loss of detailed information of the reference image, such as A'. do.
또한, 도 3에서 기준 영상으로 사용된 적외선(IR) 영상에서 점선으로 표시된 숲 부분(B)은 인식할 수 없을 정도의 수준이나, 가이드 영상으로 사용된 전자광학(EO)영상에서 숲 부분은 세밀하게 표현되고 있음을 알 수 있다. 이 경우에도, 기준 영상과 가이드 영상을 융합하게 되면 기존의 가이디드 필터의 특성에 따라 B'와 같이 기준 영상에 가이드 영상의 세밀한 정보를 반영하지 못하게 된다.In addition, the forest portion (B) indicated by the dotted line in the infrared (IR) image used as the reference image in FIG. 3 is at a level that cannot be recognized, but the forest portion in the electro-optical (EO) image used as the guide image is detailed. It can be seen that it is expressed in a way. Even in this case, when the reference image and the guide image are fused, detailed information of the guide image cannot be reflected in the reference image as shown in B'according to the characteristics of the existing guided filter.
따라서, 본 발명의 실시 예에 따른 영상을 융합하는 과정(S200)에서는 기존의 가이디드 필터를 확장한 다중 가이디드 필터를 적용하여, 복수 개의 영상에 대해 다중 가이디드 필터링을 수행한다. 이때, 기준 영상은, 예를 들어 적외선(IR) 영상일 수 있으며, 가이드 영상은 적외선(IR) 영상 및 전자광학(EO) 영상일 수 있다. 즉, 가이드 영상은 기준 영상으로 설정된 영상 및 기준 영상으로 설정된 영상과는 상이한 이미지 센서로부터 촬영된 영상을 포함할 수 있다.Accordingly, in the process of fusing images according to an exemplary embodiment of the present invention (S200), a multi-guided filter is applied, which is an extension of an existing guided filter, and multi-guided filtering is performed on a plurality of images. In this case, the reference image may be an infrared (IR) image, and the guide image may be an infrared (IR) image and an electron optical (EO) image. That is, the guide image may include an image set as the reference image and an image captured from an image sensor different from the image set as the reference image.
이하에서, 기존의 가이디드 필터를 본 발명의 실시 예에 따른 다중 가이디드 필터로 변형하는 과정에 대하여 상세하게 설명하기로 한다.Hereinafter, a process of transforming an existing bonded filter into a multi-guided filter according to an embodiment of the present invention will be described in detail.
하기의 수학식 1은 기존의 가이디드 필터를 적용하여 가이디드 필터링을 수행하는 수학식을 나타낸다.Equation 1 below represents an equation for performing a bonded filtering by applying an existing bonded filter.
[수학식 1][Equation 1]
(여기서, p는 기준 영상, I는 가이드 영상, q는 융합 영상, E는 커널 영역의 평균 값, cov는 공분산 값, var는 분산 값, ε은 평활화 상수를 나타낸다.)(Where p is the reference image, I is the guide image, q is the fusion image, E is the average value of the kernel region, cov is the covariance value, var is the variance value, and ε is the smoothing constant.)
상기와 같은 기존의 가이디드 필터를 본 발명의 실시 예에 따른 다중 가이디드 필터로 확장하기 위하여, 하기의 수학식 2와 같이 수학식 1을 가이드 영상과 관련한 항과 가이드 영상과 관련되지 않은 항으로 분리한다.In order to extend the conventional guided filter as described above to a multi-guided filter according to an embodiment of the present invention, Equation 1 is converted to a term related to a guide image and a term not related to the guide image as shown in Equation 2 below. Separate.
[수학식 2][Equation 2]
수학식 2에서 E(E(p)-a×E(I))와, E(E(p))-E(a×E(I))는 기준 영상과 가이드 영상을 분리하기 위하여 동일하다고 가정한다. 기준 영상과 가이드 영상을 분리 후, 복수 개의 가이드 영상, 즉 n개의 가이드 영상을 다중으로 확장하면 하기의 수학식 3과 같다.In Equation 2, E(E(p)-a×E(I)) and E(E(p))-E(a×E(I)) are assumed to be identical to separate the reference image and the guide image. do. After separating the reference image and the guide image, a plurality of guide images, that is, n guide images are multiplied by Equation 3 below.
[수학식 3][Equation 3]
수학식 3에서 각 가이드 영상 별 가중치인 W를 적용하여 정리하면 하기의 수학식 4와 같이 확장될 수 있다. 이때, 수학식 4에서 p 및 I1은 적외선(IR) 영상, I2는 전자광학(EO) 영상일 수 있다.In Equation 3, by applying W, which is a weight for each guide image, can be expanded as shown in Equation 4 below. In this case, in Equation 4, p and I 1 may be an infrared (IR) image, and I 2 may be an electro-optical (EO) image.
이렇게 확장된 수학식 4는 단순히 2 종류의 이미지 센서로부터 촬영된 영상뿐만 아니라, 그 이상의 이미지 센서로부터 촬영된 영상에도 적용이 가능하다. 예를 들면, 파장 대역이 상이한 두 개의 적외선(IR) 이미지 센서, 예를 들어, MWIR, SWIR을 이용한 적외선(IR) 이미지 센서와 전자광학(EO) 이미지 센서를 포함하는 세 종류 이상의 이미지 센서로부터 촬영된 복수 개의 영상의 융합에도 적용될 수 있다. 이때, MWIR 및 SWIR 중 어느 하나를 이용하여 촬영된 적외선(IR) 영상은 기준 영상으로 설정되고, MWIR 및 SWIR을 이용하여 촬영된 적외선(IR) 영상과 전자광학(EO) 영상은 가이드 영상으로 설정될 수 있다.The expanded Equation 4 can be applied not only to images captured from two types of image sensors, but also to images captured from more image sensors. For example, photographing from three or more types of image sensors including two infrared (IR) image sensors with different wavelength bands, e.g., an infrared (IR) image sensor using MWIR and SWIR and an electro-optical (EO) image sensor. It can also be applied to the fusion of multiple images. At this time, an infrared (IR) image captured using either MWIR or SWIR is set as a reference image, and an infrared (IR) image and electron optical (EO) image captured using MWIR and SWIR are set as a guide image. Can be.
[수학식 4][Equation 4]
(여기서, p는 기준 영상, I는 가이드 영상, q는 융합 영상, E는 커널 영역의 평균 값, W는 가중치, var는 분산 값, ε은 평활화 상수를 나타낸다.)(Where p is the reference image, I is the guide image, q is the fusion image, E is the average value of the kernel region, W is the weight, var is the variance value, and ε is the smoothing constant.)
수학식 4를 이용하여 적외선(IR) 영상과 전자광학(EO) 영상을 융합할 때 고려해야 될 부분은 공분산(covariance)으로 인하여 가이드 영상의 세밀한 부분이 무시되는 경우이다. 전술한 도 3에서와 같이 전자광학(EO) 영상은 숲의 세밀함이 뚜렷한 반면, 적외선(IR) 영상은 숲을 인식하지 못할 정도이며, 이 부분의 공분산은 0에 가깝기 때문에 수학식 1에서의 a 값이 무시된다. 따라서 이를 해결하기 위해 본 발명의 실시 예에서는 a 값을 산출하는 과정에서 가이드 영상의 공분산 대신 분산을 사용한다.A part to be considered when fusing an infrared (IR) image and an electron optical (EO) image using Equation 4 is a case where a detailed part of the guide image is ignored due to covariance. As shown in FIG. 3, the electron optical (EO) image has a clear forest detail, whereas the infrared (IR) image does not recognize the forest, and since the covariance of this part is close to 0, The a value is ignored. Therefore, in an embodiment of the present invention to solve this problem, variance is used instead of covariance of the guide image in the process of calculating a value.
여기서, 입력되는 파라미터는 센서 및 표적의 종류, 적용 시스템에 따라 다르게 설정할 수 있지만, 여러 시험 결과를 통해 실험적으로 도출한 결과 적외선(IR) 영상의 가중치는 2.0, 전자광학(EO) 영상의 가중치는 2.0, 평활화 상수(ε)는 0.0012 이하의 값을 가지며, 커널 크기는 15×15로 설정하는 것이 가장 이상적임을 알 수 있었다.Here, the input parameters can be set differently depending on the type of sensor and target, and the applied system, but as a result of experimentally derived from various test results, the weight of the infrared (IR) image is 2.0, and the weight of the electro-optical (EO) image 2.0, the smoothing constant (ε) has a value of 0.001 2 or less, and it can be seen that it is most ideal to set the kernel size to 15×15.
수학식 4로부터 알 수 있듯이, 영상의 처리 속도에 영향을 주는 부분은 큰 커널(kernel) 영역 내에서의 영상 출력의 평균 값과 분산 값의 연산이다. 분산 값의 경우 평균 연산을 동일하게 사용하므로, 결국 영상의 평균 연산에 대한 수행 속도 최적화가 필요하다.As can be seen from Equation 4, the part that affects the processing speed of the image is the calculation of the average value and the variance value of the image output in a large kernel region. In the case of the variance value, the average operation is used in the same manner, so it is necessary to optimize the execution speed for the average operation of the image.
이에, 본 발명의 실시 예에서는 첫 번째로 해상도의 크기를 줄이는, 즉 해상도를 감소시키는 영상 축소(down sampling) 방법을 사용한다. 해상도가 감소되어도 동일한 영역의 평균 값은 변하지 않는다. 또한, 분산 값의 경우 해상도가 감소되면 원 영상의 분산 값과 동일하진 않지만 무시할 수 있는 수치이다. 따라서, 평균 값을 계산하기 전 영상 축소(down sampling)를 실시하고, 계산 후에 원 해상도로 복원(up samling)한다.Accordingly, in an embodiment of the present invention, first, a down sampling method is used to reduce the size of the resolution, that is, to reduce the resolution. Even if the resolution is reduced, the average value of the same area does not change. Also, in the case of the variance value, if the resolution is decreased, it is not the same as the variance value of the original image, but it is a value that can be ignored. Therefore, down sampling is performed before the average value is calculated, and after the calculation, the image is restored to the original resolution (up samling).
두 번째로는 평균 값의 계산을 위해 적분(integral) 영상을 활용한다. 만약 시스템에 충분한 메모리가 있다면 추가의 적분 영상 버퍼를 생성하여 평균 영상을 빠르게 구한다.Secondly, an integral image is used to calculate the average value. If the system has enough memory, an additional integral image buffer is created to quickly obtain the average image.
적분 영상(Integral Image)은 입력 영상의 화소 값을 기준 좌표로부터 일정한 순서로 누적하여 생성하는 영상으로, 영상 신호 처리에 있어서 연산량을 감소시키는 수단으로 이용되고 있다. 적분 영상은 "Crow, F., Summed-area tables for texture mapping, in SIGGRAPH'84 : Proceedings of the 11th annual conference on Computer graphics and interactive techniques, New York, NY, USA, 1984, pp. 207-212, ACM"에 의하여 처음 제안된 개념으로, 영상 신호 처리 분야에서 임의의 영상 영역 내의 화소 신호 값의 합을 입력 영상을 이용할 때보다 빠르게 연산하기 위한 용도로 이용된다. 예를 들면 Haar-like Feature, SURF와 같은 특징점 연산과 적응이진화 등의 연산에서 적분 영상이 적용되어 사용되고 있다.An integral image is an image generated by accumulating pixel values of an input image in a certain order from a reference coordinate, and is used as a means for reducing an amount of computation in image signal processing. Integral images are described in "Crow, F., Summed-area tables for texture mapping, in SIGGRAPH'84: Proceedings of the 11th annual conference on Computer graphics and interactive techniques, New York, NY, USA, 1984, pp. 207-212," It is a concept first proposed by "ACM", and is used in the field of image signal processing to calculate the sum of pixel signal values in an arbitrary image region faster than when using an input image. For example, integral images are applied and used in feature point operations such as Haar-like Feature and SURF, and operations such as adaptive binarization.
그런데 적분 영상은 상술한 바와 같이 연산의 효율성을 증가시키는 반면, 이를 저장하기 위하여는 본래 입력 영상을 저장하는데 필요한 공간보다 여러 배 많은 공간을 필요로 한다는 점에 있어서, 메모리 효율성이 떨어진다는 단점이 있다. 따라서 메모리 자원이 한정적인 임베디드 시스템에서 적분 영상을 이용하는데 어려움이 있다는 한계점이 있다.However, while the integral image increases the efficiency of operation as described above, there is a disadvantage in that memory efficiency is inferior in that it requires several times more space than the space required to store the original input image to store it. . Therefore, there is a limitation in that it is difficult to use integral images in an embedded system with limited memory resources.
이를 위하여, 본 발명의 실시 예에 따른 영상 융합 방법은 복수 개의 영상을 융합하는 과정(S200)이 복수 개의 영상 중 어느 하나를 기준 영상으로 설정하고, 상기 복수 개의 영상 중 적어도 두 개의 영상을 가이드 영상으로 설정하는 과정(S210), 상기 복수 개의 영상 각각의 해상도를 감소시키는 과정(S220), 상기 복수 개의 영상 각각의 적분 영상을 생성하는 과정(S230), 상기 적분 영상으로부터 상기 복수 개의 영상 각각의 커널 영역의 평균 값을 산출하는 과정(S240), 상기 복수 개의 영상 각각의 해상도를 복원시키는 과정(S250) 및 상기 커널 영역의 평균 값을 이용하여 다중 가이디드 필터링(Multi Guided Filtering)을 수행하는 과정(S260)을 포함할 수 있다.To this end, in the image fusion method according to an embodiment of the present invention, in the process of fusing a plurality of images (S200), one of the plurality of images is set as a reference image, and at least two of the plurality of images are used as a guide image. Setting to (S210), reducing the resolution of each of the plurality of images (S220), generating an integrated image of each of the plurality of images (S230), a kernel of each of the plurality of images from the integrated image A process of calculating an average value of a region (S240), a process of restoring the resolution of each of the plurality of images (S250), and a process of performing multi-guided filtering using the average value of the kernel region ( S260) may be included.
이에 의하여, 본 발명의 실시 예에 따른 영상 융합 방법 및 기록 매체에 의하면, 다중 가이디드 필터링(MGF: Multi Guided Filtering)을 수행하여 복수 개의 영상을 융합함으로써 융합되는 영상의 시인성을 향상시키고, 예를 들어 적외선 영상에서의 표적 정보가 손실되는 것을 방지할 수 있다.Accordingly, according to the image fusion method and recording medium according to an embodiment of the present invention, multi-guided filtering (MGF) is performed to fuse a plurality of images to improve the visibility of the fused image. For example, target information in the infrared image can be prevented from being lost.
또한, 다중 가이디드 필터링을 수행함에 있어 해상도를 조절하고 적분 영상을 활용하여 커널 영역의 평균 값을 산출함으로써 영상을 융합하기 위한 처리 속도를 최적화할 수 있다.In addition, in performing multi-guided filtering, the processing speed for fusing images can be optimized by adjusting the resolution and calculating the average value of the kernel region using the integrated image.
도 5 및 도 6은 본 발명의 실시 예에 따라 융합된 영상을 종래 기술과 비교하여 나타내는 도면이다. 또한, 도 7은 본 발명의 실시 예에 따라 영상을 융합하는 속도를 종래 기술과 비교하여 나타내는 도면이다.5 and 6 are diagrams showing images fused according to an embodiment of the present invention compared with the prior art. In addition, FIG. 7 is a diagram illustrating a rate at which images are fused according to an embodiment of the present invention compared with the prior art.
본 발명의 실시 예에 따라 융합된 영상을 종래 기술과 비교하기 위하여 공개된 적외선(IR) 동영상 및 전자광학(EO) 동영상에서 추출한 적외선(IR) 영상 및 전자광학(EO) 영상을 각각 입력 영상으로 사용하였다. 종래의 영상 융합 방법으로는 FMMR, Hybrid MSD, MST SR, GTF의 4개의 기술을 각각 적용하였으며, 본 발명의 실시 예에 따른 영상 융합 방법으로는 MGF를 커널 사이즈 15×15, 31×31로 설정하여 비교하였다.In order to compare the fused image with the prior art according to an embodiment of the present invention, an infrared (IR) image and an electron optical (EO) image extracted from an infrared (IR) video and an electro-optical (EO) video, respectively, are input images. Used. Four technologies of FMMR, Hybrid MSD, MST SR, and GTF were applied as a conventional image fusion method, and MGF was set to kernel sizes of 15×15 and 31×31 in the image fusion method according to an embodiment of the present invention. And compared.
도 5의 경우 FMMR을 제외한 모든 방법이 사람의 온도와 부분 묘사가 잘 나타난다. 즉, 도 5에 나타난 바와 같이, 본 발명의 실시 예에 따른 다중 가이디드 필터(MGF)의 경우 다른 방법을 사용하는 경우에 비해 동등 또는 월등한 시인성을 나타냄을 알 수 있다.In the case of FIG. 5, all methods except for FMMR show the human temperature and partial description. That is, as shown in FIG. 5, it can be seen that the multi-guided filter (MGF) according to the embodiment of the present invention exhibits equal or superior visibility compared to the case of using other methods.
한편, 도 6에서는 적외선(IR) 영상의 사람 모습과 전자광학(EO) 영상의 주변 숲이 잘 나타나는 것이 중요하며, 본 발명의 실시 예에 따른 다중 가이디드 필터(MGF)의 경우에도 다른 방법과 마찬가지의 시인성을 나타냄을 알 수 있다.Meanwhile, in FIG. 6, it is important that the human image of the infrared (IR) image and the surrounding forest of the electro-optical (EO) image appear well, and in the case of the multi-guided filter (MGF) according to the embodiment of the present invention, other methods and It can be seen that the same visibility is shown.
도 7에서는 종래의 영상 융합 방법으로 FMMR, Hybrid MSD, MST SR, GTF의 4개의 기술을 각각 적용하는 경우 각 방법별 융합 수행 시간과, 본 발명의 실시 예에 따른 영상 융합 방법으로 다중 가이디드 필터(MGF)를 커널 사이즈 15×15, 31×31로 설정하여 사용하는 경우 각 방법별 융합 수행 시간을 나타낸다. 도 7에 나타난 바와 같이, 본 발명의 실시 예에 따른 다중 가이디드 필터(MGF)를 적용하는 경우, 정성적으로 우수하면서도 수행 속도는 기존 방법에 비해 매우 빠른 것을 확인할 수 있다.In FIG. 7, when the four technologies of FMMR, Hybrid MSD, MST SR, and GTF are applied as a conventional image fusion method, the fusion execution time for each method and a multi-guided filter using the image fusion method according to an embodiment of the present invention. When (MGF) is set to a kernel size of 15×15 and 31×31, it indicates the fusion execution time for each method. As shown in FIG. 7, in the case of applying the multi-guided filter (MGF) according to an embodiment of the present invention, it can be confirmed that it is qualitatively excellent and the execution speed is very fast compared to the existing method.
한편, 본 발명의 실시 예에 따른 영상 융합 방법은 상기의 방법을 수행하게 하는 컴퓨터 프로그램을 저장한 기록 매체에도 적용될 수 있다.Meanwhile, the image fusion method according to an exemplary embodiment of the present invention may be applied to a recording medium storing a computer program for performing the above method.
즉, 본 발명의 실시 예에 따른 영상 융합 방법은 컴퓨터로 읽을 수 있는 기록 매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록 매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록 매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터 간에 연결된 네트워크를 통해 전송될 수도 있다.That is, the image fusion method according to an embodiment of the present invention may be implemented in the form of a computer-readable programming language code recorded in a computer-readable recording medium. The computer-readable recording medium can be any data storage device that can be read by a computer and can store data. For example, a computer-readable recording medium can be a ROM, RAM, CD-ROM, magnetic tape, floppy disk, optical disk, hard disk drive, flash memory, solid state disk (SSD), and the like. Further, a computer-readable code or program stored in a computer-readable recording medium may be transmitted through a network connected between computers.
상기에서, 본 발명의 바람직한 실시 예가 특정 용어들을 사용하여 설명 및 도시되었지만 그러한 용어는 오로지 본 발명을 명확하게 설명하기 위한 것일 뿐이며, 본 발명의 실시 예 및 기술된 용어는 다음의 청구범위의 기술적 사상 및 범위로부터 이탈되지 않고서 여러 가지 변경 및 변화가 가해질 수 있는 것은 자명한 일이다. 이와 같이 변형된 실시 예들은 본 발명의 사상 및 범위로부터 개별적으로 이해되어져서는 안 되며, 본 발명의 청구범위 안에 속한다고 해야 할 것이다.In the above, preferred embodiments of the present invention have been described and illustrated using specific terms, but such terms are only for clearly describing the present invention, and embodiments of the present invention and the described terms are the technical spirit of the following claims. And it is obvious that various changes and changes can be made without departing from the scope. These modified embodiments should not be individually understood from the spirit and scope of the present invention, but should be said to fall within the scope of the claims of the present invention.
Claims (8)
상기 복수 개의 영상을 융합하는 과정;을 포함하고,
상기 복수 개의 영상을 융합하는 과정은,
상기 복수 개의 영상 중 어느 하나를 기준 영상으로 설정하고, 상기 복수 개의 영상 중 적어도 두 개의 영상을 가이드 영상으로 설정하여 다중 가이디드 필터링(Multi Guided Filtering)을 수행하고,
상기 다중 가이디드 필터링은 하기의 수학식 1에 의하여 이루어지는 영상 융합 방법.
[수학식 1]
(여기서, p는 기준 영상, I는 가이드 영상, q는 융합 영상, E는 커널 영역의 평균 값, W는 가중치, var는 분산 값, ε은 평활화 상수를 나타낸다.)Receiving a plurality of images; And
Including; the process of fusing the plurality of images;
The process of fusing the plurality of images,
Performing multi-guided filtering by setting any one of the plurality of images as a reference image, and setting at least two of the plurality of images as a guide image,
The multi-guided filtering is performed by Equation 1 below.
[Equation 1]
(Where p is the reference image, I is the guide image, q is the fusion image, E is the average value of the kernel region, W is the weight, var is the variance value, and ε is the smoothing constant.)
상기 가이드 영상은, 상기 기준 영상으로 설정된 영상 및 상기 기준 영상으로 설정된 영상과는 상이한 이미지 센서로부터 촬영된 영상을 포함하는 영상 융합 방법.The method according to claim 1,
The guide image includes an image set as the reference image and an image captured from an image sensor different from the image set as the reference image.
상기 복수 개의 영상을 융합하는 과정;을 포함하고,
상기 복수 개의 영상을 융합하는 과정은,
상기 적외선 영상을 기준 영상으로 설정하고, 상기 전자광학 영상을 포함하는 적어도 두 개의 영상을 가이드 영상으로 설정하여, 다중 가이디드 필터링(Multi Guided Filtering)을 수행하고,
상기 다중 가이디드 필터링은 하기의 수학식 1에 의하여 이루어지는 영상 융합 방법.
[수학식 1]
(여기서, p는 기준 영상, I는 가이드 영상, q는 융합 영상, E는 커널 영역의 평균 값, W는 가중치, var는 분산 값, ε은 평활화 상수를 나타낸다.)Receiving a plurality of images including an infrared image and an electro-optical image; And
Including; the process of fusing the plurality of images;
The process of fusing the plurality of images,
Multi-guided filtering is performed by setting the infrared image as a reference image, and setting at least two images including the electro-optical image as a guide image,
The multi-guided filtering is performed by Equation 1 below.
[Equation 1]
(Where p is the reference image, I is the guide image, q is the fusion image, E is the average value of the kernel region, W is the weight, var is the variance value, and ε is the smoothing constant.)
상기 적외선 영상은 파장 대역이 상이한 적외선 이미지 센서로부터 촬영된 적어도 두 개의 적외선 영상을 포함하고,
상기 복수 개의 영상을 융합하는 과정은, 상기 적어도 두 개의 적외선 영상 중 어느 하나를 기준 영상으로 설정하는 영상 융합 방법.The method of claim 4,
The infrared image includes at least two infrared images taken from infrared image sensors having different wavelength bands,
The process of fusing the plurality of images includes setting one of the at least two infrared images as a reference image.
상기 복수 개의 영상 중 어느 하나를 기준 영상으로 설정하고, 상기 복수 개의 영상 중 적어도 두 개의 영상을 가이드 영상으로 설정하는 과정;
상기 복수 개의 영상 각각의 적분 영상을 생성하는 과정;
상기 적분 영상으로부터 상기 복수 개의 영상 각각의 커널 영역의 평균 값을 산출하는 과정; 및
상기 커널 영역의 평균 값을 이용하여 다중 가이디드 필터링(Multi Guided Filtering)을 수행하는 과정;을 포함하고,
상기 다중 가이디드 필터링은 하기의 수학식 1에 의하여 이루어지는 영상 융합 방법.
[수학식 1]
(여기서, p는 기준 영상, I는 가이드 영상, q는 융합 영상, E는 커널 영역의 평균 값, W는 가중치, var는 분산 값, ε은 평활화 상수를 나타낸다.)Receiving a plurality of images;
Setting one of the plurality of images as a reference image, and setting at least two of the plurality of images as a guide image;
Generating an integral image of each of the plurality of images;
Calculating an average value of kernel regions of each of the plurality of images from the integrated image; And
Including; a process of performing multi-guided filtering by using the average value of the kernel region; and
The multi-guided filtering is performed by Equation 1 below.
[Equation 1]
(Where p is the reference image, I is the guide image, q is the fusion image, E is the average value of the kernel region, W is the weight, var is the variance value, and ε is the smoothing constant.)
상기 적분 영상을 생성하기 전에, 상기 복수 개의 영상 각각의 해상도를 감소시키는 과정; 및
상기 다중 가이디드 필터링을 수행하기 전에, 상기 복수 개의 영상 각각의 해상도를 복원시키는 과정;을 더 포함하는 영상 융합 방법.The method of claim 6,
Reducing the resolution of each of the plurality of images before generating the integrated image; And
The image fusion method further comprising a step of restoring the resolution of each of the plurality of images before performing the multi-guided filtering.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190035350A KR102161166B1 (en) | 2019-03-27 | 2019-03-27 | Method for image fusion and recording medium |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020190035350A KR102161166B1 (en) | 2019-03-27 | 2019-03-27 | Method for image fusion and recording medium |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR102161166B1 true KR102161166B1 (en) | 2020-09-29 |
Family
ID=72661141
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020190035350A KR102161166B1 (en) | 2019-03-27 | 2019-03-27 | Method for image fusion and recording medium |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102161166B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132753A (en) * | 2020-11-06 | 2020-12-25 | 湖南大学 | Infrared image super-resolution method and system for multi-scale structure guide image |
| CN116188343A (en) * | 2023-02-27 | 2023-05-30 | 上海玄戒技术有限公司 | Image fusion method and device, electronic equipment, chip and medium |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040006391A (en) | 2002-07-12 | 2004-01-24 | 삼성테크윈 주식회사 | Camera providing mixed image signal |
| KR20150094165A (en) * | 2014-02-10 | 2015-08-19 | 전북대학교산학협력단 | Method and apparatus for character segmentation of license plate |
-
2019
- 2019-03-27 KR KR1020190035350A patent/KR102161166B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040006391A (en) | 2002-07-12 | 2004-01-24 | 삼성테크윈 주식회사 | Camera providing mixed image signal |
| KR20150094165A (en) * | 2014-02-10 | 2015-08-19 | 전북대학교산학협력단 | Method and apparatus for character segmentation of license plate |
Non-Patent Citations (2)
| Title |
|---|
| Kaiming He ET AL:"Fast Guided Filter", Computer Science_Computer Vision and Pattern Recognition(arXiv:1505.00996) 5 May 2015(2015.05.05.) 1부.* * |
| Sharad Joshi ET AL:"Multi-resolution image fusion using multistage guided filter", 2013 NCVPRIPG, 18-21 Dec. 2013(2013.12.18.) 1부.* * |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112132753A (en) * | 2020-11-06 | 2020-12-25 | 湖南大学 | Infrared image super-resolution method and system for multi-scale structure guide image |
| CN112132753B (en) * | 2020-11-06 | 2022-04-05 | 湖南大学 | Infrared image super-resolution method and system for multi-scale structure guide image |
| CN116188343A (en) * | 2023-02-27 | 2023-05-30 | 上海玄戒技术有限公司 | Image fusion method and device, electronic equipment, chip and medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6943338B2 (en) | Image processing equipment, systems, methods and programs | |
| WO2018166438A1 (en) | Image processing method and device and electronic device | |
| CN110473185B (en) | Image processing method and device, electronic equipment and computer readable storage medium | |
| EP2880596B1 (en) | System and method for reduced incremental spectral clustering | |
| CN112446380A (en) | Image processing method and device | |
| US9147265B2 (en) | System and method for rapid cluster analysis of hyperspectral images | |
| EP2785047B1 (en) | Image pickup apparatus, image processing system, image pickup system, image processing method, image processing program, and storage medium | |
| US20200285859A1 (en) | Video summary generation method and apparatus, electronic device, and computer storage medium | |
| JP7419080B2 (en) | computer systems and programs | |
| CN109166139B (en) | Scale self-adaptive target tracking method combined with rapid background suppression | |
| US20190303746A1 (en) | Multilayer neural network learning apparatus and method of controlling the same | |
| Hambarde et al. | Single image depth estimation using deep adversarial training | |
| CN112183649A (en) | Algorithm for predicting pyramid feature map | |
| KR20180071947A (en) | Apparatus and method for processing image | |
| CN113160106A (en) | Infrared target detection method and device, electronic equipment and storage medium | |
| KR101556603B1 (en) | Apparatus and Method for Image Seperation using Rank Prior | |
| CN113379789A (en) | Moving target tracking method in complex environment | |
| US10268881B2 (en) | Pattern classifying apparatus, information processing apparatus, pattern classifying method, and non-transitory computer readable storage medium | |
| KR102161166B1 (en) | Method for image fusion and recording medium | |
| KR102095444B1 (en) | Method and Apparatus for Removing gain Linearity Noise Based on Deep Learning | |
| CN117115632A (en) | Underwater target detection method, device, equipment and medium | |
| EP4332910A1 (en) | Behavior detection method, electronic device, and computer readable storage medium | |
| KR101919879B1 (en) | Apparatus and method for correcting depth information image based on user's interaction information | |
| Brosch et al. | Automatic target recognition on high resolution sar images with deep learning domain adaptation | |
| KR102224218B1 (en) | Method and Apparatus for Deep Learning based Object Detection utilizing Video Time Information |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |