KR102003475B1 - Method and Apparatus for Composing Image by using Image and Thermal Image - Google Patents

Method and Apparatus for Composing Image by using Image and Thermal Image Download PDF

Info

Publication number
KR102003475B1
KR102003475B1 KR1020190002778A KR20190002778A KR102003475B1 KR 102003475 B1 KR102003475 B1 KR 102003475B1 KR 1020190002778 A KR1020190002778 A KR 1020190002778A KR 20190002778 A KR20190002778 A KR 20190002778A KR 102003475 B1 KR102003475 B1 KR 102003475B1
Authority
KR
South Korea
Prior art keywords
image
roi
general
thermal
thermal image
Prior art date
Application number
KR1020190002778A
Other languages
Korean (ko)
Inventor
신동균
박성희
Original Assignee
주식회사 이오씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 이오씨 filed Critical 주식회사 이오씨
Priority to KR1020190002778A priority Critical patent/KR102003475B1/en
Application granted granted Critical
Publication of KR102003475B1 publication Critical patent/KR102003475B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/001—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)

Abstract

Disclosed are a method and an apparatus for synthesizing an image using an image and a thermal image. According to an embodiment of the present invention, when a general image and a thermal image are synthesized, a relative position is confirmed based on a comparison result obtained by comparing each object after recognizing an object in an ROI of the general image and the thermal image, and the relative position is corrected by movement between coordinates using an object start position as a reference to synthesize an image in a state that positions of objects are corrected to coincide with each other.

Description

영상 및 열화상을 이용한 영상 합성 방법 및 장치{Method and Apparatus for Composing Image by using Image and Thermal Image}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for image synthesis using image and thermal images,

본 실시예는 열화상 ROI를 기반으로 열화상과 일반영상 비교하여 상대위치를 실시간 보정하여 합성하는 방법 및 장치에 관한 것이다. The present embodiment relates to a method and apparatus for real-time correction of a relative position by comparing a thermal image with a general image based on a thermal image ROI.

이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.The contents described below merely provide background information related to the present embodiment and do not constitute the prior art.

외선 열화상 이미지는 피사체의 표면으로부터 복사되는 열에너지를 검출하여 만들어진다. 검출되는 열에너지는 전자파의 일종으로 피사체 표면의 복사열의 강도에 따라 밝기가 다르다. 적외선 에너지란 전자기 스펙트럼의 한 종류로써 감마레이, 엑스레이, 자외선, 가시광선, 적외선, 마이크로파 그리고 라디오파 등으로 구분된다. 모든 물체는 각각의 온도에 따라 고유한 흑체 방사(black-body radiation) 특성을 가진다.The external thermal image is created by detecting thermal energy radiated from the surface of the subject. The detected thermal energy is a kind of electromagnetic wave, and the brightness differs depending on the intensity of radiant heat on the surface of the object. Infrared energy is a kind of electromagnetic spectrum, which is divided into gamma ray, x-ray, ultraviolet ray, visible ray, infrared ray, microwave and radio wave. All objects have unique black-body radiation characteristics at each temperature.

일반적으로 높은 온도를 갖는 물체일수록 더 많은 적외선을 방출한다. 열화상 이미지 센서는 일반적으로 적외선(Infrared Radiation)의 각기 다른 파장을 구분하지는 않기 때문에 이미지의 색상은 단일색상의 채널을 형성하게 된다. 만일 온도에 따라 서로 다른 색으로 표시하려고 하면, 일반적으로 가장 밝은 부분은 흰색으로 하고, 중간온도는 빨간색이나 노란색으로 하고, 어두운 부분은 파란색으로 표시한다. 가시광선과 적외선은 파장이 다르기 때문에 일반렌즈는 적외선 복사에너지를 통과시키지 못한다. 따라서 적외선 복사에너지는 통과되고 가시광선은 통과되지 않는 렌즈를 사용해야 된다. 렌즈제작에 사용되는 재료는 게르마늄과 실리콘이다.Generally, objects with higher temperatures emit more infrared rays. Since thermal image sensors generally do not distinguish different wavelengths of infrared radiation, the color of the image forms a single color channel. If you try to display different colors depending on the temperature, usually the brightest part is white, the middle temperature is red or yellow, and the dark part is blue. Since visible light and infrared light have different wavelengths, ordinary lenses can not pass infrared radiation energy. Therefore, it is necessary to use a lens that passes infrared radiation and does not pass visible light. The materials used in lens making are germanium and silicon.

모든 빛을 흡수할 수 있는 이상적인 흑체에서 발생되어 나오는 빛의 파장은 흑체의 종류에 상관없이 단지 온도에만 의존한다. 이상적인 흑체는 파장에 관계없이 그에 비추어진 모든 복사에너지를 흡수하는 물체를 말하는데 이러한 특성을 갖는 실제의 물체는 없다. 단 내부의 부피가 크고 입구가 좁은 공동은 그 좁은 입구로 입사한 모든 빛을 내부 공동으로 받아들이나 내부에서의 반사를 거친 후 입구로 나갈 가능성이 0에 가까워서 거의 흑체로 생각할 수 있다. 이를 가열하면 입구에서 빛이 나오기 시작하는데 그의 스펙트럼은 단지 온도에 따라 달라진다.The wavelength of light emitted from an ideal black body, which can absorb all light, depends only on temperature, regardless of the type of black body. An ideal blackbody is an object that absorbs all of the radiant energy emitted by it regardless of its wavelength, and there is no real object with this property. A cavity with a large internal volume and a narrow entrance accepts all the light entering the narrow entrance as an internal cavity, but is almost black as it is nearly zero to go through the interior after reflection. When heated, the light begins to emerge from the entrance, and its spectrum depends only on temperature.

흑체에서 방출되는 빛의 에너지 단위가 hf로 되어 있다는 가정으로부터 흑체복사를 설명할 수 있다. 이는 양자에 대한 최초의 이론으로 현대물리학의 출발점이 되었다. 공동 속에서 공동의 벽을 이루고 있는 원자가 주어진 온도에 따라 공동 내부로 빛을 흡수하거나 방출하는 과정에서 원자의 진동수에 비례하는 어떤 양을 기본 단위로 한다. 원자가 방출하거나 흡수하는 에너지의 기본 단위는 원자, 즉 매개되는 빛의 진동수에 새로운 상수 즉 플랑크 상수를 곱한 것이다.Blackbody radiation can be explained from the assumption that the energy unit of light emitted from the blackbody is hf. This was the first theory of both, which became the starting point of modern physics. The atom that forms the cavity wall in the cavity is a basic unit that is proportional to the frequency of the atoms in the process of absorbing or emitting light into the cavity according to the given temperature. The basic unit of energy that an atom emits or absorbs is the atom, the frequency of the light that is mediated, multiplied by the new constant, Planck's constant.

한편, 열을 감지하는 것은 FPA(Focal Plane Array)로 디텍터들이 배열식으로 나열되어 있고 이미징 렌즈로부터 초점이 맞추어지게 된다. 이때 한 개의 디텍터가 열을 감지하여 계산하고 열화상 이미지 상의 한 개의 픽셀값으로 온도값을 표현한다.On the other hand, the FPA (Focal Plane Array) detects the heat, and the detectors are arranged in an array and focused from the imaging lens. At this time, one detector senses the heat and calculates and expresses the temperature value as one pixel value on the thermal image.

일반적으로 열화상을 일반영상과 합성할 때 상대적인 위치 차이가 발생한다. 따라서, 열화상 내의 ROI(Region Of Interest)의 피사체에 수동으로 위치를 조정해야 하나 일반센서와 열화상 센서의 화각 차이로 인해 ROI의 피사체와의 거리가 변경되었을 때, 상대 위치의 차이가 다시 발생하기 때문에, 피사체와의 거리가 변경될 때마다 사람이 직접 발생하는 차이를 매번 확인하여 수동으로 조정해야 하는 문제가 있다.Generally, relative position differences occur when synthesizing a thermal image with a general image. Therefore, when the position of the ROI is changed due to the difference in angle of view between the general sensor and the thermal image sensor, the position of the relative position is re-generated Therefore, there is a problem that every time the distance from the subject changes, the difference that occurs directly by the person is checked every time and manually adjusted.

본 실시예는 일반영상과 열화상을 합성할 때, 일반영상과 열화상의 ROI 내의 객체를 인지한 후 각 객체를 비교한 비교 결과를 기반으로 상대 위치를 확인하고 상대 위치를 객체 시작위치를 기준으로 좌표 간의 이동으로 보정되도록 하여 객체의 위치가 서로 일치하도록 보정한 상태로 영상을 합성하도록 하는 영상 및 열화상을 이용한 영상 합성 방법 및 장치를 제공하는 데 목적이 있다.In the present embodiment, when a general image and a thermal image are combined, the object in the general image and the deteriorated image ROI are recognized, and the relative position is checked based on the comparison result obtained by comparing the objects, The present invention has been made in view of the above problems, and it is an object of the present invention to provide an image synthesizing method and apparatus using image and thermal images in which images are corrected in such a manner that the positions of the objects are corrected so as to be matched with each other.

본 실시예의 일 측면에 의하면, 일반영상 센서를 이용하여 피사체를 촬영한 일반영상 이미지를 획득하는 과정; 상기 일반영상 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 과정; 열화상 센서를 이용하여 상기 피사체를 촬영한 열화상 이미지를 획득하는 과정; 상기 열화상 이미지로부터 ROI를 검출하여 ROI 이미지를 획득하는 과정; 상기 ROI 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 과정; 상기 일반영상 이미지 내의 객체와 상기 ROI 내의 객체를 비교한 비교 결과를 생성하는 과정; 상기 비교 결과가 기 설정된 임계값 이상으로 차이가 발생하는 경우, 상기 차이가 발생하는 만큼의 상대 위치값을 산출하는 과정; 상기 ROI 내의 객체에 상기 상대 위치값만큼을 보정하여 상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치되도록 보정하는 과정; 상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치된 상태에서 상기 일반영상 이미지와 상기 ROI 이미지를 합성하여 하나의 합성 영상을 출력하는 과정을 포함하는 것을 특징으로 하는 영상 합성 방법을 제공한다.According to an aspect of the present invention, there is provided a method of acquiring a general image image of a subject using a general image sensor; Recognizing an object corresponding to the subject in the general video image; Acquiring a thermal image obtained by photographing the subject using a thermal image sensor; Detecting an ROI from the thermal image to obtain an ROI image; Recognizing an object corresponding to the object in the ROI image; Generating a comparison result comparing an object in the general image and an object in the ROI; Calculating a relative position value corresponding to the difference when the comparison result is greater than or equal to a preset threshold value; Correcting an object in the ROI by the relative position value to correct an object in the ROI and an object in the general image to coincide with each other; And outputting a combined image by combining the general image and the ROI image in a state where an object in the ROI and an object in the general image are matched with each other. .

본 실시예의 다른 측면에 의하면, 일반영상 센서를 이용하여 피사체를 촬영한 일반영상 이미지를 획득하는 영상 촬영부; 상기 일반영상 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 일반영상 객체인지부; 열화상 센서를 이용하여 상기 피사체를 촬영한 열화상 이미지를 획득하는 열화상 획득부; 상기 열화상 이미지로부터 ROI를 검출하여 ROI 이미지를 획득하는 ROI 설정부; 상기 ROI 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 열화상 객체 인지부; 상기 일반영상 이미지 내의 객체와 상기 ROI 내의 객체를 비교한 비교 결과를 생성하는 비교부; 상기 비교 결과가 기 설정된 임계값 이상으로 차이가 발생하는 경우, 상기 차이가 발생하는 만큼의 상대 위치값을 산출하는 상대 위치 산출부; 상기 ROI 내의 객체에 상기 상대 위치값만큼을 보정하여 상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치되도록 보정하는 보정부; 상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치된 상태에서 상기 일반영상 이미지와 상기 ROI 이미지를 합성하여 하나의 합성 영상을 출력하는 합성부를 포함하는 것을 특징으로 하는 영상 합성 장치를 제공한다.According to another aspect of the present invention, there is provided an image capturing apparatus, comprising: a video capturing unit for capturing a general video image of a subject using a general video sensor; A general image object recognizing an object corresponding to the object in the general image; A thermal image acquiring unit for acquiring a thermal image obtained by photographing the subject using a thermal image sensor; An ROI setting unit for detecting an ROI from the thermal image to obtain an ROI image; A thermal image object recognizing an object corresponding to the object in the ROI image; A comparison unit for comparing the object in the general image and the object in the ROI to generate a comparison result; A relative position calculation unit for calculating a relative position value by which the difference occurs when the comparison result indicates a difference of at least a predetermined threshold value; A correcting unit correcting the object in the ROI by the relative position value to correct an object in the ROI and an object in the general image to coincide with each other; And a synthesizer for synthesizing the general image and the ROI image in a state where the objects in the ROI and the objects in the general image match each other to output one synthesized image .

이상에서 설명한 바와 같이 본 실시예에 의하면, 일반영상과 열화상을 합성할 때, 일반영상과 열화상의 ROI 내의 객체를 인지한 후 각 객체를 비교한 비교 결과를 기반으로 상대 위치를 확인하고 상대 위치를 객체 시작위치를 기준으로 좌표 간의 이동으로 보정되도록 하여 객체의 위치가 서로 일치하도록 보정한 상태로 영상을 합성하도록 하는 효과가 있다.As described above, according to the present embodiment, when the general image and the thermal image are combined, the relative position is confirmed based on the comparison result obtained by comparing the objects after recognizing the objects in the ROI of the normal image and the deteriorated image, Is corrected by the movement between the coordinates based on the object start position, so that the images are synthesized in a state in which the positions of the objects are corrected so as to coincide with each other.

도 1은 본 실시예에 따른 듀얼 센서를 구비한 영상 합성 장치를 개략적으로 나타낸 블럭 구성도이다.
도 2a,2b는 본 실시예에 따른 일반영상과 열화상의 상대 위치를 보정을 나타낸 도면이다.
도 3은 본 실시예에 따른 영상 및 열화상을 이용한 영상 합성 방법을 설명하기 위한 순서도이다.
도 4는 본 실시예에 따른 열화상으로부터 ROI를 검출하는 방법을 설명하기 위한 순서도이다.
도 5는 본 실시예에 따른 일반영상과 ROI를 비교 및 검색하는 방법을 설명하기 위한 순서도이다.
도 6은 본 실시예에 따른 상대위치 계산 및 실시간 위상차를 보정하는 방법을 설명하기 위한 도면이다.1 is a block diagram schematically showing an image synthesizing apparatus having a dual sensor according to the present embodiment.
FIGS. 2A and 2B are diagrams illustrating correction of relative positions of a normal image and a deterioration image according to the present embodiment.
FIG. 3 is a flowchart for explaining an image synthesizing method using an image and a thermal image according to the present embodiment.
4 is a flowchart for explaining a method of detecting an ROI from a thermal image according to the present embodiment.
5 is a flowchart for explaining a method of comparing and searching a general image and an ROI according to the present embodiment.
6 is a view for explaining a relative position calculation and a method for correcting real-time phase difference according to the present embodiment.

이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.Hereinafter, the present embodiment will be described in detail with reference to the accompanying drawings.

도 1은 본 실시예에 따른 듀얼 센서를 구비한 영상 합성 장치를 개략적으로 나타낸 블럭 구성도이다.1 is a block diagram schematically showing an image synthesizing apparatus having a dual sensor according to the present embodiment.

일반적으로 듀얼 센서(일반센서, 열화상 센서)를 구비한 듀얼 센서 카메라가 영상을 촬영하면, 열화상 카메라 렌즈와 일반영상 카메라 렌즈의 화각 차이, 열화상 센서와 일반영상 센서의 픽셀 차이에 의해 일반영상의 ROI와 열화상의 ROI 간에 차이가 발생한다.In general, when a dual sensor camera equipped with a dual sensor (general sensor, thermal image sensor) captures an image, the difference in angle of view between the thermal camera lens and the general image camera lens, There is a difference between the ROI of the image and the ROI of the degraded image.

따라서, 본 실시예에 따른 영상 합성 장치(100)는 일반영상의 ROI와 열화상의 ROI 내의 객체를 인지하고, 각 객체의 시작위치를 기준으로 x,y 좌표 간의 이동으로 객체의 위치가 서로 일치하도록 보정한다.Accordingly, the image synthesizing apparatus 100 perceives the ROI of the general image and the object in the ROI of the degraded image, and determines that the positions of the objects coincide with the movement between the x and y coordinates based on the start position of each object .

영상 합성 장치(100)는 듀얼 센서 카메라(Dual Sensor Camera)를 구비한 장치로서, 일반영상 센서(CMOS Senor)와 열화상 센서(LWIR Senor)를 모두 탑재한 영상 촬영장치를 의미한다. The image synthesizing apparatus 100 is a device equipped with a dual sensor camera and means a video image taking apparatus equipped with both a general image sensor (CMOS Senor) and a thermal image sensor (LWIR Senor).

영상 합성 장치(100)는 듀얼 센서 카메라를 이용하여 촬영한 일반영상과 열화상의 합성하여 하나의 이미지로 출력한다. 영상 합성 장치(100)는 일반영상 센서와 열화상 센서의 기구적인 위치 차이값을 검출한다.The image synthesizing apparatus 100 synthesizes a deteriorated image with a general image photographed using a dual sensor camera and outputs the image as a single image. The image synthesizing apparatus 100 detects a mechanical position difference value between a general image sensor and a thermal image sensor.

영상 합성 장치(100)는 일반영상 센서와 열화상 센서 간의 수직/수평 화각의 차이에 의해 발생하는 동일 피사체에 대하여 두 센서 출력 이미지의 상대적 위치 차이값을 실시간으로 검출한다. 영상 합성 장치(100)는 검출된 기구적인 위치 차이값과 상대적 위치 차이값을 보정한다. 영상 합성 장치(100)는 구비된 듀얼 센서 카메라를 이용하여 관심영역(ROI)에 대한 합성 이미지의 품질을 높일 수 있다.The image synthesizing apparatus 100 detects the relative position difference value of the two sensor output images in real time for the same subject caused by the difference in vertical / horizontal angle of view between the general image sensor and the thermal image sensor. The image synthesizing apparatus 100 corrects the detected mechanical position difference value and the relative position difference value. The image synthesizing apparatus 100 can improve the quality of the composite image with respect to the ROI by using the dual sensor camera.

영상 합성 장치(100)는 열화상 이미지로부터 ROI 영역을 검출한 후 일반영상과 비교하고, 비교결과를 ROI 영역의 상대적인 위치 차이를 계산한다. 영상 합성 장치(100)는 실시간으로 일반영상과 열화상 영상 간의 상대 위치를 보정한다.The image synthesizer 100 detects an ROI region from a thermal image, compares the ROI region with a general image, and calculates a relative positional difference of the ROI region with respect to the comparison result. The image synthesizing apparatus 100 corrects the relative position between the general image and the thermal image in real time.

영상 합성 장치(100)는 열화상 이미지를 확장(예컨대, 80×60 → 800×600)할 때, 열화상 이미지와 일반영상 이미지의 크기가 일차적으로 변환된다. 영상 합성 장치(100)는 일반영상 간의 합성이 아닌, 일반영상과 상호 이질적인 영상(예컨대, 열화상 영상)을 합성하는 것이므로, 기본적으로 이미지 사이즈를 동일하게 보정한 상태에서 객체를 인지하고, 객체의 시작위치를 판별한 후 영상 내 객체의 위치가 서로 일치하도록 하는 보정을 수행한 후 영상을 합성한다.When the image synthesizing apparatus 100 expands the thermal image (for example, 80 × 60 → 800 × 600), the sizes of the thermal image and the general image are converted first. Since the image synthesizing apparatus 100 synthesizes a general image and a mutually heterogeneous image (for example, a thermal image), rather than composing general images, it basically recognizes the object in the state of correcting the image size equally, After the start position is determined, the position of the object in the image is corrected so that the images are synthesized.

본 실시예에 따른 영상 합성 장치(100)는 일반영상 획득부(110), 일반영상 객체 인지부(112), 열화상 획득부(120), ROI 설정부(122), 열화상 객체 인지부(124), 비교부(130), 상대 위치 산출부(140), 보정부(150), 합성부(160)를 포함한다. 영상 합성 장치(100)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.The image synthesizing apparatus 100 according to the present embodiment includes a general image acquiring unit 110, a general image object recognizing unit 112, a thermal image acquiring unit 120, an ROI setting unit 122, 124, a comparator 130, a relative position calculator 140, a corrector 150, and a combiner 160. The components included in the image synthesizing apparatus 100 are not necessarily limited thereto.

영상 합성 장치(100)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.Each component included in the image synthesizing apparatus 100 may be connected to a communication path connecting a software module or a hardware module in the apparatus so as to operate organically with each other. These components communicate using one or more communication buses or signal lines.

도 2에 도시된 영상 합성 장치(100)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.Each component of the image synthesizing apparatus 100 shown in FIG. 2 means a unit for processing at least one function or operation, and may be implemented by a software module, a hardware module, or a combination of software and hardware.

일반영상 획득부(110)는 일반영상 센서를 이용하여 피사체를 촬영한 일반영상 이미지를 획득한다. 일반영상 객체 인지부(112)는 일반영상 이미지 내의 피사체에 대응하는 객체를 인지한다. 열화상 획득부(120)는 열화상 센서를 이용하여 피사체를 촬영한 열화상 이미지를 획득한다.The general image acquiring unit 110 acquires a general image image of a subject using a general image sensor. The general video object recognition unit 112 recognizes an object corresponding to a subject in the general video image. The thermal image acquisition unit 120 acquires thermal image of the object by using a thermal image sensor.

ROI 설정부(122)는 열화상 이미지로부터 ROI를 검출하여 ROI 이미지를 획득한다. ROI 설정부(122)는 일반영상 이미지에 대한 일반영상 해상도를 확인한다. ROI 설정부(122)는 열화상 이미지에 대한 열화상 해상도를 확인한다. ROI 설정부(122)는 열화상 해상도를 일반영상 해상도만큼 확장한다.The ROI setting unit 122 detects the ROI from the thermal image to obtain the ROI image. The ROI setting unit 122 confirms the general video resolution for the general video image. The ROI setting unit 122 confirms the thermal image resolution for the thermal image. The ROI setting unit 122 expands the thermal image resolution by a normal image resolution.

다시 말해, ROI 설정부(122)는 열화상 센서(LWIR Sensor)로부터 출력되는 각 픽셀(pixel)의 온도 데이터를 보간(Interpolation)하여 열화상 해상도를 일반영상 해상도만큼 확장(예컨대 80×60 → 800×600)한다.In other words, the ROI setting unit 122 interpolates the temperature data of each pixel output from the thermal image sensor (LWIR Sensor) to expand the thermal image resolution by a general image resolution (for example, 80 × 60 → 800 X 600).

ROI 설정부(122)는 확장된 열화상 해상도를 갖는 열화상 이미지에서 ROI(기 설정된 온도 영역 또는 모양)를 검출하여 ROI 이미지를 획득한다.The ROI setting unit 122 detects an ROI (predetermined temperature region or shape) in the thermal image having the extended thermal image resolution to obtain the ROI image.

다시 말해, ROI 설정부(122)는 각 픽셀의 온도 데이터를 기 생성된 칼러 테이블(Color Table)을 적용하여 YCbCr로 변환한 변환 데이터를 생성한다. ROI 설정부(122)는 변환 데이터 상에서 기 설정된 온도 영역 또는 모양(예컨대, 조건)에 대응하는 영역을 ROI 영역으로 검출한다.In other words, the ROI setting unit 122 generates the conversion data by converting the temperature data of each pixel into the YCbCr by applying the generated color table. The ROI setting unit 122 detects an ROI region corresponding to a predetermined temperature region or shape (e.g., condition) on the conversion data.

열화상 객체 인지부(124)는 ROI 이미지 내의 피사체에 대응하는 객체를 인지한다.The thermal image recognition unit 124 recognizes an object corresponding to a subject in the ROI image.

비교부(130)는 일반영상 이미지 내의 객체와 ROI 내의 객체를 비교한 비교 결과를 생성한다. 비교부(130)는 일반영상 이미지 내의 객체에 대한 일반객체 위치좌표를 산출한다. 비교부(130)는 ROI 이미지 내의 객체에 대한 열화상객체 위치좌표를 산출한다. 비교부(130)는 일반객체 위치좌표와 열화상객체 위치좌표를 비교하여 비교 결과를 생성한다.The comparing unit 130 generates a comparison result comparing an object in the general image and the object in the ROI. The comparison unit 130 calculates general object position coordinates for an object in the general image. The comparing unit 130 calculates coordinates of the thermographic object position for the object in the ROI image. The comparing unit 130 compares the general object position coordinate and the thermal object position coordinate to generate a comparison result.

비교부(130)는 ROI 이미지를 ROI 그레이 이미지(Gray Image)로 변환한다. 비교부(130)는 일반영상 이미지를 일반 그레이 이미지로 변환한다. 비교부(130)는 일반 그레이 이미지 내에서 ROI 그레이 이미지와 일치하는 객체의 시작점을 검색하여 비교 결과를 생성한다.The comparator 130 converts the ROI image into an ROI gray image. The comparator 130 converts the general video image into a general gray image. The comparator 130 searches the starting point of the object matching the ROI gray image in the general gray image to generate the comparison result.

상대 위치 산출부(140)는 비교 결과가 기 설정된 임계값 이상으로 차이가 발생하는 경우, 차이가 발생하는 만큼의 상대 위치값을 산출한다. 상대 위치 산출부(140)는 열화상 이미지로부터 ROI에 대응하는 시작점(x1, y1)을 추출한다. 상대 위치 산출부(140)는 일반영상 이미지로부터 ROI에 대응하는 시작점(x2, y2)을 추출한다.The relative position calculation unit 140 calculates a relative position value corresponding to a difference when the comparison result is greater than or equal to a preset threshold value. The relative position calculation unit 140 extracts a starting point (x1, y1) corresponding to the ROI from the thermal image. The relative position calculation unit 140 extracts a starting point (x2, y2) corresponding to the ROI from the general video image.

보정부(150)는 ROI 내의 객체에 상대 위치값만큼을 보정하여 ROI 내의 객체와 일반영상 이미지 내의 객체의 위치가 일치되도록 보정한다. 보정부(150)는 일반영상 이미지를 가로 방향으로 (x1-x2) 만큼, 세로 방향으로 (y1-y2) 만큼 이동하도록 보정한다.The correcting unit 150 corrects the relative position value of the object in the ROI so that the position of the object in the ROI matches the position of the object in the general image. The correcting unit 150 corrects the general video image to be shifted by (x1-x2) in the horizontal direction and by (y1-y2) in the vertical direction.

합성부(160)는 ROI 내의 객체와 일반영상 이미지 내의 객체의 위치가 일치된 상태에서 일반영상 이미지와 ROI 이미지를 합성하여 하나의 합성 영상을 출력한다.The combining unit 160 combines the general image and the ROI image in a state where the objects in the ROI coincide with the positions of the objects in the general image, and outputs one composite image.

도 2a,2b는 본 실시예에 따른 일반영상과 열화상의 상대 위치를 보정을 나타낸 도면이다.FIGS. 2A and 2B are diagrams illustrating correction of relative positions of a normal image and a deterioration image according to the present embodiment.

일반영상과 열화상 영상을 합성할 때, 도 2a의 (a)에 도시된 바와 같이, 일반영상 내 객체와 열화상 영상 내 객체의 위치가 어긋나는 현상이 발생한다. 일반적으로 일반영상 센서와 열화상 센서 간의 물리적인 위치 차이가 존재한다. 다시 말해, 열화상 카메라 렌즈와 일반영상 카메라 렌즈의 화각 차이, 일반영상 센서와 열화상 센서의 수직/수평 방향의 픽셀 차이가 존재한다.When a general image and a thermal image are combined, as shown in (a) of FIG. 2A, a position of an object in a general image and a position of an object in a thermal image are displaced. Generally, there is a physical position difference between a general image sensor and a thermal image sensor. In other words, there is a difference in angle of view between a thermal imaging camera lens and a general imaging camera lens, and a vertical / horizontal pixel difference between a normal imaging sensor and a thermal imaging sensor.

일반적으로 일반영상 센서와 열화상 센서 간의 물리적인 위치 차이를 반영하기 위해 사용자가 수동으로 일반영상을 이동 또는 회전시켜서 열화상 이미지와의 상대 위치의 차이를 도 2a의 (b)에 도시된 바와 같이 보정했다.In general, in order to reflect a physical position difference between a general image sensor and a thermal image sensor, a user manually moves or rotates a general image so that the difference in relative position with respect to the thermal image is measured as shown in (b) Corrected.

위치 보정 이후 피사체와의 거리가 달라질 경우 도 2b의 (b)에 도시된 바와 같이, 상대 위치의 차이가 다시 발생한다. 다시 말해, 도 2a의 (a)에 도시된 바와 같이, 일반영상 내 객체와 열화상 영상 내 객체의 위치가 어긋나는 현상을 해결했다고 하더라도 피사체가 이동하거나 변경되는 경우, 새로운 피사체가 추가되는 경우, 카메라와 피사체와의 거리가 변경된다.When the distance to the subject is changed after the positional correction, a difference in relative position occurs again as shown in (b) of FIG. 2b. In other words, even if the position of the object in the general image and the object in the thermal image are displaced as shown in FIG. 2A, if the subject moves or changes, if a new subject is added, And the distance from the subject is changed.

피사체가 이동하거나 변경되는 경우, 새로운 피사체가 추가되는 경우 다시 열화상 카메라 렌즈와 일반영상 카메라 렌즈의 화각 차이, 일반영상 센서와 열화상 센서의 수직/수평 방향의 픽셀 차이로 인해 상대위치 차이가 발생한다.When a subject is moved or changed, when a new subject is added, a relative position difference occurs due to a difference in angle of view between the thermal imaging camera lens and the general imaging camera lens, and a pixel difference between the normal image sensor and the thermal imaging sensor in the vertical and horizontal directions do.

따라서, 본 실시예에 따른 영상 합성 장치(100)가 일반영상과 열화상의 ROI 내의 객체를 인지하고, 각 객체의 시작위치를 기준으로 x,y 좌표간의 이동으로 객체의 위치가 서로 일치하도록 보정한다.Accordingly, the image synthesizing apparatus 100 recognizes objects in ROIs of a normal image and a deteriorated image, and corrects the positions of the objects to coincide with each other by moving between x and y coordinates based on the start position of each object .

본 실시예에 따른 영상 합성 장치(100)가 열화상으로부터 ROI를 검출하는 과정은 다음과 같다.The process of detecting the ROI from the thermal image by the image synthesizing apparatus 100 according to the present embodiment is as follows.

영상 합성 장치(100) 내의 열화상 센서(LWIR Sensor)는 각 픽셀(Pixel)의 온도 데이터를 출력한다. 영상 합성 장치(100)는 열화상 이미지를 보간(Interpolation)하여 열화상 이미지의 해상도를 일반영상의 열화상 이미지의 해상도로 확장(예컨대, 80×60 → 800×600)한다. 영상 합성 장치(100)는 열화상 센서로부터 출력된 각 픽셀의 온도 데이터를 미리 만들어진 칼라 테이블(Color Table)를 이용하여 YCbCr로 변환한다. 영상 합성 장치(100)는 YCbCr로 변환된 상태에서 조건(온도 영역 또는 모양)에 따른 ROI 영역 검출한다.A thermal image sensor (LWIR Sensor) in the image synthesizing apparatus 100 outputs temperature data of each pixel. The image synthesizing apparatus 100 interpolates the thermal image to expand the resolution of the thermal image to the resolution of the thermal image of the general image (e.g., 80x60? 800x600). The image synthesizing apparatus 100 converts the temperature data of each pixel output from the thermal image sensor into a YCbCr using a pre-created color table. The image synthesizing apparatus 100 detects an ROI region according to a condition (temperature region or shape) in a state converted to YCbCr.

본 실시예에 따른 영상 합성 장치(100)는 일반영상과 ROI를 비교/검색하는 과정은 다음과 같다.In the image synthesizing apparatus 100 according to the present embodiment, a process of comparing / searching ROI with a general image is as follows.

영상 합성 장치(100)는 열화상 이미지로부터 추출된 ROI 영역을 그레이 이미지(Gray Image)로 변환한다. 영상 합성 장치(100)는 일반영상 이미지를 그레이 이미지로 변환한다. 영상 합성 장치(100)는 ROI 영역과 일치되는 일반영상의 시작점을 찾는다.The image synthesizing apparatus 100 converts the ROI region extracted from the thermal image into a gray image. The image synthesizing apparatus 100 converts a general image image into a gray image. The image synthesizing apparatus 100 finds the starting point of the general image coincident with the ROI region.

본 실시예에 따른 영상 합성 장치(100)는 상대위치 계산 및 위치 보정을 수행하는 과정은 다음과 같다.The process of calculating the relative position and correcting the position of the image synthesizer 100 according to the present embodiment is as follows.

영상 합성 장치(100)는 열화상 이미지로부터 ROI 영역의 시작점(x1, y1)을 추출한다. 영상 합성 장치(100)는 일반영상 이미지와 열화상 이미지의 ROI 영역을 비교/검색하여 시작점(x2, y2)을 추출한다. 영상 합성 장치(100)는 일반영상 이미지를 가로 방향으로 (x1-x2) 만큼, 세로 방향으로 (y1-y2) 만큼 이동한 후 일반영상과 열화상을 합성한다.The image synthesizing apparatus 100 extracts the starting point (x1, y1) of the ROI region from the thermal image. The image synthesizing apparatus 100 compares / searches ROI regions of a general image and a thermal image to extract a starting point (x2, y2). The image synthesizing apparatus 100 moves the general image image by (x1-x2) in the horizontal direction and by (y1-y2) in the vertical direction, and then synthesizes the general image and the thermal image.

도 3은 본 실시예에 따른 영상 및 열화상을 이용한 영상 합성 방법을 설명하기 위한 순서도이다.FIG. 3 is a flowchart for explaining an image synthesizing method using an image and a thermal image according to the present embodiment.

영상 합성 장치(100)는 일반영상 센서를 이용하여 피사체를 촬영(S310)하고, 일반영상 이미지를 획득한다(S312). 단계 S312에서, 영상 합성 장치(100)는 일반영상 이미지 내의 피사체에 대응하는 객체를 인지한다.The image synthesizing apparatus 100 photographs a subject using a general image sensor (S310), and acquires a general image image (S312). In step S312, the image synthesizing apparatus 100 recognizes an object corresponding to a subject in the general image image.

영상 합성 장치(100)는 열화상 센서를 이용하여 피사체를 촬영(S320)하고, 열화상 이미지를 획득한다(S322).The image synthesizing apparatus 100 photographs a subject using a thermal image sensor (S320), and acquires a thermal image (S322).

영상 합성 장치(100)는 열화상 이미지로부터 ROI를 검출하여 ROI 이미지를 획득한다(S324). 단계 S324에서, 영상 합성 장치(100)는 일반영상 이미지에 대한 일반영상 해상도를 확인한다. 영상 합성 장치(100)는 열화상 이미지에 대한 열화상 해상도를 확인한다.The image synthesizing apparatus 100 detects an ROI from the thermal image to obtain an ROI image (S324). In step S324, the image synthesizing apparatus 100 confirms the general image resolution for the general image. The image synthesizing apparatus 100 confirms the thermal image resolution for the thermal image.

영상 합성 장치(100)는 열화상 해상도를 일반영상 해상도만큼 확장한다. 다시 말해, 영상 합성 장치(100)는 열화상 센서(LWIR Sensor)로부터 출력되는 각 픽셀(pixel)의 온도 데이터를 보간(Interpolation)하여 열화상 해상도를 일반영상 해상도만큼 확장(예컨대, 80×60 → 800×600)한다.The image synthesizing apparatus 100 expands the thermal image resolution by a normal image resolution. In other words, the image synthesizing apparatus 100 interpolates the temperature data of each pixel output from the thermal image sensor (LWIR Sensor) to expand the thermal image resolution by a general image resolution (for example, 80 × 60 → 800 x 600).

영상 합성 장치(100)는 확장된 열화상 해상도를 갖는 열화상 이미지에서 ROI(기 설정된 온도 영역 또는 모양)를 검출하여 ROI 이미지를 획득한다. 다시 말해, 영상 합성 장치(100)는 각 픽셀의 온도 데이터를 기 생성된 칼러 테이블(Color Table)을 적용하여 YCbCr로 변환한 변환 데이터를 생성한다. 영상 합성 장치(100)는 변환 데이터 상에서 기 설정된 온도 영역 또는 모양(예컨대, 조건)에 대응하는 영역을 ROI 영역으로 검출한다.The image synthesizing apparatus 100 detects an ROI (predetermined temperature region or shape) in an infrared image having an expanded thermal image resolution to obtain an ROI image. In other words, the image synthesizing apparatus 100 generates the converted data by converting the temperature data of each pixel into the YCbCr by applying the generated color table. The image synthesizing apparatus 100 detects a region corresponding to a predetermined temperature region or shape (e.g., condition) on the transformed data as an ROI region.

단계 S324에서, 영상 합성 장치(100)는 ROI 이미지 내의 피사체에 대응하는 객체를 인지한다.In step S324, the image synthesizing apparatus 100 recognizes an object corresponding to a subject in the ROI image.

영상 합성 장치(100)는 일반영상 이미지 내의 객체와 ROI 내의 객체를 비교한 비교 결과를 생성한다(S330). 단계 S330에서, 영상 합성 장치(100)는 일반영상 이미지 내의 객체에 대한 일반객체 위치좌표를 산출한다. 영상 합성 장치(100)는 ROI 이미지 내의 객체에 대한 열화상객체 위치좌표를 산출한다. 영상 합성 장치(100)는 일반객체 위치좌표와 열화상객체 위치좌표를 비교하여 비교 결과를 생성한다.The image synthesizing apparatus 100 generates a comparison result of comparing an object in the general image and the object in the ROI (S330). In step S330, the image synthesizing apparatus 100 calculates general object position coordinates for an object in the general image. The image synthesizing apparatus 100 calculates coordinates of a thermographic object position for an object in the ROI image. The image synthesizing apparatus 100 compares the general object position coordinate and the thermal image object position coordinate to generate a comparison result.

영상 합성 장치(100)는 ROI 이미지를 ROI 그레이 이미지(Gray Image)로 변환한다. 영상 합성 장치(100)는 일반영상 이미지를 일반 그레이 이미지로 변환한다. 영상 합성 장치(100)는 일반 그레이 이미지 내에서 ROI 그레이 이미지와 일치하는 객체의 시작점을 검색하여 비교 결과를 생성한다.The image synthesizing apparatus 100 converts an ROI image into an ROI gray image. The image synthesizing apparatus 100 converts a general image image into a general gray image. The image synthesizing apparatus 100 searches the starting point of the object matching the ROI gray image in the general gray image to generate the comparison result.

영상 합성 장치(100)는 비교 결과가 기 설정된 임계값 이상으로 차이가 발생하는 경우, 차이가 발생하는 만큼의 상대 위치값을 산출한다(S340).When the comparison result is greater than or equal to a predetermined threshold value, the image synthesizing apparatus 100 calculates a relative position value as much as the difference occurs (S340).

영상 합성 장치(100)는 ROI 내의 객체에 상대 위치값만큼을 보정하여 ROI 내의 객체와 일반영상 이미지 내의 객체의 위치가 일치되도록 보정한다(S350). 단계 S350에서, 영상 합성 장치(100)는 열화상 이미지로부터 ROI에 대응하는 시작점(x1, y1)을 추출한다. 영상 합성 장치(100)는 일반영상 이미지로부터 ROI에 대응하는 시작점(x2, y2)을 추출한다. 영상 합성 장치(100)는 일반영상 이미지를 가로 방향으로 (x1-x2) 만큼, 세로 방향으로 (y1-y2) 만큼 이동하도록 보정한다.The image synthesizing apparatus 100 corrects the relative position value of the object in the ROI so that the position of the object in the ROI matches the position of the object in the general image (S350). In step S350, the image synthesizing apparatus 100 extracts a starting point (x1, y1) corresponding to the ROI from the thermal image. The image synthesizing apparatus 100 extracts a starting point (x2, y2) corresponding to the ROI from the general image. The image synthesizing apparatus 100 corrects the general video image to move in the horizontal direction by (x1-x2) and in the vertical direction by (y1-y2).

영상 합성 장치(100)는 ROI 내의 객체와 일반영상 이미지 내의 객체의 위치가 일치된 상태에서 일반영상 이미지와 ROI 이미지를 합성하여 하나의 합성 영상을 출력한다(S360).In operation S360, the image synthesizing apparatus 100 synthesizes the general image and the ROI image in a state where the objects in the ROI and the objects in the general image match each other, and outputs a composite image.

도 3에서는 단계 S310 내지 단계 S360을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 3에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 3은 시계열적인 순서로 한정되는 것은 아니다.Although it is described in Fig. 3 that steps S310 to S360 are sequentially executed, it is not limited thereto. In other words, FIG. 3 is not limited to the time series order, as it would be applicable to changing and executing the steps described in FIG. 3 or performing one or more steps in parallel.

전술한 바와 같이 도 3에 기재된 본 실시예에 따른 영상 및 열화상을 이용한 영상 합성 방법은 프로그램으로 구현되고 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다. 본 실시예에 따른 영상 및 열화상을 이용한 영상 합성 방법을 구현하기 위한 프로그램이 기록되고 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. As described above, the image synthesizing method using the image and the thermal image according to the embodiment described in FIG. 3 can be implemented by a program and recorded in a computer-readable recording medium. A program for implementing the image synthesis method using image and thermal images according to the present embodiment is recorded, and the computer-readable recording medium includes all kinds of recording apparatuses in which data that can be read by a computer system is stored.

도 4는 본 실시예에 따른 열화상으로부터 ROI를 검출하는 방법을 설명하기 위한 순서도이다.4 is a flowchart for explaining a method of detecting an ROI from a thermal image according to the present embodiment.

영상 합성 장치(100)는 열화상 센서를 이용하여 피사체를 촬영하고, 열화상 이미지를 획득한다(S410).The image synthesizing apparatus 100 photographs a subject using a thermal image sensor and acquires a thermal image (S410).

영상 합성 장치(100)는 열화상 이미지로부터 온도 데이터를 추출하고, 일반영상 이미지에 대한 일반영상 해상도(예컨대, 800×600)를 확인하고, 열화상 이미지에 대한 열화상 해상도(예컨대, 80×60)를 확인한다(S412). The image synthesizing apparatus 100 extracts temperature data from the thermal image, confirms a general image resolution (for example, 800x600) for a general image image, and obtains a thermal image resolution (for example, 80x60 (S412).

영상 합성 장치(100)는 열화상 해상도를 일반영상 해상도만큼 확장(예컨대 80×60 → 800×600)한다(S414). 단계 S414에서, 영상 합성 장치(100)는 열화상 센서(LWIR Sensor)로부터 출력되는 각 픽셀(pixel)의 온도 데이터를 보간(Interpolation)하여 열화상 해상도를 일반영상 해상도만큼 확장(예컨대 80×60 → 800×600)한다.The image synthesizing apparatus 100 enlarges the thermal image resolution by a general image resolution (for example, 80 × 60 → 800 × 600) (S414). In step S414, the image synthesizing apparatus 100 interpolates the temperature data of each pixel output from the thermal image sensor (LWIR Sensor) to expand the thermal image resolution by a general image resolution (for example, 80x60? 800 x 600).

영상 합성 장치(100)는 확장된 열화상 해상도를 갖는 열화상 이미지에서 기 생성된 칼러 테이블(Color Table)을 적용한다(S416). 영상 합성 장치(100)는 칼러 테이블(Color Table)을 적용한 열화상 이미지를 YCbCr로 변환한 변환 데이터를 생성한다(S418). The image synthesizing apparatus 100 applies the generated color table in the thermal image having the expanded thermal image resolution (S416). The image synthesizing apparatus 100 generates converted data obtained by converting a thermal image using a color table into YCbCr (S418).

영상 합성 장치(100)는 기 설정된 온도 영역 또는 모양을 포함하는 ROI 조건을 설정한다(S420).The image synthesizing apparatus 100 sets an ROI condition including a predetermined temperature region or shape (S420).

영상 합성 장치(100)는 단계 S414에서 생성한 확장된 열화상 해상도를 갖는 열화상 이미지로부터 ROI 조건(온도 조건)을 검출한다(S422). 단계 S422에서, 영상 합성 장치(100)는 확장된 열화상 해상도를 갖는 열화상 이미지로부터 기 설정된 온도 영역을 검색한다.The image synthesizing apparatus 100 detects an ROI condition (temperature condition) from the thermal image having the expanded thermal image resolution generated in step S414 (S422). In step S422, the image synthesizing apparatus 100 searches a predetermined temperature region from the thermal image having the expanded thermal image resolution.

영상 합성 장치(100)는 확장된 열화상 해상도를 갖는 열화상 이미지 중 기 설정된 온도 영역에 대응하는 영역 중 단계 S416에서 생성한 YCbCr로 변환한 변환 데이터의 Y값을 이용하여 기 설정된 모양을 검출한다(S424).The image synthesizing apparatus 100 detects a predetermined shape by using the Y value of the converted data converted into the YCbCr generated in step S416 among the areas corresponding to the predetermined temperature area in the thermal image having the extended thermal image resolution (S424).

영상 합성 장치(100)는 확장된 열화상 해상도를 갖는 열화상 이미지 중 기 설정된 온도 영역과 기 설정된 모양에 대응하는 영역을 ROI 이미지로 검출한다(S426). The image synthesizing apparatus 100 detects an ROI image corresponding to a predetermined temperature region and a predetermined shape among the thermal image having the extended thermal image resolution (S426).

도 4에서는 단계 S410 내지 단계 S426을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 4에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 4는 시계열적인 순서로 한정되는 것은 아니다.Although it is described in Fig. 4 that steps S410 to S426 are sequentially executed, it is not limited thereto. In other words, Fig. 4 is not limited to the time-series order, since it would be applicable to changing or executing the steps described in Fig. 4 or executing one or more steps in parallel.

도 5는 본 실시예에 따른 일반영상과 ROI를 비교 및 검색하는 방법을 설명하기 위한 순서도이다.5 is a flowchart for explaining a method of comparing and searching a general image and an ROI according to the present embodiment.

영상 합성 장치(100)는 ROI 이미지를 ROI 그레이 이미지(Gray Image)로 변환한다. 영상 합성 장치(100)는 일반영상 이미지를 일반 그레이 이미지로 변환한다.The image synthesizing apparatus 100 converts an ROI image into an ROI gray image. The image synthesizing apparatus 100 converts a general image image into a general gray image.

영상 합성 장치(100)는 일반 그레이 이미지 내의 객체의 좌표값(X,Y)=(0,0)과 ROI 그레이 이미지 내의 객체의 좌표값(Xm,Ym)=(0,0)을 비교한다(S510).The image synthesizer 100 compares the coordinate value (X, Y) = (0,0) of the object in the general gray image with the coordinate value (Xm, Ym) = (0,0) of the object in the ROI gray image S510).

영상 합성 장치(100)는 ROI 그레이 이미지 내의 Y값과 일반 그레이 이미지 내의 Y값의 상관계수(Correlation Coefficient)를 산출한다(S512).The image synthesizing apparatus 100 calculates a correlation coefficient between the Y value in the ROI gray image and the Y value in the general gray image (S512).

영상 합성 장치(100)는 ROI 그레이 이미지 내의 Y값과 일반 그레이 이미지 내의 Y값의 상관계수가 최대값을 갖는지의 여부를 확인한다(S514).The image synthesizing apparatus 100 checks whether the correlation coefficient between the Y value in the ROI gray image and the Y value in the general gray image has a maximum value (S514).

단계 S514의 확인 결과, ROI 그레이 이미지 내의 Y값과 일반 그레이 이미지 내의 Y값의 상관계수가 최대값을 갖는 경우, 일반 그레이 이미지 내의 객체의 좌표값과 ROI 그레이 이미지 내의 객체의 좌표값을 업데이트(X,Y)=(Xm,Ym)한다(S516).If it is determined in step S514 that the correlation coefficient between the Y value in the ROI gray image and the Y value in the general gray image has a maximum value, the coordinate value of the object in the general gray image and the coordinate value of the object in the ROI gray image are updated , Y) = (Xm, Ym) (S516).

영상 합성 장치(100)는 일반 그레이 이미지 내의 객체의 좌표값과 ROI 그레이 이미지 내의 객체의 좌표값을 이동시키면서 ROI 그레이 이미지 내의 Y값과 일반 그레이 이미지 내의 Y값의 상관계수를 산출하고, ROI 그레이 이미지 내의 Y값과 일반 그레이 이미지 내의 Y값의 상관계수가 최대값을 갖는지의 여부를 확인한다(S520).The image synthesizing apparatus 100 calculates the correlation coefficient between the Y value in the ROI gray image and the Y value in the general gray image while moving the coordinate value of the object in the general gray image and the ROI gray image, Whether the correlation coefficient between the Y value in the normal gray image and the Y value in the general gray image has a maximum value (S520).

단계 S520의 확인 결과, ROI 그레이 이미지 내의 Y값과 일반 그레이 이미지 내의 Y값의 상관계수가 최대값을 갖는 경우, 영상 합성 장치(100)는 일반 그레이 이미지 내의 객체의 좌표값과 ROI 그레이 이미지 내의 객체의 좌표값을 기반으로 시작점 추출(Xm, Ym)을 완료한다(S522).If it is determined in step S520 that the correlation coefficient between the Y value in the ROI gray image and the Y value in the general gray image has a maximum value, the image synthesizing apparatus 100 determines that the coordinate value of the object in the general gray image and the object in the ROI gray image (Xm, Ym) on the basis of the coordinate values of the start point (Xm, Ym) (S522).

도 5에서는 단계 S510 내지 단계 S522을 순차적으로 실행하는 것으로 기재하고 있으나, 반드시 이에 한정되는 것은 아니다. 다시 말해, 도 5에 기재된 단계를 변경하여 실행하거나 하나 이상의 단계를 병렬적으로 실행하는 것으로 적용 가능할 것이므로, 도 5는 시계열적인 순서로 한정되는 것은 아니다.Although it is described in Fig. 5 that steps S510 to S522 are sequentially executed, the present invention is not limited thereto. In other words, Fig. 5 is not limited to a time series order, since it would be applicable to changing and executing the steps described in Fig. 5 or executing one or more steps in parallel.

도 6은 본 실시예에 따른 상대위치 계산 및 실시간 위상차를 보정하는 방법을 설명하기 위한 도면이다.6 is a view for explaining a relative position calculation and a method for correcting real-time phase difference according to the present embodiment.

영상 합성 장치(100)는 비교 결과가 기 설정된 임계값 이상으로 차이가 발생하는 경우, 차이가 발생하는 만큼의 상대 위치값을 산출한다. 영상 합성 장치(100)는 열화상 이미지로부터 ROI에 대응하는 시작점(x1, y1)을 추출한다. 영상 합성 장치(100)는 일반영상 이미지로부터 ROI에 대응하는 시작점(x2, y2)을 추출한다.The image synthesizing apparatus 100 calculates a relative position value as much as the difference occurs when the comparison result is greater than a predetermined threshold value. The image synthesizing apparatus 100 extracts a starting point (x1, y1) corresponding to the ROI from the thermal image. The image synthesizing apparatus 100 extracts a starting point (x2, y2) corresponding to the ROI from the general image.

영상 합성 장치(100)는 대상까지의 거리(Z), 좌우카메라 사이의 거리(렌즈중심=센서중심기준)(B), 좌우카메라의 위상차(d), 카메라 렌즈의 초점거리(f)를 매개변수로 이용하여 위상차로부터 대상까지의 거리(Z(d))를 [수학식1]로 계산한다.The image synthesizing apparatus 100 calculates the distance Z to the object, the distance between the left and right cameras (center of the lens = center of the sensor) B, the phase difference d of the left and right cameras, And the distance (Z (d)) from the phase difference to the object is calculated by using Equation (1).

Figure 112019002778019-pat00001
Figure 112019002778019-pat00001

영상 합성 장치(100)는 대상까지의 거리(Z), 좌우카메라 사이의 거리(렌즈중심=센서중심기준)(B), 좌우카메라의 위상차(d), 카메라 렌즈의 초점거리(f)를 매개변수로 이용하여 위상차로부터 대상까지의 거리(d(Z))를 [수학식2]로 계산한다.The image synthesizing apparatus 100 calculates the distance Z to the object, the distance between the left and right cameras (center of the lens = center of the sensor) B, the phase difference d of the left and right cameras, (D (Z)) from the phase difference to the object is calculated by the following equation (2).

Figure 112019002778019-pat00002
Figure 112019002778019-pat00002

영상 합성 장치(100)는 ROI 내의 객체에 상대 위치값만큼을 보정하여 ROI 내의 객체와 일반영상 이미지 내의 객체의 위치가 일치되도록 보정한다. 영상 합성 장치(100)는 일반영상 이미지를 가로 방향으로 (x1-x2) 만큼, 세로 방향으로 (y1-y2) 만큼 이동하도록 보정한다.The image synthesizing apparatus 100 corrects the object in the ROI as much as the relative position value and corrects the object in the ROI so that the positions of the objects in the general image match with each other. The image synthesizing apparatus 100 corrects the general video image to move in the horizontal direction by (x1-x2) and in the vertical direction by (y1-y2).

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present embodiment, and various modifications and changes may be made to those skilled in the art without departing from the essential characteristics of the embodiments. Therefore, the present embodiments are to be construed as illustrative rather than restrictive, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be construed according to the following claims, and all technical ideas within the scope of equivalents thereof should be construed as being included in the scope of the present invention.

100: 영상 합성 장치
110: 일반영상 획득부 112: 일반영상 객체 인지부
120: 열화상 획득부 122: ROI 설정부
124: 열화상 객체 인지부
130: 비교부
140: 상대 위치 산출부
150: 보정부
160: 합성부100: image synthesizer
110: general image acquisition unit 112: general image object recognition unit
120: thermal image acquisition unit 122: ROI setting unit
124: Thermal image recognition unit
130:
140: Relative position calculating section
150:
160:

Claims (10)

일반영상 센서를 이용하여 피사체를 촬영한 일반영상 이미지를 획득하는 과정;
상기 일반영상 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 과정;
열화상 센서를 이용하여 상기 피사체를 촬영한 열화상 이미지를 획득하는 과정;
상기 열화상 이미지로부터 ROI를 검출하여 ROI 이미지를 획득하는 과정;
상기 ROI 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 과정;
상기 일반영상 이미지 내의 객체와 상기 ROI 내의 객체를 비교한 비교 결과를 생성하는 과정;
상기 비교 결과가 기 설정된 임계값 이상으로 차이가 발생하는 경우, 상기 차이가 발생하는 만큼의 상대 위치값을 산출하는 과정;
상기 ROI 내의 객체에 상기 상대 위치값만큼을 보정하여 상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치되도록 보정하는 과정; 및
상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치된 상태에서 상기 일반영상 이미지와 상기 ROI 이미지를 합성하여 하나의 합성 영상을 출력하는 과정;을 포함하되,
상기 ROI 이미지를 획득하는 과정은,
상기 일반영상 이미지에 대한 일반영상 해상도를 확인하고, 상기 열화상 이미지에 대한 열화상 해상도를 확인하고, 상기 열화상 해상도를 상기 일반영상 해상도만큼 확장하고, 확장된 상기 열화상 해상도를 갖는 열화상 이미지에서 상기 ROI를 검출하여 상기 ROI 이미지를 획득하고,
상기 열화상 센서(LWIR Sensor)로부터 출력되는 각 픽셀(pixel)의 온도 데이터를 보간(Interpolation)하여 상기 열화상 해상도를 상기 일반영상 해상도만큼 확장하고, 상기 각 픽셀의 온도 데이터를 기 생성된 칼러 테이블(Color Table)을 적용하여 YCbCr로 변환한 변환 데이터를 생성하고, 상기 변환 데이터 상에서 기 설정된 온도 영역 또는 모양에 대응하는 영역을 상기 ROI 영역으로 검출하는 것을 특징으로 하는 영상 합성 방법.A process of acquiring a general image image of a subject using a general image sensor;
Recognizing an object corresponding to the subject in the general video image;
Acquiring a thermal image obtained by photographing the subject using a thermal image sensor;
Detecting an ROI from the thermal image to obtain an ROI image;
Recognizing an object corresponding to the object in the ROI image;
Generating a comparison result comparing an object in the general image and an object in the ROI;
Calculating a relative position value corresponding to the difference when the comparison result is greater than or equal to a preset threshold value;
Correcting an object in the ROI by the relative position value to correct an object in the ROI and an object in the general image to coincide with each other; And
And outputting a composite image by combining the general image and the ROI image in a state where an object in the ROI and an object in the general image match each other,
The process of acquiring the ROI image includes:
Determining a general image resolution for the general image image, identifying a thermal image resolution for the thermal image, extending the thermal image resolution by the general image resolution, Detecting the ROI to obtain the ROI image,
And interpolates temperature data of each pixel output from the thermal image sensor (LWIR Sensor) to expand the thermal image resolution by the general image resolution, and stores the temperature data of each pixel in the generated color table And a color table is applied to generate transformed data converted into YCbCr, and a region corresponding to a predetermined temperature region or shape on the transformed data is detected as the ROI region. 제1항에 있어서,
상기 비교 결과를 생성하는 과정은
상기 일반영상 이미지 내의 객체에 대한 일반객체 위치좌표를 산출하고, 상기 ROI 이미지 내의 객체에 대한 열화상객체 위치좌표를 산출하고, 상기 일반객체 위치좌표와 상기 열화상객체 위치좌표를 비교하는 것을 특징으로 하는 영상 합성 방법.The method according to claim 1,
The process of generating the comparison result
Calculating general object position coordinates for an object in the general image image, calculating position coordinates of a thermal object for the object in the ROI image, and comparing the general object position coordinate and the thermal image object position coordinate, / RTI > 삭제delete 삭제delete 제1항에 있어서,
상기 비교 결과를 생성하는 과정은,
상기 ROI 이미지를 ROI 그레이 이미지(Gray Image)로 변환하고, 상기 일반영상 이미지를 일반 그레이 이미지로 변환하고, 상기 일반 그레이 이미지 내에서 ROI 그레이 이미지와 일치하는 객체의 시작점을 검색하여 상기 비교 결과를 생성하는 것을 특징으로 하는 영상 합성 방법.The method according to claim 1,
The process of generating the comparison result comprises:
Converts the ROI image to a ROI gray image, converts the general image image into a general gray image, and searches the start point of the object matching the ROI gray image in the general gray image to generate the comparison result And the image is synthesized. 제5항에 있어서,
상기 보정하는 과정은,
상기 열화상 이미지로부터 ROI에 대응하는 시작점(x1, y1)을 추출하고, 상기 일반영상 이미지로부터 ROI에 대응하는 시작점(x2, y2)을 추출하고, 상기 일반영상 이미지를 가로 방향으로 (x1-x2) 만큼, 세로 방향으로 (y1-y2) 만큼 이동하도록 보정하는 것을 특징으로 하는 영상 합성 방법.6. The method of claim 5,
Wherein the step of correcting comprises:
Extracting a starting point (x1, y1) corresponding to the ROI from the thermal image, extracting a starting point (x2, y2) corresponding to the ROI from the general image, (Y1-y2) in the vertical direction. 일반영상 센서를 이용하여 피사체를 촬영한 일반영상 이미지를 획득하는 영상 촬영부;
상기 일반영상 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 일반영상 객체인지부;
열화상 센서를 이용하여 상기 피사체를 촬영한 열화상 이미지를 획득하는 열화상 획득부;
상기 열화상 이미지로부터 ROI를 검출하여 ROI 이미지를 획득하는 ROI 설정부;
상기 ROI 이미지 내의 상기 피사체에 대응하는 객체를 인지하는 열화상 객체 인지부;
상기 일반영상 이미지 내의 객체와 상기 ROI 내의 객체를 비교한 비교 결과를 생성하는 비교부;
상기 비교 결과가 기 설정된 임계값 이상으로 차이가 발생하는 경우, 상기 차이가 발생하는 만큼의 상대 위치값을 산출하는 상대 위치 산출부;
상기 ROI 내의 객체에 상기 상대 위치값만큼을 보정하여 상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치되도록 보정하는 보정부; 및
상기 ROI 내의 객체와 상기 일반영상 이미지 내의 객체의 위치가 일치된 상태에서 상기 일반영상 이미지와 상기 ROI 이미지를 합성하여 하나의 합성 영상을 출력하는 합성부;를 포함하되,
상기 ROI 설정부는,
상기 일반영상 이미지에 대한 일반영상 해상도를 확인하고, 상기 열화상 이미지에 대한 열화상 해상도를 확인하고, 상기 열화상 해상도를 상기 일반영상 해상도만큼 확장하고, 확장된 상기 열화상 해상도를 갖는 열화상 이미지에서 상기 ROI를 검출하여 상기 ROI 이미지를 획득하고,
상기 열화상 센서(LWIR Sensor)로부터 출력되는 각 픽셀(pixel)의 온도 데이터를 보간(Interpolation)하여 상기 열화상 해상도를 상기 일반영상 해상도만큼 확장하고, 상기 각 픽셀의 온도 데이터를 기 생성된 칼러 테이블(Color Table)을 적용하여 YCbCr로 변환한 변환 데이터를 생성하고, 상기 변환 데이터 상에서 기 설정된 온도 영역 또는 모양에 대응하는 영역을 상기 ROI 영역으로 검출하는 것을 특징으로 하는 영상 합성 장치.An image capturing unit for capturing a general image captured by a general image sensor;
A general image object recognizing an object corresponding to the object in the general image;
A thermal image acquiring unit for acquiring a thermal image obtained by photographing the subject using a thermal image sensor;
An ROI setting unit for detecting an ROI from the thermal image to obtain an ROI image;
A thermal image object recognizing an object corresponding to the object in the ROI image;
A comparison unit for comparing the object in the general image and the object in the ROI to generate a comparison result;
A relative position calculation unit for calculating a relative position value by which the difference occurs when the comparison result indicates a difference of at least a predetermined threshold value;
A correcting unit correcting the object in the ROI by the relative position value to correct an object in the ROI and an object in the general image to coincide with each other; And
And a synthesizer for synthesizing the general image and the ROI image in a state where an object in the ROI and an object in the general image match each other to output a composite image,
The ROI setting unit,
Determining a general image resolution for the general image image, identifying a thermal image resolution for the thermal image, extending the thermal image resolution by the general image resolution, Detecting the ROI to obtain the ROI image,
And interpolates temperature data of each pixel output from the thermal image sensor (LWIR Sensor) to expand the thermal image resolution by the general image resolution, and stores the temperature data of each pixel in the generated color table Wherein the conversion table generating unit generates conversion data converted into YCbCr by applying a color table and detects a region corresponding to a predetermined temperature region or shape on the conversion data as the ROI region. 제7항에 있어서,
상기 비교부는,
상기 일반영상 이미지 내의 객체에 대한 일반객체 위치좌표를 산출하고, 상기 ROI 이미지 내의 객체에 대한 열화상객체 위치좌표를 산출하고, 상기 일반객체 위치좌표와 상기 열화상객체 위치좌표를 비교하는 것을 특징으로 하는 영상 합성 장치.8. The method of claim 7,
Wherein,
Calculating general object position coordinates for an object in the general image image, calculating position coordinates of a thermal object for the object in the ROI image, and comparing the general object position coordinate and the thermal image object position coordinate, . 삭제delete 삭제delete
KR1020190002778A 2019-01-09 2019-01-09 Method and Apparatus for Composing Image by using Image and Thermal Image KR102003475B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190002778A KR102003475B1 (en) 2019-01-09 2019-01-09 Method and Apparatus for Composing Image by using Image and Thermal Image

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190002778A KR102003475B1 (en) 2019-01-09 2019-01-09 Method and Apparatus for Composing Image by using Image and Thermal Image

Publications (1)

Publication Number Publication Date
KR102003475B1 true KR102003475B1 (en) 2019-07-24

Family

ID=67481335

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190002778A KR102003475B1 (en) 2019-01-09 2019-01-09 Method and Apparatus for Composing Image by using Image and Thermal Image

Country Status (1)

Country Link
KR (1) KR102003475B1 (en)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210051599A (en) * 2019-10-31 2021-05-10 주식회사 브라이튼 System and method for integration of management and control connected with disaster broadcasting
KR20210050707A (en) * 2019-10-29 2021-05-10 오토아이티(주) Apparatus and method for object detection based on color and temperature data
KR102276315B1 (en) 2020-04-24 2021-07-13 주식회사 유니체스트 Monitoring system using dual IP camera
KR20210142245A (en) * 2020-05-18 2021-11-25 한국광기술원 Heterogeneous image processing device
KR20210154323A (en) * 2020-06-12 2021-12-21 인하대학교 산학협력단 Automatic color map expression method by removing outlier temperature for thermal image
KR20220054069A (en) * 2020-10-23 2022-05-02 조선대학교산학협력단 Measuring system and method for concrete strength
KR102612527B1 (en) * 2023-04-17 2023-12-11 제이피아이헬스케어 주식회사 Medical imaging apparatus for obtaining imaging information of radiographic image of equine and operating method thereof
KR102629703B1 (en) * 2022-11-28 2024-01-29 제이피아이헬스케어 주식회사 Apparatus for cone beam computed tomography including thermo camera and the opesration method thereof

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120081496A (en) * 2011-01-11 2012-07-19 주식회사 창성에이스산업 The method for fire warning using analysis of thermal image temperature
KR20140143857A (en) * 2013-06-07 2014-12-18 (주)앤트원정보기술 Fire detection system using composited video and method thereof
KR101524548B1 (en) * 2012-07-26 2015-06-02 삼성테크윈 주식회사 Apparatus and method for alignment of images
KR20160141226A (en) * 2015-05-29 2016-12-08 주식회사 로보멕 System for inspecting vehicle in violation by intervention and the method thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120081496A (en) * 2011-01-11 2012-07-19 주식회사 창성에이스산업 The method for fire warning using analysis of thermal image temperature
KR101524548B1 (en) * 2012-07-26 2015-06-02 삼성테크윈 주식회사 Apparatus and method for alignment of images
KR20140143857A (en) * 2013-06-07 2014-12-18 (주)앤트원정보기술 Fire detection system using composited video and method thereof
KR20160141226A (en) * 2015-05-29 2016-12-08 주식회사 로보멕 System for inspecting vehicle in violation by intervention and the method thereof

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210050707A (en) * 2019-10-29 2021-05-10 오토아이티(주) Apparatus and method for object detection based on color and temperature data
KR102300864B1 (en) * 2019-10-29 2021-09-10 오토아이티(주) Apparatus and method for object detection based on color and temperature data
KR20210051599A (en) * 2019-10-31 2021-05-10 주식회사 브라이튼 System and method for integration of management and control connected with disaster broadcasting
KR102260601B1 (en) 2019-10-31 2021-06-04 주식회사 브라이튼 System and method for integration of management and control connected with disaster broadcasting
KR102276315B1 (en) 2020-04-24 2021-07-13 주식회사 유니체스트 Monitoring system using dual IP camera
KR102333490B1 (en) * 2020-05-18 2021-12-01 한국광기술원 Heterogeneous image processing device
KR20210142245A (en) * 2020-05-18 2021-11-25 한국광기술원 Heterogeneous image processing device
KR20210154323A (en) * 2020-06-12 2021-12-21 인하대학교 산학협력단 Automatic color map expression method by removing outlier temperature for thermal image
KR102354704B1 (en) * 2020-06-12 2022-01-24 인하대학교 산학협력단 Automatic color map expression method by removing outlier temperature for thermal image
KR20220054069A (en) * 2020-10-23 2022-05-02 조선대학교산학협력단 Measuring system and method for concrete strength
KR102502153B1 (en) 2020-10-23 2023-02-20 조선대학교산학협력단 Measuring system and method for concrete strength
KR102629703B1 (en) * 2022-11-28 2024-01-29 제이피아이헬스케어 주식회사 Apparatus for cone beam computed tomography including thermo camera and the opesration method thereof
KR102612527B1 (en) * 2023-04-17 2023-12-11 제이피아이헬스케어 주식회사 Medical imaging apparatus for obtaining imaging information of radiographic image of equine and operating method thereof

Similar Documents

Publication Publication Date Title
KR102003475B1 (en) Method and Apparatus for Composing Image by using Image and Thermal Image
CN109377469B (en) Processing method, system and storage medium for fusing thermal imaging with visible light image
US9684963B2 (en) Systems and methods for dynamic registration of multimodal images
KR101420684B1 (en) Apparatus and method for matching color image and depth image
JP6679577B2 (en) Image generation apparatus and method for generating 3D panoramic image
US8441518B2 (en) Imaging apparatus, imaging control method, and recording medium
JP5440615B2 (en) Stereo camera device
US20110169960A1 (en) Video enhancement system
TWI709110B (en) Camera calibration method and apparatus, electronic device
CN105007407A (en) Methods for end-user parallax adjustment
CN113366383B (en) Camera device and automatic focusing method thereof
KR102096576B1 (en) Method and Apparatus for Synthesizing Image
KR102347226B1 (en) Fusion sensor data visualization device and method
JP2001285762A (en) Image printer
JP2014142832A (en) Image processing apparatus, control method of image processing apparatus, and program
KR20180106480A (en) High-resolution 3D depth image generation device for using 2D image and the method thereof
EP3435652A1 (en) Image processing system, image processing method, and program
JP2011113174A (en) Image synthesizer, image reproduction device and imaging device
US11610339B2 (en) Imaging processing apparatus and method extracting a second RGB ToF feature points having a correlation between the first RGB and TOF feature points
JP2021149691A (en) Image processing system and control program
JP7321772B2 (en) Image processing device, image processing method, and program
JP2022101310A (en) Rangefinder system and coordinate calibration method thereof
KR20220079753A (en) Method for measuring of object based on face-recognition
KR102450629B1 (en) Thermal image camera apparatus and control method thereof
JP6306494B2 (en) Shape estimation device, shape estimation method, and shape estimation program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant