KR101766864B1 - A method for providing fusion image of visible light image and non-visible light image and apparatus for the same - Google Patents

A method for providing fusion image of visible light image and non-visible light image and apparatus for the same Download PDF

Info

Publication number
KR101766864B1
KR101766864B1 KR1020160077565A KR20160077565A KR101766864B1 KR 101766864 B1 KR101766864 B1 KR 101766864B1 KR 1020160077565 A KR1020160077565 A KR 1020160077565A KR 20160077565 A KR20160077565 A KR 20160077565A KR 101766864 B1 KR101766864 B1 KR 101766864B1
Authority
KR
South Korea
Prior art keywords
image
visible light
light image
edge
weight
Prior art date
Application number
KR1020160077565A
Other languages
Korean (ko)
Inventor
김기두
Original Assignee
국민대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국민대학교 산학협력단 filed Critical 국민대학교 산학협력단
Priority to KR1020160077565A priority Critical patent/KR101766864B1/en
Application granted granted Critical
Publication of KR101766864B1 publication Critical patent/KR101766864B1/en

Links

Images

Classifications

    • H04N5/2258—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H04N13/0239—
    • H04N13/0271—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/271—Image signal generators wherein the generated image signals comprise depth maps or disparity maps
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

According to an embodiment of the present invention, provided is a method of providing a fusion image of a visible light image and an invisible light image, comprising the steps of: obtaining a visible light image and an invisible light image from a visible light camera and an invisible light camera, respectively; setting one of the visible light image and the invisible light image as a left-eye image and the other as a right-eye image, and generating stereoscopic information using the left-eye image and the right-eye image; applying a first weight to the visible light image, a second weight different from the first weight to the invisible light image, and generating a reference image by combining the visible light image to which the first weight is applied and the invisible light image to which the second weight is applied; and generating a fusion image by including the stereoscopic information in the reference image and providing the fusion image.

Description

가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 이를 위한 장치 {A METHOD FOR PROVIDING FUSION IMAGE OF VISIBLE LIGHT IMAGE AND NON-VISIBLE LIGHT IMAGE AND APPARATUS FOR THE SAME}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a method and apparatus for providing a composite image of a visible light image and an invisible light image,

본 발명의 실시예들은 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 이를 위한 장치에 관한 것으로, 더 상세하게는 하나의 가시광 카메라와 하나의 비가시광 카메라를 이용하여 획득된 영상을 합성하고, 입체 정보를 부가하여 제공하기 위한 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 이를 위한 장치에 관한 것이다.Embodiments of the present invention relate to a method for providing a composite image of a visible light image and an invisible light image, and an apparatus therefor, and more particularly to a method and apparatus for synthesizing an image obtained using a visible light camera and an invisible light camera, And a method for providing a composite image of a visible light image and an invisible light image for providing information and providing the same.

일반적으로, 주간에는 가시광 카메라를 통한 영상만으로도 주변 상황 정보를 획득할 수 있으나, 야간에는 주변이 어두워 가시광 카메라를 통한 영상만으로는 사물 등을 식별하기 어려우므로 가시광 카메라와 더불어, 적외선 카메라 등을 더 이용하여 주변 상황 정보를 획득할 수 있다.Generally, in the daytime, it is possible to acquire the surrounding situation information by only the image through the visible light camera. However, since the surroundings are dark at night, it is difficult to identify the objects with the visible light camera alone. Therefore, in addition to the visible light camera, The surrounding situation information can be obtained.

국내 특허등록공보 제10-1470198호Korean Patent Registration No. 10-1470198

본 발명의 실시예들은 가시광 영상과 비가시광 영상 중 어느 하나를 좌안 영상, 나머지 하나를 우안 영상으로 설정하고, 두 영상을 이용하여 입체 정보를 생성하여 제공하는 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 장치를 제공한다.Embodiments of the present invention can provide a composite image of a visible light image and an invisible light image by setting one of a visible light image and a non-visible light image as a left eye image and the other as a right eye image, generating stereoscopic information using two images, Method and apparatus.

또한, 본 발명의 실시예들은 가시광 영상과 비가시광 영상을 엣지 지수에 기반하여 혼합한 영상을 기준 영상으로 제공함으로써, 가시광 영상 또는 비가시광 영상만을 제공하는 경우에 비해 시각적 개선 효과를 가지는 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 장치를 제공한다.In addition, embodiments of the present invention provide an image obtained by mixing a visible light image and an invisible light image based on an edge index as a reference image, thereby providing a visible light image having a visual improvement effect, A composite image providing method and apparatus for nonvisible light images are provided.

또한, 본 발명의 실시예들은 가시광 영상과 비가시광 영상의 엣지 부분에 대해서만 시차를 산출하여 부분적 입체 정보를 산출함으로써, 가시광 영상과 비가시광 영상을 적절히 혼합한 영상을 제공하면서도, 영상 내 부분적 입체 정보를 더 제공하는 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 장치를 제공한다.In addition, embodiments of the present invention provide an image in which a visible light image and an invisible light image are mixed appropriately by calculating parallax only for edge portions of a visible light image and an invisible light image to calculate partial stereoscopic information, The present invention also provides a method and apparatus for providing a composite image of a visible light image and an invisible light image.

본 발명의 일 실시예는, 하나의 가시광 카메라 및 하나의 비가시광 카메라로부터 각각 가시광 영상 및 비가시광 영상을 획득하는 단계; 상기 가시광 영상 및 상기 비가시광 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나를 우안 영상으로 설정하고, 상기 좌안 영상 및 상기 우안 영상을 이용하여 입체 정보를 생성하는 단계; 상기 가시광 영상에 제1 가중치를 적용하고, 상기 비가시광 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 상기 가시광 영상 및 상기 제2 가중치가 적용된 상기 비가시광 영상을 결합하여 기준 영상을 생성하는 단계; 및 상기 기준 영상에 상기 입체 정보를 포함시켜 합성 영상을 생성하고, 상기 합성 영상을 제공하는 단계;를 포함하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법을 개시한다.One embodiment of the present invention is a method of acquiring a visible light image and an invisible light image from a visible light camera and an invisible light camera, respectively, Setting one of the visible light image and the non-visible light image as a left eye image and setting the other as a right eye image, and generating stereoscopic information using the left eye image and the right eye image; Wherein the first weight is applied to the visible light image, a second weight different from the first weight is applied to the nonvisible light image, and the visible light image to which the first weight is applied and the non- To generate a reference image; And generating a synthesized image by including the stereoscopic information in the reference image and providing the synthesized image. The present invention also provides a method of providing a synthesized image of a visible light image and an invisible light image.

본 발명의 다른 일 실시예는, 하나의 가시광 카메라 및 하나의 비가시광 카메라로부터 각각 가시광 영상 및 비가시광 영상을 획득하는 영상 획득부; 상기 가시광 영상 및 상기 비가시광 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나를 우안 영상으로 설정하고, 상기 좌안 영상 및 상기 우안 영상을 이용하여 입체 정보를 생성하는 입체 정보 생성부; 상기 가시광 영상에 제1 가중치를 적용하고, 상기 비가시광 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 상기 가시광 영상 및 상기 제2 가중치가 적용된 상기 비가시광 영상을 결합하여 기준 영상을 생성하는 기준 영상 결정부; 및 상기 기준 영상에 상기 입체 정보를 포함시켜 합성 영상을 생성하고, 상기 합성 영상을 제공하는 합성 영상 제공부;를 포함하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치를 개시한다.According to another embodiment of the present invention, there is provided an image processing apparatus including an image acquiring unit acquiring a visible light image and an invisible light image from a visible light camera and an invisible light camera, respectively; A stereoscopic image generation unit configured to set one of the visible light image and the non-visible light image as a left eye image and set the other as a right eye image, and generate stereoscopic information using the left eye image and the right eye image; Wherein the first weight is applied to the visible light image, a second weight different from the first weight is applied to the nonvisible light image, and the visible light image to which the first weight is applied and the non- A reference image determiner for generating a reference image; And a synthesized image providing unit for synthesizing the stereoscopic image and generating a synthesized image by adding the stereoscopic information to the reference image, and a synthesized image providing unit for providing the synthesized image.

본 발명의 다른 일 실시예는, 제1항 내지 제8항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체를 개시한다.Another embodiment of the present invention discloses a computer-readable recording medium on which a program for executing the method according to any one of claims 1 to 8 is recorded.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.Other aspects, features, and advantages will become apparent from the following drawings, claims, and detailed description of the invention.

본 발명의 실시예들에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 장치에 의해 가시광 영상과 비가시광 영상 중 어느 하나를 좌안 영상, 나머지 하나를 우안 영상으로 설정하고, 두 영상을 이용하여 입체 정보를 생성하여 제공할 수 있다.In the method and apparatus for providing a combined image of visible light and nonvisible light according to embodiments of the present invention, one of the visible light image and the non-visible light image is set as a left eye image and the remaining one is set as a right eye image, Dimensional information can be generated and provided.

또한, 본 발명의 실시예들에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 장치에 의해 가시광 영상과 비가시광 영상을 엣지 지수에 기반하여 혼합한 영상을 기준 영상으로 제공함으로써, 가시광 영상 또는 비가시광 영상만을 제공하는 경우에 비해 시각적 개선 효과를 가질 수 있다.In addition, according to the method and apparatus for providing a combined image of a visible light image and an invisible light image according to embodiments of the present invention, an image obtained by mixing a visible light image and an invisible light image based on an edge index is provided as a reference image, The visual enhancement effect can be obtained as compared with the case where only the non-visible light image is provided.

또한, 본 발명의 실시예들에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법 및 장치에 의해 가시광 영상과 비가시광 영상의 엣지 부분에 대해서만 시차를 산출하여 부분적 입체 정보를 산출함으로써, 가시광 영상과 비가시광 영상을 적절히 혼합한 영상을 제공하면서도, 영상 내 부분적 입체 정보를 더 제공할 수 있다.In addition, according to the method and apparatus for providing a combined image of visible light and nonvisible light images according to embodiments of the present invention, by calculating the parallax only for the edge portions of the visible light image and the nonvisible light image to calculate partial stereoscopic information, It is possible to further provide partial stereoscopic information in the image while providing an image in which the nonvisible light image is appropriately mixed.

도 1은 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법을 개략적으로 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법을 나타낸 동작 흐름도이다.
도 4는 도 3에 도시된 입체 정보를 생성하는 단계의 일 예를 나타낸 동작 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 입체 정보를 생성하는 과정을 나타낸 도면이다.
도 6은 본 발명의 일 실시예에 따른 기준 영상을 생성하는 과정을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 합성 영상을 제공하는 과정을 나타낸 도면이다.1 is a diagram schematically illustrating a method of providing a composite image of a visible light image and an invisible light image according to an embodiment of the present invention.
2 is a block diagram illustrating a configuration of an apparatus for providing a composite image of a visible light image and an invisible light image according to an embodiment of the present invention.
3 is a flowchart illustrating a method of providing a composite image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention.
4 is an operation flowchart showing an example of a step of generating stereoscopic information shown in FIG.
5 is a diagram illustrating a process of generating stereoscopic information according to an exemplary embodiment of the present invention.
6 is a diagram illustrating a process of generating a reference image according to an embodiment of the present invention.
7 is a view illustrating a process of providing a composite image according to an embodiment of the present invention.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다. 또한, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 또한, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.BRIEF DESCRIPTION OF THE DRAWINGS The present invention is capable of various modifications and various embodiments, and specific embodiments are illustrated in the drawings and described in detail in the detailed description. The effects and features of the present invention and methods of achieving them will be apparent with reference to the embodiments described in detail below with reference to the drawings. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. Also, the singular expressions include plural expressions unless the context clearly dictates otherwise. Also, the terms include, including, etc. mean that there is a feature, or element, recited in the specification and does not preclude the possibility that one or more other features or components may be added.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, wherein like reference numerals refer to like or corresponding components throughout the drawings, and a duplicate description thereof will be omitted .

도 1은 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법을 개략적으로 나타낸 도면이다.1 is a diagram schematically illustrating a method of providing a composite image of a visible light image and an invisible light image according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법은 두 대의 카메라(110, 120)를 이용하여 영상(111, 121)을 획득하고, 영상(111, 121)에서 입체 정보를 획득하고, 가시광 영상과 비가시광 영상을 융합하여 기준 영상을 생성하고, 기준 영상에 입체 정보를 포함시킨 합성 영상(135)을 제공한다.Referring to FIG. 1, a method of providing a composite image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention includes acquiring images 111 and 121 using two cameras 110 and 120, And 121, and generates a reference image by fusing the visible light image and the non-visible light image, and provides a composite image 135 including the stereoscopic information in the reference image.

두 대의 카메라(110, 120)는 한 대의 가시광 카메라(110) 및 한 대의 비가시광 카메라(120)로 구성될 수 있다.The two cameras 110 and 120 may be composed of one visible light camera 110 and one non-visible light camera 120.

여기서, 비가시광 카메라(120)는 열화상 카메라, 적외선 카메라 또는 UV 카메라일 수 있으나, 본 발명의 사상은 이에 제한되지 아니하며, 가시광이 아닌 광을 센싱하여 영상 형태로 기록할 수 있는 수단이면 제한 없이 차용될 수 있다.Here, the non-visible light camera 120 may be a thermal camera, an infrared camera, or a UV camera, but the spirit of the present invention is not limited thereto. Any means that senses light other than visible light, Can be borrowed.

이하에서는 편의상 제1 카메라(110)가 가시광 카메라이고, 제2 카메라(120)가 적외선 카메라인 경우의 예를 들어 설명하기로 한다.Hereinafter, an example in which the first camera 110 is a visible light camera and the second camera 120 is an infrared camera will be described for convenience.

두 대의 카메라(110, 120)의 렌즈의 광축은 평행하게 설정될 수 있으며, 두 대의 카메라(110, 120)의 위치는 소정의 이격 거리를 가지고 설정될 수 있다. 이와 같은 설정에 의해, 두 대의 카메라(110, 120)는 마치 사람의 양안과 같이 시차(disparity)를 발생시킬 수 있다.The optical axes of the lenses of the two cameras 110 and 120 can be set in parallel and the positions of the two cameras 110 and 120 can be set with a predetermined distance. With such a setting, the two cameras 110 and 120 can generate a disparity just like the binocular of a person.

예컨대, 제1 카메라(110)가 좌안의 역할을 수행하고, 제2 카메라(120)가 우안의 역할을 수행한다고 가정할 때, 두 카메라(110, 120)가 멀리 떨어진 배경을 촬영하면 좌우 시차가 상대적으로 적은 영상이 획득되나, 가까운 전경(객체)을 촬영하면 좌우 시차가 상대적으로 큰 영상이 획득된다.For example, assuming that the first camera 110 performs the role of the left eye and the second camera 120 performs the role of the right eye, when the two cameras 110 and 120 photograph distant backgrounds, A relatively small image is obtained, but when a close foreground (object) is photographed, an image having a relatively large left and right parallax is obtained.

도 1에서의 경우, 제1 카메라(110)와 제2 카메라(120)가 촬영한 영상(111, 121) 상에서, 전경(객체)의 위치가 상이함을 알 수 있는데, 좌안의 역할을 수행하는 제1 카메라(110)의 경우, 전경의 위치가 상대적으로 우측에 위치한 영상(111)을 획득하게 되고, 우안의 역할을 수행하는 제2 카메라(120)의 경우, 전경의 위치가 상대적으로 좌측에 위치한 영상(121)을 획득하게 된다.1, it can be seen that the positions of the foreground objects are different on the images 111 and 121 taken by the first camera 110 and the second camera 120. In this case, In the case of the first camera 110, the position of the foreground acquires the image 111 relatively positioned on the right side, and in the case of the second camera 120 performing the role of the right eye, And acquires the image 121 positioned thereon.

두 영상(111, 121)에서의 전경의 좌우 차이가 심할수록 시차(디스패리티)가 큰 것으로 볼 수 있으며, 시차가 클수록 전경이 카메라(110, 120)로부터 가깝게 위치하는 것으로 볼 수 있다.It can be seen that the greater the difference between the left and right of the foreground in the two images 111 and 121, the greater the disparity. The larger the parallax, the closer the foreground is located from the cameras 110 and 120.

비록, 도 1에는 도시되지 아니하였으나, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치는 두 카메라(110, 120)로부터 획득된 두 영상(111, 121)에서 전경의 시차 정보를 획득하고, 해당 전경의 거리 정보로 변환할 수 있다.Although not shown in FIG. 1, the combined image providing apparatus for a visible light image and an invisible light image according to an embodiment of the present invention includes two images 111 and 121 obtained from two cameras 110 and 120, It is possible to acquire the time difference information and convert it into the distance information of the foreground.

여기서, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치는 제어부를 포함할 수 있는데, 제어부는 적어도 하나의 프로세서(processor)를 포함하고, 위와 같은 작업은 프로세서에 의해 수행될 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.Here, the apparatus for providing a composite image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention may include a control unit. The control unit includes at least one processor. . Herein, the term " processor " may refer to a data processing apparatus embedded in hardware, for example, having a circuit physically structured to perform a function represented by a code or an instruction contained in the program. As an example of the data processing apparatus built in hardware, a microprocessor, a central processing unit (CPU), a processor core, a multiprocessor, an application-specific integrated circuit (ASIC) circuit, and a field programmable gate array (FPGA), but the scope of the present invention is not limited thereto.

이 때, 두 영상(111, 121)은 서로 다른 파장의 광을 센싱하여 기록한 것이기 때문에 영상 전체에 대해서 시차를 검출하는 경우에는 많은 오차가 발생할 수 있다. 따라서, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치는 두 영상(111, 121)에 대해 엣지를 검출하고, 검출된 엣지들에 대해 대응되는 부분들을 매칭을 수행하고, 대응되지 아니하는 부분들을 제외한 엣지 정보들만을 이용하여 시차 정보를 획득함으로써, 영상 전체가 아닌 영상의 일부분(엣지)에 대해서 시차를 검출해낼 수 있다.At this time, since the two images 111 and 121 are obtained by sensing light of different wavelengths, many errors may occur when detecting the parallax with respect to the entire image. Accordingly, an apparatus for providing a composite image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention detects edges of two images 111 and 121, performs matching of corresponding parts of the detected edges , It is possible to detect the parallax with respect to a part (edge) of the image rather than the whole image by obtaining the parallax information using only the edge information except for the parts that are not corresponded.

본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치는 위와 같은 방법으로 획득된 거리 정보를 영상(111)에 포함시킴으로써, 합성 영상(135)을 생성 및 제공할 수 있다.The combined image providing apparatus for a visible light image and an invisible light image according to an embodiment of the present invention can generate and provide the combined image 135 by including the distance information obtained by the above method in the image 111. [

비록 도 1에서는 거리 정보가 수치(12m)로 표시되었으나, 본 발명은 거리 정보의 표시 방법에 대해서는 제한되지 아니하며, 거리에 따른 색상이나 볼륨감 부여 등을 통해 표시하는 등 거리 정보를 표시하기 위한 방법이면 제한 없이 차용될 수 있다.Although the distance information is represented by a numerical value (12 m) in FIG. 1, the present invention is not limited to the display method of the distance information, and a method for displaying distance information such as display by color, Can be borrowed without restriction.

도 2는 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치의 구성을 나타낸 블록도이다.2 is a block diagram illustrating a configuration of an apparatus for providing a composite image of a visible light image and an invisible light image according to an embodiment of the present invention.

도 2를 참조하면, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치는 영상 획득부(210), 입체 정보 생성부(220), 기준 영상 결정부(230) 및 합성 영상 제공부(240) 등을 포함한다.2, an apparatus for providing a combined image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention includes an image obtaining unit 210, a three-dimensional information generating unit 220, a reference image determining unit 230, An image providing unit 240, and the like.

영상 획득부(210)는 하나의 가시광 카메라 및 하나의 비가시광 카메라로부터 각각 가시광 영상 및 비가시광 영상을 획득한다.The image obtaining unit 210 obtains the visible light image and the non-visible light image from one visible light camera and one non-visible light camera, respectively.

선택적 실시예에서, 영상 획득부(210)는 하나의 가시광 카메라 및 하나의 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 가시광 영상 및 비가시광 영상을 획득할 수 있다.In an alternative embodiment, the image acquisition unit 210 may acquire a visible light image and an invisible light image with the optical axes of the lenses of one visible light camera and one of the non-visible light cameras set parallel to each other.

이에 따라, 영상 획득부(210)는 두 카메라 각각이 사람의 좌안 또는 우안의 역할을 하게끔 할 수 있다.Accordingly, the image acquiring unit 210 can allow each of the two cameras to function as a left eye or a right eye of a person.

입체 정보 생성부(220)는 가시광 영상 및 비가시광 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나를 우안 영상으로 설정하고, 좌안 영상 및 우안 영상을 이용하여 입체 정보를 생성한다.The stereoscopic information generator 220 sets either the visible light image or the non-visible light image as the left eye image, sets the other as the right eye image, and generates the stereoscopic information using the left eye image and the right eye image.

선택적 실시예에서, 입체 정보 생성부(220)는 가시광 영상 및 비가시광 영상 각각에서 엣지(edge)를 검출하고, 가시광 영상의 엣지와 비가시광 영상의 엣지를 매칭하고, 매칭된 엣지의 디스패리티(disparity)를 검출할 수 있다.In an alternative embodiment, the stereoscopic information generator 220 may detect an edge in each of the visible light image and the non-visible light image, match the edge of the visible light image with the edge of the non-visible light image, disparity can be detected.

여기서, 가시광 영상의 해상도와 비가시광 영상의 해상도가 상이할 수 있는데, 이 경우, 입체 정보 생성부(220)는 가시광 영상 및 비가시광 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을, 나머지 하나의 영상의 해상도에 맞추어 업스케일링할 수 있다.Here, the resolution of the visible light image may differ from the resolution of the non-visible light image. In this case, the stereoscopic information generator 220 converts one of the visible light image and the non- Upscaling can be performed in accordance with the resolution of the image of the image.

이에 따라, 가시광 영상의 해상도와 비가시광 영상의 해상도가 상이하더라도, 같은 해상도 상에서 엣지를 검출하거나, 검출된 엣지를 같은 해상도 상에서 매칭할 수 있다.Accordingly, even if the resolution of the visible light image and the resolution of the non-visible light image are different, the edge can be detected at the same resolution or the detected edge can be matched at the same resolution.

또한, 가시광 영상과 비가시광 영상에 포함된 정보가 상이하여 유효한 디스패리티가 산출될 수 없는 경우에도, 엣지를 검출한 뒤, 두 영상의 엣지를 비교하여 매칭이 되는 부분만을 남긴 뒤, 해당 엣지를 이용하여 디스패리티를 산출하게끔 함으로서, 본 발명으로 하여금 유효한 디스패리티가 산출되도록 할 수 있다.In addition, even when the effective disparity can not be calculated because the information contained in the visible light image and the nonvisible light image are different from each other, after detecting the edge, the edges of the two images are compared to leave only the matching part, So that the effective disparity can be calculated by the present invention.

엣지의 매칭의 경우, 좌안 영상의 엣지는 좌측으로, 우안 영상의 엣지는 우측으로 픽셀 단위로 이동시켜가며 두 영상의 엣지가 일치하는 부분들을 추출하는 방법을 통해 매칭시킬 수 있다.In the case of edge matching, the edge of the left eye image is shifted to the left side and the edge of the right eye image is shifted to the right side pixel by pixel, and matching can be performed by extracting the parts where the edges of the two images coincide.

선택적 실시예에서, 입체 정보 생성부(220)는 매칭된 엣지의 디스패리티를 이용하여, 엣지에 상응하는 거리 정보를 입체 정보로서 생성할 수 있다.In an alternative embodiment, the stereoscopic information generator 220 may generate distance information corresponding to the edge as stereoscopic information, using the disparity of the matched edges.

이 경우, 입체 정보 생성부(220)는 디스패리티가 상대적으로 클수록 거리가 가까운 것으로 판단할 수 있다.In this case, the stereoscopic-information generating unit 220 can determine that the distance is shorter as the disparity is relatively larger.

이에 따라, 입체 정보 생성부(220)는 영상 전체에 대한 디스패리티가 아닌 엣지 부분에 대한 디스패리티를 검출하고, 엣지 부분에 대한 거리 정보만을 입체 정보로서 생성할 수 있다.Accordingly, the stereoscopic-information generating unit 220 can detect the disparity of the edge portion, not the disparity of the entire image, and generate only the distance information about the edge portion as the stereoscopic information.

기준 영상 결정부(230)는 가시광 영상에 제1 가중치를 적용하고, 비가시광 영상에 제1 가중치와 서로 다른 제2 가중치를 적용하고, 제1 가중치가 적용된 가시광 영상 및 제2 가중치가 적용된 비가시광 영상을 결합하여 기준 영상을 생성한다.The reference image determiner 230 applies a first weight to the visible light image, applies a second weight different from the first weight to the non-visible light image, and applies the visible light image to which the first weight is applied and the invisible light to which the second weight is applied And the reference image is generated by combining the images.

선택적 실시예에서, 기준 영상 결정부(230)는 가시광 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 비가시광 영상에서 검출된 엣지에 상응하는 제2 엣지 지수의 비율로 설정된 제1 가중치 및 제2 가중치를 이용하여, 가시광 영상 및 비가시광 영상 각각에 가중치를 적용하여 결합할 수 있다.In an alternative embodiment, the reference image determiner 230 may determine a first weight index that is set as a ratio of a first edge index corresponding to an edge detected in a visible light image and a second edge index corresponding to an edge detected in an invisible image, By using the two weights, weights can be applied to each of the visible light image and the non-visible light image to combine them.

이 경우, 기준 영상 결정부(230)는 가시광 영상에서 검출된 엣지의 개수보다 비가시광 영상에서 검출된 엣지의 개수가 더 많은 경우, 제1 엣지 지수보다 제2 엣지 지수가 더 큰 것으로 판단할 수 있다.In this case, when the number of edges detected in the invisible light image is larger than the number of edges detected in the visible light image, the reference image determiner 230 can determine that the second edge index is larger than the first edge index have.

선택적 실시예에서, 기준 영상 결정부(230)는 영상 획득 시간대에 따라 가시광 영상과 비가시광 영상의 가중치를 달리 적용할 수 있다.In an alternative embodiment, the reference image determiner 230 may apply different weights of the visible light image and the non-visible light image according to the image acquisition time period.

이 경우, 기준 영상 결정부(230)는 시간대가 낮인 경우, 상대적으로 가시광 영상의 가중치가 높고, 시간대가 밤인 경우, 상대적으로 비가시광 영상의 가중치가 높도록 판단할 수 있다.In this case, when the time zone is low, the reference image determiner 230 can determine that the weight of the non-visible light image is relatively high when the weight of the visible light image is relatively high and the time zone is night.

이와 같이, 두 영상을 적절히 혼합한 영상을 기준 영상으로 제공함으로써, 가시광 영상 또는 비가시광 영상만을 제공하는 경우에 비해 시각적 개선 효과를 가질 수 있다.By providing an image obtained by appropriately mixing two images as a reference image, a visual improvement effect can be obtained as compared with a case where only a visible light image or an invisible light image is provided.

합성 영상 제공부(240)는 기준 영상에 입체 정보를 포함시켜 합성 영상을 생성하고, 합성 영상을 제공한다.The composite image providing unit 240 generates a composite image by including stereoscopic information in a reference image, and provides a composite image.

선택적 실시예에서, 합성 영상 제공부(240)는 기준 영상에 엣지에 상응하는 거리 정보를 포함시켜 합성 영상을 생성할 수 있다.In an alternative embodiment, the composite image providing unit 240 may generate a composite image by including distance information corresponding to an edge in a reference image.

이와 같이, 가시광 영상과 비가시광 영상을 적절히 혼합한 영상을 제공하면서도, 영상 내 부분적 입체 정보를 더 제공함으로써, 사용자에게 보다 유용한 정보를 제공할 수 있다.As described above, while providing an image in which a visible light image and an invisible light image are properly mixed, it is possible to provide more useful information to a user by providing partial stereoscopic information in the image.

도 3은 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법을 나타낸 동작 흐름도이다.3 is a flowchart illustrating a method of providing a composite image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법은 카메라들로부터 영상을 획득한다(S310).Referring to FIG. 3, a method of providing a composite image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention acquires an image from cameras (S310).

단계(S310)는 영상 획득부(도 2의 210 참조)가, 하나의 가시광 카메라 및 하나의 비가시광 카메라로부터 각각 가시광 영상 및 비가시광 영상을 획득할 수 있다.Step S310 may acquire the visible light image and the non-visible light image from one visible light camera and one non-visible light camera, respectively, by the image obtaining unit (see 210 in FIG. 2).

단계(S310)에서, 영상 획득부(도 2의 210 참조)는 하나의 가시광 카메라 및 하나의 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 가시광 영상 및 비가시광 영상을 획득할 수 있다.In step S310, the image acquiring unit (see 210 in FIG. 2) may acquire a visible light image and an invisible light image with the optical axes of the lenses of one visible light camera and one of the non-visible light cameras set parallel to each other.

이에 따라, 영상 획득부(도 2의 210 참조)는 두 카메라 각각이 사람의 좌안 또는 우안의 역할을 하게끔 할 수 있다.Accordingly, the image acquisition unit (see 210 in FIG. 2) can make each of the two cameras serve as the left or right eye of a person.

또한, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법은 영상을 이용하여 입체 정보를 생성한다(S320).In addition, in a method of providing a composite image of a visible light image and an invisible light image according to an embodiment of the present invention, stereoscopic information is generated using an image at step S320.

단계(S320)는 입체 정보 생성부(도 2의 220 참조)가, 가시광 영상 및 비가시광 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나를 우안 영상으로 설정하고, 좌안 영상 및 우안 영상을 이용하여 입체 정보를 생성할 수 있다.In step S320, the stereoscopic information generator 220 (see FIG. 2) sets one of the visible light image and the non-visible light image as the left eye image, sets the remaining one as the right eye image, uses the left eye image and the right eye image So that stereoscopic information can be generated.

단계(S320)에서, 입체 정보 생성부(도 2의 220 참조)는 가시광 영상 및 비가시광 영상 각각에서 엣지(edge)를 검출하고, 가시광 영상의 엣지와 비가시광 영상의 엣지를 매칭하고, 매칭된 엣지의 디스패리티(disparity)를 검출할 수 있다.In step S320, the stereoscopic information generator 220 (see FIG. 2) detects an edge in each of the visible light image and the non-visible light image, and matches the edge of the visible light image and the edge of the non-visible light image, The disparity of the edge can be detected.

여기서, 가시광 영상의 해상도와 비가시광 영상의 해상도가 상이할 수 있는데, 이 경우, 입체 정보 생성부(도 2의 220 참조)는 가시광 영상 및 비가시광 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을, 나머지 하나의 영상의 해상도에 맞추어 업스케일링할 수 있다.Here, the resolution of the visible light image and the resolution of the non-visible light image may be different. In this case, the stereoscopic information generator 220 (see FIG. 2) may display one of the visible light image and non- Can be upscaled according to the resolution of the remaining one image.

이에 따라, 가시광 영상의 해상도와 비가시광 영상의 해상도가 상이하더라도, 같은 해상도 상에서 엣지를 검출하거나, 검출된 엣지를 같은 해상도 상에서 매칭할 수 있다.Accordingly, even if the resolution of the visible light image and the resolution of the non-visible light image are different, the edge can be detected at the same resolution or the detected edge can be matched at the same resolution.

또한, 가시광 영상과 비가시광 영상에 포함된 정보가 상이하여 유효한 디스패리티가 산출될 수 없는 경우에도, 엣지를 검출한 뒤, 두 영상의 엣지를 비교하여 매칭이 되는 부분만을 남긴 뒤, 해당 엣지를 이용하여 디스패리티를 산출하게끔 함으로서, 본 발명으로 하여금 유효한 디스패리티가 산출되도록 할 수 있다.In addition, even when the effective disparity can not be calculated because the information contained in the visible light image and the nonvisible light image are different from each other, after detecting the edge, the edges of the two images are compared to leave only the matching part, So that the effective disparity can be calculated by the present invention.

단계(S320)에서, 입체 정보 생성부(도 2의 220 참조)는 매칭된 엣지의 디스패리티를 이용하여, 엣지에 상응하는 거리 정보를 입체 정보로서 생성할 수 있다.In step S320, the stereoscopic information generator 220 (see FIG. 2) may generate distance information corresponding to the edge as stereoscopic information using the disparity of the matched edge.

이 경우, 입체 정보 생성부(도 2의 220 참조)는 디스패리티가 상대적으로 클수록 거리가 가까운 것으로 판단할 수 있다.In this case, the stereoscopic information generator 220 (see FIG. 2) can determine that the distance is closer as the disparity becomes larger.

이에 따라, 입체 정보 생성부(도 2의 220 참조)는 영상 전체에 대한 디스패리티가 아닌 엣지 부분에 대한 디스패리티를 검출하고, 엣지 부분에 대한 거리 정보만을 입체 정보로서 생성할 수 있다.Accordingly, the stereoscopic information generating unit (see 220 in FIG. 2) can detect the disparity for the edge portion, not the disparity for the whole image, and generate only the distance information for the edge portion as the stereoscopic information.

또한, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법을 위하여 기준 영상을 결정한다(S330).In addition, a reference image is determined for a composite image providing method of a visible light image and an invisible light image according to an exemplary embodiment of the present invention (S330).

단계(S330)는 기준 영상 결정부(도 2의 230 참조)가, 가시광 영상에 제1 가중치를 적용하고, 비가시광 영상에 제1 가중치와 서로 다른 제2 가중치를 적용하고, 제1 가중치가 적용된 가시광 영상 및 제2 가중치가 적용된 비가시광 영상을 결합하여 기준 영상을 생성할 수 있다.In step S330, the reference image determiner (see 230 in FIG. 2) applies a first weight to the visible light image, applies a second weight different from the first weight to the invisible light image, The reference image can be generated by combining the visible light image and the non-visible light image to which the second weight is applied.

단계(S330)에서, 기준 영상 결정부(도 2의 230 참조)는 가시광 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 비가시광 영상에서 검출된 엣지에 상응하는 제2 엣지 지수의 비율로 설정된 제1 가중치 및 제2 가중치를 이용하여, 가시광 영상 및 비가시광 영상 각각에 가중치를 적용하여 결합할 수 있다.2) is set to a ratio of a first edge index corresponding to an edge detected in the visible light image and a second edge index corresponding to an edge detected in the non-visible image, in step S330. The first weight and the second weight may be used to combine the visible light image and the non-visible light image by weighting them.

이 경우, 기준 영상 결정부(도 2의 230 참조)는 가시광 영상에서 검출된 엣지의 개수보다 비가시광 영상에서 검출된 엣지의 개수가 더 많은 경우, 제1 엣지 지수보다 제2 엣지 지수가 더 큰 것으로 판단할 수 있다.In this case, when the number of edges detected in the invisible light image is larger than the number of edges detected in the visible light image, the reference image determiner 230 (see FIG. 2) determines that the second edge index is larger than the first edge index .

단계(S330)에서, 기준 영상 결정부(도 2의 230 참조)는 영상 획득 시간대에 따라 가시광 영상과 비가시광 영상의 가중치를 달리 적용할 수 있다.In step S330, the reference image determiner (see 230 in FIG. 2) may apply different weights of the visible light image and the non-visible light image according to the image acquisition time period.

이 경우, 기준 영상 결정부(도 2의 230 참조)는 시간대가 낮인 경우, 상대적으로 가시광 영상의 가중치가 높고, 시간대가 밤인 경우, 상대적으로 비가시광 영상의 가중치가 높도록 판단할 수 있다.In this case, when the time zone is low, the reference image determiner 230 can determine that the weight of the nonvisible light image is relatively high when the weight of the visible light image is relatively high and the time zone is night.

이와 같이, 두 영상을 적절히 혼합한 영상을 기준 영상으로 제공함으로써, 가시광 영상 또는 비가시광 영상만을 제공하는 경우에 비해 시각적 개선 효과를 가질 수 있다.By providing an image obtained by appropriately mixing two images as a reference image, a visual improvement effect can be obtained as compared with a case where only a visible light image or an invisible light image is provided.

또한, 본 발명의 일 실시예에 따른 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법은 기준 영상에 입체 정보를 합성한 합성 영상을 제공한다(S340).In addition, the method of providing a composite image of a visible light image and an invisible light image according to an exemplary embodiment of the present invention provides a composite image obtained by synthesizing stereoscopic information on a reference image (S340).

단계(S340)는 합성 영상 제공부(도 2의 240 참조)가, 기준 영상에 엣지에 상응하는 거리 정보를 포함시켜 합성 영상을 생성할 수 있다.In step S340, the synthesized image providing unit (see 240 in FIG. 2) may include the distance information corresponding to the edge in the reference image to generate a composite image.

이와 같이, 가시광 영상과 비가시광 영상을 적절히 혼합한 영상을 제공하면서도, 영상 내 부분적 입체 정보를 더 제공함으로써, 사용자에게 보다 유용한 정보를 제공할 수 있다.As described above, while providing an image in which a visible light image and an invisible light image are properly mixed, it is possible to provide more useful information to a user by providing partial stereoscopic information in the image.

도 4는 도 3에 도시된 입체 정보를 생성하는 단계(S320)의 일 예를 나타낸 동작 흐름도이다.FIG. 4 is an operational flowchart showing an example of generating the stereoscopic information (S320) shown in FIG.

도 4를 참조하면, 도 3에 도시된 입체 정보를 생성하는 단계(S320)는 먼저 영상에서 엣지를 검출한다(S410).Referring to FIG. 4, in step S320 of generating the stereoscopic information shown in FIG. 3, an edge is first detected in an image (S410).

단계(S410)는 입체 정보 생성부(도 2의 220 참조)가, 영상 내에서 특정 픽셀의 값 및 주변 픽셀의 값이 기준 값 이상 차이 나는 경우, 해당 픽셀들을 그룹핑하고, 기준 픽셀 수 이상이 되는 그룹들을 엣지로서 검출할 수 있다.In step S410, when the value of a specific pixel and the value of a surrounding pixel differ from each other by a reference value or more in the image, the three-dimensional information generating unit (refer to 220 in FIG. 2) groups the corresponding pixels, Groups can be detected as edges.

다음으로, 도 3에 도시된 입체 정보를 생성하는 단계(S320)는 엣지를 매칭한다(S420).Next, the step S320 of generating the stereoscopic information shown in Fig. 3 matches the edges (S420).

단계(S420)는 입체 정보 생성부(도 2의 220 참조)가, 좌안 영상의 엣지는 좌측으로, 우안 영상의 엣지는 우측으로 픽셀 단위로 이동시켜가며 두 영상의 엣지가 일치하는 부분들을 추출하는 방법을 통해 매칭시킬 수 있다.In step S420, the stereoscopic information generator 220 (see FIG. 2) moves the edges of the left eye image to the left side and the edges of the right eye image to the right side in units of pixels, and extracts portions where the edges of the two images coincide Method.

다음으로, 도 3에 도시된 입체 정보를 생성하는 단계(S320)는 디스패리티를 검출한다(S430).Next, the step of generating stereoscopic information (S320) shown in Fig. 3 detects the disparity (S430).

단계(S430)는 입체 정보 생성부(도 2의 220 참조)가, 매칭된 엣지의 디스패리티를 이용하여, 엣지에 상응하는 거리 정보를 입체 정보로서 생성할 수 있다.In step S430, the stereoscopic information generation unit (see 220 in FIG. 2) may generate the distance information corresponding to the edge as the stereoscopic information, using the disparity of the matched edge.

이에 따라, 입체 정보 생성부(도 2의 220 참조)는 영상 전체에 대한 디스패리티가 아닌 엣지 부분에 대한 디스패리티를 검출하고, 엣지 부분에 대한 거리 정보만을 입체 정보로서 생성할 수 있다.Accordingly, the stereoscopic information generating unit (see 220 in FIG. 2) can detect the disparity for the edge portion, not the disparity for the whole image, and generate only the distance information for the edge portion as the stereoscopic information.

도 5는 본 발명의 일 실시예에 따른 입체 정보를 생성하는 과정을 나타낸 도면이다.5 is a diagram illustrating a process of generating stereoscopic information according to an exemplary embodiment of the present invention.

도 5를 참조하면, 본 발명의 일 실시예에 따른 입체 정보를 생성하는 과정 영상(111) 및 영상(121)을 이용하여 입체 정보(131)를 생성한다.5, stereoscopic information 131 is generated using a process image 111 and an image 121 for generating stereoscopic information according to an embodiment of the present invention.

먼저, 입체 정보 생성부(도 2의 220 참조)는 각각의 영상(111, 121) 내에서 특정 픽셀의 값 및 주변 픽셀의 값이 기준 값 이상 차이 나는 경우, 해당 픽셀들을 그룹핑하고, 기준 픽셀 수 이상이 되는 그룹들을 엣지로서 검출할 수 있다.First, when a value of a specific pixel and a value of a neighboring pixel differ from each other in the images 111 and 121 by a reference value, the three-dimensional information generating unit 220 (see FIG. 2) groups the pixels, Or more can be detected as an edge.

예컨대, 영상(111)의 경우, 전경(사람) 및 배경에 대해 엣지가 검출되고, 영상(121)의 경우, 전경(사람)에 대해서만 엣지가 검출될 수 있다.For example, in the case of the image 111, the edge is detected with respect to the foreground (person) and the background, and in the case of the image 121, the edge can be detected only with respect to the foreground (person).

다음으로, 입체 정보 생성부(도 2의 220 참조)는 영상(111, 121) 각각에서 검출된 엣지들에 대하여, 영상(111)이 좌안 영상이고, 영상(121)이 우안 영상인 경우, 좌안 영상의 엣지는 좌측으로, 우안 영상의 엣지는 우측으로 픽셀 단위로 이동시켜가며 두 영상의 엣지가 일치하는 부분이 존재하는 경우, 해당 엣지들을 매칭된 엣지, 나머지 엣지들을 매칭되지 아니한 엣지로 분류할 수 있다.Next, when the image 111 is the left eye image and the image 121 is the right eye image with respect to the edges detected in each of the images 111 and 121, the three-dimensional information generating unit (see 220 in FIG. 2) The edges of the image are shifted to the left and the edges of the right eye image are shifted to the right by pixels. If there is a portion where edges of two images coincide with each other, the corresponding edges are classified as matched edges and the remaining edges are classified as unmatched edges .

예컨대, 영상(111, 121)의 경우, 전경(사람)에 대한 엣지 부분만이 매칭된 엣지로 분류될 수 있다.For example, in the case of the images 111 and 121, only the edge portion with respect to the foreground (person) can be classified as a matched edge.

다음으로, 입체 정보 생성부(도 2의 220 참조)는 매칭된 엣지의 디스패리티를 이용하여, 엣지에 상응하는 거리 정보를 입체 정보(131)로서 생성할 수 있다.Next, the three-dimensional information generating unit (see 220 in FIG. 2) can generate the distance information corresponding to the edge as the three-dimensional information 131 by using the disparity of the matched edge.

이에 따라, 영상(111, 121)에서의 전경(사람) 부분에 대해 디스패리티가 산출될 수 있고, 디스패리티를 거리 정보로 환산함으로써, 전경(사람) 부분에 대한 거리 정보가 12m임이 산출될 수 있다.Accordingly, the disparity can be calculated for the foreground (human) portion in the images 111 and 121, and the distance information for the foreground (person) portion can be calculated to be 12 m by converting the disparity into the distance information have.

도 6은 본 발명의 일 실시예에 따른 기준 영상을 생성하는 과정을 나타낸 도면이다.6 is a diagram illustrating a process of generating a reference image according to an embodiment of the present invention.

도 6을 참조하면, 본 발명의 일 실시예에 따른 기준 영상을 생성하는 과정은 영상(111) 및 영상(121)을 이용하여 기준 영상을 생성한다.Referring to FIG. 6, in the process of generating a reference image according to an embodiment of the present invention, a reference image is generated using an image 111 and an image 121.

기준 영상은 영상(111) 및 영상(121) 각각에 소정의 가중치를 적용한 뒤 블렌딩하는 방식으로 생성될 수 있다.The reference image may be generated by applying a predetermined weight to each of the image 111 and the image 121, and then blending the reference image.

예컨대, 영상(111)의 가중치가 1이고, 영상(121)의 가중치가 0인 경우에는 영상(111)이 기준 영상이 될 수 있고, 영상(121)의 가중치가 1이고, 영상(111)의 가중치가 0인 경우에는 영상(121)이 기준 영상이 될 수 있다. 또한, 영상(111)의 가중치가 0.5이고, 영상(121)의 가중치가 0.5인 경우에는 영상(111)과 영상(121)에 각각 투명도를 50%씩 적용하여 겹친 결과(오버레이 블렌딩)가 기준 영상이 될 수 있다. 여기서 가중치에 따라 두 영상(111, 121)을 블렌딩하는 방법에 있어서는 오버레이 블렌딩 외에, 다양한 방식이 적용될 수 있다.For example, when the weight of the image 111 is 1 and the weight of the image 121 is 0, the image 111 can be the reference image, the weight of the image 121 is 1, If the weight is 0, the image 121 can be a reference image. When the weight of the image 111 is 0.5 and the weight of the image 121 is 0.5, overlapping results (overlay blending) are applied to the image 111 and the image 121 by 50% . Here, in the method of blending the two images 111 and 121 according to the weights, various methods other than overlay blending can be applied.

즉, 도 1과 도 7에서의 기준 영상(132)은 영상(111)의 가중치가 1이고, 영상(121)의 가중치가 0인 경우를 가정한 것이며, 실제 기준 영상(132)은 도 6에 예시된 후보 영상(132a, 132b, 132c)들 중 어느 하나로 제한되는 것은 아니다.That is, the reference image 132 in FIGS. 1 and 7 assumes that the weight of the image 111 is 1 and the weight of the image 121 is 0. The actual reference image 132 is shown in FIG. But is not limited to any one of the exemplified candidate images 132a, 132b, and 132c.

가중치의 결정은, 기준 영상 결정부(도 2의 230 참조)가, 가시광 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 비가시광 영상에서 검출된 엣지에 상응하는 제2 엣지 지수의 비율로 설정될 수 있다.2) is set to a ratio of a first edge index corresponding to an edge detected in the visible light image and a second edge index corresponding to an edge detected in the nonvisible light image, .

기준 영상 결정부(도 2의 230 참조)는 가시광 영상에서 검출된 엣지의 개수보다 비가시광 영상에서 검출된 엣지의 개수가 더 많은 경우, 제1 엣지 지수보다 제2 엣지 지수가 더 큰 것으로 판단할 수 있다.If the number of edges detected in the invisible light image is larger than the number of edges detected in the visible light image, the reference image determining unit 230 (see FIG. 2) determines that the second edge index is larger than the first edge index .

또한, 기준 영상 결정부(도 2의 230 참조)는 영상 획득 시간대를 고려하여 가시광 영상과 비가시광 영상의 가중치를 달리 적용할 수 있다.In addition, the reference image determiner (see 230 in FIG. 2) may apply different weights of the visible light image and the non-visible light image in consideration of the image acquisition time period.

이 경우, 기준 영상 결정부(도 2의 230 참조)는 시간대가 낮인 경우, 상대적으로 가시광 영상의 가중치가 높아지도록 조정하고, 시간대가 밤인 경우, 상대적으로 비가시광 영상의 가중치가 높아지도록 조정할 수 있다.In this case, the reference image determiner (see 230 in FIG. 2) may adjust the weight of the visible light image to be relatively high when the time zone is low, and adjust the weight of the nonvisible light image relatively high when the time zone is night .

도 7은 본 발명의 일 실시예에 따른 합성 영상을 제공하는 과정을 나타낸 도면이다.7 is a view illustrating a process of providing a composite image according to an embodiment of the present invention.

도 7을 참조하면, 본 발명의 일 실시예에 따른 합성 영상을 제공하는 과정은 도 5에서 생성된 입체 정보(131)를 도 6에서 생성된 기준 영상(132)에 부가하여 합성 영상(135)을 생성한다.Referring to FIG. 7, in the process of providing a composite image according to an embodiment of the present invention, the stereoscopic information 131 generated in FIG. 5 is added to the reference image 132 generated in FIG. .

합성 영상 제공부(도 2의 240 참조)는 기준 영상에 엣지에 상응하는 거리 정보를 포함시켜 합성 영상을 생성할 수 있다.The synthesized image providing unit 240 can generate a synthesized image by including distance information corresponding to the edge in the reference image.

예컨대, 합성 영상 제공부(도 2의 240 참조)는 거리 정보가 12m이고, 영상(111)이 기준 영상(132)으로 결정된 경우, 기준 영상(132)에 거리 정보를 결합하여 영상(135)을 생성할 수 있다. For example, when the distance information is 12 m and the image 111 is determined as the reference image 132, the synthesized image providing unit 240 (see FIG. 2) combines the distance information with the reference image 132, Can be generated.

이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 하나 이상의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.The embodiments of the present invention described above can be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program commands, data files, data structures, and the like, alone or in combination. The program instructions recorded on the computer-readable recording medium may be those specifically designed and configured for the present invention or may be those known and used by those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape, optical recording media such as CD-ROM and DVD, magneto-optical media such as floptical disks, medium, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code, such as those generated by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware device may be modified into one or more software modules for performing the processing according to the present invention, and vice versa.

본 발명에서 설명하는 특정 실행들은 일 실시 예들로서, 어떠한 방법으로도 본 발명의 범위를 한정하는 것은 아니다. 명세서의 간결함을 위하여, 종래 전자적인 구성들, 제어 시스템들, 소프트웨어, 상기 시스템들의 다른 기능적인 측면들의 기재는 생략될 수 있다. 또한, 도면에 도시된 구성 요소들 간의 선들의 연결 또는 연결 부재들은 기능적인 연결 및/또는 물리적 또는 회로적 연결들을 예시적으로 나타낸 것으로서, 실제 장치에서는 대체 가능하거나 추가의 다양한 기능적인 연결, 물리적인 연결, 또는 회로 연결들로서 나타내어질 수 있다. 또한, “필수적인”, “중요하게” 등과 같이 구체적인 언급이 없다면 본 발명의 적용을 위하여 반드시 필요한 구성 요소가 아닐 수 있다.The specific acts described in the present invention are, by way of example, not intended to limit the scope of the invention in any way. For brevity of description, descriptions of conventional electronic configurations, control systems, software, and other functional aspects of such systems may be omitted. Also, the connections or connecting members of the lines between the components shown in the figures are illustrative of functional connections and / or physical or circuit connections, which may be replaced or additionally provided by a variety of functional connections, physical Connection, or circuit connections. Also, unless explicitly mentioned, such as " essential ", " importantly ", etc., it may not be a necessary component for application of the present invention.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.Accordingly, the spirit of the present invention should not be construed as being limited to the above-described embodiments, and all ranges that are equivalent to or equivalent to the claims of the present invention as well as the claims .

110, 120: 카메라들 111, 121: 영상들
131: 입체 정보 132: 기준 영상
132a, 132b, 132c: 후보 영상 135: 합성 영상
210: 영상 획득부 220: 입체 정보 생성부
230: 기준 영상 결정부 240: 합성 영상 제공부110, 120: cameras 111, 121: images
131: stereoscopic information 132: reference image
132a, 132b, 132c: candidate image 135: composite image
210: image acquisition unit 220: stereoscopic information generation unit
230: reference image determining unit 240: synthesized image providing unit

Claims (17)

하나의 가시광 카메라 및 하나의 비가시광 카메라로부터 각각 가시광 영상 및 비가시광 영상을 획득하는 단계;
상기 가시광 영상 및 상기 비가시광 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나를 우안 영상으로 설정하고, 상기 좌안 영상 및 상기 우안 영상을 이용하여 입체 정보를 생성하는 단계;
상기 가시광 영상에 제1 가중치를 적용하고, 상기 비가시광 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 상기 가시광 영상 및 상기 제2 가중치가 적용된 상기 비가시광 영상을 결합하여 기준 영상을 생성하는 단계; 및
상기 기준 영상에 상기 입체 정보를 포함시켜 합성 영상을 생성하고, 상기 합성 영상을 제공하는 단계;를 포함하고,
상기 기준 영상을 생성하는 단계는
상기 가시광 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 상기 비가시광 영상에서 검출된 엣지에 상응하는 제2 엣지 지수의 비율로 설정된 상기 제1 가중치 및 상기 제2 가중치를 이용하여, 상기 가시광 영상 및 상기 비가시광 영상 각각에 가중치를 적용하여 결합하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법.Obtaining a visible light image and an invisible light image from a visible light camera and an invisible light camera, respectively;
Setting one of the visible light image and the non-visible light image as a left eye image and setting the other as a right eye image, and generating stereoscopic information using the left eye image and the right eye image;
Wherein the first weight is applied to the visible light image, a second weight different from the first weight is applied to the nonvisible light image, and the visible light image to which the first weight is applied and the non- To generate a reference image; And
Generating a synthesized image by including the stereoscopic information in the reference image, and providing the synthesized image,
The step of generating the reference image
Wherein the first weight and the second weight are set to a ratio of a first edge index corresponding to an edge detected in the visible light image and a second edge index corresponding to an edge detected in the invisible light image, And applying a weight to each of the non-visible light images to combine the visible light image and the non-visible light image. 제1 항에 있어서,
상기 가시광 영상 및 비가시광 영상을 획득하는 단계는
하나의 가시광 카메라 및 하나의 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 상기 가시광 영상 및 비가시광 영상을 획득하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법.The method according to claim 1,
The step of acquiring the visible light image and the non-
Wherein the visible light image and the non-visible light image are acquired while the optical axes of the lenses of the one visible light camera and the one non-visible light camera are set parallel to each other. 제2 항에 있어서,
상기 입체 정보를 생성하는 단계는
상기 가시광 영상 및 상기 비가시광 영상 각각에서 엣지(edge)를 검출하는 단계;
상기 가시광 영상의 엣지와 상기 비가시광 영상의 엣지를 매칭하는 단계; 및
상기 매칭된 엣지의 디스패리티(disparity)를 검출하는 단계;를 포함하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법.3. The method of claim 2,
The step of generating the stereoscopic information
Detecting an edge in each of the visible light image and the non-visible light image;
Matching an edge of the visible light image with an edge of the invisible light image; And
And detecting a disparity of the matched edge based on the disparity of the matched edge. 제3 항에 있어서,
상기 입체 정보를 생성하는 단계는
상기 엣지를 검출하는 단계 또는 상기 엣지를 매칭하는 단계에 앞서, 상기 가시광 영상 및 상기 비가시광 영상의 해상도가 상이한 경우, 상기 가시광 영상 및 상기 비가시광 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을, 나머지 하나의 영상의 해상도에 맞추어 업스케일링하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법.The method of claim 3,
The step of generating the stereoscopic information
Wherein when the resolution of the visible light image and the nonvisible light image are different from each other, either one of the visible light image and the invisible light image having a relatively low resolution is detected before the step of detecting the edge or matching the edge, And the upscaling is performed in accordance with the resolution of the remaining one of the visible image and the nonvisible image. 제3 항에 있어서,
상기 입체 정보를 생성하는 단계는
상기 매칭된 엣지의 디스패리티를 이용하여, 상기 엣지에 상응하는 거리 정보를 상기 입체 정보로서 생성하는 단계;를 더 포함하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법.The method of claim 3,
The step of generating the stereoscopic information
And generating distance information corresponding to the edge by using the disparity of the matched edge as the stereoscopic information. 삭제delete 제1 항에 있어서,
상기 기준 영상을 생성하는 단계는
상기 가시광 영상에서 검출된 엣지의 개수보다 상기 비가시광 영상에서 검출된 엣지의 개수가 더 많은 경우, 상기 제1 엣지 지수보다 상기 제2 엣지 지수가 더 큰 것으로 판단하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법.The method according to claim 1,
The step of generating the reference image
Wherein when the number of edges detected in the invisible light image is larger than the number of edges detected in the visible light image, it is determined that the second edge index is larger than the first edge index. A method for providing a composite image of an invisible light image. 제3 항에 있어서,
상기 합성 영상을 제공하는 단계는
상기 기준 영상에 상기 엣지에 상응하는 거리 정보를 포함시켜 상기 합성 영상을 생성하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 방법.The method of claim 3,
The step of providing the composite image
Wherein the synthesized image is generated by including distance information corresponding to the edge on the reference image. 하나의 가시광 카메라 및 하나의 비가시광 카메라로부터 각각 가시광 영상 및 비가시광 영상을 획득하는 영상 획득부;
상기 가시광 영상 및 상기 비가시광 영상 중 어느 하나를 좌안 영상으로 설정하고, 나머지 하나를 우안 영상으로 설정하고, 상기 좌안 영상 및 상기 우안 영상을 이용하여 입체 정보를 생성하는 입체 정보 생성부;
상기 가시광 영상에 제1 가중치를 적용하고, 상기 비가시광 영상에 상기 제1 가중치와 서로 다른 제2 가중치를 적용하고, 상기 제1 가중치가 적용된 상기 가시광 영상 및 상기 제2 가중치가 적용된 상기 비가시광 영상을 결합하여 기준 영상을 생성하는 기준 영상 결정부; 및
상기 기준 영상에 상기 입체 정보를 포함시켜 합성 영상을 생성하고, 상기 합성 영상을 제공하는 합성 영상 제공부;를 포함하고,
상기 기준 영상 결정부는
상기 가시광 영상에서 검출된 엣지에 상응하는 제1 엣지 지수 및 상기 비가시광 영상에서 검출된 엣지에 상응하는 제2 엣지 지수의 비율로 설정된 상기 제1 가중치 및 상기 제2 가중치를 이용하여, 상기 가시광 영상 및 상기 비가시광 영상 각각에 가중치를 적용하여 결합하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치.An image acquiring unit for acquiring a visible light image and an invisible light image from a visible light camera and an invisible light camera, respectively;
A stereoscopic image generation unit configured to set one of the visible light image and the non-visible light image as a left eye image and set the other as a right eye image, and generate stereoscopic information using the left eye image and the right eye image;
Wherein the first weight is applied to the visible light image, a second weight different from the first weight is applied to the nonvisible light image, and the visible light image to which the first weight is applied and the non- A reference image determiner for generating a reference image; And
And a synthesis image providing unit for synthesizing the stereoscopic information to generate a synthesized image and providing the synthesized image,
The reference image determining unit
Wherein the first weight and the second weight are set to a ratio of a first edge index corresponding to an edge detected in the visible light image and a second edge index corresponding to an edge detected in the invisible light image, And combining the visible light image and the non-visible light image by applying a weight to each of the visible light image and the non-visible light image. 제9 항에 있어서,
상기 영상 획득부는
하나의 가시광 카메라 및 하나의 비가시광 카메라 각각의 렌즈의 광축이 평행하도록 설정된 상태에서 상기 가시광 영상 및 비가시광 영상을 획득하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치.10. The method of claim 9,
The image acquiring unit
Wherein the visible light image and the non-visible light image are acquired in a state in which the optical axes of the lenses of one visible light camera and one of the non-visible light cameras are set to be parallel to each other. 제10 항에 있어서,
상기 입체 정보 생성부는
상기 가시광 영상 및 상기 비가시광 영상 각각에서 엣지(edge)를 검출하고, 상기 가시광 영상의 엣지와 상기 비가시광 영상의 엣지를 매칭하고, 상기 매칭된 엣지의 디스패리티(disparity)를 검출하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치.11. The method of claim 10,
The stereoscopic-information generating unit
The edge of the visible light image is matched with the edge of the nonvisible light image and the disparity of the matched edge is detected. A visible light image, and a non-visible light image. 제11 항에 있어서,
상기 입체 정보 생성부는
상기 엣지를 검출하거나, 상기 엣지를 매칭하기에 앞서, 상기 가시광 영상 및 상기 비가시광 영상의 해상도가 상이한 경우, 상기 가시광 영상 및 상기 비가시광 영상 중 상대적으로 낮은 해상도를 갖는 어느 하나의 영상을, 나머지 하나의 영상의 해상도에 맞추어 업스케일링하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치.12. The method of claim 11,
The stereoscopic-information generating unit
Wherein when the edge of the visible light image and the nonvisible light image are different in resolution before detecting the edge or matching the edge, any one of the visible light image and the non- Wherein the up-scaling is performed in accordance with the resolution of one image. 제11 항에 있어서,
상기 입체 정보 생성부는
상기 매칭된 엣지의 디스패리티를 이용하여, 상기 엣지에 상응하는 거리 정보를 상기 입체 정보로서 생성하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치.12. The method of claim 11,
The stereoscopic-information generating unit
Wherein the distance information corresponding to the edge is generated as the stereoscopic information using the disparity of the matched edge. 삭제delete 제9 항에 있어서,
상기 기준 영상 결정부는
상기 가시광 영상에서 검출된 엣지의 개수보다 상기 비가시광 영상에서 검출된 엣지의 개수가 더 많은 경우, 상기 제1 엣지 지수보다 상기 제2 엣지 지수가 더 큰 것으로 판단하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치.10. The method of claim 9,
The reference image determining unit
Wherein when the number of edges detected in the invisible light image is larger than the number of edges detected in the visible light image, it is determined that the second edge index is larger than the first edge index. A composite image providing apparatus for nonvisible light image. 제11 항에 있어서,
상기 합성 영상 제공부는
상기 기준 영상에 상기 엣지에 상응하는 거리 정보를 포함시켜 상기 합성 영상을 생성하는 것을 특징으로 하는, 가시광 영상 및 비가시광 영상의 합성 영상 제공 장치.12. The method of claim 11,
The composite image providing unit
Wherein the synthesized image is generated by including distance information corresponding to the edge in the reference image. 제1항 내지 제5항, 제7항 및 제8항 중 어느 한 항에 따른 방법을 실행하기 위한 프로그램이 기록되어 있는 컴퓨터 판독 가능한 기록 매체.A computer-readable recording medium on which a program for executing the method according to any one of claims 1 to 5, 7, and 8 is recorded.
KR1020160077565A 2016-06-21 2016-06-21 A method for providing fusion image of visible light image and non-visible light image and apparatus for the same KR101766864B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160077565A KR101766864B1 (en) 2016-06-21 2016-06-21 A method for providing fusion image of visible light image and non-visible light image and apparatus for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160077565A KR101766864B1 (en) 2016-06-21 2016-06-21 A method for providing fusion image of visible light image and non-visible light image and apparatus for the same

Publications (1)

Publication Number Publication Date
KR101766864B1 true KR101766864B1 (en) 2017-08-09

Family

ID=59652486

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160077565A KR101766864B1 (en) 2016-06-21 2016-06-21 A method for providing fusion image of visible light image and non-visible light image and apparatus for the same

Country Status (1)

Country Link
KR (1) KR101766864B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507558A (en) * 2020-03-24 2021-10-15 华为技术有限公司 Method and device for removing image glare, terminal equipment and storage medium

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113507558A (en) * 2020-03-24 2021-10-15 华为技术有限公司 Method and device for removing image glare, terminal equipment and storage medium

Similar Documents

Publication Publication Date Title
CN109615703B (en) Augmented reality image display method, device and equipment
US9386300B2 (en) Portable device and method for controlling the same
EP3816929B1 (en) Method and apparatus for restoring image
JP5952001B2 (en) Camera motion estimation method and apparatus using depth information, augmented reality system
US8433157B2 (en) System and method for three-dimensional object reconstruction from two-dimensional images
TWI554976B (en) Surveillance systems and image processing methods thereof
CA2650557C (en) System and method for three-dimensional object reconstruction from two-dimensional images
US9338437B2 (en) Apparatus and method for reconstructing high density three-dimensional image
Shen et al. Virtual mirror rendering with stationary rgb-d cameras and stored 3-d background
US20120242795A1 (en) Digital 3d camera using periodic illumination
JP6187640B2 (en) Image composition method and apparatus
US20150304617A1 (en) System for performing distortion correction and calibration using pattern projection, and method using the same
US20130136302A1 (en) Apparatus and method for calculating three dimensional (3d) positions of feature points
Jazayeri et al. Interest operators for feature‐based matching in close range photogrammetry
JP2010510573A (en) System and method for synthesizing a three-dimensional image
KR20130107840A (en) Apparatus and method of generating and consuming 3d data format for generation of realized panorama image
US9619886B2 (en) Image processing apparatus, imaging apparatus, image processing method and program
US20160180514A1 (en) Image processing method and electronic device thereof
CN113711276A (en) Scale-aware monocular positioning and mapping
KR20210056149A (en) Depth image generation method and depth image generation apparatus
Wang et al. Stereoscopic image retargeting based on 3D saliency detection
US20080226159A1 (en) Method and System For Calculating Depth Information of Object in Image
CN105335959B (en) Imaging device quick focusing method and its equipment
KR101829415B1 (en) A method for providing stereo-scopic image of visible light image and non-visible light image and apparatus for the same
CN103871037A (en) Method and apparatus for color transfer between images

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant