KR101245247B1 - The method and device for adjusting brightness of image and multiple camera using that - Google Patents

The method and device for adjusting brightness of image and multiple camera using that Download PDF

Info

Publication number
KR101245247B1
KR101245247B1 KR1020120095522A KR20120095522A KR101245247B1 KR 101245247 B1 KR101245247 B1 KR 101245247B1 KR 1020120095522 A KR1020120095522 A KR 1020120095522A KR 20120095522 A KR20120095522 A KR 20120095522A KR 101245247 B1 KR101245247 B1 KR 101245247B1
Authority
KR
South Korea
Prior art keywords
image
comparison
average brightness
brightness value
feature points
Prior art date
Application number
KR1020120095522A
Other languages
Korean (ko)
Inventor
김현우
권순
이장우
하재욱
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020120095522A priority Critical patent/KR101245247B1/en
Application granted granted Critical
Publication of KR101245247B1 publication Critical patent/KR101245247B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

PURPOSE: An image brightness controlling method, an apparatus and a multiple camera are provided to process an image effectively by minimizing the brightness difference between images obtained from a plurality of camera modules. CONSTITUTION: If a reference image and a comparison image photographed through a multiple camera are inputted, a brightness acquisition unit(100) obtains the average brightness value of the reference image and the comparison image. Based on the average brightness value of the reference image and the average brightness value of the comparison image, a brightness control unit(200) controls the exposure time of the multiple camera. [Reference numerals] (10) Camera module; (100) Brightness acquisition unit; (200) Brightness control unit

Description

영상 밝기 조절 방법, 장치 및 이를 이용한 다중 카메라{THE METHOD AND DEVICE FOR ADJUSTING BRIGHTNESS OF IMAGE AND MULTIPLE CAMERA USING THAT}Image brightness adjustment method, device, and multiple camera using the same {THE METHOD AND DEVICE FOR ADJUSTING BRIGHTNESS OF IMAGE AND MULTIPLE CAMERA USING THAT}

본 발명은 영상처리에 관한 것으로서, 더욱 상세하게는 복수의 카메라를 통해 영상을 획득하는 데 있어서, 각 영상 간 밝기를 조절하는 기술에 관한 것이다.The present invention relates to image processing, and more particularly, to a technique for adjusting brightness between images in acquiring images through a plurality of cameras.

최근 카메라의 발전과 보급으로 디지털 카메라뿐 아니라 PC웹캠, 보안, 차량용 블랙박스, 스마트 폰에 걸쳐 다양하게 사용되고 있다. 최근 단일 카메라를 여러 개 장착하여 획득한 영상을 합쳐 고화질 영상을 만드는 기술과 3D측정이나 보안, 자동차, 로봇등 다양한 분야에서 연구와 활용이 이루어지고 있다. Recently, with the development and spread of cameras, it is widely used not only for digital cameras but also for PC webcams, security, car black boxes, and smart phones. Recently, researches and applications are being made in various fields such as 3D measurement, security, automobiles, and robots, as well as technology for making high quality images by combining images acquired by mounting a single camera.

다중 카메라의 구조에서 두 대 이상의 카메라는 각기 다른 위치에서 영상을 획득하기 때문에 동일한 촬영 영역에 대해 영상을 획득하더라도 밝기에 따라 상이한 영상 정보를 얻게 되며, 이는 후처리 과정에서 오류가 발생하는 원인이 될 수 있다.In the structure of multiple cameras, two or more cameras acquire images at different positions, so even if images are acquired for the same shooting area, different image information is obtained according to brightness, which may cause errors in post-processing. Can be.

이러한 배경에서, 본 발명의 목적은 복수의 카메라 모듈에서 획득한 각 영상에 대해 노출시간을 제어하여 비교적 균일한 밝기의 영상을 획득할 수 있도록 하는 영상 밝기 조절 장치 및 그 방법을 제공하는 데 있다.In this background, it is an object of the present invention to provide an image brightness adjusting apparatus and method for controlling an exposure time for each image obtained by a plurality of camera modules to obtain an image of a relatively uniform brightness.

전술한 목적을 달성하기 위하여, 일 측면에서, 본 발명은, 다중 카메라를 통해 촬영된 기준영상과 비교영상이 입력되면, 상기 기준영상과 비교영상 각각의 평균 밝기 값을 획득하는 밝기 획득부; 및 상기 기준영상에 대한 평균 밝기값과 상기 비교영상에 대한 평균 밝기값을 토대로 상기 다중 카메라의 노출 시간을 제어하는 밝기 제어부를 포함하는 영상 밝기 조절 장치를 제공한다.In order to achieve the above object, in one aspect, the present invention, the reference image and the comparison image photographed through the multiple cameras, the brightness acquisition unit for obtaining the average brightness value of each of the reference image and the comparison image; And a brightness controller configured to control an exposure time of the multiple cameras based on the average brightness value of the reference image and the average brightness value of the comparison image.

다른 측면에서, 본 발명은, 다중 카메라를 통해 촬영된 기준영상과 비교영상을 입력받는 영상 입력단계; 상기 기준영상과 비교영상 각각에 대한 평균 밝기값을 획득하는 단계; 및 상기 기준영상에 대한 평균 밝기값과 상기 비교영상에 대한 평균 밝기값을 토대로 상기 다중 카메라의 노출 시간을 제어하는 단계를 포함하는 영상 밝기 조절 방법을 제공한다.In another aspect, the present invention, the image input step of receiving a reference image and a comparison image photographed through a multiple camera; Obtaining an average brightness value for each of the reference image and the comparison image; And controlling an exposure time of the multiple cameras based on the average brightness value of the reference image and the average brightness value of the comparison image.

다른 측면에서, 본 발명은, 영상을 획득하는 복수의 카메라 모듈; 상기 영상 중 기준영상 및 비교영상으로 설정된 각 영상에 대한 평균 밝기값을 획득하는 밝기 획득부; 및 상기 기준영상에 대한 평균 밝기값과 상기 비교영상 각각에 대한 평균 밝기값을 토대로 해당 카메라 모듈의 노출시간을 제어하는 밝기 제어부를 포함하는 다중 카메라를 제공한다.In another aspect, the present invention, a plurality of camera modules for obtaining an image; A brightness obtaining unit obtaining an average brightness value of each image set as a reference image and a comparison image among the images; And a brightness controller configured to control an exposure time of the corresponding camera module based on the average brightness value of the reference image and the average brightness value of each of the comparison images.

이상에서 설명한 바와 같이 본 발명에 의하면, 복수의 카메라 모듈로부터 획득한 영상 간 밝기 차이를 최소화하여 효과적인 영상 처리를 수행할 수 있는 효과가 있다.As described above, according to the present invention, there is an effect that the effective image processing can be performed by minimizing the difference in brightness between the images obtained from the plurality of camera modules.

또한, 본 발명에 따르면, 카메라 모듈로부터 획득한 각 영상으로부터 특징점을 추출하고, 정합된 특징점에서의 밝기를 토대로 각 영상간 밝기를 조절함에 따라 물체 인식의 오차를 줄일 수 있으며, 특징점 정보는 획득된 각 영상의 후처리 과정에서 재사용 될 수 있으므로 자원의 효율성을 높일 수 있는 장점이 있다.In addition, according to the present invention, by extracting a feature point from each image obtained from the camera module, and by adjusting the brightness between the images based on the brightness at the matched feature point, the error of object recognition can be reduced, the feature point information is obtained Since each image can be reused in the post-processing process, there is an advantage to increase the efficiency of resources.

도1은 본 발명의 일실시예에 따른 영상 밝기 조절장치가 도시된 구조도이다.
도2는 본 발명의 일실시예에 따른 영상 밝기 조절 장치의 내부 구조가 도시된 블록도이다.
도3은 도2의 상세 구조도이다.
도4는 본 발명의 일실시예에 따른 영상 밝기 조절 장치에 있어서, 특징점 정합의 예가 도시된 예시도이다.
도5는 본 발명의 일실시예에 따른 영상 밝기 조절방법이 도시된 순서도이다.
도6은 도5에서, S140이 보다 상세하게 도시된 순서도이다.
도7은 본 발명의 또 다른 실시예에 따른 영상 밝기 조절 장치가 도시된 블록도이다.
도8은 도7의 영상 밝기 조절 장치의 영상 밝기 조절방법이 도시된 개념도이다.1 is a structural diagram showing an image brightness adjusting apparatus according to an embodiment of the present invention.
2 is a block diagram showing the internal structure of the image brightness adjusting apparatus according to an embodiment of the present invention.
3 is a detailed structural diagram of FIG.
4 is an exemplary view showing an example of feature point matching in the image brightness adjusting device according to an embodiment of the present invention.
5 is a flowchart illustrating a method of controlling image brightness according to an embodiment of the present invention.
6 is a flowchart showing S140 in more detail in FIG.
7 is a block diagram showing an image brightness adjusting apparatus according to another embodiment of the present invention.
8 is a conceptual diagram illustrating an image brightness adjusting method of the image brightness adjusting apparatus of FIG. 7.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear.

또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 어떤 구성 요소가 다른 구성요소에 "연결", "결합" 또는 "접속"된다고 기재된 경우, 그 구성 요소는 그 다른 구성요소에 직접적으로 연결되거나 또는 접속될 수 있지만, 각 구성 요소 사이에 또 다른 구성 요소가 "연결", "결합" 또는 "접속"될 수도 있다고 이해되어야 할 것이다.
In describing the components of the present invention, terms such as first, second, A, B, (a), and (b) may be used. These terms are intended to distinguish the constituent elements from other constituent elements, and the terms do not limit the nature, order or order of the constituent elements. When a component is described as being "connected", "coupled", or "connected" to another component, the component may be directly connected to or connected to the other component, It should be understood that an element may be "connected,""coupled," or "connected."

도1은 본 발명의 일실시예에 따른 영상 밝기 조절장치가 도시된 구조도이다.1 is a structural diagram showing an image brightness adjusting apparatus according to an embodiment of the present invention.

도1을 참조하면, 본 발명의 일실시예에 따른 영상 밝기 조절 장치(20)는, 복수의 카메라 모듈(10)과 연결되어 상기 각 카메라 모듈(10)에서 촬영된 영상이 입력되면 각 영상 간 밝기 차가 최소화되도록 제어신호를 생성하여 해당 카메라 모듈(10)로 전송할 수 있다.Referring to FIG. 1, when the image brightness adjusting device 20 according to an embodiment of the present invention is connected to a plurality of camera modules 10 and an image photographed by each of the camera modules 10 is input, the image brightness control device 20 may be used. The control signal may be generated and transmitted to the camera module 10 to minimize the difference in brightness.

상기 각 카메라 모듈(10)은 촬영 대상에 대해 촬영이 가능한 영역이 설정될 수 있는데, 도1에 도시된 바와 같이 각 카메라 모듈 간 거리(L)에 따라 촬영 영역 중 일부 영역이 겹쳐질 수 있다. 즉, 상기 카메라 모듈 중 가운데에 배치된 카메라 모듈을 예로 하면, 가운데 카메라 모듈은 좌측 카메라 모듈의 촬영 영역과 좌측 일부 영역(D1)이 겹치며, 우측 카메라 모듈의 촬영 영역과는 우측 일부 영역(D2)이 겹치게 된다.Each camera module 10 may be set to a region that can be photographed with respect to the object to be photographed. As shown in FIG. 1, some regions of the photographing regions may overlap according to the distance L between each camera module. That is, taking the camera module disposed in the center of the camera module as an example, the center camera module overlaps the photographing area of the left camera module and the left partial area D1, and the right partial area D2 from the photographing area of the right camera module. This overlaps.

따라서, 각 카메라 모듈로부터 촬영된 세 개의 영상을 비교하면, 좌측 카메라 모듈로부터 촬영된 좌측 영상의 일부는 가운데 카메라 모듈로부터 촬영된 가운데 영상의 일부(D1)와 동일한 피사체를 가지며, 우측 카메라 모듈로부터 촬영된 우측 영상의 일부는 가운데 영상의 일부(D2)와 동일한 피사체를 갖게 된다.Therefore, when comparing three images taken from each camera module, a part of the left image captured from the left camera module has the same subject as the part D1 of the center image captured from the center camera module, and is taken from the right camera module. A part of the right image has the same subject as a part D2 of the center image.

본 발명의 일실시예에 따른 영상 밝기 조절장치(20)는 이러한 점을 이용한 것으로, 촬영된 각 영상의 밝기 차가 최소화되도록 해당 카메라 모듈을 제어하는 데 있어서, 다른 영상과 대응되는 영역을 대상으로 각 영상의 밝기 차를 판단하며, 특히 대응되는 영역 전체가 아니라 대응되는 영역 내에서 정합된 특징점을 대상으로 밝기 정보를 획득하여 각 영상의 밝기 차를 판단하고 조절하는 것을 특징으로 한다.
The image brightness adjusting device 20 according to an embodiment of the present invention uses the above-described points, and in controlling the camera module to minimize the difference in brightness of each photographed image, each of the regions corresponding to the other images are targeted. The brightness difference of the image may be determined, and the brightness difference of each image may be determined and adjusted by acquiring brightness information about the matched feature points in the corresponding area instead of the entire corresponding area.

도2는 본 발명의 일실시예에 따른 영상 밝기 조절 장치의 내부 구조가 도시된 블록도이며, 도3은 도2의 상세 구조도이다.2 is a block diagram showing the internal structure of the image brightness adjusting apparatus according to an embodiment of the present invention, Figure 3 is a detailed structural diagram of FIG.

도2를 참조하면, 본 발명의 일실시예에 따른 영상 밝기 조절 장치(20)는, 다중 카메라를 통해 촬영된 기준영상과 비교영상이 입력되면, 상기 기준영상과 비교영상 각각의 평균 밝기 값을 획득하는 밝기 획득부(100)와, 상기 기준영상에 대한 평균 밝기값과 상기 비교영상에 대한 평균 밝기값을 토대로 상기 다중 카메라(10)의 노출 시간을 제어하는 밝기 제어부(200)를 포함한다.Referring to FIG. 2, when the reference image and the comparison image photographed through the multiple cameras are input, the image brightness adjusting apparatus 20 according to an embodiment of the present invention may display an average brightness value of each of the reference image and the comparison image. And a brightness controller 200 for controlling the exposure time of the multiple cameras 10 based on the average brightness value of the reference image and the average brightness value of the comparison image.

상기 다중 카메라는 복수 개의 카메라 모듈(10)로 구성될 수 있다. 본 명세서에서는 필요한 경우 2개 또는 3개의 카메라 모듈로 구성된 다중 카메라를 예로 하여 설명하나 이는 설명의 편의를 위한 것일 뿐, 카메라 모듈의 수에 한정되는 것은 아니다.The multiple camera may be composed of a plurality of camera modules 10. In the present specification, a multi-camera consisting of two or three camera modules is described as an example, but this is for convenience of description and is not limited to the number of camera modules.

기준영상은 상기 다중 카메라를 통해 촬영된 복수의 영상 중 밝기 조절을 위한 기준이 되는 영상을 나타내며, 비교영상은 상기 기준영상과의 비교를 통해 밝기가 조절되는 영상을 나타낸다. 상기 기준영상은 상기 다중 카메라를 통해 촬영된 복수의 영상 중 하나의 영상으로 설정될 수 있으며, 상기 비교영상은 기준영상이 촬영된 카메라 모듈과 인접한 위치의 카메라 모듈로부터 촬영된 영상으로 설정될 수 있다.The reference image represents an image which is a reference for adjusting brightness among the plurality of images photographed by the multiple cameras, and the comparison image represents an image whose brightness is adjusted through comparison with the reference image. The reference image may be set as one of a plurality of images photographed through the multiple cameras, and the comparison image may be set as an image photographed from a camera module adjacent to a camera module at which the reference image is photographed. .

다중 카메라를 통해 촬영된 복수의 영상 중 기준영상과 비교영상이 설정되는 방법에 대해 예를 들어 설명한다.For example, a method of setting a reference image and a comparison image among a plurality of images photographed through multiple cameras will be described.

1. 2개의 카메라 모듈이 다중 카메라를 구성하는 경우1. When two camera modules make up multiple cameras

상기 카메라 모듈로부터 촬영된 2개의 영상에 대해, 임의의 방식에 따라 좌영상이 기준영상으로 설정되면, 우영상은 비교영상으로 설정될 수 있으며, 좌영상과 우영상 간 대응되는 영역 내에서 정합된 특징점을 대상으로 밝기 정보를 획득하고, 좌영상의 밝기 정보를 기준으로 우영상의 밝기를 조절할 수 있다.For the two images photographed from the camera module, when the left image is set as the reference image according to an arbitrary method, the right image may be set as a comparison image, and the matching image is matched in a region corresponding to the left image and the right image. The brightness information may be obtained based on the feature point, and the brightness of the right image may be adjusted based on the brightness information of the left image.

유사하게, 2개의 영상에 대해, 임의의 방식에 따라 우영상이 기준영상으로 설정되면, 좌영상은 비교영상으로 설정될 수 있으며, 우영상과 좌영상 간 대응되는 영역 내에서 정합된 특징점을 대상으로 밝기 정보를 획득하고, 우영상의 밝기 정보를 기준으로 좌영상의 밝기를 조절할 수 있다.
Similarly, when the right image is set as the reference image for two images, the left image may be set as the comparison image, and the feature points matched in the corresponding area between the right image and the left image are targeted. To obtain brightness information and adjust the brightness of the left image based on the brightness information of the right image.

2. 3개의 카메라 모듈이 다중 카메라를 구성하는 경우2. Three camera modules make up multiple cameras

(1) 3개의 카메라 모듈로부터 촬영된 3개의 영상에 대해, 가운데 영상이 좌영상과 제1 대응영역을 갖고, 우영상과 (제1 대응영역과 겹치지 않는) 제2 대응영역을 갖는 경우, 가운데 영상이 기준영상으로 설정되면, 좌영상과 우영상은 각각 비교영상으로 설정될 수 있다. (1) For the three images taken from the three camera modules, the middle image has a first corresponding region with the left image and the right image with a second corresponding region (not overlapping with the first corresponding region) When the image is set as the reference image, the left image and the right image may be respectively set as the comparison image.

따라서, 가운데 영상의 제1 대응영역 내에서 서로 정합된 특징점을 대상으로 밝기 정보를 획득하고, 가운데 영상의 밝기 정보를 기준으로 좌영상의 밝기를 조절할 수 있으며, 가운데 영상의 제2 대응영역 내에서 서로 정합된 특징점을 대상으로 밝기 정보를 획득하고, 가운데 영상의 밝기 정보를 기준으로 우영상의 밝기를 조절할 수 있다.Accordingly, the brightness information may be obtained based on matching feature points in the first corresponding area of the center image, the brightness of the left image may be adjusted based on the brightness information of the center image, and within the second corresponding area of the center image. The brightness information may be obtained based on matching feature points, and the brightness of the right image may be adjusted based on the brightness information of the center image.

(2) 상기 (1)의 예에서, 좌영상이 기준영상으로 설정되면, 좌영상은 가운데 영상과 제1 대응영역을 가지나, 우영상과는 대응되는 영역을 갖지 않는다. 본 발명은 상술한 바와 같이 대응영역 내 정합된 특징점을 이용하여 영상의 밝기를 조절하므로, 대응영역을 갖는 각 영상간 밝기를 순차적으로 조절할 수 있다. 즉, 우영상과 대응영역을 가지지 않는 좌영상이 제1 기준영상으로 설정되면, 상기 좌영상과 제1 대응영역을 공유하는 가운데 영상이 제1 비교영상으로 설정되고, 좌영상의 제1 대응영역에 표시된 공통의 피사체의 밝기를 기준으로 가운데 영상의 밝기를 조절할 수 있다. 또한, 밝기가 조절된 가운데 영상이 제2 기준영상으로 설정되고, 우영상이 비교영상으로 설정되어 밝기가 조절된 가운데 영상의 제2 대응영역에 표시된 공통의 피사체의 밝기를 기준으로 우영상의 밝기를 조절할 수 있다.(2) In the example of (1), when the left image is set as the reference image, the left image has a first corresponding region with the center image, but does not have an area corresponding to the right image. As described above, since the brightness of the image is adjusted using the matched feature points in the corresponding area, the brightness of each image having the corresponding area may be sequentially adjusted. That is, when the left image having no corresponding region with the right image is set as the first reference image, the middle image sharing the first corresponding region with the left image is set as the first comparison image, and the first corresponding region of the left image. You can adjust the brightness of the center image based on the brightness of the common subject displayed in. In addition, the brightness of the right image is set based on the brightness of the common subject displayed in the second corresponding area of the center image in which the center image of which the brightness is adjusted is set as the second reference image and the right image is set as the comparative image and the brightness is adjusted. Can be adjusted.

(3) 3개의 카메라 모듈로부터 촬영된 좌영상, 가운데 영상, 우영상이 공통의 대응영역(설명의 편의상 제3 대응영역이라 함)을 갖는 경우에는 (1)의 예와 유사하게, 좌영상, 가운데 영상, 우영상 중 어느 하나의 영상이 기준영상으로 설정되면, 나머지 영상들은 비교영상으로 설정되고, 기준영상의 제3 대응영역에 표시된 공통의 피사체의 밝기를 기준으로 각 비교영상의 밝기를 조절할 수 있다.(3) When the left image, the center image, and the right image captured from the three camera modules have a common corresponding region (called the third corresponding region for convenience of description), similar to the example of (1), the left image, When one of the center image and the right image is set as the reference image, the remaining images are set as the comparison image, and the brightness of each comparison image is adjusted based on the brightness of the common subject displayed in the third corresponding area of the reference image. Can be.

또한, 상기의 경우에도 제3 대응영역은 무시하고, (2)의 예와 유사한 방식으로 기준영상 및 비교영상이 설정되고, 비교영상의 밝기가 조절될 수 있다.Also, in the above case, the third corresponding region may be ignored, and the reference image and the comparison image may be set in a manner similar to the example of (2), and the brightness of the comparison image may be adjusted.

상기 기준영상 및 비교영상의 설정과 관련된 상술한 설명은 예시일 뿐으로 당업자에 의해 용이하게 변용될 수 있음은 물론이다.
The above description related to the setting of the reference image and the comparison image is merely an example and can be easily modified by those skilled in the art.

밝기 획득부(100)는, 카메라 모듈(10)로부터 입력된 기준영상과 비교영상 각각으로부터 특징점을 추출하고, 추출된 특징점에서의 밝기 정보를 획득한다.The brightness obtaining unit 100 extracts a feature point from each of the reference image and the comparison image input from the camera module 10, and obtains brightness information at the extracted feature point.

도3을 참조하면, 본 발명의 일실시예에 따른 영상 밝기 조절 장치의 밝기 획득부(100)는, 상기 기준영상과 비교영상 각각으로부터 특징점을 추출하는 특징점 추출부(110)와, 상기 기준영상으로부터 추출된 특징점과 상기 비교영상으로부터 추출된 특징점을 정합시키는 특징점 정합부(120)를 포함한다. 상기 특징점 추출부(110)와 특징점 정합부(120)에 대한 보다 상세한 설명은 도4를 참조하여 후술한다.Referring to FIG. 3, the brightness obtaining unit 100 of the image brightness adjusting apparatus according to an embodiment of the present invention includes a feature point extracting unit 110 extracting a feature point from each of the reference image and the comparison image, and the reference image. And a feature point matching unit 120 for matching the feature points extracted from the feature points extracted from the comparison image. The feature point extracting unit 110 and the feature point matching unit 120 will be described in detail later with reference to FIG. 4.

상기 밝기 획득부(100)는, 상기 기준영상으로부터 추출된 특징점 중 상기 비교영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 목표 평균밝기값으로 산출하는 목표 평균밝기 산출부(130)와, 상기 각 비교영상에 대하여, 상기 비교영상으로부터 추출된 특징점 중 상기 기준영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 비교 평균밝기값으로 산출하는 비교 평균밝기 산출부(140)를 포함한다.The brightness obtaining unit 100 calculates a target average brightness value by averaging brightness values at each of the feature points extracted from the comparison image and the matched feature points among the feature points extracted from the reference image. And a comparative average brightness calculator for averaging the brightness values at each of the feature points extracted from the reference image and the matched feature points among the feature points extracted from the comparison image with respect to each of the comparison images. 140).

예를 들어 보다 상세히 설명하면, 카메라 모듈의 이미지 센서(10a, 10a')로부터 A, B 영상의 2개의 영상이 입력되고, 입력된 A, B 영상 중 A 영상이 기준영상으로 설정되고, B 영상이 비교영상으로 설정된 경우, 특징점 추출부(110)는 카메라 모듈의 이미지 센서로부터 입력된 A 영상과 B 영상으로부터 특징점을 추출하고, 특징점 정합부(120)는 A 영상에서 추출된 특징점과 B 영상에서 추출된 특징점 중 정합되는 특징점을 검출한다.For example, in more detail, two images of A and B images are input from the image sensors 10a and 10a 'of the camera module, and the A image is set as the reference image among the input A and B images, and the B image. When the comparison image is set, the feature point extractor 110 extracts the feature points from the A and B images input from the image sensor of the camera module, and the feature point matcher 120 extracts the feature points from the A and B images. A matching feature point is detected from the extracted feature points.

상기 특징점 정합부(120)의 검출결과, A 영상의 특징점 c와 B 영상의 특징점 d가 서로 정합되고, A 영상의 특징점 e와 B 영상의 특징점 f가 서로 정합되는 특징점인 것으로 확인되면, 상기 목표 평균밝기 산출부(130)는 기준영상인 A 영상의 특징점 c와 e에서의 밝기값을 각각 획득하고, 특징점 c의 밝기값과 특징점 e의 밝기값의 평균값을 산출하여 목표 평균밝기값으로 할 수 있다.As a result of the detection of the feature point matching unit 120, when the feature point c of the A image and the feature point d of the B image are matched with each other, and the feature point e of the A image and the feature point f of the B image are matched with each other, the target The average brightness calculator 130 obtains brightness values at the feature points c and e of the A image as the reference image, and calculates an average value of the brightness values of the feature points c and the feature points e as the target average brightness values. have.

또한, 상기 비교 평균밝기 산출부(140)는 비교영상인 B 영상의 특징점 d와 f에서의 밝기값을 각각 획득하고, 특징점 d의 밝기값과 특징점 f의 밝기값의 평균값을 산출하여 비교 평균밝기값으로 할 수 있다.In addition, the comparison average brightness calculator 140 obtains the brightness values at the feature points d and f of the B image as the comparison image, calculates an average value of the brightness values of the feature point d and the feature point f, and compares the average brightness. Can be a value.

상기 밝기 제어부(200)는 상기 목표 평균밝기값과 각 비교 평균밝기값을 비교하여 다중 카메라를 구성하는 카메라 모듈의 노출시간을 제어하는데, 상기 기준영상에 대하여 획득된 목표 평균밝기값이 상기 비교영상에 대하여 획득된 비교 평균밝기값보다 미리 설정된 값 이상으로 크면 해당 비교영상의 촬영과 관계되는 노출조절부(10b)의 노출시간이 늘어나도록 제어하고, 상기 목표 평균밝기값이 미리 설정된 값 이하로 상기 비교 평균밝기값보다 작으면 해당 비교영상의 촬영과 관계되는 노출조절부(10b)의 노출시간이 줄어들도록 제어할 수 있다.The brightness controller 200 controls the exposure time of the camera module constituting the multiple cameras by comparing the target average brightness value with each comparison average brightness value, wherein the target average brightness value obtained with respect to the reference image is the comparison image. When the average brightness value is greater than a predetermined value, the exposure time of the exposure control unit 10b related to the shooting of the comparison image is increased, and the target average brightness value is less than or equal to the preset value. When the average brightness value is smaller than the comparison average brightness value, the exposure time of the exposure control unit 10b related to photographing the corresponding comparison image may be reduced.

상기 밝기 획득부(100)의 예를 적용하여 설명하면, 상기 밝기 제어부(200)는 특징점 c의 밝기값과 특징점 e의 밝기값의 평균값으로 산출된 목표 평균 밝기값과 특징점 d의 밝기값과 특징점 f의 밝기값의 평균값으로 산출된 비교 평균밝기값을 비교할 수 있다. 비교결과, 목표 평균 밝기값이 비교 평균밝기 값보다 크면 상기 밝기 제어부(200)는 기준영상인 A 영상이 더 밝은 것으로 판단하여 비교영상인 B 영상의 노출시간이 늘어나도록 제어신호를 생성하여 B 영상이 촬영된 카메라 모듈의 노출 조절부(10b)로 전달할 수 있다.Referring to the example of the brightness obtaining unit 100, the brightness control unit 200 is a target average brightness value calculated as the average value of the brightness value of the feature point c and the brightness value of the feature point e, the brightness value and the feature point of the feature point d The comparison average brightness value calculated as the average value of the brightness values of f can be compared. As a result of comparison, if the target average brightness value is greater than the comparative average brightness value, the brightness controller 200 determines that the A image, which is the reference image, is brighter, and generates a control signal to increase the exposure time of the B image, which is the comparison image, to generate the B image. The exposure may be transferred to the exposure controller 10b of the camera module.

유사하게, 목표 평균 밝기값이 비교 평균밝기 값보다 작으면 상기 밝기 제어부(200)는 기준영상인 A 영상이 더 어두운 것으로 판단하여 비교영상인 B 영상의 노출시간이 줄어들도록 제어신호를 생성할 수 있으며, 생성된 제어신호를 B 영상이 촬영된 카메라 모듈의 노출 조절부(10b)로 전달할 수 있다.Similarly, if the target average brightness value is smaller than the comparative average brightness value, the brightness controller 200 may determine that the A image, which is the reference image, is darker, and generate a control signal to reduce the exposure time of the B image, which is the comparative image, for example. The generated control signal may be transmitted to the exposure controller 10b of the camera module in which the B image is captured.

이때, 상기 밝기 제어부(200)는 목표 평균 밝기값과 비교 평균 밝기값의 크기 대소를 비교하는 데 있어서, 일정의 마진(margin)을 설정할 수 있다.In this case, the brightness controller 200 may set a certain margin in comparing the magnitude magnitude of the target average brightness value and the comparative average brightness value.

목표 평균 밝기값을 Tavr, 비교 평균 밝기값을 Favr, 마진을 m으로 가정하면, Tavr-Favr> m 의 수식을 만족하는 경우에만 기준영상이 비교영상보다 밝은 것으로 판단하여 B 영상의 노출시간이 늘어나도록 제어할 수 있다. 또한, Favr-Tavr> m 의 수식을 만족하는 경우에만 기준영상이 비교영상보다 어두운 것으로 판단하여 B 영상의 노출시간이 줄어들도록 제어할 수 있다. 상기 수식에서 상기 마진은 0 이상의 값으로 설정되는 것이 바람직하나, 이에 한정되는 것은 아니다.Assuming that the target average brightness value is Tavr, the comparative average brightness value is Favr, and the margin is m, the exposure time of B image is increased because it is judged that the reference image is brighter than the comparison image only when the formula of Tavr-Favr> m is satisfied. Can be controlled. In addition, it is possible to control that the exposure time of the B image is reduced by determining that the reference image is darker than the comparison image only when the formula of Favr-Tavr> m is satisfied. In the above formula, the margin is preferably set to a value of 0 or more, but is not limited thereto.

본 발명의 일실시예에 따른 영상 밝기 조절 장치(20)는, 다중 카메라(10)와 별도로 구성되어 상기 다중 카메라(10)로부터 영상을 전달받아 밝기를 조절하는 것으로 설명되었으나, 상기 다중 카메라(10)를 구성하는 복수의 카메라 모듈과 연결되어 복수의 카메라 모듈과 함께 다중 카메라를 구성하는 것으로 구현될 수도 있다.
The image brightness adjusting device 20 according to an embodiment of the present invention has been described as being configured separately from the multi-camera 10 to adjust the brightness by receiving an image from the multi-camera 10, but the multi-camera 10 It may be implemented by configuring a multi-camera together with a plurality of camera modules connected to a plurality of camera modules constituting a).

도4는 본 발명의 일실시예에 따른 영상 밝기 조절 장치에 있어서, 특징점 정합의 예가 도시된 예시도로서, 두 개의 카메라 모듈을 갖는 다중 카메라로부터 전달받은 두 개의 영상에 대해 특징점을 추출하고 정합된 이미지가 도시된 도이다.4 is an exemplary view showing an example of feature point matching in the apparatus for adjusting the image brightness according to an embodiment of the present invention, and extracting and matching feature points of two images received from multiple cameras having two camera modules. The image is shown.

영상처리 기술에서 특징점은, 영상에서 두드러진 특징을 갖는 부분을 말하는 것으로, 점, 경계선, 모서리 등이 특징점으로 인식될 수 있으며, 질감이나 색 등의 영상정보와 관련하여 주변 영역의 영상정보와 차이가 있는 부분도 특징점으로 인식될 수 있다.In the image processing technology, a feature point refers to a part having prominent features in an image, and points, boundary lines, corners, and the like may be recognized as feature points, and are different from image information of the surrounding area in relation to image information such as texture or color. The part that is present can be recognized as a feature point.

본 발명의 일실시예에 따른 영상 밝기 조절 장치에 있어서, 특징점 추출부(110)는 현재 픽셀과 주변 영역을 구성하는 n개의 픽셀의 영상정보를 비교하고, 영상정보의 차이가 미리 정해진 문턱값(threshold)보다 큰 경우 현재 픽셀을 현재 영상에서 특징점으로 결정할 수 있다. 상기 영상정보로는 색상 정보나 밝기 정보가 포함될 수 있으며 특정 값에 한정되지는 않는다.In the image brightness adjusting apparatus according to an embodiment of the present invention, the feature point extractor 110 compares the image information of the current pixel and the n pixels constituting the peripheral area, and the difference of the image information is a predetermined threshold value ( If larger than the threshold), the current pixel may be determined as a feature point in the current image. The image information may include color information or brightness information and is not limited to a specific value.

도4에 도시된 바와 같이 두 개의 영상에 대해 특징점을 추출하는 경우 상기 특징점 추출부(110)는, 도4(a)에 도시된 A 영상으로부터 P1 내지 P5의 특징점을 추출할 수 있으며, 도4(b)에 도시된 B 영상으로부터 P1' 내지 P4' 및 P6의 특징점을 추출할 수 있다.As shown in FIG. 4, when the feature points are extracted from two images, the feature point extractor 110 may extract the feature points of P1 to P5 from the A image shown in FIG. 4A, and FIG. 4. Feature points of P1 'to P4' and P6 can be extracted from the B image shown in (b).

특징점 정합부(120)는 A 영상으로부터 추출된 P1 내지 P5의 특징점과 B 영상으로부터 추출된 P1' 내지 P4' 및 P6의 특징점을 대상으로 정합되는 특징점을 검출할 수 있는데, 각 영상으로부터 추출된 특징점들에 대해 정규화된 상관계수 방식을 적용하여 정합할 수 있다.The feature point matching unit 120 may detect feature points matched with the feature points of P1 to P5 extracted from the A image and the feature points of P1 'to P4' and P6 extracted from the B image, and the feature points extracted from each image Can be matched by applying a normalized correlation coefficient method.

본 발명의 일실시예에 따른 영상 밝기 조절 장치는 정합되는 특징점의 밝기 정보를 토대로 대상 영상의 밝기를 조절하는 것이 주된 특징이므로 특징점 추출부(110) 및 특징점 정합부(120)에서의 구체적인 방식에 대해서는 본 발명의 요지를 흐릴 수 있다. 따라서, 상기 특징점 추출부(110) 및 특징점 정합부(120)와 관련된 보다 상세한 설명은 생략하나, 상술한 바와 같이 문턱값을 이용하여 특징점을 추출하거나 상관계수 방식으로 특징점을 정합시키는 방법에 한정되지 않으며 영상처리 기술분야에서 특징점 추출 방식이나 특징점 정합 방식으로 통용되는 여러 방식들이 적용될 수 있다.The apparatus for adjusting the brightness of an image according to an exemplary embodiment of the present invention mainly controls the brightness of the target image based on the brightness information of the matching feature points. This may obscure the subject matter of the present invention. Accordingly, more detailed descriptions related to the feature point extractor 110 and the feature point matcher 120 are omitted, but are not limited to the method of extracting feature points using a threshold value or matching feature points in a correlation coefficient method. In addition, various methods commonly used as a feature point extraction method or a feature point matching method may be applied in an image processing technology field.

도4를 참조하면, 본 발명의 일실시예에 따른 특징점 정합부(120)는 A 영상으로부터 추출된 각 특징점과 B 영상으로부터 추출된 각 특징점을 정합시켜 A 영상의 P1과 B 영상의 P1', A 영상의 P2와 B 영상의 P2', A 영상의 P3와 B 영상의 P3', A 영상의 P4와 B 영상의 P4' 가 서로 정합되는 것으로 판단할 수 있으며, A 영상의 P5와 B 영상의 P6은 정합되는 특징점이 존재하지 않는 것으로 판단할 수 있다.4, the feature point matching unit 120 according to an embodiment of the present invention matches each feature point extracted from the A image with each feature point extracted from the B image, so that P1 ', P1' of the A image, and P1 ', It can be determined that P2 of A picture and P2 'of B picture, P3' of A picture and P3 'of B picture, P4 of B picture and P4' of B picture match each other. P6 may determine that there is no matching feature point.

A 영상이 기준영상이고, B 영상이 비교영상으로 설정된 경우, 목표 평균밝기 산출부(130)는 B 영상의 특징점과 정합되는 것으로 판단된 P1 내지 P4의 밝기 정보를 획득하여 평균값을 산출할 수 있으며, 비교 평균밝기 산출부(140)는 A 영상의 특징점과 정합되는 것으로 판단된 P1' 내지 P4'의 밝기 정보를 획득하여 평균값을 산출할 수 있다.When the A image is the reference image and the B image is the comparison image, the target average brightness calculator 130 may calculate the average value by acquiring brightness information of P1 to P4 determined to match the feature points of the B image. The comparison average brightness calculator 140 may obtain brightness information of P1 ′ to P4 ′ determined to match the feature point of the A image, and calculate an average value.

A 영상과 B 영상에 있어서, 서로 정합되는 특징점은 A 영상과 B 영상에 공통으로 촬영된 피사체를 나타낼 가능성이 높다. 본 발명의 일실시예에 따른 영상 밝기 조절 장치는 대응 영역 중에서도 공통의 피사체를 나타내는 특징점의 밝기 정보를 기준으로 영상의 밝기를 조절하는 것을 특징으로 하므로, 물체 인식을 위해 영상 간 밝기를 조절하는 경우에는 전체 영역의 밝기를 기반으로 영상의 밝기를 조절하는 방식보다 물체 인식 정확도를 높일 수 있다.
In the A image and the B image, the feature points matched with each other are likely to represent a subject photographed in common with the A image and the B image. The image brightness adjusting apparatus according to an embodiment of the present invention is characterized in that the brightness of the image is adjusted based on the brightness information of the feature point representing the common subject among the corresponding areas. For example, the object recognition accuracy can be improved than the method of adjusting the brightness of the image based on the brightness of the entire area.

도5는 본 발명의 일실시예에 따른 영상 밝기 조절방법이 도시된 순서도이며, 도6은 도5에서, S140이 보다 상세하게 도시된 순서도이다.5 is a flowchart illustrating an image brightness adjusting method according to an exemplary embodiment of the present invention, and FIG. 6 is a flowchart illustrating S140 in more detail in FIG. 5.

도5를 참조하면, 본 발명의 일실시예에 따른 영상 밝기 조절 방법은, 다중 카메라를 통해 촬영된 기준영상과 비교영상을 입력받는 단계(S100)와, 상기 기준영상과 비교영상 각각에 대한 평균 밝기값을 획득하는 단계와, 상기 기준영상에 대한 평균 밝기값과 상기 비교영상에 대한 평균 밝기값을 토대로 상기 다중 카메라의 노출 시간을 제어하는 단계(S140)를 포함한다.Referring to FIG. 5, in the image brightness adjusting method according to an embodiment of the present disclosure, a step (S100) of receiving a reference image and a comparative image photographed through multiple cameras and an average of each of the reference image and the comparative image are provided. Obtaining a brightness value and controlling an exposure time of the multiple cameras based on an average brightness value of the reference image and an average brightness value of the comparison image (S140).

이때, 상기 평균 밝기값을 획득하는 단계는, 상기 기준영상 및 비교영상으로부터 특징점을 추출하는 단계(S110)와, 상기 기준영상으로부터 추출된 특징점과 상기 각 비교영상으로부터 추출된 특징점을 서로 정합시키는 단계(S120)와, 상기 기준영상으로부터 추출된 특징점 중 상기 비교영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 목표 평균밝기값으로 산출하는 단계와, 상기 각 비교영상에 대하여, 상기 비교영상으로부터 추출된 특징점 중 상기 기준영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 비교 평균밝기값으로 산출하는 단계를 포함한다.The obtaining of the average brightness value may include extracting feature points from the reference image and the comparison image (S110), and matching feature points extracted from the reference image with feature points extracted from the comparison images. (S120) and calculating a target average brightness value by averaging brightness values of each feature point matched with the feature point extracted from the comparison image among the feature points extracted from the reference image, and for each of the comparison images, And averaging the brightness values at each of the feature points extracted from the reference image and the matched feature points among the feature points extracted from the comparison image to calculate a comparison average brightness value.

또한, 상기 노출시간을 제어하는 단계(S140)는, 상기 기준영상에 대하여 획득된 목표 평균밝기값과 상기 비교영상에 대하여 획득된 비교 평균밝기값을 비교하여,(S130) 상기 목표 평균밝기값이 상기 비교 평균밝기값보다 미리 설정된 값 이상으로 크면 해당 비교영상의 촬영과 관계되는 노출시간이 늘어나도록 제어하고, 상기 목표 평균밝기값이 미리 설정된 값 이하로 상기 비교 평균밝기값보다 작으면 해당 비교영상의 촬영과 관계되는 노출시간이 줄어들도록 제어할 수 있다.(S140)In addition, in the controlling of the exposure time (S140), the target average brightness value obtained with respect to the reference image is compared with the comparison average brightness value obtained with respect to the comparison image (S130). If the comparison average brightness value is greater than or equal to a preset value, the exposure time associated with photographing of the comparison image is increased. If the target average brightness value is less than or equal to the preset value, the comparison average brightness value is controlled. The exposure time associated with the photographing may be controlled to be reduced. (S140)

도4를 참조하여 예를 들어 설명하면, 밝기값을 비교하고 노출시간을 제어하는 단계(S130, S140)는, P1 내지 P4의 밝기평균값과 P1' 내지 P4'의 밝기평균값을 각각 산출한다.(S200, S210)For example, referring to FIG. 4, comparing the brightness values and controlling the exposure time (S130 and S140), the brightness average values of P1 to P4 and the brightness average values of P1 ′ to P4 ′ are calculated, respectively. S200, S210)

다음, P1 내지 P4의 밝기평균값과 P1' 내지 P4'의 밝기평균값을 비교하여, P1 내지 P4의 밝기평균값이 (미리 설정된 값 이상으로) 더 큰 경우에는 B 영상이 A 영상보다 어두운 것으로 판단하여 B 영상을 촬영한 카메라 모듈의 노출조절부로 노출시간 증가명령이 전달될 수 있다.(S230, S240) 또한, 노출시간 증가명령에 따라 조절된 노출시간으로 촬영된 영상에 대해 목표 평균밝기값과 비교 평균밝기값이 동일한 값을 갖거나 목표 평균밝기값이 미리 설정된 값 이내에서 비교 평균밝기값보다 크거나 작은 값을 갖도록 상기의 과정을 반복하여 수행할 수 있다.Next, the brightness average value of P1 to P4 is compared with the brightness average value of P1 'to P4'. If the brightness average value of P1 to P4 is larger (over a preset value), it is determined that the B picture is darker than the A picture, and B The exposure time increase command may be transmitted to the exposure controller of the camera module that captured the image. (S230, S240) In addition, the target average brightness value and the comparative average of the image taken at the exposure time adjusted according to the exposure time increase command. The above process may be repeated so that the brightness value has the same value or the target average brightness value is greater or less than the comparative average brightness value within a preset value.

P1 내지 P4의 밝기평균값이 (미리 설정된 값 이하로) 더 작은 경우에는 B 영상이 A 영상보다 밝은 것으로 판단하여 B 영상을 촬영한 카메라 모듈의 노출조절부로 노출시간 감소명령이 전달될 수 있다.(S230, S250) 또한, 노출시간 감소명령에 따라 조절된 노출시간으로 촬영된 영상에 대해 목표 평균밝기값과 비교 평균밝기값이 동일한 값을 갖거나 목표 평균밝기값이 미리 설정된 값 이내에서 비교 평균밝기값보다 크거나 작은 값을 갖도록 상기의 과정을 반복하여 수행할 수 있다.If the brightness average value of P1 to P4 is smaller (below the preset value), it may be determined that the B image is brighter than the A image, and a command for reducing the exposure time may be transmitted to the exposure controller of the camera module photographing the B image. S230 and S250) Also, the target average brightness value and the comparative average brightness value have the same value or the target average brightness value within the preset value for the image photographed with the exposure time adjusted according to the exposure time reduction command. The above process may be repeated to have a value larger or smaller than the value.

목표 평균밝기값과 비교 평균밝기값의 비교 결과, 목표 평균밝기값과 비교 평균밝기값이 동일한 값을 갖거나 목표 평균밝기값이 미리 설정된 값 이내에서 비교 평균밝기값보다 크거나 작은 경우, 기준영상과 비교영상 간 밝기가 동일하거나 근사한 것으로 판단하여 이미지로 생성하는 등의 영상 처리가 이루어지도록 할 수 있다.(S150)
When the target average brightness value and the comparative average brightness value are compared, the reference image is displayed when the target average brightness value and the comparative average brightness value have the same value or the target average brightness value is larger or smaller than the comparative average brightness value within a preset value. Image processing such as generating an image by determining that the brightness between the and the comparison image is the same or approximate may be performed (S150).

이상에서는 본 발명의 일실시예에 따른 영상 밝기 조절 장치 및 그의 영상 밝기 조절 방법이 2개의 영상에 적용되는 것을 예로 하여 설명하였다. 그러나 도2를 참조하여 상술한 기준영상과 비교영상의 설정 방법을 설명한 예(2번 예)에 따르면 3개의 영상에 대해 밝기를 조절하는 경우 각 영상간 대응 영역의 존재 여부에 따라 기준영상과 비교영상의 설정이 상기 2개의 영상의 경우와는 다르게 적용될 수 있다.In the above, the image brightness adjusting device and the image brightness adjusting method according to an embodiment of the present invention have been described as an example of being applied to two images. However, according to the example (No. 2) illustrating the method of setting the reference image and the comparison image described above with reference to FIG. 2, when the brightness is adjusted for three images, the comparison is made with the reference image according to whether there is a corresponding region between the images. The setting of the image may be different from that of the two images.

도7은 본 발명의 또 다른 실시예에 따른 영상 밝기 조절 장치가 도시된 블록도이다.7 is a block diagram showing an image brightness adjusting apparatus according to another embodiment of the present invention.

도7을 참조하면, 본 발명의 또 다른 실시예에 따른 영상 밝기 조절 장치(30)는 입력부(310)와 밝기 조절부(320)를 포함한다.Referring to FIG. 7, the image brightness adjusting apparatus 30 according to another embodiment of the present invention includes an input unit 310 and a brightness adjusting unit 320.

상기 입력부(310)는 복수의 카메라 모듈로부터 촬영된 복수(n개, n은 2이상의 수)의 영상을 입력받는다.The input unit 310 receives a plurality of images (n, n is two or more) captured by a plurality of camera modules.

상기 밝기 조절부(320)는 입력받은 복수의 영상 중 하나의 영상을 제1기준영상으로 선정하고 나머지 영상 중에서 하나 이상의 영상을 제1비교영상으로 선정하여, 상기 제1비교영상으로 선정된 하나 이상의 영상의 평균밝기값이 상기 제1기준영상으로 선정된 영상의 평균밝기값으로 변경되도록 노출시간을 제어하고, 상기 복수의 영상 중에서 상기 제1기준영상 및 상기 제1비교영상 각각으로 선정된 영상을 제외한 나머지 영상이 존재하면, 상기 존재하는 나머지 영상 중에서 하나 이상의 영상을 제2비교영상으로 선정하고, 상기 제2비교영상으로 선정된 영상의 평균밝기값이 상기 노출시간의 제어에 따라 변경된 평균밝기값이 되도록 노출시간을 제어하는 방식으로, 상기 n개의 영상 모두의 평균 밝기값이 일정 허용 오차 범위 이내에서 동일하도록 제어하며, 상기 n개의 영상 각각의 평균밝기값이 상기 일정 허용 오차 범위 이내에서 동일하도록 하는 노출시간 제어를 n-1번 이하의 횟수로 반복 수행한다.The brightness controller 320 selects one image among the plurality of input images as a first reference image, selects one or more images among the remaining images as a first comparison image, and selects one or more images selected as the first comparison image. The exposure time is controlled so that the average brightness value of the image is changed to the average brightness value of the image selected as the first reference image, and the images selected as the first reference image and the first comparison image are respectively selected from the plurality of images. If the remaining images exist, at least one of the remaining images is selected as the second comparison image, and the average brightness value of the image selected as the second comparison image is changed according to the control of the exposure time. The exposure time is controlled so that the average brightness value of all the n images is the same within a certain tolerance range. In addition, the exposure time control for repeating the average brightness value of each of the n images to be the same within the predetermined tolerance range is repeated n-1 times or less.

상기 밝기 조절부(320)는 도2 및 도3을 참조하여 상술한 본 발명의 일실시예에 따른 영상 밝기 조절 장치(20)와 유사하게 밝기 획득부(330)와 밝기 제어부(340)를 포함하며, 상기 밝기 획득부(330)와 밝기 제어부(340)는 도3을 참조하여 상술한 본 발명의 일실시예에 따른 영상 밝기 조절 장치(20)의 밝기 획득부(100) 및 밝기 제어부(200)와 동일한 구성을 갖고 동일한 동작을 수행할 수 있으므로 보다 상세한 설명은 생략한다.The brightness controller 320 includes a brightness acquirer 330 and a brightness controller 340 similar to the image brightness controller 20 according to an embodiment of the present invention described above with reference to FIGS. 2 and 3. The brightness acquisition unit 330 and the brightness control unit 340 are the brightness acquisition unit 100 and the brightness control unit 200 of the image brightness control apparatus 20 according to an embodiment of the present invention described above with reference to FIG. 3. Since the same operation can be performed with the same configuration), more detailed description thereof will be omitted.

도8은 도7의 영상 밝기 조절 장치(30)의 영상 밝기 조절방법이 도시된 개념도로서, 복수의 영상 중 나란히 배치된 3개의 영상에 적용되는 방법이 도시된 도이며, 이하에서는 좌영상과 가운데 영상이 제1 대응영역을 갖고, 가운데 영상과 우영상이 제1 대응영역과 대응되지 않는 제2 대응 영역을 갖는 경우를 예로 하여 설명한다.FIG. 8 is a conceptual diagram illustrating an image brightness adjusting method of the image brightness adjusting apparatus 30 of FIG. 7. The method is applied to three images arranged side by side among a plurality of images. An example in which an image has a first corresponding region and a center image and a right image have a second corresponding region that does not correspond to the first corresponding region will be described.

도8에 도시된 바와 같은 좌영상, 가운데 영상, 우영상의 3개의 영상에 대해, 좌영상이 기준영상으로 설정되면, 좌영상과 제1 대응영역을 갖는 가운데 영상이 비교영상으로 설정된다.For the three images of the left image, the center image, and the right image as shown in FIG. 8, when the left image is set as the reference image, the center image having the left image and the first corresponding region is set as the comparison image.

밝기 획득부(330)의 특징점 정합부(120)는 기준영상으로 설정된 좌영상의 특징점과 비교영상으로 설정된 가운데 영상의 특징점을 정합시키고, 목표 평균밝기 산출부(130)는 가운데 영상의 특징점과 정합된 것으로 확인된 좌영상의 특징점의 밝기 값으로부터 제1 목표평균 밝기값(T1)을 산출할 수 있다. 또한, 상기 비교 평균밝기 산출부(140)는 좌영상의 특징점과 정합된 것으로 확인된 가운데 영상의 특징점의 밝기 값으로부터 제1 비교평균 밝기값(F1)을 산출할 수 있다. The feature point matching unit 120 of the brightness obtaining unit 330 matches the feature point of the left image set as the reference image and the feature point of the center image set as the comparison image, and the target average brightness calculator 130 matches the feature point of the center image. The first target average brightness value T1 may be calculated from the brightness values of the feature points of the left image determined to be correct. In addition, the comparison average brightness calculator 140 may calculate the first comparison average brightness value F1 from the brightness value of the feature point of the image, which is determined to be matched with the feature point of the left image.

상기 밝기 제어부(340)는 제1 목표평균 밝기값(T1)과 제1 비교평균 밝기값(F1)을 비교하고, 비교결과에 따라 가운데 영상이 촬영된 카메라 모듈에서의 노출시간이 조절되도록 제어할 수 있다. The brightness controller 340 compares the first target average brightness value T1 and the first comparative average brightness value F1 and controls the exposure time of the camera module in which the center image is taken according to the comparison result. Can be.

다음, 노출시간 제어에 따라 밝기가 조절된 가운데 영상이 다시 기준영상으로 설정되며, 상기 가운데 영상과 제2 대응영역을 갖는 우영상이 비교영상으로 설정된다.Next, the center image having the brightness adjusted according to the exposure time control is set as the reference image again, and the right image having the center image and the second corresponding region is set as the comparison image.

상기 특징점 정합부(120)는 기준영상으로 설정된 (밝기가 조절된) 가운데 영상의 특징점과 비교영상으로 설정된 우영상의 특징점을 정합시킨다.The feature point matching unit 120 matches the feature point of the center image (the brightness is adjusted) set as the reference image with the feature point of the right image set as the comparison image.

목표 평균밝기 산출부(130)는 우영상의 특징점과 정합된 것으로 확인된 밝기가 조절된 가운데 영상의 특징점의 밝기 값으로부터 제2 목표평균 밝기값(T2)을 산출할 수 있다. 또한, 상기 비교 평균밝기 산출부(140)는 밝기가 조절된 가운데 영상의 특징점과 정합된 것으로 확인된 우영상의 특징점의 밝기 값으로부터 제2 비교평균 밝기값(F2)을 산출할 수 있다.The target average brightness calculator 130 may calculate the second target average brightness value T2 from the brightness value of the feature point of the image in which the brightness determined to be matched with the feature point of the right image is adjusted. In addition, the comparison average brightness calculator 140 may calculate a second comparison average brightness value F2 from the brightness values of the feature points of the right image determined to be matched with the feature points of the image in which the brightness is adjusted.

상기 밝기 제어부(340)는 제2 목표평균 밝기값(T2)과 제2 비교평균 밝기값(F2)을 비교하고, 비교결과에 따라 우영상이 촬영된 카메라 모듈에서의 노출시간이 조절되도록 제어할 수 있다.The brightness controller 340 compares the second target average brightness value T2 with the second comparative average brightness value F2 and controls the exposure time of the camera module in which the right image is taken according to the comparison result. Can be.

즉, 밝기가 조절된 이전 단계에서의 비교영상이 기준영상이 되고, 이렇게 된 기준영상을 토대로 다음 비교영상의 밝기를 조절하는 동작을 반복함에 따라 복수 개의 영상에 대해 밝기가 모두 일정하도록 조절할 수 있게 된다.
That is, the comparison image in the previous step of adjusting the brightness becomes the reference image, and repeats the operation of adjusting the brightness of the next comparison image based on the reference image. do.

도8을 참조하여 상술한 예에서, 가운데 영상이 기준영상으로 설정된 경우, 비교영상으로는 좌영상 또는 우영상이 설정될 수 있다. In the example described above with reference to FIG. 8, when the center image is set as the reference image, the left image or the right image may be set as the comparison image.

좌영상 및 우영상이 비교영상으로 설정되는 경우, 상기 특징점 정합부(120)는 기준영상으로 설정된 가운데 영상의 특징점과 좌영상의 특징점을 정합시키고, 가운데 영상의 특징점과 우영상의 특징점을 정합시킬 수 있다. When the left image and the right image are set as the comparison image, the feature point matching unit 120 matches the feature point of the center image and the feature point of the left image and sets the feature point of the center image and the feature image of the right image. Can be.

목표 평균밝기 산출부(130)는 좌영상 또는 우영상의 특징점과 정합된 것으로 확인된 가운데 영상의 특징점의 밝기 값으로부터 목표평균 밝기값을 산출할 수 있다.The target average brightness calculator 130 may calculate the target average brightness value from the brightness value of the feature point of the image, which is determined to be matched with the feature point of the left image or the right image.

또한, 상기 비교 평균밝기 산출부(140)는 가운데 영상의 특징점과 정합된 것으로 확인된 좌영상의 특징점의 밝기 값으로부터 제1 비교평균 밝기값을 산출할 수 있으며, 가운데 영상의 특징점과 정합된 것으로 확인된 우영상의 특징점의 밝기 값으로부터 제2 비교평균 밝기값을 산출할 수 있다.In addition, the comparison average brightness calculator 140 may calculate a first comparison average brightness value from the brightness values of the feature points of the left image determined to be matched with the feature points of the center image, and match the feature points of the center image. The second comparative average brightness value may be calculated from the brightness value of the identified feature of the right image.

상기 밝기 제어부(340)는 상기 목표평균 밝기값과 제1 비교평균 밝기값을 비교하고, 비교결과에 따라 좌영상이 촬영된 카메라 모듈에서의 노출시간이 조절되도록 제어할 수 있다. 또한, 상기 목표평균 밝기값과 제2 비교평균 밝기값을 비교하여, 비교결과에 따라 우영상이 촬영된 카메라 모듈에서의 노출시간이 조절되도록 제어할 수 있다.
The brightness controller 340 may compare the target average brightness value with the first comparative average brightness value and control the exposure time of the camera module in which the left image is captured according to the comparison result. In addition, by comparing the target average brightness value and the second comparison average brightness value, it is possible to control to adjust the exposure time in the camera module photographed the right image according to the comparison result.

이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.While the present invention has been described in connection with what is presently considered to be the most practical and preferred embodiments, it is to be understood that the invention is not limited to the disclosed embodiments. In other words, within the scope of the present invention, all of the components may be selectively operated in combination with one or more. In addition, although all of the components may be implemented as one independent hardware, some or all of the components may be selectively combined to perform a part or all of the functions in one or a plurality of hardware. As shown in FIG. Codes and code segments constituting the computer program may be easily inferred by those skilled in the art. Such a computer program may be stored in a computer readable storage medium and read and executed by a computer, thereby implementing embodiments of the present invention. As the storage medium of the computer program, a magnetic recording medium, an optical recording medium, a carrier wave medium, or the like may be included.

또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥 상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.It is also to be understood that the terms such as " comprises, "" comprising," or "having ", as used herein, mean that a component can be implanted unless specifically stated to the contrary. But should be construed as including other elements. All terms, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs, unless otherwise defined. Commonly used terms, such as predefined terms, should be interpreted to be consistent with the contextual meanings of the related art, and are not to be construed as ideal or overly formal, unless expressly defined to the contrary.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention. Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The protection scope of the present invention should be interpreted by the following claims, and all technical ideas within the equivalent scope should be interpreted as being included in the scope of the present invention.

Claims (9)

다중 카메라를 통해 촬영된 기준영상과 비교영상이 입력되면, 상기 기준영상과 비교영상 각각의 평균 밝기 값을 획득하는 밝기 획득부; 및
상기 기준영상에 대한 평균 밝기값과 상기 비교영상에 대한 평균 밝기값을 토대로 상기 다중 카메라의 노출 시간을 제어하는 밝기 제어부를 포함하되,
상기 밝기 획득부는,
상기 기준영상과 비교영상 각각으로부터 특징점을 추출하는 특징점 추출부;
상기 기준영상으로부터 추출된 특징점과 상기 비교영상으로부터 추출된 특징점을 정합시키는 특징점 정합부;
상기 기준영상으로부터 추출된 특징점 중 상기 비교영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 목표 평균밝기값으로 산출하는 목표 평균밝기 산출부; 및
상기 각 비교영상에 대하여, 상기 비교영상으로부터 추출된 특징점 중 상기 기준영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 비교 평균밝기값으로 산출하는 비교 평균밝기 산출부
를 포함하는 영상 밝기 조절 장치.A brightness acquisition unit configured to obtain an average brightness value of each of the reference image and the comparison image when the reference image and the comparison image photographed through the multiple cameras are input; And
And a brightness controller controlling exposure time of the multiple cameras based on the average brightness value of the reference image and the average brightness value of the comparison image.
The brightness acquisition unit,
A feature point extraction unit for extracting feature points from each of the reference image and the comparative image;
A feature point matching unit for matching the feature points extracted from the reference image with the feature points extracted from the comparison image;
A target average brightness calculator for averaging brightness values at each of the feature points extracted from the comparison image and the matched feature points among the feature points extracted from the reference image to calculate a target average brightness value; And
A comparative average brightness calculator for averaging the brightness values at each of the feature points extracted from the reference image and the matched feature points among the feature points extracted from the comparison image for each comparison image, and calculating the average brightness value as a comparison average brightness value.
Image brightness adjusting device comprising a. 삭제delete 제1항에 있어서,
상기 밝기 제어부는,
상기 기준영상에 대하여 획득된 목표 평균밝기값이 상기 비교영상에 대하여 획득된 비교 평균밝기값보다 미리 설정된 값 이상으로 크면 해당 비교영상의 촬영과 관계되는 노출시간이 늘어나도록 제어하고,
상기 목표 평균밝기값이 미리 설정된 값 이하로 상기 비교 평균밝기값보다 작으면 해당 비교영상의 촬영과 관계되는 노출시간이 줄어들도록 제어하는 것을 특징으로 하는 영상 밝기 조절 장치.The method of claim 1,
The brightness control unit includes:
If the target average brightness value obtained for the reference image is greater than or equal to a preset value than the comparison average brightness value obtained for the comparison image, the exposure time related to photographing the corresponding comparison image is increased,
And controlling the exposure time associated with capturing the corresponding comparison image to be reduced when the target average brightness value is smaller than or equal to a preset value and smaller than the comparison average brightness value. 제1항에 있어서,
상기 기준영상 및 비교영상은 상기 다중 카메라를 통해 촬영된 복수의 영상 중에서 설정되는 것을 특징으로 하는 영상 밝기 조절 장치.The method of claim 1,
And the reference image and the comparison image are set from a plurality of images photographed through the multiple cameras. 다중 카메라를 통해 촬영된 기준영상과 비교영상을 입력받는 영상 입력단계;
상기 기준영상과 비교영상 각각에 대한 평균 밝기값을 획득하는 단계; 및
상기 기준영상에 대한 평균 밝기값과 상기 비교영상에 대한 평균 밝기값을 토대로 상기 다중 카메라의 노출 시간을 제어하는 단계를 포함하되,
상기 평균 밝기값을 획득하는 단계는,
상기 기준영상 및 비교영상으로부터 특징점을 추출하는 단계;
상기 기준영상으로부터 추출된 특징점과 상기 각 비교영상으로부터 추출된 특징점을 서로 정합시키는 단계;
상기 기준영상으로부터 추출된 특징점 중 상기 비교영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 목표 평균밝기값으로 산출하는 단계; 및
상기 각 비교영상에 대하여, 상기 비교영상으로부터 추출된 특징점 중 상기 기준영상으로부터 추출된 특징점과 정합된 특징점 각각에서의 밝기값을 평균하여 비교 평균밝기값으로 산출하는 단계
를 포함하는 영상 밝기 조절 방법.An image input step of receiving a reference image and a comparison image photographed through multiple cameras;
Obtaining an average brightness value for each of the reference image and the comparison image; And
Controlling the exposure time of the multiple cameras based on the average brightness value of the reference image and the average brightness value of the comparison image,
Acquiring the average brightness value,
Extracting feature points from the reference image and the comparative image;
Matching the feature points extracted from the reference image with the feature points extracted from each comparison image;
Calculating a target average brightness value by averaging brightness values of each feature point matched with the feature points extracted from the comparison image among the feature points extracted from the reference image; And
Calculating average brightness values of the feature points extracted from the reference image and the matched feature points of the feature points extracted from the comparison image with respect to each of the comparison images
Image brightness adjustment method comprising a. 삭제delete 제5항에 있어서,
상기 노출시간을 제어하는 단계는,
상기 기준영상에 대하여 획득된 목표 평균밝기값이 상기 비교영상에 대하여 획득된 비교 평균밝기값보다 미리 설정된 값 이상으로 크면 해당 비교영상의 촬영과 관계되는 노출시간이 늘어나도록 제어하고,
상기 목표 평균밝기값이 미리 설정된 값 이하로 상기 비교 평균밝기값보다 작으면 해당 비교영상의 촬영과 관계되는 노출시간이 줄어들도록 제어하는 것을 특징으로 하는 영상 밝기 조절 방법.The method of claim 5,
Controlling the exposure time,
If the target average brightness value obtained for the reference image is greater than or equal to a preset value than the comparison average brightness value obtained for the comparison image, the exposure time related to photographing the corresponding comparison image is increased,
And controlling the exposure time associated with capturing the corresponding comparative image to be reduced when the target average brightness value is smaller than or equal to a predetermined value and smaller than the comparison average brightness value. 영상을 획득하는 복수의 카메라 모듈;
상기 영상 중 기준영상 및 비교영상으로 설정된 각 영상으로부터 추출된 특징점 중 서로 정합된 특징점에 대한 평균 밝기값을 획득하는 밝기 획득부; 및
상기 기준영상에 대한 평균 밝기값과 상기 비교영상 각각에 대한 평균 밝기값을 토대로 상기 비교영상에 대한 평균 밝기값이 상기 기준영상에 대한 평균 밝기값과 일정 허용 오차 범위 이내에서 동일하도록 해당 카메라 모듈의 노출시간을 제어하는 밝기 제어부;
를 포함하는 다중 카메라.A plurality of camera modules for acquiring an image;
A brightness obtaining unit obtaining an average brightness value of feature points matched with each other among feature points extracted from each image set as a reference image and a comparison image among the images; And
Based on the average brightness value for the reference image and the average brightness value for each of the comparison images, the average brightness value for the comparison image is equal to the average brightness value for the reference image within a certain tolerance range. A brightness controller for controlling an exposure time;
Multi camera comprising a. n개의 영상을 입력받는 입력부; 및
상기 n개의 영상 중 하나의 영상을 제1기준영상으로 선정하고 나머지 영상 중에서 하나 이상의 영상을 제1비교영상으로 선정하여, 상기 제1기준영상과 상기 제1비교영상으로부터 각각 추출된 특징점 중 서로 정합된 특징점에 대한 상기 제1 비교영상의 평균밝기값이 상기 정합된 특징점에 대한 상기 제1 기준영상의 평균밝기값으로 변경되도록 노출시간을 제어하고, 상기 n개의 영상 중에서 상기 제1기준영상 및 상기 제1비교영상 각각으로 선정된 영상을 제외한 나머지 영상이 존재하면, 상기 존재하는 나머지 영상 중에서 하나 이상의 영상을 제2비교영상으로 선정하고, 상기 제2 비교영상으로 선정된 영상 내에서 정합된 특징점에 대한 평균밝기값이 상기 노출시간의 제어에 따라 변경된 평균밝기값이 되도록 노출시간을 제어하는 방식으로, 상기 n개의 영상 모두의 평균 밝기값이 일정 허용 오차 범위 이내에서 동일하도록 제어하는 밝기 조절부
를 포함하는 영상 밝기 조절 장치. an input unit for receiving n images; And
One image of the n images is selected as a first reference image, and one or more images among the remaining images are selected as a first comparison image, and matched with each other among feature points extracted from the first reference image and the first comparison image. Controlling an exposure time so that the average brightness value of the first comparison image with respect to the selected feature point is changed to the average brightness value of the first reference image with respect to the matched feature point, and wherein the first reference image and the If there are remaining images other than the image selected as each of the first comparison images, one or more images among the remaining images are selected as the second comparison image, and the matching points are matched within the images selected as the second comparison images. The exposure time is controlled in such a manner that the average brightness value of the control unit is changed to the average brightness value according to the control of the exposure time. Brightness control unit controls the average brightness value of all the images to be the same within a certain tolerance range
Image brightness adjusting device comprising a.
KR1020120095522A 2012-08-30 2012-08-30 The method and device for adjusting brightness of image and multiple camera using that KR101245247B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120095522A KR101245247B1 (en) 2012-08-30 2012-08-30 The method and device for adjusting brightness of image and multiple camera using that

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120095522A KR101245247B1 (en) 2012-08-30 2012-08-30 The method and device for adjusting brightness of image and multiple camera using that

Publications (1)

Publication Number Publication Date
KR101245247B1 true KR101245247B1 (en) 2013-03-19

Family

ID=48182183

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120095522A KR101245247B1 (en) 2012-08-30 2012-08-30 The method and device for adjusting brightness of image and multiple camera using that

Country Status (1)

Country Link
KR (1) KR101245247B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150051087A (en) * 2013-11-01 2015-05-11 삼성전자주식회사 Apparatus and method of processing images
KR20160080461A (en) 2014-12-29 2016-07-08 영남대학교 산학협력단 Image composite Processing Apparatus of divided region image
KR20180067205A (en) * 2016-12-12 2018-06-20 엘림광통신 주식회사 A computer-readable recording medium with needle error detection program for weaving loom
KR20180067219A (en) * 2016-12-12 2018-06-20 엘림광통신 주식회사 A needle error detection appratus for weaving loom
US10375337B2 (en) 2015-09-25 2019-08-06 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
CN115037882A (en) * 2021-03-05 2022-09-09 思特威(上海)电子科技股份有限公司 Image brightness adjusting method, imaging device and computer storage medium

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286465A (en) 2003-03-19 2004-10-14 Minolta Co Ltd Method for measuring object by image and imaging apparatus
JP2007324869A (en) 2006-05-31 2007-12-13 Hitachi Kokusai Electric Inc Method, apparatus, and program for image composition
KR20080090802A (en) * 2007-04-06 2008-10-09 (주)케이티에프테크놀로지스 Portable terminal having plrality of cameras and method for controlling camera active state of the same
KR20100043608A (en) * 2008-10-20 2010-04-29 현대모비스 주식회사 The car-system

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004286465A (en) 2003-03-19 2004-10-14 Minolta Co Ltd Method for measuring object by image and imaging apparatus
JP2007324869A (en) 2006-05-31 2007-12-13 Hitachi Kokusai Electric Inc Method, apparatus, and program for image composition
KR20080090802A (en) * 2007-04-06 2008-10-09 (주)케이티에프테크놀로지스 Portable terminal having plrality of cameras and method for controlling camera active state of the same
KR20100043608A (en) * 2008-10-20 2010-04-29 현대모비스 주식회사 The car-system

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102135961B1 (en) 2013-11-01 2020-07-20 삼성전자주식회사 Apparatus and method of processing images
KR20150051087A (en) * 2013-11-01 2015-05-11 삼성전자주식회사 Apparatus and method of processing images
KR20160080461A (en) 2014-12-29 2016-07-08 영남대학교 산학협력단 Image composite Processing Apparatus of divided region image
US11699218B2 (en) 2015-09-25 2023-07-11 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
US11184570B2 (en) 2015-09-25 2021-11-23 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
US10375337B2 (en) 2015-09-25 2019-08-06 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
US10868993B2 (en) 2015-09-25 2020-12-15 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
KR20180067219A (en) * 2016-12-12 2018-06-20 엘림광통신 주식회사 A needle error detection appratus for weaving loom
KR101968252B1 (en) 2016-12-12 2019-08-13 주식회사 세파테크놀로지 A needle error detection appratus for weaving loom
KR101968250B1 (en) 2016-12-12 2019-04-11 주식회사 세파테크놀로지 A computer-readable recording medium with needle error detection program for weaving loom
KR20180067205A (en) * 2016-12-12 2018-06-20 엘림광통신 주식회사 A computer-readable recording medium with needle error detection program for weaving loom
CN115037882A (en) * 2021-03-05 2022-09-09 思特威(上海)电子科技股份有限公司 Image brightness adjusting method, imaging device and computer storage medium
CN115037882B (en) * 2021-03-05 2024-02-20 思特威(上海)电子科技股份有限公司 Image brightness adjusting method, imaging device and computer storage medium

Similar Documents

Publication Publication Date Title
KR101245247B1 (en) The method and device for adjusting brightness of image and multiple camera using that
US20200043225A1 (en) Image processing apparatus and control method thereof
US8509482B2 (en) Subject tracking apparatus, subject region extraction apparatus, and control methods therefor
US8401328B2 (en) Image processing apparatus and image processing method
CN101472188B (en) White balance control device and white balance control method
US11600025B2 (en) Image processing method, image processing apparatus, image processing system, and learnt model manufacturing method
JP6800628B2 (en) Tracking device, tracking method, and program
JP2016085637A (en) Data processor, imaging device, and data processing method
US9253374B2 (en) Image processing apparatus and method for controlling the same for obtaining and applying gamma characteristics to reduce a difference between light and dark areas of an image
US10382671B2 (en) Image processing apparatus, image processing method, and recording medium
US8620030B2 (en) Image processing apparatus and image processing method
CN108322651B (en) Photographing method and device, electronic equipment and computer readable storage medium
US20140037212A1 (en) Image processing method and device
US9589339B2 (en) Image processing apparatus and control method therefor
US20210144289A1 (en) Electronic device and method of controlling the sam
CN109559353A (en) Camera module scaling method, device, electronic equipment and computer readable storage medium
EP3235240B1 (en) Noise level based exposure time control for sequential subimages
US10863103B2 (en) Setting apparatus, setting method, and storage medium
US20170208233A1 (en) Method for generating target gain value of wide dynamic range operation
US20210256713A1 (en) Image processing apparatus and image processing method
KR101207343B1 (en) Method, apparatus, and stereo camera for controlling image lightness
JP6525503B2 (en) Image processing apparatus and imaging apparatus
JP6891808B2 (en) Image alignment system, method and program
CN109937382B (en) Image forming apparatus and image forming method
JP6450107B2 (en) Image processing apparatus, image processing method, program, and storage medium

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20161213

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20181212

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20191203

Year of fee payment: 8