KR101679279B1 - 카메라 노출 조절 장치 및 방법 - Google Patents

카메라 노출 조절 장치 및 방법 Download PDF

Info

Publication number
KR101679279B1
KR101679279B1 KR1020150128416A KR20150128416A KR101679279B1 KR 101679279 B1 KR101679279 B1 KR 101679279B1 KR 1020150128416 A KR1020150128416 A KR 1020150128416A KR 20150128416 A KR20150128416 A KR 20150128416A KR 101679279 B1 KR101679279 B1 KR 101679279B1
Authority
KR
South Korea
Prior art keywords
value
exposure
image
feature value
feature
Prior art date
Application number
KR1020150128416A
Other languages
English (en)
Inventor
권인소
심인욱
이준영
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020150128416A priority Critical patent/KR101679279B1/ko
Priority to US15/249,585 priority patent/US10419684B2/en
Application granted granted Critical
Publication of KR101679279B1 publication Critical patent/KR101679279B1/ko

Links

Images

Classifications

    • H04N5/235—
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B7/00—Control of exposure by setting shutters, diaphragms or filters, separately or conjointly
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/71—Circuitry for evaluating the brightness variation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/72—Combination of two or more compensation controls
    • H04N5/225—
    • H04N5/232—
    • H04N5/2353—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)

Abstract

카메라의 노출을 조절하는 장치로서, 카메라에서 촬영된 촬영 이미지의 밝기를 변경하여 복수의 가상 이미지를 생성하는 가상 이미지 생성부, 상기 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하는 특징값 이미지 생성부, 그리고 상기 복수의 특징값 이미지로부터 획득한 특징값과 밝기의 관계를 이용하여 기준 밝기를 추정하고, 상기 기준 밝기가 상기 촬영 이미지보다 밝으면 상기 카메라의 노출값을 올리도록 제어하며, 상기 기준 밝기가 상기 촬영 이미지보다 어두우면 상기 카메라의 노출값을 내리도록 제어하는 노출값 제어부를 포함한다.

Description

카메라 노출 조절 장치 및 방법{APPARATUS AND METHOD FOR ADJUSTING CAMERA EXPOSURE}
본 발명은 카메라 노출 조절에 관한 것이다.
기존의 카메라 노출 조절 방법은 카메라의 센서(CCD나 CMOS)에 입력되는 모든 픽셀의 빛의 세기(intensity)(광량)를 보고 카메라의 노출값을 결정한다. 하지만, 야외 등에서 조명 환경은 매우 다양하여 카메라가 최적의 노출값을 제대로 결정하지 못하는 경우가 많다. 특히, 역광에서 촬영하는 경우 배경에 많은 양의 빛이 존재하여 전경의 물체가 어둡게 되는데, 이는 역광이 광량의 평균치를 높이기 때문에 노출값을 제대로 설정하지 못하기 때문이다.
이러한 문제를 해결하기 위해 HDR(High Dynamic Range) 기능과 같이 여러 장의 이미지를 활용하는 방법이 있다. 그러나 이 방법은 여러 장의 이미지를 사용하기 때문에 움직이는 물체를 촬영하거나 움직이는 물체에서 촬영할 때에 이미지 간 정렬이 어려운 문제가 존재한다. 한편, 이미지의 특정 영역을 관심 영역으로 미리 설정하고, 관심 영역에 이미지가 가장 잘 보이도록 카메라의 노출을 조절하는 방법이 있다. 그러나 이 방법은 고정된 카메라나 미리 알고 있는 환경에서 적용할 수 있는 방법으로 일상 생활에서 실제로 사용하기에 한계가 있다.
본 발명이 해결하고자 하는 과제는 이미지의 특징값(features)을 이용하여 카메라 노출을 제어하는 장치 및 방법에 관한 것이다.
본 발명의 한 실시예에 따른 카메라의 노출을 조절하는 장치로서, 카메라에서 촬영된 촬영 이미지의 밝기를 변경하여 복수의 가상 이미지를 생성하는 가상 이미지 생성부, 상기 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하는 특징값 이미지 생성부, 그리고 상기 복수의 특징값 이미지로부터 획득한 특징값과 밝기의 관계를 이용하여 기준 밝기를 추정하고, 상기 기준 밝기가 상기 촬영 이미지보다 밝으면 상기 카메라의 노출값을 올리도록 제어하며, 상기 기준 밝기가 상기 촬영 이미지보다 어두우면 상기 카메라의 노출값을 내리도록 제어하는 노출값 제어부를 포함한다.
상기 가상 이미지 생성부는 상기 촬영 이미지를 일정 범위에 포함된 복수의 감마값으로 감마 보정(gamma correction)하여 밝기를 변경할 수 있다.
상기 특징값은 엣지(edge) 정보 또는 변화량(gradient) 정보를 포함하고, 상기 특징값 이미지 생성부는 각 가상 이미지의 픽셀별로 상기 특징값을 추출하여 해당 가상 이미지의 특징값 이미지를 생성할 수 있다.
상기 특징값 이미지 생성부는 각 가상 이미지에서 픽셀별 초기 특징값을 추출하고 비선형 함수를 사용하여 상기 초기 특징값을 보정 특징값으로 보정하며, 픽셀별 보정 특징값을 이용하여 해당 가상 이미지의 특징값 이미지를 생성할 수 있다.
상기 노출값 제어부는 각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하고, 상기 복수의 특징값 이미지 중에서 상기 특징값량이 가장 큰 이미지의 밝기를 상기 기준 밝기로 추정할 수 있다.
상기 노출값 제어부는 각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하고, 상기 복수의 특징값 이미지 각각의 밝기와 특징값량이 대응된 지점들을 연결하여 특징값과 밝기의 관계 그래프를 생성하며, 상기 그래프에서 특징값량이 최대인 밝기를 상기 기준 밝기로 추정할 수 있다.
상기 노출값 제어부는 상기 기준 밝기와 상기 촬영 이미지의 밝기의 차이가 일정 범위 이내로 수렴할 때까지 상기 카메라의 노출값 제어를 반복할 수 있다.
본 발명의 다른 실시예에 따른 장치가 카메라의 노출을 조절하는 방법으로서, 카메라에서 촬영된 촬영 이미지의 밝기를 변경하여 복수의 가상 이미지를 생성하는 단계, 상기 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하는 단계, 상기 복수의 특징값 이미지로부터 획득한 특징값과 밝기의 관계를 이용하여 기준 밝기를 추정하는 단계, 그리고 상기 기준 밝기와 상기 촬영 이미지의 밝기를 비교하여 상기 카메라의 노출값을 제어하는 단계를 포함하고, 상기 특징값은 엣지(edge) 정보 또는 변화량(gradient) 정보를 포함한다.
상기 기준 밝기를 추정하는 단계는 각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하는 단계, 그리고 상기 복수의 특징값 이미지 중에서 상기 특징값량이 가장 큰 이미지의 밝기를 상기 기준 밝기로 추정하는 단계를 포함할 수 있다.
상기 기준 밝기를 추정하는 단계는 각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하는 단계, 상기 복수의 특징값 이미지 각각의 밝기와 특징값량이 대응된 지점들을 연결하여 특징값과 밝기의 관계 그래프를 생성하는 단계, 그리고 상기 그래프에서 특징값량이 최대인 밝기를 상기 기준 밝기로 추정하는 단계를 포함할 수 있다.
상기 카메라의 노출값을 제어하는 단계는 상기 기준 밝기가 상기 촬영 이미지보다 밝으면 상기 카메라의 노출값을 올리고, 상기 기준 밝기가 상기 촬영 이미지보다 어두우면 상기 카메라의 노출값을 내릴 수 있다.
상기 복수의 특징값 이미지를 생성하는 단계는 각 가상 이미지에서 픽셀별 초기 특징값을 추출하는 단계, 비선형 함수를 사용하여 상기 초기 특징값을 보정하는 단계, 그리고 픽셀별로 보정된 특징값을 이용하여 해당 가상 이미지의 특징값 이미지를 생성하는 단계를 포함할 수 있다.
본 발명의 또 다른 실시예에 다른 장치가 카메라의 노출을 조절하는 방법으로서, 카메라에서 제1 노출값으로 촬영된 제1 이미지를 수신하는 단계, 상기 제1 이미지를 감마 보정(gamma correction)하여 획득한 복수의 가상 이미지를 이용하여 감마값과 변화량(gradient) 정보의 관계 그래프를 추출하는 단계, 그리고 상기 관계 그래프에서 추출된 특정 감마값을 기초로 상기 제1 노출값을 제2 노출값으로 변경하는 단계를 포함한다.
상기 관계 그래프를 추출하는 단계는 상기 제1 이미지를 감마 보정하여 복수의 가상 이미지를 생성하는 단계, 상기 복수의 가상 이미지 각각의 변화량값을 추출하는 단계, 그리고 상기 복수의 가상 이미지 각각의 감마값과 변화량값이 대응된 지점들을 연결하여 상기 관계 그래프를 생성하는 단계를 포함하고, 각 가상 이미지의 변화량값은 해당 가상 이미지의 픽셀별 변화량을 합산한 값일 수 있다.
상기 제1 노출값을 제2 노출값으로 변경하는 단계는 상기 관계 그래프에서 변화량값이 최대인 감마값을 상기 특정 감마값으로 결정하는 단계, 그리고 상기 특정 감마값이 1보다 큰 경우, 상기 제1 노출값보다 작은 값을 상기 제2 노출값으로 결정하고, 상기 추정 감마값이 1보다 작은 경우, 상기 제1 노출값보다 큰 값을 상기 제2 노출값으로 결정하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면 이미지의 특징값을 이용하여 카메라 노출을 제어하므로 기존의 광량 기반 카메라 노출 조절 방법에 비해 조명 환경의 영향을 덜 받는다. 따라서, 본 발명의 실시예에 따르면 이미지의 특징값을 이용하여 카메라 노출을 제어하므로 촬영 환경에 관계없이 선명한 이미지를 획득할 수 있다.
도 1은 본 발명의 한 실시예에 따른 카메라 노출 조절 장치의 구성도이다.
도 2는 본 발명의 한 실시예에 따른 특징값 변환 함수의 예시이다.
도 3은 본 발명의 한 실시예에 따른 보정된 특징값 이미지의 예시이다.
도 4는 본 발명의 한 실시예에 따른 노출도 제어 함수의 예시이다.
도 5는 본 발명의 한 실시예에 따른 카메라 노출 조절 방법의 흐름도이다.
도 6과 도 7은 본 발명의 한 실시예에 따른 방법과 종래 방법을 비교하는 도면이다.
도 8은 본 발명의 한 실시예에 따른 방법과 종래 방법을 비교하는 다른 도면이다.
도 9는 본 발명의 한 실시예에 따른 방법과 종래 방법을 비교하는 또 다른 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 한 실시예에 따른 카메라 노출 조절 장치의 구성도이고, 도 2는 본 발명의 한 실시예에 따른 특징값 변환 함수의 예시이고, 도 3은 본 발명의 한 실시예에 따른 보정된 특징값 이미지의 예시이며, 도 4는 본 발명의 한 실시예에 따른 노출도 제어 함수의 예시이다.
도 1을 참고하면, 카메라 노출 조절 장치(100)는 이미지의 특징값(features)을 이용하여 카메라의 노출값을 조절한다. 여기서, 특징값은 이미지에서 추출되는 엣지(edge) 정보나 변화량(gradient) 정보를 포함한다. 카메라 노출 조절 장치(100)가 이미지를 촬영하는 카메라(200)를 포함하는 것으로 설명하나, 카메라와 별도로 구현될 수 있다. 즉, 카메라 노출 조절 장치(100)와 카메라(200)는 일체형 또는 분리형으로 구현될 수 있다.
카메라 노출 조절 장치(100)는 이미지 특징값과 카메라 노출값과의 관계를 추출하고, 이를 기초로 카메라 노출값을 반복적으로 변경하여 최적의 노출값을 찾는다. 이를 위해, 카메라 노출 조절 장치(100)는 이미지 수신부(110), 가상 이미지 생성부(130), 특징값 이미지 생성부(150), 그리고 노출값 제어부(170)를 포함한다. 그리고 노출값 제어부(170)는 카메라(200)로 노출값을 전달하고, 이미지 수신부(110)는 카메라(200)로부터 변경된 노출값에 의해 촬영된 이미지를 수신하는 피드백 구조로 구현된다. 피드백 구조는 카메라 노출값이 최적의 값으로 수렴할 때까지 반복될 수 있다. 이때, 카메라(200)는 노출값 제어부(170)로부터 수신한 노출값을 기초로 사진 또는 동영상을 촬영하고, 촬영한 사진 또는 동영상의 정보를 이미지 수신부(110)로 전달할 수 있다.
이미지 수신부(110)는 카메라(200)로부터 특정 노출도(exposure level)(Et)에 의해 촬영된 이미지(촬영 이미지)(10)를 수신한다.
가상 이미지 생성부(130)는 촬영 이미지의 밝기를 다양하게 변경하여 복수의 가상 이미지를 생성한다. 가상 이미지 생성부(130)는 감마 보정(gamma correction) 방법을 이용하여 빛의 밝기(세기)를 변경할 수 있다. 가상 이미지 생성부(130)는 감마(
Figure 112015088202796-pat00001
)값을 일정 범위(예를 들면, 0.1, 0.5, 0.8, 1.0, 1.2, 1.5, 1.9)에서 변경하여 복수의 가상 이미지(11, 12, 13, 14, 15, 16, 17)를 생성한다.
특징값 이미지 생성부(150)는 복수의 가상 이미지 각각의 특징값을 포함하는 특징값 이미지(21, 22, 23, 24, 25, 26, 27)를 생성한다. 이미지 특징값은 이미지에 포함된 엣지 정보나 변화량(gradient,
Figure 112015088202796-pat00002
) 정보를 포함한다. 그래디언트(
Figure 112015088202796-pat00003
)는 영상의 엣지를 찾는데 이용되는 함수로서, 이미지의 특정 픽셀[(x,y)]에서의 밝기를 나타내는 함수[I(x, y)]의 그래디언트값[
Figure 112015088202796-pat00004
]을 계산하면 특정 픽셀이 얼마나 엣지에 가까운지, 엣지의 방향이 어디인지 알 수 있다. 따라서, 본 명세서에서 엣지 정보와 변화량 정보는 혼용되어 사용될 수 있다.
한편, 이미지에서 변화량 크기는 꼬리가 두꺼운 분포(heavy tailed distribution) 특성을 가지는 것으로 알려져 있다. 따라서, 대부분의 변화량은 최대 변화량보다 상대적으로 작은 값을 가지는 반면, 배경과 사물의 경계에서 변화량이 크게 나타난다. 만약 이미지에서 추출한 변화량을 그대로 이용하는 경우 상대적으로 중요도가 낮은 배경과 사물의 경계가 중요한 정보로 인코딩된다. 따라서, 특징값 이미지 생성부(150)는 작은 변화량과 큰 변화량의 중요도의 균형을 맞추기 위해 도 2와 같은 비선형 함수를 이용하여 각 픽셀의 실제 변화량(
Figure 112015088202796-pat00005
)을 보정한다. 즉, 특징값 이미지 생성부(150)는 변화량(
Figure 112015088202796-pat00006
)이 작은 픽셀의 중요도를 상대적으로 높이는 비선형 함수를 사용한다.
도 2의 함수는 수학식 1과 같이 표현될 수 있다. 수학식 1에서,
Figure 112015088202796-pat00007
는 픽셀 위치(i)에서의 변화량 값이고,
Figure 112015088202796-pat00008
는 보정된 변화량 값이다.
Figure 112015088202796-pat00009
는 노이즈를 구분하는 임계값이며,
Figure 112015088202796-pat00010
는 매핑 경향(mapping tendency)을 조절하는 제어 파라미터이다. N은 함수의 출력 범위를 [0,1]로 제한하여 보정된 변화량을 정규화하는 정규화 요소(normalization factor)이다.
Figure 112015088202796-pat00011
도 3을 참고하면, 보정 전 특징값(
Figure 112015088202796-pat00012
)으로 표현된 특징값 이미지는 배경과 사물의 경계에서 엣지/변화량이 두드러지게 나타나지만, 나머지 영역에서 엣지/변화량이 작다. 특징값 이미지 생성부(150)는
Figure 112015088202796-pat00013
와
Figure 112015088202796-pat00014
를 제어하여 엣지/변화량이 작은 영역의 값을 높일 수 있고, 이를 통해 보정 후 특징값(
Figure 112015088202796-pat00015
)으로 표현된 복수의 특징값 이미지를 생성할 수 있다.
노출값 제어부(170)는 복수의 특징값 이미지 중에서 가장 많은 엣지 또는 변화량을 가지는 이미지를 추출한다. 노출값 제어부(170)는 수학식 2와 같이 모든 픽셀의 변화량을 합산하여 해당 이미지의 전체 엣지값 또는 전체 변화량을 계산할 수 있다.
Figure 112015088202796-pat00016
노출값 제어부(170)는 추출한 이미지의 감마값을 추정 감마값(
Figure 112015088202796-pat00017
)으로 결정하고, 추정 감마값(
Figure 112015088202796-pat00018
)을 이용하여 카메라(200)의 노출을 변경한다.
또는 노출값 제어부(170)는 복수의 특징값 이미지 각각의 감마값에 대한 전체 엣지값/전체 변화량(M)을 그래프상에 매핑하고, 매핑된 지점들을 연결하여 감마값에 대한 전체 엣지값/전체 변화량(M)의 관계 그래프(도 1의 170에 기재된 그래프 참조)를 생성한다. 그리고 노출값 제어부(170)는 관계 그래프에서 전체 엣지값/전체 변화량(M)이 최대가 되는 감마값을 추정 감마값(
Figure 112015088202796-pat00019
)으로 결정할 수 있다.
추정 감마값이 1보다 작으면, 현재 이미지는 어둡게 찍힌 것이다. 따라서, 노출값 제어부(170)는 노출도를 올리도록 카메라(200)를 제어한다. 추정 감마값이 1보다 크면, 현재 이미지는 밝게 찍힌 것이다. 따라서, 노출값 제어부(170)는 노출도를 내리도록 카메라(200)를 제어한다. 따라서, 노출값 제어부(170)는 도 4와 같은 추정 감마값(
Figure 112015088202796-pat00020
)과 노출도비(
Figure 112015088202796-pat00021
)의 반비례 관계 그래프를 이용하여 카메라의 변경 노출도(Et+1)를 계산할 수 있다.
도 4의 함수는 수학식 3과 같이 표현될 수 있다. 수학식 3에서, Et는 현재 촬영(시간=t)의 노출도이고, Et+ 1는 다음 촬영(시간=t+1)의 노출도이다. Kp는 노출도비(
Figure 112015088202796-pat00022
)가 1로 수렴하는 속도를 제어하는 값으로서, Kp가 클수록 노출도의 변경폭이 커서 빨리 수렴할 수 있으나, 오실레이션이 발생할 수 있다.
Figure 112015088202796-pat00023
노출값 제어부(170)는 카메라(200)로 노출값을 전달하고, 카메라 노출값이 특정 값으로 수렴할 때까지 카메라의 노출값 제어를 반복한다.
도 5는 본 발명의 한 실시예에 따른 카메라 노출 조절 방법의 흐름도이다.
도 5를 참고하면, 카메라 노출 조절 장치(100)는 카메라(200)에서 촬영된 촬영 이미지를 수신한다(S110).
카메라 노출 조절 장치(100)는 감마 보정으로 촬영 이미지의 노출을 다양하게 변경하여 복수의 가상 이미지를 생성한다(S120).
카메라 노출 조절 장치(100)는 복수의 가상 이미지 각각의 초기 특징값 이미지를 생성한다(S130). 특징값은 이미지에서 추출되는 엣지 또는 변화량 정보를 포함한다.
카메라 노출 조절 장치(100)는 비선형 함수를 이용하여 각 초기 특징값 이미지의 픽셀별 특징값을 보정하여 보정 특징값 이미지를 생성한다(S140). 카메라 노출 조절 장치(100)는 도 2 및 수학식 1을 이용하여 실제 특징값(
Figure 112015088202796-pat00024
)을 보정 특징값(
Figure 112015088202796-pat00025
)으로 보정하는데, 특징값이 작은 픽셀의 중요도를 상대적으로 높이는 비선형 함수를 사용한다.
카메라 노출 조절 장치(100)는 복수의 보정 특징값 이미지 중에서 특징값이 가장 큰 이미지를 추출한다(S150). 카메라 노출 조절 장치(100)는 수학식 2와 같이 모든 픽셀의 특징값을 합산하여 해당 이미지의 특징값(M)을 계산한다.
카메라 노출 조절 장치(100)는 추출한 이미지의 감마값을 추정 감마값(
Figure 112015088202796-pat00026
)으로 결정하고, 추정 감마값을 이용하여 카메라의 보정 노출값을 추출한다(S160). 카메라 노출 조절 장치(100)는 추정 감마값이 1보다 크면, 현재보다 작은 노출값을 보정 노출값으로 추출하고, 추정 감마값이 1보다 작으면, 현재보다 큰 노출값을 보정 노출값으로 추출한다. 한편, 카메라 노출 조절 장치(100)는 복수의 보정 특징값 이미지 각각의 감마값(
Figure 112015088202796-pat00027
)에 대한 특징값(M)을 그래프상에 매핑하고, 이들을 연결한 그래프에서 특징값(M)이 최대가 되는 감마값을 추정 감마값으로 결정할 수 있다.
카메라 노출 조절 장치(100)는 카메라의 노출값이 특정 값으로 수렴하는지 판단하여 노출 제어를 반복한다(S170). 즉, 카메라 노출 조절 장치(100)는 카메라의 노출값의 변동이 특정 범위 이내로 들어온 경우 카메라의 노출값이 최적의 값으로 수렴한 것으로 판단한다. 카메라의 노출값이 특정 값으로 수렴하지 않은 경우, 카메라 노출 조절 장치(100)는 카메라(200)의 노출값을 보정 노출값으로 설정한다.
이와 같이, 카메라 노출 조절 장치(100)는 촬영 이미지의 가상 이미지로부터 최적의 노출값을 추출한다.
도 6과 도 7은 본 발명의 한 실시예에 따른 방법과 종래 방법을 비교하는 도면이다.
도 6을 참고하면, 자동 노출(auto-exposure, AE) 조절 방법, 수동 노출(manual-exposure, ME) 조절 방법, 그리고 본 발명에 따른 노출 조절 방법(ours)을 이용하여 시간에 따라 동일한 장면을 촬영한다. 그리고 HOGgles를 이용하여 각 이미지의 특징을 시각화해 보면 본 발명에 따른 노출 조절 방법(ours)으로 촬영한 이미지에서 특정 객체를 정확히 검출할 수 있음을 알 수 있다.
도 7은 도 6의 결과를 정량적으로 평가한 그래프로서, 본 발명에 따른 노출 조절 방법(ours)이 다른 방법(AE, ME)에 비해 성능이 향상된 것을 알 수 있다.
도 8은 본 발명의 한 실시예에 따른 방법과 종래 방법을 비교하는 다른 도면이다.
도 8을 참고하면, 자동 노출(AE) 조절 방법, 수동 노출(ME) 조절 방법, 그리고 본 발명에 따른 노출 조절 방법(ours)을 이용하여 시간에 따라 폐쇄형의 특정 경로를 이동하면서 지면을 촬영한다. 본 발명에 따른 노출 조절 방법(ours)이 다른 방법(AE, ME)에 비해 경로를 정확이 추출하는 것을 알 수 있다.
도 9는 본 발명의 한 실시예에 따른 방법과 종래 방법을 비교하는 또 다른 도면이다.
도 9를 참고하면, 자동 노출(AE) 조절 방법, 수동 노출(ME) 조절 방법, 그리고 본 발명에 따른 노출 조절 방법(ours)을 이용하여 시간에 따라 특정 위치(P1, P2)를 촬영한다. 각 이미지에서 녹색 선은 인접 프레임들 사이에서 추적되는 특징값들을 나타낸다.
이와 같이, 본 발명은 종래의 방법과 같이 빛의 세기를 이용하여 카메라의 노출값을 결정하는 대신, 이미지 고유의 특징값을 이용하여 노출값을 결정하므로, 조명 환경에 강인하게 이미지를 획득할 수 있다.
빛의 세기와 노출값은 비례 관계이므로, 종래의 노출 조절 방법은 빛의 세기(광량)를 측정하여 노출값을 결정한다. 하지만, 빛의 세기를 이용하여 노출값을 조절하는 방법이 조명 환경에 민감한 단점을 가지고 있고, 이를 개선하기 위해 연구된 방법들 역시 촬영 환경이 제한되는 한계가 있다. 하지만, 본 발명의 카메라 노출 조절 장치(100)는 조명 환경과 움직임에 강인한 이미지 특징값을 이용하여 노출값을 제어하므로 종래의 방법에 비해 탁월한 효과를 가진다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (15)

  1. 카메라의 노출을 조절하는 장치로서,
    카메라에서 제1 노출값으로 촬영된 촬영 이미지를 감마 보정(gamma correction)하여 복수의 가상 이미지를 생성하는 가상 이미지 생성부,
    상기 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하는 특징값 이미지 생성부, 그리고
    상기 복수의 특징값 이미지로부터 획득한 특징값과 감마값의 관계를 이용하여 상기 촬영 이미지의 특징값을 최대로 만드는 타겟 감마값을 추정하고, 상기 타겟 감마값을 기초로 상기 카메라의 노출값을 상기 제1 노출값에서 제2 노출값으로 변경하는 노출값 제어부
    를 포함하는 카메라 노출 조절 장치.
  2. 제1항에서,
    상기 노출값 제어부는
    상기 타겟 감마값이 1보다 큰 경우, 상기 제1 노출값보다 작은 값을 상기 제2 노출값으로 결정하고, 상기 타겟 감마값이 1보다 작은 경우, 상기 제1 노출값보다 큰 값을 상기 제2 노출값으로 결정하는 카메라 노출 조절 장치.
  3. 제1항에서,
    상기 특징값은 엣지(edge) 정보 또는 변화량(gradient) 정보를 포함하고,
    상기 특징값 이미지 생성부는
    각 가상 이미지의 픽셀별로 상기 특징값을 추출하여 해당 가상 이미지의 특징값 이미지를 생성하는 카메라 노출 조절 장치.
  4. 제3항에서,
    상기 특징값 이미지 생성부는
    각 가상 이미지에서 픽셀별 초기 특징값을 추출하고 비선형 함수를 사용하여 상기 초기 특징값을 보정 특징값으로 보정하며, 픽셀별 보정 특징값을 이용하여 해당 가상 이미지의 특징값 이미지를 생성하는 카메라 노출 조절 장치.
  5. 제3항에서,
    상기 노출값 제어부는
    각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하고, 상기 복수의 특징값 이미지 중에서 상기 특징값량이 가장 큰 이미지의 감마값을 상기 타겟 감마값으로 추정하는 카메라 노출 조절 장치.
  6. 제3항에서,
    상기 노출값 제어부는
    각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하고, 상기 복수의 특징값 이미지 각각의 감마값과 특징값량이 대응된 지점들을 연결하여 특징값과 감마값의 관계 그래프를 생성하며, 상기 그래프에서 특징값량이 최대인 감마값을 상기 타겟 감마값으로 추정하는 카메라 노출 조절 장치.
  7. 제1항에서,
    상기 노출값 제어부는
    상기 제2 노출값과 상기 제1 노출값의 차이가 일정 범위 이내로 수렴할 때까지 상기 카메라의 노출값 제어를 반복하는 카메라 노출 조절 장치.
  8. 장치가 카메라의 노출을 조절하는 방법으로서,
    카메라에서 촬영된 촬영 이미지를 감마 보정(gamma correction)하여 복수의 가상 이미지를 생성하는 단계,
    상기 복수의 가상 이미지 각각의 특징값을 추출하여 복수의 특징값 이미지를 생성하는 단계,
    상기 복수의 특징값 이미지로부터 획득한 특징값을 기초로 상기 촬영 이미지에서 기대되는 최대 특징값을 추정하는 단계, 그리고
    상기 최대 특징값을 획득하기 위한 노출값이 되도록 상기 카메라의 노출값을 제어하는 단계
    를 포함하고,
    상기 특징값은 엣지(edge) 정보 또는 변화량(gradient) 정보를 포함하는 카메라 노출 조절 방법.
  9. 제8항에서,
    상기 추정하는 단계는
    각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하는 단계, 그리고
    상기 복수의 특징값 이미지 중에서 상기 특징값량이 가장 큰 이미지의 특징값량을 상기 최대 특징값으로 추정하는 단계
    를 포함하는 카메라 노출 조절 방법.
  10. 제8항에서,
    상기 추정하는 단계는
    각 특징값 이미지의 픽셀별 특징값을 합산하여 해당 특징값 이미지의 특징값량을 계산하는 단계,
    상기 복수의 특징값 이미지 각각의 감마값과 특징값량이 대응된 지점들을 연결하여 특징값과 감마값의 관계 그래프를 생성하는 단계, 그리고
    상기 그래프에서 상기 최대 특징값을 추정하는 단계
    를 포함하는 카메라 노출 조절 방법.
  11. 제8항에서,
    상기 제어하는 단계는
    상기 최대 특징값을 만드는 감마값이 1보다 큰 경우, 상기 카메라의 노출값을 현재보다 낮추고,
    상기 최대 특징값을 만드는 감마값이 1보다 작은 경우, 상기 카메라의 노출값을 현재보다 높이도록 제어하는 카메라 노출 조절 방법.
  12. 제11항에서,
    상기 복수의 특징값 이미지를 생성하는 단계는
    각 가상 이미지에서 픽셀별 초기 특징값을 추출하는 단계,
    비선형 함수를 사용하여 상기 초기 특징값을 보정하는 단계, 그리고
    픽셀별로 보정된 특징값을 이용하여 해당 가상 이미지의 특징값 이미지를 생성하는 단계
    를 포함하는 카메라 노출 조절 방법.
  13. 장치가 카메라의 노출을 조절하는 방법으로서,
    카메라에서 제1 노출값으로 촬영된 제1 이미지를 수신하는 단계,
    상기 제1 이미지를 감마 보정(gamma correction)하여 획득한 복수의 가상 이미지를 이용하여 감마값과 변화량(gradient) 정보의 관계 그래프를 추출하는 단계,
    상기 관계 그래프에서 변화량값이 최대인 감마값을 특정 감마값으로 결정하는 단계, 그리고
    상기 특정 감마값과 상기 제1 노출값의 관계를 기초로 상기 카메라의 노출값을 상기 제1 노출값에서 제2 노출값으로 변경하는 단계
    를 포함하는 카메라 노출 조절 방법.
  14. 제13항에서,
    상기 관계 그래프를 추출하는 단계는
    상기 제1 이미지를 감마 보정하여 복수의 가상 이미지를 생성하는 단계,
    상기 복수의 가상 이미지 각각의 변화량값을 추출하는 단계, 그리고
    상기 복수의 가상 이미지 각각의 감마값과 변화량값이 대응된 지점들을 연결하여 상기 관계 그래프를 생성하는 단계
    를 포함하고,
    각 가상 이미지의 변화량값은 해당 가상 이미지의 픽셀별 변화량을 합산한 값인 카메라 노출 조절 방법.
  15. 제14항에서,
    상기 제1 노출값을 제2 노출값으로 변경하는 단계는
    상기 특정 감마값이 1보다 큰 경우, 상기 제1 노출값보다 작은 값을 상기 제2 노출값으로 결정하고, 상기 특정 감마값이 1보다 작은 경우, 상기 제1 노출값보다 큰 값을 상기 제2 노출값으로 결정하는 카메라 노출 조절 방법.
KR1020150128416A 2015-09-10 2015-09-10 카메라 노출 조절 장치 및 방법 KR101679279B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150128416A KR101679279B1 (ko) 2015-09-10 2015-09-10 카메라 노출 조절 장치 및 방법
US15/249,585 US10419684B2 (en) 2015-09-10 2016-08-29 Apparatus and method for adjusting camera exposure

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150128416A KR101679279B1 (ko) 2015-09-10 2015-09-10 카메라 노출 조절 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101679279B1 true KR101679279B1 (ko) 2016-11-24

Family

ID=57705764

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150128416A KR101679279B1 (ko) 2015-09-10 2015-09-10 카메라 노출 조절 장치 및 방법

Country Status (2)

Country Link
US (1) US10419684B2 (ko)
KR (1) KR101679279B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068488A (ko) 2016-12-14 2018-06-22 현대자동차주식회사 카메라 노출 제어 장치 및 그 방법
US10230900B2 (en) 2016-10-20 2019-03-12 Hyundai Motor Company Apparatus for controlling exposure of multi-view camera, system including the same, and method for controlling exposure of multi-view camera
US11057570B2 (en) 2018-10-15 2021-07-06 Hyundai Motor Company Vehicle and method for controlling the same
US11323632B2 (en) 2019-11-07 2022-05-03 Samsung Electronics Co., Ltd. Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera
IL296495B1 (en) * 2016-12-23 2024-03-01 Magic Leap Inc Techniques for configuring settings for a content capture device

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6901386B2 (ja) * 2017-12-08 2021-07-14 株式会社東芝 勾配推定装置、勾配推定方法、プログラムおよび制御システム
US11503204B2 (en) 2019-12-19 2022-11-15 Magic Leap, Inc. Gradient-based exposure and gain control techniques
US20230080638A1 (en) * 2021-09-13 2023-03-16 Toyota Research Institute, Inc. Systems and methods for self-supervised learning of camera intrinsic parameters from a sequence of images
CN114125280B (zh) * 2021-11-15 2024-02-13 北京字跳网络技术有限公司 相机曝光控制方法、装置、设备、存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4423936A (en) 1982-07-26 1984-01-03 Polaroid Corporation Photographic exposure control system and method
JPH06347862A (ja) 1993-06-08 1994-12-22 Nikon Corp カメラの測光装置
US7289154B2 (en) 2000-05-10 2007-10-30 Eastman Kodak Company Digital image processing method and apparatus for brightness adjustment of digital images
US6636646B1 (en) 2000-07-20 2003-10-21 Eastman Kodak Company Digital image processing method and for brightness adjustment of digital images
KR100843087B1 (ko) * 2006-09-06 2008-07-02 삼성전자주식회사 영상 생성 장치 및 방법
KR101153388B1 (ko) 2010-07-06 2012-06-05 엘지이노텍 주식회사 카메라 모듈 및 그의 노출 제어 방법
US8554011B2 (en) 2011-06-07 2013-10-08 Microsoft Corporation Automatic exposure correction of images
JP6324090B2 (ja) * 2014-01-31 2018-05-16 株式会社 日立産業制御ソリューションズ 撮像装置
JP6493787B2 (ja) * 2015-01-19 2019-04-03 株式会社リコー 撮像装置、撮像方法及び撮像動作制御プログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10230900B2 (en) 2016-10-20 2019-03-12 Hyundai Motor Company Apparatus for controlling exposure of multi-view camera, system including the same, and method for controlling exposure of multi-view camera
KR20180068488A (ko) 2016-12-14 2018-06-22 현대자동차주식회사 카메라 노출 제어 장치 및 그 방법
IL296495B1 (en) * 2016-12-23 2024-03-01 Magic Leap Inc Techniques for configuring settings for a content capture device
US11968456B2 (en) 2016-12-23 2024-04-23 Magic Leap, Inc. Techniques for determining settings for a content capture device
US11057570B2 (en) 2018-10-15 2021-07-06 Hyundai Motor Company Vehicle and method for controlling the same
US11323632B2 (en) 2019-11-07 2022-05-03 Samsung Electronics Co., Ltd. Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera

Also Published As

Publication number Publication date
US10419684B2 (en) 2019-09-17
US20170078551A1 (en) 2017-03-16

Similar Documents

Publication Publication Date Title
KR101679279B1 (ko) 카메라 노출 조절 장치 및 방법
US7791656B2 (en) Image sensing apparatus and image processing method
US8355059B2 (en) Image capturing apparatus and control method thereof
US9077905B2 (en) Image capturing apparatus and control method thereof
JP6074254B2 (ja) 画像処理装置およびその制御方法
US9432641B2 (en) Image processing device and program
US10091422B2 (en) Image processing device and recording medium
US11323632B2 (en) Electronic device and method for increasing exposure control performance of a camera by adjusting exposure parameter of the camera
TW201935116A (zh) 基於結構光之自動曝光控制器、自動曝光控制方法及其系統
JP2007028088A (ja) 撮像装置及び画像処理方法
KR20110125154A (ko) 이미지 촬영 장치의 밝기를 자동으로 조절하는 장치 및 방법
CN111093064A (zh) 图像处理
US8982244B2 (en) Image capturing apparatus for luminance correction, a control method therefor, and a recording medium
US20100260431A1 (en) Method for estimating of direction of motion blur in an image
CN108551555B (zh) 一种使用cmos探测器的工业相机的自动曝光方法
JP2019029833A (ja) 撮像装置
JP2010183461A (ja) 撮像装置およびその制御方法
JP7000080B2 (ja) 画像処理装置およびその制御方法、並びにプログラム
JP2016213717A (ja) 画像処理装置及び画像処理方法、プログラム、記憶媒体
CN110944135A (zh) 一种功率控制方法、电子设备及存储介质
KR102170697B1 (ko) 영상 처리 장치 및 영상 처리 방법
JP2013115571A (ja) 情報処理装置
JP5789330B2 (ja) 撮像装置およびその制御方法
KR101545323B1 (ko) 자동 화이트 밸런스 조정 시스템 및 자동 화이트 밸런스 조정 방법
KR101797711B1 (ko) 영상 내 구조물 음영영역 개선 시스템 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant