KR102243292B1 - 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체 - Google Patents

컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체 Download PDF

Info

Publication number
KR102243292B1
KR102243292B1 KR1020170068758A KR20170068758A KR102243292B1 KR 102243292 B1 KR102243292 B1 KR 102243292B1 KR 1020170068758 A KR1020170068758 A KR 1020170068758A KR 20170068758 A KR20170068758 A KR 20170068758A KR 102243292 B1 KR102243292 B1 KR 102243292B1
Authority
KR
South Korea
Prior art keywords
image
response curve
color response
hdr
color
Prior art date
Application number
KR1020170068758A
Other languages
English (en)
Other versions
KR102243292B9 (ko
KR20180132210A (ko
Inventor
황영배
김정호
배주한
Original Assignee
한국전자기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자기술연구원 filed Critical 한국전자기술연구원
Priority to KR1020170068758A priority Critical patent/KR102243292B1/ko
Publication of KR20180132210A publication Critical patent/KR20180132210A/ko
Application granted granted Critical
Publication of KR102243292B1 publication Critical patent/KR102243292B1/ko
Publication of KR102243292B9 publication Critical patent/KR102243292B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/007—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20208—High dynamic range [HDR] image processing

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Abstract

HDR 영상 생성방법, HDR 영상 생성장치, 카메라 및 기록매체가 제공된다. 본 HDR 영상 생성방법에 따르면, 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성할 수 있게 되어, 다양한 색상을 포함하는 샘플영상에 기반한 컬러반응곡선 추정으로 색상 왜곡을 최소화 하는 HDR 영상을 생성할 수 있게 되고, 이중 노출 영상만으로도 왜곡이 최소화된 실시간 HDR 영상을 생성할 수 있게 된다.

Description

컬러반응곡선을 이용한 HDR 영상 생성방법, HDR 영상 생성장치, 카메라 및 기록매체 {Method and Device for making HDR image by using color response curve, camera, and recording medium}
본 발명은 HDR(High Dynamic Range) 영상을 생성하는 방법에 관한 것으로, 더욱 상세하게는, 컬러 반응 곡선 (Color response curve(CRC))을 이용하여 HDR 영상을 생성하는 방법에 관한 것이다.
컴퓨터 그래픽스 혹은 사진에서, 하이 다이내믹 레인지(High Dynaminc Range, HDR)은 일반적으로 허용하는 것보다 훨씬 높은 다이내믹 레인지(DR)를 처리할 수 있는 디지털 화상 처리 기법을 의미한다. HDR는 처음에는 컴퓨터로 렌더링 된 이미지의 품질을 개선하기 위해 개발되었다.
이 후, HDR은 서로 다른 노출 상태에서 찍은 여러 장의 사진으로부터 높은 다이내믹 레인지(DR)를 갖는 사진을 얻는 방법으로 개발되었다. 하나의 카메라를 이용하여 HDR 영상을 획득할 때, 노출이 서로 다른 복수개의 영상을 획득하기 위하여 촬영을 연속적으로 여러번 수행한다.
하지만, HDR 영상 생성을 위한 이와 같은 여러번의 촬영 사이에 존재하는 시간 간격으로 인하여, 다음과 같은 문제점이 발생될 수 있다. 첫째, 손 떨림에 의한 영상의 쉬프트(shift)가 발생함으로써, 이를 보정해야 하는 문제가 있다. 둘째, 촬영되는 객체가 동적 객체인 경우, 동적 객체의 위치 및 모양의 차이로 인해 고스트가 발생되는 문제가 있다. 셋째, 임의 환경의 Dynamic range와 색상 분포를 예상할 수 없기 때문에 다수의 노출을 가지는 영상을 취득하더라도 HDR결과에 색상 왜곡을 포함하는 경우가 발생한다.
이에 따라, HDR 영상의 고스트 또는 색상 왜곡을 최소화하기 위한 방안의 모색이 요청된다.
본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 HDR 영상 생성방법, HDR 영상 생성장치, 카메라 및 기록매체를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, HDR 영상 생성방법은, 서로 다른 노출조건으로 촬영된 2개의 입력영상을 입력받는 단계; 및 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 단계;를 포함한다.
그리고, 서로 다른 노출조건으로 촬영된 복수개의 샘플영상을 입력받는 단계; 및 입력된 샘플영상을 이용하여 픽셀 빛세기(intensity)에 대한 노출값의 관계를 나타내는 컬러반응곡선을 추정하는 단계;를 더 포함할 수도 있다.
또한, 추정단계는, 노출값(E)와 픽셀 빛세기(Z)의 관계를 역함수가 존재하는 비선형 단조 증가 함수(f)로 정의하고, 노출 시간을 △t, i를 픽셀 인덱스, j를 입력영상 인덱스라고 할 경우, 아래의 수식으로 표현되는 반응함수인
Figure 112017052779091-pat00001
Figure 112017052779091-pat00002
를 이용하여 컬러반응곡선을 추정할 수도 있다.
그리고, P개의 샘플영상, 샘플영상 1개당 N개의 화소수, λ는 반응함수
Figure 112017052779091-pat00003
의 완곡성 정도를 얼마나 고려할 것인지에 대한 가중치를 나타내는 경우, 반응함수
Figure 112017052779091-pat00004
는 아래와 같은 목적함수
Figure 112017052779091-pat00005
Figure 112017052779091-pat00006
를 이용하여 산출될 수도 있다.
또한, 추정단계는, 픽셀 빛세기(Z)에 대한 노출값(E)의 관계를 나타내는 컬러반응곡선을 아래의 수식
Figure 112017052779091-pat00007
을 이용하여 추정할 수도 있다.
그리고, 추정단계는, 복수개의 컬러 채널별로 컬러반응곡선을 추정할 수도 있다.
또한, 생성단계는, 컬러반응곡선에 기초하여 2개의 입력영상에 대한 합성 루미넌스(luminance)를 구하고, 합성 루미넌스에 대응되는 글로벌 톤 맵핑(global tone mapping)을 적용함으로써 WDR(Wide Dynamic Range)을 산출하며, WDR을 디스플레이 가능 영역으로 변환하는 LDR(Low Dynamic Range)를 산출함으로써 HDR영상을 생성할 수도 있다.
또한, 추정단계는, 복수개의 촬영모드에 대해, 각각의 촬영모드 별로 컬러반응곡선을 추정할 수도 있다.
그리고, 추정단계는, 제1 촬영모드에 대한 컬러반응곡선이 기저장되어있고 제2 촬영모드에 대한 컬러반응곡선은 없는 상태인 경우, 같은 장면을 같은 촬영조건으로 제1 촬영모드와 제2 촬영모드에서 각각 촬영된 제1 영상과 제2 영상을 서로 비교하고, 제1영상과 제2영상의 비교 정보 및 제1 촬영모드에 대한 컬러반응곡선을 이용하여 제2 촬영모드에 대한 컬러반응곡선을 추정할 수도 있다.
한편, 본 발명의 일 실시예에 따른, 컴퓨터로 읽을 수 있는 기록매체는, 서로 다른 노출조건으로 촬영된 2개의 입력영상을 입력받는 단계; 및 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 단계;를 포함하는 HDR 영상 생성방법을 수행하는 컴퓨터 프로그램이 수록된다.
한편, 본 발명의 일 실시예에 따른, HDR 영상 생성장치는, 서로 다른 노출조건으로 촬영된 2개의 입력영상을 입력받는 입력부; 및 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 처리부;를 포함한다.
한편, 본 발명의 일 실시예에 따른, 카메라는, 서로 다른 노출조건으로 복수개의 샘플영상을 촬영하고, 서로 다른 노출조건으로 2개의 입력영상을 촬영하는 촬영부; 및 입력된 샘플영상을 이용하여 픽셀 빛세기(intensity)에 대한 노출값의 관계를 나타내는 컬러반응곡선을 추정하고, 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 처리부;를 포함한다.
본 발명의 다양한 실시예에 따르면, 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 HDR 영상 생성방법, HDR 영상 생성장치, 카메라 및 기록매체를 제공할 수 있게 되어, 다양한 색상을 포함하는 샘플영상에 기반한 컬러반응곡선 추정으로 색상 왜곡을 최소화 하는 HDR 영상을 생성할 수 있게 되고, 이중 노출 영상만으로도 왜곡이 최소화된 실시간 HDR 영상을 생성할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, HDR 영상 생성장치의 구성을 도시한 블록도,
도 2는 본 발명의 일 실시예에 따른, HDR 영상 생성방법을 설명하기 위해 제공되는 흐름도,
도 3은 본 발명의 일 실시예에 따른, 샘플영상들의 일 예를 도시한 도면,
도 4는 본 발명의 일 실시예에 따른, 컬러채널별 컬러반응곡선의 일 예를 도시한 그래프,
도 5는 본 발명의 일 실시예에 따른, 2개의 입력영상을 도시한 도면,
도 6은 본 발명의 일 실시예에 따른, 루미넌스 맵과 톤 맵핑을 도시한 도면,
도 7은 본 발명의 일 실시예에 따른, 컬러반응곡선을 이용하여 생성된 WDR 영상을 종래 방식으로 생성된 WDR 영상과 비교한 도면,
도 8은 본 발명의 일 실시예에 따른, WDR 성능 측정 절차를 도시한 도면,
도 9는 본 발명의 일 실시예에 따른, HDR 성능 테스트용 영상을 도시한 도면,
도 10은 본 발명의 일 실시예에 따른, WDR 성능 결과를 도시한 도면,
도 11은 본 발명의 일 실시예에 따른, 카메라의 구성을 도시한 블록도이다.
이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른, HDR(High Dynamic Range) 영상 생성장치(100)의 구성을 도시한 블록도이다. 도 1에 도시된 바와 같이, HDR 영상 생성장치(100)는 입력부(110), 저장부(120) 및 처리부(130)를 포함한다.
입력부(110)는 촬영부(10)에 의해 서로 다른 노출조건으로 촬영된 2개의 입력영상을 입력받는다. 입력부(110)는 촬영부(10)로부터 유선 또는 무선으로 촬영된 영상 데이터를 수신하고, 수신된 영상을 처리부(130)로 전달하게 된다.
저장부(120)는 촬영된 영상 데이터 및 처리된 WDR(Wide Dynamic Range) 영상 데이터 및 LDR(Low Dynamic Range) 영상 데이터 등의 다양한 데이터를 저장한다. 또한, 저장부(120)는 컬러 채널별 및 촬영 모드별 컬러반응곡선(Color response curve(CRC))을 저장할 수도 있다.
처리부(130)는 HDR 영상 생성장치(100)의 동작 제어 및 영상 처리를 수행한다. 구체적으로, 처리부(130)는 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성한다.
HDR 영상 생성장치(100)의 동작에 대해서는 도 2를 통하여 이하에서 더욱 상세히 설명한다. 도 2는 본 발명의 일 실시예에 따른, HDR 영상 생성방법을 설명하기 위해 제공되는 흐름도이다.
일단, HDR 영상 생성장치(100)는 서로 다른 노출조건으로 촬영된 복수개의 샘플영상을 입력받는다(S210). 여기에서 샘플영상은 컬러반응곡선을 추정하기 위해 샘플로 촬영되는 영상으로 다수의 컬러차트들을 촬영한 영상이다. 다수의 컬러차트들은 각기 다른 조명 환경에 놓여진다. 구체적으로, 좌측의 컬러차트의 밝은 환경으로 배경을 밝게, 우측의 컬러차트의 어두운 환경으로 배경을 어둡게 하여 샘플영상을 촬영할 수 있다.
그리고, 서로 다른 노출조건은 샘플영상들의 노출 시간이 서로 다른 것을 의미할 수도 있으며, 이외에도 노출에 영향을 주는 조리개 수치나 카메라 센서 감도(ISO) 수치가 서로 다른 것을 의미할 수도 있음은 물론이다.
도 3은 본 발명의 일 실시예에 따른, 샘플영상들의 일 예를 도시한 도면이다. 도 3에서는 서로 다른 노출 시간(1~600ms)이 적용된 20장의 샘플영상들을 도시하고 있다. 샘플영상은 컬러차트가 영상내에 포함되게 촬영될 수도 있으며, 이와 같은 컬러차트를 통해 다양한 컬러 채널에 대해서 픽셀 빛세기(intensity)에 대한 노출값의 관계를 나타내는 컬러반응곡선을 추정할 수 있게 된다.
다시 도 2로 돌아가, HDR 영상 생성장치(100)는 입력된 샘플영상을 이용하여 픽셀 빛세기(intensity)에 대한 노출값의 관계를 나타내는 컬러반응곡선(Color response curve(CRC))을 추정한다(S420).
구체적으로, HDR 영상 생성장치(100)는 노출값(E)와 픽셀 빛세기(Z)의 관계를 역함수가 존재하는 비선형 단조 증가 함수(f)로 정의하고, 노출 시간을 △t, i를 픽셀 인덱스, j를 입력영상 인덱스라고 할 경우, 아래의 수학식 1으로 표현되는 반응함수인
Figure 112017052779091-pat00008
를 이용하여 컬러반응곡선을 추정하게 된다.
Figure 112017052779091-pat00009
이 때, P개의 샘플영상, 샘플영상 1개당 N개의 화소수, λ는 반응함수
Figure 112017052779091-pat00010
의 완곡성 정도를 얼마나 고려할 것인지에 대한 가중치를 나타내는 경우, 반응함수
Figure 112017052779091-pat00011
를 산출하기 위한 목적함수
Figure 112017052779091-pat00012
는 다음의 수학식 2와 같이 표현된다.
Figure 112017052779091-pat00013
반응함수
Figure 112017052779091-pat00014
는 이와 같은 목적함수
Figure 112017052779091-pat00015
에 의해 산출될 수 있다.
수학식 2에서 앞부분은 반응 함수의 오차를 의미하고 뒷부분은 함수 g의 완곡성과 단조 증가성에 관한 제약을 나타낸다.
노출값
Figure 112017052779091-pat00016
는 HDR map 또는 sensor irradiance의 값과 대응된다. 노출값
Figure 112017052779091-pat00017
는 노출 시간 △t과 반응 함수
Figure 112017052779091-pat00018
를 알 수 있기 때문에 다음과 아래와 같은 수학식 3으로 구할 수 있다.
Figure 112017052779091-pat00019
이 때, 센서에 존재하는 잡음이나 화소값 측정시 발생하는 잡음에 대한 강인성을 부여하기 위하여, HDR 영상 생성장치(100)는 입력된 샘플영상 P를 모두 사용하여
Figure 112017052779091-pat00020
를 계산하며 이에 대해서는 아래와 같은 수학식4로 나타낸다.
Figure 112017052779091-pat00021
이와 같이, HDR 영상 생성장치(100)는 픽셀 빛세기(Z)에 대한 노출값(E)의 관계를 나타내는 컬러반응곡선을 위와 같은 수학식 1 내지 수학식 4를 이용하여 추청하게 된다. 이 때, HDR 영상 생성장치(100)는 복수개의 컬러 채널별로 컬러반응곡선을 추정할 수도 있다. HDR 영상 생성장치(100)는 복수개의 다중노출 샘플영상을 이용하여 컬러 채널별 컬러반응곡선을 추정하며, 이는 샘플영상에 촬영된 색상차트를 이용하여 다양한 색상의 노출 변화를 고려하였기 때문에, HDR 영상 생성장치(100)는 12 bit 입력에 대하여도 중복되는 값 없이 컬러반응곡선을 단조 증가 함수로 나타냄을 알 수 있다.
이와 같은 과정을 통해 추정된 컬러반응곡선은 도 4에 그 일 예가 도시되어 있다. 도 4는 본 발명의 일 실시예에 따른, 컬러채널별 컬러반응곡선의 일 예를 도시한 그래프이다. 도 4의 경우 빨강, 녹색, 파랑의 3가지 컬러채널별 컬러반응곡선이 도시되어 있으나, HDR 영상 생성장치(100)는 이외에도 다양한 컬러에 대한 컬러채널별 컬러반응곡선을 추정할 수 있음은 물론이다.
또한, 도 4에 도시된 바와 같이, 컬러반응곡선은 종래와 달리 비선형인 것을 확인할 수 있으며, HDR 영상 생성장치(100)는 컬러반응곡선이 이와 같은 비선형 특성을 가짐으로써 HDR의 품질을 더욱 높일 수 있게 되었다.
한편, HDR 영상 생성장치(100)는 복수개의 촬영모드에 대해, 각각의 촬영모드 별로 컬러반응곡선을 추정할 수도 있다. 예를 들어, HDR 영상 생성장치(100)는 인물촬영모드에 대한 컬러반응곡선, 풍경촬영모드에 대한 컬러반응곡선, 및 자동촬영모드에 대한 컬러반응곡선을 추정하여 저장부(120)에 저장하고 있을 수도 있음은 물론이다.
이 때, HDR 영상 생성장치(100)는 제1 촬영모드에 대한 컬러반응곡선이 기저장되어있고 제2 촬영모드에 대한 컬러반응곡선은 없는 상태인 경우, 같은 장면을 같은 촬영조건으로 제1 촬영모드와 제2 촬영모드에서 각각 촬영된 제1 영상과 제2 영상을 서로 비교하고, 제1영상과 제2영상의 비교 정보 및 제1 촬영모드에 대한 컬러반응곡선을 이용하여 제2 촬영모드에 대한 컬러반응곡선을 추정할 수도 있다. 예를 들어, HDR 영상 생성장치(100)는 인물모드에 대한 컬러반응곡선이 기저장되어있고 풍경모드에 대한 컬러반응곡선은 없는 상태인 경우, 같은 장면을 같은 노출시간으로 인물모드와 풍경모드에서 각각 촬영된 제1 영상과 제2 영상을 서로 비교하고, 제1영상과 제2영상의 비교 정보 및 인물모드에 대한 컬러반응곡선을 이용하여 풍경모드에 대한 컬러반응곡선을 추정할 수도 있다.
이와 같은 과정을 통해, HDR 영상 생성장치(100)는 기존에 생성된 촬영모드의 컬러반응곡선을 이용하여 새로운 촬영모드에 대한 컬러반응곡선을 더욱 간단하고 빠르게 생성할 수 있게 된다.
다시 도 2로 돌아와, HDR 영상 생성장치(100)는 서로 다른 노출조건으로 촬영된 2개의 입력영상을 입력받는다(S230). 서로 다른 노출조건은 샘플영상들의 노출 시간이 서로 다른 것을 의미할 수도 있으며, 이외에도 노출에 영향을 주는 조리개 수치나 카메라 센서 감도(ISO) 수치가 서로 다른 것을 의미할 수도 있음은 물론이다.
입력영상의 예시는 도 5에 도시되어 있다. 도 5는 본 발명의 일 실시예에 따른, 2개의 입력영상을 도시한 도면이다. 도 5에는 서로 다른 노출시간이 적용된 2개의 입력영상이 좌우로 표시되어 있으며, 노출시간이 긴 영상은 노출 시간이 0.6초이고, 노출시간이 짧은 영상은 노출시간이 0.005초인 것을 확인할 수 있다. 이와 같이, HDR 영상 생성장치(100)는 서로 다른 노출조건의 일환으로 서로 다른 노출 시간으로 촬영된 2개의 입력영상을 입력받을 수도 있다.
그리고, HDR 영상 생성장치(100)는 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하게 된다(S240).
구체적으로, HDR 영상 생성장치(100)는 컬러반응곡선에 기초하여 2개의 입력영상에 대한 합성 루미넌스(luminance)를 구하고, 합성 루미넌스에 대응되는 글로벌 톤 맵핑(global tone mapping)을 적용함으로써 WDR(Wide Dynamic Range) 영상을 산출하며, WDR 영상을 디스플레이 가능 영역으로 변환하는 LDR(Low Dynamic Range)영상을 산출함으로써 HDR 영상을 생성하게 된다.
도 6에는 루미넌스 맵과 톤 맵핑된 영상이 도시되어 있다. 도 6은 본 발명의 일 실시예에 따른, 루미넌스 맵과 톤 맵핑을 도시한 도면이다. 도 6은 도 5의 2개의 입력 영상에 대하여 추정한 루미넌스 맵과 이를 이용하여 WDR를 수행하고 이를 디스플레이 가능 영역으로 변환한 LDR 결과를 나타내고 있다.
도 6에 도시된 바와 같이, 루미넌스 맵은 흑백으로 표현되어 2개의 입력영상을 합성했을 때 적절한 밝기 또는 휘도를 표현하고 있는 영상이고, 톤 맵핑 영상은 적절한 색상이 표시되어 있는 영상임을 확인할 수 있다. HDR 영상 생성장치(100)는 컬러반응곡선에 기초하여 2개의 입력영상에 대한 합성 루미넌스를 구해서 도 6에 도시된 바와 같은 루미넌스 맵 영상을 생성하게 된다.
도 5 및 도 6에서 볼 수 있듯이 2개의 입력 영상은 노출 정도 차이가 매우 크지만 본 실시예에 따른 HDR 영상 생성장치(100)의 WDR 결과에서는 영상의 밝은 부분과 어두운 부분의 밝기가 모두 표현되어 있으며 색상 역시 원래 컬러 차트와 비슷하게 나옴을 알 수 있다.
이와 같은 과정을 통해, HDR 영상 생성장치(100)는 컬러반응곡선을 이용하여 입력영상을 2개만 이용하더라도 고품질의 HDR 영상을 생성할 수 있게 된다.
도 7은 본 발명의 일 실시예에 따른, 컬러반응곡선을 이용하여 생성된 WDR 영상을 종래 방식으로 생성된 WDR 영상과 비교한 도면이다.
도 7에서 위에 2개의 영상은 입력영상을 나타내며 각각 0.03초 및 0.01초의 노출 시간이 적용된 것을 확인할 수 있다. 그리고, 아래의 2개의 영상 중 왼쪽의 영상은 종래의 Eyenix WDR이 적용된 경우의 HDR영상을 도시한 것이고, 오른쪽 영상은 본 실시예에 따른 방식이 적용된 HDR영상을 도시한 것이다.
도 7에서 확인해볼 수 있듯이, 종래의 방법(Eyenix WDR)에 비하여, 본 실시예에 따른 방식이 색상 왜곡이 감소하고 영상의 미세변화를 더 잘 표현함을 볼수 있다.
본 실시예에 따른 HDR 영상 생성장치(100)의 정량적 성능 평가를 위해서는 WDR 영상에 대한 dynamic range를 아래와 같은 수학식 5로 계산하여야 한다.
Figure 112017052779091-pat00022
본 실시예에 따른, HDR 영상 생성장치(100)의 성능을 정량적으로 평가하기 위하여 테스트 차트 (TE 264)와 imatest의 HDR 성능 측정 프로그램을 이용하였으며 절차는 도 8에 도시된 것과 같다. 도 8은 본 발명의 일 실시예에 따른, WDR 성능 측정 절차를 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른, HDR 성능 테스트용 영상을 도시한 도면이고, 도 10은 본 발명의 일 실시예에 따른, WDR 성능 결과를 도시한 도면이다. 도 9 및 도 10에 도시된 바와 같이, 본 실시예에 따른 HDR 영상 생성장치(100)의 성능을 측정해 보았으며, HDR 영상 생성장치(100)는 아래와 같으며 120dB의 HDR 성능을 보임을 알 수 있다. 이는 상당히 높은 품질의 HDR 성능을 보이는 것을 확인할 수 있다.
한편, HDR 영상 생성장치(100)는 도 11에 도시된 바와 같이 카메라(300)에 모든 기능이 포함되는 형태로 구현될 수도 있다. 도 11은 본 발명의 일 실시예에 따른, 카메라(300)의 구성을 도시한 블록도이다. 도 11에 도시된 바와 같이, 카메라(300)는 촬영부(310), 저장부(320), 및 처리부(330)를 포함한다.
촬영부(310)는 이미지센서를 통해 서로 다른 노출조건으로 복수개의 샘플영상을 촬영하고, 서로 다른 노출조건으로 2개의 입력영상을 촬영한다. 그리고, 촬영부(310)는 촬영된 영상을 처리부(330)로 전달한다.
저장부(320)는 촬영된 영상 데이터 및 처리된 WDR(Wide Dynamic Range) 영상 데이터 및 LDR(Low Dynamic Range) 영상 데이터 등의 다양한 데이터를 저장한다. 또한, 저장부(120)는 컬러 채널별 및 촬영 모드별 컬러반응곡선(Color response curve(CRC))을 저장할 수도 있다.
처리부(330)는 입력된 샘플영상을 이용하여 픽셀 빛세기(intensity)에 대한 노출값의 관계를 나타내는 컬러반응곡선을 추정하고, 복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성한다. 그외에도, 처리부(330)는 도 1의 HDR 영상 생성장치(100)의 처리부(130)에서 수행되는 기능 및 동작을 모두 동일유사하게 수행하게 된다.
이와 같이, 본 실시예에 따른 HDR 영상 생성방법은 카메라(300)에서도 수행될 수 있음은 물론이다.
한편, 본 실시예에 따른 HDR 영상 생성장치(100)의 기능 및 방법을 수행하게 하는 컴퓨터 프로그램을 수록한 컴퓨터로 읽을 수 있는 기록매체에도 본 발명의 기술적 사상이 적용될 수 있음은 물론이다. 또한, 본 발명의 다양한 실시예에 따른 기술적 사상은 컴퓨터로 읽을 수 있는 기록매체에 기록된 컴퓨터로 읽을 수 있는 프로그래밍 언어 코드 형태로 구현될 수도 있다. 컴퓨터로 읽을 수 있는 기록매체는 컴퓨터에 의해 읽을 수 있고 데이터를 저장할 수 있는 어떤 데이터 저장 장치이더라도 가능하다. 예를 들어, 컴퓨터로 읽을 수 있는 기록매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광디스크, 하드 디스크 드라이브, 플래시 메모리, 솔리드 스테이트 디스크(SSD) 등이 될 수 있음은 물론이다. 또한, 컴퓨터로 읽을 수 있는 기록매체에 저장된 컴퓨터로 읽을 수 있는 코드 또는 프로그램은 컴퓨터간에 연결된 네트워크를 통해 전송될 수도 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.
10 : 촬영부
100 : HDR 영상 생성장치
110 : 입력부
120 : 저장부
130 : 처리부
300 : 카메라
310 : 촬영부
320 : 저장부
330 : 처리부

Claims (8)

  1. 서로 다른 노출조건으로 촬영된 2개의 입력영상을 입력받는 단계; 및
    복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 단계;를 포함하고,
    서로 다른 노출조건으로 촬영된 복수개의 샘플영상을 입력받는 단계; 및
    입력된 샘플영상을 이용하여 픽셀 빛세기(intensity)에 대한 노출값의 관계를 나타내는 컬러반응곡선을 추정하는 단계;를 더 포함하며,
    추정단계는,
    복수개의 촬영모드에 대해 각각의 촬영모드 별로 컬러반응곡선을 추정하며,
    제1 촬영모드에 대한 컬러반응곡선이 기저장되어있고 제2 촬영모드에 대한 컬러반응곡선은 없는 상태인 경우, 같은 장면을 같은 촬영조건으로 제1 촬영모드와 제2 촬영모드에서 각각 촬영된 제1 영상과 제2 영상을 서로 비교하고, 제1영상과 제2영상의 비교 정보 및 제1 촬영모드에 대한 컬러반응곡선을 이용하여 제2 촬영모드에 대한 컬러반응곡선을 추정하는 것을 특징으로 하는 HDR 영상 생성방법.
  2. 삭제
  3. 청구항 1에 있어서,
    추정단계는,
    노출값(E)와 픽셀 빛세기(Z)의 관계를 역함수가 존재하는 비선형 단조 증가 함수(f)로 정의하고, 노출 시간을 △t, i를 픽셀 인덱스, j를 입력영상 인덱스라고 할 경우, 아래의 수식으로 표현되는 반응함수인
    Figure 112020142591569-pat00023

    Figure 112020142591569-pat00024

    를 이용하여 컬러반응곡선을 추정하는 것을 특징으로 하는 HDR 영상 생성방법.
  4. 청구항 3에 있어서,
    P개의 샘플영상, 샘플영상 1개당 N개의 화소수, λ는 반응함수
    Figure 112017052779091-pat00025
    의 완곡성 정도를 얼마나 고려할 것인지에 대한 가중치를 나타내는 경우, 반응함수
    Figure 112017052779091-pat00026
    는 아래와 같은 목적함수
    Figure 112017052779091-pat00027

    Figure 112017052779091-pat00028

    를 이용하여 산출되는 것을 특징으로 하는 HDR 영상 생성방법.
  5. 청구항 4에 있어서,
    추정단계는,
    픽셀 빛세기(Z)에 대한 노출값(E)의 관계를 나타내는 컬러반응곡선을 아래의 수식
    Figure 112017052779091-pat00029

    을 이용하여 추정하는 것을 특징으로 하는 HDR 영상 생성방법.
  6. 청구항 1에 있어서,
    추정단계는,
    복수개의 컬러 채널별로 컬러반응곡선을 추정하는 것을 특징으로 하는 HDR 영상 생성방법.
  7. 청구항 1에 있어서,
    생성단계는,
    컬러반응곡선에 기초하여 2개의 입력영상에 대한 합성 루미넌스(luminance)를 구하고, 합성 루미넌스에 대응되는 글로벌 톤 맵핑(global tone mapping)을 적용함으로써 WDR(Wide Dynamic Range)을 산출하며, WDR을 디스플레이 가능 영역으로 변환하는 LDR(Low Dynamic Range)를 산출함으로써 HDR영상을 생성하는 것을 특징으로 하는 HDR 영상 생성방법.
  8. 서로 다른 노출조건으로 촬영된 2개의 입력영상을 입력받는 입력부; 및
    복수개의 샘플영상을 이용하여 추정된 컬러반응곡선에 기초하여 입력된 2개의 입력영상을 이용한 HDR(High Dynamic Range) 영상을 생성하는 처리부;를 포함하고,
    입력부는,
    서로 다른 노출조건으로 촬영된 복수개의 샘플영상을 입력받고,
    처리부는,
    입력된 샘플영상을 이용하여 픽셀 빛세기(intensity)에 대한 노출값의 관계를 나타내는 컬러반응곡선을 추정하고,
    복수개의 촬영모드에 대해 각각의 촬영모드 별로 컬러반응곡선을 추정하며,
    제1 촬영모드에 대한 컬러반응곡선이 기저장되어있고 제2 촬영모드에 대한 컬러반응곡선은 없는 상태인 경우, 같은 장면을 같은 촬영조건으로 제1 촬영모드와 제2 촬영모드에서 각각 촬영된 제1 영상과 제2 영상을 서로 비교하고, 제1영상과 제2영상의 비교 정보 및 제1 촬영모드에 대한 컬러반응곡선을 이용하여 제2 촬영모드에 대한 컬러반응곡선을 추정하는 것을 특징으로 하는 HDR 영상 생성장치.

KR1020170068758A 2017-06-02 2017-06-02 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체 KR102243292B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170068758A KR102243292B1 (ko) 2017-06-02 2017-06-02 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170068758A KR102243292B1 (ko) 2017-06-02 2017-06-02 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체

Publications (3)

Publication Number Publication Date
KR20180132210A KR20180132210A (ko) 2018-12-12
KR102243292B1 true KR102243292B1 (ko) 2021-04-22
KR102243292B9 KR102243292B9 (ko) 2021-09-17

Family

ID=64670105

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170068758A KR102243292B1 (ko) 2017-06-02 2017-06-02 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체

Country Status (1)

Country Link
KR (1) KR102243292B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020166791A1 (ko) * 2019-02-15 2020-08-20 삼성전자 주식회사 Hdr 영상을 생성하는 전자 장치 및 그 동작 방법
US11128809B2 (en) 2019-02-15 2021-09-21 Samsung Electronics Co., Ltd. System and method for compositing high dynamic range images
US11418766B2 (en) 2019-12-17 2022-08-16 Samsung Electronics Co., Ltd. Apparatus and method for chroma processing for multi-frame fusion
WO2021125490A1 (ko) * 2019-12-17 2021-06-24 삼성전자 주식회사 Hdr 영상을 생성하는 전자 장치 및 그 동작 방법
US11430094B2 (en) 2020-07-20 2022-08-30 Samsung Electronics Co., Ltd. Guided multi-exposure image fusion
KR102660661B1 (ko) 2023-08-14 2024-05-16 주식회사 비엠스테이지 반려동물 배설물 처리장치

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100892972B1 (ko) * 2007-05-29 2009-04-10 한국과학기술연구원 영상센서의 물리적 특성을 이용한 넓은 생동폭을 갖는 영상신호 처리 방법
US8339475B2 (en) * 2008-12-19 2012-12-25 Qualcomm Incorporated High dynamic range image combining
EP3046319A1 (en) * 2015-01-19 2016-07-20 Thomson Licensing Method for generating an HDR image of a scene based on a tradeoff between brightness distribution and motion

Also Published As

Publication number Publication date
KR102243292B9 (ko) 2021-09-17
KR20180132210A (ko) 2018-12-12

Similar Documents

Publication Publication Date Title
KR102243292B1 (ko) 컬러반응곡선을 이용한 hdr 영상 생성방법, hdr 영상 생성장치, 카메라 및 기록매체
US8305487B2 (en) Method and apparatus for controlling multiple exposures
CN100377575C (zh) 图像处理方法和图像处理装置
JP4846259B2 (ja) 輝度補正
EP2800352B1 (en) Image pickup apparatus and image processing apparatus
JP5665436B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP5672796B2 (ja) 画像処理装置、画像処理方法
CN104125408A (zh) 一种高动态范围图像处理方法及装置
JP2009005395A (ja) デジタル画像の露出補正
JP2015035796A (ja) ハイダイナミックレンジ画像の露光時間制御方法
WO2020034701A1 (zh) 成像控制方法、装置、电子设备以及可读存储介质
CN110246101B (zh) 图像处理方法和装置
JP5804857B2 (ja) 画像処理装置、画像処理方法及びプログラム
KR20110043833A (ko) 퍼지룰을 이용한 디지털 카메라의 다이나믹 레인지 확장모드 결정 방법 및 장치
JP2015144475A (ja) 撮像装置、撮像装置の制御方法、プログラム及び記憶媒体
JP6611543B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP4905513B2 (ja) 画像処理方法、および画像処理装置、並びにコンピュータ・プログラム
JP5932392B2 (ja) 画像処理装置および画像処理方法
JP5854716B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2011199785A (ja) 撮像装置及び方法
JP6210772B2 (ja) 情報処理装置、撮像装置、制御方法、及びプログラム
JP2003209856A (ja) ホワイトバランス補正方法
US11394893B2 (en) Image generation apparatus, image generation method, and storage media
JP2014120813A (ja) 撮像装置及び撮像方法
CN113822819B (zh) Hdr场景检测方法与装置、终端及可读存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
G170 Re-publication after modification of scope of protection [patent]