KR101225482B1

KR101225482B1 - 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체

Info

Publication number: KR101225482B1
Application number: KR1020120015544A
Authority: KR
Inventors: 박민제
Original assignee: 인텔 코오퍼레이션
Priority date: 2012-02-15
Filing date: 2012-02-15
Publication date: 2013-01-23
Also published as: US20140247985A1; EP2816527A1; US9384539B2; EP2816527B1; WO2013122419A1; US9189837B2; US20160035073A1; EP2816527A4

Abstract

본 발명의 일 태양에 따르면, (a) 복수의 영상을 획득하는 단계, (b) 상기 복수의 영상을 히스토그램으로 변환하는 단계, (c) 상기 복수의 영상 중 어느 하나를 기준 영상으로 나머지 영상을 비교 대상 영상으로 설정하는 단계, (d) 상기 기준 영상의 히스토그램을 상기 비교 대상 영상의 히스토그램과 매칭하여 조정 기준 영상을 생성하는 단계, (e) 상기 조정 기준 영상과 상기 비교 대상 영상의 차이를 각 픽셀마다 비교하여 마스킹 영상을 생성하는 단계, (f) 상기 비교 대상 영상과 마스킹 영상을 합성하여 조정 비교 대상 영상을 생성하는 단계, 및 (g) 상기 기준 영상과 상기 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 디지털 영상 처리 방법이 제공된다. 이를 통하여 본 발명은 피사체에 복잡한 움직임이 있을 경우에도 HDR(High Dynamic Range) 영상을 생성하는데 있어, 상겹침이나고스트 현상 없이 선명한 영상을 얻을 수 있다.

Description

디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체{DIGITAL IMAGE PROCESSING METHOD, APPARATUS, AND COMPUTER-READABLE RECORDING MEDIUM}

본 발명은 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체에 관한 것으로서, 보다 상세하게는, 촬영장치 및 피사체의 움직임을 보정하고, 고스트현상을 제거할 수 있는 디지털 영상 처리 방법, 장치, 및 컴퓨터로 판독 가능한 기록 매체에 관한 것이다.

디지털 영상의 동적 대역(Dynamic Range, DR)은 영상 내에서 가장 밝은 화소값과 가장 어두운 화소값의 비율로 정의된다. 인간의 시각 인지 시스템(Human Visual System, HVS)은 일반적인 디지털 카메라나 모니터보다 훨씬 높은 동적 대역을 다룰 수 있다. 따라서, 기존의 영상 장치는 인간이 인지하는 영상을 그대로 획득(capture)하거나 표현(display) 할 수 없다. 이처럼 기존의 영상 장치가 다룰 수 있는 것보다 큰 동적 영역을 갖는 영상의 처리에 관한 필요성이 대두되고 있으며, 이러한 영상을 HDR(High Dynamic Range) 영상이라고 한다.

상기 HDR 영상의 생성 기술은, 서로 다른 노출 정도를 갖는 다수의 영상을 합성하여 동적 대역(DR)을 확장하는 기술이라고 할 수 있다. 높은 동적 대역(HDR) 영상은 밝은 부분을 기준으로 하여 짧은 노출을 통해 얻어지는 단노출 영상(Short Exposure Image, SEI)과, 어두운 부분을 기준으로 하여 긴 노출을 통해 얻어지는 장노출 영상(Long Exposure Image, LEI)을 여러 장 합성하여 얻을 수 있다. 즉, 하나의 영상 내에서 각 부분의 밝기 차이가 큰 경우, 밝은 부분은 짧은 노출을 통해 이미지를 얻고 어두운 부분은 긴 노출을 통해 이미지를 얻음으로써 밝기 차이가 큰 영상에 대해서도 전체적으로 선명한 이미지를 얻을 수 있게 된다.

이와 같이 다중 영상을 합성하기 위해서는 복수의 영상들이 정렬(alignment)되어야 하고, 스티치된 경계 부분에서 두 영상 간의 밝기 단차가 적절해야 한다. 또한 경계 영역에서 서로 다른 영역 간에 부정합(artifact)이 유발되지 않고 자연스럽게 보여야 한다. 그러나, 노이즈가 있는 영상들을 합성할 때, 또는 활성 움직임(active motion)이 있을 때 영상의 동적 대역(DR)을 떨어뜨리지 않으면서 움직임 부정합(motion artifact)을 유발하지 않고 합성한다는 것은 매우 어려운 일이다.

만약 피사체 또는 카메라가 움직이면 단노출 영상과 장노출 영상이 동일하지 않게 되므로, HDR 영상 합성시고스트 현상(ghost effect)이 발생할 수 있다. 상기 고스트 현상이란 다중 영상에서 영상 간에 피사체의 움직임이 있어서 그 영상들을 병합(merge) 혹은 스티치(stitch)할 때 피사체의 움직임에 따라 영상이 겹쳐서 나타나는 현상을 말한다.

종래 위와 같은 고스트 현상의 문제를 해결하기 위하여 공개일자 2011. 12. 21. 공개번호 10-2011-0136152 발명의 명칭 "필터링에 기반하여 고스트가 없는 ＨＤＲＩ를 생성하는 장치 및 방법"이 개시된 바 있다.

상기 종래 발명은 필터링에 기반하여 고스트가 없는 HDRI를 생성하는 장치 및 방법에 관한 것으로서, 이미지에서 고스트 지역을 구체적으로 판단하지 않고, 여러 프레임들의 집중도에 대한 관계식인 글로벌 전송함수에 근거하여 고스트 지역을 확률로 정의함으로써, 여러 장의 LDRI들로부터 한 장의 HDRI를 만들 때 발생하는 고스트 현상을 예방할 수 있다.

그러나 상기 종래 발명과 같이 고스트 영역을 제거하기 위하여 연속되는 노출 영상들 사이의 확률 함수를 계산하기 위해서는 많은 수의 노출 영상이 요구되므로 HDR 영상을 추출하기 위한 연산 속도가 떨어지게 되는 문제점이 있다.

본 발명은 상술한 문제점을 모두 해결하는 것을 그 목적으로 한다.

또한, 피사체에 복잡한 움직임이 있을 경우에도 HDR(High Dynamic Range) 영상을 생성하는데 있어, 상겹침이나고스트 현상이 없는 선명한 영상을 생성하는 것을 다른목적으로 한다.

또한, 적은 수의 노출 영상으로도 고스트 영역을 제거할 수 있는 것을 또 다른 목적으로 한다.

상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.

본 발명의 일 태양에 따르면, (a) 복수의 영상을 획득하는 단계;(b) 상기 복수의 영상을 히스토그램으로 변환하는 단계;(c) 상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고나머지 영상을 비교 대상 영상으로 설정하는 단계;(d) 상기 기준 영상의 히스토그램의 분포를 상기 비교 대상 영상의 히스토그램의 분포와 유사하게 조정하여 조정기준 영상을 생성하는 단계;(e) 상기 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 마스킹 영상을 생성하는 단계;(f) 상기 비교 대상 영상에상기 마스킹 영상을 적용하여 조정 비교 대상 영상을 생성하는 단계; 및(g) 상기 기준 영상과 상기 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 디지털 영상 처리 방법이 제공된다.

본 발명의 다른 태양에 따르면, (a) 복수의 영상을 획득하는 단계;(b) 상기 복수의 영상을 히스토그램으로 변환하는 단계;(c) 상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고나머지 영상을 제1 비교 대상 영상 및 제2 비교 대상 영상으로 설정하는 단계;(d) 상기 기준 영상의 히스토그램의 분포를상기 제1 비교 대상 영상 및 상기 제2 비교 대상 영상의 히스토그램의 분포와 각각 유사하게 조정하여 제1 조정기준 영상 및 제2 조정 기준 영상을 생성하는 단계;(e) 상기 제1 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 제1 마스킹 영상을 생성하고, 상기 제2 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 제2 마스킹 영상을 생성하는 단계;(f) 상기 제1 비교 대상영상에상기 제1 마스킹 영상을 적용하여 제1 조정 비교 대상 영상을 생성하고, 상기 제2 비교 대상 영상에상기 제2 마스킹 영상을 적용하여 제2 조정 비교 대상 영상을 생성하는 단계; 및(g) 상기 기준 영상과 상기 제1 및 제2 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 디지털 영상 처리 방법이 제공된다.

본 발명의 또 다른 태양에 따르면, 복수의 영상을 획득하는 영상 획득부;상기 복수의 영상을 히스토그램으로 변환하는 히스토그램변환부;상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고나머지 영상을 비교 대상 영상으로 설정하는 영상 분류부;상기 기준 영상의 히스토그램의 분포를 상기 비교 대상 영상의 히스토그램의 분포와 유사하게 조정하여 조정 기준 영상을 생성하는 히스토그램조정부;상기 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 마스킹 영상을 생성하는 마스킹 영상 획득부;상기 비교 대상 영상에상기 마스킹 영상을 적용하여 조정 비교 대상 영상을 생성하는 비교 대상 영상 조정부; 및상기 기준 영상과 상기 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 HDR 영상 합성부를 포함하는 디지털 영상 처리 장치가 제공된다.

본 발명의 또 다른 태양에 따르면, 복수의 영상을 획득하는 영상 획득부;상기 복수의 영상을 히스토그램으로 변환하는 히스토그램 변환부;상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고나머지 영상을 제1 비교 대상 영상 및 제2 비교 대상 영상으로 설정하는 영상 분류부;상기 기준 영상의 히스토그램의 분포를상기 제1 비교 대상 영상 및 상기 제2 비교 대상 영상의 히스토그램의 분포와 각각 유사하게 조정하여 제1 조정기준 영상 및 제2 조정 기준 영상을 생성하는 히스토그램 조정부;상기 제1 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 제1 마스킹 영상을 생성하고, 상기 제2 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 제2 마스킹 영상을 생성하는 마스킹 영상 획득부;상기 제1 비교 대상 영상에상기 제1 마스킹 영상을 적용하여 제1 조정 비교 대상 영상을 생성하고, 상기 제2 비교 대상 영상에상기 제2 마스킹 영상을 적용하여 제2 조정 비교 대상 영상을 생성하는 비교 대상 영상 조정부; 및상기 기준 영상과 상기 제1 및 제2 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 HDR 영상 합성부를 포함하는 디지털 영상 처리 장치가 제공된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 장치 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하기 위한 컴퓨터로 판독 가능한 기록 매체가 더 제공된다.

본 발명은 피사체에 복잡한 움직임이 있을 경우에도 HDR(High Dynamic Range) 영상을 생성하는데 있어, 상겹침이나고스트 현상 없이 선명한 영상을 얻을 수 있다.

또한, 활성 움직임(active motion)의 장면(scene)에서도 정합율을 향상하는 것이 가능하다. 이를 통해 HDR 영상에서 움직임 부정합(motion artifact)과 다이내믹 레인지의 감소를 줄일 수 있다.

또한, 고스트 영역을 제거하기 위하여 연속되는 노출 영상들 사이의 확률 함수를 계산하기 위해 수 많은 노출 영상이 필요하지 않으며 최소 2장의 노출 영상이면 가능하게 된다.

도 1은 본 발명의 바람직한 일 실시예에 따른 디지털 영상 처리장치의 개략적인 구성을 도시하는 블럭도이다.
도 2는 본 발명의 바람직한 일 실시예에 따른 히스토그램 비교부의 개략적인 구성을 도시하는 블럭도이다.
도 3은 영상의 밝기에 따른 히스토그램의 분포를 도시한 도면이다.
도 4는 본 발명의 바람직한 일 실시예에 따른 디지털 영상 처리 방법을 설명하기 위한 도면이다.
도 5는 HDR 영상을 합성하는데 사용되는 저노출 영상, 평균노출 영상, 및 고노출 영상의 일 례를 나타내는 도면이다.
도 6a은 종래 HDR 영상의 합성 방법에 따라 도 5에 개시된 영상을 합성한 영상을 나타낸 도면이다.
도 6b는 본 발명의 바람직한 일 실시예에 따른 기준 영상과 마스킹 영상을 합성하여 생성된 HDR 영상을 나타낸 도면이다.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.

이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.

[본 발명의 바람직한 실시예]

전체 장치의 구성

도 1은 본 발명의 바람직한 일 실시예에 따른 디지털 영상 처리장치의 개략적인 구성을 도시하는 블럭도이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 디지털 영상 처리장치는 영상 획득부(100), 히스토그램비교부(110), 마스킹 영상 획득부(120), 노이즈제거부(130), 비교 대상 영상 조정부(140), HDR 영상 합성부(150), 및 제어부(160)를 포함한다.

상기 영상 획득부(100)를 통하여 노출 시간이 서로 다른 복수의 영상이 획득된다. 이하 도 4를 참조로 하여 설명하는 일 실시예에 따르면, 상기 영상 획득부(100)를 통하여 획득되는 영상은 짧은 노출시간으로 인하여 전체적으로 어두운 저노출 영상(Low Exposure Image)과, 긴 노출시간으로 인하여 전체적으로 밝은 고노출 영상(High Exposure Image), 및 상기 저노출 영상과 고노출 영상 사이의 밝기를 가지는 평균노출 영상(Normal Exposure Image)일 수 있다. 그러나 본 발명은 이에 한정되지 않으며 상기 영상 획득부(100)를 통하여 저노출 영상 및 고노출 영상과 같이 노출 시간이 서로 다른 2 이상의 영상이 획득되는 경우 적용이 가능하다.

상기 히스토그램비교부(110)는 상기 영상처리부(100)를 통하여 획득된 영상을 히스토그램으로 변환하고 변환된 영상 중 기준 영상을 설정하여 상기 기준 영상을 상기 영상처리부(100)를 통하여 획득된 타 영상의 히스토그램과 매칭시키기 위하여 상기 기준 영상의 밝기를 변형시켜 조정 기준 영상을 획득하게 된다.

보다 상세히, 상기 히스토그램의 구성을 도 2를 참조하여 설명한다.

도 2는 본 발명의 바람직한 일 실시예에 따른 히스토그램 비교부의 개략적인 구성을 도시하는 블럭도이다.

도 2를 참조하면, 상기 히스토그램비교부(110)는 히스토그램변환부(111), 영상 분류부(112), 및 히스토그램 조정부(113)를 포함한다.

상기 히스토그램변환부(111)는 상기 영상 획득부(100)를 통하여 얻어지는 복수의 이미지를 히스토그램으로 변환한다.

히스토그램(Histogram)이란 디지털 영상신호에서 각 화소의 밝기를 나타내는 레벨(Level)에 따라 분류하여 정리한 것으로 영상의 화소 레벨의 분포를 의미한다. 영상이 전체적으로 어두우면 히스토그램은 어두운 값(0에 가까운 값)에 많이 분포되어 있고 반대로 전체적으로 밝으면 히스토그램은 밝은 값(255에 가까운 값)에 많이 분포되어 있다. 도 3은 영상의 밝기에 따른 히스토그램의 분포를 도시한 도면으로 도 3을 참조하면 원 영상을 밝게 변화시킨 경우 히스토그램 상에서 화소 분포가 밝은 값에 집중되는 것을 확인할 수 있다. 따라서 상기 히스토그램은 영상 내의 객체를 구성하는 요소에 대한 자세한 정보보다는 전체적인 영상의 성질을 나타내는데 적합하다. 또한 상기 히스토그램은 객체의 회전이나 이동 등과 같은 기하학적 변형에도 비교적 영향을 받지 않으며 구현 알고리즘도 간단한 장점이 있다.

상기 영상 분류부(112)는 상기 히스토그램변환부(111)를 통하여 히스토그램으로 변환된 복수의 영상 중 어느 한 영상을 기준 영상으로 설정한다. 상기 기준 영상은 상기 저노출 영상, 고노출 영상 또는 평균노출 영상 중 어느 것으로 설정되어도 무방하나 상기 히스토그램 상에서 화소가 균등하게 분포되어 있는 영상으로 설정되는 것이 바람직하다.

도 5는 HDR 영상을 합성하는데 사용되는 저노출 영상(도 5a), 평균노출 영상(도 5b), 및 고노출 영상(도 5c)의 일례를 나타내는 도면이다. 도 5에 개시된 실시예를 참조로 하여 설명하자면 어두운 영역과 밝은 영역에 화소가 골고루 배치되어 있는 평균노출 영상을 기준 영상으로 설정하는 것이 저노출 영상이나 고노출 영상을 기준 영상으로 설정하는 것보다 바람직하다.

상기 기준 영상이 설정되면 상기 히스토그램 조정부(113)는 상기 기준 영상의 히스토그램의 분포가 상기 영상 획득부(100)를 통하여 얻어진 상기 기준 영상 이외의 영상, 즉, 타 영상의 히스토그램의 분포와 유사한 화소 배치를 가지도록 상기 기준 영상의 밝기를 변형한다. 이때 상기 기준 영상과 비교되는 타 영상을 비교 대상 영상이라고 정의한다. 따라서 도 5에 도시된 영상 중 평균노출 영상을 기준 영상으로 설정하는 경우 저노출 영상 및 고노출 영상이 비교 대상 영상이 될 수 있다. 상기 기준 영상의 히스토그램의 분포를비교 대상 영상의 히스토그램의 분포와유사하도록 영상의 밝기를 변형한 것을 조정 기준 영상이라 한다.

위와 같은 방법으로 상기 히스토그램비교부(110)를 통하여 기준 영상의 밝기를 변형하여 조정 기준 영상을 생성할 수 있다.

상기 마스킹 영상 획득부(120)는 상기 조정 기준 영상과 상기 영상 획득부(100)로부터 얻어진 비교 대상 영상을 대비하여 양자의 차이에 해당하는 마스킹 영상을 생성한다. 상기 마스킹 영상은 가령 흑백의 영상으로 상기 조정 기준 영상과 상기 비교 대상 영상의 차이를 각 픽셀마다 비교하여 명암이 결정되도록 할 수 있다. 도 5를 예를 들어 설명하면, 평균노출 영상을 조정 기준 영상으로 저노출 영상을 비교 대상 영상으로 설정하는 경우 상기 평균노출 영상에서 사람이 위치하는 부분(A)과 저노출 영상에서 사람이 위치하는 부분(B)이 상이하므로 상기 A,B부분에 대응되는 부분의 상기 마스크 영상은 어둡게 표현되고, 나머지 부분의 상기 마스크 영상은 양자의 차이가 작으므로 밝게 표현될 수 있다. 따라서 이후 상기 저노출 영상에 상기 마스크 영상을 적용하는 경우 상기 A,B부분은 마스킹되어 삭제되고 나머지 부분만이 남을 수 있다. 또한, 상기 평균노출 영상을 조정 기준 영상으로 고노출 영상을 비교 대상 영상으로 설정하는 경우 상기 평균노출 영상에서 사람이 위치하는 부분(A)만이 상이하므로 상기 A 부분에 대응되는 부분의 상기 마스크 영상은 어둡게 표현되고, 나머지 부분의 상기 마스크 영상은 밝게 표현될 수 있다. 따라서 이후 상기 고노출 영상에 상기 마스크 영상을 적용하는 경우 상기 A 부분은 마스킹되어 삭제되고 나머지 부분만이 남을 수 있다.

이와 같이 상기 기준 영상의 밝기를 상기 비교 대상 영상과 유사한 수준으로 변환시킨 조정 기준 영상을 이용하여 마스킹 영상을 생성함으로써 상기 기준 영상과 상기 비교영상을 바로 비교하는 경우 자연광 또는 조명의 밝기에 의한 차이를 물체의 변화로 인한 차이로 인식할 가능성을 배제하고, 양 영상에 있어 물체의 변화만을 판별하여 마스킹 영상을 생성할 수 있게 된다.

상기 마스킹 영상 획득부(120)를 통하여 얻어진 마스킹 영상은 상기 조정 기준 영상과 상기 비교 대상 영상을 바이너리 레벨에서 상호 비교하여 획득한 영상이기 때문에 노이즈가 심할 수 있다. 상기 노이즈제거부(130)에서는 상기 마스킹 영상에 나타난 노이즈를 제거한다. 보다 상세히, 상기 노이즈제거부(130)는 침식(Erosion) 연산과 팽창(Dilation) 연산을 적어도 1회 반복함으로써 영상에 나타난 물체의 경계(boundary)를 평활화(smoothing)할 수 있다.

상기 침식 연산과 팽창 연산은 영상처리에서 이진 영상안의 홀을 채우거나 노이즈를 제거하는데 사용되는 알고리즘으로, 상기 침식 연산은 객체나 작은 조각(particle)으로부터 레이어를 벗기거나 영상에서 필요없는 픽셀이나 작은 조각을 제거하는 연산이다. 즉 현재 픽셀의 원본 이미지 주변에 비어있는 부분이 있다면 새로운 이미지의 현재 픽셀을 제거해 준다. 상기 팽창 연산(Dilation)은 어떤 조각들을 확대시켜 오브젝트나 조각에 층을 더하는 연산이다. 즉 현재 픽셀의 원본 이미지 주변에 픽셀이 존재하면 새로운 이미지의 현재 픽셀을 채워 준다. 이를 통하여 상기 팽창 연산은 침식된 조각을 원래의 사이즈로 복원하게 된다.

상기 침식 연산과 팽창 연산은 형태학적인 연산으로 알려진 연산 그룹의 부분으로써 이웃 픽셀과 기하학적 관계에 따른 각 픽셀 값을 정의하는 이웃한 연산이다. 상기 침식 연산과 팽창 연산은 오프닝(Opening)과 클로우징(Closing)으로 구분되며 상기 오프닝은 상기 침식 연산을 수행한 후 상기 팽창 연산을 수행하는 방식이고, 상기 클로우징은 상기 팽창 연산을 수행한 후 상기 침식 연산을 수행하는 방식이다. 상기 오프닝이노이즈를 제거하는 알고리즘이라면 상기 클로우징은 이미지의 홀을 채우는 알고리즘으로 볼 수 있다.

본 발명의 일 실시예에 따르면 상기 침식 연산과 팽창 연산은 오프닝으로이루어질 수 있으나 비단 이에 한정되는 것은 아니며 클로우징 방법으로도 노이즈제거가 이루어질 수 있다.

상기 노이즈제거부(130)를 통하여 마스킹 영상의 노이즈를 제거한 후에는 상기 비교 대상 영상 조정부(140)에서 비교 대상 영상에 마스킹 영상을 적용하여 조정 비교 대상 영상을 생성하고, 상기 HDR 영상의 합성 시 조정 비교 대상 영상의 합성 비율 즉, 조정 비교 대상 영상의 가중치를 결정하게 된다. 상기 가중치는 비교 대상 영상을 구성하는 각 픽셀마다 서로 다른 값으로 결정될 수도 있고, 그 값은 상기 조정 기준 영상과 비교 대상 영상을 히스토그램 상에서 비교하여 얻어지는 차이 값으로 계산될 수 있다. 다시 말해 상기 조정 기준 영상과 비교 대상 영상의 대응되는 각 픽셀을 히스토그램 상에서 비교하여 얻어지는 차이 값을 0 에서 1 사이의 값으로 노멀라이징(normalizing)한 값을 가중치로 설정할 수 있다.

이 경우 상기 조정 기준 영상과 비교 대상 영상 사이의 차이가 크면 클수록 상기 가중치는 0에 수렴하여 HDR 영상 합성시조정 비교 대상 영상이 합성되는 비율은 줄어들고, 상기 조정 기준 영상과 비교 대상 영상 사이의 차이가 작으면 작을수록 상기 가중치는 1에 수렴하여 상기 HDR 영상 합성시 상기 조정 비교 대상 영상이 합성되는 비율은 증가하게 된다. 이는 상기 조정 기준 영상과 비교 대상 영상 사이의 차이가 크면 클수록 이를 잔상으로 판단하여 HDR 영상 생성시 이를 제거하는 방향으로 동작함을 의미한다. 이와 같은 방법으로 최종 합성된 HDR 영상에 잔상이 남는 고스트 현상을 방지할 수 있다.

상기 HDR 영상 합성부(150)에서는 상기 기준 영상과 상기 조정 비교 대상 영상을 합성하여 최종적인 HDR 영상을 합성한다. 상기 HDR 영상을 합성함에 있어 상기 기준 영상의 가중치는 1로 설정될 수 있고, 상기 조정 비교 대상 영상은 상기 비교 대상 영상 조정부(140)에서 산출된 가중치가 적용될 수 있다.

상기 제어부(160)는 상기 영상 획득부(100), 히스토그램비교부(110), 마스킹 영상 획득부(120), 노이즈제거부(130), 비교 대상 영상 조정부(140), 및 HDR 영상 합성부(150)간의 데이터의 흐름을 제어하는 기능을 수행한다. 즉, 제어부(160)는 외부로의/외부로부터의 또는 디지털 영상 처리장치의 각 구성요소 간의 데이터의 흐름을 제어함으로써, 상기 영상 획득부(100), 히스토그램비교부(110), 마스킹 영상 획득부(120), 노이즈제거부(130), 비교 대상 영상 조정부(140), 및 HDR 영상 합성부(150)에서 각각 고유 기능을 수행하도록 제어한다.

도시된 구성요소들은 각각이 독립된 하드웨어 혹은 전체적으로 하나의 하드웨어로 구현될 수도 있다. 예를 들어 각각의 영상 처리부들은FPGA(Field Programmable Gate Array) 혹은 GA(Gate Array)로 구현될 수 있다. 또다른실시예에 있어서, 도시된 구성요소들은 컴퓨터와 프로그램된 코드로 구현될 수 있다. 또다른실시예에 있어서, 도시된 구성요소들은 아날로그 카메라, 디지털 카메라 혹은 캠코더 내부에서 디지털 신호처리 프로세서 및 그에 의해 실행되는 명령어 집합들로 구현될 수 있다.

도 4는 본 발명의 바람직한 일 실시예에 따른 디지털 영상 처리 방법을 설명하기 위한 도면이다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 디지털 영상 처리방법은 상기 영상 획득부(100)를 통하여 노출 시간이 서로 다른 복수의 영상을 획득하는 단계로부터 개시될 수 있다(S100). 일례로 상기 복수의 영상은 저노출 영상(Low Exposure Image), 고노출 영상(High Exposure Image), 및 평균노출 영상(Normal Exposure Image)일 수 있으나 이에 한정되는 것은 아니며 저노출 영상과 고노출 영상 등 적어도 2 이상의 노출 시간이 서로 다른 영상이 존재하기만 하면 본 발명의 디지털 영상 처리 방법이 적용될 수 있다.

도 5에 나타난 영상을 참조하여 설명하면 도 5a에 나타난 저노출 영상의 경우 사람이 영상의 중앙에 위치하고 있고, 도 5b에 나타난 평균노출 영상의 경우 사람이 영상의 좌측에 위치하고 있으며, 도 5c에 나타난 고노출 영상의 경우 사람이 보이지 않으므로 이를 종합하면 사람이 중앙에서 좌측으로 이동하고 있음을 알 수 있다. 종래 HDR 영상을 합성하는 경우에는 상기 저노출 영상과 평균노출 영상 및 고노출 영상을 단순히 합성하기 때문에 도 5에서와 같이 영상 속에 이동하는 물체가 존재하는 경우에는 잔상이 남아 선명한 HDR 영상을 획득할 수 없는 문제점이 있었다. 도 6a은 종래 HDR 영상의 합성 방법에 따라 도 5에 개시된 영상을 합성한 영상을 나타낸 도면이다. 도 6a에서도 알 수 있는 바와 같이 최종 합성된 영상 속에 이동하는 사람의 잔상이 남아 선명한 HDR 영상을 얻을 수 없음을 확인할 수 있다.

본 발명은 위와 같은 문제점을 해결하기 위하여 위와 같은 복수의 영상을 상기 히스토그램변환부(111)를 통하여 히스토그램으로 변환하여 처리한다(S110). 상기 복수의 영상을 각각 히스토그램으로 변환한 후 그 중 한 영상을 기준 영상으로 설정한다. 이때 상기 저노출 영상의 경우 상기 히스토그램 상에서 어두운 영역에 화소가 집중되어 있을 가능성이 크고, 고노출 영상의 경우 상기 히스토그램 상에서 밝은 영역에 화소가 집중되어 있을 가능성이 크다. 또한 상기 평균노출 영상은 상기 히스토그램 상에서 어두운 영역과 밝은 영역을 포함한 전 영역에 걸쳐 화소가 균등하게 분포할 가능성이 크다.

따라서 바람직하게는 상기 평균노출 영상을 기준 영상으로 설정하고, 상기 평균노출 영상의 히스토그램의 분포가 상기 저노출 영상이나 고노출 영상의 히스토그램의 분포와 기설정된 유사도 이상 유사해질 수 있도록 상기 평균노출 영상의 명암을 변형한다(S120). 상기 평균노출 영상을 기준 영상으로 설정하는 이유는 화소가 어두운 영역과 밝은 영역에 폭넓게 분포하고 있을 가능성이 높아 타 영상에 비하여 상대적으로 정보의 양이 풍부하다고 볼 수 있기 때문이다. 따라서 상기 평균노출 영상의 히스토그램의 분포를 상기 저노출 영상이나 고노출 영상의 히스토그램의 분포와유사하게 되도록 변형하는 경우 저정보 영상을 고정보 영상에 매칭시킬 경우에 발생할 수 있는 계단 현상과 같은 에러를 줄일 수 있기 때문이다. 그러나 만약 피사체를 촬영하는 환경이 비교적 밝은 곳일 경우에는 상기 고노출 영상이 상기 평균노출 영상과 비교하여 상대적으로 많은 정보를 포함할 수 있다. 이와 같은 경우에는 상기 고노출 영상을 상기 기준 영상으로 설정하여 상기 고노출 영상의 히스토그램의 분포를 상기 저노출 영상 또는 평균노출 영상의 히스토그램의 분포와유사하게 되도록 변형할 수 있다.

도 4에 도시된 실시예에 있어 기준 영상인 상기 평균노출 영상의 히스토그램의 분포를 상기 저노출 영상의 히스토그램의 분포와 유사하게 조정하는 것을 제1 히스토그램 조정이라 정의하고, 상기 평균노출 영상의 히스토그램의 분포를 상기 고노출 영상의 히스토그램의 분포와 유사하게 조정하는 것을 제2 히스토그램 조정이라 정의한다.

물론 본 발명은 기준 영상과 적어도 하나의 비교 대상 영상이 존재하는 경우 구현이 가능하므로 도 4에 개시된 실시예와 달리 저노출 영상 및 고노출 영상만이 존재하는 경우에도 상기 두 영상 중 어느 하나를 기준 영상으로 설정하고 다른 하나를 비교 대상 영상으로 설정하여 구현할 수도 있다.

상기 기준 영상의 변형으로 인하여 상기 조정 기준 영상과 비교 대상 영상 사이에 밝기로 인한 화소 차이는 무시할 수 있으므로 상기 조정 기준 영상과 비교 대상 영상 사이의 화소 차이는 물체의 이동으로 인한 차이로 판단할 수 있다. 따라서 상기 조정 기준 영상을 마스킹으로 이용하여 상기 비교 대상 영상과 상기 조정 기준 영상 사이의 차이로부터 마스킹 영상을 생성할 수 있다(S130). 따라서 상기 마스킹 영상은 상기 조정 기준 영상과 비교 대상 영상 사이에서 물체의 이동으로 인해 차이가 존재하는 픽셀만을 표시한 영상이라 할 수 있다. 도 4에 도시된 실시예에 있어 상기 저노출 영상을 조정 기준 영상으로 마스킹하여 생성된 영상을 제1 마스킹 영상이라고 정의하고, 상기 고노출 영상을 조정 기준 영상으로 마스킹하여생성된 영상을 제2 마스킹 영상이라고 정의한다.

상기 마스킹 영상 획득부(120)를 통하여 얻어진 마스킹 영상은 상기 조정 기준 영상과 상기 비교 대상 영상을 바이너리 레벨에서 상호 비교하여 획득된 영상이기 때문에 노이즈가 심할 수도 있다. 따라서 상기 노이즈제거부(130)를 통하여 상기 마스킹 영상에 나타난 노이즈를 제거한다(S140). 보다 상세히, 상기 노이즈 제거는 침식 연산과 팽창 연산을 적어도 1회 반복함으로써 이루어질 수 있다. 다만, 이와 같은 노이즈 제거 단계가 반드시 필요한 것은 아니다.

상기 노이즈제거부(130)를 통하여 마스킹 영상의 노이즈를 제거한 후 상기 비교 대상 영상 조정부(140)를 통하여 상기 비교 대상 영상에상기 마스킹 영상을 적용하여 조정 비교 대상 영상을 생성하고 상기 조정 비교 대상 영상에 가중치를 부여하게 된다(S150). 상기 가중치는 상기 조정 기준 영상과 비교 대상 영상을 히스토그램 상에서 비교하여 얻어지는 차이값을0에서 1 사이의 값으로 노멀라이징하여 얻어질 수 있다. 이 경우 상기 조정 기준 영상과 비교 대상 영상 사이의 차이가 크면 클수록 상기 가중치는 0에 수렴하고, 상기 조정 기준 영상과 비교 대상 영상 사이의 차이가 작으면 작을수록 상기 가중치는 1에 수렴하게 된다.

최종적으로 상기 HDR 영상 합성부(150)를 통하여 상기 기준 영상과 상기 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하게 된다(S170). 결국 HDR 영상 생성시 물체의 이동 부분에 대응되는 픽셀은 기준 영상의 픽셀을 그대로 사용하고 그 외 부분에 대해서는 서로 다른 노출값을 가지는 영상을 합성하여 HDR 영상으로 구현하게 된다.

도 6b는 위와 같은 방법으로 최종 합성된 HDR 영상을 나타낸 도면이다. 도 6b를 종래 HDR 영상 합성 방법에 의하여 생성된 도 6a와 비교하면, 사람이 이동했음에도 잔상이 거의 남지 않고 선명한 영상을 얻을 수 있음을 확인할 수 있다. 따라서 본 발명을 이용하면 도 6a에 도시된 영상과 같이 물체의 움직임이 있는 영역이 겹쳐지거나 하는 등의 고스트 효과를 없앤 선명한 HDR 영상을 얻을 수 있다.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

100: 영상 획득부
110: 히스토그램비교부
111: 히스토그램변환부
112: 영상 분류부
113: 히스토그램 조정부
120: 마스킹 영상 획득부
130: 노이즈제거부
140: 비교 대상 영상 조정부
150: HDR 영상 합성부
160: 제어부

Claims

(a) 복수의 영상을 획득하는 단계;
(b) 상기 복수의 영상을 히스토그램으로 변환하는 단계;
(c) 상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고 나머지 영상을 비교 대상 영상으로 설정하는 단계;
(d) 상기 기준 영상의 히스토그램의 분포와 상기 비교 대상 영상의 히스토그램의 분포 사이의 유사도가 기설정된 값 이상이 되도록 상기 기준 영상의 히스토그램의 분포를 조정하여 조정 기준 영상을 생성하는 단계;
(e) 상기 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 마스킹 영상을 생성하는 단계;
(f) 상기 비교 대상 영상에 상기 마스킹 영상을 적용하여 조정 비교 대상 영상을 생성하는 단계; 및
(g) 상기 기준 영상과 상기 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 디지털 영상 처리 방법.
제1항에 있어서,
상기 복수의 영상은 짧은 노출시간으로 얻어지는 저노출 영상(Low Exposure Image), 및 긴 노출시간으로 얻어지는 고노출 영상(High Exposure Image)을 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
제1항에 있어서,
상기 (c) 단계는,
히스토그램 상에서 어두운 영역으로부터 밝은 영역에 이르기까지 화소가상대적으로 균등하게 배치되어 있는 영상을 기준 영상으로 설정하는 것을 특징으로 하는 디지털 영상 처리 방법.
제1항에 있어서,
상기 마스킹 영상은 상기 조정 기준 영상과 상기 비교 대상 영상의 명암 차이를 각 픽셀마다 비교하여 표현한 영상인 것을 특징으로 하는 디지털 영상 처리 방법.
제1항에 있어서,
상기 (g) 단계는,
상기 조정 비교 대상 영상에 가중치를 부여한 후 상기 기준 영상과 합성하는 것을 특징으로 하는 디지털 영상 처리 방법.
제5항에 있어서,
상기 가중치는 상기 조정 기준 영상과 상기 비교 대상 영상을 히스토그램 상에서 비교하여 얻어지는 각 픽셀의 차이값을 0에서 1 사이의 값으로 노멀라이징한 값으로 결정되는 것을 특징으로 하는 디지털 영상 처리 방법.
제6항에 있어서,
상기 조정 기준 영상과 상기 비교 대상 영상 사이의 차이가 커질수록 상기 가중치는 0에 수렴하고, 상기 조정 기준 영상과 상기 비교 대상 영상 사이의 차이가 줄어들수록 상기 가중치는 1에 수렴하는 것을 특징으로 하는 디지털 영상 처리 방법.
제1항에 있어서,
상기 (e) 단계 이후에, 상기 마스킹 영상의 노이즈를 제거하는 단계를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
제8항에 있어서,
상기 노이즈를 제거하는 단계는,
침식(erosion) 연산과 팽창(dilation) 연산 및 스무딩(smoothing) 연산을 적어도 1회 반복하여 영상을 처리하는 것을 특징으로 하는 디지털 영상 처리 방법.
(a) 복수의 영상을 획득하는 단계;
(b) 상기 복수의 영상을 히스토그램으로 변환하는 단계;
(c) 상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고 나머지 영상을 제1 비교 대상 영상 및 제2 비교 대상 영상으로 설정하는 단계;
(d) 상기 기준 영상의 히스토그램의 분포와 상기 제1 비교 대상 영상 및 상기 제2 비교 대상 영상의 히스토그램의 분포 각각의 사이의 유사도가 기설정된 값 이상이 되도록 상기 기준 영상의 히스토그램의 분포를 조정하여 제1 조정 기준 영상 및 제2 조정 기준 영상을 생성하는 단계;
(e) 상기 제1 조정 기준 영상과 상기 제1 비교 대상 영상의 차이를 비교하여 제1 마스킹 영상을 생성하고, 상기 제2 조정 기준 영상과 상기 제2 비교 대상 영상의 차이를 비교하여 제2 마스킹 영상을 생성하는 단계;
(f) 상기 제1 비교 대상 영상에 상기 제1 마스킹 영상을 적용하여 제1 조정 비교 대상 영상을 생성하고, 상기 제2 비교 대상 영상에 상기 제2 마스킹 영상을 적용하여 제2 조정 비교 대상 영상을 생성하는 단계; 및
(g) 상기 기준 영상과 상기 제1 및 제2 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 단계를 포함하는 디지털 영상 처리 방법.
제10항에 있어서,
상기 복수의 영상은 짧은 노출시간으로 얻어지는 저노출 영상(Low Exposure Image), 보통 노출시간으로 얻어지는 중간노출 영상(Normal Exposure Image), 및 긴 노출시간으로 얻어지는 고노출 영상(High Exposure Image)을 포함하는 것을 특징으로 하는 디지털 영상 처리 방법.
복수의 영상을 획득하는 영상 획득부;
상기 복수의 영상을 히스토그램으로 변환하는 히스토그램 변환부;
상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고 나머지 영상을 비교 대상 영상으로 설정하는 영상 분류부;
상기 기준 영상의 히스토그램의 분포와 상기 비교 대상 영상의 히스토그램의 분포 사이의 유사도가 기설정된 값 이상이 되도록 상기 기준 영상의 히스토그램의 분포를 조정하여 조정 기준 영상을 생성하는 히스토그램 조정부;
상기 조정 기준 영상과 상기 비교 대상 영상의 차이를 비교하여 마스킹 영상을 생성하는 마스킹 영상 획득부;
상기 비교 대상 영상에 상기 마스킹 영상을 적용하여 조정 비교 대상 영상을 생성하는 비교 대상 영상 조정부; 및
상기 기준 영상과 상기 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 HDR 영상 합성부를 포함하는 디지털 영상 처리 장치.
제12항에 있어서,
상기 복수의 영상은 짧은 노출시간으로 얻어지는 저노출 영상(Low Exposure Image), 및 긴 노출시간으로 얻어지는 고노출 영상(High Exposure Image)을 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
제12항에 있어서,
상기 영상 분류부는,
히스토그램 상에서 어두운 영역으로부터밝은 영역에 이르기까지 화소가 균등하게 배치되어 있는 영상을 기준 영상으로 설정하는 것을 특징으로 하는 디지털 영상 처리 장치.
제12항에 있어서,
상기 마스킹 영상은 상기 조정 기준 영상과 상기 비교 대상 영상의 명암 차이를 각 픽셀마다 비교하여 표현한 영상인 것을 특징으로 하는 디지털 영상 처리 장치.
제12항에 있어서,
상기 비교 대상 영상 조정부는,
상기 조정 비교 대상 영상에 가중치를 부여한 후 상기 기준 영상과 합성하는 것을 특징으로 하는 디지털 영상 처리 장치.
제16항에 있어서,
상기 가중치는 상기 조정 기준 영상과 상기 비교 대상 영상을 히스토그램 상에서 비교하여 얻어지는 차이 값을 0에서 1 사이의 값으로 노멀라이징한 값으로 결정되는 것을 특징으로 하는 디지털 영상 처리 장치.
제17항에 있어서,
상기 조정 기준 영상과 상기 비교 대상 영상 사이의 차이가 커질수록 상기 가중치는 0에 수렴하고, 상기 조정 기준 영상과 상기 비교 대상 영상 사이의 차이가 줄어들수록 상기 가중치는 1에 수렴하는 것을 특징으로 하는 디지털 영상 처리 장치.
제12항에 있어서,
상기 마스킹 영상의 노이즈를 제거하는 노이즈제거부를 더 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.
제19항에 있어서,
상기 노이즈제거부는,
침식 연산과 팽창 연산 및 스무딩 연산을 적어도 1회 반복하여 영상을 처리하는 것을 특징으로 하는 디지털 영상 처리 장치.
복수의 영상을 획득하는 영상 획득부;
상기 복수의 영상을 히스토그램으로 변환하는 히스토그램 변환부;
상기 복수의 영상 중 어느 하나를 기준 영상으로 설정하고 나머지 영상을 제1 비교 대상 영상 및 제2 비교 대상 영상으로 설정하는 영상 분류부;
상기 기준 영상의 히스토그램의 분포와 상기 제1 비교 대상 영상 및 상기 제2 비교 대상 영상의 히스토그램의 분포 각각의 사이의 유사도가 기설정된 값 이상이 되도록 상기 기준 영상의 히스토그램의 분포를 조정하여 제1 조정 기준 영상 및 제2 조정 기준 영상을 생성하는 히스토그램 조정부;
상기 제1 조정 기준 영상과 상기 제1 비교 대상 영상의 차이를 비교하여 제1 마스킹 영상을 생성하고, 상기 제2 조정 기준 영상과 상기 제2 비교 대상 영상의 차이를 비교하여 제2 마스킹 영상을 생성하는 마스킹 영상 획득부;
상기 제1 비교 대상 영상에 상기 제1 마스킹 영상을 적용하여 제1 조정 비교 대상 영상을 생성하고, 상기 제2 비교 대상 영상에 상기 제2 마스킹 영상을 적용하여 제2 조정 비교 대상 영상을 생성하는 비교 대상 영상 조정부; 및
상기 기준 영상과 상기 제1 및 제2 조정 비교 대상 영상을 합성하여 HDR 영상을 생성하는 HDR 영상 합성부를 포함하는 디지털 영상 처리 장치.
제1항 내지 제11항 중 어느 한 항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 컴퓨터로 판독 가능한 기록 매체.