KR20090048191A - 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법 - Google Patents

Abstract

본 발명은 넓은 다이내믹 레인지를 갖는 영상신호 처리장치에 관한 것으로서, 촬상소자로부터 장노광 및 단노광 영상신호를 획득하는 장노광/단노광 영상 획득회로와, 상기 장노광/단노광 영상 확득회로의 출력 영상신호를 휘도와 색차신호로 분리하는 휘도/색차신호 변환회로와, 상기 휘도/색차신호 변환회로로부터 장노광 및 단노광의 휘도신호를 입력받아 가중치 평균기법으로 휘도를 압축하는 휘도신호 결합회로와, 상기 휘도 압축과정에서 감쇄된 신호를 보정하는 휘도신호 후처리회로와, 상기 휘도/색차신호 변환회로로부터 장노광 및 단노광의 색차신호를 입력받아 채도의 강도에 따라 가중치 평균기법으로 색차신호를 결합하는 색차신호 결합회로, 및 상기 휘도신호 후처리회로의 출력 휘도신호와 상기 색차신호 결합회로의 색차신호를 합성하는 RGB역변환회로로 구성된 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법에 관한 것이다.

영상처리장치, 다이내믹 레인지, 색차신호 결합, 휘도신호 결합

Description

다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법{color image processing apparatus and method for expanding dynamic range}

본 발명은 넓은 다이내믹 레인지를 갖는 영상신호 처리장치에 관한 것으로서, 장노광 영상과 단노광 영상을 색차와 휘도로 분리하여 채도의 선명성을 잘 유지하고 휘도 압축과정에서 감쇄된 신호를 보정하여 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법에 관한 것이다.

영상 신호 처리에 있어서, 카메라를 통해 촬상된 영상을 인간의 시각특성과 가깝도록 재현하는 연구가 활발하게 진행되고 있다. 실제로, 인간이 밝은 곳부터 어두운 곳까지 볼 수 있는 변위 즉, 다이내믹 레인지(dynamic range)는 약 120dB정도이다. 그러나, 일반적으로 고체 촬상소자(CCD:Charged Coupled Device)를 이용하는 영상 처리 시스템에서 처리된 영상의 다이내믹 레인지는 약 60dB정도에 불과하다. 결국, 어둡고 밝은 휘도 레벨들이 혼재하는 영상으로부터 인간의 시각과 같은 감도 특성을 얻기 어려우므로, 이를 극복하기 위해 영상의 다이내믹 레인지를 확대 한다.

전술한 영상의 다이내믹 레인지를 확대하는 방법에는 크게 센서레벨에서 아날로그 회로를 개량하는 방법과, 디지털 영상처리를 통한 방법이 있다. 그 중 본 발명은 디지털 영상처리방법에 대한 것으로서 다중 노출에 의해 취득된 영상들을 결합하여 다이내믹 레인지를 높이는 것이다.

이때, 다중 노출에 의한 장노광 영상과 단노광 영상을 결합함에 있어서 중요한 요인은 장노광 영상에서의 포화영역과 단노광 영역의 저휘도 영역을 어떻게 적정 노광 영상정보로 조합할 것인가의 문제이다.

종래에는 장노광 영상과 단노광 영상의 두 영상을 단순히 가중치 평균에 의해 결합하여 합성하는 방법을 사용하고 있는데, 두 영상의 단순 평균 결합은 휘도 특성에 대해서는 다이내믹 레인지를 가장 손실 없이 표현해낼 수 있는 장점이 있으나, 칼라 측면에서는 채도를 제대로 반영하지 못해 선명한 영상을 구현하지 못하는 단점이 있다.

종래 기술로는, ① 등록 특허 10-0672856 '넓은 다이내믹 레인지를 갖는 카메라 영상신호 처리장치'와 ② 등록 특허 10-0363827 '넓은 다이내믹레인지의 영상신호를 생성하는 텔레비젼신호처리장치와 그 신호처리장치를 가지는 텔레비젼 카메라 및 텔레비젼 신호 처리 방법'이 있다.

도 1은 종래의 카메라 영상신호 처리장치①의 블록 구성도이고, 도 2는 종래의 텔레비젼 카메라 및 텔레비젼 신호처리 방식②의 블록 구성도이다.

먼저, 도 1을 참조하여 종래의 카메라 영상신호 처리장치①의 구성을 살펴보면, 촬상소자로부터 장노광 및 단노광 영상신호를 획득하는 장노광/단노광 획득회로와; 상기 두 영상 신호의 차분값을 계산하는 차분회로와; 상기 차분회로로부터 얻어지는 차분영상과 차분영상값에 따라 변화하는 승산계수를 만들어 내기 위한 승산비율계수를 입력하여 승산계수를 만들어 내는 승산계수 연산회로와; 상기 두 영상 신호의 승산 계수를 각 영상에 곱하는 제1 및 제2 승산회로; 및 상기 승산에 의해 얻어진 두 영상을 합성하는 합성회로로 구성되어 있다.

상기한 종래 기술①은 장노광과 단노광의 휘도값을 차분한 값과 특정 파라미터(Rls)에 의해 가중치 계수를 결정하여 두 영상을 결합함으로써 합성 영상의 결과가 광량 변화에 자연스럽게 대응할 수 있도록 한 것이다.

그러나, 종래의 카메라 영상신호 처리장치①는 RGB컴포넌트를 휘도와 색차성분으로 분리하여 처리하지 않고 RGB 각각의 도메인 상에서 휘도결합을 하므로 색 재연능력이 현저히 떨어지는 문제점이 있다.

게다가, 단노광 영상의 결합 반영률을 높이기 위해 Rls파라미터를 낮추게 될 경우 단노광 영상의 계조치가 낮은 영역이 결합 영상에 어색한 영상(역전현상)으로 반영되는 문제점이 있다.

한편, 도 2를 참조하여 종래의 텔레비젼 카메라 및 텔레비젼 신호처리 방식②의 구성을 살펴보면, 고휘도 영상신호(V2)의 예를 들어 1필드기간에 있어서의 피크치(P)를 검출하는 피크치 검출회로(52)와; 가산비율(R)과 피크치(P)로부터 표준휘도 영상신호(V1)의 승산계수(L)와 고휘도 영상신호(V2)의 승산계수(S)를 연산하는 승산계수 연산회로(52)와; 표준휘도 영상신호(V1)에 승산계수(L)를 승산하여 표분휘도 영상신호(O1)를 출력하는 승산회로(53)와; 고휘도 영상신호(V2)에 승산계수(S)를 승산하여 고휘도 영산신호(O2)를 출력하는 승산회로(54); 및 표준휘도 영상신호(O1)와 고휘도 영상신호(O2)를 가산하여 넓은 다이내믹레인지 영상신호(W)를 출력하는 합성회로(55)로 구성되어 있다.

상기한 종래기술②의 전체적인 영상 취득 시스템은 종래기술①과 동일하나 다만, 한 프레임에서 결합 계수를 구하는데 필요한 히스토그램 및 각종 요소들을 획득하여 다음 프레임에 적용하고, 단노광 영상에서 피크치를 검출하여 단노광 영상을 스트레칭하는 과정이 더 포함되어 있다.

그러나, 종래의 텔레비젼 카메라 및 텔레비젼 신호처리 방식②는 피크치가 높으면 고조도 영상의 반영비율이 대체적으로 떨어져서 전체적인 합성 영상이 어두워지며, 피크치가 낮아지면 고조도 영상의 반영비율이 증가되어 합성 영상이 밝아 지는 문제점이 있다.

그리고, 검은색 영역을 촬영하다가 포화된 영역(형광등 혹은 백색종)이 있는 화면을 촬영하거나, 그 반대로 포화된 영역을 촬영하다가 검은색 영역을 촬영할 때, 또는 어두운 영상에서 포화된 화소가 불규칙적으로 검출될 때 갑작스런 피크치 변화에 의해 합성될 영상 자체도 급격한 스트레칭이 일어나게 되는 문제점이 있다.

또한, 피크치 검출 값의 높낮이에 따라 화면 자체의 밝기가 유동적으로 변하는 문제점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 디지털 영상처리를 통한 다이내믹 레인지 확장 과정에서 채도의 선명성을 잘 유지하고 휘도 결합과정에서 감쇄된 신호를 보안할 수 있도록 하는 다이내믹 레인지를 확장하는 칼라 영상 처리장치 및 방법을 제공함을 목적으로 한다.

상술한 본 발명의 목적은 영상신호 처리장치에 있어서, 촬상소자로부터 장노광 및 단노광 영상신호를 획득하는 장노광/단노광 영상 획득회로와; 상기 장노광/단노광 영상 확득회로의 출력 영상신호를 휘도와 색차신호로 분리하는 휘도/색차신호 변환회로와; 상기 휘도/색차신호 변환회로로부터 장노광 및 단노광의 휘도신호를 입력받아 가중치 평균기법으로 휘도를 압축하는 휘도신호 결합회로와; 상기 휘도 압축과정에서 감쇄된 신호를 보정하는 휘도신호 후처리회로와; 상기 휘도/색차신호 변환회로로부터 장노광 및 단노광의 색차신호를 입력받아 채도의 강도에 따라 가중치 평균기법으로 색차신호를 결합하는 색차신호 결합회로; 및 상기 휘도신호 후처리회로의 출력 휘도신호와 상기 색차신호 결합회로의 색차신호를 합성하는 RGB역변환회로으로 구성된 다이내믹 레인지를 확장하는 칼라 영상 처리장치에 의해 달성된다.

상기한 본 발명의 휘도신호 후처리회로는 두 영상의 결합 휘도신호를 스트레칭하는 히스토그램 스트레칭 수단과; 상기 히스토그램 스트레칭 결과 계조치가 낮은 영역에 대해서만 감마 변환하는 감마 조정 수단; 및 상기 감마 조정된 휘도신호의 약해진 에지를 강화하는 에지 강조 처리수단으로 이루어진 것을 특징으로 한다.

그리고, 넓은 다이내믹 레인지를 구현하는 방법에 있어서, 촬상소자(CCD, CIS)를 이용하여 노출시간을 길게 촬영한 장노광 영상(I_LE)과 노출시간을 짧게 하여 촬영한 단노광 영상(I_SE)을 결합하여 다이내믹 레인지가 확장된 영상을 취득하는 R-1단계와; 상기 취득된 두 영상을 휘도(Y)신호와 색차신호(R-Y, G-Y, B-Y)로 변환하는 R-2단계와; 상기 색차신호(R-Y, G-Y, B-Y)에 대해서 두 영상을 화소별(Pixel by Pixel)로 색차에 대한 가중치 평균처리(Weighted Averaging)하여 색차신호를 결합하는 R-3단계와; 상기 휘도(Y)신호에 대해서는 가중치 평균화작업을 통해 두 영상의 휘도를 결합하여 휘도 압축하는 R-4단계와; 휘도 압축과정에서 감쇄된 휘도를 보정하기 위해 히스토그램을 스트레칭하는 R-5단계와; 가중치 평균결합으로 부족한 휘도 압축을 보상하는 동시에 어두운 부분에 대한 가시성을 높이기 위해 감마 변환하는 R-6단계와; 휘도처리로 인해 김쇄된 영상의 선명성을 보상하는 에지 강조처리 R-7단계; 및 상기 색차신호 결합 영상과 에지 강조처리된 휘도신호를 합성하여 다이내믹 레인지가 확장된 RGB영상을 제공하는 R-8단계로 이루어진 다이내믹 레인지를 확장하는 칼라 영상 처리방법에 의해 달성된다.

상기한 본 발명의 색차신호를 결합하는 R-3단계에서 가중치 평균처리 공식에 이용되는 가중치는 RGB 3 컴포넌트의 간소화된 표준편차로 구한 스칼라값으로 하는 것을 특징으로 한다.

상기한 본 발명의 휘도신호를 감마 변환하는 R-6단계에서 감마 변환은 원하는 구간에 대해서만 변환을 시행하도록 하는 것을 특징으로 한다.

상기한 바와 같이 본 발명에 의하면 노출시간이 다른 두 영상에서 색차신호를 분류하여 채도의 크기로 가중치 평균 결합함으로써 다이내믹 레인지가 확장된 영상의 채도가 선명성을 유지할 수 있는 효과가 있다.

또한, 노출시간이 다른 두 영상에서 휘도신호를 분류하여 휘도신호를 결합하고 히스토그램을 스트레칭함으로써, 휘도 결합과정에서 감쇄된 신호를 보정하여 대비 약화를 개선할 수 있는 효과가 있다.

그리고, 히스토그램 스트레칭 결과 계조치가 낮은 특정 영역만을 감마변환 함으로써, 가시성이 높고 영상전역에 적절한 대비효과를 갖는 영상을 제공할 수 있는 효과가 있다.

또한, 감마 변환 이후 에지 강조처리를 함으로써, 휘도 처리과정에서 감쇄된 에지 성분을 복원하여 영상의 선명성을 높이는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부한 도면에 의거하여 상세히 기술하기로 한다.

도 3은 본 발명에 의한 칼라 영상 처리장치의 블록 구성도이다.

본 발명의 칼라 영상 처리장치는 촬상소자로부터 장노광 및 단노광 영상신호를 획득하는 장노광/단노광 영상 획득회로(11)와; 상기 장노광/단노광 영상 확득회로(11)의 출력 영상신호를 휘도와 색차신호로 분리하는 휘도/색차신호 변환회로(12)와; 상기 휘도/색차신호 변환회로(12)로부터 장노광 및 단노광의 휘도신호를 입력받아 가중치 평균기법으로 휘도를 압축하는 휘도신호 결합회로(13)와; 상기 휘도 압축과정에서 감쇄된 신호를 보정하는 휘도신호 후처리회로(14)와; 상기 휘도/색차신호 변환회로(12)로부터 장노광 및 단노광의 색차신호를 입력받아 색차신호의 강도에 따라 가중치 평균기법으로 채도를 결합하는 색차신호 결합회로(15); 및 상기 휘도신호 후처리회로의 출력 휘도신호와 상기 색차신호 결합회로의 색차신호를 합성하는 RGB역변환회로(16)로 구성된다.

상기 휘도신호 후처리회로(14)는 두 영상의 결합 휘도신호를 스트레칭하는 히스토그램 스트레칭 수단과; 상기 히스토그램 스트레칭 결과 계조치가 낮은 영역에 대해서만 감마 변환하는 감마 조정 수단; 및 상기 감마 조정된 휘도신호의 약해진 에지를 강화하는 에지 강조 처리수단으로 이루어진다.

상기 색차신호 결합회로(15)에서 가중치 값은 채도의 크기를 스칼라값으로 표현하되, RGB 3 컴포넌트의 간소화된 표준편차로 구하는 것이 바람직하다.

상기한 바와 같이 종래에 촬영된 두 영상을 단순히 결합하던 것에 반해 본 발명의 구성은 두 영상의 휘도신호와 채도신호를 별도로 분류하여 보정한 후 두 신호를 합성하도록 함으로써, 채도의 선명성을 잘 유지하고 휘도 압축과정에서 감쇄된 신호를 보정하여 우수한 화질의 넓은 다이내믹레인지를 갖는 영상을 제공할 수 있는 것이다.

더욱이 상기 휘도신호 후처리회로는 두 영상의 결합 휘도 신호를 스트레칭한 결과 계조치가 낮은 영역에 대해서만 감마 변환함으로써 신호값이 낮은 영역의 가시성이 높아짐과 동시에 영상전역에 적절한 대비 효과를 기대할 수 있고, 최종적으로 휘도신호에 에지 강조처리를 함으로써, 영상 결합과정에서 수반할 수밖에 없는 에지약화 현상의 부작용을 상쇄해 강한 샤프니스 강조 효과를 기대할 수 있다.

이어서, 상술한 본 발명의 구성이 어떻게 유기적으로 동작 되는가를 도 4를 참조하여 상세하게 기술하기로 한다.

도 4는 본 발명에 의한 칼라 영상 처리장치의 영상처리 흐름도이다.

먼저, 촬상소자(CCD, CIS)를 이용하여 노출시간을 길게 촬영한 장노광 영상(I_LE)과 노출시간을 짧게 하여 촬영한 단노광 영상(I_SE)을 결합하여 다이내믹 레인지가 확장된 영상을 취득한다.(R-1단계)

영상 결합은 광대역의 신호를 좁은 영역의 신호로 압축하는 작업이므로 비선형적인 처리를 수반하기 때문에 RGB영역에서 실행하면 각각의 다른 압축 비율로써 색상의 왜곡된 결과를 가져오게 된다. 따라서, 우선 휘도(Y)신호와 색차신호(R-Y, G-Y, B-Y)로 변환하는 RGB 색상신호 변환작업을 수행한다.(R-2단계)

여기서, 색차신호에 대해서는 두 영상을 화소별(Pixel by Pixel)로 색차에 대한 가중치 평균처리(Weighted Averaging)하여 색차신호를 결합한다.(R-3단계)

그리고, 휘도에 대해서는 가중치 평균화작업을 통해 두 영상의 휘도를 결합하여 휘도압축(R-4단계)한 후 감쇄된 휘도를 보정하기 위해 히스토그램 스트레칭(R-5단계)을 수행하고, 가중치 평균결합으로는 부족한 휘도 압축을 보상하면서 동시에 어두운 부분에 대한 가시성을 높이기 위해 감마 변환(R-6단계)을 수행하며, 앞선 휘도처리로 인해 김쇄된 영상의 선명성을 보상하는 에지 강조처리(R-7단계)를 수행한다.

최종적으로 두 영상의 결합된 색차신호 및 휘도신호를 합성하여 다이내믹 레인지가 확장된 RGB영상을 제공한다.(R-8단계)

상기한 과정에 있어서, RGB신호의 색차신호 변환(R-2단계)은 아래 식 1, 2를 이용해 구한다.

RY_i = R_i - Y_i (식 1)

GY_i = G_i - Y_i

BY_i = B_i - Y_i

Y_i=(R_i + (G_i<<1) + B_i)>>2 (식 2)

식 1 및 2에서 i = 1, 2이고, 1은 I_{LE (x,y)}에 2는 I_{SE (x,y)}에 해당한다.

실제로 BT.601규격에 따르면 휘도(Y)를 구하는 공식은 Y=0.299·R + 0.587·G + 0.114·B이나 간단히 그레이스케일로 휘도를 구할 때는 Y=(R+G+B)/3을 사용할 수 있다. 그러나 하드웨어 구현관점에서 전자는 정수화 연산과 3개의 곱셈기 및 2개 덧셈기를, 후자는 2개 덧셈기 및 2ⁿ 나눗셈이 아니므로 나눗셈기를 필요로 한다. 두 방법은 단순히 연산임에도 불구하고 하드웨어 로직을 불필요하게 많이 사용한다 고 볼 수 있다. 그러므로 식 2에 의거하면 2개 덧셈기와 쉬프트 연산만으로 전자의 공식과 거의 유사한 휘도값을 얻을 수 있다.

한편, 다이내믹 레인지 확장을 위한 영상 결합에서 가장 이상적인 방법은 장/단노광 영상에서 적정 노출이 되지 않아 영상 정보가 없는 영역을 서로 적절히 보완하는 것이다. 즉, 단노광 영상에서 어두운 영역을 장노광 영상에서 보완해주고 장노광 영상의 포화영역(과도노출로 하얗게 된 영역)을 단노광 영상으로 채워주는 것이 이상적인 결합법이 된다. 실제로 영상정보가 없는 이러한 영역은 무채색에 가깝고 쉽게 식별할 수 있다. 그러므로 이 영역에 대한 결합비율은 최대한 감소시키고, 보다 채도가 높은 타 영상(장노광 혹은 단노광)의 정보를 활용해야 한다. 이를 위해 본 발명에서는 색차신호 결합(R-3단계)을 수행하는 것이다.

본 발명에서 색차신호 결합(R-3단계)은 식 4, 5, 6을 따른다.

고휘도 영상은 밝게 포화된 영역에서, 저휘도 영상은 어두운 영역에서 색상이 거의 없다고 볼 수 있다. 그러므로 이 영역에 대한 단순 평균을 이용한 영상 결합은 색상의 채도를 떨어뜨릴 가능성이 매우 크다. 이를 보상하기 위해 전 영역에 걸쳐 색상 강조를 하면 정상적으로 취득된 색차정보가 지나치게 강조되는 문제를 야기할 수 있다.

상기한 문제를 해결하기 위해 본 발명에서는 화소별(Pixel by Pixel)로 색차에 대한 가중치 평균처리(Weighted Averaging)를 한다. 식 4는 식2에서 구한 색차 신호에 대한 가중치 평균결합을 나타내며, 각 가중치 알파(α)는 식 5로써 구한다.

RY_F = RY₁·α + RY₂·(1-α) (식 4)

GY_F = GY₁·α + GY₂·(1-α)

BY_F = BY₁·α + BY₂·(1-α)

α = S₁/(S₁ + S₂), if (S₁ + S₂)=0 then S₁ = S₂ = 0.5 (식 5)

식 5의 가중치는 장노광과 단노광의 동일 위치 채도의 강도에 의해 획득된다. 즉, S₁은 장노광 화소의 색상 강도가 되며 S₂는 동일 위치의 단노광 화소의 색상 강도가 된다.

여기서, 종래에 색상 강도는 식 7에 의해 구해 졌다.

if max(R,G,B) = 0 then S_sat = 0 (식 7)

그러나, 식 7과 같이 HSI좌표계의 채도(S:Saturation)를 색의 강도로써 활용할 경우 매우 작은 RGB스칼라 값에 의해 높은 채도로 표현될 수 있는 문제가 있다.

예를 들어, R=2, G=0, B=0인 경우 검은색이면서 채도가 거의 없는 무채색에 가깝다고 할 수 있는데, 이 경우 식 7에 적용하면 색의 강도는 100%가 되는 문제를 초래한다.

따라서, 본 발명에서는 색상 강도를 식 6을 응용하여 구하고자 한다. 이는 RGB 3 컴포넌트의 간략화한 표준편차로 채도의 크기를 스칼라로 표현함으로써 안정된 적정 가중치를 획득할 수 있게 한다.

S₁=│Avg₁-R₁│+│Avg₁-G₁│+│Avg₁-B₁│, Avg_i=(R_i+G_i+B_i)/3 (식 6)

S₂=│Avg₂-R₂│+│Avg₂-G₂│+│Avg₂-B₂│

그러나, 식 6의 각 Avg는 사실상 RGB로 구성된 한 픽셀의 휘도값과 거의 동일시 할 수 있기 때문에, Avg를 식 2로 대체하면 가중치 S는 식 1에서 구한 색차신호들의 절대치 합으로 표현 가능하다. 그러므로 아래의 식 6-1에 의거한 하드웨어 구현으로 나눗셈기를 사용하지 않는 이점을 갖게 된다.

S₁ = |R₁-Y| + |G₁-Y| + |B₁-Y| (식 6-1)

S₂ = |R₂-Y| + |G₂-Y| + |B₂-Y|

상기 식 6-1과 7을 비교해 볼 때, 식 7은 RGB 세 값의 상대적인 크기를 통해 채도를 계산하기 때문에 그 값이 매우 작은 RGB라 하더라도 채도가 높게 계산될 수 있다. 이때, 상대적이라 함은 RGB중 가장 큰 값에 의해 채도의 크기가 정규화(Normalization)되는 것을 의미한다. 반면, 식 6-1은 RGB값들의 절대적인 비교에 의해 앞선 예시와 같이 거의 검은 색이라 할 수 있는 무채색 RGB(2,0,0)을 낮은 채도로 계산한다.

즉, 사람의 눈으로는 어둡거나 무채색이라고 판단되는 화소값이 식 7에 의해 높은 채도의 잘못된 결과로 사용된다면 결합 영상의 색 재연성에 문제를 초래하게 된다. HSI좌표계에서는 특히 I(Intensity 혹은 Lightness)가 낮아질수록 정규화된 채도값이 앞서 기술한 원치 않은 결과를 발생시킬 가능성을 높인다. 그 이유는 도 5의 HSI좌표계에서 I가 낮을수록 S는 쉽게 100%가 되기 때문이다.

도 5는 일반적인 HSI좌표계를 도시한 도면이다.

HSI좌표계는 원뿔을 거꾸로 세운 모습으로 아래에서 위로 갈수록 I(Intensity 혹은 Lightness)가 높아지고, 원뿔 바닥 둘레가 색상(H:Hue)을 나타내며 각도에 따라 달라진다. 즉, I를 축으로 원뿔 밖으로 멀어질수록 채도(S:Saturation)가 증가하고 I가 낮아질수록 S는 쉽게 100%가 되는 것이다.

상기한 과정에 있어서, 휘도 결합(R-4단계)은 아래 식3을 이용해 구한 장노광 및 단노광 휘도값을 사용하고 식8에 의거한 가중치 평균결합을 수행한다.

Y_combining=Y₁·β+Y₂·(1-β), if 0≤β≤1 (식 8)

일반적으로 적정 노출시간에 의해 적정 노광된 영상을 취득하였다고 가정할 때, 장/단노광 영상의 휘도 결합 즉, 휘도 압축은 평균 결합을 통해 두 영상 전역의 명암을 고루 표현해낼 수 있다. 이때는 식 8에서 가중치 베타 값을 0.5로 적용하고 있으나, 이 경우 평균 휘도 결합은 두 영상의 명암을 완벽히 재현해 낼 수 있으나 대비가 약화되어 가시성(visibility)이 떨어지는 문제가 있다. 본 발명에서는 이러한 문제를 해결하기 위해 상기 히스토그램 스트레칭(R-5단계)을 수행하는 것이다.

도 6은 종래의 휘도 결합단계에서 저조도 영상(a)과 고조도 영상(b) 및 두 영상을 평균결합한 영상(c)의 사진이고, 도 7은 도 6의 저조도 영상의 히스토그램(a)과 고조도 영상의 히스토그램(b) 및 두 영상의 평균결합 영상에 대한 히스토그램(c)을 도시한 도면이며, 도 8은 본 발명에서 휘도 결합한 영상을 히스토그램 스트레칭 처리한 후의 히스토그램을 도시한 도면이다.

종래에는 단순히 두 영상을 평균결합했기 때문에 도 7의 (c)에 도시된 바와 같이 저조도 영상의 히스토그램(a)이 전체적으로 Shift-up된 모습과 유사하다. 즉, 평균결합 영상의 대비 약화는 물론이고, 풀레인지(Full Range, 0~255)의 휘도값이 사용되지 못하는 문제를 보이게 된다.

이러한 대비 약화를 개선하기 위한 방법으로 히스토그램 스트레칭(R-5단계)을 수행하는 것이다.

실제로 히스토그램 스트레칭을 처리한 후의 히스토그램은 도 8에 도시된 바와 같고, 도 7의 (c)와 비교해 볼 때 그래프가 전체적으로 좌측으로 스트레칭하여 휘도값이 0~255 구간에 전체적으로 확장된 것을 확인할 수 있다.

여기서, 히스토그램 스트레칭은 식 9에 의거한다.

(식 9)

한편, 상기 히스토그램 스트레칭(R-5단계) 결과, 계조치가 낮은 화소가 히스토그램상에서 좌측으로 이동한 경우 계조치가 낮은영역(도 9의 P구간)의 가시성이 떨어지는 현상이 나타날 수 있다. 본 발명에서는 이 부분의 다이내믹 레인지를 넓히기 위한 방법으로 감마를 조정하는 감마 변환(R-6단계)을 수행한다.

도 9는 본 발명의 히스토그램 스트레칭 이후 히스토그램이고, 도 10은 일반적인 감마 변환 기본 공식을 적용한 경우의 감마신호 변환 형태 그래프이며, 도 11은 본 발명에 의한 감마 변환 공식을 적용한 경우의 감마신호 변환 형태 그래프이고, 도 12는 본 발명에 의한 히스토그램 스트레칭 영상(a)과 전역 감마 변환 영상(b)과 일부 감마 변환 영상(c)의 사진이다.

일반적으로 감마 변환의 기본 공식은 식 10과 같이 입력신호(x)에 대해 감마를 제곱근으로 하여 출력 신호를 얻는 것이다.(이때 0≤x≤1, 0≤y≤1)

(식 10)

그러나, 0부터 255 값을 갖는 영상 신호의 경우는 식 11과 같이 감마 변환 공식을 변형하여 사용한다.

(식 11)

도 9에서 P구간의 신호를 증가시키기 위해서는 감마값을 1미만으로 낮추면 된다. 그때의 감마신호 형태는 도 10의 초록색 실선과 같아져 P구간의 신호를 증가시킬 수 있으나 0~255에 대한 전역 처리로 인해 P구간이 아닌 나머지 구간에 대해서도 전체적으로 증가된 신호값을 얻게 된다. 이것은 휘도 결합된 영상에서 적절히 결합되었다고 판단할 수 있는 영역 또한 신호처리를 하는 것이므로 영상 전역으로 볼 때 대비를 떨어뜨리는 부작용이 된다.

따라서, 본 발명에서는 식 12를 이용하여 원하는 P구간에 대해서만 감마 변환을 시행하여 신호값이 낮은 영역의 가시성이 높아지도록 한다.

(식 12)

상기 식 12에서 Gamma Max Point(GMP)를 설정하고, 그 이하의 신호에 대해서만 감마변환을 시행함으로써, 계조치가 낮은 P구간에 대해서만 감마 변환을 시행하고 계조치가 높은 나머지 구간에 대해서는 입력신호를 그대로 출력함으로써 도 11에 도시된 바와 같이, 신호값이 낮은 영역의 가시성이 높아짐과 동시에 영상 전역에 적절한 대비효과를 기대할 수 있게 된다.

도 12를 참조하여 히스토그램 스트레칭 결과 영상(a)과 전역 감마 변환 처리 후 영상(b)을 비교하면, 전역 감마 변환 처리 후 오히려 영상의 대비가 떨어진 것을 확인할 수 있는 반면, 일부 감마 변환 영상(c)은 가시성이 낮은 영역과 그외의 영역의 대비가 안정이며 상기한 두 영상보다 우수한 것을 확인할 수 있다.

한편, 다이내믹 레인지 확장을 위한 영상 결합은 넓은 영역의 계조 데이터를 좁은 영역으로 압축하는 작업이기 때문에 큰 계조변화를 작은 계조변화로 만드는 부작용을 수반할 수밖에 없다. 이는 에지 약화 현상으로 나타난다. 따라서, 계조압축 후에는 에지 강조를 통해 그 부작용을 상쇄할 수 있다.

여기서, 에지 강조는 식 13 및 14와 같은 마스크 연산을 통해 에지 감쇄 효과를 보상한다.

Y'(i,j)={9*Y_gamma(i,j)-Y_gamma(i-1,j)-Y_gamma(i+1,j)-Y_gamma(i,j-1)-

Y_gamma(i,j+1)}/5 (식 13)

Y'(i,j) = 5*Y_gamma(i,j)-Y_gamma(i-1,j)-Y_gamma(i+1,j)-Y_gamma(i,j-1)-

Y_gamma(i,j+1) (식 14)

여기서, i, j는 각각 영상의 x축, y축의 좌표데이터이며, Y_gamma와 Y'은 각각 감마 조정된 영상과 출력 영상을 의미한다. 식 14는 식 13보다 에지의 강도가 강하므로 보다 강한 샤프니스 강조 효과를 위해 선택하여 사용할 수 있다.

마지막으로 색차 및 휘도신호에 대한 모든 처리가 끝나면, 식 4에서 구한 RY_F, GY_F, BY_F를 RGB로 복원한다. RGB복원은 에지 강조까지 처리된 Y'를 색차신호 RY_F, GY_F, BY_F에 가산하는 식 15에 의거한다.

R_HDR=RY_F+Y' (식 15)

G_HDR=GY_F+Y'

B_HDR=BY_F+Y'

도 1은 종래의 카메라 영상신호 처리장치①의 블록 구성도.

도 2는 종래의 텔레비젼 카메라 및 텔레비젼 신호처리 방식②의 블록 구성도

도 3은 본 발명에 의한 칼라 영상 처리장치의 블록 구성도

도 4는 본 발명에 의한 칼라 영상 처리장치의 영상처리 흐름도

도 5는 일반적인 HSI좌표계

도 6은 종래의 휘도 결합단계에서 저조도 영상(a)과 고조도 영상(b) 및 두 영상을 평균결합한 영상(c)의 사진

도 7은 도 6의 저조도 영상의 히스토그램(a)과 고조도 영상의 히스토그램(b) 및 두 영상의 평균결합 영상에 대한 히스토그램(c)

도 8은 본 발명에 의한 히스토그램 스트레칭 처리한 후의 히스토그램

도 9는 본 발명의 히스토그램 스트레칭 이후 히스토그램이고,

도 10은 일반적인 감마 변환 기본 공식을 적용한 경우의 감마신호 변환 그래프

도 11은 본 발명에 의한 감마 변환 공식을 적용한 경우의 감마신호 변환 그래프

도 12는 본 발명에 의한 히스토그램 스트레칭 영상(a)과 전역 감마 변환 영상(b)과 일부 감마 변환 영상(c)의 사진

Claims (5)

1. 영상신호 처리장치에 있어서,

   촬상소자로부터 장노광 및 단노광 영상신호를 획득하는 장노광/단노광 영상 획득회로와; 상기 장노광/단노광 영상 확득회로의 출력 영상신호를 휘도와 색차신호로 분리하는 휘도/색차신호 변환회로와; 상기 휘도/색차신호 변환회로로부터 장노광 및 단노광의 휘도신호를 입력받아 가중치 평균기법으로 휘도를 압축하는 휘도신호 결합회로와; 상기 휘도 압축과정에서 감쇄된 신호를 보정하는 휘도신호 후처리회로와; 상기 휘도/색차신호 변환회로로부터 장노광 및 단노광의 색차신호를 입력받아 채도의 강도에 따라 가중치 평균기법으로 색차신호를 결합하는 색차신호 결합회로; 및 상기 휘도신호 후처리회로의 출력 휘도신호와 상기 색차신호 결합회로의 색차신호를 합성하는 RGB역변환회로로 구성된 것을 특징으로 하는 다이내믹 레인지를 확장하는 칼라 영상 처리장치.
2. 제1항에 있어서,

   상기 휘도신호 후처리회로는 두 영상의 결합 휘도신호를 스트레칭하는 히스토그램 스트레칭 수단과; 상기 히스토 그램 스트레칭 결과 계조치가 낮은 영역에 대해서만 감마 변환하는 감마 조정 수단; 및 상기 감마 조정된 휘도신호의 약해진 에지를 강화하는 에지 강조 처리수단으로 이루어진 것을 특징으로 하는 다이내믹 레인지를 확장하는 칼라 영상 처리장치.
3. 넓은 다이내믹 레인지를 구현하는 방법에 있어서,

   촬상소자(CCD, CIS)를 이용하여 노출시간을 길게 촬영한 장노광 영상(I_LE)과 노출시간을 짧게 하여 촬영한 단노광 영상(I_SE)을 결합하여 다이내믹 레인지가 확장된 영상을 취득하는 R-1단계와; 상기 취득된 두 영상을 휘도(Y)신호와 색차신호(R-Y, G-Y, B-Y)로 변환하는 R-2단계와; 상기 색차신호(R-Y, G-Y, B-Y)에 대해서 두 영상을 화소별(Pixel by Pixel)로 색차에 대한 가중치 평균처리(Weighted Averaging)하여 색차신호를 결합하는 R-3단계와; 상기 휘도(Y)신호에 대해서는 가중치 평균화작업을 통해 두 영상의 휘도를 결합하여 압축하는 R-4단계와; 휘도 압축과정에서 감쇄된 휘도를 보정하기 위해 히스토그램을 스트레칭하는 R-5단계와; 가중치 평균결합으로 부족한 휘도 압축을 보상하는 동시에 어두운 부분에 대한 가시성을 높이기 위해 감마 변환하는 R-6단계와; 휘도처리로 인해 김쇄된 영상의 선명성을 보상하는 에지 강조처리 R-7단계; 및 상기 색차신호 결합 영상과 에지 강조처리된 휘도신호를 합성하여 다이내믹 레인지가 확장된 RGB영상을 제공하는 R-8단계로 이루어진 것을 특징으로 하는 다이내믹 레인지를 확장하는 칼라 영상 처리방법.
4. 제3항에 있어서,

   상기 색차신호를 결합하는 R-3단계는 화소별(Pixel by Pixel)로 색차에 대한 가중치 평균(Weighted Averaging)으로 구하되 상기 가중치(α)는 아래 식 5 및 6-1

   α = S₁/(S₁ + S₂), if (S₁ + S₂)=0 then S₁ = S₂ = 0.5 (식 5)

   S₁ =│R₁-Y| + |G₁-Y| +|B₁-Y| (식 6-1)

   S₂ = |R₂-Y| + |G₂-Y| + |B₂-Y|

   에 의해 획득함을 특징으로 하는 다이내믹 레인지를 확장하는 칼라 영상 처리방법.
5. 제3항에 있어서,

   상기 히스토그램 스트래칭 결과 영상을 감마 변환하는 R-6단계는

   

   (식 12)

   식 12를 이용하여 원하는 P구간에 대해서만 감마 변환을 시행하는 것을 특징으로 하는 다이내믹 레인지를 확장하는 칼라 영상 처리방법.

Images