KR101536162B1 - 화상처리장치 및 방법 - Google Patents

Abstract

촬상소자에 의해 촬상광학계를 거쳐서 입사하는 피사체상을 촬영해서 얻어진 화상 데이터에 대하여, 상기 촬상광학계의 수차에 의한 화상의 열화를 보정하는 회복처리를 행하는 화상처리장치는, 상기 촬영시의 촬영 조건에 따라, 회복처리에 사용되는 필터를 선택하는 선택부; 상기 화상 데이터에 대하여, 상기 선택부에 의해 선택된 상기 필터를 사용해서 회복처리를 행하는 화상처리부; 및 상기 화상처리부에 의해 회복처리 전후의 화소값간의 차분에 의거하여 보정값을 판정하여, 상기 화상처리부에 의한 상기 회복처리전의 화소값을 상기 판정된 보정값을 사용하여 보정하는 보정부를 구비한다.

Description

화상처리장치 및 방법{IMAGE PROCESSING APPARATUS AND METHOD}

본 발명은, 화상처리장치 및 방법에 관한 것으로, 특히 화상회복 처리를 사용하여 열화 화상을 보정하는 화상처리장치 및 방법에 관한 것이다.

정보의 디지털화에 의해 화상을 신호 값으로서 처리할 수 있으므로, 촬영 화상에 대한 여러 가지의 보정처리방법이 제안되어 있다. 디지털 카메라로 피사체를 촬상해서 영상화할 때, 그 얻어진 화상은, 특히 촬상광학계의 수차에 의해 많이 열화되어 있다.

화상의 블러(blur) 성분은, 광학계의 구면수차, 코마수차, 상면 만곡, 비점수차등이 원인이다. 이것들의 수차에 의한 화상의 블러 성분의 각각은, 어떠한 수차나 어떠한 회절의 영향도 없이, 피사체의 한 점으로부터 나온 광빔이 촬상면상에서 한 점으로 모이는 확대를 갖는 상으로 형성된 것을 가리킨다. 이러한 상태를, 광학적 관점에서는 PSF(점상 분포 함수)라고 부르지만, 화상 관점에서는 블러 성분이라고 할 것이다. 화상의 블러는, 예를 들면 초점이 흐려진 화상을 가리키지만, 여기에서는 핀트가 맞고 있어도 상기의 광학계의 수차의 영향으로 인한 흐려진 화상을 가리킨다. 또한, 광학계의 축상 색수차, 색의 구면수차, 및 색의 코마수차로 인한 칼라화상에서의 색 윤곽은, 다른 파장에서 흐릿해지는 다른 방식으로서 간주될 수 있다. 또한, 광학계의 배율 색수차에 의해 생긴 가로방향의 색 윤곽은, 광의 파장마다의 촬상배율의 차이에 의한 위치 어긋남 또는 위상 어긋남으로서 간주될 수 있다.

PSF의 푸리에 변환에 의해 얻어진 OTF(광학 전달함수)는, 수차의 주파수 성분정보이며, 복소수로 표현된다. OTF의 절대치, 즉 진폭 성분을 MTF(변조 전달함수)라고 부르고, 위상성분을 PTF(위상 전달함수)라고 부른다. 즉, MTF와 PTF는 각각 수차에 의한 화상열화의 진폭 성분 및 위상성분의 주파수 특성이다. 이 경우에, 위상성분을 위상각으로서 식(1)로 나타낸다:

PTF=tan^-1(Im(OTF)/Re(OTF)) ...(1)

여기서, Re(OTF) 및 Im(OTF)는, 각각 OTF의 실수부와 허수부를 나타낸다.

이와 같이, 촬상광학계의 OTF는 화상의 진폭 성분과 위상성분에 열화의 원인이 된다. 이 때문에, 열화 화상은 피사체의 각 점이 코마수차와 같이 비대칭으로 흐릿해진다.

진폭(MTF)의 열화와 위상(PTF)의 열화를 보정하는 방법으로서, 촬상광학계의 OTF의 정보를 사용해서 그 열화들을 보정하는 방법이 알려져 있다. 이 방법은, "화상회복"과 "화상복원"이라고 하는 용어로 불린다. 촬상광학계의 OTF의 정보를 사용해서 화상의 열화를 보정하는 처리를 화상회복 처리 또는 회복처리라고 한다.

다음은 화상회복 처리의 개요다. 열화한 화상을 g(x, y), 원래의 화상을 f(x, y), 광학전달함수의 역푸리에 변환으로 얻어진 PSF를 h(x, y)이라고 했을 때, 이하의 식(2)가 성립된다:

g(x, y)=h(x, y)＊f(x, y) ...(2)

여기서, ＊은 콘볼루션을 나타내고, (x, y)는 화상상의 좌표를 나타낸다.

이 식을 푸리에 변환해서 주파수면에서의 표시형식으로 변환하면, 이하의 식(3)과 같이 주파수마다의 적(product)의 형식이 된다:

G(u, v)=H(u, v)·F(u, v) ...(3)

여기서, H는 PSF의 푸리에 변환으로 얻어진 함수이기 때문에, OTF를 나타내고, (u, v)는 2차원 주파수면에서의 좌표, 즉 주파수를 나타낸다.

즉, 촬영된 열화 화상으로부터 원래의 화상을 얻기 위해서는, 아래와 같이 식(3)의 양변을 식(4)로 나타낸 것과 같은 H로 제산하면 좋다.

G(u, v)/H(u, v)=F(u, v) ...(4)

이 F(u, v)를 역푸리에 변환해서 실면(real plane)으로 되돌아감으로써 원래의 화상f(x， y)가 회복 상으로서 얻을 수 있다.

상기 식(4)의 1/H를 역푸리에 변환하여 얻어진 값을 R이라고 하면, 이하의 식(5)로 나타낸 것처럼 실면에서의 화상에 대한 콘볼루션 처리를 행함으로써 원래의 화상을 얻을 수 있다:

g(x, y)＊R(x, y)=f(x, y) ...(5)

여기서, 이 R(x, y)을 화상회복 필터라고 부른다. 그렇지만, 실제의 화상에는 노이즈 성분이 있다. 이 때문에, 상기한 바와 같이 OTF의 완전한 역수를 취하여서 생성된 화상회복 필터를 사용하면, 열화 화상과 함께 노이즈 성분이 증폭될 것이다. 일반적으로, 적절한 화상은 얻을 수 없다. 이 점에 대해서는, 예를 들면, 위너(Wiener) 필터를 사용한 방법과 같은, 화상신호와 노이즈 신호간의 강도비에 따라 화상의 고주파측의 회복률을 억제하는 방법이 알려져 있다. 화상의 색 윤곽 성분의 열화를 보정하는 방법으로서, 예를 들면, 상기의 블러 성분의 보정에 의해 화상의 색성분마다의 블러량이 균일해지면 보정되게 된다.

이 경우에, 줌 위치와 개구경 등의 촬영 상태에 따라 OTF가 변동하므로, 화상회복 처리에 사용된 화상회복 필터도 이것에 따라 변경할 필요가 있다.

예를 들면, 일본특허 제03532368호에는, 생체내부를 관찰하기 위한 내시경에 있어서, 촬상장치의 합초 범위외의 범위에 대하여, 사용하는 형광파장에 대응한 PSF를 사용해서 화상의 블러를 해소하는 기술이 개시되어 있다. 형광이 미약하기 때문에, F넘버가 작은 대물 광학계가 필요하다. 이에 따라, 초점심도가 얕아지게 된다. 따라서, 이 기술은, 광학계가 초점이 맞지 않는 범위에 대해서는 화상회복 처리를 해서 합초 화상을 얻도록 구성된다.

상기한 바와 같이, 촬상한 입력 화상에 대하여 화상회복 처리를 행함으로써, 수차들을 보정하여 화질을 향상할 수 있다.

실제의 촬상 동작에서, 입력 화상의 촬상상태는, 이 촬상상태를 보정하기 위한 화상회복 필터의 상태에 일치하지 않는다. 예를 들면, 촬영한 화상에 포화 화소가 있는 경우를 생각해본다. 그 포화 화소가 본래의 피사체정보를 잃어버리고 있기 때문에, 입력 화상의 상태는 화상회복 필터에 의해 처리되는 열화 화상의 상태에 일치하지 않는다.

화상회복 처리와 같이 화상에 주파수 특성을 보상하기 위한 필터를 적용하는 경우, 상기 화상과 상기 필터간의 주파수 특성의 차이는, 그 화상에서 링잉(ringing)이 발생하기도 한다. 포화에 의한 피사체 정보의 손실에 의해, 촬영 화상의 포화 영역은 피사체의 고유 주파수 특성으로부터 크게 다른 주파수 특성을 가진다. 특히, 포화 화소와 비포화 화소의 경계부근은 화상회복 필터에 대한 대상과 주파수 특성에서 크게 다르기 때문에, 링잉이 발생하기 쉬운 영역이다.

포화 영역의 주변에서 발생된 링잉의 설명전에, 우선, 화상회복 필터의 모식도를 나타낸 도 15a, 도 15b를 참조하여 화상회복 필터의 예를 설명한다. 화상회복 필터는 촬상광학계의 수차특성과 요구되는 회복 정밀도에 따라 탭수를 결정할 수 있다. 도 15a에 나타낸 경우에는, 11×11탭의 2차원 필터를 사용한다. 도 15a는 각 탭내의 값(계수)을 생략한다. 도 15b는, 이 화상회복 필터의 일 단면을 나타낸다. 화상회복 필터의 각 탭이 가지는 값(계수값)의 분포가, 수차에 의해 공간적으로 확대된 PSF를, 이상적으로 원래의 1점으로 되돌려주는 역할을 한다. 화상회복 필터를 사용할 때, 그 필터의 각 탭이 화상의 각 화소에 따라 콘볼루션 처리(콘볼루션 적분 또는 곱합)된다. 콘볼루션 처리에서는, 소정의 화소의 신호 값을 개선하기 위해서, 그 화소를 화상회복 필터의 중심과 일치시킨다. 그리고, 이 기술은, 화상과 화상회복 필터의 대응화소마다 화상의 신호 값과 그 필터의 계수값의 적을 산출하고, 그 적의 총 합계를 중심화소의 신호 값으로 대체한다.

도 16a∼도 16d는 화상회복 필터의 적용시에 포화부 근처에서 발생된 링잉의 예를 나타내는 그래프다. 도 16a∼도 16d는 촬영 화상내에 소정의 엣지 부근의 화소값을 나타낸다. 각 가로축은 화소위치이며, 각 세로축은 소정의 색성분의 화소값이다. 도 16a는 포화 화소가 존재하지 않는 경우의 화상회복 필터 적용전의 상태를 나타낸다. 이 화상에 화상회복 필터를 적용하면, 도 16b에 나타나 있는 바와 같이, 엣지의 블러가 보정된 회복 화상이 생성될 것이다. 도 16c는 엣지의 고휘도측에서 포화가 일어난 경우의 화상회복 필터 적용전의 상태를 나타낸다. 이 상태에서 화상회복 필터를 그 화상에 적용하는 경우에도, 상기 포화로 인해 피사체 정보가 손실되어 있기 때문에, 엣지의 블러는 적절하게 보정되지 않는다. 이 때문에, 도 16d에 나타나 있는 바와 같은 링잉이 발생하는 경우가 있다.

그렇지만, 상기의 일본특허 제03532368호에 개시된 종래기술에서는, 화소 포화에 의해 발생된 링잉을 저감시키는 기술은 개시되지 않고 있다.

본 발명은, 상기 상황을 감안하여 이루어진 것으로, 화소 포화에 의해, 화상회복 처리를 행하여서 포화 영역 및 그 주변영역에 발생된 링잉을 저감시킨다.

제1 국면에서의 본 발명은, 촬상소자에 의해 촬상 광학계를 거쳐서 입사하는 피사체 상을 촬영해서 얻어진 화상 데이터에 대하여, 상기 촬상 광학계의 수차에 의한 화상의 열화를 보정하는 회복처리를 행하는 화상처리장치로서, 상기 촬영시의 촬영 조건에 따라, 회복처리에 사용되는 필터를 선택하는 선택부; 상기 화상 데이터에 대하여, 상기 선택부에 의해 선택된 상기 필터를 사용해서 회복처리를 행하는 화상처리부; 및 상기 화상처리부에 의한 회복처리 전후의 화소 값 간의 차분을 평활화하고, 상기 화상처리부에 의한 상기 회복 처리 전의 화소 값에 상기 평활화된 차분을 합성하는 보정부를 구비한 화상처리장치를 제공한다.

다른 국면에서의 본 발명은, 촬상소자에 의해 촬상 광학계를 거쳐서 입사하는 피사체 상을 촬영해서 얻어진 화상 데이터에 대하여, 상기 촬상 광학계의 수차에 의한 화상의 열화를 보정하는 회복처리를 행하는 화상처리방법으로서,상기 촬영시의 촬영 조건에 따라, 회복처리에 사용되는 필터를 선택하는 선택단계; 상기 화상 데이터에 대하여, 상기 선택단계에서 선택된 상기 필터를 사용해서 회복처리를 행하는 화상처리단계; 및 상기 화상처리단계에 의한 회복처리 전후의 화소 값 간의 차분을 평활화하고, 상기 화상처리단계에 의한 상기 회복처리 전의 화소 값에 상기 평활화된 차분을 합성하는 보정단계를 포함하는 화상처리방법을 제공한다.

본 발명의 또 다른 특징들은 (첨부도면을 참조하여) 이하의 실시예들의 설명으로부터 명백해질 것이다.

본 명세서에 포함되고 그 일부를 구성하는 첨부도면들은, 본 발명의 실시예들을 나타내고, 이 설명과 함께, 본 발명의 원리를 설명하는 역할을 한다
도 1은 본 발명의 실시예에 따른 화상처리장치의 일례로서의 촬상장치의 구성을 나타내는 블록도;
도 2는 제1의 실시예에 따른 화상회복 처리부의 구성을 나타내는 블록도;
도 3은 제1의 실시예에 따른 화상회복 처리의 흐름도;
도 4는 RAW화상의 색 성분 배열의 일례를 도시한 도면;
도 5a∼도 5e는 제1의 실시예에 따른 링잉 저감 처리를 설명하는 그래프;
도 6은 제1의 실시예에 따른 포화 영역/포화부 주변영역 설정 처리의 흐름도;
도 7a 및 도 7b는 제1의 실시예에 따른 포화부 주변영역의 설명도;
도 8a∼도 8c는 제1의 실시예에 따른 다른 포화부 주변영역의 설명도;
도 9는 변형 예에 따른 포화 영역/포화부 주변영역 설정 처리의 흐름도;
도 10은 변형 예에 따른 포화부 주변영역의 설명도;
도 11은 제2의 실시예에 따른 화상회복 처리부의 구성을 나타내는 블록도;
도 12는 제2의 실시예에 따른 화상회복 처리의 흐름도;
도 13a 및 도 13b는 제2의 실시예에 따른 화상회복 필터의 설명도;
도 14는 제2의 실시예에 따른 포화부 주변영역의 설명도;
도 15a 및 도 15b는 화상회복 필터를 설명하기 위한 모식도;
도 16a∼도 16d는 링잉을 설명하는 그래프다.

첨부 도면에 따라 본 발명의 실시예들을 상세하게 설명한다.

<제1의 실시예>

도 1은, 본 발명의 실시예에 따른 촬상장치의 기본구성의 일례를 나타내는 블록도다. (도면에 나타내지 않은) 피사체상은, 조리개(101a) 및 포커스 렌즈(101b)를 포함하는 촬상광학계(101)에 의해 촬상소자(102)에 입사한다.

촬상광학계(101)의 기계적인 구동은, 시스템 콘트롤러(109)로부터의 지시에 의해 촬상광학계 제어부(106)가 행한다. 조리개(101a)는, F넘버의 촬영 상태설정으로서 개구경이 제어된다. 피사체 거리에 따라 초점 조정을 행하기 위해서 오토 포커스(AF)기구나 수동의 포커싱 기구에 의해 포커스 렌즈(101b)의 위치가 제어된다. 이 촬상광학계는 로패스(low-pass) 필터나 적외선 컷오프 필터 등의 광학소자를 구비하여도 된다. 로패스 필터 등의 OTF(광학전달함수)의 특성에 영향을 주는 소자를 사용할 경우에는, 화상회복 필터를 생성하는 시점에, 그 광학소자에 의한 OTF의 변화를 고려하는 것이 필요하다. 적외선 컷오프 필터도, 분광 파장의 PSF(점상분포함수)의 적분값인 RGB채널의 PSF, 특히 R채널의 PSF에 영향을 준다. 그 때문에, 화상회복 필터를 생성하는 시점에서, 적외선 컷오프 필터에 의한 PSF의 변화를 고려한다.

촬상소자(102)는, 예를 들면, 도 4에 나타낸 소위 베이어(Bayer) 배열로 배열된 칼라필터에 의해 덮여진다. 촬상소자(102)를 구성하는 각 화소는, 화소가 덮인, 적색(R), 녹색(G) 및 청색(B)의 필터의 색에 대응한 색성분의 신호를 출력한다. 촬상소자(102) 위에 형성된 피사체상은 전기신호로 변환된다. A/D컨버터(103)는 그 신호를 디지털 신호로 변환하여, 화상처리부(104)에 입력한다. 화상처리부(104)는 화상회복 처리부(110)와 소정의 처리를 행하는 다른 화상처리부(111)로 구성된다. 시스템 콘트롤러(109)는 화상처리부(104)에 있어서의 일련의 처리를 제어한다.

화상처리부(104)는, 촬상장치의 촬상상태에 대응한 화상회복 필터를 기억부(107)로부터 선택한다. 화상회복 처리부(110)는 화상처리부(104)에 입력된 화상에 대하여 상기 선택된 화상회복 필터를 적용한다. 이 경우의 촬상상태는, 줌렌즈 위치와 개구경 등의 화상회복 필터의 선택에 필요한 정보다. 또한, 기억부(107)에 유지되는 데이터는, 화상회복 필터가 아니고, 화상회복 필터를 생성하기 위해서 필요한 OTF에 관한 정보이어도 좋다. 이 경우, 화상회복 처리부(110)는, 촬상상태에 대응한 OTF에 관한 정보를 기억부(107)로부터 선택하고, 촬상상태에 대응한 화상회복 필터를 생성한다. 그 후, 화상회복 처리부(110)는, 화상처리부(104)에 입력된 화상에 대하여 화상회복 처리를 행한다. 또한, 화상회복 처리부(110)에서 행해진 구체적인 처리 내용은 후술한다. 그 후에, 다른 화상처리부(111)는 감마 보정처리, 칼라 밸런스 조정 처리, 엣지 강조처리등, 소정의 화상처리를 행하여서, JPEG 등의 화상 파일을 생성한다.

시스템 콘트롤러(109)는, 화상처리부(104)로 처리된 출력 화상을, 화상기록 매체(108)에 소정의 포맷으로 보존한다. 또한, 표시부(105)는, 화상회복 처리후의 화상에 대해 표시용의 소정의 처리를 행하여 얻어진 화상을 표시한다. 또한, 표시부(105)는, 화상회복 처리를 행하지 않고 있거나, 또는 간단한 회복처리를 행한 화상을 표시해도 좋다.

이상이 본 발명의 실시예에 따른 촬상장치의 기본구성의 일례다. 이 경우에, 촬상광학계(101)는, 촬상장치의 일부로서 구성되어 있지만, 일안 레플렉스 카메라에 있는 것 같은 교환식의 것이어도 된다.

다음에, 화상회복 처리부(110)의 기본구성을 나타낸 도 2와, 처리 흐름도를 나타낸 도 3을 참조하여, 본 제1의 실시예에 있어서의 화상회복 처리를 상세하게 설명한다. 이하에 설명하는 화상회복 처리부(110)에 있어서의 처리는, 상기한 바와 같이, 시스템 콘트롤러(109)에 의해 제어된다.

또한, 화상에 화상회복 처리를 적용함으로써 그 화상의 선예도를 향상시키면서, 색마다의 결상위치의 어긋남에 기인하는 색수차를 보정할 수 있다. 이 때문에, 엣지 강조처리와 색수차 보정처리가 실행된 화상에 대하여 화상회복 처리를 적용하면, 엣지를 부자연스럽게 강조하고, 각 색의 결상 위치를 어긋나게 되고, 위색(false color)을 발생한다.

이 때문에, 제1 실시예의 촬상장치는, 화상회복 처리를 상기 화상에 적용하는 경우에 엣지 강조처리나 색수차 보정처리가 실행되기 전의 화상을 판독하고, 이 판독된 화상에 대하여 화상회복 처리를 적용한다. 엣지 강조처리나 색수차 보정처리가 실행되기 전의 화상을 판독하는 대신에, 엣지 강조처리나 색수차 보정처리를 해제하기 위한 화상처리를 행하는 것이 가능하다. 또는, 유저에 대하여 엣지 강조처리나 색수차 보정처리를 해제하도록 경고를 표시하고, 이러한 처리가 해제된 후 화상회복 처리를 상기 화상에 대하여 적용하는 것이 가능하다.

또한, 화상회복 처리를 적용한 화상이 이미 색마다 결상위치의 어긋남이 보정되어 있기 때문에, 화상처리부(104)는, 이 화상에 대하여 색수차 보정처리를 실행하는 것도 금지한다. 그러므로, 다른 화상처리부(111)가 색수차 보정처리의 기능을 갖고 있으면, 다른 화상처리부(111)는 화상회복 처리를 적용하고 있지 않는 화상에 대하여만 색수차 보정처리를 실행한다. 또한, 선예도를 강조한 화상을 얻기 위해 유저의 요구사항에 충족시키도록, 다른 화상처리부(111)는, 화상회복 처리를 적용한 화상에 대하여 엣지 강조처리를 적용할 수 있다.

화상회복 처리부(110)에의 입력은, 상기한 바와 같이, 각 화소가 1개의 색성분을 갖는 도 4에 나타낸 베이어 배열의 RAW화상이다. 이 때문에, 화상회복 처리부(110)는, 우선, 화소보간부(1001)가, 각 화소에 모든 필터의 색에 대응한 색성분의 신호를 갖게 하기 위한 화소보간처리를 행함으로써, R, G 및 B의 3개의 색 플레인(plane)을 생성한다(단계Sll).

이어서, 화상회복 필터 선택부(1002)는, 줌 위치와 개구경등의, 촬영동작시의 촬영 조건에 적합한 화상회복 필터를 선택한다(단계S12). 이 경우, 상기 선택된 화상회복 필터를 필요에 따라서 보정하는 것이 가능하다. 예를 들면, 기억부(107)에 준비해두는 화상회복 필터의 데이터 수를 저감하기 위해서 이산적인 촬상상태의 데이터를 준비해두어도 된다. 화상회복 처리를 실행할 때에, 그 때의 촬상상태에 적합하게 화상회복 필터를 보정하는 것이 가능하다. 또는, 화상회복 필터의 선택이 아니고, 화상회복 필터를 생성하기 위해서 필요한 OTF에 관한 정보로부터 촬상상태에 대응한 화상회복 필터를 생성하는 것이 가능하다.

이때, 제1의 실시예에서 사용된 화상회복 필터로서는, 예를 들면 도 15a 및 도 15b를 참조해서 설명한 화상회복 필터를 사용할 수 있다. 도 15a 및 도 15b에 나타낸 화상회복 필터에서는, 필터의 각 탭이 화상의 1화소에 대응하게 화상회복단계에서 콘볼루션 처리를 행한다. 도 15a에 나타낸 바와 같이, 화상회복 필터를 100 이상의 필터로 분할하여서 얻어진 2차원 필터를 사용하면, 촬상광학계의 구면수차, 코마수차, 축상 색수차, 축외 색 플레어(flare) 등의 결상위치로부터 크게 확대하는 수차도 보정할 수 있다.

도 15a 및 도 15b에 나타낸 화상회복 필터는, 식(2), (3)을 참조하여 설명한 바와 같이 촬상광학계의 광학소자의 OTF를 계산 혹은 계측하고, 식(4), (5)를 참조하여 설명한 바와 같이 그 역함수의 역푸리에 변환해서 생성될 수 있다. 일반적으로, 노이즈의 영향을 고려할 필요가 있기 때문에, 위너 필터나 관련된 회복 필터의 생성 방법을 선택적으로 사용할 수 있다. 추가로, OTF는 촬상광학계뿐만 아니라, 입력되는 화상에 대하여, OTF를 열화시키는 요인을 포함할 수 있다. 예를 들면, 로패스 필터는, OTF의 주파수 특성에 대하여 고주파성분을 억제하는데 사용된다. 또한, 촬상소자의 화소 개구의 형상과 개구율도 주파수 특성에 영향을 미친다. 아울러, 광원의 분광 특성과 각종 파장의 필터의 분광 특성은 주파수 특성에 영향을 미치기도 한다. 이에 따라, 화상회복 필터는, 넓은 의미에서 OTF에 의거하여 생성된다.

그후, 포화부 주변영역 검출부(1003)는, R, G 및 B 플레인(plane)의 각 색 플레인에 있어서, 포화 화소로 이루어진 포화 영역을 설정하고, 그 포화영역 주변의 영역인 포화부 주변영역을 설정한다(단계S13). 포화 화소의 판정은, 촬상소자(102)의 특성으로부터 포화 레벨의 역치를 미리 설정해두어, 그 역치보다도 신호 값이 큰 각 화소를 포화 화소라고 판정하는 것으로 행한다. 이 경우에 설정된 포화부 주변영역은, 포화에 의해, 입력 화상의 상태가 화상회복 필터에 대한 대상으로서 열화 화상의 상태가 일치하지 않기 때문에 링잉이 발생할 가능성이 있는 영역이다. 보다 구체적으로는, 이것은, 포화 화소가 아닌 화소이며, 그 포화되지 않은 화소에 대해 화상회복 처리할 때에 화상회복 필터를 사용하여 콘볼루션에서 포화 화소가 사용되어지는 화소로 이루어진 영역이다. 이 때문에, 포화부 주변영역은, 화상회복 필터의 특성에 따라 설정된다. 이때, 포화부 주변영역 검출부(1003)에 의해 포화부 주변영역을 설정하는 방법을 나중에 상세히 설명한다.

회복 필터 적용부(1004)는, 단계S12에서 선택된 화상회복 필터를 사용하여서, 촬상된 화상의 각 색성분의 각 화소에 대하여 콘볼루션 처리를 행한다(단계S14). 이에 따라 촬상광학계에서 발생한 수차의 비대칭성의 보정이나 화상의 블러(blur) 성분을 제거 혹은 저감할 수 있다.

도 5a∼도 5e는, 화상회복 필터 적용에 의해 포화 영역부근에서 발생하는 링잉과, 포화 영역과 포화부 주변영역과의 관계를 나타낸다. 도 5a는 포화 영역과 포화부 주변영역 사이의 소정의 엣지에 있어서, 1개의 색성분에 화상회복 필터를 적용하기 전의 단면도다. 도 5a는 고휘도부가 포화된 상태를 나타낸다. 도 5b는 화상회복 필터 적용후의 상태를 나타낸다. 포화 영역 및 포화부 주변영역에서 링잉이 발생하고 있는 것이 분명하다.

이러한 링잉을 보정하기 위해서, 우선, 회복 필터 적용부(1004)는, 화상회복 필터를 적용한 후, 회복 성분 생성부(1005)는 회복 성분을 생성한다(단계S15). 이 경우에, 회복 성분은, 식(6)∼(8)로 나타낸 것처럼, 화상회복 필터 적용전과 화상회복 필터 적용후(회복처리 전후)의 화소값의 차분으로서 정의한다. 이때, 식(6)∼(8)에 있어서, Rd(x, y), Gd(x, y), Bd(x, y)는 각각 R, G 및 B의 회복 성분, RO(x, y), GO(x, y), BO(x, y)는 RGB의 화상회복 처리전의 화소값을 나타낸다. 추가로, Rl(x, y), Gl(x, y), Bl(x, y)는 화상회복 처리후의 RGB 화소값을 나타내고 있다. 또한, x 및 y는 각각 가로방향의 좌표 및 세로방향의 좌표다.

Rd(x, y)=R1(x, y)-RO(x, y) ...(6)

Gd(x, y)=G1(x, y)-GO(x, y) ...(7)

Bd(x, y)=Bl(x, y)-BO(x, y) ...(8)

이어서, LPF적용부(1006)는, 취득한 회복 성분 중, 포화부 주변영역검출부(1003)에서 설정한 포화 영역과 포화부 주변영역의 화소에 대응하는 회복 성분에 대하여 로패스 필터(LPF)를 적용한다(단계S16). 이때, LPF적용부(1006)는, 포화 영역과 포화부 주변영역이외의 화소에 대하여는, LPF를 적용하지 않는다. 회복 성분 합성부(1007)는, 화소보간부(1001)로부터 출력된 화소값에 대하여, 각각 회복 성분을 합성한다(단계S17). 이 경우에, LPF적용부(1006)와 회복 성분 합성부(1007)가 포화 영역과 포화부 주변영역의 화소에 대한 LPF적용 예와 회복 성분 합성의 예를 식(9) 및 (10)으로 나타낸다. 식(9)에 있어서, Rd'(x, y)는 LPF적용후의 회복 성분을 나타낸다. 식(10)에 있어서, R2(x, y)는 회복 성분 합성후의 R의 화소값을 나타낸다.

Rd'(x, y) = {

4 x Rd(x, y)

+ 2 x (Rd(x, y-1) + Rd(x-1, y)

+ Rd(x+1, y) + Rd(x, y+1))

+ (Rd(x-1, y-1) + Rd(x+1, y-1)

+ Rd(x-1, y+1) + Rd(x+1, y+ 1))

}/16 ...(9)

R2(x, y) = R0(x, y) + Rd'(x, y) ...(10)

상기는 R성분에 화상 회복처리를 적용한 예이지만, G성분과 B성분에 대해서도 같은 처리를 적용할 수 있다.

또한, 포화 영역과 포화부 주변영역이외의 영역에 대해서는, 화상회복 필터의 적용전의 각 화소의 화소값에, 화상회복 필터 적용전과 화상회복 필터 적용후의 화소값의 차분인 회복 성분을 합성함으로써, 화상회복 필터 적용후의 화소값을 얻을 수 있다. 즉, 이하의 식(11)에 따라 화상회복 필터 적용후의 화소값을 얻을 수 있다:

R2(x, y)=RO(x, y)+Rd(x, y) ...(11)

이와 같이, 포화 영역과 포화부 주변영역의 화소의 회복 성분에 대하여 LPF를 적용해서 평활화함으로써 링잉을 저감하는 것이 가능하다. 도 5c는, 도 5a 및 도 5b에 나타낸 화상회복 필터 적용전후의 포화 영역과 포화부 주변영역 사이의 엣지에 있어서의 회복 성분의 예를 나타낸다. 도 5d는, 이 회복 성분에 LPF를 적용하여 얻어진 결과의 예를 나타낸다. 도 5e는, 회복 성분에 LPF를 적용해서 링잉 저감 처리를 행하여 얻어진 엣지의 예를 나타낸다. 도 5e에 나타나 있는 바와 같이, 도 5b에 나타낸 링잉이 발생하고 있는 상태와 비교하면 링잉이 억제되고, 또 도 5a에 나타낸 화상회복 필터 적용전과 비교하면 엣지의 블러가 저감하고 있는 것이 분명하다.

이상, 도 3을 참조해서 설명한 바와 같이 처리를 행함으로써 화상회복 처리부(110)에 있어서의 화상회복 처리는 종료된다. 이때, 제1의 실시예에서 설명한 회복 성분에 적용하는 LPF의 특성은 일례이며, 그에 따라 화상회복 필터의 특성이나 화상의 특성에 따라 사용하는 LPF를 설정하면 좋다.

OTF가 1개의 촬영 상태에 있어서도 촬상광학계의 화각(상높이)에 따라 변화되므로, 본 발명에 따른 화상회복 처리를 상높이에 따라 화상의 분할된 영역마다 OTF를 변경하자마자 행하는 것이 바람직하다. 화상회복 필터를 화상상에서 콘볼루션 처리를 하면서 주사시켜, 영역마다 그 필터를 순차로 변경하는 것이 바람직하다. 즉, 본 장치는, 단계S12에서 각 색성분의 화소마다 화상회복 필터를 선택 또는 생성하고, 단계S14에서 각 색성분의 화소마다 회복처리를 실행한다. 또한, 화상회복 필터의 적용을 화상회복 처리로서 다루었지만, 이를테면 왜곡 보정처리, 주변광량 보정처리, 및 노이즈 저감 처리 등의 다른 형태의 처리를 본 발명의 과정의 전후나 도중에 취하고, 그 결과로 얻어진 과정을 화상회복 처리로서 취급한다.

도 2 및 도 3을 참조한 상기 설명에 의하면, 본 장치는, 포화 영역 및 포화부 주변영역이외의 화소에 관해서도 회복 성분을 생성하고, 그것들을 화상회복 필터 적용전의 화소값에 합성한다. 그렇지만, 본 발명은 이 예에 한정되는 것이 아니다. 본 발명은, 포화 영역과 포화부 주변영역의 화소에 대해서, LPF처리한 회복 성분을 화상회복 필터 적용전의 화소값에 합성할 수 있으면, 상기 포화 영역 및 상기 포화부 주변영역이외의 화소에 대해서는, 화상회복 필터 적용후의 화소값을 그대로 출력해도 좋다.

다음에, 단계S13에 있어서의 구체적인 포화 영역의 판정 방법과 구체적인 포화부 주변영역의 설정 방법에 대해서, 도 6을 참조하여 상세하게 설명한다. 단계S21∼S24는 포화 영역의 판정 처리를 나타내고, 단계S25∼S29는 포화부 주변영역의 설정 처리를 나타낸다.

포화부 주변영역 검출부(1003)는, 포화 영역의 화소인가 아닌가를 판정하는 대상의 화소의 좌표를 결정한다. 판정을 전체 화소에 대하여 행하기 위해서, 순차로, 판정 대상 화소를 변경한다(단계S21). 그 후, 처리는, 판정 대상 화소의 화소값이, 촬상소자(102)의 특성에 따라 결정한 역치보다 큰 것인가 아닌가를 판정한다(단계S22). 화소값이 역치보다도 클 경우는, 본 장치는 그 화소를 포화 화소라고 판정한다(단계S23). 화소값이 상기 역치 이하이면, 그 화소는 포화 화소가 아니기 때문에, 그대로 단계S24의 처리로 진행된다. 이때, 포화 화소의 좌표정보는 나중에 참조되기 때문에, 포화 화소로서 판정된 화소의 좌표정보는 나중에 이용하는데 유지해둔다. 처리는, 상기 포화 영역판정을 전체 화소에 대하여 종료했는지 판단한다(단계S24). 본 장치가 전체 화소에 대한 처리를 종료하지 않고 있으면, 단계S21의 처리로 되돌아가서 상기 처리를 반복한다. 본 장치가 전체 화소에 대해 처리를 종료했을 경우, 다음에 행해진 포화부 주변영역의 결정 처리로 나아간다.

다음에, 처리는, 포화부 주변영역의 화소인가 아닌가를 판정하는 대상의 화소의 좌표를 결정한다(단계S25). 판정은 전체 화소에 대하여 행하기 위해서, 순차로, 판정 대상 화소를 변경한다. 우선, 그 처리는, 판정 대상 화소가 비포화 화소(포화 화소이외의 화소)인가를 판정한다(단계S26). 단계S23에서 유지해둔 포화 화소 정보를 참조함으로써 판정 대상 화소가 비포화 화소인지의 여부를 판정할 수 있다. 그 화소가 포화 화소인 경우에는, 단계S29의 처리로 진행된다. 상기 화소가 비포화 화소인 경우에, 본 장치는, 판정 대상 화소의 회복처리시에, 화상회복 필터의 콘볼루션에서 포화 화소/화소들을 사용할 것인가 아닌가를 판정한다(단계S27). 단계S23에서 설정한 포화 화소 정보와, 대상 화소에 적용된 화상회복 필터를 참조함으로써, 화상회복 필터에 의해 콘볼루션 할 때에 포화 화소/화소들이 사용될 것인가 아닌가를 판정할 수 있다. 포화 화소/화소들을 사용할 경우에, 본 장치는, 판정 대상 화소를 포화부 주변영역의 화소로서 설정한다(단계S28). 포화부 주변영역의 각 화소의 좌표정보를 나중에 참조하기 위해서, 본 처리는 포화부 주변영역의 화소라고 판정된 각 화소의 좌표를 나중에 이용하도록 유지해 둔다. 그에 반해서, 포화 화소를 사용하지 않을 경우에는, 단계S29의 처리로 진행된다.

상기 포화부 주변영역의 판정을 전체 화소에 대하여 행할 때(단계S29에서 YES), 단계S13에 있어서의 포화 영역의 판정과 포화부 주변영역의 설정 처리는 종료된다.

포화부 주변영역의 판정의 구체적인 예를, 도 7a 및 도 7b를 사용하여 더 설명한다. 도 7a는 화상의 소정의 영역을 나타내고 있고, 도면 중의 화이트부는 포화 화소를, 그 이외의 화소는 포화하고 있지 않는 비포화 화소를 나타낸다. 도 7a를 참조하면, 화소A의 회복 신호를 생성하기 위한 화상회복 필터는, 5×5탭의 필터이며, 화소A의 주변의 굵은 프레임으로 나타낸 범위의 화소에 대하여 콘볼루션 처리에 사용된다. 이 화소A의 경우, 본 장치는, 화상회복 필터의 적용시에 포화 화소는 사용되지 않는다. 즉, 화소의 포화에 의한 링잉은 발생하지 않음에 따라서, 화소A는 포화부 주변영역의 화소로서 설정되지 않는다. 화소B의 경우에는, 본 장치는 화상회복 필터의 적용시에 일부 포화 화소를 사용한다. 그러므로, 화소B는 포화부 주변영역의 화소로서 설정된다. 이렇게 각기 비포화 화소에 대하여 상기 판정을 행함으로써 포화부 주변영역을 설정한 예를 도 7b에 나타낸다.

또한, 도 7a에 나타낸 화상회복 필터의 탭수만을 고려해서 포화부 주변영역을 결정하는 것이 아니고, 필터의 계수값을 고려해서 포화부 주변영역을 결정해도 좋다. 도 8b는, 도 8a에 나타낸 5×5의 화상회복 필터에 대하여, 절대치들을 0으로서 간주하는 경우에도 그 절대치들이 필터 처리의 결과에 거의 영향을 주지 않는 필터 성분을 나타내는 흑 부분을 나타낸다. 그 절대치들을 0으로서 간주하는 경우 필터처리의 결과에 거의 영향을 주지 않는 부분은, 필터를 구성하는 각 계수 중에서, 절대치가 최대가 되는 계수에 비교해서 절대치가 대단히 작고, 이들 부분이 0으로 대체되는 경우에, 필터 적용에 의해 생성된 화소값에의 그들의 영향의 레벨을 무시 가능하다. 도 8c는, 도 8b의 필터의 화이트 부분으로 나타낸 유효계수만을 고려해서 포화부 주변영역을 설정하는 예이며, 여기서 화소A는 포화부 주변영역의 화소가 아니고, 화소B는 포화부 주변영역의 화소가 된다. 이렇게 하여 포화부 주변영역을 설정하는 것은, 전술한 링잉 저감 처리를 실시하는 영역을 최소화할 수 있다.

<변형 예>

도 9는 포화부 주변영역의 다른 설정 방법의 흐름도다. 단계S21∼ S24의 처리가 도 6에 나타낸 포화 영역의 판정 처리와 같기 때문에 설명을 생략한다. 단계S35이후의 단계에서의 포화부 주변영역의 설정 처리에 관하여 설명한다.

우선, 본 처리에서는 포화부 주변영역의 화소인가 아닌가를 판정하는 대상의 화소의 좌표를 결정한다(단계S35). 전체 화소에 대하여 판정을 행하기 위해서, 순차로, 판정 대상화소를 변경시킨다. 그리고, 본 처리는, 판정 대상화소가 포화 화소인가를 판정한다(단계S36). 단계S23에서 유지해 둔 포화 화소 정보를 참조함으로써, 판정 대상화소가 포화 화소인지의 여부를 판정하는 것이 가능하다.

상기 대상화소가 포화 화소인 경우, 포화부 주변영역 검출부(1003)는, 대상화소를 회복처리할 때에 적용되는 화상회복 필터를 180°회전하고, 콘볼루션할 때에 사용되는 비포화 화소와 필터 계수로부터 포화부 주변영역을 결정한다(단계S37). 도 10을 참조하면, 적용되는 화상회복 필터가 도 8b에 나타나 있는 바와 같은 유효계수를 포함하는 필터이었을 경우에, 굵은선은, 화소A에 적용되는 화상회복 필터의 유효계수부분을 180°회전하여 얻어진 화상회복 필터의 범위를 가리킨다. 본 장치는, 이 범위내의 비포화 화소n을 포화부 주변영역의 화소라고 한다. 이렇게, 포화 화소에 적용되는 화상회복 필터를 180°회전하고, 콘볼루션시에 사용된 비포화 화소를 포화부 주변영역의 화소로서 설정함으로써, 도 8c에 나타낸 방법으로 얻어진 것과 같은 효과를 얻을 수 있다.

상기 포화부 주변영역의 판정을 전체 화소에 대하여 행할 때(단계S38에서 YES), 단계S13에 있어서의 포화 영역의 판정과 포화부 주변영역의 설정 처리는 종료한다.

이렇게 각 포화 화소에 적용되는 화상회복 필터로부터 포화부 주변영역을 결정함으로써 포화부 주변영역 설정을 위한 처리인 단계S37의 실행을, 포화 화소에 한정할 수 있다. 추가로, 본 장치는 단계S36에 있어서 판정 대상화소가 포화하고 있다고 판정하는 경우에도, 상기 판정 대상화소에 인접한 화소가 모두 포화할 때에는 단계S37을 스킵하는 결정하는 단계를 추가함으로써, 비포화 화소인 적어도 하나의 인접한 화소를 갖는 포화 화소에 대해서만 단계S37의 처리를 행하는 것이 가능하다.

일반적인 화상에서는, 비포화 화소인 적어도 하나의 인접한 화소를 각기 갖는 포화 화소수는, 비포화 화소수보다 훨씬 적다. 이 때문에, 비포화 화소의 전체에 대하여 포화부 주변영역의 판정을 행하는 도 6의 흐름도에서 나타낸 방법과 비교하여, 포화 화소에 한해서 포화부 주변영역의 판정을 행하는 방법은, 저처리 부하를 이룰 수 있다. OTF가 1개의 촬영 상태에서도 촬상광학계의 화각(상높이)에 따라 변화되므로, 다른 화소에 대해서는 다른 필터를 사용한다. 그 때문에, 소정의 포화 화소에 적용된 화상회복 필터와, 그 주변화소에 적용되는 화상회복 필터는 엄밀하게는 일치하지 않는다. 그러나, 인접한 화소간에 사용되는 OTF는 특성이 매우 유사하기 때문에, 상기한 바와 같이 포화 화소에 적용되는 화상회복 필터를 사용하여서 포화부 주변영역을 결정하는 것이 가능하다.

<제2의 실시예>

이하, 본 발명의 제2의 실시예에 의한 화상회복 처리에 관하여 설명한다. 또한, 본 제2의 실시예에 따른 촬상장치의 기본구성은, 전술한 제1의 실시예에서 도 1을 참조해서 설명한 것과 같다. 본 제2의 실시예에서는 제1의 실시예와 달리, 도 4에 나타나 있는 바와 같은 베이어 형식의 화상 데이터에 대해 화소보간을 행하지 않고 화상회복 처리를 행하는 경우의 예를 들겠다.

본 제2의 실시예에 있어서의 화상회복 처리부(110)의 기본구성을 나타낸 도 11과, 제2의 실시예에서의 처리에 대한 흐름도를 나타낸 도 12를 참조하여, 본 제2의 실시예에 있어서의 화상회복 처리의 상세를 설명한다. 또한, 상기 화상회복 처리부(110)에 있어서의 처리는, 시스템 콘트롤러(109)에 의해 제어된다. 화상회복 처리부(110)에의 입력은, 각 화소에 1개의 색성분을 갖는 도 4에 나타낸 베이어 형식의 RAW화상이다.

우선, 화상회복 필터 선택부(1002)는, 줌 위치와 개구경등의 촬영동작시의 촬영 조건에 적합한 화상회복 필터를 선택한다(단계S41). 이 경우에, 선택된 화상회복 필터를 필요에 따라서 보정하는 것이 가능하다. 예를 들면, 기억부(107)에 준비되는 화상회복 필터의 데이터 수를 저감하기 위해서 이산적인 촬상상태의 데이터를 준비해둔다. 화상회복 처리를 실행할 때에, 그 때의 촬상상태에 적합한 화상회복 필터가 되도록 보정하는 것이 가능하다. 이와는 달리, 화상회복 필터의 선택이 아니고, 화상회복 필터를 생성하기 위해서 필요한 OTF에 관한 정보로부터 촬상상태에 대응한 화상회복 필터를 생성하는 것이 가능하다.

도 13a 및 도 13b는, 본 제2의 실시예에 있어서의 베이어 배열의 RAW화상에 적용하는 화상회복 필터의 예를 나타낸다. 이것은, 대상의 색성분이 존재하는 각 화소에 대하여, 필터 색 중 어느 하나에 대응한 색성분의 신호에만 대응하는 계수를 유지하는 화상회복 필터다. 도 13a 및 도 13b를 참조하여, 계수를 유지하고 있는 각 부분은 흰색 사각형으로 나타내고, 그 이외의 0을 유지하는 부분 각각은 검은색 사각형으로 나타내고 있다. R, G, B의 3개의 색성분에 대하여 화상회복 처리를 행할 경우, G성분에 적용하는 화상회복 필터는 도 13a에 나타낸 것이 되고, R, B성분에 적용하는 화상회복 필터는 도 13b에 나타낸 것이 된다.

다음에, 포화부 주변영역 검출부(1003)는, R, G 및 B의 플레인에서 포화 화소로 구성된 포화 영역의 설정과, 포화부 주변영역의 설정을 행한다(단계S42). 기본적인 결정 방법으로서, 제1의 실시예 또는 변형 예에 설명한 도 6이나 도 9의 처리 흐름도를 사용할 수 있다. 그러나, 처리되는 RAW화상은 베이어 배열을 갖는 것을 고려할 필요가 있다.

RAW화상에 있어서의 포화 화소와 사용되는 화상회복 필터의 예를 나타내는 도 14를 참조하여, 포화부 주변영역의 설정 방법을 설명한다. 도 14는 RAW화상의 소정의 영역에 있어서의 R성분의 포화 화소와 비포화 화소를 보이고 있다. 도 14의 화소A의 회복신호를 생성하기 위한 화상회복 필터는, 5×5탭의 필터이며, 화소A의 주변의 굵은 프레임으로 나타낸 범위의 화소에 대하여 콘볼루션 처리를 행하는데 사용된다. 이 화상회복 필터가 상기한 바와 같이 베이어 배열의 R성분에만 대응하도록 구성되어 있기 때문에, 콘볼루션 처리에 R성분이외의 화소는 사용되지 않는다. 상기 G와 B성분이 사용되는 경우에도, 대응한 계수가 0이므로, G 및 B성분의 사용은 그 결과에 영향을 주지 않는다. 이 화소A의 경우, 화상회복 필터의 적용시에 포화 화소는 사용되지 않는다. 즉, 화소의 포화에 의한 링잉은 발생하지 않아서, 화소A는 포화부 주변영역에서의 화소로서 설정되지 않는다. 화소B의 경우에는, 화상회복 필터의 적용시에 일부 포화 화소가 사용된다. 따라서, 화소B는 포화부 주변영역에서의 화소다. 포화부 주변영역 검출부(1003)는, 이렇게 각 비포화 화소에 대하여 상기 판정을 행함으로써 포화부 주변영역을 결정한다.

이와 같이, 상기 포화부 주변영역을 결정할 때에 각 화소에 1개의 색성분을 갖는 RAW화상에 대하여도, 대상이 되는 색성분이외의 색성분을 사용하지 않고서 포화부 주변영역을 특정하는 것이 가능하다.

다음에, 회복 필터 적용부(1004)에서는, 단계S41에서 선택된 화상회복 필터를 사용하여, 촬상된 화상의 각 색성분의 각 화소에 대하여 콘볼루션 처리를 행한다(단계S43). 이것은, 촬상광학계에서 발생한 수차의 비대칭성의 보정이나 화상의 블러 성분을 제거 혹은 저감할 수 있다.

회복 필터 적용부(1004)가 화상회복 필터를 적용한 후, 회복 성분 생성부(1005)는, 화상회복 필터 적용 전의 화소값과 화상회복 필터 적용 후(회복처리 전후)의 화소값간 차분인 회복 성분을 생성한다(단계S44). 본 제2의 실시예에 있어서의 회복 성분은 제1의 실시예에서 설명한 것과 같기 때문에, 그들의 설명은 생략한다. 그 후, LPF적용부(1006)는, 취득한 회복 성분 중, 포화부 주변영역 검출부(1003)에서 검출한 포화 영역과 포화부 주변영역의 화소에 대응하는 회복 성분에 대하여 LPF를 적용한다(단계S45). 이 경우에, LPF적용부(1006)는, 포화 영역과 포화부 주변영역이외의 화소에 대해서는, LPF를 적용하지 않는다. 그리고, 회복 성분 합성부(1007)는, 입력된 RAW화상의 화소값에 대하여, 각각 회복 성분을 합성한다(단계S46). 이 경우에, 식(12) 및 (13)은, LPF적용부(1006)와 회복 성분 합성부(1007)에서 행하는, 포화 영역과 포화부 주변영역의 화소에 대한 LPF적용 예와 회복 성분 합성의 예를 나타낸다. 식(12)에 있어서, Rd'(x, y)는 LPF적용후의 회복 성분이며, R2(x, y)는 회복 성분 합성후의 R의 화소값을 나타낸다.

Rd'(x, y) = {

4 x Rd(x, y)

+ 2 x (Rd(x, y-2) + Rd(x-2, y)

+ Rd(x+2, y) + Rd(x, y+2))

+ (Rd(x-2, y-2) + Rd(x+2, y-2)

+ Rd(x-2, y+2) + Rd(x+2, y+2))

}/16 ...(12)

R2(x, y) = R0(x, y) + Rd'(x, y) ...(13)

상기는 R성분에 대해 화상회복 처리를 적용한 예이지만, G성분과 B성분에 대해서도 마찬가지로 적용할 수 있다.

추가로, 포화 영역과 포화부 주변영역이외의 영역에 대해서는, 화상회복 필터 적용전의 각 화소의 화소값에, 화상회복 필터 적용전과 화상회복 필터 적용후의 화소값간의 차분인 회복 성분을 합성하면, 화상회복 필터 적용후의 화소값을 얻을 수 있다.

이와 같이, 각 화소에 1개의 색성분을 갖는 RAW화상에 대하여도, 대상이 되는 색성분이외는 색성분을 사용하지 않음으로써 포화 영역과 포화부 주변영역의 화소의 회복 성분에 LPF를 적용해 링잉을 저감시키는 것이 가능하다.

화상회복 필터가 적용되어 링잉이 저감된 RAW화상에 대하여, 화소 보간부(1001)가, 각 화소에 모든 필터의 색에 대응한 색성분의 신호를 갖게 하기 위한 화소 보간 처리를 행함으로써, R, G 및 B의 3개의 색 플레인을 생성한다(단계S47).

이상, 도 12를 참조해서 설명한 처리를 행함으로써, 화상회복 처리부(110)에 있어서의 화상회복 처리는 종료가 된다.

OTF가 1개의 촬영 상태에 있어서도 촬상광학계의 상높이에 따라 변경되므로, 화상회복 처리를 상높이에 따라 화상의 분할된 영역마다 OTF를 변경할 때 행하는 것이 바람직하다. 이것을, 화상회복 필터를 화상상에서 콘볼루션 처리를 하면서 주사시키고, 영역마다 그 필터를 순차로 변경하여서 이루는 것이 가능하다. 즉, 단계S41에서는 각 색성분의 화소마다 화상회복 필터를 선택 또는 생성하고, 단계S43에서는 각 색성분의 화소마다 회복처리를 실행한다. 또한, 본 제2의 실시예에서는 화상회복 필터의 적용을 화상회복 처리로서 다루었지만, 이를테면, 왜곡 보정처리, 주변광량 보정처리 및 노이즈 저감 처리 등의 다른 종류의 처리를, 본 발명의 과정의 전, 후 및 도중에 취하고, 화상회복 처리로서 그 결과의 과정을 취급하는 것이 가능하다.

도 11 및 도 12를 참조한 상기 설명에서는, 포화 영역 및 포화부 주변영역이외의 화소에 관해서도 회복 성분을 생성하여, 화상회복 필터 적용전의 화소값에 합성하는 예에 관하여 설명했다. 그렇지만, 본 발명은 이 예에 한정되지 않는다. 본 발명은, 포화 영역과 포화부 주변영역의 화소에 대해서, LPF처리한 회복 성분을 화상회복 필터 적용전의 화소값에 합성할 수 있으면 되고, 포화 영역 및 포화부 주변영역이외의 화소에 대해서는, 예를 들면 화상회복 필터 적용후의 화소값을 그대로 출력해도 좋다.

상기 실시예에서는 화상회복 필터 적용전의 화소값으로부터 포화 영역 및 포화부 주변영역을 설정하고, 이 포화 영역 및 포화부 주변영역의 회복 성분에 대하여만 LPF처리를 적용하는 경우의 예를 들었다. 그렇지만, 본 발명은, 이것에 한정되는 것이 아니다. LPF는, 포화 영역 및 포화부 주변영역에서의 회복성분뿐만 아니라, 그 영역 외측의 회복 성분에도 적용된다. 이러한 경우에, 화상회복 필터 적용전의 영역 외측의 각 화소의 화소값에, LPF적용전의 회복 성분과 LPF적용후의 회복 성분을 가중 및 가산하여서 얻어진 값을 합성한다. 이 때, 포화 영역 및 포화부 주변영역으로부터의 거리가 증가함에 따라, LPF적용전의 회복 성분의 가중을 크게 하고, 상기 회복 성분과 LPF적용후의 회복 성분의 가중된 가산을 행한다. 이렇게 함으로써 회복 성분에 LPF처리를 적용하는 영역으로부터, 회복 성분에 LPF처리를 적용하지 않는 영역에, 서서히 변경시킬 수 있게 된다. 그렇지만, 화상회복의 효과가 저감되는 영역에서, LPF적용후의 회복 성분에 대해 가중이 보다 크다. 그 때문에, 포화 영역 및 포화부 주변영역으로부터 비교적 짧은 소정의 거리의 영역을 한계영역으로서 설정하고, 그 한계영역에서 LPF적용후의 각 회복 성분에 대해 0의 가중치를 할당하도록 가중 계수를 설정하는 것이 바람직하다.

상기 실시예에서는, 화상회복 필터 적용전의 화소값에 의거하여 설정한 포화 영역 및 포화부 주변영역이 회복 성분에 LPF처리를 적용하는 특정한 영역이다. 그렇지만, 다른 방법을 사용하여, 회복 성분에 LPF처리를 적용하는 특정한 영역을 결정하는 것이 가능하다. 화상회복 필터의 적용으로 인해 링잉이 일어난 영역은, 회복 성분이 급격하게 증가하는 영역과 회복 성분이 급격하게 감소하는 영역의 양쪽을 포함한다. 따라서, 회복 성분의 값이, 도 5c에 나타낸 것처럼, 작은 산 형상 혹은 산골짜기 형상이 된다. 이 때문에, 화상전역에 화상회복 필터를 적용하고, 회복 성분의 기울기가 역치이상이며 그 기울기의 방향이 반대인 영역이 인접 혹은 근방영역이고, 또한, 회복 성분의 최대값과 최소값간의 차분이 역치이상인 상기 인접 혹은 근방영역에 의해 둘러싸인 영역은, 링잉 발생 영역으로서 주어진다. 이 링잉 영역의 단부에 위치하는 화소를 중심으로 해서 화상회복 필터를 이 링잉 영역에 적용했을 경우에 사용되는 화소는, 링잉 주변영역의 화소로서 설정되어도 된다. 특정한 영역으로서 링잉 영역 및 링잉 주변영역에서의 회복 성분에 LPF처리를 적용해도 좋다. 추가로, 링잉 발생 영역에서, 그 회복 성분의 기울기가 완만할수록, 또는, 회복 성분의 최대값과 최소값간의 차분이 작을수록, LPF적용전의 회복 성분의 가중을 크게 하고, 회복성분과 LPF적용후의 회복 성분의 가중된 가산을 행하여도 좋다. 이것은, 이러한 조건을 충족시킨 것으로서 생각되기 때문에, 링잉은, 그것이 발생하는 경우에도 덜 현저해진다.

전술한 실시예에서는 R, G 및 B로 구성된 일반적인 베이어 배열을 사용하여 설명했지만, 본 발명에 있어서의 색성분은 R, G 및 B의 성분에 한정되지 않는다. 본 발명은, R, G 및 B 성분이외의 복수색의 색성분으로 구성된 화소배열에 적용될 수 있다. 추가로, 본 발명은 촬상소자에 있어서의 여러 가지 화소배열에 적용될 수 있다.

(기타 실시예)

또한, 본 발명의 국면들은, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 시스템 또는 장치(또는 CPU 또는 MPU 등의 디바이스들)의 컴퓨터에 의해서, 또한, 시스템 또는 장치의 컴퓨터에 의해 수행된 단계들, 예를 들면, 메모리 디바이스에 기록된 프로그램을 판독 및 실행하여 상기 실시예(들)의 기능들을 수행하는 방법에 의해, 실현될 수도 있다. 이를 위해, 상기 프로그램은, 예를 들면, 네트워크를 통해 또는, 여러 가지 형태의 메모리 디바이스의 기록매체(예를 들면, 컴퓨터 판독 가능한 매체)로부터, 상기 컴퓨터에 제공된다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

Claims (13)

1. 촬상소자에 의해 촬상 광학계를 거쳐서 입사하는 피사체 상을 촬영해서 얻어진 화상 데이터에 대하여, 상기 촬상 광학계의 수차에 의한 화상의 열화를 보정하는 회복처리를 행하는 화상처리장치로서,
   상기 촬영시의 촬영 조건에 따라, 회복처리에 사용되는 필터를 선택하는 선택부;
   상기 화상 데이터에 대하여, 상기 선택부에 의해 선택된 상기 필터를 사용해서 회복처리를 행하는 화상처리부; 및
   상기 화상처리부에 의한 회복처리 전후의 화소 값 간의 차분을 평활화하고, 상기 화상처리부에 의한 상기 회복 처리 전의 화소 값에 상기 평활화된 차분을 합성하는 보정부를 구비한, 화상처리장치.
   
2. 삭제
3. 제 1 항에 있어서,
   상기 보정부는, 특정한 영역의 화소의 경우에, 상기 평활화된 차분을, 상기 화상처리부에 의한 회복처리 전의 화소 값에 합성하여 얻어진 화소 값을 출력하고, 또한 상기 특정한 영역 이외의 화소의 경우에, 평활화되지 않은 상기 차분을, 상기 화상처리부에 의한 회복처리 전의 화소 값에 합성하여 얻어진 화소 값을 출력하도록 구성된, 화상처리장치.
4. 제 3 항에 있어서,
   판정된 포화 화소를 포함한 포화 영역과, 상기 판정된 포화 화소의 위치와 상기 선택부에 의해 선택된 필터의 특성에 의거하여 판정된 상기 포화 영역의 주변영역과를 포함하는 특정한 영역을, 설정하도록 구성된 설정부를 더 구비한, 화상처리장치.
   
5. 제 1 항에 있어서,
   상기 보정부는, 특정한 영역의 화소의 경우에, 상기 평활화된 차분을, 상기 화상처리부에 의한 회복처리 전의 화소 값에 합성하여 얻어진 화소 값을 출력하고, 상기 특정한 영역 이외의 화소의 경우에는, 상기 화상처리부에 의한 회복처리 후의 화소 값을 출력하도록 구성된, 화상처리장치.
   
6. 제 5 항에 있어서,
   판정된 포화 화소를 포함한 포화 영역과, 상기 판정된 포화 화소의 위치와 상기 선택부에 의해 선택된 필터의 특성에 의거하여 판정된 상기 포화 영역의 주변영역과를 포함하는 특정한 영역을, 설정하도록 구성된 설정부를 더 구비한, 화상처리장치.
   
7. 제 6 항에 있어서,
   상기 설정부는, 상기 포화 화소이외의 화소에 대한 상기 회복처리에 있어서, 상기 필터가 상기 회복처리에서의 상기 포화 화소의 화소값을 사용하는 경우의 상기 포화 화소이외의 화소를 상기 주변영역의 화소로서 판정하여서 상기 주변영역을 설정하도록 구성된, 화상처리장치.
   
8. 제 6 항에 있어서,
   상기 설정부는, 상기 포화 화소에 대한 상기 회복처리에 있어서, 상기 필터가 상기 회복처리에서의 상기 포화 화소이외의 화소의 화소값을 사용하는 경우에, 상기 필터가 사용하는 상기 포화 화소이외의 화소를 상기 주변영역의 화소로서 판정하여서 상기 주변영역을 설정하도록 구성된, 화상처리장치.
   
9. 제 1 항에 있어서,
   상기 촬상소자의 각 화소는 복수색의 복수의 컬러필터 중 임의의 것으로 덮여지고,
   상기 화상처리장치는, 상기 복수색의 각각의 화상 데이터에 대하여, 상기 화소들이 각각 상기 복수색의 화상 데이터를 갖도록 보간처리를 행하도록 구성된 화소 보간부를 더 구비하고,
   상기 화상처리부는, 상기 보간처리된 화상 데이터에 대하여, 상기 회복처리를 행하는, 화상처리장치.
   
10. 제 1 항에 있어서,
    상기 촬상소자의 각 화소는 복수색의 복수의 컬러필터 중 임의의 것으로 덮여지고,
    상기 화상처리장치는, 상기 보정부에 의해 보정된 각각의 상기 복수색의 화상 데이터에 대하여, 상기 화소들이 각각의 상기 복수색의 화상 데이터를 갖도록 보간처리를 행하도록 구성된 화소 보간부를 더 구비한, 화상처리장치.
    
11. 제 1 항에 있어서,
    상기 화상처리부에 의해 사용된 상기 필터는, 상기 촬상광학계의 광학소자의 광학전달함수의 역함수에 의거하여 생성된 함수의 역푸리에 변환을 특징으로 하는 2차원의 필터를 구비하고,
    상기 화상처리부는 상기 필터를 콘볼루션 처리하는, 화상처리장치.
    
12. 촬상소자에 의해 촬상 광학계를 거쳐서 입사하는 피사체 상을 촬영해서 얻어진 화상 데이터에 대하여, 상기 촬상 광학계의 수차에 의한 화상의 열화를 보정하는 회복처리를 행하는 화상처리방법으로서,
    상기 촬영시의 촬영 조건에 따라, 회복처리에 사용되는 필터를 선택하는 선택단계;
    상기 화상 데이터에 대하여, 상기 선택단계에서 선택된 상기 필터를 사용해서 회복처리를 행하는 화상처리단계; 및
    상기 화상처리단계에 의한 회복처리 전후의 화소 값 간의 차분을 평활화하고, 상기 화상처리단계에 의한 상기 회복처리 전의 화소 값에 상기 평활화된 차분을 합성하는 보정단계를 포함한, 화상처리방법.
    
13. 촬상소자에 의해 촬상 광학계를 거쳐서 입사하는 피사체 상을 촬영해서 얻어진 화상 데이터에 대하여, 상기 촬상 광학계의 수차에 의한 화상의 열화를 보정하는 회복처리를 컴퓨터에 실행시키는 프로그램을 격납한 컴퓨터 판독 가능한 기억매체로서,
    상기 촬영시의 촬영 조건에 따라, 회복처리에 사용되는 필터를 선택하는 선택단계;
    상기 화상 데이터에 대하여, 상기 선택단계에서 선택된 상기 필터를 사용해서 회복처리를 행하는 화상처리단계; 및
    상기 화상처리단계에 의한 회복처리 전후의 화소 값 간의 차분을 평활화하고, 상기 화상처리단계에 의한 상기 회복처리 전의 화소 값에 상기 평활화된 차분을 합성하는 보정단계를 포함한, 컴퓨터 판독 가능한 기억매체.
    

Images