KR20110044921A

KR20110044921A - 화상처리방법, 화상처리장치 및 촬상장치

Info

Publication number: KR20110044921A
Application number: KR1020117006647A
Authority: KR
Inventors: 코시 하타케야마
Original assignee: 캐논 가부시끼가이샤
Priority date: 2008-09-30
Filing date: 2009-09-28
Publication date: 2011-05-02
Also published as: US9041833B2; JP4942216B2; CN102165761B; EP2342893A4; EP2342893B1; WO2010038411A1; CN102165761A; EP2342893A1; KR101219412B1; US20110193997A1; JP2010087672A

Abstract

화상처리방법은, 광학계(101)를 사용한 촬상에 의해 생성된 화상을 처리한다. 이 방법은, 상기 화상을 취득하는 단계와, 화상회복 필터를 사용해서 상기 화상의 흐림 성분을 저감하는 화상회복 처리를 행하는 화상회복 단계(S2∼S7)와, 상기 화상회복 처리가 행해진 상기 화상의 왜곡 성분을 저감하는 기하학적 변환 처리를 행하는 왜곡 보정 단계(S8)를 포함한다.

Description

화상처리방법, 화상처리장치 및 촬상장치{IMAGE PROCESSING METHOD, IMAGE PROCESSING APPARATUS, AND IMAGE PICKUP APPARATUS}

본 발명은, 화상에 포함되는 화상 흐림(image blur) 성분과 왜곡 성분을 저감하는 화상처리기술에 관한 것이다.

디지털 카메라 등의 촬상장치에 의해 피사체를 촬상해서 얻어진 화상은, 촬상광학계(이하, 간단히 "광학계"라고 한다)의 구면수차, 코마수차, 상면 만곡, 비점수차등에 기인하는 화상 열화 성분인 화상 흐림 성분을 포함한다. 이러한 화상 흐림 성분은, 무수차이거나 무회절인 경우에 피사체의 한 점으로부터 나오되 보통 한점에 수속하는 광속이 촬상면상에서 어떤 발산을 갖는 화상을 형성하기 때문에 발생한다.

이러한 화상 흐림 성분은, 광학적으로는, 점상분포함수(ＰＳＦ)에 의해 나타내고, 디포커싱에 의한 흐림과는 다르다. 광학계의 축상 색수차, 색의 구면수차 또는 색의 코마수차에 의해 생긴 칼라화상에서의 색 흐림은, 광의 파장마다의 흐려지는 정도간의 차이라고 말할 수 있다.

화상 흐림 성분을 보정하는 방법으로서, 광학계의 광학전달함수(ＯＴＦ)의 정보를 사용하는 보정방법이 알려져 있다. 이 방법은, "화상회복"이라고 한다. 이하, 이 광학계의 광학전달함수(ＯＴＦ)의 정보를 사용해서 화상 흐림 성분을 보정(저감)하는 처리를 "화상회복처리"라고 칭한다.

화상회복처리의 개요는 아래와 같다.

g(x, y)가 화상 흐림 성분을 포함하는 열화 화상(입력 화상)을 나타내고, f(x, y)가 열화하지 않은 원래의 화상을 나타내고, h(x, y)가 광학전달함수의 푸리에(Fourier) 페어인 점상분포함수(ＰＳＦ)를 나타내고, ＊가 콘볼루션(convolution)을 나타내고, (x, y)가 화상상의 좌표를 나타내는 경우, 이하의 식이 성립한다:

g(x, y)=h(x, y)＊f(x, y).

상기 식을 푸리에 변환에 의해 2차원 주파수면에서의 표시형식으로 변환하면, 이하의 식과 같이, 주파수마다의 적(product)의 형식이 된다:

G(u, V)=H(u, ｖ)＊Ｆ(u, v)

여기서, H는 점상분포함수(ＰＳＦ)의 푸리에 변환의 결과, 즉, 광학전달함수(ＯＴＦ)를 나타내고, (u, v)는 2차원 주파수면에서의 좌표, 즉 주파수를 나타낸다.

열화 화상으로부터 원래의 화상을 얻기 위해서는, 아래와 같이, 그 식의 양변을 H로 제산하면 좋다:

G(u, v)/H(u, v)=F(u, v)

이 Ｆ(u, v)을 역 푸리에 변환해서 실면(real surface)으로 되돌려줌으로써 원래의 화상 f(x, y)에 해당하는 회복 화상을 얻을 수 있다.

H^-1을 역 푸리에 변환한 것을 R이라고 하면, 이하의 식과 같이 실면에서의 화상에 대한 콘볼루션 처리를 행함으로써 마찬가지로 원래의 화상을 얻을 수 있다:

g(x, y)＊R(x, y)=f(x, y).

위 식에서의 Ｒ(x, y)을, "화상회복 필터"라고 한다. 실제의 화상에는 노이즈 성분이 있기 때문에, 상기한 바와 같이 광학전달함수(ＯＴＦ)의 완전한 역수를 취해서 작성한 화상회복 필터를 사용하면, 열화 화상과 함께 노이즈 성분이 증폭되어 버린다. 따라서, 일반적으로는, 양호한 화상은 얻을 수 없다. 이 점에 대해서는, 예를 들면, 위나 필터(Wiener filter)의 사용과 같은 화상신호와 노이즈 신호의 강도비에 따라 화상의 고주파측의 회복율을 억제하는 방법이 알려져 있다. 색 흐림 성분으로 인한 화상의 열화는, 예를 들면 상기의 화상 흐림 성분의 보정에 의해 색성분마다의 흐림량이 균일해짐으로써 실질적으로 보정된다.

광학전달함수(ＯＴＦ)는, 광학계의 촛점거리(줌 상태)와 조리개 지름등의 광학계의 조건에 따라 변동하기 때문에, 화상회복 처리에 사용하는 화상회복 필터는 변경할 필요가 있다.

또한, 화상에는, 왜곡 성분이 포함되는 경우도 있다. 왜곡이란, 일반적으로는, 화상의 주변부의 신장 또는 수축이 보다 커지고 광학계의 왜곡 수차에 의해 생긴 기하학적인 왜곡이다.

일본국 공개특허공보 특개 2006-270918호에는, 왜곡 수차에 의한 화상의 기하학적 왜곡을 보정하는 방법이 개시되어 있다. 이 방법은, 촬상시의 줌 상태와 촬상거리등의 촬상상태의 정보를 취득하고, 미리 준비해 있는 왜곡 수차 데이터로부터 판독된 상기 얻어진 촬상상태 정보에 대응한 데이터를 사용하여 기하학적 왜곡을 보정한다. 왜곡 수차 데이터는, 상높이(image height)에 의거하는 함수다. 왜곡 성분의 보정에서는, 광학계의 근 왜곡량은 큰 기하학적 변환량이 필요하고, 특히 화상의 주변부에서는 확대 축소와 변형의 기하학적 변환을 행한다.

광학계의 각종 수차에 의해 열화한 화상을 적절하게 보정해서 고화질 화상을 얻기 위해서는, 상기 화상 흐림 성분과 상기 왜곡 성분을 저감하는 처리를 행할 필요가 있다.

또한, 화상 흐림 성분의 보정에 사용하는 화상회복 필터 데이터와 왜곡 성분의 보정에 사용하는 기하학적 변환 조건 데이터는, 촬상상태에 따라 변경할 필요가 있다. 촬상상태는, 줌 위치, 조리개 지름 및 촬상거리등의 파라미터를 포함하고, 이것들의 다수의 파라미터의 조합에 따라 화상회복 필터 데이터 및 기하학적 변환 조건 데이터를 준비하면, 데이터량이 대단히 커진다. 특히, 화상회복 필터가 2차원 필터이므로, 화상 흐림 성분이 클수록 상기 필터의 셀(cell)(탭)의 수가 증대하게 된다.

발명자는, 화상 흐림 성분의 보정과 함께 왜곡 성분의 보정을 행할 때의 화상회복 필터의 셀의 수에 관해서 이하의 문제점을 발견했다. 열화 화상에 대하여 왜곡 성분의 보정은, 상높이에 따라 기하적으로 화상의 확대 축소 및 변환을 행한다. 한편, 화상회복 필터를 설계하기 위한 광학전달함수(ＯＴＦ)는, 광학계의 설계값 또는 측정값으로부터 도출될 수 있다. 그렇지만, 어떻든 간에, 광학전달함수는 왜곡 수차를 포함한 광학계로부터 도출된다.

이 때문에, 왜곡 보정처리를 행한 상기 화상에 대하여 화상회복 처리를 행하기 위해서는, 화상회복 필터를 왜곡 보정처리에 사용한 기하학적 변환 조건에 따라 상기 확대 축소 및 상기 변환을 행하는 것이 필요하다. 광학계가 부(negative)의 왜곡을 갖는 경우에는, 왜곡 보정처리에서 화상을 확대 축소, 변환 및 화소보간을 하여, 화상회복 필터도 이것에 따라 확대 축소, 변환 및 셀 보간도 행한다. 이에 따라, 화상회복 필터의 셀의 수가 증대해버려, 화상회복 필터의 데이터량이 증가한다. 추가로, 필터링의 계산량도 증대해버려, 처리 속도를 현저하게 저하시켜버린다.

일본국 공개특허공보 특개 2006-270918호에서 개시된 왜곡 성분의 보정방법에서는, 촬상상태에 대응한 수차정보를 사용해서 기하학적 변환 보정을 행한다. 그렇지만, 이 방법에서는, 왜곡 성분이외의 화상 흐림 성분을 보정할 수 없으므로, 고화질 화상을 얻을 수 없다.

본 발명은, 화상회복 필터의 데이터량의 증대에 의한 처리 속도의 저하를 억제하면서, 화상 흐림 성분과 왜곡 성분을 양호하게 보정할 수 있게 한 화상처리방법, 화상처리장치 및 촬상장치를 제공한다.

본 발명의 일측면으로서의 화상처리방법은, 광학계를 사용한 촬상에 의해 생성된 화상을 처리하는 화상처리방법이다. 이 방법은, 상기 화상을 취득하는 단계와, 화상회복 필터를 사용해서 상기 화상의 흐림 성분을 저감하는 화상회복 처리를 행하는 화상회복 단계와, 상기 화상회복 처리가 행해진 상기 화상의 왜곡 성분을 저감하는 기하학적 변환 처리를 행하는 왜곡 보정 단계를 포함한다.

본 발명의 다른 일측면으로서의 화상처리장치는, 광학계를 사용한 촬상에 의해 생성된 화상을 처리하는 화상처리장치이다. 상기 화상처리장치는, 화상회복 필터를 사용해서 상기 화상의 흐림 성분을 저감하는 화상회복 처리를 행하는 화상회복부와, 상기 화상회복 처리가 행해진 상기 화상의 왜곡 성분을 저감하는 기하학적 변환 처리를 행하는 왜곡 보정부를 구비한다. 본 발명의 또 다른 측면으로서의 촬상장치는, 광학계에 의해 형성된 피사체상을 광전변환해서 화상을 생성하는 촬상계와, 상기 화상처리장치를 구비한다.

본 발명의 다른 국면들은, 이하의 설명과 첨부도면들로부터 명백해질 것이다.

도 1은, 본 발명의 실시예 1인 촬상장치의 구성을 나타내는 블럭도다.
도 2는, 실시예 1의 촬상장치에서 행해지는 처리를 나타내는 흐름도다.
도 3은, 실시예 1에 있어서 기억부에 격납된 화상회복 필터를 배치하는 촬상상태 공간의 모식도다.
도 4는, 실시예 1의 촬상장치에서 사용된 화상회복 필터를 나타낸다. 도 5는, 상기 화상회복 필터에 있어서의 셀 값의 분포를 도시한 도면이다.
도 6은, 실시예 1에 있어서의 왜곡 보정처리의 설명도다.
도 7은, 실시예 1의 효과를 설명하기 위한 화상회복 필터의 설명도다.
도 8은, 실시예 1의 효과를 설명하기 위한 회복 불능영역의 설명도다.
도 9는, 본 발명의 실시예 2에서 사용된 색마다의 화상회복 필터의 설명도다.
도 10은, 실시예 2의 각 화상회복 필터의 셀 값의 분포를 도시한 도면이다.
도 11은, 실시예 2에 있어서의 화상회복 처리에 의해 얻어진 효과의 설명도다.

이하, 본 발명의 예시적 실시예들에 대해서 첨부도면을 참조하여 설명한다.

도 1에는, 본 발명의 제1 실시예(실시예 1)인 화상처리장치를 구비한, 즉 화상처리방법을 사용한, 디지털 카메라나 비디오카메라 등의 촬상장치의 구성을 보이고 있다. 본 실시예에서는, 후술하는 화상회복 처리에 의해 촬영화상에서의 화상 흐림 성분과 색 흐림 성분을 저감(보정)하고, 왜곡 보정처리로서의 기하학적 변환 처리에 의해 왜곡 성분과 색 어긋남 성분을 저감(보정)하는 촬상장치를 설명한다. 색 어긋남 성분은, R, G, B의 색성분마다의 촬상배율의 차이인 광학계의 배율 색수차로 인해 발생한다.

본 실시예에서 말하는 화상 흐림 성분은, 구면수차, 코마수차, 상면 만곡, 비점수차등에 기인하는 화상열화 성분으로서의 흐림 성분이다. 화상회복 처리(화상회복부)는, 이것들의 수차에 기인하는 화상열화 성분을 어느 정도 저감하고 있으면 좋다. 예를 들면, 화상회복부는, 구면수차, 코마수차, 상면 만곡, 비점수차등 중 적어도 하나의 수차에 근거하는 화상열화 성분을 저감하여도 좋다.

도 1에 있어서, (도면에 나타내지 않은) 피사체로부터의 광속은, 촬상광학계(101)를 통과하여, ＣＣＤ센서나 ＣＭＯＳ센서 등으로 구성된 촬상소자(102) 위에 피사체상을 형성한다.

촬상광학계(101)는, (도면에 나타내지 않은) 변배 렌즈, 조리개(101a) 및 포커스 렌즈(10lb)를 포함한다. 변배 렌즈를 광축방향으로 이동시킴으로써 촬상광학계(101)의 촛점거리를 변경하는 주밍이 가능하다. 조리개(101a)는, 조리개 개구경을 증/감시켜서, 촬상소자(102)에 도달하는 광량을 조절한다. 피사체 거리에 따른 포커싱은, (도면에 나타내지 않은) 오토 포커스(ＡＦ)기구나 메뉴얼 포커스 기구에 의해 광축방향으로의 포커스 렌즈(10lb)의 위치를 제어하여 행해진다.

촬상소자(102) 위에 형성된 피사체상은, 상기 촬상소자(102)에 의해 전기신호로 변환된다. 촬상소자(102)로부터의 아날로그 출력 신호는, A/D컨버터(103)에 의해 디지털 촬상신호로 변환되어, 화상처리부(104)에 입력된다.

화상처리부(104)는, 입력된 디지털 촬상신호에 대하여 각종 처리를 행하여 컬러 입력 화상을 생성하는 화상생성부(104a)를 가진다. 화상처리부(104)는, 화상회복부 및 왜곡 보정부에 해당하고, 그 입력 화상에 대하여 화상회복 처리와 기하학적 변환 처리(왜곡 보정처리)를 행하는, 화상회복/왜곡 보정처리부(104b)를 가진다. 촬상소자(102)로부터 화상생성부(104a)까지가 촬상계에 해당한다.

화상회복/왜곡 보정처리부(104b)는, 상태검지부(107)로부터 촬상광학계(101)의 상태(이하, "촬상상태"라고 한다)의 정보를 얻는다. 촬상상태는, 예를 들면 촬상광학계(101)의 촛점거리(줌 위치), 조리개(101a)의 조리개 개구경(조리개 값 또는 F넘버), 및 포커스 렌즈 위치(피사체 거리)를 포함한다. 상태검지부(107)는, 시스템 콘트롤러(110)로부터 촬상상태의 정보를 얻어도 좋거나, 촬상광학계(101)를 제어하는 촬상광학계 제어부(106)로부터 얻어도 좋다.

화상회복/왜곡 보정처리부(104b)는, 촬상상태에 대응한 화상회복 필터를 기억부(108)로부터 선택하고, 입력 화상에 대하여 화상회복 처리를 행한다. 화상회복/왜곡 보정처리부(104b)는, 촬상상태에 대응한 기하학적 변환 조건을 기억부(108)로부터 선택하고 나서, 화상회복 처리가 행해진 화상에 대하여 기하학적 변환 처리를 처리한다. 상태검지부(107), 화상회복/왜곡 보정처리부(104b) 및 기억부(108)에 의해, 촬상장치내에서 화상처리장치가 구성된다.

도 2에는, 화상회복/왜곡 보정처리부(104b)에서 행해지는 화상회복 및 기하학적 변환에 관한 처리(화상처리방법)의 흐름도를 보이고 있다. 이하의 설명에서는, 화상회복/왜곡 보정처리부(104b)를 "화상처리부(104)"라고 한다. 화상처리부(104)는, 화상처리용 컴퓨터에 의해 구성되어, 컴퓨터 프로그램에 따라서 상기 처리를 행한다.

단계S1에서는, 화상처리부(104)는, 촬상소자(102)로부터의 출력 신호에 의거하여 생성된 입력 화상을 화상회복 처리의 대상으로서 취득한다.

단계S2에서는, 화상처리부(104)는, 상태검지부(107)로부터 촬상상태의 정보(이하, "촬상상태 정보"라고 한다)를 취득한다. 본 실시예에서, 그 촬상상태는, 줌 위치, 조리개 개구경, 및 피사체 거리를 포함한다.

단계S3에서는, 화상처리부(104)는, 기억부(108)에 기억된 복수의 화상회복 필터 중에서 단계S2에서 취득한 촬상상태에 대응하는 화상회복 필터를 선택한다.

기억부(108)에는, 화상회복 필터의 수(데이터 수)를 저감하기 위해서, 이산적으로 선택된 촬상상태에 대응한 화상회복 필터만이 기억되어 있다. 이 때문에, 단계S2에서 취득한 촬상상태에 대응하는 또는 상기 촬상상태에 지극히 가까운 촬상상태에 대응하는 화상회복 필터가 기억부(108)에 격납되어 있지 않은 경우에는, 화상처리부(104)는, 그 취득된 촬상상태에 가능한 한 가까운 화상회복 필터를 선택한다. 화상처리부(104)는, 그 화상회복 필터를, 이후의 단계S4∼S6에서는, 단계S2에서 취득한 촬상상태에 최적화하도록 보정함으로써, 실제로 사용하는 화상회복 필터를 작성한다.

도 3은, 기억부(108)에 기억된, 상기 이산적으로 선택된 촬상상태에 대응한 화상회복 필터를 모식적으로 나타낸다. 기억부(108)에 기억된 화상회복 필터는, 전술한 바와 같이, 줌 위치(상태A), 조리개 개구경(상태B) 및 피사체 거리(상태C)의 3개의 촬상상태를 축으로 한 촬상상태 공간중에 이산적으로 배치되어 있다. 촬상상태 공간중의 각각의 점(검은 원으로 도시됨)의 좌표가, 기억부(108)에 기억되어 있는 화상회복 필터를 나타낸다.

도 3에서는, 화상회복 필터를 각 촬상상태 축에 대하여 직교한 선상의 격자점에 배치하고 있다. 그렇지만, 화상회복 필터를 격자점으로부터 떼어서 배치해도 된다. 또한, 촬상상태는, 줌 위치, 조리개 개구경 및 피사체 거리이외의 파라미터를 포함하거나, 그 촬상상태의 파라미터의 수는 3개로 한정되지 않는다. 즉, 촬상상태의 4개 이상의 파라미터에 의거한 4차원이상의 촬상상태 공간을 구성해서 그 속에 화상회복 필터를 이산적으로 배치해도 좋다.

이렇게 이산적으로 배치된 화상회복 필터로부터, 실제로 사용하는 화상회복 필터를 작성하는 방법에 관해서는 후술한다.

도 4는 화상회복 필터의 예를 나타낸다. 화상회복 필터에서는, 촬상광학계(101)의 수차량에 따라 셀(탭)의 수를 결정한다. 도 4에 나타낸 화상회복 필터는, 11×11셀을 갖는 2차원 필터다. 각 셀이 1화상의 1화소에 대응한다.

100이상의 셀로 분할한 2차원 필터인 화상회복 필터를 사용함으로써, 촬상광학계(101)가 구면수차, 코마수차, 축상 색수차, 축외 색 플레어(flare) 등의 결상위치로부터 크게 퍼지는 수차를 갖는 경우에도 양호한 화상회복 결과를 취득할 수 있다. 또한, 이러한 실공간의 화상회복 필터를 사용하여, 입력 화상에 대하여 콘볼루션 처리를 행함으로써 푸리에 변환을 행하지 않고 화상을 회복할 수 있다.

각 셀은, 촬상광학계(101)의 구면수차, 코마수차, 축상 색수차, 축외 색 플레어 등의 수차정보에 의거하여, 도 5에 나타낸 값을 갖도록 설정된다. 도 5에는, 화상회복 필터의 1개의 단면에서의 셀 값(필터 값)을 보이고 있다. 화상회복 필터는, 그 필터 값이 2차원 분포를 갖도록 작성되어 있다. 도 5에 도시된 예에서는, 입력 화상의 중심으로부터 어긋난 위치에서의 코마수차와 같은 비대칭성을 가진 수차를 회복하도록 상기 화상회복 필터가 작성된다.

화상회복 필터는, 촬상광학계(101)의 광학전달함수(ＯＴＦ)를 계산 혹은 계측하고, 그 광학전달함수의 역함수를 역 푸리에 변환 함으로써 작성된다. 일반적으로는 노이즈의 영향을 고려할 필요가 있기 때문에, 위나 필터나 다른 회복 필터의 작성 방법을 선택적으로 사용할 수 있다.

그 광학전달함수는, 촬상광학계(101)뿐만아니라, 촬상소자(102)의 출력 신호로부터 화상처리부(104)에서 입력 화상이 생성될 때의, 광학전달함수를 열화시키는 요인을 포함시키는 것이 바람직하다. 즉, 화상회복 필터를, 촬상광학계의 광학전달함수(광이 촬상광학계(101)에 입사하고나서 촬상소자(102)에 의한 촬상에 의해 입력 화상이 취득될 때까지의 광학전달함수)의 역함수에 의거하여 생성된 함수를 역 푸리에 변환 함에 의해 작성하여도 좋다.

촬상광학계(101)이외에서 광학전달함수를 열화시키는 요인은 이하와 같다. 예를 들면, 촬상소자(102)의 전방면에 배치되는 로패스 필터(low-pass filter)(도시 생략)는, 광학전달함수의 주파수 특성에 대하여 고주파성분을 억제한다. 또한, 마찬가지로 촬상소자(102)의 전방면에 배치되는 적외선 컷 필터는, 각 Ｒ,Ｇ 및 Ｂ채널의 점상분포함수(ＰＳＦ)(특히 R채널의 ＰＳＦ)에 영향을 준다. 한층 더, 촬상소자(102)의 화소 개구의 형상이나 개구율도 주파수 특성에 영향을 준다. 피사체를 비추어 보는 광원의 분광 특성과, 각종 파장 필터의 분광 특성도 광학전달함수를 열화시키는 다른 요인이다. 따라서, 이들 요인을 고려한 광의의 광학전달함수에 의거하여 화상회복 필터를 작성하는 것이 바람직하다.

촬상광학계(101)는, 촬상장치의 일부로서 설치되어도 좋거나, 촬상장치에 대하여 교환가능한 것이라도 좋다.

입력 화상이 ＲＧＢ 칼라화상인 경우에는, R, G, B의 색성분들에 대한 복수(본 실시예에서는 3개)의 화상회복 필터를 작성하는 것이 바람직하다. 이것은, 촬상광학계(101)에는 색수차가 있어, 색성분마다 흐림 정도가 서로 다르기 때문이다. 따라서, 색성분마다 최적인 화상회복 필터를 얻기 위해서는, 그 특성을 색수차에 근거해서 변화시켜야 한다. 즉, 도 5에 나타낸 셀 값의 2차원 분포가, 색성분마다 다른 3개의 화상회복 필터를 작성하는 것이 바람직하다.

도 4에는 11×11셀을 갖는 화상회복 필터를 나타냈지만, 화상회복 필터의 셀 수는, 수차량에 따라 임의로 설정되어도 된다. 화상회복 필터의 종횡의 셀 수(셀 배열)에 관해서는, 도 4에 나타나 있는 바와 같은 정방배열일 필요는 없다. 그 셀 수는, 콘볼루션 처리시에 셀 배열을 고려하면, 임의로 변경될 수 있다.

이후, 화상회복 필터의 구체적인 선택 및 작성(보정)방법에 관하여 설명한다. 도 3에 있어서, 큰 흰 원으로 나타낸 촬상상태가, 단계S2에 취득한 실제의 촬상상태라고 추정한다. 실제의 촬상상태 또는 이에 아주 가까운 상태에서 기억부(108)에 격납된 화상회복 필터(이하, "격납 필터"라고 한다)가 존재할 경우에는, 그 격납 필터를 선택해서 화상회복 처리에 사용한다. 실제의 촬상상태 또는 이에 아주 가까운 상태에서 격납 필터가 존재하지 않는 경우에는, 이하의 방법에 의해 화상회복 필터를 선택 또는 작성(보정)한다.

단계S3에 있어서, 화상처리부(104)는, 실제의 촬상상태와 복수의 격납 필터에 대응하는 촬상상태와의 사이의 촬상상태 공간내에서의 거리를 산출한다. 화상처리부(104)는, 산출한 거리 중 가장 짧은 거리에 있는 촬상상태에 대응하는 격납 필터를 선택한다.

이러한 격납 필터를 선택함으로써 실제의 촬상상태와 상기 선택된 격납 필터에 대응하는 촬상상태간의 차이량(상태 차이량)이 최소화된다. 이 때문에, 상기 격납 필터에 대한 보정량을 감소시킬 수 있고, 실제의 촬상상태에 대응하는 화상회복 필터에 더 가까운 화상회복 필터를 작성할 수 있다.

도 3에 있어서, 작은 흰 원으로 나타낸 촬상상태에 대응하는 격납 필터가 선택된 것으로 한다. 도 3에는, 촬상상태 공간을 개념적으로 보이고 있다. 그렇지만, 실제의 각 격납 필터의 데이터는, 좌표값의 정보가 필요하다. 이 때문에, 그 격납 필터는 좌표값 정보를 포함하거나, 미리 어드레스(좌표)가 결정된 다차원의 배열 공간에 각 격납 필터의 데이터를 설정하여도 좋다.

다음에, 단계S4에서는, 화상처리부(104)는, 단계S3에서 선택한 격납 필터에 대응하는 촬상상태(A,B,C)와 실제의 촬상상태간의 상태 차이량∆A, ∆B, ∆C를 산출한다. 단계S5에서는, 화상처리부(104)는, 이것들의 상태차이량 ∆A, ∆B, ∆C에 의거하여 상태보정계수를 산출한다. 화상처리부(104)는, 단계S6에 있어서, 상기 상태보정계수를 사용하여, 단계S3에서 선택한 격납 필터를 보정한다. 이에 따라, 실제의 촬상상태에 대응한 화상회복 필터를 작성할 수 있다.

한편, 기하학적 변환 처리(왜곡 보정처리)를 위한 기하학적 변환 조건에 대하여도, 전술한 화상회복 필터의 선택, 상태차이량의 산출, 상태보정계수의 산출 및 선택한 필터의 보정을 경과하여, 실제의 촬상상태에 대응한 기하학적 변환 조건을 선택 또는 작성할 수 있다. 그렇지만, 기하학적 변환 조건에 대해서는, 촬상상태공간의 축이 되는 촬상상태의 파라미터를 화상회복 필터와는 다르게 해도 좋다. 예를 들면, 왜곡 수차는, 조리개 개구경에 의존하지 않으므로, 그 촬상상태는 조리개 개구경을 포함할 필요가 없다.

다음에, 단계S7에서는, 화상처리부(104)는, 상기 선택 또는 작성된 화상회복 필터를 사용하여, 단계S1에서 취득한 입력 화상에 대하여 화상회복 처리를 행한다. 상기 화상회복 필터를 사용해서 입력 화상에 대한 콘볼루션 처리를 행함으로써 촬상광학계(101)의 수차에 기인하는 입력 화상에 포함된 화상 흐림 성분 및 색 흐림 성분을 저감 또는 제거할 수 있다.

다음에, 단계S8에서는, 화상처리부(104)는, 상기 선택 또는 작성(보정)된 기하학적 변환 조건을 사용하여, 단계S7에서의 화상회복 처리에 의해 얻어진 결과의 화상에 대하여, 왜곡 보정처리인 기하학적 변환 처리를 행한다. 기하학적 변환 처리는, 촬상광학계(101)의 수차에 의해 발생한 화상의 왜곡 성분을 저감(또는 제거)할 수 있다.

또한, 이 단계에서는, 화상처리부(104)는, 화상회복 처리에 의해 얻어진 결과의 화상을 Ｒ, Ｇ 및 Ｂ의 3개의 색성분으로 분리한다. 그리고, 화상처리부(104)는, G화상을 기준으로 해서 R 및 B화상을 기하학적 변환(확대 축소)해서 G화상과 일치하여, 배율 색수차 성분인 색 어긋남(shear) 성분을 저감(또는 제거)한다. 왜곡 보정처리용의 기하학적 변환 조건을 색성분마다 조정함으로써 왜곡 보정처리에 의해, 왜곡 성분과 함께 색 어긋남 성분을 저감(또는 제거)할 수 있다.

단계S3∼단계S8에서 행해진 처리는, 촬상장치와는 다른 장치(퍼스널 컴퓨터 등)에서 행해도 된다. 이 경우, 상기 다른 장치에 의해 취득된 화상회복 필터를, 촬상장치의 기억부(108)에 격납(인스톨)하는 처리를 행하면 좋다.

도 1에 있어서, 화상처리부(104)로 화상회복 처리 및 왜곡 보정처리에 의해 얻어진 출력 화상은, 반도체 메모리나 광디스크 등의 화상기록 매체(109)에 소정의 포맷으로 보존된다. 이 출력 화상은, 화상회복 처리에 의해 선예화되고, 또 왜곡 성분이 저감된 고화질의 화상이다.

출력 화상은, 표시부(105)에 표시되거나, 촬상장치의 외부(프린터나 데이터베이스)에 출력되거나 한다.

전술한 촬상소자(102)에서의 광전변환, 화상처리부(104)에서의 화상처리, 화상기록 매체(109)에의 기록, 및 표시부(105)에서의 화상표시를 포함하는 상술한 동작은, 시스템 콘트롤러(110)에 의해 제어된다. 촬상광학계(101)의 줌 구동과 포커스 구동은, 시스템 콘트롤러(110)의 지시에 의거해 촬상광학계 제어부(106)가 제어한다.

촬상광학계(101) 중심상 높이의 가로 확대율이 최대상 높이의 가로 확대율보다도 1.25배이상 커지도록 촬상광학계(101)를 설계하는 것이 바람직하다. 이에 따라, 촬상광학계(101) 중 가장 피사체측에 근접하게 위치하는 전방면 렌즈의 지름을 작게 하거나, 상면 만곡을 보정할 수 있다. 본 실시예에서는, 도 6에 나타나 있는 바와 같이, 최대상 높이에서 -20%의 왜곡을 발생시킨다.

상기와 같이, 본 실시예에서, 화상처리부(104)는, 촬상장치의 촬상상태를 검지하고나서, 그 촬상상태에 대응한 화상회복 처리 및 왜곡 보정처리를 행하여 고화질의 출력 화상을 발생한다. 화상회복 처리 및 왜곡 보정처리에서 사용하는 화상회복 필터 및 기하학적 변환 조건은, 기억부(108)에 미리 격납된 것을 선택하는 것이나, 상기 격납된 화상회복 필터 및 기하학적 변환 조건을 실제의 촬상상태에 대응하도록 보정해서 얻어질 수 있다. 이 때문에, 화상회복 필터 및 기하학적 변환 조건은, 촬상상태에 대하여 연속적으로 결정될 수 있다.

한층 더, 화상처리부(104)는, 화상회복 처리가 행해진 화상에 대하여 왜곡 보정처리를 행하여, 화상 흐림 성분 및 왜곡 성분이 양호하게 보정된 화상을 얻을 수 있다. 또한, 왜곡 보정처리를 화상회복 처리후에 행함으로써 화상회복 필터의 데이터량의 증대와 기하학적 변환에 의한 화상의 열화를 발생시키지 않을 수 있어, 화상의 주변부에 화상회복 필터를 적용해서 양호한 출력 화상을 얻는 것이 가능하다. 이하, 이들 효과에 대해 자세하게 설명한다.

화상회복 필터는, 상기한 바와 같이, 광이 촬상광학계(101)에 입사하고나서 촬상소자(102)에 의한 촬영에 의해 입력 화상이 취득될 때까지의 광학전달함수(ＯＴＦ)에 의거하여 작성된다. 이 광학전달함수(ＯＴＦ)는, 설계된 렌즈 데이터에 대한 광선추적에 의거한 계산 또는 실제의 촬상광학계에 광을 입사시켜서 얻어진 결상광의 계측에 의해 얻어진다. 그 계측에 의해 광학전달함수를 구하는 경우에는, 직접 계측되는 점상분포함수(ＰＳＦ)또는 선상분포함수(ＬＳＦ)를 푸리에 변환해서 구할 수 있다. 각 방법에 의해 얻어진 광학전달함수(ＯＴＦ)는, 촬상광학계의 왜곡에 의한 상면(image plane)의 주변부의 압축과 신장의 영향을 포함한다.

상기 왜곡이 부일 경우에는, 통형의 왜곡 형상이 되므로, 화상의 주변부에 있어서는 위치가 가장자리에 가까이 감에 따라서 결상이 공간적으로 압축된다. 또한, 왜곡이 정(positive)일 경우에는, 보빈(bobbin)형의 왜곡 형상이 되므로, 위치가 가장자리에 가까이 감에 따라서 결상이 공간적으로 신장된다. 따라서, 광학전달함수(ＯＴＦ)에 의거하여 작성된 화상회복 필터도, 이 왜곡의 영향을 포함하고 있다.

화상회복 필터의 각 셀은, 전술한 바와 같이, 보정대상인 입력 화상의 1화소에 대응한다. 화상회복 필터를 입력 화상에 대하여 콘볼루션 처리함으로써 화상이 회복(즉, 화상 흐림 성분이 저감)된다. 왜곡 보정처리가 행해지지 않고 있는 화상에 대하여 화상회복 필터의 콘볼루션 처리를 행함으로써 화상회복 필터의 각 셀이 화상의 각 화소에 적절하게 대응하게 되어, 양호한 회복 화상을 얻을 수 있다.

이에 대하여, 이미 왜곡 보정처리가 행해진 화상에 대하여 화상회복 필터의 콘볼루션 처리를 행하는 경우, 상기 화상은 이미 기하학적 변환되어 있기 때문에, 화상회복 필터의 각 셀과 화상의 각 화소가 전혀 대응하지 않으므로, 양호한 회복 화상을 얻을 수 없다. 이러한 문제는, 왜곡량이 클 경우, 즉 왜곡 보정처리에서의 기하학적 변환량이 클 경우에 현저해진다.

도 6에 나타내는 종횡비가 4:3이고 화소수가 1000만 화소인 화상에 있어서, 부의 왜곡량에 대한 화상의 주변부에서의 이동 화소수를 표 1에 나타낸다. 도 6에 있어서, 실선으로 나타낸 왜곡된 격자가 왜곡 보정처리전의 화상(왜곡 화상)의 형상을 나타내고, 서로 직교하는 파선으로 나타낸 격자가 왜곡 보정처리후의 화상(왜곡 보정화상)의 형상을 보이고 있다. 표 1의 이동 화소수는, 도 6에 있어서의 대각방향(특정 방향)으로의 이동 화소수를 보이고 있다.

표 1로부터 알 수 있듯이, 왜곡량이 -5%인 경우도, 기하학적 변환에서의 이동 화소수가 100화소를 초과한다. 따라서, 왜곡을 갖는 촬상광학계를 통과시킨 촬상에 의해 취득된 화상에 대하여, 화상회복 필터의 각 셀과 화상의 각 화소를 대응시키는 것은 실질상 불가능하다.

왜곡 보정처리가 행해진 화상에 대하여 화상회복 처리를 행할 경우에 화상회복 필터의 각 셀과 화상의 각 화소와의 대응을 채용하는 방법으로서, 화상회복 필터를 왜곡 보정처리의 기하학적 변환 조건에 따라 기하학적 변환해서 사용하는 방법이다.

도 7의 좌측에는, 기하학적 변환전의 원래의 화상회복 필터를, 우측에는 기하학적 변환후의 화상회복 필터를 각각 모식적으로 보이고 있다. 그 원래의 화상회복 필터는 11×11셀을 갖는다. 각 셀내에는 (도면에 나타내지 않은) 값이 있다.

도 7에 나타낸 기하학적 변환후의 화상회복 필터는, 왜곡량이 -20%인 화상의 주변부에서의 기하학적 변환 조건에 의거하여 보정한 것이다. 왜곡량이 -20%인 조건에서는, 화상회복 필터를 종횡방향으로 각각 약 2배로 확대하고, 화소(셀)보간을 할 필요가 있다. 또한, 화상회복 필터의 변형 변환도 동시에 행해야 한다.

도 7의 우측에 나타낸 굵은선은, 원래의 화상회복 필터의 기하학적 변환 후의 화상회복 필터의 외형을 나타낸다. 기하학적 변환 후 화상회복 필터를 셀 격자로 재분할하고, 그 재분할된 화상회복 필터를 실제의 화상회복 처리에서 화상회복 필터로서 사용한다.

도 7로부터 분명한 것처럼, 이 방법에서는, 화상회복 필터의 셀의 수가 왜곡량에 따라 증대한다. 따라서, 화상회복 필터를 촬상장치의 기억부(108)에 격납하기 위해서는, 기억부(108)의 용량을 대폭 증가시킬 필요가 있다. 추가로, 화상회복 필터의 셀의 수의 증가는 콘볼루션 처리의 연산수도 증가한다. 이 때문에, 처리 속도가 대폭 낮아진다. 게다가, 화상회복 필터의 변형 변환에 의한 재샘플링을 요하므로, 정밀도의 저하도 생길 우려가 있다.

또 다른 문제에 대해서 도 8을 사용하여 설명한다. 왜곡 보정처리전의 화상에 대하여 화상회복 필터의 콘볼루션 처리를 행할 경우에는, 도면에서의 굵은선으로 나타낸 왜곡 화상을 포함하는 영역에서만 화상회복 필터로 콘볼루션 처리를 행해야 한다. 화상의 외주 부근에 대하여 화상회복 필터의 콘볼루션 처리를 행할 때, 상기 필터의 셀들의 수에 따라 그 주변부보다 외측영역의 데이터가 필요하게 된다. 그 주변부보다 외측 영역(굵은선)은, 나중에 행해진 왜곡 보정처리에 의해 최종적으로는 화상의 일부로서 남지 않는 불필요영역이다. 그렇지만, 그 불필요영역은 왜곡 보정처리 이전에는 화상의 일부로서 존재하는 영역이므로, 이 불필요영역을 사용해서 화상회복 처리를 화상의 주변부까지 행할 수 있다.

한편, 왜곡 보정처리가 행해진 화상에 대한 콘볼루션 처리에서, 상기한 바와 같이 화상회복 필터가 확대되고, 화상의 주변부 부근에서는 화상회복 필터가 참조하는 데이터가 존재하지 않는 회복 불능영역이 발생한다. 예를 들면, 도 8에 도시된 경우에, 기하학적 변환후의 화상회복 필터는 제2상한밖에 참조할 수 없게 된다. 화상회복 필터가 참조한 데이터가 존재하지 않는 영역의 값이 예를 들면 0이라고 가정하여 처리를 행하는 경우에도, 양호한 회복 화상은 얻을 수 없다. 그러므로, 사실상, 최종화상은, 주변부가 잘린 화상이다.

본 실시예에서는, 화상회복 처리후의 왜곡 보정처리에 의해 제거되는 화상영역(주변부)의 화상정보를 사용해서 화상회복 처리를 행한다. 그러므로, 화상회복 필터의 콘볼루션 처리에 있어서 충분한 화상정보를 사용할 수 있다.

화상회복 필터와 기하학적 변환 조건은, 이하의 관계(조건)를 만족하는 것이 바람직하다:

0 <F/D <2

여기서, D는 화상회복 처리가 행해진 화상에서의 유효화상영역의 단부(edge)의 화소가 기하학적 변환 처리(왜곡 보정처리)에 의해 특정 방향으로 이동하는 화소수이며, F는 상기 단부의 화소에 적용하는 화상회복 필터의 특정 방향으로의 셀 수다.

이 관계를 만족시킴으로써 왜곡 보정 후에 남겨야 할 유효화상영역을 손상시키지 않고, 화상회복 필터의 콘볼루션 처리를 행할 수 있다.

F/D의 값이 상기 관계식의 상한치를 넘으면, 화상회복 처리에 있어서 유효화상영역내에 콘볼루션 처리를 행할 수 없는 영역이 발생할 우려가 있다. 한편, F/D의 값이 상기 관계식의 하한치를 밑돌면, 화상회복 필터의 셀의 수를 작게 하지 않으면 안되고, 충분한 화상회복 처리가 행할 수 없게 될 우려가 있다.

본 실시예에서는, 화상의 대각방향(특정 방향)의 단부에 있어서, 화상회복 필터의 수직방향의 셀수는 11(=F)이며, 왜곡량이 -20%이다. 이 경우에, 대각방향의 이동 화소수는 274(=D)이다. 이 때문에, F/D는 0.04다. 또한, 화상의 수평방향의 중심에 있어서의 수직방향(특정 방향)의 화상의 단부에 있어서는, 화상회복 필터의 수직방향의 셀 수는 11(=F)이며, 왜곡량이 -20%이다. 이 경우에, 상기 수직방향의 이동 화소수는 112(=D)이다. 이 때문에, F/D는 0.1이다.

상기 조건식의 하한치를, 0.02이라고 하는 것이 보다 바람직하다.

촬상광학계(101)의 줌 위치에 따라, 화상회복 처리와 왜곡 보정처리를 선택해서 행할 수도 있다. 예를 들면, 망원 단에 있어서 왜곡이 거의 없는 경우에는, 화상회복 처리만을 행해야 해서, 처리 속도를 빠르게 할 수 있다.

전술한 광학전달함수(ＯＴＦ)는, 같은 촬상상태이여도 화각(상높이)에 따라 변화된다. 이 때문에, 화상회복 처리는, 입력 화상에 있어서의 상높이에 따라 분할된 복수의 영역 각각에 대해 화상회복 필터를 변경해서 행하는 것이 바람직하다. 이 경우에, 화상회복 필터를 입력화상상에 주사하면서 콘볼루션 처리를 행하고, 분할 영역마다 화상회복 필터를 순차로 변경하여도 된다.

또한, 화상회복 처리의 대상인 입력 화상에 있어서의 화소의 신호 값에 따라 화상회복 필터를 보정함으로써 입력 화상의 어두운 영역에서 현저해지는 노이즈의 증대를 억제할 수 있다. 입력 화상의 어두운 영역에서의 화상신호의 노이즈 성분은, 밝은 영역에 비교하여, 상대적으로 크기 때문에, 화상회복 처리에 의해 노이즈를 강조해버릴 우려가 있다. 이 때문에, 어두운 영역에서는, 화상회복 필터의 각 셀의 값을 보정해서 화상회복 효과를 저하시킴으로써 노이즈의 증대를 억제할 수 있다. 신호 값이 임계치이하인 화소 또는 화소영역에 관해서는 화상회복 처리를 행하지 않아도 된다.

또한, 화상회복 처리후의 회복 화상에 보정오차가 있는 경우에는, 이 보정오차를 보정하기 위한 다른 화상처리를 행해도 된다. 그 다른 화상처리는, 실제의 촬상상태와 화상회복 처리에 사용한 화상회복 필터에 대응하는 촬상상태간의 오차에 기인하는 회복 화상에 있어서의 잔류 수차성분을 한층 더 저감할 수 있다.

또한, 입력 화상내에 휘도 포화영역이 존재할 경우에, 입력 화상의 주변부에서는 수차성분이 현저해진다. 그러나, 화상회복 처리를 행할 때에, 휘도값이 포화하고 있는 화소에 관해서는 본래의 휘도값을 모르고, 양호한 보정을 행할 수 없기도 하다. 이 경우에는, 화상회복 처리후의 회복 화상으로부터 잔류 수차성분을 검출해서 적응적 보정처리를 행함으로써 고화질화를 달성할 수 있다. 이 적응적 보정처리는, 본 실시예의 화상회복 처리에 의해 화상 흐림 성분 및 왜곡 성분이 저감된 화상에 최종적으로 잔류한 수차를 보정하므로, 왜곡 보정처리 후에는 상기 적응적 보정처리를 행하는 것이 바람직하다.

상기와 같이, 본 실시예에서는, 화상회복 처리에 의해 보정된 화상을 왜곡 보정처리에 의해 보정한다. 그러므로, 본 실시예는, 화상회복 필터의 셀의 수의 증대나 화상회복의 정밀도의 저하, 및 화상의 주변부에서의 회복 불능영역의 발생을 일으키지 않고, 양호한 출력 화상을 제공할 수 있다.

상기 실시예에서는, 본 화상처리방법을 사용하여(즉, 화상처리장치를 탑재한) 촬상장치에 관하여 설명했다. 그렇지만, 본 화상처리방법은, 퍼스널 컴퓨터에 인스톨된 화상처리 프로그램에 의해서 실시될 수 있다. 이 경우, 퍼스널 컴퓨터는 본 발명의 화상처리장치에 해당한다. 퍼스널 컴퓨터는, 촬상장치에 의해 생성된 화상회복 처리전의 화상(입력 화상)을 입력해 (취득해), 화상처리 프로그램에 따라 화상회복 처리를 행하고, 그 결과 얻어진 화상을 출력한다.

다음에, 본 발명의 제2 실시예(실시예 2)에 관하여 설명한다. 본 실시예의 화상처리방법도, 도 1에 나타낸 촬상장치와 기본적으로 같은 촬상장치에서 행해진다. 이 때문에, 실시예 1과 공통되는 또는 같은 기능을 갖는 구성요소는, 실시예 1과 같은 참조부호로 나타내어진다. 본 실시예에 기재된 화상처리를, 퍼스널 컴퓨터(화상처리장치)에서 행해도 된다.

본 실시예에서는, 화상회복 처리에 의해 입력화상의 화상 흐림 성분과 색 흐림 성분뿐만아니라, 배율 색수차 성분인 색 어긋남 성분도 저감(보정)한다. 이 때문에, 본 실시예에서는, 화상회복 처리에 있어서, 화상 흐림 성분, 색 흐림 성분 및 색 어긋남 성분을 보정할 수 있는 화상회복 필터를 사용한다. 본 실시예에서는, 왜곡 보정처리에 의해 왜곡 성분을 저감(보정)한다.

본 실시예에서는, R, G, B의 색성분마다의 화상회복 필터를, 촬상상태에 따라 선택하거나, 그 선택한 화상회복 필터를 보정해서 작성한다.

색성분마다의 화상회복 필터의 예를 도 9에 나타낸다. R, G 및 B로 나타낸 화상회복 필터는, 각각 R, G 및 Ｂ 컬러용 필터다. 이것들의 화상회복 필터는, 실시예 1에 설명한 바와 같이, 화상 흐림 성분과 색 흐림 성분을 보정하는 필터이지만, 배율 색수차에 대응하는 색 어긋남 성분의 보정기능은 갖지 않고 있다.

도 12의 R', G' 및 B'로 도시된 화상회복 필터도, 각각 R, G, Ｂ컬러용 필터다. 이것들의 화상회복 필터 각각은, 화상 흐림 성분과 색 흐림 성분의 보정기능과 아울러, 색 어긋남 성분의 보정 기능을 갖는다. 구체적으로는, 상기 3개의 화상회복 필터 중 적어도 1개(R′과 B′)에 있어서, 셀 값(필터 값) 중 절대치가 최대인 셀, 즉 최대값 셀의 위치가, 그 화상회복 필터의 중심 셀의 위치로부터 벗어나고 있다.

각 화상회복 필터내에서 검은 셀이 최대값 셀이며, ×로 나타낸 셀이 중심 셀이다.

도 12에 R, G 및 Ｂ로 나타낸 화상회복 필터는, 색성분마다 광학전달함수(ＯＴＦ)에서의 차이로 인해 필터 특성이 서로 다르다. 그렇지만, 화상회복 필터의 최대값 셀의 위치는 같다(중심 셀의 위치와 같다).

R', G' 및 B'로 나타낸 화상회복 필터는, 필터 특성의 차이와 아울러 최대값 셀의 위치의 중심 셀의 위치에 대한 어긋남량이 서로 다르다. 화상회복 필터간의 최대값 셀의 위치의 상대적 어긋남량은, 촬상광학계(101)의 배율 색수차량에 해당한다. 도 10은, 도 12의 R'로 나타낸 화상회복 필터의 1개의 단면에서의 셀 값(필터 값)을 나타낸다.

R', G' 및 B'로 나타내는 화상회복 필터의 셀 값의 분포를 색성분마다 서로 다르게 함으로써 색마다의 화상 흐림 성분 및 색 흐림 성분을 보정할 수 있다. 한층 더, R', G' 및 B'로 나타내는 화상회복 필터의 상기 셀 값 분포의 위치를 서로 다르게 함으로써(즉, 최대값 셀의 위치와 중심 셀의 위치간의 어긋남량을 서로 다르게 함으로써[그렇지만, 본 실시예에서는 G'에서의 어긋남량은 0임]) 색 어긋남 성분을 보정할 수 있다.

화상회복 필터의 셀 값의 분포를 이동시켰을 때에, 원래의 셀 영역으로부터 그 분포가 돌출하는 경우에는, 화상회복 필터의 셀 수를 증가시키는 것이 바람직하다.

다음에, 도 12의 R', G' 및 B'로 나타내는 화상회복 필터를 사용하여 화상회복 처리에 의해 얻어진 효과를, 도 11을 참조하여 설명한다. 도 11에 있어서, (a)는 촬상광학계(101)의 수차의 영향이 없으면 보통 사각형의 프로파일을 갖는 R, G 및 G의 피사체상이 촬상광학계(101)의 수차에 의해 흐린 화상으로 열화하는 입력 화상을 나타낸다.

실선, 파선 및 일점쇄선은 각각, G성분, R성분 및 B성분을 나타내고 있다. (a)에서는, G성분, R성분 및 B성분이 흐림 위치와 피크 위치에서 서로 다르다. 각 색성분의 프로파일의 열화가 화상 흐림 성분에 해당하고, 그 색성분간의 흐림량의 차이에 의해 생긴 컬러링이 색 흐림 성분에 해당하고, 피크 위치의 어긋남이 색 어긋남 성분에 해당한다.

도 11에서, (b)는, 도 9에 R, G 및 Ｂ로 나타내는 화상회복 필터를 사용하여, (a)에 나타낸 입력 화상에 대한 화상회복 처리를 행했을 경우의 회복 화상을 보이고 있다. 이 회복 화상에 있어서, R, G, B의 피사체상이 본래의 사각형 프로파일을 갖도록 그 흐림 성분(색 흐림 성분을 포함한다)은 보정되었지만, 색 어긋남 성분은 아직 보정되지 않고 있다. 실시예 1에 기재된 것처럼 각 색 화상의 확대 축소를 행하거나 왜곡 보정 처리는, 색 어긋남을 보정하여 (c)에 나타낸 화상을 얻을 수 있다.

한편, R', G' 및 B'로 나타내는 화상회복 필터를 사용해서 (a)에 나타내는 입력 화상에 대한 화상회복 처리는, (c′)에 나타나 있는 바와 같이 색성분마다의 상기 흐림 성분(색 흐림 성분을 포함한다)과 색 어긋남 성분을 동시에 보정한다.

상기와 같이, 본 실시예에서는, 종래의 화상처리에서 별도로 행해졌던 색 흐림 성분의 보정처리(즉, 화상회복 처리)와 색 어긋남 성분의 보정처리를, 1개(단일)의 화상회복 처리내에서 행할 수 있다. 따라서, 상기 화상 흐림 성분과 색 어긋남 성분(배율 색수차 성분)을 고속 화상회복 처리에 의해 저감할 수 있고, 다음에 왜곡 보정처리에 의해 왜곡 성분을 보정하여, 양호한 출력 화상을 제공할 수 있다.

특히, 촬영에 생성된 화상을 화상처리 할 때에, 왜곡 성분이외의 화상 흐림 성분과 색 어긋남 성분을 먼저 저감(보정)하고, 최후에 왜곡 성분을 보정하는 것이 바람직하다.

상기 실시예들 각각에서는, 입력 화상이 ＲＧＢ컬러 화상인 경우에 관하여 설명했다. 그렇지만, 본 발명은, ＹＣＣ컬러 화상 등의 다른 컬러 화상에 적용될 수 있다.

본 발명을 예시적 실시예들을 참조하여 기재하였지만, 본 발명은 상기 개시된 예시적 실시예들에 한정되지 않는다는 것을 알 것이다. 아래의 청구항의 범위는, 모든 변형, 동등한 구조 및 기능을 포함하도록 아주 넓게 해석해야 한다.

이상과 같이, 상기 실시예들 각각은, 기하학적 변환 처리에 의해 왜곡 성분이 저감되기 전의 화상에 대하여 화상 흐림 성분을 저감하기 위한 화상회복 처리를 행함으로써, 화상회복 필터의 셀의 수가 증대하는 것을 억제한다. 바꿔 말하면, 상기 실시예들 각각은, 화상회복 필터의 셀의 수를 상기 색 흐림성분에 대응한 작은 수로 감소할 수 있다. 또한, 화상회복 처리후의 화상에 대하여 기하학적 변환 처리를 행할 때는, 왜곡의 성질로 인해, 화상회복 처리가 기하학적 변환 조건에 영향을 받지 않고 왜곡 성분을 보정할 수 있다. 따라서, 상기 실시예들 각각은, 화상회복 필터의 데이터량의 증대로 인한 처리 속도의 저하를 막으면서, 화상 흐림 성분과 왜곡 성분을 양호하게 보정할 수 있다.

본 출원은, 여기서 전체적으로 참고로 포함된 2008년 9월 30일에 출원된 일본국 특허출원번호 2008-252325의 이점을 청구한다.

본 발명은, 촬상에 의해 생성된 화상에 포함된 흐림 성분과 왜곡 성분을 보정할 수 있는 화상처리방법, 화상처리장치 및 촬상장치를 제공할 수 있다.

Claims

광학계를 사용한 촬상에 의해 생성된 화상을 처리하는 화상처리방법으로서,
상기 화상을 취득하는 단계;
화상회복 필터를 사용해서 상기 화상의 흐림 성분을 저감하는 화상회복 처리를 행하는 화상회복 단계; 및
상기 화상회복 처리가 행해진 상기 화상의 왜곡 성분을 저감하는 기하학적 변환 처리를 행하는 왜곡 보정 단계를 포함하는, 화상처리방법.
제 1 항에 있어서,
상기 화상회복 필터는, 상기 광학계의 광학전달함수의 역함수에 의거하여 생성된 함수를 역 푸리에 변환 함에 의해 작성되는, 화상처리방법.
제 1 항 또는 제 2 항에 있어서,
상기 화상회복 단계에서는, 촬상상태의 정보를 취득하고, 상기 촬상상태의 정보에 의거하여 선택 또는 작성된 상기 화상회복 필터를 사용해서 상기 화상회복 처리를 행하는, 화상처리방법.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,
상기 왜곡 보정 단계에서는, 촬상상태의 정보를 취득하고, 상기 촬상상태의 정보에 의거하여 선택 또는 작성된 기하학적 변환 조건을 사용해서 상기 기하학적 변환 처리를 행하는, 화상처리방법.
제 1 항 내지 제 4 항 중 어느 한 항에 있어서,
상기 화상회복 단계에서는, 상기 화상회복 필터로서, 복수의 색에 대하여 서로 다른 필터 값의 2차원 분포를 갖는 복수의 화상회복 필터를 사용하고,
상기 복수의 화상회복 필터는, 중심 셀의 위치에 대한 상기 필터 값의 절대치가 최대인 셀의 위치의, 상기 광학계의 배율 색수차량에 대응한 어긋남량이 서로 달라서, 상기 흐림 성분과 배율 색수차 성분을 저감하는, 화상처리방법.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
상기 화상회복 단계에서는, 상기 화상에 대하여 상기 화상회복 필터를 사용한 콘볼루션 처리를 행하는, 화상처리방법.
제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
이하의 관계를 만족하고:
0 <F/D <2
여기서, D는 화상회복 처리가 행해진 화상에서의 유효화상영역의 단부의 화소가 기하학적 변환 처리에 의해 특정 방향으로 이동하는 화소수이며, F는 상기 단부의 화소에 적용하는 화상회복 필터의 특정 방향으로의 셀 수인, 화상처리방법.
제 1 항 내지 제 7 항 중 어느 한 항에 있어서,
상기 화상회복 처리는, 상기 화상 중 상기 기하학적 변환 처리에 의해 제거된 영역의 화상정보를 사용해서 행해지는, 화상처리방법.
광학계를 사용한 촬상에 의해 생성된 화상을 처리하는 화상처리장치로서,
화상회복 필터를 사용해서 상기 화상의 흐림 성분을 저감하는 화상회복 처리를 행하는 화상회복부; 및
상기 화상회복 처리가 행해진 상기 화상의 왜곡 성분을 저감하는 기하학적 변환 처리를 행하는 왜곡 보정부를 구비한, 화상처리장치.
광학계에 의해 형성된 피사체상을 광전변환해서 화상을 생성하는 촬상계; 및
광학계를 사용하여 촬상에 의해 생성된 화상을 처리하는 화상처리장치를 구비한 촬상장치로서,
상기 화상처리장치가,
화상회복 필터를 사용해서 상기 화상의 흐림 성분을 저감하는 화상회복 처리를 행하는 화상회복부; 및
상기 화상회복 처리가 행해진 상기 화상의 왜곡 성분을 저감하는 기하학적 변환 처리를 행하는 왜곡 보정부를 구비한, 촬상장치.