KR20080102117A

KR20080102117A - 화상신호처리장치 및 화상신호처리방법

Info

Publication number: KR20080102117A
Application number: KR1020077026525A
Authority: KR
Inventors: 토루 와카기; 타츠야 데구치; 마키코 바바
Original assignee: 소니 가부시끼 가이샤
Priority date: 2006-03-20
Filing date: 2007-03-06
Publication date: 2008-11-24
Also published as: JPWO2007108317A1; US8208038B2; WO2007108317A1; TW200803532A; EP1998571A1; JP5018770B2; CN101322416B; US20090066816A1; CN101322416A

Abstract

고체촬상소자가 본래 가지는 출력 레인지를 유효하게 사용함으로써 다이나믹·레인지를 넓게 하는 동시에, 색 퍼짐이 적은 화상을 얻는다. 증감 모드로 노광량을 낮게 설정함으로써 포화 전하량까지의 여유가 커지는 것을 이용하고, 고휘도측의 피사체의 신호 성분을 포함한 다이나믹·레인지의 넓은 RGB신호를 얻는다. 우선, 지수승(

)에 가까운

보정을 실시하고 나서, 휘도신호와 색차신호로 색공간변환 하고, 휘도신호에 대해서는 소정의 계조에 들어가도록 비선형 압축처리를 행하고, 색차신호에 대해서는 지수승 감마에 의한 빛깔 저감과 색차 매트릭스·클리핑을 행한다.

Description

화상신호처리장치 및 화상신호처리방법{Image signal processing device and image signal processing method}

본 발명은, 고체촬상소자 등으로부터 얻어진 화상신호에 근거하여, 적절한 다이나믹·레인지로 휘도신호와 색차신호(Y／Cr／Cb 등)를 출력하는 화상신호처리장치 및 화상신호처리방법에 관한 것이다. 특히, 고체촬상소자가 본래 가지는 출력 레인지를 유효하게 사용함으로써 다이나믹·레인지를 넓게 하는 동시에, 색 퍼짐이 적은 화상을 얻는 화상신호처리장치 및 화상신호처리방법에 관한 것이다.

카메라는, 시각적인 정보를 기록하는 수단으로서 긴 역사를 가진다. 최근에는, 필름이나 감광판을 사용하여 촬영하는 은염 카메라에 대신하여, CCD(Charge Coupled Device)나 CMOS(Complementary Mental－Oxide Semiconductor) 등의 고체촬상소자로 포착한 화상을 디지털화하는 디지털카메라가 광범위하게 보급되고 있다. 디지털카메라에 의하면, 디지털 부호화된 화상을 메모리에 기억하고, 컴퓨터에 의한 화상처리나 화상관리를 행할 수 있고, 또한 필름의 수명이라고 하는 문제가 없다고 하는 이점이 있다.

CCD 센서는, 2차원으로 배열된 각 화소(포토 다이오드)가 광전효과를 이용하여 빛을 전하로 변환하는 구조에 의해 구성된다. 각 화소의 표면에는, 예를 들면 R(적), 초록(G), 파랑(B)의 3색의 어느 색필터가 설치되며, 각 색필터를 통한 입사 광량에 대응하는 신호 전하가 각 화소에 축적된다. 그리고, 각 화소로부터 각 색의 입사 광량에 따른 신호 전하가 읽어 내어지며, 3색의 각 신호 전하량으로부터 각 화소 위치에 있어서의 입사광의 색을 재현할 수 있다. 단, 각 화소를 축적할 수 있는 신호 전하량에는 상한이 있고, 화소를 구성하는 포토 다이오드의 포화 전하량을 넘는 신호 전하를 축적할 수 없다고 하는 제약이 있다. 즉, 센서 소자가 가지는 노이즈·레벨로부터, 센서 소자를 축적할 수 있는 전하의 포화량까지의 범위가 다이나믹·레인지로 된다. 다이나믹·레인지를 빗나간 부분의 화상은, 헐레이션(halation) 혹은 클리핑(clipping)이라고 하는 현상으로서 촬상화상상에서 관찰된다.

인간의 시각은 광량의 자리수에 따라 밝기를 느낄 수 있고, 그 범위 즉 다이나믹·레인지는 8자리수라고 말해진다. 네거티브 필림의 다이나믹·레인지는 적어도 4자리수 이다. 한편, CCD의 다이나믹·레인지는, 예를 들면 약 2.4자리수 정도이며 조금 어딘지 부족하다. 근래에는, 미세화 기술의 진전에 의해 고체촬상소자의 화소수가 비약적으로 증가하고, 해상력은 은염 사진에 육박하는 반면, 화소 사이즈에 따라 포화 전하량이 작아지며, 다이나믹·레인지 부족의 문제는 한층 더 심각하게 되고 있다.

카메라에는 조리개와 셔터 속도라고 하는 광량을 보정하는 기능이 있고, 예를 들면 1조리개를 조이면 광량은 반이 된다. 카메라에 입사하는 광량을 균등하게 반으로 하면, 대수(로그) 스케일에 대해서는 그 광량을 0.5만 평행 이동시킬 수 있 다. 그렇지만, 카메라에 의한 광량 보정은, 피사체의 광량 분포를 다이나믹·레인지안에 평행 이동시키는 것뿐이며, 다이나믹·레인지보다 넓은 광량 분포에 대해서는 의미가 없다.

또, 셔터 속도를 바꾸고, 다중으로 기록하고 합성하여 다이나믹·레인지를 크게 하는 방법이 알려져 있다. 즉, CCD 센서상에서 전자 셔터 제어에 의해, 고속 셔터 처리로 포화를 회피한 화상과, 저속 셔터 처리로 충분한 전자수의 저휘도 부분 화상을 얻어 합성함으로써, 양호한 다이나믹·레인지를 확보할 수 있다. 그렇지만, 1매의 화상을 얻기 위해서는 고속 셔터 처리와 저속 셔터 처리의 2회만 촬영할 필요가 있으므로, 움직이고 있는 물체에 대하여 적절한 정지화상을 얻을 수 없다. 혹은, 2중 촬상계가 필요하기 때문에, 장치 구성도 복잡화된다.

또, 센서부에 감도가 높은 센서와 낮은 센서를 교대로 배치하고, 2개의 센서의 정보를 합성하여 다이나믹·레인지를 확보하는 방법도 생각할 수 있지만, 센서 구조나 센서출력의 신호처리가 복잡화된다고 하는 문제가 있다.

예를 들면, 촬상화상의 휘도분포를 검파하고, 역광이나 탈색, 클리핑 상태로 된 휘도분포를 최적인 휘도분포로 보정하여 출력하는 신호처리방법에 대하여 제안이 이루어지고 있다(예를 들면, 특허 문헌 1을 참조). 이 신호처리방법에 의하면, 출력 화상의 휘도분포가 큰 경우에는 이것을 단일화하도록 B－스프라인 보간법 등에 의해 보정하는 것으로,

보정의 입출력을 제어하고, 최적인 화상을 얻을 수 있다.

또, 입력한 화상신호에 포함되는 고휘도 피사체 신호를 검출하면, 이 고휘도 피사체 신호에 따라 촬영 동작에 이용하는 노광량을 제어하는 동시에, 노광량에 근거하여 화상신호에 대한

보정량에 대하여 저휘도 영역의 휘도 레벨을 올리는 제어를 행하는 것으로, 예를 들면 역광상태에 있어서 고휘도 피사체와 저휘도 피사체가 공존하는 영상으로부터 양호한 화상을 얻도록 한 자동 노광 제어방법에 대하여 제안이 이루어지고 있다(예를 들면, 특허 문헌 2를 참조).

또,

보정을 사용하여 화상신호의 다이나믹·레인지를 확보하는 방법도 생각할 수 있다.

보정이란, 모니터 등으로 촬영화상을 출력할 때에, 화상 등의 색의 데이터와, 그것이 실제로 출력될 때의 신호의 상대 관계를 조절하고, 계조(휘도)를 올바르게(보다 자연스럽게 비슷한 표시로 하여) 재현시키기 위하여 계조를 변환하는 처리이다. 모니터에 있어서의 계조(휘도) 특성은, CCD로부터의 입력신호의 레벨에 대하여 선형적에 대하여 선형이 아니고, 입력신호를 x로 하고, 모니터의 휘도 레벨을 y로 하면, y=x

의 관계가 있다. 그래서, 이 역함수에 상당하는 처리를 설치하는 것이

보정이다.

보정 곡선은 본래 지수승의 함수이며,

계수를 변경하는 것으로 다이나믹·레인지를 확보할 수 있다. 그렇지만,

계수의 변경에 의해 이상적인

곡선으로부터 멀어진 부분에 있어서의 촬상화상에 있어서는, 색밸런스가 무너지는, 콘트라스트 열화가 발생한다고 하는 영향이 발생할 문제가 있다.

또, 고체촬상소자에 의한 촬영화상에서는, 오버 노광했을 때에 고휘도 부분에서 본래와는 다른 색으로 표현된다고 하는 색 퍼짐이 발생하는 문제가 있다. 예를 들면, 입사광 중 적색의 입사 광량에 따른 신호 전하량이 포토 다이오드의 포화 전하량을 넘어 버렸을 경우, 포화 전하량에 이르지 않은 녹색 및 청색의 각 신호 전하량과 적색의 신호 전하량(포화 전하량)으로부터 재현한 색은 붉은빛이 부족한 색으로 된다. 특히, 인간의 눈은 살색에 민감하기 때문에, 살색을 오버 노광으로 촬영했을 때 살색의 황변이 눈에 띄게 된다.

이 색 퍼짐을 회피하는 방법으로서, 예를 들면, 화상 빛깔이 시작되는 고휘도부에서 색차신호레벨 자체를 억압하는 방법이 고려된다. 이것은, 일반적으로 「색수차 없앰」이라고 불리는 기술이며, 휘도신호레벨이 있는 임계치 이상으로 되면 단계적으로 색수차를 없애고 헐레이션 처리를 실시한다. 그렇지만, 탈색되므로 화상 헐레이션을 일으키고 있는 것처럼 보여 버린다고 하는 문제를 일으킨다.

또, 색 퍼짐을 회피하는 다른 방법으로서, 예를 들면 RGB신호를 휘도신호와 색차신호(Y／Cr／Cb), 혹은 한층 더 sRGB(standard RGB)에 색공간 변환한 후에, 색역을 넘은 신호에 색차신호가 바뀌지 않도록 클리핑하는 것도 고려할 수 있다. 이 방법은 「3D 룩업·테이블 처리」라고 불리는 상투수단이지만, 회로규모가 매우 커져 버린다.

이들 종래의 색 퍼짐 회피 방법에서는, 고휘도부에서의 계조 부족에 의한 헐레이션이 발생한다고 하는 문제나, 휘도신호와 색차신호(Y／Cr／Cb)로 색공간 변환하기 전의

보정에 의하여 RGB신호 클립이 발생한 결과의 빛깔을 억제할 수 없는 등의 문제가 있다.

색 퍼짐의 문제는, 다이나믹·레인지 부족과 마찬가지로, 화소의 포화 전하량이 부족한 것에 따른다. 디지털 카메라는, 화소수의 비약적인 증대에 의해 해 상력은 은염 사진에 육박하지만, 색재현성의 점에서 은염 사진에 미치지 못한다.

그런데, 디지털 카메라에는, 마침 은염 카메라에서의 ISO 감도에 상당하는 감도 조건을 전환하는 기능이 설치되어 있는 것이 많다. 즉, 노출 보정에 의해서도 더욱 충분한 감도가 얻어지지 않도록 저조도(低彫度) 피사체의 촬상을 위하여, 게인 업이라고 하는 감도 향상 기술을 적용한다. 게인 업에 의해, CCD 등의 출력신호를 증폭하여 휘도 레인지를 상대적으로 높이는 것으로 감도를 올리고, 어두운 장소나 저조도 피사체를 촬영하는 것이 가능하게 된다. ISO100을 표준 감도로 하고, 이후는 증감 모드로서 ISO200, ISO400 등이 준비되어 있다.

여기서, 디지털 카메라의 ISO 감도 설정마다 센서출력에 대하여 신호처리 레인지를 적정하게 설정하지 않는 것이 많고, 본래 사용할 수 있는 고정 촬상소자의 출력신호 레인지를 유효하게 활용하고 있지 않다고 하는 문제가 있다. 이하에서는, 이 점에 대하여 고찰해 본다.

ISO100 즉 표준 게인을 사용하는 통상 촬영시에 있어서의 사용 신호진폭의 상한을 s로 하고, 이때의 게인을 a로 하면, ISO200 즉 게인 업시에 있어서의 사용 신호진폭의 상한은 s／2가 되며, 게인은 2a로 된다. 게인 업한 증감 모드하에서는, 노광량을 표준 노광보다 낮게 설정하므로, 포화 전하량에 이르기까지의 여유가 커지기 때문에, 촬상 가능한 피사체의 고휘도측의 촬상 레인지를 확대하고, 그 CCD 등의 출력신호에는 통상 촬영 모드에서는 얻어지지 않은 고휘도측의 피사체의 신호 성분을 포함할 수 있을 것이다.

평균적인 피사체의 노광량에서 CCD의 포화 레벨까지의 여유가 없는 것이 현 상이기 때문에, 일반적으로는 CCD의 포화 레벨을 표준 게인 즉 ISO100에 있어서의 사용 신호진폭의 상한으로 한다. 예를 들면, 포화 신호량(최대 출력) 500mV의 CCD 센서출력에 대하여 10비트에서 AD변환을 행한다고 하면, ISO100에서는 500mV를 1023 계조로서 모두 사용한다(도 17을 참조). 그리고, JPEG(Joint Picture Experts Group)이면 이 1023 계조의 RGB 화상신호를

보정에 의하여 255계조로 할당한다. 한편, ISO200에서는 그 반의 센서출력 250mV를 1023 계조로 하고(도 18을 참조), 게인 앰프 출력시에는 1023 계조에서 신호를 클립 하기 때문에, CCD 최대 출력 즉 포화 전하량의 반 밖에 사용하고 있지 않게 된다.

그러나, 250mV에서 500mV에 이르기까지의 영역은 CCD 센서출력으로서는 유효하기 때문에, 고휘도측의 촬상 레인지로서 활용해야 한다. 그런데, 증감모드에서도 표준 모드와 같은

보정회로에 의해 계조 변환을 행하면, 표준 모드에 있어서의 촬상 레인지 한계(도 17에 나타내는 예에서는 1023 계조)를 기준으로 하여 계조 변환 가능한 피사체의 고휘도측의 촬상 레인지가 제한되어 버리고, 증감 모드에서 확대되는 고휘도측의 촬상 레인지의 확대 효과를 화상에 반영시킬 수 없다.

이것에 대하여, 게인 업과 계조 변환 특성의 변경을 아울러 행한다. 즉 고(高)게인시에는 계조 변환 특성의 유효 최대 입력치를 높게 설정한다고 하는 계조 변환 특성의 변환을 행함으로써, 게인 업에 의하여 생기는 촬상소자의 고휘도측의 촬상 레인지의 확대효과를 화상에 반영시키고, 피사체의 고휘도측의 재현역을 확대할 수 있는 촬상장치에 대하여 제안이 이루어지고 있다(예를 들면, 특허 문헌 3을 참조).

이 촬상장치에 의하면, ISO200에서는 500mV를 2047 계조로 하여 모두 사용하고, 「광(廣)D레인지일 때

특성」에 따라서 2048비트의 RGB 화상신호를

보정에 의하여 255계조로 할당할 수 있다. 이 「광D레인지일 때

특성」은, 포화 전하량의 75％까지의 저휘도측의 영역에서는 표준

특성과 같은 특성으로 하고, 그 이상의 고휘도측의 영역에서는 계조의 압축정도가 높아지도록 설정되어 있다.

그렇지만, 특허 문헌 3 등에 의한 방법에서는, 계조의 압축 정도를 높인 고휘도역에서의 재현성이 희생이 되는 것은 부정할 수 없다. 특히 RGB신호를 휘도신호와 색차신호(Y／Cr／Cb)로 색공간변환 하기 전에,

보정에 의하여 규정의 계조에 들어가도록 계조 변환해 버리면, RGB신호 클립이 발생한 결과의 색 퍼짐이나 색 흐림을 충분히 억제할 수 없다. 같은 문헌에서는, 다이나믹·레인지의 개선에 관한 방법은 개시되어 있지만, 색차신호의 포화 레벨 부근에서의 색 퍼짐의 문제에 대하여 언급은 없다.

[특허 문헌 1] 특개 2003－179809호 공보

[특허 문헌 2] 특개 2004－23605호 공보

[특허 문헌 3] 특개 2002－33956호 공보(도 2, 단락 0036)

본 발명의 목적은, 고체촬상소자 등에서 얻어진 화상신호에 근거하여, 다이나믹·레인지에서 휘도신호와 색차신호(Y／Cr／Cb 등)를 출력할 수 있는, 뛰어난 화상신호처리장치 및 화상신호처리방법을 제공하는 것에 있다.

본 발명의 또 다른 목적은, 디지털 카메라의 감도 설정마다 적정한 신호처리 레인지를 설정하고, 고체촬상소자가 본래 가지는 출력 레인지를 유효하게 사용함으로써 다이나믹·레인지를 넓게 하는 동시에, 색 퍼짐이 적은 화상을 얻을 수 있는, 뛰어난 화상신호처리장치 및 화상신호처리방법을 제공하는 것에 있다.

본 발명의 또 다른 목적, 특징이나 이점은, 상술하는 본 발명의 실시형태나 첨부하는 도면에 근거하여 보다 상세한 설명에 의하여 밝혀질 것이다.

도 1은, 본 발명의 일실시형태에 관계되는 화상신호처리장치의 구성을 나타낸 도면이다.

도 2는, JPEG 이 1023 계조의 RGB 화상신호를, 출력 포맷인 JPEG에 적합하도록

보정에 의하여 255계조로 할당하는 모습을 나타낸 도면이다.

도 3은, ISO200로 설정하여 게인 업 했을 경우에, 포화 전하량 500mV를 AD변환 출력의 해상도인 10비트(1023 계조) 그대로 하고, 250mV를 넘는 신호를 사용하는 모습을 나타낸 도면이다.

도 4는, 본 발명에 관계되는 화상신호처리장치가 ISO200, ISO400 등을 설정했을 경우의 동작을 행하기 위한 기능적 구성을 나타낸 도면이다.

도 5는, AGC(4)의 게인 앰프의 입출력 예를 나타낸 도면이다.

도 6은,

^1/2.2 곡선과 화면 만들기

곡선을 나타낸 도면이다.

도 7은, 10비트의 게인 앰프 출력을 입력으로 하고 9비트를 출력하는 RGB

곡선의 구성 예를 나타낸 도면이다.

도 8은, ISO200 설정시에 있어서 휘도신호의 출력 비트 길이를 조정하기 위한 Δ

보정 곡선의 구성 예를 나타낸 도면이다.

도 9는, Δ

곡선을 임의로 당기도록 구성된 화상신호처리장치의 구성 예를 나타낸 도면이다.

도 10은, 휘도역 전체에 걸쳐서 계조 압축하도록 하고 고휘도역에서의 계조 개선을 도모한 Δ

곡선의 구성 예를 나타낸 도면이다.

도 11은, 직선 근사한 Δ

곡선의 구성 예를 나타낸 도면이다.

도 12는, 애퍼추어(aperture) 보상함으로써, 고휘도의 해상 특성을 보충하도록 구성된 화상신호처리장치의 구성 예를 나타낸 도면이다.

도 13은, 레벨 검출부(16)의 출력 특성을 나타낸 도면이다.

도 14는, 휘도신호에 대하여 애퍼추어 보상에 의한 고역보상을 실시했을 경우의 고휘도의 해상 특성을 설명하기 위한 도면이다.

도 15는, RGB

보정부(9)에 의한 최종적인 255계조 압축 출력의 특성을 나타낸 도면이다.

도 16은, 정지화상 촬영시만 고감도용 계조 변환을 적용하는 화상신호처리장치의 구성 예를 나타낸 도면이다.

도 17은, 포화 신호량(최대 출력) 500mV의 CCD 센서출력에 대하여 10비트에서 AD변환을 행하는 경우에, ISO100에서 500mV를 1023 계조로 하여 신호진폭의 상 한까지 모두 사용하는 모습을 나타낸 도면이다.

도 18은, ISO200에서는 포화 전하량의 반을 신호진폭의 상한으로 설정하고, 센서출력 250mV를 1023 계조로 하여 입력신호를 사용하는 모습을 나타낸 도면이다.

도 19a는, ISO100, ISO200, ISO400의 감도별 Y휘도신호 출력 종합

특성을 나타낸 도면이다.

도 19b는, 저역에서는 ISO100

곡선을 사용하는 동시에,

1／2.2 곡선과 교차하는 이후의 고역에서는

1／2.2 곡선을 사용한, 화면 만들기용의 ISO200 400 RGB

곡선을 나타낸 도면이다.

도 20은, ISO400 설정시에 휘도신호의 출력 비트 길이를 조정하기 위한 Δ

보정 곡선의 구성 예를 나타낸 도면이다.

〈도면의 주요부분에 대한 부호의 설명〉

1. CCD 센서 2. CDS(Correlated Double Sampling)회로

3. AD변환기 4. AGC(Automatic Gain Control)

5. AWB(Auto White Balance) 8. 디모자이크 처리부

9. RGB

보정부 10. Y매트릭스 계산부

11. C매트릭스 계산부 12. Δ

보정부

13. 히스토그램 검파부 14. Δ

테이블 생성부

15. 하이패스·필터 16. 레벨 검출부

본 발명은, 상기 과제를 참작하여 이루어진 것이며, 피사체의 촬상화상에 근거하여 소정의 출력 비트 길이의 휘도신호 및 색차신호를 출력하는 화상신호처리장치이며,

피사체를 촬상한 화상신호를 입력하는 화상신호 입력수단과,

입력한 화상신호의 다이나믹·레인지를 확장하는 증폭수단과,

이 다이나믹·레인지가 확장된 화상신호에 근거하여 RGB신호를 산출하는 수단과,

이 RGB신호에 대하여 RGB

보정을 행하고, 상기 출력 비트 길이보다도 비트 확장한 신호로서 출력하는 RGB

보정수단과,

상기 RGB

보정수단에 의해 비트 확장된 RGB신호에 근거하여 휘도신호 및 색차신호를 산출하는 변환수단과,

이 산출된 휘도신호의 출력 레벨이 상기 출력 비트 길이에 들어가도록 비선형 보정을 행하는 비선형 보정수단을 구비하는 것을 특징으로 하는 화상신호처리장치이다.

본 발명은, CCD 등의 고체촬상소자를 이용하여 디지털 화상을 촬상하는 촬상장치에 있어서, 고체촬상소자로부터 얻어진 화상신호에 근거하여, 적절한 다이나믹·레인지로 휘도신호와 색차신호(Y／Cr／Cb 등)를 출력하는 화상신호처리장치에 관한 것이다.

디지털 카메라로 불리는 이런 종류의 촬상장치는, 컴퓨터에 의한 화상처리나 화상관리를 행할 수 있고, 또한 필름 수명이라고 하는 문제로부터 해방된다고 하는 편리성이 있다. 최근에는, 미세화 기술의 진전에 의해 고체촬상소자의 화소수가 비약적으로 증가하고, 해상도는 은염 사진에 육박하지만, 포화 전하량의 제약에 의해, 다이나믹·레인지 부족이나, 고휘도역에 있어서의 색 퍼짐이라고 하는 심각한 문제가 있고, 색재현성의 점에서는 은염 사진에는 미치지 않는다.

이것에 대하여, 본 발명에 관계되는 화상신호처리장치는, 디지털 카메라를 최저 ISO 감도보다 높은 ISO 감도 설정으로 했을 때에는, 노광량을 표준 노광보다 낮게 설정하므로 포화 전하량에 이르기까지의 여유가 커진다고 하는 점에 착안하여, ISO 감도 설정을 고감도로 전환하여 게인 업 했을 경우라도, 사용 신호진폭의 상한을 바꾸지 않고, 게인 업에 의하여 생기는 고체촬상소자의 고휘도측의 출력 레인지를 포함하는 다이나믹·레인지가 넓은 RGB신호를 입력하고, 포화 전하량에 이르기까지의 영역을 유효하게 사용하도록 구성되어 있다.

구체적으로는, 최저 감도의 ISO100에 있어서 CCD 센서의 포화 전하량 500mV를 AD변환 출력의 해상도인 10비트(1023 계조)로 할당하고 있는 경우에, ISO200으로 설정하여 게인 업 했을 경우라도, 포화 전하량 500mV를 AD변환 출력의 해상도인 10비트(1023 계조) 그대로 하고, 센서출력이 250mV를 넘는 신호를 RGB

보정 레벨(비트 길이) 확장한 다음, 후단의 처리로 보내도록 하고 있다.

본 발명에 관계되는 화상신호처리장치에 의하면, RGB

보정처리의 출력 레벨(비트 길이)을 확장하고 나서 휘도신호와 색차신호를 만든다. RGB

보정 출력 의 비트 길이를 확장하는 것으로, 이상적인

곡선에 가까운 특성을 가지는 RGB

보정을 행할 수 있다. 구체적으로는, RGB

보정 출력을 9비트 가지는 것으로, 색차신호에는

^1/2.2나 sRGB

에 가까운 특성으로 색차신호를 작성한다.

이 경우, 비트 확장된 RGB

출력을 색차 변환하는 과정에서 색차신호에 대하여 클립이 걸리지만, 지수승(

)(

^1/2.2)에 의한 9비트의 RGB

보정 출력으로부터 8비트의 색차신호를 만듬으로써, 지수승(

)으로 올라 있는 상위 비트 확장으로 색차 매트릭스·클립이 걸리기 어려워지기 때문에, 고휘도 영역에서 색차 클리핑이나 색 퍼짐을 큰폭으로 개선할 수 있다.

또, 휘도신호에 관해서는, 출력해야 할 8 비트 길이 즉 255계조에 들어갈 수 있도록, 비선형 보정수단이 전단의 RGB

보정에 대한 Δ

보정과 어떤 위치에 놓여지는 비선형 처리를 가하는 것으로, 다이나믹·레인지의 넓은 휘도신호를 확보할 수 있다.

상기 RGB

보정수단은, 저감도 설정시에는 RGB

보정은 종래와 같은 비트 길이로 출력하고, 게인 앰프로부터 확장한 상위 비트는 사용하지 않기 때문에, 상기 출력 비트 길이에 맞춘 출력을 행하는 저감도용 RGB

곡선을 적용한다. 한편, 고감도 설정시에는, 저휘도에서 중휘도까지는 상기 저감도용 RGB

곡선에 따름으로써, 저감도 설정시의 촬영화상과 콘트라스트를 일치시킨다. 또, 고휘도역에서는 지수승(

)에 따르는 곡선을 가지는 고감도용 RGB

곡선을 적용하고, 상기 출력비 트 길이보다도 비트 확장한 신호를 출력하는 것으로, 상술한 바와 같이, 고휘도역에서의 대폭적인 빛깔 억압과 다이나믹·레인지의 확대를 실현할 수 있다.

또, 상기 Δ

보정수단은, 예를 들면, RGB

곡선으로 저휘도에서 중휘도까지의 화면 만들기

곡선으로 구성되는 영역에서는 Δ

보정 입력을 그대로 Δ

보정 출력으로 하는 직선 모양으로 한다. 한편, 화면 만들기

곡선으로부터

^1/2.2 곡선으로 갈아타는 장소를 기준으로 하고, 그 이후의 고휘도역에서 255계조에 들어가도록 압축하는 곡선으로 이루어지는 Δ

곡선을 이용하고, 휘도신호의 계조 변환을 행함으로써, 고휘도부의 계조를 유지한 채로 다이나믹·레인지를 확보할 수 있다.

이 경우, 저휘도~중휘도역에서는 저감도 설정시와 콘트라스트를 일치시킬 수 있지만, 고휘도역에서만 계조 압축을 행하기 때문에, 이 영역에서 계조가 부족하여 휘도 재현성이 열화 한다. 예를 들면, 고휘도 부분이 많이 포함되는 촬상화상에 있어서는, 그 영향이 나타나는 것이 염려된다.

그래서, 상기 Δ

보정수단은, Δ

곡선(비선형 보정 곡선)을 임의로 당기는 것으로, 휘도신호의 다이나믹·레인지 압축과 동시에 휘도신호 계조의 개선을 도모하도록 해도 좋다. 구체적으로는, 휘도신호를 히스토그램 검파하여 히스토그램이 집중하는 휘도역을 판별하는 히스토그램 검파 수단과, 히스토그램이 집중하는 휘도역에 있어서의 계조 압축의 정도를 완화하도록 적응적으로 Δ

곡선을 생성하는 Δ

곡선 생성수단을 더 갖춘다. 상기 Δ

보정수단은 상기 Δ

곡선 생성 수 단으로부터 공급되는 Δ

곡선에 따라서 휘도신호의 계조 변환을 행하도록 한다. 이 경우, 고휘도 부분에 히스토그램이 집중하고 있는 화상에서는, 고휘도 측에 계조 특성을 가진 Δ

곡선으로 수정하는 것으로, 고휘도의 계조 특성을 개선할 수 있다.

한편, 고감도용의 계조 변환을 행하는 경우에는, 통상의 RGB

테이블에 가세하고, Δ

보정에 사용하는 Δ

테이블을 장비해야하며, 회로 규모의 증대를 초래하게 된다. 그래서, 상기 Δ

보정수단은, RGB

곡선으로 저휘도에서 중휘도까지의 화면 만들기

곡선으로 구성되는 영역에서는 Δ

보정 입력을 그대로 Δ

보정 출력으로 하는 직선 모양으로 하는 동시에, 화면 만들기

곡선에서

^1/2.2곡선으로 갈아타는 장소를 기준으로 하여 이후의 고휘도역에서 255계조에 들어가도록 직선 근사 된 Δ

곡선을 이용하여 휘도신호의 계조 변환을 행하도록 해도 좋다. 이 경우, Δ

테이블을 참조하지 않고, 간단한 함수 계산에 의해 휘도신호의 계조 변환을 행할 수 있으므로, 회로 규모를 삭감할 수 있다.

또, 본 발명과 같이 넓은 다이나믹·레인지 신호를 출력 포맷의 8비트에 계조 변환하면, 고휘도측에서의 계조감이 부족하다고 하는 문제가 있다. 이것에 대하여는, 예를 들면 애퍼추어 보상함으로써, 고휘도의 해상 특성을 보충할 수 있다.

구체적으로는, 본 발명에 관계되는 화상신호처리장치는, 상기 RGB

보정수단에 의한 RGB

보정전의 G신호나

보정전의 RGB신호로부터 만든 휘도신호, 또는

변환 출력신호로부터 산출한 휘도신호의 어느 하나 또는 양쪽 모두로부터 고역신 호를 얻는 하이패스·필터와 Δ

보정한 후 또는 전의 휘도신호(Y)를 입력하고, 예를 들면 Δ

곡선이 직선에서 계조 압축되는 곡선으로 전환하는 변화점을 넘는 부분을 검출하고, 변화점 이하의 부분에서는 게인치를 0으로 하고, 변화점을 넘는 부분에서는 휘도신호레벨에 따른 게인치 0~1을 출력하는 휘도신호레벨 검출 수단을 또한 갖춘다. 그리고, 상기 하이패스·필터의 출력과 상기 레벨 검출부 수단으로부터의 게인치를 곱셈함으로써, 고역보상 신호를 생성하고, 이것을 Δ

보정 후 또는 Δ

보정하기 전의 휘도신호에 가산한다. 이것에 의하여, 고휘도역에서의 엣지 부분을 휘도신호에 중첩할 수 있고, 고휘도에서의 해상도 특성을 보상한다.

본 발명에 관계되는 화상신호처리장치를 디지털 카메라에 탑재하는 것으로, 감도 설정마다 적정한 고체촬상소자의 출력신호레벨을 설정하고, 고체촬상소자가 본래 가지는 출력 레인지를 유효하게 사용함으로써 다이나믹·레인지를 넓게 하는 동시에, 포화 전하량 부근에서의 색 퍼짐을 저감 하는 것이 가능해진다.

단, RGB

보정 출력을 비트 확장하여 휘도신호에 대하여 한층 더 Δ

보정을 건다고 하는 고감도용 계조 변환은, 통상의 계조 변환에 비해 시스템 제어 부하가 높아진다. 그래서, 화상신호처리장치가 촬상장치에 탑재되는 경우에는, 상기 정지화면 촬영 모드하에서는 Δ

보정수단에 의해 상기 출력 비트 길이에 들어가도록 계조 변환된 휘도신호를 출력하고, 상기 모니터링·모드하에서는 상기 색변환수단에 의해 작성된 휘도신호를 직접 출력하는 선택 출력 수단을 한층 더 갖추도록 해도 좋다.

이와 같은 경우, 디지털 카메라가 모니터링·모드하에서는, Δ

보정이 적용되지 않고, 출력되는 휘도신호는 255계조로 클립 되어 고휘도 부분의 정보가 빠져 버리지만, 화상 보존하는 것은 아니기 때문에, 시스템 제어 부하의 저감을 우선해도 특별히 문제는 없다.

이하, 도면을 참조하면서 본 발명의 실시형태에 대하여 상세히 풀이한다.

도 1에는, 본 발명의 일실시형태에 관계되는 화상신호처리장치의 구성을 나타내고 있다. 동(同)장치는, 고체촬상소자 등에서 얻어진 화상을 신호처리하여 얻어지는 RGB 화상신호에 근거하고, 휘도신호와 색차신호(Y／Cr／Cb 등)를 출력하는 것이다. 도시의 예에서는, ISO100 즉 최저 ISO 감도로 설정했을 경우의 동작을 행하기 위한 기능적 구성을 나타내고 있다.

센서(1)는, CCD 등의 고체촬상소자가 이용된다. 광전 변환 효과를 가지는 각 화소가 2차원으로 배열되며, 수광측에는 예를 들면 G체크 무늬 RB색코딩 단판이 배치되어 있다. 각 색필터를 통한 입사 광량에 대응하는 신호 전하가 각 화소에 축적되며, 각 화소로부터 읽어내지는 3색의 각 신호 전하량으로부터 그 화소 위치에 있어서의 입사광의 색을 재현할 수 있다.

센서(1)로부터의 화소 신호는, CDS(Correlated Double Sampling)회로(2)에서 CCD센서(1)로부터 받는 신호의 저잡음을 고정밀도로 억압한 후, AD변환기(3)에 의해 디지털 신호로 변환한다. 또한 AGC(Automatic Gain Control：자동이득제어회로)(4)에 의해 적정한 게인·컨트롤을 걸은 후에, AWB(Auto White Balance)(5)에 의해 화이트 밸런스·게인을 걸어 적정한 색상태를 재현하고, 디모자이크 처리 부(8)에 의해 RGB 화면 신호를 작성한다.

RGB

보정부(9)에서는, RGB신호를 모니터 등으로 촬영화상을 출력할 때에 계조를 올바르게 재현시키기 위해서 계조 변환을 행한다. CCD 센서(1)의 출력에 대해 10비트로 AD변환을 행해지고 있는 경우, 10비트(즉 1023 계조)의 RGB 화상신호를

보정에 의하여 8비트(즉 255계조)로 할당한다.

그 후, Y매트릭스 계산부(10) 및 C매트릭스 계산부(11) 각각으로, RGB 화상신호를 휘도신호와 색차신호(Y／Cr／Cb)로 색공간변환 하고, 부호화기(도시하지 않음)에서 JPEG 압축하여 기록 미디어(도시하지 않음)에 데이터 보존된다.

평균적인 피사체의 노광량에서 CCD의 포화 레벨까지의 여유가 없는 것이 현상이기 때문에, 최저 ISO 감도에서는 CCD의 포화 레벨을 표준 게인 즉 ISO100에 있어서의 사용 신호진폭이 상한 되어 있다. 예를 들면, ISO100에서는 500mV를 1023 계조로 하여 모두 사용하고 있다(도 17을 참조). 그리고, 이 1023 계조의 RGB 화상신호를, 출력 포맷인 JPEG에 적합하도록

보정에 의하여 255계조로 할당한다. 이 경우, 포화 전하량 500mV의 CCD 센서에 대하여, ISO100에서는 포화 전하량에 설정된 1023 계조를 넘는 데이터는 사용할 수 없다(도 2를 참조).

한편, 최저 ISO 감도보다 높은 ISO 감도 설정에서는, CCD의 출력으로 사용하는 신호량을 게인 업 분만큼 줄임(좁아짐)으로써, 고감도를 실현하고, 노출 보정으로는 충분한 감도가 얻어지지 않는 저조도 피사체의 촬영이 가능해진다. 노광량을 표준 노광보다 낮게 설정하므로, 포화 전하량에 이르기까지의 여유가 많아지는 한 편, 종래는, 게인 업 분만큼 사용 신호진폭의 상한을 저하시키고 있었기 때문에, 이 상한에서 포화 전하량까지는 미사용의 영역으로 되어 있었다. 예를 들면, ISO200에서는 그 반의 센서출력 250mV를 1023 계조로 하고 있고(도 18을 참조), CCD 최대출력 즉 포화 전하량의 반 밖에 사용하고 있지 않다. ISO200에서는 사용 신호진폭의 상한 250mV를 넘는 신호는 CCD 센서출력으로서는 유효함에도 불구하고, 1023 계조로 클립 하여 더 이상의 계조를 사용하지 않는 것이 일반적이었다.

이것에 대해, 본 실시형태에서는, ISO 감도 설정을 바꾸어 게인 업 했을 경우라도, 사용 신호진폭의 상한을 바꾸지 않고, 포화 전하량에 이르기까지의 영역을 유효하게 사용함으로써, 다이나믹·레인지를 펼치기로 했다. 구체적으로는, 도 3에 나타내는 바와 같이, ISO200으로 설정하여 게인 업 했을 경우라도, 포화 전하량 500mV를 AD변환 출력의 해상도인 10비트(1023 계조) 그대로 하고, 250mV를 넘는 신호를 RGB

보정 레벨(비트 길이) 확장하여 보내고, 비선형 처리 및 그 이후의 처리를 적절히 설정하는 것으로, 다이나믹·레인지를 개선하는 동시에 색 퍼지는 것을 저감할 수 있고, 보다 양호한 화상을 얻는 것이 가능하게 된다.

도 4에는, 본 발명에 관계되는 화상신호처리장치가 ISO200로 설정했을 경우의 동작을 행하기 위한 기능적 구성을 나타내고 있다. G체크 무늬 RB색코딩 단판카메라에 있어서, CCD 센서(1)의 출력신호를 CDS 처리 후에 AD변환하여 디지털 신호를 얻는 부분은, 도 1에 나타낸 구성과 같다.

도 5에는, AGC(4)의 게인 앰프의 입출력 예를 나타내고 있다. ISO100의 설정에서는, AD변환기(3)로부터의 1023 계조의 입력을 ×1(즉 스루)하여 1023 계조로 출력한다. 한편, ISO200로 설정했을 경우, 1023 계조의 입력(도 5a를 참조)에 대하여 ISO 감도 업 분에 상당하는 6dB를 건 후, 종래와 같이 1023 계조로 클립 하지 않고, ＋6dB 분의 2047 계조라고 하는 넓은 레인지로 출력하고(도 5b를 참조), 후단의 RGB

보정까지 다이나믹·레인지의 넓은 신호를 보낸다.

도 4에 나타낸 구성에 의하면, RGB

보정처리의 출력 레벨(비트 길이)을 확장한 다음에 휘도신호와 색차신호를 만들 수 있다. 이 경우, 색차신호는 종래의 RGB

보정에 의한 클립이 없어짐으로써, 다이나믹·레인지로 색 퍼짐이 개선된다. 또, 휘도신호에 관해서는, 출력 포맷인 255계조에 넣을 수 있도록, 비선형 처리(본 명세서에서는, 「Δ

보정」이라고도 부른다)를 실시함으로써, 다이나믹·레인지의 넓은 휘도신호를 얻을 수 있다. Δ

보정의 상세에 대해서는 후술한다.

ISO100 설정시와 비교하여, ISO200 설정시에 있어서의 신호처리의 주된 상위는, 이하의 점이다.

(1)게인·컨트롤·앰프 이후의 신호레벨을 확장하고, 신호처리의 후단에 다이나믹·레인지가 넓은 신호를 전송한다.

(2)RGB

커브의 특성이 상위하고,

보정 출력신호의 비트 길이가 보다 길다.

(3)휘도신호에 Δ

보정을 실시하고, 신호처리 비트 길이가 상위하다.

색 퍼짐 및 색다이나믹·레인지에 대하여는, 비트 확장된 RGB

출력을 색 차이 변환하는 과정에서 색차신호에 대하여 클립이 걸리지만, 충분한 RGB

출력 레벨을 가짐으로써, 대폭적인 색 퍼짐 억압과 다이나믹·레인지의 확대를 실현할 수 있다.

도 5에서는, 최저 ISO 감도 100에서 150％의 다이나믹·레인지 설정에 대하여, 증감 모드로서 ISO200에서 다이나믹·레인지를 300％의 2047 계조로 확장한 예를 들었다. 그러나, 이론적으로는, ISO400에서 600％의 4095 계조, 이후 마찬가지로, ISO800에서 8191 계조, ISO1600에서 16383 계조라고 하는 상태로, 고감도로 다이나믹·레인지의 개선이 가능해진다. 또한, 여기서 말하는 다이나믹·레인지 100％란, 입력 683에 대하여 출력 255가 있는 경우이다.

RGB

보정부(9)에서는, ISO200의 경우, 게인 앰프(4)로부터의 11비트(=2047)의 RGB 화상신호 입력의 계조 변환을 행한다. 통상의 RGB

보정 곡선의 출력은 8비트이며, 지금부터 아래 식에 따라서 휘도신호와 색차신호를 산출한다.

Y = 0.3R + 0.59G + 0.11B …(1)

R-Y = 0.7R - 0.59G - 0.11B …(2)

B-Y = - 0.3R - 0.59G + 0.89B …(3)

RGB

곡선은

^1/2.2(지수승(

))나 sRGB

가 이상적이다. 그러나, 출력 레벨을 8비트 길이로 일치시키는 경우, 실제로 화면 만들기 위해서 사용하는

곡선(이하에서는, 「화면 만들기

」라고도 부른다)은 여기에서 일탈하는 경우가 많다. 그런데, 이상적인

곡선으로부터 실제의 화면 만들기

곡선의 특성이 빗나 가는 결과로서, 휘도 계조 표현 부족이나 색차신호 헐레이션, 색 퍼짐 등의 부작용이 생긴다.

도 6에는, 텔레비젼 등에 있어서 이상적으로 되는

^1/2.2 곡선과 화면 만들기

곡선을 예시하고 있다. 단,

^1/2.2 곡선을 점선으로 나타내고, 화면 만들기

곡선을 실선으로 나타내고 있다. 도시의 설정의 경우, 신호입력 "1023"에 대하여(즉, 다이나믹·레인지 150％로 하고)

^1/2.2를 빼면, 출력은 8비트의 255계조에는 들어가지 않고, 305 계조까지 사용해 버린다. 이것에 대하여, 중휘도역에서의 콘트라스트간이나 고휘도역에서의 계조를 고려하여 "255"출력에 맞춘 화면 만들기

곡선을 설계하게 된다. 이 결과, 고휘도 계조는 어떻게든 입력신호 레벨 분만큼 확보할 수 있지만,

^1/2.2에서 빗나가기 때문에, 색차신호 헐레이션이나 색 퍼짐이 관찰된다. 이 부작용을 억압하기 위하여 휘도신호레벨에서 보고 색수차를 없애는 시스템이 고안되고 있지만, 탈색되므로 화상 헐레이션을 일으키고 있는 것처럼 보여 버린다고 하는 문제를 일으킨다. 일반적으로, 지수승에서

곡선이 빗나가면, 색 퍼짐이 발생한다.

그런데, 본 실시형태에서는, RGB

보정 출력을, 최종단(본 화상신호처리장치의 출력시)에 있어서의 출력 비트 길이보다 비트 확장하는 것으로 이상적인

곡선에 가까운 특성을 가지는 RGB

보정을 행하고, 색변환 처리전에서의 색 퍼짐의 요인을 없애도록 했다. 구체적으로는, RGB

보정부(9)에서는, 예를 들면 ISO200 의 경우, 출력을 9비트 가짐으로써, 색차신호에는

^1/2.2나 sRGB

에 가까운 특성으로 색차신호를 작성할 수 있다. 또, 휘도신호(Y)에 관해서는, 후단의 Δ

보정부(12)에 의해 적당 계조 압축하여 8비트의 출력신호를 얻는다.

계속하여, RGB

보정부(9)가 사용하는 RGB

곡선의 구성 방법에 대하여 설명한다.

도 7에는, 11비트의 게인 앰프 출력을 입력으로서 9비트를 출력하는 RGB

곡선의 구성 예를 나타내고 있다. 최저 ISO 감도 100에서 150％ 다이나믹·레인지(1023 계조) 설정으로 하고, ISO200에서는 300％ 다이나믹·레인지(2047 계조)를 확보하도록 구성되어 있다.

감도 모드가 ISO100로 설정되어 있는 경우에는, 1023까지밖에 신호입력이 없기 때문에, 1023 계조의

입력에 대하여 RGB

보정부(9)는 종래와 같은 255계조로

출력한다(도 7중의 일점 쇄선을 참조). 이 경우, 게인 앰프(4)로부터 확장한 상위 비트는 사용하지 않으므로(즉 1023에서 클립 한다), 휘도신호에 대한 Δ

보정은 불필요하게 된다(도 1을 참조).

이것에 대하여, 감도 모드가 ISO200로 설정되어 있는 경우에는, 도 5에 나타내는 바와 같이, 전단(前段)의 AGC3에서 게인 업에 의해 비트 확장되어 있기 때문에, ISO100일 때(150％ 다이나믹·레인지를 상정)의 2배, 즉 300％의 다이나믹·레인지를 가진 신호가 RGB

보정부(9)로의

입력으로 된다. 이 입력신호에 대해서는, RGB

보정부(9)는, 출력이 8비트에서 1비트 확장된 9비트로 되도록 RGB

곡 선으로 계조 변환을 건다. 도 7중에 있어서 실선으로 나타내는 바와 같이, 고휘도 영역에서는, RGB

곡선으로서 예를 들면, ^1/2.2를 사용함으로써, 색 퍼짐을 저감하는 동시에, 다이나믹·레인지를 확보하고 있다. 또, 저휘도에서 중휘도까지는, ISO100와 같은 화면 만들기

곡선을 사용하여, 콘트라스트를 일치시킨다.

도 7에서 나타내는 바와 같이 비트 확장한 ISO200용의 RGB

보정 곡선은, 입력신호레벨로 100％전후, 즉, 화면 만들기

곡선과

^1/2.2가 교차하는 개소에서, 화면 만들기

곡선에서

^1/2.2 곡선으로 갈아타고 있다. 그리고, 이 고감도 모드의 RGB

보정에서는, 2047 계조로 이루어지는 300％의 다이나믹·레인지를 가지는

입력을 419 계조의

출력으로 변환하고 있다. 도 7에 나타낸 바와 같이 특성을 가지는 RGB

테이블은, 예를 들면 ROM(Read Only Memory)에 격납하여 보관 유지되어 있다.

RGB

보정부(9)에 의한 9비트 출력은, 후단의 Y매트릭스 계산부(10) 및 C매트릭스 계산부(11)에 보내지며, 색변환 처리가 실시된다. 휘도신호(Y)는, 위의 식(1)의 연산 결과로서 9비트 출력으로 된다. 계속하여 Δ

보정부(12)에서는, 이 9비트의 휘도신호를 출력 포맷의 8비트로 압축한다. 이것에 의해, RGB

보정 출력을 최대한으로 살리고, 휘도 계조를 확보할 수 있다.

도 8에는, Δ

보정 곡선의 구성 예를 나타내고 있다. ISO100에서는, 상술한 바와 같이 다이나믹·레인지의 확장이 행해지지 않는다. 따라서, 도 8중의 파 선으로 나타내는 바와 같이, 8비트의 Δ

보정 입력을 그대로 Δ

보정 출력으로 한다. 즉, 이 경우의 Δ

보정 곡선은 직선이 된다.

한편, ISO200에서는, 도 7에 나타낸 바와 같이 RGB

보정 출력은 419 계조이기 때문에, 이것에 Δ

보정을 걸어 출력 포맷의 8비트로 압축할 필요가 있다. 도 8에 나타낸 Δ

곡선은, RGB 곡선으로 저휘도에서 중휘도까지의 화면 만들기

곡선으로 구성되는 영역에 관해서는, Δ

보정 입력을 그대로 출력하는 직선형으로 하지만, 고휘도역에서는 255계조에 들어가도록 압축하는 곡선을 그리고 있다. 이것에 의하여, 고휘도부의 계조를 유지한 채로 다이나믹·레인지를 확보할 수 있다. 여기서 말하는 고휘도역이란, RGB

곡선에 있어서, 화면 만들기

곡선에서

^1/2.2 곡선으로 갈아타는 개소(도 7을 참조)를 기준으로 하고, 그 이후의 휘도 영역을 가리킨다. 도 8에 나타낸 바와 같은 특성을 가지는 Δ

테이블은, 예를 들면 ROM에 격납하여 보관 유지되어 있다.

여기서, RGB

보정부(9)의 출력이 8비트에서 1비트 확장된 9비트가 되는 경우의 효과의 일례로서 황색의 신호처리(황색은 R：G：B=1：1：0)를 들고, 실제의 계조 레벨의 계산 결과를 이하의 표로 정리했다. RGB

입력 150 레벨은 종래 예(8비트)와 본 실시형태(9비트)와 같은 레벨 출력으로 된다. 그렇지만, 입력 레벨이 900,1500,2000으로 커짐에 따라서, 종래 예에서는

출력은 (R－Y)=28, (B－Y)=－227에 붙어 색차에 변화가 없어진다. 이것에 대하여, 본 실시형태에서는, 입력신호가 900에서 (B－Y)는 255에 붙지만, (R－Y)출력은 붙지 않고 선형적으로 증 가해 가고, 이 결과로서 색 퍼짐을 억제할 수 있다.

도 8에 나타낸

곡선을 이용하여 휘도신호의 계조 변환을 행했을 경우, 저휘도~중휘도역에서는 ISO100 설정시와 콘트라스트를 일치시키지만, 고휘도역에서만 계조 압축을 행하기 때문에, 이 영역에서 고휘도 계조가 부족하다. 예를 들면, 고휘도 부분이 많이 포함되는 촬상화상에 있어서는, 그 영향이 나타나는 것이 염려된다.

그런데, Δ

보정부(12)에서는, Δ

곡선을 임의로 당김으로써, 휘도신호의 다이나믹·레인지 압축과 동시에 휘도신호 계조의 개선을 도모하도록 해도 좋다. 예를 들면, 고휘도 부분이 집중하고 있는 화상에서는, 고휘도 측에 계조 특성을 가진 Δ

도 9에는, Δ

곡선을 임의로 당기도록 구성된 화상신호처리장치의 구성 예를 나타내고 있다. 히스토그램 검파부(13)는, Y매트릭스 계산부(10)에서 출력되는 휘도신호(Y)를 히스토그램 검파하고, 히스토그램이 집중하는 휘도역을 판별한다. Δ

곡선 생성부(14)에서는, 히스토그램이 집중하는 휘도역에 있어서의 계조 압축의 정도를 완화하도록 적응적으로 Δ

곡선을 생성하고, 이것을 Δ

테이블로서 Δ

보정부(12)에 공급한다.

도 10에는, 히스토그램 검파부(13) 및 Δ

테이블 생성부(14)에 의하여 작성되는, 휘도역 전체에 걸쳐서 계조 압축하도록 하고 고휘도역에서의 계조 개선을 도모한 Δ

곡선의 구성 예를 실선으로 나타내고 있다. ISO200 설정시에는, 419 계조인 RGB

보정 출력을 Δ

입력으로서 이것에 Δ

보정을 걸어 출력 포맷의 8비트로 압축하지만, 도 8에 나타낸 Δ

곡선과는 상위하고, 고휘도부 뿐만 아니라, 저휘도~중휘도역도 포함하여 계조 압축하고, 한편 중휘도역과 고휘도역을 매끄러운 곡선으로 연결하고 있다.

한편, 고감도용의 계조 변환을 행하는 경우에는, 통상의 RGB

테이블에 부가하여, Δ

보정부(12)에서 사용하는 Δ

테이블을 장비해야하고, 회로 규모의 증대를 초래하게 된다. 그래서, 도 8에 나타낸 바와 같은 Δ

곡선을 도 11중의 실선으로 나타내는 바와 같이 직선 근사 특성으로 옮겨놓으면, Δ

보정부(12)에서는, Δ

또, 본 실시형태와 같이 넓은 다이나믹·레인지 신호를 출력 포맷의 8비트로 계조 변환하면, 고휘도측에서의 계조감이 부족하지만, 예를 들면 애퍼추어 보상함으로써, 고휘도의 해상 특성을 보충할 수 있다. 도 12에는, 이 경우의 화상신호처리장치의 구성 예를 나타내고 있다.

RGB

보정전의 G신호, 또는 Y매트릭스부(10)에 의해 만들어진 RGB 화상신호에서 휘도신호(Y)의 어느 하나 또는 양쪽 모두를 하이패스·필터(HPF)(15)에 입력하여 고역신호를 얻는다. HPF(15)는, 예를 들면, －1, 2－1 3TAP 필터 등으로 구성된다.

레벨 검출부(16)는, Δ

보정한 후의 휘도신호(Y)를 입력하고, Δ

곡선이 직선에서 계조 압축되는 곡선으로 바뀌는 변화점을 넘는 부분을 검출하고, 변화점 이하의 부분에서는 게인치를 0으로 하고, 변화점을 넘는 부분에서는 휘도신호레벨에 따른 게인치 0~1을 출력한다. 레벨 검출부(16)의 출력 특성을 도 13에 나타낸다.

그리고, HPF(15)의 출력과 레벨 검출부(16)에서의 게인치를 곱셈하여 고역보상 신호를 생성하고, 이것을 Δ

보정부(12)가 출력하는 계조 변환 후의 휘도신호(Y)에 가산하고, 최종적인 휘도신호(Y)를 얻도록 한다. 이것에 의하여, 고휘도역에서의 엣지 부분을 휘도신호로 중첩할 수 있고, 고휘도의 해상 특성을 보충할 수 있다. 예를 들면, 고휘도역에서의 엣지를 도 14a로 하면, 도 14b에 나타내는 바와 같은 고역보상 신호가 생성되며, 이들이 가산되면 도 14c에 나타내는 바와 같이 엣지 부분에서 펄스 성분을 포함하는 휘도신호가 되며, 계조 압축되어도 엣지가 남기 쉬워진다.

또한, 도 12에서는, Δ

보정부(12)의 출력에 대하여 고역보상 신호를 가산하고 있지만, Δ보정전의 휘도신호에 가산해도, 같은 효과를 얻을 수 있다.

도 15에는, RGB

보정부(9)에 의한 비트 확장한

보정 특성과(도 7을 참조), Δ

보정부(12)에 의해 휘도신호가 출력 포맷의 8비트에 들어가도록 Δ

보정하는 Δ

보정 특성(도 8을 참조)을 통합한, ISO100에 있어서의 1023 계조의

입력 및 ISO200에 있어서의 2047 계조의

입력에 대한 최종적인 255계조 압축 출력의 특성을 나타내고 있다.

동 도면에서는, ISO100 설정시의

곡선을 점선으로 나타내고 있다. 또, ISO200 설정시에 있어서 RGB

보정부(9)에 의한

출력을 일점 쇄선으로 나타내고 있다. 이미 서술한 바와 같이, RGB

곡선에 있어서, 화면 만들기

곡선에서

^1/2.2 곡선으로 갈아타는 장소를 기준으로 하고, 그 이후의 고휘도역이 Δ

압축영역이 된다. 그리고, 당해 영역에 있어서 Δ

보정에 의한 계조 변환이 행해진 결과로서, 실선으로 나타내는 최종적인 255계조 압축출력의 특성을 얻을 수 있다.

휘도신호(Y)에 관해서는, 9비트의 RGB

보정 출력에서 위의 식(1)을 기본으로 산출하고, 상술한 Δ

보정을 적용하여 출력 포맷의 8비트로 압축한다.

한편, 색차신호에 관해서는, 9비트의 RGB

보정 출력에서 위의 식(2)~(3)을 기본으로 산출하고, 그 계산 결과를 8비트에 클립 하여 색차신호로서 출력한다.

종래의 8비트

입력에 대하여 8비트

출력하는 RGB

보정에서는, 화면 만들기

곡선이 지수승(

)에서 떨어져 있는 것으로(도 6을 참조), RGB

곡선, 색 차이 매트릭스로의 클리핑에 의해, 색 퍼짐이나 헐레이션이 발생한다고 하는 문제가 있었다.

이것에 대해, 본 실시형태에 관계되는 화상신호처리에서는, 지수승(

)(

^1/2.2)에 의한 9비트의 RGB

보정 출력으로부터 8비트의 색차신호를 만드는 것으로, 지수승(

)을 타고 있는 상위 비트 확장으로 색차 매트릭스·클립이 걸리기 어려워지기 때문에, 고휘도 영역에서 색차 클리핑이나 색 퍼짐을 큰폭으로 개선할 수 있다.

상술한 바와 같은 화상신호처리장치를 디지털 카메라에 탑재하는 것으로, 감도 설정마다 적정한 고체촬상소자의 출력신호레벨을 설정하고, 고체촬상소자가 본래 가지는 출력 레인지를 유효하게 사용함으로써 다이나믹·레인지를 넓게 하는 동시에, 포화 전하량 부근에서의 색 퍼짐을 저감하는 것이 가능해진다.

단, RGB

보정 출력을 비트 확장하고 휘도신호에 대하여 한층 더 Δ

보정을 건다고 하는 고감도용 계조 변환은 통상의 계조 변환에 비해 시스템 제어 부하가 높아진다. 그래서, 정지화면 촬영시만 고감도용 계조 변환을 적용하고, 파인더 출력하는 만큼의 리얼타임·모니터링(화상 확인) 시에는 이것을 적용하지 않음으로써, 시스템 제어 부하를 저감하도록 해도 좋다.

도 16에는, 이 경우의 화상신호처리장치의 기능적 구성을 나타내고 있다. 도시하는 바와 같이, 휘도신호(Y)의 출력단에 있어서, Y매트릭스 계산부(10)의 출력, 또는 Δ

보정부(12)의 출력을 택일적으로 선택하는 선택수단을 갖추고 있고, 모니터링·모드에서는 전자를, 정지화면 촬영시에는 후자를 선택 출력하게 되어 있다. 모니터링·모드하에서는, Δ

본 발명에 의하면, 고체촬상소자 등에서 얻어진 화상신호를 적절한 다이나믹·레인지로 휘도신호와 색차신호(Y／Cr／Cb 등)로 이루어지는 화상신호로 변환할 수 있는, 뛰어난 화상신호처리장치 및 화상신호처리방법을 제공할 수 있다.

또, 본 발명에 의하면, 디지털 카메라의 감도 설정마다 적정한 고체촬상소자의 출력신호레벨을 설정하고, 고체촬상소자가 본래 가지는 출력 레인지를 유효하게 사용함으로써 다이나믹·레인지를 넓게 하는 동시에, 포화 전하량 부근에서의 색 퍼짐을 저감 할 수 있는, 뛰어난 화상신호처리장치 및 화상신호처리방법을 제공하는 것에 있다.

본 발명에 의하면, RGB

보정처리의 출력 레벨(비트 길이)을 확장하고 나서 휘도신호와 색차신호를 만들므로, 색차신호에 관해서는, 종래의 RGB

보정에 의한 클립이 없어짐으로써, 다이나믹·레인지와 빛깔이 개선된다. 빛깔 및 색다이나믹·레인지에 대해서는, 비트 확장된 RGB

출력을 색차변환하는 과정에서 색차신호에 대하여 클립이 걸리지만, 충분한 RGB

출력 레벨을 가지는 것으로, 대폭적인 빛깔 억압과 다이나믹·레인지의 확대를 실현할 수 있다. 또, 휘도신호에 관해서는, 한층 더 휘도 전용의 비선형 처리를 가해 출력해야 하는 255계조에 들어가도록 다이나믹·레인지의 넓은 휘도신호를 얻을 수 있다.

또, 휘도신호의 고감도용 계조 변환은 통상의 계조 변환에 비해 시스템 제어 부하가 높아지기 때문에, 본 발명에 관계되는 화상신호처리를 탑재한 촬영장치에 있어서는, 정지화면 촬영시만 고감도용 계조 변환을 적용하고, 파인더 출력하는 것만의 모니터링·모드시에는 적용하지 않음으로써, 시스템 제어 부하를 저감 할 수 있다.

이상, 특정의 실시형태를 참조하면서, 본 발명에 대하여 상세히 풀이했다. 그렇지만, 본 발명의 요지를 일탈하지 않는 범위에서 당업자가 이 실시형태의 수정이나 대용을 이룰 수 있는 것은 자명하다.

본 명세서에서는, NTSC(National Teleｖision System Committee) 등의 텔레비젼 신호로 일반적인

2.2를 예로 취하고

보정에 대하여 설명해 왔지만, 본 발명의 요지는 이것에 한정되는 것은 아니다. 예를 들면 sRGB나 AdobeRGB 등 다른 포맷에 있어서도 본 발명을 적용하는 것으로, 같은 효과를 얻을 수 있다.

또, 본 명세서에서는, 디지털 카메라의 고감도 모드로서 ISO200에 있어서 다 이나믹·레인지를 200％의 2047 계조로 확장한 예를 들었지만, 한층 더 ISO 감도를 올릴 때마다

곡선을 변경하고, 다이나믹·레인지를 펼칠 수 있다. 이론적으로는, ISO400에서 400％의 4095 계조, 이후 동일하게 ISO800에서 8191 계조, ISO1600에서 16383 계조라고 하는 상태로, 게인 업 분만큼 다이나믹·레인지의 개선이 가능하게 된다. 단, AGC 앰프 이후의 신호레벨을 확보하는 동시에, 보다 큰 RGB

테이블을 준비할 필요가 있다.

도 19a에는, ISO100, ISO200, ISO400의 감도별 Y휘도신호 출력 종합

특성을 나타내고 있다. 최저 ISO 감도 100에서 150％의 다이나믹·레인지 설정으로 하면, ISO400에서는 게인 업에 의해 비트 확장되어 있다. 이 때문에, ISO100 일 때 4배(600％)의 다이나믹·레인지를 가진 신호가 RGB

보정의 입력으로 된다. 이 입력신호에 대해서는, 출력이 8비트 즉 255계조에서 비트 길이가 확장된 575 계조로 되는 RGB

곡선을 건다. 그리고, 고휘도부에서

^1/2.2를 사용함으로써, 색 퍼짐을 저감하고, 다이나믹·레인지를 확보하고 있다. 또, 저휘도에서 중휘도까지는, ISO100와 같은 화면 만들기

곡선을 사용하여, 콘트라스트를 일치시킨다. 도 19b에는, 저역에서는 ISO100

곡선을 사용하는 동시에,

^1／2.2 곡선과 교차하는 이후의 고역에서는

^1／2.2 곡선을 사용한, 화면 만들기용의 ISO200400 RGB

곡선을 나타내고 있다.

그리고, 이 RGB

보정 출력에서 위의 식(1)을 기본으로 휘도신호를 산출하 지만, ISO400에서는 RGB

보정 출력은 575 계조이기 때문에, 이것에 Δ

보정을 걸어 출력 포맷의 8비트로 압축할 필요가 있다. 이 경우의 Δ

보정 곡선은, 도 20에 나타내는 바와 같이, RGB

곡선으로 저휘도에서 중휘도까지의 화면 만들기

곡선으로 구성되는 영역에 관해서는, Δ

보정 입력을 그대로 출력하는 직선형으로 하고, 화면 만들기

곡선에서

^1/2.2 곡선으로 갈아타는 장소를 기준으로 하여 이후의 고휘도역에서 255계조에 들어가도록 압축하는 곡선을 그리고 있다. 이것에 의하여, 고휘도부의 계조를 유지한 채로 다이나믹·레인지를 확보할 수 있다.

요컨데, 예시라고 하는 형태로 본 발명을 개시했으므로, 본 명세서의 기재 내용을 한정적으로 해석해서는 안 된다. 본 발명의 요지를 판단하기 위해서는, 청구의 범위의 기재를 참작해야 한다.

Claims

피사체의 촬상화상에 근거하여 소정의 출력 비트 길이의 휘도신호 및 색차 신호를 출력하는 화상신호처리장치이며,

피사체를 촬상한 화상신호를 입력하는 화상신호 입력수단과,

입력한 화상신호의 다이나믹·레인지를 확장하는 증폭수단과,

이 다이나믹·레인지가 확장된 화상신호에 근거하여 RGB신호를 산출하는 수단과,

이 RGB신호에 대하여 RGB
보정을 행하고, 상기 출력 비트 길이보다 비트 확장한 신호로서 출력하는 RGB
보정수단과,

상기 RGB
보정수단에 의해 비트 확장된 RGB신호에 근거하여 휘도신호 및 색 차신호를 산출하는 변환수단과,

이 산출된 휘도신호의 출력 레벨이 상기 출력 비트 길이에 들어가도록 비선형 보정을 행하는 비선형 보정수단을 구비하는 것을 특징으로 하는 화상신호처리장치.
제 1항에 있어서,

상기 화상 입력 수단은 고체촬상소자에 의해 촬상된 화상신호를 입력하고, 이 입력되는 화상신호의 감도를 설정하는 감도설정수단을 한층 더 갖추고,

다이나믹·레인지가 확장된 화상신호는, 상기 감도설정수단에 의한 고감도 설정시에 있어서의 게인 업에 의해 생기는 고휘도측의 출력 레인지를 포함하는 것을 특징으로 하는 화상신호처리장치.
제 1항에 있어서,

상기 RGB
보정수단은,

상기 감도설정수단에 의한 저감도 설정시에는 상기 출력 비트 길이에 맞춘 출력을 행하는 저감도용 RGB
곡선을 적용하고,

상기 감도설정수단에 의한 고감도 설정시에는, 저휘도에서 중휘도까지는 상기 저감도용 RGB
곡선에 따르는 동시에, 고휘도역에서는 지수승(
)에 따르는 곡선을 가지는 고감도용 RGB
곡선을 적용하고, 상기 출력 비트 길이보다 비트 확장한 신호를 출력하는 것을 특징으로 하는 화상신호처리장치.
제 3항에 있어서,

상기 비선형 보정수단은, RGB
곡선에 대하여, 저휘도에서 중휘도까지의 화면 만들기
곡선으로 구성되는 영역에 있어서, 상기 비선형 보정수단으로의 입력을 그대로 상기 비선형 보정수단의 출력으로 하는 직선 모양으로 하고, 화면 만들기
곡선에서 지수승(
)곡선으로 갈아타는 개소 이후의 고휘도역에 있어서는, 255계조에 들어가도록 압축하는 곡선으로 이루어지는 비선형 보정 곡선을 이용하여 휘도신호의 계조 변환을 행하는 것을 특징으로 하는 화상신호처리장치.
제 3항에 있어서,

휘도신호를 히스토그램 검파하여 히스토그램이 집중하는 휘도역을 판별하는 히스토그램 검파 수단과,

히스토그램이 집중하는 휘도역에 있어서의 계조 압축의 정도를 완화하도록 적응적으로 비선형 보정 곡선을 생성하는 비선형 보정 곡선 생성 수단을 한층 더 갖추고

상기 비선형 보정수단은 상기 비선형 보정 곡선 생성 수단으로부터 공급되는 비선형 보정 곡선에 따라서 휘도신호의 계조 변환을 행하는 것을 특징으로 하는 화상신호처리장치.
제 3항에 있어서,

상기 비선형 보정수단은, RGB
곡선으로 저휘도에서 중휘도까지의 화면 만들기
곡선으로 구성되는 영역에서는 상기 비선형 보정수단으로의 입력을 그대로 상기 비선형 보정수단의 출력으로 하는 직선 모양으로 하는 동시에, 화면 만들기
곡선에서 지수승(
)곡선으로 갈아타는 개소 이후의 고휘도역으로 255계조에 들어가도록 직선 근사 된 비선형 보정 곡선을 이용하여 휘도신호의 계조 변환을 행하는 것을 특징으로 하는 화상신호처리장치.
제 4항에 있어서,

상기 RGB
보정수단에 의한 RGB
보정전의 G신호,
보정전의 RGB신호에 근거하여 산출한 휘도신호, 또는
변환 출력신호로부터 산출한 휘도신호의 어느 것 또는 양쪽 모두로부터 고역신호를 얻는 하이패스·필터와,

비선형 보정한 후 또는 전의 휘도신호(Y)를 입력하고, 상기 비선형 보정 곡선이 직선에서 계조 압축되는 곡선으로 전환되는 변화점을 넘는 부분을 검출하고, 변화점 이하의 부분에서는 게인치를 0으로 하고, 변화점을 넘는 부분에서는 휘도신호레벨에 따른 게인치 0~1을 출력하는 휘도신호레벨 검출 수단과,

상기 하이패스·필터의 출력과 상기 레벨 검출부 수단으로부터의 게인치를 곱셈하여 고역(高域) 보상신호를 생성하고, 휘도신호에 가산하는 고휘도 해상도 특성 보상 수단을 한층 더 갖추는 것을 특징으로 하는 화상신호처리장치.
제 1항에 있어서,

정지화면 촬영 모드와 화상 확인용의 모니터링·모드를 가지는 촬상장치에 탑재하여 이용되며,

상기 정지화면 촬영 모드하에서는 상기 비선형 보정수단에 의해 상기 출력 비트 길이에 들어가도록 계조 변환된 휘도신호를 출력하고, 상기 모니터링·모드하에서는 상기 변환수단에 의해 작성된 휘도신호를 직접 출력하는 선택 출력 수단을 한층 더 갖추는 것을 특징으로 하는 화상신호처리장치.
피사체의 촬상화상에 근거하여 소정의 출력 비트 길이의 휘도신호 및 색차 신호를 출력하는 화상신호처리방법이며,

피사체를 촬상한 화상신호를 입력하는 화상신호 입력스텝과,

입력한 화상신호의 다이나믹·레인지를 확장하는 증폭 스텝과,

이 다이나믹·레인지가 확장된 화상신호에 근거하여 RGB신호를 산출하는 스텝과,

이 RGB신호에 대하여 RGB
보정을 행하고, 상기 출력 비트 길이보다 비트 확장한 신호로서 출력하는 RGB
보정 스텝과,

상기 RGB
보정 스텝에 있어서 비트 확장된 RGB신호에 근거하여 휘도신호 및 색차신호를 산출하는 변환 스텝과,

이 산출된 휘도신호의 출력 레벨이 상기 출력 비트 길이에 들어가도록 비선형 보정을 행하는 비선형 보정 스텝을 구비하는 것을 특징으로 하는 화상신호처리방법.