KR20050006424A

KR20050006424A - 색신호 처리방법 및 그 방법을 사용하는 촬상장치

Info

Publication number: KR20050006424A
Application number: KR1020030046138A
Authority: KR
Inventors: 김문철; 이상진
Original assignee: 삼성전자주식회사
Priority date: 2003-07-08
Filing date: 2003-07-08
Publication date: 2005-01-17

Abstract

색신호 처리방법 및 그 방법을 사용하는 촬상장치가 개시된다. 본 색신호 처리방법은, 촬상소자로 사용되는 CCD의 출력신호를 입력받는 단계, 출력신호에 CCD의 스펙트럼 감도 특성을 반영하여, 휘도_색차 색공간의 색신호를 산출하는 단계, 및 산출된 휘도_색차 색공간의 색신호에 대한 행렬에 LMSF 방법을 사용하여, 휘도_색차 색공간의 색신호를 RGB 색공간의 색신호로 변환하는 변환행렬을 산출하는 단계를 구비한다. 이에 의해, 색 충실도(color fidelity)를 효과적으로 상승시켜, CCD를 통해 촬영한 영상을 디스플레이 장치에서 재현하는 경우, 촬영시 피사체의 색을 거의 그대로 재현할 수 있다.

Description

색신호 처리방법 및 그 방법을 사용하는 촬상장치{Color signal processing method and photographing apparatus of using the same}

본 발명은 색신호 처리방법 및 그 방법을 사용하는 촬상장치에 관한 것으로, 더욱 상세하게는 촬상소자로 사용되는 CCD(Charge Coupled Device)를 통해 촬영한 영상을 표준 디스플레이 장치로 재현할 때, 촬영시 피사체의 색을 거의 그대로 재현할 수 있도록 색신호를 처리하는 색신호 처리방법 및 그 방법을 사용하는 촬상장치에 관한 것이다.

일반적으로 디지털 스틸 카메라(Digital Still Camera)나 디지털 비디오 카메라(Digital Video Camera)와 같은 촬상장치에서는 CCD를 촬상소자로 사용하고 있다. CCD는 촬상용 전하결합소자로서, 같은 CCD를 사용하더라도 색을 재구성하는 방법에 따라 표준 디스플레이 장치를 통해 재현되는 색은 달라지게 된다.

도 1은 모자이크 필터(Mosaic Filter)형 CCD의 포토셀(photo cell) 구성을 나타낸 도면이다. 도 1에 도시한 CCD와 같은 경우, 청록(cyan), 자홍(magenta), 노랑 (yellow), 초록(green)의 4가지 컬러 픽셀들이 모여 하나의 풀 컬러(full color)를 구성한다. 즉, 한 컬러 픽셀에 한개의 색 정보 밖에 담겨 있지 않으므로 주변 컬러 픽셀의 색 정보를 이용하여 풀 컬러를 구성하게 되며, 각 색을 포함하는 컬러 픽셀{cy(λ), ye(λ), gr(λ), ma(λ)}들의 통합된 조합을 사용하여 최종 출력 신호인 RGB 색공간의 색신호를 얻게 된다.

이를 보다 상세하게 설명하면, CCD 센서는 버티컬 시프트 레지스터 (vertical shift register)를 통해 두개의 컬러 픽셀값의 합을 출력값으로 한다. 즉, cy(λ) + gr(λ), ye(λ) + ma(λ), gr(λ) + cy(λ), ma(λ), ye(λ)+gr(λ)와 같은 형태로 출력하게 된다. 이렇게 출력된 신호를 이용하여 다음의 식에 의해 휘도_색차 색공간의 색신호인, y'(λ), cb'(λ), cr'(λ)을 생성하게 된다.

[수학식 1]에 의해 산출된 y'(λ), cb'(λ), cr'(λ) 신호는 휘도_색차 색공간을 RGB 색공간의 색신호로 변환해주는 변환행렬(Transformation Matrix) M 에 의해, ro(λ), go(λ), bo(λ)로 변환되어 출력된다.

그런데, CCD를 촬상소자로 사용하는 촬상장치에서, CCD를 통해 촬영한 영상을 표준 디스플레이장치에서 재현하는 경우, 촬영할 당시의 원 피사체의 색을 그대로 재현하는 것이 필요하다. 그러나, 일반적으로 CCD의 스펙트럼 감도 특성(spectrum sensitivity characteristics)은, 도 2에 도시한 바와 같이, 사람의 스펙트럼 감도 특성과 일치하지 않을 뿐만 아니라, 이들 사이에 선형 변환(linear transform)의 관계도 성립하지 않는다. 따라서, CCD를 통해 영상을 촬영하는 경우 근본적인 색 오류가 발생하게 된다.

종래에는 상술한 바와 같이, CCD에서 출력되는 신호에 대한 색 정보와, 이를 재현할 디스플레이 장치의 색 정보와의 단순한 산술적인 관계를 사용하여 색신호를 처리하는 방법을 사용하고 있다. 그러나, 이와 같이 색공간(color space) 만을 변환하는 단순연산을 이용하는 종래의 방법에서는 많은 색오류를 생성하게 된다는 문제점이 있다. 즉, 색오류를 감소시키기 위해서는, CCD의 스펙트럼 감도 특성과, CCD의 출력신호와 이를 재현할 디스플레이 장치간의 색신호 매칭을 위해 사용되는 CIE 표준 색 매칭 함수(CIE standard color matching function)의 스펙트럼 특성의 관계를 고려하여 색신호를 처리하는 것이 필요하다.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은, CCD의 스펙트럼 감도 특성과 CIE 표준 색 매칭 함수의 스펙트럼 특성을 고려하여 색신호를 처리함으로써 색오류를 감소시킬 수 있는 색신호 처리방법 및 그 방법을 사용하는 촬상장치를 제공함에 있다.

도 1은 모자이크 필터형 CCD의 포토셀 구성을 나타낸 도면,

도 2는 CCD의 스펙트럼 감도 특성을 나타낸 도면

도 3는 본 발명에 따른 색신호 처리방법을 사용하는 촬상장치의 일 예를 나타낸 블럭도,

도 4는 본 발명에 따른 색신호 처리방법의 설명에 제공되는 흐름도,

도 5는 본 발명에 따른 색신호 처리방법에 의해 산출된 색신호와 종래의 방법에 의해 산출된 색신호의 스펙트럼 감도 특성을 나타낸 도면, 그리고

도 6 및 도 7은 본 발명에 따른 색신호 처리방법과 종래의 색신호 처리방법의 비교 설명에 제공되는 도면이다.

* 도면의 주요 부분에 대한 부호의 설명 *

100 : 렌즈부 110 : CCD

120 : AGC부 130 : ADC

140 : DSP 150 : 프로세서부

상기 목적을 달성하기 위한 본 발명에 따른 색신호 처리방법은, (a) 촬상소자로 사용되는 CCD(Charge Coupled Device)의 출력신호를 입력받는 단계, (b) 상기 출력신호에 상기 CCD의 스펙트럼 감도 특성을 반영하여, 휘도_색차 색공간의 색신호를 산출하는 단계, 및 (c) 상기 휘도_색차 색공간의 색신호에 대한 행렬에 LMSF 방법를 사용하여, 상기 휘도_색차 색공간의 색신호를 RGB 색공간의 색신호로 변환하는 변환행렬을 산출하는 단계를 포함한다. 바람직하게는, 산출된 상기 변환행렬을 사용하여 상기 휘도_색차 색공간의 색신호를 RGB 색공간의 색신호로 변환하는 단계를 더 포함한다.

상기 (a) 단계에서는, 다음의 식을 사용하여 상기 휘도_색차 색공간의 색신호를 산출하는 것이 바람직하다.

여기서, cy(λ), gr(λ), ye(λ), ma(λ)는 상기 CCD의 상기 출력신호를 나타낸다. 또한, 상기 (c)단계에서, 상기 변환행렬은 다음의 식에 의해 산출되는 것이 바람직하다.

여기서, V^T는 V의 전치행렬, V^-1는 V의 역행렬, X는 CIE 표준 색 매칭함수를 나타낸다.

한편, 본 발명에 따른 촬상장치는, 상기한 색신호 처리방법을 사용하여, 촬상소자로 사용되는 CCD(Charge Coupled Device)에서 출력되는 신호를 처리한다.

이하에서는 도면을 참조하여 본 발명을 보다 상세하게 설명한다.

도 3은 본 발명에 따른 색신호 처리방법을 사용하는 촬상장치의 일 예를 나타낸 블럭도이다. 도 3를 참조하면, 촬상장치는, 렌즈부(100), CCD(110), AGC(Automatic Gain Control)부(120), ADC(Analog to Digital Convter)(130), DSP(Digital Signal Processor)(140), 및 프로세서부(150)를 구비한다.

렌즈부(100)는 피사체의 배율을 확대 및 축소하는 줌 렌즈, 피사체의 포커스를 맞추는 포커스 렌즈, 광량을 조절하는 조리개 등을 구비한다. CCD(110)는 촬상소자로 사용되며, 렌즈부(100)를 통해 촬상한 영상을 전기적인 신호로 광전변환한다. AGC부(120)는 CCD(110)에서 출력되는 신호의 이득을 제어한다. ADC(130)는 AGC부(120)에서 이득조절된 영상신호를 디지털 신호로 변환하여 출력한다. DSP(140)는 디지털변환된 촬상영상신호를 NTSC 또는 PAL 포맷 등의 영상신호로 인코딩하고, 본 발명에 따른 색신호 처리방법을 사용하여 입력되는 색신호를 처리하여 R, G, B 색신호를 출력한다. 프로세서부(150)는 화이트밸런스 조절을 위한 R, B 게인 제어값을 산출하여 DSP(140)에 전달하고, DSP(140)는 전달된 R, B 게인 제어값을 사용하여 출력되는 색신호의 화이트밸런스를 조절하게 한다. 프로세서부(150)는 내장 메모리에 저장된 제어프로그램에 따라 디지털 영상장치의 전반적인 동작도 제어한다. 이러한 촬상장치에서 촬상소자로 사용되는 CCD(110)는, 도 1에서 설명한 바와 같은, 모자이크 필터형 CCD가 사용된다고 가정한다.

도 4는 본 발명에 따른 색신호 처리방법의 설명에 제공되는 흐름도이다. 흐름도를 참조하면, 먼저 CCD 스펙트럼 감도 특성을 파악하고(S200), 이에 따라 휘도_색차 색공간의 색신호인, V₁, V₂, 및 V₃를 산출한다(S210). 즉, 도 1에 도시한 바와 같은 모자이크 필터형 CCD의 경우, 청록(cyan), 자홍(magenta), 노랑(yellow), 초록(green) 4개의 컬러별 스펙트럼 특성을 이용해 다음의 식과 같이 V₁, V₂, 및 V₃를 산출한다.

다음 단계에서는, 산출된 V₁, V₂, 및 V₃구성되는 행렬 V 와, CIE 표준 색 매칭 함수 X 와의 관계를 LMSF(Least Mean Squares Fit) 방법을 사용하여 근사하여 , 다음의 식과 같이 변환행렬 M을 산출한다. LMSF 방법은 정방행렬이 아닌 행렬의 역행렬을 구할 때 널리 사용되고 있는 방법으로, 가장 오차가 적은 방법을 말한다.

여기서, V^T는 V의 전치행렬, V^-1는 V의 역행렬, X는 CIE 표준 색 매칭 함수를 나타낸다.

변환행렬 M이 산출되면, 산출된 변환행렬 M 을 사용하여 다음의 식과 같이 CCD로부터 출력되어 휘도_색차 신호로 변환된 색신호를 RGB 색공간의 색신호로 변환한다(S230).

이와 같은 방법에 의해, CCD의 스펙트럼 감도 특성과 CIE 표준 색 매칭 함수의 스펙트럼 특성을 고려하여 색신호를 처리할 수 있다.

도 5는 상술한 방법에 의해 산출된 색신호와, 표준 색신호, 그리고 종래의 방법에 의해 산출되는 색신호의 스펙트럼 감도 특성을 각각 나타낸 도면이다. 도면에 나타낸 바와 같이, 본 발명에 따라 산출된의 스펙트럼 감도 특성이, 표준 색신호의 스펙트럼 감도 특성에 보다 근접함을 알 수 있다. 참고적으로 각 스펙트럼의 크기는 화이트 밸런스에 조정에 의해 보정이 가능하다.

도 6 및 도 7은 본 발명에 따른 색신호 처리방법과 종래의 색신호 처리방법의 비교 설명에 제공되는 도면이다. 여기서, 도 6는 양 방법을 비교하기 위한 수치인를 산출하는 과정을 설명하기 위한 도면이다. 그리고, 도 7은 도 6의 과정에 의해 산출된의 평균, 최대값, 및 표준편차를 도시한 도면이다.

먼저, 도 6을 참조하면, 다음의 [수학식 5], [수학식 6]. 및 [수학식 7] 및 사용하여 각각,, 및를 산출하고, 변환행렬을 사용하여,및를 산출한다.

산출된,및를 [수학식 8] 및 [수학식 9]에 각각 적용하여 본 발명에 따라 산출된 색신호에 대한와, 종래의 방법에 의해 산출된 색신호의를 각각 산출한다.

도 6은 상기한 과정을 통해 산출된,의 평균, 최대값, 및 표준편차를 도시한 것이다. 도 6에서 LMSF 로 표기한 것이 본 발명에 따라 산출된 색신호에 대한를 나타낸다. 도면에 도시한 바와 같이, 본 발명에 따른 색신호 처리방법에 따를 경우, 종래의 방법을 사용한 경우에 비하여,의 평균, 최대값, 및 표준편차가 보다 작은 값을 갖는 것을 알 수 있다. 이는 표준 색신호와의 차이가 그만큼 작다는 것을 의미한다. 따라서, 본 발명에 따른 색신호 처리방법을 사용하는 경우, 사람의 눈으로 직접 피사체를 본 것과, 그 피사체를 CCD를 통해 촬영하여 표준 디스플레이 장치에 재현한 것이 사람이 느끼기에는 거의 유사하게 될 수 있음을 의미한다.

이상 설명한 바와 같이, 본 발명에 따르면, CCD에 대한 색신호의 처리시 색 충실도(color fidelity)를 효과적으로 상승시켜, CCD를 통해 촬영한 피사체의 영상정보를 보다 정확하게 보존하여 표현할 수 있다. 이에 따라, CCD를 촬상소자로 사용하는 촬상장치에서 촬영한 영상을 디스플레이 장치로 재현하는 경우, 촬영당시의 원 피사체의 색을 거의 그대로 재현할 수 있다.

또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims

(a) 촬상소자로 사용되는 CCD(Charge Coupled Device)의 출력신호를 입력받는 단계;

(b) 상기 출력신호에 상기 CCD의 스펙트럼 감도 특성을 반영하여, 휘도_색차색공간의 색신호를 산출하는 단계; 및

(c) 상기 휘도_색차 색공간의 색신호에 대한 행렬에 LMSF 방법를 사용하여, 상기 휘도_색차 색공간의 색신호를 RGB 색공간의 색신호로 변환하는 변환행렬을 산출하는 단계;를 포함하는 것을 특징으로 하는 색신호 처리방법.
제1항에 있어서,

산출된 상기 변환행렬을 사용하여 상기 휘도_색차 색공간의 색신호를 RGB 색공간의 색신호로 변환하는 단계;를 더 포함하는 것을 특징으로 하는 색신호 처리방법.
제1항에 있어서,

상기 (a) 단계에서는, 다음의 식을 사용하여 상기 휘도_색차 색공간의 색신호를 산출하는 것을 특징으로 하는 색신호 처리방법:

여기서, cy(λ), gr(λ), ye(λ), ma(λ)는 상기 CCD의 상기 출력신호를 나타낸다.
제1항에 있어서,

상기 (c)단계에서, 상기 변환행렬은 다음의 식에 의해 산출되는 것을 특징으로 하는 색신호 처리방법:

여기서, V^T는 V의 전치행렬, V^-1는 V의 역행렬, X는 CIE 표준 색 매칭함수를 나타낸다.
제1항 내지 제4항의 어느 하나의 항의 색신호 처리방법을 사용하여, 촬상소자로 사용되는 CCD(Charge Coupled Device)에서 출력되는 신호를 처리하는 촬상장치.