KR101056023B1 - 컬러 보정을 위한 컬러 매트릭스 생성장치 및 방법과 그 기록매체 - Google Patents

Abstract

본 발명에 따른 컬러 보정을 위한 컬러 매트릭스 생성장치는 이미지 센서에서 출력된 대상 영상 데이터로 이루어지는 대상 매트릭스를 생성하는 생성부; 컬러 보정의 기준이 되는 기준 영상 데이터로 이루어지는 기준 매트릭스와 상기 대상 매트릭스의 역행렬을 대상으로 매트릭스 곱셈을 연산하는 연산부; 및 컬러 보정을 위한 컬러 매트릭스를 상기 연산 결과에 해당하는 매트릭스로 설정하는 설정부를 포함하여 구성된다.

상기 본 발명의 의하면, 이미지 센서 등으로 획득된 영상의 컬러를 보정하는 컬러 매트릭스를 간단한 연산과정만으로 생성할 수 있음은 물론 더욱 효율적이고 정확한 컬러 매트릭스를 생성할 수 있는 효과를 제공할 수 있다.

Description

컬러 보정을 위한 컬러 매트릭스 생성장치 및 방법과 그 기록매체{METHOD AND APPARATUS FOR GENERATING COLOR MATRIX FOR COLOR CORRECTION AND COMPUTER READABLE MEDIUM STORED THEREON COMPUTER EXECUTABLE INSTRUCTION RECORDED WITH TIME-SERIES DATA STRUCTURE}

본 발명은 컬러 보정을 위한 컬러 매트릭스를 생성하는 장치 및 방법에 관한 것으로서 더욱 구체적으로는 SVD 방법에 의한 역행렬 연산 기법을 적용하여 더욱 효율적이고 정확한 컬러 매트릭스를 생성하는 장치 및 방법에 관한 것이다.

통상적인 디지털 영상 장치는 기본적으로 렌즈, 조리개 및 셔터 등의 광학 장치를 통하여 유입된 빛을 CMOS, CCD 등의 광학 이미지 센서가 입력받아 이를 소정의 전기적 신호로 변환하는 과정을 거쳐 디지털 영상을 생성하게 된다.

이러한 디지털 영상을 생성하는 과정에서 영상신호처리(Image Signal Process) 칩은 상기 이미지 센서에서 출력되는 원시 데이터의 품질을 향상시켜 정지 영상 등을 촬영하였을 때 디지털 정지영상이 사람의 육안으로 인지되는 모습과 가장 유사하도록 영상 신호를 처리하는 기능 등을 수행한다.

상기 이미지 센서는 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 감지 하여 전기적 신호로 변환하고 파장의 영역에 따라 R, G, B를 구성하게 되는데, 첨부된 도 1에 도시된 바와 같이 상기 이미지 센서는 본질적인 물리적 또는 광학적 특성에 기인하여 일부 파장 영역이 중첩된 R, G, B를 구성하게 된다.

이러한 현상은 영상의 R, G, B 값을 결정함에 있어 상호 간 영향을 미치게 되고 각 채널에 다른 채널의 요소가 가미되어 문제점이 발생될 수 있으며, 또한, 상기와 같은 현상에 의해 각 R, G, B 컬러에 대한 재현성이 낮아져 결국 영상의 품질이 저하되는 요인으로 작용되기도 한다.

이러한 현상을 개선하여 첨부된 도 2와 같이 상호 파장 간 중첩되는 영역이 존재하지 않도록 하기 위하여 영상 장치에서 입력된 영상 데이터에 보정 기능을 수행하는 매트릭스를 연산하는 방법이 이용되고 있는데 도 3을 참조하여 간략히 설명하면 다음과 같다.

첨부된 도 3과 같이 이미지 센서(10) 등에서 입력되는 영상 데이터는 렌즈 셰이딩 보정부(11), 컬러 인터폴레이션부(12), 화이트 밸런스 보정부(13) 등의 전처리 과정을 거쳐 컬러 보정부(14)에 입력된다. 상기 컬러 보정부(14)의 연산부(14a)는 컬러 매트릭스 데이터 저장부(14b)에서 컬러 매트릭스를 독출하여 상기 전처리 과정 등을 거쳐 입력된 영상 데이터와 매트릭스 연산을 수행하여 컬러를 보정하게 된다.

이 후 필요한 범위에서 감마 보정부(15)를 거쳐 소정의 디스플레이 수단(16)으로 출력되게 되며, 상기의 과정은 영상 장치를 통하여 디지털 영상이 생성될 때마다 수행된다. 이와 같이 영상이 처리되는 과정에서 컬러 매트릭스와의 연산 수행 에 의한 보정 과정이 수행됨으로써 실제 육안으로 인지되는 모습과 최대 유사도를 가지도록 프로세싱된다.

이하에서는 상기 컬러 매트릭스 데이터 저장부(14b)에 저장되어 상기와 같은 보정 프로세싱에서 이용되는 컬러 매트릭스를 구하는 종래의 방법에 대하여 간략히 기술하도록 한다.

컬러 영상에서 구현되는 색상 또는 색감의 기준으로서 맥베드 차트(Macbeth Chart)가 이용되는데, 상기 맥베드 차트는 4×6=24개의 각기 다른 색상 패치(patch)로 구성된다(도 7, 도 10 및 도 11 참조).

우선 상기 맥베드 차트를 영상 장치로 촬영하고, 촬영된 맥베드 차트 영상이 표준이 되는 맥베드 차트에 대한 영상에 가장 근접되도록 상기 촬영된 맥베드 차트 영상에 컬러 보정을 위한 매트릭스 연산을 수행하고, 상기 매트릭스 연산을 조금씩 캘리브레이션하는 방법을 통해 최적의 컬러 보정 매트릭스를 결정하게 된다. 수학식 1 등을 참조하여 더욱 구체적으로 설명하면 다음과 같다.

상기 수학식 1에서 [O]는 촬영된 맥베드 차트 영상으로 구성되는 매트릭스, [A]는 컬러 보정을 위한 컬러 매트릭스이며, 상기 [M]은 표준 맥베드 차트로 구성되는 기준 매트릭스를 의미한다.

표준 맥베드 차트 영상에 대한 다양한 통계적 대표값들(각 패치의 R, G, B 평균값, 분산값 등)은 이미 알려져 있으므로 실험 환경, 피사체의 특성, 광학 장치의 특성 등에 따라 가장 부합되는 통계적 대표값으로 상기 [M]를 구성하고, 이에 대응되도록 상기 [O]매트릭스를 구성한다.

통상적으로 컬러는 R, G, B로 구성되므로 상기 매트릭스는 3×n 매트릭스로 로 구성되는 것이 일반적이나, 다양한 실시 형태에 따라 4×n, 5×n 등으로 구성할 수도 있음은 물론이다.

종래 상기 컬러 매트릭스[A]를 구하는 방법인 LMS(Least Mean error Square)은 다음과 같은 알고리즘에 의한다.

우선, 상기 [A]를 초기값(예를 들어 단위행렬 등)으로 설정한 후, [A]·[O]를 연산한다. 상기 연산의 결과값과 [M]를 상호 비교하고 그 결과값을 저장한 후, 상기 초기값으로 설정된 [A]의 각 행렬 요소를 단위 크기만큼 양 또는 음으로 변화시켜 가면서 반복적으로 [A]·[O]를 연산하고 [M]과 비교한다. 이러한 반복적인 과정을 거친 후 [M]과 가장 작은 차이를 가지는 [A]·[O]를 결정하고 그 때의 [A] 매트릭스를 최적의 컬러 매트릭스로 정한다.

이렇게 정해진 최적의 컬러 매트릭스는 영상 장치의 소정 메모리에 저장되어 사용자 등에 의해 영상이 촬영되는 경우 앞서 도 3 등을 참조하여 설명된 바와 같은 과정을 거쳐 최종 영상이 만들어지게 된다.

상기와 같이 반복적인 연산을 수행하여 컬러 매트릭스를 구하는 과정이 요구되는 이유는 상기 수학식 1에서 행렬로 표현된 영상 매트릭스가 정방행렬이 아니므로 정방행렬에 대한 역행렬 연산이 적용될 수 없기 때문이라고 할 수 있다.

상기 종래의 컬러 매트릭스를 생성하는 방법은 단위 크기마다 변화되는 매트릭스를 대상으로 반복 연산이 필요하므로 상당한 연산 시간이 소요되며, 또한, 상기 단위 크기의 대소에 따라 결과값이 동일할 수가 없으므로 상기 과정을 거쳐 생성되는 컬러 매트릭스의 정확성 자체도 신뢰성이 높다고 할 수 없다.

상기 방법은 모든 연산의 결과값을 저장하고 이를 비교하여야 하므로 하드웨어로 구성하는 경우 상당한 크기의 메모리를 필요로 한다는 문제점도 존재한다.

본 발명은 상기의 문제점을 해결하기 위하여 창안된 것으로 이미지 센서로부터 생성되는 영상 데이터의 컬러 보정을 위한 컬러 매트릭스를 더욱 간편하고 신속하게 생성하는 컬러 매트릭스 생성 장치 및 방법을 제공하는 데 목적이 있다.

또한, 상기와 같은 방법을 컴퓨터에서 구현하기 위하여 컴퓨터로 인식가능하고 실행되는 프로그램을 기록한 기록매체를 제공하는 데 목적이 있다.

본 발명에 다른 목적 및 장점들은 하기에 설명될 것이며, 본 발명의 실시예에 의해 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타난 구성과 구성의 조합에 의해 실현될 수 있다.

상기 목적을 달성하기 위한 본 발명의 컬러 보정을 위한 컬러 매트릭스 생성장치는 이미지 센서에서 출력된 대상 영상 데이터로 이루어지는 대상 매트릭스를 생성하는 생성부; 컬러 보정의 기준이 되는 기준 영상 데이터로 이루어지는 기준 매트릭스와 상기 대상 매트릭스의 역행렬을 대상으로 매트릭스 곱셈을 연산하는 연산부; 및 컬러 보정을 위한 컬러 매트릭스를 상기 연산 결과에 해당하는 매트릭스로 설정하는 설정부를 포함하는 구성되며, 상기 연산부는 특이값 분해 방법(Singular Value Decomposition)에 의하여 상기 대상 매트릭스의 역행렬을 구하도록 구성된다.

한편, 본 발명의 다른 측면에 의한 목적을 달성하기 위한 컬러 보정을 위한 컬러 매트릭스 생성방법은 이미지 센서에서 출력된 대상 영상 데이터로 이루어지는 대상 매트릭스를 생성하는 생성단계; 컬러 보정의 기준이 되는 기준 영상 데이터로 이루어지는 기준 매트릭스와 상기 대상 매트릭스의 역행렬을 대상으로 매트릭스 곱셈을 연산하는 연산단계; 및 컬러 보정을 위한 컬러 매트릭스를 상기 연산 결과에 해당하는 매트릭스로 설정하는 설정단계를 포함하여 구성된다.

상기 본 발명에 의한 컬러 매트릭스 생성장치 및 방법은 비정방행렬 역행렬 기법을 통하여 간단한 연산과정만으로도 정확한 컬러 매트릭스를 생성할 수 있는 효과를 창출할 수 있다. 또한, 컬러 매트릭스 생성에 있어 메모리 리소스를 거의 차지하지 않음은 물론, 연산 처리 속도를 상당히 개선할 수 있는 효과를 제공할 수 있다. 아울러 본 발명은 영상 데이터의 특성 정보에 따라 더욱 정밀한 컬러 매트릭스를 생성할 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.

따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.

본 발명의 상세한 설명에 앞서 본 발명의 설명에 필요한 용어 및 정의 등에 관하여 서술하도록 한다.

통상적으로 영상처리의 기본이 되는 영상의 색상공간은 색상혼합의 관점, 인간의 시각 체계와의 유사성 등 색공간을 바라보는 관점에 따라 RGB, CMYK, HS계열, CIE, Y계열 등 다양한 공간으로 표현될 수 있으며, 이종의 형태로 표현된 색공간 간의 변환은 간단한 수학적 변환식에 의하여 변환될 수 있음은 당업자 간에 자명한 사실이므로 이하 본 발명의 설명에서 하나의 색공간으로 표현된 일 실시예는 다른 색공간의 실시예에도 필요한 수정을 거쳐 그대로 적용가능하다고 할 수 있다.

또한, 영상은 복수 개의 픽셀들의 합으로 표현되며, 상기 픽셀들은 해당 픽셀에 해당하는 영상정보(명도, 색상, 채도 등)를 가지게 된다. 통상적으로 상기 영상정보는 0에서 255단계로 단계적으로 구분되어 8bit의 정보로 나타내는 것이 일반적이나, 적용되는 환경에 따라 상기 영상정보는 10, 12bit 등 다양한 변형례가 가능함은 물론이다.

그러므로, 본 발명을 설명함에 있어 일 실시예로서 표현된 하나의 색공간 좌표계는 상기와 같은 관점에서 다른 색공간좌표에도 동일, 유사한 적용이 가능하며, 영상에서 하나의 픽셀이 가지는 영상정보의 bit 크기는 하나의 일실시예에 불과하다고 이해되어야 한다.

도 4는 본 발명의 바람직한 실시예에 의한 컬러 매트릭스 생성장치(100)의 구성을 도시한 블록도이다. 도 4에 도시된 바와 같이 본 발명의 컬러 매트릭스 생성장치(100)는 생성부(110), 연산부(120) 및 설정부(130)를 포함한다.

상기 생성부(110)는 이미지 센서에서 출력된 대상 영상 데이터로 이루어지는 대상 매트릭스를 생성한다. 상기 대상 영상은 앞서 설명한 바와 같이 보정의 기준이 되는 영상과 비교되는 소위 실험을 위한 대상 영상이며 색상 보정의 기준이 되는 영상과 동일한 피사체를 촬영한 영상으로서 기준이 되는 영상과 동일한 피사체를 촬영한 영상이라면 다양한 응용례가 가능하나, 복수 개의 색상 패치를 가지는 맥베드 차트(Macbeth Chart)를 촬영한 영상인 것이 더욱 바람직하다. 이하에서는 맥베드 차트를 촬영한 영상을 하나의 예로 설명하나, 본 발명이 이에 국한되지 않음은 자명하다.

본 발명의 생성부(110)에 의한 상기 대상 매트릭스의 생성과정을 더욱 구체적으로 설명하면 다음과 같다.

본 발명의 생성부(110)는 입력부(111), 평균값 산출부(113), 매트릭스 생성부(115), 밝기값 산출부(116) 및 비교부(117)를 포함하여 구성되는데, 상기 입력부(111)는 이미지 센서 등을 통하여 생성되는 대상 영상 데이터를 입력받는다.

더욱 효율적인 컬러 보정 메커니즘을 적용하기 위하여 상기 대상 영상 데이터는 렌즈 셰이딩 보정, 컬러 인터폴레이션 또는 화이트 밸런스 보정 중 하나 이상의 전처리 공정이 수행된 후 상기 입력부(111)로 입력되도록 구성하는 것이 더욱 바람직하다.

렌즈의 광학적 또는 물리적 성질에 의하여 영상의 바깥 부분은 왜곡될 수 있는데 상기 렌즈 셰이딩 보정(lens shading correction)은 이러한 영상의 바깥 부분을 처리하는 것을 의미하며, 컬러 인터폴레이션(color interpolation)은 베이어 영상에 컬러를 구현하는 과정을 의미한다. 또한, 상기 화이트 밸런스 보정(white balance correction)은 촬영된 영상을 화이트 색상을 기준으로 보정하는 것을 의미한다.

상기와 같은 과정을 통해 입력되는 상기 대상 영상 데이터는 맥베드 차트에 대한 영상이므로 24개의 패치에 대한 영상이 포함되게 되는데, 본 발명의 상기 평균값 산출부(113)는 상기 입력된 대상 영상 데이터 중 상기 각 패치의 R, G, B 값을 추출하여 각각의 평균값을 산출한다.

상기 대상 영상에 포함된 각 패치는 도 7에 도시된 바와 같이 외부 m×n의 크기에 l×k개의 픽셀을 가지게 되며, 주지된 바와 같이 각 픽셀은 R, G, B의 값을 가지게 된다.

하나의 패치가 30×30=900개의 픽셀들로 구성된다고 가정하면, 상기 하나의 패치는 900개의 R, G, B 값을 가지게 되므로 본 발명의 평균값 산출부(113)는 상기 900개의 R, G, B값의 평균값을 산출한다.

상기 패치가 가지는 픽셀의 개수는 상기 맥베드 차트를 촬영하는 거리에 따라 도 8에 도시된 바와 같이 차이가 나게 되는데, 영상 크기 100%로 촬영되는 경우가 가장 많은 개수의 픽셀을 가지게 되는 자명하다. 가장 많은 픽셀을 가진다는 것은 그만큼 정밀한 연산이 가능하다는 것을 의미하나 연산에 필요한 시간과 메모리 가 그만큼 많아진다는 것을 의미한다.

즉, 어느 거리에서 촬영된 대상 영상을 이용할 것인가의 문제는 상기와 같이 정밀성 및 연산 효율성의 관점에서 결정될 수 있으며 실험 대상이 되는 영상 장치의 종류 또는 특성 사용 환경 등을 기초로 사용자 또는 시스템에 의하여 결정되도록 구성할 수 있다.

상기와 같이 R, G, B값의 평균값은 각 패치마다 산출되므로 패치가 24개인 경우에는 24개의 R, G, B평균값이 산출되게 된다. 상기 패치의 개수와 관련하여 맥베드 차트에 구성되는 24개 모두의 패치를 이용할 수도 있으며, 컬러 색상에 대한 패치인 1, 2, 3번째 라인의 3×6=18개의 패치를 이용할 수도 있다. 더욱 간단하고 신속한 연산이 필요한 경우 상기 맥베드 차트의 3번째 라인이 주요한 색상 라인이므로 6개의 패치만을 이용하는 것이 바람직하다.

상기와 같이 평균값 산출이 완료되면 본 발명의 매트릭스 생성부(115)는 상기 각 패치의 R, G, B 각각의 평균값을 매트릭스의 요소로 하는 대상 매트릭스를 생성하게 된다. 이 때, 앞서 기술된 바와 같이 24개의 패치가 이용되는 경우에는 3×24 크기의 대상 매트릭스가 생성되며, 6개의 패치가 이용되는 경우에는 3×6 크기의 대상 매트릭스가 생성된다.

이하 설명의 효율성과 편의성을 위하여 3×6 크기의 대상 매트릭스를 하나의 예로 설명하도록 한다.

상기와 같이 3×6 크기의 대상 매트릭스가 생성되면 앞서 설명된 수학식 1은 아래와 같은 수학식 2 내지 4로 구성된다.

상기 수학식 2 내지 4와 같은 수학식이 생성되게 되는데, 더욱 정밀한 컬러 매트릭스의 생성을 위하여 본 발명의 밝기값 산출부(116)는 상기 대상 영상 데이터와 기준 영상 데이터 각각의 전체 밝기값을 연산하도록 구성될 수 있다.

상기 전체 밝기값은 각 영상의 밝기를 대표하는 명도 정보의 합 또는 평균으로 정할 수 있다. 상기 밝기값의 차이가 소정의 기준값보다 큰 경우 상기 R, G, B 각각의 평균값 자체를 매트릭스의 요소로 하는 대상매트릭스를 생성하고, 상기 차이가 기준값보다 작은 경우 상기 R, G, B 각각의 평균값에 대한 R, G, B 상호 간의 비율값을 매트릭스의 요소로 하는 대상 매트릭스를 생성하는 것이 영상 정보의 특성상 더욱 정확한 컬러 매트릭스를 생성할 수 있다는 점에서 바람직하다.

즉, 상기 수학식 3의 대상 영상에 대한 대상 매트릭스는 상기와 같이 밝기값의 차이가 기준값보다 큰 경우에는 R, G, B 평균값 자체가 행렬의 요소가 되며, 이와 달리 밝기값의 차이가 기준값보다 작은 경우에는 상기 비율값이 매트릭스의 요소가 된다.

상기와 같이 이원적으로 대상 매트릭스를 결정하고, 결정된 대상 매트릭스에 대응되는 비율값 또는 평균값으로 기준 매트릭스를 정한다. 상기 수학식 1은 대상 매트릭스 및 기준 매트릭스 간의 등가 수식이므로 한 쪽의 값에 따라 다른 한 쪽의 값을 대응시키면 등가 수식을 그대로 유지할 수 있다.

예를 들어, 대상 영상의 R, G, B의 값이 100, 50, 100이고, 기준 영상의 R, G, B의 값이 200, 100, 200인 경우는 밝기 정보가 R, G, B의 값에 따른 함수관계로 표현될 수 있으므로 양 영상 간의 밝기값의 차이가 기준값보다 크다고 할 수 있는 예로서 이런 경우에는 상기 R, G, B 값 자체로 매트릭스를 구한다.

이와 달리 대상영상의 R, G, B의 값이 100, 50, 100이고 기준 영상의 R, G, B의 값이 98, 49, 98인 경우 양 영상 간의 밝기값의 차이가 앞선 예보다 상대적으로 작으며 기준값보다 작다고 할 수 있는 예인데 이러한 경우 비율값인 40, 20, 40(%) 또는 2, 1, 2의 값으로 매트릭스를 구성하게 된다.

이상에서는 대상 매트릭스가 생성되는 과정을 상세히 설명하였으며 이하에서는 본 발명의 연산부(120)를 통하여 컬러 매트릭스 값을 결정하는 과정을 상세히 설명하도록 한다.

본 발명의 연산부(120)는 컬러 보정의 기준이 되는 기준 영상 데이터로 이루어지는 기준 매트릭스와 상기 대상 매트릭스의 역행렬을 대상으로 매트릭스 곱셈을 연산하게 된다.

앞서 설명된 바와 같이 기준 매트릭스에 대한 다양한 통계적 기준값은 알려져 있으므로 대상 매트릭스가 결정되면 이에 대응되도록 상기 기준 매트릭스를 정하면 된다. 또한, 대비의 명확성을 높이기 위하여 상기 기준 매트릭스에 대한 통계적 기준값 등에 역감마 보정을 수행할 수도 있다.

앞서 기술된 수학식 1을 기초로 컬러 매트릭스는 다음과 같은 수식으로 표현된다.

상기 수식에서 대상 매트릭스 [O]는 정방행렬이 아니므로 상기 [O]의 역행렬을 SVD(Singular Value Decomposition)을 이용하여 구한다. SVD 방법을 이용하여 매트릭스 [O]를 분해하면 다음과 같이 분해 가능하다.

상기 SVD 방법에 의하여 비정방행렬이 분해되면 다음 수식에 의하여 용이하게 역행렬을 연산할 수 있게 된다.

상기 수학식 7과 같이 대상 매트릭스의 역행렬이 구해지면, 수학식 5는 다음과 같은 최종 수식으로 표현된다.

상기 수학식에 의한 연산이 완료되면, 본 발명의 설정부(130)는 컬러 보정을 위한 컬러 매트릭스를 상기 연산 결과에 해당하는 매트릭스로 설정하여 최종 컬러 매트릭스를 생성한다.

한편, 본 발명의 의한 컬러 매트릭스는 앞서 설명한 바와 같이 실시형태에 따라 3×3, 4×4, 5×5 등으로 구성할 수 있으나, 연산 시간의 효율을 감안할 때, 3×3으로 구성하는 것이 가장 바람직하다. 이와 함께 상기와 같은 기준 매트릭스 및 대상 매트릭스와의 매트릭스 연산이 가능하도록 상기 컬러 매트릭스는 정방 행렬, 즉, n×n(n은 자연수)의 크기를 가지는 매트릭스로 구성된다.

또한, 본 발명의 연산부(120)가 상기 컬러 매트릭스를 연산함에 있어서 3×3 컬러 매트릭스를 앞선 수학식과 같이 한번에 연산할 수도 있으나, R, G, B 만을 선별하여 각각을 연산하고, 이를 최종적으로 결합하여 컬러 매트릭스를 구할 수도 있다.

즉, 상기 수학식 8을 일반화하면 컬러 매트릭스 [A]는 3×3, 기준 매트릭스 [M]은 3×n, 대상 매트릭스 [O]는 3×n(n은 자연수)일 수 있는데 연산의 효율성을 높이기 위하여 컬러 매트릭스 [A]를 1×3으로 설정하고, 기준 매트릭스[M]을 1×n, 대상 매트릭스 [O]를 3×n으로 설정하여 연산할 수 있다.

상기와 같이 구성한 후, R, G, B 각각에 대한 1×3의 단위 기준 매트릭스 [A]를 상기와 같이 구성하여 구하는 경우 R에 대한 단위 컬러 매트릭스, G에 대한 단위 컬러 매트릭스 및 B에 대한 단위 컬러 매트릭스 각각을 연산하게 되고, 최종적으로 상기 R, G, B 각각에 대한 단위 컬러 매트릭스를 결합하여 최종 컬러 매트릭스를 생성할 수 있다.
이하에서는 첨부된 도 5과 도 6을 통하여 본 발명의 본 발명의 바람직한 실시예에 따른 컬러 매트릭스 생성 방법의 과정을 설명하도록 한다. 본 매트릭스 생성방법의 과정에 대한 설명 중 앞서 설명된 내용과 중복되는 내용은 그 설명을 생략하나 후술되는 방법에도 그대로 적용될 수 있음은 자명하다.
도 5에 도시된 바와 같이 본 발명에 의한 컬러 매트릭스 생성방법은 우선 이미지 센서로부터 입력되거나 이미지 센서로 입력되어 소정의 전처리 공정을 거친 대상 영상 데이터를 이용하여 대상 매트릭스를 생성한다(S100).
상기 대상 매트릭스 생성의 과정을 구체적으로 도시한 도 6을 참조할 때, 상기 대상 매트릭스 생성과정은 우선 맥베드 챠트를 촬영한 대상 영상 데이터를 입력받는다(S111).
앞서 설명된 바와 같이 상기 대상 영상 데이터는 필요한 범위에서 렌즈 셰이딩 보정, 컬러 인터폴레이션 또는 화이트 밸런스 보정 등과 같은 전처리 과정을 거친 대상 영상 데이터일 수 있다.
상기와 같이 대상 영상 데이터가 입력되면, 상기 대상 영상 데이터에서 맥베드 챠트에 대한 각 패치의 R, G, B에 대한 평균값을 산출한다(S112). 패치가 18개 선택된다면 18개 패치에 해당하는 각 R, G, B 평균값이 산출되게 된다.
상기와 같이 산출된 평균값을 대상 매트릭스의 요소로 하는 대상 매트릭스를 구성할 수도 있으나, 더욱 바람직한 실시형태를 구현하기 위하여 대상 영상 데이터와 기준 영상 데이터의 밝기 차를 소정의 기준값과 비교하고(S114) 상기 밝기 차가 상기 기준값보다 큰 경우에는 앞서 산출된 평균값 자체를 행렬(매트릭스)의 요소로 하여 대상 매트릭스를 생성한다(S116).
만약 상기 차이값이 상기 기준값보다 작은 경우에는 더욱 정밀하고 효율적인 연산을 위하여 R, G, B 각각의 평균값에 대한 R, G, B 상호 간의 비율값으로 행렬의 요소로하는 대상 매트릭스를 생성한다(S118). 여기에서 연산의 효율성을 위하여 특정 소수 이하 자리 수가 생략된 비율값으로 대상 매트릭스를 생성할 수도 있다.
상기와 같이 대상 매트릭스가 생성되면 상기 대상 매트릭스에 대한 패치의 개수, 매트릭스 요소의 특징(평균값 또는 비율값) 등과 대응되는 기준 매트릭스를 설정하고, 상기 대상 매트릭스의 역행렬과 기준 매트릭스를 행렬 곱셈에 대한 연산을 수행하며(S110) 이 과정은 앞서 설명된 바와 같이 상기 대상 매트릭스가 정방행렬이 아닌 경우 SVD 기법에 의하여 역행렬을 구한다.
상기 연산이 완료되면 상기 연산의 결과 매트릭스를 컬러 매트릭스로 설정(S120)하여 최종적인 컬러 매트릭스를 생성하게 된다.

이하에서는 본 발명에 의하여 생성된 컬러 매트릭스를 적용한 예를 통하여 본 발명의 효과를 기술하도록 한다.

도 9는 컬러 보정 처리 전의 맥베드 차트에 대한 영상을 도시하고 있으며,도 10은 컬러 보정 처리 후의 맥베드 차트에 대한 영상을 도시하고 있다.
앞서 상세히 기술된 본 발명에 의한 컬러 매트릭스 생성장치 및 방법을 통하여 컬러 매트릭스 데이터를 생성하고, 상기 생성된 컬러 매트릭스 데이터는 일반 영상 장치의 컬러 보정 메커니즘을 도시한 도 3과 같이 컬러 매트릭스 데이터 저장부(14b)에 저장된다.
그러면 앞서 설명된 바와 같이 이미지 센서(10)를 통하여 입력된 대상 영상은 필요한 범위에서 소정의 다양한 전처리 공정을 거치게 되며, 그 후 컬리 보정부(14)에서 컬러 매트릭스 데이터 저장부(14b)에 저장된 컬러 매트릭스 데이터와 매트릭스 연산이 수행된다. 상기 매트릭스 연산이 수행되어 컬러가 보정된 영상은 필요한 범위에서 감마 보정이 수행된다.
상기 도 9는 본 발명을 통하여 생성된 컬러 매트릭스에 의하여 상기와 같은 과정을 거친 후의 컬러가 보정된 영상이 상기 도 9에 해당한다.
상기 컬러 매트릭스 데이터의 값은 영상 장치에 구비되는 렌즈의 종류, 영상 처리 칩의 사양 등에 따라 각가 다른 값을 가질 수 있음은 물론이다. 본 발명에 의하여 생성된 컬러 매트릭스에 의하여 컬러가 보정된 도 9는 도 10과 대비하여 볼 때 컬러 색상의 색감이 더욱 뛰어나며 컬러 재현 효과가 높음을 알 수 있다.
상기 도 9와 도 10과 같이 실제 디스플레이 되는 영상의 시각적 확인을 통하여 본 발명에 대한 효과를 확인할 수 있는 것과 함께 영상을 분석한 프로파일을 통하여도 본 발명의 색상 개선 효과는 확인될 수 있다.
도 11에 도시된 도면은 맥베드 차트에 대한 표준 영상의 프로파일(profile)즉, 가장 좋은 색감을 가지는 영상에 대한 프로파일을 도시하고 있다. 이에 대비하여 도 12는 컬러 보정 전의 영상에 대한 프로파일이며, 도 13은 컬러 보정 후의 영상에 대한 프로파일이다.
첨부된 도 11 내지 13에서도 확인될 수 있는 바와 같이 본 발명에 의하여 생성된 컬러 매트릭스에 의하여 컬러 보정된 도 13의 컬러 보정 처리 후의 프로파일이 도 11에 도시된 표준 영상의 프로파일에 더욱 근접함을 알 수 있다.

삭제

삭제

삭제

이상에서 본 발명에 따른 이미지 센서 등의 컬러 보정을 위한 컬러 매트릭스 생성장치 등에 대하여 상세히 기술하였으나, 상기 본 발명에 의한 컬러 매트릭스 생성 장치의 각 구성요소는 물리적으로 구분되는 구성요소라기보다는 논리적인 구성요소로 이해되어야 한다. 즉, 각각의 구성은 본 발명의 기술사상을 실현하기 위하여 논리적으로 구분된 구성요소에 해당하므로 각각의 구성요소가 통합 또는 분리되어 수행되더라도 본 발명의 논리 구성이 수행하는 기능을 실현할 수 있다면 본 발명의 범위 내에 있다고 해석되어야 한다.

상술한 본 발명에 따른 이미지 센서 등의 컬러 보정을 위한 컬러 매트릭스 생성 방법은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 장치에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 컬러 매트릭스 생성 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.

본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 전술된 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되어서는 아니 된다.

도 1은 이미지 센서에서 출력되는 원시 데이터의 파장 형태를 도시한 도면,

도 2는 컬러 매트릭스에 의하여 보정된 경우의 파장 형태를 도시한 도면,

도 3은 일반 영상 장치의 컬러 보정 메커니즘을 도시한 도면,

도 4는 본 발명의 바람직한 실시예에 따른 컬러 매트릭스 생성 장치의 구성을 도시한 블록도,

도 5는 본 발명의 바람직한 실시예에 따른 컬러 매트릭스 생성 방법의 과정을 도시한 흐름도,

도 6은 도 5의 대상 매트릭스 생성 과정을 구체적으로 도시한 흐름도,

도 7은 맥베드 차트에 대한 도면,

도 8은 맥베드 차트를 촬영하는 실시형태를 도시한 도면,

도 9는 컬러 보정 전의 영상을 도시한 도면,

도 10은 본 발명의 컬러 매트릭스에 의한 컬러 보정이 수행된 영상을 도시한 도면,

도 11은 표준 맥베드 차트 영상의 프로파일을 도시한 도면,

도 12는 컬러 보정 전의 영상에 대한 프로파일을 도시한 도면,

도 13은 컬러 보정 후의 영상에 대한 프로파일을 도시한 도면이다.

Claims (19)

1. 이미지 센서에서 출력된 대상 영상 데이터로 이루어지는 대상 매트릭스를 생성하는 생성부;

   컬러 보정의 기준이 되는 기준 영상 데이터로 이루어지는 기준 매트릭스와 상기 대상 매트릭스의 역행렬을 대상으로 매트릭스 곱셈을 연산하는 연산부; 및

   컬러 보정을 위한 컬러 매트릭스를 상기 연산 결과에 해당하는 매트릭스로 설정하는 설정부를 포함하고,

   상기 생성부는,

   상기 대상 영상 데이터를 입력받는 입력부;

   상기 입력된 대상 영상 데이터 중 각 패치의 R, G, B 값을 추출하여 각각의 평균값을 산출하는 평균값 산출부; 및

   상기 각 패치의 R, G, B 각각의 평균값을 매트릭스의 요소로 하는 대상 매트릭스를 생성하는 매트릭스 생성부를 포함하고,

   상기 평균값 산출부는,

   맥베드 차트의 특정 라인에 해당하는 각 패치의 R, G, B값을 추출하여 평균값을 산출하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
2. 제 1항에 있어서, 상기 연산부는,

   상기 대상 매트릭스의 역행렬을 특이값 분해 방법(Singular Value Decomposition)에 의하여 구하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
3. 제 2항에 있어서, 상기 대상 영상 데이터 및 기준 영상 데이터는,

   복수 개의 색상 패치를 가지는 맥베드 차트(Macbeth Chart)에 대한 영상 데이터인 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
4. 삭제
5. 제 1항에 있어서, 상기 컬러 매트릭스는,

   n×n(n은 자연수) 매트릭스인 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
6. 제 5항에 있어서, 상기 연산부는,

   R, G, B 각각에 해당하는 기준 매트릭스를 대상으로 연산을 수행하고,

   상기 설정부는 상기 각각의 R, G, B 연산 결과에 해당하는 각 매트릭스가 결합된 매트릭스로 상기 컬러 매트릭스를 설정하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
7. 제 1항에 있어서, 상기 평균값 산출부는,

   맥베드 차트의 3번째 라인에 해당하는 각 패치의 R, G, B값을 추출하여 평균값을 산출하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
8. 제 1항에 있어서, 상기 생성부는,

   상기 대상 영상 데이터와 기준 영상 데이터 각각의 전체 밝기값을 연산하는 밝기값 산출부; 및

   상기 전체 밝기값의 차이를 기준값과 비교하는 비교부를 더 포함하고,

   상기 매트릭스 생성부는,

   상기 차이가 기준값보다 큰 경우 상기 R, G, B 각각의 평균값 자체를 매트릭스의 요소로 하는 대상매트릭스를 생성하고, 상기 차이가 기준값보다 작은 경우 상기 R, G, B 각각의 평균값에 대한 R, G, B 상호 간의 비율값을 매트릭스의 요소로 하는 대상 매트릭스를 생성하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
9. 제 1항에 있어서, 상기 대상 영상 데이터는,

   렌즈 셰이딩 보정, 컬러 인터폴레이션 또는 화이트 밸런스 보정 중 하나 이상의 전처리 공정이 수행된 것임을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성장치.
10. 이미지 센서에서 출력된 대상 영상 데이터로 이루어지는 대상 매트릭스를 생성하는 생성단계;

    컬러 보정의 기준이 되는 기준 영상 데이터로 이루어지는 기준 매트릭스와 상기 대상 매트릭스의 역행렬을 대상으로 매트릭스 곱셈을 연산하는 연산단계; 및

    컬러 보정을 위한 컬러 매트릭스를 상기 연산 결과에 해당하는 매트릭스로 설정하는 설정단계를 포함하고,

    상기 생성단계는,

    상기 대상 영상 데이터를 입력받는 입력단계;

    상기 입력된 대상 영상 데이터 중 각 패치의 R, G, B 값을 추출하여 각각의 평균값을 산출하는 평균값 산출단계; 및

    상기 각 패치의 R, G, B 각각의 평균값을 매트릭스의 요소로 하는 대상 매트릭스를 생성하는 매트릭스 생성단계를 포함하고,

    상기 평균값 산출단계는,

    맥베드 차트의 특정 라인에 해당하는 각 패치의 R, G, B값을 추출하여 평균값을 산출하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
11. 제 10항에 있어서, 상기 연산단계는,

    상기 대상 매트릭스의 역행렬을 특이값 분해 방법(Singular Value Decomposition)에 의하여 구하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
12. 제 11항에 있어서, 상기 대상 영상 데이터 및 기준 영상 데이터는,

    복수 개의 색상 패치를 가지는 맥베드 차트(Macbeth Chart)에 대한 영상 데이터인 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
13. 삭제
14. 제 10항에 있어서, 상기 컬러 매트릭스는,

    n×n(n은 자연수) 매트릭스인 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
15. 제 14항에 있어서, 상기 연산단계는,

    R, G, B 각각에 해당하는 기준 매트릭스를 대상으로 연산을 수행하고,

    상기 설정단계는 상기 각각의 R, G, B 연산 결과에 해당하는 각 매트릭스가 결합된 매트릭스로 상기 컬러 매트릭스를 설정하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
16. 제 10항에 있어서, 상기 평균값 산출단계는,

    맥베드 차트의 3번째 라인에 해당하는 각 패치의 R, G, B값을 추출하여 평균값을 산출하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
17. 제 10항에 있어서, 상기 생성단계는,

    상기 대상 영상 데이터와 기준 영상 데이터 각각의 전체 밝기값을 연산하는 밝기값 산출단계; 및

    상기 전체 밝기값의 차이를 기준값과 비교하는 비교단계를 더 포함하고,

    상기 매트릭스 생성단계는,

    상기 차이가 기준값보다 큰 경우 상기 R, G, B 각각의 평균값 자체를 매트릭스의 요소로 하는 대상매트릭스를 생성하고, 상기 차이가 기준값보다 작은 경우 상기 R, G, B 각각의 평균값에 대한 R, G, B 상호 간의 비율값을 매트릭스의 요소로 하는 대상 매트릭스를 생성하는 것을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
18. 제 10항에 있어서, 상기 대상 영상 데이터는,

    렌즈 셰이딩 보정, 컬러 인터폴레이션 또는 화이트 밸런스 보정 중 하나 이상의 전처리 공정이 수행된 것임을 특징으로 하는 컬러 보정을 위한 컬러 매트릭스 생성방법.
19. 제 10항 내지 제12항 및 제14항 내지 제18항 중 어느 한 항에 기재된 방법을 컴퓨터에게 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.

Images