KR20090020290A

KR20090020290A - 영상의 색수차 보정 방법 및 장치

Info

Publication number: KR20090020290A
Application number: KR1020070084939A
Authority: KR
Inventors: 강주영; 옥현욱; 이성덕; 임재균
Original assignee: 삼성전자주식회사; 삼성전기주식회사
Priority date: 2007-08-23
Filing date: 2007-08-23
Publication date: 2009-02-26
Also published as: JP5314357B2; CN101374191A; US20090052769A1; JP2009055610A; KR101340518B1; US8150154B2; CN101374191B

Abstract

본 발명은 촬상 소자용 영상 처리 장치 또는 디스플레이 영상 처리 장치 등에서 사용되는 영상의 색수차 보정 방법 및 장치에 관한 것이다.

본 발명의 일 실시예에 따른 색수차 보정 장치는, 입력 영상의 휘도 신호를 분석하여 색수차가 발생한 영역을 감지하는 색수차 영역 감지부와, 상기 입력 영상을 이루는 색상 성분 간의 구배의 차이로부터 색수차 정도를 나타내는 제1 가중치를 계산하는 색상 구배 계산부와, 상기 입력 영상을 이루는 휘도 성분의 구배로부터 색수차 정도를 나타내는 제2 가중치를 계산하는 휘도 구배 계산부와, 상기 제1 가중치와 상기 제2 가중치를 승산한 값을 기반으로 상기 감지된 영역에 포함되는 상기 입력 영상의 화소의 채도를 보정하는 채도 보정부를 포함한다.

영상 처리, 색수차, 휘도, 채도, 휘도 구배, 색상 구배

Description

영상의 색수차 보정 방법 및 장치{Method and apparatus for compensating chromatic aberration of an image}

본 발명은 영상 처리(image processing)에 관한 것으로, 보다 상세하게는 촬상 소자용 영상 처리 장치 또는 디스플레이 영상 처리 장치 등에서 사용되는 영상의 색수차 보정 방법 및 장치에 관한 것이다.

일반적으로, 카메라를 이용하여 영상을 촬영할 때는 렌즈의 수차에 의해 다양한 문제가 발생 한다. 그 중에서도, 빛의 파장에 따라서 굴절률이 달라 결상이 어긋남으로써 위조색이 발생되는 현상, 이른바 색수차라고 불리는 영상의 열화가 특히 문제가 된다. 영상의 촬영에 있어서, 고배율 렌즈를 사용하거나 저가의 렌즈를 사용하는 경우 이러한 색수차는 더욱 현저해진다. 색수차는 단순히 렌즈만의 결함에 의해 발생될 수도 있지만, CCD(Charge Coupled Device)와 같은 이미지 센서와 렌즈의 결함이 복합되어 발생되는 경우도 있다.

영상에서 휘도차가 급격히 크게 나타나는 에지 부근에서는 렌즈 결함과 더불어, 블루밍(blooming)이라는 이미지 센서의 결함이 발생한다. 일반적으로, 블루밍은 채도가 매우 강하고 렌즈에 따라 편향된 채도(예: Purple Fringe)를 갖는 색수 차를 발생시킨다. 이외에도, 렌즈와 이미지 센서의 특성의 조합에 따라 다양한 형태의 색수차가 발생할 수 있다.

또한, 디지털 자동 초점(Digital Auto Focus) 기술에 사용되는 이미지 복원(Image Restoration) 이라는 영상 처리 과정을 거치게 되면, 에지 영역의 색수차 내지 색상 인위성(Color Artifact)은 더욱 심각하게 나타날 수 있다. 그 이유는, 상기 이미지 복원 과정에서 각 파장별로 복원 정도가 달라지기 때문에, 영상의 에지가 일정한 블러(Blur)의 정도를 가지지 않으므로 이미 발생된 색수차가 더욱 부각되기 때문이다.

이러한 색수차를 줄이기 위해서, 특수한 유리 소재로 만든 렌즈를 이용하거나, 특수한 방법으로 가공된 렌즈를 이용하는 다양한 방법들이 알려져 있다. 그러나 이러한 방법은, 렌즈 자체의 제조나 가공을 위한 비용이 상승하므로, DSLR(Digital Single-lens Reflex) 카메라와 같은 고성능 카메라를 제외하고는 널리 사용되기에는 어려운 측면이 있다.

따라서, 이미 촬영된 영상에 발생된 색수차를 영상 처리를 통하여 제거 또는 보정하는 기술이 보다 효용성이 높다고 볼 수 있다. 이와 같이 영상 처리를 이용하는 방법에 관한 선행 기술로는, 일본 공개 특허 2006-115039호, 2000-299874호 등이 있다.

일본 공개 특허 2006-115039호는 입력영상에서 중심 픽셀의 위조색 가능성을 나타내는 파라미터로서 위조색 정도를 산출하고 중심 픽셀의 부근 영역의 픽셀 값에 근거해 중심 픽셀의 보간 값을 산출하는 기술을 개시한다. 상기 위조색 정도에 따라 채도 값(Chrominance Value) 처리를 위한 각각의 픽셀의 가중치가 결정되고, 이 가중치와 상기 위조색 정도에 의하여 색수차를 보정하는 방식을 사용하고 있다. 그러나 이 방식에 의해서는 거의 모든 에지에서 발생하는 여러 색을 띠는 색수차를 보정할 수가 없다.

일본 공개 특허 2000-299874호는 입력영상에서 기준이 되는 한 픽셀을 정하고 정한 픽셀의 기준 위치로부터의 거리에 따르는 색수차의 양만을 검출하고 이 검출된 양을 3차 방정식으로 색수차 특성 곡선을 만들어 이 곡선을 근거로 색수차를 보정하는 방식이다. 이 방식은 색수차의 많은 원인 중 TCA(transverse chromatic aberration)만의 보정을 목적으로 하고, 거리마다 달라지는 색수차 특성 곡선을 개별적으로 생성해야 하는 문제점이 있다.

본 발명이 이루고자 하는 기술적 과제는, 일반적으로 에지 영역에서 발생하는 렌즈 색수차와, 에지 영역에서 급격한 휘도차 및 매우 강한 채도를 발생시키는 블루밍에 의해 발생되는 색수차를 효율적으로 제거 내지 보정할 수 있는 방법 및 장치를 제공하는 것이다.

본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기 기술적 과제를 달성하기 위한 색수차 보정 장치는, 입력 영상의 휘도 신호를 분석하여 색수차가 발생한 영역을 감지하는 색수차 영역 감지부; 상기 입력 영상을 이루는 색상 성분 간의 구배의 차이로부터 색수차 정도를 나타내는 제1 가중치를 계산하는 색상 구배 계산부; 및 상기 입력 영상을 이루는 휘도 성분의 구배로부터 색수차 정도를 나타내는 제2 가중치를 계산하는 휘도 구배 계산부; 및 상기 제1 가중치와 상기 제2 가중치를 승산한 값을 기반으로 상기 감지된 영역에 포함되는 상기 입력 영상의 화소의 채도를 보정하는 채도 보정부를 포함한다.

상기 기술적 과제를 달성하기 위한 색수차 보정 방법은, 입력 영상의 휘도 신호를 분석하여 색수차가 발생한 영역을 감지하는 단계; 상기 입력 영상을 이루는 색상 성분 간의 구배의 차이로부터 색수차 정도를 나타내는 제1 가중치를 계산하는 단계; 상기 입력 영상을 이루는 휘도 성분의 구배로부터 색수차 정도를 나타내는 제2 가중치를 계산하는 단계; 및 상기 제1 가중치와 상기 제2 가중치를 승산한 값을 기반으로 상기 감지된 영역에 포함되는 상기 입력 영상의 화소의 채도를 보정하는 단계를 포함한다.

본 발명의 일 실시예에 색수차 보정 기술에 따르면, LCA(Longitudinal Chromatic Aberration), TCA(Transverse Chromatic Aberratioin), 블루밍(Blooming) 등의 다양한 색수차를 효율적으로 제거할 수 있는 장점이 있다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.

이하 첨부된 도면들을 참조하여 본 발명의 일 실시예를 상세히 설명한다.

카메라로 촬영을 할 때 발생되는 색수차는 렌즈 소재에 대한 빛의 굴절율이 그 파장에 따라 달라서 촬상 면에 위조색이 생기는 현상이다. 상기 색수차의 원인으로는 크게 3가지를 들 수 있다. 첫째, LCA(Longitudinal Chromatic Aberration) 는 광축상의 초점 위치가 파장에 따라 달라 색이 번지는 현상이 일어나는 현상이다. 둘째, TCA(Transverse Chromatic Aberratioin)는 빛이 광축에 평행하지 않게 들어와 광축 주변부에 서로 다르게 상이 맺히는 현상이다. 상기 LCA 및 TCA는 렌즈가 직접적인 원인이 되어 발생하는 색수차라고 할 수 있다. 셋째, 블루밍(blooming)은 주로 이미지 센서의 결함에 의하여 발생하며, 특히 고배율 렌즈나 저가의 렌즈를 채용한 카메라의 영상 중에, 휘도차가 큰 에지 부근에서 넓게 분포하고 채도가 매우 강하게 나타나는 색수차다. 상기 블루밍은 렌즈와 이미지 센서의 복합 원인에 의하여 발생하는 색수차라고 할 수 있다.

이와 같이, 다양한 발생 원인에 따른 색수차를 효율적으로 줄이기 위한, 본 발명의 일 실시예에 따른 색수차 보정 장치(100)는 도 1에 도시된다. 색수차 보정 장치(100)는 영상 입력부(110), 색수차 영역 감지부(120), 휘도 구배 계산부(140), 색상 구배 계산부(130), 채도 계수 생성부(150), 승산기(155), 채도 보정부(160) 및 영상 출력부(170)를 포함하여 구성될 수 있다.

영상 입력부(110)는 입력 영상을 구성하는 화소 값을 읽어들이고, 이를 휘도(luminance) 신호(휘도 성분) 및 채도(chrominance) 신호(채도 성분)로 분리한다. 예를 들어, 입력 영상이 RGB 신호로 이루어져 있다고 할 때, 영상 입력부(110)는 상기 RGB 신호를 휘도 신호와 채도 신호가 분리된 신호, 예를 들어, HSV 신호, YUV 신호, YCbCr 신호 또는 YIQ 신호 등으로 변환한다. 이하 본 발명에서는 YCbCr 신호를 사용하는 것을 예로 들어 설명할 것이다.

입력 영상이 RGB 신호로 되어 있을 때, YCbCr 신호를 구성하는 각각의 Y, Cb, Cr 성분은 다음의 수학식 1과 같이 나타낼 수 있다.

Y = 0.299 * R + 0.578 * G + 0.114 * B

Cb = -0.169 * R - 0.331 * G + 0.5 * B

Cr = 0.5 * R - 0.418 * G + 0.082 * B

색수차 영역 감지부(120)는 상기 휘도 신호를 이용하여 색수차 영역을 감지한다. 색수차는 일반적으로 에지 영역에서 발생하므로, 상기 색수차 영역을 감지한다는 것은 에지 영역을 감지한다는 것과 대체로 일치한다. 본 발명에서는 에지 영역을 감지하기 위한 알고리즘의 예로서, 소벨(Sobel) 필터를 이용하는 것으로 한다. 소벨 필터는 도 2에 도시된 바와 같이 x 방향 필터 및 y 방향 필터로 이루어진다. 이러한 3x3 필터를 특정 휘도 성분(이하, 중심 휘도 성분이라고 함)을 중심으로 3x3개의 휘도 성분에 적용한다. 보다 자세히 설명하면, 상기 3x3 필터의 성분과 대응되는 3x3 휘도 성분을 각각 곱한 후 합을 계산한다. 상기 합은 x 방향 필터 및 y 방향 필터에 대하여 각각 구해질 수 있는데, 각각 구해진 두 개의 합을 Sx, Sy라고 할 때, 상기 중심 휘도 성분에 소벨 필터를 적용한 최종 결과 S(소벨 필터 값)는 다음의 수학식 2와 같이 계산될 수 있다.

색수차 영역 감지부(120)는 상기 소벨 필터 값이 소정의 문턱값(threshold) 를 넘으면 상기 중심 휘도 성분은 영상의 에지에 위치하는 것으로 판단한다. 그런데, 색수차는 반드시 에지에만 발생하는 것은 아니고, 에지 부근에서도 발생할 수도 있으므로, 상기 에지를 확장할 필요가 있다.

이를 위하여, 색수차 영역 감지부(120)는 상기 에지를 다음의 도 3과 같은 방식으로 확장한다. 즉, 어떤 휘도 성분이 에지로 판단되면, 상기 휘도 성분을 중심으로 한 소정 크기의 영역(도 3에서는 3x3)에 속하는 휘도 성분들은 모두 에지로 판단하는 것이다. 이와 같이 확장된 에지 영역은 색수차가 발생하며 색수차 보정이 필요한 영역, 즉 색수차 영역으로 간주된다.

색상 구배 계산부(130)는 입력 영상을 이루는 색상(color) 성분 간의 구배(gradient) 차이(이하, 색상 구배라고 함)로부터 색수차 정도를 계산한다. 상기 색상 성분은 예를 들어, R, G, B이다. 다음의 도 4 및 도 5는 색상간의 구배가 작은 영상의 색상 프로파일과 색상간의 구배가 큰 영상의 색상 프로파일을 각각 보여준다. 상기 색상 프로파일은 하나의 화소를 수평 방향으로 따라가면서 각 색상 성분(R, G, B)의 크기 변화를 도시한 것이다.

도 4와 같은 영상에서는 화소 인덱스가 0인 부근, 즉 에지 영역(40)에서 각 색상 간의 기울기 차이는 그다지 크지 않다. 그러나, 도 5와 같은 영상에서는 에지 영역(50)에서 각 색상 간의 기울기의 차이는 상당히 크게 나타난다. 따라서, 도 5의 에지 영역(50)에서 색수차가 발생할 가능성이 높다는 것을 알 수 있다.

먼저, 색상 구배 계산부(130)는 색수차 영역 감지부(120)에 의하여 색수차 영역에 포함되는 것으로 판단되는 특정 화소(이하 중심 화소라고 함)를 중심으로, 각 색상 별로 소정 크기(예: 3x3)의 블록에 포함되는 화소 값을 읽어들인다. 도 6에서 상기 중심 화소는 R₅, G₅ 및 B₅로 이루어지며, 예를 들어 상기 중심 화소의 오른쪽 화소는 R₆, G₆ 및 B₆로 이루어진다.

색상 구배 계산부(130)는 상기 중심 화소를 원점으로 하여 각 색상 별로 인접 화소와의 구배(색상 구배)를 계산한다. 예를 들어, 도 6과 같은 3x3 블록 크기를 사용하는 상기 색상 구배(T_R,n, T_G,n, T_B,n)는 다음의 수학식 3과 같이 표현될 수 있다.

, 단 n은 1, 2, … , 9

수학식 3에 따르면, 각 색상상 별로 9개의 색상 구배가 계산될 수 있다. 다만, 중심 화소에서는 색상 구배가 0이 되므로 실제로는 8개의 색상 구배만 계산하면 될 것이다.

색상 구배 계산부(130)는 이와 같이 각 색상 별로 색상 구배를 계산한 후, 두 개의 색상 간에 상기 색상 구배의 차이를 계산한다. YCbCr에서 채도 신호인 Cb, Cr은 G 성분을 중심으로 계산되기 때문에, G 성분을 기준으로 상기 색상 구배의 차이를 계산하는 것이 바람직하다.

따라서, G 성분을 기준으로 한 색상 구배의 차이(D_GR _,n, D_GB _,n)는 다음의 수학 식 4와 같이 정의될 수 있다.

색상 구배 계산부(130)는 상기 계산된 색상 구배의 차이를 이용하여, 제1 가중치(W_GB, W_GR)를 구한다. 이중에서, Cb 성분에 대한 제1 가중치(W_GB)는 D_GB _,n으로부터 구해지고, Cr 성분에 대한 제1 가중치(W_GR)는 D_GR _,n으로부터 구해진다. 상기 제1 가중치가 클수록 색수차가 클 것이라는 것을 예상할 수가 있다.

상기 제1 가중치는 상기 색상 구배의 차이가 클 수록 크게 잡는 것이 바람직하다. 예를 들어, 색상 구배의 차이(D_GB _,n, D_GR _,n)에 따라 제1 가중치(W_GB, W_GR)를 선택하는 곡선은 다음의 도 7과 같이 나타날 수 있다. 상기 곡선에 따라 색수차 보정 장치(100)의 전체적인 성능이 달라질 수 있으므로, 상기 곡선은 상기 입력 영상을 촬영할 때 사용된 렌즈의 특성에 따라 최적으로 선택될 필요가 있다. 상기 곡선은 대략적으로 단조 증가 함수의 형태를 갖는다. 다만, 상기 곡선에서 색상 구배의 차이가 일정 이상이 넘으면 제1 가중치는 모두 1이 되도록 설정되어 있다. 왜냐하면, 색수차가 존재하지 않는 영상의 에지에서 색상 구배의 차이는 그다지 크지 않기 때문이다.

하나의 중심 화소에 대하여, 제1 가중치(W_GB, W_GR)는 각각 다음의 도 8과 같이 3x3 블록, 즉 9개로 값으로 표시될 수 있다. 다만, W_GB _,5 및 W_GR _, ₅은 0이므로 계산 은 불필요하다.

다시 도 1을 참조하면, 휘도 구배 계산부(140)는 입력 영상을 이루는 휘도 성분의 구배(이하, 휘도 구배라고 함)를 이용하여 색수차 정도를 계산한다.

먼저, 휘도 구배 계산부(140)는 색수차 영역 감지부(120)에 의하여 색수차 영역에 포함되는 것으로 판단되는 중심 화소를 중심으로 한 소정 크기(예: 3x3)의 휘도 값을 읽어 들인다. 도 9와 같은 3x3 블록에서 Y₅는 상기 중심 화소의 휘도 성분(중심 휘도 성분)을 나타낸다. 또한, Y₆은 상기 중심 화소의 오른쪽 화소의 휘도이다.

상기 중심 화소의 휘도(Y₅)를 중심으로 하여, 도 9의 3x3 블록을 구성하는 성분들에 대한 휘도 구배(T_n)를 표시하면 다음의 도 10과 같다. 여기서, 휘도 구배(T_n)은 다음의 수학식 5를 만족한다.

, 단 n은 1, 2, … , 9

휘도 구배 계산부(140)는 상기와 같이 휘도 구배를 계산한 후, 각각의 휘도 구배(T_n)에 대응되는 제2 가중치(W_Y)을 계산한다. 따라서, 제2 가중치(W_Y)는 다음의 도 11과 같이 3x3 블록, 즉 9개로 값으로 표시될 수 있다. 다만, W_Y _,5는 0이므로 계산은 불필요하다.

그런데, 다양한 원인에 의하여 발생하는 색수차를 효율적으로 보정하기 위해서는 상기 휘도 구배와 제2 가중치와의 관계를 잘 설정하는 것이 중요하다. 단순히 휘도 구배가 클수록 색수차의 정도가 크다고는 볼 수가 없기 때문이다.

본 발명에서는 다양한 색수차를 고려하여, 상기 휘도 구배와 제2 가중치와의 관계 설정을 위하여 도 12의 예와 같은 곡선을 이용한다. 상기 곡선은 크게 구간 a, 구간 b 및 구간 c로 나뉘어질 수 있다.

구간 a(제1 단조 증가 구간)에는 일반적으로 중심 화소와 비슷한 화소에서는 색수차가 발생할 확률이 낮고, 중심 화소와 차이가 큰 화소에서는 색수차가 발생할 확률이 높다는 가정이 적용된다. 따라서, 구간 a 내에서는 휘도 구배(T_n)에 따라 제2 가중치(W_Y)는 증가하는 경향을 나타낸다. 상기 구간 a는 주로 LCA나 TCA가 발생하는 구간이라고 볼 수 있는데, 일반적으로 LCA나 TCA는 휘도 구배(T_n)를 일정 임계값 이상 과도하게 커지게 하지 않는다.

따라서, 휘도 구배(T_n)가 상기 임계값을 넘어서면, 이것이 색수차에 의해 발생될 가능성 보다는 오히려 영상에서의 화소간의 자연스러운 휘도 차에 의하여 발생될 가능성이 높다고 볼 수 있다. 따라서, 구간 b(단조 감소 구간) 내에서는 휘도 구배(T_n)에 따라 제2 가중치(W_Y)는 감소하는 경향을 나타낸다.

그런데, 블루밍(blooming)이나 퍼플 플린지(purple fringe)와 같은 색수차의 경우에는, 색수차가 발생한 영역과 정상 영역 간의 휘도 구배가 매우 커진다. 256 계조를 기준으로 할 때, 상기와 같은 색수차는 대략 휘도 구배가 100 이상인 영역에서 주로 발생한다. 따라서, 이와 같이 휘도 구배가 매우 큰 색수차를 고려하면, 도 12의 구간 c(제2 단조 증가 구간)에서와 같은 곡선 패턴이 필요하다. 구간 c 내에서는 휘도 구배(T_n)에 따라 제2 가중치(W_Y)는 대략 증가하는 경향을 나타낸다. 다만, 휘도 구배(T_n)가 어느 정도 커지게 되면 그 이후부터는 제2 가중치(W_Y)는 포화되어 거의 일정한 값을 갖는다.

이와 같이, 휘도 구배와 제2 가중치와의 관계를 설정하기 위한 곡선은 제1 단조 증가 함수, 단조 감소 함수 및 제2 단조 증가 함수를 포함하는 것이 바람직하다.

도 12와 같은 곡선 패턴(특히 구간 c)에 따라 구해지는 제2 가중치(W_Y)와 실제 색수차의 정도 간에는 확률적인 타당성이 있기는 하지만, 영상에서 색수차가 발생하지 않은 일부 영역을 색수차가 발생한 것으로 판단하는 오류가 생길 가능성이 있다. 예를 들어, 대비(contrast)가 큰 영상의 에지 부분에는 실제로 색수차가 존재하지 않더라도, 큰 휘도 구배로 인하여 제2 가중치(W_Y)가 커지는 문제점이 발생한다.

이러한, 오류의 가능성은 색상 구배 계산부(130)에서 계산된 제1 가중치(W_GB, W_GR)와 제2 가중치(W_Y)를 곱함으로써 제거하거나 낮출 수가 있다. 왜냐하면, 제1 가중치는 색상 구배 간의 차이로부터 계산되므로 색수차의 정도를 나타낼 수 있기 때문에 상기 곱에 의하여 제2 가중치(W_Y)의 오류를 바로 잡아 줄 수 있다. 예를 들어, 단순히 대비가 큰 정상적인 영상에서는 제1 가중치는 0에 가까운 값을 가지게 되므로, 제2 가중치가 1에 가깝다고 하더라도 그 결과는 0에 가까운 값이 되는 것이다.

승산기(155)는 제1 가중치(W_GB, W_GR)와 제2 가중치(W_Y)를 곱하여, 다음의 수학식 6과 같이, 색수차의 보정 정도를 결정하는 제3 가중치(W_Cb, W_Cr)를 계산한다. 여기서, W_Cb는 YCbCr 신호 중에서 Cb 신호의 보정에 사용되는 가중치이고, W_Cr은 YCbCr 신호 중에서 Cr 신호의 보정에 사용되는 가중치이다.

W_Cb = W_GB × W_Y

W_Cr = W_GR × W_Y

W_GB, W_GR 및 W_Y가 모두 동일한 블록 크기(예: 3x3)를 가지므로, W_Cb 및 W_Cr도 다음의 도 13과 같이 상기 블록 크기를 갖는다. 다만, W_cb _,5 및 W_cr _, ₅은 0이므로 계산은 불필요하다.

채도 보정부(160)는 승산기(155)로부터 얻은 제3 가중치(W_Cb, W_Cr)를 이용하여, 색수차 영역 감지부(120)에 의하여 색수차 영역으로 판단된 화소들의 채도 성분(Cb, Cr 성분)을 보정한다. 구체적으로, 채도 보정부(160)는 보정하고자 하는 채 도 성분(중심 채도 성분)을 중심으로 3x3 크기의 채도 성분들에, 도 13과 같이 3x3 크기의 제3 가중치를 적용한다. 즉, 채도 보정부(160)는 다음의 수학식 7과 같이, 상기 제3 가중치를 기준으로 상기 채도 성분들의 가중 평균을 계산하는 방법에 의하여, 상기 중심 채도 성분(Cb₅, Cr₅)을 보정한다. Cb₅' 및 Cr₅'는 보정된 중심 채도 성분이다.

이와 같이, 특정 화소의 채도 성분을 보정하는 데에는 상기 화소와 인접한 화소(예: 8개의 화소)의 정보가 이용되는 것이다.

그러나, 위와 같은 방법에 의하여 채도를 보정하는 경우에는, 강한 채도가 영상에 폭넓게 자리 잡고 있는 특수한 색수차를 보정하기에는 한계가 있을 수 있다. 이를 고려하여, 본 발명에서는 렌즈 또는 이미지 센서의 광학 특성에 기반한 채도 모델링 함수와 인접 화소의 채도를 이용하여 중심 화소의 채도를 추가적으로 보정하는 방법을 제안한다. 이 방법은 인접 화소의 채도를 이용하여 가중치를 증가시켜 채도가 강한 색수차 영역을 무채색 또는 인접 화소에 근접한 채도를 갖도록 해 준다.

도 14는 색수차가 포함된 영상(61) 및 상기 방법을 통하여 보정한 결과 영 상(63)을 비교하여 보여준다. 보정전 영상(61)의 색상 프로파일(62)에는 B 성분과 R 성분의 차이가 광범위하게 나타나지만, 보정후 영상(63)의 색상 프로파일(64)은 B 성분과 R 성분의 차이가 감소된다. 따라서, 상기 광범위한 색수차가 제거되는 것이다.

도 2를 참조하면, 채도 계수 생성부(150)는 렌즈 또는 이미지 센서의 광학 특성(파라미터)에 기반한 채도 모델링 함수를 구하고, 상기 채도 모델링 함수에 보정하고자 하는 화소 및 인접 화소들의 채도를 적용하여, 채도 계수를 생성한다. 상기 채도 모델링 함수는 특정 렌즈가 어떤 채도 값에서 색수차를 발생시킬 가능성이 높은가를 나타내는 확률 밀도 함수이다.

채도 모델링 함수는 통계 기반의 함수이므로, 예를 들어 가우시안 분포를 따르는 것으로 할 수 있다. 상기 가우시안 분포에 있어서 평균 및 표준편차는 렌즈의 특성에 의하여 결정된다. 물론, 상기 렌즈의 특성은 Cb, Cr 별로 다르게 나타날 수 있으므로, 상기 가우시안 분포도 Cb 및 Cr에 대하여 각각 하나씩 구해질 수 있다. 예를 들어, 도 15에서, 렌즈의 특성에 따라 Cb가 가우시안 분포(71)를 따른다고 하면, Cr은 이와 다른 가우시안 분포(72 또는 73)를 따를 수 있다. Gauss_LUT는 가우시안 분포 함수 내지 가우시안 룩업 테이블을 나타낸다.

예를 들어, 3x3 블록 크기의 채도 성분 각각을 상기 Gauss_LUT에 대입하면, Cb 및 Cr에 대하여 각각 총 9개의 값을 구할 수 있다. 채도 계수 생성부(150)는 상기 9개의 값을 각각 제1 가중치(W_GB, W_GR)와 곱함으로써 채도 계수를 생성할 수 있 다. 채도 계수(α_Cb, α_Cr)를 구하는 보다 구체적인 관계식은 다음의 수학식 8과 같다. 여기서, β는 채도 계수의 크기를 조절하기 위한 상수이다.

α_Cb = β×W_GB×Gauss_LUT(Cb)

α_Cr = β×W_GR×Gauss_LUT(Cr)

수학식 8에서, W_GB, W_GR, Cb 및 Cr은 각각 9개의 값으로 이루어져 있으므로, 채도 계수(α_Cb, α_Cr)도 9개의 값, 즉 3x3 블록 크기를 갖는다. 상기 채도 계수는 수학식 7의 분모에 가산되어 추가적인 채도 보정(저감) 효과를 나타낸다.

채도 보정부(160)는 수학식 7에 상기 채도 계수(α_Cb, α_Cr)를 추가적으로 적용하여 다음의 수학식 9와 같이 보정된 채도 성분을 구할 수 있다.

이와 같이, 특정 화소(소정 크기 블록에서의 중심 화소)의 채도 성분을 보정하는 데에는 상기 화소와 인접한 화소(예: 8개의 화소)의 정보가 이용된다.

영상 출력부(170)는 색수차 영역 감지부(120)에 의하여 색수차 영역에 속하지 않는 것으로 판단되는 채도 성분은 그대로 출력하고, 상기 색수차 영역에 속하 는 것으로 판단되는 채도 성분은 채도 보정부(160)에서 보정된 값으로 출력한다. 이 때, 영상 출력부(170)는 YCbCr과 같이 휘도 신호와 색 신호가 분리된 신호를 디스플레이하기에 적합한 RGB 신호로 변환할 수도 있다.

지금까지 도 2 내지 도 6의 각 구성요소들은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(field-programmable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소들은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.

이상 첨부된 도면을 참조하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야 한다.

도 1은 본 발명의 일 실시예에 따른 색수차 보정 장치의 구성을 도시하는 블록도.

도 2는 소벨 필터의 일 실시예를 보여주는 도면.

도 3은 본 발명의 일 실시예에 따른 에지 확장 방식을 보여주는 도면.

도 4는 색상간의 구배가 작은 영상의 색상 프로파일의 예를 보여주는 도면.

도 5는 색상간의 구배가 큰 영상의 색상 프로파일의 예를 보여주는 도면.

도 6은 색상 채널 별 화소 인덱스를 보여주는 도면.

도 7은 색상 구배의 차이와 제1 가중치 간의 관계를 나타내는 곡선의 예를 보여주는 도면.

도 8은 제1 가중치를 구성하는 성분들을 나타내는 도면.

도 9는 소정 블록 크기의 휘도 성분들을 나타내는 도면.

도 10은 소정 블록 크기의 휘도 구배들을 나타내는 도면.

도 11은 제2 가중치를 구성하는 성분들을 나타내는 도면.

도 12는 휘도 구배와 제2 가중치 간의 관계를 나타내는 곡선의 예를 보여주는 도면.

도 13은 제3 가중치를 구성하는 성분들을 나타내는 도면.

도 14는 색수차가 포함된 영상 및 보정된 결과 영상을 비교하는 도면.

도 15는 채도 성분에 따른 가우시안 분포의 예를 보여주는 도면.

(도면의 주요부분에 대한 부호 설명)

100 : 색수차 보정 장치 110 : 영상 입력부

120 : 색수차 영역 감지부 130 : 색상 구배 계산부

140 : 휘도 구배 계산부 150 : 채도 계수 생성부

155 : 승산기 160 : 채도 보정부

170 : 영상 출력부

Claims

입력 영상의 휘도 신호를 분석하여 색수차가 발생한 영역을 감지하는 색수차 영역 감지부;

상기 입력 영상을 이루는 색상 성분 간의 구배의 차이로부터 색수차 정도를 나타내는 제1 가중치를 계산하는 색상 구배 계산부;

상기 입력 영상을 이루는 휘도 성분의 구배로부터 색수차 정도를 나타내는 제2 가중치를 계산하는 휘도 구배 계산부; 및

상기 제1 가중치와 상기 제2 가중치를 승산한 값을 기반으로 상기 감지된 영역에 포함되는 상기 입력 영상의 화소의 채도를 보정하는 채도 보정부를 포함하는, 색수차 보정 장치.
제 1항에 있어서,

렌즈 또는 이미지 센서의 광학 특성에 기반한 채도 모델링 함수를 구하고, 상기 모델링 함수에 채도 성분을 적용한 결과와 상기 제1 가중치를 곱함으로써 채도 계수를 생성하는 채도 계수 생성부를 더 포함하고,

상기 채도 보정부는 상기 채도 계수를 이용하여 상기 입력 영상의 화소의 채도를 추가적으로 보정하는, 색수차 보정 장치.
제 2항에 있어서, 상기 채도 모델링 함수는

상기 채도 성분 별로 서로 다른 가우시안 분포를 갖는, 색수차 보정 장치.
제 2항에 있어서, 상기 채도 보정부는

상기 채도 계수가 클수록 상기 입력 영상의 화소의 채도가 더 크게 낮아지도록 보정하는, 색수차 보정 장치.
제 1항에 있어서, 상기 색수차 영역 감지부는

상기 입력 영상 중 특정 화소에 소벨 필터를 적용한 결과가 소정의 문턱값을 넘으면 상기 화소에 색수차가 발생한 것으로 판단하는, 색수차 보정 장치.
제 5항에 있어서, 상기 색수차 영역 감지부는

소정 크기의 블록 내에서 어느 하나라도 색수차가 발생한 화소이면 상기 블록 내의 모든 화소에 색수차가 발생한 것으로 판단하는, 색수차 보정 장치.
제 1항에 있어서, 색상 구배 계산부는

각각의 색상 성분 별로 중심 화소와 상기 중심 화소의 인접 화소 간의 구배를 계산하고, 상기 색상 성분 간에 상기 계산된 구배의 차이를 계산하고, 상기 계산된 차이를 대체로 단조 증가하는 함수에 적용하여 상기 제1 가중치를 계산하는, 색수차 보정 장치.
제 1항에 있어서, 상기 휘도 구배 계산부는

상기 입력 영상에 포함되는 화소의 휘도 성분과 상기 화소의 인접 화소의 휘도 성분 간의 구배를 계산하고, 상기 계산된 구배를 소정의 함수에 적용하여 상기 제2 가중치를 계산하는, 색수차 보정 장치.
제 8항에 있어서, 상기 소정의 함수는

제1 단조 증가 구간, 단조 감소 구간 및 제2 단조 증가 구간을 포함하는, 색수차 보정 장치.
제 1항에 있어서, 상기 채도 보정부는

상기 승산한 값을 가중치로 하여, 상기 감지된 영역에 포함되는 화소 및 그 인접 화소의 채도의 가중 평균을 구하고, 상기 가중 평균에 따라 상기 감지된 영역에 포함되는 화소의 채도를 보정하는, 색수차 보정 장치.
입력 영상의 휘도 신호를 분석하여 색수차가 발생한 영역을 감지하는 단계;

상기 입력 영상을 이루는 색상 성분 간의 구배의 차이로부터 색수차 정도를 나타내는 제1 가중치를 계산하는 단계;

상기 입력 영상을 이루는 휘도 성분의 구배로부터 색수차 정도를 나타내는 제2 가중치를 계산하는 단계; 및

상기 제1 가중치와 상기 제2 가중치를 승산한 값을 기반으로 상기 감지된 영 역에 포함되는 상기 입력 영상의 화소의 채도를 보정하는 단계를 포함하는, 색수차 보정 방법.
제 11항에 있어서,

렌즈 또는 이미지 센서의 광학 특성에 기반한 채도 모델링 함수를 구하는 단계; 및

상기 모델링 함수에 채도 성분을 적용한 결과와 상기 제1 가중치를 곱함으로써 채도 계수를 생성하는 채도 계수 생성부를 더 포함하고,

상기 채도를 보정하는 단계는 상기 채도 계수를 이용하여 상기 입력 영상의 화소의 채도를 추가적으로 보정하는 단계를 포함하는, 색수차 보정 방법.
제 12항에 있어서, 상기 채도 모델링 함수는

상기 채도 성분 별로 서로 다른 가우시안 분포를 갖는, 색수차 보정 방법.
제 12항에 있어서, 상기 채도를 보정하는 단계는

상기 채도 계수가 클수록 상기 입력 영상의 화소의 채도가 더 크게 낮아지도록 보정하는 단계를 더 포함하는, 색수차 보정 방법.
제 11항에 있어서, 상기 색수차가 발생한 영역을 감지하는 단계는

상기 입력 영상 중 특정 화소에 소벨 필터를 적용한 결과가 소정의 문턱값을 넘으면 상기 화소에 색수차가 발생한 것으로 판단하는 단계를 포함하는, 색수차 보정 방법.
제 15항에 있어서, 상기 색수차가 발생한 영역을 감지하는 단계는

소정 크기의 블록 내에서 어느 하나라도 색수차가 발생한 화소이면 상기 블록 내의 모든 화소에 색수차가 발생한 것으로 판단하는 단계를 더 포함하는, 색수차 보정 방법.
제 11항에 있어서, 상기 제1 가중치를 계산하는 단계는

각각의 색상 성분 별로 중심 화소와 상기 중심 화소의 인접 화소 간의 구배를 계산하는 단계;

상기 색상 성분 간에 상기 계산된 구배의 차이를 계산하는 단계; 및

상기 계산된 차이를 대체로 단조 증가하는 함수에 적용하여 상기 제1 가중치를 계산하는 단계를 포함하는, 색수차 보정 방법.
제 11항에 있어서, 상기 제2 가중치를 계산하는 단계는

상기 입력 영상에 포함되는 화소의 휘도 성분과 상기 화소의 인접 화소의 휘도 성분 간의 구배를 계산하는 단계; 및

상기 계산된 구배를 소정의 함수에 적용하여 상기 제2 가중치를 계산하는 단계를 포함하는, 색수차 보정 방법.
제 18항에 있어서, 상기 소정의 함수는

제1 단조 증가 구간, 단조 감소 구간 및 제2 단조 증가 구간을 포함하는, 색수차 보정 방법.
제 11항에 있어서, 상기 상기 채도를 보정하는 단계는

상기 승산한 값을 가중치로 하여, 상기 감지된 영역에 포함되는 화소 및 그 인접 화소의 채도의 가중 평균을 구하는 단계; 및

상기 가중 평균에 따라 상기 감지된 영역에 포함되는 화소의 채도를 보정하는 단계를 포함하는, 색수차 보정 방법.