KR20120005700A - 렌즈 쉐이딩 보정을 위한 이득 계산방법 및 이를 이용한 렌즈 쉐이딩 보정 방법 - Google Patents

Abstract

본 발명은, 2차원 방정식으로부터 이상적 곡선을 정의하고, 상기 이상적 곡선과 실제 데이터 간의 비율을 구해, 입력 영상 매트릭스(matrix)의 교차점에 대한 이득 값을 추출하는 방법과, 이와 같이 추출된 이득 값을 이용해 영상 쉐이딩을 보정하는 렌즈 쉐이딩 보정방법에 관한 것으로, (a) 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터 산출을 위해, 2차원 방정식을 정의하는 단계; (b) 상기 정의된 2차원 방정식을 이용해 상기 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터를 모든 색상 정보에 대해 계산하는 단계; (c) 모든 색상 정보에 대해 분할 영상의 매트릭스 상의 각 교차점에서의 실제 데이터를 계산하는 단계; (d) 상기 분할 영상의 매트릭스 상의 각 교차점에서 상기 계산된 이상적 데이터와 실제 데이터 간의 비율을 계산하는 단계; (e) 상기 계산된 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터와 실제 데이터 간의 비율을 이득 값으로 하여 저장매체에 저장하는 단계; (f) 입력된 영상에 대해 분할하고, 분할된 영상의 매트릭스 상의 각 교차점에 대응되는 이득 값을 상기 저장매체로부터 읽어, 대응되는 이득 값을 각 교차점 영상에 대해 곱해 보정하는 단계; 및 (g) 상기 보정된 영상에 대해 보간 처리하는 단계를 포함한다.

Description

렌즈 쉐이딩 보정을 위한 이득 계산방법 및 이를 이용한 렌즈 쉐이딩 보정 방법{Gain calculation for lens shading correction and lens shading correction using the same}

본 발명은 이미지 장치에서의 렌즈 쉐이딩(lens shading) 보정을 위한 이득 계산방법 및 이를 이용한 렌즈 쉐이딩 보정방법에 관한 것이다.

최근 이미지 장치를 구비한 휴대용 장치(예를 들어, 디지털 카메라, 이동 통신 단말기 등)가 사용되고 있다. 이미지 장치는 복수 픽셀들이 2차원 구조로 배열되어 있으며, 작은 감광 다이오드들의 어레이로 구성된다. 각 픽셀은 들어오는 빛의 밝기에 따라서 전기적인 신호로 변환한다. 이러한 전기 신호를 측정하면 각 픽셀에 유입되는 빛의 양을 알 수 있고, 이를 이용하여 픽셀 단위의 영상을 구성할 수 있다. 픽셀들 자체는 보통 광으로부터 컬러를 추출하지 않으며, 넓은 스펙트럼 대역으로부터의 광자들을 전자들로 변환할 뿐이다.

디지털 카메라 등 이미지 장치를 포함하는 디지털 광학 장치들은 일반적으로 하나의 이미지 센서를 사용하는데, 완전 색상을 얻기 위해서는 각각의 화소에 대해 보다 많은 정보를 필요로 한다. 그런데 이미지 센서의 픽셀들은 영상에 포함된 복수 색상 중에서 단 하나의 색상에 대한 픽셀 데이터를 추출하기 때문에 컬러 필터 어레이(CFA : Color Filter Array)를 이용하여 그 주위의 픽셀에 대한 정보로부터 잃어버린 픽셀의 정보를 추론해야 한다.

컬러 필터 어레이는 컬러 요소가 배열된 구조에 따라서 다양한 형태를 가지고 있으나, 가장 널리 사용되는 패턴은 RGB 베이어(Bayer) 패턴이다. 여기서, R은 적색, G은 녹색, B는 청색을 의미한다. 픽셀들의 전체 개수의 절반은 녹색(G)이며, 전체 개수의 각 4분의 1은 적색(R)과 청색(B)에 할당된다.

컬러 정보를 얻기 위해, 컬러 이미지 픽셀들은 적색, 녹색 또는 청색 필터로 반복 패턴으로 이루어지며, 예를 들어 베이어 패턴의 경우 2 x 2 배열이라 할 수 있다. 베이어 패턴은 사람의 눈이 장면의 녹색 내용으로부터 루미넌스(Luminance) 데이터의 대부분을 도출한다는 바탕을 전제로 두고 있다. 따라서, 픽셀들 중 보다 많은 픽셀이 녹색이 되도록 함으로써, 적색, 녹색 및 청색 픽셀들이 동일한 개수인 상태에서 교번하는 RGB 컬러 필터에 비해 높은 해상도 이미지가 생성될 수 있다.

그러나 종래의 이미지 센서는 픽셀 어레이 구성의 기하학적 배열에 의한 이미지 왜곡을 가지는 문제점이 있다.

이미지 센서의 CFA 중앙부의 픽셀들과 외곽의 픽셀들은 서로 다른 위치에서 광원에 노출된다. 이러한 미세한 위치 차이는 조도(illumination)차를 유발하며, 조도 차이는 빛의 파장 차이와 렌즈들의 굴절률 차이에 의해 색상에도 영향을 준다.

그 결과, 색상 왜곡과 픽셀의 위치에 의존한 신호 크기의 감소가 발생하며, 이는 원시 이미지의 품질을 저하시키는 원인이 된다. 그래서 원시 이미지의 품질을 저하시키는 문제점을 보상하기 위해 주변부 쪽으로 갈수록 이득(Gain)을 더 많이 부여하는 방식을 사용하고 있는데, 이를 렌즈 쉐이딩(lens shading) 보정이라고 한다.

렌즈 쉐이딩 보정을 위해 종래에 많이 사용되는 방식으로 이차원 함수를 이용하는 방법으로, 이 방법은 중심에서 주변의 이득을 완전 대칭으로 부여한다. 하지만, 이미지 센서의 영상이 중심에서 대칭이 아니기 때문에 대칭성을 갖고 이득을 부여하는 경우 렌즈 쉐이딩 보정 후 대칭이 되지 않는다. 또한 R, G, B 각각의 색상들이 중심에서 대칭이 되지 않기 때문에 대칭으로만 보정을 하면 색 편차 현상이 발생하여 원시 이미지의 품질이 저하되는 문제점이 있다.

영상을 n×m으로 분할한 후, 각각의 교차점에서 이득을 구하고, 이렇게 구한 이득을 이용해 영상의 쉐이딩 보정을 하는 것이 정확성이 높기는 하나, 각각의 이득 값을 추출하는 기술이 요구된다.

본 발명은 추출된 이득 값을 이용해 영상 쉐이딩을 보정하는 방법을 제공한다.

상기와 같은 목적을 달성하기 위한 본 발명에 따른 이미지 센서의 렌즈 쉐이딩 보정을 위한 이득 계산 방법은, (a) 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터 산출을 위해, 2차원 방정식을 정의하는 단계; (b) 상기 정의된 2차원 방정식을 이용해 상기 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터를 모든 색상 정보에 대해 계산하는 단계; (c) 모든 색상 정보에 대해 분할 영상의 매트릭스 상의 각 교차점에서의 실제 데이터를 계산하는 단계; (d) 상기 분할 영상의 매트릭스 상의 각 교차점에서 상기 계산된 이상적 데이터와 실제 데이터 간의 비율을 계산하는 단계; 및 (e) 상기 계산된 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터와 실제 데이터 간의 비율을 이득 값으로 하여 저장매체에 저장하는 단계를 포함한다.

또한, 본 발명에 따른 이미지 센서에서의 렌즈 쉐이딩 보정방법은, (a) 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터 산출을 위해, 2차원 방정식을 정의하는 단계; (b) 상기 정의된 2차원 방정식을 이용해 상기 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터를 모든 색상 정보에 대해 계산하는 단계; (c) 모든 색상 정보에 대해 분할 영상의 매트릭스 상의 각 교차점에서의 실제 데이터를 계산하는 단계; (d) 상기 분할 영상의 매트릭스 상의 각 교차점에서 상기 계산된 이상적 데이터와 실제 데이터 간의 비율을 계산하는 단계; (e) 상기 계산된 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터와 실제 데이터 간의 비율을 이득 값으로 하여 저장매체에 저장하는 단계; (f) 입력된 영상에 대해 분할하고, 분할된 영상의 매트릭스 상의 각 교차점에 대응되는 이득 값을 상기 저장매체로부터 읽어, 대응되는 이득 값을 각 교차점 영상에 대해 곱해 보정하는 단계; 및 (g) 상기 보정된 영상에 대해 보간 처리하는 단계를 포함한다.

이상적 곡선을 위한 상기 2차원 방정식에서 변수 a와 b는, 상기 2차원 방정식으로 정의되는 이상적 곡선의 중심의 최대값과 주변의 값 간에는 M(M≤1)의 비율을 가지며, 실제 데이터의 최대값은 상기 이상적 곡선의 한 점과 일치한다는 점을 이용해 계산된다.

본 발명에 의하면, 실제 데이터가 아무리 거칠게 되더라도 모두 대칭이 되는 쉐이딩 모양을 만들 수 있고, 렌즈 쉐이딩을 전수 튜닝할 경우 실제 데이터에 대한 영상 정보만 있으면 튜닝 정보를 빠르게 획득할 수 있다.

도 1은 본 발명이 적용되는 이미지 장치를 도시한 블록 구성도.
도 2는 본 발명에 이용되는 이상적 곡선을 설명하기 위한 그래프.
도 3은 원시 영상의 실제 데이터와 이상적 곡선 간의 관계를 설명하기 위한 그래프.
도 4는 원시 영상을 n x m으로 분할한 상태를 나타낸 도면.
도 5는 본 발명에 따른 렌즈 쉐이딩 보정 방법을 설명하기 위한 일 실시예 흐름도.

상술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되어 있는 상세한 설명을 통하여 보다 명확해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면들을 함께 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명이 적용되는 이미지 장치를 도시한 블록 구성도이다.

도 1을 참조하면, 이미지 장치는, 센서부(10), 이미지 프로세싱부(20), 표시부(30)로 구성되며, 이미지 프로세싱부(20)는 영상 분할부(21), 보정 처리부(22), 보간 처리부(23) 등을 포함할 수 있다.

센서부(10)는 도시되지 않았지만, 컬러 필터 어레이(CFA: Color Filter Array), 아날로그 디지털 컨버터(ADC), 렌즈부 등을 포함한다. 컬러 필터 어레이는 렌즈부를 통해 입력되는 광학적 피사체 신호를 전기적인 신호로 변환하여 출력한다. 이때, 컬러 필터 어레이는 해상도 면에서 유리한 베이어(Bayer) 패턴을 사용할 수 있다.

아날로그 디지털 컨버터(ADC)는 컬러 필터 어레이에 의해 변환된 전기적 신호를 디지털 신호로 변환한다.

이미지 프로세싱부(20)는 아날로그 디지털 컨버터(ADC)로부터 입력된 디지털 신호에 대해 영상 분할과 렌즈 쉐이딩 보정 처리 및 보간 처리를 수행하는 이미지 프로세싱을 담당한다.

표시부(30)는 이미지 프로세싱부(20)에 의해 처리된 영상을 표시한다.

이미지 프로세싱부(20)의 동작에 대해 보다 구체적으로 살펴보면, 영상 분할부(21)는 도 4에 도시된 바와 같이 입력 영상을 n×m의 형태로 분할한다.

보정 처리부(22)는 이득 저장부(도시되지 않음)에 저장된 이득 값을 이용해 각 픽셀에 대해 영상 보정을 수행하고, 보간 처리부(23)는 보정 처리부(22)에 의해 보정된 영상에 대해 보간 처리를 수행한다. 즉, 보정 처리부(22)는 입력된 영상의 각 매트릭스 교차점에서 실제 데이터와 이상적인 곡선의 값 간의 비율로 정의된 이득 값을 각 매트릭스 교차점에서의 실제 데이터에 더해 입력 영상을 보정하고, 보간 처리부(23)는 교차점과 교차점 사이의 영상 실제 데이터들에 대해 직선의 방정식을 이용해 보간 처리를 수행한다.

이하, 영상 보정을 위한 이득 값 결정 과정에 대해 구체적으로 살펴본다.

이상적인 곡선의 방정식은 일반적으로 도 2와 같은 곡선의 방정식으로 찾는다. 곡선 방정식은 다음 수학식 1과 같이 나타낼 수 있다.

상기 수학식 1에서, xc는 x축의 중심 값이고, yc는 y축의 중심 값을 나타내며, a와 b는 변수로, 상기 a와 b의 변수를 구하면 z를 완전히 구할 수 있다.

여기서 변수 a와 b는 다음의 두 가지 사실로부터 구할 수 있다.

첫째는, 이상적 곡선의 중심의 최대값과 주변의 값 간에는 M의 비율을 갖는다. 여기서, M 값은 1보다 작거나 같으며 사용자가 변경할 수 있다.

둘째는, 실제 데이터의 최대값은 이상적 곡선의 한 점과 일치한다. 도 3은 입력 영상의 실제 데이터와 이상적 곡선 간의 관계를 나타낸 그래프로, 도 3에 도시된 바와 같이 실제 데이터의 최대값은 이상적 곡선의 한점과 만나는 경향을 보인다.

이와 같은 사실에 따라 (0,0)에서 값은 중심 대비 M의 비율을 갖기 때문에, 수학식 2와 같이 나타낼 수 있다.

수학식 2는 다시 수학식 3과 같이 나타낼 수 있다.

만약 수학식 2에서 M=1인 경우, a=0이 된다.

다시, 수학식 3을 수학식 1에 대입하면, 다음 수학식 4와 같이 나타낼 수 있다.

앞서 설명한 각 영상의 실제 데이터의 최대값은 이상적 곡선의 한점과 일치한다는 논리에 따라 x축의 최대값인 x_max, y축의 최대값인 y_max, z축의 최대값인 z_max를 수학식 4에 대입하면 다음 수학식 5와 같이 나타낼 수 있다.

a값을 산출하기 위해 수학식 5를 다음 수학식 6과 같이 나타낼 수 있다.

이상에서 설명한 바와 같이, x축의 최대값(x_max), y축의 최대값(y_max), z축의 최대값(z_max), x축의 중심 값(xc), y축의 중심 값(yc)을 이용해 상수 a와 b를 구하고, 수학식 3과 수학식 6을 수학식 1에 대입하면 이상적 곡선을 정의하는 2차원 방정식이 완성된다.

다음은 이와 같이 변수 a, b를 계산하여 완성된 이상적 곡성의 2차원 방정식을 이용해 각 픽셀에서의 이득 값을 계산하는 방법을 설명한다.

먼저, 화이트 차트 영상을 n×m으로 분할한 경우, 분할 영상의 매트릭스 교차점에서의 이상적 데이터 값을 각각 계산하는데, 이를 위해 분할 영상의 x축 중심값과, y축 중심값을 계산하고, 이미 알고 있는 상수 a,b를 이용해 z 값을 계산함으로써, 각 매트릭스 교차점에서의 이상적 데이터를 계산한다. 그리고, 이렇게 계산된 이상적 데이터와 실제 데이터 간의 비율을 계산한다. 이와 같이 계산된 비율이 바로 각 매트릭스 교차점에서의 이득 값이 된다. 이와 같은 이상적 데이터를 계산하고, 이상적 데이터와 실제 데이터 간의 비율을 계산하는 과정은 베이어(bayer)에서 R, Gr, Gb, B 각각에 대해 이루어진다.

이와 같이 모든 색상에 대해 각 매트릭스의 교차점에서의 비율이 계산되며, 각 교차점에서의 비율을 각 교차점에서의 이득 값으로 하여 이득 저장부에 이득 테이블 형태로 저장한다.

이하에서는 도 5를 참조하여 렌즈 쉐이딩 보정 방법을 설명한다.

도 5는 본 발명에 따른 이미지 센서에서의 렌즈 쉐이딩 보정 방법을 설명하기 위한 흐름도이다.

도 5를 참조하면, 먼저, 전술한 바와 같이 2차원 방정식으로 정의되는 이상적 곡선을 정의한다(501).

그리고 정의된 2차원 방정식을 이용해 n×m으로 분할된 영상의 각 매트릭스 교차점에서의 이상적 데이터를 계산한다. 각 매트릭스 교차점에서의 이상적 데이터는 모든 색상 정보(R, G, B 또는 R, Gr, Gb, B)에 대해 각각 수행된다. 또한 모든 색상 정보(R, G, B 또는 R, Gr, Gb, B)에 대해 분할 영상의 각 매트릭스 교차점에서의 실제 데이터를 계산한다. 이와 같이 이상적 데이터와 실제 데이터가 계산되면, 계산된 이상적 데이터와 실제 데이터의 매트릭스 상의 각 교차점에서의 비율을 계산한다(502).

이렇게 계산된 각 매트릭스 교차점에서의 이상적 데이터와 실제 데이터 간의 비율이 대응되는 매트릭스 교차점에서의 이득 값이 된다. 이렇게 계산된 매트릭스 상의 각 교차점에서의 이득 값은 이득 저장부에 이득 값이 테이블 형태로 저장된다(503).

이와 같이 이득 저장부에 이득 값이 테이블 형태로 저장한 후, 영상이 입력되면, 입력 영상을 n×m 형태로 분할한다(504).

그리고, 이렇게 분할된 영상의 매트릭스 상의 각 교차점 영상에 대해 각 교차점에 대응되는 이득 값을 상기 이득 저장부에 저장된 이득 값 테이블로부터 읽어, 대응되는 이득 값을 각 교차점 영상에 대해 곱해 줌으로써, 영상의 각 교차점에 대한 보정을 수행한다(505).

이후 이와 같은 보정이 완료되면, 다음은 각 교차점과 교차점 사이의 영상들에 대해 직선을 방정식을 이용한 선형 보간법을 통해 보간 처리를 수행한다(506).

이상에서 상세히 설명한 바와 같이 하여, 본 발명은 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터와 실제 데이터를 구해, 이상적 데이터와 실제 데이터 간의 비율을 계산함으로써, 각 교차점에서의 이득 값을 획득하고, 이렇게 구한 이득 값을 이용해 렌즈 쉐이딩 현상을 보정함으로써, 영상의 가장자리 영역에 해당하는 영상 영역에서 각 색상 정보에 따른 계조 표현이 왜곡되는 문제점을 해결하여, 영상의 가장자리영역에 해당하는 영상 영역에서 정확한 색상을 표현할 수 있다.

한편, 전술한 바와 같은 본 발명의 방법은 컴퓨터 프로그램으로 작성이 가능하다. 그리고 상기 프로그램을 구성하는 코드 및 코드 세그먼트는 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다.　또한, 상기 작성된 프로그램은 컴퓨터가 읽을 수 있는 기록매체(정보저장매체)에 저장되고, 컴퓨터에 의하여 판독되고 실행됨으로써 본 발명의 방법을 구현한다. 그리고 상기 기록매체는 컴퓨터가 판독할 수 있는 모든 형태의 기록매체를 포함한다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.

10: 센서부 20: 이미지프로세싱부
21: 영상 분할부 22: 보정 처리부
23: 보간 처리부 30: 표시부

Claims (4)

1. (a) 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터 산출을 위해, 2차원 방정식을 정의하는 단계;
   (b) 상기 정의된 2차원 방정식을 이용해 상기 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터를 모든 색상 정보에 대해 계산하는 단계;
   (c) 모든 색상 정보에 대해 분할 영상의 매트릭스 상의 각 교차점에서의 실제 데이터를 계산하는 단계;
   (d) 상기 분할 영상의 매트릭스 상의 각 교차점에서 상기 계산된 이상적 데이터와 실제 데이터 간의 비율을 계산하는 단계; 및
   (e) 상기 계산된 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터와 실제 데이터 간의 비율을 이득 값으로 하여 저장매체에 저장하는 단계
   를 포함하는 렌즈 쉐이딩 보정을 위한 이득 계산 방법.
   
2. 제 1 항에 있어서,
   상기 (a) 단계에서 상기 2차원 방정식은,
   

   

   (xc는 x축의 중심값, yc는 y축의 중심값)와 같이 표현되고, 변수 a와 b는, 상기 2차원 방정식으로 정의되는 이상적 곡선의 중심의 최대값과 주변의 값 간에는 M(M≤1)의 비율을 가지며, 실제 데이터의 최대값은 상기 이상적 곡선의 한 점과 일치한다는 점을 이용해 계산되는 것을 특징으로 하는 렌즈 쉐이딩 보정을 위한 이득 계산 방법.
   
3. (a) 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터 산출을 위해, 2차원 방정식을 정의하는 단계;
   (b) 상기 정의된 2차원 방정식을 이용해 상기 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터를 모든 색상 정보에 대해 계산하는 단계;
   (c) 모든 색상 정보에 대해 분할 영상의 매트릭스 상의 각 교차점에서의 실제 데이터를 계산하는 단계;
   (d) 상기 분할 영상의 매트릭스 상의 각 교차점에서 상기 계산된 이상적 데이터와 실제 데이터 간의 비율을 계산하는 단계;
   (e) 상기 계산된 분할 영상의 매트릭스 상의 각 교차점에서의 이상적 데이터와 실제 데이터 간의 비율을 이득 값으로 하여 저장매체에 저장하는 단계;
   (f) 입력된 영상에 대해 분할하고, 분할된 영상의 매트릭스 상의 각 교차점에 대응되는 이득 값을 상기 저장매체로부터 읽어, 대응되는 이득 값을 각 교차점 영상에 대해 곱해 보정하는 단계; 및
   (g) 상기 보정된 영상에 대해 보간 처리하는 단계
   를 포함하는 렌즈 쉐이딩 보정방법.
4. 제 3 항에 있어서,
   상기 (a) 단계에서 상기 2차원 방정식은,
   

   

   (xc는 x축의 중심값, yc는 y축의 중심값)와 같이 표현되고, 변수 a와 b는, 상기 2차원 방정식으로 정의되는 이상적 곡선의 중심의 최대값과 주변의 값 간에는 M(M≤1)의 비율을 가지며, 실제 데이터의 최대값은 상기 이상적 곡선의 한 점과 일치한다는 점을 이용해 계산되는 것을 특징으로 하는 렌즈 쉐이딩 보정을 위한 이득 계산 방법.

Images