KR20040058277A - 캘리브레이션 유도 방법, 이미지 처리 방법 및 이미지시스템 - Google Patents

Abstract

본 발명은 방사상 수차 모델의 제 1 계수를 유도하는 근사화 방법을 제공한다. 본 발명에 의해서 디지털 카메라 시스템이 단일 직선을 갖는 이미지를 캡쳐함으로써 방사상 렌즈 왜곡을 보정하기 위해서 양호한 파라미터를 자동적으로 찾게 된다. 제안된 방법은 디지털 카메라가 실시간으로 방사상 렌즈 보정을 수행하는데 있어서 계산적으로 효율적이다.

Description

캘리브레이션 유도 방법, 이미지 처리 방법 및 이미지 시스템{METHOD FOR CALIBRATION AND CORRECTION OF RADIAL LENS DISTORTION}

통상적으로, 비용 함수를 최소화함으로써 수차 파라미터를 유도하기 위해서 입력 이미지와 기준 이미지 간의 일치 정도를 구하는 것이 필요하다. 다른 한 방식은 몇 개의 상이한 투영된 이미지들의 3 선형 텐서(tri-linear tensor)를 계산한다. 이러한 방식들은 자기 참조(self-reference)를 위해서 수 많은 입력 이미지 또는 기준 이미지에 대한 정보를 분명하게 알아야 한다.

카메라 광학 장치의 결함은 획득된 이미지에서 존재하는 수차를 생성한다. 구형 수차 및 색체 수차(chromatic aberration) 이외에, 상기 수차는 이미지 평면의 비점수차(非點數差)(astigmatism), 코마(coma), 왜곡 및 만곡을 포함한다. 이는 구체적으로 방사상 수차(radial aberration)로 지칭되는 획득된 이미지에서의 수차와 같은 다량의 핀쿠션(pincushion)을 생성한다. 방사상 수차는 저렴한 렌즈를 구비한 카메라에서 분명하게 나타난다. 이러한 문제는 디지털 이미징 시스템 제조자에게, 특히 디지털 카메라 제조자 및 핵심 구성 요소 공급자에게 있어서 매우 중요한 사항이다. 이러한 문제에 대한 해법은 통상적으로 일본 특허 출원 JP-A-11-313250에 제안된 바와 같은 고비용의 광학 시스템을 포함하는 것이다. 또한, 다른 해법은 일본 특허 출원 JP-A-10-187929에서 개시된 바와 같이 상기 방사상 수차를 디지털적으로 보정하는 것이다.

문헌 "Line based correction of radial lens distortion" By B.Prescot and G.F. McLean in "Graphical Models and Image Processing", Vol. 59, No. 1, January 1997, pages 39 - 47, Article No. IP960407에서, 국부적 구배 배향과 특정 접속 관계의 유사성의 공통 기준으로 결정된 특정 라인 지지 영역에 할당된 곡선으로 다수의 직선을 재생성하는 것을 기반으로 하여 상기 보상을 위한 왜곡 파라미터를 최적화한다. 라인 등식(line equation)의 세트 및 직선의 세트와 곡선의세트 간의 수차를 설명하는 등식의 세트를 기반으로 하는 등식 세트 전체가 풀어지게 되며 이로써 왜곡된 이미지에서 보정된 이미지로의 전체적인 순방향 맵핑(a global forward mapping)의 파라미터를 계산하게 된다. 완전한 해답을 얻기 위해서 수행되는 상기 전체적인 계산은 충분한 계산적 수고를 필요로 하며 실시간 애플리케이션에서는 적합하지 않다.

발명의 개요

본 발명의 목적은 광학 시스템의 실시간 반자동 캘리브레이션을 수행할 수 있는 캘리브레이션 방법 및 이미지 처리 방법을 제공하는 것이다. 또한, 적합한 이미지 시스템이 제공되어야 한다. 특히 카메라는 이러한 광학 시스템 및 가령 CMOS 기술을 기반으로 하는 CCD 또는 CED 센서와 같은 전하 전달 디바이스와 같은 광학 시스템에 의해 제공되는 이미지를 샘플링하는 개별 요소의 어레이를 포함하는 이미저(imager)를 포함한다.

이러한 목적은 본 발명에 따르는 서두에서 언급된 캘리브레이션 유도 방법에 의해서 성취되는데 이 방법에서 계산을 위해서 직선 상의 개별 지점들의 기하학적 관계식이 제공되며, 적어도 하나의 캘리브레이션 파라미터를 포함하는, 직선 상의 개별 지점과 곡선 상의 각각의 지점 간의 수차를 설명하는 근사 관계식이 제공되고, 상기 적어도 하나의 캘리브레이션 파라미터는 상기 기하학적 관계식 및 상기 근사 관계식으로부터 유도되고, 상기 캘리브레이션은 기준 이미지의 경계부에 근접한 단일 직선을 기반으로 하여 유도된다.

또한, 본 발명은 서두에서 언급된 이미지 처리 방법을 제공하며, 이 방법에서 계산을 위해서 직선 상의 개별 지점들의 기하학적 관계식이 제공되며, 적어도 하나의 캘리브레이션 파라미터를 포함하는, 직선 상의 개별 지점과 곡선 상의 각각의 지점 간의 수차를 설명하는 근사 관계식이 제공되고, 상기 적어도 하나의 캘리브레이션 파라미터는 상기 기하학적 관계식 및 상기 근사 관계식으로부터 유도되고, 상기 캘리브레이션은 기준 이미지의 경계부에 근접한 단일 직선을 기반으로 하여 유도되며, 상기 이미지는 광학 시스템에 의해서 재생성되며 이후에 처리되고 상기 광학 시스템의 수차로부터 기인한 재생성된 이미지의 왜곡은 캘리브레이션에 의해서 보정된다.

상기 캘리브레이션 유도 방법을 기반으로 하고 상기 이미지 처리 방법에 포함되는 상기 보정 방법은 하드웨어 가속과 함께 비디오를 캡쳐하기 위해서 실시간으로 수행되거나 단일 이미지를 캡쳐하기 위해서 오프 라인으로 수행된다. 특히, 저비용 애플리케이션의 경우, 광학 시스템의 실시간 애플리케이션 및 반자동 캘리브레이션을 위해서 적어도 하나의 캘리브레이션 파라미터를 유도하는데 있어서 단일 직선과 단일 곡선 상의 개별 지점들을 기반으로 하는 기하학적 관계식 및 근사 관계식을 제공하는 것으로 충분하다. 그러므로, 이러한 주요 개념은 기준 이미지의 경계부에 근사한 단일 직선을 기반으로 하는 캘리브레이션을 유도하여 이로써 유리하게는 하나의 캘리브레이션 파라미터를 유도하는 것에 있다. 이러한 개념에 따라서 광학 시스템의 수차를 디지털적으로 보정하기 위해서는 상술된 방법으로 충분하다.

본 발명의 장점은 종속항에서 규정된 바와 같은 연속하여 개발된 구성에 의해서 더욱 개선된다.

특히, 단일 직선 상에서 세 개의 지점에 대한 기하학적 관계식이 사용된다. 바람직한 실시예에서 이 지점들 중 하나는 단일 직선의 좌측 부분에, 다른 하나는 단일 직선의 중간 부분에, 나머지 하나는 우측 부분에 위치한다. 이렇게 단일 직선 상에 지점들을 최적절하게 분포시킴으로써 이미지에 걸쳐 있는 수차가 신뢰할만하게 그리고 효율적으로 전체적으로 보상된다.

바람직하게는 근사 관계식은 하나의 단일 캘리브레이션 파라미터를 기반으로 하며 이러한 파라미터는 실시간 애플리케이션 요구 시에 가장 효율적이다.

바람직한 구성에서, 단일 직선은 기준 이미지의 외부 프레임 내에서 연장되며 상기 외부 프레임은 기준 이미지의 표면의 대략 50 %을 덮는다(overcast). 구체적으로, 단일 직선은 기준 이미지의 직경의 30 %보다 크지 않는 기준 이미지의 경계부로부터 떨어진 거리에서 기준 이미지에 걸쳐 연장되어 있다.

다른 바람직한 실시예에서, 단일 직선은 수평선이다. 또한, 단일 직선은 수직선일 수 있다. 수평선은 그의 높이보다 큰 폭을 갖는 직사각형 이미지의 수차를 보상하는데 있어서 유리하다.

유리하게는, 캘리브레이션 파라미터는 상기 기하학적 관계식과 근사 관계식을 반복적으로 풀므로써 유도된다. 이러한 반복은 그 결과에 대해 요구되는 정밀도가 낮게 되면 매우 신속한 결과를 제공할 수 있다. 이러한 절충 정도는 유리하게는 조절될 수 있다.

다른 바람직한 실시예에서 기준 이미지로부터 이진 기준 이미지가 유도되어 기준 이미지로서 사용된다. 유리하게는 단일 직선은 기준 이미지를 얇게 함으로써 특히 하나의 픽셀 폭까지 얇게 함으로써 기준 이미지로부터 유도된다. 이로써, 임의의 이미지가 기준 이미지로서 사용될 수 있다. 직선은 효율적으로 방식으로 추출된다.

또한, 본 발명은 상기 제안된 방법을 구현하는 디바이스를 포함하는 이미지 시스템에 관한 것이다.

이러한 이미지 시스템은 CMOS, CCD 또는 CED 이미저와 같은 이미지 센서 및 광학 시스템을 포함한다. 이 디바이스는 메모리 및 처리 유닛을 포함하는 이미지 신호로부터 출력된 비디오를 유도하는 프로세서 디바이스이다. 또한, 인터페이스 특히 이미지 센서에 접속가능한 인터페이스 및 모니터에 접속가능한 인터페이스가 제공될 수 있다.

본 발명은 첨부 도면을 참조하여 설명될 것이다.

본 발명의 바람직한 실시예가 기술되었지만 본 발명의 사상 및 범위 내에서 다양한 수정 및 변경이 가능하다. 본 발명은 본 명세서에서 기술된 형태로만 한정되는 것이 아니다. 본 발명의 바람직한 실시예에 대한 상세한 설명이 다음의 도면을 참조하여 이루어질 것이다.

본 발명은 수차(aberration)를 갖는 광학 시스템의, 적어도 하나의 캘리브레이션 파라미터(calibration parameter)를 포함하는 캘리브레이션을 유도하는 방법에 관한 것이며, 상기 수차로 인해서 기준 이미지의 직선 라인이 재생성된 기준 이미지에서는 곡선으로 재생성되며 상기 적어도 하나의 캘리브레이션 파라미터를 제공하기 위해서 상기 직선과 상기 곡선 간의 수차가 계산 시에 사용된다. 또한, 본 발명은 수차를 갖는 광학 시스템이 기준 이미지의 재생성으로부터 유도된 캘리브레이션에 의해서 캘리브레이션되는 이미지 처리 방법에 관한 것이며, 상기 수차로 인해서 기준 이미지의 직선 라인이 재생성된 기준 이미지에서는 곡선으로 재생성되며 상기 적어도 하나의 캘리브레이션 파라미터를 제공하기 위해서 상기 직선과 상기 곡선 간의 수차가 계산 시에 사용된다.

도 1a는 수평선 이미지,

도 1b는 얇게 하는 프로세스 이후에 이진 이미지의 도면,

도 2a는 최초의 이미지의 도면,

도 2b는 보정된 이미지의 도면,

도 3은 곡선 상의 추출된 개별 픽셀의 세트 및 이에 대응하는 올바른 위치를 갖는 바람직한 실시예의 방법을 도시한 도면.

방사상 수차는 도 3에서 픽셀에서 이미지 중심 O 까지의 거리의 함수로서 모델링된다. 등식 1은 수차 모델이며 R은 왜곡된 픽셀에서 이미지의 중심 O 까지의 거리이다. 상술된 바와 같이 최저 비용의 렌즈에 대해서 하나의 파라미터 모델이면 충분하다. 유클리드 좌표로 표현된 특정 모델은 등식 2로서 기술된다.

(1)

(2)

여기서, R'²= (x' - C_X)²+ (y' - C_y)²이며 픽셀 P(x,y)은 왜곡된 픽셀 p(x',y')에 대응하며 이어서 보정된 픽셀(C_x,C_y)에 대응하며 이는 이어서 이미지의 광학 중심에 대응한다. 저비용 렌즈의 경우, 광학 제품 제조자는 통상적으로 공장 수차 파라미터 γ_s를 제공하지 않는다. 그러므로, 디지털 카메라 제조자는 종종 상기 수차 보정에 대해서 아무 조치도 취하지 않게 되며 이로써 부정확한 결과에 이르게 된다.

본 발명의 바람직한 실시예는 γ₁를 유도하는 반자동 방식을 제공한다. 유도된 γ₁은 하드웨어 가속과 함께 실시간으로 수행될 수 있는 렌즈 보정을 위한 룩업 테이블을 개발하는 것을 돕는다. 이로써 사용자는 업그레이드된 렌즈를 자기 캘리브레이션할 수 있거나 디지털 카메라 제조자는 고품질 카메라에서 저렴한 렌즈를 사용할 수 있다.

이 제안된 방법은 제 1 수차 파라미터 g₁를 유도하는 강하고 계산적으로 효율적인 방식을 제공한다. 이러한 작업을 위해서는 단일 직선을 갖는 한 입력 이미지이면 충분하다. 이러한 기술의 단순성으로 인해서 이 기술은 소비자 제품에서 이용되는데 적합하다.

수차 모델은 등식 (2)에서 기술되며 왜곡 보정의 역방향 맵핑에서 사용된다. 원점을 이미지 광학 중심으로 시프트하고 x'를 다른 측면으로 이동시킬 때에 등식 (2)는 다음과 같은 등식 (3)으로 간단하게 된다.

(3)

｜γR'²｜≪1 이면, x' 및 y'는 x 및 y에 근사하며 이로써 R'²= R²이 된다. x' 및 y'는 다음과 같이 근사화된다.

(4)

도 3에서 도시된 바와 같이 P₁'(x₁',y₁'),P₂'(x₂',y₂'),P₃'(x₃',y₃')는 왜곡된 이미지 상의 3 개의 픽셀이며 도 3의 직선 L₁상에 위치한다. 이는 3 선형으로서 지칭된다. 이는 P₁', P₂', P₃'가 실제 세계에서는 3 선형이며 획득된 이미지에서 곡선 L₂상의 지점들로서 도시됨을 의미한다. 이러한 현상은 방사상 왜곡에 의해서 유발된다.

기하학적으로, 이 3 선형 픽셀들의 관계식은 다음과 같다.

(5)

등식 (4)를 등식 (5)에 대입하면, 다음과 같은 등식 (6)이 생성된다.

(6)

이는 (a + γ₁b)/(c + γ₁d) = (e + γ₁f)/(g + γ₁h)로 간단하게 될 수 있는데 여기서 a = x₁- x₂, b = x₁R₂ ²- x₂R₁ ²이며 이와 반대의 경우도 성립된다. 위의 등식을 다시 정리하면, 다음과 같은 등식 (7)이 성립된다.

(7)

γ₁의 해답은 최소 절대값을 갖는 것으로서 선택된다.

γ₁이 등식 (4) 및 등식 (5)로부터 기인되는 근사치이기 때문에, γ₁은 R'²의 근사치를 유도하기 위해서 등식 (4)에 대입된다. R'²는 보다 정확한 γ₁을 위해서 등식 (3) 및 등식 (5)에 대입된다. 이렇게 몇 번을 반복하면, γ₁에 대한 계산은 γ₁의 변화 정도가 가령 10^-5과 같은 임계치보다 작으면 중지된다.

이러한 절차는 다음과 같이 상세하게 목록화된다.

1. 도 1a에서처럼 이미지 경계부에 근접한 수평선을 갖는 이미지를 입력한다.

2. 입력 이미지의 칼라 폭을 단일 비트로 줄인다. 가령, 입력 이미지로부터 이진 이미지를 유도한다.

3. 도 1b에 도시된 바와 같이 이진 이미지의 수평선을 하나의 픽셀 폭으로 얇게 한다(형태학적 동작).

4. 도 3에 도시된 바와 같이 3 세의 픽셀(3 선형) P'₁, P'₂, P'₃을 L₁으로부터 추출한다. 픽셀들이 라인의 우측, 중간, 좌측 부분에 위치하도록 확인한다.

5. 최소 절대값으로 등식 (4) 및 등식 (5)로부터 γ₁푼다.

6. γ₁을 등식 (4) 내부로 대입하여 R'²를 유도하고 이를 등식 (3) 및 등식 (5)에 적용하여 γ₁을 반복적으로 구한다.

7. γ₁의 변화 정도가 가령 10^-5같은 임계치보다 작을 때까지 단계 6을 반복한다.

도 2a 및 도 2b는 최초의 이미지와 상기 제안된 방식으로부터 획득된 γ₁를 반복적으로 사용함으로써 보정된 이미지를 도시한다.

도 3은 추출된 픽셀 세트와 이에 대응하는 왜곡되지 않은 위치들의 관계를 도시한다.

Claims (12)

1. 수차(aberration)를 갖는 광학 시스템의 적어도 하나의 캘리브레이션 파라미터(calibration parameter)를 포함하는 캘리브레이션 유도 방법에 있어서,

   상기 수차로 인해서 기준 이미지에서의 직선(L₁)이 재생성된 기준 이미지에서는 곡선(L₂)으로 재생성되며,

   상기 적어도 하나의 캘리브레이션 파라미터를 제공하기 위해서 상기 직선(L₁)과 상기 곡선(L₂) 간의 수차가 계산 시에 사용되고,

   상기 계산을 위해서 상기 직선 상의 개별 지점들(P₁',P₂',P₃')의 기하학적 관계식(5)이 제공되며,

   상기 적어도 하나의 캘리브레이션 파라미터(γ₁)를 포함하고, 상기 직선 상의 개별 지점과 상기 곡선 상의 각각의 개별 지점(P₁,P₂,P₃) 간의 수차를 나타내는 근사 관계식(4)이 제공되고,

   상기 적어도 하나의 캘리브레이션 파라미터(γ₁)는 상기 기하학적 관계식(5) 및 상기 근사 관계식(4)으로부터 유도되며,

   상기 캘리브레이션은 상기 기준 이미지의 경계부에 근접한 단일 직선(L₁)을 기반으로 하여 유도되는

   캘리브레이션 유도 방법.
2. 제 1 항에 있어서,

   상기 기하학적 관계식(5)은 상기 단일 직선(L₁) 상의 세 개의 개별 지점들(P₁',P₂',P₃')에 대해서 사용되는

   캘리브레이션 유도 방법.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 지점들 중 하나(P₁')는 상기 단일 직선(L₁)의 좌측 부분에 위치하고,

   다른 하나의 지점(P₂')은 상기 단일 직선(L₁)의 중간 부분에 위치하며,

   나머지 하나의 지점(P₃')은 상기 단일 직선(L₁)의 우측 부분에 위치하는

   캘리브레이션 유도 방법.
4. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

   상기 근사 관계식(4)은 하나의 단일 캘리브레이션 파라미터(γ₁)를 기반으로 하는

   캘리브레이션 유도 방법.
5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서,

   상기 단일 직선(L₁)은 상기 기준 이미지의 외부 프레임에서 연장되며,

   상기 외부 프레임은 상기 기준 이미지의 표면의 대략 50 %를 덮는(overcast)

   캘리브레이션 유도 방법.
6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

   상기 단일 직선(L₁)은 상기 기준 이미지의 직경의 30 % 이하인 상기 기준 이미지의 경계부로부터 떨어진 거리에서 상기 기준 이미지에 걸쳐 연장되어 있는

   캘리브레이션 유도 방법.
7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,

   상기 단일 직선(L₁)은 수평선인

   캘리브레이션 유도 방법.
8. 제 1 항 내지 제 7 항 중 어느 한 항에 있어서,

   상기 캘리브레이션 파라미터(γ₁)는 상기 기하학적 관계식(5)과 상기 근사 관계식(5)을 반복적으로 수행함으로써 유도되는

   캘리브레이션 유도 방법.
9. 제 1 항 내지 제 8 항 중 어느 한 항에 있어서,

   상기 기준 이미지로부터 이진 기준 이미지가 유도되어 상기 기준 이미지로서 사용되는

   캘리브레이션 유도 방법.
10. 제 1 항 내지 제 9 항 중 어느 한 항에 있어서,

    상기 단일 직선(L₁)은 상기 기준 이미지를 하나의 픽셀 폭으로 얇게 함으로써 상기 기준 이미지로부터 유도되는

    캘리브레이션 유도 방법.
11. 수차를 갖는 광학 시스템이 기준 이미지의 재생성으로부터 유도된 캘리브레이션에 의해서 캘리브레이션되는 이미지 처리 방법에 있어서,

    상기 수차로 인해서 기준 이미지에서의 직선(L₁)이 재생성된 기준 이미지에서는 곡선(L₂)으로 재생성되며,

    상기 적어도 하나의 캘리브레이션 파라미터를 제공하기 위해서 상기 직선(L₁)과 상기 곡선(L₂) 간의 수차가 계산 시에 사용되고,

    상기 계산을 위해서 상기 직선 상의 개별 지점들(P₁',P₂',P₃')의 기하학적 관계식(5)이 제공되며,

    상기 적어도 하나의 캘리브레이션 파라미터(γ₁)를 포함하고, 상기 직선 상의 개별 지점과 상기 곡선 상의 각각의 개별 지점(P₁,P₂,P₃) 간의 수차를 나타내는 근사 관계식(4)이 제공되고,

    상기 적어도 하나의 캘리브레이션 파라미터(γ₁)는 상기 기하학적 관계식(5) 및 상기 근사 관계식(4)으로부터 유도되며,

    상기 캘리브레이션은 상기 기준 이미지의 경계부에 근접한 단일 직선(L₁)을 기반으로 하여 유도되고, 상기 이미지는 상기 광학 시스템에 의해서 재생성된 후에 처리되며,

    상기 광학 시스템의 수차로부터 기인하는 상기 재생성된 이미지의 왜곡은 상기 캘리브레이션을 사용하여 보정되는

    이미지 처리 방법.
12. 제 1 항 내지 제 11 항 중 어느 한 항에 따른 방법을 구현하는 디바이스를 포함하는 이미지 시스템.