KR100867731B1

KR100867731B1 - 전방향 카메라의 위치 추정 방법

Info

Publication number: KR100867731B1
Application number: KR1020070086763A
Authority: KR
Inventors: 홍현기; 황용호; 이재만
Original assignee: 중앙대학교 산학협력단
Priority date: 2007-08-28
Filing date: 2007-08-28
Publication date: 2008-11-10

Abstract

전방향 카메라의 위치 추정 방법이 개시된다. 본 발명의 전방향 카메라의 위치 추정 방법은 전방향 카메라의 사영모델을 추정하여 카메라의 영상면에 사영된 컨투어의 궤적을 계산하며, 두 영상의 복수의 컨투어 상의 점을 대응점으로 하고 대응점에 대한 각도 오차 함수를 계산하여 카메라의 위치 정보 변수의 초기값을 구하는 제1단계 및, 초기값을 이용하여 기준시점에 대한 제1참조시점의 카메라의 위치를 설정함으로써 3차원 직선을 형성하고, 직선을 제2참조시점에 사영시킨 컨투어와 카메라의 영상면에 사영된 컨투어와의 거리오차를 최소화하는 카메라의 위치 정보 변수값으로부터 카메라의 위치를 결정하는 제2단계를 포함한다. 실제 카메라의 사영관계를 이용하기 때문에 3차원 구조의 복원과 가상물체의 3차원적 합성에 효과적으로 활용될 수 있다.

전방향 카메라, 위치 정보, 에피폴라, 컨투어, 오차 함수

Description

전방향 카메라의 위치 추정 방법{METHOD FOR ESTIMATION OF OMNIDIRECTIONAL CAMERA MOTION}

본 발명은 전방향 카메라의 위치 추정 방법에 관한 것으로, 더욱 상세하게는 오차함수의 최소화에 관련된 두 단계 알고리즘을 사용한 전방향 카메라의 위치 추정 방법에 관한 것이다.

넓은 시야각을 갖는 전방향(omnidirectional) 카메라 시스템은 적은 수의 영상으로도 주변 장면에 대해 많은 정보를 취득할 수 있어 카메라 교정(calibration), 공간의 3차원 재구성(reconstruction) 등에 널리 이용된다. 영상 시퀀스로부터 카메라의 위치 추정, 3차원 재구성 기술 등은 컴퓨터 비전 분야에서 중요한 연구 주제이며 이를 위해 다중 시점(multi-view) 영상 내에 대응되는 점, 직선, 곡선 등의 특징 검출 및 정합(matching) 과정이 요구된다.

그러나 카메라가 많이 이동하는 경우 두 영상 프레임 내에 중복되는 영역이 줄어들어 정확한 정합이 어렵게 된다. 180도 이상의 넓은 시야각을 가지는 전방향 카메라로부터 취득된 영상은 주변 환경에 대해 상대적으로 많은 정보를 취득할 수 있기 때문에 상기 카메라의 이동에 따른 영상간 정합을 비교적 쉽게 도출할 수 있 어 이에 대한 연구가 활발히 이루어지고 있다.

초기에는 전방향 카메라를 핀홀(pinhole) 카메라 모델로 변환하여 카메라의 사영관계를 추정하는 방법이 주로 제안되었다. 하지만 상기 모델을 이용하는 경우 공간상에 존재하는 직선은 전방향 영상에서 컨투어(contour)로 사영되며 이렇게 왜곡된(distortion) 컨투어를 원래의 직선으로 변환시켜 카메라의 사영 모델을 추정하는 방법을 사용하지만 전체의 시계 영역을 모두 표현하지 못한다.

다른 방법으로 Xiong은 US370280에서 네 개의 어안렌즈로부터 취득한 영상의 왜곡과 시야각을 자동교정하여 파노라마 영상을 구현하였다. 그러나 카메라의 초기 설정 정보가 필요하며 렌즈의 종류에 따라 부정확한 교정을 실행하는 경우가 있다.

Sato[I. Sato, Y. Sato, and K. Ikeuchi, "Acquiring a radiance distribution to superimpose virtual objects onto a real scene," IEEE Trans . on Visualization and Computer Graphics, vol.5, no.1, pp.1-12. 1999.]등은 전방향 스테레오 알고리즘을 이용하여 3차원 공간 구성에 요구되는 사용자의 직접적인 입력값을 간소화하였다. 하지만 이 방법은 카메라의 위치와 내부 파라미터에 대한 사전 정보가 필요하다.

그 외 전방향 카메라 모델에 관한 연구가 자동 교정과 연계되어 제안되기도 하지만 대부분의 연구는 전방향 카메라의 모델 추정보다는 자동 교정 방법을 주로 다루었다. Kannal[J. Kannala and S. S. Brandt, "A Generic Camera Model and Calibration Method for Conventional, Wide-Angle, and Fish-Eye Lenses," IEEE Trans. on Pattern Analysis and Machine Intelligence, Vol. 28, No. 8, pp. 1335-1340, 2006.] 등은 교정 패턴을 이용하여 전방향 카메라 뿐만 아니라 일반 카메라도 정확하게 모델링할 수 있는 일반적인 방법을 제안하였지만 사전에 패턴을 제작하고 영상을 취득해야 하는 단점이 있다.

3차원 영상의 효과적인 정합을 위해 전방향 카메라에 적용할 수 있는 간단한 알고리즘을 포함하는 전방향 카메라의 위치 추정 방법을 제안하고자 한다.

본 발명은 상기와 같은 종래 기술을 개선하기 위해 안출된 것으로서, 영상 간 대응되는 컨투어 성분을 이용한 전방향 카메라의 위치 추정 방법을 제공하는 것을 목적으로 한다.

본 발명의 또 다른 목적은 에피폴라 평면에 대한 각도 오차와 컨투어의 거리오차를 최소화하는 전방향 카메라의 위치 추정 방법을 제공하는 것이다.

본 발명에 따르면, 전방향 카메라의 위치 정보 추정을 위해 최소화된 2단계 알고리즘이 제공된다.

또한 본 발명에 따르면, 실제 영상을 대상으로 하여 카메라의 위치 정보를 정확히 추정할 수 있다.

또한 본 발명에 따르면, 3차원 구조의 복원과 가상물체의 3차원적 합성에 효과적으로 활용될 수 있다.

상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 본 발명은 전방향 카메라의 사영모델을 추정하여 상기 카메라의 영상면에 사영된 컨투어의 궤적 을 계산하며, 두 영상의 복수의 컨투어 상의 점을 대응점으로 하고 상기 대응점에 대한 각도 오차 함수를 계산하여 상기 카메라의 위치 정보 변수의 초기값을 구하는 제1단계 및, 상기 초기값을 이용하여 기준시점에 대한 제1참조시점의 카메라의 위치를 설정함으로써 3차원 직선을 형성하고, 상기 직선을 제2참조시점에 사영시킨 컨투어와 상기 카메라의 영상면에 사영된 컨투어와의 거리오차를 최소화하는 상기 카메라의 위치 정보 변수값으로부터 상기 카메라의 위치를 결정하는 제2단계를 제공한다.

이하에서는 첨부된 도면을 참조하여 본 발명의 실시예를 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 전방향 카메라의 위치 추정 방법을 도시한 플로우 차트이다.

도 1을 참조하면, 본 발명의 실시예에 따른 전방향 카메라의 위치 추정 방법은 전방향 카메라의 위치 정보 변수를 구하는 단계(S10)와 전방향 카메라의 위치를 결정하는 단계(S20)를 포함한다.

도 2는 도 1의 전방향 카메라의 위치 정보 변수를 구하는 단계(S10)를 자세히 나타낸 플로우 차트이다.

도 2를 참조하면, 상기 카메라의 위치 정보 변수를 구하는 단계(S10)은, 상기 전방향 카메라의 사영모델을 추정하는 단계(S11), 3차원 직선이 상기 카메라의 반구 모델에 맵핑된 다음 상기 카메라의 2차원 영상면에 직교 사영된 컨투어의 궤적을 계산하는 단계(S12), 상기 두 영상의 복수의 상기 컨투어 상의 점을 대응점으로 하고 두 영상 시점에서 임의의 대응점에 대해 역사영한 3차원 벡터와 상기 영상 의 시점과 상기 벡터에 의해 형성되는 에피폴라 평면의 법선 벡터를 이용한 각도 오차 함수를 계산하는 단계(S13) 및, 상기 각도 오차 함수값을 최소로 하는 상기 카메라의 위치 정보 변수의 초기값을 계산하는 단계(S14)를 포함한다.

일반적인 원근(perspective) 사영 모델은 어안 렌즈로 취득되는 전방향 영상의 사영 관계를 표현할 수 없으므로, 전방향 영상의 특성에 따라 방사상으로 대칭된 사영 모델이 필요하다. 핀홀 카메라 모델은 다음의 수학식 1과 같은 원근 사영모델로 표현된다.

여기서, r은 영상의 중심점(principal point)으로부터의 거리, θ는 카메라의 중심축(principal axis)과 입사광 사이의 각도, f는 초점거리(focal length)이다.

도 3은 반지름(rmax)인 전방향 영상에서 거리(r)만큼 떨어진 픽셀의 입사벡터(P)와 높이값(z)로 구성되는 직교(orthogonal) 사영 모델을 도시한다.

수학식 1의 원근 사영모델은 θ가 90˚일 때 r값이 무한대가 되어 전방향 카메라 모델로 사용할 수 없기 때문에 일반적으로 수학식 2 내지 5의 사영모델이 사용된다.

전방향 카메라의 사영모델의 추정을 위해 상기 사영모델을 대상으로 교정패턴을 취득한 영상으로부터 9개의 변수로 표현된 함수를 구하는 방법을 이용한다. 방사상으로 대칭성을 가지는 일반적인 사영모델을 수학식 6과 같이 나타낼 수 있다.

CCD에 맺힌 영상이 디지털화되는 과정에서 전방향 카메라의 중심점과 종횡비(aspect ratio) 등을 포함한 내부 변수도 함께 추정할 수 있다. 이 경우 사영모 델을 위한 9개의 변수는 5개의 변수와 함께 카메라의 내부 변수 4개도 포함하게 된다.

인공 건축물, 실내 환경 등에 다양하게 존재하는 직선 성분들은 상기 전방향 카메라 모델에 의해 영상에 컨투어 형태로 사영된다. 따라서 추정된 상기 카메라의 사영모델과 컨투어상의 점, 예를 들어 양끝점 좌표를 이용하여 각 영상에 사영된 컨투어의 궤적을 계산할 수 있으며 이런 관계는 카메라의 이동 및 회전 변수 추정에 유용하게 적용될 수 있다.

도 4는 3차원 공간상의 직선 성분(l)을 카메라의 2차원 영상면(IP;image plane)으로 사영한 컨투어(c)의 궤적을 보인다.

도 4를 참조하면, 영상면(IP)의 컨투어(c) 궤적은 3차원 공간 상의 직선(l)이 반구(S)에 맵핑된 다음 직교 사영되어 나타난다. 상기 영상면(IP)의 컨투어(c)의 2차원 좌표를 구하기 위해 반구 모델과 추정되는 사영모델에 교차하는 벡터를 이용한다.

도 5는 영상면(IP)에 사영된 컨투어(c)의 2차원 좌표를 구하는 원리를 나타낸 개념도이다.

먼저 도 4에 도시된 3차원 직선(l)과 상기 카메라의 중심으로 구성되는 해석 평면(interpretation plane)(Π)을 정의하면, 상기 해석 평면(Π)의 법선 벡터(m)=(m_x,m_y,m_z)는 양 끝점의 방향벡터(p ₁ )(p ₂ )의 외적(cross product: p ₁ Xp ₂ )를 통해 계산된다. 영상면에서 컨투어(c)는 해석평면(Π)과 구면(S)상의 선분이 직교 사영된 성분이며, 구면(S) 상의 선분에 대한 3차원 벡터는 벡터(p ₁ )을 법선벡터(m)을 기준으로 벡터(p ₂ )까지 회전 변환하여 구할 수 있다.

어안렌즈를 이용한 전방향 카메라의 사영관게는 일반적으로 반구 형태로 모델링되지 않기 때문에 해석평면(Π)과 추정된 상기 카메라 사영모델이 교차하는 벡터(p _curve )를 구하기 위해 먼저 최대 시야각일 때 상기 카메라 중심으로부터의 거리(r_max)를 반지금으로 하는 구와의 교차 벡터(p _sphere )를 구한다. 그리고 상기 구와의 교차 벡터(p _sphere )를 법선벡터(m)을 축으로 회전시키고, 이 회전된 벡터를 추정된 상기 카메라 사영모델에 투영하여 컨투어의 궤적(c)을 계산한다.

도 5와 같이 삼각형의 비례식을 사용하여 구모델과 교차하는 벡터(p _sphere )를 추정된 상기 카메라의 사영모델(미도시)에 투영하여 컨투어(c)의 궤적을 구할 수 있다. 추정된 상기 카메라의 사영모델로부터 입사각(θ)에 대한 벡터(p _curve )의 영상면(IP) 사영된 거리(r_curve)를 구하고, 영상면(IP)에 사영된 컨투어(c)의 2차원 좌표를 수학식 7로 결정한다.

상술한 방법으로 상기 전방향 카메라의 사영모델을 추정하고 상기 카메라의 영상면에 사영된 컨투어의 궤적을 구한 다음, 상기 카메라의 회전과 상대적인 위치 정보를 추정하기 위해 각 대응점에 대한 상기 에피폴라 평면과 역사영된 상기 3차원 벡터간의 각도오차함수값을 최소화 하는 과정을 통해 위치 정보 변수의 초기값을 추정할 수 있다.

먼저 컨투어 상의 대응점에 관한 각도 오차 함수를 계산하는 단계(S13)를 살펴본다.

임의의 두 영상의 컨투어 양 끝점들을 대응점으로 하여 상기 카메라의 위치 정보, 즉 이동 및 회전을 대략적으로 추정하는 방법이 제안된다. 여러 장의 전방향 영상에서 초기 영상의 시점을 월드 좌표계의 원점에 해당하는 기준 시점(base view)로 설정한다. 이후 프레임(k=1,..., n-1)의 전방향 영상들은 원점으로부터 스케일 요소(s_k)와 단위 방향벡터(t_k)가 고려된 상대적 위치(C_k=s_kXt_k)와 회전행렬(Rk)에 의해 변환된 참조시점(reference view)에서 취득된 영상으로 간주한다. 여기서 기준 시점의 위치(C₀)와 회전행렬(R₀)는 각각(0,0,0)와 I이다.

도 6은 기준 시점과 임의의 참조시점의 두 영상의 기하 관계를 나타낸 개념도이다. 두 영상 간에 대응되는 m개의 컨투어 양 끝점을 2m개의 대응점으로 설정한 다음, 각 지점에서의 각도 오차 함수(E_angualr)를 계산할 수 있다.

도 6을 참조하면, 과 는 두 영상 중 기준 시점과 참조 시점에서 i번째 대응점에 대해 역사영된 3차원 벡터, n _i0 는 과 기준 시점의 위치벡터(C ₁)의 단위방향벡터(t ₀)로 계산된 기준 시점에 대한 에피폴라 평면 ()의 법선벡터, n _i ₁는와 제1참 조시점의 위치벡터(C ₁ ₎의 단위 방향벡터(t ₁)로 계산된 참조 시점에 대한 에피폴라 평면()의 법선벡터이다.

여기서, 상기 카메라를 삼각대에 설치하여 영상을 취득하기 대문에 상기 카메라는 XZ평면만을 이동하며 Y축에 대해서는 회전만이 고려된다. 상기 대응점들에 대한 각도 오차 함수를 수학식 8과 같이 구할 수 있다.

여기서, m은 컨투어의 개수, Θ와 Φ는 각각 참조시점의 회전행렬(R1)과 t1의 y축에 대한 회전각이다..

수학식 9와 같이 상기 각도 오차 함수값(E_angualr)이 최소일 때 Θ와 Φ를 수학식 10의 R1과 t1의 초기 회전각(Θ_init, Φ_init)으로 결정한다.

여기서, R₁과 t₁은 초기 회전 행렬(R_init)이 I, 초기 이동벡터(t_init)가 (0,1,0), θ_max가 π, [w_x]는 회전축 w벡터의 스큐 대칭 행렬이며, e는 행렬의 지수 연산자, w의 단위 벡터는 (0,1,0), w의 크기인 ∥w∥는 y축을 기준으로 회전각이다.

초기 회전 행렬(R_init), 이동벡터(t_init), 최대 시야각(θ_max)을 각각 I, (1,0,0), π로 설정하면 도 7과 같이 모든 영역에서 각도 오차를 계산하여 최소값을 가지는 위치에서의 각도(Θ,Φ)를 각각 R₁과 t₁의 회전각으로 초기 설정을 한다. 상기 검색 방법을 하기 표 1로 정리하였으며, 하기 표1 의 회전각 검색 의사(pseudo) 코드는 루프 n일 때 계산 횟수는 1+4n이고 검색영역은 매 단계마다 θ_max/2^n-1로 줄어든다.

n=1 Em=E_angular(0,0) Loop Search range R=θ_max/2^n-1 Ek=Eangular(±R, ±R) Em=min{Em,Ek} n=n+1 loop end

초기 검색 위치에서 각도 오차 Em계산 검색범위 최외각 4곳의 각도 오차 Ek(k=1,2,3,4)계산 검색 위치 변경

상술한 바와 같이 상기 전방향 카메라의 위치 정보 변수의 초기값, 즉 이동벡터와 회전 행렬이 구해지면 도 1의 상기 카메라의 위치를 결정하는 단계(S20)로 넘어간다.

도 8은 도 1의 본 발명의 실시예에 따른 전방향 카메라의 위치 추정 방법 중 카메라의 위치를 결정하는 단계(S20)을 좀 더 자세히 나타낸 플로우 차트이다.

도 8을 참조하면, 상기 카메라의 위치를 결정하는 단계(S20)은, 상기 카메라 변수 중 상기 제1참조시점의 이동단위벡터에 임의의 스케일을 곱하여 상기 제1참조시점의 상기 카메라의 위치(C₁)를 설정하는 단계(S21), 상기 기준시점과 상기 제1참조시점의 영상에 대응되는 컨투어로부터 3차원의 직선 성분(p_w)을 결정하는 단계(S22), 상기 3차원 직선 성분(p_w)으로부터 상기 제2참조시점의 카메라 행렬(P₂)을 계산하는 단계(S23) 및 상기 카메라 행렬(P₂)로부터 계산된 사영된 컨투어(ci(t))와 상기 제2참조시점의 실제 컨투어(ci(s))사이의 거리 오차(D)가 최소일 때의 상기 제1 및 제2참조시점의 위치 및 회전 정보를 포함한 상기 카메라 위치 정보 변수를 구하여 상기 카메라의 위치를 결정하는 단계(S24)를 포함한다.

도 1 내지 도 7에서 설명한 상기 카메라의 회전과 이동에 대한 단위방향벡터로부터 더욱 정확한 회전과 위치 정보를 추정하는 2차 추정방법이 제안된다.

도 9는 본 발명의 실시예에 따른 전방향 카메라의 위치 추정 방법 중 2차 추정방법을 이용한 상기 카메라의 위치를 결정하는 단계를 보이는 개념도이다.

도 9를 참조하면, 먼저 3차원 공간 상에 기준 시점과 제1 및 제2참조시점의 세 장의 영상이 나타난다. 초기 단계에서 추정된 이동단위벡터(t₁)에 임의의 스케일(s1)을 곱해서 제1참조시점의 위치(C1)을 정하면 두 영상에서 대응되는 컨투어로 별로 3차원 직선 성분(L)을 구할 수 있다. 좀 더 자세히 설명하면, 제1참조시점의 위치(C1)이 설정되면, 두 평면(Π₀, Π₁)이 접하는 교선의 월드 좌표계 상의 방향벡터 p _w (=p _w1 -p _w0 )가 결정되며 제2참조시점의 3X4 카메라 행렬(P₂)에 의해 수학식 11과 같이 지역 좌표계로 변환하여 카메라 행렬(P₂)를 표현한다.

제2참조시점에 대응되는 컨투어로부터 (Π₂)의 법선벡터(n ₂ )를 구할 수 있으며 수학식 11을 이용하여 수학식 12를 유도할 수 있다.

수학식 12를 m개의 대응 컨투어에 대해 일반화하여 전개하면 수학식 13과 같으며 m이 12보다 크거나 같으면 식을 전개하여 SVD(singular value decomposition) 방법으로 제2참조시점에서의 카메라 행렬(P₂)을 구할 수 있다.

추정된 상기 제2참조시점의 상기 카메라 행렬(P₂)로부터 사영된 컨투어의 궤적을 계산하고 실제 영상에 존재하는 컨투어를 수학식 7로부터 계산한다. 전방향 영상에 존재하는 실제 컨투어(ci(s))와 추정된 컨투어(ci(t))간의 거리 오차(D)는 수학식 14와 같이 나타낼 수 있다. 수학식 14에서 P는 회전각(Θ,Φ)에 의해 계산된 상기 제2참조시점에서의 카메라 행렬이며, i는 대응 컨투어의 인덱스로 총 m가 존재하며, t(s)는 단조 감소하지 않는 함수(monotonic non-decreasing function)로서 t(0)=0과 t(1)=1 값을 가진다.

상기 제2참조시점의 실제 컨투어(ci(s))의 영상면에서의 2차원 좌표는, 상기 카메라의 중심으로 입사하는 광선이 상기 카메라의 반구 모델과 만나는 점의 벡 터(p _sphere )가 상기 사영모델과 교차하는 벡터를 ci (s)라 할 때 삼각형 비례식을 이용하여 수학식 15를 이용하여 구할 수 있다.

여기서, ci (s)가 영상면에 직교사영된 좌표 (x_curve, y_curve), p _sphere 가 영상면에 직교사영된 좌표(x, y)이다.

계산된 거리 오차(D)는 추정된 전방향 카메라의 회전과 위치 정보의 정확도를 검증할 수 있는 척도로 사용된다. 초기 추정된 회전행렬(R₁)과 이동단위벡터(t ₁ )의 회전각인 (Θ_init,Φ_init )을 중심으로 최종 검색 영역의 두 배 영역을 미리 정의한 샘플링 주리고 검색하여 거리 오차(D)가 가장 적을 때의 제1참조시점의 회전 및 위치 정보(Θ₁,Φ₂)와 제2참조시점의 카메라 행렬(P₂)을 각각 최종 결과로 결정한다.

아래에서는 상술한 본 발명의 실시예에 따른 전방향 카메라의 위치 추정 방법을 실험을 통해 검증한 결과를 설명한다.

실제 영상을 대상으로 영상 내 컨투어의 양 끝점을 이용한 컨투어의 궤적 계산방법 및 추정된 카메라 모델의 정확도를 검증한다. 니콘 쿨픽스(Coolpix) 995 디지털 카메라에 시야각이 183°인 어안컨버터 FC-E8을 장착하여 사전에 준비된 교정 패턴을 1600×1200 해상도로 촬영하였다. 그리고 9개의 변수로 구성된 전방향 카메라 모델을 추정했으며, 교정 패턴은 검은 바탕에 반경 60mm의 흰 원들로 구성된 2×3m ²크기의 평판을 이용했다.　

도 10은 사영된 컨투어를 구성하는 양 끝점 좌표와 추정된 카메라 모델로 계산된 컨투어 궤적을 나타낸다.

도 10을 참조하면, 입력으로 사용된 상기 컨투어의 끝점은 붉은 원으로 표시하고, 제안된 방법에 의해 추정된 18개의 컨투어 궤적은 파란 컨투어로 나타낸다. 추정된 컨투어의 궤적이 실제 영상의 컨투어와 정확히 일치함을 확인할 수 있으며, 실제 컨투어와 계산된 결과가 서로 일치하는 정도를 정량적으로 표현하기 위해 각각 다른 장소에서 취득한 두 개의 대상 영상에 대한 사영모델에 따른 평균 컨투어 거리 오차를 표 2에 나타낸다.

사영모델	A	B	C
실험 1	4.20	0.10	0.05
실험 2	6.70	0.15	0.07

실험에 이용한 사영모델 중에서 A는 등거리 사영모델이며, B는 에피폴라 기하를 이용하는 전방향 모델 추정 방법, C는 본 발명의 상세한 설명에서 제시한 모델로서 9개의 변수를 사용한 방법이다.

표 2에서 보이는 바와 같이 제안된 컨투어 추정 방법인 C방법에 의해 추정된 카메라 모델을 적용하여 가장 정확한 결과가 얻어짐을 확인할 수 있다. 표 2의 실험에서 영상에 실제로 존재하는 컨투어의 궤적을 제안된 방법을 이용해 양 끝점의 좌표값으로부터 정확하게 계산할 수 있으며, 이는 다음 단계인 사영된 컨투어의 정합 실험에 입력으로 사용된다.

제안된 알고리즘의 정확도를 검증하기 위해 POV-Ray 렌더링 소프트웨어를 이용해 전방향 카메라를 임의로 회전 및 이동시켜 얻어진 세 장의 전방향 영상(768×768)을 대상으로 실험한다. 도 11은 총 20 개의 대응 컨투어를 사용한 입력 영상을 기준시점과 제1 및 제2참조시점에 대해 나타내고 있으며, 실험 결과는 표 3으로 표시한다.

오차 각도 함수의 최소화를 이용한 본 발명의 실시예에 따른 방법의 제1단계의 방법을 적용한 다음, 컨투어의 양 끝점과 추정된 R ₁과 t ₁의 회전각에 의해 계산된 에피폴라 곡선을 중첩하여 도 11 (c)에 나타낸다. 여기에서 컨투어의 양 끝점을 나타내는 붉은 점들이 에피폴라 곡선 상에 가깝게 존재함을 알 수 있으며, 총 루프 횟수는 9회이다. 1차 초기값 추정단계에서는 두 영상간의 회전과 이동에 대한 단위 방향벡터만을 추정하여 2차 추정단계의 초기값으로 설정된다. 초기에 추정된 R ₁과 t ₁을 초기값으로 하여 ±0.70°×2 영역을 100등분하여 세번째 영상간의 컨투어 정합을 최소화하는 카메라 행렬을 최종 파라미터로 결정한다. 영상에 실제 존재하는 컨투어와 최종 추정된 카메라 행렬에 의해 사영된 컨투어를 중첩하여 도 12 (c)에 보였으며, 여기에서 두 컨투어 간 거리 차이가 거의 없이 겹쳐있음을 확인할 수 있다.

	R₁(˚)	C1	R₂(˚)
입력	-10.00	(60.00,0.00,0.00)	-15.00
1차 추정	-9.84	단위벡터(1.00,0,0.02)	-
2차 추정	-10.13	(60.00,0.00,-0.06)	-15.01
	C2	검색 영역	오차
입력	(80.00,0.00,20.00)	-	-
1차 추정	-	±0.70˚	각도오차(E):0.01
2차 추정	(78.79,0.95,19.80)	±0.01˚	거리오차(D,픽셀):0.78

도 13에서는 본 발명의 실시예에 따른 방법을 실제 영상에 적용하기 위해 니콘 쿨픽스995 디지털 카메라에 어안컨버터FC-E8을 장착하여 취득한 3장의 전방향 영상(1600×1200)을 보인다.

도시된 바와 같이, 20개의 대응 컨투어를 사용하였으며 상기 카메라는 회전시키지 않고 달리(dolly) 트랙에 설치하여 Y축으로 이동시켰으며, 기준 시점으로부터의 제1 및 제2참조 시점의 거리 비는 1:2로 조절하였다.

도 14는 도 13의 영상에 대응점의 에피폴라 곡선을 중첩하여 나타낸 도면이다. 1차 초기값 추정단계에서 총 루프 횟수는 9회이다. 상기 컨투어의 양 끝점을 나타내는 붉은 점들이 에피폴라 곡선 상에 다소 벗어나 있지만 비교적 가깝게 존재함을 도면에서 확인할 수 있다.

추정된 R ₁과 t ₁을 초기값으로 합성영상에 대한 실험과 마찬가지로 ±0.70°×2 영역을 100 등분하여 컨투어 정합하였으며, 영상에 실제 존재하는 컨투어와 최종 추정된 카메라 변수와 실제 영상에 사영된 컨투어를 표 4와 도 14에 각각 나타내었다.

	R₁(˚)	R₂(˚)	C₁:C₂ 거리비	검색 영역	오차
입력	0.00	0.00	1:2	-	-
1차 추정	1.40	-	-	±0.70˚	각도오차(E)
2차 추정	0.00	0.40	1:1.95	±0.01˚	거리오차(D,픽셀):0.91

두 컨투어 간 거리 오차가 합성영상에 비해 상대적으로 많았으며, 이는 카메라의 수평 유지, 카메라의 정확한 달리 설정 등을 포함한 실제 영상 촬영과정 및 카메라의 사영모델 추정과정 등에서 발생한다. 하지만 실험결과로부터 최종적으로 1 픽셀 이하의 아주 작은 컨투어 정합 오차를 보였으며, 도 14 (c)에서 두 컨투어가 거의 겹쳐있음을 확인하였다.

즉 본 발명의 실시예에 따른 전방향 카메라의 위치 추정 방법으로부터 이동 및 회전된 카메라의 위치를 정확히 추정할 수 있음을 알 수 있다.

상술한 본 발명의 전방향 카메라의 교정방법은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한 컴퓨터 프로그램으로 실행될 수 있고, 이를 저장하는 컴퓨터 판독 가능 기록 매체로 구현할 수 있다.

상기 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다.

본 발명은 실제 카메라의 사영관계를 이용하기 때문에 3차원 구조의 복원과 가상물체의 3차원적 합성에 효과적으로 활용될 수 있어 이를 이용하는 컴퓨터 애니메이션, 영화의 시각효과를 포함한 첨단 디지털 콘텐츠 제작 및 관련 서비스 기술에 널리 이용될 수 있다.

상기한 설명에서 많은 사항이 구체적으로 기재되어 있으나, 그들은 발명의 범위를 한정하는 것이라기보다, 바람직한 실시예의 예시로서 해석되어야 한다.

예를 들어 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상에 의해 적합한 전방향 사영모델뿐만 아니라 인라이어 집합을 선택할 수 있는 더 강력한 알고리즘을 더 포함할 수 있을 것이다. 이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 상기 기재로부터 다양한 수정 및 변형이 가능하다는 점은 자명하다. 따라서, 본 발명 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.

도 1은 본 발명의 실시예에 따른 전방향 카메라의 위치 추정방법을 설명한 플로우 차트,

도 2는 도 1의 카메라의 위치 정보 변수 초기값을 구하는 단계(S10)을 좀더 자세히 설명한 플로우 차트,

도 3은 본 발명의 실시예에 따른 전방향 카메라의 위치 추정방법에서 사용되는 전방향 카메라의 직교 사영모델을 보이는 도면,

도 4는 본 발명의 실시예에 따른 전방향 카메라의 위치 추정방법에서 사영모델에 투영되는 컨투어를 보이는 개념도,

도 5는 본 발명의 실시예에 따른 전방향 카메라의 위치 추정방법에서 2차원 영상면에 투영되는 컨투어의 궤적을 계산하는 방법을 나타내는 개념도,

도 6은 본 발명의 실시예에 따른 전방향 카메라의 위치 추정방법에서 기준시점과 참조시점으로부터 i번째 대응점의 역사영된 벡터를 구하는 방법과 각 성분의 기하관계를 보이는 도면,

도 7은 루프 n=3일 때 최소 각도 오차를 가지는 회전각을 검색하는 방법을 보이는 그래프,

도 8은 도 1의 카메라의 위치를 결정하는 단계(S20)를 좀더 자세히 설명하는플로우 차트,

도 9는 본 발명의 실시예에 따른 전방향 카메라의 위치 추정방법에서 카메라의 위치를 결정하기 위해 제2카메라 행렬을 구하기 위한 3장의 전방향 영상의 기하 관계를 보이는 도면,

도 10은 본 발명의 실시예에 따른 전방향 카메라의 위치 추정방법의 사영모델에 따라 계산된 컨투어를 보이는 도면,

도 11은 등거리 사영모델에 있어 (a)기준시점의 전방향 입력영상, (b)제1참조시점의 전방향 입력영상, (c)제2참조시점의 전방향 입력영상을 보이는 도면,

도 12는 (a)제1참조시점의 컨투어의 양 끝점과 추정된 에피폴라 곡선, (b)제2참조시점의 컨투어의 양 끝점과 추정된 에피폴라 곡선, (c)는 실제 및 추정된 컨투어를 보이는 도면.

도 13은 (a)기준 시점의 실제 전방향 입력 영상, (b)는 제1참조시점의 실제 전방향 입력 영상, (c)는 제2참조시점의 실제 전방향 입력 영상,

도 14는 (a)제1참조시점의 컨투어의 양 끝점과 추정된 에피폴라 곡선, (b)제2참조시점의 컨투어의 양 끝점과 추정된 에피폴라 곡선, (c)실제 및 추정된 컨투어를 보이는 도면.

Claims

전방향 카메라의 사영모델을 추정하여 상기 카메라의 영상면에 사영된 컨투어의 궤적을 계산하며, 두 영상의 복수의 컨투어 상의 점을 대응점으로 하고 상기 대응점에 대한 각도 오차 함수를 계산하여 상기 카메라의 위치 정보 변수의 초기값을 구하는 제1단계; 및

상기 초기값을 이용하여 기준시점에 대한 제1참조시점의 카메라의 위치를 설정함으로써 3차원 직선을 형성하고, 상기 직선을 제2참조시점에 사영시킨 컨투어와 상기 카메라의 영상면에 사영된 컨투어와의 거리오차를 최소화하는 상기 카메라의 위치 정보 변수로부터 상기 카메라의 위치를 결정하는 제2단계;

를 포함하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.
제1항에 있어서, 상기 제1단계는,

상기 전방향 카메라의 사영모델을 추정하는 단계;

3차원 직선이 상기 카메라의 반구 모델에 맵핑된 다음 상기 카메라의 2차원 영상면에 직교 사영된 컨투어의 궤적을 계산하는 단계;

상기 두 영상의 복수의 상기 컨투어 상의 점을 대응점으로 하고 두 영상 시점에서 임의의 대응점에 대해 역사영한 3차원 벡터와 상기 영상의 시점과 상기 벡터에 의해 형성되는 에피폴라 평면의 법선 벡터를 이용한 각도 오차 함수를 계산하는 단계; 및

상기 각도 오차 함수값을 최소로 하는 상기 카메라의 위치 정보 변수의 초기값을 계산하는 단계;

를 포함하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.
제2항에 있어서,

상기 카메라의 사영모델은 방사상 대칭 사영 모델인 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.
제3항에 있어서,

상기 카메라의 사영모델은 다음 수학식 16으로 나타나는 사영 모델인 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.

여기서, r은 영상의 중심점으로부터의 거리, θ는 카메라의 중심축과 입사광 사이의 각도
제2항에 있어서,

상기 영상면에 사영된 상기 컨투어의 궤적의 2차원 좌표는, 상기 카메라의 중심으로 입사하는 광선이 반구 모델과 만나는 점의 벡터(p_sphere )가 상기 사영모델과 교차하는 벡터(p_curve )라 할 때 삼각형 비례식을 이용한 다음 수학식 17을 만족하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.

여기서, p_curve 가 영상면에 직교사영된 2차원 좌표는 (x_curve, y_curve), p_sphere 가 영상면에 직교사영된 좌표는 (x, y)
제2항에 있어서,

상기 카메라가 xz평면 상에서 이동하고 y축에 대해서는 회전할 때 상기 각도 오차 함수(E_angualr)는 다음 수학식 18을 만족하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.

여기서, 과
는 두 영상 중 기준 시점과 참조 시점에서 i번째 대응점에 대해 역사영된 3차원 벡터, n _i0 는 과 기준 시점의 위치벡터(C ₁)의 단위방향벡터(t ₀)로 계산된 기준 시점에 대한 에피폴라 평면 ()의 법선벡터, n _i ₁는와 제1참조시점의 위치벡터(C ₁₎의 단위 방향벡터(t ₁)로 계산된 참조 시점에 대한 에피폴라 평면()의 법선벡터, m은 컨투어의 개수, Θ와 Φ는 각각 참조시점의 회전행렬(R1)과 t₁ 의 y축에 대한 회전각.
제6항에 있어서,

상기 각도 오차 함수값(E_angualr)이 최소일 때 Θ와 Φ를 다음 수학식 19를 만족하는R1과 t1의 초기 회전각(Θ_init, Φ_init)으로 결정하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.

여기서, R₁과 t₁은 초기 회전 행렬(R_init)이 I, 초기 이동벡터(t_init )가 (0,1,0), θ_max가 π, [w_x]는 회전축 w벡터의 스큐 대칭 행렬이며, e는 행렬의 지수 연산자, w의 단위 벡터는 (0,1,0), w의 크기인 ∥w∥는 Y축을 기준으로 회전각
제7항에 있어서,

상기 각도 오차 함수값(E_angualr)는 루프(n)일 때 계산 회수가 1+4n이며 검색 영역(R)은 다음 수학식 20을 만족하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.
제1항에 있어서,

상기 각도 오차 함수를 최소화하는 상기 카메라 위치 정보 변수는 이동 벡터와 회전 행렬을 포함하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.
제1항에 있어서, 상기 제2단계는

상기 카메라 변수 중 상기 제1참조시점의 이동단위벡터에 임의의 스케일을 곱하여 상기 제1참조시점의 상기 카메라의 위치(C₁)를 설정하는 단계;

상기 기준시점과 상기 제1참조시점의 영상에 대응되는 컨투어로부터 3차원의직선 성분(p_w )을 결정하는 단계;

상기 3차원 직선 성분(p_w )으로부터 다음 수학식 21을 이용하여 구해진 상기 제2참조시점의 카메라 행렬(P₂)을 계산하는 단계; 및

상기 카메라 행렬(P₂)로부터 계산된 사영된 컨투어(ci(t))와 상기 제2참조시점의 실제 컨투어(ci(s))사이의 거리 오차(D)가 최소일 때의 다음 수학식 22를 이용하여 상기 제1 및 제2참조시점의 위치 및 회전 정보를 포함한 상기 카메라 위치 정보 변수를 구하여 상기 카메라의 위치를 결정하는 단계;

를 포함하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.
제10항에 있어서,

상기 제2참조시점의 실제 컨투어(ci(s))의 영상면에서의 2차원 좌표는, 상기 카메라의 중심으로 입사하는 광선이 상기 카메라의 반구 모델과 만나는 점의 벡터(p_sphere )가 상기 사영모델과 교차하는 벡터를 ci(s)라 할 때 삼각형 비례식을 이용한 다음 수학식 23을 만족하는 것을 특징으로 하는 전방향 카메라의 위치 추정 방법.

여기서, , ci(s)가 영상면에 직교사영된 좌표 (x_curve, y_curve), p_sphere 가 영상면에 직교사영된 좌표(x, y)
제1항 내지 제12항의 항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.