KR100941749B1

KR100941749B1 - 증강 현실 장치 및 가상 이미지 합성 방법

Info

Publication number: KR100941749B1
Application number: KR1020080082915A
Authority: KR
Inventors: 김정환; 김신형; 길우성; 김경옥; 윤창락
Original assignee: 에이알비전 (주); 한국전자통신연구원
Priority date: 2008-08-25
Filing date: 2008-08-25
Publication date: 2010-02-11

Abstract

본 발명은 증강 현실 장치 및 가상 이미지 합성 방법에 관한 것이다. 본 발명에 따른 증강 현실 장치의 가상 이미지 합성 방법은, 카메라를 통해 실사 영상을 입력받는 단계, 카메라에 부착된 카메라 센서로부터 카메라의 위치 정보 및 초기 자세 정보를 수신하는 단계, 초기 자세 정보에 카메라 센서로부터 수신되는 카메라의 회전 정보를 더하여 카메라의 현재 자세 정보를 생성하는 단계, 카메라의 위치 정보 및 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 단계, 그리고 계산된 합성 위치를 기초하여 가상 이미지를 실사 영상에 합성하는 단계를 포함한다. 본 발명에 따르면 카메라를 통해 촬영된 실사 영상에 가상 이미지를 정확한 위치에 합성함으로써, 보다 생동감이 있고 실감나는 입체 영상을 제공할 수 있다. 즉 실시간 방송 중계 화면에 사용자가 원하는 이미지나 동영상 또는 3차원 그래픽을 원하는 위치에 실제로 공간상에 존재하는 것처럼 삽입하여 방송 중계 화면을 변화시킬 수 있다. 또한 방송 중계 화면상에 가상 광고 등을 삽입할 수도 있어 새로운 광고 기법을 창출할 수 있으며 광고 효과를 극대화시킬 수 있다.

증강 현실, 가상 이미지, 세계 좌표계, 영상 좌표계

Description

증강 현실 장치 및 가상 이미지 합성 방법{AUGMENTED REALITY APPARATUS AND VIRTUAL IMAGE COMPOSITION METHOD}

본 발명은 증강 현실 장치에 관한 것으로, 더욱 상세하게는 카메라를 통해 촬영된 실사 영상에 증강 현실 장치를 이용하여 가상의 이미지를 합성하는 방법에 관한 것이다.

최근 집적 기술의 발달로 인하여 다양한 휴대 기기들이 등장하게 되었다. 근래의 테이프 재생 장치, CD 플레이어 등의 음향 재생 장치로 시작하여 무선 호출기가 등장하기도 하였으며, 현재는 휴대 전화 및 MP3 플레이어가 널리 보급되고 있고, 휴대용 게임기도 등장하게 되었다.

특히, 휴대 전화의 경우 통신 수단으로서의 용도를 넘어서 다양한 수단으로 이용되기도 하는데, 그 중 시계, 디지털 카메라 및 MP3 플레이어로서의 역할이 대표적이다.

가상 현실(Virtual Reality)이란, 컴퓨터를 이용하여 구축한 가상 공간에서 인간 감각계와의 상호작용을 통해 공간적, 물리적 제약에 의해 현실 세계에서는 직접 경험하지 못하는 상황을 간접적으로 체험할 수 있도록 만든 정보 활동 분야의 새로운 패러다임 중의 하나이다. 가상 현실의 궁극적인 목표는 다양한 입출력 방법을 사용하여 컴퓨터와 인간과의 대화 능력을 높임으로써 컴퓨터와 좀 더 현실적인 통신을 할 수 있는 환경을 제공하는데 있다. 컴퓨터와 인간과의 입출력 방법으로는 HMD(Head-Mounted Display), 데이터 글러브(Data Glove) 및 모션 캡쳐(Motion Capture)와 같은 장치가 사용되는데, HMD는 사용자의 머리 움직임에 따른 위치 변화 데이터를 컴퓨터에 송신하여 컴퓨터로 하여금 사용자의 시야에 있을 대상의 크기 및 깊이를 계산하여 시뮬레이션하도록 한다.

데이터 글러브는 사용자 손의 위치와 방향을 감지하는데, 사용자가 3차원 공간에서 손을 움직이면 데이터 글러브가 데이터의 흐름을 3차원 좌표 형식으로 컴퓨터에 보내고, 컴퓨터는 그 데이터에 대응하는 대상을 조작한다.

한편, 증강 현실(Augmented Reality)이란 일반적으로 가상 환경 및 가상 현실에서 파생한 용어로서, 현실 세계 위에 컴퓨터에 의해서 생성된 정보를 덧붙여 표현하는 것을 의미한다. 즉, 현실 세계 정보에는 사용자가 필요로 하지 않는 정보도 있고 때로는 사용자가 필요로 한 정보가 부족할 수도 있다. 그러나, 컴퓨터로 만든 가상 환경을 이용하면 필요로 하지 않는 정보를 단순하게 하거나 보이지 않는 정보들을 만들어낼 수도 있다. 즉, 증강 현실 시스템은 현실 세계와 가상 세계를 결합함으로써 실시간으로 사용자와 상호 작용이 이루어지도록 하는 것이다.

증강 현실의 가장 간단한 형태로는 엔터테인먼트와 뉴스 분야 등에서 응용되고 있다. TV에서 일기예보를 하는 경우 기상 캐스터 앞의 날씨 지도가 자연스럽게 바뀌는 것을 볼 수 있는데, 실제로는 기상 캐스트가 블루스크린(Blue-Screen) 앞에 서 있고 컴퓨터로 만들어진 가상의 영상이 가상 스튜디오 환경을 만들어 증강 현실을 이루어내는 것이다. 또한 스포츠 중계에서 경기장에 존재하지 않는 광고 이미지를 경기장에 실제로 존재하는 것처럼 화면에 삽입하여 시청자들에게 송출하는 가상 광고 시스템이나, 핸드폰 카메라를 이용하여 사용자의 동작을 인식하고, 반응하도록 구성된 게임 등이 증강현실의 응용 예라 할 수 있다.

이 밖에도, 자기 공명 영상(Magnetic Resonance Image), 단층 영상(Computed Tomography Image) 및 초음파 영상 등과 같은 간접 검사를 통해 실시간으로 환자의 3차원 데이터를 취득한 후, 취득된 데이터를 실시간으로 렌더링하여 환자와 겹쳐서 표현함으로써 의사로 하여금 환자의 수술을 원활하게 수행하도록 할 수도 있으며, 조종사 헬멧의 바이저(Visor) 또는 조종석의 방풍유리에 가상 영상을 디스플레이하여 조종사에게 조종에 필요한 많은 정보를 알려줄 수도 있다.

그러나 현재 증강 현실 기술들이 그 용용 가능성이 다양함에도 불구하고, 실제적인 이용을 제한하게 되는 가장 근본적인 문제점 중의 하나가 바로 정합(Registration) 문제이다. 정합이란 증강현실에서 사용자가 보는 현실 세계와 가상으로 생성된 물체가 서로 적절히 배치되는 일련의 과정을 말하는 것으로, 카메라의 위치와 카메라가 바라보는 방향을 정확히 추적해야만 원하는 가상의 그래픽을 영상의 정확한 장소에 위치시킬 수 있게 된다.

종래의 정합 시스템은 영상에서 위치와 자세가 알려진 패턴을 인식하여 현재 카메라의 위치와 방향을 알아내는 방법, GPS, 자이로 등 실시간으로 얻어지는 센서정보를 이용하여 현재 카메라의 위치와 자세를 구하는 방법들이 사용 되었는데, 이 들은 잡음과 주위 환경, 센서 자체의 저 해상도 특성으로 인하여 정확한 정합이 어렵게 되는 문제점이 있다.

따라서 본 발명이 이루고자 하는 기술적 과제는 실사 영상에 가상 이미지를 정확한 위치에 정합할 수 있는 증강 현실 장치 및 그 증강 현실 장치를 이용한 가상 이미지 합성 방법을 제공하는 것이다.

이러한 기술적 과제를 이루기 위한 본 발명의 한 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법은, 카메라를 통해 실사 영상을 입력받는 단계, 상기 카메라에 부착된 카메라 센서로부터 상기 카메라의 위치 정보 및 초기 자세 정보를 수신하는 단계, 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하는 단계, 상기 카메라의 위치 정보 및 상기 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 단계, 그리고 상기 계산된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 단계를 포함한다.

상기 카메라의 초기 자세 정보는, 상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의될 수 있다.

,

여기서

,

는 각각 초기화된 카메라의 광축에 대하여 x, y, z 방향으로의 회전 각도를 나타낸다.

상기 카메라의 현재 자세 정보를 생성하는 단계는, 하기 수학식을 이용하여 생성할 수 있다.

,

여기서 r_x, r_y, r_z는 각각 카메라의 광축에 대하여 x, y, z 방향으로의 현재 회전된 각도를 나타내고,

,

는 각각 카메라의 초기 자세에서 tilt, pan, roll 방향으로 회전된 각도를 나타낸다.

상기 가상 이미지의 합성 위치를 계산하는 단계는, 하기 수학식을 이용하여 연산될 수 있다.

x_i = PX_i, P = K[R｜t]

여기서 P는 투영 매트릭스, X_i는 세계 좌표계에서의 한 점, x_i는 영상 좌표계에서의 한 점, K는 카메라 내부 파라미터 매트릭스이며, [R|t]는 외부 파라미터 매트릭스로서, R은 회전 변환 매트릭스이고, t는 이동 벡터이다.

상기 t는 상기 카메라의 위치 정보로부터 구해지고, 하기 수학식에 의해 정의될 수 있다.

여기서

는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, X_longitude, Y_hight, Z_latitude는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.

본 발명의 다른 실시예에 따른 증강 현실 장치는, 카메라를 통해 실사 영상을 입력받는 영상 입력 모듈, 상기 카메라에 부착된 카메라 센서로부터 상기 카메라의 위치 정보 및 초기 자세 정보를 수신하는 카메라 센서 모듈, 상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하고, 상기 카메라의 위치 정보 및 상기 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 영상 분석 모듈, 그리고 상기 계산된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 영상 합성 모듈을 포함한다.

이와 같이 본 발명에 의하면, 카메라를 통해 촬영된 실사 영상에 가상 이미지를 정확한 위치에 합성함으로써, 보다 생동감이 있고 실감나는 입체 영상을 제공할 수 있다. 즉 실시간 방송 중계 화면에 사용자가 원하는 이미지나 동영상 또는 3차원 그래픽을 원하는 위치에 실제로 공간상에 존재하는 것처럼 삽입하여 방송 중계 화면을 변화시킬 수 있다. 또한 방송 중계 화면상에 가상 광고 등을 삽입할 수도 있어 새로운 광고 기법을 창출할 수 있으며 광고 효과를 극대화시킬 수 있다.

그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.

도 1은 본 발명의 실시예에 따른 증강 현실 장치를 이용한 가상 이미지 삽입 과정을 설명하기 위한 도면이다.

도 1에 도시한 바와 같이, 카메라 센서(110)가 부착된 카메라(100)로 야구 중계와 같은 현장을 촬영할 경우 원 방송 영상(10)과 카메라 센서(110)로부터 얻은 카메라 변수는 증강 현실 장치(200)에 입력된다. 증강 현실 장치(200)는 카메라 변수, 원 방송 영상(10) 등의 입력 정보를 바탕으로 영상을 분석하고, 가상 이미지를 삽입하여 이미지가 삽입된 방송 영상(20)을 출력한다. 시청자는 이와 같이 가상 이미지가 삽입된 방송 영상(20)을 시청하면서, 촬영 현장 자체에 이미지가 존재하는 것처럼 느끼게 된다.

도 2는 본 발명의 실시예에 따른 증강 현실 장치의 구성을 나타낸 도면이다.

도 2에 도시한 것과 같이 증강 현실 장치(200)는 영상 입력 모듈(210), 카메라 센서 모듈(220), 영상 분석 모듈(230), 데이터베이스(240), 영상 합성 모듈(250) 및 디스플레이 모듈(260)을 포함한다.

먼저, 카메라 센서(110)를 부착한 카메라(100)로부터 촬영되는 방송 화면은 프레임그랩버(130)에 의해 프레임 버퍼(도시하지 않음)에 저장되며, 이는 가상 이미지가 삽입되는 배경이 된다. 카메라(100)에 부착된 카메라 센서(110)에 의해 생성되는 카메라 위치 정보 및 초기 자세 정보는 카메라 센서 모듈(220)에 전송된다.

카메라 센서(110)는 방위각 센서(digital compass), 관성 측정 장치(inertial measurement unit, IMU), 팬 틸트 센서, 고정밀 DGPS(Differential GPS)등을 포함하며, 카메라(100)에 일체형으로 구현된다.

카메라 센서(110)는 고정밀 DGPS를 이용하여 카메라(100)의 위치 정보를 측 정하고, 방위각 센서 및 IMU를 통하여 카메라(100)의 초기 자세 정보를 측정하며, 팬 틸트 센서를 통하여 카메라(100)의 회전 정보를 측정할 수 있다.

특히, 최대 수 mm의 오차를 갖는 고정밀 DGPS(Differential GPS)는 카메라(100)의 위치 정보를 수신하여 카메라(100)의 현재 위치를 확인한다. 여기서, DGPS는 GPS의 오차를 보다 정밀하게 보정하여 이용자에게 제공하는 위성항법 보정 장치로서, 이미 알고 있는 자신의 위치(기준국)과 GPS의 위성으로부터 수신한 위치 신호 비교 오차 보정값을 DGPS 이용자에게 전송하여 정확한 위치를 제공한다.

또한, 방위각 센서는 카메라(100)가 광축으로부터 회전된 각도를 측정할 수 있고, IMU 센서는 카메라의 roll 및 pitch 정보로부터 카메라(100)가 현재 진북으로부터 회전한 각도를 측정할 수 있다. 따라서, 방위각 센서와 IMU 센서를 통하여 카메라(100)의 현재 자세를 초기화 상태로 설정할 수 있다. 팬 틸트 센서는 초기화된 상태의 카메라(100)가 팬 또는 틸트 방향으로 회전한 각도를 측정할 수 있어 카메라(100)의 회전 정보를 제공할 수 있다.

영상 입력 모듈(210)은 프레임그랩버(130)를 통해 촬영된 실사 영상을 수신하여 영상 분석 모듈(230)로 전송한다.

카메라 센서 모듈(220)은 먼저 카메라 센서(110)에 의해 측정된 카메라 위치 및 초기 자세 정보를 입력받는다. 즉 카메라 위치 및 자세회전 중인 카메라의 회전 정보를 카메라 센서(110)로부터 입력받는다. 카메라 회전 정보에 대한 상세한 설명은 이하 도 3을 통하여 설명한다.

영상 분석 모듈(230)은 영상 입력 모듈(210)로부터 촬영된 실사 영상을 수신 하고 회전 중인 카메라(100)의 위치 정보 및 자세 정보를 이용하여 가상 이미지가 삽입될 위치를 계산한다. 즉, 카메라의 위치 정보 및 초기 자세 정보를 기본 옵셋으로 하고, 팬, 틸트 센서로부터 현재 이동중인 카메라의 회전 정보를 수신하여 기본 옵셋에 더한다. 이와 같이 영상 분석 모듈(230)는 카메라의 초기 자세 정보와 회전 정보를 연산하여 카메라의 현재 자세 정보를 생성한다. 그리고, 카메라의 위치 정보 및 현재 자세 정보로부터 가상 이미지가 삽입될 위치를 계산한다.

데이터베이스(240)는 실사 영상에 삽입될 가상 이미지를 저장하는 역할을 하는데, 가상 이미지는 사용자 또는 기능에 따라 구별되어 저장되거나 추출될 수 있다. 데이터베이스(240)는 하드 디스크, 플래시 메모리, CF 카드(Compact Flash Card), SD 카드(Secure Digital Card), SM 카드(Smart Media Card), MMC 카드(Multimedia Card) 또는 메모리 스틱(Memory Stick) 등 정보의 입출력이 가능한 모듈로서 증강 현실 장치(200)의 내부에 구비되어 있을 수도 있고, 별도의 장치에 구비되어 있을 수도 있다.

영상 합성 모듈(250)은 계산된 위치를 바탕으로 하여 실사 영상에 가상 이미지를 합성하도록 한다. 즉, 영상 분석 모듈(230)로부터 분석된 실사 영상과 데이터베이스(240)에 저장된 가상 이미지를 합성한다.

디스플레이부(260)는 영상 합성부(260)에 의해 가상 이미지가 정합된 영상을 표시하도록 한다. 디스플레이부(260)는 액정 표시 장치(LCD) 또는 뷰 파인더 일 수 있으며, 디스플레이부(260)를 통해 표시되는 영상은 정지 영상 또는 동영상 일 수 있다.

도 3은 본 발명에 따른 카메라 회전 정보를 설명하기 위한 도면이다.

도 3에 도시한 바와 같이 카메라 회전 정보는 세 축(x, y, z)을 중심으로 한 회전 정보를 나타내며, 각각 틸트(tilt), 팬(pan), 롤(roll)에 의한 회전을 의미한다.

특히, 삼발이에 고정된 고정형 카메라의 경우 도 3에서 각축(x,y,z)에 대한 직선 이동은 발생하지 않으며, y축을 중심으로 하는 좌우 회전 정보에 해당하는 팬(pan), x축을 중심으로 하는 상하 회전 정보에 해당하는 틸트(tilt)에 대한 움직임만이 발생한다. 그리고 카메라의 고유 특성인 줌(zoom), 포커스(focus) 등이 상황에 따라 변하는 값으로서, 카메라 변수에 포함될 수 있다.

또한 자유롭게 이동하며 촬영할 수 있는 이동형 카메라의 경우 고정형 카메라의 카메라 변수인 팬, 틸트, 줌, 포커스 외에 z축을 중심으로 하는 회전 정보에 해당하는 롤(roll)에 대한 움직임과 각축(x,y,z)에 대한 직선이동 값이 카메라 변수에 포함될 수 있다. 특히, 카메라(100)가 x축을 중심으로 회전하는 것을 "pitch", y축을 중심으로 회전하는 것을 "yaw", z축을 중심으로 회전하는 것을 "roll"라고 한다. 본 발명의 실시예에서는 카메라(100)를 이동형 카메라로 가정하여 카메라 변수를 구하는 것으로 한다.

이하에서는 도 4를 통하여 증강 현실 장치(200)의 가상 이미지 합성 방법에 대해 설명한다. 도 4는 본 발명의 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법을 나타내는 순서도이다.

먼저 영상 입력 모듈(210)은 프레임그랩버(130)를 통해 촬영된 실사 영상을 입력받는다(S410).

카메라 센서 모듈(220)은 카메라 센서(110)로부터 측정된 카메라 위치 정보 및 초기 자세 정보를 입력받는다(S420). 즉, 카메라 센서 모듈(220)은 고정밀 DGPS(Differential GPS)로부터 카메라의 위치 정보를 수신하여 카메라의 현재 위치를 확인한다. 여기서 카메라의 위치 정보는 카메라의 경도, 카메라의 높이, 카메라의 위도를 포함한다.

또한 카메라 센서 모듈(220)은 방위각 센서로부터 카메라의 광축이 진북 방향으로부터 회전된 각도를 입력받고, IMU 센서로부터 카메라의 roll 및 pitch 정보를 수신하여 카메라(100)의 초기 자세에 대한 정보를 획득한다.

여기서, 카메라의 초기화된 자세 정보는 카메라(100)의 광축이 진북 방향과 이루는 각도를 이용하며, 다음의 수학식1에 의해 정의된다.

, ,

수학식 1에서

,

그리고, 카메라(100)가 초기 자세에서 tilt, pan, roll 방향으로 회전을 하게 되면, 카메라 센서 모듈(220)은 카메라 센서(110)로부터 회전 정보를 수신한다(S430). 영상 분석 모듈(230)은 수학식 1에 나타낸 카메라의 초기 자세 정보를 기본 옵셋으로 하고, 카메라 센서(110)로부터 수신된 카메라의 회전 정보를 기본 옵셋에 더함으로써, 회전 중인 카메라의 현재 자세 정보를 생성한다(S440).

즉, 수학식 1에 나타낸 카메라의 초기 자세 정보에 기계적으로 정확하게 동작하는 팬, 틸트 센서로부터 획득한 회전 정보를 더하여 다음의 수학식 2와 같은 카메라의 현재 자세 정보를 생성한다.

, ,

,

영상 분석 모듈(230)은 영상 입력 모듈(210)을 통해 실사 영상을 수신하며, 추적된 카메라(100)의 위치 정보 및 현재 자세 정보를 기초로 하여 가상 이미지가 삽입될 위치를 계산한다(S450).

즉, 영상 분석 모듈(230)은 수학식 2에서 획득한 카메라의 자세 정보와 카메라 센서(110)로부터 수신한 카메라의 위치 정보를 이용하여 가상 이미지가 삽입될 위치를 계산한다. 여기서, 가상 이미지를 실사 영상에 삽입하기 위해서는 수학식 3과 같이 세계 좌표계를 영상 좌표계로 변환시키는 과정이 필요하다.

x_i = PX_i

P = K[R｜t]

여기서, P는 투영 매트릭스(Projection Matrix)로서 세계 좌표계에서의 한 점 X_i를 영상 좌표계에서의 한 점 x_i으로 투영시킨다. K는 카메라의 내부 파라미터 매트릭스이며, R과 t, 즉 [R|t]를 외부 파라미터 매트릭스(External Parameter Matrix)라고 하며, R은 회전 변환 매트릭스(Rotation-Translation Matrix), t는 이동 벡터를 각각 나타낸다.

수학식 3에 나타낸 것과 같이, 세계 좌표계에서의 한 점 X_i은 먼저 외부 파라미터 매트릭스 [R|t]에 의하여 카메라 좌표계로 변환된 후, 다시 카메라의 내부 파라미터 매트릭스 K에 의해 영상 좌표계에서의 한 점 x_i으로 변환된다.

도 5는 세계 좌표계를 카메라 좌표계로 변환시키는 과정을 나타낸 도면이다.

도 5와 같이 3차원 공간내의 가상 좌표인 세계(world) 좌표계를 카메라 초점(C)을 기준으로 하는 카메라 좌표계로 변환시키기 위하여 외부 파라미터 매트릭스 [R|t]를 이용한다.

외부 파라미터 매트릭스는 세계 좌표계의 좌표를 카메라 좌표계의 좌표로 변환시키기 위한 것으로, 세계 좌표계에 대한 카메라 좌표계의 상대적인 이동과 회전에 관한 파라미터이다. 따라서, [R|t]에 의하여 임의의 좌표계를 갖는 고정 카메라에서 3차원 공간상의 한 점 X_i은 3차원 공간상의 한 점 x로 변환된다.

한편, 외부 파라미터 매트릭스의 회전 변환 매트릭스 R은 수학식 2에서 구한 각각의 x축, y축, z축에 대한 회전 각도 r_x, r_y, r_z을 이용하여 오일러 각으로 표현 되며, 외부 파라미터 매트릭스의 이동 벡터 t는 아래의 수학식 4와 같이 나타낼 수 있다. 일반적으로 가상 이미지가 3차원 그래픽인 경우에는 z 축이 x축 및 y축과 직교하는 벡터로 설정이 되고, 본 발명에서는 카메라의 자세가 진북을 기준으로 하고 있으므로, 3차원 이동벡터는 다음과 같이 설정된다.

여기서

는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, X_longitude, Y_hight, Z_latitude 는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.

그리고, 세계 좌표계를 카메라 좌표계로 변환시킨 후 카메라 좌표계의 한 점 x는 내부 파라미터 매트릭스

에 의해 영상 좌표계에서의 한 점 x_i으로 변환된다. 여기서 카메라의 내부 파라미터 매트릭스

는 다음의 수학식 5를 만족한다.

수학식 5에서 α_{x ,}α_y는 각각 α_x= fm_x, α_y= fm_y 로서, f는 카메라의 초점거리, m_x, m_y는 영상 좌표계에서 단위 거리 당 픽셀의 수를 나타내며,

는 원리 점(principal point),

는 skew 파라미터를 나타낸다. 본 발명에서는 카메라의 초점거리가 카메라 보정(camera calibration), 혹은 카메라 제조사로부터 그 값을 미리 알고 있다고 가정하고, skew 파라미터는 0으로 간주한다. 또한 원리점은 이미지의 중앙이라고 가정한다.

이와 같이 세계 좌표계의 한 점 X_i은 카메라의 외부 파라미터 매트릭스 및 내부 파라미터 매트릭스와 연산되어 영상 좌표계의 한 점 x_i으로 변환된다.

영상 합성 모듈(250)은 계산된 위치를 바탕으로 하여 실사 영상에 가상 이미지를 합성하도록 하고(S460), 디스플레이 모듈(260)은 가상 이미지가 합성된 영상을 표시한다(S470). 본 발명의 실시예에 따르면 가상 이미지는 2차원 그래픽뿐만 아니라 3차원 그래픽으로도 표현될 수 있으며, 시청자는 실제 방송 화면 속에 이미지가 실제 존재하는 것처럼 느끼면서 방송을 시청하게 된다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

도 4는 본 발명의 실시예에 따른 증강 현실 장치의 가상 이미지 합성 방법을 나타내는 순서도이다.

Claims

카메라를 통해 실사 영상을 입력받는 단계,

상기 카메라에 부착된 카메라 센서로부터 상기 카메라의 위치 정보 및 초기 자세 정보를 수신하는 단계,

상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하는 단계,

상기 카메라의 위치 정보 및 상기 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 단계, 그리고

상기 계산된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 단계를 포함하고,

상기 가상 이미지의 합성 위치를 계산하는 단계는,

하기 수학식을 이용하여 연산되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:

x_i= PX_i, P = K[R｜t]

여기서 P는 투영 매트릭스, X_i는 세계 좌표계에서의 한 점, x_i는 영상 좌표계에서의 한 점, K는 카메라 내부 파라미터 매트릭스이며, [R|t]는 외부 파라미터 매트릭스로서, R은 회전 변환 매트릭스이고, t는 이동 벡터이다.
제1항에 있어서,

상기 카메라의 초기 자세 정보는,

상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:

,
,

여기서
,
,
는 각각 초기화 된 카메라의 광축에 대하여 x, y, z 방향으로의 회전 각도를 나타낸다.
제2항에 있어서,

상기 카메라의 현재 자세 정보를 생성하는 단계는,

하기 수학식을 이용하여 생성하는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:

,
,

여기서 r_x, r_y, r_z는 각각 카메라의 광축에 대하여 x, y, z 방향으로의 현재 회전된 각도를 나타내고,
,
,
는 각각 카메라의 초기 자세에서 tilt, pan, roll 방향으로 회전된 각도를 나타낸다.
삭제
제1항에 있어서,

상기 t는 상기 카메라의 위치 정보로부터 구해지고, 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치의 가상 이미지 합성 방법:

여기서
는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, X_longitude, Y_hight, Z_latitude는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.
카메라를 통해 실사 영상을 입력 받는 영상 입력 모듈,

상기 카메라에 부착된 카메라 센서로부터 상기 카메라의 위치 정보 및 초기 자세 정보를 수신하는 카메라 센서 모듈,

상기 초기 자세 정보에 상기 카메라 센서로부터 수신되는 상기 카메라의 회전 정보를 더하여 상기 카메라의 현재 자세 정보를 생성하고, 상기 카메라의 위치 정보 및 상기 카메라의 현재 자세 정보를 통하여 가상 이미지의 합성 위치를 계산하는 영상 분석 모듈, 그리고

상기 계산된 합성 위치를 기초하여 상기 가상 이미지를 상기 실사 영상에 합성하는 영상 합성 모듈을 포함하고,

상기 가상 이미지의 합성 위치는 하기 수학식을 이용하여 연산되는 것을 특징으로 하는 증강 현실 장치:

x_i= PX_i, P = K[R｜t]

여기서 P는 투영 매트릭스, X_i는 세계 좌표계에서의 한 점, x_i는 영상 좌표계에서의 한 점, K는 카메라 내부 파라미터 매트릭스이며, [R|t]는 외부 파라미터 매트릭스로서, R은 회전 변환 매트릭스이고, t는 이동 벡터이다.
제6항에 있어서,

상기 카메라의 초기 자세 정보는,

상기 카메라의 광축이 진북 방향과 이루는 각도가 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치:

,
,

여기서
,
,
는 각각 초기화 된 카메라의 광축에 대하여 x, y, z 방향으로의 회전 각도를 나타낸다.
제7항에 있어서,

상기 카메라의 자세 정보는 하기 수학식을 이용하여 생성되는 것을 특징으로 하는 증강 현실 장치:

,
,

여기서 r_x, r_y, r_z는 각각 카메라의 광축에 대하여 x, y, z 방향으로의 현재 회전된 각도를 나타내고,
,
,
는 각각 카메라의 초기 자세에서 tilt, pan, roll 방향으로 회전된 각도를 나타낸다.
삭제
제6항에 있어서,

상기 t는 상기 카메라의 위치 정보로부터 구해지고, 하기 수학식에 의해 정의되는 것을 특징으로 하는 증강 현실 장치:

여기서
는 각각 x 방향 이동 벡터, y 방향 이동 벡터, z 방향 이동 벡터이고, X_longitude, Y_hight, Z_latitude는 카메라의 위치 정보로서, 각각 카메라의 경도, 카메라의 높이, 카메라의 위도를 나타낸다.