KR100963238B1

KR100963238B1 - 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과증강현실을 이용한 상호작용방법

Info

Publication number: KR100963238B1
Application number: KR1020080012710A
Authority: KR
Inventors: 나세원; 우운택
Original assignee: 광주과학기술원
Priority date: 2008-02-12
Filing date: 2008-02-12
Publication date: 2010-06-10
Also published as: WO2009102138A2; EP2267595A2; US20100315418A1; EP2267595A4; KR20090087332A; US8823697B2; WO2009102138A3

Abstract

본 발명은 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법에 관한 것이다. 보다 상세하게는 사용자간의 협업 공간을 제공하는 테이블 인터페이스에 사용자 개인 공간을 제공하는 모바일 인터페이스를 더함으로써 테이블 상의 정보를 개인 모바일 장치로 가져와 사용자가 직접적으로 제어하거나 개인적인 조작이 가능하도록 하고, 테이블에 대하여 공평한 제어권을 가지도록 하며, 개인화된 결과물을 다수 사용자가 공유함으로써 상호협력할 수 있도록 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법에 관한 것이다.

이를 위하여 본 발명은 테이블 위에 투영된 영상의 특정 컨텐츠를 터치하거나 상기 특정 컨텐츠 상에 올려놓은 객체를 통해 사용자와 상호작용하도록 하는 협업 공간을 제공하는 테이블 인터페이스; 및 상기 객체를 인식하고 추적하여 상기 투영된 영상에 3차원 컨텐츠를 증강시키는 개인 공간을 제공하는 모바일 인터페이스를 포함하는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템을 제공한다.

증강현실, 테이블, 테이블 인터페이스, 모바일 인터페이스, 개인화, 협업

Description

개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법{Tabletop-Mobile augmented reality systems for individualization and co-working and Interacting methods using augmented reality}

증강현실(Augmented Reality)은 가상현실(Virtual Reality)의 한 분야로, 실제 환경에 가상 사물을 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.

증강현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상현실과 달리, 현실세계의 기반위에 가상의 사물을 합성하여 현실세계 만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가지고 있다. 즉, 가상현실기술은 일반적으로 사용자로 하여금 가상의 환경에 몰입하게 하므로 사용자는 실제 환경을 볼 수 없는 반면, 증강현실기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 띤다. 다시 말하면, 가상현실은 현실세계를 대체하여 사용자에게 보여주지만 증강현실은 현실세계에 가상의 물체를 중첩함으로서 현실세계를 보충하여 사용자에게 보여준다는 차별성을 가지며, 가상현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 특징이 있다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상현실과 달리 다양한 현실환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.

이러한 증강현실 기술을 테이블탑 시스템(table-top system)에 활용할 수 있다. 테이블은 가정이나 사무실의 한가운데 놓여져 사람들이 그 주위에서 서로 토론을 하거나 게임을 즐길 수 있도록 하는 공간이다. 테이블탑 시스템은 이러한 점에 착안하여, 다자간 회의나 엔터테인먼트, 교육, 전시 등에 다자간 협업환경을 제공한다.

테이블탑 시스템에서의 초기 이슈는 키보드나 마우스와 같은 종래의 입력장치를 사용하지 않고 사용자의 손과 객체를 이용하여 테이블 위의 2차원 정보를 직관적으로 조작하는 것이었다. 이러한 이슈를 해결하기 위해 두 개 이상의 손가락 터치를 동시에 인식하여 다양한 형태의 입력을 받아들일 수 있도록 한 연구가 있으나, 이는 터치 스크린의 크기가 커질수록 제작 비용이 증가하는 단점이 있다. 한편, 손에 쥘 수 있는 형태의 물리적 객체를 이용한 상호작용 방법이 제안된 바 있으나, 이는 다수 사용자 환경에서는 물리적 객체의 수에 의존적으로 모든 사용자가 동시에 상호작용할 수 있는 제어권을 얻을 수 없는 단점이 있다.

일반적으로 수직의 디스플레이 장치를 가지는 데스크탑(desk-top)과는 달리, 수평의 디스플레이 장치를 가진 테이블탑 시스템은 표시된 정보나 컨텐츠가 한쪽 방향으로 치우쳐 있기 때문에 여러 방향에 있는 사용자가 동시에 같은 컨텐츠를 보는 것이 쉽지 않다. 이러한 문제를 해결하기 위해 테이블 화면을 사용자 수에 맞게 분할하거나 테이블 화면을 좌우로 회전 가능하도록 원형 형태로 구성한 연구가 있다. 전자의 경우 사람 수가 많아질수록 분할된 화면이 작아지는 단점이 있고, 후자의 경우 사용자들이 원형의 화면을 회전시키기 위한 제어권을 놓고 경쟁해야 하는 단점이 있다.

테이블탑 시스템의 이러한 단점을 해결하고, 사용자별로 개인화된 인터페이스를 제공하여 사용자가 직접적으로 제어함으로써 개인화된 조작이 가능하도록 하면서도, 사용자간에 개인화된 결과물을 공유하고 상호협력하여 변환하도록 하는 협업 환경을 위한 시스템의 개발 필요성이 대두된다.

본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 특히 테이블 상의 정보를 개인 모바일 장치로 가져와 사용자가 직접적으로 제어하거나 개인적인 조작이 가능하도록 하고, 테이블에 대하여 공평한 제어권을 가지도록 하며, 개인화된 결과물을 다수 사용자가 공유함으로써 상호협력할 수 있도록 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템과 증강현실을 이용한 상호작용방법을 제공하는 데 그 목적이 있다.

상기 목적을 달성하기 위해 안출된 본 발명에 따른 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템은 테이블 위에 투영된 영상의 특정 컨텐츠를 터치하거나 상기 특정 컨텐츠 상에 올려놓은 객체를 통해 사용자와 상호작용하도록 하는 협업 공간을 제공하는 테이블 인터페이스; 및 상기 객체를 인식하고 추적하여 상기 투영된 영상에 3차원 컨텐츠를 증강시키는 개인 공간을 제공하는 모바일 인터페이스를 포함하는 것을 특징으로 한다.

또한, 상기 테이블 인터페이스는 상기 사용자의 입력을 받기 위한 입력 모듈과, 상기 입력 모듈로부터 전송된 데이터로 장면을 구성하는 장면 구성 모듈과, 상기 장면 구성 모듈을 통해 구성된 장면을 디스플레이하는 뷰어 모듈, 및 상기 모바일 인터페이스와의 연결을 위한 네트워크 모듈을 포함할 수 있다.

또한, 상기 입력 모듈은 상기 사용자의 터치를 인식하는 터치 프레임일 수 있다.

또한, 상기 입력 모듈은 상기 객체를 인식하는 카메라일 수 있다.

또한, 상기 모바일 인터페이스는 상기 객체를 인식하고 추적하는 추적 모듈과, 상기 테이블 인터페이스와의 연결을 위한 네트워크 모듈과, 상기 추적 모듈로부터 전송된 영상에 3차원 컨텐츠를 증강하는 정합 모듈, 및 상기 정합 모듈을 통해 증강된 영상을 디스플레이하는 뷰어 모듈을 포함할 수 있다.

또한, 상기 추적 모듈은 카메라를 포함할 수 있다.

또한, 상기 모바일 인터페이스는 상기 3차원 컨텐츠와의 상호 작용을 위한 입력 모듈을 더 구비할 수 있다.

또한, 상기 입력 모듈은 터치 패널을 포함할 수 있다.

또한, 상기 객체는 상기 테이블 인터페이스와 상기 모바일 인터페이스에서 동일한 좌표값을 가질 수 있다.

또한, 상기 테이블 인터페이스와 상기 모바일 인터페이스는 네트워킹을 통해 상기 객체의 좌표 데이터를 교환 전송하며, 상기 전송은 시간적으로 동기화되어 수행될 수 있다.

본 발명에 따른 증강현실을 이용한 상호작용방법은 (a) 테이블 인터페이스 위에 객체를 놓는 단계; (b) 모바일 인터페이스에 장착된 카메라를 통해 상기 객체를 인식하고 추적하는 단계; (c) 상기 카메라를 통해 획득한 영상에 3차원 컨텐츠를 증강하는 단계; (d) 상기 3차원 컨텐츠를 선택 또는 조작함으로써 상호작용을 수행하는 단계를 포함하는 것을 특징으로 한다.

또한, 상기 증강현실을 이용한 상호작용방법은 상기 테이블 인터페이스 상의 객체를 조작하는 단계를 더 포함할 수 있다.

본 발명에 의하면 사용자별로 개인화된 인터페이스를 제공하여 사용자가 직접적으로 제어함으로써 개인화된 조작이 가능하도록 하면서도, 각 사용자가 조작한 결과물을 공유하고 상호협력하여 작업할 수 있도록 하여 개인 공간과 협업 공간을 동시에 제공하는 효과가 있다.

또한, 본 발명에 의하면 테이블 인터페이스를 통해 키보드나 마우스와 같은 종래의 입력 장치의 사용 없이 사용자의 손과 객체를 인식하여 테이블 위의 2차원 정보를 직관적으로 조작할 수 있는 효과가 있다.

또한, 본 발명에 의하면 다수의 사용자가 테이블 인터페이스를 사용하되 공평한 제어권을 가지며 가시거리를 확장함으로써 사용자에게 편의를 제공하는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시 예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도 1은 본 발명의 바람직한 실시예에 따른 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템의 구성도이다.

본 발명의 바람직한 실시예에 따른 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템(이하, "증강현실 시스템")은, 도 1을 참조하면, 테이블 인터페이스(100)와 모바일 인터페이스(200)를 포함한다.

테이블 인터페이스(100)는 테이블 위에 투영된 영상의 특정 컨텐츠를 터치하거나 특정 컨텐츠 상에 올려놓은 객체를 통해 사용자와 상호작용하도록 하는 협업 공간을 제공한다. 여기서, '객체'는 마커(marker)와 감각형 오브젝트(tangible object)를 포함하는 것으로, 증강의 매개체 역할을 하는 것이다.

테이블 인터페이스(100)는 입력 모듈(10), 장면 구성 모듈(20), 뷰어 모듈(30), 및 네트워크 모듈(40)을 포함한다.

입력 모듈(10)은 사용자의 입력을 받기 위한 부분으로, 사용자의 터치를 인식하는 터치 프레임(touch frame)과 객체를 인식하는 카메라를 포함한다.

장면 구성 모듈(20)은 입력 모듈(10)로부터 전송된 데이터로 장면을 구성하는 부분이다.

뷰어 모듈(30)은 장면 구성 모듈(20)을 통해 구성된 장면을 디스플레이하는 부분이다.

네트워크 모듈(40)은 모바일 인터페이스(200)와의 연결을 위한 부분이다. 일례로, 테이블 인터페이스(100)의 네트워크 모듈(40)은 모바일 인터페이스(200)의 네트워크 모듈(240)과 이더넷 네트워킹에 의해 무선으로 연결되며, TCP/IP를 이용하여 통신할 수 있다.

모바일 인터페이스(200)는 객체를 인식하고 추적하여 3차원 컨텐츠를 증강시키는 개인 공간을 제공한다. 모바일 인터페이스(200)는 증강현실 기술을 적용하여 테이블 인터페이스(100)로의 접근성을 증가시키고, 증강된 3차원 컨텐츠를 쉽게 볼 수 있도록 해 준다. 사용자는 모바일 인터페이스(200)를 이용하여 키보드나 마우스를 사용하지 않고서도 3차원 공간과 상호작용을 할 수 있게 된다. 모바일 인터페이스(200)는 사용자에게 개인화된 인터페이스를 제공하고, 사용자의 가시거리를 확장한다. 더불어, 모바일 인터페이스(200)는 사용자가 어디에 있든지 동일한 제어권을 가질 수 있도록 한다. 따라서, 모바일 인터페이스(200)에 의하면 배경기술에서 언급한 바와 같이 테이블 화면을 사용자 수에 맞게 분할한 경우에 사람 수가 많아질수록 분할된 화면이 작아진다든지, 테이블 화면을 좌우로 회전 가능하도록 원형 형태로 구성한 경우 사용자들이 원형의 화면을 회전시키기 위한 제어권을 놓고 경쟁해야 하는 문제점이 해결된다.

모바일 인터페이스(200)는 카메라를 통해 객체를 인식하고 추적하는 추적 모듈(210), 추적 모듈(210)로부터 전송된 영상에 3차원 컨텐츠를 증강하는 정합 모듈(220), 정합 모듈(220)을 통해 증강된 영상을 디스플레이하는 뷰어 모듈(230), 및 테이블 인터페이스(100)와의 연결을 위한 네트워크 모듈(240)을 포함한다. 도시 되지 않았으나, 모바일 인터페이스(200)는 3차원 컨텐츠와의 상호 작용을 위한 입력 모듈을 더 구비할 수 있다.

도 2는 테이블 인터페이스의 개념도이다.

테이블 인터페이스는 공동 사용자의 협업 환경으로 기능한다. 협업 공간에서 다수의 사용자들은 손으로 테이블(150) 위의 가상 컨텐츠를 조작하거나 객체를 컨텐츠 위에 올려 놓음으로써 가상 컨텐츠를 선택할 수 있다. 도 2에서 화살표는 객체를 지시한다. 이때, 사용자의 손이나 객체는 터치 프레임(160)과 테이블(150) 아래의 카메라(180)를 이용하여 인식되고 추적된다. 프로젝터(170)는 테이블(150)에 가상 공간의 2차원 이미지를 투영한다. 예컨대, 가상 공간 네비게이션을 구현하고자 하는 경우 프로젝터(170)는 테이블(150) 표면에 가상 공간의 2차원 지도를 투영하여 사용자로 하여금 전체 가상 공간에서 현재 탐험중인 위치를 쉽게 파악할 수 있도록 하고, 이동에 따라 적절한 피드백을 제공한다.

터치 프레임은 일반적으로 한 번에 한가지 객체의 위치를 탐지하므로, 하나의 객체가 테이블 위에 놓여진 후 두 번째 객체가 놓이면 정확한 위치를 계산하기가 용이하지 않다. 이를 위해 터치 프레임(160)의 높이를 테이블(150) 표면으로부터 소정 간격 이격시킬 수 있다. 이 경우, 객체 마커가 테이블 위에 놓이거나 제거되는 것을 탐지할 수 있고 2개 이상의 객체가 테이블에 놓이더라도 이전에 놓인 객체는 다음 객체의 탐지를 방해하지 않게 된다. 이와 같이 함으로써 여러 사람이 동시에 자신의 객체를 테이블(150) 위에 놓을 수 있고 각 객체는 테이블 인터페이스가 표시하는 컨텐츠와 연결된다. 객체가 테이블(150)에 놓여지면 테이블(150) 아래 의 카메라(180)에 의해 객체의 종류와 위치가 추적되어 사용자들이 여러 객체를 동시에 움직이더라도 정확하게 추적이 수행될 수 있다.

도 3은 테이블 인터페이스에 구비된 버튼의 일례를 도시한 도면이다.

테이블 인터페이스에는 표시된 컨텐츠를 용이하게 조작하기 위해 버튼(B1~B4)이 구비될 수 있다. 예컨대, 높이 감소 버튼(B1)을 터치하면 가상 컨텐츠인 건물의 높이가 감소되고, 높이 증가 버튼(B2)을 터치하면 높이 감소 버튼(B1)과 반대 현상이 발생한다. 또한, 회전 버튼(B3)을 터치하면 건물이 좌우로 회전하게 된다. 버튼은 컨텐츠의 생성 또는 삭제와 같은 1회성 동작에 적합한 단순 선택형 버튼과, 손의 움직임에 따라서 컨텐츠의 속성이 변하여 컨텐츠의 위치나 모양 변경과 같이 지속적인 변화를 주는 동작에 적합한 손 제스쳐 인식 기반 버튼 등으로 구성될 수 있다.

도 4는 모바일 인터페이스의 개념도이고, 도 5는 사용자와 모바일 인터페이스 및 테이블 인터페이스 간의 상호작용을 도시한 개념도이다.

모바일 인터페이스(200)는 테이블 인터페이스(100)의 객체에 증강된 영상을 사용자에게 제공할 뿐만 아니라, 모바일 인터페이스(200)의 입력 모듈을 이용하여 사용자가 추가적인 조작을 수행하고 이를 테이블 인터페이스(100)로 전송함으로써 3차원 컨텐츠와 상호작용을 수행한다. 이때, 사용자의 조작 내용은 모바일 인터페이스(200)의 네트워크 모듈(240)로부터 테이블 인터페이스(100)의 네트워크 모듈(40)로 전송된다. 이를 위해 모바일 인터페이스(200)의 입력 모듈은 3차원 컨텐츠를 선택하거나 조작할 수 있도록 터치 패널을 구비할 수 있다. 도 4를 참조하면, 모바일 인터페이스(200)의 터치 패널 상에는 테이블 인터페이스 상에 구비된 버튼(도 3 참조)과 동일 또는 유사한 버튼이 구비된다. 이를 통해 사용자는 특정 건물의 높이를 증가 또는 감소시키고 회전시킬 수 있으며, 이러한 조작 결과를 테이블 인터페이스에 반영할 수 있다. 또한, 모바일 인터페이스(200)에는 3차원 컨텐츠를 사용하기 위해 광선-추적 기법이 사용될 수 있다.

테이블 상의 객체는 테이블 인터페이스(100)와 모바일 인터페이스(200)에 의해서 동시에 인식되고 추적된다. 모바일 인터페이스(200)는 카메라를 통해 객체를 추적하고 이를 모바일 인터페이스(200)의 상대적인 3차원 자세를 계산하는 데 사용한다. 모바일 인터페이스(200)는 카메라로부터 입력된 실제 영상과 3차원 컨텐츠를 정합하여 디스플레이한다. 사용자가 각자의 모바일 인터페이스(200)를 통해 협업 공간인 테이블 인터페이스(100)에 접근한 경우, 사용자들은 테이블 인터페이스(100)를 기준으로 한 각자의 위치에 무관하게 테이블 인터페이스(100) 전체를 볼 수 있으므로 가시거리가 확장된다. 또한, 사용자들은 테이블 인터페이스(100)를 기준으로 한 각자의 위치에 무관하게 테이블 인터페이스(100) 상의 컨텐츠에 대하여 동일한 제어권을 가지게 된다. 예컨대, 도 5에 도시된 바와 같이 사용자 A, B, C가 각자의 모바일 인터페이스(200)를 통해 테이블 인터페이스(100)에서 공동 작업을 수행하는 경우 각자의 모바일 인터페이스(200)에는 모바일 인터페이스(200)의 카메라 위치와 각도에 따라 다른 정보가 표시된다. 또한, 각 사용자가 모바일 인터페이스(200)를 통해 3차원 컨텐츠를 조작한 결과는 협업 공간인 테이블 인터페이스(100)에 반영된다.

도 6은 테이블 인터페이스와 모바일 인터페이스의 공간적 좌표 시스템을 일치시켜 공동 공간을 생성하는 것을 설명하기 위한 개념도이고, 도 7은 테이블 인터페이스와 모바일 인터페이스의 시간적 동기화를 통해 공동 공간을 생성하는 것을 설명하기 위한 개념도이다.

본 발명에 따른 증강현실 시스템은 사용자가 테이블 인터페이스와 모바일 인터페이스 간에 이질감을 느끼지 않도록 하기 위해, 즉 두 인터페이스가 마치 하나인 것처럼 느끼도록 하기 위해 공동 공간을 제공한다. 이를 위해 증강현실 시스템은 두 인터페이스의 공간적인 좌표 시스템을 하나로 일치시키고, 시간적 동기화와 정형화된 데이터 공유를 제공한다.

도 6을 참조하면, 테이블 상에 놓여진 물리적 객체는 3차원 컨텐츠의 증강을 위한 매개체로서의 역할뿐만 아니라, 두 인터페이스의 공간 좌표를 일치시키는 매개체 역할을 수행한다.

두 인터페이스의 공간 좌표를 일치시키기 위해, 먼저 모바일 인터페이스의 좌표계에 관련된 객체의 3차원 상대 좌표와, 테이블 인터페이스 상에 놓여진 객체의 2차원 절대 좌표의 조합을 통해 객체의 3차원 절대 좌표를 얻는다. 도 6에서 "u"는 테이블 인터페이스에서의 객체의 2차원 절대 좌표를, "v"는 모바일 인터페이스에서의 객체의 3차원 상대 좌표를, 그리고 "w"는 u와 v를 통해 계산된 객체의 3차원 절대 좌표를 나타낸다. 모바일 인터페이스와 테이블 인터페이스는 네트워킹을 통하여 좌표 데이터를 교환한다.

이러한 좌표 데이터의 교환을 위한 전송시 데이터 범람이나 지연에 의한 데 이터 정체를 방지하기 위해 시간적 동기화 아래에서 데이터 전송이 이루어지는 것이 바람직하다. 예컨대, 시간적 동기화는 도 7과 같이 퍼스트인-퍼스트아웃(FIFO)과 같은 파이프 형태로 데이터를 직렬화하고 이를 제어함으로써 수행될 수 있다. 이러한 구조는 시간이 경과된 데이터나 불필요한 데이터들을 걸러내는 필터 역할을 수행한다.

도 8a 및 도 8b는 테이블 인터페이스의 일례를 나타낸 사진이다.

테이블 인터페이스는 두 종류의 입력 모듈을 포함한다.

도 8a를 참조하면 테이블 인터페이스는 터치 프레임을 이용한 손추적 장치를 구비할 수 있다. 사용자는 손가락을 이용하여 테이블 인터페이스 상의 3차원 컨텐츠나 버튼을 직관적으로 선택하거나 조작할 수 있다. 도 8a에서 흰색 원은 현재 사용자가 손가락으로 클릭한 위치를 나타낸다.

도 8b를 참조하면 테이블 인터페이스는 테이블 상에 올려놓은 객체를 인식하고 추적하기 위한 카메라 장치를 구비할 수 있다. 사용자는 테이블 인터페이스 상에 표시되는 가상의 3차원 컨텐츠를 선택하기 위해 객체를 올려놓을 수 있다. 도 8b와 같이 여러 객체를 올려놓은 경우 테이블 인터페이스는 이들을 동시에 인식할 수 있다.

도 9는 사용자가 모바일 장치를 사용하여 테이블 주위에서 테이블을 바라보는 사진이다. 도 9와 같이 사용자는 한 손에 모바일 장치를 들고 다른 한 손으로 가상 콘텐츠를 보거나 상호작용할 수 있다.

도 10a 내지 도 10e는 모바일 인터페이스의 일례를 나타낸 사진이다.

모바일 인터페이스의 입력 모듈은 터치 패널을 이용하여 구현될 수 있다. 사용자는 모바일 인터페이스의 터치 패널을 터치함으로써 3차원 컨텐츠를 선택하고 조작할 수 있다.

테이블 인터페이스 상의 특정 위치에 감각형 오브젝트와 같은 객체를 놓고 각 객체에 부합하는 3차원 가상 컨텐츠를 증강하여 사용자가 모바일 인터페이스를 통해 정합된 영상을 보게 된다(도 10a 참조). 사용자가 3차원 컨텐츠를 선택하면 선택된 가상 컨텐츠를 구별할 수 있도록 흰색 선으로 가상 컨텐츠를 표시한다(도 10b 참조). 또한, 컨텐츠가 선택되면 선택된 컨텐츠에 대하여 가능한 조작을 사용자가 볼 수 있도록 가상 컨텐츠 아래에 버튼을 표시한다. 버튼 중 높이 증가 버튼을 터치하면 가상 컨텐츠인 건물의 높이가 증가되고 회전 버튼을 터치하면 건물이 좌우로 회전하게 된다(도 10c 참조). 한편, 여러 개의 3차원 컨텐츠를 선택하여 한 번에 조작할 수도 있고(도 10d 참조), 삭제 버튼을 통해 컨텐츠를 삭제할 수도 있다(도 10e 참조).

도 11은 본 발명의 바람직한 실시예에 따른 증강현실을 이용한 상호작용방법의 흐름도이다.

본 발명의 바람직한 실시예에 따른 증강현실을 이용한 상호작용방법은, 도 11을 참조하면, 객체 놓기 단계(S10), 객체 인식 및 추적 단계(S20), 3차원 컨텐츠 증강 단계(S30), 및 3차원 컨텐츠 조작 단계(S40)를 포함하여 이루어진다. 도시되지 않았으나, 증강현실을 이용한 상호작용방법은 테이블 인터페이스 상의 객체를 조작하는 단계를 더 포함할 수 있다.

10단계는 테이블 인터페이스 위에 객체를 놓는 단계이다. 사용자는 자신이 원하는 위치에 마커 또는 감각형 오브젝트를 놓는다.

20단계는 모바일 인터페이스에 장착된 카메라를 통해 객체를 인식하고 추적하는 단계이다.

30단계는 카메라를 통해 획득한 영상에 3차원 컨텐츠를 증강하는 단계이다. 사용자는 카메라를 통해 획득한 비디오 영상과 정합된 3차원 컨텐츠를 모바일 인터페이스로 볼 수 있다.

40단계는 3차원 컨텐츠를 선택 또는 조작함으로써 상호작용을 수행하는 단계이다. 사용자는 모바일 인터페이스에 구비된 버튼을 터치함으로써 3차원 컨텐츠를 선택하여 조작을 가하고, 이러한 조작 결과가 테이블 인터페이스에 반영되도록 한다.

한편, 이와 같이 모바일 인터페이스를 통해 3차원 컨텐츠를 선택하고 조작하는 것과 별도로, 테이블 인터페이스를 통해 3차원 컨텐츠를 선택하고 조작할 수도 있음은 도 8a 및 도 8b에 대한 설명에서 상술한 바와 같다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

본 발명은 테이블 인터페이스에 의한 협업 공간에 모바일 인터페이스에 의한 개인 공간을 더함으로써 도시계획을 비롯하여 교육, 훈련, 전시, 엔터테인먼트 등의 다양한 응용분야에 활용될 수 있다.

도 1은 본 발명의 바람직한 실시예에 따른 개인화 및 협업을 위한 증강현실 시스템의 구성도,

도 2는 테이블 인터페이스의 개념도,

도 3은 테이블 인터페이스에 구비된 버튼의 일례를 도시한 도면,

도 4는 모바일 인터페이스의 개념도,

도 5는 사용자와 모바일 인터페이스 및 테이블 인터페이스 간의 상호작용을 도시한 개념도,

도 6은 테이블 인터페이스와 모바일 인터페이스의 공간적 좌표 시스템을 일치시켜 공동 공간을 생성하는 것을 설명하기 위한 개념도,

도 7은 테이블 인터페이스와 모바일 인터페이스의 시간적 동기화를 통해 공동 공간을 생성하는 것을 설명하기 위한 개념도,

도 8a 및 도 8b는 테이블 인터페이스의 일례를 나타낸 사진,

도 9는 사용자가 모바일 장치를 사용하여 테이블 주위에서 테이블을 바라보는 사진,

도 10a 내지 도 10e는 모바일 인터페이스의 일례를 나타낸 사진,

<도면의 주요부분에 대한 부호의 설명>

10 - 입력 모듈 20 - 장면 구성 모듈

30, 230 - 뷰어 모듈 40, 240 - 네트워크 모듈

100 - 테이블 인터페이스 200 - 모바일 인터페이스

210 - 추적 모듈 220 - 정합 모듈

Claims

테이블 위에 투영된 영상의 특정 컨텐츠를 터치하거나 상기 특정 컨텐츠 상에 올려놓은 객체를 통해 사용자와 상호작용하도록 하는 협업 공간을 제공하는 테이블 인터페이스; 및

상기 객체를 인식하고 추적하여 상기 투영된 영상에 3차원 컨텐츠를 증강시키는 개인 공간을 제공하는 모바일 인터페이스

를 포함하는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제1항에 있어서, 상기 테이블 인터페이스는

상기 사용자의 입력을 받기 위한 입력 모듈과, 상기 입력 모듈로부터 전송된 데이터로 장면을 구성하는 장면 구성 모듈과, 상기 장면 구성 모듈을 통해 구성된 장면을 디스플레이하는 뷰어 모듈, 및 상기 모바일 인터페이스와의 연결을 위한 네트워크 모듈을 포함하는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제2항에 있어서,

상기 입력 모듈은 상기 사용자의 터치를 인식하는 터치 프레임인 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제2항에 있어서,

상기 입력 모듈은 상기 객체를 인식하는 카메라인 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제1항에 있어서, 상기 모바일 인터페이스는

상기 객체를 인식하고 추적하는 추적 모듈과, 상기 테이블 인터페이스와의 연결을 위한 네트워크 모듈과, 상기 추적 모듈로부터 전송된 영상에 3차원 컨텐츠를 증강하는 정합 모듈, 및 상기 정합 모듈을 통해 증강된 영상을 디스플레이하는 뷰어 모듈을 포함하는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제5항에 있어서,

상기 추적 모듈은 카메라를 포함하는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제5항에 있어서,

상기 모바일 인터페이스는 상기 3차원 컨텐츠와의 상호 작용을 위한 입력 모듈을 더 구비하는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제7항에 있어서,

상기 입력 모듈은 터치 패널을 포함하는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제1항에 있어서,

상기 객체는 상기 테이블 인터페이스와 상기 모바일 인터페이스에서 동일한 좌표값을 갖는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
제 1 항에 있어서,

상기 테이블 인터페이스와 상기 모바일 인터페이스는 네트워킹을 통해 상기 객체의 좌표 데이터를 교환 전송하며, 상기 전송은 시간적으로 동기화되어 수행되는 것을 특징으로 하는 개인화 및 협업을 위한 테이블탑-모바일 증강현실 시스템.
(a) 테이블 인터페이스 위에 객체를 놓는 단계;

(b) 모바일 인터페이스에 장착된 카메라를 통해 상기 객체를 인식하고 추적하는 단계;

(c) 상기 카메라를 통해 획득한 영상에 3차원 컨텐츠를 증강하는 단계;

(d) 상기 3차원 컨텐츠를 선택 또는 조작함으로써 상호작용을 수행하는 단계

를 포함하는 것을 특징으로 하는 증강현실을 이용한 상호작용방법.
제11항에 있어서,

상기 테이블 인터페이스 상의 객체를 조작하는 단계를 더 포함하는 것을 특징으로 하는 증강현실을 이용한 상호작용방법.