KR101496761B1

KR101496761B1 - 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템 및 그 방법

Info

Publication number: KR101496761B1
Application number: KR20140110716A
Authority: KR
Inventors: 한탁돈; 서종훈; 심진욱; 박제희; 채승호; 김동철
Original assignee: 연세대학교 산학협력단
Priority date: 2014-08-25
Filing date: 2014-08-25
Publication date: 2015-02-27

Abstract

본 발명은 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템에 관한 것이다. 본 발명은, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하고, 사용자가 직관적인 사용자 인터페이스를 통하여 투영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있도록 하는, 프로젝션 기반 휴대용 3차원 모델 제어 시스템을 제공한다.

Description

다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템 및 그 방법{3D Model Control System and Method Based on multi-screen Projection}

본 발명은 증강현실을 이용한 3차원 모델 제어 시스템에 관한 것이다.

증강현실은 신호처리를 통하여 생성된 정보를 현실에 표시하고 이를 사용자가 컨트롤할 수 있게 함으로써 사용자가 원하는 정보를 취득할 수 있도록 하는 기술이다. 이러한 증강현실 기술은 방송, 제조공정처리, 건축설계, 게임 및 모바일 솔루션 분야에서 다양한 형태로 개발되어 활용되고 있다.

예를 들면 증강현실 기술은 실제의 2차원 또는 3차원 지도에 현재 교통 정보나 사용자가 위치하고 있는 장소 주변의 생활 정보들을 표시하는 방식으로 상용화되고 있다.

건설이나 제품 제조 공정에서 많이 사용되고 있는 3차원 모델 기술은, 현실에서 건축하려고 하는 구조물이나 제조하려고 하는 제품의 설계를 컴퓨터를 이용하여 3차원으로 진행하고, 설계에 따른 구조물 또는 제품을 3차원으로 다양한 계층과 관점에서 확인하고, 설계를 수정할 수 있도록 하는 기술이다. 이와 같은 3차원 모델 기술을 통해 사용자는 2차원의 설계도면 만을 이용하여 설계 작업을 하는 것과 비교하였을 때, 보다 효율적이고 편리한 방식으로 설계 작업을 할 수 있다.

기존의 3차원 모델 기술은 주로 사용자가 컴퓨터에서 동작하는 전문 설계 프로그램을 통하여 키보드나 마우스 또는 펜을 사용하여 3차원 모델을 설계하고, 모니터 화면을 통하여 설계 결과물인 3차원 모델을 확인하는 방식으로 이루어졌다. 그 결과 기존의 3차원 모델 기술에는, 전문 설계 프로그램에 대한 지식을 가지지 못하고 있는 일반인이 설계물을 확인하고 및 수정하는 작업을 하기 어렵고, 또한 작업 현장에서 실시간으로 설계물을 확인하여 작업하거나, 다수의 작업 관련자들이 동시에 설계물을 확인하면서 작업을 진행하기 어렵다는 문제점이 있다.

본 발명이 이루고자 하는 과제는, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하고, 사용자가 직관적인 사용자 인터페이스를 통하여 투영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있는, 다면 스크린 프로젝션 기반 3차원 모델 제어 시스템 및 그 방법을 제공하는데 있다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 특정 패턴을 가지는 인식표인 마커; 영상을 투영하고자 하는 영상투영면에 위치된 상기 마커를 촬영하는 카메라부; 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성하는 제어명령처리부; 및 상기 카메라부에서 촬영된 상기 마커를 인식하고, 상기 제어명령처리부에서 생성된 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 영상처리부를 포함할 수 있다.

여기서 휴대용 프로젝션 기반 모델 제어 시스템은 상기 영상처리부에서 생성된 영상을 상기 영상투영면에 투영하는 영상투영부를 더 포함하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 카메라부는 사용자가 상기 영상투영면을 터치 하는 동작이나 손 또는 손가락의 동작을 촬영하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 모델제어명령은 상기 모델을 2차원 또는 3차원으로 회전하는 명령 또는 상기 모델의 크기를 스케일링하는 명령 또는 상기 모델의 구성 요소 중 일부를 선택하는 명령 또는 상기 모델을 수정하는 명령을 포함하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 휴대용 프로젝션 기반 모델 제어 시스템은 사용자의 손 또는 손가락의 동작을 인식하는 센서부를 더 포함하고, 여기서 상기 제어명령처리부는 상기 센서부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 휴대용 프로젝션 기반 모델 제어 시스템은 사용자가 상기 모델을 제어하기 위한 명령을 입력하는 입력단말기부를 더 포함하고, 여기서 상기 제어명령처리부는 상기 입력단말기부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 제어명령처리부는 상기 카메라부에서 촬영된 사용자의 동작을 인식하여 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 영상처리부는, 상기 영상투영면에 위치된 상기 마커를 검출하여 인식하는 마커인식부; 상기 제어명령처리부에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리부; 및 상기 모델처리부에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 상기 마커인식부에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성부를 포함할 수 있다.

일 실시예에 있어서, 상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 제어 동작을 수행하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성부는 상기 마커인식부에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 영상투영부의 좌표를 산출하고, 상기 영상투영면의 좌표와 상기 영상투영부의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 영상투영부는 일정한 패턴의 켈리브레이션 영상을 상기 영상투영면에 투영하고, 상기 카메라부는 상기 영상투영면에 투영된 상기 켈리브레이션 영상을 촬영하고, 상기 투영영상생성부는 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 영상투영부와 상기 카메라부 간의 사전 좌표 보정 작업을 하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성부는 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 영상투영부의 좌표를 산출하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 마커는, 상기 모델을 특정하고, 영상을 투영하고자 하는 제1영상투영면에 표시될 제1영상을 생성하기 위하여 상기 제1영상투영면에 위치되어 사용되는 제1마커; 및 영상을 투영하고자 하는 제2영상투영면에 표시될 제2영상을 생성하기 위하여 상기 제2영상투영면에 위치되어 사용되는 제2마커를 포함하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 마커인식부는, 상기 제1마커를 일정한 주기로 반복하여 인식하고, 상기 제2마커를 적어도 한번 인식하는 것을 특징으로 하고, 상기 투영영상생성부는, 상기 제1영상투영면에 대하여는 일정한 주기로 반복하여 제1공간변환행렬을 새롭게 생성하여 상기 제1영상투영면에 투영할 상기 모델의 제1투영영상을 생성하고, 상기 제2영상투영면에 대하여는 적어도 한번 제2공간변환행렬을 생성하여, 상기 생성된 제2공간변환행렬을 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 제어명령처리부는 상기 카메라부에서 촬영된 상기 제1마커가 상기 제1영상투영면에서 회전하는 경우 상기 모델을 상기 제1마커의 회전에 따라 회전시키는 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법은 영상을 투영하고자 하는 영상투영면에 위치된 특정한 패턴을 가지는 인식표인 마커를 카메라를 이용하여 촬영하고 상기 마커를 인식하는 마커인식 단계; 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력하는 제어명령입력 단계; 상기 제어명령입력 단계에서 입력된 명령에 따라 미리 정해진 모델제어명령을 생성하는 제어명령처리 단계; 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리 단계; 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성 단계; 및 프로젝터를 이용하여 상기 모델의 투영영상을 상기 영상투영면에 투영하는 영상투영 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 모델처리 단계는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 동작을 수행하고, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 모델처리 단계에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐트와 상기 마커인식 단계에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 마커인식 단계에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 프로젝터 공간의 좌표를 산출하고, 상기 영상투영면의 좌표와 상기 프로젝터 공간의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 프로젝터로 상기 영상투영면에 일정한 패턴의 켈리브레이션 영상을 투영하고, 상기 카메라로 상기 투영된 켈리브레이션 영상을 촬영하고, 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 프로젝터와 상기 카메라 간의 사전 좌표 보정 작업을 하고, 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 프로젝터 공간의 좌표를 산출하는 것을 특징으로 할 수 있다.

본 발명에 의하면, 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템에 있어서, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하고, 사용자가 직관적인 사용자 인터페이스를 통하여 투영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있는 효과가 있다.

도1은 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 블록도이다.
도2는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 동작을 설명하는 참고도이다.
도3은 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 영상처리부의 동작을 설명하기 위한 참고도이다.
도4는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 영상처리부가 마커를 이용하여 영상투영면에 투영할 모델의 영상을 생성하는 동작을 설명하기 위한 참고도이다.
도5는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 영상처리부가 마커를 이용하여 영상투영면에 투영할 모델의 영상을 생성하는 동작을 설명하기 위한 참고도이다.
도6은 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 제어명령부의 모델제어명령에 따라 영상처리부가 모델을 제어하는 동작을 설명하기 위한 참고도이다.
도7은 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템 중 제어명령부의 모델제어명령에 따라 영상처리부가 모델의 정보를 수정하는 동작을 설명하기 위한 참고도이다.
도8은 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법의 흐름도이다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도1은 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 블록도이다.

본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 마커(100), 카메라부(200), 제어명령처리부(300), 영상처리부(400), 영상투영부(500), 센서부(600), 입력단말기부(700)를 포함할 수 있다. 이상의 실시예는 최적의 실시예이고, 센서부(600)와 입력단말기부(700)는 필요에 따라 생략될 수 있고, 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 마커(100), 카메라부(200), 제어명령처리부(300), 영상처리부(400), 영상투영부(500)를 포함할 수 있다. 이하에서는 상기 최적의 실시예에 대하여 상술한다.

마커(100)는 특정 패턴을 가지는 인식표이다.

여기서 마커(100)는 사각형의 격자무늬에 일부는 검정색으로 나머지는 흰색으로 채워진 패턴을 가지는 마커가 될 수 있다. 여기서 마커(100)는 서로 다른 두 가지 이상의 색 또는 서로 구별되는 밝기를 가지는 격자무늬 패턴을 가질 수 있다. 여기서 마커(100)는 격자무늬 이외에도 일정한 면을 가지고, 면 상에서 상호 구별이 가능한 색 또는 밝기를 가지는 특정한 패턴을 가지는 다양한 종류의 마커가 사용될 수 있다.

여기서 마커(100)는 영상을 투영하고자 하는 영상투영면에 위치되는 것이 바람직하고, 필요에 따라 지속적으로 상기 영상투영면에 위치하거나, 또는 일정 시간 동안 위치한 이후 제거될 수 있다.

카메라부(200)는 영상을 투영하고자 하는 상기 영상투영면에 위치된 마커(100)를 촬영한다.

여기서 상기 영상투영면은 사용자가 영상투영부(500)를 통하여 영상을 투영할 면을 의미하며, 이는 준비된 프로젝터 용 스크린이 될 수도 있고, 수직으로 되어 있는 임의의 벽면이나 종이면, 수평으로 되어 있는 바닥면이나 종이 면이나 책상 면 등, 영상을 투영하여 볼 수 있는 임의의 모든 면이 될 수 있다. 그리고 상기 영상투영면은 평면이 될 수 있고 곡면이 될 수도 있다.

여기서 영상투영면은 2개 이상의 분리되어 있거나 각이 져서 구분이 가능한 다수의 면 또는 구부러진 형태의 하나의 면이 될 수 있다. 이와 같이 영상투영면이 다수의 면이 되는 경우, 다수의 마커(100)를 각 면에 위치시키고, 영상처리부(400)에서 마커(100)들의 정보를 이용하여 각 면에 투영될 영상을 각각 변환작업을 통하여 생성하도록 할 수 있다. 이에 대하여는 이하 영상처리부(400)를 설명하는 부분에서 상세히 설명한다.

여기서 카메라부(200)는 사용자가 상기 영상투영면을 터치하는 동작이나 손 또는 손가락의 동작을 촬영할 수 있다. 여기서 사용자는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템을 이용함에 있어서, 상기 영상투영면을 터치하거나 손 또는 손가락의 동작으로 모델을 제어할 수 있는데, 사용자가 상기 영상투영면을 터치하는 동작을 카메라부(200)가 촬영하여 그 동작을 시스템에 입력할 수 있다. 이에 관하여는 아래에서 제어명령처리부(300)를 설명하면서 보다 상세히 설명한다.

본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 이상과 같이 미리 고정되어 있는 면이 아닌 임의의 모든 면을 상기 영상투영면으로 사용함으로써, 사용자가 휴대하면서 원하는 작업환경에서 이용할 수 있는 모델 제어 시스템을 제공할 수 있다. 또한 예를 들어 사용자는 작업현장에 위치하는 임의의 두 면을 상기 영상투영면으로 선택하고 상기 영상투영면을 통하여 모델을 제어하는 동작을 수행하고 그 결과를 실시간으로 확인할 수 있다. 바람직하게는 사용자가 상기 영상투영면으로 선택하는 두 면은 벽면과 벽면에 수직으로 위치하는 바닥면 또는 책상면이 될 수 있다.

또한 여기서 카메라부(200)는 영상투영부(500)와 결착이 되어 영상투영부(500)가 이동함에 따라 같은 방향을 바라보고 영상투영부(500)가 투영하는 영상을 촬영할 수 있도록 하는 것이 바람직하다. 그리고 이와 같은 결착을 통하여 이하에서 상술할 바와 같이 카메라부(200)와 영상투영부(500) 간의 사전 좌표 보정(켈리브레이션) 작업을 보다 효율적으로 진행할 수 있다.

제어명령처리부(300)는 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성한다.

여기서 상기 모델은 3차원의 모델이 될 수도 있고 2차원의 모델이 될 수도 있다. 그리고 여기서 모델은 건축 설계 모델이 될 수도 있고, 제품 설계 모델이 될 수도 있고, 일정한 구조와 형태를 가지는 다양한 종류의 모델이 될 수 있다. 예를 들어 건축 설계 모델인 경우 상기 모델은, 3차원의 건축물 정보와, 건축물을 구성하는 벽, 기둥, 층계 등 각 구성요소에 관한 정보 즉 예를 들면 벽면의 넓이나 기둥의 높이 등의 정보와, 평면도 등을 포함하는 건축물의 도면 정보와, 건축물 내에 위치된 각종 가구와 소품에 관한 정보 즉 예를 들면 가구의 위치와 가구의 부피 정보 등을 포함하는 건축 설계 모델이 될 수 있다.

여기서 상기 모델제어명령은 상기 모델을 제어하기 위하여 미리 약속하는 제어명령으로 사용자가 원하는 바에 따라 다양한 종류의 명령을 정의할 수 있다. 예를 들어 상기 모델제어명령은 모델을 2차원 또는 3차원으로 회전하는 명령, 모델의 크기를 스케일링하는 명령이 될 수 있다. 또한 예를 들어 상기 모델제어명령은 모델의 구성 요소 또는 구성 개체를 선택하거나 모델의 특정 레이어를 선택하는 명령, 모델의 도면을 선택하고 그에 관한 정보를 표시하는 명령이 될 수 있다. 또한 예를 들어 상기 모델제어명령은 상기 선택된 모델의 구성 개체, 레이어, 도면에 관한 정보를 수정하는 명령 또는 상기 모델의 구조 정보를 수정하고 처리하는 명령이 될 수 있다.

예를 들어 상기 모델제어명령은 건축물에 관한 3차원 모델을 사용자가 여러 방향에서 볼 수 있도록 3차원으로 회전하는 명령이 될 수 있다.

또한 예를 들어 건축물 설계 모델을 다루는 사용자는 3차원의 설계 모델을 필요에 따라 확대하거나 축소하여 볼 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델을 사용자가 원하는 비율로 확대하거나 축소하는 명령이 될 수 있다.

또한 예를 들어 건축물 설계 모델을 다루는 사용자는 건축 공정 중 설계 모델의 특정 도면 정보에 접근할 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델의 특정 도면을 선택하여 해당 도면을 표시하고 또한 해당 도면의 구성에 대한 정보를 표시하는 명령이 될 수 있다.

또한 예를 들어 사용자는 설계 모델을 수정할 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델의 구성 요소 중 일부를 선택하여 이동시키거나 그 내용을 수정하거나 또는 상기 모델에 구성 요소를 추가하거나 삭제하는 등의 수정 명령이 될 수 있다.

여기서 제어명령처리부(300)는 카메라부(200)에서 촬영된 사용자의 동작을 인식하여 상기 모델제어명령을 생성할 수 있다. 여기서 카메라부(200)는 사용자가 상기 영상투영면을 터치하는 동작을 촬영하고, 제어명령처리부(300)는 위와 같이 촬영된 사용자의 움직임 정보를 해석하여 상기 모델에 대하여 미리 약속된 모델제어명령을 생성할 수 있다. 예를 들어 사용자가 상기 영상투영면에 표시된 상기 모델의 영상에서 상기 모델의 일부분을 손가락이나 펜으로 터치하는 경우, 카메라부(200)는 그러한 사용자의 움직임을 촬영하고, 제어명령처리부(300)는 위와 같이 촬영된 사용자의 터치 동작을 해석하여, 터치된 상기 모델의 일부분을 선택하는 동작을 수행하는 모델제어명령을 생성할 수 있다. 그리고 이어서 사용자가 펜이나 손가락을 이용하여 상기 선택된 일부분을 수정하는 동작을 행하는 경우, 제어명령처리부(300)는 그에 따라 상기 선택된 모델의 일부분을 수정하는 동작을 수행하는 모델제어명령을 생성할 수 있다.

영상처리부(400)는 카메라부(200)에서 촬영된 마커(100)를 인식하고, 제어명령처리부(300)에서 생성된 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커(100)의 정보를 이용하여 영상투영부(500)가 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성한다. 영상처리부(400)는 이하에서 영상처리부(400)에 대한 도면과 함께 보다 상세히 설명한다.

영상투영부(500)는 영상처리부(400)에서 생성된 영상을 상기 영상투영면에 투영한다. 여기서 영상투영부(500)는 면에 빛을 이용하여 영상을 투영하는 빔 프로젝터가 될 수 있다.

여기서 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 영상처리부(400)에서 마커(100)를 이용한 공간 좌표 변환 연산을 수행하여 상기 모델에 대한 영상을 생성하고, 하나의 프로젝터만을 구비한 영상투영부(500)를 이용하여 위 영상을 적어도 두개의 상기 영상투영면에 한 번에 투영함으로써, 서로 구별되고 각자 표시 내용을 조절할 수 있는 모델에 관한 적어도 두개의 영상을 상기 영상투영면에 각각 표시할 수 있다.

센서부(600)는 사용자의 손 또는 손가락의 동작 등 사용자의 다양한 움직임을 인식할 수 있다.

여기서 센서부(600)가 동작할 경우, 제어명령처리부(300)는 센서부(600)로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성할 수 있다.

여기서 사용자가 양 손이나 한 손 또는 손가락을 이용하여 미리 약속된 움직임을 하는 경우, 센서부(600)는 이와 같은 사용자의 움직임을 인식하고 그 움직임을 해석하여 사용자의 움직임 정보를 제어명령처리부(300)에 전달하고, 제어명령처리부(300)는 센서부(600)로부터 입력받은 사용자의 움직임 정보를 다시 해석하여 미리 약속된 움직임에 해당하는 상기 모델에 대한 모델제어명령을 생성할 수 있다.

예를 들어 사용자가 양 손을 들어 공중에서 회전시키는 동작을 하는 경우 모델을 회전시키기로 미리 약속하였다면, 센서부(600)는 사용자의 양 손이 회전하는 움직임을 인식하여 이를 제어명령처리부(300)에 전달하고, 제어명령처리부(300)는 이러한 사용자의 움직임에 따라 상기 모델을 회전시키는 내용에 해당하는 상기 모델제어명령을 생성하여 영상처리부(400)에 보낼 수 있다.

입력단말기부(700)는 사용자가 상기 모델을 제어하기 위한 명령을 입력하는 장치이다.

여기서 입력단말기부(700)가 사용되는 경우, 제어명령처리부(300)는 입력단말기부(700)로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성할 수 있다.

여기서 입력단말기부(700)는 센서를 이용하여 위치를 인식하고 디지털로 문서화가 가능한 펜이나, 화면 디스플레이와 화면 터치가 가능한 휴대폰이나 테블릿이 될 수 있다. 예를 들어 사용자가 휴대폰이나 테블릿에 표시된 상기 모델에 대한 영상을 손가락이나 터치펜을 이용하여 회전시키는 화면 터치 동작을 수행하는 경우, 제어명령처리부(300)는 휴대폰이나 테블릿으로부터 위와 같은 사용자의 입력 정보를 전달받아, 이를 해석하여 모델 회전에 해당하는 상기 모델제어명령을 생성할 수 있다. 또한 예를 들어 사용자가 위치 인식 가능한 디지털 펜을 이용하여, 상기 영상투영면에 표시된 모델의 구성 객체를 이동시키는 동작을 수행하는 경우, 제어명령처리부(300)는 상기 디지털 펜으로부터 정보를 전달받아 이를 해석하여 모델 이동에 해당하는 상기 모델제어명령을 생성할 수 있다.

이하에서는 영상처리부(400)의 동작에 대하여 보다 상세히 설명한다.

도1에서와 같이 영상처리부(400)는 마커인식부(410), 모델처리부(420), 투영영상생성부(430)을 포함할 수 있다.

마커인식부(410)는 상기 영상투영면에 위치된 마커(100)를 검출하여 인식한다. 여기서 마커인식부(410)는 카메라부(200)가 촬영한 상기 영상투영면에 위치된 마커(100)의 영상을 입력받아, 상기 마커(100)의 영상으로부터 마커(100)를 검출할 수 있다.

모델처리부(420)는 제어명령처리부(300)에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리한다.

여기서 모델처리부(420)는 상술한 바와 같은 상기 모델제어명령의 내용에 따라 상기 모델을 제어할 수 있다. 예를 들면 모델처리부(420)는 상기 모델제어명령의 내용에 따라 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 제어 동작을 수행할 수 있다.

예를 들어 사용자는 상기 모델의 특정 평면 도면을 확인하고자 할 때에, 입력단말기부(700)를 통하여 상기 모델의 특정 층의 평면 도면을 선택할 수 있고, 제어명령처리부(300)는 그와 같은 내용의 상기 모델제어명령을 생성하고, 모델처리부(420)는 상기 모델제어명령에 따라 상기 모델의 특정 평면 도면을 선택할 수 있다. 또한 사용자가 상기 모델의 특정 평면 도면을 수정하고자 할 때에, 입력단말기부(700)를 통하여 상기 모델의 특정 평면 도면을 수정할 수 있고, 제어명령처리부(300)는 그와 같은 내용의 상기 모델제어명령을 생성하고, 모델처리부(420)는 상기 모델제어명령에 따라 상기 모델의 특정 평면 도면을 수정할 수 있다.

여기서 모델처리부(420)는 상술한 바와 같은 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리할 수 있다.

예를 들어 모델처리부(420)에서 처리하는 상기 모델에 관한 정보는 상기 모델이 3차원 건축 설계 모델인 경우, 설계 모델의 특정 층의 평면도 정보가 될 수 있고, 설계 모델의 벽면, 바닥면의 형태나 넓이나 길이와 같은 구조 정보가 될 수 있고, 설계 모델에 배치되어 있는 가구의 위치, 모양, 부피 등 구성 개체에 관한 정보가 될 수 있다. 여기서 모델처리부(420)는 이상과 같은 상기 모델에 관한 정보를 저장하고 선택하고 수정하고 획득하고 표시하는 등의 처리 작업을 할 수 있다.

투영영상생성부(430)는 모델처리부(420)에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 마커인식부(410)에서 인식된 마커(100)의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성할 수 있다.

여기서 투영영상생성부(430)는 마커인식부(410)에서 인식된 마커(100)의 모양과 크기 정보를 이용하여, 마커(100)가 위치된 상기 영상투영면의 좌표를 산출하고, 영상투영부(500)의 좌표를 산출하고, 상기 영상투영면의 좌표와 영상투영부(500)의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것이 바람직하다.

여기서 상기 공간변환행렬은 바람직하게는 Affine 변환을 수행하는 변환 행렬일 수 있다. 여기서 Affine 변환은 한 좌표공간을 다른 좌표공간으로 변환시키는 변환으로, 선형 변환과 평행 이동 변환의 합으로 이루어진다.

예를 들어 이와 같은 Affine 변환은 하기 수학식 1과 같은 각 좌표 공간 간의 변환 연산을 통해 수행될 수 있다.

(여기서 X는 Affine 변환의 대상이 되는 공간의 좌표이고, Y는 Affine 변환된 공간의 좌표이고, L은 선형 변환 행렬이고, P는 평행이동 변환 벡터이다)

투영영상생성부(430)가 이상과 같이 공간변환행렬을 적용한 모델의 변환 작업을 수행함으로써, 상기 영상투영면의 기울기나 위치에 따라 적합하게 조정된 상기 모델의 영상이 생성되며, 영상투영부(500)가 위와 같이 변환을 통해 조정된 영상을 투영하여, 사용자가 상기 모델의 영상을 볼 수 있다.

여기서 투영영상생성부(430)는 사전에 다음과 같은 과정을 거쳐 사전에 영상투영부(500)와 카메라부(200) 간의 좌표 보정 작업을 수행할 수 있다.

먼저 영상투영부(500)는 일정한 패턴의 켈리브레이션 영상을 상기 영상투영면에 투영하고, 다음으로 카메라부(200)는 상기 영상투영면에 투영된 상기 켈리브레이션 영상을 촬영하고, 다음으로 투영영상생성부(430)는 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 영상투영부(500)와 카메라부(200) 간의 사전 좌표 보정 작업을 할 수 있다.

여기서 투영영상생성부(430)는 위와 같은 상기 사전 좌표 보정 작업에서 얻어진 정보를 이용하여 영상투영부(500)의 좌표를 산출할 수 있다.

여기서 상기 켈리브레이션 영상은 격자무늬로 하는 것이 바람직하다. 영상투영부(500)가 투영한 상기 켈리브레이션 영상이 상기 영상투영면에 투영된 결과를 이용하여 영상투영부(500)와 카메라부(200) 간의 좌표 정보가 획득될 수 있고, 그에 따라 사전 좌표 보정 작업이 이루어질 수 있다. 그리고 이러한 사전 좌표 보정 작업 정보를 이용하여 영상투영부(500)의 좌표를 산출할 수 있다.

도2 내지 도5는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 일 실시예로, 상기 영상투영면을 2개의 면으로 하고, 2개의 마커(100)를 이용하여 구현한 2면 프로젝션 기반 모델 제어 시스템의 동작을 설명하기 위한 참고도들이다.

여기서 마커(100)는 상기 모델을 특정하고, 영상을 투영하고자 하는 제1영상투영면에 표시될 제1영상을 생성하기 위하여 상기 제1영상투영면에 위치되어 사용되는 제1마커와, 영상을 투영하고자 하는 제2영상투영면에 표시될 제2영상을 생성하기 위하여 상기 제2영상투영면에 위치되어 사용되는 제2마커를 포함할 수 있다.

여기서 마커인식부(410)는 상기 제1마커를 일정한 주기로 반복하여 인식하고, 상기 제2마커를 적어도 1회 인식하고, 투영영상생성부(430)는, 상기 제1영상투영면에 대하여는 일정한 주기로 반복하여 제1공간변환행렬을 새롭게 생성하여 상기 제1영상투영면에 투영할 상기 모델의 제1투영영상을 생성하고, 상기 제2영상투영면에 대하여는 적어도 1회 제2공간변환행렬을 생성하여, 상기 생성된 제2공간변환행렬을 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성할 수 있다. 여기서 마커인식부(410)는 상기 제2마커를 1회 인식하고, 투영영상생성부(430)는 상기 제2영상투영면에 대하여 1회 제2공간변환행렬을 생성하여 상기 생성된 제2공간변환행렬을 계속 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성할 수도 있다.

도2는 위와 같이 제1마커와 제2마커를 이용하는 2면 프로젝션 기반 모델 제어 시스템의 동작을 설명하는 참고도이다. 도2를 참고하면 카메라부(200)와 결착이 되어 있는 영상투영부(500)가 수평의 바닥면인 제1영상투영면(a100)과 수직의 벽면인 제2영상투영면(a200)에 제1영상(a110)와 제2영상(a210)을 각각 투영하고, 여기서 제1마커(a120)는 제1영상투영면(a100) 상에 위치하고 있다.

본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 이와 같이 임의의 면을 사용자가 선택하여 상기 영상투영면으로 정하고, 상기 정해진 영상투영면에 상기 모델의 투영영상을 투영할 수 있다. 즉 상기 영상투영면은 미리 고정된 면이 아닌 사용자가 정하는 임의의 면이 될 수 있고, 하나 이상의 복수의 면이 될 수 있다. 이와 같이 임의의 복수의 면을 상기 영상투영면으로 하는 휴대용 모델 제어 시스템을 구현하기 위하여, 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 상술한 바와 같이, 마커(100)를 사용자가 정하는 상기 영상투영면에 위치시키고, 카메라부(200)를 이용하여 마커(100)를 촬영하고, 영상처리부(400)를 통하여 마커(100)가 위치한 상기 영상투영면의 위치 정보를 파악하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성할 수 있다. 예를 들어 2면 프로젝션 기반 모델 제어 시스템은 위와 같이 2개의 마커(100)와 2개의 영상투영면을 이용하여 구현될 수 있다.

도3은 위와 같은 2면 프로젝션 기반 모델 제어 시스템에서, 투영영상생성부(430)가 아직 상기 공간변환행렬을 통한 변환 작업을 수행하기 이전에, 영상투영부(500)가 투영한 백지 영상을 나타내는 참고도이다. 도3을 참고하면, 상기 공간변환행렬을 통한 변환 작업을 수행하기 이전에는 제1영상투영면(a100)과 제2영상투영면(a200)의 공간적 배치에 따라 투영되는 제1영상(a110)과 제2영상(a210)이 찌그러져 표시되기 때문에 상기 공간변환행렬을 통한 변환 작업이 수행될 필요가 있다. 여기서 제1마커(a120)는 제1영상투영면(a100) 상에 위치하고 있다.

도4를 참고하면 투영영상생성부(430)가 상기 공간변환행렬을 통한 변환 작업을 수행한 이후 제1영상투영면(a100)과 제2영상투영면(a200)에 투영한 백지 영상인 제1영상(a110)과 제2영상(a210)이 사각형으로 정규화되어 표시되고 있다. 여기서 수평면인 제1영상투영면(a100)에 위치하고 있는 마커(100)(Ph0, Ph1, Ph2, Ph3을 이은 점에 해당하는 부분)가 제1마커(a120)이고, 수직면인 제2영상투영면(a200)에 위치하고 있는 마커(100)(Pv0, Pv1, Pv2, Pv3을 이은 점에 해당하는 부분)가 제2마커(a220)이다.

도5를 참고하면, 백지 영상 대신 상기 모델 영상 컨텐츠를 적용하였을 때, 투영영상생성부(430)가 생성한 상기 모델의 제1투영영상과 제2투영영상을 각각 제1영상투영면(a100)과 제2영상투영면(a200)에 투영한 결과, 제1영상(a110)과 제2영상(210)이 표시되고 있다. 여기서 제1마커(a120)는 제1영상투영면(a100) 상에 위치하고 있다.

여기서 제어명령처리부(300)는 카메라부(200)에서 촬영된 상기 제1마커가 상기 제1영상투영면 상에서 회전하는 경우, 상기 모델을 상기 제1마커의 회전에 따라 회전시키는 상기 모델제어명령을 생성할 수 있다.

여기서 상기 제1영상투영면은 주로 상기 모델의 평면도와 모델에 대한 정보를 표시하면서, 사용자가 터치하여 상기 모델의 제어에 관한 명령을 입력하는 역할을 하는 면이 될 수 있다. 따라서 제1영상투영면에 위치한 상기 제1마커가 회전하거나 이동함에 따라 상기 모델이 회전하거나 이동하는 동작이 구현되는 것이 바람직하다. 따라서 상기 제1마커는 상기 제1영상투영면에 계속 위치하는 것이 바람직하고, 상기 제1마커의 움직임을 인식하기 위하여 마커인식부(410)는 상기 제1마커를 일정한 주기로 반복하여 인식하고, 투영영상생성부(430)는 상기 제1마커의 움직임에 따라 상기 제1공간변환행렬을 새롭게 생성하여, 상기 제1영상투영면에 투영될 상기 모델의 투영영상을 새롭게 생성하는 것이 바람직하다. 여기서 일정한 주기로 상기 제1마커를 인식하고 상기 제1공간변환행렬을 생성하고 상기 모델의 투영영상을 생성하는 동작은 매 프레임 단위로 수행될 수 있다.

그리고 상기 제2영상투영면은 주로 상기 모델의 구조도와 모델에 대한 정보를 표시하는 역할을 하는 면이 될 수 있다. 따라서 상기 제2영상투영면에 대하여는 동작 중에 사용자가 그 위치를 변동하지 않기 때문에, 상기 제2마커를 처음에 제2영상투영면 상에 위치시켜 제2영상투영면에 대한 상기 제2공간변환행렬을 계산한 이후 계속적으로 동일한 제2공간변환행렬을 적용하여 상기 모델의 제2투영영상을 생성하는 것이 바람직하다. 여기서 상기 제2마커는 처음 상기 제2공간변환행렬을 계산할 때만 제2영상투영면 상에 위치시킨 이후 이동될 수 있다.

도6는 센서부(600)가 인식한 사용자의 동작에 따라, 제어명령부(300)가 생성한 모델제어명령에 따라, 영상처리부(400)가 모델을 제어하는 동작을 설명하기 위한 참고도이다. 도6을 참고하면 (a)는 사용자가 손(a300)을 이용하여 제2영상(a210)에 표시된 모델을 회전하는 것을 나타내고, (b)는 사용자가 손(a300)을 이용하여 제2영상(a210)에 표시된 모델을 스케일링 하는 것을 나타내고, (c)는 사용자가 손가락(a400)을 이용하여 제2영상(a210)에 표시된 모델을 스케일링 하는 것을 나타내고, 여기서 제2영상(a210)과 함께 아래 쪽에 제1영상(110)이 표시되고 있다.

도7은 카메라부(200)가 촬영한 사용자의 터치 동작이나 센서부(600) 인식한 사용자의 손 또는 손가락의 움직임이나, 입력단말부(700)를 이용한 사용자의 정보 입력에 따라, 제어명령부(300)가 모델제어명령을 생성하고, 상기 생성된 모델제어명령에 따라 영상처리부(400)가 모델의 정보를 수정하는 동작을 설명하기 위한 참고도이다. 도7을 참고하면, 사용자는 입력단말부(700)인 펜을 이용하여 제1영상(a110)을 터치하여 제2영상(a210)에 표시된 모델의 특정 구성 개체를 선택하고, 해당 구성 개체에 대한 정보를 수정하는 작업을 수행하고 있다. 여기서 도7의 (a)는 사용자가 선택한 개체를 이동하는 동작을 나타내고 있고, 도7의 (b)는 사용자가 특정 개체를 도면에 추가하는 수정 동작을 나타내고 있다.

도8은 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법의 흐름도이다.

본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 방법은 마커인식 단계(S100), 제어명령입력 단계(S200), 제어명령처리 단계(S300), 모델처리 단계(S400), 투영영상생성 단계(S500), 영상투영 단계(S600)를 포함할 수 있다. 상기 각 단계의 동작은 상술한 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 동작 방법대로 동작할 수 있다. 따라서 이하에서는 상술한 설명과 중복되는 부분은 생략하고 설명한다.

마커인식 단계(S100)는 영상을 투영하고자 하는 영상투영면에 위치된 특정한 패턴을 가지는 인식표인 마커를 카메라를 이용하여 촬영하고 상기 마커를 인식한다.

제어명령입력 단계(S200)는 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력한다.

제어명령처리 단계(S300)는 제어명령입력 단계(S200)에서 입력된 명령에 따라 미리 정해진 모델제어명령을 생성한다.

모델처리 단계(S400)는 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리한다.

여기서 모델처리 단계(S400)는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 동작을 수행하고, 상기 모델의 구조 정보 및 구성 개체 정보를 처리할 수 있다.

투영영상생성 단계(S500)는 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성한다.

영상투영 단계(S600)는 프로젝터를 이용하여 상기 모델의 투영영상을 상기 영상투영면에 투영한다.

여기서 투영영상생성 단계(S500)는 모델처리 단계(S400)에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐트와 마커인식 단계(S100)에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것이 바람직하다.

여기서 상기 투영영상생성 단계(S500)는 마커인식 단계(S100)에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 프로젝터 공간의 좌표를 산출하고, 상기 영상투영면의 좌표와 상기 프로젝터 공간의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성할 수 있다.

여기서 투영영상생성 단계(S500)는 상기 영상투영면에 상기 프로젝터를 이용하여 일정한 패턴의 켈리브레이션 영상을 투영한 후 상기 카메라를 이용하여 상기 투영된 영상을 촬영하고, 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 프로젝터와 상기 카메라 간의 사전 좌표 보정 작업을 하고, 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 프로젝터 공간의 좌표를 산출할 수 있다.

이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다.

또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 기록매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 기록매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.

또한, 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 상세한 설명에서 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위 내에서 다양한 수정, 변경 및 치환이 가능할 것이다. 따라서, 본 발명에 개시된 실시예 및 첨부된 도면들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예 및 첨부된 도면에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구 범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리 범위에 포함되는 것으로 해석되어야 할 것이다.

Claims

휴대용 프로젝션 기반 모델 제어 시스템에 있어서,
사용자가 지정하는 임의의 영상투영면에 위치하고 이동이 가능하고, 특정 패턴을 가지는 인식표인 마커;
상기 영상투영면에 위치된 상기 마커를 촬영하는 카메라부;
사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성하는 제어명령처리부; 및
상기 카메라부에서 촬영된 상기 마커를 인식하고, 상기 제어명령처리부에서 생성된 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 영상처리부를 포함하고,
상기 영상처리부는 상기 마커를 이용하여 상기 모델을 특정하고, 상기 인식된 마커의 모양과 크기를 이용하여, 상기 마커가 위치한 상기 영상투영면의 위치를 산출하고, 상기 산출된 상기 영상투영면의 위치 정보를 이용하여, 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항에 있어서,
상기 영상처리부에서 생성된 영상을 상기 영상투영면에 투영하는 영상투영부를 더 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 카메라부는 사용자가 상기 영상투영면을 터치하는 동작이나 손 또는 손가락의 동작을 촬영하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 모델제어명령은 상기 모델을 2차원 또는 3차원으로 회전하는 명령 또는 상기 모델의 크기를 스케일링하는 명령 또는 상기 모델의 구성 요소 중 일부를 선택하는 명령 또는 상기 모델을 수정하는 명령을 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항 또는 제2항 중 어느 하나의 항에 있어서,
사용자의 손 또는 손가락의 동작을 인식하는 센서부를 더 포함하고,
상기 제어명령처리부는 상기 센서부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항 또는 제2항 중 어느 하나의 항에 있어서,
사용자가 상기 모델을 제어하기 위한 명령을 입력하는 입력단말기부를 더 포함하고,
상기 제어명령처리부는 상기 입력단말기부로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 제어명령처리부는 상기 카메라부에서 촬영된 사용자의 동작을 인식하여 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제2항에 있어서, 상기 영상처리부는,
상기 영상투영면에 위치된 상기 마커를 검출하여 인식하는 마커인식부;
상기 제어명령처리부에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리부; 및
상기 모델처리부에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 상기 마커인식부에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성부를 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제8항에 있어서,
상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 제어 동작을 수행하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제8항에 있어서,
상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제8항에 있어서, 상기 투영영상생성부는,
상기 마커인식부에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고,
상기 영상투영부의 좌표를 산출하고,
상기 영상투영면의 좌표와 상기 영상투영부의 좌표 간의 공간변환행렬을 생성하고,
상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제11항에 있어서,
상기 영상투영부는 일정한 패턴의 켈리브레이션 영상을 상기 영상투영면에 투영하고,
상기 카메라부는 상기 영상투영면에 투영된 상기 켈리브레이션 영상을 촬영하고,
상기 투영영상생성부는 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 영상투영부와 상기 카메라부 간의 사전 좌표 보정 작업을 하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제12항에 있어서,
상기 투영영상생성부는 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 영상투영부의 좌표를 산출하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제11항 또는 제12항 중 어느 하나의 항에 있어서, 상기 마커는,
상기 모델을 특정하고, 영상을 투영하고자 하는 제1영상투영면에 표시될 제1영상을 생성하기 위하여 상기 제1영상투영면에 위치되어 사용되는 제1마커; 및
영상을 투영하고자 하는 제2영상투영면에 표시될 제2영상을 생성하기 위하여 상기 제2영상투영면에 위치되어 사용되는 제2마커를 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템
제14항에 있어서,
상기 마커인식부는, 상기 제1마커를 일정한 주기로 반복하여 인식하고, 상기 제2마커를 적어도 한번 인식하는 것을 특징으로 하고,
상기 투영영상생성부는, 상기 제1영상투영면에 대하여는 일정한 주기로 반복하여 제1공간변환행렬을 새롭게 생성하여 상기 제1영상투영면에 투영할 상기 모델의 제1투영영상을 생성하고, 상기 제2영상투영면에 대하여는 적어도 한번 제2공간변환행렬을 생성하여, 상기 생성된 제2공간변환행렬을 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제15항에 있어서,
상기 제어명령처리부는 상기 카메라부에서 촬영된 상기 제1마커가 상기 제1영상투영면에서 회전하는 경우 상기 모델을 상기 제1마커의 회전에 따라 회전시키는 상기 모델제어명령을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
휴대용 프로젝션 기반 모델 제어 방법에 있어서,
사용자가 지정하는 임의의 영상투영면에 위치하고 이동이 가능하고, 특정한 패턴을 가지는 인식표인 마커를 카메라를 이용하여 촬영하고 상기 마커를 인식하는 마커인식 단계;
사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력하는 제어명령입력 단계;
상기 제어명령입력 단계에서 입력된 명령에 따라 미리 정해진 모델제어명령을 생성하는 제어명령처리 단계;
상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리 단계;
상기 마커를 이용하여 상기 모델을 특정하고, 상기 인식된 마커의 모양과 크기를 이용하여, 상기 마커가 위치한 상기 영상투영면의 위치를 산출하고, 상기 산출된 상기 영상투영면의 위치 정보를 이용하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성 단계; 및
프로젝터를 이용하여 상기 모델의 투영영상을 상기 영상투영면에 투영하는 영상투영 단계를 포함하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.
제17항에 있어서,
상기 모델처리 단계는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 동작을 수행하고, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.
제17항에 있어서,
상기 투영영상생성 단계는 상기 모델처리 단계에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐트와 상기 마커인식 단계에서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.
제19항에 있어서, 상기 투영영상생성 단계는,
상기 마커인식 단계에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고,
상기 프로젝터 공간의 좌표를 산출하고,
상기 영상투영면의 좌표와 상기 프로젝터 공간의 좌표 간의 공간변환행렬을 생성하고,
상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.
제20항에 있어서,
상기 투영영상생성 단계는 상기 프로젝터로 상기 영상투영면에 일정한 패턴의 켈리브레이션 영상을 투영하고, 상기 카메라로 상기 투영된 켈리브레이션 영상을 촬영하고, 상기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 프로젝터와 상기 카메라 간의 사전 좌표 보정 작업을 하고, 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 프로젝터 공간의 좌표를 산출하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 방법.