KR20220014513A

KR20220014513A - 다면 스크린 프로젝션 기반 3차원 제어 시스템 및 그 방법

Info

Publication number: KR20220014513A
Application number: KR1020200094183A
Authority: KR
Inventors: 허창윤
Original assignee: 주식회사 포엔지
Priority date: 2020-07-29
Filing date: 2020-07-29
Publication date: 2022-02-07

Abstract

본 발명은 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템에 관한 것이다. 본 발명은, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하고, 사용자가 직관적인 사용자 인터페이스를 통하여 투영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있도록 하는, 프로젝션 기반 휴대용 3차원 모델 제어 시스템을 제공한다.

Description

다면 스크린 프로젝션 기반 3차원 제어 시스템 및 그 방법{3D Model Control System and Method Based on multi-screen Projection}

본 발명은 증강현실을 이용한 3차원 모델 제어 시스템에 관한 것이다.

증강현실은 신호처리를 통하여 생성된 정보를 현실에 표시하고 이를 사용자가 컨트롤할 수 있게 함으로써 사용자가 원하는 정보를 취득할 수 있도록 하는 기술이다. 이러한 증강현실 기술은 방송, 제조공정처리, 건 축설계, 게임 및 모바일 솔루션 분야에서 다양한 형태로 개발되어 활용되고 있다.

예를 들면 증강현실 기술은 실제의 2차원 또는 3차원 지도에 현재 교통 정보나 사용자가 위치하고 있는 장소 주변의 생활 정보들을 표시하는 방식으로 상용화되고 있다.

건설이나 제품 제조 공정에서 많이 사용되고 있는 3차원 모델 기술은, 현실에서 건축하려고 하는 구조물이나 제조하려고 하는 제품의 설계를 컴퓨터를 이용하여 3차원으로 진행하고, 설계에 따른 구조물 또는 제품 을 3차원으로 다양한 계층과 관점에서 확인하고, 설계를 수정할 수 있도록 하는 기술이다. 이와 같은 3차원 모 델 기술을 통해 사용자는 2차원의 설계도면 만을 이용하여 설계 작업을 하는 것과 비교하였을 때, 보다 효율적 이고 편리한 방식으로 설계 작업을 할 수 있다.

기존의 3차원 모델 기술은 주로 사용자가 컴퓨터에서 동작하는 전문 설계 프로그램을 통하여 키보드나 마우스 또는 펜을 사용하여 3차원 모델을 설계하고, 모니터 화면을 통하여 설계 결과물인 3차원 모델을 확인하 는 방식으로 이루어졌다. 그 결과 기존의 3차원 모델 기술에는, 전문 설계 프로그램에 대한 지식을 가지지 못하 고 있는 일반인이 설계물을 확인하고 및 수정하는 작업을 하기 어렵고, 또한 작업 현장에서 실시간으로 설계물 을 확인하여 작업하거나, 다수의 작업 관련자들이 동시에 설계물을 확인하면서 작업을 진행하기 어렵다는 문제점이 있다.

본 발명이 이루고자 하는 과제는, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하고, 사용자가 직관적인 사용자 인터페이스를 통하여 투 영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면 서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있는, 다면 스크린 프로젝션 기반 3차원 모델 제어 시스템 및 그 방법을 제공하는데 있다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델제어 시스템은 특정 패턴을 가지는 인식표인 마커; 영상을 투영하고자 하는 영상투영면에 위치된 상기 마커를 촬영하는 카메라부; 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생 성하는 제어명령처리부; 및 상기 카메라부에서 촬영된 상기 마커를 인식하고, 상기 제어명령처리부에서 생성된 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커의 정보를 이 용하여 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 영상처리부를 포함할 수 있다.

여기서 휴대용 프로젝션 기반 모델 제어 시스템은 상기 영상처리부에서 생성된 영상을 상기 영상투영면에 투영하는 영상투영부를 더 포함하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 카메라부는 사용자가 상기 영상투영면을 터치 하는 동작이나 손 또는 손가락의 동작을 촬영하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 모델제어명령은 상기 모델을 2차원 또는 3차원으로 회전하는 명령 또는 상기모델의 크기를 스케일링하는 명령 또는 상기 모델의 구성 요소 중 일부를 선택하는 명령 또는 상기 모델을 수정 하는 명령을 포함하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 휴대용 프로젝션 기반 모델 제어 시스템은 사용자의 손 또는 손가락의 동작을 인식하는 센서부를 더 포함하고, 여기서 상기 제어명령처리부는 상기 센서부로부터 사용자의 제어 명령을 입력받 아 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 휴대용 프로젝션 기반 모델 제어 시스템은 사용자가 상기 모델을 제어하기 위한명령을 입력하는 입력단말기부를 더 포함하고, 여기서 상기 제어명령처리부는 상기 입력단말기부로부터 사용자 의 제어 명령을 입력받아 상기 모델제어명령을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 제어명령처리부는 상기 카메라부에서 촬영된 사용자의 동작을 인식하여 상기모델제어명령을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 영상처리부는, 상기 영상투영면에 위치된 상기 마커를 검출하여 인식하는 마커인식부; 상기 제어명령처리부에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하는 모델처리부; 및 상기 모델처리부에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포 함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 상기 마커인식부에서 인식된 상기 마커의 정보 를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성부를 포함할 수 있다.

일 실시예에 있어서, 상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정하는 제어 동작을 수행하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 모델처리부는 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성부는 상기 마커인식부에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 영상투영부의 좌표를 산출하고, 상기 영상투영면의 좌표와 상기 영상투영부의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상 기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것 을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 영상투영부는 일정한 패턴의 켈리브레이션 영상을 상기 영상투영면에 투영하고, 상기 카메라부는 상기 영상투영면에 투영된 상기 켈리브레이션 영상을 촬영하고, 상기 투영영상생성부는 상 기 촬영된 켈리브레이션 영상의 정보를 이용하여 상기 영상투영부와 상기 카메라부 간의 사전 좌표 보정 작업을 하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성부는 상기 사전 좌표 보정 작업의 정보를 이용하여 상기 영상투영부의 좌표를 산출하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 마커는, 상기 모델을 특정하고, 영상을 투영하고자 하는 제1영상투영면에 표시될 제1영상을 생성하기 위하여 상기 제1영상투영면에 위치되어 사용되는 제1마커; 및 영상을 투영하고자 하는 제2영상투영면에 표시될 제2영상을 생성하기 위하여 상기 제2영상투영면에 위치되어 사용되는 제2마커를 포함하 는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 마커인식부는, 상기 제1마커를 일정한 주기로 반복하여 인식하고, 상기 제2마커를 적어도 한번 인식하는 것을 특징으로 하고, 상기 투영영상생성부는, 상기 제1영상투영면에 대하여는 일 정한 주기로 반복하여 제1공간변환행렬을 새롭게 생성하여 상기 제1영상투영면에 투영할 상기 모델의 제1투영영 상을 생성하고, 상기 제2영상투영면에 대하여는 적어도 한번 제2공간변환행렬을 생성하여, 상기 생성된 제2공간 변환행렬을 이용하여 상기 제2영상투영면에 투영할 상기 모델의 제2투영영상을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 제어명령처리부는 상기 카메라부에서 촬영된 상기 제1마커가 상기 제1영상투영면에서 회전하는 경우 상기 모델을 상기 제1마커의 회전에 따라 회전시키는 상기 모델제어명령을 생성하는 것 을 특징으로 할 수 있다.

상기 해결하고자 하는 과제를 달성하기 위해, 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반모델 제어 방법은 영상을 투영하고자 하는 영상투영면에 위치된 특정한 패턴을 가지는 인식표인 마커를 카메라 를 이용하여 촬영하고 상기 마커를 인식하는 마커인식 단계; 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력하는 제어명령입력 단계; 상기 제어명령입력 단계에서 입력된 명령에 따라 미리 정해진 모델제 어명령을 생성하는 제어명령처리 단계; 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보 를 처리하는 모델처리 단계; 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 투영영상생성 단계; 및 프로젝터를 이용하여 상기 모델의 투영영상을 상기 영상투영면에 투영하는 영상투영 단계를 포함할 수 있다.

일 실시예에 있어서, 상기 모델처리 단계는 상기 모델제어명령에 따라, 상기 모델을 2차원 또는 3차원으로 회전하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모 델을 수정하는 동작을 수행하고, 상기 모델의 구조 정보 및 구성 개체 정보를 처리하는 것을 특징으로 할 수 있 다.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 모델처리 단계에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐트와 상기 마커인식 단계에 서 인식된 상기 마커의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징 으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 마커인식 단계에서 인식된 상기 마커의 모양과 크기 정보를 이용하여, 상기 마커가 위치된 상기 영상투영면의 좌표를 산출하고, 상기 프로젝터 공간의 좌표를 산 출하고, 상기 영상투영면의 좌표와 상기 프로젝터 공간의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것을 특징으로 할 수 있다.

일 실시예에 있어서, 상기 투영영상생성 단계는 상기 프로젝터로 상기 영상투영면에 일정한 패턴의 켈리브레이션 영상을 투영하고, 상기 카메라로 상기 투영된 켈리브레이션 영상을 촬영하고, 상기 촬영된 켈리브레 이션 영상의 정보를 이용하여 상기 프로젝터와 상기 카메라 간의 사전 좌표 보정 작업을 하고, 상기 사전 좌표보정 작업의 정보를 이용하여 상기 프로젝터 공간의 좌표를 산출하는 것을 특징으로 할 수 있다.

본 발명에 의하면, 다면 스크린 프로젝션 기반 휴대용 3차원 모델 제어 시스템에 있어서, 사용자가 임의의 다면 스크린에 투영하여 볼 수 있도록 정규화 작업을 거친 3차원 모델을 프로젝션 장치를 이용하여 투영하 고, 사용자가 직관적인 사용자 인터페이스를 통하여 투영된 3차원 모델을 확인하고 제어하고 수정할 수 있도록 함으로써, 전문 설계 프로그램에 대한 전문적인 지식이 없는 일반인이 직관적인 사용자 인터페이스를 통하여 손 쉽게 확인 및 수정할 수 있고, 작업 현장에서 휴대하면서 임의의 면에 투영하여 볼 수 있고, 또한 다수의 작업 관련자들이 다양한 시각과 관점에서 동시에 실시간으로 설계를 확인하고 수정하여 협업할 수 있는 효과가 있다.

이하, 본 발명의 바람직한 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조 부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명을 설명함에 있어, 관련된 공지 구성 또 는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한 다. 또한, 이하에서 본 발명의 바람직한 실시예를 설명할 것이나, 본 발명의 기술적 사상은 이에 한정하거나 제 한되지 않고 당업자에 의해 변형되어 다양하게 실시될 수 있음은 물론이다.

도1은 본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템의 블록도이다.본 발명의 일 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 마커(100), 카메라부(200), 제어명령처리부(300), 영상처리부(400), 영상투영부(500), 센서부(600), 입력단말기부(700)를 포함할 수 있다. 이 상의 실시예는 최적의 실시예이고, 센서부(600)와 입력단말기부(700)는 필요에 따라 생략될 수 있고, 본 발명의 또 다른 실시예에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 마커(100), 카메라부(200), 제어명령처리부 (300), 영상처리부(400), 영상투영부(500)를 포함할 수 있다. 이하에서는 상기 최적의 실시예에 대하여 상술한 다.

마커(100)는 특정 패턴을 가지는 인식표이다.여기서 마커(100)는 사각형의 격자무늬에 일부는 검정색으로 나머지는 흰색으로 채워진 패턴을 가지는 마커가 될 수 있다. 여기서 마커(100)는 서로 다른 두 가지 이상의 색 또는 서로 구별되는 밝기를 가지는 격자 무늬 패턴을 가질 수 있다. 여기서 마커(100)는 격자무늬 이외에도 일정한 면을 가지고, 면 상에서 상호 구별이 가능한 색 또는 밝기를 가지는 특정한 패턴을 가지는 다양한 종류의 마커가 사용될 수 있다.

여기서 마커(100)는 영상을 투영하고자 하는 영상투영면에 위치되는 것이 바람직하고, 필요에 따라 지속적으로 상기 영상투영면에 위치하거나, 또는 일정 시간 동안 위치한 이후 제거될 수 있다.

카메라부(200)는 영상을 투영하고자 하는 상기 영상투영면에 위치된 마커(100)를 촬영한다.여기서 상기 영상투영면은 사용자가 영상투영부(500)를 통하여 영상을 투영할 면을 의미하며, 이는 준비된 프로젝터 용 스크린이 될 수도 있고, 수직으로 되어 있는 임의의 벽면이나 종이면, 수평으로 되어 있는 바 닥면이나 종이 면이나 책상 면 등, 영상을 투영하여 볼 수 있는 임의의 모든 면이 될 수 있다. 그리고 상기 영 상투영면은 평면이 될 수 있고 곡면이 될 수도 있다.

여기서 영상투영면은 2개 이상의 분리되어 있거나 각이 져서 구분이 가능한 다수의 면 또는 구부러진 형태의 하나의 면이 될 수 있다. 이와 같이 영상투영면이 다수의 면이 되는 경우, 다수의 마커(100)를 각 면에 위치시키고, 영상처리부(400)에서 마커(100)들의 정보를 이용하여 각 면에 투영될 영상을 각각 변환작업을 통하 여 생성하도록 할 수 있다. 이에 대하여는 이하 영상처리부(400)를 설명하는 부분에서 상세히 설명한다.

여기서 카메라부(200)는 사용자가 상기 영상투영면을 터치하는 동작이나 손 또는 손가락의 동작을 촬영할 수 있다. 여기서 사용자는 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템을 이용함에 있어서, 상기 영상투영면을 터치하거나 손 또는 손가락의 동작으로 모델을 제어할 수 있는데, 사용자가 상기 영상투영면을 터 치하는 동작을 카메라부(200)가 촬영하여 그 동작을 시스템에 입력할 수 있다. 이에 관하여는 아래에서 제어명 령처리부(300)를 설명하면서 보다 상세히 설명한다.

본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 이상과 같이 미리 고정되어 있는 면이 아닌 임의의 모든 면을 상기 영상투영면으로 사용함으로써, 사용자가 휴대하면서 원하는 작업환경에서 이용할 수 있 는 모델 제어 시스템을 제공할 수 있다. 또한 예를 들어 사용자는 작업현장에 위치하는 임의의 두 면을 상기 영 상투영면으로 선택하고 상기 영상투영면을 통하여 모델을 제어하는 동작을 수행하고 그 결과를 실시간으로 확인 할 수 있다. 바람직하게는 사용자가 상기 영상투영면으로 선택하는 두 면은 벽면과 벽면에 수직으로 위치하는 바닥면 또는 책상면이 될 수 있다.

또한 여기서 카메라부(200)는 영상투영부(500)와 결착이 되어 영상투영부(500)가 이동함에 따라 같은방향을 바라보고 영상투영부(500)가 투영하는 영상을 촬영할 수 있도록 하는 것이 바람직하다. 그리고 이와 같 은 결착을 통하여 이하에서 상술할 바와 같이 카메라부(200)와 영상투영부(500) 간의 사전 좌표 보정(켈리브레 이션) 작업을 보다 효율적으로 진행할 수 있다.

제어명령처리부(300)는 사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성한다.

여기서 상기 모델은 3차원의 모델이 될 수도 있고 2차원의 모델이 될 수도 있다. 그리고 여기서 모델은 건축 설계 모델이 될 수도 있고, 제품 설계 모델이 될 수도 있고, 일정한 구조와 형태를 가지는 다양한 종류의 모델이 될 수 있다. 예를 들어 건축 설계 모델인 경우 상기 모델은, 3차원의 건축물 정보와, 건축물을 구성하는 벽, 기둥, 층계 등 각 구성요소에 관한 정보 즉 예를 들면 벽면의 넓이나 기둥의 높이 등의 정보와, 평면도 등 을 포함하는 건축물의 도면 정보와, 건축물 내에 위치된 각종 가구와 소품에 관한 정보 즉 예를 들면 가구의 위 치와 가구의 부피 정보 등을 포함하는 건축 설계 모델이 될 수 있다.

여기서 상기 모델제어명령은 상기 모델을 제어하기 위하여 미리 약속하는 제어명령으로 사용자가 원하는 바에 따라 다양한 종류의 명령을 정의할 수 있다. 예를 들어 상기 모델제어명령은 모델을 2차원 또는 3차원 으로 회전하는 명령, 모델의 크기를 스케일링하는 명령이 될 수 있다. 또한 예를 들어 상기 모델제어명령은 모 델의 구성 요소 또는 구성 개체를 선택하거나 모델의 특정 레이어를 선택하는 명령, 모델의 도면을 선택하고 그 에 관한 정보를 표시하는 명령이 될 수 있다. 또한 예를 들어 상기 모델제어명령은 상기 선택된 모델의 구성 개 체, 레이어, 도면에 관한 정보를 수정하는 명령 또는 상기 모델의 구조 정보를 수정하고 처리하는 명령이 될 수 있다.

예를 들어 상기 모델제어명령은 건축물에 관한 3차원 모델을 사용자가 여러 방향에서 볼 수 있도록 3차원으로 회전하는 명령이 될 수 있다.

또한 예를 들어 건축물 설계 모델을 다루는 사용자는 3차원의 설계 모델을 필요에 따라 확대하거나 축소하여 볼 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델을 사용자가 원하는 비율로 확대하 거나 축소하는 명령이 될 수 있다.

또한 예를 들어 건축물 설계 모델을 다루는 사용자는 건축 공정 중 설계 모델의 특정 도면 정보에 접근할 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델의 특정 도면을 선택하여 해당 도면을 표시 하고 또한 해당 도면의 구성에 대한 정보를 표시하는 명령이 될 수 있다.

또한 예를 들어 사용자는 설계 모델을 수정할 필요가 있으므로, 이와 같은 경우 상기 모델제어명령은 상기 모델의 구성 요소 중 일부를 선택하여 이동시키거나 그 내용을 수정하거나 또는 상기 모델에 구성 요소를 추가하거나 삭제하는 등의 수정 명령이 될 수 있다.

여기서 제어명령처리부(300)는 카메라부(200)에서 촬영된 사용자의 동작을 인식하여 상기 모델제어명령을 생성할 수 있다. 여기서 카메라부(200)는 사용자가 상기 영상투영면을 터치하는 동작을 촬영하고, 제어명령 처리부(300)는 위와 같이 촬영된 사용자의 움직임 정보를 해석하여 상기 모델에 대하여 미리 약속된 모델제어명 령을 생성할 수 있다. 예를 들어 사용자가 상기 영상투영면에 표시된 상기 모델의 영상에서 상기 모델의 일부분 을 손가락이나 펜으로 터치하는 경우, 카메라부(200)는 그러한 사용자의 움직임을 촬영하고, 제어명령처리부 (300)는 위와 같이 촬영된 사용자의 터치 동작을 해석하여, 터치된 상기 모델의 일부분을 선택하는 동작을 수행 하는 모델제어명령을 생성할 수 있다. 그리고 이어서 사용자가 펜이나 손가락을 이용하여 상기 선택된 일부분을 수정하는 동작을 행하는 경우, 제어명령처리부(300)는 그에 따라 상기 선택된 모델의 일부분을 수정하는 동작을 수행하는 모델제어명령을 생성할 수 있다.

영상처리부(400)는 카메라부(200)에서 촬영된 마커(100)를 인식하고, 제어명령처리부(300)에서 생성된상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커(100)의 정보를 이용하여 영상투영부(500)가 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성한다. 영상처리부 (400)는 이하에서 영상처리부(400)에 대한 도면과 함께 보다 상세히 설명한다.

영상투영부(500)는 영상처리부(400)에서 생성된 영상을 상기 영상투영면에 투영한다. 여기서 영상투영부(500)는 면에 빛을 이용하여 영상을 투영하는 빔 프로젝터가 될 수 있다.

여기서 본 발명에 따른 휴대용 프로젝션 기반 모델 제어 시스템은 영상처리부(400)에서 마커(100)를 이용한 공간 좌표 변환 연산을 수행하여 상기 모델에 대한 영상을 생성하고, 하나의 프로젝터만을 구비한 영상투 영부(500)를 이용하여 위 영상을 적어도 두개의 상기 영상투영면에 한 번에 투영함으로써, 서로 구별되고 각자 표시 내용을 조절할 수 있는 모델에 관한 적어도 두개의 영상을 상기 영상투영면에 각각 표시할 수 있다.

센서부(600)는 사용자의 손 또는 손가락의 동작 등 사용자의 다양한 움직임을 인식할 수 있다.여기서 센서부(600)가 동작할 경우, 제어명령처리부(300)는 센서부(600)로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성할 수 있다.

여기서 사용자가 양 손이나 한 손 또는 손가락을 이용하여 미리 약속된 움직임을 하는 경우, 센서부(600)는 이와 같은 사용자의 움직임을 인식하고 그 움직임을 해석하여 사용자의 움직임 정보를 제어명령처리부 (300)에 전달하고, 제어명령처리부(300)는 센서부(600)로부터 입력받은 사용자의 움직임 정보를 다시 해석하여 미리 약속된 움직임에 해당하는 상기 모델에 대한 모델제어명령을 생성할 수 있다.

예를 들어 사용자가 양 손을 들어 공중에서 회전시키는 동작을 하는 경우 모델을 회전시키기로 미리 약속하였다면, 센서부(600)는 사용자의 양 손이 회전하는 움직임을 인식하여 이를 제어명령처리부(300)에 전달하 고, 제어명령처리부(300)는 이러한 사용자의 움직임에 따라 상기 모델을 회전시키는 내용에 해당하는 상기 모델 제어명령을 생성하여 영상처리부(400)에 보낼 수 있다.

입력단말기부(700)는 사용자가 상기 모델을 제어하기 위한 명령을 입력하는 장치이다.여기서 입력단말기부(700)가 사용되는 경우, 제어명령처리부(300)는 입력단말기부(700)로부터 사용자의 제어 명령을 입력받아 상기 모델제어명령을 생성할 수 있다.

여기서 입력단말기부(700)는 센서를 이용하여 위치를 인식하고 디지털로 문서화가 가능한 펜이나, 화면디스플레이와 화면 터치가 가능한 휴대폰이나 테블릿이 될 수 있다. 예를 들어 사용자가 휴대폰이나 테블릿에 표시된 상기 모델에 대한 영상을 손가락이나 터치펜을 이용하여 회전시키는 화면 터치 동작을 수행하는 경우, 제어명령처리부(300)는 휴대폰이나 테블릿으로부터 위와 같은 사용자의 입력 정보를 전달받아, 이를 해석하여 모델 회전에 해당하는 상기 모델제어명령을 생성할 수 있다. 또한 예를 들어 사용자가 위치 인식 가능한 디지털 펜을 이용하여, 상기 영상투영면에 표시된 모델의 구성 객체를 이동시키는 동작을 수행하는 경우, 제어명령처리 부(300)는 상기 디지털 펜으로부터 정보를 전달받아 이를 해석하여 모델 이동에 해당하는 상기 모델제어명령을 생성할 수 있다.

이하에서는 영상처리부(400)의 동작에 대하여 보다 상세히 설명한다.

도1에서와 같이 영상처리부(400)는 마커인식부(410), 모델처리부(420), 투영영상생성부(430)을 포함할 수 있다.

마커인식부(410)는 상기 영상투영면에 위치된 마커(100)를 검출하여 인식한다. 여기서 마커인식부(410)는 카메라부(200)가 촬영한 상기 영상투영면에 위치된 마커(100)의 영상을 입력받아, 상기 마커(100)의 영상 으로부터 마커(100)를 검출할 수 있다.

모델처리부(420)는 제어명령처리부(300)에서 생성한 상기 모델제어명령에 따라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리한다.

여기서 모델처리부(420)는 상술한 바와 같은 상기 모델제어명령의 내용에 따라 상기 모델을 제어할 수있다. 예를 들면 모델처리부(420)는 상기 모델제어명령의 내용에 따라 상기 모델을 2차원 또는 3차원으로 회전 하거나, 상기 모델의 크기를 스케일링하거나, 상기 모델의 구성 요소 중 일부를 선택하거나, 상기 모델을 수정 하는 제어 동작을 수행할 수 있다.

예를 들어 사용자는 상기 모델의 특정 평면 도면을 확인하고자 할 때에, 입력단말기부(700)를 통하여 상기 모델의 특정 층의 평면 도면을 선택할 수 있고, 제어명령처리부(300)는 그와 같은 내용의 상기 모델제어명 령을 생성하고, 모델처리부(420)는 상기 모델제어명령에 따라 상기 모델의 특정 평면 도면을 선택할 수 있다. 또한 사용자가 상기 모델의 특정 평면 도면을 수정하고자 할 때에, 입력단말기부(700)를 통하여 상기 모델의 특 정 평면 도면을 수정할 수 있고, 제어명령처리부(300)는 그와 같은 내용의 상기 모델제어명령을 생성하고, 모델 처리부(420)는 상기 모델제어명령에 따라 상기 모델의 특정 평면 도면을 수정할 수 있다.

여기서 모델처리부(420)는 상술한 바와 같은 상기 모델제어명령에 따라, 상기 모델의 구조 정보 및 구성 개체 정보를 처리할 수 있다.

예를 들어 모델처리부(420)에서 처리하는 상기 모델에 관한 정보는 상기 모델이 3차원 건축 설계 모델인 경우, 설계 모델의 특정 층의 평면도 정보가 될 수 있고, 설계 모델의 벽면, 바닥면의 형태나 넓이나 길이와 같은 구조 정보가 될 수 있고, 설계 모델에 배치되어 있는 가구의 위치, 모양, 부피 등 구성 개체에 관한 정보 가 될 수 있다. 여기서 모델처리부(420)는 이상과 같은 상기 모델에 관한 정보를 저장하고 선택하고 수정하고 획득하고 표시하는 등의 처리 작업을 할 수 있다.

투영영상생성부(430)는 모델처리부(420)에서 제어된 상기 모델과 처리된 상기 모델에 대한 정보를 포함하는 모델 영상 컨텐츠를 생성하고, 상기 모델 영상 컨텐츠와 마커인식부(410)에서 인식된 마커(100)의 정보를 이용하여 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성할 수 있다.

여기서 투영영상생성부(430)는 마커인식부(410)에서 인식된 마커(100)의 모양과 크기 정보를 이용하여,마커(100)가 위치된 상기 영상투영면의 좌표를 산출하고, 영상투영부(500)의 좌표를 산출하고, 상기 영상투영면 의 좌표와 영상투영부(500)의 좌표 간의 공간변환행렬을 생성하고, 상기 모델 영상 컨텐츠를 상기 생성된 공간 변환행렬을 이용하여 변환하여, 상기 영상투영면에 투영할 상기 모델의 투영영상을 생성하는 것이 바람직하다.

여기서 상기 공간변환행렬은 바람직하게는 Affine 변환을 수행하는 변환 행렬일 수 있다. 여기서 Affine 변환은 한 좌표공간을 다른 좌표공간으로 변환시키는 변환으로, 선형 변환과 평행 이동 변환의 합으로 이루어진다.

예를 들어 이와 같은 Affine 변환은 하기 수학식 1과 같은 각 좌표 공간 간의 변환 연산을 통해 수행될 수 있다.

Claims

휴대용 프로젝션 기반 모델 제어 시스템에 있어서,
사용자가 지정하는 임의의 영상투영면에 위치하고 이동이 가능하고, 특정 패턴을 가지는 인식표인 마커;
상기 영상투영면에 위치된 상기 마커를 촬영하는 카메라부;
사용자가 처리하려는 특정 모델에 대한 사용자의 제어 명령을 입력받아 모델제어명령을 생성하는 제어 명령처리부; 및
상기 카메라부에서 촬영된 상기 마커를 인식하고, 상기 제어명령처리부에서 생성된 모델제어명령에 따 라 상기 모델을 제어하고 상기 모델에 대한 정보를 처리하고, 상기 인식된 마커의 정보를 이용하여 상기 영상투 영면에 투영할 상기 모델에 대한 영상을 생성하는 영상처리부를 포함하고,
상기 영상처리부는 상기 마커를 이용하여 상기 모델을 특정하고, 상기 인식된 마커의 모양과 크기를 이용하여, 상기 마커가 위치한 상기 영상투영면의 위치를 산출하고, 상기 산출된 상기 영상투영면의 위치 정보를 이용하여, 상기 영상투영면에 투영할 상기 모델에 대한 영상을 생성하는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항에 있어서,
상기 영상처리부에서 생성된 영상을 상기 영상투영면에 투영하는 영상투영부를 더 포함하는 것을 특징 으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 카메라부는 사용자가 상기 영상투영면을 터치하는 동작이나 손 또는 손가락의 동작을 촬영하는 것 을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.
제1항 또는 제2항 중 어느 하나의 항에 있어서,
상기 모델제어명령은 상기 모델을 2차원 또는 3차원으로 회전하는 명령 또는 상기 모델의 크기를 스케 일링하는 명령 또는 상기 모델의 구성 요소 중 일부를 선택하는 명령 또는 상기 모델을 수정하는 명령을 포함하 는 것을 특징으로 하는 휴대용 프로젝션 기반 모델 제어 시스템.