KR101641672B1 - 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템 - Google Patents

Abstract

본 발명은 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템에 관한 것으로, 그 구성은 CG 또는 3D 투사 알고리즘이 내장되어 전시대, 건물모형에 마크, 선형 실행틀에 장착된 하나 이상의 건물, 도로의 시설물과 지형이 기록되어 위성 또는 항공촬영된 화상 데이터와 전시대 또는 건물 모형의 마크 및 선으로 위치하는 데이터를 조합하여 CG, 3D, 위성사진으로 형성된 영상으로 표현된 3차원적인 모형의 입체데이터의 구현 영상을 제공하는 사용자 단말; 전시대, 건물모형의 지역을 위성 및 항공 촬영된 제 1 영상과 전시대 또는 건물 모형의 마크 및 선으로 위치하는 제 2 영상과 조합하여 배경영상의 원본과 제 1 영상 간의 컬러 오차를 교정하고 제 1 영상 및 제 2 영상에 기초하여 감각형 오브젝트의 2차원 및 3차원 추적정보를 추출하고, 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보를 생성하는 증강 현실 장치; 및 전시대, 건물모형의 해당 지역을 위성 및 항공 촬영된 영상정보와 건물의 외벽선을 기준으로 투사하여 전시대위 모형의 마크 및 선으로 위치하는 데이터의 영상정보가 저장되어 상기 증강 현실장치의 요청신호에 따라 해당 촬영된 영상정보 또는 전시대 상의 위치 데이터 영상정보를 제공하는 웹/앱 서버를 포함하여 구성된다.
이에 따라, 본 발명은 건물 모형의 벽면에 내장된 마커 또는 선형 또는 전시대 바닥 측에 내장된 마커부터 출력되는 실행 좌표 명령을 통하여 CG, 3D, 위성사진의 시뮬레이션 배경영상 데이터 실행 위치오차를 교정하고, 정합된 정보를 가상공간의 좌표로 변환한 후 이를 기초로 조명과 주변 배경, 도로, 건물 및 부대시설의 상세 구조를 표현하여 3차원적인 모형의 역동적인 증강현실 입체 영상을 확인할 수 있는 효과를 제공한다.

Description

휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템{The system for Augmented Reality of architecture model tracing using mobile terminal}

본 발명은 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템에 관한 것으로, 보다 구체적으로는, 건물 모형의 외부 벽면 또는 전시대 바닥쪽에 마커 또는 선을 인식하여 사용자가 바라보는 위치에서 휴대단말 장치를 이용하여 사용자 시선방향에 맞게 주변 배경, 도로, 건물 및 부대시설의 상세 구조 등 CG, 3D, 위성사진의 영상으로 표현된 3차원적인 모형의 입체 영상을 확인할 수 있도록 휴대용 디스플레이 장치를 통해 사물의 가상 구현 형상을 볼 수 있고, 실제 구현에 필요한 가상 이미지만을 생성하여 중첩하여 제공하여 실제 구현될 형상(영상)을 실제공간과 같이 구현할 수 있는 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템에 관한 것이다.

또한, 본 발명은 전시대 상에 위치하는 피사체에 마커 또는 선으로 추적할 수 있는 개인 휴대용 오브젝트를 이용하여 물리공간과 전자공간이 융합된 공간에서 실제 환경 또는 실세계의 영상에 컴퓨터 그래픽과 같은 가상의 영상을 혼합하여 사용자의 지각 인식에 가상 정보를 부가함으로써 현실세계를 보강하기 위해 사용될 수 있는 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템에 관한 것이다.

일반적으로 건물 모형은 실제 건물을 축소시켜 관람자로 하여금 건물 타입의 현황, 건물 배치 등을 쉽게 관찰하고 이해할 수 있도록 제작되어 전시된다.

이 경우 건물 모형이 정적인 상태로 전시되어져 있어서 주요도로현황, 단지특장점, 위치현황, 주차장현황, 주민시설현황, 부대시설현황, 건물타입의 현황 등을 취득하기가 어렵고, 건물 모형을 이해하는데 있어 매우 제한적으로 이루어질 수 밖에 없다.

이러한 정적인 입체 건물 모형을 극복하기 위해 본 발명의 배경이 되는 기술로는 한국 등록특허 등록번호 제10 - 577118호로서 '프로젝터 영상을 이용한 모형 연동 인터렉티브 장치 및 방법'이 제안되어 있다.

이는 산, 계곡, 우리 나라(전라도, 경상도..)의 지형, 관광지, 댐 수몰 지역의 모습을 축소하여 나무나 석고와 같은 재료를 이용하여 모형을 제작하고, 그 모형의 표면전체를 하얀색으로 표현하여 빛이 잘 투영할 수 있도록 한 입체 모형부와, 그 입체 모형부의 상단 일측에 설치되어 폭우, 폭설 등의 날씨 변화, 지형, 관광지, 댐 수몰 지역에 대한 각종 영상을 3D의 프로젝트 형식으로 제공하는 영상출력부와, 상기 입체 모형부의 특정 부위가 영상포인터 형식으로 선택되도록 누름스위치, 트랙볼이 설치된 모형 설정부와, 그 모형 설정부의 누름스위치, 트랙볼의 구동에 따라 출력되는 영상 출력부의 영상이나, 그 영상이 입체 모형부에 출력되는 위치를 제어하고, 영상과 동시에 출력되는 음향의 구동을 제어하는 제어부와, 그 제어부의 제어를 통해 사용자가 선택한 부위의 영상을 LCD 모니터로 표시하는 영상표시부와, 제어부의 제어를 통해 영상출력과 동시에 효과음 및 자연음이 출력되도록 구성되어 있다.

상기 배경기술은 입체 모형부에 프로젝트 빔을 통해 영상을 출력시켜 모형을 표현하는 방법으로 3D,CG 직접구현에 비해 선명도가 떨어지고, 모형 부분만 전체적 또는 개별적으로 선택하여 조명하기가 어려우며 관람자 전원이 같은 곳의 영상을 봐야한다는 단점을 가진다.

또한, 종래에는 가상현실을 실행하기 위해, 단순하게 영상이 시현될수 있는 공간을 설정하여 단순한 가상현실 기술만 사용하였고, 많은 사람들이 동시에 보기 위하여 카메라를 통하여 영상장치의 신호값을 읽은 후, 스크린을 통하여 영상을 구현 실현하였다.

많은 사람이 자신이 원하는 곳을 바로 보지 못하고 동시에 실행되는 디스플레이를 보는 것이 불필요하다고 느껴 각자 자신이 원하는 곳을 보기 위하여 기기 장착형 디스플레이를 활용하여 가상현실을 실현하였다 기기장착형 디스플레이 경우 현장에 고가의 기기를 유지 보존하고 한 사람이 한정적 보안경이나 헬멧형 기기로 눈앞에 있는 사물의 영상을 가상으로 실행하였다.

박람회 또는 모델하우스와 같이 전시와 시연을 대규모로 시행할 경우 다수의 인원이 오랜시간을 기다려 각자가 원하는 부분을 볼 수 있는 방법이다. 단 현장에 유지 보존되고 있는 기기가 한적적이라 누구나 기다림 없이 쉽게 이용 할 수 없어 이를보완하고자 사물에 근접한 위치에 휴대용 디스플레이 장치(휴대폰 및 테블릿PC 구글글래스 등)를 이용하여 시차를 이용한 이동시에도 확인이 가능한 디스플레이 기기에 입체 영상을 투영하여 사용하고 있는 것이 현실이다.

[관련기술문헌]

1. 영상 카메라 시스템에서 이동 물체 특성을 이용한 이동물체 추적 방법(특허출원번호 제10-2008-0068197호)

2. 이동 물체 영상 추출 장치(특허출원번호 제10-1997-0002669호)

3.프로젝터 영상을 이용한 모형 연동 인터렉티브 장치 및 방법(특허출원번호 제10-0577118호)

4.지형지물에 대한 축소모형물의 조명제어 시스템(특허출원번호 제10-0930950호)

본 발명은 상기의 문제점을 해결하기 위한 것으로, 건물 모형의 외부 벽면 또는 전시대 바닥쪽에 마커 또는 선을 인식하여 사용자가 바라보는 위치에서 휴대단말 장치를 이용하여 사용자 시선방향에 맞게 주변 배경, 도로, 건물 및 부대시설의 상세 구조 등 CG, 3D, 위성사진의 영상으로 표현된 3차원적인 모형의 입체 영상을 확인할 수 있도록 휴대용 디스플레이 장치를 통해 사물의 가상 구현 형상을 볼 수 있고, 실제 구현에 필요한 가상 이미지만을 생성하여 중첩하여 제공하여 실제 구현될 형상을 실제공간과 같이 구현할 수 있는 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템을 제공하기 위한 것이다.

또한, 본 발명은 건물 모형의 겉면 또는 모형을 이루는 형체의 선에 마커또는 선형 형태의 입력으로 시뮬레이션 영상을 실행 조명과 주변 배경, 도로, 건물 및 부대시설의 상세 구조가 표현되어져 3차원적인 모형의 역동적인 입체 영상을 확인할 수 있는 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템을 제공하기 위한 것이다.

그러나 본 발명의 목적들은 상기에 언급된 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

상기의 목적을 달성하기 위해 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은, CG 또는 3D 투사 알고리즘이 내장되어 전시대, 건물모형에 마크, 선형 실행틀에 장착된 하나 이상의 건물, 도로의 시설물과 지형이 기록되어 위성 또는 항공촬영된 화상 데이터와 전시대 또는 건물 모형의 마크 및 선으로 위치하는 데이터를 조합하여 CG, 3D, 위성사진으로 형성된 영상으로 표현된 3차원적인 모형의 입체데이터의 구현 영상을 제공하는 사용자 단말; 전시대, 건물모형의 지역을 위성 및 항공 촬영된 제 1 영상과 전시대 또는 건물 모형의 마크 및 선으로 위치하는 제 2 영상과 조합하여 배경영상의 원본과 제 1 영상 간의 컬러 오차를 교정하고 제 1 영상 및 제 2 영상에 기초하여 감각형 오브젝트의 2차원 및 3차원 추적정보를 추출하고, 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보를 생성하는 증강 현실 장치; 및 전시대, 건물모형의 해당 지역을 위성 및 항공 촬영된 영상정보와 건물의 외벽선을 기준으로 투사하여 전시대위 모형의 마크 및 선으로 위치하는 데이터의 영상정보가 저장되어 상기 증강 현실장치의 요청신호에 따라 해당 촬영된 영상정보 또는 전시대 상의 위치 데이터 영상정보를 제공하는 웹/앱 서버를 포함하여 구성되는 것을 특징으로 한다.

또한, 본 발명에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은, 상기 사용자 단말은 증강 현실 구동을 위해 CG 또는 3D 투사 알고리즘이 내장되어 전시대, 건물모형에 마크, 선형 실행틀에 장착된 하나 이상의 건물, 도로의 시설물과 지형이 기록되어 위성 또는 항공촬영된 화상 데이터와 전시대 또는 건물 모형의 마크 및 선으로 위치하는 데이터를 조합하여 CG, 3D, 위성사진으로 형성된 영상으로 표현된 3차원적인 모형의 입체데이터의 구현 영상을 제공하기 위해 사용자 단말의 제반적인 동작을 제어하는 마이컴, 웹/앱 서버에서 제공된 전시대, 건물모형의 해당 지역을 위성 및 항공 촬영된 영상정보와 건물의 외벽선을 기준으로 투사하여 전시대위 모형의 마크 및 선으로 위치하는 데이터의 영상 정보의 인식을 통해 시설물의 외곽선을 복원하거나, 패턴 인식을 이용하여, 입력된 기준 타입 및 패턴의 스케일 변경을 통해 3차원 모델링을 수행하는 모델링부, 3D, GPS 위성으로 부터 수신되는 위치 정보값을 3차원 좌표값으로 산출하여 상기 증강현실 장치에 추적하여 제시되는 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보을 기초로 일정방향 및 각도의 영상을 실시간으로 3차원의 좌표 값을 산출하는 센서모듈부, 증강 현실 컨텐츠를 건축 모형에 적용, 증강현실 장치 내 가상객체의 이동을 위해 객체이동 정보를 상기 서버를 통해 수신하여 이를 저장하는 저장부, 상기 증강현실 장치가 특정 촬영구역에 위치하는 영상을 구현하여 상기 사용자 단말 사용자의 실행 위치를 분석하여 분석 결과에 대응하는 기 설정된 증강현실 영상 데이터를 구현 기능 수행에 따라 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 출력부, 상기 사용자 단말의 촬영 영상에 근거하여 사용자의 구동신호에 반응하여 상기 증강현실 장치가 객체이동제어정보를 토대로 사용자 접속에 반응하여 해당 증강현실 컨텐츠 내 가상객체로 이동하는 이동부, 사용자 단말 사용자의 요청신호에 반응하여 건물 모형의 벽면에 내장된 마커 또는 선형 또는 전시대바닥 측에 내장된 마커부터 출력되는 실행 좌표 명령을 통하여 주변 배경, 도로, 건물 및 부대시설의 상세 구조가 표현되어져 3차원적인 모형의 증강현실 입체 영상의 표현과 함께 해당 내역을 음성으로 송출하는 음성 송출부 및 전시대 또는 모형 마크형태, 선형 실행틀에 장착된 하나 이상의 건물, 도로 등의 시설물과 지형이 기록되어 있는 시뮬레이션 화상 데이터와 주요도로현황, 단지 특장점, 위치현황, 주차장현황, 주민시설현황, 부대시설현황, 건물타입의 현황 등의 안내 데이터를 재생시켜 상기 사용자 단말 장치를 선택적으로 재생시키는 선택조작부로 구성되는 것을 특징으로 한다.

또한, 본 발명에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은, 상기 증강현실 장치는 건물 모형의 시뮬레이션 화상 데이터와 안내 음성 데이터가 기록하고 있는 기록매체와 상기 기록매체에 저장된 시뮬레이션 화상 데이터 및 음성 데이터를 재생시키는 사용자 단말장치와 연결되어 재생될 영상을 상기 사용자 단말로 송출시키는 서버와 신호에 따라 상기 증강현실 장치를 제어하여 필요한 시뮬레이션 화상 정보가 출력되도록 증강현실 장치의 제반적인 동작을 제어하는 제어부, 원본 배경영상에 CG 또는 3D로 모형의 마크, 선면에 입력하여 제1 서버에서 투사된 원본 배경영상을 제 2 서버와 합성하여 컬러 오차표를 생성하는 오차 생성부, 상기 오차 생성부를 통해 생성된 원본 배경영상과 상기 제 1 서버와 제 2 서버의 영상과의 컬러 오차를 교정하여 컬러 오차표를 생성하는 컬러 교정 모듈부, 상기 제 2 서버 영상에 기초하여 감각형 오브젝트로 모형건물 외벽에 설치된 제 1 마커를 인식하여 테이블의 표면에 위치하는 감각형 오브젝트의 위치, 방위 중 적어도 하나를 포함하여 2차원 추적 정보를 추출하는 추출부 및 상기 추출부에 추출된 2차원 추적 정보와 3차원 추적정보를 정합하여 감각형 오브젝트의 추적정보를 생성하는 정합부를 더 포함하여 구성되는 것을 특징으로 한다.

또한, 본 발명에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은, 상기 추출부는 상기 제 2 서버 영상에 기초하여 감각형 오브젝트로 모형건물 외벽에 설치된 제1 마커를 인식하여 제 1 마커의 영상이 포함된 제 1 영상을 제공받고 원본 배경영상의 컬러를 교정한 후, 테이블의 표면에 위치하는 감각형 오브젝트의 위치, 방위 중 적어도 하나를 포함하여 2차원 추적 정보를 추출하는 2차원 추적 정보 추출부와 제 2 영상에 기초하여 감각형 오브젝트의 건물외형 형태의 선의 모양에 입력된 제 2 마커를 인식하여 감각형 오브젝트의 3차원 위치정보, 방위정보, 자세정보 중 적어도 하나를 포함하는 3차원 추적정보를 추출하는 3차원 추적 정보 추출부로 구성되는 것을 특징으로 한다.

본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은, 건물 모형의 벽면에 내장된 마커 또는 선형 또는 전시대 바닥 측에 내장된 마커부터 출력되는 실행 좌표 명령을 통하여 CG, 3D, 위성사진의 시뮬레이션 배경영상 데이터 실행 위치오차를 교정하고, 정합된 정보를 가상공간의 좌표로 변환한 후 이를 기초로 조명과 주변 배경, 도로, 건물 및 부대시설의 상세 구조를 표현하여 3차원적인 모형의 역동적인 증강현실 입체 영상을 확인할 수 있는 효과를 제공한다.

또한, 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은, 모형에 위치한 해당 지역 및 공간을 위성 및 항공촬영 또는 CG, 3D 구현한 영상을 기반으로 사용자가 특정공간을 일상에서 보며 느끼는 것과 같은 증강현실기술을 이용하여 특정 가상객체의 공간을 이동하여 조작함으로써 사용자에게 보다 직관적이고 다양한 Interaction을 제공할 수 있고 실제감을 향상시켜 모형과 모형 내부를 현실과 같은 시각적인 효과를 느낄 수 있고, 입체적인 영상 건물 모형의 표현과 함께 안내 음성을 통해 해설이 제공되어 사용자에게 충분한 정보를 상세히 전달할 수 있는 효과를 제공한다.

뿐만 아니라, 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은, 전시공간의 바닥매립 또는 전시대위에 놓여지거나 또는 전시 공간의 벽체측에 걸이식으로 설치되는 모형을 모형 전시대의 내부 또는 모형전시대로부터 일정한 거리를 두고 사용자 단말 장치를 통해 전시대, 모형에 장착된 마커 또는 사물 또는 선을 인식하여 모형 또는 전시대의 배치된 형상을 디스플레이 표시창을 통해 그 형상을 용이하게 확인할 수 있는 효과를 제공한다.

도 1은 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 예시도
도 2는 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 구성도
도 3은 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 사용자 단말의 세부구성을 도시한 블록도.
도 4는 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 증강현실 장치의 세부구성을 도시한 블록도.
도 5는 도 4에 따른 서버의 구성을 도시한 블록도

이하, 본 발명의 바람직한 실시예의 상세한 설명은 첨부된 도면들을 참조하여 설명할 것이다. 하기에서 본 발명을 설명함에 있어서, 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.

본 명세서에 있어서는 어느 하나의 구성요소가 다른 구성요소로 데이터 또는 신호를 '전송'하는 경우에는 구성요소는 다른 구성요소로 직접 상기 데이터 또는 신호를 전송할 수 있고, 적어도 하나의 또 다른 구성요소를 통하여 데이터 또는 신호를 다른 구성요소로 전송할 수 있음을 의미한다.

본 발명은 건물 모형의 겉면 또는 모형을 이루는 형체의 선에 마커 또는 선형 형태의 입력으로 시뮬레이션 영상을 실행 조명과 주변 배경, 도로, 건물 및 부대시설의 상세 구조가 표현되어져 3차원적인 모형의 역동적인 입체 영상을 확인람할 수 있도록 휴대단말의 장치를 갖는 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템에 관한 것이다.

도 1은 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 예시도이고, 도 2는 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 구성도을 도시한 도면이다. 첨부된 도 1 내지 도 2를 참조하면, 본 발명에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템은 사용자 단말(100), 증강 현실 장치(200), 웹/앱 서버(300) 및 통신망(400)을 포함한다.

본 발명에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 세부구성 및 동작을 살펴보면, 먼저, 사용자 단말(100)은 증강 현실 구동을 위한 특정 앱을 다운로드 받을 수 있도록 구현되고, CG 또는 3D 투사 알고리즘이 내장되어 전시대, 건물모형에 마크, 선형 실행틀에 장착된 하나 이상의 건물, 도로의 시설물과 지형이 기록되어 위성 또는 항공촬영된 화상 데이터와 전시대 또는 건물 모형의 마크 및 선으로 위치하는 데이터를 조합하여 CG, 3D, 위성사진으로 형성된 영상으로 표현된 3차원적인 모형의 입체데이터의 구현 영상을 제공한다.

상기 증강 현실 장치(200)는 전시대, 건물모형의 지역을 위성 및 항공 촬영된 제 1 영상과 전시대 또는 건물 모형의 마크 및 선으로 위치하는 제 2 영상과 조합하여 배경영상의 원본과 제 1 영상 간의 컬러 오차를 교정하고 제 1 영상 및 제 2 영상에 기초하여 감각형 오브젝트의 2차원 및 3차원 추적정보를 추출하고, 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보를 생성한다.

상기 웹/앱 서버(300)는 전시대, 건물모형의 해당 지역을 위성 및 항공 촬영된 영상정보와 건물의 외벽선을 기준으로 투사하여 전시대위 모형의 마크 및 선으로 위치하는 데이터의 영상정보가 저장되어 상기 증강 현실장치(200)의 요청신호에 따라 해당 촬영된 영상정보 또는 전시대 상의 위치 데이터 영상정보를 제공하도록 구성된다.

한편 상기 서버(300)는 상기 지역을 위성 및 항공 촬영하여 제1 영상을 제공하는 제1 서버와, 상기 전시대위 모형의 마크 및 선으로 위치하는 데이터를 이용하여 제 1 서버의 영상과 조합하는 제 2 서버로 구성된다.

또한, 상기 통신망(400)은 상기 사용자단말(100), 증강 현실 장치(200) 및 웹/앱 서버(300)와 각각 연동하여 건축 모형 실행의 증강 현실 시스템을 위한 통신망을 제공하게 된다.

본 발명에서 통신망(400)은 대용량, 장거리 음성 및 데이터 서비스가 가능한 대형 통신망의 고속 기간 망인 통신망이며, 인터넷(Internet) 또는 고속의 멀티미디어 서비스를 제공하기 위한 차세대 유선 및 무선 망일 수 있다. 통신망(300)이 이동통신망일 경우 동기식 이동 통신망일 수도 있고, 비동기식 이동 통신망일 수도 있다. 비동기식 이동 통신망의 일 실시 예로서, WCDMA(Wideband Code Division Multiple Access) 방식의 통신망을 들 수 있다. 이 경우 도면에 도시되진 않았지만, 통신망(300)은 RNC(Radio Network Controller)을 포함할 수 있다. 한편, WCDMA망을 일 예로 들었지만, 3G LTE망, 4G망 등 차세대 통신망, 그 밖의 IP를 기반으로 한 IP망일 수 있다. 통신망(400)은 상기 사용자단말(100), 증강 현실 장치(200) 및 웹/앱 서버(300), 그 밖의 시스템 상호 간의 신호 및 데이터를 상호 전달하는 역할을 한다.

도 3은 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 사용자 단말의 세부구성을 도시한 블록도를 나타내는데, 사용자 단말(100)은 마이컴(110), 모델링부(120), 센서모듈부(130), 저장부(140), 출력부(150), 이동부(160), 음성 송출부(170) 및 선택조작부(180)를 포함하여 구성된다.

이하, 첨부된 도 1 내지 도 3을 참조하여 본 발명에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 사용자 단말(100)의 세부구성 및 동작을 살펴보면, 상기 마이컴(110)은 증강 현실 구동을 위해 CG 또는 3D 투사 알고리즘이 내장되어 전시대, 건물모형에 마크, 선형 실행틀에 장착된 하나 이상의 건물, 도로의 시설물과 지형이 기록되어 위성 또는 항공촬영된 화상 데이터와 전시대 또는 건물 모형의 마크 및 선으로 위치하는 데이터를 조합하여 CG, 3D, 위성사진으로 형성된 영상으로 표현된 3차원적인 모형의 입체데이터의 구현 영상을 제공하기 위해 사용자 단말(100)의 제반적인 동작을 제어하도록 구성된다.

상기 모델링부(120)는 상기 마이컴(110)의 제어신호에 따라 웹/앱 서버(300)에서 제공된 전시대, 건물모형의 해당 지역을 위성 및 항공 촬영된 영상정보와 건물의 외벽선을 기준으로 투사하여 전시대위 모형의 마크 및 선으로 위치하는 데이터의 영상 정보의 인식을 통해 시설물의 외곽선을 복원하거나, 패턴 인식을 이용하여, 입력된 기준 타입 및 패턴의 스케일 변경을 통해 3차원 모델링을 수행한다.

상기 모델링부(120)는 상기 마이컴(110)의 제어신호에 반응하여 증강 현실에 표시할 대상물의 3차원 모델을 획득할 때에, 증강해야 할 대상물의 기준점과 측점, 복원선분과 문자들에 관하여, 시준 및 연산된 좌표값들에 대해 사용자의 시준 순서를 태그로서 부가할 수 있다.

상기 센서모듈부(130)는 상기 마이컴(110)의 제어신호에 의해 3D, GPS 위성으로 부터 수신되는 위치 정보값을 3차원 좌표값으로 산출하여 상기 증강현실 장치(200)에 추적하여 제시되는 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보을 기초로 일정방향 및 각도의 영상을 실시간으로 3차원의 좌표 값을 산출한다.

상기 저장부(140)는 상기 마이컴(110)의 제어신호에 반응하여 증강 현실 컨텐츠를 건축 모형에 적용, 증강현실 장치 내 가상객체의 이동을 위해 객체이동 정보를 상기 서버(300)를 통해 수신하여 이를 저장하게 된다.

상기 출력부(150)는 상기 마이컴(110)의 제어신호에 의해 상기 증강현실 장치가 특정 촬영구역에 위치하는 영상을 구현하여 상기 사용자 단말(100) 사용자의 실행 위치를 분석하여 분석 결과에 대응하는 기 설정된 증강현실 영상 데이터를 구현 기능 수행에 따라 촬영영상에 적용한 증강현실 컨텐츠를 출력한다.

상기 이동부(160)는 상기 사용자 단말(100)의 촬영 영상에 근거하여 사용자의 구동신호에 반응하여 상기 증강현실 장치(200)가 객체이동제어정보를 토대로 사용자 접속에 반응하여 해당 증강현실 컨텐츠 내 가상객체로 이동하게 구성된다.

상기 음성 송출부(170)는 상기 마이컴(110)의 제어신호에 따라 사용자 단말(100) 사용자의 요청신호에 반응하여 건물 모형의 벽면에 내장된 마커 또는 선형 또는 전시대바닥 측에 내장된 마커부터 출력되는 실행 좌표 명령을 통하여 주변 배경, 도로, 건물 및 부대시설의 상세 구조가 표현되어져 3차원적인 모형의 증강현실 입체 영상의 표현과 함께 해당 내역을 음성으로 송출할 수 있도록 구성된다.

또한, 상기 선택조작부(180)은 전시대 또는 모형 마크형태, 선형 실행틀에 장착된 하나 이상의 건물, 도로 등의 시설물과 지형이 기록되어 있는 시뮬레이션 화상 데이터와 주요도로현황, 단지 특장점, 위치현황, 주차장현황, 주민시설현황, 부대시설현황, 건물타입의 현황 등의 안내 데이터를 재생시켜 상기 사용자 단말(100) 장치를 선택적으로 재생시킬 수 있도록 한다.

도 4는 본 발명의 실시예에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 증강현실 장치(200)의 세부구성을 도시한 블록도를 나타내는데, 증강현실 장치(200)는 제어부(210), 오차 생성부(220), 컬러 교정 모듈부(230), 추출부(240) 및 정합부(250)를 포함하여 구성된다.

이하, 첨부된 도 1 내지 도 4를 참조하여 본 발명에 따른 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템의 증강현실 장치(200)의 세부구성 및 동작을 살펴보면, 상기 제어부(210)는 전시대, 건물모형의 지역을 위성 및 항공 촬영된 제 1 영상과 전시대 또는 건물 모형의 마크 및 선으로 위치하는 제 2 영상과 조합하여 배경영상의 원본과 제 1 영상 간의 컬러 오차를 교정하고 제 1 영상 및 제 2 영상에 기초하여 감각형 오브젝트의 2차원 및 3차원 추적정보를 추출하고, 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보를 생성할 수 있도록 증강현실 장치(200)의 제반적인 동작을 제어한다.

상기 오차 생성부(220)는 상기 제어부(210)의 제어신호에 따라 원본 배경영상에 CG 또는 3D로 모형의 마크, 선면에 입력하여 제1 서버에서 투사된 원본 배경영상을 제 2 서버와 합성하여 컬러 오차표를 생성한다.

상기 컬러 교정 모듈부(230)는 상기 제어부(210)의 제어신호에 따라 상기 오차 생성부(220)를 통해 생성된 원본 배경영상과 상기 제 1 서버와 제 2 서버의 영상과의 컬러 오차를 교정하여 컬러 오차표를 생성한다.

상기 추출부(240)는 상기 제어부(210)의 제어신호에 따라 상기 제 2 서버 영상에 기초하여 감각형 오브젝트로 모형건물 외벽에 설치된 제 1 마커를 인식하여 테이블의 표면에 위치하는 감각형 오브젝트의 위치, 방위 중 적어도 하나를 포함하여 2차원 추적 정보를 추출한다.

상기 정합부(250)는 상기 제어부(210)의 제어신호에 따라 상기 추출부(240)에 추출된 2차원 추적 정보와 3차원 추적정보를 정합하여 감각형 오브젝트의 추적정보를 생성한다.

한편, 상기 제어부(210)는 상기 건물 모형의 시뮬레이션 화상 데이터와 안내 음성 데이터가 기록하고 있는 기록매체와 상기 기록매체에 저장된 시뮬레이션 화상 데이터 및 음성 데이터를 재생시키는 사용자 단말장치와 연결되어 재생될 영상을 상기 사용자 단말로 송출시키는 서버와 신호에 따라 상기 증강현실 장치를 제어하여 필요한 시뮬레이션 화상 정보가 출력되도록 한다.

도 5는 도 4의 증강현실 장치(200)의 추출부(240)의 세부구성을 도시한 것으로, 크게 2차원 추적 정보 추출부(242), 3차원 추적 정보 추출부(244)로 구성된다.

상기 2차원 추적 정보 추출부(242)는 상기 제 2 서버 영상에 기초하여 감각형 오브젝트로 모형건물 외벽에 설치된 제1 마커를 인식하여 제 1 마커의 영상이 포함된 제 1 영상을 제공받고 원본 배경영상의 컬러를 교정한 후, 테이블의 표면에 위치하는 감각형 오브젝트의 위치, 방위 중 적어도 하나를 포함하여 2차원 추적 정보를 추출하고, 상기 3차원 추적 정보 추출부(244)는 제 2 영상에 기초하여 감각형 오브젝트의 건물외형 형태의 선의 모양에 입력된 제 2 마커를 인식하여 감각형 오브젝트의 3차원 위치정보, 방위정보, 자세정보 중 적어도 하나를 포함하는 3차원 추적정보를 추출하도록 구성된다.

상기의 구성과 같이 본 발명에 따른 상기 증강 현실 장치(200)는 상기 원본 배경영상에 CG 또는 3D로 모형의 마크 또는 선면에 입력하여, 상기 제1 서버에서 상기 투사된 원본 배경영상을 제 2 서버와 합성하여 컬러 오차표를 생성할 수 있다.

이때, 증강현실 제공방법은 상기 사용자 단말의 오브젝트가 상기 모형의 표면에 접촉되지 않을 경우에는 상기 제2 영상에 기초하여 추출된 상기 3차원 추적정보에 기초하여 상기 사용자 단말의 오브젝트의 추적정보를 생성할 수 있다.

이상과 같이, 본 명세서와 도면에는 본 발명의 바람직한 실시예에 대하여 개시하였으며, 비록 특정 용어들이 사용되었으나, 이는 단지 본 발명의 기술 내용을 쉽게 설명하고 발명의 이해를 돕기 위한 일반적인 의미에서 사용된 것이지, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시예 외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

100 : 사용자 단말
110 : 마이컴 120 : 모델링부
130 : 센서모듈부 140 : 저장부
150 : 출력부 160 : 이동부
170 : 음성송출부 180 : 선택조작부
200 : 증강현실장치
210 : 제어부 220 : 오차생성부
230 : 컬러 교정 모듈부 240 : 추출부
242 : 2차원 추적정보 추출부 244 : 3차원추적정보 추출부
300 : 웹/앱서버 400 : 통신망

Claims (4)

1. CG 또는 3D 투사 알고리즘이 내장되어 전시대, 건물모형에 마크, 선형 실행틀에 장착된 하나 이상의 건물, 도로의 시설물과 지형이 기록되어 위성 또는 항공촬영된 화상 데이터와 전시대 또는 건물 모형의 마크 및 선으로 위치하는 데이터를 조합하여 CG, 3D, 위성사진으로 형성된 영상으로 표현된 3차원적인 모형의 입체데이터의 구현 영상을 제공하는 사용자 단말(100); 전시대, 건물모형의 지역을 위성 및 항공 촬영된 제 1 영상과 전시대 또는 건물 모형의 마크 및 선으로 위치하는 제 2 영상과 조합하여 배경영상의 원본과 제 1 영상 간의 컬러 오차를 교정하고 제 1 영상 및 제 2 영상에 기초하여 감각형 오브젝트의 2차원 및 3차원 추적정보를 추출하고, 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보를 생성하는 증강 현실 장치(200); 및 전시대, 건물모형의 해당 지역을 위성 및 항공 촬영된 영상정보와 건물의 외벽선을 기준으로 투사하여 전시대위 모형의 마크 및 선으로 위치하는 데이터의 영상정보가 저장되어 상기 증강 현실장치(200)의 요청신호에 따라 해당 촬영된 영상정보 또는 전시대 상의 위치 데이터 영상정보를 제공하는 웹/앱 서버(300);를 포함하여 구성되는 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템에 있어서,
   상기 사용자 단말(100)은
   증강 현실 구동을 위해 CG 또는 3D 투사 알고리즘이 내장되어 전시대, 건물모형에 마크, 선형 실행틀에 장착된 하나 이상의 건물, 도로의 시설물과 지형이 기록되어 위성 또는 항공촬영된 화상 데이터와 전시대 또는 건물 모형의 마크 및 선으로 위치하는 데이터를 조합하여 CG, 3D, 위성사진으로 형성된 영상으로 표현된 3차원적인 모형의 입체데이터의 구현 영상을 제공하기 위해 사용자 단말(100)의 제반적인 동작을 제어하는 마이컴(110),
   상기 마이컴(110)의 제어신호에 따라 웹/앱 서버(300)에서 제공된 전시대, 건물모형의 해당 지역을 위성 및 항공 촬영된 영상정보와 건물의 외벽선을 기준으로 투사하여 전시대위 모형의 마크 및 선으로 위치하는 데이터의 영상 정보의 인식을 통해 시설물의 외곽선을 복원하거나, 패턴 인식을 이용하여, 입력된 기준 타입 및 패턴의 스케일 변경을 통해 3차원 모델링을 수행하는 모델링부(120),
   상기 마이컴(110)의 제어신호에 의해 3D, GPS 위성으로 부터 수신되는 위치 정보값을 3차원 좌표값으로 산출하여 상기 증강현실 장치(200)에 추적하여 제시되는 2차원 추적정보 및 3차원 추적정보를 정합하여 오브젝트의 추적정보을 기초로 일정방향 및 각도의 영상을 실시간으로 3차원의 좌표 값을 산출하는 센서모듈부(130),
   상기 마이컴(110)의 제어신호에 반응하여 증강 현실 컨텐츠를 건축 모형에 적용, 증강현실 장치 내 가상객체의 이동을 위해 객체이동 정보를 상기 서버(300)를 통해 수신하여 이를 저장하는 저장부(140),
   상기 마이컴(110)의 제어신호에 의해 상기 증강현실 장치가 특정 촬영구역에 위치하는 영상을 구현하여 상기 사용자 단말(100) 사용자의 실행 위치를 분석하여 분석 결과에 대응하는 기 설정된 증강현실 영상 데이터를 구현 기능 수행에 따라 촬영영상에 적용한 증강현실 컨텐츠를 출력하는 출력부(150),
   상기 사용자 단말(100)의 촬영 영상에 근거하여 사용자의 구동신호에 반응하여 상기 증강현실 장치(200)가 객체이동제어정보를 토대로 사용자 접속에 반응하여 해당 증강현실 컨텐츠 내 가상객체로 이동하는 이동부(160),
   기 마이컴(110)의 제어신호에 따라 사용자 단말(100) 사용자의 요청신호에 반응하여 건물 모형의 벽면에 내장된 마커 또는 선형 또는 전시대바닥 측에 내장된 마커부터 출력되는 실행 좌표 명령을 통하여 주변 배경, 도로, 건물 및 부대시설의 상세 구조가 표현되어져 3차원적인 모형의 증강현실 입체 영상의 표현과 함께 해당 내역을 음성으로 송출하는 음성 송출부(170) 및
   전시대 또는 모형 마크형태, 선형 실행틀에 장착된 하나 이상의 건물, 도로 등의 시설물과 지형이 기록되어 있는 시뮬레이션 화상 데이터와 주요도로현황, 단지 특장점, 위치현황, 주차장현황, 주민시설현황, 부대시설현황, 건물타입의 현황 등의 안내 데이터를 재생시켜 상기 사용자 단말(100) 장치를 선택적으로 재생시키는 선택조작부(180)를 포함하여 구성되는 것을 특징으로 하는 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템.
   
2. 삭제
3. 삭제
4. 삭제

Images