KR20100124571A - 증강 현실을 이용한 정보 안내 장치 및 그 방법 - Google Patents
증강 현실을 이용한 정보 안내 장치 및 그 방법 Download PDFInfo
- Publication number
- KR20100124571A KR20100124571A KR1020090043647A KR20090043647A KR20100124571A KR 20100124571 A KR20100124571 A KR 20100124571A KR 1020090043647 A KR1020090043647 A KR 1020090043647A KR 20090043647 A KR20090043647 A KR 20090043647A KR 20100124571 A KR20100124571 A KR 20100124571A
- Authority
- KR
- South Korea
- Prior art keywords
- marker
- information
- image
- cursor
- sub
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 32
- 239000003550 marker Substances 0.000 claims abstract description 98
- 239000011159 matrix material Substances 0.000 claims description 25
- 230000002194 synthesizing effect Effects 0.000 claims description 9
- 238000004364 calculation method Methods 0.000 claims description 6
- 238000009877 rendering Methods 0.000 claims description 6
- 238000012935 Averaging Methods 0.000 claims 1
- 229940050561 matrix product Drugs 0.000 claims 1
- 239000000463 material Substances 0.000 abstract description 7
- 238000001514 detection method Methods 0.000 abstract 1
- 239000000872 buffer Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000001737 promoting effect Effects 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 208000024891 symptom Diseases 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Human Resources & Organizations (AREA)
- Primary Health Care (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Multimedia (AREA)
- Marketing (AREA)
- Signal Processing (AREA)
- Strategic Management (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- User Interface Of Digital Computer (AREA)
- Processing Or Creating Images (AREA)
Abstract
증강 현실을 이용한 정보 안내 장치 및 그 방법을 개시한다. 정보 안내 장치는 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 영상 입력부; 및, 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 영상 재현부를 포함하고, 상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것을 의미한다.
박람회, 놀이 공원, 캠퍼스, 안내 장치, AR(증강 현실), 3D 객체
Description
본 발명의 실시예들은 박람회, 놀이공원, 행사장과 같은 대단위 시설을 포함한 지역 공간에 대한 이용 안내, 길 안내, 시설물 안내 등 각종 정보를 제공하는 정보 안내 장치 및 그 방법에 관한 것이다.
전시회, 박물관, 미술관 등은 관람을 위하여 작품에 대한 정보를 제공하는 것을 필요로 하다. 또한, 놀이공원, 복합건물(복합 문화공간), 캠퍼스 등 대단위 시설을 포함하는 공간의 경우 내부의 길 안내 및 특정 건물의 위치나 상세 지도 등과 관련된 정보를 제공할 필요가 있다.
이러한 정보를 제공하는 안내 장치는 비디오 및 오디오 수단을 구비하여 사용자가 요구하는 정보를 영상과 함께 음성 안내로 제공할 수 있다.
예를 들어, 미술관의 경우 기존의 안내 장치는 사용자가 특정 작품에 대한 검색을 요청할 경우 선택된 작품에 해당하는 이미 저장된 컨텐츠(Pre-loaded Taping Contents)를 재생하는 방식이 일반적이다. 또한, 작품에 RF 태그를 미리 부착하고 사용자가 RFID를 인식할 수 있는 단말기를 들고 작품에 접근할 경우 단말 기에서 작품에 부착된 RF 태그의 ID를 자동으로 센싱하여 이에 대한 정보를 제공하는 방식이 상용화 되고 있다.
그러나, 사용자가 직접 정보를 검색하는 방식이나 RFID를 이용한 자동 센싱 방식을 차치하더라도 기존의 안내 장치는 향상된 인터페이스에도 불구하고 정보와 관련된 이미지를 제공하는데 한계가 있다. 사용자가 필요로 하는 정보를 좀 더 유용한 방식으로 다양한 컨텐츠로서 제공할 수 있는 안내 장치의 개발이 필요하다.
본 발명의 일실시예는 여러 시설물과 물건을 포괄한 대단위 공간에 대하여 사용자가 필요로 하는 정보를 보다 유용한 방식으로 제공하기 위한 AR(Augmented Reality) 기술을 이용한 정보 안내 장치 및 그 방법을 제공한다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치는 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 영상 입력부; 및, 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 영상 재현부를 포함한다. 여기서, 상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치에서 상기 영상 입력부는 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받고, 상기 영상 재현부는 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성한다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치에서 상기 영상 재현부는 상기 메인 객체의 좌표를 기준으로 상기 커서용 마커의 위치 및 상기 시설물 또는 물건의 위치를 상대 좌표로 계산하는 좌표 계산부와, 상기 시설물 또는 물건의 3D 위치 정보를 2D 영역 정보로 변환하여 상기 변환된 2D 영역 정보를 통해 상기 커서용 마커의 위치에 따른 사용자 인터페이스를 인식하는 마커 인식부와, 상기 커서용 마커의 움직임과 대응되는 위치에 상기 서브 객체를 렌더링 하되, 상기 커서용 마커의 위치를 프레임 단위로 저장한 후 상기 저장된 일정 개수의 프레임에 대한 위치를 평균하여 상기 평균에 해당하는 위치에 상기 서브 객체를 렌더링 하는 렌더링부를 포함한다.
그리고, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 입력부 및 영상 재현부를 포함한 정보 안내 장치의 증강 현실을 이용한 정보 안내 방법에 있어서, 상기 영상 입력부에서 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 단계; 및, 상기 영상 재현부에서 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재 현하는 단계를 포함한다. 이때, 상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 상기 영상 입력부에서 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받는 단계; 상기 영상 재현부에서 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성하는 단계;를 더 포함한다.
본 발명의 일실시예에 따르면, 박람회, 놀이공원, 행사장과 같은 대단위 시설을 포함한 지역 공간에 대한 안내, 홍보, 입장 등의 용도로 사용하는 인쇄물을 매개로 지역 공간과 관련된 다양한 정보를 제공함으로써 인쇄물의 용도를 확대하여 인쇄물 이상의 의미를 부여할 수 있다.
본 발명의 일실시예에 따르면, 지역 공간의 3D 객체를 카메라로 촬영된 실시간 영상에 합성하여 재현함으로써 사용자로 하여금 가상의 객체가 실제 공간에 존재하는 것과 같은 착각을 일으켜 정보를 이용하는 사용자의 재미를 극대화시킬 수 있다.
본 발명의 일실시예에 따르면, 지역 공간을 모델링 한 3D 객체를 AR 기술을 이용하여 재현하는 과정에서 사용자가 조작하는 마커의 움직임을 사용자 인터페이 스로 그대로 반영함으로써 사용자의 의도를 쉽게 인식할 수 있으며 오락성이 부각된 새로운 느낌의 인터페이스를 제공할 수 있다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
본 발명의 일실시예에 따른 정보 안내 장치는 박람회, 놀이공원, 행사장과 같은 적어도 하나의 시설물 또는 물건을 포괄하는 지역 공간에 비치되어 지역 공간에 관련된 전반의 정보 및 각각의 시설물 또는 물건과 관련된 세부 정보를 제공한다.
도 1은 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 외형에 대한 일례를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 정보 안내 장치의 외형은 안내대(110)와, 촬영 방향이 안내대(110)를 향하는 카메라(130)와, 카메라(130)를 통해 촬영되는 영상을 출력하는 모니터(150)가 구비된다.
본 발명의 일실시예에 따른 정보 안내 장치는 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 인쇄물(100)을 매개로 조작할 수 있다. 인쇄물(100)은 지역 공간에서 배부되는 것으로 지역 공간을 인식하기 위한 정보(예를 들어, 바코드, 문형 등)를 가지는 정보용 마커(101)가 인쇄 또는 부착된다. 인쇄물(100)은 지역 공간 및 지역 공간 내 시설물 또는 물건과 관련된 정보가 인쇄되어 있거나 지역 공간의 2D 지도가 인쇄된다.
도 1에 도시한 바와 같이, 본 발명의 일실시예에 따른 정보 안내 장치는 사용자가 인쇄물(100)을 안내대(110)에 올려 놓거나 카메라(130) 아래에 위치시킬 경우 카메라(130)에서 촬영된 영상으로부터 정보용 마커(101)를 검출하여 모니터(150)를 통해 지역 공간에 대한 정보 안내 서비스를 개시한다.
또한, 본 발명의 일실시예는 정보 안내 서비스에 대한 입력수단으로 사용자가 손에 쥐고 사용할 수 있는 커서용 마커(미도시)를 이용한다. 커서용 마커는 플라스틱 등의 재질로 제작된 것으로 입력수단으로 이용하기 위한 정보(예를 들어, 바코드, 문형 등)를 가진다. 본 발명의 일실시예에 따른 정보 안내 장치는 사용자가 커서용 마커를 안내대(110)의 영역 내에서 이동시킬 경우 카메라(130)에서 촬영된 영상으로부터 커서용 마커의 움직임을 추적하여 커서용 마커를 모니터(150)에 출력된 영상에 커서 등으로 표시한다. 즉, 본 발명의 일실시예는 커서용 마커의 움직임을 사용자 인터페이스로 그대로 반영하여 정보 안내 서비스에 대한 입력 수단으로 이용할 수 있다.
도 2는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 내부 구성을 도시한 도면이다.
도 2를 참조하면, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치는 영상 입력부(210)와, 영상 재현부(230)와, 데이터베이스(250)를 포함한다. 여기서, 영상 재현부(230)는 좌표 계산부(231)와, 마커 인식부(233)와, 렌더링부(235)로 구성된다.
영상 입력부(210)는 카메라(130)로 촬영된 실시간 영상을 입력받는 역할을 수행한다. 영상 입력부(210)는 카메라(130)로부터 정보용 마커(101)가 인쇄 또는 부착된 인쇄물(100)의 영상(이하, '입력 영상'이라 칭함)을 입력 받으며, 이후 사용자에 의해 조작되는 커서용 마커의 영상 즉, 커서용 마커의 움직임을 실시간으로 입력 받는다.
데이터베이스(250)는 지역 공간과 관련된 3D 객체(이하, '메인 객체'라 칭함) 및, 지역 공간 내 각각의 시설물 또는 물건과 관련된 3D 객체(이하, '서브 객체'라 칭함)를 유지한다. 메인 객체 및 서브 객체는 지역 공간 및, 시설물 또는 물건의 실제 형상을 3D로 모델링 한 객체를 포함한다.
영상 재현부(230)는 입력 영상으로부터 정보용 마커(101)가 검출되면 데이터베이스(250)에 저장된 메인 객체를 입력 영상에 합성하여 AR 영상으로 재현하는 역할을 수행한다. 영상 재현부(230)는 커서용 마커의 움직임을 메인 객체에 대한 사용자 인터페이스로 반영하는 역할을 수행한다. 이때, 영상 재현부(230)는 커서용 마커가 함께 촬영된 입력 영상에서 커서용 마커의 위치에 마커 영상 대신 커서에 해당하는 아이콘을 표시하여 사용자 인터페이스를 제공한다. 영상 재현부(230)는 커서용 마커의 위치 및 움직임에 따라 지역 공간 내 특정 시설물 또는 물건에 대한 사용자의 선택을 인식하여 사용자로부터 선택된 시설물 또는 물건에 해당하는 서브 객체를 데이터베이스(250)에서 읽어와 입력 영상에 합성하여 AR 영상으로 재현하는 역할을 수행한다.
영상 재현부(230)의 동작을 더욱 상세하게 설명한다.
본 발명의 일실시예는 메인 객체에 대한 사용자 인터페이스를 제공하는 과정에서 시설물 또는 물건과 메인 객체 간의 상호 관계, 또는 커서용 마커와 메인 객체 간의 상호 관계를 가지고 동작해야 한다. 즉, 본 발명의 일실시예는 서브 객체를 표시할 정확한 위치를 판단하기 위하여 메인 객체의 좌표를 기준으로 한 시설물 또는 물건의 상대 좌표와 커서용 마커의 상대 좌표를 이용한다.
좌표 계산부(231)는 메인 객체의 좌표를 기준으로 메인 객체 내에서의 커서용 마커의 위치 및 시설물 또는 물건의 위치를 상대 좌표로 계산한다. 예를 들어, 카메라(130)를 통해 입력된 입력 영상의 좌표에서 커서용 마커의 위치 정보와, 시설물 또는 물건의 위치 정보는 수학식 1(이하, '서브 행렬'이라 칭함)과 같이 3×4 행렬 형태로 나타내고 메인 객체의 위치 정보는 수학식 2(이하, '메인 행렬'이라 칭함)와 같이 마찬가지로 3×4 행렬 형태로 나타낼 수 있다. 이때, 메인 행렬과 서브 행렬의 R은 회전 값을 의미하고 T는 3차원(x, y, z) 좌표 값을 의미한다.
좌표 계산부(231)는 시설물 또는 물건과 메인 객체 간의 상호 관계, 또는 커서용 마커와 메인 객체 간의 상호 관계를 연산하기 위해 행렬의 [0 0 0 1]행을 메인 행렬과 서브 행렬의 4행으로 추가하여 메인 행렬과 서브 행렬을 4×4 행렬 형태로 변환한다. 여기서, 행렬의 [0 0 0 1]행은 변환을 가능하도록 하는 정보를 갖지 않는 행을 의미한다.
그리고, 좌표 계산부(231)는 수학식 3과 같이 메인 행렬의 역 행렬을 서브 행렬과 행렬 곱을 연산한다. 이때, 연산된 결과는 메인 객체의 좌표를 기준으로 한 커서용 마커의 상대적 위치 정보 또는, 시설물 또는 물건의 상대적 위치 정보를 나타낸다. 따라서, 본 발명의 일실시예는 시설물 또는 물건과 메인 객체 간, 또는 커서용 마커와 메인 객체 간의 거리적 관계나 회전적 관계의 판단이 가능하다.
본 발명의 일실시예는 사용자가 커서용 마커를 이용하여 메인 객체 내 특정 시설물 또는 물건의 위치에 접촉할 경우 모니터(150) 상에 보이는 접촉이 시설물 또는 물건에 대한 접촉으로 반영되어야 한다. 예를 들어, 커서용 마커의 위치가 시설물 또는 물건의 3D 위치 정보 중 x 및 y의 영역과는 일치하나 z 영역과 일치하지 않은 경우 사용자가 모니터(150)를 통해 AR 영상을 볼 때는 접촉이 이루어진 것처럼 보이지만 시스템에서는 커서용 마커에 의한 접촉이 이루어지지 않은 것으로 인식될 수 있다. 이러한 괴리를 극복하고 모니터(150) 상에 보이는 것과 동일하게 커서용 마커의 접촉을 인지하기 위하여, 마커 인식부(233)는 시설물 또는 물건의 3D 위치 정보를 2D 영역 정보로 변환하여 2D 영역 정보를 통해 커서용 마커의 위치에 따른 사용자 인터페이스를 인식한다.
도 3을 참조하면, 마커 인식부(233)는 좌표 계산부(231)를 통해 계산된 시설물 또는 물건의 3D 위치 정보인 상대 좌표(301)가 2D 영역으로 투영된 위치 정보(303)를 얻은 후 2D 영역으로 투영된 위치 정보(303)를 수학식 4에 적용하여 시설물 또는 물건의 2D 영역 정보(Vx, Vy)(305)를 구할 수 있다. 3D의 메인 객체 상에 존재하는 시설물 또는 물건은 8개 이상의 상대 위치 정보를 가지므로 행렬 계산을 거쳐 3D 위치 정보를 투영하여 2D 영역의 점으로 변환할 수 있다. 2D 영역으로 투영된 위치 정보(303)에 2D 영역 정보를 나타내는데 불필요한 점들은 그레이엄 알고리즘(Graham's Algorithm)으로 구현된 콘벡스 훌(Convex Hull) 알고리즘을 이용하여 제거할 수 있다. 결과적으로, 마커 인식부(233)는 2D 영역으로 투영된 위치 정보(303) 중 외각을 나타내는 점들을 이용하여 영역 정보를 얻을 수 있다.
(여기서, Cx와 Cy와 Cz는 2D 영역으로 투영된 위치 정보, K는 상기 카메라의 해상도를 나타내는 상수를 의미한다.)
본 발명의 일실시예는 커서용 마커가 접촉된 2D 영역 정보에 대응되는 특정 시설물 또는 물건의 3D 객체 즉, 서브 객체를 커서용 마커의 상대 좌표 상에 재현한 AR 영상을 제공한다.
렌더링부(235)는 좌표 계산부(231)를 통해 계산된 커서용 마커에 대한 상대 좌표를 이용하여 커서용 마커에 의해 선택된 시설물 또는 물건의 서브 객체를 커서용 마커의 상대 좌표 상에 렌더링 한다. 즉, 본 발명의 일실시예는 커서용 마커의 움직임을 따라가면서 커서용 마커의 위치 상에 서브 객체를 재현한 AR 영상을 제공한다. 그러나, 커서용 마커의 위치를 검출하여 서브 객체를 출력하는 과정에서 정제되지 않은 커서용 마커의 위치 정보를 그대로 서브 객체에 적용할 경우 렌더링 된 서브 객체가 커서용 마커를 따라 움직이면서 영상의 끊김 또는 사라짐 현상이 발생할 수 있다. 따라서, 본 발명의 일실시예는 연산을 통해 노이즈 데이터를 제거함과 동시에 서브 객체가 커서용 마커의 움직임을 부드럽게 따라가는 효과를 줄 수 있다. 이를 위하여, 렌더링부(235)는 도 4와 같이 커서용 마커(401)의 위치를 프로그램 상의 버퍼(403)에 프레임 단위로 순차적으로 저장한다. 그리고, 렌더링부(235)는 일정한 양의 버퍼에 저장된 위치 정보 즉, 일정 개수의 프레임에 대한 위치 정보를 수학식 5와 같이 평균(E(x))하여 평균(E(x))에 해당하는 위치 정보를 서브 객체의 렌더링에 반영한다. 그 결과, 본 발명의 일실시예는 커서용 마커가 갑자기 사라지더라도 서브 객체는 이전 프레임의 위치 정보를 평균 연산하여 평균된 위치 정보를 따라 서브 객체를 렌더링 함으로써 서브 객체가 화면에서 부드럽게 사라지게 되며 노이즈 데이터로 인해 위치 정보의 연관성이 떨어지더라도 보완된 값을 이용하게 되므로 서브 객체를 안정적으로 화면에 출력할 수 있다.
도 5는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법의 과정을 설명하기 위한 도면이다. 여기서, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 도 1과 도 2에 도시한 정보 안내 장치에 의해 실행될 수 있다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 입력부(210)에서 카메라(130)로 촬영된 실시간 영상을 통해 인쇄물(100)의 영상을 입력 받는다. 이때, 인쇄물(100)은 적어도 하나의 시설물 또는 물건을 포괄하는 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이며, 지역 공간을 인식시키기 위한 정보를 가지는 정보용 마커(101)가 인쇄 또는 부착된다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 영상 입력부(210)를 통해 입력된 입력 영상에서 정보용 마커(101)를 인식한다(S501).
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 정보용 마커(101)가 검출되면 지역 공간과 관련된 3D 객체인 메인 객체를 입력 영상에 합성하여 AR 영상으로 재현한다(S502). 즉, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 인쇄물(100)을 매개로 정보용 마 커(101)가 검출되면 지역 공간에 대한 정보 안내 서비스를 개시한다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 입력부(210)에서 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력 받는다. 이때, 커서용 마커는 사용자가 사용 가능한 입력 수단으로 손에 쥐고 사용할 수 있도록 플라스틱 등의 재질로 제작된 것으로 입력수단으로 이용하기 위한 정보를 가진다.
본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 커서용 마커의 위치를 인식하여(S503) 커서용 마커의 움직임을 메인 객체에 대한 사용자 인터페이스로 반영한다(S504). 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 실시간 영상에서 커서용 마커의 위치를 인식하고 메인 객체가 합성된 AR 영상에서 커서용 마커의 위치에 커서에 해당하는 아이콘을 표시하여 사용자 인터페이스를 제공한다. 즉, 영상 재현부(230)는 커서용 마커의 위치 및 움직임을 인식하여 이를 메인 객체 내 특정 시설물 또는 물건에 대한 사용자의 선택 입력(클릭)으로 인식할 수 있다. 특히, 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법은 영상 재현부(230)에서 커서용 마커에 의해 선택된 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 커서용 마커의 움직임을 따라가면서 커서용 마커의 위치 상에 재현한 AR 영상을 제공한다.
따라서, 본 발명의 일실시예는 지역 공간에 대한 안내, 홍보, 입장 등의 용도로 사용하는 인쇄물을 매개로 지역 공간과 관련된 다양한 정보를 제공할 수 있으며, 지역 공간의 3D 객체를 카메라로 촬영된 실시간 영상에 합성한 AR 영상을 제공 하여 정보 이용의 재미를 부가할 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
도 1은 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 외형에 대한 일례를 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 장치의 내부 구성을 도시한 도면이다.
도 3은 본 발명의 일실시예에서 커서용 마커를 이용한 사용자 인터페이스를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에서 3D 객체의 렌더링에 대한 일례를 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 증강 현실을 이용한 정보 안내 방법의 과정을 설명하기 위한 도면이다.
<도면의 주요 부분에 대한 부호의 설명>
210: 영상 입력부
230: 영상 재현부
231: 좌표 계산부
233: 마커 인식부
235: 렌더링부
Claims (9)
- 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 영상 입력부; 및,상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 영상 재현부를 포함하고,상기 인쇄물은 적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것이며,상기 영상 입력부는 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받고,상기 영상 재현부는 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성하는, 증강 현실을 이용한 정보 안내 장치.
- 영상 입력부 및 영상 재현부를 포함한 정보 안내 장치의 증강 현실을 이용한 정보 안내 방법에 있어서,상기 영상 입력부에서 지역 공간을 인식하기 위한 정보를 가지는 정보용 마커가 인쇄 또는 부착된 인쇄물의 영상을 카메라로부터 입력받는 단계; 및,상기 영상 재현부에서 상기 입력된 영상으로부터 상기 정보용 마커의 검출을 통해 상기 지역 공간과 관련된 3D 객체인 메인 객체를 상기 영상에 합성하여 재현하는 단계;를 포함하고,상기 인쇄물은,적어도 하나의 시설물 또는 물건을 포괄하는 상기 지역 공간에 대한 안내, 홍보, 입장 중 적어도 하나의 용도로 사용되는 것인, 증강 현실을 이용한 정보 안내 방법.
- 제2항에 있어서,상기 영상 입력부에서 상기 카메라로부터 사용자에 의해 조작되는 커서용 마커의 움직임을 실시간으로 입력받는 단계; 및상기 영상 재현부에서 상기 커서용 마커의 움직임을 상기 메인 객체에 대한 사용자 인터페이스로 반영하여 상기 커서용 마커의 움직임에 따라 상기 메인 객체 내 시설물 또는 물건과 관련된 3D 객체인 서브 객체를 상기 영상에 합성하는 단계;를 더 포함하는, 증강 현실을 이용한 정보 안내 방법.
- 제3항에 있어서,상기 서브 객체를 합성하는 단계는,상기 영상 재현부에서 상기 메인 객체의 좌표를 기준으로 상기 커서용 마커의 위치 및 상기 시설물 또는 물건의 위치를 상대 좌표로 계산하는 단계를 포함하 는, 증강 현실을 이용한 정보 안내 방법.
- 제3항에 있어서,상기 서브 객체를 합성하는 단계는,상기 영상 재현부에서 수식 1과 같이 상기 메인 객체의 위치 정보를 행렬 형태로 나타낸 메인 행렬과 상기 커서용 마커 또는, 시설물 또는 물건의 위치 정보를 행렬 형태로 나타낸 서브 행렬을 4행에 [0 0 0 1]에 해당하는 행을 추가한 4×4 행렬 형태로 변환한 후 상기 메인 행렬의 역 행렬과 상기 서브 행렬의 행렬 곱으로 상기 커서용 마커 또는 서브 객체에 대한 상대 좌표를 계산하는, 증강 현실을 이용한 정보 안내 방법.수식 1:
- 제4항에 있어서,상기 서브 객체를 합성하는 단계는,상기 영상 재현부에서 계산된 상기 커서용 마커 또는, 시설물 또는 물건에 대한 상대 좌표를 이용하여 상기 시설물 또는 물건의 3D 위치 정보를 2D 영역 정보로 변환한 후 상기 변환된 2D 영역 정보를 통해 상기 커서용 마커의 위치에 따른 사용자 인터페이스를 인식하는 단계를 포함하는, 증강 현실을 이용한 정보 안내 방법.
- 제4항에 있어서,상기 서브 객체를 합성하는 단계는,상기 영상 재현부에서 계산된 상기 커서용 마커 또는, 시설물 또는 물건에 대한 상대 좌표를 이용하여 상기 커서용 마커의 위치에 상기 서브 객체를 랜더링 하는 단계를 포함하는, 증강 현실을 이용한 정보 안내 방법.
- 제8항에 있어서,상기 서브 객체를 랜더링 하는 단계는,상기 커서용 마커의 위치를 프레임 단위로 저장한 후 상기 저장된 일정 개수의 프레임에 대한 위치를 평균하여 상기 평균에 해당하는 위치에 상기 서브 객체를 렌더링 하는, 증강 현실을 이용한 정보 안내 방법.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090043647A KR101559586B1 (ko) | 2009-05-19 | 2009-05-19 | 증강 현실을 이용한 정보 안내 장치 및 그 방법 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020090043647A KR101559586B1 (ko) | 2009-05-19 | 2009-05-19 | 증강 현실을 이용한 정보 안내 장치 및 그 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20100124571A true KR20100124571A (ko) | 2010-11-29 |
KR101559586B1 KR101559586B1 (ko) | 2015-10-13 |
Family
ID=43408758
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020090043647A KR101559586B1 (ko) | 2009-05-19 | 2009-05-19 | 증강 현실을 이용한 정보 안내 장치 및 그 방법 |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101559586B1 (ko) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013070504A1 (en) * | 2011-11-11 | 2013-05-16 | Google Inc. | Structural display of visual codes |
KR20160146567A (ko) | 2015-06-12 | 2016-12-21 | 신동한 | 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102435802B1 (ko) | 2020-12-21 | 2022-08-24 | 경일대학교산학협력단 | 증강 현실 기반의 캠퍼스 안내 장치 및 방법 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100734613B1 (ko) | 2006-02-16 | 2007-07-03 | 주식회사 다민스토리 | 인터넷상의 3차원 멀티플렉스 및 포탈서비스 시스템과 그방법 및 그 방법에 대한 컴퓨터 프로그램을 저장한기록매체 |
KR100777215B1 (ko) * | 2006-05-30 | 2007-11-19 | 한국과학기술연구원 | 휴대용 기기를 이용한 증강현실 영상 시스템 |
KR100786351B1 (ko) | 2006-08-29 | 2007-12-14 | 울산대학교 산학협력단 | Ar을 이용한 작업로봇 티칭 시스템 및 방법 |
-
2009
- 2009-05-19 KR KR1020090043647A patent/KR101559586B1/ko active IP Right Grant
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2013070504A1 (en) * | 2011-11-11 | 2013-05-16 | Google Inc. | Structural display of visual codes |
KR20160146567A (ko) | 2015-06-12 | 2016-12-21 | 신동한 | 가변적으로 빠르게 움직이는 객체를 검출하는 방법 및 장치 |
Also Published As
Publication number | Publication date |
---|---|
KR101559586B1 (ko) | 2015-10-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8055061B2 (en) | Method and apparatus for generating three-dimensional model information | |
JP6340017B2 (ja) | 被写体と3次元仮想空間をリアルタイムに合成する撮影システム | |
US7292240B2 (en) | Virtual reality presentation device and information processing method | |
US8805016B2 (en) | Method for augmenting a real scene | |
JP4958497B2 (ja) | 位置姿勢測定装置及び位置姿勢測定方法、複合現実感提示システム、コンピュータプログラム及び記憶媒体 | |
KR100990416B1 (ko) | 표시 장치, 화상 처리 장치 및 화상 처리 방법, 촬상 장치, 및 기록매체 | |
US8854356B2 (en) | Storage medium having stored therein image processing program, image processing apparatus, image processing system, and image processing method | |
CN110738737A (zh) | 一种ar场景图像处理方法、装置、电子设备及存储介质 | |
KR101867020B1 (ko) | 박물관/미술관용 증강 현실 구현 방법 및 장치 | |
KR20140082610A (ko) | 휴대용 단말을 이용한 증강현실 전시 콘텐츠 재생 방법 및 장치 | |
KR101263686B1 (ko) | 증강 현실을 이용한 노래방 시스템 및 장치, 이의 노래방 서비스 방법 | |
KR101545138B1 (ko) | 증강 현실을 이용한 광고 제공 방법과 그를 위한 시스템, 장치 및 단말기 | |
CN103177470A (zh) | 利用机动车的显示器产生增强现实的方法和*** | |
CN102037326A (zh) | 以3d显示导航数据的方法 | |
CN113359986B (zh) | 增强现实数据展示方法、装置、电子设备及存储介质 | |
CN112689854A (zh) | 动画合成装置、动画合成方法以及记录介质 | |
CN112740284A (zh) | 动画合成装置、动画合成方法以及记录介质 | |
KR101641672B1 (ko) | 휴대단말기를 이용한 건축 모형 실행의 증강 현실 시스템 | |
KR20100124571A (ko) | 증강 현실을 이용한 정보 안내 장치 및 그 방법 | |
KR20020028578A (ko) | 모션 게임 장치의 모션 데이터 디스플레이 방법 및 평가방법 | |
US11961190B2 (en) | Content distribution system, content distribution method, and content distribution program | |
CN112947756A (zh) | 内容导览方法、装置、***、计算机设备及存储介质 | |
CN116974416A (zh) | 数据处理方法、装置、设备及可读存储介质 | |
KR101850134B1 (ko) | 3차원 동작 모델 생성 방법 및 장치 | |
JP2016131342A (ja) | 鉄道模型観賞用装置、方法、プログラム、専用表示モニタ、合成用情景画像データ |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20181001 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20190905 Year of fee payment: 5 |