KR20110136012A - 위치와 시선방향을 추적하는 증강현실 장치 - Google Patents

Abstract

본 발명은 위치와 시선방향을 추적하는 증강현실 장치에 관한 것으로서, 본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치는, 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결되며, 사용자에 대한 위치 추적 센서와 시선 추적 센서를 구비하여 상기 투명 디스플레이에 공간 밖의 객체와 연관된 가상현실 데이터를 표시하도록 시선방향을 추적하는 증강현실 장치에 있어서, 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부와, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 공간 안에서 상기 투명 디스플레이 너머 공간 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부와, 상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 공간 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부와, 상기 시선 추적 센서를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부와, 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부와, 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부와, 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부와, 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부를 구비한다.

Description

위치와 시선방향을 추적하는 증강현실 장치{Augmented Reality Device to Track Eyesight direction and Position}

본 발명은 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결되며, 사용자 위치에서 바라보는 투명 디스플레이 너머의 객체와 연관된 가상현실 데이터를 상기 사용자의 시선방향에 맞게 투명 디스플레이에 출력하는 증강현실 장치를 제공하는 것이다.

디스플레이 장치를 통해 표시되는 현실은 카메라를 통해 실제 세계를 촬영한 실제현실(Full Reality)과 실제 세계에는 존재하지 않으나 컴퓨터를 통해 만들어진 가상 세계를 표현하는 가상현실(Virtual Reality)로 나뉘며, SF(Science Fiction) 영화와 같이 미리 정해진 장면 시나리오에 따라 블루스크린 앞에서 실제현실을 촬영하고 여기에 가상현실을 조합한 크로마키현실(Chroma-Key Reality)이 존재하며, 크로마키현실은 분류 상 가상현실에 속한다.

최근 정보 통신 지속적인 기술의 발전으로 실제현실 상의 객체에 실시간으로 가상현실 데이터를 표시하는 증강현실(Augmented Reality)이 제안되었다. 증강현실은 SF영화와 같이 미리 정해진 장면 시나리오가 없다는 점, 실제현실을 블루스크린 앞에서 촬영하지 않는 점에서 크로마키현실과 구분된다.

상기 증강현실에서 실제현실 상에 가상현실 데이터를 표시할 객체를 결정하는 방법으로는, 실제현실에 마커(Marker)를 표시한 후 상기 마커를 인식하여 상기 마커 상에 가상현실 데이터를 표시하는 마커 방식 증강현실과, 실제현실에 마커를 표시하지 않고 실제현실 상의 객체를 직접 인식하여 가상현실 데이터를 표시하는 마커리스(Markerless) 증강현실이 존재한다. 현재 마커 방식 증강현실은 각각의 마커를 이용하여 몇 가지 시범 서비스가 제공되고 있으나 마커 구성에 대한 표준화가 전혀 존재하지 않으며, 마커리스 증강현실은 스튜디오에서 미리 정해진 객체를 촬영한 실제현실을 이용하는 경우를 제외하고는 객체 인식의 불안정성으로 인해 시범되지 못하고 있다.

또한, 상기 증강현실에서 실제현실에 가상현실 데이터를 표시하는 방법으로는, 카메라를 통해 촬영되어 저장매체에 저장된 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법과, 카메라를 통해 실시간 촬영되는 실제현실로부터 마커/마커리스 방식으로 객체를 인식하고 상기 인식된 객체 상에 가상현실 데이터를 표시하는 방법이 존재하며, 상술된 방법 이외에 카메라를 통해 실제현실을 촬영하지 않고 인간의 눈이 그 너머의 실제현실을 바라보는 투명한 물건(예컨대, 안경, 고글 등)을 투명 디스플레이로 이용하고 센서 기술을 통해 상기 인간의 눈이 투명 디스플레이 너머의 객체를 인식하여 상기 투명 디스플레이 상에 가상현실 데이터를 표시하는 방법이 이론적으로 존재한다.

한편 상기 증강현실은 건물의 유리창 또는 자동차 운전석 전면의 유리창을 투명 디스플레이로 사용하여 상기 투명 디스플레이 건너편의 객체와 연관된 가상현실 데이터를 상기 투명 디스플레이 상에 표시할 수 있다. 그런데, 상기와 같은 투명 디스플레이는 사용자의 위치가 고정되어 있지 않기 때문에 안경, 고글과 달리 사용자의 시선만 추적해서는 투명 디스플레이 건너편의 객체와 사용자의 시선방향을 일치시켜 출력할 수 없는 난해한 문제점을 지니고 있다.

상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결된 증강현실 장치에서 사용자 위치에서 바라보는 투명 디스플레이 너머의 객체와 연관된 가상현실 데이터를 상기 사용자의 시선방향에 맞게 투명 디스플레이에 출력하는 것이다.

본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치는, 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결되며, 사용자에 대한 위치 추적 센서와 시선 추적 센서를 구비하여 상기 투명 디스플레이에 공간 밖의 객체와 연관된 가상현실 데이터를 표시하도록 시선방향을 추적하는 증강현실 장치에 있어서, 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부와, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 공간 안에서 상기 투명 디스플레이 너머 공간 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부와, 상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 공간 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부와, 상기 시선 추적 센서를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부와, 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부와, 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부와, 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부와, 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부를 구비한다.

본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치는, 상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부를 더 구비할 수 있다.

본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치에 있어서, 상기 디스플레이 좌표 산출부는, 상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 공간 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출할 수 있다.

본 발명에 따른 위치와 시선방향을 추적하는 증강현실 장치에 있어서, 상기 증강현실 표시 대상 좌표 영역은 상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출되는 것을 특징으로 하는 위치와 시선방향을 추적할 수 있다.

본 발명에 따르면, 건물의 유리창 또는 자동차 운전석 전면의 유리창을 투명 디스플레이로 사용하는 경우, 상기 건물 또는 자동차 운전석에서 사용자의 위치에 맞게 투명 디스플레이 건너편의 객체와 사용자의 시선방향을 일치시켜 증강현실을 출력하는 이점이 있다.

도 1은 본 발명의 실시 방법에 따른 증강현실 장치 구성을 도시한 도면이다.
도 2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 투명 디스플레이에 증강현실을 출력하는 과정을 도시한 도면이다.
도 3와 도면4는 본 발명의 실시 방법에 따라 투명 디스플레이에 증강현실을 출력하는 것을 예시한 도면이다.

이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.

도면1은 본 발명의 실시 방법에 따른 증강현실 장치(100) 구성을 도시한 도면이다.

보다 상세하게 본 도면1은 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이와 연결된 증강현실 장치(100)에서 사용자가 서있는 위치에서 바라보는 투명 디스플레이 너머의 객체와 연관된 가상현실 데이터를 상기 사용자의 시선방향에 맞게 투명 디스플레이에 출력하는 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 증강현실 장치(100) 구성에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

본 발명의 증강현실 장치(100)는 상기 투명 디스플레이가 설치된 건물 안에 존재하는 사용자의 위치를 추적하는 기능, 상기 사용자의 시선을 추적하는 기능, 상기 투명 디스플레이에 가상현실 데이터를 출력하는 기능을 구비한 장치의 총칭으로서, 상기 사용자의 위치를 추적하는 방식, 사용자의 시선을 추적하는 방식, 상기 투명 디스플레이에 가상현실 데이터를 출력하는 방식에 의해 한정되지 아니한다. 예를들어, 상기 가상현실 데이터는 장치 내 메모리에 저장되어 있거나, 또는 통신망을 통해 수신되거나, 또는 미리 준비된 하나 이상의 폴리곤(Polygon) 데이터와 텍스쳐(Texture) 데이터를 조합하여 실시간 생성될 수 있다.

또한, 상기 증강현실 장치(100)는 장치를 구성하는 구조에 의해 한정되지 아니한다. 예를들어, 상기 증강현실 장치(100)는 하나의 케이스 내에 각 구성부가 통합 구비된 독립 장치 형태, 연결된 두개 이상의 장치에 각 구성부가 분리되어 구비된 연동 장치 형태, 특정 물건/건물/공간에 설치된 형태 등으로 구현될 수 있다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 제어부(105), 메모리부(135), 출력부(125), 센서부(110)를 구비하며, 가상현실 데이터를 획득하는 방식에 따라 통신부(130)를 더 구비할 수 있다.

상기 제어부(105)는 물리적으로 프로세서와 실행 메모리와 버스를 포함하며, 기능적으로 상기 증강현실 장치(100)에 구비된 프로그램이 상기 실행 메모리로 로드되어 상기 프로세서에 의해 연산되도록 처리하는 기록매체 기능을 수행한다. 이에 본 도면1은 상기 증강현실 장치(100)에 구비되는 프로그램 구성부를 편의상 상기 제어부(105) 내에 도시하여 설명하기로 한다.

상기 메모리부(135)는 비휘발성 메모리를 포함하며, 기능적으로 상기 제어부(105)로 로딩될 프로그램 코드와 상기 프로그램 코드가 사용하는 데이터 셋트를 저장/유지하는 저장매체 기능을 수행한다. 여기서, 상기 프로그램 코드는 상기 증강현실 장치(100)의 기본 동작을 운영/제어하는 시스템 프로그램 코드와, 상기 증강현실 장치(100)에 구비되는 각종 애플리케이션 서비스를 제공하는 응용 프로그램 코드를 포함한다.

본 발명의 실시 방법에 따르면, 상기 메모리부(135)는 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값과, 상기 객체 위치 좌표 값에 대응하는 객체와 연관된 가상현실 데이터를 연결하여 저장하며, 이 경우 상기 메모리부(135)는 상기 가상현실 데이터를 획득하는 가상현실 획득수단의 기능을 수행할 수 있다.

상기 출력부(125)는 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이로 가상현실 데이터를 출력시키는 출력모듈을 포함하며, 상기 사용자의 시선방향과 만나는 디스플레이 좌표에 상기 가상현실 데이터를 출력시킨다.

상기 통신부(130)는 어느 하나의 통신 규격과 프로토콜에 따라 유선 통신망과 무선 통신망 중 어느 하나의 통신망에 접속하는 통신모듈을 포함하며, 상기 통신망을 서버(또는 장치)와 통신채널을 연결하거나 또는 다른 증강현실 장치(100)와 통신채널을 연결하는 기능을 수행한다.

본 발명의 실시 방법에 따르면, 상기 통신부(130)는 통신망 상의 서버(또는 장치)에 저장된 가상현실 데이터를 수신하는 가상현실 획득수단의 기능을 수행할 수 있다.

상기 센서부(110)는 건물 내 사용자의 위치를 추적하는 위치 추적 센서(120) 및 상기 사용자의 시선방향을 추적하는 시선 추적 센서(115)로부터 센싱되는 센서신호를 획득하는 장치를 포함한다.

본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(120)와 시선 추적 센서(115)는 하나의 센서로 통합되어 구성될 수 있으며, 별도의 센서로 구성될 수 있다.

본 발명의 실시 방법에 따르면, 상기 위치 추적 센서(120)는 광학 방식, 화상 입력 방식, 전자파 방식, 사운드 판독 방식 중 어느 하나의 센서 방식을 통해 사용자의 위치를 추적한다.

여기서, 상기 광학 방식 위치 추적은 상기 위치 추적 센서(120)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 건물 내에 주사하고, 상기 건물 내 사용자를 통해 반사되는 광선을 인식하여 사용자의 위치를 추적하는 방식이다.

상기 화상 입력 방식 위치 추적은 상기 위치 추적 센서(120)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 건물 내 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 위치를 추적하는 방식이다.

상기 전자파 방식 위치 추적은 상기 건물 내 사용자가 소지한 전자파 송출장치(예컨대, 휴대폰 등)에서 송출되는 전자파 신호를 수신하고, 삼각측량 방식으로 상기 사용자의 위치를 추적하는 방식이다.

상기 사운드 판독 방식 위치 추적은 사람의 귀에는 들리지 않는 사운드(예컨대, 초음파)를 건물 내에 주사하고, 상기 건물 내 사용자를 통해 반사되는 사운드를 인식하여 사용자의 위치를 추적하는 방식이다.

그러나, 상기 위치 추적 센서(120)가 사용자의 위치를 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.

본 발명의 실시 방법에 따르면, 상기 시선 추적 센서(115)는 광학 방식과 화상 입력 방식 중 어느 하나의 센서 방식을 통해 사용자의 시선을 추적한다.

여기서, 상기 광학 방식 위치 추적은 상기 시선 추적 센서(115)에서 육안으로 식별이 난해하며 인체에 무해한 광선(예컨대, 적외선)을 사용자에게 선택적으로 주사하고, 상기 사용자로부터 반사되는 광선을 인식하여 사용자의 시선을 추적하는 방식이다.

상기 화상 입력 방식 시선 추적은 상기 시선 추적 센서(115)에서 CCD(Charge Coupled Device) 소자를 포함하는 카메라를 통해 사용자에 대한 화상 데이터를 입력하고, 상기 화상 데이터를 판독하여 사용자의 시선을 추적하는 방식이다.

그러나, 상기 시선 추적 센서(115)가 사용자의 시선을 추적하는 방식이 상술된 방식으로 한정되는 것은 결코 아니며, 당업자에 따라 다양하게 변형하여 실시할 수 있으며, 본 발명은 상기 변형 가능한 모든 실시예를 포함한다.

도면1을 참조하면, 상기 증강현실 장치(100)는, 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부(140)와, 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부(145)와, 상기 위치 추적 센서(120)를 통해 상기 3차원 좌표계 상의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부(150)와, 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부(155)와, 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부(160)와, 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부(165)와, 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부(170)와, 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부(180)를 구비하며, 상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부(175)를 더 구비할 수 있다. 본 발명의 실시 방법에 따르면, 상기 좌표계 구성부(140), 객체 위치 저장부(145), 사용자 위치 추적부(150), 시선 확인부(155), 시선방향 추적부(160), 객체 확인부(165), 디스플레이 좌표 산출부(170), 증강현실 출력부(180) 중 하나 이상의 구성부는 상기 제어부(105), 메모리부(135), 출력부(125), 센서부(110) 및 통신부(130)를 구비한 증강현실 장치(100)와 연결된 서버에 구비될 수 있으며, 실시 방법에 따라 일부 구성요소는 증강현실 장치(100)에 구비되고 나머지 구성부는 상기 서버에 구비될 수 있다.

상기 좌표계 구성부(140)는 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하며, 상기 z축 방향에 따라 건물 바깥쪽과 건물 안쪽이 결정된다. 상기 3차원 좌표계의 원점은 건물 안, 투명 디스플레이 면, 간물 바깥 중 어디여도 상관 없다.

상기 객체 위치 저장부(145)는 상기 통신부(130)를 통해 사용자 단말과 연결되며, 상기 사용자 단말로부터 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 수신하여 상기 메모리부(135)에 저장된다.

여기서, 상기 객체 위치 좌표 값은 상기 객체 위치 좌표에 위치하는 객체와 연관된 하나 이상의 가상현실 데이터와 연결되어 저장된다.

본 발명의 다른 실시 방법에 따르면, 상기 메모리부(135)는 상기 객체 위치 좌표 값을 저장하고, 상기 객체와 연관된 가상현실 데이터는 상기 통신부(130)를 통해 상기 증강현실 장치(100)와 연결된 서버 상에 저장될 수 있다.

상기 사용자 위치 추적부(150)는 상기 위치 추적 센서(120)를 통해 상기 객체 위치 좌표 값을 결정한 3차원 좌표계와 동일한 좌표계의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출한다.

여기서, 상기 객체 위치 좌표 값과 사용자 위치 좌표 값은 동일한 3차원 좌표 가상의 좌표 값이다.

상기 사용자 확인부(175)는 상기 사용자 위치 추적부(150)를 통해 상기 사용자 위치 좌표 값이 산출되면, 상기 사용자 위치 좌표 값을 통해 상기 투명 디스플레이 면과 사용자 간 거리를 산출하고, 상기 산출된 거리가 기 설정된 거리 이내인 사용자를 증강현실 표시 대상 사용자로 확인할 수 있다.

상기 시선 확인부(155)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 주기적으로 확인한다. 만약 상기 사용자 확인부(175)를 통해 증강현실 표시 대상 사용자가 확인되는 경우, 상기 시선 확인부(155)는 상기 증강현실 표시 대상 사용자의 시선이 투명 디스플레이를 향하는지 선택적으로 확인할 수 있다.

상기 시선 확인부(155)를 통해 상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선방향 추적부(160)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적한다.

여기서, 상기 사용자의 시선방향은 상기 객체 위치 좌표 값과 사용자 위치 좌표 값이 결정되는 3차원 좌표계 상의 직선의 방정식으로 표시될 수 있다.

상기 사용자의 시선방향이 추적되면, 상기 객체 확인부(165)는 상기 시선방향의 연장선을 상기 메모리부(135)에 저장된 객체 위치 좌표 값이 표시되는 범위까지 확장하고, 상기 시선방향과 상기 메모리부(135)에 저장된 객체 위치 좌표 값 사이의 거리를 산출한다.

여기서, 상기 시선방향과 객체 위치 좌표 값 사이의 거리는 직선과 점의 거리를 산출하는 방정식을 통해 산출될 수 있다.

상기 시선방향과 객체 위치 좌표 값 사이의 거리가 산출되면, 상기 객체 확인부(165)는 상기 산출된 거리가 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인한다.

상기 시선방향과 기 설정된 거리 이내에 위치하는 n개의 객체 위치 좌표 값이 확인되면, 상기 디스플레이 좌표 산출부(170)는 상기 n개의 객체 위치 좌표 값과 상기 사용자 위치 좌표 값을 연결하는 직선의 방정식을 산출하고, 상기 직선의 방정식이 상기 투명 디스플레이 면(예컨대 x-y 좌표 면)과 만나는 좌표 값을 n개의 디스플레이 좌표 값으로 산출한다.

본 발명의 실시 방법에 따르면, 상기 n개의 디스플레이 좌표 값이 산출되는 경우, 상기 디스플레이 좌표 산출부(170)는 상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 건물 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출할 수 있다. 여기서, 상기 증강현실 표시 대상 좌표 영역은 상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출된다.

상기 n개의 디스플레이 좌표 값이 산출되면, 상기 증강현실 출력부(180)는 상기 가상현실 획득수단을 통해 상기 n개의 디스플레이 좌표 값과 연결된 n개의 가상현실 데이터를 확인하고, 상기 n개의 디스플레이 좌표 값에 대응하는 투명 디스플레이 영역에 상기 확인된 n개의 가상현실 데이터를 출력한다.

도면2는 본 발명의 실시 방법에 따른 사용자 위치와 시선을 추적하여 투명 디스플레이에 증강현실을 출력하는 과정을 도시한 도면이다.

보다 상세하게 본 도면2는 상기 도면1에 도시된 증강현실 장치(100)에서 지면(또는 건물 바닥)과 수직방향으로 건물에 고정된 투명 디스플레이에 건물 밖에 존재하는 객체와 연관된 가상현실 데이터를 사용자위 위치 별 시선방향과 매칭되는 디스플레이 좌표 영역에 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 증강현실 출력 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.

도면2를 참조하면, 증강현실 장치(100)는 상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하고(200), 상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 건물 안에서 상기 투명 디스플레이 너머 건물 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장한다(205).

이후, 상기 증강현실 장치(100)는 상기 위치 추적 센서(120)를 통해 상기 3차원 좌표계 상의 원점을 기준으로 건물 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하고(210), 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인한다(215).

만약 상기 사용자의 시선이 상기 투명 디스플레이를 향하면(220), 상기 증강현실 장치(100)는 상기 시선 추적 센서(115)를 통해 상기 사용자의 시선방향을 추적하고(225), 상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하고(230), 상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하고(235), 상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력한다(240).

도면3과 도면4는 본 발명의 실시 방법에 따라 투명 디스플레이에 증강현실을 출력하는 것을 예시한 도면이다.

구체적으로 도면3은 사용자위 위치를 고려하지 않고 투명 디스플레이에 증강현실을 출력하는 것을 예시한 것으로서, 도면3을 참조하면, 사용자는 뷰포인트(Viewpoint) A와 뷰포인트 A’에 위치할 수 있다. 만약 사용자가 뷰포인트A의 위치에서 투명 디스플레이 건너편의 객체를 바라보고 있을 때, 상기 객체에 투명 디스플레이 건너편의 객체가 공(Ball)이라는 노란색 풍선 도움말을 가상현실 데이터로 표시한다면, 뷰포인트 A 이미지(Viewpoint A Image)와 같이 표시된다. 이 때, 뷰포인트A’에 위치한 사용자는 뷰포인트 A’ 이미지(Viewpoint A’ Image)와 같이 자신의 시선방향과 일치하지 않게 가상현실 데이터가 출력된다.

도면4는 사용자의 위치를 고려하여 투명 디스플레이에 증강현실을 출력하는 것을 예시한 것으로서, 도면4를 참조하면, 사용자는 뷰포인트 A에 위치하거나 또는 뷰포인트 A’에 위치하는지 상관 없이 자신이 위치에서 투명 디스플레이 건너편의 객체와 연관된 가상현실 데이터를 해당 객체가 보이는 시선방향과 일치시켜 출력된다.

100 : 증강현실 장치 140 : 좌표계 구성부
145 : 객체 위치 저장부 150 : 사용자 위치 추적부
155 : 시선 확인부 160 : 시선방향 추적부
165 : 객체 확인부 170 : 디스플레이 좌표 산출부
175 : 사용자 확인부 180 : 증강현실 출력부

Claims (4)

1. 사용자가 위치한 공간에 고정된 투명 디스플레이와 연결되며, 사용자에 대한 위치 추적 센서와 시선 추적 센서를 구비하여 상기 투명 디스플레이에 공간 밖의 객체와 연관된 가상현실 데이터를 표시하도록 시선방향을 추적하는 증강현실 장치에 있어서,
   상기 투명 디스플레이 면을 x-y축으로 하고, 상기 투명 디스플레이 면과 수직 방향을 z축으로 하는 3차원 좌표계를 구성하는 좌표계 구성부;
   상기 3차원 좌표계 상의 원점을 기준으로 상기 투명 디스플레이가 설치된 공간 안에서 상기 투명 디스플레이 너머 공간 밖에 위치한 하나 이상의 객체에 대한 객체 위치 좌표 값을 저장하는 객체 위치 저장부;
   상기 위치 추적 센서를 통해 상기 3차원 좌표계 상의 원점을 기준으로 공간 내 위치한 사용자의 위치를 추적하여 사용자 위치 좌표 값을 산출하는 사용자 위치 추적부;
   상기 시선 추적 센서를 통해 상기 사용자의 시선이 투명 디스플레이를 향하는지 확인하는 시선 확인부;
   상기 사용자의 시선이 상기 투명 디스플레이를 향하면, 상기 시선 추적 센서를 통해 상기 사용자의 시선방향을 추적하는 시선방향 추적부;
   상기 시선방향의 연장선이 상기 객체 위치 좌표 값과 기 설정된 거리 이내에 위치하는 n(n>=1)개의 객체에 대한 객체 위치 좌표 값을 확인하는 객체 확인부;
   상기 n개의 객체 위치 좌표 값과 사용자 위치 좌표 값을 연결한 직선이 상기 투명 디스플레이와 만나는 n개의 디스플레이 좌표 값을 산출하는 디스플레이 좌표 산출부; 및
   상기 n개의 디스플레이 좌표 값에 n개의 객체와 연관된 가상현실 데이터를 출력하는 증강현실 출력부;를 구비하여 이루어지는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
   
2. 제 1항에 있어서,
   상기 투명 디스플레이 면에서 기 설정된 거리 이내에 위치하는 증강현실 표시 대상 사용자를 확인하는 사용자 확인부;를 구비하여 이루어지는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
   
3. 제 1항에 있어서, 상기 디스플레이 좌표 산출부는,
   상기 n개의 디스플레이 좌표 값을 포함하여 상기 투명 디스플레이 상에 공간 밖의 객체에 대한 가상현실 데이터를 표시할 증강현실 표시 대상 좌표 영역을 산출하는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
   
4. 제 3항에 있어서, 상기 증강현실 표시 대상 좌표 영역은
   상기 투명 디스플레이 상에 먼저 산출된 제2의 증강현실 표시 대상 좌표 영역과 중첩되지 않도록 산출되는 것을 특징으로 하는 위치와 시선방향을 추적하는 증강현실 장치.
   

Images