KR20160066451A - Hmd 디바이스 및 그 제어 방법 - Google Patents

Abstract

HMD(Head Mounted Display) 디바이스가 개시된다. 본 발명에 따른 HMD(Head Mounted Display) 디바이스는, 화면을 디스플레이하는 투명한 접안식 디스플레이부, 사용자가 화면을 보는 시야를 포함하는 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부 및 서로 상이한 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하고, 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하고, 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하도록 디스플레이부를 제어하는 프로세서를 포함한다.

Description

HMD 디바이스 및 그 제어 방법{HEAD MOUNTED DISPLAY DEVICE AND CONTROL METHOD THEREOF}

본 발명은 HMD 디바이스 및 그 제어 방법에 관한 것으로, 더욱 상세하게는 손에 착용할 수 있는 웨어러블 디바이스를 이용하여 디스플레이되는 화면을 제어할 수 있는 HMD 디바이스 및 그 제어 방법에 관한 것이다.

최근 전자 기술의 발전에 따라 다양한 형태로 사용자에게 시각 정보를 표시하기 위한 수단으로서, 사용자의 두부에 착용 가능한 형태를 갖는 디스플레이 장치가 개발되고 있다. 이러한 두부에 착용 가능한 디스플레이 장치를 HMD 디바이스 (Head Mounted Display Device)라고 하며, 사용자의 눈에 접한 디스플레이 패널을 통해 가상 현실 세계를 보여주거나, 현실 세계와 함께 증강된 화면을 보여준다.

특히, 투명 디스플레이 패널을 이용하여 두부에 착용 가능한 형태의 안경식 HMD 디바이스의 경우, 사용자의 실생활에 접목하여 보다 유용하고 편리한 기능을 제공할 수 있기 때문에, 차세대 정보 통신 기기로서 많은 각광을 받고 있다.

그러나, HMD 디바이스의 경우, 그 휴대성이 갖는 장점과 함께, 디스플레이되는 화면을 제어할 수 있는 하드 키를 구비한 별도의 제어 장치가 요구되는 불편을 수반하였다.

본 발명은 상술한 문제점을 해결하기 위한 것으로, 본 발명의 목적은 웨어러블 디아비스를 착용한 손만으로 직관적으로 HMD 디바이스의 화면을 제어할 수 있는 HMD 디바이스 및 그 제어 방법을 제공함에 있다.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 HMD(Head Mounted Display) 디바이스는, 화면을 디스플레이하는 투명한 접안식 디스플레이부, 사용자가 상기 화면을 보는 시야를 포함하는 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부 및 서로 상이한 상기 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하고, 상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하고, 상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서를 포함한다.

이 경우, 상기 촬영부는, 상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 제1 연산에 따른 상기 빛의 위치 및 상기 마커의 위치를 계산하고, 상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 촬영 대상의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행하고, 상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지할 수 있다.

이 경우, 상기 HMD 디바이스는, 회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 저장부를 더 포함할 수 있고, 상기 프로세서는, 상기 저장부에 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출할 수 있다.

이 경우, 상기 프로세서는, 상기 마커를 지정하는 명령을 수신하면, 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 상기 저장부에 저장하도록 제어할 수 있다.

한편, 상기 프로세서는, 상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다.

한편, 상기 촬영부는, 상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행할 수 있다.

한편, 상기 HMD 디바이스는, 상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부를 더 포함하고, 상기 프로세서는, 상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 기능을 수행할 수 있다.

한편, 상기 촬영부는, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고, 상기 프로세서는, 상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다.

이 경우, 상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부를 더 포함하고, 상기 프로세서는, 상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면, 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어할 수 있다.

한편, 본 발명의 일 실시예에 따른, 웨어러블 디바이스를 이용하여 HMD(Head Mounted Display) 디바이스의 투명한 접안식 디스플레이 장치에 디스플레이되는 화면을 제어하는 HMD 디바이스 제어 방법은, 사용자가 상기 화면을 보는 시야를 포함하는 전방을 촬영하는 복수의 촬영 장치를 이용하여, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 단계, 상기 복수의 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적인 위치를 계산하는 제1 연산에 따라 상기 빛의 위치를 계산하는 단계, 상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계 및 상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하는 단계를 포함한다.

이 경우, 상기 영상 데이터를 획득하는 단계는, 상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고, 상기 HMD 디바이스 제어 방법은, 상기 제1 연산에 따른 상기 마커의 위치를 계산하는 단계, 상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 보상값을 산출하는 단계, 상기 산출된 보상값을 이용하여, 변경되는 상기 빛의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산에 따라 상기 빛의 변위를 계산하는 단계 및 상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계를 더 포함할 수 있다.

이 경우, 상기 HMD 디바이스 제어 방법은 회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 단계를 더 포함할 수 있고, 상기 보상값을 산출하는 단계는, 상기 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출할 수 있다.

이 경우, 상기 HMD 디바이스 제어 방법은 상기 마커를 지정하는 명령을 수신하는 단계 및 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 저장하는 단계를 더 포함할 수 있다.

한편, 상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는, 상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다.

한편, 상기 영상 데이터를 획득하는 단계는, 상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고, 상기 HMD 디바이스 제어 방법은, 상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 발광 소자가 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 단계를 더 포함할 수 있다.

한편, 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계 및 상기 터치 명령에 따라 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 단계를 더 포함할 수 있다.

한편, 상기 영상 데이터를 획득하는 단계는, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고, 상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는, 상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다.

이 경우, 상기 HMD 디바이스 제어 방법은 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계 및 상기 터치 명령에 따라 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 단계를 더 포함할 수 있다.

도 1은 본 발명의 일 실시예에 따른 HMD 디바이스 제어 시스템의 구현 형태를 설명하기 위한 도면,
도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 간략한 구성을 나타내는 블럭도,
도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블럭도,
도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 간략한 구성을 나타내는 블럭도,
도 5는 도 4의 웨어러블 디바이스의 상세한 구성을 나타내는 블럭도,
도 6은 본 발명의 일 실시예에 따른 HMD 디바이스의 상대 위치 산출 방식을 설명하기 위한 도면,
도 7 내지 도 8은 본 발명의 일 실시예에 따른 HMD 디바이스의 촬영 방향에 따라 달라지는 마커의 영상을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른 HMD 디바이스가 마커를 이용하여 빛의 변위를 계산하는 방식을 설명하기 위한 도면,
도 10은 본 발명의 일 실시예에 따른 HMD 디바이스에 마커를 등록하는 방법을 설명하기 위한 도면,
도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 3차원 증강현실 화면의 제어를 설명하기 위한 도면,
도 12는 본 발명의 다양한 실시예에 따른 웨어러블 디바이스의 형태를 설명하기 위한 도면,
도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구조를 설명하기 위한 도면,
도 14는 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면,
도 15 내지 16은 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면, 그리고,
도 17은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.

이하에서는 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명한다. 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단된 경우 그 상세한 설명은 생략한다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

도 1은 본 발명의 일 실시예에 따른 HMD 디바이스 제어 시스템의 구현 형태를 설명하기 위한 도면이다.

도 1을 참조하면, HMD(Head Mounted Display) 디바이스 제어 시스템은, HMD 디바이스(200) 및 웨어러블(wearable) 디바이스(400)을 포함한다.

HMD 디바이스(200)는 사용자의 두부에 착용 가능하고, 화면을 표시할 수 있는 디스플레이 장치를 구비한다. 그리고, 디스플레이 장치는 사용자의 눈과 근거리에 위치한 접안식 디스플레이 장치이다.

접안식 디스플레이 장치는 사용자의 양안에 대응되는 두 개의 디스플레이 장치로 구분될 수 있으며, 두 디스플레이 장치는 동일한 화면을 표시할 수 있고, 다른 화면을 표시할 수 있다. 예를 들어, 사용자에게 전방에 하나의 대상으로 인식할 수 있는 오브젝트를 표시하고자 하는 경우, 두 화면은 동일하거나 대응하는 화면을 표시할 수 있으며, 양안시차에 의한 3차원 화면을 표시하고자 하는 경우, 두 디스플레이 장치는 다른 화면을 표시할 수 있다.

HMD 디바이스(200)는 전방을 촬영할 수 있다. 구체적으로, HMD 디바이스(200)는 전방을 촬영하여 영상 데이터를 획득하는 촬영 장치를 구비할 수 있다. 그리고, 촬영 장치는 양안에 대응하는 두 개 또는 그 이상의 촬영 장치를 구비할 수 있으며, 사용자가 HMD 디바이스(200)의 디스플레이 장치의 화면을 바라보는 시야각을 포함하는 화각을 가질 수 있다. 즉, 시야각을 포함하는 화각을 갖는 둘 이상의 디스플레이 장치를 통해 사용자가 외계를 바라볼 때, 획득하는 시야 정보를 포함하는 영상 데이터를 획득할 수 있다. 또한, 둘 이상의 촬영 장치를 통해, 외계의 3차원 상에 존재하는 물체의 위치를 계산할 수 있는 서로 다른 두 영상 데이터를 획득할 수 있다.

웨어러블 디바이스(400)는 사용자의 손에 착용할 수 있다. 구체적으로, 웨어러블 디바이스(400)는 사용자의 손에 착용할 수 있는 형태의 링 모양의 부재를 포함할 수 있다. 웨어러블 디바이스(400)는 사용자의 손에 간편하게 이용할 수 있도록 착용 가능한 형태일 수 있지만, 사용자가 쉽게 파지할 수 있는 막대 모양 등이 될 수 있다.

웨어러블 디바이스(400)는 빛을 발광하는 광원 장치를 구비할 수 있다. 따라서, 사용자의 손에 착용된 웨어러블 디바이스(400)에서 발광하는 빛을 이용하여, HMD 디바이스(200)에서 디스플레이되는 화면을 제어하는 사용자 인터렉션 명령을 입력할 수 있다.

사용자 인터렉션 명령은 HMD 디바이스(200)에 구비된 촬영 장치가 웨어러블 디바이스(400)에서 발광하는 빛을 촬영한 영상 데이터로부터 분석될 수 있다.

이상과 같은 HMD 디바이스 제어 시스템(100)에 의하여, 사용자는 착용 가능한 웨어러블 디바이스(400)를 이용하여 간편하게 HMD 디바이스(200)에 표시된 화면을 제어할 수 있다.

도 2는 본 발명의 일 실시예에 따른 HMD 디바이스의 간략한 구성을 나타내는 블럭도이다.

도 2를 참조하면, 사용자의 두부에 장착 가능한 HMD(Head Mounted Display) 디바이스(200)는 디스플레이부(210), 촬영부(220) 및 프로세서(230)를 포함한다.

디스플레이부(210)는 화면을 디스플레이한다. 구체적으로, 디스플레이부(210)는 사용자의 눈으로부터 근거리에 위치한 투명 디스플레이 패널을 포함하는 접안식 디스플레이 장치일 수 있다. 그리고, 디스플레이부(210)는 사용자의 양안에 대응되는 둘 이상의 투명 디스플레이 패널을 포함할 수 있다.

이로써, 디스플레이부(210)는 투명 디스플레이 패널을 통해 사용자가 HMD 디바이스(200)를 착용한 상태에서 외계의 사물을 인지할 수 있으며, 동시에 투명 디스플레이 패널을 통해 증강 현실 화면을 구현할 수 있다.

촬영부(220)는 전방을 촬영한 영상 데이터를 획득한다. 구체적으로, 촬영부(220)는 사용자가 디스플레이부(210)의 화면을 통해 바라보는 시야각을 포함하는 화각으로 전방의 외계를 촬영할 수 있다. 또한, 촬영부(220)는 웨어러블 디바이스(400)에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득할 수 있다.

여기서, 마커란, 실재하는 물체로서, 증강 현실 화면을 구성하기 위한 기준이 되는 표식을 말하며, 바닥이나 벽면의 표면에 그려지거나 부착된 기설정된 모양으로 나타낼 수 있고, 또는 특정 형상을 갖는 물건이 어떤 위치에 놓여있고, 그 물건을 촬영한 모양이 마커로서 설정될 수 있다.

촬영부(220)는 복수의 촬영 장치로 구성될 수 있다. 그리고, 촬영부(220)를 구성하는 복수의 촬영 장치는 사용자의 양안에 대응되는 둘 이상의 촬영 장치로 배치될 수 있다. 그 이유는 사용자가 화면을 통해 볼 수 있는 범위는 화면 내이고, 화면을 바라보는 사용자의 시야 범위 내에서 사용자의 인터렉션 명령이 이루어지기 때문에 촬영부(220)는 사용자의 시야각을 포함할 수 있는 둘 이상의 촬영 장치를 구비할 수 있다. 또한, 둘 이상의 촬영 장치를 통해 기설정된 거리로 이격된 두 촬영 장치에서 획득한 영상 데이터를 획득하여 외계의 사물의 HMD 디바이스(200)에 대한 상대적인 위치를 계산할 수 있다.

촬영부(220)는 물체로부터 입사되는 피사체의 빛을 모아서 촬상 영역에 광학상이 맺히게 하는 렌즈, 렌즈를 통해 입사되는 빛을 전기 신호로 광전 변환하는 촬상 소자 및 촬상 소자의 아날로그 형태의 신호를 디지털 신호로 변환하여 출력하는 A/D 컨버터로 구성될 수 있다. 여기서, 촬상 소자는 CCD(Charged Coupled Device) 촬상 소자 및 CMOS(Complementary Metal Oxide Semiconductor) 촬상 소자일 수 있다.

프로세서(230)는 HMD 디바이스(200)의 각 구성을 제어한다. 구체적으로 프로세서(230)는 HMD 디바이스(200)의 디스플레이부(210)를 통해 증강 현실 화면을 디스플레이하도록 제어하고, 촬영부(220)로부터 획득한 영상 데이터로부터 웨어러블 디바이스(400)의 빛의 위치 및 움직임을 추출하여, 사용자 인터렉션 명령을 분석하고 그에 대응하는 기능을 수행하도록 제어할 수 있다.

보다 구체적으로, 프로세서(230)는 촬영부(220)의 복수의 촬영 장치로부터 획득한 둘 이상의 영상 데이터에 기초하여 HMD 디바이스(100)에 대한 웨어러블 디바이스(400)의 빛 및 마커의 상대적인 위치를 계산하는 제1 연산을 수행할 수 있다.

그리고, 프로세서(230)는 HMD 디바이스(100)의 위치 및 자세에 따라 변경되는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다.

그리고, 프로세서(230)는 HMD 디바이스(100)의 위치 및 자세에 따라 변경되는 빛에 대한 제1 연산 결과와 산출된 보상값을 이용하여 웨어러블 디바이스(400)에서 발광하는 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행할 수 있다.

프로세서(230)는 웨어러블 디바이스(400)에서 발광하는 빛의 상대적인 움직임을 계산한 제1 연산 결과 또는 공간상에서 웨어러블 디바이스(400)에서 발광하는 빛이 실제 움직인 절대적인 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 분석하여, 그에 대응되는 기능을 수행할 수 있다.

예를 들어, 프로세서(230)는 특정 위치에서 발광하는 빛이 깜박이는 패턴을 분석하여 특정 오브젝트를 선택하는 사용자 인터렉션 명령을 수행할 수 있다. 또는, 일련의 연속적인 화면이 존재하고, 사용자가 다음 화면으로 전환하기 위하여 사용자가 웨어러블 디바이스(400)를 횡으로 길게 움직인 경우, 웨어러블 디바이스(400)의 빛의 연속적인 움직임에 따른 사용자 인터렉션 명령을 감지하여, 감지된 사용자 인터렉션 명령에 따라 다음 화면 또는 이전 화면으로 전환하는 기능을 수행할 수 있다.

프로세서(230)는 촬영부(220)에서 웨어러블 디바이스(400)에 구비된 복수의 광원에서 발광하는 빛을 촬영한 영상 데이터가 획득되면, 복수의 광원 중 어느 하나로부터 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행할 수 있다.

한편, 프로세서(230)는 사용자의 시야상에서 고정된 위치에 오브젝트가 디스플레이되는 일반 모드에서는 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 마커의 위치를 기준으로 3차원 공간감을 일으키는 오브젝트가 디스플레이되는 증강현실 모드에서는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다.

구체적으로, 프로세서(230)는 사용자가 HMD 디바이스를 장착한 상태에서 증강 현실이 적용된 디스플레이를 볼 때, 외계의 특정 위치에 가상의 물체가 존재하는 것처럼 사용자가 주시하는 방향에 따라 화면이 달라지는 증강현실 모드에서는 웨어러블 디바이스(400)의 실제 공간상의 위치 변화를 계산하는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행할 수 있다. 예를 들어, 증강 현실로 표시되는 3차원 오브젝트가 마커의 위치를 기준으로 특정 지점에 놓인 것과 같은 효과의 화면이 디스플레이되면, 사용자가 오브젝트를 바라보는 방향이나 시야를 다른 곳으로 돌리면 오브젝트가 화면에서 사라지거나 다른 각도에서 오브젝트를 바라보는 화면이 디스플레이되게 된다. 이 경우, 다른 각도와 위치에서 3차원 오브젝트를 바라보기 위하여 사용자가 HMD 디바이스를 착용한 상태에서 움직이게 되면, 웨어러블 디바이스의 빛이 촬영되는 위치도 변하게 되어 이를 그대로 사용자 인터렉션 명령으로 받아들일 수 없다. 따라서, 프로세서(230)는 제2 연산에 따른 웨어러블 디바이스의 빛의 변위를 측정하여 사용자 인터렉션 명령을 해석하도록 할 수 있다.

이와 달리, 특정 위치에 놓인 것과 같은 오브젝트를 표시하는 증강현실 화면이 아니라, 사용자가 주시하는 방향이나 위치와 상관 없이 고정된 창이 디스플레이되는 화면이나, 사용자가 주시하는 곳에 따라 화면에 표시되는 정보가 달라지는 경우에는, 사용자가 시야상에서 보이는 고정된 오브젝트를 그대로 선택하면 되기 때문에 웨어러블 디바이스(400)의 실제 공간상의 위치 변화가 얼마나 되는지 계산할 필요가 없다. 따라서, 프로세서(230)는 제1 연산에 따른 웨어러블 디바이스의 빛의 상대적인 위치만 계산하여 사용자 인터렉션 명령을 해석하도록 할 수 있다.

프로세서(230)는 CPU, 제어 프로그램이 저장된 롬 및 외부 입력 신호 또는 데이터를 저장하거나, 수행되고 있는 기능을 저장하기 위한 저장매체로서 사용되는 램을 포함할 수 있다. 여기서 CPU는 싱글 코어뿐 아니라, 듀얼 코어 등 멀티 코어 프로세서일 수 있다. 한편, 프로세서(230)는 다양한 방식으로 구현될 수 있다. 예로서, 주문형 집적회로(ASIC), 임베디드 프로세서, 마이크로 프로세서, 하드웨어 컨트롤 로직, 하드웨어 유한 상태 머신(FSM), 디지털 신호 프로세서(DSP) 중 적어도 하나일 수 있다.

이상과 같은, 본 발명의 일 실시예에 따른 HMD 디바이스(200)는 빛을 발광하는 간단한 구성의 웨어러블 디바이스(400)만으로 다양한 형태의 사용자 인터렉션 명령을 인식하여 디스플레이되는 화면을 제어하는 기능을 수행할 수 있다.

도 3은 도 2의 HMD 디바이스의 상세한 구성을 나타내는 블럭도이다.

도 3을 참조하면, 사용자의 두부에 장착 가능한 HMD 디바이스(300)는 디스플레이부(310), 촬영부(320), 프로세서(330), 통신 인터페이스부(340), 저장부(350) 및 모션 센서(360)를 포함한다.

디스플레이부(310)는 투명한 접안식이고, 화면을 디스플레이한다. 디스플레이부(310)의 구성 및 기능은 도 2의 디스플레이부(210)와 동일한바 구체적인 설명은 생략한다.

촬영부(320)는 사용자가 디스플레이부(310)를 통해 화면을 보는 시야각을 포함하는 화각을 가지고, 웨어러블 디바이스에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양의 마커를 촬영한 영상 데이터를 획득한다. 그리고, 촬영부(320)는 전방을 촬영하는 복수의 촬영 장치로 구성될 수 있다. 촬영부(320)의 구성 및 기능은 도 2의 촬영부(220)와 동일한바 구체적인 설명은 생략한다.

통신 인터페이스부(340)는 웨어러블 디바이스(400)와 통신을 수행한다. 구체적으로, 통신 인터페이스부(340)는 웨어러블 디바이스(400)로부터 사용자의 명령을 수신할 수 있다. 예를 들어, 통신 인터페이스부(340)는 웨어러블 디바이스(400)에 구비된 터치 어레이에 터치되는 사용자의 조작에 따라 입력된 명령을 수신할 수 있다. 또한, 통신 인터페이스부(340)는 웨어러블 디바이스(400)에 구비된 다양한 종류의 버튼을 입력하는 사용자의 명령을 수신할 수 있다.

통신 인터페이스부(340)는 다양한 통신 방식으로 웨어러블 디바이스(400)와 통신을 수행할 수 있다. 예를 들어, 통신 인터페이스부(340)는 블루투스, 지그비, 적외선(IrDA), RF 통신 등의 근거리 통신 방식 및 인터넷 망이나 무선 통신망과 같은 네트워크를 통해 통신을 수행할 수 있다.

저장부(350)는 HMD 디바이스(300)가 기능을 수행하기 위한 다양한 프로그램및 데이터를 저장할 수 있다. 구체적으로, 저장부(350)는 회전 대칭성 없는 모양을 갖는 적어도 하나의 패턴을 저장할 수 있다.

여기서, 패턴은 마커로서 사용될 수 있는 표식 등을 말하며, 회전 대칭성이 없다는 것은 패턴을 360도 회전시켜도 같은 모양이 나타나지 않는 것을 말한다.

한편, 저장부(350)에는 촬영부(320)가 촬영한 물체 중에서 마커로 지정한 물체의 모양이 저장될 수 있다.

저장부(350)는 롬, 램, 또는 HMD 디바이스(300)에 탈/장착 가능한 메모리 카드를 포함할 수 있다. 또한 저장부(350)는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.

모션 센서(360)는 HMD 디바이스(300)의 움직임, 자세, 지향하는 방향, 기울어진 각도 등을 감지할 수 있다. 구체적으로, 모션 센서(360)는 방위 센서를 구비하여 HMD 디바이스(300)를 장착한 사용자가 주시하는 방향이 어느 방향인지 감지할 수 있다. 또는 모션 센서(360)는 가속도 센서를 구비하여, HMD 디바이스(300)를 장착한 사용자가 움직이는 방향이나 속도를 감지할 수 있다.

프로세서(330)는 HMD 디바이스(300)의 각 구성을 제어한다. 디스플레이부(310)와 촬영부(320)를 제어하는 프로세서(330)의 기능 및 동작은 도 2의 프로세서(230)와 동일한바 중복 설명은 생략한다.

프로세서(330)는 저장부(350)에 기저장된 패턴에 대응하는 마커를 인식하여 보상값을 산출할 수 있다. 구체적으로, 프로세서(330)는 촬영부(320)를 통해 획득한 영상 데이터에서 저장부(350)에 저장된 적어도 하나의 패턴과 대응하는 물체를 식별하여 이를 마커로서 인식할 수 있다. 그리고, 프로세서(330)는 인식된 마커를 이용하여, HMD 디바이스(300)의 위치 및 자세에 따라 달라지는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다.

프로세서(330)는 마커를 지정하는 명령이 수신되면, 획득한 영상 데이터 중 지정된 마커에 대응되는 모양을 저장부(350)에 저장하도록 제어할 수 있다.

프로세서(330)는 통신 인터페이스부(340)를 통해 수신된 명령에 대응되는 기능을 수행할 수 있다. 구체적으로 프로세서(330)는 웨어러블 디바이스(400)에 구비된 터치 어레이를 터치하는 명령을 수신하면, 디스플레이된 화면을 스크롤(scroll) 또는 주밍(zooming)하는 기능을 수행할 수 있다.

프로세서(330)는 촬영부(320)에서 웨어러블 디바이스(400)에 구비된 광원에서 발광하는 빛과 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)이 촬영된 영상 데이터가 획득되면, 제1 연산에 따른 빛의 상대적 위치와 빔 스팟의 상대적 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행할 수 있다.

구체적으로, 프로세서(330)는 빛과 빔 스팟을 연장하는 선상에 가상 오브젝트를 지시하기 위한 지시자를 제공하는 기능을 수행할 수 있다. 여기서, 레이저를 방출하는 웨어러블 디바이스(400)에 터치 어레이가 구비되고, 사용자가 터치 어레이를 터치하는 명령이 통신 인터페이스부(340)를 통해 수신될 수 있다. 이 경우, 프로세서(330)는 웨어러블 디바이스(400)의 광원으로부터 이격된 가상 오브젝트를 선택할 수 있는 지시자의 길이를 사용자의 터치 명령에 따라 제어할 수 있다. 예를 들어, 사용자가 웨어러블 디바이스(400)의 터치 어레이를 기설정된 방향으로 슬라이딩하는 터치 조작을 하는 경우, 통신 인터페이스부(340)를 통해 음의 방향으로 터치하는 슬라이딩 명령이 수신되어, 지시자의 길이를 줄이는 기능이 수행될 수 있다.

이상과 같은 본 발명의 일 실시예에 따른 HMD 디바이스(300)는 사용자의 손에 착용 가능한 웨어러블 디바이스(400)를 움직이거나 웨어러블 디바이스(400)에 구비된 간단한 터치 조작만으로 HMD 디바이스(300)에서 디스플레이 화면을 제어할 수 있다.

도 4는 본 발명의 일 실시예에 따른 웨어러블 디바이스의 간략한 구성을 나타내는 블럭도이다.

도 4를 참조하면, 웨어러블 디바이스(400)는 발광 소자(410) 및 제어부(420)를 포함한다.

발광 소자(410)는 빛을 발광한다. 구체적으로, 발광 소자(410)는 웨어러블 디바이스(400)에서 발광하는 빛의 광원이 될 수 있다. 발광 소자(410)는 열변환식 전구, 형광 램프, 전자와 정공 재결합에 의해 빛을 방출하는 LED 또는 OLED로 구현될 수 있다.

제어부(420)는 웨어러블 디바이스(400)의 구성을 제어한다. 구체적으로, 제어부(420)는 웨어러블 디바이스(400)가 사용자의 손에 착용되어 사용자의 손 동작이나 웨어러블 디바이스(400)의 조작에 의한 기능이 수행될 수 있도록 각 구성을 제어할 수 있다.

제어부(420)는 발광 소자(410)에서 발광하는 빛을 제어할 수 있다. 구체적으로, 제어부(420)는 발광 소자(410)가 일정 패턴을 갖는 온/오프 동작을 수행하도록 제어할 수 있다. 또한, 제어부(420)는 발광 소자(410)에서 발광하는 빛의 세기를 조절하거나 빛의 색상(주파수)이 변경되도록 제어할 수 있다.

도 5는 도 4의 웨어러블 디바이스의 상세한 구성을 나타내는 블럭도이다.

도 5를 참조하면, 사용자의 손에 착용 가능한 웨어러블 디바이스(500)는 발광 소자(510-1, 510-2), 통신 인터페이스부(520), 터치 어레이(530), 모션 센서(540) 및 레이저원(550)을 포함한다.

발광 소자(510-1, 510-2)는 빛을 발광한다. 발광 소자(510-1, 510-2)의 구성 및 기능은 도 4의 발광 소자(410)와 동일한바 중복 설명은 생략한다.

발광 소자(510-1, 510-2)는 복수 개로 구성될 수 있다. 구체적으로, 발광 소자는 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)를 포함할 수 있다. 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)는 웨어러블 디바이스(500)의 사용자의 손에 착용 가능한 부재 위에 나란히 배열될 수 있다. 구체적으로, 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)는 반지형 부재 위에 사용자의 손가락이 향하는 방향과 나란하게 일렬로 배열될 수 있다.

통신 인터페이스부(520)는 HMD 디바이스(100)와 통신을 수행한다. 구체적으로, 통신 인터페이스부(520)는 웨어러블 디바이스(500)에 입력한 사용자의 조작에 따른 명령을 HMD 디바이스(100)로 송신할 수 있다.

터치 어레이(530)는 사용자의 터치를 감지한다. 구체적으로, 터치 어레이(530)는 웨어러블 디바이스(500)의 표면에 구비되어 사용자가 손가락이나 접촉을 감지할 수 있는 물체의 터치를 감지할 수 있다.

모션 센서(540)는 웨어러블 디바이스(500)의 움직임, 자세, 지향하는 방향, 기울어진 각도 등을 감지할 수 있다. 구체적으로, 모션 센서(540)는 방위 센서를 구비하여 웨어러블 디바이스(500)를 착용한 사용자가 가리키는 방향이 어느 방향인지 감지할 수 있다. 또는 모션 센서(540)는 가속도 센서를 구비하여, 웨어러블 디바이스(500)를 착용한 사용자가 손을 움직이는 방향이나 속도를 감지할 수 있다.

레이저원(550)은 레이저를 방출한다. 구체적으로, 레이저원(550)은 단일 파장의 광선인 레이저를 방출할 수 있다.

제어부(560)는 웨어러블 디바이스(500)의 각 구성을 제어한다. 구체적으로, 제어부(560)는 사용자가 웨어러블 디바이스(500)를 손에 착용하여 HMD 디바이스(200)를 제어하기 위한 각종 기능을 수행하기 위하여 웨어러블 디바이스(500)의 각 구성을 제어할 수 있다.

제어부(560)는 발광 소자(510-1, 510-2)의 온/오프를 제어할 수 있다. 구체적으로, 제어부(560)는 각각의 제1 발광 소자(510-1) 및 제2 발광 소자(510-2)의 온/오프 동작을 제어할 수 있다. 예를 들어, 두 발광 소자(510-1, 510-2)가 동시에 점멸하도록 할 수 있고, 순차적으로 온 되도록 제어하여 웨어러블 디바이스(500)의 앞과 뒤를 구분할 수 있도록 할 수 있다. 이 경우, 기설정된 순서에 따른 발광 소자(510-1, 510-2)의 점등 순서에 의해 HMD 디바이스(200)는 사용자가 가리키는 방향을 판단할 수 있다.

제어부(560)는 터치 어레이(530)를 터치하는 사용자 조작에 대응되는 명령을 판단할 수 있다. 구체적으로, 제어부(560)는 터치 어레이(530)에 터치하는 사용자의 조작이 터치 어레이(530)의 연속적인 좌표를 터치하는 드래깅(dragging), 슬라이딩 조작시 드래깅하는 속도, 튕기는 플리킹(flicking), 한 위치를 길게 누르는 터치, 문지르는 러빙(rubbing), 연속적으로 누르는 탭핑(tapping)을 구분하여 각각의 조작에 대응하는 명령을 통신 인터페이스부(520)를 통해 HMD 디바이스(100)로 전송하도록 할 수 있다.

제어부(560)는 발광 소자(510-1, 510-2)와 레이저원(550)이 켜지는 순서를 제어할 수 있다. 구체적으로, 제어부(560)는 웨어러블 디바이스(500)에 구비된 발광 소자(510-1, 510-2 중 적어도 하나)가 우선 온 된 후에, 레이저원에서 레이저가 방출되도록 제어할 수 있다. 이 경우, 발광 소자(510-1, 510-2)에서 발광하는 빛과 레이저가 물체에 부딪혀 반사된 빔 스팟을 촬영한 HMD 디바이스(100)는 발광하는 빛의 위치에서 빔 스팟 방향으로 기설정된 길이의 지시자를 제공할 수 있다.

도 6은 본 발명의 일 실시예에 따른 HMD 디바이스의 상대 위치 산출 방식을 설명하기 위한 도면이다.

도 6을 참조하면, 사용자의 좌안(610-1)과 우안(610-2)이 화면이 표시되는 투명 디스플레이 패널(630-1, 630-2) 내에서 볼 수 있는 시야각이 점선으로 표시되어 있고, 시야각을 포함하는 화각을 갖는 두 촬영 장치(620-1, 620-2)가 웨어러블 디바이스에서 발광하는 빛(640)을 촬영하고 있다.

그리고, HMD 디바이스(600)는 좌안(610-1)에 대응하는 제1 촬영 장치(620-1)에서 빛(640)을 촬영한 영상 데이터와 우안(610-2)에 대응하는 제2 촬영 장치(620-2)에서 빛(640)을 촬영한 영상 데이터를 분석하여, 일점 쇄선으로 표시된 각 제1 및 제2 촬영 장치(620-1, 620-2)의 중심으로부터 벗어난 각도를 측정한다.

설명의 편의를 위해 사용자의 전방 방향을 y, 오른쪽을 x, 위쪽을 z축 방향으로 정의할 때, xy 평면에서, 각 제1 및 제2 촬영 장치(620-1, 620-2) 중심으로부터 빛(640)이 편향된 각도는 θ1과 θ2 이고, yz 평면에서 편향된 각도는 θ3이다.

그리고, 두 촬영 장치(620-1, 620-2) 사이의 거리를 d라고 하면, 이미 알고있는 한 변의 길이 d와 측정된 삼각형의 두 내각으로부터 빛(640)의 HMD 디바이스(600)에 대한 상대 위치를 구할 수 있다.

도 7 내지 도 8은 본 발명의 일 실시예에 따른 HMD 디바이스의 촬영 방향에 따라 달라지는 마커의 영상을 설명하기 위한 도면이다.

도 7을 참조하면, 바닥의 마커를 수직으로 바라보는 HMD 디바이스의 상태를 나타내는 도 7(a)를 기준으로 하였을 때, HMD 디바이스가 마커를 바라보는 모든 방향을 나타낼 수 있는 세 가지 요소는 직각 좌표계의 x, y, z축에서 각 축을 중심으로 회전한 각도 α, β, γ이다. 여기서, 회전한 각도 α, β, γ는 각 x, y, z 축과 수직한 평면상에 오리엔테이션(orientation) 방향으로 회전한 경우(right-hand rule), 양의 값을 가지고, 반대 방향으로 회전한 경우, 음의 값을 갖는 것으로 정의한다.

도 7(b)는 도 7(a)에서 z 축을 중심으로 γ도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -γ도 회전한 형태를 촬영하게 된다.

도 7(c)는 도 7(a)에서 y 축을 중심으로 β 도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -β 도 회전하여 뒤로 기울어진 형태를 촬영하게 된다.

도 7(d)는 도 7(a)에서 x 축을 중심으로 α 도 회전하였을 때의 HMD 디바이스의 모습을 나타낸다. 이 경우, HMD 디바이스는 마커가 -α 도 회전하여 옆으로 틀어진 형태를 촬영하게 된다.

도 8을 참조하면, 도 8(a)는 바닥의 마커를 수직으로 촬영한 도 7(a)의 방향에서 보이는 마커의 모습이다.

도 8(b)는 z 축을 중심으로 45도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 -45도 회전한 모습을 볼 수 있다.

도 8(c)는 y 축을 중심으로 60도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 -60도 뉘여진 모습을 볼 수 있다.

도 8(d)는 각 x, y, z축을 중심으로 45도, 30도, -45도 회전한 HMD 디바이스에서 보이는 마커의 모습이다. 마커가 HMD 디바이스에 상대적으로 틀어진 모습을 볼 수 있다.

이상과 같이 HMD 디바이스에 기설정된 마커의 모양을 기준으로, HMD 디바이스가 마커를 촬영한 모양으로부터 HMD 디바이스가 어느 방향으로 얼마만큼 기울어져 있는지 판단할 수 있다. 그리고, HMD 디바이스는 마커가 기울어진 모양으로부터 증강현실을 통해 표현하고자 하는 오브젝트를 마커와 수직한 방향 또는 수평 방향과 같은 특정 방향으로 고정된 형태로 디스플레이할 수 있다.

도 9는 본 발명의 일 실시예에 따른 HMD 디바이스가 마커를 이용하여 빛의 변위를 계산하는 방식을 설명하기 위한 도면이다.

도 9를 참조하면, HMD 디바이스의 좌안에 해당하는 디스플레이 화면(910)이 도시되고 있다.

초기 사용자가 HMD 디바이스를 착용하여 바라본 마커(920)의 모양이 사용자와 나란히 뉘여진 모습이다. 그리고, 사용자가 머리를 기울이거나 움직여서 HMD 디바이스의 위치나 방향이 바뀌게 되면 촬영하면, 상대적으로 마커(920')가 이동하여 회전한 형태를 촬영하게 된다.

HMD 디바이스는 초기 상태에 촬영된 마커(920)와 모양이 달라진 마커(920')를 이용하여, 고정된 마커의 위치 및 방향으로부터 자신이 얼만큼 이동하여 몇 도의 각도로 자세가 바뀌었는지 계산함으로써 보상값을 산출한다.

또한, HMD 디바이스는 초기 상태에 촬영된 웨어러블 디바이스에서 발광하는 빛(930)과 위치 또는 자세가 바뀐 후의 빛(930')의 HMD 디바이스에 대한 상대적 위치를 계산한다. 그리고, 초기 상태에 촬영된 빛(930)의 상대적 위치에 보상값만을 적용했을 때 빛의 위치와 최종 빛(930')의 위치를 비교하여 실제 공간상에서 웨어러블 디바이스가 이동한 변위를 구할 수 있다.

도 10은 본 발명의 일 실시예에 따른 HMD 디바이스에 마커를 등록하는 방법을 설명하기 위한 도면이다.

도 10을 참조하면, HMD 디바이스에 기저장되어 있는 기설정된 모양의 패턴이 준비되어 있지 아니한 경우, 특정 사물을 마커로 등록하여 사용하는 좌안에 대응되는 화면(1010)을 도시하고 있다.

실제 외계에서는 X자로 겹쳐진 두 막대 모양의 끈 테이프(1020)가 바닥에 붙어 있다. 그리고, 사용자가 X자 모양의 끈 테이프(1020)를 마커로 사용하기 위하여 마커 지정 기능을 실행하면, HMD 디바이스의 화면에 창(1030)이 활성화되어 촬영된 X자 모양이 마커로 지정되도록 할 수 있다.

도 11은 본 발명의 일 실시예에 따른 HMD 디바이스의 3차원 증강현실 화면의 제어를 설명하기 위한 도면이다.

도 11을 참조하면, 좌안에 대응하는 화면(1110)에는 체스판(1130)과 마커(1131) 위에 증강된 3차원 오브젝트로서 표시되는 체스맨(1140, 1150)이 디스플레이 되고 있다.

회전 대칭성이 존재하는 체스판(1130) 한 쪽 변에 특정 색상을 갖는 마커(1131)를 위치시킴으로써, HMD 디바이스는 체스판(1130) 위에 수직으로 서 있는 체스맨(1140, 1150)을 입체 오브젝트로 디스플레이할 수 있다.

사용자는 빛을 발광하는 웨어러블 디바이스(1120)를 이용하여 체스맨(1140)을 선택하고, 이동시킬 수 있다.

도 12는 본 발명의 다양한 실시예에 따른 웨어러블 디바이스의 형태를 설명하기 위한 도면이다.

도 12를 참조하면, 웨어러블 디바이스는 반지형(1210), 골무형(1220), 팔찌형(1230) 및 막대형(1240) 중 어느 하나가 될 수 있다.

도 13은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 구조를 설명하기 위한 도면이다.

도 13을 참조하면, 웨어러블 디바이스(1300)는 링형 부재(1310), 발광 소자(1320) 및 터치 어레이(1330, 1340)를 포함한다.

링형 부재(1310)는 사용자의 손가락에 낄 수 있는 크기의 토러스 형태를 가진다. 그리고, 발광 소자(1320)는 사용자가 웨어러블 디바이스(1300)를 착용한 상태에서 빛이 발광할 수 있도록, 링형 부재(1310)의 외주면의 일측에 구비될 수 있다. 터치 어레이(1330, 1340)는 링형 부재(1310)의 외주면 양 측에 구비될 수 있으며, 사용자가 웨어러블 디바이스(1300)를 착용한 상태에서 손가락으로 쉽게 터치할 수 있는 위치에 구비될 수 있다.

도 14는 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면이다.

도 14를 참조하면, 웨어러블 디바이스(1410)는 반지형으로서, 두 개의 발광 소자(1411, 1412)를 구비한다. 그리고, HMD 디바이스의 좌안에 대응하는 화면(1420)에는 웨어러블 디바이스(1410)의 발광 소자(1411, 1412)로부터 기설정된 거리로 이격된 지점을 선택할 수 있는 지시자(1430)가 디스플레이된다.

이러한, 기설정된 거리로 이격된 지시자(1430)를 이용하여, 손가락이 눈 앞을 가리지 않고, 실제 사물(1450)을 선택하거나, 화면(1420)에 디스플레이된 가상 오브젝트(1440)를 선택할 수 있다.

도 15 내지 16은 본 발명의 다른 실시예에 따른 웨어러블 디바이스의 구조 및 HMD 디바이스의 제어 방식을 설명하기 위한 도면이다.

도 15를 참조하면, 막대형 웨어러블 디바이스(1510)에는 발광 소자(1520), 레이저원(1530) 및 터치 어레이(1540)가 포함된다. 그리고, 웨어러블 디바이스(1510)에서 방출된 레이저는 벽(1520)에 부딪혀 반사된 빔 스팟(beam spot, 1550)을 형성한다.

도 16을 참조하면, HDM 디바이스의 좌안에 대응하는 화면(1610)에는 웨어러블 디바이스(1620)와 빔 스팟의 연장선상에 지시자(1640)가 디스플레이되고 있다.

지시자(1640)는 웨어러블 디바이스(1620)가 레이저를 방출하는 방향으로 웨어러블 디바이스(1620)로부터 기설정된 거리만큼 이격된 곳에 위치한다.

그리고, 기설정된 거리는 웨어러블 디바이스(1620)의 터치 어레이(1540)를 터치하는 사용자 조작에 의하여, 웨어러블 디바이스(1620)와 빔 스팟의 연장선상을 따라 조절될 수 있다.

도 17은 본 발명의 일 실시예에 따른 HMD 디바이스의 제어 방법을 설명하기 위한 흐름도이다.

도 17을 참조하면, 먼저, HMD 디바이스는 빛과 마커를 촬영한 영상 데이터를 획득한다(S1710). 구체적으로, HMD 디바이스는 사용자가 투명한 접안식 디스플레이 장치에 디스플레이 되는 화면을 보는 시야각을 포함하는 화각을 갖는 복수의 촬영 장치를 이용하여, 웨어러블 디바이스에 구비된 광원에서 발광하는 빛과 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상을 획득할 수 있다.

여기서, 마커는 회전 대칭성이 없는 패턴을 가질 수 있으며, 회전 대칭성이 없는 패턴은 기저장되어 있을 수 있다. 또한, 마커는 실제 사물을 촬영한 영상 데이터로부터 사용자의 마커 지정 명령에 따라 HMD 디바이스에 저장될 수 있다.

다음으로, 빛의 상대 위치를 계산하는 제1 연산을 수행한다(S1720). 구체적으로, 복수의 촬영 장치에서 확득한 적어도 둘 이상의 영상 데이터에 기초하여 HMD 디바이스에 대한 빛의 상대적인 위치를 계산하는 제1 연산을 수행할 수 있다.

그리고, 보상값을 산출한다(S1730). 구체적으로, HDM 디바이스의 위치 및 자세에 따라 변경되는 마커에 대한 제1 연산 결과 및 변경된 마커의 모양으로부터 보상값을 산출할 수 있다. 여기서, 보상값은 기저장된 패턴과 대응하는 마커를 인식하여 산출될 수 있다.

다음으로, 보상값을 이용하여 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행한다(S1740). 구체적으로, 변경된 마커의 모양으로부터 HMD 디바이스가 움직인 위치 및 각도로부터 초기 위치의 빛이 다르게 촬영될 것으로 예상되는 보상값을 반영한 위치와, 제1 연산 결과에 따른 현재 빛의 상대 위치를 비교하여 빛이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행할 수 있다.

그리고, 제1 연산 또는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행한다(S1750). 여기서, 화면에 대하여 고정된 위치에 오브젝트가 디스플레이되는 일반 모드에서는 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고, 마커의 위치를 기준으로 3차원 공간감을 일으키는 오브젝트가 디스플레이되는 증강현실 모드에서는 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능이 수행될 수 있다.

웨어러블 디바이스에 터치 어레이가 구비되어 사용자가 터치 어레이를 터치하는 명령이 수신되면, 디스플레이된 화면을 스크롤 또는 주밍하는 단계가 더 포함될 수 있다. 또는, 웨어러블 디바이스가 레이저를 방출하여 빔 스팟을 형성하는 경우, 사용자가 터치 어레이를 터치하는 명령에 따라 디스플레이된 지시자가 웨어러블 디바이스로부터 이격된 거리를 조절하는 단계를 더 포함할 수 있다.

이상과 같은, 본 발명의 일 실시예에 따른 웨어러블 디바이스를 이용한 HMD 디바이스의 제어 방법은 빛을 발광하는 간단한 구성의 웨어러블 디바이스만으로 다양한 형태의 사용자 인터렉션 명령을 인식하여 디스플레이되는 화면을 제어하는 기능을 수행할 수 있다.

또한, 상술한 바와 같은 HMD 디바이스 제어 방법은, 도 2 내지 도 4의 HMD 디바이스(200, 300)와 웨어러블 디바이스(400, 500)에 의해 구현될 수 있다.

또한, 상술한 바와 같은 HMD 디바이스 제어 방법은, 상술한 바와 같은 제어 방법을 실행하기 위한 적어도 하나의 실행 프로그램으로 구현될 수 있으며, 이러한 실행 프로그램은 컴퓨터 판독 기록매체에 저장될 수 있다.

예를 들어, 컴퓨터 판독가능한 기록매체는 롬(ROM), 램(RAM), 씨디-롬(CD-ROMs), 마그네틱 테이프, 플로피 디스크, 광디스크, 광 데이터 저장 디바이스 및 상기 저장 디바이스를 포함하는 텔레비전과 같은 영상디스플레이 장치 등이 될 수 있다. 또한, 컴퓨터 판독가능한 코드는 반송파의 컴퓨터 데이터 신호로 실시될 수 있다.

한편, 본 발명의 실시 예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시 예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다.

그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 비일시적 저장매체(non-transitory computer readable media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시 예를 구현할 수 있다.

여기서 비일시적 판독 가능 기록매체란, 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라, 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로, 상술한 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리 카드, ROM 등과 같은 비일시적 판독가능 기록매체에 저장되어 제공될 수 있다.

이상에서는 본 발명의 바람직한 실시 예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시 예에 한정되지 아니하며, 청구범위에 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안 될 것이다.

100: HMD 디바이스 제어 시스템 200: HMD 디바이스
210: 디스플레이부 220: 촬영부
230: 프로세서 400: 웨어러블 디바이스
410: 발광 소자 420: 제어부

Claims (18)

1. HMD(Head Mounted Display) 디바이스에 있어서,
   화면을 디스플레이하는 투명한 접안식 디스플레이부;
   사용자가 상기 화면을 보는 시야를 포함하는 전방에서, 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 복수의 촬영 장치를 포함하는 촬영부; 및
   서로 상이한 상기 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적 위치를 계산하는 제1 연산을 수행하고,
   상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하고,
   상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하도록 상기 디스플레이부를 제어하는 프로세서;를 포함하는 HMD 디바이스.
2. 제1항에 있어서,
   상기 촬영부는,
   상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고,
   상기 프로세서는,
   상기 제1 연산에 따른 상기 빛의 위치 및 상기 마커의 위치를 계산하고,
   상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 촬영 대상의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산을 수행하고,
   상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 것을 특징으로 하는 HMD 디바이스.
3. 제2항에 있어서,
   회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 저장부;를 더 포함하고,
   상기 프로세서는,
   상기 저장부에 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출하는 것을 특징으로 하는 HMD 디바이스.
4. 제3항에 있어서,
   상기 프로세서는,
   상기 마커를 지정하는 명령을 수신하면, 전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 상기 저장부에 저장하도록 제어하는 것을 특징으로 하는 HMD 디바이스.
5. 제2항에 있어서,
   상기 프로세서는,
   상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고,
   3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.
6. 제1항에 있어서,
   상기 촬영부는,
   상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고,
   상기 프로세서는,
   상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 광원이 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.
7. 제1항에 있어서,
   상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부;를 더 포함하고,
   상기 프로세서는,
   상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.
8. 제1항에 있어서,
   상기 촬영부는,
   상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고,
   상기 프로세서는,
   상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스.
9. 제8항에 있어서,
   상기 웨어러블 디바이스와 통신을 수행하는 통신 인터페이스부;를 더 포함하고,
   상기 프로세서는,
   상기 통신 인터페이스부를 통해 상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하면, 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 것을 특징으로 하는 HMD 디바이스.
10. 웨어러블 디바이스를 이용하여 HMD(Head Mounted Display) 디바이스의 투명한 접안식 디스플레이 장치에 디스플레이되는 화면을 제어하는 HMD 디바이스 제어 방법에 있어서,
    사용자가 상기 화면을 보는 시야를 포함하는 전방을 촬영하는 복수의 촬영 장치를 이용하여, 상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하는 단계;
    상기 복수의 촬영 장치에서 획득한 적어도 둘 이상의 영상 데이터에 기초하여 촬영 대상의 상기 HMD 디바이스에 대한 상대적인 위치를 계산하는 제1 연산에 따라 상기 빛의 위치를 계산하는 단계;
    상기 빛의 위치를 계산한 제1 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계; 및
    상기 감지된 사용자 인터렉션 명령에 대응하는 화면을 디스플레이하는 단계;를 포함하는 HMD 디바이스 제어 방법.
11. 제10항에 있어서,
    상기 영상 데이터를 획득하는 단계는,
    상기 빛과 함께 고정된 위치에 놓인 기설정된 모양을 갖는 마커를 촬영한 영상 데이터를 획득하고,
    상기 HMD 디바이스 제어 방법은,
    상기 제1 연산에 따른 상기 마커의 위치를 계산하는 단계;
    상기 HMD 디바이스의 위치 및 자세에 따라 상기 마커의 변경되는 제1 연산 결과 및 상기 마커의 변경되는 촬영 모양으로부터 산출된 보상값을 이용하여, 변경되는 상기 빛의 제1 연산 결과로부터 상기 촬영 대상이 공간상에서 움직인 변위를 계산하는 제2 연산에 따라 상기 빛의 변위를 계산하는 단계; 및
    상기 빛의 변위를 계산한 제2 연산 결과에 따른 사용자 인터렉션 명령을 감지하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
12. 제11항에 있어서,
    회전 대칭성이 없는 모양을 갖는 적어도 하나의 패턴을 기저장하는 단계;를 더 포함하고,
    상기 보상값을 산출하는 단계는,
    상기 기저장된 패턴에 대응하는 마커를 인식하여 상기 보상값을 산출하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
13. 제12항에 있어서,
    상기 마커를 지정하는 명령을 수신하는 단계; 및
    전방을 촬영한 상기 영상 데이터에서 상기 지정된 마커에 대응되는 모양을 저장하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
14. 제11항에 있어서,
    상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는,
    상기 화면에 고정된 오브젝트를 디스플레이하는 일반 모드에서는 상기 제1 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하고,
    3차원 공간감을 일으키는 오브젝트를 상기 마커의 상대적인 위치에 디스플레이하는 증강현실 모드에서는 상기 제2 연산에 따른 사용자 인터렉션 명령에 대응되는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
15. 제10항에 있어서,
    상기 영상 데이터를 획득하는 단계는,
    상기 웨어러블 디바이스에 구비된 복수의 발광 소자에서 발광하는 빛을 촬영한 영상 데이터를 획득하고,
    상기 HMD 디바이스 제어 방법은,
    상기 복수의 발광 소자 중 어느 하나로부터 상기 복수의 발광 소자가 배열된 방향으로 기설정된 길이만큼 이격된 가상의 지점을 지시할 수 있는 지시자를 제공하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
16. 제10항에 있어서,
    상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계; 및
    상기 터치 명령에 따라 상기 디스플레이된 화면을 스크롤 또는 주밍(zooming)하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
17. 제10항에 있어서,
    상기 영상 데이터를 획득하는 단계는,
    상기 웨어러블 디바이스에 구비된 발광 소자에서 발광하는 빛과 상기 웨어러블 디바이스에서 방출된 레이저가 물체에 부딪혀 반사된 빔 스팟(beam spot)을 촬영한 영상 데이터를 획득하고,
    상기 사용자 인터렉션 명령에 대응되는 기능을 수행하는 단계는,
    상기 제1 연산에 따른 상기 빛의 위치와 상기 빔 스팟의 위치를 연장하는 선상에 위치한 가상 오브젝트와 인터렉션하는 기능을 수행하는 것을 특징으로 하는 HMD 디바이스 제어 방법.
18. 제17항에 있어서,
    상기 웨어러블 디바이스에 구비된 터치 어레이를 터치하는 명령을 수신하는 단계; 및
    상기 터치 명령에 따라 상기 발광 소자로부터 상기 가상 오브젝트를 지시하기 위한 지시자의 길이를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 HMD 디바이스 제어 방법.

Images