KR102360176B1 - 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스 - Google Patents

Abstract

사용자 입력 영역을 설정하기 위한 사용자의 제스쳐 영상을 획득하는 이미지 센서 및 상기 획득된 제스쳐 영상을 이용하여 설정된 상기 사용자 입력 영역에 상응하는 상기 가상의 입력 인터페이스를 제공하는 광학 디스플레이부를 포함하는 안경형 웨어러블 디바이스를 개시한다.

Description

웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스{METHOD AND WEARABLE DEVICE FOR PROVIDING A VIRTUAL INPUT INTERFACE}

본 발명의 다양한 실시예는 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스에 관한 것이다.

우리가 살아가는 현실 공간은 3차원 좌표로 구성된다. 사람은 양쪽 눈으로 보이는 시각정보를 결합하여 입체감 있는 3차원 공간을 인식한다. 하지만, 일반적인 디지털 기기로 촬영한 사진이나 동영상은 3차원 좌표로 2차원 좌표로 표현하는 기술이어서, 공간에 대한 정보는 포함하지 않는다. 이러한 공간감을 표현하기 위해 2대의 카메라를 함께 사용하여 입체감 있는 영상들을 촬영하고 보여주는 3D 카메라 또는 디스플레이 제품들이 등장하고 있다.

한편, 현재의 스마트 글래스의 입력 방식은 제한적이다. 사용자는 기본적으로 음성 명령어를 이용하여 스마트 글래스를 제어한다. 하지만, 사용자가 텍스트 입력이 필요한 상황에서 음성 명령어만으로 스마트 글래스를 제어하기는 어렵다. 따라서, 다양한 입력 인터랙션 방식을 제공하는 웨어러블 시스템이 필요하다.

본 발명의 다양한 실시예들은, 사용자 모션에 기초하여, 허공 또는 실제 객체 위에 입력 영역을 설정하고, 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법 및 이를 위한 웨어러블 디바이스를 제공할 수 있다.

본 발명의 일 실시예에 따른 안경형 웨어러블 디바이스는, 사용자 입력 영역을 설정하기 위한 사용자의 제스쳐 영상을 획득하는 이미지 센서 및 상기 획득된 제스쳐 영상을 이용하여 설정된 상기 사용자 입력 영역에 상응하는 상기 가상의 입력 인터페이스를 제공하는 광학 디스플레이부를 포함할 수 있다.

본 발명의 일 실시예에 따른 이미지 센서는, 허공 또는 실제 객체 위에 입력 도구를 이용하여, 도형을 그리는 상기 사용자의 제스쳐 영상을 획득하고, 상기 디스플레이부는, 상기 도형에 상응하는 상기 가상의 입력 인터페이스를 제공할 수 있다.

본 발명의 일 실시예에 따른 사용자 입력 영역이 실제 객체 위에 설정된 경우, 상기 디스플레이부는, 상기 사용자 입력 영역이 설정된 실제 객체의 종류에 기초하여, 결정되는 상기 가상의 입력 인터페이스를 제공할 수 있다.

본 발명의 일 실시예에 따른 디스플레이부는, 상기 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 결정되는 상기 가상의 입력 인터페이스를 제공할 수 있다.

본 발명의 일 실시예에 따른 디스플레이부는, 투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 가상의 입력 인터페이스가 맞추어 보여지도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 제공할 수 있다.

본 발명의 일 실시예에 따른 이미지 센서는, 상기 사용자 입력 영역을 포함하는 제1 이미지를 촬영하고, 상기 디스플레이부는, 상기 제1 이미지에 포함된 상기 사용자 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 표시할 수 있다.

본 발명의 일 실시예에 따른 디바이스는, 상기 웨어러블 디바이스로부터 상기 설정된 입력 영역까지의 제1 깊이 값과, 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 깊이 센서 및 상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 제어부를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 제어부는, 상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 상기 가상의 입력 인터페이스를 결정할 수 있다.

본 발명의 일 실시예에 따른 제어부는, 상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다.

본 발명의 일 실시예에 따른 제어부는, 상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다.

본 발명의 일 실시예에 따른 안경형 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법은, 사용자 입력 영역을 설정하기 위한 사용자의 제스쳐 영상을 획득하는 단계 및 상기 획득된 제스쳐 영상을 이용하여, 상기 사용자 입력 영역에 상응하는상기 가상의 입력 인터페이스가 상기 설정된 사용자 입력 영역의 크기에 맞추어 보여지도록 상기 가상의 입력 인터페이스를 제공하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 사용자의 제스쳐 영상을 획득하는 단계는, 허공 또는 실제 객체 위에 입력 도구를 이용하여, 도형을 그리는 상기 사용자의 제스쳐 영상을 획득하는 단계 및 상기 도형에 대응하는 영역을 상기 사용자 입력 영역으로 설정하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 방법은, 상기 설정된 사용자 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 방법은, 상기 사용자 입력 영역이 실제 객체 위에 설정된 경우, 상기 사용자 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스를 결정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 방법은, 상기 안경형 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 상기 가상의 입력 인터페이스를 결정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 제공하는 단계는, 투명 디스플레이를 투과하여 관측되는 상기 사용자 입력 영역에 상기 가상의 입력 인터페이스가 맞추어 보여지도록 상기 투명 디스플레이에 상기 가상의 입력 인터페이스를 제공하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 제공하는 단계는, 이미지 센서를 이용하여, 상기 입력 영역을 포함하는 제1 이미지를 촬영하는 단계, 상기 제1 이미지에 포함된 상기 입력 영역에 상기 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하는 단계 및 상기 제2 이미지를 표시하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 방법은, 상기 안경형 웨어러블 디바이스로부터 상기 입력 영역까지의 제1 깊이 값과 상기 웨어러블 디바이스로부터 상기 가상의 입력 인터페이스를 터치하는 입력 도구까지의 제2 깊이 값을 획득하는 단계 및 상기 제1 깊이 값과 상기 제2 깊이 값을 비교한 결과에 따라, 상기 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 단계를 포함할 수 있다.

본 발명의 일 실시예에 따른 방법은, 상기 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스를 결정하는 단계를 더 포함할 수 있다.

본 발명의 일 실시예에 따른 입력 발생 여부를 결정하는 단계는, 상기 제1 깊이 값과 상기 제2 깊이 값의 차이가 임계값 미만인 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다.

본 발명의 일 실시예에 따른 입력 발생 여부를 결정하는 단계는, 상기 제1 깊이 값보다 상기 제2 깊이 값이 큰 경우, 상기 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다.

도 1a 내지 도 1e는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른, 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 3 내지 도 5는 본 발명의 일 실시예에 따른 입력 영역을 설정하는 방법을 나타내는 도면들이다.
도 6은 본 발명의 일 실시예에 따른 설정된 입력 영역의 깊이 값에 따라 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 7 내지 도 9는 설정된 입력 영역의 깊이 값에 따라 표시되는 가상의 입력 인터페이스의 종류 및 크기가 변경되는 일례를 설명하기 위한 도면들이다.
도 10a 및 10b는 본 발명의 일 실시예에 따른 입력 영역이 설정된 실제 객체의 깊이 값이 변경됨에 따라, 가상의 입력 인터페이스의 종류가 적응적으로 변경되는 일례를 설명하기 위한 도면들이다.
도 10c 및 도 10d는 본 발명의 일 실시예에 따른, 사용자 입력에 기초하여, 가상의 입력 인터페이스의 종류가 변경되는 일예를 설명하기 위한 도면이다.
도 11은 본 발명의 일 실시예에 따른 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 설명하기 위한 흐름도이다.
도 12 및 도 13은 설정된 입력 영역의 크기에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다.
도 14 및 도 15는 입력 영역을 설정하는 제스쳐에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다.
도 16은 본 발명의 일 실시예에 따른 입력 영역이 설정된 객체에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.
도 17A 내지 도 17C는 본 발명의 일 실시예에 따른 웨어러블 디바이스가 입력 영역이 설정되는 실제 객체의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다.
도 18은 본 발명의 일 실시예에 따른 입력 영역을 설정하는 입력 도구에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.
도 19는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 실행되고 있는 어플리케이션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 20은 본 발명의 일 실시예에 따른 실행되는 어플리케이션의 종류에 기초하여, 결정된 가상의 입력 인터페이스가 제공되는 일례를 나타내는 도면이다.
도 21은 본 발명의 일 실시예에 따른 실행되는 컨텐츠의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 설명하기 위한 도면이다.
도 22 및 도 23은 본 발명의 일 실시예에 따른 웨어러블 디바이스가 이전에 가상의 입력 인터페이스가 제공되었던 실제 객체를 인식하는 경우, 이전에 제공되었던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다.
도 24는 본 발명의 일 실시예에 따른 허공에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 25는 입력영역이 허공에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.
도 26은 본 발명의 일 실시예에 따른 허공 또는 실제 객체에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.
도 27은 입력 영역이 실제 객체에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.
도 28은 본 발명의 일 실시예에 따른 입력 영역에 대한 제1 깊이 값과 입력 도구에 대한 제2 깊이 값을 획득하는 방법을 설명하기 위해 참조되는 도면이다.
도 29는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대한 피드백을 제공하는 방법을 나타내는 흐름도이다.
도 30 및 31은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면들이다.
도 32는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면이다.
도 33 및 도 34는 본 발명의 일 실시예에 따르는 웨어러블 디바이스의 구성을 설명하기 위한 블록 구성도이다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.

아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

도 1a 내지 도 1e는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 시스템을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 머리 부분에 장착 가능한 헤드 마운트 디스플레이(HMD: Head mounted display, 이하 ‘HMD’라 함)를 포함할 수 있다. 예를 들어, 헤드 마운트 디스플레이(HMD)는 안경, 헬멧, 모자 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 따르는 웨어러블 디바이스(100)는, 시계, 밴드, 반지, 목걸이, 팔찌, 신발, 귀걸이, 헤어밴드, 옷, 장갑, 골무 등을 포함할 수도 있다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 하나의 기기일 수도 있고, 복수 개의 기기가 결합된 형태일 수도 있다. 예를 들어, 본 명세서에서 웨어러블 디바이스(100)는, 안경 하나로 구현될 수도 있고, 안경과 반지, 안경과 시계, 안경과 골무 등과 같이 두 개 이상의 기기가 조합된 형태로 구현될 수도 있다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 적어도 하나의 가상의 입력 인터페이스를 제공하는 기기일 수 있다. 예를 들어, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 광학 디스플레이부(121)를 통하여, 관측되는 현실 세계 영역에 맞추어 가상의 입력 인터페이스가 보여지도록 가상의 입력 인터페이스를 광학 디스플레이부(121)에 표시할 수 있다.

이하, 도 1b를 참조하여, 광학 디스플레이부(121)의 구성에 대하여, 자세히 설명하기로 한다.

도 1b를 참조하면, 디스플레이부(121)는 표시 소자(210) 및 도광부(200a)를 포함할 수 있다. 도광부(200a)는 도광 소자(220a) 및 가변 렌즈(240a)를 포함할 수 있다. 또한, 표시 소자(210)는 이미지를 형성하는 제1 광(201)을 도광 소자(220a)로 출력할 수 있다. 표시 소자(210)는 사각 평판의 형태를 가질 수 있으며, 제어부로부터 입력된 데이터에 따라 픽셀 단위로 이미지를 표시할 수 있다. 예를 들어, 표시 소자(210)는 LED(light emitting diode), OLED(organic light emitting diode), LCD(liquid crystal display), LCOS(liquid crystal on silicon) 등일 수 있다.

도광 소자(220a)는 제1 내지 제5 면들(221~225a)을 포함할 수 있다. 도광 소자(220a)는 내부 반사(또는 내부 전반사)를 통해 표시 소자(210)로부터 입력된 제1 광(201)을 가변 렌즈(240a)를 향해 가이드할 수 있다.

제1 면(221)은 표시 소자(210)와 대면하는 도광 소자(220a)의 후면의 일부분에 해당하며, 표시 소자(210)로부터 입력된 제1 광(201)을 제2 면(222)을 향해 투과시킬 수 있다. 제2 면(222)은 제1 및 제3 면들(221, 223)의 사이에 위치하는 도광 소자(220a)의 제1 측면에 해당하며, 제1 면(221)을 투과한 제1 광(201)을 제3 또는 제4 면(223, 224)을 향해 반사시킬 수 있다.

제3 면(223)은 도광 소자(220a)의 전면에 해당하며, 제4 면(224)은 도광 소자(220a)의 후면의 나머지 부분에 해당하며, 제3 및 제4 면들(223, 224)은 각각 입사된 제1 광(201)을 반사(또는 전반사)시켜서 제1 광(201)이 제5 면(225a)에 도달하도록 할 수 있다. 전반사는, 도광 소자(220a) 및 외부 공기 층의 경계면(즉, 제3 또는 제4 면(223, 224))에서 도광 소자(220a)의 내부로부터 경계면에 입사한 제1 광(201)이 투과 없이 모두 반사되는 것을 말한다.

제5 면(225a)은 제3 및 제4 면들(223, 224)의 사이에 위치하는 도광 소자(220a)의 제2 측면에 해당하며, 입사된 제1 광(201)을 가변 렌즈(240a)를 향해 투과시키고, 가변 렌즈(240a)로부터 입사된 제1 광(201)을 사용자의 눈을 향해 반사할 수 있다. 제5 면(225a)은 웨어러블 디바이스(100)의 전방의 뷰를 형성하는 제2 광(202)을 사용자의 눈을 향해 투과시킬 수 있다.

도광 소자(220a)는 두께가 일정한 제3 및 제4 광학면들(223, 224) 사이의 본체부(232a)와, 본체부(232a)로부터 멀어질수록 점차 두께가 감소하는 제1 및 제2 면들(221, 222) 사이의 제1 경사부(231)와, 본체부(232)로부터 멀어질수록 점차 두께가 감소하는 제3 및 제4 면들(223, 224) 사이의 제2 경사부(233a)를 포함할 수 있다. 제2 경사부(233a)는 가변 렌즈(240a) 및 사용자의 눈과 대면하는 경사면인 제5 면(225a)을 가질 수 있다.

가변 렌즈(240a)는 입사된 제1 광(201)을 투과시키는 투과면(241), 입사된 제1 광(201)을 굴절시키는 굴절면(242) 및 입사된 제1 광(201)을 반사하는 반사면(243a)을 포함할 수 있다. 굴절면(242)의 형태 또는 곡률은 제어부의 제어에 따라 변화될 수 있다. 가변 렌즈(240a)는 굴절면(242)의 형태 또는 곡률의 변화에 따라 제1 광(201)이 사용자의 눈에 입사하는 각도(즉, 입사각)을 조절함으로써, 사용자의 눈으로부터 가상 물체까지의 가상 물체 거리를 조절할 수 있다.

도 1c 및 1d는 본 발명의 일 실시예에 따른 가변 렌즈에 의한 가상의 입력 인터페이스의 거리의 조절을 설명하기 위한 도면이다.

가변 렌즈(240a)는 제어부의 제어에 따라 사용자의 눈(30)에 입사하는 제1 광(43)의 입사각을 조절함으로써, 사용자의 눈(30)으로부터 사용자가 인식하는 가상의 입력 인터페이스(41)까지의 거리를 조절할 수 있다.

도 1c를 참조하면, 수정체(31)는 얇은 두께로 변형되고, 원거리의 실제 물체(34)에 눈의 초점이 맞게 된다. 원거리의 실제 물체(34)로부터 출발한 제2 광(35)은, 눈(30)의 광축(33)에 평행하게 진행하고, 도광 소자(220a)의 제5 면(225a)을 투과하여 수정체(31)에 입사하고, 수정체(31)는 제2 광(35)을 굴절시켜서 망막(32) 상에 수렴시킨다. 즉, 수정체(31)는 실제 물체의 이미지를 망막(32) 상에 형성한다.

가변 렌즈(240a)는 제1 광(43)을 제5 면(225a)에 투사할 수 있다. 제5 면(225a)으로부터 반사된 제1 광(43)은, 눈(30)의 광축(33)에 평행하게 진행하여 수정체(31)에 입사하고, 수정체(31)는 제1 광(43)을 굴절시켜서 망막(32) 상에 수렴시킬 수 있다. 즉, 수정체(31)는 가상의 입력 인터페이스(41)의 이미지를 망막(32) 상에 형성할 수 있다. 예를 들어, 실제 물체(34)(또는 실제 물체(34)의 이미지)가 인 포커스 상태인 경우, 실제 물체(34)(또는 실제 물체(34)의 이미지) 및 가상의 입력 인터페이스(41)(또는 가상의 입력 인터페이스(41)의 이미지)는 동일한 제1 물체 거리(OD1) 및 상거리(ID)를 가질 수 있다.

도 1d를 참조하면, 수정체(31)는 두꺼운 두께로 변형되고, 근거리의 실제 물체(36)에 눈의 초점이 맞게 된다. 근거리의 실제 물체(36)로부터 출발한 제2 광(37)은, 눈(30)의 광축(33)을 따라 발산(또는 확산)하면서 진행하고, 도광 소자(220a)의 제5 면(225a)을 투과하여 수정체(31)에 입사하고, 수정체(31)는 제2 광(37)을 굴절시켜서 망막(32) 상에 수렴시킨다. 즉, 수정체(31)는 실제 물체(36)의 이미지를 망막(32) 상에 형성한다. 가변 렌즈(240a)는 제1 광(44)을 제5 면(225a)에 투사할 수 있다. 제5 면(225a)으로부터 반사된 제1 광(44)은, 눈(30)의 광축(33)을 따라 발산(또는 확산)하면서 진행하여 수정체(31)에 입사하고, 수정체(31)는 제1 광(44)을 굴절시켜서 망막(32) 상에 수렴시킬 수 있다. 즉, 수정체(31)는 가상의 입력 인터페이스(42)의 이미지를 망막(32) 상에 형성할 수 있다. 예를 들어, 실제 물체(36)(또는 실제 물체(36)의 이미지)가 인 포커스 상태인 경우, 실제 물체(36)(또는 실제 물체(36)의 이미지) 및 가상의 입력 인터페이스(42)(또는 가상의 입력 인터페이스(42)의 이미지)는 동일한 제2 물체 거리(OD1) 및 상거리(ID)를 가질 수 있다.

한편, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 입력 영역을 설정하는 입력 도구의 모션을 인식하고, 설정된 입력 영역의 속성에 기초하여, 결정된 가상의 입력 인터페이스를 입력 영역에 제공할 수 있다. 이에 대해서는, 도 2를 참조하여 자세히 후술하기로 한다.

본 발명의 일 실시예에 따른 가상의 입력 인터페이스(50)는, 웨어러블 디바이스(100)를 이용하는 사용자의 입력을 수신하기 위한 GUI(Graphical User Interface)일 수 있다. 또한, 가상의 입력 인터페이스(50)는 다양한 형태로 구현될 수 있으며, 예를 들어, 가상의 입력 인터페이스(50)는, 키보드(쿼티(QWERTY) 자판 또는 휴대 단말용 자판), 메모장, 게임 컨트롤러, 계산기, 피아노 건반, 드럼, 다이얼 패널 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 가상의 입력 인터페이스(50)를 사용자에 의해 설정된 입력 영역에 제공할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.

이때, 웨어러블 디바이스(100)는 가상의 입력 인터페이스(50)를 증강현실(AR: Augmented Reality), 혼합현실(MR: Mixed Reality), 또는 가상현실(VR: Virtual Reality) 형태로 디스플레이부(121)에 표시할 수 있다.

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스(50)를 제공하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역에 가상의 입력 인터페이스(50)가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

도 1e를 참조하면, 점선을 통하여 정의된 영역(20)은 웨어러블 디바이스(100)의 광학 디스플레이부(121)를 통하여, 관측되는 현실 세계의 영역을 나타낸다. 웨어러블 디바이스(100)는 광학 디스플레이부(121)를 통하여, 관측되는 현실 세계 영역(20)에 맞추어 가상의 입력 인터페이스(50)가 보여지도록 가상의 입력 인터페이스(50)를 광학 디스플레이부(121)에 표시할 수 있다.

또는, 가상현실의 형태로 가상의 입력 인터페이스(50)를 제공하는 경우, 웨어러블 디바이스(100)는 현실 세계에 설정된 입력 영역을 포함하는 제1 이미지를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(50)를 추가하여 제 2 이미지를 생성할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스(50)가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다.

본 발명의 일 실시예에 따른, 웨어러블 디바이스(100)는 이미지 센서(111) 및 깊이 센서(112)를 포함할 수 있다.

이미지 센서(111)는 외부의 이미지를 촬영하거나, 입력 영역을 설정하는 사용자 모션을 감지할 수 있다. 또한, 이미지 센서(111)는 입력 도구의 움직임을 감지할 수 있다. 이때, 입력 도구는 기 설정된 도구일 수 있으며, 예를 들어, 입력 도구는 펜, 손가락, 막대기 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

또한, 깊이 센서(112)는 사용자에 의해 설정된 입력 영역의 깊이 값 또는 입력 도구의 깊이 값 등을 측정할 수 있다. 깊이 값은 깊이 센서(112)로부터 특정 객체까지의 거리에 대응할 수 있다. 본 명세서에서 깊이 센서(112)로부터 특정 객체까지의 거리가 멀수록 깊이 값이 커질 수 있다.

예를 들어, 깊이 값은 깊이 센서(112)로부터 특정 객체까지의 Z축 상의 거리를 의미할 수 있다. 도 1에 도시된 바와 같이, 3차원 공간 상에서 X 축은 웨어러블 디바이스(100)를 좌우로 지나는 기준 축이고, Y축은 웨어러블 디바이스(100)를 상하로 지나는 기준 축이고, Z 축은 웨어러블 디바이스(100)를 전후로 지나는 기준 축일 수 있다. 또한, X축, Y 축 및 Z 축은 서로 수직을 이룰 수 있다.

본 발명의 일 실시예에 의하면, 깊이 센서(112)는 다양한 방식으로 객체의 깊이 값을 획득할 수 있다. 예를 들어, 깊이 센서(112)는 TOF(Time of flight) 방식, 스테레오스코프 비전(stereoscopic vision) 방식, 구조화 광 패턴(structured light pattern) 방식 중 적어도 하나의 방식을 이용하여 깊이 값을 측정할 수 있다.

TOF(Time of flight) 방식은, 빛이 물체에 반사되어 돌아오는 시간을 분석하여, 물체까지의 거리를 측정하는 방식을 의미한다. TOF 시스템에서는, 적외선 LED가 적외선 펄스를 발사하고, 물체에 반사되어 돌아오는 빛의 도달 시간을 적외선 카메라가 측정한다. 이 경우, 깊이 센서(112)는 적외선 LED와 적외선 카메라를 포함할 수 있다. 깊이 센서(112)는 1초에 수십 번 빛을 발사하고 수신하는 것을 반복함으로써, 동영상 형태로 거리 정보를 촬영할 수 있다. 또한, 깊이 센서(112)는, 각 픽셀의 밝기 또는 색상으로 거리 정보를 표현하는 깊이 맵을 생성할 수도 있다.

스테레오스코프 비전(stereoscopic vision) 방식은 2 대의 카메라를 이용하여 물체의 입체감을 촬영하는 방식을 의미한다. 이 경우, 깊이 센서(112)는 2대의 카메라를 포함할 수 있다. 깊이 센서(112)는, 각각의 카메라가 바라보는 영상의 차이 정보를 이용하여, 삼각측량의 원리에 기반하여 거리를 계산할 수 있다. 사람은 왼쪽 눈과 오른쪽 눈에 들어오는 영상의 차이를 통해 입체감을 느끼게 되며, 깊이 센서(112)는 사람 눈의 원리와 비슷한 방식으로 거리를 측정하게 된다. 예를 드렁, 거리가 가까우면, 2대의 카메라에서 촬영된 영상의 차이가 크고, 거리가 멀면 2대의 카메라에서 촬영된 영상의 차이가 적다.

구조화된 광 패턴 방식은, 패턴을 가진 빛을 물체에 비추고, 물체 표면에 맺힌 패턴의 위치를 분석하여 물체까지의 거리를 측정하는 방식이다. 깊이 센서(112)는 일반적으로 직선형 무늬나 점 패턴을 물체에 투사하게 되며, 물체의 굴곡에 따라 무늬가 달라진다.

구조화된 광 패턴 방식은, 스테레오스코프 비전 방식에 사용된 2 개의 카메라 중의 하나를 광 프로젝터로 교체한 구조라고 할 수 있다. 예를 들어, 깊이 센서(112)는, 적외선 프로젝터로 발사된 빛이 물체 표면에 맺혀서 생긴 패턴의 위치를 알고리즘으로 분석하여 깊이 맵을 실시간으로 계산할 수 있다.

한편, 이미지 센서(111)와 깊이 센서(112)는 별개의 센서로 구성될 수도 있고, 하나의 센서로 구성될 수도 있다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 깊이 센서(111)를 통해 획득되는 입력 영역의 깊이 값 또는 입력 도구의 깊이 값을 이용하여, 가상의 입력 인터페이스(50)를 통한 입력 발생 여부를 결정할 수 있다.

도 2는 본 발명의 일 실시예에 따른, 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.

도 2를 참조하면, 웨어러블 디바이스(100)는 입력 영역을 설정할 수 있다(S210). 입력 영역은 가상의 입력 인터페이스가 디스플레이부(121)에 표시될 때, 가상의 입력 인터페이스가 오버랩되는 현실세계의 2차원 또는 3차원의 공간일 수 있다.

웨어러블 디바이스(100)는 사용자 모션에 기초하여, 입력 영역을 설정할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공 또는 실제 객체(예를 들어, 손바닥, 책상, 벽 등)에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다.

또는, 웨어러블 디바이스(100)는 기 설정된 객체를 인식하여, 인식된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다. 또는, 웨어러블 디바이스(100)는 사용자가 입력 도구를 이용하여, 기 설정된 객체를 터치하는 동작을 인식하고, 터치된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다.

입력 영역을 설정하는 방법에 대해서는, 도 3 내지 도 5를 참조하여, 자세히 후술하기로 한다.

또한, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 입력 영역 설정 모드로 진입하기 위한 기 설정된 음성 입력 또는 기 설정된 키 입력을 수신할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 입력 모드로 진입하기 위한 음성 입력 또는 키 입력이 수신되는 경우에, 입력 영역을 설정하는 사용자 제스쳐 영상을 획득하도록 제어할 수 있다. 또는, 웨어러블 디바이스(100)는 입력이 필요한 어플리케이션이 실행되는 경우, 입력 영역을 설정하는 사용자 제스쳐 영상을 획득하도록 제어할 수 있다.

입력 영역이 설정되면, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 표시할 가상의 입력 인터페이스를 결정할 수 있다(S220).

예를 들어, 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스(100) 간의 거리(입력 영역의 깊이 값), 입력 영역이 설정된 실제 객체의 종류, 입력 영역을 설정하는 제스쳐 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S230).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이(예를 들어, see-through type 디스플레이)를 투과하여 관측되는 입력 영역(현실 세계의 2차원 또는 3차원 공간)에 가상의 입력 인터페이스가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

또는, 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역(현실 세계의 2차원 또는 3차원 공간)을 포함하는 제1 이미지(실사 영상)를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(가상 영상)를 추가하여 제2 이미지를 생성할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이(예를 들어, see-close type 디스플레이)에 표시할 수 있다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S240).

웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 설정된 입력 영역까지의 거리(설정된 입력 영역의 깊이 값, 제1 깊이 값)를 측정할 수 있다.

한편, 설정된 입력 영역이 동일한 평면 상에 존재하지 않는 경우, 설정된 입력 영역의 깊이 값은 복수일 수 있다. 입력 영역의 깊이 값이 복수일 경우, 제1 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다.

또한, 입력 영역이 실제 객체 위에 설정된 경우, 제1 깊이 값은 실제 객체의 깊이 값일 수 있다.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 입력 도구까지의 거리(입력 도구의 깊이 값, 제2 깊이 값)를 측정할 수 있다.

입력 도구가 3차원 물체인 경우, 입력 도구의 깊이 값은 복수일 수 있다. 입력 도구의 깊이 값이 복수일 경우, 제2 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 입력 도구를 사용하여, 가상의 입력 인터페이스를 터치하는 경우, 입력 도구와 가상의 입력 인터페이스가 접촉하는 지점(입력 도구의 끝 점)을 제2 깊이 값으로 할 수 있다.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S250).

예를 들어, 입력 영역에 대한 제1 깊이 값이 입력 발생 여부를 결정하는 기준 값이 될 수 있으며, 제1 깊이 값과 제2 깊이 값의 차가 임계 값 이하인 경우, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다.

또는, 웨어러블 디바이스(100)는 제1 깊이 값보다 제2 깊이 값이 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여 입력 영역을 설정할 수 있으며, 설정된 입력 영역의 깊이 값과 입력 도구의 깊이 값을 비교하여, 입력 발생 여부를 결정함으로써, 가상의 입력 인터페이스를 통한 입력의 정확도를 향상시킬 수 있다.

도 3 내지 도 5는 본 발명의 일 실시예에 따른 입력 영역을 설정하는 방법을 나타내는 도면들이다.

도 3을 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 사용자에 의해 허공이나 실제 객체에 그려지는 도형을 인식하여, 입력 영역을 설정할 수 있다.

예를 들어, 도 3의 (a)에 도시된 바와 같이, 사용자는 펜, 막대기, 손가락 등의 입력 도구(310)를 이용하여, 허공에 도형(예를 들어, 사각형)을 그릴 수 있다. 웨어러블 디바이스(100)는 사용자에 의해 그려지는 도형을 인식하여, 인식된 도형에 대응하는 영역을 입력 영역(320)으로 설정할 수 있다. 예를 들어, 인식된 도형의 깊이 값(웨어러블 디바이스로부터 도형까지의 거리), 인식된 도형의 모양 및 인식된 도형의 크기를 가지는 영역을 입력 영역으로 설정할 수 있다.

다만, 도 3의 (a)에는 도형이 사각형인 것으로 도시하였으나, 이에 한정되지 않고, 도형은 원형, 다각형, 자유 폐곡선 등 다양한 모양과 크기를 가지는 도형을 포함할 수 있으며, 2차원 또는 3차원 도형일 수 있다.

또한, 도 3의 (b)에 도시된 바와 같이, 사용자는 펜, 막대기, 손가락 등의 입력 도구(345)를 이용하여, 실제 객체(330, 예를 들어, 손바닥)에 도형(340, 예를 들어, 직사각형)을 그릴 수 있다. 웨어러블 디바이스(100)는 사용자에 의해 그려지는 도형(340)을 인식하여, 인식된 도형(340)에 대응하는 영역을 입력 영역으로 설정할 수 있다. 예를 들어, 인식된 도형의 깊이 값(웨어러블 디바이스로부터 실제 객체까지의 거리), 인식된 도형의 모양 및 인식된 도형의 크기를 가지는 영역을 입력 영역으로 설정할 수 있다.

도 4를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 특정 객체를 인식하여, 입력 영역을 설정할 수 있다.

예를 들어, 도 4의 (a)에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 손바닥(410)을 인식할 수 있다. 이때, 웨어러블 디바이스(100)에는 손바닥(410)의 모양, 크기 등에 대한 정보가 미리 저장되어 있을 수 있다. 이에 따라, 웨어러블 디바이스(100)는 인식된 객체의 모양, 크기 등에 대한 정보를 기 저장된 객체의 모양, 크기 등에 대한 정보와 비교하여, 인식된 객체를 입력 영역으로 설정할지 여부를 결정할 수 있다.

인식된 객체가 웨어러블 디바이스(100)에 기 저장된 객체(입력 영역으로 설정할 객체)의 정보와 동일한 경우, 웨어러블 디바이스(100)는 인식된 객체의 기 설정된 영역(420)을 입력 영역으로 설정할 수 있다. 이때, 인식된 객체의 기 설정된 영역은 다양한 모양과 크기를 포함하는 영역일 수 있다.

도 4의 (a)에서는 웨어러블 디바이스(100)가 손바닥(410)을 인식하여, 입력 영역을 설정하는 것으로 도시하고 설명하였지만, 이에 한정되지 않고, 책상, 노트 등 다양한 객체를 인식하여, 입력 영역을 설정할 수 있다.

또한, 웨어러블 디바이스(100)는 특정 형태를 마커로 정의하고, 마커가 인식되는 경우, 마커를 포함하는 실제 객체의 평면을 입력 영역으로 설정할 수 있다.

예를 들어, 마커가 직사각형 형태로 정의된 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 직사각형 형태를 마커로 인식할 수 있다. 도 4의 (b)에 도시된 바와 같이, 웨어러블 디바이스(100)는 직사각형 형태(430)를 가지는 노트를 마커로 인식할 수 있다.

마커가 인식되면, 웨어러블 디바이스(100)는 마커를 포함하는 실제 객체의 평면을 입력 영역으로 설정할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 도 4의 (b)에 도시된 바와 같이, 직사각형 형태(430)를 가지는 노트의 평면을 입력 영역으로 설정할 수 있다. 이때, 웨어러블 디바이스(100)는 노트의 평면 전체를 입력 영역으로 설정하거나, 노트의 평면 중 일부 영역을 입력 영역으로 설정할 수도 있다.

도 4의 (b)에서는 마커가 직사각형 형태로 정의된 경우에 대해서 도시하고 설명하였지만, 이에 한정되지 않고, 마커는 원형, 다각형 등 다양한 형태로 정의될 수 있다.

도 5의 (a)를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 실제 입력 인터페이스를 인식하여, 입력 영역을 설정할 수 있다.

웨어러블 디바이스(100)는 실제 입력 인터페이스를 인식하여, 인식된 실제 입력 인터페이스와 동일한 종류의 가상 입력 인터페이스를 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 사용자가 펜, 막대기, 손가락 등의 입력 도구를 이용하여, 실제 입력 인터페이스를 터치하는 입력을 수신한 후에, 터치된 실제 입력 인터페이스를 인식할 수 있다.

실제 입력 인터페이스는 실제 키보드, 실제 키패드, 실제 메모장 인터페이스, 실제 계산기, 실제 피아노 건반, 실제 게임 컨트롤러, 실제 다이얼 패널 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 또한, 실제 입력 인터페이스(510)는 휴대 단말기 등에 디스플레이되는 GUI일 수 있다.

예를 들어, 도 5의 (a)에 도시된 바와 같이, 사용자가 입력 도구(520, 예를 들어, 손가락)을 이용하여, 실제 키보드(510)를 터치하는 경우, 웨어러블 디바이스(100)는 입력 도구(520)가 터치하는 실제 키보드(510)를 인식할 수 있다. 이때, 웨어러블 디바이스(100)는 깊이 센서를 이용하여, 실제 키보드(510)의 깊이 값과 입력 도구(520)의 깊이 값을 획득하고, 실제 키보드(510)의 깊이 값과 입력 도구(520)의 깊이 값의 차이가 임계값 이하인 경우, 실제 키보드(510)를 터치한 것으로 결정할 수 있다.

또한, 웨어러블 디바이스(100)에는 실제 입력 인터페이스의 종류, 모양, 크기 등에 관한 정보가 미리 저장되어 있을 수 있다. 이에 따라, 웨어러블 디바이스(100)는 이미지 센서(111)에 의해, 인식된 실제 키보드(510)의 종류, 모양, 크기 등에 관한 정보를 웨어러블 디바이스(100)에 저장되어 있는 실제 입력 인터페이스의 종류, 모양, 크기 등에 관한 정보와 비교하여, 인식된 객체가 입력 인터페이스인지를 결정할 수 있다.

또한, 웨어러블 디바이스(100)는 인식된 실제 입력 인터페이스에 대응하는 가상 입력 인터페이스를 표시할 수 있다. 웨어러블 디바이스(100)는 인식된 실제 입력 인터페이스와 동일한 종류의 가상 입력 인터페이스를 인식된 실제 입력 인터페이스 영역에 오버랩되도록 실제 입력 인터페이스와 동일한 크기와 모양의 가상 입력 인터페이스를 디스플레이부(121)에 표시할 수 있다.

예를 들어, 도 5의 (a)에 도시된 바와 같이, 실제 키보드(510)가 인식된 경우, 웨어러블 디바이스(100)는 인식된 실제 키보드와 동일한 크기와 모양을 가지는 가상 키보드를 실제 키보드(510)가 표시되는 영역에 오버랩되도록 표시할 수 있다.

한편, 도 5의 (b)를 참조하면, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 실제 객체의 평면을 인식하여, 입력 영역을 설정할 수 있다.

웨어러블 디바이스(100)는 실제 객체의 평면을 인식하고, 사용자가 펜, 막대기, 손가락 등의 입력 도구를 이용하여, 인식된 평면을 터치하는 입력을 수신하는 경우, 터치된 평면을 입력 영역으로 설정할 수 있다.

예를 들어, 도 5의 (b)에 도시된 바와 같이, 사용자가 입력 도구(530, 예를 들어, 펜)를 이용하여, 노트의 평면(540)을 터치하는 경우, 웨어러블 디바이스(100)는 입력 도구(530)가 터치하는 노트의 평면(540)을 인식할 수 있다. 이때, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 노트 평면(540)의 깊이 값과 입력 도구(530)의 깊이 값을 획득하고, 노트 평면(540)의 깊이 값과 입력 도구(530)의 깊이 값의 차이가 임계값 이하인 경우, 입력 도구(530)가 노트 평면(540)을 터치한 것으로 결정할 수 있다.

이에 따라, 웨어러블 디바이스(100)는 터치된 노트의 평면(540)을 입력 영역으로 설정할 수 있다.

도 6은 본 발명의 일 실시예에 따른 설정된 입력 영역의 깊이 값에 따라 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.

도 6을 참조하면, 웨어러블 디바이스(100)는 사용자 모션 등에 기초하여, 입력 영역을 설정할 수 있다(S610). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.

웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값을 획득할 수 있다(S620).

입력 영역이 허공에 설정되는 경우, 웨어러블 디바이스(100)는 입력 영역을 설정하는 사용자의 모션에 기초하여, 입력 영역의 깊이 값을 획득할 수 있다. 예를 들어, 사용자가 입력 도구를 이용하여, 허공에 도형을 그리는 경우, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 도형을 그리는 입력 도구의 깊이 값을 획득할 수 있으며, 획득된 입력 도구의 깊이 값을 입력 영역에 대한 제1 깊이 값으로 할 수 있다.

또한, 입력 영역이 실제 객체 위에 설정되는 경우, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 실제 객체의 깊이 값을 획득할 수 있으며, 획득된 실제 객체의 깊이 값을 입력 영역에 대한 제1 깊이 값으로 할 수 있다.

웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값에 기초하여, 표시할 가상의 입력 인터페이스의 종류를 결정할 수 있다(S630).

예를 들어, 입력 영역에 대한 제1 깊이 값의 크기가 제1 임계값 이하인 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제1 크기의 제1 키보드를 결정할 수 있다.

또한, 입력 영역에 대한 제1 깊이 값의 크기가 제1 임계값 보다 크고, 제2 임계 값(제1 임계값 보다 큰 임계값) 이하인 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제2 크기의 제2 키보드를 결정할 수 있으며, 제2 크기는 제1 크기보다 작을 수 있다.

또한, 입력 영역에 대한 제1 깊이 값의 크기가 제2 임계값 보다 큰 경우, 웨어러블 디바이스(100)는 디스플레이부(121)에 표시할 가상의 입력 인터페이스로 제3 크기의 제3 키보드를 결정할 수 있으며, 제3 크기는 제2 크기보다 작을 수 있다.

입력 영역에 대한 제1 깊이 값이 커지면, 웨어러블 디바이스(100) 사용자에게 관측되는 입력 영역의 크기가 작아지게 되므로, 웨어러블 디바이스(100)는 작은 크기의 입력 인터페이스를 결정할 수 있다. 다만, 이에 한정되는 것은 아니다.

또한, 웨어러블 디바이스(100)는 입력 영역에 대한 제1 깊이 값에 기초하여, 가상의 입력 인터페이스의 크기뿐만 아니라 형태도 결정할 수 있으며, 이에 대해서는 도 7 내지 9를 참조하여, 자세히 설명하기로 한다.

다시, 도 6을 참조하면, 웨어러블 디바이스(100)는 630 단계(S630)에서 결정된 가상의 입력 인터페이스를 610 단계(S610)에서 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다(S640).

또한, 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득하고(S650), 획득된 제1 깊이 값 및 제2 깊이 값에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S660).

도 6의 640 단계(S640) 내지 660 단계(S660)는 도 2의 230 단계(S230) 내지 250 단계(S250)에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.

도 7 내지 도 9는 설정된 입력 영역의 깊이 값에 따라 광학 디스플레이부(121)에 제공되는 가상의 입력 인터페이스의 종류 및 크기가 변경되는 일례를 설명하기 위한 도면들이다.

도 7을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 7cm 떨어진 손바닥(710) 위에 입력 영역을 설정하는 제스쳐(예를 들어, 직사각형을 그리는제스쳐)를 인식할 수 있다. 웨어러블 디바이스(100)는 인식된 제스쳐에 기초하여, 쿼티(QWERTY) 자판(720)이 광학 디스플레이부(121)를 통하여, 관측되는 손바닥(710)에 맞추어 보여지도록 쿼티(QWERTY) 자판(720)을 광학 디스플레이부(121)에 표시할 수 있다. 이때, 쿼티 자판(720)은 도 7에 도시된 바와 같이, 입력창('메시지를 입력하세요'가 표시되는 창)을 포함할 수 있으며, 쿼티 자판(720)을 통해 입력되는 문자가 입력창에 표시될 수 있다.

또한, 도 8을 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 10cm 떨어진 손바닥(810) 위에 입력 영역을 설정하는 제스쳐(예를 들어, 직사각형을 그리는 제스쳐)를 인식할 수 있다.

손바닥과 웨어러블 디바이스의 거리가 10cm인 경우, 도 7과 같이, 손바닥(710)과 웨어러블 디바이스(100) 사이의 거리가 7cm인 경우에 비해, 광학 디스플레이부(121)를 통하여, 관측되는 손바닥의 크기가 작아질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 천지인과 같은 휴대 단말용 자판(820)이 광학 디스플레이부(121)를 통하여, 관측되는 손바닥(810)에 맞추어 보여지도록 휴대 단말용 자판(820)을 광학 디스플레이부(121)에 표시할 수 있다.

또한, 도 9를 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 15cm 떨어진 손바닥(910) 위에 입력 영역을 설정하는 제스쳐(예를 들어, 직사각형을 그리는 제스쳐)를 인식할 수 있다.

손바닥(910)과 웨어러블 디바이스(100)의 거리가 15cm인 경우, 도 8과 같이, 손바닥(810)과 웨어러블 디바이스(100) 사이의 거리가 10cm인 경우에 비해, 광학 디스플레이부(121)를 통하여, 관측되는 손바닥의 크기가 작아질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 필기 입력 창(920)이 광학 디스플레이부(121)를 통하여, 관측되는 손바닥(910)에 맞추어 보여지도록 필기 입력 창(920)을 광학 디스플레이부(121)에 표시할 수 있다.

도 7 내지 도 9에서는, 손바닥(설정된 입력 영역)과 웨어러블 디바이스(100) 사이의 거리가 커지는 경우(입력 영역에 대한 제1 깊이 값이 커지는 경우), 쿼티(QWERTY) 자판(720), 휴대 단말용 자판(820), 필기 입력 창(920) 순서로 가상의 입력 인터페이스가 결정되는 것으로 도시하고 설명하였지만, 이에 한정되는 것은 아니다. 설명한 것과 반대로, 손바닥(설정된 입력 영역)과 웨어러블 디바이스(100) 사이의 거리가 작아지는 경우(입력 영역에 대한 제1 깊이 값이 작아지는 경우), 필기 입력 창(920), 휴대 단말용 자판(820), 쿼티 자판(720) 순서로 결정될 수도 있으며, 이외에도 다양한 종류의 입력 인터페이스가 결정될 수 있다.

도 10a 및 10b는 본 발명의 일 실시예에 따른 입력 영역이 설정된 실제 객체의 깊이 값이 변경됨에 따라, 가상의 입력 인터페이스의 종류가 적응적으로 변경되는 일례를 설명하기 위한 도면들이다.

도 10a를 참조하면, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 7cm 떨어진 손바닥(1010) 위에 입력 영역을 설정하는 제스쳐(예를 들어, 직사각형을 그리는 제스쳐)를 인식할 수 있다. 웨어러블 디바이스(100)는 인식된 제스쳐에 기초하여, 쿼티(QWERTY) 자판(1020)이 광학 디스플레이부(121)를 통하여 관측되는 손바닥(1010)에 맞추어 보여지도록 쿼티 자판(1020)을 광학 디스플레이부(121)에 표시할 수 있다.

쿼티 자판(1020)이 표시된 상태에서, 사용자는 웨어러블 디바이스(100)와 손바닥(1010) 사이의 거리가 10cm가 되도록 손바닥(1010)을 웨어러블 디바이스(100)로부터 멀리 이동시킬 수 있다.

손바닥(1010)과 웨어러블 디바이스(100)의 거리가 10cm인 경우, 도 10과 같이, 손바닥(100)과 웨어러블 디바이스(100) 사이의 거리가 7cm인 경우에 비해, 광학 디스플레이부(121)를 통하여 관측되는 손바닥의 크기가 작아질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 표시되던 쿼티 자판(1020) 대신에 천지인과 같은 휴대 단말용 자판(1030)이 광학 디스플레이부(121)를 통하여 관측되는 손바닥(1010)에 맞추어 보여지도록 휴대 단말용 자판(1030)을 광학 디스플레이부(121)에 표시할 수 있다.

반대로, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 웨어러블 디바이스(100)로부터 10cm 떨어진 손바닥(1010) 위에 입력 영역을 설정하는 제스쳐(예를 들어, 직사각형을 그리는 제스쳐)를 인식할 수 있다. 웨어러블 디바이스(100)는 인식된 제스쳐에 기초하여, 휴대 단말용 자판(1030)을 손바닥(1010)에 오버랩되도록 표시할 수 있다.

휴대 단말용 자판(1030)이 표시된 상태에서, 사용자는 웨어러블 디바이스(100)와 손바닥(1010) 사이의 거리가 7cm가 되도록 손바닥(1010)을 웨어러블 디바이스(100) 가까이 이동시킬 수 있다.

손바닥(1010)과 웨어러블 디바이스(100)의 거리가 7cm인 경우, 도 10과 같이, 손바닥(1010)과 웨어러블 디바이스(100) 사이의 거리가 10cm인 경우에 비해, 광학 디스플레이부(121)를 통하여 관측되는 손바닥의 크기가 커질 수 있다. 이에 따라, 웨어러블 디바이스(100)는 표시되던 휴대 단말용 자판(1030) 대신에 쿼티 자판(1020)이 광학 디스플레이부(121)를 통하여 관측되는 손바닥(1010)에 맞추어 보여지도록 쿼티 자판(1020)을 광학 디스플레이부(121)에 표시할 수 있다.

따라서, 사용자는 실제 객체 위에 입력 영역이 설정된 후에, 실제 객체의 위치(웨어러블 디바이스와 실제 객체 사이의 거리)를 변경함으로써, 표시되는 가상의 입력 인터페이스의 종류를 변경할 수 있다.

도 10b를 참조하면, 웨어러블 디바이스(100)는 손바닥(1010, 실제물체)과의 제1 거리(예를 들어, 7cm)를 획득하고, 획득한 거리를 갖는 제1 가상의 입력 인터페이스(예를 들어, 쿼티 자판, 1020)를 디스플레이부(121)를 통하여 관측되는 손바닥(1010)에 표시할 수 있다. 예를 들어, 도 1b의 가변 렌즈(240a)를 변형하여(또는 가변 렌즈의 굴절면의 곡률을 변경하여) 사용자의 눈에 입사하는 제1 광(1025)의 입사각을 조절함으로써, 사용자의 눈으로부터 사용자가 인식하는 쿼티 자판(1020)까지의 거리가 제1 거리가 되도록 조절할 수 있다.

또한, 웨어러블 디바이스(100)는 손바닥(1010, 실제물체)과의 제2 거리(예를 들어, 10cm)를 획득하고, 획득한 거리를 갖는 제2 가상의 입력 인터페이스(예를 들어, 휴대 단말용 자판, 1030)를 디스플레이부(121)를 통하여 관측되는 손바닥(1010)에 표시할 수 있다. 예를 들어, 도 1b의 가변 렌즈(240a)를 변형하여(또는 가변 렌즈의 굴절면의 곡률을 변경하여) 사용자의 눈에 입사하는 제1 광(1035)의 입사각을 조절함으로써, 사용자의 눈으로부터 사용자가 인식하는 휴대 단말용 자판 (1030)까지의 거리가 제2 거리가 되도록 조절할 수 있다.

도 10c 및 도 10d는 본 발명의 일 실시예에 따른, 사용자 입력에 기초하여, 가상의 입력 인터페이스의 종류가 변경되는 일예를 설명하기 위한 도면이다.

도 10c를 참조하면, 웨어러블 디바이스(100)는 인식된 사용자의 제스쳐에 기초하여, 제1 가상의 입력 인터페이스(쿼티(QWERTY) 자판, 1020)이 광학 디스플레이부(121)를 통하여 관측되는 손바닥(1010)에 맞추어 보여지도록 쿼티 자판(1020)을 광학 디스플레이부(121)에 표시할 수 있다. 이때, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 변경할 수 있는 키(1050)를 표시할 수 있다. 웨어러블 디바이스(100)는 사용자가 키(1050)를 선택하는 입력이 수신되면, 도 10d에 도시된 바와 같이, 제1 가상의 입력 인터페이스(1020)가 표시되던 영역에 제2 가상의 입력 인터페이스(휴대 단말용 자판, 1030)를 표시할 수 있다. 또한, 가상의 입력 인터페이스를 변경할 수 있는 키(1050)를 표시할 수 있다. 웨어러블 디바이스(100)는 사용자가 키(1050)를 선택하는 입력이 수신되면, 제2 가상의 입력 인터페이스(휴대 단말용 자판, 1030)가 표시된 영역에 제3 가상의 입력 인터페이스를 표시하거나, 도 10c에 도시된 바와 같이, 쿼티 자판(1020)을 표시할 수 있다.

도 11은 본 발명의 일 실시예에 따른 설정된 입력 영역의 크기 또는 입력 영역 설정 모션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 설명하기 위한 흐름도이다.

도 11을 참조하면, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 표시할 영역을 지정하기 위한 사용자 제스쳐를 이용하여 입력 영역을 설정할 수 있다(S1110). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.

웨어러블 디바이스(100)는 설정된 입력 영역의 크기 또는 입력 영역 설정 제스쳐를 이용하여 가상의 입력 인터페이스의 형태 또는 종류를 결정할 수 있다(S1120).

예를 들어, 입력 영역의 넓이가 제1 임계값 이하인 경우, 웨어러블 디바이스(100)는 제1 넓이를 가지는 가상의 입력 인터페이스를 제공할 수 있다.

또한, 입력 영역의 넓이가 제1 임계값 보다 크고, 제2 임계 값(제1 임계값 보다 큰 임계값) 이하인 경우, 웨어러블 디바이스(100)는 제2 넓이를 가지는 가상의 입력 인터페이스를 제공할 수 있으며, 제2 크기는 제1 넓이보다 클 수 있다. 이 경우 입력 영역의 크기(dimension)는 넓이 이외에 세로, 가로, 대각선, 지름 등의 길이로 결정될 수도 있다.

또한, 웨어러블 디바이스(100)는 사용자가 입력 영역을 설정하기 위해, 허공 또는 실제 객체 위에 그리는 도형에 따라, 다른 형태의 가상의 입력 인터페이스를 제공할 수 있다.

예를 들어, 사용자가 입력 영역을 설정하기 위해 제1 도형을 그리는 경우, 웨어러블 디바이스(100)는 제1 도형을 인식하여, 제1 도형에 대응하는 가상의 입력 인터페이스를 제공할 수 있다. 또한, 사용자가 입력 영역을 설정하기 위해 제2 도형을 그리는 경우, 웨어러블 디바이스(100)는 제2 도형에 대응하는 가상의 입력 인터페이스를 제공할 수 있다.

이에 대해서는, 도 12 내지 도 15를 참조하여, 자세히 설명하기로 한다.

다시, 도 11을 참조하면, 웨어러블 디바이스(100)는 1120 단계(S1120)에서 결정된 가상의 입력 인터페이스를 1110 단계(S1110)에서 설정된 입력 영역의 크기에 맞추어 디스플레이부(121)에 표시할 수 있다(S1130).

예를 들어, 설정된 입력 영역 내에 가상의 입력 인터페이스가 보여지도록 가상의 입력 인터페이스를 디스플레이부(121)에 표시할 수 있다. 이때, 가상의 입력 인터페이스의 형태는 설정된 입력 영역의 형태와 동일할 수 있으며, 가상의 입력 인터페이스의 크기(dimension)와 설정된 입력 영역의 크기(dimension)와 동일하거나 작을 수 있다.

또한, 웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치 또는 접근하는 입력 도구에 대한 제2 깊이 값을 획득하고(S1140), 획득된 제1 깊이 값 및 제2 깊이 값을 이용하여 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S1150).

도 11의 1130 단계(S1130) 내지 1150 단계(S1150)는 도 2의 230 단계(S230) 내지 250단계(S250)에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.

도 12 및 도 13은 설정된 입력 영역의 크기에 따라 표시되는 가상의 입력 인터페이스의 크기 또는 형태가 변경되는 일례를 설명하기 위한 도면들이다.

도 12의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자는 책상(1210) 위에 입력 영역을 설정하기 위한 도형을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 제1 크기(예를 들어, 20cm X 10cm)의 사각형(1220)을 그릴 수 있다. 이때, 웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여 사각형을 그리는 제스쳐를 이용하여 입력 영역을 설정할 수 있다.

또한, 웨어러블 디바이스(100)는 도 12의 (b)에 도시된 바와 같이, 사각형(1220)을 그리는 제스쳐에 응답하여, 가상의 피아노 건반(1230)을 광학 디스플레이부(121)를 통하여 관측되는 사각형 영역에 오버랩되도록 표시할 수 있다. 웨어러블 디바이스(100)는 가상의 피아노 건반(1230)이 사각형 영역의 크기에 맞추어 보여지도록 가상의 피아노 건반(1230)을 광학 디스플레이부(121)에 표시할 수 있다. 이때, 표시되는 가상의 피아노 건반의 크기는 사각형(1220)의 크기(예를 들어, 20cm X 10cm)에 따라 결정될 수 있다.

도 13의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자는 책상(1310) 위에 입력 영역을 설정하기 위한 도형을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 제2 크기(예를 들어, 10cm X 10cm)의 사각형(1320)을 그릴 수 있다. 이때, 웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여 사각형을 그리는 제스쳐를 입력 영역을 설정하는 제스쳐로 인식할 수 있다.

또한, 웨어러블 디바이스(100)는 도 13의 (b)에 도시된 바와 같이, 사각형을 그리는 제스쳐에 응답하여, 가상의 피아노 건반(1330)을 광학 디스플레이부(121)를 통하여 관측되는 사각형 영역에 오버랩되도록 표시할 수 있다. 웨어러블 디바이스(100)는 가상의 피아노 건반(1330)이 사각형 영역의 크기에 맞추어 보여지도록 가상의 피아노 건반(1330)을 디스플레이부(121)에 표시할 수 있다. 이때, 표시되는 가상의 피아노 건반의 크기는 사각형의 크기(예를 들어, 10cm X 10cm)에 따라 결정될 수 있다.

또한, 웨어러블 디바이스(100)는 입력 영역의 크기에 따라, 크기뿐만 아니라 형태가 다른 가상의 입력 인터페이스를 제공할 수 있다.

도 12의 (b) 및 도 13의 (b)를 참조하면, 도 12의 (b)에 도시된 가상의 피아노 건반(1230, 제1 피아노 건반)은 한 줄로 표시되는 피아노 건반일 수 있으며, 도 13의 (b)에 도시된 가상의 피아노 건반(1330, 제2 피아노 건반)은 두 줄로 표시되는 피아노 건반일 수 있다. 다만, 이에 한정되는 것은 아니다.

도 14 및 도 15는 입력 영역을 설정하는 제스쳐에 따라 표시되는 가상의 입력 인터페이스의 종류가 변경되는 일례를 설명하기 위한 도면들이다.

도 14의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 광학 디스플레이부(121)를 통하여 관측되는 손바닥(1410) 위에 손가락(1420)을 이용하여, 사각형(1430)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사각형을 그리는 제스쳐를 인식할 수 있으며, 사각형(1430)을 입력 영역으로 설정할 수 있다.

이때, 웨어러블 디바이스(100)는 도 14의 (b)에 도시된 바와 같이, 광학 디스플레이부(121)를 통하여 관측되는 사각형 영역에 가상의 휴대 단말용 자판(1450)이 오버랩되도록 가상의 휴대 단말용 자판(1450)을 광학 디스플레이부(121)에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 가상의 휴대 단말용 자판(1450)이 사각형 영역의 크기에 맞추어 보여지도록 광학 디스플레이부(121)에 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 불투명 디스플레이에 가상의 휴대 단말용 자판(1450)을 표시할 수도 있다.

도 15의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 광학 디스플레이부(121)를 통하여 관측되는 손바닥(1510) 위에 손가락(1520)을 이용하여, 원(1530)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 원을 그리는 제스쳐를 인식할 수 있으며, 원을 입력 영역으로 설정할 수 있다.

이때, 웨어러블 디바이스(100)는 도 15의 (b)에 도시된 바와 같이, 광학 디스플레이부(121)를 통하여 관측되는 원형 영역에 가상의 다이얼 패드(1550)가 오버랩되도록 디스플레이부(121)에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 가상의 다이얼 패드(1550)가 원형 영역의 크기에 맞추어 보여지도록 광학 디스플레이부(121)에 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 불투명 디스플레이에 가상의 다이얼 패드(1550)를 표시할 수도 있다.

따라서, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 입력 영역을 설정하는 제스쳐의 종류에 따라 다른 형태의 가상 입력 인터페이스를 제공할 수 있으며, 제스쳐의 종류에 따라 제공되는 가상 입력 인터페이스의 종류, 크기, 형태 등에 관한 정보는 웨어러블 디바이스(100)에 저장되어 있을 수 있다.

도 16은 본 발명의 일 실시예에 따른 입력 영역이 설정된 객체에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.

도 16의 (a)를 참조하면, 웨어러블 디바이스 사용자는 광학 디스플레이부(121)를 통하여 관측되는 책상 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 양 손을 이용하여, 책상 위에 사각형을 그릴 수 있다.

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 양 손을 이용하여, 사각형을 그리는 제스쳐를 입력 영역을 설정하는 제스쳐로 인식하여, 책상 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다.

이때, 입력 영역이 설정된 실제 객체가 책상(1610)인 경우, 웨어러블 디바이스 사용자는 양 손 입력이 가능하므로, 웨어러블 디바이스(100)는 쿼티 자판(1620)을 가상의 입력 인터페이스로 결정할 수 있다.

또한, 웨어러블 디바이스(100)는 쿼티 자판(1620)이 광학 디스플레이부(121)를 통하여 관측되는 책상의 사각형 영역에 오버랩되도록 쿼티 자판(1620)을 광학 디스플레이부(121)에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 가상의 쿼티 자판(1620)이 사각형 영역의 크기에 맞추어 보여지도록 광학 디스플레이부(121)에 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 불투명 디스플레이에 가상의 쿼티 자판(1620)을 표시할 수도 있다.

한편, 도 16의 (b)를 참조하면, 웨어러블 디바이스 사용자는 광학 디스플레이부(121)를 통하여 관측되는 손바닥(1630) 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다. 예를 들어, 웨어러블 디바이스 사용자는 손가락을 이용하여, 손바닥(1630) 위에 사각형을 그릴 수 있다.

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 손가락을 이용하여, 사각형을 그리는 제스쳐를 입력 영역을 설정하는 제스쳐로 인식하여, 손바닥(1630) 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다.

이때, 입력 영역이 설정된 실제 객체가 손바닥(1630)인 경우, 웨어러블 디바이스 사용자는 한 손 입력만 가능하므로, 웨어러블 디바이스(100)는 휴대 단말용 자판을 가상의 입력 인터페이스로 결정할 수 있다.

또한, 웨어러블 디바이스(100)는 휴대 단말용 자판(1640)을 광학 디스플레이부(121)를 통하여 관측되는 손바닥의 사각형 영역에 오버랩되도록 디스플레이부에 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 가상의 휴대 단말용 자판(1640)이 손바닥의 사각형 영역의 크기에 맞추어 보여지도록 디스플레이부(121)에 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 불투명 디스플레이에 가상의 휴대 단말용 자판(1640)을 표시할 수도 있다.

또는, 입력 영역의 색상에 따라, 가상의 입력 인터페이스의 색상을 결정할 수 있다. 예를 들어, 입력 영역의 색상이 제1 색상인 경우, 가상의 입력 인터페이스의 색상을 제1 색상과 다른 제2 색상 또는 제1 색상의 보색인 제3 색상으로 결정할 수 있다. 이에 따라, 사용자는 광학 디스플레이부(121)를 통하여 관측되는 입력 영역에 오버랩되어 표시되는 가상의 입력 인터페이스를 입력 영역으로부터 용이하게 구별할 수 있다.

도 17A 내지 도 17C는 본 발명의 일 실시예에 따른 웨어러블 디바이스가 입력 영역이 설정되는 실제 객체의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면들이다.

도 17A 내지 도 17C는 사용자가 웨어러블 디바이스를 착용하고, 책을 읽다가 책 위에 입력 영역을 설정하는 제스쳐를 수행하는 경우를 예로 들어 설명하기로 한다.

본 발명의 일 실시예에 따른, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 입력 영역이 설정되는 실제 객체의 종류를 인식할 수 있다. 예를 들어, 도 17A에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 책(1700) 위에 입력 도구(1701)를 이용하여 사각형(1710)을 그리는 사용자의 제스쳐를 감지할 수 있다. 이때, 웨어러블 디바이스(100)는 영상 처리를 통해, 입력 영역이 그려지는 실제 객체가 책(1700)이라는 것을 식별할 수 있으며, 이에 따라 책(1700)에 대응하는 가상의 입력 인터페이스로 메모장을 결정할 수 있다.

도 17B에 도시된 바와 같이, 웨어러블 디바이스(100)는 가상의 메모장(1720)을 광학 디스플레이부(121)를 통하여 관측되는 책(1700)에 설정된 입력 영역에 오버랩되도록 광학 디스플레이부(121)에 표시할 수 있다.

또한, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 영상 처리를 통해, 책(1700)에서 텍스트 또는 이미지가 표시되지 않는 여백 부분을 입력 영역으로 설정하고, 가상의 메모장(1720)을 광학 디스플레이부(121)를 통하여 관측되는 여백 부분에 오버랩되도록 광학 디스플레이부(121)에 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 책(1700)에 대한 제1 깊이 값과 입력 도구(1701)에 대한 제2 깊이 값을 획득하고, 제1 깊이 값 및 제2 깊이 값에 기초하여, 입력이 발생하는 경우, 입력되는 가상의 메모장(1720) 위에 표시할 수 있다.

또한, 도 17C에 도시된 바와 같이, 웨어러블 디바이스(100)는 가상의 메모장 위에 표시되는 입력 데이터(1730)를 사용자 입력에 기초하여, 저장할 수 있다.

이에 따라, 사용자는 웨어러블 디바이스(100)를 착용하고 책(1700)을 읽는 경우, 가상의 메모장을 이용하여, 중요한 정보를 용이하게 저장할 수 있다.

도 18은 본 발명의 일 실시예에 따른 입력 영역을 설정하는 입력 도구에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.

도 18을 참조하면, 웨어러블 디바이스 사용자는 입력 도구(예를 들어, 손가락, 펜 등)를 이용하여, 허공 또는 실제 객체 위에 입력 영역을 설정하기 위한 도형(예를 들어, 사각형)을 그릴 수 있다.

웨어러블 디바이스(100)는 웨어러블 디바이스 사용자가 입력 도구를 이용하여 사각형을 그리는 제스쳐를 입력 영역을 설정하는 제스쳐로 인식하여, 허공 또는 실제 객체 위에 그려진 사각형 영역을 입력 영역으로 설정할 수 있다.

입력 영역이 설정되면, 웨어러블 디바이스(100)는 입력 영역을 설정하는 입력 도구에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다.

예를 들어, 도 18의 (a)에 도시된 바와 같이, 입력 영역(1820)을 설정하는 입력 도구가 손가락(1810)인 경우, 웨어러블 디바이스(100)는 손가락(1810)을 이용하여 터치하기 쉬운 휴대 단말용 자판(1830)을 가상의 입력 인터페이스로 결정할 수 있다.

이에 따라, 웨어러블 디바이스(100)는 가상의 휴대 단말용 자판(1830)을 광학 디스플레이부(121)를 통하여 관측되는 사각형 영역(1810)에 오버랩되도록 광학 디스플레이부(121)에 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 불투명 디스플레이에 가상의 휴대 단말용 자판(1830)을 표시할 수도 있다.

한편, 도 17의 (b)에 도시된 바와 같이, 입력 영역(1840)을 설정하는 입력 도구가 펜(1850)인 경우, 웨어러블 디바이스(100)는 펜(1850)을 이용하여 입력하기 쉬운 필기 입력 창(1860)을 가상의 입력 인터페이스로 결정할 수 있다.

이에 따라, 웨어러블 디바이스(100)는 가상의 필기 입력 창(1860)을 광학 디스플레이부(121)를 통하여 관측되는 사각형 영역(1840)에 오버랩되도록 광학 디스플레이부(121)에 표시할 수 있다. 또한, 웨어러블 디바이스(100)는 불투명 디스플레이에 가상의 필기 입력 창(1860)을 표시할 수도 있다.

도 19는 본 발명의 일 실시예에 따른 웨어러블 디바이스에서 실행되고 있는 어플리케이션에 기초하여, 결정된 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.

도 19를 참조하면, 웨어러블 디바이스(100)는 어플리케이션을 실행시킬 수 있다(S1910). 예를 들어, 웨어러블 디바이스(100)는 웨어러블 디바이스(100)에 설치된 복수의 어플리케이션 중 어느 하나를 선택하여, 실행시킬 수 있다. 이때, 사용자는 음성 입력 또는 키 입력 등을 이용하여, 어플리케이션을 실행시킬 수 있다.

예를 들어, 웨어러블 디바이스(100)는 외부 디바이스로 메시지를 전송하고자 하는 경우, 메시지 어플리케이션을 실행시킬 수 있다. 이때, 메시지는 문자 메시지, 인스턴트 메시지, 채팅 메시지, 이메일 등을 포함할 수 있다.

또한, 웨어러블 디바이스(100)는 외부 디바이스로부터 메시지를 수신할 수 있으며, 수신한 메시지에 대하여, 답장을 하는 경우, 메시지 어플리케이션을 실행시킬 수 있다.

메시지 어플리케이션과 같이 텍스트나 숫자 등의 입력이 필요한 어플리케이션을 실행하는 경우(가상의 입력 인터페이스를 표시할 필요가 있는 경우), 웨어러블 디바이스(100)는 사용자의 제스쳐를 입력받고, 상기 입력받은 사용자 제스쳐 등에 기초하여, 입력 영역을 설정할 수 있다(S1920). 이에 대해서는 도 2의 210단계(S210) 및 도 3 내지 5에서 자세히 설명하였으므로, 구체적인 설명은 생략하기로 한다.

웨어러블 디바이스(100)는 실행되는 어플리케이션의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다(S1930).

예를 들어, 실행된 메시지 어플리케이션에서 메시지 작성을 위해 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행된 메시지 어플리케이션에서 수신자의 전화번화와 같은 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다. 이에 대해서는 도 20을 참조하여, 자세히 설명하기로 한다.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S1940).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S1950).

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S1960).

도 19의 1940 단계(S1940) 내지 1960 단계(S1960)는 도 2의 230 단계(S230) 내지 250단계(S250)에 대응하므로, 구체적인 설명은 생략하기로 한다.

도 20은 본 발명의 일 실시예에 따른 실행되는 어플리케이션의 종류에 기초하여, 결정된 가상의 입력 인터페이스가 제공되는 일례를 나타내는 도면이다.

웨어러블 디바이스(100)는 사용자 입력에 기초하여, 통화 어플리케이션을 실행시킬 수 있다. 예를 들어, 음성 입력이나 키 입력 등을 이용하여, 통화 어플리케이션을 실행시킬 수 있다.

통화 어플리케이션이 실행되는 경우, 웨어러블 디바이스 사용자는 통화를 요청할 상대방 단말의 전화번호를 입력하기 위한 가상의 입력 인터페이스를 표시하기 위해, 입력 영역을 설정할 수 있다. 예를 들어, 웨어러블 디바이스는 손바닥에 입력 영역을 설정하는 제스쳐를 인식하여, 손바닥에 입력 영역을 설정할 수 있다.

또한, 웨어러블 디바이스(100)는 현재 실행중인 어플리케이션에 대응하는 가상의 입력 인터페이스를 결정하고, 도 20의 (a)에 도시된 바와 같이, 광학 디스플레이부(121)를 통하여 관측되는 손바닥(2010) 위에 가상의 다이얼 패드(2020)가 오버랩되도록 가상의 다이얼 패드(2020)를 광학 디스플레이부(121)에 표시할 수 있다.

한편, 웨어러블 디바이스(100)는 사용자 입력에 기초하여, 메모장 어플리케이션을 실행시킬 수 있다. 예를 들어, 사용자는 음성 입력이나 키 입력 등을 이용하여, 메모장 어플리케이션을 실행시킬 수 있다.

메모장 어플리케이션이 실행되는 경우, 웨어러블 디바이스 사용자는 텍스트를 입력하기 위한 가상의 입력 인터페이스를 표시하기 위해, 입력 영역을 설정할 수 있다. 예를 들어, 웨어러블 디바이스는 손바닥에 입력 영역을 설정하는 제스쳐를 인식하여, 손바닥에 입력 영역을 설정할 수 있다.

또한, 웨어러블 디바이스(100)는 현재 실행중인 어플리케이션에 대응하는 가상의 입력 인터페이스를 결정하고, 도 20의 (b)에 도시된 바와 같이, 광학 디스플레이부(121)를 통하여 관측되는 손바닥(2010) 위에 가상의 휴대 단말용 자판(2030)이 오버랩되도록 가상의 휴대 단말용 자판(2030)을 광학 디스플레이부(121)에 표시할 수 있다. 다만, 이에 한정되는 것은 아니다.

도 21은 본 발명의 일 실시예에 따른 실행되는 컨텐츠의 종류에 기초하여, 결정된 가상의 입력 인터페이스를 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는 웨어러블 디바이스(100)에서 실행 중인 컨텐츠의 종류에 기초하여, 표시할 가상의 입력 인터페이스를 결정할 수 있다.

컨텐츠는 정지 영상, 동영상, 텍스트, 웹 페이지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 컨텐츠는 교육 컨텐츠, 영화 컨텐츠, 방송 컨텐츠, 게임 컨텐츠, 광고 컨텐츠, 사진 컨텐츠, 뉴스 컨텐츠 등을 포함할 수 있다.

컨텐츠를 실행한다는 것은 컨텐츠의 표시, 컨텐츠의 출력, 컨텐츠의 재생 등을 포함할 수 있다.

도 21을 참조하면, 웨어러블 디바이스(100)는 게임 컨텐츠(2110)를 실행하는 중에 입력 영역을 설정하는 사용자 제스쳐를 감지할 수 있다. 이 경우, 웨어러블 디바이스(100)는 게임 컨텐츠(2110)에 대응하는 가상의 게임 컨트롤 패널(2115)을 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 음악 컨텐츠(2120, 예를 들어, 드럼 연주 컨텐츠)를 실행하는 중에 입력 영역을 설정하는 사용자 제스쳐를 감지할 수 있다. 이 경우, 웨어러블 디바이스(100)는 음악 컨텐츠(2120)에 대응하는 드럼 연주 패널(2125)을 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 웹 페이지(2130)를 표시하는 중에 입력 영역을 설정하는 사용자 제스쳐를 감지할 수 있다. 이 경우, 웨어러블 디바이스(100)는 웹 페이지에서 정보를 검색할 수 있도록 가상의 키보드(2135)를 설정된 입력 영역에 오버랩되도록 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.

도 22 및 도 23은 본 발명의 일 실시예에 따른 웨어러블 디바이스가 이전에 가상의 입력 인터페이스가 제공되었던 실제 객체를 인식하는 경우, 이전에 제공되었던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 제공하는 일례를 나타내는 도면이다.

도 22의 (a)에 도시된 바와 같이, 웨어러블 디바이스 사용자가 손바닥(2210)에 손가락(2220)을 이용하여, 사각형(2230)을 그리는 경우, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사각형(2230)을 그리는 제스쳐를 인식할 수 있으며, 사각형(2230)을 입력 영역으로 설정할 수 있다.

이때, 웨어러블 디바이스(100)는 현재 실행 중인 어플리케이션의 종류에 기초하여, 표시할 가상의 입력 인터페이스의 종류를 결정할 수 있다. 예를 들어, 텍스트 입력이 필요한 메모장 어플리케이션이 실행 중인 경우, 웨어러블 디바이스(100)는 가상의 입력 인터페이스로 휴대 단말용 자판(2250)을 결정할 수 있다. 다만, 이에 한정되는 것은 아니다.

웨어러블 디바이스(100)는 도 22의 (b)에 도시된 바와 같이, 광학 디스플레이부(121)를 통하여 관측되는 사각형 영역 위에 가상의 휴대 단말용 자판(2250)이 오버랩되도록 가상의 휴대 단말용 자판(2250)을 광학 디스플레이부(121)에 표시할 수 있다.또한, 웨어러블 디바이스(100)는 불투명 디스플레이에 가상의 휴대 단말용 자판(2250)을 표시할 수도 있다.

이후에, 웨어러블 디바이스(100)는 메모장 어플리케이션을 실행 중에, 가상의 입력 인터페이스가 제공되었던 실제 객체(2220, 도 22의 (b)에 도시된 손바닥)와 동일한 객체를 인식할 수 있다.

예를 들어, 도 23의 (a)에 도시된 바와 같이, 웨어러블 디바이스(100)는 이미지 센서(111)를 이용하여, 사용자의 손바닥(2210)을 감지할 수 있다. 이때, 웨어러블 디바이스(100)는 영상 처리를 통해, 인식된 사용자의 손바닥(2210)이 가상의 입력 인터페이스가 제공되었던 실제 객체(2210, 도 22의 (b)에 도시된 손바닥)라는 것을 식별할 수 있다.

가상의 입력 인터페이스가 제공되었던 실제 객체(2210, 도 22의 (b)에 도시된 손바닥)가 인식되는 경우, 웨어러블 디바이스(100)는 23의 (b)에 도시된 바와 같이, 이전에 제공하였던 가상의 입력 인터페이스와 동일한 가상의 입력 인터페이스를 이전에 설정되었던 입력 영역에 제공할 수 있다.

예를 들어, 사용자가 입력 영역을 설정하기 위해, 입력 도구를 이용하여, 사각형을 그리는 동작을 수행하지 않아도, 웨어러블 디바이스(100)는 이전에 제공하였던 가상의 휴대 단말용 자판(2250)을 광학 디스플레이부(121)를 통하여 관측되는 손바닥의 입력 영역(2270)에 오버랩되도록 광학 디스플레이부(121)에 표시할 수 있다.

따라서, 사용자는 과거에 가상의 입력 인터페이스가 표시되던 실제 객체를 인식시킴으로써, 과거에 제공되었던 가상의 입력 인터페이스를 제공받을 수 있다.

도 24는 본 발명의 일 실시예에 따른 허공에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.

도 24를 참조하면, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정할 수 있다(S2410). 예를 들어, 도 3의 (a)에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2420).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스 간의 거리(입력 영역에 대한 제1 깊이 값) 및 입력 영역 설정 제스쳐 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2430).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.

예를 들어, 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는, 투명 디스플레이를 투과하여 관측되는 입력 영역(현실 세계의 2차원 또는 3차원 공간)에 가상의 입력 인터페이스가 오버랩되도록, 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

또는, 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 웨어러블 디바이스(100)는 입력 영역(현실 세계의 2차원 또는 3차원 공간)을 포함하는 제1 이미지(실사 영상)를 촬영하고, 촬영된 제1 이미지의 입력 영역에 가상의 입력 인터페이스(가상 영상)를 추가하여 제2 이미지를 생성할 수 있다. 웨어러블 디바이스(100)는 가상의 입력 인터페이스가 입력 영역에 오버랩된 제2 이미지를 불투명 디스플레이에 표시할 수 있다.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2440).

웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 설정된 입력 영역까지의 거리(설정된 입력 영역의 깊이 값, 제1 깊이 값)를 측정할 수 있다.

예를 들어, 입력 영역이 허공에 설정된 경우, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 깊이 값을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다.

한편, 설정된 입력 영역이 동일한 평면 상에 존재하지 않는 경우, 설정된 입력 영역의 깊이 값은 복수일 수 있다. 입력 영역의 깊이 값이 복수일 경우, 제1 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 가상의 입력 인터페이스를 터치하는 입력 도구까지의 거리(입력 도구에 대한 깊이 값, 제2 깊이 값)를 측정할 수 있다.

입력 도구가 3차원 물체인 경우, 입력 도구의 깊이 값은 복수일 수 있다. 입력 도구의 깊이 값이 복수일 경우, 제2 깊이 값은 복수의 깊이 값을 평균한 평균 깊이 값, 복수의 깊이 값 중 가장 작은 최소 깊이 값, 복수의 깊이 값 중 최대 깊이 값 중 하나일 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 입력 도구를 사용하여, 가상의 입력 인터페이스를 터치하는 경우, 입력 도구와 가상의 입력 인터페이스가 접촉하는 지점(입력 도구의 끝 점)을 제2 깊이 값으로 할 수 있다.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 움직이는 입력 도구를 실시간으로 추적할 수 있으며, 실시간으로 변하는 제2 깊이 값을 계산할 수 있다.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교할 수 있다(S2450).

예를 들어, 웨어러블 디바이스(100)는 제2 깊이 값이 제1 깊이 값보다 큰 지를 판단하여, 제2 깊이 값이 제1 깊이 값과 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다(S2460).

반면에, 웨어러블 디바이스(100)는 제2 깊이 값이 제1 깊이 값보다 작은 경우, 가상의 입력 인터페이스를 통한 입력이 발생하지 않은 것으로 결정할 수 있다(S2470).

이에 대해서는 도 25를 참조하여, 자세히 설명하기로 한다.

도 25는 입력영역이 허공에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.

도 25를 참조하면, 웨어러블 디바이스(100)는 허공에 설정된 입력 영역에 가상의 키보드(2510)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2510)를 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 가상의 키보드(2510)에 대한 제1 깊이 값을 측정할 수 있다.

한편, 웨어러블 디바이스(100)는 웨어러블 디바이스(100)를 착용한 사용자가 이동하더라도, 제1 깊이 값을 갖는 입력 영역에 계속해서 가상의 입력 인터페이스(2510, 예를 들어, 가상의 키보드)가 오버랩되어 나타나도록 투명 디스플레이 또는 불투명 디스플레이에 가상의 키보드(2510)를 표시할 수 있다. 예를 들어, 웨어러블 디바이스(100)는 사용자가 걷는 중이더라도 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)로부터 소정 거리(제1 깊이 값)만큼 떨어진 영역에 계속해서 가상의 키보드(2510)가 오버랩되어 나타나도록 조절할 수 있다.

또한, 도 25를 참조하면, 웨어러블 디바이스 사용자는 손가락(2520)을 이용하여, 허공에 나타나는 가상의 키보드(2510)를 터치함으로써, 데이터를 입력할 수 있다.

이때, 웨어러블 디바이스(100)는 가상의 키보드(2510)를 터치하는 사용자의 손가락(2520)에 대한 깊이 값(제2 깊이 값)을 측정하여, 가상의 키보드(2510)를 통한 입력 발생 여부를 결정할 수 있다.

예를 들어, 도 25의 (a)에 도시된 바와 같이, 사용자는 가상의 키보드(2510)에 표시되는 일부 버튼을 선택하기 위해 손가락(2520)을 가상의 키보드 근처로 가져갈 수 있다. 이때, 사용자의 손가락(2520)이 가상의 키보드(2510)가 나타나는 입력 영역을 통과하지 않은 경우, 손가락(2520)에 대한 제2 깊이 값은 제1 깊이 값보다 작을 수 있다.

웨어러블 디바이스(100)는 손가락(2520)에 대한 제2 깊이 값이 제1 깊이 값보다 작은 경우, 사용자가 가상의 키보드(2510)를 터치하지 않은 것으로 인식할 수 있으며, 가상의 키보드(2510)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다.

반면에, 도 25의 (b)에 도시된 바와 같이, 사용자의 손가락(2520)이 가상의 키보드(2510)가 나타나는 입력 영역을 통과하는 경우, 손가락(2520)에 대한 제2 깊이 값은 제1 깊이 값보다 클 수 있다.

웨어러블 디바이스(100)는 손가락(2520)에 대한 제2 깊이 값이 제1 깊이 값보다 큰 경우, 사용자가 가상의 키보드(2510)를 터치한 것으로 인식할 수 있다.

또한, 웨어러블 디바이스(100)는 가상의 키보드(2510)를 사용자가 터치한 것으로 인식되는 경우, 이미지 센서(111)를 이용하여, 가상의 키보드(2510) 상의 사용자의 손가락(2520) 위치를 검출할 수 있다. 웨어러블 디바이스(100)는 검출된 손가락 위치에 기초하여, 사용자의 입력 데이터를 결정할 수 있다. 예를 들어, 사용자의 손가락(2520)이 가상의 키보드에 포함된 ‘enter’ 버튼을 통과하고 있는 경우, 웨어러블 디바이스(100)는 사용자가 ‘enter’ 버튼을 선택한 것으로 판단할 수 있다.

본 발명의 일 실시예에 따르면, 웨어러블 디바이스(100)는 사용자가 허공에 설정한 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 제2 깊이 값을 비교함으로써, 허공에 제공되는 가상의 입력 인터페이스를 통한 사용자의 입력 발생 여부를 정확히 판단할 수 있다.

도 26은 본 발명의 일 실시예에 따른 허공 또는 실제 객체에 설정된 입력 영역에 가상의 입력 인터페이스를 제공하는 방법을 나타내는 흐름도이다.

도 26을 참조하면, 웨어러블 디바이스(100)는 허공 또는 실제 객체 위에 입력 영역을 설정할 수 있다(S2610). 예를 들어, 도 3에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구(예를 들어, 손가락, 펜, 막대기 등)를 이용하여, 허공 또는 실제 객체(예를 들어, 손바닥, 책상, 벽 등) 위에 그리는 도형을 인식하고, 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다.

또는, 도 4에서 설명한 바와 같이, 웨어러블 디바이스(100)는 기 설정된 객체를 인식하여, 인식된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다.

또는, 도 5에서 설명한 바와 같이, 웨어러블 디바이스(100)는 사용자가 입력 도구를 이용하여, 기 설정된 객체를 터치하는 동작을 인식하여, 터치된 객체에 대응하는 영역을 입력 영역으로 설정할 수 있다.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2620).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스 간의 거리(입력 영역에 대한 제1 깊이 값), 입력 영역이 설정된 실제 객체의 종류, 입력 영역 설정 제스쳐 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2630).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

도 26의 2630단계(S2630)는 도 24의 2430단계(S2430)와 동일하므로, 구체적인 설명은 생략하기로 한다.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2640).

예를 들어, 입력 영역이 허공에 설정된 경우, 웨어러블 디바이스(100)는 허공에 입력 영역을 설정하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 깊이 값을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다.

또한, 입력 영역이 실제 객체 위에 설정된 경우, 웨어러블 디바이스(100)는 실제 객체의 깊이 값(웨어러블 디바이스로부터 실제 객체까지의 거리)을 측정하여, 입력 영역에 대한 제1 깊이 값을 획득할 수 있다.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 웨어러블 디바이스(100)에서 가상의 입력 인터페이스를 터치하는 입력 도구까지의 거리(입력 도구에 대한 깊이 값, 제2 깊이 값)를 측정할 수 있다.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 움직이는 입력 도구를 실시간으로 추적할 수 있으며, 실시간으로 변하는 제2 깊이 값을 계산할 수 있다.

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이값을 기 설정된 임계값과 비교할 수 있다(S2650).

예를 들어, 웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값보다 작은 지를 판단하여, 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값보다 작은 경우, 가상의 입력 인터페이스를 통한 입력이 발생한 것으로 결정할 수 있다(S2660).

반면에, 웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값의 차이 값이 임계값 이상인 경우, 가상의 입력 인터페이스를 통한 입력이 발생하지 않은 것으로 결정할 수 있다(S2670).

이에 대해서는 도 27을 참조하여, 자세히 설명하기로 한다.

도 27은 입력 영역이 실제 객체에 설정된 경우, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정하는 방법을 설명하기 위해 참조되는 도면이다.

도 27을 참조하면, 웨어러블 디바이스(100)는 광학 디스플레이부(121)를 통하여 관측되는 실제 객체(예를 들어, 손바닥)에 가상의 키보드(2730)가 오버랩되어 나타나도록 가상의 키보드(2730)를 광학 디스플레이부(121)에 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 깊이 센서(112)를 이용하여, 손바닥(2710)에 대한 제1 깊이 값을 측정할 수 있다.

한편, 웨어러블 디바이스(100)는 손바닥(2710)의 위치가 변하더라도, 손바닥(2710)을 실시간으로 추적할 수 있으며, 실시간으로 변하는 제1 깊이 값을 계산하여, 계속해서 광학 디스플레이부(121)를 통하여 관측되는 손바닥(2710)에 가상의 키보드(2730)가 오버랩되어 나타나도록 조절할 수 있다.

또한, 도 27을 참조하면, 웨어러블 디바이스 사용자는 손가락(2720)을 이용하여, 손바닥(2710)에 나타나는 가상의 키보드(2730)를 터치함으로써, 데이터를 입력할 수 있다.

이때, 웨어러블 디바이스(100)는 가상의 키보드(2730)를 터치하는 사용자의 손가락(2720)에 대한 깊이 값(제2 깊이 값)을 측정하여, 가상의 키보드(2730)를 통한 입력 발생 여부를 결정할 수 있다.

도 27의 (a)에 도시된 바와 같이, 사용자는 손가락(2720)이 손바닥(2710)에서 소정 거리 이상 떨어져 있는 경우, 웨어러블 디바이스(100)는 가상의 키보드(2730)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다.

예를 들어, 가상의 키보드(2730)가 나타나는 손바닥(2710)에 대한 제1 깊이 값과 손가락에 대한 제2 깊이 값의 차가 임계값 이상인 경우, 사용자가 가상의 키보드(2730)를 터치하지 않은 것으로 인식할 수 있으며, 가상의 키보드(2730)를 통한 입력이 발생되지 않은 것으로 결정할 수 있다.

반면에, 도 27의 (b)에 도시된 바와 같이, 사용자가 가상의 키보드(2730)에 표시되는 일부 버튼을 선택하기 위해 손가락(2720)을 가상의 키보드(2730) 근처로 가져갈 수 있다. 이때, 손바닥(2710)에 대한 제1 깊이 값과 손가락에 대한 제2 깊이 값의 차가 임계값보다 작은 경우, 사용자가 가상의 키보드(2730)를 터치한 것으로 인식할 수 있다.

또한, 웨어러블 디바이스(100)는 손바닥(2710)에 대한 제1 깊이 값과 손가락(2720)에 대한 제2 깊이 값의 차가 임계값보다 작은 경우, 이미지 센서(111)를 이용하여, 가상의 키보드(2730) 상의 사용자의 손가락(2720) 위치를 검출할 수 있다. 웨어러블 디바이스(100)는 검출된 손가락(2720) 위치에 기초하여, 사용자의 입력 데이터를 결정할 수 있다. 예를 들어, 사용자의 손가락(2720)이 가상의 키보드(2730)에 포함된 ‘enter’ 버튼을 통과하고 있는 경우, 웨어러블 디바이스(100)는 사용자가 ‘enter’ 버튼을 선택한 것으로 판단할 수 있다.

본 발명의 일 실시예에 따르면, 웨어러블 디바이스(100)는 사용자가 허공 또는 실제 객체에 설정한 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구(예를 들어, 손가락, 펜 등)에 대한 제2 깊이 값을 비교함으로써, 허공 또는 실제 객체에 제공되는 가상의 입력 인터페이스를 통한 사용자의 입력 발생 여부를 정확히 판단할 수 있다.

도 28은 본 발명의 일 실시예에 따른 입력 영역에 대한 제1 깊이 값과 입력 도구에 대한 제2 깊이 값을 획득하는 방법을 설명하기 위해 참조되는 도면이다.

도 28에서는 웨어러블 디바이스 사용자가 키보드 입력이 필요한 경우, 손바닥을 입력 영역으로 이용하여, 가상의 키보드를 표시하는 경우를 예로 들어 설명하기로 한다.

도 28의 (a)를 참조하면, 사용자는 안경 형태의 웨어러블 디바이스(100, 제1 웨어러블 디바이스)를 착용한 상태에서, 왼 손바닥(2820)에 입력 영역을 설정할 수 있으며, 왼 손목에 제2 웨어러블 디바이스(2810)를 착용한 상태일 수 있다. 이때, 제2 웨어러블 디바이스(2810)는 사용자의 손목에 착용할 수 있는 형태일 수 있으며, 시계, 팔찌, 밴드 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이때, 제2 웨어러블 디바이스(2810)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제2 웨어러블 디바이스의 위치 정보를 센싱할 수 있다.또한, 제1 웨어러블 디바이스(100) 및 제2 웨어러블 디바이스(2810)는 통신부를 포함하여, 서로 데이터를 송수신할 수 있으며, 제2 웨어러블 디바이스(2810)는 센싱된 제2 웨어러블 디바이스의 위치 정보를 제1 웨어러블 디바이스(100)로 송신할 수 있다.

한편, 제1 웨어러블 디바이스(100)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제1 웨어러블 디바이스(100)의 위치 정보를 센싱할 수 있다.

제1 웨어러블 디바이스(100)는 센싱된 제1 웨어러블 디바이스의 위치 정보와 수신한 제2 웨어러블 디바이스(2810)의 위치 정보를 비교하여, 제1 웨어러블 디바이스(100)와 제2 웨어러블 디바이스(2810) 사이의 거리를 계산할 수 있다.

제2 웨어러블 디바이스(2810)를 착용한 왼 손목이 제1 웨어러블 디바이스(100)로부터 떨어진 거리와 가상의 키보드가 나타나는 입력 영역으로 설정된 왼 손바닥이 제1 웨어러블 디바이스로부터 떨어진 거리는 유사할 수 있다. 이에 따라, 제1 웨어러블 디바이스(100)는 제2 웨어러블 디바이스(2810)와 제1 웨어러블 디바이스(100) 사이의 거리를 제1 깊이 값으로 할 수 있다.

이에 따라, 제1 웨어러블 디바이스(100)는 제2 웨어러블 디바이스(2810)의 위치 정보를 사용하여, 정확한 제1 깊이 값을 획득할 수 있다.

또한, 제2 웨어러블 디바이스(2810)는 모션 센서 등을 포함할 수 있으며, 모션 센서 등을 이용하여, 왼 손바닥(2820)을 터치할 때 발생하는 모션(예를 들어, 진동 등)을 감지하여, 터치 입력을 인식할 수 있다. 제2 웨어러블 디바이스(2810)는 터치 입력이 인식되면, 통신부를 통하여, 제1 웨어러블 디바이스(100)로 터치 입력 발생 데이터를 전송할 수 있다. 이에 따라, 제1 웨어러블 디바이스(100)는 제2 웨어러블 디바이스(2810)의 센싱 정보를 이용하여, 터치 입력 발생 여부를 정확하게 인식할 수 있다.

한편, 도 28의 (b)를 참조하면, 사용자는 안경 형태의 웨어러블 디바이스(제1 웨어러블 디바이스)를 착용한 상태에서, 왼 손바닥(2820)에 입력 영역을 설정할 수 있으며, 오른 손가락(2830)에 제3 웨어러블 디바이스(2850)를 착용한 상태일 수 있다. 이때, 제3 웨어러블 디바이스(2850)는 사용자의 손가락에 착용할 수 있는 형태일 수 있으며, 골무, 반지 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이때, 제3 웨어러블 디바이스(2850)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제3 웨어러블 디바이스(2850)의 위치 정보를 센싱할 수 있다.

또한, 제1 웨어러블 디바이스(100) 및 제3 웨어러블 디바이스(2850)는 통신부를 포함하여, 서로 데이터를 송수신할 수 있으며, 제3 웨어러블 디바이스(2850)는 센싱된 제3 웨어러블 디바이스(2850)의 위치 정보를 제1 웨어러블 디바이스(100)로 송신할 수 있다.

한편, 제1 웨어러블 디바이스(100)는 위치 센서를 포함할 수 있으며, 위치 센서를 이용하여, 제1 웨어러블 디바이스(100)의 위치 정보를 센싱할 수 있다.

제1 웨어러블 디바이스(100)는 센싱된 제1 웨어러블 디바이스(100)의 위치 정보와 수신한 제3 웨어러블 디바이스(2850)의 위치 정보를 비교하여, 제1 웨어러블 디바이스(100)와 제3 웨어러블 디바이스(2850) 사이의 거리를 계산할 수 있다.

도 28의 (b)에 도시된 바와 같이, 제3 웨어러블 디바이스(2850, 예를 들어, 골무)를 착용한 손가락이 가상의 키보드(2840)를 터치하는 입력도구로 사용되는 경우, 골무(2850)의 깊이 값이 손가락(2830)의 깊이 값이 될 수 있으며, 골무(2850, 제3 웨어러블 디바이스)와 제1 웨어러블 디바이스(100) 사이의 거리를 제2 깊이 값으로 할 수 있다.

이에 따라, 제1 웨어러블 디바이스(100)는 제3 웨어러블 디바이스(2850)의 위치 정보를 사용하여, 정확한 제1 깊이 값을 획득할 수 있다.

또한, 제3 웨어러블 디바이스(2850)는 압력 센서 등을 포함할 수 있으며, 압력 센서 등을 이용하여, 왼 손바닥(2820)을 터치할 때 발생하는 압력 등을 감지하여, 터치 입력을 인식할 수 있다. 제3 웨어러블 디바이스(2850)는 터치 입력이 인식되면, 통신부를 통하여, 제1 웨어러블 디바이스(100)로 터치 입력 발생 데이터를 전송할 수 있다. 이에 따라, 제1 웨어러블 디바이스(100)는 제3 웨어러블 디바이스(2810)의 센싱 정보를 이용하여, 터치 입력 발생 여부를 정확하게 인식할 수 있다.

도 29는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대한 피드백을 제공하는 방법을 나타내는 흐름도이다.

도 29를 참조하면, 웨어러블 디바이스(100)는 입력 영역을 설정할 수 있다(S2910).

입력 영역이 설정되면, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 결정할 수 있다(S2920).

예를 들어, 웨어러블 디바이스(100)는 설정된 입력 영역의 속성에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 웨어러블 디바이스(100)는 입력 영역의 크기, 모양, 입력 영역과 웨어러블 디바이스(100) 간의 거리(입력 영역에 대한 제1 깊이 값) 및 입력 영역 설정 제스쳐 중 적어도 하나에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.

또는, 웨어러블 디바이스(100)는 실행되는 어플리케이션 또는 컨텐츠의 종류에 기초하여, 가상의 입력 인터페이스를 결정할 수 있다. 예를 들어, 실행되는 어플리케이션에서 텍스트 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 키보드(예를 들어, 쿼티 자판이나 휴대 단말용 자판 등)를 입력 인터페이스로 결정할 수 있다. 또는 실행되는 어플리케이션에서 숫자 입력을 필요로 하는 경우, 웨어러블 디바이스(100)는 가상의 다이얼 패드를 입력 인터페이스로 결정할 수 있다.

웨어러블 디바이스(100)는 결정된 가상의 입력 인터페이스를 설정된 입력 영역에 오버랩되도록 표시할 수 있다(S2930).

이때, 웨어러블 디바이스(100)는 증강현실(AR), 혼합현실(MR) 또는 가상현실(VR)의 형태로 가상의 입력 인터페이스를 표시할 수 있다.

예를 들어, 웨어러블 디바이스(100)는 증강현실 또는 혼합현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

또한, 웨어러블 디바이스(100)는 가상현실의 형태로 가상의 입력 인터페이스를 표시하는 경우, 가상의 입력 인터페이스가 입력 영역에 오버랩되어 나타나도록 불투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다.

웨어러블 디바이스(100)는 설정된 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다(S2940).

웨어러블 디바이스(100)는 제1 깊이 값과 제2 깊이 값을 비교하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다(S2950).

도 29의 2930 단계(S2930) 내지 2950 단계(S2950)는 도 2의 230 단계(S230) 내지 250 단계(S250)에 대응하므로, 구체적인 설명은 생략하기로 한다.

웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생된 경우, 입력 발생에 대응하는 알림 신호를 출력할 수 있다(S2960). 이때, 알림 신호는 비디오 신호, 오디오 신호, 햅틱 신호 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

이에 대해서는 도 30 내지 32을 참조하여, 자세히 설명하기로 한다.

도 30 및 31은 본 발명의 일 실시예에 따른 웨어러블 디바이스의 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면들이다.

도 30 및 도 31에 도시된 바와 같이, 웨어러블 디바이스(100)는 손바닥에 입력 영역을 설정하는 사용자 제스쳐를 인식하여, 광학 디스플레이부(121)를 통하여 관측되는 손바닥(3010)에 오버랩되도록 가상의 키보드(3030)를 광학 디스플레이부(121)에 표시할 수 있다.

이때, 사용자는 손가락(3020)을 이용하여, 가상의 키보드(3030)에 표시된 버튼을 터치하여, 입력을 수행할 수 있다.

웨어러블 디바이스(100)는 사용자의 손가락(3020)에 대한 깊이 값(제2 깊이 값)과 손바닥(3010)에 대한 깊이 값(제1 깊이 값)을 비교하여, 제1 깊이 값과 제2 깊이 값의 차이가 임계값보다 작은 경우, 손가락(3020)에 의한 입력이 발생한 것으로 결정할 수 있다.

웨어러블 디바이스(100)는 입력이 발생된 경우, 가상의 키보드(3030) 상에서 손가락(3020)의 위치를 검출하고, 손가락(3020)이 위치하는 해당 버튼에 대한 입력 데이터를 발생시킬 수 있다. 또한, 웨어러블 디바이스(100)는 해당 입력에 대해 사용자가 용이하게 인식할 수 있도록 피드백을 제공할 수 있다.

예를 들어, 도 30에 도시된 바와 같이, 해당 버튼(3040)에 대한 컬러를 다르게 표시할 수 있다. 또는, 가상의 키보드(3030)를 통한 입력이 발생된 경우, 알림음을 출력할 수 있다.

한편, 웨어러블 디바이스(100)는 가상의 입력 인터페이스를 통한 입력이 발생하는 경우, 주변 기기를 이용하여, 햅틱 신호를 출력할 수도 있다.

도 31에 도시된 바와 같이, 웨어러블 디바이스 사용자는 가상 키보드(3030)를 터치하는 손가락(3020)에 제2 웨어러블 디바이스(3150)를 착용한 상태일 수 있다. 이때, 제2 웨어러블 디바이스(3150)는 사용자의 손가락(3020)에 착용할 수 있는 형태일 수 있으며, 골무, 반지 등을 포함할 수 있다. 다만, 이에 한정되는 것은 아니며, 제2 웨어러블 디바이스(3150)는 사용자의 다른 신체 부위에 착용할 수 있는 형태일 수 있다.

또한, 제2 웨어러블 디바이스(3150)는 햅틱 모듈을 포함할 수 있다. 햅틱 모듈(haptic module)은 사용자가 느낄 수 있는 다양한 촉각 효과를 발생시킬 수 있다. 햅틱 모듈이 발생시키는 촉각 효과의 대표적인 예로는 진동 효과가 있다. 햅틱 모듈이 촉각 효과로 진동을 발생시키는 경우, 햅틱 모듈이 발생하는 진동의 세기와 패턴 등은 변환가능하며, 서로 다른 진동을 합성하여 출력하거나 순차적으로 출력할 수도 있다.

웨어러블 디바이스(100)는 가상의 키보드에 표시되는 버튼에 대한 입력이 발생되는 경우, 통신부를 통하여, 제2 웨어러블 디바이스(3150)로 햅틱 신호 출력을 요청할 수 있다.

제2 웨어러블 디바이스(3150)는 웨어러블 디바이스의 요청에 응답하여, 햅틱 모듈을 통하여, 햅틱 신호를 출력할 수 있다.

도 32는 본 발명의 일 실시예에 따른 가상의 입력 인터페이스를 통한 입력 발생 여부에 대응하는 알림 신호를 출력하는 일례를 나타내는 도면이다.

도 32에 도시된 바와 같이, 웨어러블 디바이스(100)는 책상(3210) 위에 입력 영역을 설정하는 사용자 제스쳐를 인식하여, 책상(3210)에 오버랩되도록 가상의 피아노 건반(3220)을 투명 디스플레이 또는 불투명 디스플레이에 표시할 수 있다.

이때, 사용자는 손가락(3230)을 이용하여, 가상의 피아노 건반(3220)에 표시된 건반을 터치하여, 입력을 수행할 수 있다.

웨어러블 디바이스(100)는 사용자의 손가락들(3230)에 대한 깊이 값(제2 깊이 값)과 책상(3210)에 대한 깊이 값(제1 깊이 값)을 비교하여, 제1 깊이 값과 제2 깊이 값의 차이가 임계값보다 작은 경우, 손가락(3230)에 의한 입력이 발생한 것으로 결정할 수 있다.

웨어러블 디바이스(100)는 입력이 발생된 경우, 가상의 피아노 건반(3220) 상에서 손가락들(3230)의 위치를 검출하고, 손가락들(3230)이 위치하는 해당 건반 위에 가상의 이미지(3250)를 표시할 수 있다. 이에 따라, 사용자는 가상의 이미지가 표시되는 해당 건반 입력이 발생하였음을 용이하게 인식할 수 있다.

도 33 및 도 34는 본 발명의 일 실시예에 따르는 웨어러블 디바이스의 구성을 설명하기 위한 블록 구성도이다.

도 33에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 센싱부(110), 디스플레이부(121), 제어부(130)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 디바이스(100)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 디바이스(100)는 구현될 수 있다.

예를 들어, 도 34에 도시된 바와 같이, 본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 센싱부(110), 출력부(120), 제어부(130) 이외에 사용자 입력부(140), 통신부(150), 메모리(160)를 더 포함할 수도 있다.

이하 상기 구성요소들에 대해 차례로 살펴본다.

센싱부(110)는, 웨어러블 디바이스(100)의 상태 또는 웨어러블 디바이스(100) 주변의 상태를 감지하고, 감지된 정보를 제어부(130)로 전달할 수 있다.

센싱부(110)는, 이미지 센서(111) 및 깊이 센서(112)를 포함할 수 있다. 웨어러블 디바이스(100)는, 이미지 센서(111)를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이때, 이미지 센서를 통해 캡쳐된 이미지는 제어부(130) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다.

본 발명의 일 실시예에 따르면, 이미지 센서(111)는 허공 또는 실제 객체 위에 입력 영역을 설정하는 제스쳐를 인식할 수 있다. 예를 들어, 이미지 센서(111)는 입력 도구를 이용하여 허공 또는 실제 객체 위에 입력 영역을 설정하는 제스쳐를 인식할 수 있다.

또한, 이미지 센서(111)는 입력 영역으로 설정할 기 설정된 객체를 인식할 수 있으며, 입력 도구를 이용하여, 기 설정된 객체를 터치하는 제스쳐를 인식할 수 있다. 또한, 이미지 센서(111)는 입력 영역을 포함하는 제1 이미지를 촬영할 수도 있다.

본 발명의 일 실시예에 따르면, 깊이 센서(112)는 입력 영역에 대한 제1 깊이 값과 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 제2 깊이 값을 획득할 수 있다. 예를 들어, 깊이 센서(112)는 웨어러블 디바이스(100)에서 입력 영역까지의 거리 및 웨어러블 디바이스(100)에서 입력 도구까지의 거리를 측정할 수 있다.

또한, 깊이 센서(112)는 실제 객체 위에 입력 영역이 설정된 경우, 웨어러블 디바이스(100)에서 실제 객체까지의 거리 정보를 측정하고, 실제 객체까지의 거리 정보를 이용하여, 입력 영역에 대한 제 1 깊이 값을 획득할 수 있다.

본 발명의 일 실시예에 따르면, 센싱부(110)는 이미지 센서(111) 및 깊이 센서(112) 이외에 가속도 센서(Acceleration sensor)(113), 위치 센서(114)(예컨대, GPS), 기압 센서(115), 온/습도 센서(116), 지자기 센서(117), 자이로스코프 센서(118), 마이크로폰(119) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.

마이크로폰(119)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(119)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(119)은 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.

가속도 센서(Acceleration sensor)(113), 위치 센서(114), 기압 센서(115), 온/습도 센서(116), 지자기 센서(117), 자이로스코프 센서(118)들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.

출력부(120)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(121)와 음향 출력부(122), 진동 모터(123) 등이 포함될 수 있다.

디스플레이부(121)는 웨어러블 디바이스(100)에서 처리되는 정보를 표시 출력할 수 있다. 예를 들어, 디스플레이부(121)는, 통화 모드인 경우 통화와 관련된 UI(User Interface) 또는 GUI(Graphic User Interface)를 표시할 수 있고, 입력 모드인 경우, 가상의 입력 인터페이스를 표시할 수 있다.

본 발명의 일 실시예에 의하면, 디스플레이부(121)는, 투명 디스플레이일 수도 있고, 불투명 디스플레이일 수도 있다. 투명 디스플레이란 정보를 표시하는 스크린의 뒷면이 비치는 형태의 정보 표시 장치를 말한다. 투명 디스플레이는 투명 소자로 구성되고, 투명 소자에 대한 광 투과율을 조절하여 투명도를 조절하거나 각 픽셀의 RGB값을 조절하여 투명도를 조절할 수 있다.

한편, 디스플레이부(121)와 터치패드가 레이어 구조를 이루어 터치 스크린으로 구성되는 경우, 디스플레이부(121)는 출력 장치 이외에 입력 장치로도 사용될 수 있다. 터치 스크린은 사용자의 터치 스크린 상의 터치 제스처를 감지하고, 터치 제스처에 관한 정보를 제어부(130)로 전달할 수 있다. 사용자의 터치 제스처에는 탭, 터치&홀드, 더블 탭, 드래그, 패닝, 플릭, 드래그 앤드 드롭, 스와이프 등이 있을 수 있다.

디스플레이부(121)는, 액정 디스플레이(liquid crystal display), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display), 유기 발광 다이오드(organic light-emitting diode), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display), 전기영동 디스플레이(electrophoretic display) 중에서 적어도 하나를 포함할 수 있다. 그리고 웨어러블 디바이스(100)의 구현 형태에 따라 웨어러블 디바이스(100)는 디스플레이부(121)를 2개 이상 포함할 수도 있다.

음향 출력부(122)는 통신부(150)로부터 수신되거나 메모리(160)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(122)는 웨어러블 디바이스(100)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음 등)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(122)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다.

본 발명의 일 실시예에 따르면, 음향 출력부(122)는 가상의 입력 인터페이스를 통한 입력이 발생하는 경우, 발생한 입력에 대응하는 오디오 신호를 출력할 수 있다.

진동 모터(123)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(123)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(123)는, 가상의 입력 인터페이스를 통한 입력이 발생되는 경우, 진동 신호를 출력할 수도 있다.

제어부(130)는, 통상적으로 웨어러블 디바이스(100)의 전반적인 동작을 제어한다. 예를 들어, 제어부(130)는, 메모리(160)에 저장된 프로그램들을 실행함으로써, 센싱부(110), 출력부(120), 사용자 입력부(140), 통신부(150), 메모리(160) 등을 전반적으로 제어할 수 있다.

제어부(130)는 이미지 센서(111)에서 인식된 제스쳐에 기초하여, 입력 영역을 설정할 수 있다. 예를 들어, 이미지 센서(111)에서 허공 또는 실제 객체 위에 도형을 그리는 제스쳐를 인식한 경우, 제어부(130)는 인식된 도형에 대응하는 영역을 입력 영역으로 설정할 수 있다.

제어부(130)는 설정된 입력 영역의 속성에 기초하여, 디스플레이부(121)에 표시할 가상의 입력 인터페이스를 결정할 수 있다.

제어부(130)는 설정된 입력 영역의 제1 깊이 값의 크기에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.

제어부(130)는, 입력 영역이 설정된 실제 객체의 종류에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.

제어부(130)는, 입력 영역을 설정하는 제스쳐의 종류 또는 입력 영역의 크기에 기초하여, 가상의 입력 인터페이스의 종류를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.

제어부(130)는, 웨어러블 디바이스(100)에서 실행중인 어플리케이션의 종류에 따라, 가상의 입력 인터페이스를 결정하고, 결정된 가상의 입력 인터페이스가 설정된 입력 영역에 오버랩되도록 디스플레이부(121)에 표시할 수 있다.

제어부(130)는, 투명 디스플레이를 투과하여 관측되는 입력 영역에 가상의 입력 인터페이스가 나타나도록 투명 디스플레이에 가상의 입력 인터페이스를 표시할 수 있다. ,

제어부(130)는, 제1 이미지에 포함된 입력 영역에 가상의 입력 인터페이스가 오버랩된 제2 이미지를 생성하고, 가상의 입력 인터페이스가 포함된 제2 이미지를 디스플레이부(121)에 표시할 수 있다.

제어부(130)는, 제1 깊이 값과 제2 깊이 값을 비교한 결과에 기초하여, 가상의 입력 인터페이스를 통한 입력 발생 여부를 결정할 수 있다. 예를 들어, 제어부(130)는, 제1 깊이 값과 제2 깊이 값의 차가 임계 값 이내인 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다.

제어부(130)는 제1 깊이 값 보다 제 2깊이 값이 큰 경우, 가상의 입력 인터페이스를 통한 입력이 발생된 것으로 결정할 수 있다.

제어부(130)는, 입력 발생 여부에 대응하는 알림 신호를 출력하도록 출력부(120)를 제어할 수도 있다.

사용자 입력부(140)는, 사용자가 웨어러블 디바이스(100)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(140)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 발명의 일 실시예에 의하면, 사용자 입력부(110)는, 가상의 입력 인터페이스를 포함할 수도 있다.

통신부(150)는, 웨어러블 디바이스(100)와 외부 디바이스 또는 웨어러블 디바이스(100)와 서버 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(150)는, 근거리 통신부(151), 이동 통신부(152), 방송 수신부(153)를 포함할 수 있다.

근거리 통신부(151)는, 블루투스 통신부, 근거리 무선 통신부(NFC/RFID 부), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

예를 들어, 근거리 통신부(151)는 제2 웨어러블 디바이스의 위치 정보 또는 제3 웨어러블 디바이스의 위치 정보를 수신할 수 있다.

이동 통신부(152)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.

방송 수신부(153)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 웨어러블 디바이스(100)가 방송 수신부(153)를 포함하지 않을 수도 있다.

메모리(160)는, 제어부(130)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 입력 모드에 대응하는 제스쳐 정보, 가상의 입력 인터페이스, 가상의 입력 인터페이스를 통해 입력된 데이터, 센서에서 측정되는 센싱 정보, 컨텐츠 등)을 저장할 수도 있다.

메모리(160)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다. 또한, 웨어러블 디바이스(100)는 인터넷(internet)상에서 메모리(160)의 저장 기능을 수행하는 웹 스토리지(web storage) 또는 클라우드 서버를 운영할 수도 있다.

메모리(160)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, UI 모듈(161), 알림 모듈(162) 등으로 분류될 수 있다.

UI 모듈(161)은, 애플리케이션 별로 디바이스(100)와 연동되는 특화된 UI, GUI 등을 제공할 수 있다. 또한, 본 발명의 일 실시예에 의하면, UI 모듈(161)은, 상황에 맞는 가상의 입력 인터페이스를 선택하여, 제공할 수도 있다.

알림 모듈(162)은, 웨어러블 디바이스(100)의 이벤트 발생을 알리기 위한 신호를 발생할 수 있다. 웨어러블 디바이스(100)에서 발생되는 이벤트의 예로는 호 신호 수신, 메시지 수신, 가상의 입력 인터페이스를 통해 키 신호 입력, 일정 알림 등이 있다. 알림 모듈(162)은 디스플레이부(121)를 통해 비디오 신호 형태로 알림 신호를 출력할 수도 있고, 음향 출력부(122)를 통해 오디오 신호 형태로 알림 신호를 출력할 수도 있고, 진동 모터(123)를 통해 진동 신호 형태로 알림 신호를 출력할 수도 있다. 또한, 알림 모듈(162)은, 외부의 웨어러브 디바이스(예컨대, 반지, 골무, 팔찌, 장갑 등)를 이용하여 햅틱 신호를 출력할 수도 있다.

본 발명의 일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

본 발명의 일 실시예에 따른 웨어러블 디바이스(100)는, 가상의 입력 인터페이스를 터치하는 입력 도구에 대한 깊이 값을 사용자에 의해 정의된 기준 깊이 값과 비교함으로써, 가상의 입력 인터페이스를 통한 입력 발생 여부를 정확히 판단할 수 있다.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (22)

1. 안경형 웨어러블 디바이스에 있어서,
   이미지 센서;
   깊이 센서;
   광학 디스플레이부; 및
   상기 이미지 센서를 통하여, 사용자의 제스쳐 영상을 획득하도록 제어하고,
   상기 사용자의 제스쳐 영상에 기초하여, 사용자 입력 영역을 결정하고,
   상기 깊이 센서를 통하여, 상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리를 획득하도록 제어하고,
   상기 거리가 임계값보다 작으면, 제1 종류의 가상 입력 인터페이스를 상기 광학 디스플레이부 상에 제공하도록 제어하고,
   상기 거리가 상기 임계값 이상이면, 제2 종류의 가상 입력 인터페이스를 상기 광학 디스플레이부 상에 제공하도록 제어하는 제어부를 포함하는 안경형 웨어러블 디바이스.
2. 제1항에 있어서,
   상기 제어부는,
   상기 이미지 센서를 통하여, 허공 또는 실제 객체 위에 입력 도구를 이용하여, 도형을 그리는 상기 사용자의 제스쳐 영상을 획득하도록 제어하고,
   상기 도형에 상응하 는상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 상기 광학 디스플레이부 상에 제공하도록 제어하는 안경형 웨어러블 디바이스.
3. 제1항에 있어서,
   상기 제어부는,
   상기 사용자 입력 영역의 크기에 기초하여, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 상기 광학 디스플레이부 상에 제공하도록 제어하는 안경형 웨어러블 디바이스.
4. 제1항에 있어서,
   상기 사용자 입력 영역이 실제 객체 위에 설정된 경우,
   상기 제어부는,
   상기 사용자 입력 영역이 설정된 실제 객체의 종류에 기초하여, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 상기 광학 디스플레이부 상에 제공하도록 제어하는 안경형 웨어러블 디바이스.
5. 제1항에 있어서,
   상기 제어부는,
   상기 안경형 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 상기 광학 디스플레이부 상에 제공하도록 제어하는 안경형 웨어러블 디바이스.
6. 제1항에 있어서,
   상기 광학 디스플레이부는,
   투명 디스플레이를 포함하고,
   상기 제어부는,
   상기 투명 디스플레이를 투과하여 관측되는 상기 입력 영역에 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나가 맞추어 보여지도록 상기 투명 디스플레이에 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하도록 제어하는 안경형 웨어러블 디바이스.
7. 제1항에 있어서,
   상기 제어부는,
   상기 사용자 입력 영역을 포함하는 제1 이미지를 촬영하도록 상기 이미지 센서를 제어하고,
   상기 제1 이미지에 포함된 상기 사용자 입력 영역에 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나가 오버랩된 제2 이미지를 표시하도록 상기 광학 디스플레이부를 제어하는 안경형 웨어러블 디바이스.
8. 제1항에 있어서,
   상기 제어부는,
   상기 안경형 웨어러블 디바이스로부터 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 터치하는 입력 도구까지의 깊이 값을 획득하도록 상기 깊이 센서를 제어하고,
   상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리와 상기 깊이 값을 비교한 결과에 따라, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 통한 입력 발생 여부를 결정하는 안경형 웨어러블 디바이스.
9. 삭제
10. 제8항에 있어서,
    상기 제어부는,
    상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리와 상기 깊이 값의 차이가 제2 임계값 미만인 경우, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 통한 입력이 발생한 것으로 결정하는 안경형 웨어러블 디바이스.
11. 제8항에 있어서,
    상기 제어부는,
    상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리보다 깊이 값이 큰 경우, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 통한 입력이 발생한 것으로 결정하는 안경형 웨어러블 디바이스.
12. 안경형 웨어러블 디바이스에서 가상의 입력 인터페이스를 제공하는 방법에 있어서,
    이미지 센서를 통하여, 사용자의 제스쳐 영상을 획득하는 단계;
    상기 사용자의 제스쳐 영상에 기초하여, 사용자 입력 영역을 결정하는 단계;
    깊이 센서를 통하여, 상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리를 획득하는 단계; 및
    상기 거리가 임계값보다 작으면 제1 종류의 가상 입력 인터페이스를 제공하고, 상기 거리가 상기 임계값 이상이면, 제2 종류의 가상 입력 인터페이스를 제공하는 단계;를 포함하는 방법.
13. 제12항에 있어서,
    상기 사용자의 제스쳐 영상을 획득하는 단계는,
    허공 또는 실제 객체 위에 입력 도구를 이용하여, 도형을 그리는 상기 사용자의 제스쳐 영상을 획득하는 단계를 포함하고,
    상기 사용자 입력 영역을 결정하는 단계는,
    상기 도형에 대응하는 영역을 상기 사용자 입력 영역으로 설정하는 단계를 포함하는 방법.
14. 제12항에 있어서,
    상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계는,
    상기 사용자 입력 영역의 크기에 기초하여, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계를 포함하는 방법.
15. 제12항에 있어서,
    상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계는,
    상기 사용자 입력 영역이 실제 객체 위에 설정된 경우,
    상기 사용자 입력 영역이 설정된 실제 객체의 종류에 기초하여, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계를 포함하는 방법.
16. 제12항에 있어서,
    상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계는,
    상기 안경형 웨어러블 디바이스에서 실행 중인 어플리케이션의 종류에 기초하여, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계를 포함하는 방법.
17. 제12항에 있어서,
    상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계는,
    투명 디스플레이를 투과하여 관측되는 상기 사용자 입력 영역에 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나가 맞추어 보여지도록 상기 투명 디스플레이에 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계를 포함하는 방법.
18. 제12항에 있어서,
    상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 제공하는 단계는,
    상기 이미지 센서를 이용하여, 상기 입력 영역을 포함하는 제1 이미지를 촬영하는 단계;
    상기 제1 이미지에 포함된 상기 입력 영역에 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나가 오버랩된 제2 이미지를 생성하는 단계; 및
    상기 제2 이미지를 표시하는 단계를 포함하는 방법.
19. 제12항에 있어서,
    상기 방법은,
    상기 안경형 웨어러블 디바이스로부터 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 터치하는 입력 도구까지의 깊이 값을 획득하는 단계; 및
    상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리와 상기 깊이 값을 비교한 결과에 따라, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 통한 입력 발생 여부를 결정하는 단계를 포함하는 방법.
20. 삭제
21. 제19항에 있어서,
    상기 입력 발생 여부를 결정하는 단계는,
    상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리와 상기 깊이 값의 차이가 제2 임계값 미만인 경우, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 통한 입력이 발생한 것으로 결정하는 단계인 방법.
22. 제19항에 있어서,
    상기 입력 발생 여부를 결정하는 단계는,
    상기 안경형 웨어러블 디바이스로부터 상기 사용자 입력 영역까지의 거리보다 상기 깊이 값이 큰 경우, 상기 제1 종류의 가상 입력 인터페이스 및 상기 제2 종류의 가상 입력 인터페이스 중 어느 하나를 통한 입력이 발생한 것으로 결정하는 단계인 방법.

Images