KR20150118036A - 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법 - Google Patents

머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법 Download PDF

Info

Publication number
KR20150118036A
KR20150118036A KR1020150049704A KR20150049704A KR20150118036A KR 20150118036 A KR20150118036 A KR 20150118036A KR 1020150049704 A KR1020150049704 A KR 1020150049704A KR 20150049704 A KR20150049704 A KR 20150049704A KR 20150118036 A KR20150118036 A KR 20150118036A
Authority
KR
South Korea
Prior art keywords
touch
head
virtual character
portable device
unit
Prior art date
Application number
KR1020150049704A
Other languages
English (en)
Other versions
KR102463080B1 (ko
Inventor
김대명
곽지연
김양욱
정재호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/683,517 priority Critical patent/US20150212647A1/en
Publication of KR20150118036A publication Critical patent/KR20150118036A/ko
Priority to US16/389,422 priority patent/US11360728B2/en
Application granted granted Critical
Publication of KR102463080B1 publication Critical patent/KR102463080B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공된다. 보다 상세하게는 복수의 터치에 대응하여 디스플레이부에 표시되는 콘텐트에서 가상 캐릭터의 동작을 변경하는 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공된다. 개시된 실시예 중 일부는 머리 착용형 디스플레이 장치의 터치 패드에서 검출되는 제1 터치 및 주변의 휴대 장치에서 검출되는 제2 터치의 조합에 대응하여 디스플레이부에 표시되는 콘텐트에서 가상 캐릭터의 동작을 변경하는 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공된다.

Description

머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법{HEAD MOUNTED DISPLAY APPARATUS AND METHOD FOR DISPLAYING A CONTENT}
본 발명은 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법에 관한 것이다.
머리 착용형 디스플레이 장치(head mounted display)는 소프트웨어 기술로 구현된 시뮬레이션을 통해 현실과 유사한 가상 현실을 경험할 수 있는 다양한 장치들 중 하나이다. 디스플레이의 크기가 크고 고 해상도를 지원하는 머리 착용형 디스플레이 장치를 착용한 사용자는 센서를 통한 헤드 트랙킹 및 양안에 제공되는 디스플레이를 통해 가상 현실을 체험할 수 있다. 머리 착용형 디스플레이 장치가 제공하는 다양한 서비스 및 기능들은 점차 확대되고 있다.
다양한 서비스 및 기능의 선택 및 실행을 위한 버튼, 터치 패드뿐만 아니라 추가 입력 방법이 필요하다.
본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 콘텐트 표시방법에 있어서, 머리 착용형 디스플레이 장치(head mounted display)에서 콘텐트를 실행하는 단계, 주위의 휴대 장치와 무선으로 연결하는 단계, 상기 머리 착용형 디스플레이 장치의 터치 패드에서 제1 터치를 검출하는 단계, 상기 휴대 장치의 터치 스크린에서 검출된 제2 터치를 수신하는 단계, 및 상기 복수의 터치의 조합에 대응하여 상기 콘텐트에 표시되는 가상 캐릭터의 동작을 변경하는 단계를 포함한다.
본 발명의 일측에 따르면, 착용형 디스플레이 장치의 콘텐트 표시방법은 상기 제2 터치에 대응되는 컨트롤 패킷을 상기 휴대 장치에서부터 수신하는 단계를 더 포함할 수 있다.
본 발명의 일측에 따르면, 상기 제1 터치 및 상기 제2 터치의 조합에 대응되는 가상 캐릭터의 동작은 상기 제1 터치에 대응되는 가상 캐릭터의 동작과 구별될 수 있다.
본 발명의 실시예에 따른 머리 착용형 디스플레이 장치는 콘텐트를 표시하는 디스플레이부, 제1 터치를 수신하는 터치 패드, 휴대 장치와 연결되는 통신부, 및, 상기 디스플레이부, 상기 터치 패드 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 제1 터치 및 상기 통신부를 통해 상기 휴대 장치에서 수신되는 제2 터치의 조합에 대응하여 상기 디스플레이부에 표시되는 상기 콘텐트의 가상 캐릭터 동작을 변경한다.
본 발명의 일측에 따르면, 상기 제어부는 산출된 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나에 대응하여 상기 가상 캐릭터의 동작을 변경할 수 있다.
본 발명의 실시예에 따른 휴대 장치는 실행된 터치 패드 어플리케이션을 표시하는 터치 스크린, 주위의 머리 착용형 디스플레이 장치와 통신부, 및 상기 터치 스크린 및 상기 통신부를 제어하는 제어부를 포함하고, 상기 제어부는, 상기 터치 패드 어플리케이션에서 수신되는 터치에 대응되는 컨트롤 패킷을 상기 통신부를 통해 상기 머리 착용형 디스플레이 장치로 전송한다.
머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.
머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치 및 머리 착용형 디스플레이 장치와 무선 연결된 휴대 장치에서 검출되어 수신되는 제2 터치의 조합에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.
머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치 제스처에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.
머리 착용형 디스플레이 장치의 측면에 위치하는 터치 패드에 수신되는 제1 터치 제스처 및 머리 착용형 디스플레이 장치와 무선 연결된 휴대 장치에서 검출되어 수신되는 제2 터치 제스처의 조합에 대응하여 디스플레이부에 표시되는 콘텐트의 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.
이에 한정되지 않고 본 발명의 다양한 실시예에 따르면, 머리 착용형 디스플레이 장치의 제1 터치(또는 터치 제스처) 및 휴대 장치에서 수신된 제2 터치(또는 터치 제스처)의 조합에 대응하여 가상 캐릭터의 동작을 변경가능한 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법이 제공될 수 있다.
도 1은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 도면이다.
도 2는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 블럭도이다.
도 3은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 콘텐트 표시방법을 나타내는 개략적인 순서도이다.
도 4a 내지 도 4e는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치의 화면 예를 나타내는 도면이다.
도 5a 및 도 5b는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 터치 제스처 및 휴대 장치의 터치 제스처의 예를 나타내는 도면이다.
이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 예시적 실시예를 상세하게 설명한다. 또한, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명을 제조하고 사용하는 방법을 상세히 설명한다. 각 도면에서 제시된 동일한 참조번호 또는 부호는 실질적으로 동일한 기능을 수행하는 부품 또는 구성요소를 나타낸다.
“제1”, “제2” 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. “및/또는” 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어플리케이션(application)은 컴퓨터용 OS(Operating System) 또는 모바일 OS 위에서 실행되어 사용자가 사용하는 소프트웨어를 의미한다. 예를 들어, 어플리케이션은 워드 프로세서, 스프레드 시트, 연락처(contacts), 캘린더(calendar), 메모(memo), 알람(alarm), SNS(Social Network System), 채팅(chatting), 지도(map), 게임(game), 가상현실(virtual reality) 소프트웨어, 증강현실(augmented reality) 소프트웨어, 3차원 소프트웨어, 뮤직 플레이어 또는 비디오 플레이어를 포함할 수 있다. 본 발명의 실시예에 따른 어플리케이션은 휴대 장치 또는 휴대 장치와 무선 또는 유선으로 연결되는 외부 장치(예를 들어, 서버 등)에서 실행되는 소프트웨어를 의미할 수 있다. 또한, 본 발명의 실시예에 따른 어플리케이션은 수신되는 사용자 입력에 대응하여 휴대 장치에서 실행되는 소프트웨어를 의미할 수 있다.
콘텐트(content)는 실행되는 어플리케이션에서 표시될 수 있다. 예를 들어, 어플리케이션 중 하나인 비디오 플레이어에서 재생되는 비디오 파일, 또는 오디오 파일, 뮤직 플레이어에서 재생되는 오디오 파일, 포토 갤러리에서 표시되는 포토 파일, 컴퓨터 게임(computer game, 예를 들어, 슈팅(shooting), 스포츠, 자동차 경주, 미로 찾기 등), 웹 브라우저에서 표시되는 웹 페이지 등을 포함할 수 있다. 컴퓨터 게임은 아케이드 게임(arcade game), 홈 비디오 게임(home video game), 휴대 장치 게임(portable device game) 또는 홈 컴퓨터 게임(home computer game)을 포함할 수 있다. 콘텐트는 가상 현실 소프트웨어, 컴퓨터 게임 또는 증강 현실 소프트웨어에서 동작하는 가상 캐릭터(virtual character)를 의미할 수 있다. 가상 캐릭터는 현실 소프트웨어, 컴퓨터 게임 또는 증강 현실 소프트웨어를 실행하는 사용자에 대응되는 가상 아바타(avatar), 자동차, 비행기, 배, 아바타의 주위 객체(예를 들어, 미로의 담, 자동차 트랙 또는 배경) 또는 아바타가 없는 경우의 주위 객체(예를 들어, 미로의 담, 자동차 트랙 또는 배경)뿐만 아니라 이에 한정되지 않는다.
또한, 콘텐트는 어플리케이션에서 표시 또는 실행되는 오디오, 비디오, 텍스트, 이미지 또는 웹 페이지를 포함할 수 있다. 콘텐트는 수신되는 사용자 입력(예를 들어, 터치 등)에 대응하여 실행되는 오디오, 비디오, 텍스트, 이미지 또는 웹 페이지를 포함할 수 있다. 콘텐트는 실행되는 어플리케이션 화면 및 어플리케이션 화면을 구성하는 유저 인터페이스(user interface)를 포함한다. 또한, 콘텐트는 하나의 콘텐트 또는 복수의 콘텐츠를 포함할 수도 있다.
위젯(widget)은 사용자와 어플리케이션 또는 OS와의 상호 작용을 보다 원활하게 지원해주는 그래픽 유저 인터페이스(GUI, Graphic User Interface) 중 하나인 미니 어플리케이션을 의미한다. 예를 들어, 날씨 위젯, 계산기 위젯, 시계 위젯 등이 있다.
본 출원서에서 사용한 용어는 실시예를 설명하기 위해 사용된 것으로, 본 발명을 제한 및/또는 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다.
도 1은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 도면이다.
도 1을 참조하면, 머리 착용형 디스플레이 장치(100)의 하우징(100a)의 전면 내부(예를 들어, 사용자의 안구와 마주 보는 영역)에 디스플레이부(190)가 위치한다. 디스플레이부(190)는 머리 착용형 디스플레이 장치(100)의 외부에서 보이지 않는다(예를 들어, 노출되지 않는다).
디스플레이부(190)는 머리 착용형 디스플레이 장치(100)의 일체형 및 분리형 중 하나로 구현될 수 있다. 분리형인 디스플레이부(190)의 경우, 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)가 디스플레이부(190)의 위치에 착탈될 수 있다. 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)가 디스플레이부(190)의 위치에 장착되는 경우, 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)는 머리 착용형 디스플레이 장치(100)의 커넥터(도 2 참조, 164)를 통한 유선 연결 또는 제1 통신부를 통한 무선 연결될 수 있다.
도 1를 참조하면, 머리 착용형 디스플레이 장치(100)의 디스플레이부(190)에 표시되는 화면의 예를 확대(191)하여 표시하였다. 디스플레이부(190)에 표시되는 화면은 가상 현실(virtual reality) 컴퓨터 게임(예를 들어, 미로 찾기)의 한 화면일 수 있다. 또한, 가상 현실 영화(cinema) 또는 전 방위 가상 현실 경험(360° virtual reality experience)의 한 화면일 수도 있다.
머리 착용형 디스플레이 장치(100)의 적어도 하나의 센서는 사용자 머리의 움직임을 검출할 수 있다. 머리 착용형 디스플레이 장치(100)는 검출된 머리 움직임에 대응되는 영상을 디스플레이부(190)를 통해 사용자에게 제공할 수 있다.
머리 착용형 디스플레이 장치(100)는 주변의 외부 장치(예를 들어, 휴대 장치, 200)와 무선 또는 유선으로 연결할 수 있다. 외부 장치(200)는 터치 스크린(290)을 통해 사용자 입력(예를 들어, 터치 또는 터치 제스처)을 수신할 수 있다. 외부 장치(200)는 수신된 사용자 입력에 대응되는 제어 명령을 생성하여 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 머리 착용형 디스플레이 장치(100)는 수신된 제어 명령에 대응하여 디스플레이부(190)에 표시되는 화면(191) 또는 화면(191)에 표시되는 가상 캐릭터(예를 들어, 아바타, 193)을 제어할 수 있다.
도 2는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치를 나타내는 개략적인 블럭도이다.
도 2를 참조하면, 머리 착용형 디스플레이 장치(100)는 이동 통신 부(120), 서브 통신부(130) 및 커넥터(165)를 이용하여 외부 장치(도시되지 아니함)와 유선 또는 무선으로 연결될 수 있다. 외부 장치는 휴대폰, 스마트폰, 태블릿PC, MP3 플레이어, 동영상 플레이어, 태블릿 장치, 전자 칠판 또는 디스플레이 장치 등을 포함할 수 있다. 디스플레이 장치는 아날로그 TV, 디지털 TV, 3D-TV, 스마트 TV, LED TV, OLED TV, 플라즈마 TV, 모니터, 고정 곡률(curvature)인 화면을 가지는 커브드(curved) TV, 고정 곡률인 화면을 가지는 플렉시블(flexible) TV, 고정 곡률인 화면을 가지는 벤디드(bended) TV, 및/또는 수신되는 사용자 입력에 의해 현재 화면의 곡률을 변경가능한 곡률 가변형 TV 등으로 구현될 수 있다. 외부 장치는 사용자의 입력(또는 사용자 인터랙션, 예를 들어, 음성, 모션, 터치 또는 터치 제스처)를 수신할 수 있는 전자 장치를 포함할 수 있다. 또한, 외부 장치는 다른 머리 착용형 디스플레이 장치(도시되지 아니함) 또는 사용자 입력을 검출가능한 휴대 장치를 포함할 수 있다. 외부 장치가 이에 한정되지 않는다는 것은 당해 기술 분야의 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
머리 착용형 디스플레이 장치(100)는 연결가능한 다른 외부 장치 및 머리 착용형 디스플레이 장치(100)를 통해 각각 입력되는 사용자 입력(또는 사용자 인터랙션, 예를 들어, 음성, 모션, 터치 또는 터치 제스처)을 이용하여 데이터(예를 들어, 이미지, 텍스트, 음성, 비디오 등)의 송/수신을 할 수 있는 장치를 포함할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)는 연결가능한 다른 외부 장치 및 머리 착용형 디스플레이 장치를 통해 각각 입력되는 사용자 입력(또는 사용자 인터랙션, 예를 들어, 음성, 모션, 터치 또는 터치 제스처)을 이용하여 디스플레이부(190)에 표시되는 콘텐트 내 가상 캐릭터의 동작을 변경할 수 있다.
머리 착용형 디스플레이 장치(100)는 디스플레이부(190)를 포함한다. 또한, 머리 착용형 디스플레이 장치(100)는 디스플레이부(도시되지 아니함)를 가지는 외부 장치(도시되지 아니함)를 착탈할 수 있다. 디스플레이부(도시되지 아니함)를 가지는 외부 장치(도시되지 아니함)를 착탈가능한 머리 착용형 디스플레이 장치(100)에 디스플레이부(190)가 없을 수 있다.
머리 착용형 디스플레이 장치(100)는 제어부(110), 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라부(150), GPS부(155), 입/출력부(160), 센서부(170), 저장부(175) 및 전원 공급부(180)를 포함한다.
서브 통신부(130)은 무선랜부(131) 및 근거리 통신부(132) 중 적어도 하나를 포함하고, 멀티미디어부(140)은 오디오 재생부(141) 및 동영상 재생부(142) 중 적어도 하나를 포함한다. 카메라부(150)은 제1 카메라(151) 및 제2 카메라(152) 중 적어도 하나를 포함하고, 입/출력부(160)은 버튼(161), 마이크(162), 스피커(163), 커넥터(164), 및 터치 패드(165) 중 적어도 하나를 포함하고, 센서부(170)은 조도 센서(171), 근접 센서(172) 및 자이로 센서(173)를 포함한다.
제어부(110)는 프로세서(Processor, 111), 머리 착용형 디스플레이 장치(100)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 112) 및 머리 착용형 디스플레이 장치(100)의 외부에서 입력되는 신호 또는 데이터를 저장하거나, 머리 착용형 디스플레이 장치(100)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 113)을 포함할 수 있다.
제어부(110)는 머리 착용형 디스플레이 장치(100)의 전반적인 동작 및 머리 착용형 디스플레이 장치(100)의 내부 구성요소들(120 내지 195) 간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(110)는 전원 공급부(180)로부터 내부 구성요소들(120 내지 195)에게 전원 공급을 제어한다. 사용자의 입력 또는 설정된 조건을 만족하는 경우, 제어부(190)는 저장부(175)에 저장된 OS(Operation System) 및 다양한 어플리케이션을 실행할 수 있다.
프로세서(111)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서 (111)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)가 SoC(System On Chip)로 구현될 수 있다. 프로세서 (111)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(111), 롬(112) 및 램(113)은 내부 버스(bus)를 통해 상호 연결될 수 있다.
제어부(110)는 이동 통신부(120), 서브 통신부(130), 멀티미디어부(140), 카메라(150), GPS(155), 입/출력부(160), 센서부(170), 저장부(175), 전원 공급부(180) 및 디스플레이부(190)를 제어할 수 있다.
본 발명의 실시예에서 “제어부”라는 용어는 프로세서(111), 롬(112) 및 램(113)을 포함한다.
본 발명의 실시예에 따른 제어부는 머리 착용형 디스플레이 장치(head mounted display)에서 콘텐트를 실행하고, 주위의 휴대 장치와 무선으로 연결하고, 상기 머리 착용형 디스플레이 장치의 터치 패드에서 검출된 제1 터치 및 상기 휴대 장치의 터치 스크린에서 검출된 제2 터치의 조합에 대응하여 상기 콘텐트에 표시되는 가상 캐릭터의 동작을 변경하도록 제어할 수 있다.
제어부는 상기 제2 터치 정보에 대응되는 컨트롤 패킷을 상기 휴대 장치에서부터 수신하도록 제어할 수 있다.
제어부는 상기 제1 터치에 터치 제스처를 포함하고, 상기 제2 터치에 터치 제스처를 포함할 수 있다.
제어부는 상기 가상 캐릭터의 주변 객체를 상기 가상 캐릭터의 동작에 대응하여 변경되도록 제어할 수 있다.
제어부는 상기 복수의 터치의 조합에 대응되는 상기 가상 캐릭터의 동작을 상기 가상 캐릭터 동작의 강화 및 상기 가상 캐릭터 동작의 약화 중 하나를 포함하도록 제어할 수 있다.
제어부는 상기 제1 터치 및 상기 제2 터치의 조합에 대응되는 가상 캐릭터의 동작을 상기 제1 터치에 대응되는 가상 캐릭터의 동작과 구별되게 제어할 수 있다.
제어부는 상기 제1 터치의 연속적인 움직임의 이동 속도에 대응하여 상기 가상 캐릭터의 이동 속도를 변경하도록 제어할 수 있다.
제어부는 상기 가상 캐릭터를 상기 제1 터치의 연속적인 움직임의 이동 거리에 대응되게 이동되도록 제어할 수 있다.
제어부는 상기 가상 캐릭터 동작의 변경에 응답하여 시각 피드백 및 청각 피드백 중 적어도 하나를 제공되도록 제어할 수 있다.
제어부는 상기 터치 패드를 통해 수신되는 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나를 산출하도록 제어할 수 있다.
제어부는 산출된 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나에 대응하여 상기 가상 캐릭터의 동작을 변경하도록 제어할 수 있다.
제어부는 상기 터치 패드에서 상기 제1 터치의 위치에 대응하여 상기 가상 캐릭터를 상측, 하측, 좌측 및 우측 중 하나의 방향으로 이동하도록 제어할 수 있다.
이동 통신부(120)는 제어부의 제어에 따라, 하나 또는 둘 이상의 안테나를 이용하여 무선으로 외부 장치와 연결할 수 있다. 이동 통신부(120)는 머리 착용형 디스플레이 장치(100)와 연결가능한 전화 번호를 가지는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 머리 착용형 디스플레이 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신한다.
서브 통신부(130)은 무선랜부(131)과 근거리 통신부(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 무선랜부(131) 및 근거리 통신부(132) 중 하나만 포함, 또는 무선랜부(131)과 근거리 통신부(132) 모두 포함할 수 있다.
무선랜부(131)은 제어부의 제어에 따라, AP(access point)(도시되지 아니함)가 설치된 장소에서 무선을 이용하여 AP(access point)와 연결될 수 있다. 무선랜부(131)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다.
근거리 통신부(132)은 제어부의 제어에 따라, AP(access point)없이 무선으로 머리 착용형 디스플레이 장치(100)와 외부장치 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다.
머리 착용형 디스플레이 장치(100)는 성능에 따라 이동 통신부(120), 무선랜부(131), 및 근거리통신부(132) 중 적어도 하나를 포함할 수 있다. 예를 들어, 머리 착용형 디스플레이 장치(100)는 성능에 따라 이동 통신부(120), 무선랜부(131), 및 근거리 통신부(132) 중 하나 또는 이동 통신부(120), 무선랜부(131), 및 근거리 통신부(132)의 조합을 포함할 수 있다.
본 발명의 실시예에서 “제1 통신부”라는 용어는 이동 통신부(120), 서브 통신부(130)를 포함한다.
본 발명의 실시예에 따른 제1 통신부는 제어부의 제어에 따라 머리 착용형 디스플레이 장치(100)와 외부 장치(예를 들어, 휴대 장치)를 연결할 수 있다. 제1 통신부는 제어부의 제어에 따라 외부 장치로 데이터 또는 콘텐트를 전송할 수 있다. 또한, 제1 통신부는 제어부의 제어에 따라 외부 장치에서부터 데이터를 송/수신할 수 있다. 또한, 제1 통신부는 제어부의 제어에 따라 외부 장치에서부터 조도 정보를 수신할 수 있다.
멀티미디어부(140)은 오디오 재생부(141) 또는 동영상 재생부(142)를 포함할 수 있다.
오디오 재생부(142)는 제어부의 제어에 따라, 머리 착용형 디스플레이 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 컴퓨터 게임에 포함되거나, 파일 확장자가 mp3, wma, ogg 또는 wav인 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다.
본 발명의 실시예에 따른 오디오 재생부(142)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 이용하여 재생할 수 있다. 본 발명의 실시예에 따른 오디오 재생부(142)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 강화에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 이용하여 재생할 수 있다.
동영상 재생부(143)은 제어부의 제어에 따라 머리 착용형 디스플레이 장치(100)의 저장부(175)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 컴퓨터 게임에 포함되거나, 파일 확장자가 mpeg, mpg, mp4, avi, mov, swf, fla 또는 mkv인 파일)을 비디오 코덱을 이용하여 재생할 수 있다. 머리 착용형 디스플레이 장치(100)에서 실행가능한 대부분의 컴퓨터 게임을 포함하는 어플리케이션은 오디오 코덱부 또는 비디오 코덱을 이용하여 오디오 소스 또는 동영상 파일을 재생할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)에 실행가능한 대부분의 어플리케이션은 오디오 소스 또는 정지 이미지(still image)파일을 재생할 수 있다.
본 발명의 실시예에 따른 동영상 재생부(143)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 이용하여 재생할 수 있다. 본 발명의 실시예에 따른 동영상 재생부(143)은 제어부의 제어에 따라 가상 캐릭터(193) 동작의 강화에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 이용하여 재생할 수 있다.
다양한 종류의 비디오 및 오디오 코덱이 생산 및 판매되고 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
멀티미디어부(140)의 오디오 재생부(142) 및 동영상 재생부(143) 중 적어도 하나는 제어부에 포함될 수 있다. 본 발명의 실시예에서 “비디오 코덱”이라는 용어는 하나 또는 둘 이상의 비디오 코덱을 포함할 수 있다. 또한, 본 발명의 실시예에서 “오디오 코덱”이라는 용어는 하나 또는 둘 이상의 오디오 코덱을 포함할 수 있다.
카메라(150)는 제어부의 제어에 따라 사용자의 시선 방향(eye-sight direction)의 정지 이미지 또는 동영상을 촬영한다. 카메라(150)는 머리 착용형 디스플레이 장치(100)의 하우징(100a) 전면(예를 들어, 시선 방향)에 위치할 수 있다. 머리 착용형 디스플레이 장치(100)가 하나의 카메라를 포함하는 경우, 카메라(150)는 제1 카메라(151)를 포함할 수 있다. 머리 착용형 디스플레이 장치(100)가 두 개의 카메라를 포함하는 경우, 카메라(150)는 제1 카메라(151) 및 제2 카메라(152)를 포함할 수 있다.
사용자의 시선 방향에 위치하는 피사체 또는 풍경을 촬영 가능한 제1 카메라(151)와 제2 카메라(152)가 상호 인접(예를 들어, 제1 카메라(151)과 제2 카메라(152) 사이의 간격이 2 cm 보다 크고, 8 cm 보다 작은)하게 위치하는 경우, 제1 카메라(151) 및 제2 카메라(152)는 제어부의 제어에 따라 3차원 정지 이미지 또는 3차원 동영상을 촬영할 수 있다. 또한, 제1 카메라(151) 또는 제2 카메라(152) 중 하나는 별도의 어댑터(도시되지 아니함)를 이용하여 광각, 망원 및 접사 촬영을 할 수 있다.
본 발명의 실시예에 따른 카메라부(150)는 머리 착용형 디스플레이 장치(100)의 주변의 정지 이미지 또는 동영상을 촬영하여 제어부로 전송할 수 있다. 제어부는 수신된 정지 이미지 또는 동영상을 제1 통신부를 이용하여 외부로 전송할 수 있다.
제어부는 수신된 정지 이미지 또는 동영상을 이용하여 머리 착용형 디스플레이 장치(100)를 제어가능한 제어 명령어를 생성할 수 있다. 제어부는 생성된 제어 명령어에 대응되게 머리 착용형 디스플레이 장치(100)를 제어할 수 있다. 또한, 제어부는 카메라(150)에서부터 수신된 정지 이미지 또는 동영상을 이용하여 머리 착용형 디스플레이 장치(100)의 주변 조도를 산출할 수 있다.
GPS(155)는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 머리 착용형 디스플레이 장치(100)에서 수신가능한 GPS위성의 정확한 위치 정보와 시간 정보)를 수신한다. 머리 착용형 디스플레이 장치(100)는 복수의 GPS위성에서부터 수신되는 정보를 이용하여 머리 착용형 디스플레이 장치(100)의 현재 위치, 이동 속도 또는 시간을 알 수 있다.
입/출력부(160)는 하나 또는 둘 이상의 버튼(161), 하나 또는 둘 이상의 마이크(162), 하나 또는 둘 이상의 스피커(163), 하나 또는 둘 이상의 커넥터(164), 또는 하나 또는 둘 이상의 터치 패드(165)를 포함할 수 있다.
도 1 및 도 2에 도시된 머리 착용형 디스플레이 장치(100)를 참조하면, 버튼(161)는 하우징(20)에 돌아가기 버튼(back button, 161a) 및 볼륨 버튼(volume button, 161b)을 포함한다. 버튼(161)은 하우징(100a)에 위치하는 전원 버튼(161c)을 포함할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)의 하우징(100a)에서 버튼(161)은 물리적 버튼뿐만 아니라 터치 버튼으로도 구현될 수 있다.
마이크(162)는 제어부의 제어에 따라 외부에서부터 음성(voice) 또는 사운드(sound)를 수신하여 전기적인 신호를 생성한다. 마이크(162)에서 생성된 전기적인 신호는 오디오 코덱에서 변환되어 저장부(175)로 저장, 제어부로 전송되거나 또는 스피커(163)를 통해 출력될 수 있다. 제어부는 수신된 전기적인 신호를 인식할 수 있다. 제어부는 인식된 음성을 이용하여 머리 착용형 디스플레이 장치(100)를 제어가능한 제어 명령어를 생성할 수 있다. 제어부는 생성된 제어 명령어에 대응되게 머리 착용형 디스플레이 장치(100)를 제어할 수 있다.
마이크(162)는 머리 착용형 디스플레이 장치(100)의 하우징(100a)에 하나 또는 둘 이상 위치할 수 있다.
스피커(163)는 제어부의 제어에 따라 오디오 코덱을 통해 처리된 제1 통신부, 멀티미디어부(140), 카메라부(150) 또는 어플리케이션의 다양한 콘텐트(예를 들어, 무선 신호, 방송 신호, 오디오 소스, 동영상 파일 촬영, 사진 촬영 또는 게임 등)에 대응되는 사운드를 머리 착용형 디스플레이 장치(100)의 외부로 출력할 수 있다. 스피커(163)는 머리 착용형 디스플레이 장치(100)가 수행하는 기능에 대응되는 사운드(예를 들어, 전화 번호 입력에 대응되는 터치 조작음, 백 버튼 조작음, 볼륨 버튼 조작음, 또는 사진 촬영 조작음)를 출력할 수 있다.
머리 착용형 디스플레이 장치(100)의 하우징(100a)에 적어도 하나의 스피커(163)가 위치할 수 있다. 도 1 및 도 2에 도시된 머리 착용형 디스플레이 장치(100)를 참조하면, 스피커(163)는 머리 착용형 디스플레이 장치(100)의 하우징(100a)에서 사용자의 귀 인접에 위치할 수 있다. 또한, 스피커(163)는 공기 전도 스피커 또는 골 전도 스피커를 포함할 수 있다.
본 발명의 실시예에 따른 스피커(163)는 제어부의 제어에 따라 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 청각 피드백을 출력할 수 있다. 본 발명의 실시예에 따른 스피커(163)는 제어부의 제어에 따라 가상 캐릭터(193) 동작의 강화에 대응되는 청각 피드백을 출력할 수 있다.
커넥터(164)는 머리 착용형 디스플레이 장치(100)와 외부 장치(도시되지 아니함)를 연결하기 위한 인터페이스(예를 들어, HDMI 입력 포트(High-Definition Multimedia Interface port, 도시되지 아니함), 또는, USB 입력 잭(jack, 도시되지 아니함))일 수 있다. 또한, 커넥터(164)는 머리 착용형 디스플레이 장치(100)와 전원소스(도시되지 아니함)를 연결하기 위한 인터페이스일 수 있다. 머리 착용형 디스플레이 장치(100)는 제어부의 제어에 따라 커넥터(164)에 연결된 유선 케이블을 통해 저장부(175)에 저장된 데이터를 외부 장치로 전송하거나 또는 외부 장치에서부터 데이터를 수신할 수 있다. 머리 착용형 디스플레이 장치(100)는 커넥터(164)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원을 수신하거나 또는 배터리(도시되지 아니함)를 충전할 수 있다.
터치 패드(165)는 머리 착용형 디스플레이 장치(100)의 제어를 위해 사용자 입력(예를 들어, 터치, 터치 제스처 등)을 수신한다. 터치 패드(165)는 평판(예를 들어, 다각형, 원형, 타원형 또는 모서리가 둥근 사각형(rounded rectangle))에 사용자 입력을 검출가능한 센서(도시되지 아니함)를 내장하고 있다. 터치 패드(165)는 머리 착용형 디스플레이 장치(100)의 하우징(100a) 측면에 위치한다.
사용자 입력은 사용자의 신체 또는 터치가능한 입력펜(예를 들어, 스타일러스 펜 등)의 접촉에 한정되지 않고, 비접촉(예를 들어, 터치 패드(165)와 사용자의 신체 또는 터치 패드(165)와 입력펜과의 검출가능한 간격이 20 mm 이하의 호버링(hovering))을 포함할 수 있다. 터치 패드(165)에서 검출가능한 비접촉 간격은 머리 착용형 디스플레이 장치(100)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
머리 착용형 디스플레이 장치(100)는 터치 패드(165)와 호환 가능한 트랙볼(도시되지 아니함) 및 포인팅 스틱(도시되지 아니함) 중 하나를 포함할 수도 있다.
센서부(170)는 머리 착용형 디스플레이 장치(100)의 상태 또는 주변 상태를 검출가능한 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(170)는 사용자의 머리 착용형 디스플레이 장치(100)의 하우징 내부(예를 들어, 안구와 마주보는), 전면(예를 들어, 시선 방향) 또는 측면에 위치한다. 머리 착용형 디스플레이 장치(100) 주변의 빛의 양을 검출가능한 조도 센서(171), 다른 오브젝트(예를 들어, 머리를 포함하는 사용자의 신체)의 머리 착용형 디스플레이 장치(100)에 대한 근접 여부를 검출가능한 근접 센서(172), 머리 착용형 디스플레이 장치(100)의 회전관성을 이용하여 머리 착용형 디스플레이 장치(100)의 기울기를 검출가능한 자이로 센서(173), 머리 착용형 디스플레이 장치(100)에 가해지는 3축(예를 들어, x축, y축, z축)의 이동 상태를 검출가능한 가속도 센서(도시되지 아니함), 중력의 작용 방향을 검출가능한 중력 센서(Gravity Sensor, 도시되지 아니함), 또는 대기의 압력을 측정하여 고도를 검출가능한 고도계(Altimeter, 도시되지 아니함)를 포함할 수 있다.
본 발명의 실시예에 따른 조도 센서(171)는 머리 착용형 디스플레이 장치(100)의 주변 조도를 검출한다. 조도 센서(171)는 제어부의 제어에 따라 검출된 조도에 대응되는 조도 신호를 제어부로 전송할 수 있다.
센서부(170)에 포함되는 복수의 센서는 별개의 칩(chip)으로 구현되거나 또는 하나의 칩(예를 들어, 지자기 센서 및 가속도 센서를 포함하는 6축 센서 또는 지자기 센서, 가속도 센서 및 자이로 센서를 포함하는 9축 센서)으로 구현될 수 있다.
센서부(170)의 센서는 머리 착용형 디스플레이 장치(100)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
저장부(175)는 제어부의 제어에 따라 제1 통신부, 멀티미디어부(140), 카메라부(150), GPS부(155), 입/출력부(160), 센서부(170), 또는 디스플레이부(190)의 동작에 대응되어 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(175)는 머리 착용형 디스플레이 장치(100) 또는 제어부의 제어를 위한 제어 프로그램과 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션 및 콘텐트를 저장할 수 있다. 또한, 저장부(175)는 제어 프로그램, 어플리케이션 또는 콘텐트에 대응되는 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
본 발명의 실시예에서 “저장부”라는 용어는 저장부(175), 제어부내 롬(112), 램(113) 또는 머리 착용형 디스플레이 장치(100)에 장착가능한 메모리 카드(도시되지 아니함)(예를 들어, micro SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
본 발명의 실시예에 따른 저장부는 디스플레이부(190)에 표시되는 명령어, 명령어 목록, 알림, 텍스트(예를 들어, Yes, No), 아이콘, 오브젝트, 어플리케이션 화면, 어플리케이션 화면에 표시되는 콘텐트(예를 들어, 미로 찾기 등) 정보, 화면 데이터, 또는 다양한 서브 화면 등을 저장할 수 있다.
저장부는 머리 착용형 디스플레이 장치(100)의 장치 정보, 제1 터치 정보 또는 제1 터치 제스처 정보를 저장할 수 있다.
저장부는 휴대 장치(200)에서 수신된 휴대 장치 정보, 터치 패드 어플리케이션 정보, 제11 터치 정보(또는 제11 터치 제스처 정보)에 대응되는 컨트롤 패킷을 저장할 수 있다.
저장부는 가상 캐릭터의 동작 예를 저장할 수 있다. 예를 들어, 도 5a와 같은 터치 패드에 입력가능한 터치(또는 터치 제스처)에 대응되는 가상 캐릭터의 동작 예를 저장할 수 있다. 또한, 도 5b와 같은 휴대 장치의 터치(또는 터치 제스처) 및 머리 착용형 디스플레이 장치의 터치 패드에 입력가능한 터치(또는 터치 제스처)에 대응되는 가상 캐릭터의 동작 예를 저장할 수 있다.
저장부는 가상 캐릭터의 동작(또는 위치) 변경에 응답하여 시각 피드백(예를 들어, 비디오 소스 등), 스피커(163)에서 출력되는 사용자 인지가능한 청각 피드백(예를 들어, 사운드 소스 등)을 저장할 수 있다.
전원 공급부(180)는 머리 착용형 디스플레이 장치(100) 내부에 위치하는 구성 요소들(120 내지 175)에 전원을 공급할 수 있다. 전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다. 전원 공급부(180)는 제어부의 제어에 따라 커넥터(165)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 머리 착용형 디스플레이 장치(100)로 공급할 수 있다. 전원 공급부(180)는 배터리(도시되지 아니함)를 포함할 수 있다.
전원 공급부(180)는 제어부의 제어에 따라 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)을 통해 전원을 머리 착용형 디스플레이 장치(100)로 공급할 수 있다.
디스플레이부(190)는 제어부의 제어에 따라 사용자에게 다양한 서비스(예를 들어, 화상 통화, 데이터 전송, 정지 이미지 촬영, 동영상 촬영, 또는 실행되는 콘텐트의 화면) 및 서비스에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 디스플레이부(190)는 버튼(161), 마이크(162), 터치 패드(165), 센서부(170)을 통해 입력되는 사용자 입력에 대응되는 GUI를 사용자에게 제공할 수 있다.
디스플레이부(190)는 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이부(190)는 액정 표시 장치(LCD) 방식, 유기 발광 다이오드(Organic LED) 방식, LED 방식 등을 포함할 수 있다.
도 1 및 도 2의 머리 착용형 디스플레이 장치(100)에 도시된 구성 요소들은 머리 착용형 디스플레이 장치(100)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다. 또한, 구성 요소들의 위치는 머리 착용형 디스플레이 장치(100)의 성능 또는 구조에 대응하여 변경될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 1 및 도 2를 참조하면, 머리 착용형 디스플레이 장치(100)는 외부 장치 중 하나인 휴대 장치(200)와 무선 또는 유선으로 연결될 수 있다. 휴대 장치(200)는 이동 통신부(220), 서브 통신부(230) 및 커넥터(265)를 이용하여 머리 착용형 디스플레이 장치(100)와 유선 또는 무선으로 연결될 수 있다. 휴대 장치는 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), MP3 플레이어, 동영상 플레이어, 태블릿 PC, 웨어러블 장치, 전자 칠판, 또는 디스플레이 장치(도시되지 아니함) 등을 포함할 수 있다.
휴대 장치(200)는 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치를 의미한다. 휴대 장치(200)는 입력 펜 및 터치 스크린을 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치를 의미한다. 휴대 장치(200)는 디스플레이부(예를 들어, 터치 패널은 없고 디스플레이 패널만 있는, 도시되지 아니함)를 가지고 통신부(120 또는 130)를 통해 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신 가능한 전자 장치를 의미한다. 또한, 휴대 장치(200)는 터치 스크린(190)에서 입력되는 사용자 입력(예를 들어, 터치 또는 터치 제스처)을 이용하여 외부 장치와 데이터(또는 콘텐트)를 외부로 송신 또는 외부에서부터 수신할 수 있는 전자 장치를 포함할 수 있다. 휴대 장치(200)는 하나 또는 둘 이상의 터치 스크린을 가질 수 있다. 또한, 휴대 장치(200)는 하나의 터치 스크린에 각각 구분되는 복수의 화면을 가질 수도 있다.
휴대 장치(200)는 제어부(210), 이동 통신부(220), 서브 통신부(230), 멀티미디어부(240), 카메라(250), GPS(255), 입/출력부(260), 센서부(270), 저장부(275) 및 전원 공급부(280)를 포함한다. 휴대 장치(200)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 포함한다.
제어부(210)는 프로세서(Processor, 211), 휴대 장치(200)의 제어를 위한 제어 프로그램이 저장된 롬(ROM, 212) 및 휴대 장치(200)의 외부로부터 입력되는 신호 또는 데이터를 저장하거나, 휴대 장치(200)에서 수행되는 다양한 작업에 대한 저장 영역으로 사용되는 램(RAM, 213)을 포함할 수 있다.
제어부(210)는 휴대 장치(200)의 전반적인 동작 및 휴대 장치(200)의 내부 구성 요소들(220 내지 295)간의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다. 제어부(210)는 전원 공급부(280)를 이용하여 내부 구성 요소들(220 내지 295)에게 전원 공급을 제어한다. 또한, 사용자의 입력 또는 설정되어 저장된 조건을 만족하는 경우, 제어부(210)는 저장부(275)에 저장된 OS(Operation System) 및 어플리케이션을 실행할 수 있다.
프로세서(211)는 그래픽 처리를 위한 GPU(Graphic Processing Unit, 도시되지 아니함)를 포함할 수 있다. 프로세서(211)는 코어(core, 도시되지 아니함)와 GPU(도시되지 아니함)를 포함하는 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(211)는 싱글 코어, 듀얼 코어, 트리플 코어, 쿼드 코어 및 그 배수의 코어를 포함할 수 있다. 또한, 프로세서(211), 롬(212) 및 램(213)은 버스(bus)를 통해 상호 연결될 수 있다.
제어부(210)는 이동 통신부(220), 서브 통신부(230), 멀티미디어부(240), 카메라(250), GPS(255), 입/출력부(260), 센서부(270), 저장부(275), 전원 공급부(280), 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 제어할 수 있다.
본 발명의 실시예에 따른 제어부(210)는 주위의 머리 착용형 디스플레이 장치와 연결하는 단계, 터치 패드 어플리케이션을 실행하는 단계, 및 상기 터치 패드 어플리케이션에 수신되는 터치에 대응되는 컨트롤 패킷을 통신부를 통해 상기 머리 착용형 디스플레이 장치로 전송한다.
제어부(210)는 상기 머리 착용형 디스플레이 장치와 상기 휴대 장치가 연결되는 경우, 상기 머리 착용형 디스플레이 장치 정보 및 콘텐트 정보를 수신하도록 제어할 수 있다.
제어부(210)는 상기 머리 착용형 디스플레이 장치와 상기 휴대 장치가 연결되는 경우, 상기 터치 패드 어플리케이션을 실행하도록 제어할 수 있다.
제어부(210)는 상기 머리 착용형 디스플레이 장치에서 수신된 콘텐트 정보에 대응하여 상기 터치 패드 어플리케이션을 실행하도록 제어할 수 있다.
본 발명의 실시예에서 “제어부”이라는 용어는 프로세서(211), 롬(212) 및 램(213)을 포함한다.
이동 통신부(220)는 제어부의 제어에 따라 하나 또는 둘 이상의 안테나를 이용하여 이동 통신망을 통해 머리 착용형 디스플레이 장치(100)와 연결할 수 있다. 이동 통신부(220)는 연결가능한 전화 번호를 가지는 외부 장치, 예를 들어, 휴대폰(도시되지 아니함), 스마트폰(도시되지 아니함), 태블릿PC 또는 다른 휴대 장치(도시되지 아니함)와 음성 통화, 화상 통화, 문자메시지(SMS), 멀티미디어 메시지(MMS) 및 데이터 통신을 위한 무선 신호를 송/수신할 수 있다.
서브 통신부(230)는 무선랜부(231)과 근거리 통신부(232) 중 적어도 하나를 포함할 수 있다. 예를 들어, 서브 통신부(230)는 무선랜부(231) 및 근거리 통신부(232) 중 하나만 포함하거나 또는 무선랜부(231)과 근거리 통신부(232) 모두 포함할 수 있다.
무선랜부(231)은 제어부의 제어에 따라 AP(access point)가 설치된 장소에서 무선을 이용하여 AP와 연결될 수 있다. 무선랜부(231)은 미국전기전자학회(IEEE)의 무선랜 규격(IEEE802.11x)을 지원한다. 근거리 통신부(232)은 제어부의 제어에 따라 AP없이 무선으로 휴대 장치(200)와 머리 착용형 디스플레이 장치(100) 사이에 근거리 통신을 할 수 있다. 근거리 통신은 블루투스(bluetooth), 블루투스 저 에너지(bluetooth low energy), 적외선 통신(IrDA, infrared data association), 와이파이(Wi-Fi), UWB(Ultra Wideband) 및 NFC(Near Field Communication) 등을 포함할 수 있다.
본 발명의 실시예에서 “제2 통신부”라는 용어는 이동 통신부(220), 서브 통신부(230)를 포함한다.
멀티미디어부(240)는 방송 수신부(241), 오디오 재생부(242) 또는 동영상 재생부(243)를 포함할 수 있다. 방송 수신부(241)는 제어부의 제어에 따라 안테나(도시되지 아니함)를 통해 외부의 방송국에서부터 송출되는 방송 신호(예를 들어, TV 방송 신호, 라디오 방송 신호 또는 데이터 방송 신호) 및 방송 부가 정보(예를 들어, EPS(Electric Program Guide) 또는 ESG(Electric Service Guide))를 수신할 수 있다. 또한, 제어부는 수신된 방송 신호 및 방송 부가 정보를 터치 스크린, 비디오 코덱 및 오디오 코덱을 이용하여 재생할 수 있다.
오디오 재생부(242)는 제어부의 제어에 따라 휴대 장치(200)의 저장부(275)에 기 저장되거나 또는 외부에서부터 수신되는 오디오 소스(예를 들어, 파일 확장자가 mp3, wma, ogg 또는 wav인 오디오 파일)를 오디오 코덱을 이용하여 재생할 수 있다.
본 발명의 실시예에 따라 오디오 재생부(242)은 제어부의 제어에 따라 터치 스크린(290)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 청각 피드백(예를 들어, 저장부에 저장된 오디오 소스의 출력 등)을 오디오 코덱을 통해 재생할 수 있다.
동영상 재생부(243)는 제어부의 제어에 따라 휴대 장치(200)의 저장부(275)에 기 저장되거나 또는 외부에서부터 수신되는 디지털 동영상 소스(예를 들어, 파일 확장자가 mpeg, mpg, mp4, avi, mov, 또는 mkv인 파일)을 비디오 코덱을 이용하여 재생할 수 있다. 휴대 장치(200)에 설치가능한 멀티미디어 어플리케이션은 오디오 코덱 및/또는 비디오 코덱을 이용하여 오디오 소스 또는 동영상 파일을 재생할 수 있다.
본 발명의 실시예에 따라 동영상 재생부(243)은 제어부의 제어에 따라 제어부의 제어에 따라 터치 스크린(190)에서 검출되는 터치 또는 터치의 연속적인 움직임에 대응되는 시각 피드백(예를 들어, 저장부에 저장된 동영상 소스의 출력 등)을 비디오 코덱을 통해 재생할 수 있다.
카메라(250)는 제어부의 제어에 따라 정지 이미지 또는 동영상을 촬영하는 전면의 제1 카메라(도 1의 251) 및 후면의 제2 카메라(도 2의 252) 중 적어도 하나를 포함할 수 있다. 예를 들어, 카메라(250)는 제1 카메라(251) 및 제2 카메라(252) 중 하나 또는 양자를 모두 포함할 수 있다. 또한, 제1 카메라(251) 또는 제2 카메라(252)는 촬영에 필요한 광량을 제공하는 보조 광원(예를 들어, 플래시(153))을 포함할 수 있다.
GPS(255)는 지구 궤도상에 있는 복수의 GPS위성(도시되지 아니함)에서부터 주기적으로 정보(예를 들어, 휴대 장치(200)에서 수신가능한 GPS위성의 정확한 위치 정보와 시간 정보)를 수신한다. 휴대 장치(200)는 복수의 GPS위성에서부터 수신되는 정보를 이용하여 휴대 장치(200)의 위치, 이동 속도 또는 시간을 알 수 있다.
입/출력부(260)는 하나 또는 둘 이상의 버튼(261), 마이크(262), 스피커(263), 진동 모터(264), 커넥터(265), 키패드(266) 및 입력펜(267) 중 적어도 하나를 포함할 수 있다.
도 1 및 도 2를 참조하면, 버튼(261)은 전면의 하부에 있는 홈 버튼(261a), 메뉴 버튼(261b), 및 돌아가기 버튼(261c)을 포함한다. 버튼(261)은 측면(200b)의 전원/잠금 버튼(261d) 및 적어도 하나의 볼륨 버튼(261e)을 포함할 수 있다. 또한, 휴대 장치(200)의 버튼(261)은 홈 버튼(261a)만을 포함할 수 있다. 휴대 장치(200)의 버튼(261)은 물리적 버튼뿐만 아니라 터치 스크린(290) 외부의 베젤에 터치 버튼으로도 구현될 수 있다. 또한, 휴대 장치(200)의 버튼(261)은 터치 스크린(290)상에 텍스트, 이미지 또는 아이콘 형태로 표시될 수 있다.
마이크(262)는 제어부의 제어에 따라 외부에서부터 음성(voice) 또는 사운드(sound)를 입력 받아 전기적인 신호를 생성한다. 마이크(262)에서 생성된 전기적인 신호는 오디오 코덱에서 변환되어 저장부(275)에 저장되거나 또는 스피커(263)를 통해 출력될 수 있다. 마이크(262)는 휴대 장치(200)의 전면, 측면 및 후면에 하나 또는 둘 이상 위치할 수 있다. 또한, 휴대 장치(200)의 측면에만 하나 또는 둘 이상의 마이크(262)가 위치할 수도 있다.
스피커(263)는 제어부의 제어에 따라 오디오 코덱을 이용하여 제2 통신부, 멀티미디어부(240) 또는 카메라(250)의 다양한 신호(예를 들어, 무선 신호, 방송 신호, 오디오 소스, 동영상 파일 또는 사진 촬영 등)에 대응되는 사운드를 휴대 장치(200)의 외부로 출력할 수 있다.
본 발명의 실시예에 따라 스피커(263)는 제어부의 제어에 따라 터치 패드(264)에서 수신되는 사용자 입력에 대응하여 청각 피드백을 출력할 수 있다.
진동 모터(264)는 제어부의 제어에 따라 전기적 신호를 기계적 진동으로 변환할 수 있다. 진동 모터(264)는 리니어 진동 모터, 바 타입 진동 모터, 코인 타입 진동 모터 또는 압전 소자 진동 모터를 포함할 수 있다. 진동 모터(264)는 휴대 장치(200)에 하나 또는 둘 이상으로 위치할 수 있다. 또한, 진동 모터(264)는 휴대 장치(200) 전체를 진동되게 하거나 또는 휴대 장치(200)의 일 부분만을 진동되게 할 수도 있다.
본 발명의 실시예에 따라 진동 모터(264)는 제어부의 제어에 따라 터치 스크린(290)에서 수신되는 사용자 입력(예를 들어, 터치 또는 터치 제스처)에 대응하여 촉각 피드백을 출력할 수 있다. 또한, 진동 모터(264)는 제어부의 제어 명령에 기초하여 기 저장되거나 외부 장치에서부터 수신된 다양한 촉각 피드백(예를 들어, 진동의 세기 및 진동 지속 시간)을 제공할 수 있다.
커넥터(265)는 휴대 장치(200)와 외부 장치(도시되지 아니함) 또는 전원 소스(도시되지 아니함)를 연결하기 위한 인터페이스로 이용될 수 있다. 제어부의 제어에 따라 휴대 장치(200)는 커넥터(265)에 연결된 유선 케이블을 통해 저장부(275)에 저장된 데이터를 외부 장치(도시되지 아니함)로 전송하거나 또는 외부 장치(도시되지 아니함)에서부터 데이터를 수신할 수 있다. 휴대 장치(200)는 커넥터(265)에 연결된 유선 케이블을 통해 전원소스(도시되지 아니함)에서부터 전원을 입력받거나 또는 배터리(도시되지 아니함)를 충전할 수 있다.
키패드(266)는 휴대 장치(200)의 제어를 위해 사용자로부터 키 입력을 수신할 수 있다. 키패드(166)는 휴대 장치(200)에 전면(200a)에 형성되는 물리적인 키패드(도시되지 아니함), 터치 스크린(290)내 표시되는 가상 키패드(도시되지 아니함) 및 무선 또는 유선으로 연결가능한 물리적인 키패드(도시되지 아니함)를 포함한다. 휴대 장치(200)의 전면(200a)에 형성되는 물리적인 키패드(도시되지 아니함)는 휴대 장치(200)의 성능 또는 구조에 따라 제외될 수 있다는 것은 당해 기술분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
입력펜(267)은 휴대 장치(200)의 터치 스크린(290)의 홈 화면(291) 또는 필기/그리기 어플리케이션에 표시되는 화면(예를 들어, 메모 화면, 노트 패드 화면, 캘린더 화면, 등)에 표시되는(구성하는) 오브젝트(object, 예를 들어, 메뉴, 텍스트, 이미지, 비디오, 도형, 아이콘 및 단축아이콘)를 터치하거나 선택할 수 있다. 또한, 입력 펜(267)은 휴대 장치(200)의 터치 스크린(290)에 표시되는 필기 어플리케이션(예를 들어, 메모 화면 등) 또는 그리기 어플리케이션의 화면(예를 들어, 캔버스 화면 등)에서 필기(handwriting) 또는 그리기(drawing, painting or sketching)를 할 수 있다.
입력펜(267)은 정전 용량 방식, 저항막 방식, 또는 전자기 공명(electromagnetic resonance, EMR)의 터치 스크린을 터치하거나 또는 표시되는 가상 키패드를 이용하여 문자 등을 입력할 수 있다. 입력펜(267)은 스타일러스 펜 또는 내장된 진동 소자(예를 들어, 액추에이터(actuator) 또는 진동 모터)가 진동하는 햅틱 펜(haptic pen, 도시되지 아니함)을 포함할 수 있다.
입력 펜(267)은 사용자의 손가락(예를 들어, 엄지를 포함)을 포함할 수 있다. 예를 들어, 정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서, 사용자의 손가락에 의해 필기 또는 그리기가 입력될 수 있다.
정전 용량 방식 터치 스크린 또는 저항막 방식 터치 스크린에 표시되는 어플리케이션에서 사용자의 손가락에 의해 필기 또는 그리기가 입력되는 경우, 제어부는 엄지를 포함하는 손가락 중 하나의 터치를 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 이용하여 검출할 수 있다.
센서부(270)는 휴대 장치(200)의 상태를 검출하는 적어도 하나의 센서를 포함한다. 예를 들어, 센서부(270)는 휴대 장치(200) 주변의 빛의 양을 검출하는 조도 센서(271), 사용자의 휴대 장치(200)에 대한 접근 여부를 검출하는 근접 센서(272), 휴대 장치(200)의 회전관성을 이용하여 방향을 검출하는 자이로 센서(273)를 포함할 수 있다. 또한, 센서부(270)는 휴대 장치(200)에 가해지는 3축(예를 들어, x축, y축, z축)의 가속도를 검출하는 가속도 센서(도시되지 아니함), 중력의 작용 방향을 검출하는 중력 센서(Gravity Sensor), 또는 대기의 압력을 측정하여 고도를 검출하는 고도계(Altimeter)를 포함할 수 있다.
또한, 센서부(270)는 사용자의 지문을 검출하는 지문 센서(도시되지 아니함), 또는 사용자의 심장 박동을 검출하는 심박 센서(도시되지 아니함)를 더 포함할 수 있다.
센서부(270)에 포함되는 적어도 하나의 센서는 휴대 장치(200)의 상태를 검출하고, 검출에 대응되는 전기적인 신호를 생성하여 제어부로 전송한다. 센서부(270)에 포함되는 센서는 휴대 장치(200)의 성능에 따라 추가되거나 삭제될 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
저장부(275)는 제어부의 제어에 따라 제2 통신부, 멀티미디어부(240), 카메라(250), GPS(255), 입/출력부(260), 센서부(270), 및 터치 스크린(290)의 동작에 대응되게 입/출력되는 신호 또는 데이터를 저장할 수 있다. 저장부(275)는 휴대 장치(200) 또는 제어부의 제어를 위한 제어 프로그램, 제조사에서 제공되거나 외부로부터 다운로드 받은 어플리케이션을 저장할 수 있다. 또한, 저장부(275)는 제어 프로그램 또는 어플리케이션에 대응되는 GUI(graphical user interface), GUI를 제공하기 위한 이미지들, 사용자 정보, 문서, 데이터베이스들 또는 관련 데이터들을 저장할 수 있다.
본 발명의 실시예에 따른 저장부(275)는 휴대 장치 정보 및 터치 패드 어플리케이션 정보를 저장할 수 있다.
저장부(275)는 터치 패드 어플리케이션을 통해 수신된 제11 터치 정보 또는 제11 터치 제스처 정보를 저장할 수 있다.
저장부(275)는 머리 착용형 디스플레이 장치에서부터 수신된 머리 착용형 디스플레이 장치 정보 및 콘텐트 정보를 저장할 수 있다.
본 발명의 실시예에서 “저장부”라는 용어는 저장부(275), 제어부 내 롬(212), 램(213) 또는 휴대 장치(200)에 장착되는 메모리 카드(도시되지 아니함)(예를 들어, micro SD 카드, 메모리 스틱)를 포함한다. 저장부는 비휘발성 메모리, 휘발성 메모리, 하드 디스크 드라이브(HDD) 또는 솔리드 스테이트 드라이브(SSD)를 포함할 수 있다.
전원 공급부(280)는 제어부의 제어에 따라 휴대 장치(200) 내부에 위치하는 구성 요소들(220 내지 275)을 공급할 수 있다. 전원 공급부(280)는 제어부의 제어에 따라 커넥터(265)와 연결된 유선 케이블(도시되지 아니함)을 통해 외부의 전원 소스(도시되지 아니함)에서부터 입력되는 전원을 휴대 장치(200)로 공급할 수 있다. 또한, 전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)에 전원을 공급하여 출전할 수 있다. 하나 또는 둘 이상의 배터리(도시되지 아니함)는 전면(200a)에 위치하는 터치 스크린(290)과 후면(200c) 사이에 위치할 수 있다. 전원 공급부(280)는 배터리(도시되지 아니함)를 포함할 수 있다.
전원 공급부(280)는 제어부의 제어에 따라 하나 또는 둘 이상의 배터리(도시되지 아니함)를 무선 충전(예를 들어, 자기 공명 방식, 전자기파 방식, 또는 자기 유도 방식)할 수 있다.
터치 스크린(290)은 터치 입력을 수신하는 터치 패널(도시되지 아니함)과 화면 표시를 위한 디스플레이 패널(도시되지 아니함)을 포함한다. 터치 스크린(290)은 사용자에게 다양한 서비스(예를 들어, 음성 통화, 영상 통화, 데이터 전송, 방송 수신, 사진 촬영, 동영상 보기, 또는 어플리케이션 실행)에 대응되는 GUI(Graphical User Interface)를 제공할 수 있다. 터치 스크린(290)은 홈 화면(291) 또는 GUI를 통해 입력되는 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 터치 스크린 컨트롤러(295)로 전송한다. 터치 스크린(290)은 사용자의 신체(예를 들어, 엄지를 포함하는 손가락) 또는 입력펜(267)을 통해 싱글 터치 또는 멀티 터치를 입력 받을 수 있다.
디스플레이 패널(도시되지 아니함)은 다수의 픽셀들(pixels)을 구비하고, 상기 픽셀들을 통해 영상을 표시한다. 예를 들어, 디스플레이 패널(도시되지 아니함)로는 액정 표시 장치(LCD), 유기 발광 다이오드(Organic LED), LED 등이 있다. 디스플레이 패널(도시되지 아니함)은 휴대 장치(200)의 각종 동작 상태, 애플리케이션 또는 서비스 실행 등에 따른 다양한 영상과 복수의 객체들을 표시할 수 있다.
본 발명의 실시예에서 터치는 터치 스크린(290)과 사용자의 신체 또는 입력펜(267)의 접촉에 한정되지 않고, 비접촉을 포함한다. 예를 들어, 비접촉은 터치 스크린(290)과 사용자의 신체 또는 입력펜(267)과의 간격이 50 mm 이하의 호버링(hovering)을 포함할 수 있다. 터치 스크린(290)에서 검출가능한 비접촉 간격은 휴대 장치(200)의 성능 또는 구조에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
터치 스크린(290)은 예를 들어, 저항막(resistive) 방식, 정전 용량(capacitive) 방식, 적외선(infrared) 방식 또는 초음파(acoustic wave) 방식으로 구현될 수 있다.
터치 스크린(290)은 전자기 공명 방식(electromagnetic resonance, EMR) 을 포함할 수 있다. 전자기 공명 방식의 터치 스크린은 전자기 공명 방식의 루프 코일에 공진하는 공진 회로를 가지는 입력 펜(도시되지 아니함)의 입력을 수신하기 위한 별도의 전자기 공명 방식의 터치 패널(도시되지 아니함)을 더 포함한다.
터치 스크린 컨트롤러(295)는 터치 스크린(290)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부로 전송한다. 제어부는 터치 스크린 컨트롤러(295)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(290) 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수 있다.
제어부는 터치 스크린 컨트롤러(295)에서부터 수신된 디지털 신호를 이용하여 터치 스크린(290)을 제어할 수 있다. 예를 들어, 제어부는 입력된 터치에 응답하여 터치 스크린(190)에 표시된 단축 아이콘(예를 들어, 도 1의 293)을 다른 단축 아이콘과 구분되게 표시하거나 또는 선택된 단축 아이콘(도 1의 293)에 대응되는 어플리케이션(예를 들어, S 노트)를 실행하여 터치 스크린(290)에 어플리케이션 화면을 표시할 수 있다.
터치 스크린 컨트롤러(295)는 하나 또는 복수의 터치 스크린 컨트롤러(도시되지 아니함)로 구현될 수 있다. 휴대 장치(200)의 성능 또는 구조에 대응하여 터치 스크린 컨트롤러(295)는 제어부에 포함될 수도 있다.
터치 스크린 컨트롤러(295)는 터치 스크린(290)에서부터 수신된 싱글 터치 또는 멀티 터치에 대응되는 아날로그 신호와 별개로 전자기 공명 방식의 터치 스크린에서 수신되는 터치에 대응되는 아날로그 신호를 디지털 신호로 변환하여 제어부로 전송한다. 제어부는 터치 스크린 컨트롤러(295)에서부터 수신된 디지털 신호를 이용하여 전자기 공명 방식의 터치 스크린에서 상의 터치 위치에 대응되는 X와 Y좌표를 산출할 수도 있다. 또한, 전자기 공명 방식의 터치 스크린의 경우, 전자기 공명 방식의 터치 스크린 컨트롤러(도시되지 아니함)를 이용할 수 있다.
도 1 및 도 2에서 도시된 휴대 장치(200)는 하나의 터치 스크린에 대해서만 도시하였으나, 복수의 터치 스크린을 구비할 수 있다. 각각의 터치 스크린은 각각의 하우징(도시되지 아니함)에 위치하며 별개의 하우징(도시되지 아니함)은 힌지(도시되지 아니함)에 의해 상호 연결되거나 또는 플렉시블한 하나의 하우징에 복수의 터치 스크린이 위치할 수 있다. 복수의 터치 스크린 각각은 복수의 디스플레이 패널(도시되지 아니함)과 복수의 터치 패널(도시되지 아니함)을 포함하여 구성될 수 있다.
도 2에 도시된 휴대 장치(200)의 구성 요소들은 휴대 장치(200)의 성능에 대응하여 적어도 하나의 구성요소가 추가되거나 삭제될 수 있다는 것은 당해 기술 분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
도 3은 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 콘텐트 표시방법을 나타내는 개략적인 순서도이다.
도 4a 내지 도 4e는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치 및 휴대 장치의 화면 예를 나타내는 도면이다.
도 3의 단계(S310)에서, 머리 착용형 디스플레이 장치에서 콘텐트가 실행된다.
도 4a를 참조하면, 머리 착용형 디스플레이 장치(100)에서, 콘텐트가 실행된다. 제어부는 사용자 입력에 의해 저장부(175)에 저장된 콘텐트(예를 들어, 미로 찾기)를 실행하여 디스플레이부(190)에 표시할 수 있다. 실행되는 콘텐트는 머리 착용형 디스플레이 장치(100)에서 실행가능한 콘텐트 중 하나인 가상 현실(virtual reality) 컴퓨터 게임(예를 들어, 미로 찾기), 가상 현실 영화(cinema) 또는 전 방위 가상 현실 경험(360° virtual reality experience)일 수 있다.
또한, 제어부는 사용자 입력에 의해 외부에서부터 커넥터(164)를 통해 수신되는 콘텐트(예를 들어, 미로 찾기)를 디스플레이부(190)에 표시할 수 있다. 또한, 디스플레이부(190)를 가지는 별도의 외부 장치(예를 들어, 휴대 장치)가 디스플레이부(190)의 위치에 장착되는 경우, 외부 장치에 기저장된 또는 다운로드되는 콘텐트(예를 들어, 미로 찾기)는 사용자 입력에 의해 선택되어 실행될 수 있다.
머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되지 않은 상태이다.
도 3의 단계(S302)에서, 콘텐트의 가상 캐릭터가 표시된다.
도 4a를 참조하면, 콘텐트(예를 들어, 미로 찾기)가 실행되는 경우, 제어부는 디스플레이부(190)에 표시되는 미로(191b)에 가상 캐릭터(193)를 표시할 수 있다. 미로(192)는 담(192a)과 담(192a)으로 구분되는 길(192b)로 구성될 수 있다. 제어부는 검출되는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하여 가상 캐릭터(193)의 방향을 전환하거나 가상 캐릭터(193)를 이동할 수 있다. 제어부는 검출되는 머리 착용형 디스플레이 장치(100)의 움직임에 대응하여 빠르거나 느리게 가상 캐릭터(193)의 방향을 전환하거나 이동할 수 있다. 또한, 제어부는 머리 착용형 디스플레이 장치(100)의 측면에 있는 터치 패드(165)에서 검출되는 사용자 입력에 대응하여 가상 캐릭터(193)의 방향을 전환하거나 가상 캐릭터(193)를 이동할 수 있다. 제어부는 머리 착용형 디스플레이 장치(100)의 측면에 있는 터치 패드(165)에서 검출되는 사용자 입력(예를 들어, 더블 탭(double tap)의 속도 또는 터치 제스처인 플릭(flick)의 이동 속도)에 대응하여 빠르거나 느리게 가상 캐릭터(193)의 방향을 전환하거나 이동할 수 있다. 가상 캐릭터(193)는 머리 착용형 디스플레이 장치(100)의 움직임 및 터치 패드(165)에서의 사용자 입력 중 적어도 하나에 응답하여 담(192a)과 담(192a)사이의 길(192b)을 따라 이동할 수 있다.
머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되지 않은 상태이다.
도 3의 단계(S330)에서, 휴대 장치가 무선으로 연결된다.
도 4b를 참조하면, 머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 무선으로 연결된다.
머리 착용형 디스플레이 장치(100)에서 콘텐트가 실행되는 경우, 머리 착용형 디스플레이 장치(100)의 제어부는 제1 통신부를 이용하여 주변의 휴대 장치를 검색할 수 있다. 머리 착용형 디스플레이 장치(100)의 디스플레이부(190)의 화면에 표시되는 검색 결과에 대응되는 검색 목록(도시되지 아니함)에서 연결 대상인 휴대 장치(200)가 사용자에 의해 선택될 수 있다. 머리 착용형 디스플레이 장치(100)의 제어부는 사용자의 선택에 대응하여 제1 통신부를 이용하여 휴대 장치(200)의 제2 통신부와 무선으로 연결할 수 있다.
머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 제어부는 머리 착용형 디스플레이 장치(100)의 장치 정보 및 머리 착용형 디스플레이 장치(100)에서 실행되는 콘텐트(예를 들어, 미로 찾기) 정보를 제1 통신부를 통해 휴대 장치(200)로 전송할 수 있다.
휴대 장치(200)의 연결에 대응하여 머리 착용형 디스플레이 장치(100)의 제어부는 수신되는 휴대 장치(200)의 장치 정보를 저장부(180)에 저장할 수 있다. 저장되는 휴대 장치(200)의 장치 정보는 무선 연결 정보(예를 들어, SSID, IP 주소, MAC 주소, 채널 번호 또는 보안 키 등을 포함), 휴대 장치(200)의 이름(product name), 휴대 장치(200)의 식별자(ID), 휴대 장치(200)의 MAC 주소, 휴대 장치(200)의 종류, 휴대 장치(200)의 프로파일 또는 휴대 장치(200)의 통신 방식 등을 포함할 수 있다. 저장되는 콘텐트 정보는 콘텐트 식별자, 콘텐트 이름, 콘텐트 종류(예를 들어, 컴퓨터 게임 등), 터치 패드 어플리케이션 실행 명령 등을 포함할 수 있다.
이와 유사하게, 휴대 장치(200)의 제어부(210)는 제2 통신부를 이용하여 주변의 머리 착용형 디스플레이 장치(100)를 검색할 수 있다. 휴대 장치(200)의 터치 스크린(290)의 화면에 표시되는 검색 결과에 대응되는 검색 목록(도시되지 아니함)에서 머리 착용형 디스플레이 장치(100)가 사용자에 의해 선택될 수 있다. 휴대 장치(200)의 제어부(210)는 사용자의 선택에 대응하여 제2 통신부를 이용하여 머리 착용형 디스플레이 장치(100)의 제1 통신부와 무선으로 연결할 수 있다.
머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 휴대 장치(200)의 제어부(210)는 수신된 머리 착용형 디스플레이 장치(100)의 장치 정보 및 실행되는 콘텐트(예를 들어, 미로 찾기) 정보를 저장부(280)에 저장할 수 있다. 저장되는 머리 착용형 디스플레이 장치(100)의 장치 정보는 무선 연결 정보(예를 들어, SSID, IP 주소, MAC 주소, 채널 번호 또는 보안 키 등을 포함), 머리 착용형 디스플레이 장치(100)의 이름(product name), 머리 착용형 디스플레이 장치(100)의 식별자(ID), 머리 착용형 디스플레이 장치(100)의 MAC 주소, 머리 착용형 디스플레이 장치(100)의 종류, 머리 착용형 디스플레이 장치(100)의 프로파일 또는 머리 착용형 디스플레이 장치(100)의 통신 방식 등을 포함할 수 있다.
머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 휴대 장치(200)의 제어부(210)는 제2 통신부를 이용하여 실행 대상인 어플리케이션(예를 들어, 터치 패드 어플리케이션(296))의 정보를 머리 착용형 디스플레이 장치(100)로 전송할 수 있다.
머리 착용형 디스플레이 장치(100)와 휴대 장치(200)가 연결되는 경우, 휴대 장치(200)의 제어부(210)는 사용자의 선택(예를 들어, 터치 패드 어플리케이션 정보의 머리 착용형 디스플레이 장치로 전송에 대응되는)에 응답하여 제2 통신부를 이용하여 실행 대상인 터치 패드 어플리케이션(296)에 대응되는 어플리케이션 정보를 머리 착용형 디스플레이 장치(100)로 전송할 수도 있다.
전송되는 어플리케이션 정보는 예를 들어, 어플리케이션(예를 들어, 터치 패드 어플리케이션, 296)을 구별하기 위한 식별 정보(예를 들어, 이름, 식별자(ID), 분류 코드 등), 어플리케이션 정보의 전송 시점에서 대응되는 어플리케이션의 상태 정보(예를 들어, 어플리케이션의 실행, 대기 또는 중지 등) 등을 포함할 수 있다.
머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되는 경우, 휴대 장치(200)의 제어부(210)는 터치 패드 어플리케이션(296, 도 4d 참조)을 실행하여 터치 스크린(290)에 표시할 수 있다. 사용자는 터치 패드 어플리케이션(296)에 터치 또는 터치 제스처를 할 수 있다. 또한, 머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결되는 경우, 휴대 장치(200)의 제어부(210)는 수신된 콘텐트 정보 내 터치 패드 어플리케이션 실행 명령에 대응하여 터치 패드 어플리케이션(296, 도 4d 참조)을 실행하여 터치 스크린(290)에 표시할 수도 있다.
휴대 장치(200)의 제어부(210)는 검출된 터치(또는 터치 제스처)에 대응되는 터치 정보(또는 터치 제스처 정보)를 제2 통신부를 통해 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 또한, 휴대 장치(200)의 제어부(210)는 검출된 터치(또는 터치 제스처)에 대응되는 터치 정보(또는 터치 제스처 정보)를 저장부(275)에 저장할 수 있다.
머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결된 상태이다.
도 3의 단계(S340)에서, 머리 착용형 디스플레이 장치의 터치 패드에서 터치 제스처가 수신된다.
도 4c를 참조하면, 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 터치 또는 터치 제스처가 수신된다. 사용자는 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에 제1 터치(166)를 한다. 제어부는 터치 패드(165)를 이용하여 제1 터치(166)를 검출할 수 있다. 제어부는 터치 패드(165)에서부터 수신되는 전기 신호를 이용하여 제1 터치(166)에 대응되는 제1 터치 위치(166a, 예를 들어, X1와 Y1좌표)를 산출할 수 있다.
제어부는 제1 터치 위치(166a)에 대응되는 제1 터치 정보를 저장부(175)에 저장할 수 있다. 저장되는 제1 터치 정보는 이력 관리를 위한 터치 식별자(ID), 터치 위치, 터치 검출 시간, 또는 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. 제1 터치(166)는 엄지를 포함하는 손가락 중 하나 또는 터치 패드(165)에 터치 가능한 입력펜(예를 들어, 스타일러스 등)에 의해 발생할 수 있다.
본 발명의 실시예에서, 터치는 손가락 및 입력 펜 중 하나가 터치 패드(165)와 최초 접촉한 후, 터치 위치에서 그대로 있거나 또는 터치 위치에서 터치 패드(165) 사이의 접촉을 해제하는 것을 의미한다. 터치 제스처(touch gesture)는 손가락 및 입력 펜 중 하나가 터치 패드(165)와 최초 접촉한 후, 접촉을 유지한 채 터치 패드(165)의 다른 위치로 이동하거나 또는 최초 터치 위치에서 다른 위치로 이동 중 터치 패드(165)와의 접촉을 해제하는 것을 의미한다. 터치 제스처는 예를 들어, 드래그(drag), 스와이프(swipe), 플릭(flick), 핀치(pinch), 스프레드(spread), 회전(rotate), 프레스(press), 프레스 앤 탭(press and tap), 프레스 앤 드래그(press and drag)뿐만 아니라 다양한 터치 제스처를 포함할 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다. 본 발명의 실시예에서, “터치”라는 용어는 터치 제스처를 포함한다.
사용자는 제1 터치(166)와 터치 패드(165) 사이의 접촉을 유지하여 제1 터치 제스처(예를 들어, 제1 터치(166)의 연속적인 움직임)를 한다. 제어부는 터치 패드(165)를 이용하여 제1 터치(166)의 연속적인 움직임(예를 들어, 연속적인 터치의 움직임에 대응되는 복수의 X와 Y좌표)을 검출할 수 있다. 제어부는 제1 터치의 연속적인 움직임에 대응되는 복수의 터치 위치에 대응되는 복수 터치의 위치 정보를 저장부(175)에 저장할 수 있다. 제1 터치(166)의 연속적인 움직임은 제1 터치(166)와 터치 패드(165)의 접촉이 연속적으로 유지되는 것을 의미한다.
제1 터치(166)의 연속적인 움직임은 최초 제1 터치(166)에서부터 최종 제1 터치(167)까지의 하나의 터치의 연속적인 터치 제스처(예를 들어, 드래그 또는 플릭, 166a에서부터 167a까지의 이동)를 의미한다.
제1 터치(166)와 터치 패드(165)사이의 접촉이 유지되는 경우(touch-on), 제어부는 검출된 제1 터치(166)의 위치에 대응되는 방향으로 가상 캐릭터(193)을 이동할 수 있다. 예를 들어, 제1 터치(166)의 위치가 터치 패드(165)의 중심 위치(center)를 기준으로 상측, 하측, 좌측, 우측에 위치하는 경우, 제어부는 검출된 제1 터치(166)의 위치에 대응되는 방향(예를 들어, 상측, 하측, 좌측 또는 우측)으로 가상 캐릭터(193)을 이동할 수 있다.
제1 터치(166)와 터치 패드(165)사이의 접촉이 해제되는 경우(touch-release), 제어부는 검출된 터치 해제 위치에 대응되게 가상 캐릭터(193)의 이동을 멈출 수 있다. 제1 터치(166)와 터치 패드(165)사이의 접촉이 해제되는 경우, 가상 캐릭터(193)의 이동이 완료됨을 의미할 수 있다.
머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결된 상태이다.
도 3의 단계(S350)에서, 터치 제스처에 대응되게 가상 캐릭터의 위치가 변경된다.
도 4c를 참조하면, 터치 제스처(제1 터치(166)의 연속적인 움직임)에 대응하여 가상 캐릭터(193)의 위치가 변경된다. 제어부는 검출된 터치 패드(165)에서 터치 제스처의 이동 거리(예를 들어, 166a에서부터 167a까지의 거리)를 산출할 수 있다. 제어부는 산출된 터치 제스처의 이동 거리에 대응하여 가상 캐릭터(193)의 이동 거리를 산출할 수 있다. 제어부는 산출된 가상 캐릭터(193)의 이동 거리에 대응하여 미로 찾기(192)에서 가상 캐릭터(193)의 위치를 연속적으로 이동할 수 있다. 예를 들어, 터치 패드(165)에서 터치 제스처의 이동 거리가 14 ㎜인 경우, 제어부는 미로 찾기(192)에서 산출된 터치 제스처의 이동 거리에 대응되게 가상 캐릭터(193)의 이동 거리(예를 들어, 1,400 ㎜)만큼 이동할 수 있다. 가상 캐릭터(193)의 이동은 가상 캐릭터(193)의 위치 변경(193a에서부터 193b까지)을 의미할 수 있다.
제어부는 검출된 터치 패드(165)에서 터치 제스처의 이동 속도(예를 들어, 166a에서부터 167a까지의 이동 속도)를 산출할 수 있다. 제어부는 산출된 터치 제스처의 이동 속도에 대응하여 가상 캐릭터(193)의 이동 속도를 산출할 수 있다. 제어부는 산출된 가상 캐릭터(193)의 이동 속도에 대응하여 미로 찾기(192)에서 가상 캐릭터(193)의 위치를 연속적으로 이동할 수 있다. 예를 들어, 터치 패드(165)에서 터치 제스처의 이동 거리가 14 ㎜/s인 경우, 제어부는 미로 찾기(192)에서 산출된 터치 제스처의 이동 속도에 대응되게 가상 캐릭터(193)의 이동 거리(예를 들어, 14 m/s)만큼 빠르게 이동할 수 있다. 가상 캐릭터(193)의 이동 속도는 가상 캐릭터(193)의 위치(193a에서부터 193b까지)를 이동하데 소요되는 시간을 의미할 수 있다.
제어부는 산출된 터치의 이동 거리 및 이동 속도를 이용하여 미로 찾기(192)에서 이동할 거리 및 이동 속도에 대응되게 가상 캐릭터(193)를 이동할 수 있다. 제어부는 가상 캐릭터(193)의 이동방향 및 이동 속도에 대응되는 별도의 이미지(예를 들어, 화살표, 이동 속도에 따라 크기가 변경되는 화살표 같은, 194)를 표시할 수 있다.
도 5a 및 도 5b는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 터치 제스처 및 휴대 장치의 터치 제스처의 예를 나타내는 도면이다.
도 5a를 참조하면, 표(500)에 다양한 터치 제스처(501 내지 505)의 예를 도시하였다. 사용자는 터치 패드(165)에 다양한 터치 제스처를 입력할 수 있다. 예를 들어, 오른쪽 방향의 드래그(501)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 오른쪽으로 이동할 수 있다. 또한, 터치 패드(165)에서 수신되는 터치 제스처의 이동 방향이 시선 방향인 경우, 제어부는 가상 캐릭터(165)를 전진토록 할 수 있다. 왼쪽 방향의 드래그(502)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 왼쪽으로 이동할 수 있다. 또한, 터치 패드(165)에서 터치 제스처의 이동 방향이 시선 방향의 반대인 경우, 제어부는 가상 캐릭터(165)를 후진토록 할 수 있다.
멀티 탭(multi tap, 두 손가락 탭, 503)이 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 점프(jump)할 수 있다. 스프레드(504)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 그대로 두고, 화면(191)을 점진적으로 확대할 수 있다. 핀치(505)가 터치 패드(165)에서 수신되는 경우, 제어부는 가상 캐릭터(165)를 그대로 두고, 화면(191)을 점진적으로 축소할 수 있다. 도 5a에 도시된 표(500)의 터치 제스처뿐만 아니라 도시되지 아니한 다양한 터치 제스처를 포함할 수 있다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
머리 착용형 디스플레이 장치(100)는 휴대 장치(200)와 연결된 상태이다.
도 3의 단계(S360)에서, 휴대 장치에서 검출된 터치 제스처가 수신된다.
도 4d를 참조하면, 사용자는 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 제2 터치(168)를 한다. 또한, 사용자 또는 다른 사용자는 머리 착용형 디스플레이 장치(100)와 무선 연결된 휴대 장치(200)의 터치 스크린(290)에서 실행되는 터치 패드 어플리케이션(296)에서 제11 터치(297)를 한다. 휴대 장치(200)의 제어부(210)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 이용하여 제11 터치(297)를 검출할 수 있다. 휴대 장치(200)의 제어부(210)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)에서부터 수신되는 전기 신호를 이용하여 제11 터치(297)에 대응되는 제11 터치 위치(297a, 예를 들어, X11와 Y11좌표)를 산출할 수 있다.
휴대 장치(200)의 제어부(210)는 제11 터치 위치(297a)에 대응되는 제11 터치 정보를 저장부(275)에 저장할 수 있다. 저장되는 제11 터치 정보는 이력 관리를 위한 터치 식별자(ID), 휴대 장치(100)에서 터치 위치, 휴대 장치(100)에서 터치 검출 시간, 또는 휴대 장치(100)에서 터치 정보(예를 들어, 터치 압력, 터치 방향, 터치 지속 시간 등)를 포함할 수 있다. 제11 터치(297a)는 엄지를 포함하는 손가락 중 하나 또는 터치 스크린(290)에 터치 가능한 입력펜(예를 들어, 스타일러스 등)에 의해 발생할 수 있다.
휴대 장치(200)의 제어부(210)는 저장된 제11 터치 정보를 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 휴대 장치(200)의 제어부(210)는 저장된 제11 터치 정보를 컨트롤 패킷(control packet) 형태로 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 또한, 휴대 장치(200)의 제어부(210)는 검출된 제11 터치에 대응되는 컨트롤 패킷(control packet)을 머리 착용형 디스플레이 장치(100)로 전송할 수 있다.
또한, 사용자는 제11 터치(297)와 터치 패드 어플리케이션(296) 사이의 접촉을 유지하여 제11 터치 제스처(예를 들어, 제11 터치(297)의 연속적인 움직임)를 한다. 제어부(210)는 터치 스크린(290) 및 터치 스크린 컨트롤러(295)를 이용하여 제11 터치(297)의 연속적인 움직임(예를 들어, 연속적인 터치의 움직임에 대응되는 복수의 X와 Y좌표)을 검출할 수 있다. 제어부(210)는 제11 터치의 연속적인 움직임에 대응되는 복수의 터치 위치에 대응되는 복수의 터치 정보를 저장부(275)에 저장할 수 있다. 제11 터치(297)의 연속적인 움직임은 제11 터치(297)와 터치 패드 어플리케이션(296) 의 접촉이 연속적으로 유지되는 것을 의미한다.
도 5a 및 도 5b는 본 발명의 실시예에 따른 머리 착용형 디스플레이 장치의 터치 제스처 및 휴대 장치의 터치 제스처의 예를 나타내는 도면이다.
도 5b를 참조하면, 표(510)에 다양한 터치 또는 터치 제스처(511 내지 516)의 예를 도시하였다. 사용자는 터치 패드 어플리케이션(296)에 다양한 터치 제스처를 입력할 수 있다. 예를 들어, 가상 캐릭터(193)의 동작을 강화(strengthen)하는 터치 제스처인 프레스(511)가 터치 패드 어플리케이션(296)에서 수신되는 경우, 제어부(210)는 수신된 프레스(511)에 대응되는 제11 터치 제스처 정보(예를 들어, 프레스 정보)를 저장부(275)에 저장할 수 있다. 제어부(210)는 저장된 제11 터치 제스처 정보를 컨트롤 패킷(control packet) 형태로 머리 착용형 디스플레이 장치(100)로 전송할 수 있다. 또한, 우 → 좌 상향 드래그(512), 더블 탭(513), 시계 방향 회전(clockwise rotate, 514), 우 → 좌 하향 드래그(515), 반시계 방향 회전(count clockwise rotate, 516)가 터치 패드 어플리케이션(296)에서 수신되는 경우, 제어부(210)는 수신된 터치 제스처(512 내지 516)에 대응되는 제12 내지 제 16 터치 제스처 정보를 저장부(275)에 저장할 수 있다. 제어부(210)는 저장된 제12 내지 제 16 중 하나의 터치 제스처 정보를 컨트롤 패킷(control packet) 형태로 머리 착용형 디스플레이 장치(100)로 전송할 수 있다.
휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처)는 머리 착용형 디스플레이 장치(100)의 가상 캐릭터(193)의 동작을 변경할 수 있다. 예를 들어, 가상 캐릭터(193)가 전진하는 동안 휴대 장치(200)에서부터 터치(또는 터치 제스처)에 대응되는 컨트롤 패킷이 머리 착용형 디스플레이 장치(100)에 수신되는 경우, 제어부는 가상 캐릭터(193)의 동작을 강화(예를 들어, 전진 속도를 20 % 증가) 또는 약화(예를 들어, 전진 속도를 20 % 감소)할 수 있다. 휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처)에 대응되는 가상 캐릭터(193)의 동작 강화 또는 약화는 하나의 실시예일뿐 이에 한정되는 것은 아니다.
휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처) 와 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 수신되는 터치(또는 터치 제스처)의 조합에 대응하여 콘텐트인 미로 찾기(192)의 가상 캐릭터(193) 동작에 대한 다양한 변경 또는 객체(192a 및 192b) 동작에 대한 다양한 변경이 가능하다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
제어부는 가상 캐릭터(193)의 이동방향 및 이동 속도에 대응되는 별도의 이미지(예를 들어, 화살표, 이동 속도에 따라 크기가 변경되는 화살표 같은, 194a)를 표시할 수 있다.
또한, 휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처) 와 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 수신되는 터치(또는 터치 제스처)의 조합에 대응하여 다른 콘텐트인 컴퓨터 게임(도시되지 아니함)의 가상 캐릭터(도시되지 아니함) 동작(또는 옵션)에 대한 다양한 변경이 가능하다는 것은 당해 기술 분야의 통상의 지식을 가지는 자에게 용이하게 이해될 것이다.
도 3의 단계(S370)에서, 두 개의 터치 제스처에 대응되게 콘텐트의 가상 캐릭터 위치가 변경된다.
도 4e를 참조하면, 머리 착용형 디스플레이 장치(100)의 제어부는 두 개의 터치(또는 터치 제스처)에 대응하여 가상 캐릭터(193)를 빠르게 이동되게 할 수 있다. 예를 들어, 제어부는 머리 착용형 디스플레이 장치(100)의 터치 패드(165)에서 터치(또는 터치 제스처)가 수신되는 경우와 비교하여 20 % 빠르게 이동되게 할 수 있다. 가상 캐릭터(193)의 주변 객체인 담(192a) 및 길(192b)이 가상 캐릭터(193)의 빠른 이동에 대응하여 빠르게 이동될 수 있다.
두 번째 터치(또는 터치 제스처)인 휴대 장치(200)의 터치 패드 어플리케이션(296)에서 수신되는 터치(또는 터치 제스처)에 응답하여 머리 착용형 디스플레이 장치(100)의 가상 캐릭터(193)의 동작(또는 위치)이 변경될 수 있다.
제어부는 두 개의 터치 제스처에 대응되게 미로 찾기(192)에서 이동할 거리(193d에서부터 193d까지) 및 이동 속도에 대응되게 가상 캐릭터(193)를 이동할 수 있다. 제어부는 가상 캐릭터(193)의 이동방향 및 이동 속도에 대응되는 별도의 이미지(예를 들어, 화살표, 이동 속도에 따라 크기가 변경되는 화살표 같은, 194b)를 표시할 수 있다.
두 개의 터치(또는 터치 제스처)의 순서에 상관없이 두 개의 터치(또는 터치 제스처)가 수신되는 경우, 가상 캐릭터(193)의 동작(또는 위치)가 변경될 수 있다. 두 개의 터치(또는 터치 제스처)의 순서에 상관없이 두 개의 터치(또는 터치 제스처)가 수신되는 경우, 가상 캐릭터(193)의 동작의 강화 또는 약화될 수 있다.
하나의 터치 제스처(예를 들어, 머리 착용형 디스플레이 장치(100)의 터치(또는 터치 제스처))에 대응되는 이동 속도와 두 개의 터치 제스처(예를 들어, 머리 착용형 디스플레이 장치(100)의 터치(또는 터치 제스처) 및 휴대 장치(200)의 터치(또는 터치 제스처)에 대응되는 이동 속도의 차이인 20 %는 하나의 예일 뿐, 머리 착용형 디스플레이 장치(100)의 성능 및 설정(예를 들어, 사용자의 입력에 의해 변경 가능)에 따라 변경될 수 있다는 것은 당해 기술분야에서 통상의 지식을 가진 자에게 용이하게 이해될 것이다.
제어부는 가상 캐릭터(193) 동작의 강화에 대응되는 피드백(feedback)을 사용자에게 제공할 수 있다. 피드백은 시각 피드백, 청각 피드백 및 촉각 피드백 중 하나로 사용자에게 제공될 수 있다. 제어부는 시각 피드백, 청각 피드백 및 촉각 피드백 중 하나 또는 시각 피드백, 청각 피드백 및 촉각 피드백들의 조합을 사용자에게 제공할 수 있다.
시각 피드백은 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 시각 효과(예를 들어, 별도의 이미지 또는 별도의 이미지에 적용된 나타내기(fade)와 같은 애니메이션 효과)를 미로 찾기(292)의 화면(500)과 구별되게 표시될 수 있다. 청각 피드백은 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되는 사운드로써 스피커(163)에서 출력될 수 있다.
머리 착용형 디스플레이 장치(100)가 진동 모터(도시되지 아니함)를 포함하는 경우, 촉각 피드백은 가상 캐릭터(193) 동작의 변경(또는 위치의 변경)에 대응되게 진동모터(도시되지 아니함)에서 출력될 수 있다.
시각 피드백은 가상 캐릭터(193) 동작의 강화에 대응되는 시각 효과(예를 들어, 별도의 이미지 또는 별도의 이미지에 적용된 나타내기(fade)와 같은 애니메이션 효과)를 미로 찾기(292)의 화면(500)과 구별되게 표시될 수 있다. 청각 피드백은 가상 캐릭터(193) 동작의 강화에 대응되는 사운드로써 스피커(163)에서 출력될 수 있다.
머리 착용형 디스플레이 장치(100)가 진동 모터(도시되지 아니함)를 포함하는 경우, 촉각 피드백은 가상 캐릭터(193) 동작의 강화에 대응되게 진동모터(도시되지 아니함)에서 출력될 수 있다.
머리 착용형 디스플레이 장치(100)의 환경 설정(도시되지 아니함)에서, 가상 캐릭터(193) 동작의 강화에 대응되는 피드백(예를 들어, 시각 피드백, 청각 피드백, 및 촉각 피드백 중 적어도 하나)을 선택 및/또는 변경할 수도 있다.
적어도 하나의 피드백이 사용자에게 제공되는 피드백 제공 시간(예를 들어, 500 msec, 변경 가능)을 사용자가 입력 및/또는 변경할 수 있다.
도 3의 단계(S350)에서, 두 개의 터치 제스처에 대응되게 콘텐트의 가상 캐릭터 위치가 변경되는 경우, 머리 착용형 디스플레이 장치의 콘텐트 표시방법은 종료된다.
본 발명의 예시적 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 예를 들어, 상기 컴퓨터 판독 가능 매체는 삭제 가능 또는 재기록 가능 여부와 상관없이, ROM 등의 저장 장치와 같은 휘발성 또는 비휘발성 저장 장치, 또는 예를 들어, RAM, 메모리 칩, 장치 또는 집적 회로와 같은 메모리, 또는 예를 들어 CD, DVD, 자기 디스크 또는 자기 테이프 등과 같은 광학 또는 자기적으로 기록 가능함과 동시에 기계(예를 들어, 컴퓨터)로 읽을 수 있는 저장 매체에 저장될 수 있다. 이동 단말 내에 포함될 수 있는 메모리는 본 발명의 실시 예들을 구현하는 지시들을 포함하는 프로그램 또는 프로그램들을 저장하기에 적합한 기계로 읽을 수 있는 저장 매체의 한 예임을 알 수 있을 것이다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.
이상과 같이 본 발명은 비록 한정된 예시적 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 예시적 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
그러므로, 본 발명의 범위는 설명된 예시적 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100: 휴대 장치 110: 제어부
165: 터치 패드 166: 제1 터치
175: 저장부 190: 디스플레이부
193: 가상 캐릭터 195: 터치 스크린 컨트롤러
200: 휴대 장치 210: 제어부
290: 터치 스크린 295: 터치 스크린 컨트롤러
296: 터치 패드 어플리케이션 297: 제11 터치

Claims (17)

  1. 머리 착용형 디스플레이 장치(head mounted display)에서 콘텐트를 실행하는 단계;
    상기 머리 착용형 디스플레이 장치의 주변의 휴대 장치와 무선으로 연결하는 단계;
    상기 머리 착용형 디스플레이 장치의 터치 패드에서 제1 터치를 검출하는 단계;
    상기 휴대 장치의 터치 스크린에서 검출된 제2 터치에 대응되는 제2 터치 정보를 상기 휴대 장치에서부터 수신하는 단계; 및
    상기 제1 및 제2 터치의 조합에 대응하여 상기 콘텐트에 표시되는 가상 캐릭터의 동작을 변경하는 단계를 포함하는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  2. 제1항에 있어서,
    상기 휴대 장치에서부터 수신하는 단계에 있어서,
    상기 제2 터치 정보에 대응되는 컨트롤 패킷을 상기 휴대 장치에서부터 수신하는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  3. 제1항에 있어서,
    상기 제1 터치는 터치 제스처를 포함하고,
    상기 제2 터치는 터치 제스처를 포함하는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  4. 제1항에 있어서,
    상기 가상 캐릭터의 주변 객체는 상기 가상 캐릭터의 동작에 대응하여 변경되는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  5. 제1항에 있어서,
    상기 제1 및 제2 터치의 조합에 대응되는 상기 가상 캐릭터의 동작은 상기 가상 캐릭터 동작의 강화 및 상기 가상 캐릭터의 동작의 약화 중 적어도 하나를 포함하는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  6. 제1항에 있어서,
    상기 제1 터치 및 상기 제2 터치의 조합에 대응되는 가상 캐릭터의 동작은 상기 제1 터치에 대응되는 가상 캐릭터의 동작과 구별되는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  7. 제1항에 있어서,
    상기 가상 캐릭터의 동작을 변경하는 단계에 있어서,
    상기 제1 터치의 연속적인 움직임의 이동 속도에 대응하여 상기 가상 캐릭터의 이동 속도가 변경되는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  8. 제1항에 있어서,
    상기 가상 캐릭터의 동작을 변경하는 단계에 있어서,
    상기 가상 캐릭터는 상기 제1 터치의 연속적인 움직임의 이동 거리에 대응되게 이동하는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  9. 제1항에 있어서,
    상기 가상 캐릭터 동작의 변경에 대응하여 시각 피드백, 청각 피드백 및 촉각 피드백 중 적어도 하나를 제공하는 머리 착용형 디스플레이 장치의 콘텐트 표시방법.
  10. 콘텐트를 표시하는 디스플레이부;
    제1 터치를 수신하는 터치 패드;
    휴대 장치와 연결되는 통신부; 및,
    상기 디스플레이부, 상기 터치 패드 및 상기 통신부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 제1 터치 및 상기 통신부를 통해 상기 휴대 장치에서부터 수신되는 제2 터치 정보의 조합에 대응하여 상기 디스플레이부에 표시되는 상기 콘텐트의 가상 캐릭터 동작을 변경하는 머리 장착형 디스플레이 장치.
  11. 제10항에 있어서,
    상기 제어부는 상기 통신부를 통해 상기 제2 터치에 대응되는 컨트롤 패킷을 상기 휴대 장치에서부터 수신하고,
    상기 수신된 컨트롤 패킷에 대응되게 상기 가상 캐릭터의 동작을 변경하는 머리 장착형 디스플레이 장치.
  12. 제10항에 있어서,
    상기 제어부는 상기 터치 패드를 통해 수신되는 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나를 산출하는 머리 장착형 디스플레이 장치.
  13. 제12항에 있어서,
    상기 제어부는 산출된 상기 제1 터치의 연속적인 움직임의 이동 방향, 이동 거리 및 이동 속도 중 적어도 하나에 대응하여 상기 가상 캐릭터의 동작을 변경하는 머리 장착형 디스플레이 장치.
  14. 제10항에 있어서,
    상기 제어부는 상기 터치 패드에서 상기 제1 터치의 위치에 대응하여 상기 가상 캐릭터를 상측, 하측, 좌측 및 우측 중 하나의 방향으로 이동하는 머리 장착형 디스플레이 장치.
  15. 제10항에 있어서,
    상기 디스플레이부는 일체형 및 탈착이 가능한 분리형 중 하나인 머리 장착형 디스플레이 장치.
  16. 휴대 장치에 있어서,
    실행된 터치 패드 어플리케이션을 표시하는 터치 스크린;
    상기 휴대 장치의 주변의 머리 착용형 디스플레이 장치와 통신하는 통신부; 및
    상기 터치 스크린 및 상기 통신부를 제어하는 제어부를 포함하고,
    상기 제어부는,
    상기 터치 패드 어플리케이션에서 수신되는 터치에 대응되는 컨트롤 패킷을 상기 통신부를 통해 상기 머리 착용형 디스플레이 장치로 전송하는 휴대 장치.
  17. 제16항에 있어서,
    상기 제어부는,
    상기 머리 착용형 디스플레이 장치와 연결되는 경우, 상기 터치 패드 어플리케이션을 실행하는 휴대 장치.
KR1020150049704A 2012-10-10 2015-04-08 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법 KR102463080B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/683,517 US20150212647A1 (en) 2012-10-10 2015-04-10 Head mounted display apparatus and method for displaying a content
US16/389,422 US11360728B2 (en) 2012-10-10 2019-04-19 Head mounted display apparatus and method for displaying a content

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461978262P 2014-04-11 2014-04-11
US61/978,262 2014-04-11

Publications (2)

Publication Number Publication Date
KR20150118036A true KR20150118036A (ko) 2015-10-21
KR102463080B1 KR102463080B1 (ko) 2022-11-03

Family

ID=54400323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150049704A KR102463080B1 (ko) 2012-10-10 2015-04-08 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법

Country Status (1)

Country Link
KR (1) KR102463080B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082457A1 (ko) * 2015-11-11 2017-05-18 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
WO2024034776A1 (ko) * 2022-08-12 2024-02-15 삼성전자 주식회사 가상 공간의 아바타를 활용하는 커뮤니케이션 방법 및 장치

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001699A1 (en) * 2009-05-08 2011-01-06 Kopin Corporation Remote control of host application using motion and voice commands
US20110209100A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen pinch and expand gestures
US20110221669A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Gesture control in an augmented reality eyepiece
US20120084710A1 (en) * 2010-10-01 2012-04-05 Imerj, Llc Repositioning windows in the pop-up window
US8638303B2 (en) * 2010-06-22 2014-01-28 Microsoft Corporation Stylus settings

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110001699A1 (en) * 2009-05-08 2011-01-06 Kopin Corporation Remote control of host application using motion and voice commands
US20110209100A1 (en) * 2010-02-25 2011-08-25 Microsoft Corporation Multi-screen pinch and expand gestures
US20110221669A1 (en) * 2010-02-28 2011-09-15 Osterhout Group, Inc. Gesture control in an augmented reality eyepiece
US8638303B2 (en) * 2010-06-22 2014-01-28 Microsoft Corporation Stylus settings
US20120084710A1 (en) * 2010-10-01 2012-04-05 Imerj, Llc Repositioning windows in the pop-up window

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017082457A1 (ko) * 2015-11-11 2017-05-18 엘지전자 주식회사 Hmd 및 그 hmd의 제어 방법
WO2024034776A1 (ko) * 2022-08-12 2024-02-15 삼성전자 주식회사 가상 공간의 아바타를 활용하는 커뮤니케이션 방법 및 장치

Also Published As

Publication number Publication date
KR102463080B1 (ko) 2022-11-03

Similar Documents

Publication Publication Date Title
US11360728B2 (en) Head mounted display apparatus and method for displaying a content
EP3246788B1 (en) Head mounted display device and method for controlling the same
KR102342267B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
KR102481878B1 (ko) 휴대 장치 및 휴대 장치의 화면 표시방법
CN108353104B (zh) 便携式装置和用于控制其屏幕的方法
US10187520B2 (en) Terminal device and content displaying method thereof, server and controlling method thereof
US10257670B2 (en) Portable device and method for providing notice information thereof
KR102378570B1 (ko) 휴대 장치 및 휴대 장치의 화면 변경방법
EP3299933B1 (en) Method for displaying a navigator associated with content and electronic device for implementing the same
US11782571B2 (en) Device, method, and graphical user interface for manipulating 3D objects on a 2D screen
KR102627191B1 (ko) 휴대 장치 및 휴대 장치의 화면 제어방법
US9128598B2 (en) Device and method for processing user input
CN112044065B (zh) 虚拟资源的显示方法、装置、设备及存储介质
US20150063785A1 (en) Method of overlappingly displaying visual object on video, storage medium, and electronic device
KR102463080B1 (ko) 머리 착용형 디스플레이 장치 및 머리 착용형 디스플레이 장치의 콘텐트 표시방법
WO2013164351A1 (en) Device and method for processing user input
US11393164B2 (en) Device, method, and graphical user interface for generating CGR objects
KR102018656B1 (ko) 휴대 단말기의 동작 방법
KR20170009688A (ko) 전자 장치 및 이의 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant