KR102138511B1 - 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 - Google Patents
헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 Download PDFInfo
- Publication number
- KR102138511B1 KR102138511B1 KR1020130102325A KR20130102325A KR102138511B1 KR 102138511 B1 KR102138511 B1 KR 102138511B1 KR 1020130102325 A KR1020130102325 A KR 1020130102325A KR 20130102325 A KR20130102325 A KR 20130102325A KR 102138511 B1 KR102138511 B1 KR 102138511B1
- Authority
- KR
- South Korea
- Prior art keywords
- portable device
- head mounted
- hmd
- mounted display
- marker
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/14—Handling requests for interconnection or transfer
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
- G02B27/0172—Head mounted characterised by optical features
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/38—Information transfer, e.g. on bus
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/0101—Head-up displays characterised by optical features
- G02B2027/0141—Head-up displays characterised by optical features characterised by the informative content of the display
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G2340/00—Aspects of display data processing
- G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
- G09G2340/125—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels wherein one of the images is motion video
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Optics & Photonics (AREA)
- Human Computer Interaction (AREA)
- Controls And Circuits For Display Device (AREA)
- User Interface Of Digital Computer (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
Abstract
본 명세서의 일 실시예에 따른 포터블 디바이스를 제어하는 방법은 헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하는 단계, 인커밍콜이 수신되면 페어링된 HMD의 제1 위치를 디텍팅하는 단계, 인커밍콜에 대응하는 마커 정보를 디텍팅된 제1 위치에 따라 설정하는 단계, 및 HMD에 마커 정보에 대응하는 증강현실 이미지를 송신하는 단계를 포함할 수 있다.
Description
본 명세서는 포터블 디바이스에 대한 것으로, 특히 헤드 마운티드 디스플레이의 화상통화에 필요한 마커 정보를 제공하는 포터블 디바이스에 대한 것이다.
리얼 오브젝트와 버추얼 오브젝트가 혼합된 증강현실기술은 사용자가 증강현실 이미지와 함께 현실 이미지를 볼 수 있게 하여 현실감과 함께 부가 정보를 제공한다. 예를 들어 스마트폰에 인커밍콜이 수신된 경우, 헤드 마운티드 디스플레이는 증강현실기술을 이용하여 스마트폰의 위치에 인커밍콜의 발신자의 얼굴을 증강현실 이미지로 디스플레이할 수 있다. 이를 통해 헤드 마운티드 디스플레이의 사용자는 발신자의 얼굴을 바라보며 화상통화를 할 수 있다.
증강현실 이미지는 증강현실 이미지에 대응하는 마커가 디텍팅된 경우에 디스플레이될 수 있다. 증강현실 이미지는 3차원 이미지일 수 있으며 3차원 이미지의 방향은 마커의 방향에 따라 달라질 수 있다. 따라서 포터블 디바이스는 인커밍콜의 발신자에 따라 서로 다른 마커를 디스플레이하고 수신자 또는 헤드 마운티드 디스플레이의 위치나 방향에 따라 마커의 방향을 제어해야 한다. 따라서 포터블 디바이스는 상황에 따라 적응적으로 마커 정보를 생성하여 헤드 마운티드 디스플레이에 전송하는 방법이 요구된다.
본 명세서는, 증강현실 이미지의 마커 정보를 전송하는 포터블 디바이스 및 그의 제어 방법을 제공하고자 한다. 특히, 본 명세서에서 포터블 디바이스는 사용자 또는 페어링된 헤드 마운티드 디스플레이의 위치에 따라 전송하는 마커 정보를 적응적으로 변경하는 방법을 제공할 필요가 있다.
본 명세서의 일 실시예에 따른 포터블 디바이스는 헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하여 인커밍콜을 수신하고, 정보를 송신하는 커뮤니케이션 유닛 HMD의 위치를 디텍팅하는 센서 유닛, 디스플레이 유닛, 및 커뮤니케이션 유닛, 센서 유닛 및 디스플레이 유닛을 제어하는 컨트롤러를 포함하는 포터블 디바이스로써, 컨트롤러는 HMD가 페어링된 경우, 인커밍콜에 대응하는 마커 정보를 HMD의 제1 위치에 따라 설정하고, HMD에 마커 정보에 대응하는 증강현실 이미지를 송신할 수 있다.
또한 본 명세서의 일 실시예에 따른 포터블 디바이스 제어 방법은 헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하는 단계, 인커밍콜이 수신되면 페어링된 HMD의 제1 위치를 디텍팅하는 단계, 인커밍콜에 대응하는 마커 정보를 디텍팅된 제1 위치에 따라 설정하는 단계, 및 HMD에 마커 정보에 대응하는 증강현실 이미지를 송신하는 단계를 포함할 수 있다.
본 명세서에 따르면, 포터블 디바이스는 증강현실 이미지에 대응하는 마커 정보를 생성하고 전송할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 사용자 또는 페어링된 헤드 마운티드 디스플레이의 위치에 따라 마커 정보를 적응적으로 변경할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 화상통화가 시작되기 전에 헤드 마운티드 디스플레이의 위치를 디텍팅하고 마커 정보를 설정할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 포터블 디바이스의 형태에 대한 정보를 마커 정보로써 전송할 수 있다.
또한, 본 명세서에 따르면, 포터블 디바이스는 사용자 또는 페어링된 헤드 마운티드 디스플레이의 위치가 변경되면 변경된 위치를 트랙킹하여 마커 정보를 수정할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다.
도 2는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다.
도 3은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 제공 방법을 나타낸 도면이다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 방법을 나타낸 도면이다.
도 5는 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다.
도 7은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다.
도 2는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다.
도 3은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 제공 방법을 나타낸 도면이다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 방법을 나타낸 도면이다.
도 5는 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다.
도 7은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 실시 예를 상세하게 설명하지만, 청구하고자 하는 범위는 실시 예들에 의해 제한되거나 한정되는 것은 아니다.
본 명세서에서 사용되는 용어는 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 명세서의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가지는 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
본 명세서에서 포터블 디바이스는 디스플레이 유닛을 포함한 디바이스일 수 있다. 예를 들어, 포터블 디바이스는 스마트폰, 스마트패드, 노트북, 태블릿 컴퓨터, 뮤직 플레이어, 스마트 테이블, 모니터 또는 텔레비젼을 포함할 수 있다. 본 명세서에서 헤드 마운티드 디스플레이는 사용자의 신체에 착용되어 시각정보를 디스플레이할 수 있는 웨어러블 디바이스를 포함할 수 있다.
도 1은 본 명세서의 일 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다. 포터블 디바이스는 인커밍콜을 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자에 대한 정보를 디스플레이할 수 있다. 또한 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링하여 인커밍콜의 발신자에 대한 정보를 헤드 마운티드 디스플레이에 제공할 수 있다.
헤드 마운티드 디스플레이와 포터블 디바이스가 페어링된 경우, 포터블 디바이스는 증강현실 이미지의 마커를 디스플레이할 수 있으며, 헤드 마운티드 디스플레이는 포터블 디바이스에 디스플레이된 마커를 디텍팅하고, 마커에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 포터블 디바이스는 사용자 또는 헤드 마운티드 디스플레이의 위치를 디텍팅하고, 디텍팅된 위치에 따라 마커의 방향을 적응적으로 변경할 수 있다. 아래에서는 헤드 마운티드 디스플레이의 위치를 예로 들어 설명하나 이는 사용자의 위치에도 유사하게 적용될 수 있다. 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이에 발신자의 얼굴의 전면이 디스플레이되도록 마커의 방향을 결정할 수 있다.
도 1의 좌측에서 포터블 디바이스(11)는 인커밍콜을 수신할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 페어링된 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있다. 여기서, 제1 위치란 포터블 디바이스를 기준으로, 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이의 상대적인 위치를 의미할 수 있다. 예를 들어, 포터블 디바이스(11)는 가상의 기준선을 설정하고, 기준선으로부터 제1 각도만큼 회전된 위치에서 페어링된 헤드 마운티드 디스플레이(13)를 디텍팅할 수 있다.
포터블 디바이스(11)는 마커(12)에 대응하는 증강현실 이미지(14)의 전면이 제1 위치를 향하도록 마커(12)의 방향을 설정할 수 있다. 도 1에서 증강현실 이미지(14)는 마커(12)에 대응하여 헤드 마운티드 디스플레이(13)에 디스플레이되는 이미지이다. 포터블 디바이스는 마커(12)의 디스플레이 방향을 기준선으로부터 제1 각도만큼 회전된 방향으로 설정할 수 있다.
인커밍콜에 대한 응답이 결정되고 통화가 시작되면, 포터블 디바이스는 설정된 방향으로 마커(12)를 회전시킨 후 마커(12)를 디스플레이할 수 있다. 예를 들어, 헤드 마운티드 디스플레이(13)가 포터블 디바이스(11)의 기준선으로부터 시계방향으로 제1 각도를 이루는 곳에 위치한 경우, 포터블 디바이스(11)는 마커(12)를 시계방향으로 제1 각도만큼 회전시킨 후 디스플레이할 수 있다.
또한 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이(13)에 마커 정보 및 증강현실 이미지 중 적어도 하나를 전송할 수 있다. 마커 정보는 마커의 형태 및 마커의 방향에 대한 정보를 포함할 수 있다. 또한 증강현실 이미지는 인커밍콜의 발신자에 대한 정보를 포함할 수 있으며 예를 들어, 증강현실 이미지는 발신자의 이름, 전화번호, 메모, 사진 및 화상 통화 이미지를 포함할 수 있다.
헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)에 디스플레이된 마커(12)를 디텍팅하고, 포터블 디바이스로부터 전송된 마커 정보 및 증강현실 이미지 중 적어도 하나를 이용하여 화상통화를 실시할 수 있다. 헤드 마운티드 디스플레이(13)는 디텍팅된 마커(12)에 대응하여 증강현실 이미지(14)를 디스플레이할 수 있다. 헤드 마운티드 디스플레이(13)는 디스플레이된 마커(12)의 방향에 따라 증강현실 이미지를 회전시켜 디스플레이할 수 있다. 따라서 헤드 마운티드 디스플레이(13)는 인커밍콜의 발신자의 화상통화 이미지의 전면을 증강현실 이미지(14)로 디스플레이할 수 있다.
도 1의 우측은 도 1의 좌측의 포터블 디바이스가 시계 방향으로 90도만큼 회전한 상태를 나타낸다. 화상통화 중에 포터블 디바이스가 회전되는 경우, 포터블 디바이스(11)는 회전방향의 반대방향으로 회전된 각도만큼 마커(12)를 회전시킬 수 있다. 즉, 화상통화 도중에 포터블 디바이스가 시계방향으로 90도만큼 회전된 경우, 포터블 디바이스(11)는 디스플레이된 마커(12)를 시계반대방향으로 90도만큼 회전시켜 디스플레이할 수 있다. 다시 말하면, 포터블 디바이스는 마커 정보에 포함된 마커의 디스플레이 방향에 대한 정보를 시계반대방향으로 90도만큼 회전된 방향으로 변경할 수 있다. 포터블 디바이스는 증강현실 이미지의 전면이 헤드 마운티드 디스플레이(13)를 향하도록 마커 정보를 변경할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)가 전면을 유지하게 할 수 있다.
포터블 디바이스(11)는 화상통화가 종료되기 전까지 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있으며, 제1 위치가 제2 위치로 변경되는 경우, 변경된 제2 위치에 따라 디스플레이된 마커(12)를 회전시킬 수 있다. 다시 말해, 포터블 디바이스(11)는 증강현실 이미지의 전면이 제2 위치를 향하도록 마커 정보에 포함된 마커의 디스플레이 방향을 변경할 수 있다. 포터블 디바이스는 제1 위치와 제2 위치 사이의 각도에 대응하여 디스플레이된 마커(12)를 회전시킬 수 있다.
이를 통해 헤드 마운티드 디스플레이(13)를 착용한 사용자는 화상통화가 계속되는 동안 상대방의 얼굴의 전면을 바라보며 화상통화를 할 수 있다. 또한 사용자의 제1 위치가 변경되는 경우에도 사용자는 지속적으로 상대방의 얼굴의 전면을 응시할 수 있다.
도 2는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상통화 제공 방법을 나타낸 도면이다. 포터블 디바이스는 인커밍콜을 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자에 대한 정보를 디스플레이할 수 있다. 또한 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링하여 인커밍콜의 발신자에 대한 정보를 헤드 마운티드 디스플레이에 제공할 수 있다. 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 증강현실 이미지의 마커로써 디텍팅할 수 있다. 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 디텍팅하고, 이에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 포터블 디바이스는 포터블 디바이스는 헤드 마운티드 디스플레이의 위치를 디텍팅하고, 디텍팅된 위치에 따라 포터블 디바이스의 기준 형태(reference shape)에 대한 정보를 포함하는 마커 정보를 헤드 마운티드 디스플레이에 전송할 수 있다. 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이에 발신자의 얼굴의 전면이 디스플레이되도록 기준 형태를 결정할 수 있다. 즉, 포터블 디바이스의 기준 형태란, 디스플레이된 증강현실 이미지의 전면이 향하는 방향에서 바라본 포터블 디바이스의 형태로 정의될 수 있다.
도 2의 좌측에서 포터블 디바이스(11)는 인커밍콜을 수신할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 페어링된 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있다. 여기서, 제1 위치란 포터블 디바이스를 기준으로 포터블 디바이스의 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이의 상대적인 위치를 의미할 수 있다. 예를 들어, 포터블 디바이스(11)는 가상의 기준선(21)을 설정하고, 기준선으로부터 제1 각도만큼 회전된 위치에서 페어링된 헤드 마운티드 디스플레이(13)를 디텍팅할 수 있다. 도 2의 좌측에서 헤드 마운티드 디스플레이(13)는 기준선 방향에 위치하므로 제1 각도는 0도가 된다.
포터블 디바이스(11)는 증강현실 이미지(14)의 전면이 제1 위치를 향하도록 포터블 디바이스의 기준 형태에 대한 정보를 마커 정보로 설정할 수 있다. 도 2에서 증강현실 이미지(14)는 포터블 디바이스의 기준 형태에 대응하여 헤드 마운티드 디스플레이(13)에 디스플레이되는 이미지이다. 포터블 디바이스는 포터블 디바이스의 기준 형태를 기준선으로부터 제1 각도인 0도만큼 회전된 형태로 설정할 수 있다.
또한 포터블 디바이스는 페어링된 헤드 마운티드 디스플레이(13)에 마커 정보 및 증강현실 이미지 중 적어도 하나를 전송할 수 있다. 마커 정보는 포터블 디바이스의 기준 형태에 대한 정보를 포함할 수 있다. 이에 더하여 마커 정보는 포터블 디바이스의 복수의 각도에 따른 형태에 대한 정보를 더 포함할 수 있다. 즉, 마커 정보는 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 각도에 따라 헤드 마운티드 디스플레이의 카메라 유닛이 인식하는 포터블 디바이스의 형태에 대한 정보를 더 포함할 수 있다. 또한 증강현실 이미지는 인커밍콜의 발신자에 대한 정보를 포함할 수 있으며 예를 들어, 증강현실 이미지는 발신자의 이름, 전화번호, 메모, 사진 및 화상 통화 이미지를 포함할 수 있다.
헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)의 형태를 마커로써 디텍팅하고, 포터블 디바이스로부터 전송된 마커 정보 및 증강현실 이미지 중 적어도 하나를 이용하여 화상통화를 실시할 수 있다. 헤드 마운티드 디스플레이(13)는 마커 정보 및 디텍팅된 포터블 디바이스의 형태 중 적어도 하나에 대응하여 증강현실 이미지(14)를 디스플레이할 수 있다. 헤드 마운티드 디스플레이(13)는 포터블 디바이스의 기준 형태 및 디텍팅된 포터블 디바이스의 형태에 기초하여 증강현실 이미지를 회전시켜 디스플레이할 수 있다. 따라서 헤드 마운티드 디스플레이(13)는 인커밍콜의 발신자의 화상통화 이미지의 전면을 증강현실 이미지(14)로 디스플레이할 수 있다.
도 2의 우측은 포터블 디바이스가 시계 방향으로 90도만큼 회전한 상태를 나타낸다. 포터블 디바이스의 기준선(21)은 포터블 디바이스가 회전함에 따라 시계 방향으로 90도만큼 회전될 수 있다. 이로 인하여 헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)의 좌측방향에 위치할 수 있다. 헤드 마운티드 디스플레이(13)의 제1 위치는 포터블 디바이스(11)에 대한 상대적인 위치이므로 포터블 디바이스(11)가 회전함에 따라 제1 위치는 변경될 수 있다. 다시 말하면, 포터블 디바이스(11)를 기준으로 헤드 마운티드 디스플레이(13)는 변경된 제1 위치(22)에 위치할 수 있으며, 기준선(21)과 제1 위치(22) 사이의 제1 각도(23)는 90도를 이룰 수 있다.
화상통화 중에 포터블 디바이스가 회전하는 경우, 포터블 디바이스(11)는 기준 형태에 대한 정보를 변경하여 헤드 마운티드 디스플레이(13)에 전송할 수 있다. 포터블 디바이스(11)는 마커 정보에 포함된 복수의 각도에 따른 포터블 디바이스의 형태들 중 하나를 기준 형태로 갱신하고, 갱신된 기준 형태에 대한 정보를 마커 정보에 포함시켜 헤드 마운티드 디스플레이(13)에 전송할 수 있다. 즉 도 2의 우측에서 포터블 디바이스는 포터블 디바이스의 좌측에서 포터블 디바이스를 바라봤을 때의 포터블 디바이스의 형태를 기준 형태로 갱신할 수 있다. 따라서 도 2의 우측에서 헤드 마운티드 디스플레이의 카메라 유닛은 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있으며, 이에 따라 증강현실 이미지의 전면이 헤드 마운티드 디스플레이에 디스플레이될 수 있다.
다른 실시예로, 포터블 디바이스는 제1 각도(23)에 대한 정보를 헤드 마운티드 디스플레이(13)에 전송할 수도 있다. 헤드 마운티드 디스플레이(13)는 전송된 제1 각도(23)에 대한 정보에 기초하여 기준 형태를 갱신할 수 있다. 도 2의 우측에서 제1 각도는 시계방향으로 90도이므로 헤드 마운티드 디스플레이는 마커 정보에 포함된 복수의 각도에서 바라본 포터블 디바이스의 형태 중, 포터블 디바이스의 좌측에서 포터블 디바이스를 바라봤을 때의 포터블 디바이스의 형태를 기준 형태로 갱신할 수 있다. 따라서 도 2의 우측에서 헤드 마운티드 디스플레이의 카메라 유닛은 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)가 전면을 유지하게 할 수 있다.
포터블 디바이스(11)는 화상통화가 종료되기 전까지 헤드 마운티드 디스플레이(13)의 제1 위치를 디텍팅할 수 있으며, 제1 위치가 변경되는 경우, 변경된 제1 위치에 따라 기준 형태에 대한 정보를 갱신할 수 있다. 다시 말해, 헤드 마운티드 디스플레이(13)를 착용한 사용자는 화상통화가 계속되는 동안 상대방의 얼굴의 전면을 바라보며 화상통화를 할 수 있다. 또한 사용자의 제1 위치가 변경되는 경우에도 사용자는 지속적으로 상대방의 얼굴의 전면을 응시할 수 있다.
도 3은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 제공 방법을 나타낸 도면이다. 화상통화 중에 사용자가 증강현실 이미지의 측면 또는 후면을 보기 위해 포터블 디바이스를 회전시키는 경우에, 포터블 디바이스는 디스플레이된 마커를 회전시키지 않고 유지할 수 있다. 즉, 포터블 디바이스가 회전 또는 이동되어 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 디스플레이된 마커를 회전시키거나 변경하지 않고 유지할 수 있다. 다른 실시예로 포터블 디바이스가 회전 또는 이동되어 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 포터블 디바이스의 기준 형태에 대한 정보를 포함한 마커 정보를 갱신하지 않고 유지할 수 있다.
아래에서는 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 위치 변경이 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 상대적인 위치의 변경인지, 헤드 마운티드 디스플레이의 절대적인 위치의 변경인지 판단하는 방법을 설명하도록 한다.
포터블 디바이스는 센서유닛을 이용하여 헤드 마운티드 디스플레이의 위치가 변경되는 것을 디텍팅할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이가 이동한 것이 아니라 포터블 디바이스가 회전 또는 이동되어 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경되었음을 디텍팅할 수 있다.
예를 들어 포터블 디바이스는 이미지 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 제1 위치에서 제2 위치로 변경된 헤드 마운티드 디스플레이의 배경 이미지에 기초하여 헤드 마운티드 디스플레이가 이동한 것인지 포터블 디바이스가 이동한 것인지 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경된 경우, 포터블 디바이스는 헤드 마운티드 디스플레이가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경되지 않은 경우, 포터블 디바이스는 포터블 디바이스가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이가 제1 위치에서 제2 위치로 변경된 때, 포터블 디바이스의 자이로 센서를 이용하여 포터블 디바이스가 회전되거나 이동하는지 여부를 센싱할 수 있다. 포터블 디바이스의 회전 또는 이동이 센싱되면 포터블 디바이스는 포터블 디바이스의 회전 또는 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 헤드 마운티드 디스플레이로부터 헤드 마운티드 디스플레이의 위치 정보를 수신하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이로부터 GPS(Global Positioning System) 위치 정보를 수신하여 헤드 마운티드 디스플레이의 절대좌표가 변경되었는지 여부를 판단할 수 있다. 헤드 마운티드 디스플레이의 절대좌표가 변경되지 않은 경우, 포터블 디바이스는 포터블 디바이스의 회전 또는 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
도 3의 좌측에서 포터블 디바이스(11)는 포터블 디바이스의 좌측에 헤드 마운티드 디스플레이(13)가 위치함을 디텍팅할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 헤드 마운티드 디스플레이(13)가 디텍팅된 방향을 향하도록 마커(12)를 디스플레이할 수 있다. 또한 포터블 디바이스(11)는 마커를 디스플레이하는 대신 포터블 디바이스의 기준 형태를 결정하고 이를 마커 정보에 포함시켜 헤드 마운티드 디스플레이에 전송할 수 있다. 여기서, 포터블 디바이스의 기준 형태는 포터블 디바이스의 좌측에서 바라본 포터블 디바이스의 형태가 될 수 있다.
포터블 디바이스(11)는 헤드 마운티드 디스플레이에 증강현실 이미지(14)의 전면이 디스플레이되도록, 마커(12)를 회전시켜 디스플레이하거나 마커 정보에 포함된 기준 형태를 설정할 수 있다. 헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)에 디스플레이된 마커(12) 또는 수신된 마커 정보에 근거하여 포터블 디바이스(11)에 인접한 영역에 증강현실 이미지(14)를 디스플레이할 수 있다.
도 3의 우측과 같이 화상통화 중에 포터블 디바이스가 이동 또는 회전되는 경우, 포터블 디바이스(11)는 마커(12)의 디스플레이 방향을 유지하거나 마커 정보에 포함된 기준 형태에 대한 정보를 유지할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)를 회전시킬 수 있다. 도 3의 우측에서 포터블 디바이스는 도 3의 좌측에 비해 반시계 방향으로 90도 만큼 회전되었다. 즉, 포터블 디바이스의 회전에 의해 헤드 마운티드 디스플레이(13)의 상대적인 위치가 포터블 디바이스의 좌측인 제1 위치로부터 포터블 디바이스의 하측인 제2 위치로 변경되었다. 따라서 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)의 위치 변경을 디텍팅한 경우, 마커(12)의 디스플레이 방향을 유지할 수 있다. 또한 포터블 디바이스는 마커 정보에 포함된 기준 형태에 대한 정보를 갱신하지 않고 유지할 수 있다.
따라서 헤드 마운티드 디스플레이(13)는 디텍팅된 마커 또는 마커 정보에 따라 증강현실 이미지(14)를 반시계 방향으로 90도 만큼 회전시킬 수 있다. 이는 헤드 마운티드 디스플레이(13)가 포터블 디바이스의 회전에 의해 반시계 방향으로 90도 만큼 회전된 마커(12)를 디텍팅하였기 때문이다. 또는 이는 헤드 마운티드 디스플레이(13)에 전송된 기준 형태와 비교할 때, 포터블 디바이스의 형태가 반시계 방향으로 90도 만큼 회전된 형태로 헤드 마운티드 디스플레이(13)에 의해 디텍팅되기 때문이다. 즉, 헤드 마운티드 디스플레이(13)는 전송받은 기준 형태와 헤드 마운티드 디스플레이(13)에 포함된 카메라 유닛에 의해 디텍팅된 포터블 디바이스의 형태를 비교하여 증강현실 이미지(14)의 회전각도를 결정할 수 있다. 또한 헤드 마운티드 디스플레이(13)는 결정된 회전각도에 따라 디스플레이된 증강현실 이미지(14)를 회전시킬 수 있다.
상술한 바와 같이, 포터블 디바이스 및 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이는 다양한 각도에서의 증강현실 이미지를 헤드 마운티드 디스플레이에 디스플레이할 수 있는 효과가 있다.
도 4는 본 명세서의 다른 실시예에 따른 포터블 디바이스의 화상 통화 방법을 나타낸 도면이다. 화상통화 중에 사용자가 위치를 이동하여 화상통화를 계속하기 원하는 경우, 포터블 디바이스는 헤드 마운티드 디스플레이에 디스플레이된 증강현실 이미지의 전면을 계속하여 디스플레이할 필요가 있다. 사용자는 화상통화시에 상대방 얼굴의 전면을 보면서 통화하기 원하기 때문이다. 따라서, 화상통화 도중에 사용자의 위치가 변경되는 경우, 포터블 디바이스는 디스플레이된 마커를 사용자가 위치한 방향으로 회전시킬 수 있다.
헤드 마운티드 디스플레이가 이동하여 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 제1 위치와 제2 위치 사이의 각도에 대응하여 마커를 회전시킬 수 있다. 다른 실시예로, 헤드 마운티드 디스플레이가 이동하여 포터블 디바이스에 의해 인식된 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 포터블 디바이스는 제1 위치와 제2 위치 사이의 각도에 대응하여 포터블 디바이스의 기준 형태에 대한 정보를 갱신할 수 있다.
아래에서는 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경된 경우, 위치 변경이 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 상대적인 위치의 변경인지, 헤드 마운티드 디스플레이의 절대적인 위치의 변경인지 판단하는 방법을 설명하도록 한다.
포터블 디바이스는 센서유닛을 이용하여 헤드 마운티드 디스플레이의 위치가 변경되는 것을 디텍팅할 수 있다. 포터블 디바이스는 포터블 디바이스가 회전 또는 이동되어 헤드 마운티드 디스플레이의 위치가 변경된 것이 아니라, 헤드 마운티드 디스플레이가 이동하여 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경되었음을 디텍팅할 수 있다.
예를 들어 포터블 디바이스는 이미지 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 헤드 마운티드 디스플레이의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 제1 위치에서 제2 위치로 변경된 헤드 마운티드 디스플레이의 배경 이미지에 기초하여 헤드 마운티드 디스플레이가 이동한 것인지 포터블 디바이스가 이동한 것인지 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경된 경우, 포터블 디바이스는 헤드 마운티드 디스플레이가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경되지 않은 경우, 포터블 디바이스는 포터블 디바이스가 이동하여 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 위치 변경이 헤드 마운티드 디스플레이의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이가 제1 위치에서 제2 위치로 변경된 때, 포터블 디바이스의 자이로 센서를 이용하여 포터블 디바이스가 회전되거나 이동하는지 여부를 센싱할 수 있다. 포터블 디바이스의 회전 또는 이동이 센싱되지 않으면 포터블 디바이스는 헤드 마운티드 디스플레이의 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 포터블 디바이스는 헤드 마운티드 디스플레이로부터 헤드 마운티드 디스플레이의 위치 정보를 수신하여 헤드 마운티드 디스플레이의 위치 변경이 포터블 디바이스의 이동에 기인한 것인지를 결정할 수 있다. 포터블 디바이스는 헤드 마운티드 디스플레이로부터 GPS(Global Positioning System) 위치 정보를 수신하여 헤드 마운티드 디스플레이의 절대좌표가 변경되었는지 여부를 판단할 수 있다. 헤드 마운티드 디스플레이의 절대좌표가 변경된 경우, 포터블 디바이스는 헤드 마운티드 디스플레이의 이동에 의해 헤드 마운티드 디스플레이의 위치가 변경된 것으로 결정할 수 있다.
도 4의 상단에서 포터블 디바이스(11)는 포터블 디바이스의 좌측에 헤드 마운티드 디스플레이(13)가 위치함을 디텍팅할 수 있다. 포터블 디바이스(11)는 인커밍콜이 수신되면 헤드 마운티드 디스플레이(13)가 디텍팅된 방향을 향하도록 마커(12)를 디스플레이할 수 있다. 또한 포터블 디바이스(11)는 마커를 디스플레이하는 대신 포터블 디바이스의 기준 형태를 결정하고 이를 마커 정보에 포함시켜 헤드 마운티드 디스플레이에 전송할 수 있다. 여기서, 포터블 디바이스의 기준 형태는 포터블 디바이스의 좌측에서 바라본 포터블 디바이스의 형태가 될 수 있다.
포터블 디바이스(11)는 헤드 마운티드 디스플레이에 증강현실 이미지(14)의 전면이 디스플레이되도록, 마커(12)를 회전시켜 디스플레이하거나 마커 정보에 포함된 기준 형태를 설정할 수 있다. 헤드 마운티드 디스플레이(13)는 포터블 디바이스(11)에 디스플레이된 마커(12) 또는 수신된 마커 정보에 근거하여 포터블 디바이스(11)에 인접한 영역에 증강현실 이미지(14)를 디스플레이할 수 있다.
도 4의 하단과 같이 화상통화 중에 헤드 마운티드 디스플레이(13)가 이동하는 경우, 포터블 디바이스(11)는 마커(12)의 디스플레이 방향을 회전시키거나 마커 정보에 포함된 기준 형태에 대한 정보를 갱신할 수 있다. 이를 통해 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)에 디스플레이된 증강현실 이미지(14)의 전면이 헤드 마운티드 디스플레이(13)를 향하도록 증강현실 이미지(14)를 회전시킬 수 있다.
도 4의 하단에서 헤드 마운티드 디스플레이(13)는 도 4의 상단에 비해 반시계 방향으로 45도 만큼 이동되었다. 즉, 헤드 마운티드 디스플레이(13)의 이동에 의해 헤드 마운티드 디스플레이(13)의 절대적인 위치가 포터블 디바이스의 좌측인 제1 위치로부터 포터블 디바이스의 좌상측(left upper) 45도 방향인 제2 위치로 변경되었다. 따라서 포터블 디바이스(11)는 헤드 마운티드 디스플레이(13)의 위치 변경을 디텍팅한 경우, 마커(12)의 디스플레이 방향을 변경할 수 있다. 즉, 포터블 디바이스(11)는 마커(12)가 헤드 마운티드 디스플레이(13)의 제2 위치를 향하도록 마커를 회전시켜 디스플레이할 수 있다. 또는 포터블 디바이스는 제2 위치에서 바라본 포터블 디바이스의 형태로 기준 형태를 재설정하고, 헤드 마운티드 디스플레이(13)에 전송된 마커 정보에 포함된 기준 형태에 대한 정보를 재설정된 기준 형태로 갱신할 수 있다.
따라서 헤드 마운티드 디스플레이(13)는 회전된 마커 또는 갱신된 마커 정보에 따라 증강현실 이미지(14)를 반시계 방향으로 45도 만큼 회전시킬 수 있다. 즉, 증강현실 이미지(14)의 전면이 헤드 마운티드 디스플레이(13)를 향하도록 할 수 있다.
이는 헤드 마운티드 디스플레이(13)가 헤드 마운티드 디스플레이(13)의 이동에 의해 반시계 방향으로 45도 만큼 회전된 마커(12)를 디텍팅하였기 때문이다. 또는 이는 헤드 마운티드 디스플레이(13)에 의해 디텍팅된 포터블 디바이스의 형태가 재설정되고 갱신된 기준 형태와 동일하기 때문이다.
헤드 마운티드 디스플레이(13)는 전송받은 기준 형태와 헤드 마운티드 디스플레이(13)에 포함된 카메라 유닛에 의해 디텍팅된 포터블 디바이스의 형태를 비교하여 증강현실 이미지(14)의 회전각도를 결정할 수 있다. 또한 헤드 마운티드 디스플레이(13)는 결정된 회전각도에 따라 디스플레이된 증강현실 이미지(14)를 회전시킬 수 있다. 도 4의 하단에서 디텍팅된 포터블 디바이스의 형태와 기준 형태가 동일하므로, 헤드 마운티드 디스플레이(13)는 회전각도를 0도로 결정하고, 증강현실 이미지(14)를 회전시키지 않고 디스플레이할 수 있다. 즉, 헤드 마운티드 디스플레이(13)에는 증강현실 이미지(14)의 전면이 디스플레이될 수 있다.
상술한 바와 같이, 포터블 디바이스 및 포터블 디바이스와 페어링된 헤드 마운티드 디스플레이는 헤드 마운티드 디스플레이의 위치 변경을 디텍팅하여, 증강현실 이미지의 전면이 헤드 마운티드 디스플레이를 향하도록 회전시킬 수 있는 효과가 있다.
도 5는 본 명세서의 일 실시예에 따른 포터블 디바이스의 블록도를 나타낸 도면이다. 포터블 디바이스는 디스플레이 유닛(101), 센서 유닛(102), 커뮤니케이션 유닛(103) 및 컨트롤러(104)를 포함할 수 있다.
디스플레이 유닛(101)은 증강현실 이미지에 대응하는 마커를 디스플레이할 수 있다. 디스플레이 유닛(101)은 컨트롤러(104)의 제어명령에 따라 마커의 디스플레이 방향을 변경할 수 있다. 즉, 디스플레이 유닛(101)은 제어명령에 따라 헤드 마운티드 디스플레이가 위치한 방향으로 마커를 회전시켜 디스플레이할 수 있다.
디스플레이 유닛(101)은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD), 전자잉크, 및 플렉서블 디스플레이 중 적어도 하나를 포함할 수 있다.
센서 유닛(102)은 헤드 마운티드 디스플레이의 위치를 디텍팅할 수 있다. 센서유닛(102)은 헤드 마운티드 디스플레이의 위치가 변경되는 것을 디텍팅할 수 있다. 센서 유닛(102)은 이미지 센서 또는 지향성 안테나를 이용하여 헤드 마운티드 디스플레이가 포터블 디바이스를 기준으로 어느 방향에 위치했는가를 디텍팅할 수 있다. 센서 유닛(102)은 헤드 마운티드 디스플레이의 위치에 대한 정보를 컨트롤러에 전달할 수 있다.
또한 센서유닛(102)은 포터블 디바이스와 헤드 마운티드 디스플레이 사이의 상대적인 위치가 변경되었는지, 헤드 마운티드 디스플레이의 절대적인 위치가 변경되었는지 디텍팅할 수 있다. 센서 유닛(102)은 이미지 센서 및 자이로 센서를 포함할 수 있다.
예를 들어 센서 유닛(102)은 이미지 센서를 이용하고, 제1 위치에서 제2 위치로 변경된 헤드 마운티드 디스플레이의 배경 이미지에 기초하여, 헤드 마운티드 디스플레이의 상대적인 위치 또는 절대적인 위치가 변경된 것인지 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경된 경우, 센서 유닛은 헤드 마운티드 디스플레이의 절대적인 위치가 변경된 것으로 결정할 수 있다. 헤드 마운티드 디스플레이의 배경 이미지가 변경되지 않은 경우, 센서 유닛은 헤드 마운티드 디스플레이의 상대적인 위치가 변경된 것으로 결정할 수 있다.
다른 실시예로 센서 유닛(102)은 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 상대적인 위치 또는 절대적인 위치가 변경된 것인지 결정할 수 있다. 센서 유닛(102)은 헤드 마운티드 디스플레이가 제1 위치에서 제2 위치로 변경된 때, 자이로 센서를 이용하여 포터블 디바이스가 회전되거나 이동하는지 여부를 센싱할 수 있다. 포터블 디바이스의 회전 또는 이동이 센싱되면, 센서 유닛은 포터블 디바이스의 회전 또는 이동에 의해 헤드 마운티드 디스플레이의 상대적인 위치가 변경된 것으로 결정할 수 있다. 또는 포터블 디바이스의 회전 또는 이동이 센싱되지 않으면, 센서 유닛은 헤드 마운티드 디스플레이의 절대적인 위치가 변경된 것으로 결정할 수 있다. 센서 유닛(102)은 헤드 마운티드 디스플레이의 위치에 대한 정보, 상대적인 위치 변경 정보 및 절대적인 위치 변경 정보 중 적어도 하나를 컨트롤러에 전달할 수 있다.
커뮤니케이션 유닛(103)은 마커 정보 및 증강현실 이미지에 대한 정보를 헤드 마운티드 디스플레이에 전송할 수 있다. 또한 커뮤니케이션 유닛(103)은 헤드 마운티드 디스플레이로부터 헤드 마운티드 디스플레이의 GPS(Global Positioning System) 정보를 수신할 수 있다. 커뮤니케이션 유닛(103)은 수신된 GPS 정보를 컨트롤러에 전달할 수 있다.
포터블 디바이스의 커뮤니케이션 유닛(103)은 근거리 통신, WiFi 및 블루투스 등을 이용하여 헤드 마운티드 디스플레이와 데이터를 송수신할 수 있다.
컨트롤러(104)는 센서 유닛(102) 또는 커뮤니케이션 유닛(103)으로부터 전달된 정보를 이용하여 디스플레이 유닛(101), 센서유닛(102) 및 커뮤니케이션 유닛(103)을 제어할 수 있다. 컨트롤러(104)는 인커밍콜이 수신되면 센서 유닛(102)을 이용하여 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다. 컨트롤러(104)는 센싱된 제1 위치를 이용하여 마커의 회전각도를 결정할 수 있다. 컨트롤러(104)는 마커에 대응하는 증강현실 이미지의 전면이 제1 위치를 향하도록 마커의 회전각도를 결정할 수 있다. 컨트롤러(104)는 디스플레이 유닛을 이용하여 회전각도만큼 회전된 마커를 디스플레이할 수 있다. 또한 컨트롤러(104)는 커뮤니케이션 유닛(103)을 이용하여 마커 정보 및 증강현실 이미지에 대한 정보 중 적어도 하나를 헤드 마운티드 디스플레이에 전송할 수 있다.
컨트롤러(104)는 커뮤니케이션 유닛(103)을 이용하여 헤드 마운티드 디스플레이의 GPS 정보를 수신할 수 있다. 컨트롤러(104)는 수신된 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 제1 위치를 결정할 수도 있다.
컨트롤러(104)는 센서 유닛을 이용하여 헤드 마운티드 디스플레이의 제1 위치가 제2 위치로 변경되는 것을 디텍팅할 수 있다. 컨트롤러(104)는 제2 위치에 대한 정보에 기초하여 디스플레이된 마커의 디스플레이 방향을 변경하거나 또는 헤드 마운티드 디스플레이에 전송된 마커 정보를 갱신할 수 있다. 컨트롤러(104)는 실시예에 따라 헤드 마운티드 디스플레이의 절대적인 위치가 변경되었는지 또는 상대적인 위치가 변경되었는지를 결정하고 결과에 따라 디스플레이된 마커의 방향을 유지하거나 전송된 마커 정보를 갱신하지 않고 유지할 수 있다.
도 5는 일 실시예에 따른 블록도로서, 분리하여 표시한 블록들은 포터블 디바이스의 엘러먼트들을 논리적으로 구별하여 도시한 것이다. 따라서 상술한 포터블 디바이스의 엘러먼트들은 포터블 디바이스의 설계에 따라 하나의 칩으로 또는 복수의 칩으로 장착될 수 있다.
본 명세서의 일 실시예에 따른 헤드 마운티드 디스플레이는 카메라 유닛, 디스플레이 유닛, 커뮤니케이션 유닛 및 컨트롤러를 포함할 수 있다. 헤드 마운티드 디스플레이의 카메라 유닛은 포터블 디바이스에 디스플레이된 마커를 디텍팅할 수 있다. 또한 카메라 유닛은 포터블 디바이스로부터 전송된 마커 정보에 포함된 기준 형태에 대한 정보에 기초하여 포터블 디바이스의 형태를 디텍팅할 수 있다.
헤드 마운티드 디스플레이의 디스플레이 유닛은 마커 또는 마커 정보에 대응하는 증강현실 이미지를 디스플레이할 수 있다. 디스플레이 유닛은 실시예에 따라 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 액정 표시 장치(Liquid Crystal Display, LCD) 또는 프로젝터를 포함할 수 있다.
헤드 마운티드 디스플레이의 커뮤니케이션 유닛은 포터블 디바이스로부터 전송된 마커 정보 및 증강현실 이미지에 대한 정보 중 적어도 하나를 수신할 수 있다. 커뮤니케이션 유닛은 수신된 마커 정보 및 증강현실 이미지에 대한 정보를 컨트롤러에 전달할 수 있다. 또한 커뮤니케이션 유닛은 헤드 마운티드 디스플레이의 GPS 정보를 포터블 디바이스에 전송할 수 있다.
헤드 마운티드 디스플레이의 컨트롤러는 디텍팅된 마커 또는 포터블 디바이스의 형태에 대응하여 증강현실 이미지를 디스플레이 유닛에 디스플레이할 수 있다. 헤드 마운티드 디스플레이는 화상통화가 시작되면 발신자의 얼굴을 증강현실 이미지로써 디스플레이할 수 있으며, 화상통화가 종료되기 전까지 포터블 디바이스의 마커 또는 마커 정보에 기초하여 증강현실 이미지를 유지할 수 있다.
도 6은 본 명세서의 일 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다. 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링할 수 있다(S10). 포터블 디바이스는 근거리 통신, WiFi 또는 블루투스를 이용하여 헤드 마운티드 디스플레이와 페어링할 수 있다. 페어링된 포터블 디바이스와 헤드 마운티드 디스플레이는 상호 간에 데이터를 송수신할 수 있다. 예를 들어, 포터블 디바이스와 헤드 마운티드 디스플레이는 영상 데이터, 음성 데이터 및 GPS 데이터 등을 송수신할 수 있다.
포터블 디바이스는 인커밍콜이 수신되면 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다(S20). 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 센서 유닛을 이용하거나 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다. 제1 위치는 포터블 디바이스를 기준으로 헤드 마운티드 디스플레이가 어느 방향에 위치했는지를 의미할 수 있다. 포터블 디바이스는 제1 위치가 디텍팅되기 전까지 마커를 디스플레이하지 않을 수 있다.
포터블 디바이스는 인커밍콜에 대응하는 마커 정보를 제1 위치에 따라 설정할 수 있다(S30). 마커 정보에 대한 설정은 인커밍콜에 대한 응답이 발생하기 전에 수행될 수 있다. 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 제1 위치에 따라 마커 정보를 설정할 수 있다. 마커 정보는 포터블 디바이스의 디스플레이 유닛에 디스플레이되는 마커에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 마커의 디스플레이 방향을 설정할 수 있다. 인커밍콜에 대한 응답이 발생되면, 포터블 디바이스는 설정된 마커 정보에 따라 마커를 회전시켜 디스플레이할 수 있다. 포터블 디바이스는 마커가 제1 위치를 향하게 디스플레이할 수 있다. 이에 따라, 마커에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다.
또한 다른 실시예에 따라 마커 정보를 포터블 디바이스의 기준 형태에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 기준 형태에 대한 정보를 설정할 수 있다. 포터블 디바이스는 제1 위치에서 바라본 포터블 디바이스의 형태를 기준 형태로 설정할 수 있다. 이에 따라, 헤드 마운티드 디스플레이가 제1 위치에서 포터블 디바이스를 디텍팅하는 경우, 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있다. 이에 따라, 포터블 디바이스의 기준 형태에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다. 마커 정보가 포터블 디바이스의 기준 형태에 대한 정보를 포함하는 경우, 포터블 디바이스는 별도의 마커를 디스플레이하지 않을 수 있으며, 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 마커로써 디텍팅할 수 있다.
포터블 디바이스는 마커 정보에 대응하는 증강현실 이미지를 헤드 마운티드 디스플레이에 송신할 수 있다(S40). 헤드 마운티드 디스플레이는 포터블 디바이스로부터 마커 정보에 대응하는 증강현실 이미지를 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자의 얼굴 이미지를 증강현실 이미지로써 헤드 마운티드 디스플레이에 송신할 수 있다. 헤드 마운티드 디스플레이는 송신된 증강현실 이미지를 수신하여 발신자의 얼굴 이미지를 증강현실 이미지로써 디스플레이할 수 있다. S30에서 설명한 바와 같이 포터블 디바이스는 헤드 마운티드 디스플레이의 제1 위치에 따라 적응적으로 마커 정보를 설정할 수 있으며, 따라서 헤드 마운티드 디스플레이를 착용한 사용자는 제1 위치에서 증강현실 이미지의 전면을 응시할 수 있다.
도 7은 본 명세서의 다른 실시예에 따른 포터블 디바이스의 제어 방법에 대한 순서도이다. 포터블 디바이스는 헤드 마운티드 디스플레이와 페어링할 수 있다(S110). 포터블 디바이스는 근거리 통신, WiFi 또는 블루투스를 이용하여 헤드 마운티드 디스플레이와 페어링할 수 있다. 페어링된 포터블 디바이스와 헤드 마운티드 디스플레이는 상호 간에 데이터를 송수신할 수 있다. 예를 들어, 포터블 디바이스와 헤드 마운티드 디스플레이는 영상 데이터, 음성 데이터 및 GPS 데이터 등을 송수신할 수 있다.
포터블 디바이스는 인커밍콜이 수신되면 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다(S120). 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 센서 유닛을 이용하거나 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 제1 위치를 디텍팅할 수 있다. 제1 위치는 포터블 디바이스를 기준으로 헤드 마운티드 디스플레이가 어느 방향에 위치했는지를 의미할 수 있다. 포터블 디바이스는 제1 위치가 디텍팅되기 전까지 마커를 디스플레이하지 않을 수 있다.
포터블 디바이스는 인커밍콜에 대응하는 마커 정보를 제1 위치에 따라 설정할 수 있다(S130). 도 1 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 제1 위치에 따라 마커 정보를 설정할 수 있다. 마커 정보는 포터블 디바이스의 디스플레이 유닛에 디스플레이되는 마커에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 마커의 디스플레이 방향을 설정할 수 있다. 포터블 디바이스는 설정된 마커 정보에 따라 마커를 회전시켜 디스플레이할 수 있다. 포터블 디바이스는 마커가 제1 위치를 향하게 디스플레이할 수 있다. 이에 따라, 마커에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다.
또한 다른 실시예에 따라 마커 정보를 포터블 디바이스의 기준 형태에 대한 정보를 포함할 수 있다. 포터블 디바이스는 디텍팅된 제1 위치에 따라 기준 형태에 대한 정보를 설정할 수 있다. 포터블 디바이스는 제1 위치에서 바라본 포터블 디바이스의 형태를 기준 형태로 설정할 수 있다. 이에 따라, 헤드 마운티드 디스플레이가 제1 위치에서 포터블 디바이스를 디텍팅하는 경우, 기준 형태와 동일한 형태의 포터블 디바이스를 디텍팅할 수 있다. 이에 따라, 포터블 디바이스의 기준 형태에 대응하여 헤드 마운티드 디스플레이에 디스플레이되는 증강현실 이미지는 전면이 제1 위치를 향할 수 있다. 마커 정보가 포터블 디바이스의 기준 형태에 대한 정보를 포함하는 경우, 포터블 디바이스는 별도의 마커를 디스플레이하지 않을 수 있으며, 헤드 마운티드 디스플레이는 포터블 디바이스의 형태를 마커로써 디텍팅할 수 있다.
포터블 디바이스는 마커 정보에 대응하는 증강현실 이미지를 헤드 마운티드 디스플레이에 송신할 수 있다(S140). 헤드 마운티드 디스플레이는 포터블 디바이스로부터 마커 정보에 대응하는 증강현실 이미지를 수신할 수 있다. 포터블 디바이스는 인커밍콜의 발신자의 얼굴 이미지를 증강현실 이미지로써 헤드 마운티드 디스플레이에 송신할 수 있다. 헤드 마운티드 디스플레이는 송신된 증강현실 이미지를 수신하여 발신자의 얼굴 이미지를 증강현실 이미지로써 디스플레이할 수 있다. S30에서 설명한 바와 같이 포터블 디바이스는 헤드 마운티드 디스플레이의 제1 위치에 따라 적응적으로 마커 정보를 설정할 수 있으며, 따라서 헤드 마운티드 디스플레이를 착용한 사용자는 제1 위치에서 증강현실 이미지의 전면을 응시할 수 있다.
포터블 디바이스는 사용자의 위치가 변경되는 것을 디텍팅할 수 있다(S150). 도 3 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 이미지 센서를 이용하거나 헤드 마운티드 디스플레이의 GPS 정보를 이용하여 헤드 마운티드 디스플레이의 위치 이동을 디텍팅할 수 있다.
포터블 디바이스는 헤드 마운티드 디스플레이의 제2 위치를 디텍팅할 수 있다(160). 도 3 내지 도 4에서 설명한 바와 같이, 포터블 디바이스는 이미지 센서를 이용하여 제2 위치를 디텍팅할 수 있다. 또한 포터블 디바이스는 헤드 마운티드 디스플레이로부터 제2 위치에 대한 GPS 정보를 수신하여 제2 위치를 디텍팅할 수도 있다. 또한 포터블 디바이스는 이미지 센서 또는 자이로 센서를 이용하여 헤드 마운티드 디스플레이의 절대적인 위치가 변경되었는지 상대적인 위치가 변경되었는지 디텍팅할 수 있다. 실시예에 따라서는 헤드 마운티드 디스플레이의 절대적인 위치가 변경된 경우에 한하여, 포터블 디바이스는 아래에서 설명할 동작을 수행할 수 있다.
포터블 디바이스는 마커 정보를 제2 위치에 따라 변경할 수 있다(S170). 도 4에서 설명한 바와 같이, 포터블 디바이스는 제2 위치에 따라 마커 정보에 포함된 마커의 디스플레이 방향을 변경할 수 있다. 포터블 디바이스는 마커가 제2 위치를 향하도록 마커의 디스플레이 방향을 재설정할 수 있다. 또는 포터블 디바이스는 제2 위치에 따라 마커 정보에 포함된 포터블 디바이스의 기준 형태를 재설정할 수 있다. 포터블 디바이스는 제2 위치에서 바라본 포터블 디바이스의 형태를 기준 형태로 재설정할 수 있다. 따라서 제2 위치에 위치한 헤드 마운티드 디스플레이가 카메라 유닛을 이용하여 포터블 디바이스를 디텍팅하는 경우, 헤드 마운티드 디스플레이는 기준 형태의 포터블 디바이스를 디텍팅할 수 있다.
포터블 디바이스는 헤드 마운티드 디스플레이에 변경된 마커 정보를 송신할 수 있다(S180). 도 4에서 설명한 바와 같이, 포터블 디바이스는 변경되거나 재설정된 마커 정보를 헤드 마운티드 디스플레이에 전송하여 마커 정보를 갱신할 수 있다. 이 동작은 마커 정보에 포함된 포터블 디바이스의 기준 형태에 대한 정보가 변경된 경우에 한해 수행할 수 있다. 마커 정보에 포함된 마커의 디스플레이 방향이 변경되거나 재설정된 경우에는 포터블 디바이스가 새로운 디스플레이 방향에 따라 마커를 디스플레이하고 헤드 마운티드 디스플레이의 카메라 유닛이 이를 디텍팅할 수 있으므로, 별도의 마커 정보를 헤드 마운티드 디스플레이에 송신할 필요가 없을 수 있다.
헤드 마운티드 디스플레이는 갱신된 마커 정보에 포함된 포터블 디바이스의 기준 형태에 기초하여 증강현실 이미지를 디스플레이할 수 있다. 헤드 마운티드 디스플레이는 제2 위치에서 디텍팅한 포터블 디바이스의 형태가 갱신된 기준 형태와 동일하므로, 증강현실 이미지의 전면이 헤드 마운티드 디스플레이를 향하는 증강현실 이미지를 디스플레이할 수 있다.
상술한 바와 같이 본 명세서의 포터블 디바이스는 화상통화가 시작되기 전에 헤드 마운티드 디스플레이의 위치를 디텍팅하여, 화상통화가 시작된 때 증강현실 이미지의 전면이 헤드 마운티드 디스플레이를 향해 디스플레이되도록 마커 정보를 설정할 수 있다. 또한 본 명세서의 헤드 마운티드 디스플레이는 포터블 디바이스의 마커 또는 마커 정보에 기초하여 사용자에게 증강현실 이미지의 전면을 디스플레이할 수 있다.
11: 포터블 디바이스 12: 마커
13: 헤드 마운티드 디스플레이 14: 증강현실 이미지
13: 헤드 마운티드 디스플레이 14: 증강현실 이미지
Claims (20)
- 포터블 디바이스에 있어서,
헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하여 인커밍콜을 수신하고, 정보를 송신하는 커뮤니케이션 유닛;
상기 HMD의 방향을 디텍팅하는 센서 유닛;
디스플레이 유닛;
상기 커뮤니케이션 유닛, 상기 센서 유닛 및 상기 디스플레이 유닛을 제어하는 컨트롤러를 포함하는 포터블 디바이스로써,
상기 컨트롤러는
상기 포터블 디바이스와 페어링된 상기 HMD의 제 1 방향에 따라서, 상기 HMD에 디스플레이되는 증강현실 이미지의 위치와 방향을 결정하는 마커 이미지를 디스플레이하고,
발신자 이미지를 상기 HMD로 송신하고,
상기 정보는 인커밍콜의 발신자로부터 수신된 발신자의 이미지를 포함하고,
상기 증강현실 이미지는 상기 포터블 디바이스로부터 수신된 상기 발신자 이미지에 기초하여 상기 HMD에 의하여 디스플레이되는,
포터블 디바이스. - 제 1 항에 있어서,
상기 컨트롤러는 상기 마커 이미지를 상기 HMD에 더 송신하는 포터블 디바이스. - 제 1 항에 있어서,
상기 컨트롤러는
상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경되면 상기 제 2 방향을 디텍팅하고,
상기 마커 이미지를 상기 HMD의 상기 제 2 방향에 따라 변경하는,
포터블 디바이스. - 제 3 항에 있어서,
상기 컨트롤러는
상기 증강현실 이미지의 전면이 상기 제 2 방향을 향하도록 상기 마커 이미지를 회전하는,
포터블 디바이스. - 제 1 항에 있어서,
상기 증강현실 이미지는 상기 인커밍콜의 발신자의 얼굴에 대응하는,
포터블 디바이스. - 제 1 항에 있어서,
상기 페어링된 HMD는 상기 마커 이미지에 따라 상기 증강현실 이미지를 디스플레이하는,
포터블 디바이스. - 삭제
- 제 1 항에 있어서,
상기 포터블 디바이스가 회전 또는 이동되어 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 디스플레이된 마커 이미지를 변경하지 않고 유지하는,
포터블 디바이스. - 제 8 항에 있어서,
상기 HMD는 상기 포터블 디바이스의 회전 또는 이동에 의해 상기 마커가 회전되었음을 디텍팅하고,
상기 이동된 또는 회전된 포터블 디바이스의 상기 마커 이미지에 따라 상기 증강현실 이미지를 회전시키는,
포터블 디바이스. - 제 1 항에 있어서,
상기 HMD가 이동되어 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 제 1 방향과 상기 제 2 방향 사이의 각도에 대응하여 상기 마커 이미지를 회전시켜 디스플레이하는,
포터블 디바이스. - 제 1 항에 있어서, 상기 HMD는 상기 포터블 디바이스와 상기 HMD 사이의 각도에 따라 상기 HMD가 인식하는 상기 포터블 디바이스의 형태를 기초로 상기 증강 현실의 이미지의 방향을 결정하는,
포터블 디바이스. - 제 11 항에 있어서,
상기 HMD는 상기 포터블 디바이스의 형태를 상기 증강현실 이미지에 대응하는 마커 이미지로 인식하는,
포터블 디바이스. - 제 11 항에 있어서,
상기 컨트롤러는 상기 제 1 방향에서 상기 HMD가 인식하는 상기 포터블 디바이스의 형태를 기준 형태로 설정하고,
상기 기준 형태를 상기 포터블 디바이스로 전송하는,
포터블 디바이스. - 제 13 항에 있어서,
상기 포터블 디바이스가 회전 또는 이동하여 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 기준 형태를 유지하는,
포터블 디바이스. - 제 14 항에 있어서,
상기 HMD는 상기 기준 형태를 기초로 상기 포터블 디바이스와 상기 HMD 사이의 각도만큼 상기 증강현실 이미지를 회전시켜 디스플레이하는,
포터블 디바이스. - 제 13 항에 있어서,
상기 HMD가 이동하여 상기 포터블 디바이스에 의해 인식된 상기 HMD의 상기 제 1 방향이 제 2 방향으로 변경된 경우, 상기 컨트롤러는 상기 제 1 방향과 상기 제 2 방향 사이의 각도에 대응하여 상기 기준 형태를 변경하는,
포터블 디바이스. - 제 16 항에 있어서,
상기 기준 형태는 상기 제 1 방향에서 상기 HMD의 카메라가 인식하는 상기 포터블 디바이스의 형태로부터 상기 제 2 방향에서 상기 HMD의 상기 카메라가 인식하는 상기 포터블 디바이스의 형태로 변경되는,
포터블 디바이스. - 삭제
- 제 1 항에 있어서,
상기 포터블 디바이스는 스마트 폰, 스마트 패드, 뮤직 플레이어, 노트북, 스마트 테이블, 모니터, 텔레비전 또는 태블릿 컴퓨터인 디스플레이 디바이스. - 포터블 디바이스를 제어하는 방법에 있어서,
헤드 마운티드 디스플레이(Head Mounted Display; HMD)와 페어링하는 단계;
인커밍콜이 수신되면 상기 페어링된 HMD의 제 1 방향을 디텍팅하는 단계;
상기 포터블 디바이스와 페어링된 상기 HMD의 제 1 방향에 따라서, 상기 HMD에 디스플레이되는 증강 현실 이미지의 위치와 방향을 결정하는 마커 이미지를 디스플레이하는 단계; 및
상기 페어링된 HMD로 상기 인커밍콜의 발신자로부터 수신된 발신자 이미지를 상기 페어링된 HMD로 전송하는 단계를 포함하되,
상기 증강 현실 이미지는 상기 포터블 디바이스로부터 수신된 상기 발신자 이미지에 기초하여 상기 HMD에 의하여 디스플레이되는,
포터블 디바이스 제어 방법.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130102325A KR102138511B1 (ko) | 2013-08-28 | 2013-08-28 | 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 |
US14/080,316 US8866849B1 (en) | 2013-08-28 | 2013-11-14 | Portable device supporting videotelephony of a head mounted display and method of controlling therefor |
EP13892413.9A EP3039555B1 (en) | 2013-08-28 | 2013-11-19 | Portable device supporting videotelephony of a head mounted display and method of controlling therefor |
CN201380079148.2A CN105493059B (zh) | 2013-08-28 | 2013-11-19 | 支持头戴式显示器的视频电话的便携式装置及其控制方法 |
PCT/KR2013/010494 WO2015030304A1 (en) | 2013-08-28 | 2013-11-19 | Portable device supporting videotelephony of a head mounted display and method of controlling therefor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020130102325A KR102138511B1 (ko) | 2013-08-28 | 2013-08-28 | 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20150025116A KR20150025116A (ko) | 2015-03-10 |
KR102138511B1 true KR102138511B1 (ko) | 2020-07-28 |
Family
ID=51702321
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020130102325A KR102138511B1 (ko) | 2013-08-28 | 2013-08-28 | 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8866849B1 (ko) |
EP (1) | EP3039555B1 (ko) |
KR (1) | KR102138511B1 (ko) |
CN (1) | CN105493059B (ko) |
WO (1) | WO2015030304A1 (ko) |
Families Citing this family (71)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9965681B2 (en) | 2008-12-16 | 2018-05-08 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9952664B2 (en) | 2014-01-21 | 2018-04-24 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9229233B2 (en) | 2014-02-11 | 2016-01-05 | Osterhout Group, Inc. | Micro Doppler presentations in head worn computing |
US9400390B2 (en) | 2014-01-24 | 2016-07-26 | Osterhout Group, Inc. | Peripheral lighting for head worn computing |
US9715112B2 (en) | 2014-01-21 | 2017-07-25 | Osterhout Group, Inc. | Suppression of stray light in head worn computing |
US9298007B2 (en) | 2014-01-21 | 2016-03-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
JP5983499B2 (ja) * | 2013-03-29 | 2016-08-31 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
JP5929933B2 (ja) * | 2014-01-16 | 2016-06-08 | カシオ計算機株式会社 | 表示システム、表示端末、表示方法及びプログラム |
US9829707B2 (en) | 2014-08-12 | 2017-11-28 | Osterhout Group, Inc. | Measuring content brightness in head worn computing |
US9841599B2 (en) | 2014-06-05 | 2017-12-12 | Osterhout Group, Inc. | Optical configurations for head-worn see-through displays |
US9939934B2 (en) | 2014-01-17 | 2018-04-10 | Osterhout Group, Inc. | External user interface for head worn computing |
US20160019715A1 (en) | 2014-07-15 | 2016-01-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US10649220B2 (en) | 2014-06-09 | 2020-05-12 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US10191279B2 (en) | 2014-03-17 | 2019-01-29 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9594246B2 (en) | 2014-01-21 | 2017-03-14 | Osterhout Group, Inc. | See-through computer display systems |
US9529195B2 (en) | 2014-01-21 | 2016-12-27 | Osterhout Group, Inc. | See-through computer display systems |
US10684687B2 (en) | 2014-12-03 | 2020-06-16 | Mentor Acquisition One, Llc | See-through computer display systems |
US11227294B2 (en) | 2014-04-03 | 2022-01-18 | Mentor Acquisition One, Llc | Sight information collection in head worn computing |
US10254856B2 (en) | 2014-01-17 | 2019-04-09 | Osterhout Group, Inc. | External user interface for head worn computing |
US9746686B2 (en) | 2014-05-19 | 2017-08-29 | Osterhout Group, Inc. | Content position calibration in head worn computing |
US9299194B2 (en) * | 2014-02-14 | 2016-03-29 | Osterhout Group, Inc. | Secure sharing in head worn computing |
US9810906B2 (en) | 2014-06-17 | 2017-11-07 | Osterhout Group, Inc. | External user interface for head worn computing |
US9575321B2 (en) | 2014-06-09 | 2017-02-21 | Osterhout Group, Inc. | Content presentation in head worn computing |
US11103122B2 (en) | 2014-07-15 | 2021-08-31 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9740280B2 (en) | 2014-01-21 | 2017-08-22 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US11737666B2 (en) | 2014-01-21 | 2023-08-29 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US11487110B2 (en) | 2014-01-21 | 2022-11-01 | Mentor Acquisition One, Llc | Eye imaging in head worn computing |
US11892644B2 (en) | 2014-01-21 | 2024-02-06 | Mentor Acquisition One, Llc | See-through computer display systems |
US9811152B2 (en) | 2014-01-21 | 2017-11-07 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9766463B2 (en) | 2014-01-21 | 2017-09-19 | Osterhout Group, Inc. | See-through computer display systems |
US9494800B2 (en) | 2014-01-21 | 2016-11-15 | Osterhout Group, Inc. | See-through computer display systems |
US9523856B2 (en) | 2014-01-21 | 2016-12-20 | Osterhout Group, Inc. | See-through computer display systems |
US9532715B2 (en) | 2014-01-21 | 2017-01-03 | Osterhout Group, Inc. | Eye imaging in head worn computing |
US9651784B2 (en) | 2014-01-21 | 2017-05-16 | Osterhout Group, Inc. | See-through computer display systems |
US20150205135A1 (en) | 2014-01-21 | 2015-07-23 | Osterhout Group, Inc. | See-through computer display systems |
US9753288B2 (en) | 2014-01-21 | 2017-09-05 | Osterhout Group, Inc. | See-through computer display systems |
US11669163B2 (en) | 2014-01-21 | 2023-06-06 | Mentor Acquisition One, Llc | Eye glint imaging in see-through computer display systems |
US9836122B2 (en) | 2014-01-21 | 2017-12-05 | Osterhout Group, Inc. | Eye glint imaging in see-through computer display systems |
US9846308B2 (en) | 2014-01-24 | 2017-12-19 | Osterhout Group, Inc. | Haptic systems for head-worn computers |
US9401540B2 (en) | 2014-02-11 | 2016-07-26 | Osterhout Group, Inc. | Spatial location presentation in head worn computing |
JP6379572B2 (ja) * | 2014-03-27 | 2018-08-29 | セイコーエプソン株式会社 | 頭部装着型表示装置および頭部装着型表示装置の制御方法 |
US20160187651A1 (en) | 2014-03-28 | 2016-06-30 | Osterhout Group, Inc. | Safety for a vehicle operator with an hmd |
US10853589B2 (en) | 2014-04-25 | 2020-12-01 | Mentor Acquisition One, Llc | Language translation with head-worn computing |
US9651787B2 (en) | 2014-04-25 | 2017-05-16 | Osterhout Group, Inc. | Speaker assembly for headworn computer |
US9672210B2 (en) | 2014-04-25 | 2017-06-06 | Osterhout Group, Inc. | Language translation with head-worn computing |
US20150348322A1 (en) * | 2014-06-02 | 2015-12-03 | Dell Products L.P. | Dynamically Composited Information Handling System Augmented Reality at a Primary Display |
US10663740B2 (en) | 2014-06-09 | 2020-05-26 | Mentor Acquisition One, Llc | Content presentation in head worn computing |
US9684172B2 (en) | 2014-12-03 | 2017-06-20 | Osterhout Group, Inc. | Head worn computer display systems |
USD751552S1 (en) | 2014-12-31 | 2016-03-15 | Osterhout Group, Inc. | Computer glasses |
USD753114S1 (en) | 2015-01-05 | 2016-04-05 | Osterhout Group, Inc. | Air mouse |
US20170061700A1 (en) * | 2015-02-13 | 2017-03-02 | Julian Michael Urbach | Intercommunication between a head mounted display and a real world object |
US20160239985A1 (en) | 2015-02-17 | 2016-08-18 | Osterhout Group, Inc. | See-through computer display systems |
US10878775B2 (en) | 2015-02-17 | 2020-12-29 | Mentor Acquisition One, Llc | See-through computer display systems |
EP3314579B1 (en) * | 2015-09-18 | 2022-08-17 | Hewlett-Packard Development Company, L.P. | Displaying augmented images via paired devices |
KR102413074B1 (ko) | 2015-09-21 | 2022-06-24 | 삼성전자주식회사 | 사용자 단말, 전자 장치 및 이들의 제어 방법 |
KR101912881B1 (ko) | 2016-03-18 | 2018-10-30 | 국민대학교 산학협력단 | 신경모방 멤리스터 크로스바 회로 |
US9584653B1 (en) * | 2016-04-10 | 2017-02-28 | Philip Scott Lyren | Smartphone with user interface to externally localize telephone calls |
US11182930B2 (en) * | 2016-05-02 | 2021-11-23 | Waves Audio Ltd. | Head tracking with adaptive reference |
CN107462989A (zh) * | 2016-06-06 | 2017-12-12 | 华硕电脑股份有限公司 | 影像稳定方法与电子装置 |
CN106850967A (zh) * | 2016-12-29 | 2017-06-13 | 深圳市宇恒互动科技开发有限公司 | 一种自适应屏显方法、***及头戴设备 |
KR20180083144A (ko) | 2017-01-12 | 2018-07-20 | 삼성전자주식회사 | 마커를 검출하기 위한 방법 및 그 전자 장치 |
US10135822B2 (en) | 2017-03-21 | 2018-11-20 | YouaretheID, LLC | Biometric authentication of individuals utilizing characteristics of bone and blood vessel structures |
US11374929B2 (en) * | 2017-03-21 | 2022-06-28 | Global E-Dentity, Inc. | Biometric authentication for an augmented reality or a virtual reality device |
US10983663B2 (en) | 2017-09-29 | 2021-04-20 | Apple Inc. | Displaying applications |
US11366514B2 (en) | 2018-09-28 | 2022-06-21 | Apple Inc. | Application placement based on head position |
US10699087B1 (en) * | 2019-07-10 | 2020-06-30 | Zebra Technologies Corporation | Alternative method to interact with a user interface using standard barcode scanners paired up with an augmented reality heads up display |
CN113711175A (zh) | 2019-09-26 | 2021-11-26 | 苹果公司 | 呈现计算机生成现实环境的可穿戴电子设备 |
WO2021062278A1 (en) * | 2019-09-27 | 2021-04-01 | Apple Inc. | Environment for remote communication |
US11269183B2 (en) | 2019-11-14 | 2022-03-08 | Microsoft Technology Licensing, Llc | Display information on a head-mountable apparatus corresponding to data of a computing device |
US11995776B2 (en) | 2021-01-19 | 2024-05-28 | Samsung Electronics Co., Ltd. | Extended reality interaction in synchronous virtual spaces using heterogeneous devices |
EP4395395A1 (en) * | 2022-12-28 | 2024-07-03 | Telefonica Digital España, S.L.U. | System and methods for pairing external devices to virtual reality devices |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120151416A1 (en) * | 2010-12-10 | 2012-06-14 | International Business Machines Corporation | Controlling three-dimensional views of selected portions of content |
US20120249741A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Anchoring virtual images to real world surfaces in augmented reality systems |
US20130083009A1 (en) * | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Exercising applications for personal audio/visual system |
Family Cites Families (23)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5977935A (en) * | 1993-08-12 | 1999-11-02 | Seiko Epson Corporation | Head-mounted image display device and data processing apparatus including the same |
US20040104935A1 (en) * | 2001-01-26 | 2004-06-03 | Todd Williamson | Virtual reality immersion system |
US7774075B2 (en) * | 2002-11-06 | 2010-08-10 | Lin Julius J Y | Audio-visual three-dimensional input/output |
US20060284791A1 (en) | 2005-06-21 | 2006-12-21 | National Applied Research Laboratories National Center For High-Performance Computing | Augmented reality system and method with mobile and interactive function for multiple users |
US9344612B2 (en) * | 2006-02-15 | 2016-05-17 | Kenneth Ira Ritchey | Non-interference field-of-view support apparatus for a panoramic facial sensor |
EP2539759A1 (en) | 2010-02-28 | 2013-01-02 | Osterhout Group, Inc. | Local advertising content on an interactive head-mounted eyepiece |
US8957919B2 (en) * | 2010-04-05 | 2015-02-17 | Lg Electronics Inc. | Mobile terminal and method for displaying image of mobile terminal |
US20120032877A1 (en) * | 2010-08-09 | 2012-02-09 | XMG Studio | Motion Driven Gestures For Customization In Augmented Reality Applications |
US20120113141A1 (en) * | 2010-11-09 | 2012-05-10 | Cbs Interactive Inc. | Techniques to visualize products using augmented reality |
KR101758163B1 (ko) | 2010-12-31 | 2017-07-14 | 엘지전자 주식회사 | 이동 단말기 및 그의 홀로그램 제어방법 |
CN102859470B (zh) * | 2011-03-15 | 2015-12-02 | 松下电器(美国)知识产权公司 | 对象控制装置、对象控制方法以及集成电路 |
JP5741160B2 (ja) * | 2011-04-08 | 2015-07-01 | ソニー株式会社 | 表示制御装置、表示制御方法、およびプログラム |
US8749573B2 (en) * | 2011-05-26 | 2014-06-10 | Nokia Corporation | Method and apparatus for providing input through an apparatus configured to provide for display of an image |
KR101252169B1 (ko) * | 2011-05-27 | 2013-04-05 | 엘지전자 주식회사 | 휴대 단말기 및 그 동작 제어방법 |
US20120327116A1 (en) * | 2011-06-23 | 2012-12-27 | Microsoft Corporation | Total field of view classification for head-mounted display |
US8190749B1 (en) | 2011-07-12 | 2012-05-29 | Google Inc. | Systems and methods for accessing an interaction state between multiple devices |
CN102891915A (zh) * | 2011-07-18 | 2013-01-23 | 上海盛畅网络科技有限公司 | 移动终端的虚实互动娱乐***和方法 |
US10019962B2 (en) | 2011-08-17 | 2018-07-10 | Microsoft Technology Licensing, Llc | Context adaptive user interface for augmented reality display |
US9342610B2 (en) * | 2011-08-25 | 2016-05-17 | Microsoft Technology Licensing, Llc | Portals: registered objects as virtualized, personalized displays |
US8644467B2 (en) | 2011-09-07 | 2014-02-04 | Cisco Technology, Inc. | Video conferencing system, method, and computer program storage device |
US20130083003A1 (en) * | 2011-09-30 | 2013-04-04 | Kathryn Stone Perez | Personal audio/visual system |
US20130293580A1 (en) * | 2012-05-01 | 2013-11-07 | Zambala Lllp | System and method for selecting targets in an augmented reality environment |
US9645394B2 (en) * | 2012-06-25 | 2017-05-09 | Microsoft Technology Licensing, Llc | Configured virtual environments |
-
2013
- 2013-08-28 KR KR1020130102325A patent/KR102138511B1/ko active IP Right Grant
- 2013-11-14 US US14/080,316 patent/US8866849B1/en active Active
- 2013-11-19 EP EP13892413.9A patent/EP3039555B1/en active Active
- 2013-11-19 WO PCT/KR2013/010494 patent/WO2015030304A1/en active Application Filing
- 2013-11-19 CN CN201380079148.2A patent/CN105493059B/zh not_active Expired - Fee Related
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20120151416A1 (en) * | 2010-12-10 | 2012-06-14 | International Business Machines Corporation | Controlling three-dimensional views of selected portions of content |
US20120249741A1 (en) * | 2011-03-29 | 2012-10-04 | Giuliano Maciocci | Anchoring virtual images to real world surfaces in augmented reality systems |
US20130083009A1 (en) * | 2011-09-30 | 2013-04-04 | Kevin A. Geisner | Exercising applications for personal audio/visual system |
Also Published As
Publication number | Publication date |
---|---|
WO2015030304A1 (en) | 2015-03-05 |
EP3039555B1 (en) | 2020-10-07 |
CN105493059B (zh) | 2018-08-07 |
KR20150025116A (ko) | 2015-03-10 |
EP3039555A4 (en) | 2017-05-03 |
EP3039555A1 (en) | 2016-07-06 |
CN105493059A (zh) | 2016-04-13 |
US8866849B1 (en) | 2014-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102138511B1 (ko) | 헤드 마운티드 디스플레이의 화상통화를 지원하는 포터블 디바이스 및 그 제어 방법 | |
US11151773B2 (en) | Method and apparatus for adjusting viewing angle in virtual environment, and readable storage medium | |
US10558353B2 (en) | System and method for 360-degree video navigation | |
JP6421670B2 (ja) | 表示制御方法、表示制御プログラム、及び情報処理装置 | |
US9852546B2 (en) | Method and system for receiving gesture input via virtual control objects | |
US9223402B2 (en) | Head mounted display and method of controlling digital device using the same | |
KR102161510B1 (ko) | 포터블 디바이스 및 그 제어 방법 | |
JP5983499B2 (ja) | 表示制御装置、表示制御方法、およびプログラム | |
KR20150025115A (ko) | 증강현실 이미지를 디스플레이하는 포터블 디바이스 및 그 제어 방법 | |
CN108700941A (zh) | 用于在虚拟现实环境中对准组件的方法和设备 | |
US20140146075A1 (en) | Electronic Apparatus and Display Control Method | |
US9914056B2 (en) | Storage medium having stored therein an image generation program, image generation method, image generation apparatus and image generation system | |
KR20150007129A (ko) | 복수의 유저 인터페이스 포맷을 포함하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법 | |
US20170322700A1 (en) | Haptic interface for population of a three-dimensional virtual environment | |
CN108027700A (zh) | 信息处理装置 | |
US10978019B2 (en) | Head mounted display system switchable between a first-person perspective mode and a third-person perspective mode, related method and related non-transitory computer readable storage medium | |
KR101690311B1 (ko) | 증강현실객체 배치, 공유 및 전시 시스템 및 배치, 공유 및 전시 방법 | |
JP2017187952A (ja) | 表示制御方法及び当該表示制御方法をコンピュータに実行させるためのプログラム | |
US20170193633A1 (en) | Information processing device, information processing method, and program | |
JP6518028B1 (ja) | 表示装置、表示方法、プログラム、ならびに、非一時的なコンピュータ読取可能な情報記録媒体 | |
US11295536B2 (en) | Information processing apparatus and non-transitory computer readable medium | |
KR20180037511A (ko) | 전자 장치 및 그의 유저 인터페이스 제공 방법 | |
TWI811141B (zh) | 遠程控制系統、遠程控制器以及遠程控制方法 | |
US20180329664A1 (en) | Methods, systems, and computer readable media for controlling virtual image scenarios in plurality display devices | |
KR102015835B1 (ko) | Vr 영상 제공 시스템 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E90F | Notification of reason for final refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant |