KR102289389B1 - 가상 오브젝트 방위 및 시각화 - Google Patents

가상 오브젝트 방위 및 시각화 Download PDF

Info

Publication number
KR102289389B1
KR102289389B1 KR1020167001401A KR20167001401A KR102289389B1 KR 102289389 B1 KR102289389 B1 KR 102289389B1 KR 1020167001401 A KR1020167001401 A KR 1020167001401A KR 20167001401 A KR20167001401 A KR 20167001401A KR 102289389 B1 KR102289389 B1 KR 102289389B1
Authority
KR
South Korea
Prior art keywords
location
virtual object
shared
orientation
consuming device
Prior art date
Application number
KR1020167001401A
Other languages
English (en)
Other versions
KR20160021284A (ko
Inventor
브라이언 이. 킨
벤 제이. 석든
로버트 엘. 주니어 크로코
다니엘 뎁트포드
톰 지. 살터
로라 케이. 매시
알렉스 아벤-아사르 킵맨
피터 토비아스 킨브루
니콜라스 페리안크 카무다
Original Assignee
마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 filed Critical 마이크로소프트 테크놀로지 라이센싱, 엘엘씨
Publication of KR20160021284A publication Critical patent/KR20160021284A/ko
Application granted granted Critical
Publication of KR102289389B1 publication Critical patent/KR102289389B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Control Of Indicators Other Than Cathode Ray Tubes (AREA)

Abstract

월드 공간에서 시점 고정식 가상 오브젝트의 생성을 위한 방법 및 장치. 가상 오브젝트는, 가상 오브젝트가 생성된 로케이션, 위치, 및 방위와 동일하거나, 또는 근접한 로케이션, 위치, 및 방위에서 소비 디바이스를 갖는 다른 유저에 의해 소비될 수도 있다. 오브젝트는 그 생성기에 의해 정의되는 하나의, 몇몇의 또는 많은 허용가능한 소비 로케이션, 위치, 및 방위를 가질 수도 있다.

Description

가상 오브젝트 방위 및 시각화{VIRTUAL OBJECT ORIENTATION AND VISUALIZATION}
모바일 디바이스의 하나의 현재의 용도는 실세계 환경에서 "가상의" 시점("virtual" perspective)을 허용하는 것이다. 현재, 모바일 디바이스 상에서 사용될 수도 있는 몇몇 애플리케이션은, 실세계에서의 아이템(일반적으로 건물(building))에 대한 2차원 이미지를 렌더링하기 위해, 디바이스로부터의 카메라 입력 및 GPS 좌표를 사용한다. 이들 오브젝트는, 일반적으로, 임의의 위치(position)에서 볼 수 있으며 외관상 일반적으로 3차원이지만, 그러나 모바일 디바이스의 편평한 디스플레이 상에서 렌더링된다.
혼합 현실(mixed reality)은 가상 오브젝트가 실세계의 물리적 환경과 혼합되는 것을 허용하는 기술이다. 유저는, 씨쓰루 헤드 마운트형 디스플레이(see-through, head mounted display; HMD) 디바이스를 착용하여, 유저의 시야에 디스플레이되는 가상 오브젝트와 실제 오브젝트의 혼합된 상을 볼 수도 있다.
시점 고정식 가상 오브젝트(perspective-locked virtual object)의 생성을 허용하는 기술이 제공된다. 가상 오브젝트는, 가상 오브젝트가 생성된 로케이션, 위치, 및 방위(orientation)와 동일하거나, 또는 근접한 로케이션, 위치, 및 방위에서 소비 디바이스(consumption device)를 갖는 다른 유저에 의해 소비될 수도 있다(가상 오브젝트를 볼 수도 있거나, 가상 오브젝트를 들을 수도 있거나 또는 가상 오브젝트와 상호작용할 수도 있다). 오브젝트는 그 생성기(creator)에 의해 정의되는 하나의, 몇몇의 또는 많은 허용가능한 소비 로케이션, 위치, 및 방위를 가질 수도 있다.
하나의 양태에서, 공유된 시점 고정식 가상 오브젝트를 생성 및/또는 소비할 수 있는 장치가 제공된다. 장치 위치, 방위 및 로케이션이 결정된다. 공유된 시점 고정식 가상 오브젝트를 소비할 때, 렌더링 로케이션 데이터를 포함하는 공유된 가상 오브젝트가 수신된다. 매칭이 허용가능한 것으로 결정된 위치 및 방위에 소비 디바이스의 시야가 있으면, 공유된 가상 오브젝트는 소비 디바이스에서 디스플레이된다.
공유된 시점 고정식 가상 오브젝트를 생성할 때, 캡쳐 디바이스의 글로벌 좌표 로케이션, 위치 및 방위가 결정되고 공유된 가상 오브젝트 렌더링 데이터가 생성된다. 렌더링 데이터는 공유된 가상 오브젝트에 대한 렌더링 로케이션 데이터를 포함한다. 렌더링 로케이션 데이터는, 로컬 좌표계와 연관한 가상 오브젝트에 대한 적어도 글로벌 좌표 로케이션, 및 적어도 하나의 위치와 적어도 하나의 방위일 수도 있다.
이 개요는 하기의 상세한 설명에서 더 설명되는 개념의 선택을 간소화된 형태로 소개하기 위해 제공된다. 이 개요는 청구된 주제의 주요한 특징 또는 본질적인 특징을 식별하도록 의도된 것도 아니고, 청구되는 주제의 범위를 결정함에 있어서 보조로서 사용되도록 의도된 것도 아니다.
도 1a는 본 기술이 기본 구현을 예시하는 방법이다.
도 1b 내지 도 1d는 유저가 도 1a의 방법의 양태를 수행하는 것을 예시한다.
도 2는 유저가 실세계 환경을 보는 것의 투시도이다.
도 3a는 유저가 실세계 환경에서 캡쳐 디바이스를 사용하는 것의 투시도이다.
도 3b는 도 2의 유저의 캡쳐 디바이스 상에서의, 이 경우에서는 이미지인 가상 오브젝트의 묘사이다.
도 3c는 씨쓰루 헤드 마운트형 디스플레이 디바이스를 통한 도 2의 유저의 뷰의 묘사이다.
도 3d는 가상 마커와 연관되는 위치에 있는 유저를 예시한다.
도 3e는 씨쓰루 헤드 마운트형 디스플레이 디바이스의 유저가 도 3b에서 캡쳐되는 가상 오브젝트를 보는 것의 묘사이다.
도 4a는 유저가 씨쓰루 헤드 마운트형 디스플레이 디바이스를 통해 도 2의 장면을 보는 것의 제2 투시도이다.
도 4b는 씨쓰루 헤드 마운트형 디스플레이 디바이스의 뷰를 통한 월드 고정식 가상 오브젝트(world-locked virtual object)의 뷰이다.
도 5는 헤드 마운트형 디스플레이 유닛의 일 실시형태의 투시도이다.
도 6은 헤드 마운트형 디스플레이 유닛의 일 실시형태의 일부의 측면도이다.
도 7은 헤드 마운트형 디스플레이 유닛의 컴포넌트의 일 실시형태의 블록도이다.
도 8은 헤드 마운트형 디스플레이 유닛과 연관되는 프로세싱 유닛의 컴포넌트의 일 실시형태의 블록도이다.
도 9는 모바일 또는 태블릿 컴퓨팅 디바이스의 일 실시형태의 블록도이다.
도 10은 본 기술에 따른 중앙 서비스를 구현하기 위한 시스템의 블록도이다.
도 11은 유저 또는 써드파티에 의한 컨텐츠의 생성을 묘사하는 플로우차트이다.
도 12는 본 기술에 따른 유저에 의해 생성된 컨텐츠의 디스플레이를 예시하는 플로우차트이다.
도 13은 도 12에서의 단계 1222를 예시하는 플로우차트이다.
월드 공간(world space)에서 시점 고정식 가상 오브젝트의 생성을 허용하는 기술이 제공된다. 가상 오브젝트는, 가상 오브젝트가 생성된 로케이션, 위치, 및 방위와 동일하거나, 또는 근접한 로케이션, 위치, 및 방위에서 소비 디바이스를 갖는 다른 유저에 의해 소비될 수도 있다(가상 오브젝트를 볼 수도 있거나, 가상 오브젝트를 들을 수도 있거나 또는 가상 오브젝트와 상호작용할 수도 있다). 오브젝트는 그 생성기에 의해 정의되는 하나의, 몇몇의 또는 많은 허용가능한 소비 로케이션, 위치, 및 방위를 가질 수도 있다.
그 기술은, 뷰어가 오브젝트를 어떻게 감지하기를 생성자가 소망하는지에 관해 하나 이상의 시점에 오브젝트 소비자(object consumer)를 고정시키는 오브젝트를 유저가 생성하여 고정하는 것을 허용한다.
도 1a는 정의된 방위 및 시각화를 갖는 가상 오브젝트를 캡쳐하여 공유하기 위한 본 기술의 제1 실시형태를 예시하는 방법이다. 도 1a는 유저가 컨텐츠를 생성하는 것을 예시하는 도 1b 내지 도 1d와 연관하여 설명될 것이다. 단계 50에서, 생성 디바이스의 위치, 방위 및 로케이션이 결정된다. 본원에서 설명되는 바와 같이, 위치, 방위, 및 로케이션은 글로벌 좌표계 및 로컬 좌표계를 기준으로 설명될 수 있다. 단계 52에서, 컨텐츠는 생성 디바이스에 의해 생성되고 캡쳐된다. 생성 디바이스는, 가상 오브젝트에서 제공될 다양한 타입의 오디오/비주얼 데이터 및 유저 제공 정보(user supplied information)를 수신할 수 있는 캡쳐 디바이스를 포함할 수도 있다. 52에서, 캡쳐 디바이스의 시점을 정의하기 위해 로케이션, 위치 및 방위 데이터가 사용될 수 있다. 시점은 공유된 가상 오브젝트가 소비자에게 어떻게 렌더링되어야 하는지를 결정하기 위해 사용된다. 컨텐츠의 생성 및 캡쳐는 오브젝트 데이터를 캡쳐하는 나름의 시간을 포함할 수도 있다.
도 1b는, 이 경우에서는 태블릿 컴퓨터인, 실세계 오브젝트(70)를 캡쳐하는 생성 디바이스를 구비하는 유저(24)를 예시한다. 유저(24)는 글로벌 좌표계에 의해 정의되는 월드 공간 내에 위치될 수도 있고, 월드 공간 내에서의 캡쳐 디바이스의 방위 및 위치는 로컬 좌표계(75)를 기준으로 정의될 수도 있다. 도 1c는 실세계 오브젝트(70)를 기준으로 하는 캡쳐 디바이스의 시점(80)을 예시한다. 시점은, 유저가 캡쳐 디바이스(44)를 잡고 있는 높이를 기준으로 하는 높이(82)뿐만 아니라, 로컬 좌표계를 기준으로 하는 방위 좌표에 의해 설명될 수 있는 3차원 위치 및 방위를 갖는다. 도 1b 내지 도 1d의 예에서, 유저(24)는, 이 경우에서는 2차원 사진인, 실세계 오브젝트(70)의 가상 오브젝트(90)를 생성하고 있다. 가상 오브젝트(90)는 도 1d에서 예시되며 생성 디바이스(44)와 연관되는 시점을 갖는다. 단계 52에서, 유저는 소비용 디바이스(consuming device)에 대한 하나 이상의 허용가능한 소비 위치를 또한 정의할 수도 있다. 일 양태에서, 소비용 디바이스에 대해 하나의 소비 위치만이 허용될 수도 있다. 이것은 캡쳐 디바이스와 동일한 로케이션, 위치 및 방위에서 소비용 디바이스를 제공할 것이다. 다른 예에서, 다수의 허용가능한 소비 위치가 제공될 수도 있다.
도 1b 내지 도 1d에 도시된 예가 사진의 생성을 예시하지만, 본 기술에 따라 다수의 타입의 가상 오브젝트가 생성될 수도 있다. 이들은, 여러 상이한 타입의 컴퓨팅 또는 프로세싱 디바이스에서 렌더링될 수도 있는 2차원 및 3차원 가상 오브젝트를 포함한다.
도 1a로 돌아가서, 단계 54에서, 가상 오브젝트에 대한 캡쳐된 정보를 포함하는 렌더링 데이터가 로케이션, 위치, 및 방위와 연관되고, 오브젝트 정의와 함께 저장된다. 단계 56에서, 렌더링 데이터 및 위치 정보를 포함하는 오브젝트 정의는 제2 유저로 송신된다. 하기에서 논의되는 바와 같이, 단계 56은 데이터를 중앙 서비스로, 또는 소비 디바이스의 제2 유저에게 직접적으로 송신하는 것을 포함할 수 있다. 하기에서 논의되는 바와 같이, 소비 디바이스는, 마찬가지로, 도 3z 내지 도 3e와 연관하여 하기에서 논의되는 바와 같이 씨쓰루 헤드 마운트형 디스플레이 디바이스를 포함하는, 다수의 다양한 타입의 프로세싱 디바이스 중 임의의 것일 수도 있다.
단계 58에서, 컨텐츠는 제1 유저로부터 소비 디바이스에서 취출된다. 단계 60에서, 공유된 가상 오브젝트의 허용가능한 소비 위치, 방위 및 로케이션이 결정된다. 단계 62에서, 소비 디바이스의 위치, 방위 및 로케이션이 결정된다. 일 실시형태에서, 소비 디바이스는, 소비 디바이스가 캡쳐 디바이스와 동일한 위치, 방위 및 로케이션에 있을 때에만 공유된 가상 오브젝트를 렌더링할 수도 있다. 다른 실시형태에서, 소비 디바이스는, 소비 디바이스가 생성 디바이스에 의해 정의되는 하나 이상의 허용가능한 위치, 방위, 및 로케이션에 있을 때 공유된 가상 오브젝트를 렌더링할 수도 있다. 제3 실시형태에서, 소비 디바이스는, 소비 디바이스가 캡쳐 디바이스에 의해 정의되는 것과 같은 가상 오브젝트에 대한 정의된 렌더링 위치에 근접한 위치에 있을 때, 공유된 가상 오브젝트를 렌더링할 수도 있는데, 소비용 디바이스에 대한 허용가능한 로케이션, 위치, 및 방위는 렌더링 위치를 기준으로 정의된다.
단계 64에서, 소비 디바이스가 적절하게 위치되지 않으면, 소비 디바이스의 배치(positioning)에 대한 조정이 이루어질 수도 있다. 64에서, 디바이스가 적절히 배치되면, 컨텐츠는 생성 디바이스에 의해 정의된 위치, 방위 및 로케이션에서 렌더링될 수도 있다.
그 기술은 대규모 환경에서 유저에게 정보를 제공함에 있어서 응용성(applicability)을 갖는다. 도 2는, 다양한 건물 장면이 유저에게 보이게 되는 실세계 환경(1000)을 보는 유저(24)를 예시한다. 가상 오브젝트는 뷰, 시청각 데이터(audiovisual data), 또는 유저(24)의 시점으로부터, 또는 도 2의 건물(1001)과 같은 다양한 실세계 오브젝트 상에서 렌더링되는 다른 타입의 정보를 포함할 수도 있다.
도 3a 내지 도 3e는 큰 실세계 환경에서의 기술의 사용을 예시한다. 이 양태에서, 유저는 공유되는 가상 오브젝트를 생성할 수 있고, 다른 유저를 위해, 환경 내에서 공유된 가상 오브젝트가 존재하는 곳을 나타내는 마커를 환경 내에 남겨둘 수 있다. 이것은 제2 유저가 그 마커에 접근하여 제1 유저에 의해 생성된 가상 오브젝트를 소비하는 것을 허용할 수 있다.
일 예에서, 휴가 중인 유저가, 랜드마크 건물(landmark building) 앞에 유저의 가족이 서있는 특정 장면의 사진을 찍는다고 가정한다. 나중의 시점에, 제2 유저가 그 장면에 도달하여, 사진이 찍혔던 동일한 위치와 방위에서 그 랜드마크의 앞에서 그 유저의 가족의 가상 오브젝트 사진을 볼 수도 있다.
도 3a는 생성 디바이스(44)를 구비하는 유저(24)가 디바이스를 사용하여 이 경우에서는 건물(1004)인 실세계 오브젝트로부터 가상 오브젝트를 생성하는 것을 예시한다. 도 3a에 예시된 바와 같이, 유저는 건물(1004)을 기준으로 하는 시점(1003)을 갖는다. 도 1a 내지 도 1d의 상기의 예에서와 같이, 유저의 시점(1003)은 글로벌 좌표(1005), 및 로컬 좌표계(1006)에 의해 정의되는 월드 로케이션(world location)에 참조될 수 있다. 캡쳐 디바이스의 시야는 1007에서 예시된다.
유저의 캡쳐 디바이스(44)의 시점(1003)에서의 시야는 도 3b에서 예시된다. 도 3b에서, 건물(1004)의 사진을 포함하는 가상 오브젝트(1020a)가 생성되었다. 로컬 좌표계(1006)는, 글로벌 좌표계에 의해 정의되는 로케이션을 기준으로 하는 로컬 좌표계의 방위를 허용하는 하나 이상의 위치적 관계를 사용하여 글로벌 좌표계에 연관될 수도 있다는 것이 이해되어야 한다.
도 3c는 유저(24)가 도 2의 환경(1000)에서 씨쓰루 헤드 마운트형 디스플레이 디바이스를 착용하고 있는 것의 투시도를 예시한다. 하기에서 설명되는 바와 같이, 씨쓰루 헤드 마운트형 디스플레이 디바이스는, 환경에서 렌더링되는 가상 오브젝트를 유저가 보는 것을 허용하는 혼합 현실 디바이스이다. 도 3c에서, 씨쓰루 헤드 마운트형 디스플레이 디바이스(2)의 착용자에게 가상 오브젝트 정의(1020)와 연관되는 마커(1010)가 보이게 된다. (도 3c에서 예시되는 오브젝트 정의(1020) 및 그리고 이하 참조되는 것들은, 가상 오브젝트로서 렌더링되는 형태를 제외하면, 유저에게 보이지 않는다는 것이 이해되어야 한다.) 그 기술에 따르면, 유저가 자신을 마커(1010)와 연관되는 위치에 위치시키면, 유저는 유저(24)에 의해 생성된 가상 오브젝트를 볼 수 있거나 또는 소비할 수 있다.
도 3d는 가상 마커(1010)와 연관되는 위치에 있는 유저(24A)를 예시한다. 유저(24A)는 씨쓰루 헤드 마운트형 디스플레이 디바이스(2)를 착용하고 있으며 도 3a의 생성 디바이스를 기준으로 동일한 로케이션, 방위, 및 위치에 그 자신을 위치시키고 있다. 오브젝트 정의(1020)는 렌더링 정보뿐만 아니라 씨쓰루 헤드 마운트형 디스플레이(2)에 대한 허용가능한 렌더링 위치를 정의하는 글로벌 좌표 및 로컬 좌표를 포함한다.
도 3e에 도시된 바와 같이, 씨쓰루 헤드 마운트형 디스플레이는 허용가능한 렌더링 위치에서 가상 오브젝트(1020a)를 렌더링할 것인데, 이 예에서의 렌더링 위치는 원래의 생성 디바이스와 동일한 로케이션, 위치, 및 방위를 갖는다. 도 3e에 도시된 바와 같이, 유저(24A)의 시점 및 도 3a에서 생성된 오브젝트(1020a)의 뷰는 가상 오브젝트(1020a)를 생성한 유저(24)의 것과 동일하다.
도 4a 및 도 4b는 가상 오브젝트를 생성하고 렌더링함에 있어서 써드파티의 유저로부터 유래하는 정보를 포함하는 본 기술의 다른 양태를 예시한다. 도 4a는, 복수의 마커가 제공된 환경(1000)에서 유저가 씨쓰루 헤드 마운트형 디스플레이 디바이스(2)를 착용하고 있는 것의 투시도이다. 도 4a에 도시된 예에서, 마커(1010)가 예시된다. 마커(1010)는 유저에 의해 제공되는 그리고 다른 유저와 직접적으로 공유되는 마커일 수도 있다. 써드파티 데이터 마커(1015, 1025, 1030, 1040, 1050)가 도 4a에서 또한 예시된다. 써드파티 데이터 마커는, 그 정보가 써드파티 서비스로부터 유도될 수도 있는 가상 오브젝트와 연관된다. 하기에서 설명되는 바와 같이, 중앙 서비스는 임의의 수의 써드파티 서비스로부터 정보를 수집하여, 중앙 서비스에 의해 정의되는 및/또는 써드파티 서비스에 의해 제공되는 정보에 의해 정의되는 가상 오브젝트를 생성할 수도 있다. 다른 대안예에서, 써드파티 서비스 그 자체는 환경에서 사용하기 위한 가상 오브젝트를 정의할 수도 있다. 예를 들면, 레스토랑 소유자는 환경에서의 디스플레이를 위한 가상 오브젝트를 정의하고 환경에서의 사용을 위한 연관 마커를 정의할 수도 있다. 이 목표 및 연관 가상 오브젝트는, 소비 디바이스의 유저에 대한 디스플레이를 위한 필수 서비스에 제공될 수도 있다.
도 4b는 도 4b의 마커(1015)와 연관되는 가상 오브젝트(1015a)의 투시도를 예시한다. 도 4b는 또한, 다수의 허용가능한 뷰잉(viewing) 로케이션, 위치, 및 방위를 갖는 "월드 고정식(world locked)" 오브젝트의 예를 예시한다. 가상 오브젝트(1015a)는 건물의 측면에 위치되는 것으로 도시되며 써드파티 서비스 Yelp®에 의해 제공되는 정보를 포함한다. 이 경우에서, 가상 오브젝트(1015a)는, 그 위치가 물리적 오브젝트(건물)와 연관되는 "월드 고정식" 가상 오브젝트이며, 소비 디바이스의 위치를 기준으로 다수의 허용가능한 렌더링 로케이션, 방위, 및 위치를 가질 수도 있다. 예를 들면, 도 4b에서 건물 및 가상 오브젝트(1015a)를 기준으로 유저가 움직일 때, 가상 오브젝트(1015a)는 여전히 건물의 측면 상에서 나타날 것이다. 그러므로, 가상 오브젝트(1050a)를 보는 데 다수의 허용가능한 위치가 이용가능하다.
도 4b에 도시된 예에서, 씨쓰루 헤드 마운트형 디스플레이 디바이스(2)는 월드 고정식 오브젝트(1015a)의 렌더링 로케이션에 근접한 것으로 간주된다. 렌더링 로케이션에 근접한 로케이션은, 소비 디바이스에 의한 렌더링이 발생할 수 있는 시점 고정식 가상 오브젝트에서 정의되는 모든 허용가능한 로케이션, 위치, 및 방위를 포함할 것이다.
상기에서 언급된 바와 같이, 소비 디바이스 및 생성 디바이스는 본원에서 설명된 바와 같이 임의의 수의 적절한 프로세싱 디바이스를 포함할 수도 있다. 그 기술은, 혼합 현실 환경에서 오브젝트를 렌더링할 수 있는 씨쓰루 헤드 마운트형 디스플레이 디바이스와 함께 사용될 때 특정한 응용성을 발견한다.
씨쓰루 헤드 마운트형 디스플레이 디바이스가 생성 디바이스로서 사용되면, 여러 상이한 타입의 가상 오브젝트가 생성될 수도 있다. 하나의 양태에서, 가상 오브젝트는 씨쓰루 헤드 마운트형 디스플레이 디바이스로부터 이용가능한 모든 센서류(sensory) 입력의 조합을 포함할 수도 있는데, 모든 센서류 입력은, 소비용 디바이스가 모든 입력을 렌더링할 수 있다는 것을 가정하면, 소비하는 유저(consuming user)에게 다시 렌더링된다. 예를 들면, 생성하는 유저는 특정 환경에서 워크스루(walk-through)를 기록할 수도 있는데, 워크스루는 소비하는 유저가 그 환경에서 동일한 워크스루를 행할 때 소비하는 유저에게 재생된다. 예를 들면, 비디오 광경(video sight), 오디오 사운드 등등을 포함하는, 생성 이벤트의 모든 양태는 소비하는 유저에게 재생될 수도 있다.
헤드 마운트형 디스플레이 디바이스는 디스플레이 엘리먼트 및 프로세싱 유닛을 포함한다. 디스플레이 엘리먼트는, 디스플레이 엘리먼트를 통해 유저가 유저의 시야(field of view; FOV) 내의 실세계 오브젝트를 볼 수 있도록 어느 정도 투명하다. 디스플레이 엘리먼트는 또한, 가상 이미지가 실세계 오브젝트와 함께 혼합되어 또한 나타날 수도 있도록, 유저의 FOV 안으로 가상 이미지를 투사하는 능력을 제공한다. 시스템은, 유저의 FOV에서 가상 이미지(들)를 삽입할 위치를 시스템이 결정할 수 있도록, 유저가 보고 있는 곳을 자동적으로 추적한다. 가상 이미지를 투사할 위치를 시스템이 알게 되면, 디스플레이 엘리먼트를 사용하여 이미지가 투사된다.
실시형태에서, 자신의 프로세싱 유닛을 포함하는 헤드 마운트형 디스플레이 디바이스는, 환경에서 유저의 x, y, z, 피치(pitch), 요(yaw) 및 롤(roll) 위치, 실세계 오브젝트 및 가상의 3차원 오브젝트를 포함하는 혼합 현실 환경의 모델을 구축할 수도 있다. 환경에서 유저가 착용하고 있는 각각의 헤드 마운트형 디스플레이 디바이스의 위치는 환경의 모델에 대해 그리고 서로에 대해 캘리브레이팅될 수도 있다. 이것은 시스템이 환경의 각각의 유저의 시선(line of sight) 및 FOV를 결정하는 것을 허용한다. 따라서, 가상 이미지가 각각의 유저에게 디스플레이될 수도 있지만, 시스템은, 환경에서의 다른 오브젝트로부터의 또는 다른 오브젝트에 의한 임의의 차단(occlusion) 및 시차(parallax)에 대해 가상 이미지를 조정하면서, 각각의 유저의 시점으로부터의 가상 이미지의 디스플레이를 결정한다.
유저는 유저의 FOV 내에서 나타나는 가상 오브젝트 중 하나 이상과 상호작용할 것을 선택할 수도 있다. 본원에서 사용되는 바와 같이, 용어 "상호작용"은 물리적인 상호작용과 유저의 가상 오브젝트와의 말에 의한 상호작용(verbal interaction) 둘 다를 포괄한다. 물리적 상호작용은 유저가 그의 또는 그녀의 손가락, 손 및/또는 다른 신체 부위(들)을 사용하여, 미리 정의된 액션을 수행하기 위한 시스템에 대한 유저 요청으로서, 혼합 현실 시스템에 의해 인식되는 미리 정의된 제스쳐를 수행하는 것을 포함한다. 이러한 미리 정의된 제스쳐는 가상 오브젝트에 대한 포인팅, 그래빙, 푸싱 및 배치를 포함할 수도 있지만, 이들에 제한되는 것은 아니다.
유저는 또한, 그의 또는 그녀의 눈을 이용하여 가상 오브젝트와 물리적으로 상호작용할 수도 있다. 몇몇 경우에서, 눈 응시 데이터(eye gaze data)는, 유저가 FOV에서 집중하고 있는 곳을 식별하고, 따라서 유저가 특정의 가상 오브젝트 또는 실세계 오브젝트를 주시하고 있다는 것을 식별할 수 있다. 따라서, 정지된 눈 응시, 또는 눈 깜박임 또는 눈 깜박임의 시퀀스는, 이에 의해 유저가 하나 이상의 가상 오브젝트를 선택하게 되는 상호작용일 수도 있다. 단순히 가상 오브젝트를 주시하고 있는, 예컨대 가상 디스플레이 슬레이트 상의 컨텐츠를 보고 있는 유저는 유저의 가상 오브젝트와의 물리적 상호작용의 추가 예이다.
유저는, 대안적으로 또는 추가적으로, 예를 들면, 미리 정의된 액션을 수행하기 위한 시스템에 대한 유저 요청으로서 혼합 현실 시스템에 의해 인식되는 발성된 단어 또는 구와 같은 구두의 제스쳐를 사용하여 가상 오브젝트와 상호작용할 수도 있다. 구두의 제스쳐는 혼합 현실 환경에서 하나 이상의 가상 오브젝트와 상호작용하기 위해 물리적 제스쳐와 연계하여 사용될 수도 있다.
도 5 내지 도 8은 씨쓰루 헤드 마운트형 디스플레이 디바이스(2)를 예시하는데, 씨쓰루 헤드 마운트형 디스플레이 디바이스(2)는, 일 실시형태에서, 유저가 디스플레이를 통해 볼 수 있고 그 결과 유저의 전면에 있는 공간의 실제의 직접적인 뷰를 볼 수 있도록 유저의 머리에 착용되는 안경의 형태이다. 용어 "실제의 직접적인 뷰"는, 오브젝트의 생성된 이미지 표현을 보는 것이 아니라, 사람 눈을 이용하여 실세계 오브젝트를 직접적으로 보는 능력을 가리킨다. 예를 들면, 안경을 통해 룸(room)을 보는 것은, 유저가 룸의 실제의 직접적인 뷰를 보는 것을 허용하지만, 텔레비전 상에서 룸의 비디오를 보는 것은 룸의 실제의 직접적인 뷰가 아니다. 헤드 마운트형 디스플레이 디바이스(2)의 더 상세한 사항은 하기에서 제공된다.
프로세싱 유닛(4)은 헤드 마운트형 디스플레이 디바이스(2)를 동작시키기 위해 사용되는 컴퓨팅 파워의 대부분을 포함할 수도 있다. 실시형태에서, 프로세싱 유닛(4)은 하나 이상의 중앙 서비스(900)에 무선으로(예를 들면, 와이파이, 블루투스, 적외선, 또는 다른 무선 통신 수단) 통신한다.
헤드 마운트형 디스플레이 디바이스는 디스플레이 엘리먼트를 포함할 수도 있다. 디스플레이 엘리먼트는, 디스플레이 엘리먼트를 통해 유저가 유저의 시야(FOV) 내의 실세계 오브젝트를 볼 수 있도록 어느 정도 투명하다. 디스플레이 엘리먼트는 또한, 가상 오브젝트가 실세계 오브젝트와 함께 또한 나타날 수도 있도록, 유저의 FOV 안으로 가상 오브젝트를 투사하는 능력을 제공한다. 시스템은, 유저의 FOV에서 가상 오브젝트를 삽입할 위치를 시스템이 결정할 수 있도록, 유저가 보고 있는 곳을 자동적으로 추적한다. 가상 오브젝트를 투사할 위치를 시스템이 알게 되면, 디스플레이 엘리먼트를 사용하여 이미지가 투사된다.
가상 오브젝트는 상기에서 논의된 정의(1020)와 같은 오브젝트 정의를 포함할 수도 있다. 정의는, 디스플레이 디바이스(2)가 유저의 시야에서 가상 오브젝트를 렌더링하는 것을 허용하는 데이터를 포함할 수도 있다. 정의의 한 성분은, 오브젝트 타입, 오브젝트 사이즈, 및 하나 이상의 최적의 뷰잉 시점 및 방위를 포함할 수도 있다. 각각의 최적의 뷰잉 시점은 오브젝트의 유저 뷰에 대한 최적의 시점의 정의를 포함할 수도 있다. 가상 오브젝트가 공유되면, 본원에서 제공되는 기술은, 각각의 유저에 대한 오브젝트를 렌더링할 최적의 로케이션을 결정하기 위해, 오브젝트를 공유하고 있는 각각의 유저의 로케이션 및 시야와 오브젝트 정의를 사용한다.
일 대안예에서, 룸 또는 다른 환경에서의 모든 유저, 실세계 오브젝트 및 가상의 3차원 오브젝트의 x, y, z 직교 좌표계 위치를 포함하는 환경의 모델을 구축하기 위해, 다른 컴퓨팅 시스템 및 프로세싱 유닛 중 하나 이상이 협력할 수도 있다. 환경에서 유저가 착용하고 있는 각각의 헤드 마운트형 디스플레이 디바이스의 위치는 환경의 모델에 대해 그리고 서로에 대해 캘리브레이팅될 수도 있다. 이것은 시스템이 환경의 각각의 유저의 시선(line of sight) 및 FOV를 결정하는 것을 허용한다. 따라서, 가상 오브젝트가 각각의 유저에게 디스플레이될 수도 있지만, 각각의 유저의 시점으로부터의 가상 오브젝트의 디스플레이는 상대적일 수도 있으며, 환경에서의 다른 오브젝트로부터 또는 다른 오브젝트에 의한 임의의 차단 및 시차에 대해 가상 오브젝트를 조정하게 된다. 본원에서 장면 맵으로 칭해지는 환경의 모델뿐만 아니라, 환경에서의 오브젝트와 유저의 FOV의 모든 추적은 협력하여 또는 개별적으로 작동하는 컴퓨팅 시스템 및 모바일 프로세싱 유닛에 의해 생성될 수도 있다.
도 5 및 도 6은 헤드 마운트형 디스플레이 디바이스(2)의 투시도 및 측면도를 도시한다. 도 6은 헤드 마운트형 디스플레이 디바이스(2)의 우측을 도시하며, 안경다리(102) 및 코다리(nose bridge; 104)를 구비하는 디바이스의 일부를 포함한다. 하기에 설명되는 바와 같이, 사운드를 레코딩하고 그 오디오 데이터를 프로세싱 유닛(4)으로 송신하기 위한 마이크(110)가 코다리(104) 안으로 내장된다. 헤드 마운트형 디스플레이 디바이스(2)의 전면에는, 비디오 및 스틸 이미지를 캡쳐할 수 있는 룸페이싱(room-facing) 비디오 카메라(112)가 있다. 이들 이미지는, 하기에 설명되는 바와 같이, 프로세싱 유닛(4)으로 송신된다.
헤드 마운트형 디스플레이 디바이스(2)의 프레임의 일부는 (하나 이상의 렌즈를 포함하는) 디스플레이를 둘러쌀 것이다. 헤드 마운트형 디스플레이 디바이스(2)의 컴포넌트를 나타내기 위해, 디스플레이를 둘러싸는 프레임의 일부는 묘사되지 않는다. 디스플레이는 광 가이드 광학 엘리먼트(115), 불투명 필터(114), 씨쓰루 렌즈(116) 및 씨쓰루 렌즈(118)를 포함한다. 일 실시형태에서, 불투명 필터(114)는 씨쓰루 렌즈(116) 뒤에서 씨쓰루 렌즈(116)와 정렬되고, 광 가이드 광학 엘리먼트(115)는 불투명 필터(114) 뒤에서 불투명 필터(114)와 정렬되며, 씨쓰루 렌즈(118)는 광 가이드 광학 엘리먼트(115) 뒤에서 광 가이드 광학 엘리먼트(115)와 정렬된다. 씨쓰루 렌즈(116 및 118)는 안경에서 사용되는 표준 렌즈이며 임의의 도수로 만들어질 수도 있다(도수가 없는 것도 포함함). 광 가이드 광학 엘리먼트(115)는 인공 광을 눈으로 보낸다. 불투명 필터(114) 및 광 가이드 광학 엘리먼트(115)의 더 상세한 사항은 2012년 5월 24일자로 공개된 발명의 명칭이 "Head-Mounted Display Device Which Provides Surround Video"인 미국 공개 특허 제2012/0127284호에서 제공된다.
제어 회로(136)는 헤드 마운트형 디스플레이 디바이스(2)의 다른 컴포넌트를 지원하는 다양한 전자장치를 제공한다. 제어 회로(136)의 더 상세한 사항은 도 7과 연관하여 하기에서 제공된다. 이어폰(130), 관성 측정 유닛(inertial measurement unit; 132) 및 온도 센서(138)가 안경다리(102) 내부에 있거나 안경다리(102)에 탑재된다. 도 7에 도시되는 일 실시형태에서, 관성 측정 유닛(132)(또는 IMU(132))은 3축 자기력계(132A), 3축 자이로(132B) 및 3축 가속도계(132C)와 같은 관성 센서를 포함한다. 관성 측정 유닛(132)은 헤드 마운트형 디스플레이 디바이스(2)의 위치, 방위, 및 갑작스런 가속(피치, 롤 및 요)을 감지한다. IMU(132)는 자기력계(132A), 자이로(132B) 및 가속도계(132C) 외에 또는 대신 다른 관성 센서를 포함할 수도 있다.
마이크로디스플레이(120)는 렌즈(122)를 통해 이미지를 투사한다. 마이크로디스플레이(120)를 구현하기 위해 사용될 수 있는 상이한 이미지 생성 기술이 존재한다. 예를 들면, 마이크로디스플레이(120)는, 백색광으로 이면조사되는 광원이 광학적으로 활성인 물질에 의해 변조되는 투과형 투사 기술을 사용하여 구현될 수 있다. 이들 기술은, 강력한 백라이트 및 높은 광학적 에너지 밀도를 갖는 LCD 타입의 디스플레이를 사용하여 일반적으로 구현된다. 마이크로디스플레이(120)는 또한, 외부 광원이 광학적으로 활성인 물질에 의해 반사되어 변조되는 반사형 기술을 사용하여 구현될 수 있다. 조명은, 기술에 따라, 백색 소스 또는 RGB 소스 중 어느 하나에 의해 전방으로(forward) 점등된다. 디지털 광 프로세싱(digital light processing; DLP), 실리콘 액정(liquid crystal on silicon; LCOS) 및 Qualcomm, Inc.로부터의 Mirasol® 디스플레이 기술은 모두 반사형 기술의 예이며, 이들은 대부분의 에너지가 변조된 구조로부터 반사되어 버리기 때문에 효율적이며 본 시스템에서 사용될 수도 있다. 추가적으로, 마이크로디스플레이(120)는, 광이 디스플레이에 의해 생성되는 방출형 기술을 사용하여 구현될 수 있다. 예를 들면, Microvision, Inc.로부터의 PicoP™ 디스플레이 엔진은, 투과형 엘리먼트로서 작용하는 작은 스크린 상으로 조정하는 마이크로 미러를 이용하여 또는 눈에 직접적으로 비춰지는(예를 들면, 레이저) 레이저 신호를 방출한다.
광 가이드 광학 엘리먼트(115)는 마이크로디스플레이(120)로부터의 광을 헤드 마운트형 디스플레이 디바이스(2)를 착용하고 있는 유저의 눈(140)으로 전달한다. 광 가이드 광학 엘리먼트(115)는 또한, 화살표(142)로 묘사된 바와 같이, 광이 헤드 마운트형 디스플레이 디바이스(2)의 전면에서부터 광 가이드 광학 엘리먼트(115)를 통과하여 눈(140)으로 전달되는 것을 허용하고, 그 결과 유저가 마이크로디스플레이(120)로부터 가상 오브젝트를 수신하는 것 외에 헤드 마운트형 디스플레이 디바이스(2)의 전면에 있는 공간의 실제의 직접적인 뷰를 보는 것을 허용하게 된다. 따라서, 광 가이드 광학 엘리먼트(115)의 벽은 씨쓰루이다. 광 가이드 광학 엘리먼트(115)는 제1 반사 표면(124)(예를 들면, 미러 또는 다른 표면)을 포함한다. 마이크로디스플레이(120)로부터의 광은 렌즈(122)를 통과하여 반사 표면(124) 상에 입사하게 된다. 반사 표면(124)은, 광이 내부 반사에 의해 광 가이드 광학 엘리먼트(115)를 포함하는 평면의 기판 내부에 포획되도록, 마이크로디스플레이(120)로부터의 입사광을 반사한다. 기판의 표면에서의 수 차례 반사 이후에, 포획된 광파는 선택적으로 반사하는 표면(126)의 어레이에 도달한다. 도면의 과도한 혼잡을 방지하기 위해, 5개의 표면 중 하나가 126으로 라벨링된 것을 주목한다. 반사 표면(126)은 이들 반사 표면 상에 입사하는 광파를 기판 밖의 유저의 눈(140) 안으로 결합한다. 광 가이드 광학 엘리먼트의 더 상세한 사항은 2008년 11월 20일자로 공개된 발명의 명칭이 "Substrate-Guided Optical Devices"인 미국 공개 특허 제 2008/0285140호에서 발견될 수 있다.
헤드 마운트형 디스플레이 디바이스(2)는 또한, 유저의 눈의 위치를 추적하기 위한 시스템을 포함한다. 하기에서 설명되는 바와 같이, 시스템은, 시스템의 유저의 FOV를 결정할 수 있도록, 유저의 위치 및 방위를 추적할 것이다. 그러나, 사람은 그들 앞에서 아무것도 느끼지 못할 것이다. 대신, 유전의 눈은 환경의 서브셋에 지향될 것이다. 따라서, 일 실시형태에서, 시스템은, 유저의 FOV의 측정을 개선하기 위해, 유저의 눈의 위치를 추적하기 위한 기술을 포함할 것이다. 예를 들면, 헤드 마운트형 디스플레이 디바이스(2)는 눈 추적용 어셈블리(134)(도 6)를 포함하는데, 눈 추적용 어셈블리(134)는 눈 추적용 조명 디바이스(134A) 및 눈 추적용 카메라(134B)(도 7)를 구비한다. 일 실시형태에서, 눈 추적용 조명 디바이스(134A)는 하나 이상의 적외선(infrared; IR) 방출기를 포함하는데, 적외선(IR) 방출기는 눈을 향해 IR 광을 방출한다. 눈 추적용 카메라(134B)는 반사된 IR 광을 감지하는 하나 이상의 카메라를 포함한다. 동공(pupil)의 위치는, 각막의 반사를 검출하는 공지의 이미징 기술에 의해 식별될 수 있다. 예를 들면, 2008년 7월 22일자로 발행된 발명의 명칭이 "Head Mounted Eye Tracking and Display System"인 미국 특허 제7,401,920호를 참조하라. 이러한 기술은 추적용 카메라(134B)에 대한 눈의 중심의 위치를 찾을 수 있다. 일반적으로, 눈 추적은, 눈의 이미지를 획득하는 것 및 안와(eye socket) 내에서의 동공의 위치를 결정하기 위해 컴퓨터 비전 기술(computer vision technique)을 사용하는 것을 수반한다. 일 실시형태에서, 보통은 눈이 함께 움직이기 때문에, 한쪽 눈의 위치를 추적하는 것이 충분하다. 그러나, 각각의 눈을 별개로 추적하는 것도 가능하다.
일 실시형태에서, 헤드 마운트형 디스플레이 디바이스(2)의 렌즈의 각 코너에 하나의 IR LED 및 IR 광 검출기(photo detector)가 존재하도록, 시스템은 직사각형 배치에서 네 개의 IR LED 및 네 개의 IR 광 검출기를 사용할 것이다. LED로부터의 광은 눈에서 반사한다. 네 개의 IR 광 검출기의 각각에서 검출되는 적외선 광의 양은 동공 방향(direction)을 결정한다. 즉, 눈에서의 백색 대 흑색의 양은 그 특정 광 검출기에 대해 눈에서 반사되는 광의 양을 결정할 것이다. 따라서, 광 검출기는 눈에서의 백색 또는 흑색의 양의 척도(measure)를 가질 것이다. 네 개의 샘플로부터, 시스템은 눈의 방향을 결정할 수 있다.
다른 대안예는 상기 논의된 바와 같이 네 개의 적외선 LED를 사용하는 것이지만, 헤드 마운트형 디스플레이 디바이스(2)의 렌즈의 사이드 상에 하나의 적외선 CCD를 사용하는 것이다. CCD는, CCD가 안경 프레임으로부터 보는 눈(visible eye)의 75%까지를 이미지화 할 수 있도록 하는 작은 미러 및/또는 렌즈(어안(fish eye))를 사용할 것이다. 그 다음, CCD는 이미지를 감지하고 이미지를 발견하기 위해 컴퓨터 비전을 사용할 것인데, 대부분은 상기에서 논의된 것과 같다. 따라서, 도 6이 하나의 IR 송신기를 갖는 하나의 어셈블리만을 도시하지만, 도 6의 구조는 네 개의 IR 송신기 및/또는 네 개의 IR 센서를 구비하도록 조정될 수 있다. 네 개보다 더 많은 또는 더 적은 IR 송신기 및/또는 IR 센서가 또한 사용될 수 있다.
눈의 방향을 추적하기 위한 다른 실시형태는 전하 추적에 기초한다. 이 개념은, 망막이 측정가능한 양의 전하를 가지며 각막이 음의 전하를 갖는다는 관측에 기초한다. 눈이 이리 저리 움직이는 동안의 전기적 전위를 검출하고 눈이 무엇을 하고 있는지를 실시간으로 효과적으로 판독하기 위해, 센서는 유저의 귀 옆에(이어폰(130) 근처에) 탑재된다. 눈을 추적하기 위한 다른 실시형태가 또한 사용될 수 있다.
도 6은 헤드 마운트형 디스플레이 디바이스(2)의 절반을 도시한다. 전체 헤드 마운트형 디스플레이 디바이스는 다른 세트의 씨쓰루 렌즈, 다른 불투명 필터, 다른 광 가이드 광학 엘리먼트, 다른 마이크로디스플레이(120), 다른 렌즈(122), 룸페이싱 카메라, 눈 추적용 어셈블리, 마이크로디스플레이, 이어폰, 및 온도 센서를 포함할 것이다.
도 7은 헤드 마운트형 디스플레이 디바이스(2)의 다양한 컴포넌트를 묘사하는 블록도이다. 도 8은 프로세싱 유닛(4)의 다양한 컴포넌트를 묘사하는 블록도이다. 자신의 컴포넌트가 도 7에 묘사되는 헤드 마운트형 디스플레이 디바이스(2)는, 하나 이상의 가상 오브젝트를 유저의 실세계의 뷰와 원활하게(seamlessly) 융합하는 것에 의해 유저에게 혼합 현실 경험을 제공하기 위해 사용된다. 추가적으로, 도 7의 헤드 마운트형 디스플레이 디바이스 컴포넌트는 다양한 상황(condition)을 추적하는 많은 센서를 포함한다. 헤드 마운트형 디스플레이 디바이스(2)는 가상 오브젝트에 관한 명령을 프로세싱 유닛(4)으로부터 수신할 것이고 센서 정보를 다시 프로세싱 유닛(4)으로 제공할 것이다. 자신의 컴포넌트가 도 7에 묘사되는 프로세싱 유닛(4)은 센서류 정보를 헤드 마운트형 디스플레이 디바이스(2)로부터 수신할 것이고 정보 및 데이터를 중앙 서비스(900)(도 1a)와 교환할 것이다. 정보 및 데이터의 교환에 기초하여, 프로세싱 유닛(4)은, 가상 오브젝트를 유저에게 제공할 장소와 때를 결정할 것이고 그에 따라 명령을 도 4의 헤드 마운트형 디스플레이 디바이스로 전송할 것이다.
도 7의 컴포넌트 중 몇몇(예를 들면, 룸페이싱 카메라(112), 눈 추적용 센서(134B), 마이크로디스플레이(120), 불투명 필터(114), 눈 추적용 조명(134A), 이어폰(130), 및 온도 센서(138))은, 이들 디바이스의 각각의 두 개, 즉 헤드 마운트형 디스플레이 디바이스(2)의 좌측용의 하나와 우측용의 하나가 존재한다는 것을 나타내기 위해 음영처리되어 도시된다. 도 4는 전력 관리 회로(202)와 통신하는 제어 회로(200)를 도시한다. 제어 회로(200)는 프로세서(210), 메모리(214)(예를 들면, D-RAM)와 통신하는 메모리 컨트롤러(212), 카메라 인터페이스(216), 카메라 버퍼(218), 디스플레이 드라이버(220), 디스플레이 포맷터(display formatter; 222), 타이밍 생성기(226), 디스플레이 출력 인터페이스(display out interface; 228), 및 디스플레이 입력 인터페이스(display in interface; 230)를 포함한다.
일 실시형태에서, 제어 회로(200)의 컴포넌트 모두는 전용 라인 또는 하나 이상의 버스를 통해 서로 통신한다. 다른 실시형태에서, 제어 회로(200)의 컴포넌트의 각각은 프로세서(210)와 통신한다. 카메라 인터페이스(216)는 두 개의 룸 페이싱 카메라(112)에 대한 인터페이스를 제공하고 룸 페이싱 카메라로부터 수신되는 이미지를 카메라 버퍼(218)에 저장한다. 디스플레이 드라이버(220)는 마이크로디스플레이(120)를 구동할 것이다. 디스플레이 포맷터(222)는, 마이크로디스플레이(120) 상에 디스플레이되고 있는 가상 오브젝트에 관한 정보를, 불투명 필터(114)를 제어하는 불투명 제어 회로(224)로 제공한다. 타이밍 생성기(226)는 시스템에 대한 타이밍 데이터를 제공하기 위해 사용된다. 디스플레이 출력 인터페이스(228)는 룸페이싱 카메라(112)로부터 프로세싱 유닛(4)으로 이미지를 제공하기 위한 버퍼이다. 디스플레이 입력 인터페이스(230)는, 마이크로디스플레이(120) 상에 디스플레이될 가상 오브젝트와 같은 이미지를 수신하기 위한 버퍼이다. 디스플레이 출력 인터페이스(228) 및 디스플레이 입력 인터페이스(230)는, 프로세싱 유닛(4)에 대한 인터페이스인 밴드 인터페이스(band interface; 232)와 통신한다.
전력 관리 회로(202)는 전압 조정기(234), 눈 추적용 조명 드라이버(236), 오디오 DAC 및 증폭기(238), 마이크 프리앰프(microphone preamplifier) 및 오디오 ADC(240), 온도 센서 인터페이스(242) 및 클록 생성기(244)를 포함한다. 전압 조정기(234)는 밴드 인터페이스(232)를 통해 프로세싱 유닛(4)으로부터 전력을 수신하고 그 전력을 헤드 마운트형 디스플레이 디바이스(2)의 다른 컴포넌트로 제공한다. 눈 추적용 조명 드라이버(236)는, 상기에서 설명되는 바와 같이, 눈 추적용 조명(134A)에 대한 IR 광원을 제공한다. 오디오 DAC 및 증폭기(238)는 오디오 정보를 이어폰(130)으로 출력한다. 마이크 프리앰프 및 오디오 ADC(240)는 마이크(110)에 대한 인터페이스를 제공한다. 온도 센서 인터페이스(242)는 온도 센서(138)에 대한 인터페이스이다. 전력 관리 회로(202)는 또한 전력을 제공하고 3축 자기력계(132A), 3축 자이로(132B) 및 3축 가속도계(132C)로부터 다시 데이터를 수신한다.
도 8은 프로세싱 유닛(4)의 다양한 컴포넌트를 설명하는 블록도이다. 도 8은 전력 관리 회로(306)와 통신하는 제어 회로(304)를 도시한다. 제어 회로(304)는, 중앙 프로세싱 유닛(central processing unit; CPU)(320), 그래픽 프로세싱 유닛(graphics processing unit; GPU)(322), 캐시(324), RAM(326), 메모리(330)(예를 들면, D-RAM)와 통신하는 메모리 컨트롤러(328), 플래시 메모리(334)(또는 다른 타입의 불휘발성 스토리지)와 통신하는 플래시 메모리 컨트롤러(332), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 헤드 마운트형 디스플레이 디바이스(2)와 통신하는 디스플레이 출력 버퍼(336), 밴드 인터페이스(302) 및 밴드 인터페이스(232)를 통해 헤드 마운트형 디스플레이 디바이스(2)와 통신하는 디스플레이 입력 버퍼(338), 마이크에 연결하기 위한 외부 마이크 커넥터(342)와 통신하는 마이크 인터페이스(340), 무선 통신 디바이스(346)에 연결하기 위한 PCI 익스프레스 인터페이스, 및 USB 포트(들)(348)를 포함한다. 일 실시형태에서, 무선 통신 디바이스(346)는 와이파이 대응(enabled) 통신 디바이스, 블루투스 통신 디바이스, 적외선 통신 디바이스 등등을 포함할 수 있다. USB 포트는, 데이터 또는 소프트웨어를 프로세싱 유닛(4) 상으로 로딩하기 위해서뿐만 아니라 프로세싱 유닛(4)을 충전하기 위해서, 프로세싱 유닛(4)을 컴퓨팅 시스템에 도킹하도록 사용될 수 있다. 일 실시형태에서, CPU(320) 및 GPU(322)는, 가상의 3차원 오브젝트를 유저의 뷰에 어디에, 언제 그리고 어떻게 삽입할지를 결정하기 위한 메인 워크호스(workhorse)이다. 더 자세한 내용은 하기에 제공된다.
전력 관리 회로(306)는, 클록 생성기(360), 아날로그 디지털 변환기(362), 배터리 충전기(364), 전압 조정기(366), 헤드 마운트형 디스플레이 전원(376), 및 온도 센서(374)(어쩌면 프로세싱 유닛(4)의 손목 밴드 상에 위치됨)와 통신하는 온도 센서 인터페이스(372)를 포함한다. 아날로그 디지털 변환기(362)는 배터리 전압, 온도 센서를 모니터링하고 배터리 충전 기능을 제어하기 사용된다. 전압 조정기(366)는 전력을 시스템에 공급하기 위한 배터리(368)와 통신한다. 배터리 충전기(364)는 충전용 잭(370)으로부터 전력의 수신시 (전압 조정기(366)를 통해) 배터리(368)를 충전하기 위해 사용된다. HMD 전원(376)은 전력을 헤드 마운트형 디스플레이 디바이스(2)에 제공한다.
상기에서 언급된 바와 같이, 다양한 타입의 프로세싱 디바이스가 본 기술과 함께 활용될 수도 있다. 도 9는 모바일 또는 태블릿 컴퓨팅 디바이스를 예시하는 블록도이다. 도 9는 본원에서 설명되는 기술의 실시형태에서 동작할 수도 있는 예시적인 모바일 또는 태블릿 디바이스(예를 들면, 디바이스(44))의 블록도이다. 통상적인 모바일 디바이스의 예시적인 전자 회로가 묘사된다. 디바이스(700)는 하나 이상의 마이크로프로세서(712), 및 본원에서 설명되는 기능성을 구현하기 위해 제어 프로세서(712) 중 하나 이상의 프로세서에 의해 실행되는 프로세서 판독가능 코드를 저장하는 메모리(예를 들면, ROM과 같은 불휘발성 메모리 및 RAM과 같은 휘발성 메모리)를 포함한다.
모바일 디바이스(700)는, 예를 들면, 프로세서(712), 애플리케이션을 포함하는 메모리(710) 및 불휘발성 스토리지를 포함할 수도 있다. 프로세서(712)는 통신뿐만 아니라, 본원에서 논의되는 상호작용 애플리케이션을 포함하는 임의의 수의 애플리케이션을 구현할 수 있다. 메모리(710)는 임의의 다양한 메모리 저장 매체 타입일 수 있는데, 불휘발성 및 휘발성 메모리를 포함한다. 디바이스 오퍼레이팅 시스템은 모바일 디바이스(700)의 상이한 동작을 핸들링하고, 전화를 걸고 받는 것, 텍스트 메시징, 보이스메일 체킹 등등과 같은 동작에 대한 유저 인터페이스를 포함할 수도 있다. 애플리케이션(730)은 임의의 종류의 프로그램, 예컨대 사진 및/또는 비디오를 위한 카메라 애플리케이션, 주소록(address book), 캘린더 애플리케이션, 미디어 플레이어, 인터넷 브라우저, 게임, 기타 멀티미디어 애플리케이션, 알람 애플리케이션, 기타 써드파티 애플리케이션, 본원에서 논의된 컨텐츠 생성 애플리케이션 등등일 수 있다. 메모리(710)의 불휘발성 스토리지 컴포넌트(740)는 웹 캐시, 음악, 사진, 연락처 데이터(contact data), 스케줄링 데이터, 및 기타 파일과 같은 데이터를 포함한다.
프로세서(712)는 또한, 결국에는 안테나(702)에 커플링되는 RF 송신기/수신기 회로부(706)와, 적외선 송신기/수신기(708)와, 와이파이 또는 블루투스와 같은 추가적인 통신 채널(760)과, 그리고 가속도계와 같은 움직임/방위 센서(714)와 통신한다. 제스쳐를 통해 유저가 커맨드를 입력하게 하는 지능형 유저 인터페이스와 같은 애플리케이션, GPS 위성과의 접촉이 끊긴 이후 디바이스의 움직임과 방위를 계산하는 실내 GPS 기능성을 가능하게 하기 위해, 그리고 디바이스의 방향을 검출하고 디바이스의 회전시 가로방향에서 세로방향으로 디스플레이를 자동적으로 변경하기 위해, 가속도계는 모바일 디바이스에 통합되었다. 가속도계는, 예를 들면, 반도체 칩 상에 구축된 (마이크로미터 크기의) 미세한 기계적 디바이스인 마이크로 전자기계 시스템(micro-electromechanical system; MEMS)에 의해 제공될 수 있다. 가속도 방향뿐만 아니라, 방위, 진동 및 충격이 감지될 수 있다. 프로세서(712)는 또한, 링어(ringer)/진동기(716), 유저 인터페이스 키패드/스크린, 생체 센서 시스템(718), 스피커(720), 마이크(722), 카메라(724), 광 센서(726) 및 온도 센서(728)와 통신한다.
프로세서(712)는 무선 신호의 송신 및 수신을 제어한다. 송신 모드 동안, 프로세서(712)는 마이크(722)로부터의 보이스 신호, 또는 다른 데이터 신호를 RF 송신기/수신기 회로부(706)로 제공한다. 송신기/수신기 회로부(706)는 안테나(702)를 통한 통신을 위해 신호를 원격 스테이션(예를 들면, 고정국(fixed station), 오퍼레이터, 다른 셀룰러 전화 등등)으로 송신한다. 링어/진동기(716)는 유입 호출, 텍스트 메시지, 캘린더 리마인더, 알람 클록 리마인더, 또는 다른 통지를 유저에게 시그널링하기 위해 사용된다. 수신 모드 동안, 송신/수신 회로부(706)는 안테나(702)를 통해 원격 스테이션으로부터 보이스 또는 다른 데이터 신호를 수신한다. 수신된 보이스 신호는 스피커(720)로 제공되고 한편 다른 수신된 데이터 신호도 또한 적절히 프로세싱된다.
추가적으로, 모바일 디바이스(700)를 외부 전원, 예컨대 AC 어댑터 또는 전력이 인가되는 도킹 스테이션에 연결하기 위해, 물리적 커넥터(788)가 사용될 수 있다. 물리적 커넥터(788)는 또한, 컴퓨팅 디바이스로의 데이터 연결부로서 사용될 수 있다. 데이터 연결부는, 모바일 디바이스 데이터를 다른 디바이스 상의 컴퓨팅 데이터와 동기화시키는 것과 같은 동작을 허용한다.
유저의 위치를 애플리케이션으로 중계하기 위해 위성 기반의 무선 내비게이션을 활용하는 GPS 트랜시버(765)가 이러한 서비스를 위해 인에이블된다.
도면에서 예시되는 예시적인 프로세싱 시스템은 컴퓨터 판독가능 저장 매체의 예를 포함한다. 컴퓨터 판독가능 저장 매체는 또한 프로세서 판독가능 저장 매체이다. 이러한 매체는, 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위해 구현되는 휘발성 및 불휘발성의 착탈식 및 비착탈식 매체를 포함할 수도 있다. 컴퓨터 저장 매체는, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크(digital versatile disk; DVD) 또는 다른 광학 디스크 스토리지, 메모리 스틱 또는 카드, 자기 카세트, 자기 테이프, 미디어 드라이브, 하드 디스크, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스 등등을 포함하지만, 이들에 제한되지는 않는다.
상기에서 언급된 바와 같이, 월드 공간에 들이게 되는 시점 고정식 가상 오브젝트에 대해 생성되고 공유되는 정보는 중앙 서비스(900)를 이용하여 활용될 수도 있다. 하나의 양태에서, 중앙 서비스는 도 10에서 예시된다. 중앙 서비스(900)는 하나 이상의 프로세싱 디바이스 또는 서버 상에서 동작될 수도 있다. 중앙 서비스(900)의 논리 컴포넌트가 도 10에서 예시된다.
중앙 서비스(900)는 유저 정보(910), 유저 컨텐츠 정보(958), 써드파티 컨텐츠 정보(968), 써드파티 서비스 집성기(third-party service aggregator; 980), 매핑 엔진(985), 및 통신 인터페이스(995)를 포함할 수도 있다. 통신 인터페이스(995)는 중앙 서비스(900)가 씨쓰루 마운트형 디스플레이 디바이스(2), 태블릿(902) 및 모바일 폰(904)과 통신하는 것을 허용하는 임의의 수의 인터페이스, 전송 레이어 및 프로토콜을 포함할 수도 있다.
유저 정보(910)는, 중앙 서비스(900)의 유저에게 이용가능한 보안 정보에 액세스하기 이전에, 디바이스(2), 태블릿(902), 폰(phone; 904) 및 중앙 서비스(900)의 유저가 그들의 아이덴티티를 인증하는 것을 요구하는 로그인 정보(919)를 포함할 수 있다. 각각의 유저는 서비스(900)를 통해 유저의 주소록(914) 및 소셜 연락처 데이터(social contact data; 916)뿐만 아니라 유저의 로케이션 이력(918)을 입수할 수도 있다. 대안적인 실시형태에서, 유저 정보의 전체 또는 일부는 디바이스 상에서 로컬하게 저장될 수도 있다.
유저 컨텐츠 정보(958)는 컨텐츠 로케이션 정보(957) 및 유저가 생성하여 공유한 시점 고정 오브젝트(user-created shared perspective-locked object; 956)를 포함한다. 유저 컨텐츠 정보는 유저, 예컨대 상기의 유저(24)에 의해 생성되는, 중앙 서비스(900)의 다른 유저와의 공유를 위해 유저에 의해 받아들여진 공유된 가상 오브젝트에 대한 정보일 수도 있다. 오브젝트 로케이션 정보(957)는, 주어진 영역에 대해, 3차원 맵, 그 영역 내의 오브젝트의 로케이션뿐만 아니라 로케이션들, 및 오브젝트와 함께 활용될 마커를 포함할 수 있다. 공유된 오브젝트(956)는 오브젝트 로케이션 정보(957)에서의 정보와 연관되는 특정 오브젝트 데이터를 포함할 수 있다.
써드파티 컨텐츠 정보(968)는 또한, 오브젝트 로케이션 정보(967) 및 써드파티 시점 고정 오브젝트(966)를 포함한다. 써드파티 오브젝트는 써드파티 소셜 상호작용 서비스(990)로부터 이용가능한 컨텐츠 정보를 포함하는데, 그 컨텐츠 정보는 써드파티 서비스 집성기(980)를 통해 소셜 상호작용 서비스(990)로부터 취출된다. 써드파티 오브젝트(966)는 써드파티 소셜 상호작용 서비스(990)에 의해 생성될 수 있거나, 또는 써드파티 소셜 상호작용 서비스로부터 이용가능한 정보 및 매핑 엔진(985)을 사용하여 중앙 서비스에 의해 생성될 수 있다. 이 정보는 상기에서 논의된 허용가능한 렌더링 로케이션뿐만 아니라, 써드파티 소셜 상호작용 서비스의 유저로부터의 임의의 정보를 포함할 수도 있다.
써드파티 서비스 집성기(980)는 써드파티 소셜 미디어 서비스(990)로부터 정보를 취출하는데, 써드파티 소셜 미디어 서비스(990)의 각각은 가상 오브젝트를 상주시키기(populate) 위해 사용될 수 있는 정보를 제공할 수도 있다. 써드파티 서비스 집성기(980)는 써드파티 상호작용 서비스(990)의 각각의 애플리케이션 프로그래밍 인터페이스(application programming interface; API)와 상호작용한다.
매핑 엔진(985)은 글로벌 좌표 로케이션 정보를 유저로부터의 그리고 써드파티 서비스 집성기(980)로부터의 로케이션 데이터와 연관시킨다. 매핑 엔진(985)은 또한, 유저 디바이스로부터 로케이션 정보를 수신하고 유저 로케이션 이력(918)을 업데이트한다. 매핑 엔진은 또한, 씨쓰루 헤드 마운트형 디스플레이 디바이스(2), 태블릿(902) 및 폰(904)으로 3D 장면 데이터를 제공할 수도 있다. 이 정보는, 유저 로케이션 추적 정보가 디바이스(2)로부터 중앙 서비스(900)로 제공될 때 업데이트될 수 있다. 매핑 엔진(985)은 또한, 생성될 마커의 타입을 써드파티 정보 서비스 공급자와 연관시킬 수 있다.
소셜 상호작용 서비스(990)는 그들의 정보와 함께 그들이 정보를 제공하는 관심 지점에 대한 글로벌 좌표를 포함할 수도 있다. 많은 소셜 미디어 서비스(990)는, 그들의 리뷰와 함께, 이러한 글로벌 좌표 로케이션 정보를 포함한다. 매핑 엔진(985)은 이 정보를 검증할 수도 있거나, 또는 글로벌 좌표 정보를 유저 생성 데이터에 추가할 수도 있다. 이 로케이션은 유저의 로케이션 이력뿐만아니라, 특정 관심 지점에 대한 정보를 유저가 생성하는 시간에서의 입력으로부터 유도될 수 있다.
써드파티 서비스 집성기(980)는 또한, 소유자/오퍼레이터 및 19에 의해 공개적으로 공유된 오브젝트 소스로부터 오브젝트 정의를 수신할 수도 있다. 오브젝트는, 시설(facilities)의 소유자 및 오퍼레이터에 의해 제공될 수도 있는데, 시설은 그들의 특정 설립과 연관되는 포인트 오브젝트를 갖는다.
공유된 오브젝트(956) 및 써드파티 오브젝트(966)는 오브젝트 렌더링 데이터 정보뿐만 아니라 오브젝트를 렌더링하기를 시도하는 소비 디바이스에 대한 하나 이상의 허용가능한 소비 로케이션, 하나 이상의 허용가능한 소비 위치, 및 하나 이상의 허용가능한 소비 방위를 포함한다. 중앙 서비스(900)는, 씨쓰루 헤드 마운트형 디스플레이 디바이스의 착용자에게 중앙 서비스를 제공하도록 한 명 이상의 시스템 관리자에 의해 동작될 수도 있다.
도 11은, 본 기술에 따른, 공유가능한 시점 고정식 가상 오브젝트를 생성하는 방법을 예시하는 플로우차트이다. 도 11의 방법은 헤드 마운트형 디스플레이 디바이스(2) 및/또는 프로세싱 유닛(4)의 컴포넌트에 의해 수행될 수도 있다. 단독으로 작동하는 또는 시스템의 다른 것과 연계하여 작동하는 프로세싱 유닛(4) 및/또는 헤드 마운트형 디스플레이 디바이스(2) 중 임의의 하나 이상은 그 방법의 전체 또는 일부를 수행할 수도 있다.
도 11을 참조하면, 단계 1100에서, 장면 데이터 생성을 시도하고 있는 유저에 대한 유저 로케이션이 결정된다. 유저 로케이션은 유저 디바이스에서 송신되는 GPS로부터 유도될 수도 있고 유저의 위치를 설명하는 글로벌 로케이션 좌표를 제공한다.
단계 1102에서, 장면의 3차원 지오메트리(geometry)뿐만 아니라 유저가 위치된 장소 주위의 장면 내의 오브젝트의 지오메트리 및 위치를 식별하는 장면 맵이 발생될 수도 있다. 실시형태에서, 주어진 프레임에서 생성되는 장면 맵은, 공통 환경에서의 모든 유저, 실세계 오브젝트 및 가상 오브젝트의 로컬 좌표계에서의 x, y 및 z 위치를 포함할 수도 있다. 장면 맵은 가상 오브젝트를 장면 내에서 위치시키는 데뿐만 아니라, 가상의 3차원 오브젝트를 적절히 차단하면서 디스플레이하는 데 사용될 수도 있다(가상의 3차원 오브젝트는 차단될 수도 있거나, 또는 가상의 3차원 오브젝트는 실세계 오브젝트 또는 다른 가상의 차원 오브젝트를 차단할 수도 있다). 장면 맵은 유저와 연관되는 캡쳐 디바이스로부터 유도될 수도 있거나, 또는 중앙 서비스(900)에 의해 제공될 수도 있다.
단계 1104에서, 중앙 서비스로부터의 정보가 수신된다. 일 실시형태에서, 단계 1104는 수행될 필요가 없다. 단계 1104에서 수신되는 정보는, 시점 고정식 오브젝트를 생성하기 위한 템플릿 및 가상 오브젝트 정의를 포함할 수도 있다. 가상 오브젝트에 대한 정보는, 시점 고정식 오브젝트가 더 빨리 생성되는 것을 허용하기 위해, 프로세싱 디바이스 또는 헤드 마운트형 디스플레이(2)에 캐싱될 수도 있다.
단계 1106에서, 유저의 캡쳐 디바이스의 위치, 방위 및 FOV의 결정이 이루어진다.
단계 1108에서, 로케이션, 방위, 위치 및 시야 데이터가 유저 시점으로 변환된다. 유저 시점은, 소정 타입의 공유된 가상 오브젝트에 대한 허용가능한 렌더링 위치를 결정하도록 활용될 수도 있다.
단계 1112에서, 시점 고정식 가상 오브젝트에 대한 유저 생성 컨텐츠가 캡쳐된다. 기술에 따르면, 유저 생성 컨텐츠는, 상이한 타입의 컴퓨팅 시스템과 연관하여 상기에서 논의된 센서 디바이스에 의해 캡쳐될 수 있는 임의의 타입의 컨텐츠일 수도 있다. 이것은 오디오 데이터, 비주얼 데이터, 모션 데이터, 및 텍스트를 포함한다. 유저 생성 컨텐츠는, 렌더링될 시점 고정식 가상 오브젝트를 구축하도록 활용된다. 1115에서, 위치, 방위, 및 로케이션 정보는 유저 생성 컨텐츠와 연관된다. 또한, 오브젝트가 월드 고정식 오브젝트로서 정의되는 경우, 다수의 상이한 시점으로부터 디스플레이가능한, 그리고 허용가능한 소비 위치, 로케이션 및 방위가 정의될 수도 있다.
도 1a 내지 도 1d에 도시된 예에서, 단일의 시점은 로케이션, 방위 및 위치에 기초하여 정의될 수도 있다. 도 4b에 도시된 예에서, 다수의 시점이 정의될 수도 있고 그러므로 다수의 상이하고 허용가능한 소비 로케이션이 월드 고정식 가상 오브젝트에 대해 이용가능하다.
1117에서, 가상 오브젝트는 제2 유저와 공유되거나 중앙 서비스(900)로 송신된다.
도 12는 본 기술에 따라 가상 오브젝트를 보기를 원하는 소비하는 유저의 디바이스(소비용 디바이스)에 의해 수행되는 방법을 예시한다.
1202에서, 소비하는 유저의 로케이션이 결정된다. 그 로케이션은 가상 오브젝트와 연계하여 활용되는 글로벌 좌표계를 참조로 결정될 것이다. 단계 1204에서, 장면 맵 데이터가 상기의 단계 1102와 유사한 방식으로 수집된다.
단계 1206 및 1208에서, 시점 고정식 오브젝트는 다른 파티로부터 수집될 수도 있다. 1206에서, 써드파티 기여자(contributor)로부터의 오브젝트가 취출된다. 1208에서, 오브젝트 유저 공유 정보(user shared information)가 1208에서 수집될 수도 있다. 공유된 시점 고정식 가상 오브젝트는 단계 1206 및 1208에서 중앙 서비스(900)로부터, 또는 다른 유저 기여자로부터 직접적으로 제공될 수도 있다. 몇몇 실시형태에서, 써드파티 기여자로부터의 정보는 소비하는 유저의 디바이스로 직접적으로 송신될 수도 있다. 추가 실시형태에서, 유저 공유 정보는 단계 1208에서 소비하는 유저와 접촉하는 유저에 의해 제공될 수도 있다. 소비하는 유저와 접촉하는 유저는 유저의 주소록과 연관되는 개인, 직접 아는 사람, 또는 소셜 미디어 서비스를 통해 소비 유저와 연관되는 것으로 식별되는 지인(예를 들면, "친구")일 수도 있다.
1209에서, 유저의 캡쳐 디바이스의 위치, 방위 및 FOV의 결정이 이루어진다.
도 3c 및 도 4a에서 예시된 것과 같은 마커가 사용되는 경우, 1210에서, 유저가 하나 이상의 마커에 근접한지 또는 근접하지 않은지에 관한 초기 결정이 이루어진다. 본질적으로, 1210에서의 결정은, 마커가 환경에서의 그들의 연관된 실세계 로케이션에서 소비용 디바이스의 시야 내에 들어올 것인지의 여부이다. 마커의 사용은 본 기술에 의해 요구되지 않는다는 것이 이해되어야 한다. 따라서 단계 1212는 옵션사항일 수도 있다. 소비하는 유저를 공유된 가상 오브젝트의 렌더링 로케이션 및 위치와 정렬하는 다른 시스템이 활용된다. 마커가 활용되고 마커가 유저에 대한 소비용 디바이스의 FOV 내에 있으면, 1212에서, 마커는 소비용 디바이스의 디스플레이에서 렌더링된다.
1214에서, 오브젝트 상호작용이 발생했는지 또는 발생하지 않았는지에 관한 결정이 이루어진다. 오브젝트 상호작용은 단계 1214에서 마커를 기준으로 공유된 오브젝트를 보는 것이 허용되는 위치, 로케이션 및 방위에 유저를 위치시키는 것만큼 간단할 수도 있다. 소비하는 유저의 디바이스가 그 위치, 로케이션 및 방위에 있으면, 오브젝트는 렌더링될 수도 있다. 다른 실시형태에서, 유저는 소비용 디바이스를 그 위치, 로케이션 및 방위에 배치하기 이전에 마커를 액티브하게 선택할 수도 있다.
1216에서, 공유된 시점 고정식 가상 오브젝트가 허용할 수 있는 소비 위치가 결정된다. 상기에서 언급된 바와 같이, 몇몇 오브젝트는, 소비가 발생할 수도 있는 단지 하나의 위치, 방위, 및 로케이션만을 구비한다. 다른 오브젝트는 많은 허용가능한 소비 위치, 방위, 및 로케이션을 구비한다.
단계 1220에서, 적절한 소비를 위한 오브젝트를 기준으로 하는 유저 시점이 발생하도록 하는 위치, 로케이션 및 방위에 유저 및 소비용 디바이스가 있을 때, 공유된 시점 고정식 가상 오브젝트는 유저에 대해 렌더링된다. 소비는, 나타내어진 것에 대한 사진을 시각화하는 것, 특정 레코딩 사운드 및 특정 시간을 듣는 것, 비디오를 보는 것, 텍스트를 읽는 것, 상호작용식 3차원 가상 오브젝트와 플레이하는 것 등등일 수도 있다.
단계 1220을 수행하기 위한 일 실시형태의 추가 상세는 도 13에서 예시된다.
몇몇 경우에서, 공유된 시점 고정식 가상 오브젝트의 유저 수정이 허용된다. 단계 1224에서, 오브젝트의 유저 수정이 발생하였는지 또는 발생하지 않았는지에 관한 결정이 이루어진다. 공유된 오브젝트에 대한 퍼미션이, 오브젝트의 유저 추가, 주석달기, 또는 변경을 허용하면, 유저 수정은 이러한 수정을 포함할 수도 있다. 오브젝트의 유저 수정이 발생하면, 1226에서, 오브젝트에 대한 데이터는 업데이트되고 디스플레이된다. 1228에서 컨텐츠 소비가 종료되면, 방법은 1230에서 다음 오브젝트로 이동한다.
도 13은 도 12의 단계 1220을 수행하기 위한 한 방법을 예시한다. 1302에서, 특정 오브젝트에 대한 적절한 컨텐츠 소비 방위, 로케이션, 위치, 및 시점에 관한 결정이 이루어진다. 단계 1302에서 취출되는 정보는, 허용가능한 렌더링 위치가 발생하는 하나 이상의 가상 오브젝트로부터 이용가능한 정보를 정의한다. 소비용 디바이스 로케이션, 방위, 위치, 및 시야는 1304에서 취출된다.
1306에서, 렌더링될 공유된 시점 고정식 가상 오브젝트가 월드 고정식인지 아닌지 또는 로컬 고정식인지 아닌지에 관한 초기 결정이 이루어진다.
월드 고정식 가상 오브젝트는, 오브젝트의 위치가 물리적 오브젝트의 로케이션 및 방위에 고정되는 도 4b에서 예시된 그러한 것이다. 로컬 고정식 가상 오브젝트는, 소비 위치가 유저의 특정 시점에 고정되는 것이다.
공유된 시점 고정식 가상 오브젝트가 로컬 고정식 오브젝트이면, 1312에서, 소비용 디바이스 위치, 로케이션, 및 방위가 허용가능한 소비 위치와 매칭하는지 또는 매칭하지 않는지에 관한 결정이 이루어진다. 이 경우, 허용가능한 소비 위치는 단일의 허용가능한 소비 위치로서 정의될 수도 있다. 만약 아니면, 1314에서, 로케이션, 위치, 및 방위에 매칭하는 데 필요한 로케이션, 위치, 및 방위에 대한 변경의 결정이 이루어질 수도 있고, 유저의 로케이션, 방위, 및 위치를 교정하기 위한 방향적 안내가 1316에서 렌더링될 수도 있다. 이것은 유저가 가상 오브젝트의 정확한 소비를 위한 위치로 이동하는 것을 허용한다. 방향은 시각적 또는 청각적 형태로 제공될 수도 있다. 1318에서, 유저 및 소비 디바이스가 이동하였는지 또는 이동하지 않았는지에 관한 결정이 이루어지며, 만약 이동하였다면 실제 디바이스 위치와 허용가능한 소비 위치 사이의 매칭의 검출이 1312에서 다시 이루어진다. 1312에서, 유저의 소비용 디바이스가 허용가능한 소비 위치와 매칭하면, 공유된 시점 고정식 가상 오브젝트는 1340에서 렌더링된다.
1316에서, 공유된 시점 고정식 가상 오브젝트가 월드 고정식 오브젝트이면, 1320에서, 소비용 디바이스가 다수의 허용가능한 위치, 방위, 및 로케이션 중 하나에 있는지 또는 있지 않는지에 관한 결정이 이루어진다. 일 양태에서, 허용가능한 소비 위치는 소비 디바이스의 로케이션, 위치, 및 방위를 결정하는 것에 의해 결정될 수도 있다. 다른 양태에서 월드 고정식 오브젝트의 경우, 허용가능한 소비 위치는, 가상 오브젝트가 정의되어야 하는 실세계 오브젝트를 기준으로 하는 소비용 디바이스의 시야를 결정하는 것에 의해 결정될 수도 있다.
소비용 디바이스 로케이션, 위치, 및 방위와 허용가능한 위치 사이에 매칭이 발생하면, 1322에서, 오브젝트는 월드 고정식 위치에서 렌더링된다. 1322에서, 유저 시점 변경의 결정이 1324에서 이루어지고, 공유된 시점 고정식 가상 오브젝트를 기준으로 유저의 시점이 변하면, 1326에서 변경이 계산되고, 공유된 시점 고정식 가상 오브젝트와 연관하여 허용가능한 로케이션, 위치, 및 방위에 소비용 디바이스가 있다는 것을 보장하기 위해, 방법은 단계 1320으로 리턴한다. 소비용 디바이스가 1320에서 정확한 위치에 있지 않으면, 1350에서 어떠한 오브젝트 렌더링도 발생하지 않는다.
비록 본 주제가 구조적 특징 및/또는 방법론적 액트(act)에 고유한 언어로 설명되었지만, 첨부의 청구범위에서 정의되는 주제가 상기에서 설명되는 특정 특징 또는 액트로 반드시 제한되는 것은 아니다는 것이 이해되어야 한다. 오히려, 상기에서 설명되는 특정 특징 및 액트는 청구범위를 구현하는 예시적인 형태로서 설명된다.

Claims (17)

  1. 씨쓰루 헤드 마운트형 디스플레이(see-through head mounted display)에서 공유된 가상 오브젝트를 렌더링하는 방법에 있어서,
    공유된 가상 오브젝트에 대한 오브젝트 로케이션 데이터 및 소비 데이터(consumption data) - 상기 오브젝트 로케이션 데이터는 적어도 글로벌 좌표계에 대한 오브젝트 지리적 로케이션을 포함하고, 상기 소비 데이터는 소비 디바이스의 로컬 좌표계에 대한 상기 공유된 가상 오브젝트를 소비하기 위한 단독 소비 위치 및 단독 소비 방위를 포함함 - 를 수신하는 단계;
    적어도 상기 소비 디바이스가 상기 오브젝트 지리적 로케이션의 방향으로부터 이격(distal)되고 상기 오브젝트 지리적 로케이션의 방향에서 포인팅될(pointed) 때, 상기 오브젝트 지리적 로케이션에 대응하는 마커 위치 - 상기 마커 위치는 상기 공유된 가상 오브젝트가 뷰잉될 수 있는 단독 지리적 로케이션임 - 에서, 상기 공유된 가상 오브젝트와 연관되는 가상 마커를 디스플레이하는 단계;
    상기 마커 위치에 대한 상기 소비 디바이스의 지리적 로케이션을 결정하는 단계;
    상기 로컬 좌표계에서의 소비 디바이스 위치 및 소비 디바이스 방위를 결정하는 단계; 및
    상기 소비 디바이스 위치 및 소비 디바이스 방위가 각각 상기 단독 소비 위치 및 단독 소비 방위와 매칭되는 것에 응답하여, 그리고 상기 소비 디바이스의 지리적 로케이션이 상기 마커 위치와 매칭되는 것에 응답하여, 상기 소비 디바이스에 상기 공유된 가상 오브젝트를 출력하는 단계
    를 포함하는, 씨쓰루 헤드 마운트형 디스플레이에서 공유된 가상 오브젝트를 렌더링하는 방법.
  2. 제1항에 있어서,
    상기 공유된 가상 오브젝트가, 상기 공유된 가상 오브젝트를 생성하는데 사용되는 캡처 디바이스와 동일한 상기 소비 디바이스에 대한 시점(perspective)을 갖도록, 상기 소비 디바이스는 상기 오브젝트 지리적 로케이션, 상기 단독 소비 위치, 및 상기 단독 소비 방위에서 상기 공유된 가상 오브젝트를 출력하는 것인, 씨쓰루 헤드 마운트형 디스플레이에서 공유된 가상 오브젝트를 렌더링하는 방법.
  3. 제1항에 있어서,
    상기 지리적 로케이션을 결정하는 단계는, 상기 소비 디바이스의 배치가 상기 공유된 가상 오브젝트에 근접한 것, 및 상기 공유된 가상 오브젝트의 적어도 하나의 위치 및 방위가 상기 소비 디바이스의 시야 내에 있다는 것을 결정하는 단계를 포함하는 것인, 씨쓰루 헤드 마운트형 디스플레이에서 공유된 가상 오브젝트를 렌더링하는 방법.
  4. 제1항에 있어서,
    상기 공유된 가상 오브젝트는, 사운드, 시각적으로 디스플레이된 데이터, 사진(picture), 또는 비디오 중 하나 이상인 것인, 씨쓰루 헤드 마운트형 디스플레이에서 공유된 가상 오브젝트를 렌더링하는 방법.
  5. 제1항에 있어서,
    상기 소비 디바이스는 제1 타입의 프로세싱 디바이스이고, 상기 공유된 가상 오브젝트는 제2 타입의 프로세싱 디바이스에 의해 생성된 것인, 씨쓰루 헤드 마운트형 디스플레이에서 공유된 가상 오브젝트를 렌더링하는 방법.
  6. 공유된 시점 고정식 가상 오브젝트(perspective-locked virtual object)를 생성하기 위한 장치에 있어서,
    캡쳐 디바이스;
    상기 캡쳐 디바이스에 연결된 프로세싱 디바이스
    를 포함하고,
    상기 프로세싱 디바이스는 방법을 수행하도록 프로그래밍되고,
    상기 방법은,
    상기 캡쳐 디바이스의 위치를 결정하는 단계;
    상기 캡쳐 디바이스의 글로벌 좌표 로케이션, 위치, 및 방위를 결정하는 단계;
    공유된 시점 고정식 가상 오브젝트의 뷰잉을 가능하게 하는 파라미터들을 결정하는 단계로서, 공유된 가상 오브젝트 렌더링 데이터를 생성하는 단계를 포함하고, 상기 데이터는 상기 공유된 시점 고정식 가상 오브젝트에 대한 렌더링 로케이션 데이터를 포함하고, 상기 렌더링 로케이션 데이터는 적어도, 소비 디바이스의 시야 내의 로컬 좌표계에 대하여 상기 공유된 시점 고정식 가상 오브젝트에 대한 적어도 하나의 위치 및 적어도 하나의 방위와 글로벌 좌표 로케이션을 포함하고, 상기 파라미터들을 결정하는 단계는, 상기 공유된 시점 고정식 가상 오브젝트가 뷰잉 가능한 뷰잉 위치를 결정하는 단계를 포함하고, 상기 공유된 시점 고정식 가상 오브젝트는 상기 뷰잉 위치와 다른 위치로부터 뷰잉이 불가능하고, 상기 파라미터들을 결정하는 단계는 상기 뷰잉 위치의 로케이션을 나타내는 가상 마커를 생성하는 단계를 더 포함하고, 상기 가상 마커는 상기 가상 마커로부터 떨어진 거리로부터 볼 수 있는 것인, 상기 파라미터들을 결정하는 단계; 및
    상기 공유된 시점 고정식 가상 오브젝트를 공유하는 단계
    를 포함하는 것인, 시점 고정식 가상 오브젝트를 생성하기 위한 장치.
  7. 제6항에 있어서,
    상기 장치는, 상기 공유된 시점 고정식 가상 오브젝트와 연관된 상기 렌더링 로케이션 데이터 내에 포함된 글로벌 좌표 로케이션에, 상기 가상 마커를 할당하도록 상기 프로세싱 디바이스를 프로그래밍하는 코드를 더 포함하는 것인, 시점 고정식 가상 오브젝트를 생성하기 위한 장치.
  8. 제6항에 있어서,
    상기 장치는, 상기 공유된 시점 고정식 가상 오브젝트에 월드 고정식 상태 또는 로컬 고정식 상태를 할당하도록 상기 프로세싱 디바이스를 프로그래밍하는 코드를 더 포함하는 것인, 시점 고정식 가상 오브젝트를 생성하기 위한 장치.
  9. 제8항에 있어서,
    상기 장치는, 상기 공유된 시점 고정식 가상 오브젝트에 상기 월드 고정식 상태를 할당하도록 그리고 상기 공유된 시점 고정식 가상 오브젝트를 렌더링하기 위한 소비 디바이스에 대한 복수의 허용가능한 글로벌 좌표 로케이션, 허용 가능한 위치, 및 허용가능한 방위를 결정하도록, 상기 프로세싱 디바이스를 프로그래밍하는 코드를 더 포함하는 것인, 시점 고정식 가상 오브젝트를 생성하기 위한 장치.
  10. 제8항에 있어서,
    상기 장치는, 상기 공유된 시점 고정식 가상 오브젝트에 상기 로컬 고정식 상태를 할당하도록 그리고 상기 공유된 시점 고정식 가상 오브젝트를 로컬 고정식 오브젝트로서 렌더링하기 위한 소비 디바이스에 대한 하나의 허용가능한 글로벌 좌표 로케이션, 위치, 및 방위를 결정하도록, 상기 프로세싱 디바이스를 프로그래밍하는 코드를 더 포함하는 것인, 시점 고정식 가상 오브젝트를 생성하기 위한 장치.
  11. 제6항에 있어서,
    상기 캡쳐 디바이스는 적어도 오디오 센서 및 비디오 카메라를 포함하고, 상기 장치는 상기 오디오 센서 및 비디오 카메라를 사용하여 상기 공유된 시점 고정식 가상 오브젝트 렌더링 데이터를 캡쳐하도록 상기 프로세싱 디바이스를 프로그래밍하는 코드를 더 포함하는 것인, 시점 고정식 가상 오브젝트를 생성하기 위한 장치.
  12. 제6항에 있어서,
    디스플레이를 더 포함하고, 상기 장치는,
    또 다른 캡쳐 디바이스에 의해 생성되는 제2 공유된 시점 고정식 가상 오브젝트에 대한 렌더링 로케이션 데이터 - 상기 렌더링 로케이션 데이터는 각각의 허용가능한 로케이션, 허용가능한 위치, 및 허용가능한 방위 중 적어도 하나를 포함함 - 를 수신하고;
    상기 장치의 로케이션, 위치, 및 방위를 결정하고;
    상기 장치의 로케이션, 위치, 및 방위가 허용가능한 로케이션, 허용가능한 위치, 및 허용가능한 방위이면, 상기 디스플레이에 상기 공유된 시점 고정식 가상 오브젝트를 렌더링하도록
    상기 프로세싱 디바이스를 프로그래밍하는 코드를 더 포함하는 것인, 시점 고정식 가상 오브젝트를 생성하기 위한 장치.
  13. 공유된 가상 오브젝트를 렌더링하기 위한 소비 디바이스에 있어서,
    헤드 마운트형 디스플레이;
    상기 헤드 마운트형 디스플레이에 연결된 프로세서
    를 포함하고,
    상기 프로세서는,
    공유된 가상 오브젝트에 대한 오브젝트 로케이션 데이터 및 소비 데이터 - 상기 오브젝트 로케이션 데이터는 적어도 글로벌 좌표계에 대한 오브젝트 지리적 로케이션을 포함하고, 상기 소비 데이터는 상기 소비 디바이스의 로컬 좌표계에 대하여 상기 공유된 가상 오브젝트를 소비하기 위한 단독 소비 위치 및 단독 소비 방위를 포함함 - 를 수신하도록,
    적어도 상기 소비 디바이스가 상기 오브젝트 지리적 로케이션의 방향으로부터 이격되고 상기 오브젝트 지리적 로케이션의 방향에서 포인팅될 때, 상기 오브젝트 지리적 로케이션에 대응하는 마커 위치 - 상기 마커 위치는 상기 공유된 가상 오브젝트가 뷰잉될 수 있는 단독 지리적 로케이션임 - 에서, 상기 공유된 가상 오브젝트와 연관된 가상 마커를 디스플레이하도록,
    상기 마커 위치에 대한 상기 소비 디바이스의 지리적 로케이션을 결정하도록,
    상기 로컬 좌표계에서의 소비 디바이스 위치 및 소비 디바이스 방위를 결정하도록, 그리고
    상기 소비 디바이스 위치 및 상기 소비 디바이스 방위가 각각 상기 단독 소비 위치 및 상기 단독 소비 방위와 매칭되는 것에 응답하여 그리고 상기 소비 디바이스의 지리적 로케이션이 상기 마커 위치와 매칭되는 것에 응답하여, 상기 소비 디바이스에 상기 공유된 가상 오브젝트를 출력하도록
    구성되는 것인, 공유된 가상 오브젝트를 렌더링하기 위한 소비 디바이스.
  14. 제13항에 있어서,
    상기 프로세서는 또한, 상기 공유된 가상 오브젝트가, 상기 공유된 가상 오브젝트를 생성하는데 사용되는 캡처 디바이스와 동일한 상기 소비 디바이스에 대한 시점을 갖도록, 상기 오브젝트 지리적 로케이션, 상기 단독 소비 위치, 및 상기 단독 소비 방위에서 상기 공유된 가상 오브젝트를 디스플레이하도록 구성되는 것인, 공유된 가상 오브젝트를 렌더링하기 위한 소비 디바이스.
  15. 제13항에 있어서,
    상기 프로세서는 또한, 상기 소비 디바이스의 배치가 상기 공유된 가상 오브젝트에 근접한 것, 및 상기 공유된 가상 오브젝트의 적어도 하나의 위치 및 방위가 상기 소비 디바이스의 시야 내에 있다는 것을 결정하도록 구성되는 것인, 공유된 가상 오브젝트를 렌더링하기 위한 소비 디바이스.
  16. 제13항에 있어서,
    상기 공유된 가상 오브젝트는 사운드, 시각적으로 디스플레이된 데이터, 사진, 또는 비디오 중 하나 이상인 것인, 공유된 가상 오브젝트를 렌더링하기 위한 소비 디바이스.
  17. 제13항에 있어서,
    상기 소비 디바이스는 제1 타입의 프로세싱 디바이스이고, 상기 공유된 가상 오브젝트는 제2 타입의 프로세싱 디바이스에 의해 생성된 것인, 공유된 가상 오브젝트를 렌더링하기 위한 소비 디바이스.
KR1020167001401A 2013-06-18 2014-06-17 가상 오브젝트 방위 및 시각화 KR102289389B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/921,053 US10139623B2 (en) 2013-06-18 2013-06-18 Virtual object orientation and visualization
US13/921,053 2013-06-18
PCT/US2014/042647 WO2014204905A1 (en) 2013-06-18 2014-06-17 Virtual object orientation and visualization

Publications (2)

Publication Number Publication Date
KR20160021284A KR20160021284A (ko) 2016-02-24
KR102289389B1 true KR102289389B1 (ko) 2021-08-11

Family

ID=51168429

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020167001401A KR102289389B1 (ko) 2013-06-18 2014-06-17 가상 오브젝트 방위 및 시각화

Country Status (11)

Country Link
US (1) US10139623B2 (ko)
EP (2) EP3521981A1 (ko)
JP (1) JP6391685B2 (ko)
KR (1) KR102289389B1 (ko)
CN (1) CN105453011B (ko)
AU (1) AU2014281726B2 (ko)
BR (1) BR112015031234B1 (ko)
CA (1) CA2913650C (ko)
MX (1) MX371269B (ko)
RU (1) RU2670784C9 (ko)
WO (1) WO2014204905A1 (ko)

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9823737B2 (en) * 2008-04-07 2017-11-21 Mohammad A Mazed Augmented reality personal assistant apparatus
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9500865B2 (en) * 2013-03-04 2016-11-22 Alex C. Chen Method and apparatus for recognizing behavior and providing information
WO2014164901A1 (en) * 2013-03-11 2014-10-09 Magic Leap, Inc. System and method for augmented and virtual reality
CN108628446B (zh) 2013-03-15 2021-10-26 奇跃公司 显示***和方法
US9552675B2 (en) * 2013-06-03 2017-01-24 Time Traveler App Llc Display application and perspective views of virtual space
US9607437B2 (en) * 2013-10-04 2017-03-28 Qualcomm Incorporated Generating augmented reality content for unknown objects
US20150145887A1 (en) * 2013-11-25 2015-05-28 Qualcomm Incorporated Persistent head-mounted content display
JP2015149634A (ja) 2014-02-07 2015-08-20 ソニー株式会社 画像表示装置および方法
JP2015228050A (ja) * 2014-05-30 2015-12-17 ソニー株式会社 情報処理装置および情報処理方法
CA2964514C (en) 2014-10-15 2021-07-20 Dirtt Environmental Solutions, Ltd. Virtual reality immersion with an architectural design software application
US10140768B2 (en) * 2014-10-17 2018-11-27 Seiko Epson Corporation Head mounted display, method of controlling head mounted display, and computer program
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的***和方法
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
US9916002B2 (en) * 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US20170061700A1 (en) * 2015-02-13 2017-03-02 Julian Michael Urbach Intercommunication between a head mounted display and a real world object
US10216982B2 (en) * 2015-03-12 2019-02-26 Microsoft Technology Licensing, Llc Projecting a virtual copy of a remote object
JP6367166B2 (ja) 2015-09-01 2018-08-01 株式会社東芝 電子機器及び方法
US9947140B2 (en) * 2015-09-15 2018-04-17 Sartorius Stedim Biotech Gmbh Connection method, visualization system and computer program product
US10496156B2 (en) * 2016-05-17 2019-12-03 Google Llc Techniques to change location of objects in a virtual/augmented reality system
US11468111B2 (en) 2016-06-01 2022-10-11 Microsoft Technology Licensing, Llc Online perspective search for 3D components
WO2017214559A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality architectural design environment
CA3000008A1 (en) 2016-06-10 2017-12-14 Dirtt Environmental Solutions, Inc. Mixed-reality and cad architectural design environment
EP3273707B1 (en) * 2016-07-20 2019-10-16 Deutsche Telekom AG Method and system for displaying location specific content by a head mounted display device
CN106250084B (zh) * 2016-07-29 2017-08-08 广东欧珀移动通信有限公司 视频录制方法、装置及移动终端
US10466474B2 (en) * 2016-08-04 2019-11-05 International Business Machines Corporation Facilitation of communication using shared visual cue
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
US10950049B1 (en) * 2016-09-30 2021-03-16 Amazon Technologies, Inc. Augmenting transmitted video data
US10943396B1 (en) 2016-09-30 2021-03-09 Amazon Technologies, Inc. Synchronizing transmitted video data and enhancements
US11295525B1 (en) 2016-09-30 2022-04-05 Amazon Technologies, Inc. Augmenting transmitted video data
CN106405840A (zh) * 2016-10-31 2017-02-15 沈阳工业大学 具有导航功能的头盔式增强现实眼镜
WO2018093923A1 (en) * 2016-11-16 2018-05-24 Magic Leap, Inc. Mixed reality system with reduced power rendering
US10499997B2 (en) 2017-01-03 2019-12-10 Mako Surgical Corp. Systems and methods for surgical navigation
US10534429B2 (en) 2017-01-10 2020-01-14 International Business Machines Corporation Method of instant sharing invoked from wearable devices
US10348725B2 (en) 2017-01-10 2019-07-09 International Business Machines Corporatino Method of instant sharing invoked from wearable devices
EP3585254B1 (en) 2017-02-24 2024-03-20 Masimo Corporation Medical device cable and method of sharing data between connected medical devices
US11024064B2 (en) * 2017-02-24 2021-06-01 Masimo Corporation Augmented reality system for displaying patient data
US11086396B2 (en) * 2017-03-31 2021-08-10 Sony Interactive Entertainment LLC Depth-keying of web content
US10388077B2 (en) * 2017-04-25 2019-08-20 Microsoft Technology Licensing, Llc Three-dimensional environment authoring and generation
EP3622529A1 (en) 2017-05-08 2020-03-18 Masimo Corporation System for pairing a medical system to a network controller by use of a dongle
CN109426419B (zh) * 2017-09-05 2022-06-03 菜鸟智能物流控股有限公司 界面显示方法及相关设备
CN117934775A (zh) * 2017-09-22 2024-04-26 麦克赛尔株式会社 车辆
US11062517B2 (en) 2017-09-27 2021-07-13 Fisher-Rosemount Systems, Inc. Virtual access to a limited-access object
GB2568138B (en) * 2017-09-27 2023-02-08 Fisher Rosemount Systems Inc 3D Mapping of a process control environment
CN111052045B (zh) * 2017-09-29 2022-07-15 苹果公司 计算机生成的现实平台
CN110415293B (zh) * 2018-04-26 2023-05-23 腾讯科技（深圳）有限公司 交互处理方法、装置、***和计算机设备
US11677833B2 (en) * 2018-05-17 2023-06-13 Kaon Interactive Methods for visualizing and interacting with a three dimensional object in a collaborative augmented reality environment and apparatuses thereof
US20190385372A1 (en) * 2018-06-15 2019-12-19 Microsoft Technology Licensing, Llc Positioning a virtual reality passthrough region at a known distance
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
WO2020047486A1 (en) 2018-08-31 2020-03-05 Magic Leap, Inc. Spatially-resolved dynamic dimming for augmented reality device
CN111200754B (zh) * 2018-11-16 2021-08-10 北京字节跳动网络技术有限公司 一种全景视频的播放方法、装置、终端及存储介质
JP2022517207A (ja) 2019-01-11 2022-03-07 マジック リープ， インコーポレイテッド 種々の深度における仮想コンテンツの時間多重化された表示
KR20200098034A (ko) * 2019-02-11 2020-08-20 삼성전자주식회사 가상 현실 유저 인터페이스를 제공하기 위한 전자 장치 및 그의 동작 방법
CN113508361A (zh) 2019-05-06 2021-10-15 苹果公司 用于呈现计算机生成现实文件的设备、方法和计算机可读介质
EP3942394A1 (en) 2019-05-06 2022-01-26 Apple Inc. Device, method, and graphical user interface for composing cgr files
US10885819B1 (en) * 2019-08-02 2021-01-05 Harman International Industries, Incorporated In-vehicle augmented reality system
US11704874B2 (en) 2019-08-07 2023-07-18 Magic Leap, Inc. Spatial instructions and guides in mixed reality
EP4014468A4 (en) 2019-08-12 2022-10-19 Magic Leap, Inc. SYSTEMS AND PROCESSES FOR VIRTUAL AND AUGMENTED REALITY
EP3936978B1 (en) 2020-07-08 2023-03-29 Nokia Technologies Oy Object display
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
RU2759773C1 (ru) * 2020-10-21 2021-11-17 Публичное Акционерное Общество "Сбербанк России" (Пао Сбербанк) Способ и система определения местоположения пользователя
EP4016251A1 (en) * 2020-12-16 2022-06-22 Hitachi Energy Switzerland AG Portable display device with overlaid virtual information
KR102580559B1 (ko) * 2021-01-08 2023-09-21 한국전자통신연구원 시각적 정보를 이용한 통역 결과 제공 방법, 장치 및 시스템
JP7078941B1 (ja) * 2021-02-10 2022-06-01 株式会社 無重力 情報共有プログラム及び情報処理装置
US11647161B1 (en) 2022-05-11 2023-05-09 Iniernational Business Machines Corporation Resolving visibility discrepencies of virtual objects in extended reality devices
US20240071002A1 (en) * 2022-08-30 2024-02-29 Rovi Guides, Inc. Systems and methods for pinning content items to locations in an augmented reality display based on user preferences

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078224A (ja) 2010-10-01 2012-04-19 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
US20130083173A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus

Family Cites Families (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04250436A (ja) 1991-01-11 1992-09-07 Pioneer Electron Corp 撮像装置
US6597818B2 (en) 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
KR100444981B1 (ko) 2000-12-15 2004-08-21 삼성전자주식회사 착용형 디스플레이 시스템
US7693702B1 (en) 2002-11-01 2010-04-06 Lockheed Martin Corporation Visualizing space systems modeling using augmented reality
US7401920B1 (en) 2003-05-20 2008-07-22 Elbit Systems Ltd. Head mounted eye tracking and display system
US7391424B2 (en) * 2003-08-15 2008-06-24 Werner Gerhard Lonsing Method and apparatus for producing composite images which contain virtual objects
IL157837A (en) 2003-09-10 2012-12-31 Yaakov Amitai Substrate-guided optical device particularly for three-dimensional displays
US7737965B2 (en) * 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US8160400B2 (en) 2005-11-17 2012-04-17 Microsoft Corporation Navigating images using image based geometric alignment and object based controls
US20080147325A1 (en) 2006-12-18 2008-06-19 Maassel Paul W Method and system for providing augmented reality
JP5044817B2 (ja) 2007-11-22 2012-10-10 インターナショナル・ビジネス・マシーンズ・コーポレーション 仮想空間を構築するための画像処理方法、装置
US20090289955A1 (en) 2008-05-22 2009-11-26 Yahoo! Inc. Reality overlay device
US8108778B2 (en) 2008-09-30 2012-01-31 Yahoo! Inc. System and method for context enhanced mapping within a user interface
DE102009037835B4 (de) * 2009-08-18 2012-12-06 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer realen Umgebung
US8773465B2 (en) * 2009-09-11 2014-07-08 Trimble Navigation Limited Methods and apparatus for providing navigational information associated with locations of objects
US20110214082A1 (en) * 2010-02-28 2011-09-01 Osterhout Group, Inc. Projection triggering through an external marker in an augmented reality eyepiece
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US9170766B2 (en) 2010-03-01 2015-10-27 Metaio Gmbh Method of displaying virtual information in a view of a real environment
KR101572892B1 (ko) * 2010-05-06 2015-11-30 엘지전자 주식회사 이동 단말기 및 이것의 영상 디스플레이 방법
US9292973B2 (en) * 2010-11-08 2016-03-22 Microsoft Technology Licensing, Llc Automatic variable virtual focus for augmented reality displays
US20120113145A1 (en) 2010-11-08 2012-05-10 Suranjit Adhikari Augmented reality surveillance and rescue system
US8576276B2 (en) * 2010-11-18 2013-11-05 Microsoft Corporation Head-mounted display device which provides surround video
CN103493106B (zh) * 2011-03-29 2017-11-07 高通股份有限公司 使用骨骼跟踪来选择性地将手遮蔽在物理表面上的虚拟投影之上的方法和装置
JP5675470B2 (ja) 2011-04-01 2015-02-25 オリンパス株式会社 画像生成システム、プログラム及び情報記憶媒体
US8332424B2 (en) * 2011-05-13 2012-12-11 Google Inc. Method and apparatus for enabling virtual tags
US8629815B2 (en) 2011-08-09 2014-01-14 Google Inc. Laser alignment of binocular head mounted display
US9153195B2 (en) * 2011-08-17 2015-10-06 Microsoft Technology Licensing, Llc Providing contextual personal information by a mixed reality device
US9285592B2 (en) 2011-08-18 2016-03-15 Google Inc. Wearable device with input and output structures
US20130083008A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Enriched experience using personal a/v system
US9497501B2 (en) * 2011-12-06 2016-11-15 Microsoft Technology Licensing, Llc Augmented reality virtual monitor
US8635021B2 (en) * 2012-05-04 2014-01-21 Google Inc. Indicators for off-screen content

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078224A (ja) 2010-10-01 2012-04-19 Olympus Corp 画像生成システム、プログラム及び情報記憶媒体
US20130083173A1 (en) 2011-09-30 2013-04-04 Kevin A. Geisner Virtual spectator experience with a personal audio/visual apparatus

Also Published As

Publication number Publication date
CN105453011B (zh) 2019-04-30
AU2014281726A1 (en) 2015-12-10
CA2913650A1 (en) 2014-12-24
MX2015017875A (es) 2016-04-13
KR20160021284A (ko) 2016-02-24
JP2016533565A (ja) 2016-10-27
US10139623B2 (en) 2018-11-27
MX371269B (es) 2020-01-23
WO2014204905A1 (en) 2014-12-24
BR112015031234B1 (pt) 2022-04-26
RU2670784C9 (ru) 2018-11-23
EP3011418A1 (en) 2016-04-27
EP3011418B1 (en) 2019-11-06
AU2014281726B2 (en) 2019-05-02
RU2670784C2 (ru) 2018-10-25
BR112015031234A8 (pt) 2020-03-24
JP6391685B2 (ja) 2018-09-19
RU2015154279A3 (ko) 2018-05-14
BR112015031234A2 (pt) 2017-07-25
EP3521981A1 (en) 2019-08-07
CN105453011A (zh) 2016-03-30
CA2913650C (en) 2021-01-19
RU2015154279A (ru) 2017-06-22
US20140368532A1 (en) 2014-12-18

Similar Documents

Publication Publication Date Title
KR102289389B1 (ko) 가상 오브젝트 방위 및 시각화
US9235051B2 (en) Multi-space connected virtual data objects
US10132633B2 (en) User controlled real object disappearance in a mixed reality display
US9122321B2 (en) Collaboration environment using see through displays
US9618747B2 (en) Head mounted display for viewing and creating a media file including omnidirectional image data and corresponding audio data
US8963956B2 (en) Location based skins for mixed reality displays
US9645394B2 (en) Configured virtual environments
US20230350628A1 (en) Intuitive augmented reality collaboration on visual data
CN106716303B (zh) 稳定交互射线的运动
US11314323B2 (en) Position tracking system for head-mounted displays that includes sensor integrated circuits
US9146398B2 (en) Providing electronic communications in a physical world
US20230217007A1 (en) Hyper-connected and synchronized ar glasses
KR20240027121A (ko) 음성 제어 설정들 및 탐색

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant