KR20180008631A - 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들 - Google Patents

증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들 Download PDF

Info

Publication number
KR20180008631A
KR20180008631A KR1020177035994A KR20177035994A KR20180008631A KR 20180008631 A KR20180008631 A KR 20180008631A KR 1020177035994 A KR1020177035994 A KR 1020177035994A KR 20177035994 A KR20177035994 A KR 20177035994A KR 20180008631 A KR20180008631 A KR 20180008631A
Authority
KR
South Korea
Prior art keywords
augmented reality
displaying
camera
detachable camera
attached
Prior art date
Application number
KR1020177035994A
Other languages
English (en)
Other versions
KR102331780B1 (ko
Inventor
게리 알. 브래드스키
Original Assignee
매직 립, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 매직 립, 인코포레이티드 filed Critical 매직 립, 인코포레이티드
Publication of KR20180008631A publication Critical patent/KR20180008631A/ko
Application granted granted Critical
Publication of KR102331780B1 publication Critical patent/KR102331780B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/27—Server based end-user applications
    • H04N21/274—Storing end-user multimedia data in response to end-user request, e.g. network recorder
    • H04N21/2743—Video hosting of uploaded data from client
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63G—MERRY-GO-ROUNDS; SWINGS; ROCKING-HORSES; CHUTES; SWITCHBACKS; SIMILAR DEVICES FOR PUBLIC AMUSEMENT
    • A63G31/00—Amusement arrangements
    • A63G31/16—Amusement arrangements creating illusions of travel
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • H04N13/0459—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50—Constructional details
    • H04N23/51—Housings
    • H04N5/2252—
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Geometry (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Remote Sensing (AREA)

Abstract

증강 현실 디스플레이 디바이스는, 증강 현실 디스플레이 디바이스에 대한 하나 또는 그 초과의 컴포넌트들을 위한 하우징 ― 하나 또는 그 초과의 컴포넌트들은 사용자의 주변에 관련된 정보를 캡처하기 위한 복수의 센서들을 포함하고, 복수의 센서들 중 적어도 하나의 센서는 이미지-기반 센서임 ― , 복수의 센서들로부터 리트리브된 데이터의 세트를 프로세싱하도록 하우징에 통신 가능하게 커플링되는 프로세싱 모듈을 포함하고, 프로세싱 모듈은 데이터가 클라우드로 업로드되도록 선택적으로 허용하는 게이팅 메커니즘 및 증강 현실 디스플레이 디바이스의 하우징에 제거 가능하게 부착되는 탈착 가능한 카메라를 포함하여, 탈착 가능한 카메라가 증강 현실 디스플레이 디바이스의 하우징에 부착될 때, 게이팅 메커니즘은 탈착 가능한 카메라로부터 리트리브된 데이터가 클라우드에 업로드되도록 개방된다.

Description

증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들
[0001] 본 발명은 하나 또는 그 초과의 소비자 카메라들을 증강 현실 시스템에 커플링하기 위한 시스템들 및 방법들에 관한 것이다.
[0002] 현대 컴퓨팅 및 디스플레이 기술들은 소위 "가상 현실" 또는 "증강 현실" 경험들을 위한 시스템들의 개발을 가능하게 하였고, 여기서 디지털 방식으로 재생되는 이미지들 또는 이미지들의 부분들은, 그들이 실제인 것으로 보이거나, 실제로서 지각될 수 있는 방식으로 사용자에게 제시된다. 가상 현실, 또는 "VR" 시나리오는 통상적으로 다른 실제 실세계 시각적 입력에 대한 투명화(transparency) 없이 디지털 또는 가상 이미지 정보의 프리젠테이션(presentation)을 포함한다. 증강 현실, 또는 "AR" 시나리오는 통상적으로 사용자 주위 실세계의 시각화에 대한 증강으로서 디지털 또는 가상 이미지 정보의 프리젠테이션을 포함한다.
[0003] 예를 들어, 도 1을 참조하여, 증강 현실 장면(scene)이 도시되는데, 여기서 AR 기술의 사용자는 사람들, 나무들, 배경 내의 빌딩들, 및 콘크리트 플랫폼(1120)을 특징으로 하는 실세계 공원형 세팅을 본다. 이들 아이템들에 더하여, AR 기술의 사용자는 또한, 실세계 플랫폼(1120) 상에 서있는 로봇 동상(1110), 및 날고 있는 만화형 아바타 캐릭터(2)를 지각하지만, 이들 엘리먼트들(2, 1110)은 실세계에 존재하지 않는다. 인간 시각적 지각 시스템은 매우 복잡하고, 다른 가상 또는 실세계 이미지 엘리먼트들 사이에서 가상 이미지 엘리먼트들의 편안하고, 자연스럽고, 풍부한 표현을 가능하게 하는 이러한 증강 현실 장면을 생성하는 것은 난제이다.
[0004] 도 1에 도시된 것과 유사한 장면은 물리적 세계의 하나 또는 그 초과의 실제 객체들과 관련하여 가상 콘텐츠를 디스플레이하기 위해 증강 현실("AR") 시스템을 필요로 한다. 예로서, 머리-착용 디스플레이를 착용한 사용자가 디스플레이 상의 3 차원(3D) 객체의 가상 표현을 보고 3D 객체가 나타나는 영역 주위를 걷는 경우, 그 3D 객체는 각각의 관점(viewpoint)에 대해 재랜더링될 수 있어서, 실제 공간을 차지하는 객체 주위를 사용자가 걷고 있다는 지각을 사용자에게 제공한다. 즉, AR 시스템은 만족스러운 증강 현실 또는 가상 현실 경험을 제공하기 위해 실세계의 좌표들을 알고 실세계와 관련하여 가상 콘텐츠를 디스플레이해야 한다.
[0005] 이를 위해, 머리 착용 AR 디스플레이 시스템(또는 헬멧-장착 디스플레이들 또는 스마트 안경 등)은 사용자의 주변들에 관한 데이터 세트를 캡처하도록 구성된다. 예를 들어, AR 시스템은 사용자의 시야를 캡처하는 이미지들의 세트를 캡처할 수 있다. AR 시스템은 또한, 포즈(예를 들어, 공간에서 사용자의 포지션 및 방위)를 캡처하는 하나 또는 그 초과의 센서들, 사용자의 눈들의 양안전도(vergence)를 추적하기 위한 눈 추적 카메라, IMU(inertial measurement unit)들 및 다른 이러한 데이터 캡처 디바이스들을 포함할 수 있다. 이러한 카메라들 및 센서들은 함께, AR 디스플레이 시스템에 대한 다양한 형태들의 입력을 제공하며, 이는 결국, AR 시스템이 실세계의 하나 또는 그 초과의 객체들에 대하여 사용자에게 가상 콘텐츠를 정확하고 적시에 제시하는 것을 허용한다.
[0006] 이러한 카메라들 및 센서들(및 AR 디스플레이 시스템에 입력을 제공하는 다른 디바이스들)은 사용자들에게 현실감 있는 증강 현실 경험을 제공하는데 있어 중요하지만, 이러한 타입들의 데이터를 수집한 결과로서 프라이버시 및 보안과 관련된 다양한 우려들이 제기될 수 있다. AR 디스플레이 시스템의 사용자들은 사용자의 동의 없이, 그 타입의 이미지들(예를 들어, 개인 순간들의 화상들, 아이들의 화상들, 누드 화상들, 기밀 사항들, 비밀 화상들 등)이 AR 디바이스에 의해 캡처되는 것을 경계할 수 있다. 예를 들어, AR 디스플레이 시스템의 사용자들에게 어린 아이들이 제시될 수 있지만, 이 사용자들은 알지 못하게 캡처되어 다른 사용자들 및/또는 AR 기술 제공자에게 송신되는 어린 아이들의 이미지에 관한 프라이버시 우려들을 가질 수 있다. 이러한 프라이버시 난제들은 대부분의 사람들에게 실제적이고 민감한 문제들이며 적절하게 해결되지 않으면, 사용자들이 AR 디스플레이 디바이스를 안전하게 사용하지 못하게 하는 효과를 가질 수 있다.
[0007] 따라서, AR 또는 VR 디바이스들을 사용하는 동안 AR의 사용자의 프라이버시를 보장하기 위한 더 양호한 솔루션이 필요하다.
[0008] 본 발명의 실시예들은 하나 또는 그 초과의 사용자들에 대한 가상 현실 및/또는 증강 현실 상호작용을 용이하게 하기 위한 디바이스들, 시스템들 및 방법들에 관한 것이다.
[0009] 일 양상에서, 증강 현실 디스플레이 시스템은, 증강 현실 디스플레이 시스템에 대한 하나 또는 그 초과의 컴포넌트들을 위한 하우징 ― 하나 또는 그 초과의 컴포넌트들은 하나 또는 그 초과의 가상 이미지들과 연관된 광을 프로젝팅하기 위한 적어도 공간 광 변조기 및 사용자의 주변에 관련된 정보를 캡처하기 위한 복수의 센서들을 포함하고, 복수의 센서들 중 적어도 하나의 센서는 이미지-기반 센서임 ― , 복수의 센서들로부터 리트리브된 데이터의 세트를 프로세싱하도록 하우징에 통신 가능하게 커플링되는 프로세싱 모듈 ― 프로세싱 모듈은 복수의 센서로부터 리트리브된 데이터의 세트가 모바일 플랫폼에 송신되도록 선택적으로 허용하는 게이팅 메커니즘(gating mechanism)을 포함함 ― , 및 증강 현실 디스플레이 시스템들의 하우징에 제거 가능하게 부착되는 탈착 가능한 카메라를 포함하고, 게이팅 메커니즘은 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되는지에 적어도 부분적으로 기초하여, 복수의 센서들로부터 리트리브된 데이터의 세트가 모바일 플랫폼으로 통과되도록 선택적으로 허용한다.
[0010] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 게이팅 메커니즘은 데이터의 세트가 모바일 플랫폼으로 통과되도록 허용한다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 게이팅 메커니즘이, 데이터의 세트 중 일부만이 모바일 플랫폼으로 통과되도록 허용한다. 하나 또는 그 초과의 실시예들에서, 복수의 센서들로부터 리트리브된 데이터의 세트의 적어도 일부는 이미지 또는 비디오 데이터에 대응한다.
[0011] 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 복수의 센서들로부터 리트리브된 데이터의 세트에 대응하는 이미지들의 세트로부터 지오메트릭 정보(geometric information)를 추출하는 VPU를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 게이팅 메커니즘은 지오메트릭 정보가 모바일 플랫폼으로 통과되도록 허용하지만, 이미지들의 세트가 모바일 플랫폼으로 통과되는 것을 방지한다.
[0012] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 게이팅 메커니즘은, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템에 부착된 것으로 검출될 때 캡처된 이미지들의 세트 및 지오메트릭 정보가 모바일 플랫폼으로 통과되도록 허용한다. 하나 또는 그 초과의 실시예들에서, 지오메트릭 정보는 이미지들의 세트와 관련되는 포즈(pose) 정보에 대응한다. 하나 또는 그 초과의 실시예들에서, 지오메트릭 정보는 이미지들의 세트와 관련되는 2D 또는 3D 지점들에 대응한다.
[0013] 하나 또는 그 초과의 실시예들에서, 지오메트릭 정보는 이미지들의 세트와 관련되는 깊이(depth) 정보에 대응한다. 하나 또는 그 초과의 실시예들에서, 지오메트릭 정보가 맵 데이터베이스(map database)에 송신되고, 맵 데이터베이스는 세계의 실제 객체들의 좌표 정보를 포함하여서, 가상 콘텐츠는 세계의 실제 객체들과 관련하여 사용자에게 디스플레이된다. 하나 또는 그 초과의 실시예들에서, VPU는 복수의 센서들을 통해 캡처된 이미지들을 저장하기 위한 이미지 저장 모듈을 포함한다.
[0014] 하나 또는 그 초과의 실시예들에서, VPU는 복수의 센서를 통해 캡처된 이미지와 관련된 지오메트릭 정보를 저장하기 위한 지오메트리 저장 모듈을 포함한다. 하나 또는 그 초과의 실시예들에서, 게이팅 메커니즘은 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때에도 지오메트릭 정보가 모바일 플랫폼으로 통과되도록 허용한다.
[0015] 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은 탈착 가능한 카메라를 통해 캡처된 이미지들을 저장하기 위한 카메라 저장 모듈을 더 포함한다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 카메라 저장 모듈은 이미지들을 모바일 플랫폼에 송신하지 않는다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 카메라 저장 모듈은 탈착 가능한 카메라가 부착된 것으로 검출되는 동안 캡처된 이미지들을 모바일 플랫폼에 송신한다.
[0016] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라는 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착되었음을 시그널링하는 표시기를 포함한다. 하나 또는 그 초과의 실시예들에서, 표시기는 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착되었을 때 턴 온되는 광을 포함한다. 하나 또는 그 초과의 실시예들에서, 표시기는 탈착 가능한 카메라의 렌즈를 물리적으로 개방 또는 차단하는 셔터이다.
[0017] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라는 제 3 자 카메라이다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라는 전기적인 수단에 의해 증강 현실 디바이스의 하우징에 전기적으로 부착된다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라는 기계적인 수단에 의해 증강 현실 디바이스의 하우징에 기계적으로 부착된다. 하나 또는 그 초과의 실시예들에서, 증강 현실 디스플레이 시스템은, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착되었음을 감지하기 위해 탈착 가능한 카메라가 탈착 가능한 카메라에 부착될 때 회로를 완성하는 전기 접촉을 더 포함한다.
[0018] 하나 또는 그 초과의 실시예들에서, 복수의 센서들은 IMU 디바이스를 포함한다. 하나 또는 그 초과의 실시예들에서, 복수의 센서들은 눈-추적 디바이스를 포함한다. 하나 또는 그 초과의 실시예들에서, 복수의 센서들은 깊이 카메라를 포함한다. 하나 또는 그 초과의 실시예들에서, 복수의 센서들은 시야 카메라를 포함한다. 하나 또는 그 초과의 실시예들에서, 복수의 센서들은 적외선 카메라를 포함한다.
[0019] 다른 양상에서, 증강 현실을 디스플레이하기 위한 방법은, 공간 광 변조기를 통해, 하나 또는 그 초과의 가상 이미지들을 사용자에게 프로젝팅(projecting)하는 단계, 복수의 센서들을 통해, 사용자의 주변에 관한 데이터의 세트를 캡처(capture)하는 단계 ― 데이터의 세트는 이미지를 포함함 ― , 프로세싱 모듈을 통해, 복수의 센서들로부터 리트리브된 데이터의 세트를 프로세싱하는 단계 ― 프로세싱 모듈은 복수의 센서로부터 리트리브된 데이터의 세트가 모바일 플랫폼에 송신되도록 선택적으로 허용하는 게이팅 메커니즘(gating mechanism)을 포함함 ― , 탈착 가능한 카메라가 증강 현실 디바이스의 하우징에 부착되는지를 검출하는 단계를 포함하고, 게이팅 메커니즘은 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되는지에 적어도 부분적으로 기초하여, 복수의 센서들로부터 리트리브된 데이터의 세트가 모바일 플랫폼에 송신되도록 선택적으로 허용한다.
[0020] 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 게이팅 메커니즘은 데이터의 세트가 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 게이팅 메커니즘이, 데이터의 세트 중 일부만이 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함한다.
[0021] 하나 또는 그 초과의 실시예들에서, 복수의 센서들로부터 리트리브된 데이터의 세트의 적어도 일부는 이미지 또는 비디오 데이터에 대응한다. 하나 또는 그 초과의 실시예들에서, 방법은, VPU를 통해, 복수의 센서들로부터 리트리브된 데이터의 세트에 대응하는 이미지들의 세트로부터 지오메트릭 정보를 추출하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 게이팅 메커니즘이, 지오메트릭 정보가 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함한다.
[0022] 하나 또는 그 초과의 실시예들에서, 방법은, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 게이팅 메커니즘이, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템에 부착된 것으로 검출될 때 캡처된 이미지들의 세트 및 지오메트릭 정보가 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 지오메트릭 정보는 이미지들의 세트와 관련되는 포즈 정보에 대응한다.
[0023] 하나 또는 그 초과의 실시예들에서, 지오메트릭 정보는 이미지들의 세트와 관련되는 2D 또는 3D 지점들에 대응한다. 하나 또는 그 초과의 실시예들에서, 지오메트릭 정보는 이미지들의 세트와 관련되는 깊이 정보에 대응한다. 하나 또는 그 초과의 실시예들에서, 방법은, 지오메트릭 정보를 맵 데이터베이스에 송신하는 단계를 더 포함하고, 맵 데이터베이스는 세계의 실제 객체들의 좌표 정보를 포함하여서, 가상 콘텐츠는 세계의 실제 객체들과 관련하여 사용자에게 디스플레이된다.
[0024] 하나 또는 그 초과의 실시예들에서, VPU는 복수의 센서들을 통해 캡처된 이미지들을 저장하기 위한 이미지 저장 모듈을 포함한다. 하나 또는 그 초과의 실시예들에서, VPU는 복수의 센서를 통해 캡처된 이미지와 관련된 지오메트릭 정보를 저장하기 위한 지오메트리 저장 모듈을 포함한다. 하나 또는 그 초과의 실시예들에서, 방법은, 게이팅 메커니즘이, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때에도 지오메트릭 정보가 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함한다.
[0025] 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라를 통해 캡처된 이미지들을 카메라 저장 모듈에 저장하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 카메라 저장 모듈은 이미지들을 모바일 플랫폼에 송신하지 않는다. 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 카메라 저장 모듈은, 탈착 가능한 카메라가 부착된 것으로 검출되는 동안 캡처된 이미지들을 모바일 플랫폼에 송신하는 단계를 더 포함한다.
[0026] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라는 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착되었음을 시그널링하는 표시기를 포함한다. 하나 또는 그 초과의 실시예들에서, 표시기는 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착되었을 때 턴 온되는 광을 포함한다. 하나 또는 그 초과의 실시예들에서, 표시기는 탈착 가능한 카메라의 렌즈를 물리적으로 개방 또는 차단하는 셔터를 포함한다.
[0027] 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라를 증강 현실 디바이스의 하우징에 전기적으로 부착하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라를 증강 현실 디바이스의 하우징에 기계적으로 부착하는 단계를 더 포함한다. 하나 또는 그 초과의 실시예들에서, 방법은 탈착 가능한 카메라가 탈착 가능한 카메라에 부착될 때 회로를 완성하는 전기 접촉에 적어도 부분적으로 기초하여 탈착 가능한 카메라를 검출하는 단계를 더 포함한다.
[0028] 본 발명의 부가적인 그리고 다른 목적들, 특징들 및 이점들은 상세한 설명, 도면, 및 청구항들에서 설명된다.
[0029] 도면들은 본 발명의 다양한 실시예들의 설계 및 활용을 예시한다. 도면들은 반드시 제 축척대로 그려진 것은 아니며, 유사한 구조들 또는 기능들의 엘리먼트들은 도면들 전체에 걸쳐 유사한 참조 번호들로 표현된다는 것이 주의되어야 한다. 본 발명의 다양한 실시예들의 상술된 그리고 다른 이점들 및 목적을 달성하기 위한 방법을 더 잘 인지하기 위해, 위에서 간략히 설명된 본 발명의 보다 상세한 설명이 첨부 도면들에서 예시되는 본 발명의 특정 실시예들을 참조하여 제공될 것이다. 이 도면들이 본 발명의 통상적인 실시예들을 단지 도시하며, 그에 따라 본 발명의 범위의 제한으로 고려되지 않는다는 이해 하에, 본 발명은 첨부 도면들의 이용을 통해 부가적인 특수성 및 세부사항들로 설명되고 기술될 것이다.
[0030] 도 1은 사용자에게 디스플레이되는 예시적인 증강 현실 장면을 예시한다.
[0031] 도 2a 내지 도 2d는 예시적인 증강 현실 디바이스의 다양한 구성들을 예시한다.
[0032] 도 3은 일 실시예에 따라, 클라우드 내의 하나 또는 그 초과의 서버들과 통신하는 증강 현실 디바이스를 예시한다.
[0033] 도 4는 일 실시예에 따라, 증강 현실 디바이스의 다양한 컴포넌트들의 평면도를 도시한다.
[0034] 도 5는 일 실시예에 따라, 머리-장착 증강 현실 디바이스에 부착된 탈착 가능한 카메라의 평면도를 도시한다.
[0035] 도 6은 일 실시예에 따라, 탈착 가능한 카메라 및 벨트 팩의 프로세싱 모듈과 통신하는 머리-장착 증강 현실 디바이스의 다른 컴포넌트들의 시스템도이다.
[0036] 도 7은 일 실시예에 따라, 데이터가 모바일 플랫폼에 선택적으로 송신되도록 허용하는 예시적인 방법이다.
[0037] 도 8a 및 도 8b는 일 실시예에 따라, 정보를 모바일 플랫폼에 선택적으로 송신하는 예시적인 기술을 도시하는 일련의 프로세스 흐름도들을 예시한다.
[0038] 도 9a 및 도 9b는 일 실시예에 따라, 정보를 모바일 플랫폼에 선택적으로 송신하는 다른 예시적인 기술을 도시하는 다른 일련의 프로세스 흐름도들을 예시한다.
[0039] 도 10a 및 도 10b는 일 실시예에 따라, 정보를 모바일 플랫폼에 선택적으로 송신하는 다른 예시적인 기술을 도시하는 다른 일련의 프로세스 흐름도들을 예시한다.
[0040] 도 2a 내지 도 2d를 참조하면, 일부 일반적인 컴포넌트적 옵션들이 예시된다. 도 2a 내지 도 2d의 논의를 따르는 상세한 설명 부분들에서, 인간 VR 및/또는 AR에 대해 고품질의 편안하게 지각되는 디스플레이 시스템을 제공하는 목적들을 달성하기 위해 다양한 시스템들, 서브시스템들 및 컴포넌트들이 제시된다.
[0041] 도 2a에 도시된 바와 같이, AR 시스템 사용자(60)는 사용자의 눈들 앞에 포지셔닝된 AR 디스플레이 시스템(62)에 커플링되는 프레임(64) 구조를 착용한 것으로 도시된다. 스피커(66)가 도시된 구성에서 프레임(64)에 커플링되고 사용자의 이도에 인접하게 포지셔닝된다(일 실시예에서는, 도시되지 않은 다른 스피커가 사용자의 다른 이도에 인접하게 포지셔닝되어 스테레오/성형 가능한 사운드 제어를 제공함). 디스플레이(62)는 다양한 구성들로 장착될 수 있는, 예컨대, 프레임(64)에 고정식으로 부착되거나, 도 2b의 실시예에 도시된 바와 같이 헬멧 또는 모자(80)에 고정식으로 부착되거나, 헤드폰들에 임베딩되거나, 도 2c의 실시예에 도시된 바와 같이 백팩-스타일 구성으로 사용자(60)의 몸통(82)에 제거 가능하게 부착되거나, 또는 도 2d의 실시예에 도시된 바와 같이 벨트-커플링 스타일 구성으로 사용자(60)의 힙(84)에 제거 가능하게 부착될 수 있는 로컬 프로세싱 및 데이터 모듈(70)에, 예컨대, 유선 리드 또는 무선 연결에 의해 동작 가능하게 커플링(68)될 수 있다.
[0042] 로컬 프로세싱 및 데이터 모듈(70)은 전력-효율적인 프로세서 또는 제어기뿐만 아니라 디지털 메모리, 예컨대, 플래시 메모리를 포함할 수 있는데, 이들 모두는 a) 프레임(64)에 동작 가능하게 커플링될 수 있는 센서들, 예컨대 이미지 캡처 디바이스들(예컨대, 카메라들), 마이크로폰들, 관성 측정 유닛들, 가속도계들, 나침판들, GPS 유닛들, 라디오 디바이스들 및/또는 자이로들(gyros)로부터 캡처되고; 그리고/또는 b) 가능하게는 이러한 프로세싱 또는 리트리브 이후 디스플레이(62)로의 전달을 위해, 원격 프로세싱 모듈(72) 및/또는 원격 데이터 저장소(74)를 사용하여 획득되고 그리고/또는 프로세싱되는 데이터의 프로세싱, 캐싱 및 저장을 보조하기 위해 활용될 수 있다. 로컬 프로세싱 및 데이터 모듈(70)은 예컨대, 유선 또는 무선 통신 링크들을 통해 원격 프로세싱 모듈(72) 및 원격 데이터 저장소(74)에 동작 가능하게 커플링(76, 78)될 수 있어서, 이러한 원격 모듈들(72, 74)은 서로 동작 가능하게 커플링되고, 로컬 프로세싱 및 데이터 모듈(70)에 대한 자원들로서 이용 가능하다.
[0043] 일 실시예에서, 원격 프로세싱 모듈(72)은 데이터 및/또는 이미지 정보를 분석하고 프로세싱하도록 구성된 하나 또는 그 초과의 상대적으로 강력한 프로세서들 또는 제어기들을 포함할 수 있다. 일 실시예에서, 원격 데이터 저장소(74)는 "클라우드" 자원 구성으로 인터넷 또는 다른 네트워킹 구성을 통해 이용 가능할 수 있는, 비교적 대규모의 디지털 데이터 저장 설비를 포함할 수 있다. 일 실시예에서, 로컬 프로세싱 및 데이터 모듈에서 모든 데이터가 저장되고 모든 계산이 수행될 수 있어, 어떠한 원격 모듈들도 없이 완전히 자율적인 사용을 허용한다.
[0044] 도 2a 내지 도 2d를 참조하여 설명된 바와 같이, AR 시스템은 AR 사용자 및 주변 환경에 관한 데이터를 수집하는 다양한 디바이스들로부터 입력을 지속적으로 수신한다. 이제 도 3을 참조하면, 예시적인 증강 현실 디스플레이 디바이스의 다양한 컴포넌트들이 설명될 것이다. 다른 실시예들은 부가적인 컴포넌트들을 가질 수 있다는 것이 인지되어야 한다. 그럼에도, 도 3은 다양한 컴포넌트들의 기본 아이디어 및 AR 디바이스에 의해 수집될 수 있는 데이터의 타입들을 제공한다.
[0045] 이제 도 3을 참조하면, 개략도는 클라우드 컴퓨팅 에셋들(46)과 로컬 프로세싱 에셋들(308, 120) 간의 조정을 예시한다. 일 실시예에서, 클라우드(46) 에셋들은 예컨대, 유선 또는 무선 네트워킹(이동성을 위해 선호되는 무선, 요구될 수 있는 특정한 높은 대역폭 또는 높은 데이터 볼륨 전달을 위해 선호되는 유선)을 통해, 사용자의 머리 장착 디바이스(120) 및 벨트(308)에 커플링되도록 구성된 구조에 하우징될 수 있는, 프로세서 및 메모리 구성들과 같은 로컬 컴퓨팅 에셋들(120, 308) 중 하나 또는 둘 모두에 직접적으로 동작 가능하게 커플링(40, 42)된다. 사용자에게 로컬인 이러한 컴퓨팅 에셋들은 또한 유선 및/또는 무선 연결 구성들(44)을 통해 서로 동작 가능하게 커플링될 수 있다. 일 실시예에서, 저-관성 및 소형 머리 장착 서브시스템(120)을 유지하기 위해, 사용자와 클라우드(46) 사이의 1차 전달은 벨트-기반 서브시스템(308)과 클라우드 사이의 링크를 통해 이루어질 수 있으며, 머리 장착 서브시스템(120)은, 예를 들어, 개인용 컴퓨팅 주변기기 연결 애플리케이션들에서 현재 사용되는 "UWB"(ultra-wideband) 연결과 같은 무선 연결을 사용하여 벨트-기반 서브시스템(308)에 주로 데이터-테더링된다. 클라우드(46)를 통해, AR 디스플레이 시스템(120)은 클라우드에 호스팅된 하나 또는 그 초과의 AR 서버들(110)과 상호작용할 수 있다. 다양한 AR 서버들(110)은 서버들(110)이 서로 통신하는 것을 허용하는 통신 링크들(115)을 가질 수 있다.
[0046] 효율적인 로컬 및 원격 프로세싱 조정으로 그리고 사용자에 대한 적절한 디스플레이 디바이스, 예컨대, 사용자 인터페이스 또는 사용자 "디스플레이 디바이스" 또는 그의 변동들로, 사용자의 현재 실제 또는 가상 위치와 관련된 하나의 세계의 양상들이 사용자에게 전송되거나 "전달"되고 효율적인 방식으로 업데이트될 수 있다. 즉, 세계의 맵이 사용자의 AR 시스템 상에 부분적으로 상주하고 클라우드 자원들에 부분적으로 상주할 수 있는 저장 위치에서 지속적으로 업데이트된다. 맵(전달 가능한 세계 모델로서 또한 지칭됨)은 래스터 이미지, 3D 및 2D 지점들, 파라메트릭 정보 및 실세계에 대한 다른 정보를 포함하는 대형 데이터베이스일 수 있다. AR 사용자들이 (예를 들어, 카메라들, 센서들, IMU들 등을 통해) 점점 더 많이 그의 실제 환경에 대한 정보를 지속적으로 캡처함에 따라, 맵은 점점 더 정확해진다.
[0047] 도 4를 참조하면, 하우징 또는 프레임(108)에 의해 사용자의 머리 또는 눈들에 장착될 수 있는 디스플레이 렌즈(106)를 포함하는 적합한 사용자 디스플레이 디바이스(62)의 하나의 단순화된 실시예가 도시된다. 디스플레이 렌즈(106)는, 로컬 환경으로부터 적어도 일부의 광의 투과를 허용하면서도, 사용자의 눈들(20) 앞에 하우징(108)에 의해 포지셔닝되고 프로젝팅된 광(38)을 눈들(20)로 바운싱(bounce)하고 빔 성형을 용이하게 하도록 구성된 하나 또는 그 초과의 투명 미러들을 포함할 수 있다. 도시된 실시예에서, 2개의 광시야 머신 비전 카메라들(16)이 하우징(108)에 커플링되어 사용자 주위의 환경을 이미징하고; 일 실시예에서, 이들 카메라들(16)은 이중 캡처 가시광/적외선 광 카메라들이다.
[0048] 도시된 실시예는 또한, 스캐닝된-레이저 형상 파면(즉, 깊이에 대한) 광 프로젝터 모듈들(18)의 쌍(예를 들어, 공간 광 변조기들, 예컨대, DLP, FSD(fiber scanning device)들, LCD들 등)을 포함하며, 디스플레이 미러들 및 광학계가 도시된 바와 같이 눈들(20)로 광(38)을 프로젝팅하도록 구성된다. 도시된 실시예는 또한 렌더링 및 사용자 입력을 지원하기 위해 사용자의 눈들(20)을 추적할 수 있도록 구성된, "LED"(light emitting diode)들과 같은 적외선 광 소스들(26)과 페어링되는 2개의 소형 적외선 카메라들(24)을 포함한다. 바람직하게는 비교적 높은 주파수, 예컨대, 200 Hz로 데이터를 제공하는 디스플레이 시스템(62)은 X, Y 및 Z 축 가속도계 성능뿐만 아니라 자기 나침반 및 X, Y 및 Z 축 자이로 성능을 포함할 수 있는 센서 어셈블리(39)를 추가로 특징으로 한다. 도시된 시스템(62)은 또한, 카메라(16)로부터 출력된 광시야 이미지 정보로부터 실시간 또는 거의 실시간 사용자 머리 포즈를 계산하도록 구성될 수 있는 머리 포즈 프로세서(head pose processor)(36), 예컨대, ASIC(application specific integrated circuit), FPGA(field programmable gate array) 및/또는 ARM(advanced reduced-instruction-set machine) 프로세서를 포함한다. 머리 포즈 프로세서(36)는 카메라들(16) 및 렌더링 엔진(34)에 동작 가능하게 커플링된다(90, 92, 94; 예를 들어, 유선 또는 무선 연결을 통해).
[0049] 센서 어셈블리(39)로부터의 자이로, 나침반 및/또는 가속도계 데이터로부터 포즈를 유도하기 위해 디지털 및/또는 아날로그 프로세싱을 실행하도록 구성된 다른 프로세서(32)가 또한 도시된다. 도시된 실시예는 또한, 포즈 및 포지셔닝을 보조하기 위해 GPS(37) 서브시스템을 특징으로 한다.
[0050] 마지막으로, 도시된 실시예는, 세계에 대한 사용자의 시야를 위해 사용자의 눈들로의 이미징 및 스캐너들의 동작을 용이하게 하도록 사용자에 국부적인 렌더링 정보를 제공하도록 구성된 소프트웨어 프로그램을 실행하는 하드웨어를 특징으로 할 수 있는 렌더링 엔진(34)을 포함한다. 랜더링 엔진(34)은 센서 포즈 프로세서(32), 이미지 포즈 프로세서(36), 눈 추적 카메라들(24) 및 프로젝팅 서브시스템(18)에 동작 가능하게 커플링(105, 94,100/102,104; 즉, 유선 또는 무선 연결을 통해)되어서, 렌더링된 광(38)은 망막 스캐닝 디스플레이와 유사한 방식으로 스캐닝된 레이저 어레인지먼트(18)를 사용하여 프로젝팅된다. 프로젝팅된 광 빔(38)의 파면은 프로젝팅된 광(38)의 원하는 초점 거리와 일치하도록 휘어지거나 포커싱될 수 있다.
[0051] 미니 적외선 카메라들(24)은 렌더링 및 사용자 입력(즉, 사용자가 보고 있는 곳, 사용자가 포커싱하고 있는 깊이; 이하에서 논의되는 바와 같이, 눈 양안전도는 포커스의 깊이를 추정하는데 활용될 수 있음)을 지원하기 위해 눈들을 추적하는데 활용될 수 있다. GPS(37), 자이로들, 나침반 및 가속도계들(39)은 대략적 및/또는 빠른 포즈 추정들을 제공하기 위해 활용될 수 있다. 카메라(16) 이미지들 및 포즈 데이터는, 연관된 클라우드 컴퓨팅 자원으로부터의 데이터와 함께, 로컬 세계(local world)를 맵핑하고 사용자 뷰들을 가상 또는 증강 현실 커뮤니티들과 공유하는데 활용될 수 있다.
[0052] 도 4에서 특징으로 하는 디스플레이 시스템(62)의 하드웨어의 대부분이 사용자의 눈들(20) 및 디스플레이(106)에 인접한 하우징(108)에 직접 커플링되는 것으로 도시되지만, 도시된 하드웨어 컴포넌트들은 예를 들어, 도 2d에 도시된 바와 같이, 벨트-장착 컴포넌트(70)와 같은 다른 컴포넌트들 내에 하우징되거나 그에 장착될 수 있다.
[0053] 일 실시예에서, 도 4에서 특징으로 하는 시스템(62)의 컴포넌트들 모두는, 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32) 및 렌더링 엔진(34)을 제외하고, 디스플레이 하우징(108)에 직접 커플링되고, 이 이미지 포즈 프로세서(36), 센서 포즈 프로세서(32) 및 렌더링 엔진(34)과 시스템의 잔여 컴포넌트들은 무선 통신, 예컨대, 초광대역 또는 유선 통신에 의해 이루어질 수 있다. 도시된 하우징(108)은 바람직하게는, 사용자에 의해 머리에 장착되어 착용 가능하다. 이 하우징(108)은 또한, 스피커들, 예컨대, 사용자의 귀들에 삽입되고 사용자에게 사운드를 제공하는데 활용될 수 있는 것들을 특징으로 할 수 있다.
[0054] 표준 AR 디바이스의 주 컴포넌트들을 설명했으므로, AR 디바이스는 사용자 및 그의 주변으로부터 데이터를 수집하도록 구성된 다수의 컴포넌트들을 포함할 수 있다는 것이 인지되어야 한다. 예를 들어, 위에서 설명된 바와 같이, AR 디바이스의 일부 실시예들은 사용자의 위치를 결정하기 위해 GPS 정보를 수집한다. 다른 실시예들에서, AR 디바이스는 사용자의 눈들을 추적하기 위해 적외선 카메라들을 포함한다. 또 다른 실시예들에서, AR 디바이스는 사용자 환경의 이미지들을 캡처하기 위한 시야(field-of-view) 카메라를 포함할 수 있으며, 이는 결국, 도 3과 관련하여 간략히 설명된 바와 같이, 시스템이 적절한 실생활 객체들과 관련하여 가상 콘텐츠를 렌더링하도록 허용하는, 사용자의 물리적 공간의(도 3에 설명된 바와 같이 서버들(110) 중 하나에 포함된) 맵을 구성하는데 사용될 수 있다.
[0055] 위에서 설명된 이들 카메라들 및 센서들은 사용자에게 현실감 있는 증강 현실 경험을 제공하는데 필수적이지만, 일부 사용자들은 지속적으로 캡처된 이미지 데이터에 대해 프라이버시 우려를 나타낼 수 있다. 예를 들어, AR 사용자는 어린 아이들을 목욕시키면서 이들과 함께 교육용 게임을 플레이할 수 있지만, 사용자의 아이들의 민감한 이미지들 또는 데이터가 더 큰 AR 시스템 및/또는 다른 사용자들에 송신되는 것이 두려워 AR 시스템을 사용하기를 주저할 수 있다. 또는, 사용자(AR 사용자 또는 비-AR 사용자)는 공공 장소에 있을 수 있지만, 공공 장소의 다른 사람들에 의해 사용되는 AR 디바이스들을 통해 캡처되는 것을 경계할 수 있다. 유사하게, 다른 이러한 프라이버시 우려들이 고려될 수 있다.
[0056] 또한, AR 시스템들의 중심 목표들 중 하나는, 사용자가 잠재적으로 개인 공간 또는 민감한 공간(예를 들어, 욕실, 침실, 아이들에 의해 둘러싸임, 공공 공간 등)을 점유할 때마다 AR 사용자가 사용을 중단하기를 강제함 없이, 연속적인 증강 현실 경험을 제공하는 것이다. AR 시스템의 다른 목표는 AR 디바이스를 통해 사진들을 캡처하는 능력을 사용자에게 제공하는 것이다. 이는, 사용자들이 정규 카메라의 사용을 통해 통상적으로 캡처할 수 없는 뷰들/비디오들(예를 들어, 핸즈-프리, 파노라마 샷들, 액션 샷들, 연속적인 화면(footage)들 등)을 캡처하는 것을 가능하게 할 수 있기 때문에, AR 디바이스들과 연관된 특히 인기있는 기능성일 수 있다. 본 개시는 AR 사용자 및 일반 사회의 프라이버시 및 보안 우려들에 민감하고 이를 인식하는 방식으로 위에서 설명된 이러한 목표들을 만족시키는 하나의 접근법을 제공한다.
[0057] 이를 위해, 하나 또는 그 초과의 실시예들에서, AR 시스템의 아키텍처는, AR 시스템의 하나 또는 그 초과의 센서들, 적외선 카메라들, 깊이 뷰 카메라들(즉, 콘텍스트 제공 디바이스들)로부터 캡처된 데이터가 채널링되어서, 이미지들 및/또는 센서 데이터의 세트로부터 추출된 지오메트리 정보(예를 들어, 포즈 정보, 객체들의 포지션, 2D 및 3D 지점들, 파라메트릭 정보)만이 AR 디바이스의 모바일 플랫폼에 제공되도록 설계될 수 있다. 하나 또는 그 초과의 실시예들에서, AR 디바이스의 모바일 플랫폼은 도 3에 도시된 바와 같이 서버들(110) 중 하나에 저장되고 거기서 지속적으로 구축될 수 있는 맵(예를 들어, 게임 플랫폼, 전달 가능한 세계 모델, 세계의 맵)을 포함(또는 액세스)한다. 맵은 세계에 대한 맵 데이터를 포함하는 데이터베이스일 수 있다. 일 실시예에서, 이는 부분적으로 사용자-착용 가능한 컴포넌트들 상에 상주할 수 있고 유선 또는 무선 네트워크에 의해 액세스 가능한 클라우드 저장(예를 들어, 도 3의 서버(110)) 위치들에 부분적으로 상주할 수 있다. 이 맵은 점점 더 많은 사용자가 시스템 상에 있음에 따라 점점 더 커지게 되는 중요하고 성장하는 컴포넌트이다. 맵은 실세계의 하나 또는 그 초과의 객체들에 대응하는 래스터 이미지, 포인트 및 기술자 클라우드(descriptor cloud)들 및 다각형/지오메트릭 정의들의 세트를 포함할 수 있다. 맵은 다수의 증강 현실 디바이스들로부터 수신된 정보로 일정하게 업데이트되고 시간이 지남에 따라 점점 더 정확해진다.
[0058] 하나 또는 그 초과의 실시예들에서, 콘택스트 제공 디바이스들(예를 들어, 적외선 카메라들, 시야 카메라들, 깊이 카메라들, 눈 추적 센서들, 자이로스코프들, 가속도계들 등)로부터 수집된 지오메트리 정보만이 맵에 송신되도록 선택적으로 허용하지만 콘텍스트 수집의 일부로서 캡처된 임의의 이미지들 또는 비디오들이 제외되는 것을 보장하는 게이팅(gating) 메커니즘이 구현될 수 있다. 그러나, 아래에서 상세히 설명되는 바와 같이, AR 사용자가 이미지들을 능동적으로 캡처하기를 원할 때, 지정된 카메라가 수시로 AR 디바이스에 탈착 가능하게 커플링될 수 있다. 이 접근법은 유리하게는, AR 사용자에게 그 자신의 AR 디바이스로부터 캡처되는 이미지들에 관해 보다 뛰어난 제어를 부여함과 동시에, 공공 공간에서 사용되고 있는 다른 AR 디바이스들의 가능한 이미지 또는 비디오 캡처에 관한 주의(notice)(보다 눈에 잘 띄는 카메라를 통해)를 제공하는 효과를 또한 갖는다.
[0059] 이제 도 5를 참조하면, 하나 또는 그 초과의 실시예들에서, AR 시스템은 AR 디바이스(62)의 프레임(64) 상의 후크 또는 임의의 타입의 고정 디바이스에 부착될 수 있는 탈착 가능한 카메라(530)를 포함할 수 있다. 따라서, 카메라(530)가 도 5에 도시된 것과 같이 눈에 띄는 방식으로 물리적으로 부착될 때, 다른 AR 사용자들 및/또는 일반 대중은 카메라(530)를 착용한 AR 사용자가 이미지들을 캡처하고 그리고/또는 비디오를 레코딩할 수 있다는 것을 알아차린다. 누군가가 이미지를 캡처할 수 있다는 것을 알게 되면, 다른 사용자들 또는 대중의 일원들은 카메라 디바이스(530)에 의해 캡처되지 않도록 적절하게 행동하거나 선택할 수 있다. 또는, AR 사용자는 일부 환경들에서 이미지들을 캡처하거나 비디오들을 레코딩하지 않도록 요청받을 수 있다. 가장 중요하게는, 카메라(530)는 다른 사람들에 의해 쉽게 눈에 띄도록 AR 디바이스에 눈에 띄게 부착되어, 이에 따라 다른 사람들이 가능한 이미지 또는 비디오 캡처를 인식할 수 있다. 이는 AR 커뮤니티의 다른 일원들에 관한 지식이 없이, 비밀리에 민감한 이미지들 또는 비디오들을 캡처하는 AR 사용자들의 문제를 해결한다. 도 5에 도시된 것과 같은 제거 가능한 카메라(530)는, 사람들이 그들의 AR 디바이스에 의해 디지털 방식으로 캡처될 수 있다는 것을 알면, 사람들이 책임감 있게 행동하거나 자신들의 행동을 변경할 수 있도록, 플레인 뷰로 카메라(530)를 디스플레이한다.
[0060] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)는 물리적 수단(예를 들어, 후크, 자석, 전기 연결, 센서 등)에 의해 AR 디바이스(62)의 프레임(64)에 물리적으로 커플링될 수 있다. 하나 또는 그 초과의 실시예들에서, AR 디바이스(62)는 탈착 가능한 카메라(530)가 AR 시스템(62)에 물리적으로 부착되었음을 검출하는 것에 적어도 부분적으로 기초하여 스위치 온되는 전기 연결을 포함한다. 이 검출은, 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)가 프레임(64)에 부착될 때 활성화되고 회로를 완성하는 전기 접촉을 통해 발생할 수 있다. 이 검출은 차례로, (아래에서 추가로 상세히 설명될 바와 같은) 게이팅 메커니즘이 모바일 플랫폼으로 모든 이미지들이 통과하도록 허용하거나 지오메트리 정보만이 통과하도록 선택적으로 허용한다.
[0061] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)는 벨트 팩(70)에 저장될 수 있고 필요할 때마다 AR 디바이스(62)의 프레임(64)에 부착될 수 있다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)는 벨트 팩(70)에서 전원에 연결되고 와이어(532)를 통해 AR 디바이스(62)의 프레임(64)에 물리적으로 연결될 수 있다. 다른 실시예들에서, 탈착 가능한 카메라(530)는 물리적 부착 없이 벨트 팩(70)과 그리고/또는 벨트 팩(70)의 전원과 무선으로 통신할 수 있다. 또 다른 실시예들에서, 탈착 가능한 카메라(530)는 AR 디바이스(62)의 프레임(64)에 부착될 때 AR 디바이스(62) 자체에서 전력이 공급될 수 있다. 도 5는 예시 목적으로만 제공되며, 다른 실시예들이 유사하게 사용될 수 있다는 것이 인지되어야 한다. 다른 실시예들에서, 탈착 가능한 카메라(530)는 헬멧 또는 사용자의 머리의 다른 부분에 부착될 수 있지만, 후크 또는 다른 고정 수단을 통해 AR 디바이스의 프레임(64)에 물리적으로 연결될 수 있다.
[0062] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)는 광(534) 또는 일부 다른 시그널링 수단을 통해, 카메라가 턴 온되었음을 나타낼 수 있다. 다른 실시예들에서, 카메라(530)가 AR 디바이스들(62)에 고정되기 때문에, AR 사용자가 이미지들을 캡처중이거나 그리고/또는 레코딩중일 수 있음을 사용자들이 자동으로 알아차릴 수 있다. 또는, 또 다른 실시예들에서, 탈착 가능한 카메라(530)는 사용자가 이미지를 캡처중이거나 레코딩중일 때 개방될 수 있는 물리적 셔터(도시되지 않음)를 갖는 카메라(530)일 수 있다.
[0063] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)는 임의의 제 3 자에 의해 제조될 수 있고, 기성품으로 구입되고 AR 디바이스(62)와 함께 기능하도록 구성될 수 있다. 이는 유리하게는, AR 사용자에게 탈착 가능한 카메라(530)에 의해 캡처된 이미지들의 타입 및 품질 면에서 더 뛰어난 자유도를 부여한다. 예를 들어, 일부 AR 사용자들은 표준 디지털 카메라들과 비교할 때 더 양호한 품질의 화상들을 캡처하는 휴대용 SLR 카메라에 관심을 가질 수 있다. 또는, 일부 AR 사용자들은 파노라마식 뷰를 캡처하기 위해 AR 프레임(64)에 부착될 수 있는 특수 와이드-뷰 카메라(530)를 구입할 수 있다. 또는, AR 사용자들은 스키 또는 스카이 다이빙 시에 고품질 스포츠 샷들을 캡처하기 위해 스포츠 카메라(530)를 구입할 수 있다. 탈착 가능한 카메라(530)를 AR 디바이스(62)와 디커플링함으로써, 사용자에게는 자신이 원하는 카메라(530)를 선택하는데 있어 보다 뛰어난 자율성이 제공된다.
[0064] 이제 도 6을 참조하면, 탈착 가능한 카메라(530)를 갖는 AR 디바이스(62)의 시스템 아키텍처의 실시예가 예시된다. 위에서 어느정도 상세히 논의된 바와 같이, AR 사용자의 프라이버시를 보장하기 위해, AR 시스템의 아키텍처는, 탈착 가능한 카메라(530)가 AR 디바이스(62)에 부착된 것으로 검출될 때만 이미지들이 (예를 들어, 맵 데이터베이스 또는 로컬 저장소에) 저장되거나 서버(들)에 송신되도록 설계될 수 있다. 즉, 게이팅 메커니즘은 탈착 가능한 카메라가 검출되지 않으면, 지오메트릭 정보(예를 들어, 포즈, 3D 지점들 등)만이 서버에 송신되도록 구현될 수 있다.
[0065] 도 6에 도시된 바와 같이, AR 디바이스(62)는 IMU들(522), 깊이 카메라들(520) 및 적외선 카메라들(524)과 같은 콘텍스트 수집 디바이스들의 세트를 포함할 수 있다. 다른 AR 디바이스들은 다른 목적들을 위해 설계된 다른 이러한 센서들 및/또는 카메라들을 포함할 수 있다는 것이 인지되어야 한다. 도 6에 도시된 바와 같이, 이들 디바이스들(520, 522, 524)을 통해 수집된 데이터는 예시된 바와 같이 벨트 팩(70)에 상주할 수 있는 프로세서(516)에 송신된다. 다른 실시예들에서, 프로세서(516)는 AR 시스템의 다른 부분에 상주하거나 프레임(64)의 일부일 수 있다.
[0066] 탈착 가능한 카메라(530)는 하나 또는 그 초과의 실시예들에서 AR 디바이스(62)의 프레임(64)에 물리적으로 부착될 수 있다. 탈착 가능한 카메라(530)에 의해 캡처된 데이터는 또한 벨트 팩(70)에 송신된다. 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)를 통해 캡처된 이미지 데이터는 카메라 저장 모듈(510)에 직접 저장될 수 있다. 하나 또는 그 초과의 실시예들에서, 벨트 팩(70)의 프로세싱 컴포넌트들은 AR 디바이스(62)에 의해 캡처된 이미지들의 세트를 프로세싱하기 위한 비디오 프로세싱 모듈(VPU)(512)을 포함할 수 있다. 하나 또는 그 초과의 실시예들에서, VPU(512)는 다양한 카메라들로부터 수신된 이미지들을 프로세싱하고, 이미지들로부터 지오메트리 정보를 추출한다. IMU들(522), 깊이 카메라들(520), 시야 카메라들(530) 및 적외선 카메라들(524)로부터의 데이터는 VPU에 직접 전송될 수 있으며, VPN은 결국 그 데이터를 분석하여 데이터로부터 지오메트리 정보를 추출한다. 일부 실시예들에서, 탈착 가능한 카메라(530)로부터의 데이터는 또한 VPU(512)에 전송될 수 있다(도시되지 않음).
[0067] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)로부터의 이미지들은 별개의 카메라 저장 모듈(510)에 저장될 수 있다. 다른 실시예들에서, AR 시스템(62)의 모든 이미지 디바이스들로부터의 이미지들은 또한 카메라 저장 모듈(510)에 저장될 수 있다. 일부 실시예들에서, VPU(512)는 이미지들을 수신하고 지오메트리 정보를 추출하기 위해 카메라 저장 모듈(510)에 동작 가능하게 링크된다. 다른 실시예들에서, 프라이버시를 보장하기 위해, 카메라 저장 모듈(510)은 실제 이미지들과 이미지들로부터 추출된 지오메트리 정보 사이의 물리적 분리를 생성하기 위해 VPU(512)와 완전히 별개로 유지될 수 있다.
[0068] 탈착 가능한 카메라(530)가 프레임(64)에 부착된 것으로 검출되는 경우, 캡처된 이미지들은 게이팅 메커니즘(552)을 통해 모바일 플랫폼(550)에 송신되거나 또는 카메라 저장 모듈(510)로부터 직접 송신될 수 있다. 어떠한 탈착 가능한 카메라(530)도 검출되지 않는 경우, 지오메트리 정보만이 게이팅 메커니즘(552)을 통해 모바일 플랫폼(550)에 전달된다. 도 6에 도시된 바와 같이, 게이팅 메커니즘(552)은 VPU(512)와 벨트 팩(70) 및 AR 디바이스의 잔여 프로세싱 컴포넌트에서 사용되는 모바일 플랫폼(550)(예를 들어, Android® 등) 사이에 존재한다. 이러한 데이터 분리는 특히, 개인 데이터(예를 들어, 이미지들, 비디오들 등)가 사용자의 동의 없이 모바일 플랫폼(550) 및/또는 다른 자원들에 불필요하게 전달되지 않는 것을 보장하도록 설계된다.
[0069] 벨트 팩(70)은 다른 컴포넌트들을 포함할 수 있으며, 여기에 상세히 설명된 컴포넌트들은 단지 예시 목적만을 위한 것이라는 것이 인지되어야 한다. 하나 또는 그 초과의 실시예들에서, 모바일 플랫폼(550)은 AR 디바이스(62)가 맵 데이터베이스(514)와 통신하도록 허용하는 하나 또는 그 초과의 클라우드 자원들에 연결된다. 맵 데이터베이스(514)는, 수신된 데이터를 수집, 분석 또는 프로세싱하고 맵(514)과 통신하도록 구성될 수 있는 프로세서(516)에 연결될 수 있다. 하나 또는 그 초과의 실시예들에서, 맵(514)은 게임 엔진일 수 있어서, 그것이 세계와 관련된 맵핑 데이터(예를 들어, 물리적 좌표들, 지점들 등)를 포함한다. 다른 실시예들에서, 맵(514)은, 시간이 지남에 따라 구성되고 다수의 AR 사용자들에 의해 수집된 이미지들 및 지점들로부터 구성되는 전달 가능한 세계 모델일 수 있다.
[0070] 맵(514)은 세계와 관련하여 AR 사용자의 물리적 좌표들을 식별하는, AR 시스템의 본질적인 컴포넌트이다. 이는 AR 시스템이 세계의 하나 또는 그 초과의 실제 객체들과 관련하여 가상 콘텐츠를 렌더링하도록 허용한다. 따라서, 맵(514)과 AR 디바이스(62) 간의 정보 교환은 중요하다. 게이팅 메커니즘(552)은, 그의 핵심 기능성들을 갖는 AR 시스템을 돕는 중요한 지오메트리 정보가 모바일 플랫폼(550) 및 맵(514)으로 적시에 전달되는 것을 보장하지만, 동시에, 이미지들 및 비디오들이 (예를 들어, 탈착 가능한 카메라(530)의 부착을 통해) 사용자의 명시적인 동의 없이 모바일 플랫폼(550)에 전달되지 않는 것을 또한 보장한다.
[0071] 하나 또는 그 초과의 실시예들에서, 탈착 가능한 카메라(530)가 (예를 들어, 물리적 접촉, 물리적 토큰, 전기 접촉, 근접도 검출기 등을 통해) AR 디바이스(62)의 프레임에 고정된 것을 AR 시스템이 검출할 때, 게이팅 메커니즘(552)이 개방(open)되어, 지오메트릭 정보뿐만 아니라 이미지들을 모바일 플랫폼(550)에 송신한다. 탈착 가능한 카메라(530)가 프레임(64)에 더 이상 부착되지 않는 것으로 검출되면, 게이팅 메커니즘(552)은 게이트를 폐쇄하여 지오메트리만이 게이트를 통해 전달된다. 하나 또는 그 초과의 실시예들에서, 카메라 저장 모듈(510)로부터의 데이터는 또한 게이팅 메커니즘(552)을 통과한다.
[0072] 다른 실시예들에서, (별개의 프로세서를 가질 수 있는) 카메라 저장 모듈(510)은 VPU(512)와 별개로 유지되어서, 카메라 저장 모듈(510)로부터의 데이터는 모바일 플랫폼(550)에 자유롭게 송신된다. 또 다른 실시예들에서, 게이팅 메커니즘(552)은 탈착 가능한 카메라(530)가 검출되는 경우에도, 지오메트리 정보만이 게이트를 통과하도록 항상 "온(on)"이다. 또 다른 실시예들에서, 다른 게이팅 메커니즘은 모바일 플랫폼(550)과 카메라 저장 모듈(510) 사이에 존재할 수 있어서, 탈착 가능한 카메라(530)가 검출될 때에만 이미지 정보가 다른 게이팅 메커니즘을 통과하여 모바일 플랫폼(550)에 전달되게 한다. 3개의 접근법들에 대한 더 많은 정보가 아래에서 추가로 상세히 설명될 것이다.
[0073] 게이팅 메커니즘(552)을 구현하는 다수의 방식들이 있을 수 있으며, 이하에서 상세히 설명되는 접근법은 제한적인 것으로서 이해되어선 안된다는 것이 인지되어야 한다. 하나의 접근법에서, 게이팅 메커니즘(552)은 AR 디바이스(62)을 통해 VPU(512)로 들어오는 이미지 및/또는 비디오 입력을 처리하는 외부 칩 세트를 포함할 수 있다. 이 정보는 모바일 플랫폼(550)과 함께 동작하는 디바이스 드라이버에 저장된다. 하나 또는 그 초과의 실시예들에서, 디바이스 드라이버로부터 데이터를 자유롭게 리트리브할 수 있는 성능은 이미지들 및/또는 비디오 콘텐츠를 구분하기 위해 모바일 플랫폼(550)에 제공되지 않을 수 있다. 디바이스 드라이버는 하나 또는 그 초과의 실시예들에서 실제 이미지들 및/또는 비디오들이 모바일 플랫폼(550)에 의해 액세스 가능하지 않도록 프로그래밍될 수 있다.
[0074] 하나 또는 그 초과의 실시예들에서, VPU(512)에 내장된 펌웨어는, 탈착 가능한 카메라(530)가 검출되지 않는 한, 그것이 모바일 플랫폼(550)에 지오메트리 정보만을 선택적으로 송신하도록 프로그래밍될 수 있다. 따라서, 하나 또는 그 초과의 실시예들에서, 펌웨어는 기능성을 제어하고, 디바이스 드라이버에 어떠한 제어도 주어지지 않는다. 이는 게이팅 메커니즘(552)을 구현하기 위한 하나의 접근법일 수 있지만, 다른 접근법들이 이미지들/비디오들을 모바일 플랫폼(550)과 별개로 유지하기 위해 유사하게 사용될 수 있다.
[0075] 일부 실시예들에서, 게이팅 메커니즘은 이미지들 및/또는 비디오들이 클라우드에 전달되지 않도록 보장하는 것에 추가로, 이미지들 및/또는 비디오들이 AR 시스템의 벨트 팩(70) 또는 로컬 프로세싱 모듈 어느 것에도 전달되지 않도록 설계된다. 즉, 이러한 게이팅 메커니즘은 탈착 가능한 카메라(530)가 검출될 때를 제외하면, 개별 AR 디바이스(62)가 어떠한 원치않는 또는 개인적인 이미지들 또는 비디오들도 전달하지 않도록 보장한다. 이는 AR 디바이스(62)의 사용자들의 프라이버시 및 보안이 유지되도록 보장하는 또 다른 방식을 제공한다.
[0076] 이제 도 7을 참조하면, VPU(512)의 예시적인 프로세스 흐름이 예시된다. 702에서, 이미지는 콘텍스트 제공 디바이스들 중 하나를 통해 수신될 수 있다. 704에서, 지오메트리 정보가 이미지로부터 추출될 수 있다. 706에서, 탈착 가능한 카메라(530)가 검출되는지에 관한 결정이 내려진다. 탈착 가능한 카메라(530)가 검출되는 경우, 708에서, 이미지 및 지오메트리 정보 둘 모두가 모바일 플랫폼(550)에 송신된다. 탈착 가능한 카메라(530)가 검출되지 않는 경우, 710에서, 지오메트리 정보만이 모바일 플랫폼(550)에 송신된다.
[0077] 이제 도 8a 내지 8b를 참조하면, 예시적인 프로세스 흐름도가 예시된다. 도 8a에서, 탈착 가능한 카메라(530)는 AR 디바이스(62)의 프레임(64)에 부착되지 않는다. 이미지들 및/또는 비디오들은 VPU(512)의 저장 모듈(560)에 저장된다(일부 실시예들에서, 적시에 삭제될 수 있음). 하나 또는 그 초과의 실시예들에서, VPU(512)는 이미지들로부터 지오메트리 정보를 추출할 수 있고, 별개의 저장 모듈(562)에 지오메트리 정보를 저장할 수 있다. 이미지들은 저장 모듈(560)에 저장될 수 있다(그리고 적시에 삭제됨). 도 8a에 도시된 바와 같이, 탈착 가능한 카메라(530)가 검출되지 않기 때문에, 562로부터의 지오메트리 정보만이 모바일 플랫폼(550)에 제공된다.
[0078] 도 8b에서, 탈착 가능한 카메라(530)가 검출되면, 게이트(552)는 "개방"되고 저장 모듈(560)에 저장된 이미지들 및 저장 모듈(562)에 저장된 지오메트리 정보 둘 모두가 모바일 플랫폼(550)에 송신된다. 따라서, 탈착 가능한 카메라(530)를 통해 캡처된 이미지들은 또한 저장 모듈(560)에 저장되고 "개방된 게이트"를 통해 전송된다. 다른 실시예들에서, 탈착 가능한 카메라(530)를 통해 캡처된 이미지들은 카메라 저장 모듈(510)에 저장될 수 있고, 위에서 논의된 바와 같이, 별개의 게이팅 메커니즘을 통해 모바일 플랫폼(550)에 송신될 수 있다. 다른 실시예들에서, 카메라 저장 모듈(510)은 (카메라 저장 모듈(510)이 사용자의 동의를 통해 획득된 탈착 가능한 카메라(530)로부터의 이미지들만을 포함하기 때문에) 이미지들을 모바일 플랫폼(550)에 자유롭게 송신할 수 있다.
[0079] 도 9a 및 도 9b는 다른 가능한 시스템 구성을 예시한다. 도 8a와 유사하게, 탈착 가능한 카메라(530)가 검출되지 않을 때, 게이팅 메커니즘(552)은 562로부터의 지오메트리 정보만이 모바일 플랫폼(550)에 송신되도록 허용한다. 도 9b에서, 탈착 가능한 카메라(530)가 검출될 때, 게이트(552)는 "개방"되지만, 카메라 저장 모듈(510)은 또한, VPU(512)를 거치기 보단, 탈착 가능한 카메라(530)를 통해 캡처된 이미지들을 모바일 플랫폼(550)에 직접 송신한다. 이 실시예에서, 탈착 가능한 카메라(530)로부터의 데이터는 저장 모듈(510)에 저장되고 모바일 플랫폼(550)에 직접 통신되며, VPU(512)는 다른 콘텍스트 디바이스들로부터 수집된 이미지들을 게이팅 메커니즘(552)을 통해 송신한다. 이는 모바일 플랫폼(550)에 송신되는 더 높은 품질의 이미지들(예를 들어, 탈착 가능한 카메라(530)를 통해 캡처됨)을 제공할 수 있다.
[0080] 또 다른 실시예에서, 탈착 가능한 카메라(530)를 통해 캡처된 이미지들만이 모바일 플랫폼(550)에 항상 송신된다. 즉, 게이트(552)는 결코 "개방"되지 않는다. 도 10a 및 도 10b를 참조하면, 탈착 가능한 카메라(530)가 검출되면, 카메라 저장 모듈(510)은 이미지들 및/또는 비디오들을 모바일 플랫폼(550)에 직접 송신하지만, 도 10b에 도시된 바와 같이, 탈착 가능한 카메라(530)가 검출될 때조차도, 게이트는 "개방"되지 않고, 콘텍스트 제공 디바이스들을 통해 캡처된 지오메트리 정보만이 모바일 플랫폼(550)에 송신된다. 도 10b에서, 탈착 가능한 카메라(520)가 검출되면, 이미지들은 카메라 저장 모듈(510)을 통해 모바일 플랫폼(550)에 직접 전달된다. 즉, VPU(512)는 지오메트릭 정보를 모바일 플랫폼(550)에 제공하는 것에만 관련되며, 카메라 저장 모듈(510)은 이미지들이 모바일 플랫폼(550)에 전달되도록 선택적으로 허용하는 다른 게이팅 메커니즘(도시되지 않음)을 대신 갖는다.
[0081] 본 발명의 다양한 예시적인 실시예들이 본원에서 설명된다. 이 예들에 대한 참조가 비-제한적인 의미로 이루어진다. 이들은 본 발명의 보다 널리 응용 가능한 양상들을 예시하기 위해 제공된다. 본 발명의 진정한 사상 및 범위로부터 벗어남 없이, 다양한 변경들이 설명된 발명에 대해 이루어질 수 있으며, 등가물들이 대체될 수 있다. 또한, 다수의 수정들은 본 발명의 목적(들), 사상 또는 범위로 특정한 상황, 재료, 물질의 구성, 프로세스, 프로세스 동작(들) 또는 단계(들)를 적응시키도록 이루어질 수 있다. 추가로, 당업자들에 의해 인지될 바와 같이, 본원에서 설명되고 예시된 개별 변동들 각각은 본 발명의 사상 또는 범위로부터 벗어남 없이 다른 몇 개의 실시예들 중 임의의 것의 특징들과 결합되거나 이로부터 쉽게 분리될 수 있는 이산 컴포넌트들 및 특징들을 갖는다. 모든 이러한 수정들은 본 개시와 연관되는 청구항들의 범위 내에 있는 것으로 의도된다.
[0082] 본 발명은 당해 디바이스들을 이용하여 수행될 수 있는 방법들을 포함한다. 방법들은 이러한 적합한 디바이스를 제공하는 동작을 포함할 수 있다. 이러한 프로비전(provision)은 최종 사용자에 의해 수행될 수 있다. 즉, "제공하는" 동작은 단지, 당해 방법에서 필수적인 디바이스를 제공하기 위해 최종 사용자가 획득, 액세스, 접근, 포지셔닝, 셋-업, 활성화, 전력-공급 또는 다른 동작을 할 것을 요구한다. 본원에서 인용되는 방법들은 이벤트들의 인용된 순서는 물론, 논리적으로 가능한 인용된 이벤트들의 임의의 순서로 수행될 수 있다.
[0083] 본 발명의 예시적인 양상들은, 재료 선택 및 제조에 관한 세부사항들과 함께, 위에서 기술되었다. 본 발명의 다른 세부사항들에 대해서도 말하자면, 이들은 위에 참조된 특허들 및 공개문헌들과 관련하여 인지되는 것은 물론, 당업자들에 의해 일반적으로 알려지거나 인지될 수 있다. 공통적으로 또는 논리적으로 이용되는 부가적인 동작들의 견지에서 본 발명의 방법-기반 양상들에 관하여 동일하게 적용될 수 있다.
[0084] 또한, 본 발명이 다양한 특징들을 선택적으로 포함하는 몇 개의 예들을 참조하여 설명되었지만, 본 발명은 본 발명의 각각의 변형들에 관하여 고려되는 것으로 설명되거나 표시된 것으로 제한되지 않는다. 본 발명의 진정한 사상 및 범위로부터 벗어남 없이, 다양한 변경들이 설명된 발명에 대해 이루어질 수 있고, 등가물들이 (본원에서 인용되었든지 또는 어느 정도의 간략함을 위해 포함되지 않았든지 간에) 대체될 수 있다. 또한, 값들의 범위가 제공되는 경우, 그 범위의 상위 및 하위 제한 간의 각각의 모든 개재 값 및 그 언급된 범위 내의 임의의 다른 언급된 또는 개재 값이 본 발명 내에 포함된다는 것이 이해된다.
[0085] 또한, 설명된 본 발명의 변동들의 임의의 선택적 특징이 본원에서 설명된 특징들 중 임의의 하나 또는 그 초과와 결합하여 또는 독립적으로 기술되고 청구될 수 있다는 것이 고려된다. 단수 아이템에 대한 참조는 복수의 동일한 아이템들이 존재한다는 가능성을 포함한다. 보다 구체적으로, 본원에서 그리고 그와 연관된 청구항에서 이용될 때, 단수 형태는 특별히 달리 언급되지 않으면 복수 대상들을 포함한다. 즉, 관사의 이용은, 위의 설명은 물론 본 개시와 연관된 청구항들에서 당해 아이템 중 "적어도 하나"를 허용한다. 이러한 청구항들은 임의의 선택적인 엘리먼트를 배제하도록 드래프팅될 수 있다는 것이 추가로 주의된다. 따라서, 이러한 스테이트먼트는 "네거티브(negative)" 제한의 이용 또는 청구항 엘리먼트들의 인용과 관련하여 "단지", "유일" 등과 같은 배제성 용어의 이용에 대한 선행 근거로서 역할하도록 의도된다.
[0086] 이러한 배제성 용어의 이용 없이, 본 개시와 연관된 청구항에서 "포함하는"이란 용어는, 정해진 수의 엘리먼트들이 이러한 청구항들에서 열거되는지 또는 특징들의 부가가 이러한 청구항에서 기술된 엘리먼트의 성질을 변형시키는 것으로서 고려될 수 있는지 여부에 무관하게, 임의의 부가적인 엘리먼트의 포함을 허용할 것이다. 본원에서 구체적으로 정의된 것을 제외하면, 본원에서 이용된 모든 기술적 및 과학적 용어들은 청구항 효력을 유지하면서 공통적으로 이해되는 의미를 가능한 넓게 제공하게 될 것이다.
[0087] 본 발명의 범위는 제공된 예들 및/또는 본 명세서로 제한되지 않고, 오히려 본 개시와 연관된 청구항 언어의 범위에 의해서만 제한된다.

Claims (25)

  1. 증강 현실을 디스플레이하기 위한 방법으로서,
    공간 광 변조기를 통해, 하나 또는 그 초과의 가상 이미지들을 사용자에게 프로젝팅(projecting)하는 단계;
    복수의 센서들을 통해, 사용자의 주변(surroundings)에 관한 데이터의 세트를 캡처(capture)하는 단계 ― 상기 데이터의 세트는 이미지를 포함함 ― ;
    프로세싱 모듈을 통해, 상기 복수의 센서들로부터 리트리브된 데이터의 세트를 프로세싱하는 단계 ― 상기 프로세싱 모듈은 상기 복수의 센서로부터 리트리브된 데이터의 세트가 모바일 플랫폼에 송신되도록 선택적으로 허용하는 게이팅 메커니즘(gating mechanism)을 포함함 ― ;
    탈착 가능한 카메라가 증강 현실 디바이스의 하우징에 부착되는지를 검출하는 단계를 포함하고, 상기 게이팅 메커니즘은 상기 탈착 가능한 카메라가 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되는지에 적어도 부분적으로 기초하여, 상기 복수의 센서들로부터 리트리브된 데이터의 세트가 상기 모바일 플랫폼에 송신되도록 선택적으로 허용하는
    증강 현실을 디스플레이하기 위한 방법.
  2. 제 1 항에 있어서,
    상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 상기 게이팅 메커니즘은 상기 데이터의 세트가 상기 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  3. 제 1 항에 있어서,
    상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 상기 게이팅 메커니즘은 상기 데이터의 세트 중 일부만이 상기 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  4. 제 1 항에 있어서,
    상기 복수의 센서들로부터 리트리브된 데이터의 세트 중 적어도 일부는 이미지 또는 비디오 데이터에 대응하는,
    증강 현실을 디스플레이하기 위한 방법.
  5. 제 1 항에 있어서,
    VPU를 통해, 상기 복수의 센서들로부터 리트리브된 데이터의 세트에 대응하는 이미지들의 세트로부터 지오메트릭 정보(geometric information)를 추출하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  6. 제 5 항에 있어서,
    상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 상기 게이팅 메커니즘은 상기 지오메트릭 정보가 상기 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  7. 제 5 항에 있어서,
    상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 상기 게이팅 메커니즘은, 상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템에 부착된 것으로 검출될 때 캡처된 이미지들의 세트 및 상기 지오메트릭 정보가 상기 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  8. 제 5 항에 있어서,
    상기 지오메트릭 정보는 상기 이미지들의 세트와 관련되는 포즈(pose) 정보에 대응하는,
    증강 현실을 디스플레이하기 위한 방법.
  9. 제 5 항에 있어서,
    상기 지오메트릭 정보는 상기 이미지들의 세트와 관련되는 2D 또는 3D 지점들에 대응하는,
    증강 현실을 디스플레이하기 위한 방법.
  10. 제 5 항에 있어서,
    상기 지오메트릭 정보는 상기 이미지들의 세트와 관련되는 깊이(depth) 정보에 대응하는,
    증강 현실을 디스플레이하기 위한 방법.
  11. 제 5 항에 있어서,
    상기 지오메트릭 정보를 맵 데이터베이스(map database)에 송신하는 단계를 더 포함하고,
    상기 맵 데이터베이스는 세계의 실제 객체들의 좌표 정보를 포함하여서, 상기 가상 콘텐츠가 상기 세계의 실제 객체들과 관련하여 상기 사용자에게 디스플레이되는,
    증강 현실을 디스플레이하기 위한 방법.
  12. 제 5 항에 있어서,
    상기 VPU는 상기 복수의 센서들을 통해 캡처된 이미지들을 저장하기 위한 이미지 저장 모듈을 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  13. 제 5 항에 있어서,
    상기 VPU는 상기 복수의 센서들을 통해 캡처된 이미지들과 관련된 지오메트릭 정보를 저장하기 위한 지오메트리 저장 모듈을 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  14. 제 5 항에 있어서,
    상기 게이팅 메커니즘은 상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때에도 지오메트릭 정보가 상기 모바일 플랫폼으로 통과되도록 허용하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  15. 제 1 항에 있어서,
    상기 탈착 가능한 카메라를 통해 캡처된 이미지들을 카메라 저장 모듈에 저장하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  16. 제 15 항에 있어서,
    상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출되지 않을 때, 상기 카메라 저장 모듈은 상기 이미지들을 상기 모바일 플랫폼에 송신하지 않는,
    증강 현실을 디스플레이하기 위한 방법.
  17. 제 15 항에 있어서,
    상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착된 것으로 검출될 때, 상기 카메라 저장 모듈은 상기 탈착 가능한 카메라가 부착된 것으로 검출되는 동안 캡처된 이미지들을 상기 모바일 플랫폼에 송신하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  18. 제 1 항에 있어서,
    상기 탈착 가능한 카메라는 상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착되었음을 시그널링하는 표시기를 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  19. 제 18 항에 있어서,
    상기 표시기는 상기 탈착 가능한 카메라가 상기 증강 현실 디스플레이 시스템의 하우징에 부착되었을 때 턴 온되는 광을 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  20. 제 18 항에 있어서,
    상기 표시기는 상기 탈착 가능한 카메라의 렌즈를 물리적으로 개방 또는 차단하는 셔터를 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  21. 제 1 항에 있어서,
    상기 탈착 가능한 카메라를 상기 증강 현실 디바이스의 하우징에 전기적으로 부착하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  22. 제 1 항에 있어서,
    상기 탈착 가능한 카메라를 상기 증강 현실 디바이스의 하우징에 기계적으로 부착하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  23. 제 1 항에 있어서,
    상기 탈착 가능한 카메라가 상기 탈착 가능한 카메라에 부착될 때 회로를 완성하는 전기 접촉에 적어도 부분적으로 기초하여 상기 탈착 가능한 카메라를 검출하는 단계를 더 포함하는,
    증강 현실을 디스플레이하기 위한 방법.
  24. 제 1 항 내지 제 23 항 어느 한 항에 있어서, 방법 단계들을 구현하기 위한 수단을 갖는 시스템으로서 구현되는 증강 현실을 디스플레이하기 위한 방법.
  25. 제 1 항 내지 제 23 항 중 어느 한 항에 있어서, 방법 단계들을 실행하기 위한 실행 가능한 코드를 갖는 컴퓨터-이용 가능한 저장 매체를 포함하는 컴퓨터 프로그램 제품으로서 구현되는 증강 현실을 디스플레이하기 위한 방법.






KR1020177035994A 2015-05-14 2016-05-14 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들 KR102331780B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562161665P 2015-05-14 2015-05-14
US62/161,665 2015-05-14
PCT/US2016/032580 WO2016183538A1 (en) 2015-05-14 2016-05-14 Privacy-sensitive consumer cameras coupled to augmented reality systems

Publications (2)

Publication Number Publication Date
KR20180008631A true KR20180008631A (ko) 2018-01-24
KR102331780B1 KR102331780B1 (ko) 2021-11-25

Family

ID=57249374

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177035994A KR102331780B1 (ko) 2015-05-14 2016-05-14 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들

Country Status (11)

Country Link
US (1) US9990777B2 (ko)
EP (2) EP3294428B1 (ko)
JP (1) JP6813501B2 (ko)
KR (1) KR102331780B1 (ko)
CN (1) CN107533376A (ko)
AU (1) AU2016262576B2 (ko)
CA (1) CA2984147C (ko)
HK (1) HK1252884A1 (ko)
IL (1) IL255326B (ko)
NZ (1) NZ736758A (ko)
WO (1) WO2016183538A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230134868A (ko) * 2022-03-15 2023-09-22 한밭대학교 산학협력단 증강현실을 위한 실내공간 3d 맵핑 지원 시스템

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10055892B2 (en) 2014-11-16 2018-08-21 Eonite Perception Inc. Active region determination for head mounted displays
CN106663411A (zh) 2014-11-16 2017-05-10 易欧耐特感知公司 用于增强现实准备、处理和应用的***和方法
US9916002B2 (en) 2014-11-16 2018-03-13 Eonite Perception Inc. Social applications for augmented reality technologies
US11017712B2 (en) 2016-08-12 2021-05-25 Intel Corporation Optimized display image rendering
US9928660B1 (en) 2016-09-12 2018-03-27 Intel Corporation Hybrid rendering for a wearable display attached to a tethered computer
CN106654044B (zh) * 2016-12-19 2018-11-06 深圳市华星光电技术有限公司 头戴增强现实显示装置
US10241587B2 (en) * 2016-12-22 2019-03-26 Microsoft Technology Licensing, Llc Magnetic tracker power duty cycling
CN107132657B (zh) * 2017-05-22 2023-06-30 歌尔科技有限公司 Vr一体机、手机、手机和vr一体机套装
US10178294B2 (en) 2017-05-25 2019-01-08 International Business Machines Corporation Controlling a video capture device based on cognitive personal action and image identification
US11468174B2 (en) * 2017-08-11 2022-10-11 Eys3D Microelectronics Co. Surveillance camera system and related surveillance system thereof
CN109670282B (zh) * 2017-10-17 2023-12-22 深圳富泰宏精密工业有限公司 解锁***、解锁方法及电子装置
CN108777779A (zh) * 2018-06-12 2018-11-09 北京京东金融科技控股有限公司 一种视频拍摄设备的智能化装置、方法、介质及电子设备
US11141645B2 (en) 2018-09-11 2021-10-12 Real Shot Inc. Athletic ball game using smart glasses
US11103763B2 (en) 2018-09-11 2021-08-31 Real Shot Inc. Basketball shooting game using smart glasses
US10780359B2 (en) 2019-01-08 2020-09-22 Universal City Studios Llc Systems and methods for a connected augmented environment
CN110264818B (zh) * 2019-06-18 2021-08-24 国家电网有限公司 一种基于增强现实的机组进水阀拆装训练方法
US11209581B2 (en) 2019-06-19 2021-12-28 Universal City Studios Llc Techniques for selective viewing of projected images
US11431038B2 (en) * 2019-06-21 2022-08-30 Realwear, Inc. Battery system for a head-mounted display
WO2022066188A1 (en) 2020-09-28 2022-03-31 Hewlett-Packard Development Company, L.P. Head mountable device with tracking feature
CN112181152B (zh) * 2020-11-13 2023-05-26 幻蝎科技(武汉)有限公司 基于mr眼镜的广告推送管理方法、设备及应用
WO2023196417A1 (en) * 2022-04-07 2023-10-12 Universal City Studios Llc Systems and methods for storing player state caches locally on ride vehicles
US11972039B1 (en) 2022-12-02 2024-04-30 ARMaps Augmented reality skydiving system

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
US20150268473A1 (en) * 2014-03-18 2015-09-24 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000350127A (ja) * 1999-06-02 2000-12-15 Sony Corp 画像処理装置及び画像処理方法
JP4677269B2 (ja) * 2005-04-08 2011-04-27 キヤノン株式会社 情報処理方法およびシステム
JP3121579U (ja) * 2006-03-02 2006-05-18 株式会社島津製作所 頭部装着型表示装置
FR2911211B1 (fr) * 2007-01-05 2009-06-12 Total Immersion Sa Procede et dispositifs pour inserer en temps reel des objets virtuels dans un flux d'images a partir de donnees issues de la scene reelle representee par ces images
US20120206322A1 (en) * 2010-02-28 2012-08-16 Osterhout Group, Inc. Ar glasses with event and sensor input triggered user action capture device control of ar eyepiece facility
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US20120142415A1 (en) * 2010-12-03 2012-06-07 Lindsay L Jon Video Show Combining Real Reality and Virtual Reality
US9690099B2 (en) * 2010-12-17 2017-06-27 Microsoft Technology Licensing, Llc Optimized focal area for augmented reality displays
US20120306850A1 (en) * 2011-06-02 2012-12-06 Microsoft Corporation Distributed asynchronous localization and mapping for augmented reality
WO2013028813A1 (en) * 2011-08-23 2013-02-28 Microsoft Corporation Implicit sharing and privacy control through physical behaviors using sensor-rich devices
JP2013254399A (ja) * 2012-06-08 2013-12-19 Sharp Corp 入力システム及び電子会議システム
US9042596B2 (en) * 2012-06-14 2015-05-26 Medibotics Llc Willpower watch (TM)—a wearable food consumption monitor
KR102056175B1 (ko) 2013-01-28 2020-01-23 삼성전자 주식회사 증강현실 콘텐츠 생성 방법 및 이를 구현하는 휴대단말장치
KR102086510B1 (ko) * 2013-09-26 2020-04-14 엘지전자 주식회사 헤드 마운트 디스플레이 및 제어 방법
US9950257B2 (en) * 2014-03-04 2018-04-24 Microsoft Technology Licensing, Llc Recording companion
CN104363430A (zh) * 2014-12-04 2015-02-18 高新兴科技集团股份有限公司 一种增强现实摄像机监控方法及其***
CN204272295U (zh) * 2014-12-04 2015-04-15 高新兴科技集团股份有限公司 一种增强现实摄像机监控***

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100103196A1 (en) * 2008-10-27 2010-04-29 Rakesh Kumar System and method for generating a mixed reality environment
US20100182340A1 (en) * 2009-01-19 2010-07-22 Bachelder Edward N Systems and methods for combining virtual and real-time physical environments
US20150268473A1 (en) * 2014-03-18 2015-09-24 Seiko Epson Corporation Head-mounted display device, control method for head-mounted display device, and computer program

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230134868A (ko) * 2022-03-15 2023-09-22 한밭대학교 산학협력단 증강현실을 위한 실내공간 3d 맵핑 지원 시스템

Also Published As

Publication number Publication date
US9990777B2 (en) 2018-06-05
JP6813501B2 (ja) 2021-01-13
EP3695888A1 (en) 2020-08-19
IL255326B (en) 2020-08-31
AU2016262576A1 (en) 2017-11-16
EP3294428A4 (en) 2018-05-16
CA2984147A1 (en) 2016-11-17
KR102331780B1 (ko) 2021-11-25
NZ736758A (en) 2020-06-26
CN107533376A (zh) 2018-01-02
HK1252884A1 (zh) 2019-06-06
EP3294428A1 (en) 2018-03-21
AU2016262576B2 (en) 2021-08-19
US20160335802A1 (en) 2016-11-17
CA2984147C (en) 2022-02-08
EP3294428B1 (en) 2020-07-01
JP2018522324A (ja) 2018-08-09
EP3695888B1 (en) 2021-12-29
WO2016183538A1 (en) 2016-11-17
IL255326A0 (en) 2017-12-31

Similar Documents

Publication Publication Date Title
KR102331780B1 (ko) 증강 현실 시스템들에 커플링된 프라이버시-민감 소비자 카메라들
JP7445720B2 (ja) 拡張現実のためのシステムおよび方法
US20230141039A1 (en) Immersive displays
US8912980B2 (en) Image processing device, image processing method, and image processing system
CN105452994B (zh) 虚拟物体的同时优选观看
CN107209950A (zh) 从现实世界材料自动生成虚拟材料
CN109002164B (zh) 头戴显示设备的显示方法、装置及头戴显示设备
CN107111370A (zh) 现实世界对象的虚拟表示
CN105431763A (zh) 在佩戴移动设备时跟踪头部移动
JP6784056B2 (ja) 頭部装着型表示装置、表示システム、頭部装着型表示装置の制御方法、およびコンピュータープログラム
JP6875029B1 (ja) 方法、プログラム、情報処理装置
US20230403386A1 (en) Image display within a three-dimensional environment
CN116941239A (zh) 三维环境内的图像显示
JP2013131884A (ja) 眼鏡

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant