KR20220018561A - 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들 - Google Patents

사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들 Download PDF

Info

Publication number
KR20220018561A
KR20220018561A KR1020227000359A KR20227000359A KR20220018561A KR 20220018561 A KR20220018561 A KR 20220018561A KR 1020227000359 A KR1020227000359 A KR 1020227000359A KR 20227000359 A KR20227000359 A KR 20227000359A KR 20220018561 A KR20220018561 A KR 20220018561A
Authority
KR
South Korea
Prior art keywords
gesture
artificial reality
hand
user
assistant
Prior art date
Application number
KR1020227000359A
Other languages
English (en)
Inventor
조나단 라바즈
에티엔느 핀숑
사이먼 찰스 티커
로버트 엘리스
재스퍼 스티븐스
아담 티보르 바르가
제니퍼 린 스펄록
카일 에릭 조르지-투미
바렛 폭스
Original Assignee
페이스북 테크놀로지스, 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북 테크놀로지스, 엘엘씨 filed Critical 페이스북 테크놀로지스, 엘엘씨
Publication of KR20220018561A publication Critical patent/KR20220018561A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04886—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures by partitioning the display area of the touch-screen or the surface of the digitising tablet into independently controllable areas, e.g. virtual keyboards or menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/28—Recognition of hand or arm movements, e.g. recognition of deaf sign language
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2354/00—Aspects of interface with display user

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Psychiatry (AREA)
  • Social Psychology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)

Abstract

인공 현실 환경 내의 사용자 인터페이스 요소들을 렌더링, 제시, 및 제어하고, 사용자의 하나 이상의 검출된 제스처들에 응답하여 동작들을 수행하는 인공 현실 시스템이 설명된다. 인공 현실 시스템은 이미지 캡처 디바이스, 머리-장착 디스플레이(HMD), 사용자 인터페이스(UI) 엔진 및 렌더링 엔진을 포함한다. 이미지 캡처 디바이스는 물리적 환경을 나타내는 이미지 데이터를 캡처한다. HMD는 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력한다. 제스처 검출기는 이미지 데이터로부터, 어시스턴트 요소에 대응하는 위치에서 파지 구성을 형성하기 위해 손의 2개 이상의 디지트들의 파지 모션, 및 파지 모션에 후속하여, 어시스턴트 요소에 관련한 손의 던지기 모션을 포함하는 제스처를 식별한다. UI 엔진은 제스처를 식별하는 것에 응답하여 UI 요소를 생성한다.

Description

사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들
관련 출원에 대한 상호 참조
본 출원은 2019년 6월 7일에 출원된 미국 출원 번호 16/435,094로부터 우선권을 주장하고, 그 내용들은 모든 목적들을 위해 그 전체가 본원에 참조로 포함된다.
본 개시내용은 일반적으로 가상 현실, 혼합 현실 및/또는 증강 현실, 및/또는 다른 컴퓨터-매개화 현실 시스템들 같은 인공 현실 시스템들에 관한 것으로, 보다 구체적으로 인공 현실 시스템들의 사용자 인터페이스들에 관한 것이다.
인공 현실 시스템들은 컴퓨터 게이밍, 건강 및 안전, 산업 및 교육과 같은 많은 분야들의 애플리케이션들과 함께 점점 더 흔하게 되고 있다. 몇 가지 예들로서, 인공 현실 시스템들은 모바일 디바이스들, 게이밍 콘솔들, 개인용 컴퓨터들, 영화관들 및 테마 파크들에 통합되고 있다. 일반적으로, 인공 현실은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제시 전에 일부 방식으로 조정된 현실 형태이다.
일반적인 인공 현실 시스템들은 콘텐츠를 렌더링하고 사용자들에게 디스플레이하기 위한 하나 이상의 디바이스들을 포함한다. 일 예로서, 인공 현실 시스템은 사용자에 의해 착용되고 인공 현실 콘텐츠를 사용자에게 출력하도록 구성된 머리 장착 디스플레이(HMD)를 포합할 수 있다. 인공 현실 콘텐츠는 컴퓨터-생성 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 현실-세계 비디오 및/또는 이미지들)와 결합된 생성된 콘텐츠를 포함할 수 있다. 동작 동안, 사용자는 일반적으로 인공 현실 시스템과 상호작용하여 콘텐츠를 선택하거나, 애플리케이션들을 시작하거나, 그렇지 않으면 시스템을 구성한다.
일반적으로, 본 개시내용은 인공 현실 시스템들, 보다 구체적으로 인공 현실 환경 내의 사용자 인터페이스(UI) 요소들을 제시 및 제어하기 위한 시스템 구성들 및 기법들을 설명한다. 본 개시내용의 기법들 및 시스템 구성들의 일부 예들은 사용자에 의해 수행된 특정 제스처들을 검출하거나 식별하는 것에 응답하여 UI 요소들을 호출하는 것에 관한 것이다. UI 요소들의 호출은 또한 본 개시내용 전체에서 UI 요소들을 "트리거링"하거나 UI 요소들을 "게이팅"하는 것으로도 지칭된다. 이러한 UI 요소들의 예들은 사용자-선택가능 옵션들의 메뉴를 포함하지만, 이에 한정되지 않는다. 본 개시내용의 양태들은 또한 이러한 제스처들에 응답하여 UI 요소의 배향 또는 데이터-입도 레벨을 변경하는 것과 같이 소정 제스처들을 검출하는 것에 응답하여 현재-렌더링된 UI 요소를 수정하는 것에 관한 것이다.
본 발명의 제1 양태에 따르면, 인공 현실 시스템이 제공되고, 인공 현실 시스템은: 물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스; 어시스턴트 요소(assistant element)를 포함하는 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD); 이미지 데이터로부터, 어시스턴트 요소에 대응하는 위치에서 파지 구성(gripping configuration)을 형성하기 위해 손의 2개 이상의 디지트(digit)들의 파지 모션, 및 파지 모션에 후속하여, 어시스턴트 요소에 관한 손의 던지기 모션을 포함하는 제스처를 식별하도록 구성된 제스처 검출기; 제스처를 식별하는 것에 응답하여 UI 요소를 생성하도록 구성된 사용자 인터페이스(UI) 엔진; 및 UI 요소를 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이(overlay)로서 렌더링하도록 구성된 렌더링 엔진을 포함한다.
파지 모션은 어시스턴트 요소의 제1 부분에 대응하는 위치에서의 손의 엄지 및 어시스턴트 요소의 제2 부분에 대응하는 위치에서의 엄지 이외의 손의 적어도 하나의 손가락을 포함할 수 있다.
어시스턴트 요소의 제1 부분은 어시스턴트 요소의 제2 부분에 적어도 대략적으로 정반대일 수 있다.
던지기 모션은 파지 구성의 해제와 손의 구부리기의 조합을 포함할 수 있다.
던지기 모션은 파지 구성의 해제와 손의 디지트들 중 적어도 하나의 외향 플릭킹 모션(flicking motion)의 조합을 포함할 수 있다.
UI 요소는 사용자-선택가능 옵션들의 적어도 하나의 메뉴를 포함할 수 있다.
제스처 검출기는 이미지 데이터로부터, 어시스턴트 요소에 관한 길게 누르기(press-and-hold) 제스처를 식별하도록 구성될 수 있다. 길게 누르기 제스처는 UI 요소를 오버레이로 렌더링한 후에 발생할 수 있다. 렌더링 엔진은 길게 누르기 제스처를 식별하는 것에 응답하여 인공 현실 콘텐츠에서 UI 요소의 오버레이를 제거하도록 구성될 수 있다.
길게 누르기 제스처를 식별하기 위해, 제스처 검출기는 인공 현실 콘텐츠의 어시스턴트 요소에 대응하고 적어도 임계 시간 기간 동안 실질적으로 고정되어 있는 위치에 배치된 손의 디지트들 중 적어도 하나의 구성을 식별하도록 구성될 수 있다.
제스처를 식별하기 위해, 제스처 검출기는 제스처를 제스처 라이브러리의 엔트리에 대응하는 것으로 식별하도록 추가로 구성될 수 있다.
이미지 캡처 디바이스는 HMD 내에 통합될 수 있다.
본 발명의 제2 양태에 따르면, 방법이 제공되고, 방법은: 인공 현실 시스템은: 머리-장착 디스플레이(HMD)에 의해, 물리적 환경을 나타내는 이미지 데이터를 캡처하는 단계; HMD에 의해, 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하는 단계; 식별하도록 구성된 제스처 검출기에 의해, 이미지 데이터로부터, 어시스턴트 요소에 대응하는 위치에서 손의 2개 이상의 디지트들을 사용한 파지 모션, 및 파지 모션에 후속하여, 어시스턴트 요소에 관한 손의 던지기 모션을 포함하는 제스처를 식별하는 단계; 사용자 인터페이스(UI) 엔진에 의해, 제스처를 식별하는 것에 응답하여 UI 요소를 생성하는 단계; 및 렌더링 엔진에 의해, UI 요소를 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로서 렌더링하는 단계를 포함한다.
파지 모션은 어시스턴트 요소의 제1 부분과 접촉하는 손의 엄지 및 어시스턴트 요소의 제2 부분과 접촉하는 엄지 이외의 손의 적어도 하나의 손가락을 포함할 수 있다.
어시스턴트 요소의 제1 부분은 어시스턴트 요소의 제2 부분에 적어도 대략적으로 정반대일 수 있다.
던지기 모션은 파지 모션의 해제와 손의 구부리기의 조합을 포함할 수 있다.
던지기 모션은 파지 모션의 해제와 손의 디지트들 중 적어도 하나의 외향 플릭킹 모션의 조합을 포함할 수 있다.
UI 요소는 사용자-선택가능 옵션들의 적어도 하나의 메뉴를 포함할 수 있다.
방법은 제스처 검출기에 의해, 이미지 데이터로부터, 어시스턴트 요소에 관한 길게 누르기 제스처를 식별하는 단계를 더 포함할 수 있다. 길게 누르기 제스처는 UI 요소를 오버레이로 렌더링한 후에 발생할 수 있다. 방법은 렌더링 엔진에 의해, 길게 누르기 제스처를 식별하는 단계에 응답하여 인공 현실 콘텐츠로부터 UI 요소의 오버레이를 제거하는 단계를 더 포함할 수 있다.
길게 누르기 제스처를 식별하는 단계는 제스처 검출기에 의해, 손의 디지트들 중 적어도 하나가 인공 현실 콘텐츠의 어시스턴트 요소에 대응하는 위치에 배치되고 적어도 임계 시간 기간 동안 실질적으로 고정되어 있다는 것을 결정하는 단계를 포함할 수 있다.
제스처를 식별하는 단계는 제스처 검출기에 의해, 제스처를 제스처 라이브러리의 엔트리에 대응하는 것으로 식별하는 단계를 포함할 수 있다.
본 발명의 제3 양태에 따르면, 명령들이 인코딩되어 있는 비-일시적 컴퓨터-판독가능 저장 매체가 제공되고, 명령들은, 실행될 때, 인공 현실 시스템의 프로세싱 회로가: 머리-장착 디스플레이(HMD)로부터, 물리적 환경을 나타내는 이미지 데이터를 수신하게 하고; HMD를 통해, 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하게 하고; 이미지 데이터로부터, 어시스턴트 요소에 대응하는 위치에서 손의 2개 이상의 디지트들을 사용한 파지 모션, 및 파지 모션에 후속하여, 어시스턴트에 관련한 손의 던지기 모션을 포함하는 제스처를 식별하게 하고; 제스처를 식별하는 것에 응답하여 사용자 인터페이스(UI) 요소를 생성하게 하고; UI 요소를 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로 렌더링하게 한다.
예를 들어, 인공 현실 시스템들에 액세스가능한 제스처 라이브러리에서 정의된 바와 같이, 사용자에 의해 수행된 하나 이상의 미리 정의된 제스처들의 검출에 응답하여 사용자에게 디스플레이 하기 위한 그래픽 UI 요소들을 생성하고 렌더링하는 인공 현실 시스템들이 설명된다. 이러한 제스처들의 예들은 사용자의 손들, 손가락들, 엄지들 또는 팔들의 특정 모션들, 움직임들, 정적 구성들, 이동 구성들, 위치들, 상대적 위치들, 및/또는 배향들, 또는 미리 정의된 제스처들의 조합을 포함한다. 일부 예들에서, 인공 현실 시스템은 사용자의 실시간 시선 추적에 의해 또는 사용자에 의해 착용된 HMD의 포즈에 관련하여 결정될 수 있는 사용자의 현재 시야에 관련한 물리적 환경에서 특정 제스처들의 위치 및 배향과 같은 다른 조건들과 함께 특정 제스처들의 검출에 응답하여 그래픽 사용자 인터페이스 요소들의 생성 및 렌더링을 추가로 트리거할 수 있다.
일부 예들에서, 인공 현실 시스템은 인공 현실 시스템의 디스플레이 내에서 현재 렌더링되고 있는 인공 현실 콘텐츠에 관련한 오버레이 요소들로서 그래픽 UI(GUI) 요소들을 생성하고 제시할 수 있다. UI 요소들은 예를 들어, 사용자가 인공 현실 시스템을 동작시키기 위해 상호작용하는 메뉴 또는 서브-메뉴와 같은 대화형 GUI 요소들을 포함하거나, GUI 요소들이거나, 그 일부일 수 있다. UI 요소들은 일부 사례들에서, 사용자에 의해 선택 및/또는 조작가능한 요소들과 같은 개별 GUI 요소들을 포함할 수 있다. 다양한 예들에서, 이러한 개별 GUI 요소들은 토글(또는 토글가능) 요소들, 드롭-다운(drop-down) 요소들, 메뉴 선택 요소들(예를 들어, 체크박스-기반 메뉴), 2차원 또는 3차원 형상들, 그래픽 입력 키들 또는 키보드들, 콘텐츠 디스플레이 창들 등 중 하나 이상을 포함한다.
일 예에서, 인공 현실 시스템은 이미지 캡처 디바이스, 머리-장착 디스플레이(HMD), 사용자 인터페이스(UI) 엔진 및 렌더링 엔진을 포함한다. 이미지 캡처 디바이스는 물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성된다. HMD는 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하도록 구성된다. 제스처 검출기는 이미지 데이터로부터, (i) 어시스턴트 요소에 대응하는 위치에서 파지 구성을 형성하기 위해 손의 2개 이상의 디지트들의 파지 모션, 및 (ii) 파지 모션에 후속하여, 어시스턴트 요소에 관련한 손의 던지기 모션을 포함하는 제스처를 식별하도록 구성된다. UI 엔진은 제스처를 식별하는 것에 응답하여 UI 요소를 생성하도록 구성된다. 렌더링 엔진은 UI 요소를 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로 렌더링하도록 구성된다.
다른 예에서, 방법은 이미지 캡처 디바이스에 의해, 물리적 환경을 나타내는 이미지 데이터를 캡처하는 단계, 및 HMD(head-mounted display)에 의해, 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하는 단계를 포함한다. 방법은 식별하도록 구성된 제스처 검출기에 의해, 이미지 데이터로부터 제스처를 식별하는 단계를 더 포함한다. 제스처는 어시스턴트 요소에 대응하는 위치에서 손의 2개 이상의 디지트들을 사용한 파지 모션과, 파지 모션에 후속하여, 어시스턴트 요소에 관련한 손의 던지기 모션을 포함한다. 방법은 사용자 인터페이스(UI) 엔진에 의해, 제스처를 식별하는 단계에 응답하여 UI 요소를 생성하는 단계, 및 렌더링 엔진에 의해, UI 요소를 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로서 렌더링하는 단계를 더 포함한다.
다른 예에서, 비-일시적 컴퓨터-판독가능 저장 매체는 명령들이 인코딩되어 있고, 명령들은, 실행될 때, 인공 현실 시스템의 프로세싱 회로가, 이미지 캡처 디바이스로부터, 물리적 환경을 나타내는 이미지 데이터를 수신하게 하고, 머리-장착 디스플레이(HMD)를 통해, 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하게 하고, 이미지 데이터로부터, (i) 어시스턴트 요소에 대응하는 위치에서 손의 2개 이상의 디지트들을 사용한 파지 모션, 및 (ii) 파지 모션에 후속하여, 어시스턴트 요소에 관련한 손의 던지기 모션을 포함하는 제스처를 식별하게 하고, 제스처를 식별하는 것에 응답하여 UI 요소를 생성하게 하고, UI 요소를 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로서 렌더링하게 한다.
다른 예에서, 시스템은 물리적 환경을 나타내는 이미지 데이터를 캡처하기 위한 수단, 및 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하기 위한 수단을 포함한다. 시스템은 식별하도록 구성된 제스처 검출기에 의해, 이미지 데이터로부터 제스처를 식별하기 위한 수단을 더 포함한다. 제스처는 어시스턴트 요소에 대응하는 위치에서 손의 2개 이상의 디지트들을 사용한 파지 모션과, 파지 모션에 후속하여, 어시스턴트 요소에 관련한 손의 던지기 모션을 포함한다. 시스템은 제스처를 식별하는 것에 응답하여 UI 요소를 생성하기 위한 수단, 및 UI 요소를 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로서 렌더링하기 위한 수단을 더 포함한다.
이러한 방식으로, 본 개시내용의 시스템 구성들 및 기법들은 인공 현실 시스템의 사용자가 특정 제스처들을 수행함으로써 인공 현실 콘텐츠에 의해 표현되는 가상 환경에서 특정 UI 요소들을 호출하거나 게이팅트할 수 있게 한다. 다양한 예들에서, 인공 현실 시스템은 검출된 이미지 데이터를 인공 현실 시스템에 액세스가능한 제스처 라이브러리에 저장된 미리 정의된 제스처들에 매칭할 수 있다. 본 개시내용의 인공 현실 시스템은 다양한 구현들에서, 물리적 또는 가상 버튼들을 누르지 않고 수행될 수 있는 미리 정의된 제스처들로 제스처 라이브러리의 엔트리들을 채울 수 있고, 일부 경우들에서, 한 손을 사용하여 수행될 수 있다. 본 개시내용의 인공 현실 시스템들은 인공 현실 환경 내에서 UI 요소 게이팅의 이러한 특정 제스처들을 사용하기 위해 정규 인공 현실 동작 과정 동안 독특한 제스처들을 활용한다.
본 개시내용의 기법들의 하나 이상의 예들의 세부사항들은 아래의 첨부 도면들 및 설명에서 설명된다. 기법들의 다른 특징들, 목적들, 및 장점들은 설명, 도면들 및 청구항들로부터 자명하게 될 것이다.
도 1a는 본 개시내용의 기법들에 따라 인공 현실 환경 내에서 사용자 인터페이스 요소들을 제시하고 제어하는 예시적인 인공 현실 시스템을 묘사하는 예시이다.
도 1b는 본 개시내용의 기법들에 따른 다른 예시적인 인공 현실 시스템을 묘사하는 예시이다.
도 2는 본 개시내용의 기법들에 따라 동작하는 예시적인 HMD를 묘사하는 예시이다.
도 3은 도 1a, 도 1b의 인공 현실 시스템들의 콘솔 및 HMD의 예시적인 구현들을 도시하는 블록도이다.
도 4는 본 개시내용의 기법들에 따른 도 1a, 도 1b의 인공 현실 시스템들의 HMD에 의해 제스처 검출 및 사용자 인터페이스 생성이 수행되는 예를 묘사하는 블록도이다.
도 5는 본 개시내용의 인공 현실 시스템이 본 개시내용의 제스처-구동 UI 요소 게이팅 기법들에 따라 수행할 수 있는 프로세스를 예시하는 흐름도이다.
도 6a-도 6d는 본 개시내용의 인공 현실 시스템이 손의 모서리-기반 게이팅 구성들의 식별에 응답하여 호출할 수 있는 손 및 UI 요소들의 모서리-기반 게이팅 구성들을 예시한다.
도 7a 및 도 7b는 본 개시내용의 인공 현실 시스템들이 인공 현실 콘텐츠에 의해 표현되는 가상 환경 내의 소정 UI 요소들을 게이팅하기 위한 자극으로서 검출할 수 있는 손의 둥근-경계 구성들을 예시한다.
도 8a 및 도 8b는 본 개시내용의 인공 현실 시스템들이 인공 현실 콘텐츠에 의해 표현되는 가상 환경 내의 소정 UI 요소들을 게이팅하기 위한 자극으로서 검출할 수 있는 팔의 구성들을 예시한다.
도 9a-도 9c는 본 개시내용의 일부 양태들에 따라, 본 개시내용의 인공 현실 시스템들이 UI 요소들을 게이팅할 수 있는 것에 응답하여 파지-및-던지기 제스처를 형성하는 손의 다양한 구성들을 예시한다.
도 10a 및 도 10b는 본 개시내용의 제스처 검출기들이 반대쪽 팔의 미리 정의된 영역들로부터 발생하는 파지(또는 "홀딩" 또는 "파지") 제스처들에 일반적으로 대응하는 제스처들을 검출하기 위해 사용할 수 있는 손 및 반대쪽 팔의 다양한 구성들을 예시한다.
도 11은 본 개시내용의 인공 현실 시스템들이 파지-및-당기기 제스처의 식별에 응답하여 호출할 수 있는 반대쪽 손목 및 UI 요소들로부터 발생하는 손의 파지-및-당기기 제스처를 예시한다.
유사한 참조 문자들은 도면들 및 설명 전반에 걸쳐 유사한 요소들을 지칭한다.
도 1a는 본 개시내용의 기법들에 따라 인공 현실 환경 내에서 사용자 인터페이스 요소들을 제시하고 제어하는 예시적인 인공 현실 시스템(10)을 묘사하는 예시이다. 일부 예시적인 구현들에서, 인공 현실 시스템(10)은 사용자(110)에 의해 수행되고 인공 현실 시스템(10) 및/또는 이의 구성요소(들)에 의해 검출되는 하나 이상의 제스처들에 응답하여 그래픽 사용자 인터페이스 요소들을 생성하고 사용자(110)에게 렌더링한다. 즉, 본원에 설명된 바와 같이, 인공 현실 시스템(10)은 사용자의 손들, 손가락들, 엄지들 또는 팔들 등의 특정 모션들, 구성들, 위치들, 및/또는 배향들 같은 사용자(110)에 의해 수행된 하나 이상의 특정 제스처들을 검출하는 것에 대한 응답하여 하나 이상의 그래픽 사용자 인터페이스 요소들(124, 126)을 제시한다.
일부 예들에서, 인공 현실 시스템(10)은 사용자의 실시간 시건 추적, 또는 다른 조건들에 의해 결정될 수 있는 바와 같이, 사용자(110)의 현재 시야(130)에 관련하여 물리적 환경 내의 팔(134)의 부분들(예를 들어, 손목) 및/또는 손(132)(또는 그 디지트들)의 위치 및 배향과 같은 추가 조건들이 충족되는 것에 기반하여 미리 정의된 제스처를 검출할 수 있다. 다른 예들에서, 인공 현실 시스템(10)은 메뉴 선택 요소들(예를 들어, 하나 이상의 사용자-선택가능 옵션들을 포함하는 메뉴), 특수 토글 요소들, 드롭-다운 요소들, 그래픽 입력 키들 또는 키보드들, 콘텐츠 디스플레이 창들 등과 같은 인공 현실 환경 내에서 사용자 상호작용 및 조작을 위해 특별히 설계된 사용자 인터페이스 요소들을 제시하고 제어한다.
도 1a의 예에서, 인공 현실 시스템(10)은 머리 장착 디바이스(HMD)(112), 콘솔(106), 및 일부 예들에서 하나 이상의 외부 센서들(90)을 포함한다. 도시된 바와 같이, HMD(112)는 일반적으로 사용자(110)에 의해 착용되고 인공 현실 콘텐츠(122)를 사용자(110)에게 제시하기 위한 전자 디스플레이 및 광학 어셈블리를 포함한다. 또한, HMD(112)는 HMD(112)의 모션을 추적하기 위한 하나 이상의 센서들(예를 들어, 가속도계들)을 포함한다. HMD(112)는 하나 이상의 이미지 캡처 디바이스들(138), 예를 들어 카메라들, 라인 스캐너들 등을 포함할 수 있다. 이미지 캡처 디바이스들(138)은 주변 물리적 환경의 이미지 데이터를 캡처하도록 구성될 수 있다. 이 예에서, 콘솔(106)은 게임 콘솔, 워크스테이션, 데스크톱 컴퓨터 또는 랩톱과 같은 단일 컴퓨팅 디바이스로서 도시된다.
다른 예들에서, 콘솔(106)은 분산 컴퓨팅 네트워크, 데이터 센터, 또는 클라우드 컴퓨팅 시스템과 같은 복수의 컴퓨팅 디바이스들에 걸쳐 분산될 수 있다. 콘솔(106), HMD(112), 및 센서들(90)은 이 예에 도시된 바와 같이, WiFi® 또는 5G® 기반 네트워크, 이더넷 네트워크, 메시 네트워크 또는 단거리 무선(예를 들어, Bluetooth®) 통신 매체와 같은 유선 또는 무선 네트워크일 수 있는 네트워크(104)를 통해 통신가능하게 결합될 수 있다. HMD(112)가 이 예에서 콘솔(106)과 통신하는, 예를 들어, 콘솔(106)과 테더링하거나 무선 통신하는 것으로 도시되지만, 일부 구현들에서 HMD(112)는 독립형 모바일 인공 현실 시스템으로서 동작한다.
일반적으로, 인공 현실 시스템(10)은 사용자(110)에게 디스플레이하기 위해 인공 현실 콘텐츠(122)를 렌더링하기 위해 현실-세계 3차원(3D) 물리적 환경으로부터 캡처된 정보를 사용한다. 도 1a의 예에서, 사용자(110)는 콘솔(106) 및/또는 HMD(112) 상에서 실행되는 인공 현실 애플리케이션에 의해 구성되고 렌더링된 인공 현실 콘텐츠(122)를 본다. 일 예로서, 인공 현실 콘텐츠(122)는 사용자(110)가 하나 이상의 가상 객체들(128A, 128B)을 갖는 아바타(120)로서 렌더링되는 소비자 게이밍 애플리케이션일 수 있다. 일부 예들에서, 인공 현실 콘텐츠(122)는 현실-세계 이미지와 가상 객체들, 예를 들어 혼합 현실 및/또는 증강 현실의 혼합을 포함할 수 있다. 다른 예들에서, 인공 현실 콘텐츠(122)는 예를 들어 화상 회의 애플리케이션, 내비게이션 애플리케이션, 교육 애플리케이션, 훈련 또는 시뮬레이션 애플리케이션들, 또는 인공 현실을 구현하는 다른 유형들의 애플리케이션들일 수 있다.
동작 동안, 인공 현실 애플리케이션은 기준 프레임, 일반적으로 HMD(112)의 보기 각도에 대한 포즈 정보를 추적 및 계산함으로써 사용자(110)에게 디스플레이하기 위한 인공 현실 콘텐츠(122)를 구성한다. HMD(112)를 기준 프레임으로 사용하고, HMD(112)의 현재 추정된 포즈에 의해 결정된 현재 시야(130)에 기반하여, 인공 현실 애플리케이션은 일부 예들에서 적어도 부분적으로 사용자(110)의 현실-세계 3D 물리적 환경에 오버레이될 수 있는 3D 인공 현실 콘텐츠를 렌더링한다. 이 프로세스 동안, 인공 현실 애플리케이션은 움직임 정보 및 사용자 커맨드들과 같은 HMD(112)로부터 수신된 감지 데이터를 사용하고, 일부 예에서는 사용자(110)에 의한 모션 및/또는 사용자(110)에 관한 피처 추적 정보(feature tracking information) 같은, 현실 세계 물리적 환경 내의 3D 정보를 캡처하기 위해 외부 카메라들(102A 및/또는 102B)과 같은 임의의 외부 센서들(90)로부터의 데이터를 사용한다. 감지된 데이터에 기반하여, 인공 현실 애플리케이션은 HMD(112)의 기준 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라 인공 현실 콘텐츠(122)를 렌더링한다.
또한, 본 개시내용의 기법들에 따르면, 감지된 데이터에 기반하여, 인공 현실 애플리케이션은 사용자(110)에 의해 수행된 제스처들을 검출하고, 하나 이상의 특정 제스처들을 검출하는 것에 응답하여, 사용자(110)에게 제시되는 아래 놓인 인공 현실 콘텐츠(122)에 오버레이될 수 있는 하나 이상의 사용자 인터페이스 요소들, 예를 들어 UI 메뉴(124) 및 UI 요소(126)를 생성한다. 이와 관련하여, 사용자 인터페이스 요소들(124, 126)은 인공 현실 환경에서 사용자(110)에게 제시되는 인공 현실 콘텐츠(122)의 일부로서 보여질 수 있다. 이러한 방식으로, 인공 현실 시스템(10)은 사용자의 손들, 손가락들, 엄지들 또는 팔들의 특정 모션들, 구성들, 위치들, 및/또는 배향들 같은 사용자(110)에 의한 하나 이상의 특정 제스처들을 검출하는 것에 응답하여 하나 이상의 그래픽 사용자 인터페이스 요소들(124, 126)를 동적으로 제시한다. 사용자 손의 예시적인 구성들은 주먹, 하나 이상의 디지트들이 펼쳐진 부분 주먹, 모든 디지트들이 펼쳐진 열린 손, 2개 이상의 손가락들이 가상 객체를 둘러싸는 파지 구성, 손(132)의 개별 디지트들의 하나 이상의 상대 및/또는 절대 위치들 및 배향들, 손의 손바닥의 형상(예를 들어, 실질적으로 편평한, 컵 모양 등) 등을 포함할 수 있다.
사용자 인터페이스 요소들은 예를 들어, 사용자(110)가 인공 현실 시스템을 동작시키기 위해 상호작용하는 메뉴 또는 서브-메뉴와 같은 그래픽 사용자 인터페이스, 또는 토글 요소들, 드롭-다운 요소들, 메뉴 선택 요소들, 2-차원 또는 3-차원 형상들, 그래픽 입력 키들 또는 키보드들, 콘텐츠 디스플레이 창들 등과 같은 사용자(110)에 의해 선택가능하고 조작가능한 개별 사용자 인터페이스 요소들을 포함할 수 있거나, 이들 요소들일 수 있거나, 이의 부분일 수 있다. 예를 들어, 2차원 요소로 묘사되지만, UI 요소(126)는 인공 현실 콘텐츠(122)에 의해 표현되는 인공 현실 환경에서 형상을 병진, 크기 조정 및/또는 회전시키는 제스처들을 수행하여 사용자(110)에 의해 조작가능한 2차원 또는 3차원 형상일 수 있다.
또한, 본원에 설명된 바와 같이, 일부 예들에서, 인공 현실 시스템(10)은 시스템에 의해 실행되는 하나 이상의 애플리케이션들의 현재 상태와 같은 다른 조건들, 또는 사용자의 실시간 시선 추적 또는 다른 조건들에 의해 결정될 수 있는 사용자(110)의 현재 시야(130)와 관련한 물리적 환경에서 특정 검출된 제스처들의 위치 및 배향에 응답하여 그래픽 사용자 인터페이스 요소들(124, 126)의 생성 및 렌더링을 트리거할 수 있다. 보다 구체적으로, 본원에 추가로 설명되는 바와 같이, HMD(112)의 이미지 캡처 디바이스들(138)은 이미지 캡처 디바이스들(138)의 시야(130) 내에 있는 현실 세계 물리적 환경에서 객체들을 나타내는 이미지 데이터를 캡처한다. 시야(130)는 일반적으로 HMD(112)의 보기 각도에 대응한다.
도 1a의 예시된 예와 같은 일부 예들에서, 인공 현실 애플리케이션은 시야(130) 내에 있는 사용자(110)의 손(132) 부분들을 인공 현실 콘텐츠(122) 내의 가상 손(136)으로 렌더링한다. 다른 예들에서, 인공 현실 애플리케이션은 혼합 현실, 증강 현실, 및/또는 컴퓨터-매개화 콘텐츠를 갖는 물리적 환경을 직접 재현가능한 정보의 임의의 다른 조합을 포함하는 인공 현실 콘텐츠(122) 내에서 사용자(110)의 손(132) 및/또는 팔(134)의 현실-세계 이미지를 제시할 수 있다. 어느 하나의 예에서, 사용자(110)는 시야(130) 내에 있는 자신의 손(132) 및/또는 팔(134)의 부분들을 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 객체들로서 볼 수 있다. 다른 예들에서, 인공 현실 애플리케이션은 인공 현실 콘텐츠(122) 내의 사용자(110)의 손(132) 또는 팔(134)을 전혀 렌더링하지 않을 수 있다.
동작 동안, 인공 현실 시스템(10)은 HMD(112)의 이미지 캡처 디바이스들(138)(및/또는 외부 카메라들(102))에 의해 캡처된 이미지 데이터 내에서 객체 인식을 수행하여 사용자(110)의 개별 손가락들 또는 엄지, 및/또는 팔(134)의 모두 또는 일부 부분들을 선택적으로 식별하는 것을 포함하여, 손(132)을 식별한다. 또한, 인공 현실 시스템(10)은 시간의 슬라이딩 창에 걸쳐 손(132)(선택적으로 손의 특정 디지트들을 포함함) 및/또는 팔(134)의 부분들의 위치, 배향 및 구성을 추적한다. 인공 현실 애플리케이션은 손(132) 및/또는 팔(134) 부분들의 임의의 추적된 모션들, 구성들, 위치들 및/또는 배향들을 분석하여 특정 객체들, 예를 들어 사용자(110)의 손(132)(손(132)의 하나 이상의 특정 디지트들을 포함하지만, 이에 한정되지 않음) 및/또는 팔(134)의 부분들(또는 이의 특정 부분들, 이를테면 손목)에 의해 수행되는 하나 이상의 제스처들을 식별한다.
제스처(들)를 검출하기 위해, 인공 현실 애플리케이션은 손(132) 및/또는 팔(134) 부분들의 모션들, 구성들, 위치들 및/또는 배향들을 인공 현실 시스템(10)의 제스처 라이브러리에 저장된 제스처 정의들과 비교할 수 있고, 여기서 제스처 라이브러리의 각각의 제스처는 하나 이상의 동작들에 각각 매핑될 수 있다. 일부 예들에서, 움직임을 검출하는 것은 디지트들(집게 손가락 및 엄지와 같은)의 정의된 조합 중 임의의 것이 물리적 환경 내에서 터치하거나 대략적으로 터치하거나, 또는 인공 현실 콘텐츠(122)의 일부로 제시된 사용자 인터페이스 요소(예를 들어, 어시스턴트 요소 또는 디스플레이 요소)를 북엔드(bookend) 또는 둘러싸기 위해 함께 가져와지는지 여부를 포함하여, 손(132)의 하나 이상의 디지트들(개별 손가락들 및 엄지)의 하나 이상의 위치들을 추적하는 것을 포함할 수 있다. 다른 예들에서, 움직임을 검출하는 것은 HMD(112)의 현재 포즈와 관련한 손(132)의 배향(예를 들어, 손가락들이 HMD(112)를 향하거나 HMD(112)로부터 멀어지는 방향을 가리킴) 및/또는 팔(134)의 배향(즉, HMD(112)을 향하는 팔의 법선)을 추적하는 것을 포함할 수 있다. 손(132) 또는 이의 팔(134)의 각각의 부분 또는 전체의 위치 및 배향은 대안적으로 손(132) 또는 팔(134)의 포즈, 또는 손(132) 또는 팔(134)의 구성으로 지칭될 수 있다.
또한, 인공 현실 애플리케이션은 손(132) 및/또는 팔(134)의 구성들, 모션들, 위치들, 및/또는 배향들을 분석하여 손(132) 및/또는 팔(134)이 적어도 임계 시간 기간 동안 하나 이상의 특정 구성, 움직임, 위치들, 및/또는 배향들로 홀딩되는 것을 포함하는 제스처를 식별할 수 있다. 예들로서, 손(132) 및/또는 팔(134)이 적어도 구성가능한 시간 기간 동안 시야(130) 내에서 실질적으로 정지 상태로 유지되고 있는 하나 이상의 특정 위치들은 사용자(110)가 메뉴와 같은 특정 유형의 사용자 인터페이스 요소(124, 126)의 디스플레이를 트리거하는 것과 같이 인공 현실 애플리케이션에 의해 원하는 응답을 트리거하도록 의도된 제스처를 수행하려고 시도하는 표시로서 인공 현실 시스템(10)에 의해 사용될 수 있다.
다른 예로서, 손(132)의 디지트들(손가락들 또는 엄지) 및/또는 손바닥 및/또는 팔(134)의 하나 이상의 특정 구성들이 적어도 구성가능한 시간 기간 동안 시야(130) 내에 유지되는 것은 사용자(110)가 제스처를 수행하려고 시도한다는 표시로서 인공 현실 시스템(10)에 의해 사용될 수 있다. 예를 들어, 인공 현실 시스템(10)은 사용자(110)가 인공 현실 시스템(10)에 액세스가능한 제스처 라이브러리에 저장된 미리 정의된 제스처를 수행하려고 시도하고 있다는 표시로서 검출된 이미지 데이터를 사용할 수 있다. 사용자(110)의 오른손과 오른팔만이 도 1a에서 손(132) 및 오른팔(134)로서 예시되지만, 다양한 예들에서, 인공 현실 시스템(10)이 본 개시내용의 제스처 검출 기법들을 위해 사용자(110)의 왼손 및/또는 팔, 또는 사용자(110)의 오른손 및 왼손 및/또는 팔들 둘 모두를 식별할 수 있다는 것이 이해될 것이다. 이러한 방식으로, 인공 현실 시스템(10)은 물리적 환경 내에서 어느 한 손에 의해 수행되는 한 손 제스처들, 양손 제스처들 또는 팔 기반 제스처들을 검출하고, 검출된 제스처들에 응답하여 연관된 사용자 인터페이스 요소들을 생성할 수 있다.
본 개시내용의 시스템 구성 및 기법들의 일부 예들에 따르면, 인공 현실 시스템(10)에서 실행되는 인공 현실 애플리케이션은 식별된 제스처가 제스처 라이브러리의 복수의 엔트들 중 하나에 의해 정의된 미리 정의된 제스처에 대응하는지 여부를 결정한다. 제스처 라이브러리는 콘솔(106) 및/또는 HMD(112)에 로컬로 저장되거나 달리 콘솔(106)에 액세스할 수 있다. 아래에서 더 자세히 설명되는 바와 같이, 제스처 라이브러리의 엔트리들 각각은 시간 경과에 따른 사용자의 손, 디지트(손가락 또는 엄지) 및/또는 팔의 특정 모션, 구성, 위치 및/또는 배향, 또는 그러한 속성들의 조합으로 상이한 제스처를 정의할 수 있다. 또한, 정의된 제스처들 각각은 인공 현실 애플리케이션에 의해 수행될 하나 이상의 동작들의 형태로 원하는 응답과 연관될 수 있다.
일 예로서, 제스처 라이브러리에서 미리 정의된 제스처들 중 하나 이상은 인공 현실 콘텐츠(122)에 렌더링 및 오버레이될 하나 이상의 사용자 인터페이스 요소들, 예를 들어 UI 메뉴(124)의 생성, 변환 및/또는 구성을 트리거할 수 있고, 여기서 제스처는 인공 현실 콘텐츠(122)에서 UI 메뉴(124)의 위치 및/또는 배향을 정의할 수 있다. 다른 예로서, 정의된 제스처들 중 하나 이상은 특정 사용자 인터페이스 요소와의 사용자(110)에 의한 상호작용, 예를 들어, UI 메뉴(124)의 UI 요소(126)의 선택을 나타내어, 제시된 사용자 인터페이스에 대한 변경, 제시된 사용자 인터페이스의 서브-메뉴의 제시 등을 트리거할 수 있다.
다시, 본 개시내용의 기법들 및 시스템 구성들의 일부 예들은 사용자에 의해 수행된 특정 제스처들을 검출하거나 식별하는 것에 응답하여 UI 요소들을 호출하는 것에 관한 것이다. UI 요소들의 호출은 또한 본 개시내용 전체에서 UI 요소들을 "트리거링"하거나 UI 요소들을 "게이팅"하는 것으로도 지칭된다. 이러한 UI 요소들의 예들은 사용자-선택가능 옵션들의 메뉴를 포함하지만, 이에 한정되지 않는다. 본 개시내용의 양태들은 또한 이러한 제스처들에 응답하여 UI 요소의 배향 또는 데이터-입도 레벨을 변경하는 것과 같이 소정 제스처들을 검출하는 것에 응답하여 현재-렌더링된 UI 요소를 수정하는 것에 관한 것이다. 인공 현실 시스템(10)이 게이팅 목적들을 위해 사용할 수 있는 제스처들의 예들은 임계 시간 기간 동안 소정 구성들에서 손(132)의 배치, 또는 이미-디스플레이된 UI 요소들의 가상 위치들에 대응하는 위치들에서 손(132)의 소정 구성들 및 움직임들을 포함한다. 본원에서 사용된 바와 같이, "게이팅"이라는 용어는 게이팅 이벤트가 발생할 때까지 가상 환경에 디스플레이되지 않은 소정 UI 요소들의 생성 및 렌더링을 지칭한다.
본원에 설명된 기법들 중 일부에 따르면, 인공 현실 시스템(10)에서 실행되는 인공 현실 애플리케이션은 2개의 디지트들이 대략 직각을 형성하도록 손(132)이 구성되는 제스처들을 검출하는 것에 응답하여 UI 요소 게이팅을 수행한다. 예를 들어, 인공 현실 시스템(10)은 손(132)의 검지와 엄지가 대략 직각을 형성하는 경우 게이팅 제스처를 검출한다. 일부 예들에서, 인공 현실 시스템(10)은 인식될 게이팅 제스처에 대한 기준에 시간적 성분을 추가한다. 즉, 인공 현실 시스템(10)은 손(132)의 구성이 적어도 임계 시간 기간 동안, 그리고 손(132)이 정지되어 있고, 손(132)의 검지와 손의 엄지가 대략 직각을 형성하도록 손(132)이 배치되는 시간 기간 동안 실질적으로 정지되는 경우 제스처를 식별할 수 있다. 손(132)의 위치가 본원에서 2개의 직선들 사이의 회전으로 표현되는 "각도"를 형성하는 것으로 설명되지만, 인공 현실 시스템(10)은 엄지와 검지 사이의 웨빙(webbing)의 만곡, 손(132)의 손가락들의 지골간 관절들에 의해 야기된 임의의 자연스러운 구부리기 등 같은 인간의 해부학적 특이성을 수용하기 위해 본 개시내용의 각도 결정을 조정한다는 것이 인식될 것이다.
일부 예들에서, 인공 현실 시스템(10)은 검지와 엄지가 대략 직각으로 배치될 때 손(132)의 배향에 기반하여 상이한 게이팅 제스처들을 식별한다. 예를 들어, 인공 현실 시스템(10)은 손(132)의 뒷면이 HMD(112)를 향하고 있는 경우 하나의 게이팅 제스처를 식별할 수 있고, 손바닥(132)이 HMD(112)를 향하고 있는 경우 다른 게이팅 제스처를 식별할 수 있다. 즉, 인공 현실 시스템(10)은 사용자(110)가 HMD(112)를 착용하고 있는 동안 손(132)(또는 그의 특정 부분)이 사용자(110)의 시야(FoV) 내에 있는 동안 손(132)의 소정 속성들에 기반하여 게이팅 제스처를 식별할 수 있다. 다른 예로서, 인공 현실 시스템(10)은 손의 엄지(132)가 HMD(112)의 FoV에서 상향으로 향하고 있는 경우 하나의 게이팅 제스처를 식별할 수 있고, 손(132)의 검지가 HMD(112)의 FoV에서 상향을 향하고 있는 경우 다른 게이팅 제스처를 식별할 수 있다. 일부 예들에서, 인공 현실 시스템(10)은 위에서 설명된 손(132)의 다양한 배향 속성들의 조합에 기반하여 특정 제스처들을 인식할 수 있다.
본 개시내용의 일부 기법들에 따르면, 인공 현실 시스템(10)은 손(132)이 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되고, 손의 디지트들(132)은 손(132)의 엄지 및 적어도 하나의 다른 손가락이 대략 원형 또는 대략 원형 세그먼트를 형성하도록 배치된다. 일부 예들에서, 인공 현실 시스템(10)은 HMD(112)의 FoV를 향하는 손(132)의 뷰가 옆쪽 배향이고, 엄지가 위치되는 손(132)의 측면을 나타내는 경우 제스처를 검출할 수 있다. 예를 들어, HMD(112)에서 손(132)으로 그려진 법선은 손(132)의 엄지와 다른 손가락(들)에 의해 형성된 원형 또는 원형 세그먼트의 내부 영역과 교차할 수 있다. 손(132)의 구성이 "원형" 또는 "원형 세그먼트"의 기하학적 형상들을 대략적으로 형성하는 것으로 본원에서 설명되지만, 인공 현실 시스템(10)은 손(132)의 손가락들의 지골간 관절들에 의해 야기되는 더 날카로운 구부리기들, 엄지와 검지 사이의 웨빙의 접힘 등 같은 인간의 해부학적 특이성을 수용하기 위해 본 개시내용의 각도 결정을 조정한다는 것이 인식될 것이다. 이들 예들에서, 인공 현실 시스템(10)은 검지와 엄지의 가상 표현들 사이의 공간에 대응하는 가상 위치에서 UI 요소를 게이팅할 수 있다.
본 개시내용의 일부 기법들에 따르면, 인공 현실 시스템(10)은 팔(134)의 일부가 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되고, 적어도 임계 시간 기간 동안 HMD(112)의 시야에 있으면 게이팅 제스처를 검출한다. 예를 들어, 인공 현실 시스템(10)은 손목이 적어도 임계 시간 동안 실질적으로 정지 상태이도록 팔(134)의 구성이 있는 경우, 및 손목으로부터의 법선이 HMD(112)의 FoV를 향하도록 손목이 배치되는 경우 제스처를 검출할 수 있다. 일부 예들에서, 인공 현실 시스템(10)은, HMD(112)의 외부 카메라들(102) 및/또는 이미지 캡처 디바이스들(138)을 향하는 팔(134)의 뷰가 옆쪽 배향이고, 손목의 내부 측면, 즉 손(132)의 엄지가 위치되는 측면을 나타내는 경우 제스처를 검출할 수 있다. 예를 들어, HMD(112)로부터 손(132)으로 그려진 법선은 팔(134)의 손목의 내부 표면과 교차할 수 있다. 이러한 예들에서, 인공 현실 시스템(10)은 반대쪽 손목의 표현에 대응하는 가상 위치에서 UI 요소를 게이팅할 수 있다.
본 개시내용의 일부 기법들에 따르면, 인공 현실 시스템(10)은 사용자(110)가 볼 수 있도록 HMD(112)에 의해 출력된 인공 현실 콘텐츠(122)에 디스플레이 요소를 추가한다. 디스플레이 요소는 일부 경우들에서, 본원에 설명된 게이팅 기법들과 관련하여 "어시스턴트"로 지칭될 수 있다. 이러한 예들에 따르면, 인공 현실 시스템(10)은 인공 현실 콘텐츠(122) 내의 UI 요소들을 게이팅하기 위해 디스플레이 요소의 위치에 일반적으로 대응하는 위치들에서 수행되는 소정의 미리 정의된 제스처들을 검출할 수 있다.
일부 구현들에서, 인공 현실 시스템(10)의 UI 엔진은, 어시스턴트 요소가 인공 현실 콘텐츠(122)에 의해 표현된 가상 환경 내에서, 사용자(110)의 가상 표현(예를 들어, 아바타) 위 또는 옆에서, 예를 들어, 가상 손(136) 옆에서 호버링(hover)한다는 점에서, 드론을 시뮬레이팅하기 위해 어시스턴트 요소를 생성할 수 있다. 이러한 구현들에서, 인공 현실 시스템(10)은 인공 현실 콘텐츠(122)에 포함된 어시스턴트 요소에 관련하여 손(132)에 의해 수행된 파지-및-던지기 조합에 기반하여 제스처를 검출할 수 있다.
예를 들어, 인공 현실 시스템(10)은, 인공 현실 시스템(10)이 (i) 인공 현실 콘텐츠(122)에 의해 표현된 가상 환경 내의 어시스턴트 요소에 대응하는 위치에서 파지 구성을 형성하기 위해 손(132)의 2개 이상의 디지트들의 파지 모션, 및 (ii) 던지기 모션이 파지 모션에 후속하여 발생하는 경우, 어시스턴트 요소에 관련하여 손(132)의 던지기 모션의 조합을 식별하는 경우, 게이팅 제스처를 검출할 수 있다. 예를 들어, 인공 현실 시스템(10)은 손(132)의 파지 구성의 해제와 손(132) 및/또는 팔(134)의 특정 움직임의 조합을 식별함으로써 던지기 모션을 검출할 수 있다. 파지 구성의 해제를 수반하거나, 뒤따르거나, 또는 부분적으로 오버랩되는 특정 움직임은 손(132)의 구부리기 또는 팔(134)의 손목, 손(132)의 디지트들 중 적어도 하나의 외향 플릭킹 모션 등 중 하나 이상을 포함할 수 있다. 이러한 예들에서, 인공 현실 시스템(10)은 어시스턴트 요소가 가상으로 던져진 곳에 대응하는 가상 위치에서 UI 요소를 게이팅할 수 있다.
일부 구현들에서, 인공 현실 시스템(10)의 UI 엔진은 웨어러블 또는 부분-접착 엔티티를 시뮬레이팅하기 위해 디스플레이 요소를 생성할 수 있다. 예를 들어, 인공 현실 시스템(10)의 UI 엔진은 인공 현실 시스템(10)의 렌더링 엔진이 사용자(110)의 반대쪽 팔(즉, 팔 다른쪽 팔(134))의 표현에 대응하는 위치에서 디스플레이 요소를 출력하게 할 수 있다. 일 예에서, 인공 현실 시스템(10)의 UI 엔진 및 렌더링 엔진은 디스플레이 요소가 사용자(110)의 반대쪽 팔에 중첩되어 부착된 것으로 보이도록 렌더링한다. 일부 그러한 구현들에서, 인공 현실 시스템(10)은 파지-및-이동 조합, 파지-및-해제 조합, 파지-이동-해제 조합, 또는 사용자(110)의 반대쪽 팔에 중첩되고 부착되는 어시스턴트 요소에 관련한 손(132)에 의해 수행되는 간단히 파지에 기반하여 제스처를 검출할 수 있다.
예를 들어, 인공 현실 시스템(10)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경에서 사용자(110)의 반대팔에 배치된 디스플레이 요소에 관련한 손(132)의 파지 모션을 식별함으로써 제스처를 검출할 수 있다. 제스처의 식별에 응답하여, 인공 현실 시스템(10)은 사용자(110)의 반대팔로부터 분리되어 분리된 것처럼 보이도록 디스플레이 요소를 업데이트할 수 있다. 인공 현실 시스템(10)은 또한 미리 정의된 제스처의 식별에 응답하여 UI 요소를 게이팅할 수 있다. 예를 들어, 인공 현실 시스템(10)의 UI 엔진 및 렌더링 엔진은 인공 현실 시스템(122)에 의해 표현되는 가상 환경 내에서 사용자-선택가능 옵션들의 메뉴를 호출할 수 있다. 일부 사례들에서, 인공 현실 시스템(10)은 디스플레이 요소 옆에 또는 그렇지 않으면 일반적으로 그 부근에 UI 요소를 배치시킬 수 있는 반면, 디스플레이 요소는 여전히 사용자(110)의 반대팔로부터 분리되어 분리된 것처럼 보인다.
일부 구현들에서, 인공 현실 시스템(10)은 다른쪽 팔의 손목과 같은 사용자(110)의 다른쪽 팔의 미리 정의된 영역에서 발생하는 파지-및-당기기 조합 또는 집기-및-당기기 조합과 같은 움직임들을 식별하는 것에 응답하여 UI 요소(예를 들어, 사용자-선택가능 옵션들의 메뉴)를 게이팅할 수 있다. 이러한 구현들 중 일부에 따르면, 인공 현실 시스템(10)의 UI 엔진 및 렌더링 엔진은 인공 현실 콘텐츠(122)에서 다른쪽 팔의 손목의 표현에 대한 오버레이로서 UI 요소를 출력할 수 있다.
이러한 구현들에서, 인공 현실 시스템(10)의 UI 엔진 및 렌더링 엔진은 손목 상에 가상으로 오버레이된 UI 요소에 관련한 손(132)의 파지-및-당기기 조합 모션을 식별하는 것에 응답하여 UI 요소를 수정함으로써 UI 메뉴를 게이팅할 수 있다. 예를 들어, 인공 현실 시스템(10)은 파지 구성을 형성하기 위한 손(132)의 2개 이상의 디지트들의 파지 모션, 및 동일한 2개 이상의 디지트들이 파지 구성에 있는 동안 다른쪽 손의 손목으로부터 멀어지는 동일한 2개 이상의 디지트들의 후속 당기기 모션을 식별할 수 있다. 즉, 인공 현실 시스템(10)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내에서 손목 상에 오버레이된 UI 요소의 위치에서 파지 구성을 검출할 수 있다. 이러한 방식으로, 위에서 설명된 본 개시내용의 이러한 특정 양태들은 UI 요소들을 호출하는 관점에서 서랍 또는 파일 캐비닛을 시뮬레이팅한다.
따라서, 본 개시내용의 기법들 및 시스템 구성들은 인공 현실 시스템에 의해 콘텐츠를 렌더링 및 디스플레이하는 컴퓨터-관련 분야에 대한 특정 기술 개선들을 제공한다. 예를 들어, 본원에 설명된 인공 현실 시스템들은 사용자에 의해 수행되는 직관적이지만, 별개의 제스처들의 검출에 기반하여 인공 현실 콘텐츠에 오버레이된 사용자 인터페이스 요소들을 생성 및 렌더링함으로써 인공 현실 애플리케이션의 사용자(110)와 같은 사용자에게 고품질 인공 현실 경험을 제공할 수 있다.
또한, 본원에 설명된 시스템들은 폐색 추적을 방지하도록 정의된 손 및 팔 움직임들에 기반하여 소정 제스처들을 검출하도록 구성될 수 있다. 폐색 추적은 사용자의 한 손이 다른 손과 적어도 부분적으로 오버랩하는 경우 발생할 수 있고, 이는 각각의 손의 개별 디지트들(손가락들 및 엄지)과, 각각의 손의 위치 및 배향을 정확하게 추적하기 어렵게 한다. 그러므로, 본원에 설명된 시스템들은 한 손 또는 한 팔 기반 제스처들을 주로 검출하도록 구성될 수 있다. 한 손 또는 한 팔 기반 제스처들의 사용은 큰-모터 및 미세-모터 스킬 제한들을 갖는 사용자들에게 향상된 접근성을 추가로 제공할 수 있다. 또한, 여기에 설명된 시스템들은 사용자의 손들이 서로 상호작용하거나 오버랩되지 않는 양손 또는 양팔 기반 제스처들을 검출하도록 구성될 수 있다.
또한, 본원에 설명된 시스템들은 사용자에게 자가-햅틱 피드백을 제공하는 제스처들을 검출하도록 구성될 수 있다. 예를 들어, 사용자의 각각의 손에 있는 엄지 및 하나 이상의 손가락들은 인공 현실 콘텐츠의 특정 사용자 인터페이스 요소와의 상호 작용을 나타내는 미리 정의된 제스처의 일부로서 물리적 세계에서 터치하거나 대략적으로 터치할 수 있다. 엄지와 사용자 손의 하나 이상의 손가락들 사이의 터치는 물리적 키보드의 버튼 또는 다른 물리적 입력 디바이스와 같은 물리적 사용자 입력 객체와 직접 상호작용할 때 사용자가 느끼는 감각의 시뮬레이션을 사용자에게 제공할 수 있다.
다양한 예들에서, 위에서 설명된 기법들의 제스처 검출/식별 양태들을 수행하기 위해, 인공 현실 시스템(10)은 검출된 이미지 데이터를 인공 현실 시스템(10)에 액세스가능한 제스처 라이브러리에 저장된 미리 정의된 제스처들에 매칭시킬 수 있다. 인공 현실 시스템(10)은 다양한 구현들에서, 가상 제어기 또는 물리적 디바이스와의 상호작용을 반드시 요구하지 않는 미리 정의된 제스처들로 제스처 라이브러리의 엔트리들을 채울 수 있다. 인공 현실 시스템(10)은 또한 특정 자극에 대한 응답이든 아니든, 본원에 설명된 다양한 요소들을 생성하도록 구성된 UI 엔진을 포함할 수 있다. 인공 현실 시스템(10)은 또한 인공 현실 콘텐츠(122)를 렌더링하도록 구성된 렌더링 엔진을 포함할 수 있다.
이러한 방식으로, 인공 현실 시스템은 사용자(110)가 특정 제스처들을 수행함으로써 인공 현실-강화 물리적 환경에서 특정 UI 요소들을 호출하거나 게이팅할 수 있게 하도록 본 개시내용의 다양한 양태들에 따라 구성될 수 있다. 수행하기 쉽고 사용자(110)가 물리적 디바이스를 홀딩할 필요가 없는 미리 정의된 제스처들을 사용함으로써, 본 개시내용의 인공 현실 시스템(10)은 인공 현실 콘텐츠(122)에 의해 표현된 가상 환경 내의 UI 요소 게이팅의 이러한 특정 제스처들을 사용하기 위해 정규 인공 현실 동작 과정 동안 이러한 제스처를 수행하는 용이성을 활용한다.
도 1b는 본 개시내용의 기법들에 따른 다른 예시적인 인공 현실 시스템(20)을 묘사하는 예시이다. 도 1a의 인공 현실 시스템(10)과 유사하게, 일부 예들에서, 도 1b의 인공 현실 시스템(20)은 인공 현실 환경 내에서 사용자 상호작용 및 조작을 위해 특정하게 설계된 사용자 인터페이스 요소들을 제시 및 제어할 수 있다. 인공 현실 시스템(20)은 또한, 다양한 예들에서, 사용자의 하나 이상의 특정 제스처들의 검출에 응답하여 소정의 그래픽 사용자 인터페이스 요소들을 생성하여 사용자에게 렌더링할 수 있다.
도 1b의 예에서, 인공 현실 시스템(20)은 외부 카메라들(102A 및 102B)(집합적으로 "외부 카메라들(102)"), HMD들(112A-112C)(집합적으로 "HMD들(112)"), 제어기들(114A 및 114B)(집합적으로 "제어기들(114)"), 콘솔(106), 및 센서들(90)을 포함한다. 도 1b에 도시된 바와 같이, 인공 현실 시스템(20)은 콘솔(106) 및/또는 HMD들(112)에서 실행되는 인공 현실 애플리케이션이 각 사용자(110)에 대한 대응하는 참조 프레임의 현재 보기 관점에 기반하여 사용자들(110A-110C)(집합적으로 "사용자들(110)") 각각에게 인공 현실 콘텐츠를 제시하는 다중-사용자 환경을 나타낸다. 즉, 이 예에서, 인공 현실 애플리케이션은 HMD들(112) 각각에 대한 참조 프레임에 대한 포즈 정보를 추적 및 계산함으로써 인공 콘텐츠를 구성한다. 인공 현실 시스템(20)은 카메라들(102), HMD들(112), 및 제어기들(114)로부터 수신된 데이터를 사용하여 HMD들(112)의 대응하는 참조 프레임에 대한 업데이트된 포즈 정보를 계산하는 데 사용하기 위해 사용자들(110)에 의한 모션 및/또는 사용자들(110) 및 객체들(108)에 관련한 추적 정보와 같은 현실-세계 환경 내의 3D 정보를 캡처한다. 일 예로서, 인공 현실 애플리케이션은 HMD(112C)에 대해 결정된 현재 보기 관점에 기반하여, 가상 객체들(128A-128C)(집합적으로 "가상 객체들(128)")를 갖는 인공 현실 콘텐츠(122)를 현실 세계 객체들(108A-108C)(집합적으로, "현실 세계 객체들(108)") 위에 공간적으로 오버레이되는 것으로 렌더링할 수 있다. 또한, HMD(112C)의 관점에서, 인공 현실 시스템(20)은 각각 사용자들(110A, 110B)에 대한 추정된 위치들에 기반하여 아바타들(120A, 120B)을 렌더링한다.
HMD들(112) 각각은 인공 현실 시스템(20) 내에서 동시에 동작한다. 도 1b의 예에서, 사용자들(110) 각각은 인공 현실 애플리케이션의 "플레이어" 또는 "참가자"일 수 있고, 사용자들(110) 중 임의의 사용자는 인공 현실 애플리케이션의 "관람자" 또는 "관찰자"일 수 있다. HMD(112C)는 각각 사용자(110C)의 손(132) 및/또는 팔(124)을 추적하고 시야(130) 내에 있는 손(132)의 부분을 인공 현실 콘텐츠(122) 내의 가상 손(136)으로 렌더링함으로써 도 1a의 HMD(112)와 실질적으로 유사하게 동작할 수 있다. HMD(112B)는 사용자(110B)에 의해 유지되는 제어기들(114A)로부터 사용자 입력들을 수신할 수 있다. HMD(112A)는 또한 도 1a의 HMD(112)와 실질적으로 유사하게 동작하고 사용자(110A)의 손(132A, 132B)의 움직임들을 추적함으로써 사용자 입력들을 수신할 수 있다. HMD(112B)는 사용자(110B)에 의해 유지되는 제어기들(114)로부터 사용자 입력들을 수신할 수 있다. 제어기들(114)은 블루투스®와 같은 단거리 무선 통신의 근거리 통신을 사용하거나, 유선 통신 링크들을 사용하거나, 또는 다른 유형의 통신 링크들을 사용하여 HMD(112B)와 통신할 수 있다.
도 1a에 관련하여 위에서 논의된 예들과 유사한 방식으로, 인공 현실 시스템(20)의 콘솔(106) 및/또는 HMD(112C)는 사용자(110C)에게 디스플레이된 인공 현실 콘텐츠(122)에 오버레이될 수 있는 사용자 인터페이스 요소들(124, 126)을 생성하고 렌더링한다. 또한, 콘솔(106) 및/또는 HMD(112C)는 사용자(110C)에 의해 수행된 직관적이면서도 별개의 제스처들의 포즈 추적을 통한 검출에 기반하여 사용자 인터페이스 요소들(124, 126)의 생성 및 동적 디스플레이를 트리거할 수 있다. 예를 들어, 인공 현실 시스템(20)은 사용자(110C)에 의한 하나 이상의 특정 제스처들, 이를테면 사용자의 손들, 손가락들, 엄지들 또는 팔들의 특정 모션들, 구성들, 위치들 및/또는 배향들을 검출하는 것에 응답하여 하나 이상의 그래픽 사용자 인터페이스 요소들(124, 126)을 동적으로 제시할 수 있다. 도 1b에 도시된 바와 같이, HMD(112C)의 카메라(138)를 통해 캡처된 이미지 데이터에 추가하여, 외부 카메라들(102)로부터의 입력 데이터는 손(132)의 디지트들(손가락들, 엄지)의 개별 및/또는 조합들의 움직임들을 포함하여, 사용자(110C)의 손(132) 같은 사용자들(110)의 손들 및 팔들의 특정 모션들, 구성들, 위치들, 및/또는 배향들을 추적하고 검출하는 데 사용될 수 있다. 인공 현실 시스템(20)에서 실행되는 인공 현실 애플리케이션이 이들 이미지 캡처 디바이스(들) 중 임의의 하나 이상을 사용하여 본원에 설명된 다양한 제스처들 및 물리적 환경의 이미지 데이터를 캡처할 수 있다는 것이 인식될 것이기 때문에, HMD(112)의 외부 카메라들(102) 및/또는 이미지 캡처 디바이스들(138)은 집합적으로 인공 현실 시스템(20)의 "이미지 캡처 디바이스(들)"로 지칭된다.
본 개시내용에 설명된 기법들에 따르면, 인공 현실 시스템(20)은 사용자(110C)의 디지트들(132)(손가락들 또는 엄지) 및/또는 손바닥들(134) 및/또는 팔(134)의 하나 이상의 특정 구성들이 적어도 구성가능한 시간 기간 동안 시야(130) 내에 유지되는 것을 검출하고, 홀딩된 구성을, 각각의 사용자(110C)가 제스처를 수행하려고 시도하고 있다는 표시로서 해석한다. 예를 들어, 인공 현실 시스템(20)은 사용자(110C)가 인공 현실 시스템(20)에 액세스가능한 제스처 라이브러리에 저장된 미리 정의된 제스처를 수행하려고 시도하고 있다는 표시로서 검출된 이미지 데이터를 사용할 수 있다. 사용자(110C)의 오른손과 오른팔만이 손(132) 및 오른팔(134)로서 도 1b에 예시되어 있지만, 다양한 예들에서, 인공 현실 시스템(20)이 본 개시내용의 제스처 검출 기법들을 위해 각각의 사용자(110C)의 왼손 및/또는 팔, 또는 각각의 사용자(110C)의 오른손 및 왼손들 및/또는 팔들 둘 모두를 식별할 수 있다는 것이 인식될 것이다.
이러한 방식으로, 인공 현실 시스템(20)은 물리적 환경 내에서 어느 한 손에 의해 수행되는 한 손 제스처들, 양손 제스처들 또는 팔 기반 제스처들을 검출하고, 검출된 제스처들에 응답하여 연관된 사용자 인터페이스 요소들을 생성할 수 있다. 손-전용 제스처들, 손-및-손목-전용 제스처들, 한 손 제스처들, 및/또는 제스처 검출에 손(132)의 모든 디지트들이 요구되지 않는 제스처들을 활용함으로써, 인공 현실 시스템(20)은 사용자들(110)에 액세스 능력을 향상시켜, 장애들, 해부학적 특이성들, 부상들, 일시적인 질병들 등을 수용한다.
인공 현실 시스템(20)에서 실행되는 인공 현실 애플리케이션은 인공 현실 콘텐츠(122) 상에 렌더링 및 오버레이될 하나 이상의 사용자 인터페이스 요소들, 예를 들어 UI 요소(124)의 생성, 렌더링, 변환, 및/또는 구성을 게이팅(또는 "트리거")할 수 있고, 여기서 제스처는 인공 현실 콘텐츠(122)의 UI 메뉴(124)의 위치 및/또는 배향을 정의할 수 있다. 도 1a에 관하여 더 상세히 위에서 설명된 바와 같이, 본 개시내용의 시스템 구성들 및 기법들의 다양한 예들에 따르면, 인공 현실 시스템(20)에서 실행되는 인공 현실 애플리케이션은 (예를 들어, 대략 'L' 형상 또는 대략 'L' 형상의 미러 이미지를 형성하기 위해) 2개의 디지트들이 대략 직각을 형성하는 손(132)에 의해 수행된 한 손 제스처를 검출하는 것에 응답하여 UI 요소(들)를 게이팅할 수 있다. 본 개시내용의 다른 기법들 및 시스템 구성들에 따르면, 인공 현실 시스템(20)에서 실행되는 인공 현실 애플리케이션은 손(132)이 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되고, 손(132)의 엄지와 적어도 하나의 다른 손가락이 대략 원형(예를 들어, 대략 'O' 형상, 또는 대략 'C' 형상, 또는 대략 'C' 형상의 미러 이미지)를 형성하도록 손(132)의 디지트들이 배치되는 경우 게이팅 제스처를 검출한다.
본 개시내용의 다른 기법들 및 시스템 구성들에 따르면, 인공 현실 시스템(20) 상에서 실행되는 인공 현실 애플리케이션은 각각의 팔(134)의 손목의 특정 표면이 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되는 경우, 또는 적어도 임계 시간 기간 동안 HMD의 시야(FoV)에 있는 경우 게이팅 제스처를 검출한다. 본 개시내용의 일부 기법들에 따르면, 인공 현실 시스템(20) 상에서 실행되는 인공 현실 애플리케이션은 HMD(112)에 의해 출력되는 인공 현실 콘텐츠(122)에 디스플레이 요소(예를 들어, 또한 본 개시내용에서 "어시스턴트 요소"로 지칭됨)를 추가한다. 이러한 예들에 따르면, 인공 현실 시스템(20)은 인공 현실 콘텐츠(122) 내의 UI 요소들을 게이팅하기 위해 디스플레이 요소의 위치에 일반적으로 대응하는 위치들에서 수행되는 소정의 미리 정의된 제스처들을 검출할 수 있다. 인공 현실 시스템(20)이 디스플레이 또는 어시스턴트 요소와 관련하여 검출할 수 있는 게이팅 제스처들의 예들은, 디스플레이/어시스턴트 요소가 반대쪽 팔의 손목의 표현에 중첩될 때 각각의 사용자(110C)의 반대쪽 팔(즉, 팔(134)이 아님)의 손목으로부터의 파지-및-당기기, 디스플레이/어시스턴트 요소가 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 각각의 사용자(110C)의 아바타와 이동할 때 제시되는 디스플레이/어시스턴트 요소의 파지-및-던지기, 또는 디스플레이/어시스턴트 요소가 다른쪽 팔의 손목의 표현에 중첩될 때 반대쪽 팔로부터의 파지-및-분리를 포함한다.
도 2는 본 개시내용의 기법들에 따라 동작하도록 구성된 예시적인 HMD(112)를 묘사하는 예시이다. 도 2의 HMD(112)는 도 1a 및 도 1b의 HMD들(112) 중 임의의 것의 예일 수 있다. HMD(112)는 도 1a, 도 1b의 인공 현실 시스템들(10, 20)과 같은 인공 현실 시스템의 일부일 수 있거나, 본원에 설명된 기법들을 구현하도록 구성된 독립형 모바일 인공 현실 시스템으로서 동작할 수 있다.
이 예에서, HMD(112)는 전면 강성체 및 HMD(112)를 사용자에게 고정하기 위한 밴드를 포함한다. 또한, HMD(112)는 인공 현실 콘텐츠를 사용자에게 제시하도록 구성된 내부-지향 전자 디스플레이(203)를 포함한다. 전자 디스플레이(203)는 액정 디스플레이들(LCD), 양자점 디스플레이, 도트 매트릭스 디스플레이들, 발광 다이오드(LED) 디스플레이들, 유기 발광 다이오드(OLED) 디스플레이들, 음극선관(CRT) 디스플레이들, 전자-잉크, 또는 흑백, 컬러 또는 시각적 출력을 생성할 수 있는 임의의 다른 유형의 디스플레이 같은 임의의 적합한 디스플레이 기술을 포함하거나, 이 기술일 수 있거나, 이의 일부일 수 있다. 일부 예들에서, 전자 디스플레이는 사용자의 각각의 눈에 별도의 이미지들을 제공하기 위한 입체 디스플레이이다. 일부 예들에서, HMD(112)의 전면 강성체에 관련한 디스플레이(203)의 알려진 배향 및 위치는 HMD(112) 및 사용자의 현재 보기 관점에 따라 인공 현실 콘텐츠를 렌더링하기 위해 HMD(112)의 위치 및 배향을 추적할 때, 로컬 원점으로 또한 지칭되는 참조 프레임으로 사용된다. 다른 예들에서, HMD는 안경 같은 다른 착용가능 머리 장착 디스플레이들의 형태를 취할 수 있다.
도 2에 추가로 도시된 바와 같이, 이 예에서 HMD(112)는 HMD(112)의 현재 가속도를 나타내는 데이터를 출력하는 하나 이상의 가속도계들(또한 관성 측정 유닛들 또는 "IMU들"로 지칭됨), HMD(112)의 위치를 나타내는 데이터를 출력하는 GPS 센서들, 다양한 객체들로부터 HMD(112)의 거리들을 나타내는 데이터를 출력하는 레이더 또는 소나 센서들, 또는 물리적 환경 내에서 HMD(112) 또는 다른 객체들의 위치 또는 배향의 표시들을 제공하는 다른 센서들과 같은 하나 이상의 모션 센서들(206)을 더 포함한다. 또한, HMD(112)는 물리적 환경을 나타내는 이미지 데이터를 출력하도록 구성된 비디오 카메라들, 레이저 스캐너들, 도플러® 레이더 스캐너들, 깊이 스캐너들 등과 같은 통합 이미지 캡처 디바이스들(138A 및 138B)(집합적으로, "이미지 캡처 디바이스들(138)")을 포함할 수 있다.
보다 구체적으로, 이미지 캡처 디바이스들(138)은 일반적으로 HMD(112)의 보기 각도에 대응하는 이미지 캡처 디바이스들(138)의 시야(130A, 130B) 내에 있는 물리적 환경의 객체들을 나타내는 이미지 데이터를 캡처한다. HMD(112)는 내부 전원 및 감지 데이터를 프로세싱하고 인공-현실 콘텐츠를 디스플레이(203)에 제시하기 위한 프로그래밍가능 동작들을 실행하기 위한 운영 환경을 제공하기 위해 하나 이상의 프로세서들, 메모리 및 하드웨어를 갖는 하나 이상의 인쇄-회로 기판들을 포함할 수 있는 내부 제어 유닛(210)을 포함한다.
일 예에서, 본원에 설명된 기법들에 따라, 제어 유닛(210)은 감지된 데이터에 기반하여, 사용자(110)에 의해 수행된 특정 제스처 또는 제스처들의 하나 이상의 조합들을 식별하도록 구성된다. 제어 유닛(210)은 제스처 또는 제스처들의 조합(들)을 식별하거나 검출하는 것에 응답하여 하나 이상의 특정 동작들을 수행할 수 있다. 예를 들어, 하나의 식별된 제스처에 응답하여, 제어 유닛(210)은 전자 디스플레이(203) 상에 디스플레이를 위해 인공 현실 콘텐츠에 오버레이된 특정 사용자 인터페이스 요소를 생성하고 렌더링할 수 있다. 본원에 설명된 바와 같이, 본 개시내용의 기법들에 따라, 제어 유닛(210)은 사용자(110)의 손(132)(또는 손가락들이나 엄지와 같은 디지트들), 팔(134)(또는 이의 손목) 또는 다른 부분을 식별하기 위해 이미지 캡처 디바이스들(138)에 의해 캡처된 이미지 데이터 내의 객체 인식을 수행하고, 식별된 부분의 움직임들을 추적하여 사용자(110)에 의해 수행된 미리 정의된 제스처들을 식별할 수 있다.
미리 정의된 제스처(또는 이들의 조합/시퀀스)를 식별하는 것에 응답하여, 제어 유닛(210)은 메뉴 게이팅, 사용자 인터페이스 요소와 연관된 옵션 세트(예를 들어, 전술된 메뉴)로부터 옵션 선택, 제스처를 입력(예를 들어, 문자들)으로 번역, 애플리케이션 개시 또는 다른 방식으로 콘텐츠 디스플레이 등 같은 일부 동작을 취한다. 일부 예들에서, 제어 유닛(210)은 사용자-선택가능 옵션들의 메뉴 같은 사용자 인터페이스 또는 이의 특정 요소를 드러내기 위한 "트리거"로서 특정된 미리 정의된 제스처를 검출하는 것에 응답하여 메뉴와 같은 사용자 인터페이스 요소를 동적으로 게이팅(생성 및 제시)한다. 다른 예들에서, 제어 유닛(210)은 객체 인식, 모션 추적 및 제스처 검출, 또는 이들의 임의의 부분을 수행할 수 있는 콘솔(106)과 같은 외부 디바이스로부터의 지시에 응답하여 이러한 기능들을 수행한다.
일 예로서, 본 개시내용의 다양한 양태들에 따라, 제어 유닛(210)은, 2개의 디지트들이 (예를 들어, 대략 'L' 형상 또는 대략 'L' 형상의 미러 이미지를 형성하기 위해) 대략 직각을 형성하는 손(132)에 의해 수행된 한 손 제스처를 검출하는 것에 응답하여 UI 요소(들)를 게이팅할 수 있다. 본 개시내용의 다른 기법들 및 시스템 구성들에 따르면, 제어 유닛(210)은, 손(132)이 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되고, 손(132)의 엄지와 적어도 하나의 다른 손가락이 대략 원형(예를 들어, 대략 'O' 형상, 또는 대략 'C' 형상, 또는 대략 'C' 형상의 미러 이미지)를 형성하도록 손(132)의 디지트들이 배치되는 경우 게이팅 제스처를 검출 또는 식별한다.
추가적인 예들로서, 본 개시내용의 다른 기법들 및 시스템 구성들에 따르면, 제어 유닛(210)은 팔(134)의 손목의 특정 표면이 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되고, 적어도 임계 시간 기간 동안 HMD(112)의 FoV에 있다면 게이팅 제스처를 검출 또는 식별한다. 본 개시내용의 일부 양태들에 따르면, 제어 유닛(210)은 HMD(112)에 의해 출력되는 인공 현실 콘텐츠(122)에 디스플레이 요소(예를 들어, 또한 본 개시내용에서 때때로 "어시스턴트 요소"로 지칭됨)를 추가한다. 이러한 예들에 따르면, 제어 유닛(210)은 HMD(112)를 통해 디스플레이되는 인공 현실 콘텐츠(122) 내의 게이트 UI 요소들을 게이팅하기 위해 디스플레이 요소의 위치에 일반적으로 대응하는 위치들에서 수행되는 소정의 미리 정의된 제스처들을 검출할 수 있다.
제어 유닛(210)이 디스플레이 또는 어시스턴트 요소와 관련하여 검출할 수 있는 게이팅 제스처들의 예들은, 디스플레이/어시스턴트 요소가 다른쪽 팔의 손목의 표현에 중첩될 때 사용자(110)의 다른쪽 팔(즉, 팔(134)이 아님)의 손목으로부터의 파지-및-당기기, 디스플레이/어시스턴트 요소가 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 각각의 사용자(110)의 아바타와 이동할 때 제시되는 디스플레이/어시스턴트 요소의 파지-및-던지기, 또는 디스플레이/어시스턴트 요소가 다른쪽 팔의 손목의 표현에 중첩될 때 다른쪽 팔로부터의 파지-및-분리를 포함한다.
도 3은 도 1a, 도 1b의 인공 현실 시스템(10, 20)의 콘솔(106) 및 머리 장착 디스플레이(112)의 예시적인 구현들을 도시하는 블록도이다. 도 3의 예에서, 콘솔(106)은 HMD(112) 및/또는 외부 센서들로부터 수신된 모션 데이터 및 이미지 데이터에 따라 HMD(112)에 대한 포즈 추적, 제스처 검출, 및 사용자 인터페이스 생성 및 렌더링을 수행한다.
이 예에서, HMD(112)는 하나 이상의 프로세서들(302) 및 메모리(304)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(305)는 애플리케이션 엔진(340)을 포함하는 하나 이상의 소프트웨어 구성요소들(307)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 도 2의 예에 관련하여 논의된 바와 같이, 프로세서들(302)은 전자 디스플레이(203), 모션 센서들(206) 및 이미지 캡처 디바이스들(138)에 결합된다. 일부 예들에서, 프로세서들(302) 및 메모리(304)는 별개의 이산 구성요소들일 수 있다. 다른 예들에서, 메모리(304)는 단일 집적 회로 내에서 프로세서들(302)과 함께 배치된 온-칩 메모리일 수 있다.
일반적으로, 콘솔(106)은 HMD(112)에 대한 제스처 검출 및 사용자 인터페이스 생성을 수행하기 위해 카메라들(102)(도 1b) 및/또는 HMD(112)로부터 수신된 추적 정보 및 이미지를 프로세싱하는 컴퓨팅 디바이스이다. 일부 예들에서, 콘솔(106)은 워크스테이션, 데스크톱 컴퓨터, 랩톱, 게임 시스템과 같은 단일 컴퓨팅 디바이스이다. 일부 예들에서, 프로세서들(312) 및/또는 메모리(314)와 같은 콘솔(106)의 적어도 일부는 컴퓨팅 시스템들, 서버들, 및 컴퓨팅 디바이스들 사이에서 데이터를 송신하기 위해, 클라우드 컴퓨팅 시스템, 데이터 센터에 걸쳐, 또는 인터넷, 다른 공용 또는 사설 통신 네트워크, 예를 들어, 광대역, 셀룰러, Wi-Fi, 및/또는 다른 유형들의 통신 네트워크들 같은 네트워크에 걸쳐 분산될 수 있다.
도 3의 예에서, 콘솔(106)은 하나 이상의 프로세서들(312) 및 메모리(314)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(316)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(316)는 하나 이상의 소프트웨어 구성요소들(317)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 프로세서들(312)은 키보드, 게임 제어기들, 디스플레이 디바이스들, 이미지 캡처 디바이스들, HMD들 등과 같은 외부 디바이스들과 통신하기 위한 하나 이상의 I/O 인터페이스들을 제공하는 I/O 인터페이스들(315)에 결합된다. 또한, 하나 이상의 I/O 인터페이스들(315)은 네트워크(104)와 같은 네트워크와 통신하기 위한 하나 이상의 유선 또는 무선 네트워크 인터페이스 제어기(NIC)들을 포함할 수 있다. 프로세서들(302, 312) 각각은 멀티-코어 프로세서, 제어기, 디지털 신호 프로세서(DSP), 주문형 집적 회로(ASIC), 필드-프로그램 가능 게이트 어레이(FPGA), 프로세싱 회로(예를 들어, 고정 기능 회로 또는 프로그램가능 회로 또는 이들의 임의의 조합) 또는 동등한 이산 또는 집적 논리 회로 중 임의의 하나 이상을 포함할 수 있다. 메모리(304, 314)는 RAM(random-access memory), ROM(read-only memory), PROM(programmable read-only memory), EPROM(erasable programmable read-only memory), EEPROM(electronically erasable programmable read-only memory), 및 플래시 메모리 같은 데이터 및 실행가능 소프트웨어 명령들을 저장하기 위한 임의의 형태의 메모리를 포함할 수 있다.
콘솔(106)의 소프트웨어 애플리케이션들(317)은 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션들(317)은 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328)을 포함한다. 일반적으로, 애플리케이션 엔진(320)은 인공 현실 애플리케이션, 예를 들어 원격회의 애플리케이션, 게이밍 애플리케이션, 내비게이션 애플리케이션, 교육 애플리케이션, 훈련 또는 시뮬레이션 애플리케이션들 등을 제공하고 제시하는 기능을 포함한다. 애플리케이션 엔진(320)은 예를 들어 콘솔(106) 상에서 인공 현실 애플리케이션을 구현하기 위한 하나 이상의 소프트웨어 패키지들, 소프트웨어 라이브러리들, 하드웨어 드라이버들, 및/또는 애플리케이션 프로그램 인터페이스(API)들을 포함할 수 있다. 애플리케이션 엔진(320)에 의한 제어에 응답하여, 렌더링 엔진(322)은 HMD(112)의 애플리케이션 엔진(340)에 의해 사용자에게 디스플레이하기 위한 3D 인공 현실 콘텐츠를 생성한다.
애플리케이션 엔진(320) 및 렌더링 엔진(322)은 포즈 추적기(326)에 의해 결정된 바와 같이, 참조 프레임, 일반적으로 HMD(112)의 보기 관점에 대한 현재 포즈 정보에 따라 사용자(110)에게 디스플레이하기 위한 인공 콘텐츠를 구성한다. 현재 보기 관점에 기반하여, 렌더링 엔진(322)은 일부 경우들에서 사용자(110)의 현실-세계 3D 환경에 적어도 부분적으로 오버레이될 수 있는 3D 인공 현실 콘텐츠를 구성한다. 이 프로세스 동안, 포즈 추적기(326)는 사용자(110)에 의한 모션, 및/또는 사용자(110)에 관련한 특징 추적 정보와 같은 현실 세계 환경 내의 3D 정보를 캡처하기 위해 움직임 정보 및 사용자 커맨드들과 같은 HMD(112)로부터 수신된 감지 데이터에 대해 동작할 수 있고, 일부 예들에서는 외부 카메라들 같은 임의의 외부 센서들(90)(도 1a, 도 1b)로부터의 데이터에 대해 동작할 수 있다. 감지된 데이터에 기반하여, 포즈 추적기(326)는 HMD(112)의 참조 프레임에 대한 현재 포즈를 결정하고, 현재 포즈에 따라, 하나 이상의 I/O 인터페이스들(315)을 통해 사용자(110)에게 디스플레이하기 위한 HMD(112)로 통신을 위한 인공 현실 콘텐츠를 구성한다.
또한, 감지된 데이터에 기반하여, 제스처 검출기(324)는 사용자(110)에 의해 수행된 하나 이상의 제스처들을 식별하기 위해 사용자의 객체들(예를 들어, 손들, 팔들, 손목들, 손바닥들, 엄지들)의 추적된 모션들, 구성들, 위치들, 및/또는 배향을 분석한다. 보다 구체적으로, 제스처 검출기(324)는 HMD(112)의 이미지 캡처 디바이스들(138) 및/또는 센서들(90) 및 외부 카메라들(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체들을 분석하여 사용자(110)의 손 및/또는 팔을 식별하고 사용자(110)에 의해 수행된 제스처들을 식별하기 위해 HMD(112)에 관련하여 손 및/또는 팔의 움직임들을 추적한다. 제스처 검출기(324)는 캡처된 이미지 데이터에 기반하여 손, 디지트들, 및/또는 팔의 위치 및 배향에 대한 변화들을 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행된 제스처 또는 제스처들의 조합을 검출하기 위해 객체들의 모션 벡터들을 제스처 라이브러리(330)의 하나 이상의 엔트리들에 비교할 수 있다. 제스처 라이브러리(330)의 일부 엔트리들은 제스처를, 사용자의 손, 특정 손가락들, 엄지들, 손목들 및/또는 팔들의 상대 경로 또는 공간 병진들 및 회전들과 같은 모션의 시리즈 또는 패턴으로서 각각 정의할 수 있다. 제스처 라이브러리(330)의 일부 엔트리들은 각각 특정 시간에 또는 일정 기간에 걸쳐 사용자의 손 및/또는 팔들(또는 그 일부들)의 구성, 위치 및/또는 배향으로 제스처를 정의할 수 있다. 제스처들 유형의 다른 예들이 가능하다. 또한, 제스처 라이브러리(330)의 엔트리들 각각은 정의된 제스처 또는 일련의 제스처에 대해, 개인의 실시간 시선 추적에 의해 결정될 수 있는 바와 같은 HMD(112)의 현재 시야에 대한 공간적 관계, 사용자에 의해 현재 관찰하고 있는 특정 영역에 대한 공간적 관계들, 디스플레이되는 인공 콘텐츠의 유형들, 실행되는 애플리케이션들의 유형들 등 같은 동작을 트리거하기 위해 제스처 또는 일련의 제스처에 대해 요구된 조건들을 특정할 수 있다.
제스처 라이브러리(330)의 엔트리들의 각각은 정의된 제스처들 또는 제스처들의 조합들/시리즈들 각각에 대해, 소프트웨어 애플리케이션들(317)에 의해 수행될 원하는 응답 또는 동작을 추가로 특정할 수 있다. 예를 들어, 본 개시내용의 기법들에 따르면, 소정의 특수 제스처들은, 미리 정의된 제스처 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(328)이 사용자에게 디스플레이되는 인공 현실 콘텐츠에 대한 오버레이로서 사용자 인터페이스를 동적으로 생성하도록 미리 정의될 수 있어, 사용자(110)가 인공 현실 콘텐츠와 상호작용하는 동안에도 HMD(112) 및/또는 콘솔(106)을 구성하기 위한 사용자 인터페이스를 쉽게 호출하게 한다. 다른 예들에서, 소정 제스처들은 입력 제공, 객체들 선택, 애플리케이션 개시 등과 같은 다른 동작들과 연관될 수 있다.
본 개시내용의 시스템 구성들 및 기법들의 일부 예들에 따르면, 제스처 검출기(324)는, 사용자의 식별된 모션 및/또는 객체들(예를 들어, 손들, 팔들, 손목들, 손가락들, 손바닥들, 엄지들)의 구성이 제스처 라이브러리(330)의 복수의 엔트리들 중 하나에 의해 정의된 미리 정의된 제스처에 대응하는지를 결정한다. 제스처 라이브러리(330)의 각각의 엔트리들은 시간 경과에 따른 사용자의 손, 디지트(손가락 또는 엄지) 및/또는 팔의 특정 모션, 구성, 위치 및/또는 배향, 또는 이러한 속성들의 조합으로 다른 제스처를 정의할 수 있다. 또한, 정의된 제스처들 각각은 콘솔(106) 및/또는 HMD(112)의 다른 구성요소들에 의해 수행될 하나 이상의 동작들의 형태로 원하는 응답과 연관될 수 있다.
일 예로서, 제스처 라이브러리(330)의 미리 정의된 제스처들 중 하나 이상은 UI 엔진(328)에 의해 하나 이상의 사용자 인터페이스 요소들의 생성, 변환 및/또는 구성을 트리거할 수 있다. 렌더링 엔진(322)은 제스처 검출기(324)가 미리 정의된 제스처(들)를 검출하는 것에 기반하여 UI 엔진(328)이 생성하는 UI 요소(들)를 렌더링 및 오버레이할 수 있다. 일부 예들에서, UI 엔진(328) 및 렌더링 엔진(322)은 HMD(112)에 통신되는 인공 현실 콘텐츠(122)에서 (UI 메뉴(124)의 예를 통해 논의되는) UI 요소의 위치 및/또는 배향을 정의할 수 있다.
본원에 설명된 기법들 중 일부에 따르면, UI 엔진(328) 및 렌더링 엔진(322)은 디지트들 중 2개가 대략 직각을 형성하도록 손(132)이 구성되는 하나 이상의 제스처들을 제스처 검출기(324)가 식별하는 것에 응답하여 UI 요소 게이팅을 수행한다. 예를 들어, 제스처 검출기(324)는 손(132)의 검지와 엄지가 대략 직각을 형성하는 경우 게이팅 제스처를 검출한다. 일부 예들에서, 제스처 검출기(324)는 인식될 게이팅 제스처에 대한 기준에 시간적 성분을 추가한다. 즉, 제스처 검출기(324)는 손(132)의 구성이 적어도 임계 시간 기간 동안, 그리고 손(132)이 정지되어 있고, 손(132)의 검지와 손의 엄지가 대략 직각을 형성하도록 손(132)이 배치되는 시간 기간 동안 실질적으로 정지되는 경우 제스처를 식별할 수 있다. 손(132)의 위치가 본원에서 2개의 직선들 사이의 회전으로 표현되는 "각도"를 형성하는 것으로 설명되지만, 제스처 검출기(324)가 엄지와 검지 사이의 웨빙의 만곡, 손(132)의 손가락들의 지골간 관절들에 의해 야기된 임의의 자연스러운 구부리기 등 같은 인간의 해부학적 특이성을 수용하기 위해 본 개시내용의 각도 결정을 조정한다는 것이 인식될 것이다.
일부 예들에서, 제스처 검출기(324)는 검지와 엄지가 대략 직각으로 배치될 때 손(132)의 배향에 기반하여 상이한 게이팅 제스처들을 식별한다. 예를 들어, 제스처 검출기(324)는 손(132)의 뒷면이 이미지 캡처 디바이스들(138)을 향하고 있는 경우 하나의 게이팅 제스처를 식별할 수 있고, 손바닥(132)이 이미지 캡처 디바이스들(138)을 향하고 있는 경우 다른 게이팅 제스처를 식별할 수 있다. 다른 예로서, 제스처 검출기(324)는 손(132)의 엄지가 이미지 캡처 디바이스들(138)에 의해 캡처된 뷰에서 상향으로 향하고 있는 경우 하나의 게이팅 제스처를 식별할 수 있고, 손(132)의 검지가 이미지 캡처 디바이스들(138)에 의해 캡처된 뷰에서 상향을 향하고 있는 경우 다른 게이팅 제스처를 식별할 수 있다. 일부 예들에서, 인공 현실 시스템(10)은 위에서 설명된 손(132)의 다양한 배향 속성들의 조합에 기반하여 특정 제스처들을 인식할 수 있다.
이러한 예들에서, UI 엔진(328)은 검지와 엄지 사이에 형성된 각도의 대략적인 정점이 일반적으로 UI 요소의 모서리의 위치를 나타내도록 UI 요소를 생성할 수 있다. 일 예에서, 손(132)이 사용자(110)의 오른손이라고 가정하면, UI 엔진(328)은 손(132)의 검지와 엄지(132) 사이의 각도의 정점이 UI 요소의 우측 하단 모서리의 위치를 나타내도록 UI 요소를 생성할 수 있다. 반대로, 일 예에서, 손(132)이 사용자(110)의 왼손이라고 가정하면, UI 엔진(328)은 손(132)의 검지와 엄지 사이의 각도의 정점이 UI 요소의 좌측 하단 모서리의 위치를 나타내도록 UI 요소를 생성할 수 있다.
또한, UI 엔진(328)은 검지와 엄지가 대략 직각을 형성하는 동안 제스처 검출기(324)가 손(132)의 배향의 변화를 검출하는 경우 UI 요소의 배향, 입도, 콘텐츠 등 중 하나 이상을 편집할 수 있다. 예를 들어, UI 엔진(328)은 손(132)의 검지가 사향을 가리키고 있고 손(132)의 뒤쪽이 이미지 캡처 디바이스들(138)을 향하고 있음을 제스처 검출기(324)가 검출하는 경우 UI 요소를 세로 배향의 메뉴로 게이팅할 수 있다. 이 예에서, UI 엔진(328)은 손의 엄지(132)가 상향을 향하고 손바닥(132)이 이미지 캡처 디바이스들(138)을 향하도록 손(132)의 배향이 변경된 것을 제스처 검출기(324)가 검출하는 경우 가로 배향을 갖도록 메뉴를 스위칭할 수 있다.
일부 그러한 예들에서, UI 엔진(328)은 또한 제스처 검출기(324)에 의해 식별된 바와 같이 손(132)의 배향의 변화에 기반하여 메뉴의 콘텐츠를 변경할 수 있다. 예를 들어, UI 엔진(328)은 세로-배향 메뉴와 비교하여 가로-배향 메뉴에서 사용자-선택가능 옵션들의 세밀한 세트를 제공하는 사용자-선택가능 옵션들을 포함하도록 메뉴를 편집할 수 있다. 예를 들어, UI 엔진(328)은 세로-배향 메뉴보다 더 깊은 레벨의 사용자-선택가능 옵션들을 보여주는 드릴다운 메뉴(drilldown menu)로서 가로-배향 메뉴를 생성할 수 있다. 일부 예들에서, UI 엔진(328)은 제스처 검출기(324)가 위에서 설명된 'L' 또는 미러-이미지 'L'과 비교하여 반전된 손(132)의 구성을 검출하는 경우 UI 요소의 상단 우측 또는 상단 좌측 모서리를 식별함으로써 UI 요소를 게이팅하도록 구성될 수 있다.
본 개시내용의 일부 기법들에 따르면, 제스처 검출기(324)는 손(132)이 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되고, 손(132)의 디지트들은 손(132)의 엄지 및 적어도 하나의 다른 손가락(132)이 대략 원형 또는 대략 원형 세그먼트를 형성하도록 배치된다. 일부 예들에서, 제스처 검출기(324)는 이미지 캡처 디바이스들(138)을 향하는 손(132)의 뷰가 옆쪽 배향이고, 엄지가 위치되는 손(132)의 측면을 나타내는 경우 제스처를 검출할 수 있다. 예를 들어, 이미지 캡처 디바이스들과(138)에서 손(132)으로 그려진 법선은 손(132)의 엄지와 다른 손가락(들)에 의해 형성된 원형 또는 원형 세그먼트의 내부 영역과 교차할 수 있다. 이들 구현들 중 일부에서, UI 엔진(328)은 손(132)에 의해 형성된 원형 또는 원형 세그먼트 내에서 비디오를 재생하기 위해 동영상들을 배치시킬 수 있고, 이에 의해 인공 현실 콘텐츠(122)에 의해 표현되는 전체 가상 환경 내에서 "비디오 통과(video passthrough)"의 효과를 생성할 수 있다. 다른 구현들에서, UI 엔진(328)은 손(132)에 의해 형성된 원형 또는 원형 세그먼트에 일반적으로 대응하는 위치 내에서 또는 그 위치에서 사용자-선택가능 옵션들의 메뉴와 같은 UI 요소를 디스플레이할 수 있다. 렌더링 엔진(322)은 제스처 검출기(324)에 의해 검출된 제스처들에 응답하여 UI 엔진(328)에 의해 생성된 다양한 UI 요소들이 있거나 없는 전자 디스플레이(203)를 통한 출력을 위해 인공 현실 콘텐츠(122)를 렌더링하도록 구성된다.
본 개시내용의 일부 기법들에 따르면, 제스처 검출기(324)는 팔(134)의 일부가 적어도 임계 시간 기간 동안 실질적으로 정지 상태로 배치되고, 적어도 임계 시간 기간 동안 HMD(112)의 FoV 내에 있는 경우 게이팅 제스처를 검출한다. 예를 들어, 제스처 검출기(324)는 손목이 적어도 임계 시간 동안 실질적으로 정지 상태이도록 팔(134)의 구성이 있는 경우, 및 손목으로부터의 법선이 HMD(112)를 향하도록 손목이 배치되는 경우 제스처를 검출할 수 있다. 일부 예들에서, 제스처 검출기(324)는, HMD(112)를 향하는 팔(134)의 뷰가 옆쪽 배향이고, 손목의 내부 측면, 즉 손(132)의 엄지가 위치되는 측면을 나타내는 경우 제스처를 검출할 수 있다. 예를 들어, HMD(112)로부터 팔(134)로 그려진 법선은 손목의 내부 표면과 교차할 수 있다. 이들 구현들 중 일부에서, UI 엔진(328)은 메뉴와 같은 UI 요소를 생성할 수 있고, 이 요소는 렌더링 엔진(322)이 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 손목의 표현에 중첩되는 것으로 렌더링한다.
본 개시내용의 일부 기법들에 따르면, UI 엔진(328)은 인공 현실 콘텐츠(122) 내에 디스플레이 요소를 포함하고, 이는 제스처 검출기(324)가 디스플레이 요소에 관하여 수행된 제스처를 식별할 수 있게 한다. 이러한 예들에서, 제스처 검출기(324)는 가상 환경 내의 디스플레이 요소의 위치에 일반적으로 대응하는 위치들에서 수행된 소정의 미리 정의된 제스처들을 검출할 수 있고, UI 엔진(324)은 제스처 검출기(324)가 디스플레이 요소의 위치에 대응하는 위치에서 이들 미리 정의된 제스처들 중 하나 이상을 검출하는 것에 응답하여 UI 요소들을 게이팅할 수 있다. 이와 같이, 디스플레이 요소는 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내에서 사용자(110)를 나타내는 아바타와 함께 이동하는 "어시스턴트" 또는 "개인 어시스턴트"로 간주될 수 있다. 본 개시내용의 다양한 양태들에 따르면, UI 엔진(328)은 렌더링 엔진(322)이 어시스턴트 요소를 아바타의 가상 신체에 부착된 것으로, 또는 아바타로부터 분리되어 아바타를 따르는 것으로 렌더링하게 할 수 있다.
일부 예들에서, 렌더링 엔진(322)은 아바타로부터 분리된 것처럼 보이고, 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내에서 아바타의 움직임들을 따르도록 어시스턴트 요소를 생성할 수 있다. 이러한 예들에 따르면, 어시스턴트 요소는 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경에서 사용자(110)의 아바타 위에 호버링하거나 옆에 떠 있는 드론을 시뮬레이팅한다. 이러한 구현들에서, 제스처 검출기(324)는 인공 현실 콘텐츠(122)에 포함된 어시스턴트 요소에 관련하여 손(132)에 의해 수행된 파지-및-던지기 조합에 기반하여 게이팅 제스처를 검출할 수 있다.
예를 들어, 제스처 검출기(324)는, (i) 인공 현실 콘텐츠(122)에 의해 표현된 가상 환경 내의 어시스턴트 요소에 대응하는 위치에서 파지 구성을 형성하기 위해 손(132)의 2개 이상의 디지트들의 파지 모션, 및 (ii) 던지기 모션이 파지 모션에 후속하여 발생하는 경우, 어시스턴트 요소에 관련하여 손(132)의 던지기 모션의 조합을 검출 시, 게이팅 제스처를 식별할 수 있다.
예를 들어, 인공 현실 시스템(10)은 손(132)의 파지 구성의 해제와 손(132) 및/또는 팔(134)의 특정 움직임의 조합을 식별함으로써 던지기 모션을 검출할 수 있다. 파지 구성의 해제를 수반하거나, 따르거나, 부분적으로 오버랩하는 특정 움직임은 팔(134)의 손목 및/또는 손(132)의 관절들의 구부리기, 손(132)의 디지트들 중 적어도 하나의 외향 플릭킹 모션, 또는 이들의 다양한 순열들/조합을 포함할 수 있다.
일부 예들에서, 렌더링 엔진(322)은 아바타의 손목에 부착된 것으로 어시스턴트 요소를 렌더링할 수 있다. 예를 들어, 렌더링 엔진(322)은 팔(134)이 사용자(110)의 주류 오른팔을 나타내는 시나리오에서 왼팔과 같은 비-주류 팔의 손목에 부착된 것으로 어시스턴트 요소를 렌더링할 수 있다. 이러한 예들에서, 어시스턴트 요소는 어시스턴트 요소가 사용자(110)의 다른쪽 팔에 현재 부착되어 있지만, 잠재적으로 분리가능한 것으로 렌더링된다는 점에서 웨어러블 아이템을 시뮬레이팅할 수 있다. 예를 들어, 렌더링 엔진(322)은 일부 예들에서 사용자(110)의 비-주류 팔을 나타낼 수 있는 사용자(110)의 다른쪽 팔(즉, 팔 다른쪽 팔(134))의 표현에 대응하는 위치에서 디스플레이 요소를 렌더링할 수 있다. 일부 그러한 구현들에서, 제스처 검출기(324)는 파지-및-이동 조합, 파지-및-해제 조합, 파지-이동-해제 조합, 또는 사용자(110)의 다른쪽 팔에 중첩되고 부착되는 것으로 보이는 어시스턴트 요소에 관련하여 손(132)에 의해 수행되는 단순히 파지를 포함하는 제스처를 검출할 수 있다.
예를 들어, 제스처 검출기(324)는 디스플레이 요소에 관련한 손(132)의 파지 모션을 식별함으로써 제스처를 검출할 수 있고, 이에 응답하여, UI 엔진(328) 및 렌더링 엔진(322)은 사용자(110)의 다른쪽 팔로부터 분리되어 분리된 것처럼 보이도록 디스플레이 요소의 외관을 업데이트할 수 있다. 일부 예들에서, 제스처 검출기(324)는 가상 환경에서 표현된 바와 같이, 사용자(110)의 다른쪽 팔, 즉 어시스턴트 요소가 제거된 팔로부터 일정 거리 떨어진 위치에서 손(132)의 파지 구성의 해제를 검출할 수 있다. 차례로, UI 엔진(328)은 렌더링 엔진(322)이 손(132)의 파지 구성이 해제된 대략적인 위치에서 어시스턴트 요소를 디스플레이하게 할 수 있다. 이 예에서, 제스처 검출기(324)는 한 손 제스처를 활용하고, 이에 의해 양손 제스처들과 연관된 사용자 부담을 완화시킨다.
또한, 제스처 검출기(324)가 손(132)의 파지 구성의 해제를 식별하는 것에 기반하여, UI 엔진(328)은 사용자-선택가능 옵션들의 메뉴와 같은 UI 요소를 게이팅할 수 있다. 예를 들어, UI 엔진(328)은 렌더링 엔진(322)이, 메뉴가 어시스턴트 요소 옆에 또는 그렇지 않으면 일반적으로 그 부근에 배치되도록 하는 반면, 어시스턴트 요소가 손(132)의 파지 구성이 해제된 위치에 매달린 것처럼 보이도록 메뉴를 렌더링하게 할 수 있다. 일부 예들에서, 제스처 검출기(324)는 후속하여, 디스플레이 요소가 사용자(110)의 다른쪽 팔의 손목으로 다시 이동되도록 어시스턴트 요소에 관련하여 손(132)의 파지-및-이동 제스처를 검출할 수 있다. 이러한 예들에서, UI 엔진(328)은 인공 현실 콘텐츠(122)로부터 메뉴를 제거할 수 있고, 이에 의해 렌더링 엔진(322)이 가상 환경 내에서 메뉴를 렌더링하는 것을 중단하게 할 수 있다.
일부 구현들에서, 제스처 검출기(324)는 사용자(110)의 다른쪽 팔의 미리 정의된 영역, 이를테면 다른쪽 팔의 손목에서 발생하는 디스플레이 요소들에 관련한 파지-및-당기기 조합 또는 집기-및-당기기 조합을 검출할 수 있다. 이러한 구현들에 따르면, UI 엔진(328)은 제스처 검출기(324)가 이러한 움직임들 중 임의의 것을 식별하는 것에 응답하여 사용자-선택가능 옵션들의 UI 메뉴를 게이팅할 수 있다. 이들 구현들 중 일부에 따르면, UI 엔진(328) 및 렌더링 엔진(322)은 제스처 검출기(324)가 다른 쪽 팔의 손목으로부터 당기는 것의 상이한 길이들을 검출하는 것에 응답하여 메뉴의 콘텐츠, 폼 팩터 또는 선택 입도를 변경할 수 있다.
예를 들어, 인공 현실 시스템(10)의 UI 엔진(328) 및 렌더링 엔진(322)은 사실상 손목에 오버레이되는 UI 요소(예를 들어, 위에서 설명한 어시스턴트 요소의 예)에 관련하여 손(132)의 파지-및-당기기 조합 모션을 식별하는 것에 응답하여, UI 요소를 수정하여 UI 메뉴를 게이팅할 수 있다. 제스처 검출기(324)가 파지 구성을 형성하기 위해 손(132)의 2개 이상의 디지트들의 파지 모션을 식별하고, 동일한 2개 이상의 디지트들의 후속 당기기 모션이 다른쪽 손의 손목으로부터 멀어지는 반면, 동일한 2개 이상의 디지트들이 파지 구성에 있는 경우, UI 엔진(328)은 렌더링 엔진(322)이 원형 메뉴와 같은 메뉴를 출력하게 할 수 있다.
이러한 방식으로, 위에서 설명된 본 개시내용의 이러한 특정 양태들은 UI 요소들을 호출하는 관점에서 서랍 또는 파일 캐비닛을 시뮬레이팅한다. 제스처 검출기(324)가 파지 구성이 여전히 온전한 동안 당기기 모션의 중단을 식별하고, 파지 구성이 여전히 온전한 채로 추가 당기기 모션이 뒤따르는 경우, UI 엔진(328)은 메뉴를 업데이트하고 렌더링 엔진(122)이 인공 현실 콘텐츠(122)를 통해 업데이트된 메뉴를 출력하게 한다. 일부 예들에서, 렌더링 엔진(322)은 대응하는 당기는 모션이 중단된 위치들과 같은 상이한 위치들에 원래 메뉴 및 업데이트된 메뉴를 배치시킬 수 있다.
따라서, 본 개시내용의 기법들 및 시스템 구성들은 인공 현실 시스템에 의해 콘텐츠를 렌더링 및 디스플레이하는 컴퓨터-관련 분야에 대한 특정 기술 개선들을 제공한다. 예를 들어, 도 3의 인공 현실 시스템은 사용자에 의해 수행되는 직관적이지만, 별개의 제스처들의 검출에 기반하여 인공 현실 콘텐츠에 오버레이된 사용자 인터페이스 요소들을 생성 및 렌더링함으로써 사용자(110)와 같은 사용자에게 고품질 인공 현실 경험을 제공할 수 있다.
또한, 본원에 설명된 시스템들은 폐색 추적을 방지하도록 정의된 손 및 팔 움직임들에 기반하여 소정 제스처들을 검출하도록 구성될 수 있다. 폐색 추적은 사용자의 한 손이 다른 손과 적어도 부분적으로 오버랩하는 경우 발생할 수 있고, 이는 각각의 손의 개별 디지트들(손가락들 및 엄지)과, 각각의 손의 위치 및 배향을 정확하게 추적하기 어렵게 한다. 그러므로, 본원에 설명된 시스템들은 한 손 또는 한 팔 기반 제스처들을 주로 검출하도록 구성될 수 있다. 한 손 또는 한 팔 기반 제스처들의 사용은 큰-모터 및 미세-모터 스킬 제한들을 갖는 사용자들에게 향상된 접근성을 추가로 제공할 수 있다. 또한, 여기에 설명된 시스템들은 사용자의 손들이 서로 상호작용하거나 오버랩되지 않는 양손 또는 양팔 기반 제스처들을 검출하도록 구성될 수 있다.
도 4는 본 개시내용의 기법들에 따른 도 1a, 도 1b의 인공 현실 시스템들의 HMD(112)에 의해 제스처 검출 및 사용자 인터페이스 생성이 수행되는 예를 묘사하는 블록도이다.
이 예에서, 도 3과 유사하게, HMD(112)는 하나 이상의 프로세서들(302) 및 메모리(304)를 포함하고, 이는 일부 예들에서 예를 들어 내장형 실시간 멀티태스킹 운영 체제 또는 다른 유형의 운영 체제일 수 있는 운영 체제(305)를 실행하기 위한 컴퓨터 플랫폼을 제공한다. 차례로, 운영 체제(305)는 하나 이상의 소프트웨어 구성요소들(417)을 실행하기 위한 멀티태스킹 운영 환경을 제공한다. 또한, 프로세서(들)(302)는 전자 디스플레이(203), 모션 센서들(206), 및 이미지 캡처 디바이스들(138)에 결합된다.
도 4의 예에서, 소프트웨어 구성요소들(417)은 전체 인공 현실 애플리케이션을 제공하도록 동작한다. 이 예에서, 소프트웨어 애플리케이션들(417)은 애플리케이션 엔진(440), 렌더링 엔진(422), 제스처 검출기(424), 포즈 추적기(426), 및 사용자 인터페이스 엔진(428)을 포함한다. 다양한 예들에서, 소프트웨어 구성요소들(417)은 사용자(110)의 검출된 제스처들에 따라 사용자(110)에게 디스플레이하기 위한 인공 콘텐츠 상에, 이의 일부로서 오버레이된 사용자 인터페이스 요소들을 구성하기 위해 도 3의 콘솔(106)의 대응 구성요소들(예를 들어, 애플리케이션 엔진(320), 렌더링 엔진(322), 제스처 검출기(324), 포즈 추적기(326), 및 사용자 인터페이스 엔진(328))과 유사하게 동작한다. 일부 예들에서, 렌더링 엔진(422)은 사용자(110)의 현실-세계 3D 환경에 적어도 부분적으로 오버레이될 수 있는 3D 인공 현실 콘텐츠를 구성한다.
도 3과 관련하여 설명된 예들과 유사하게, 감지된 데이터에 기반하여, 제스처 검출기(424)는 사용자(110)에 의해 수행된 하나 이상의 제스처들을 식별하기 위해 사용자의 객체들(예를 들어, 손들, 팔들, 손목들, 손바닥들, 엄지들)의 추적된 모션들, 구성들, 위치들, 및/또는 배향들을 분석한다. 본 개시내용의 기법들에 따라, 사용자 인터페이스 엔진(428)은 사용자(110)에게 디스플레이될 인공 현실 콘텐츠의 일부로서, 예를 들어 그 위에 오버레이되는 사용자 인터페이스 요소들을 생성하고/하거나 제스처 검출기(424)에 의해 검출된 사용자(110)의 하나 이상의 제스처들 또는 제스처들의 조합들에 기반하여 동작들을 수행한다. 보다 구체적으로, 제스처 검출기(424)는 HMD(112)의 이미지 캡처 디바이스들(138) 및/또는 센서들(90) 또는 외부 카메라들(102)에 의해 캡처된 이미지 데이터 내에서 인식된 객체들을 분석하여 사용자(110)의 손 및/또는 팔을 식별하고 사용자(110)에 의해 수행된 제스처들을 식별하기 위해 HMD(112)에 관련하여 손 및/또는 팔의 움직임들을 추적한다. 제스처 검출기(424)는 캡처된 이미지 데이터에 기반하여 손, 디지트들, 및/또는 팔의 위치 및 배향에 대한 변화들을 포함하는 움직임을 추적하고, 사용자(110)에 의해 수행된 제스처 또는 제스처들의 조합을 검출하기 위해 객체들의 모션 벡터들을 제스처 라이브러리(430)의 하나 이상의 엔트리들에 비교할 수 있다.
제스처 라이브러리(430)는 도 3의 제스처 라이브러리(330)와 유사하다. 제스처 라이브러리(430)의 엔트리들 각각은 정의된 제스처 또는 일련의 제스처들에 대해, 개인의 실시간 시선 추적에 의해 결정될 수 있는 바와 같은 HMD(112)의 현재 시야에 대한 공간적 관계, 사용자에 의해 현재 관찰하고 있는 특정 영역에 대한 공간적 관계들, 디스플레이되는 인공 콘텐츠의 유형들, 실행되는 애플리케이션들의 유형들 등 같은 동작을 트리거하기 위해 제스처에 대해 요구된 조건들을 특정할 수 있다.
매칭하는 제스처 또는 제스처들의 조합을 검출하는 것에 응답하여, HMD(112)는 제스처 라이브러리(430)의 매칭 엔트리에 할당된 응답 또는 동작을 수행한다. 예를 들어, 본 개시내용의 기법들에 따르면, 소정의 특수 제스처들은, 제스처 검출기(424)가 미리 정의된 제스처들 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(428)이 사용자에게 디스플레이되는 인공 현실 콘텐츠에 대한 오버레이로서 사용자 인터페이스를 동적으로 생성하도록 미리 정의될 수 있어, 사용자(110)가 인공 현실 콘텐츠를 보는 동안 HMD(112)를 구성하기 위한 사용자 인터페이스를 쉽게 호출하게 한다. 다른 예들에서, 제스처 검출기(424)가 미리 정의된 제스처들 중 하나를 검출하는 것에 응답하여, 사용자 인터페이스 엔진(428) 및/또는 애플리케이션 엔진(440)은 입력을 수신하거나, 사용자 인터페이스 요소들과 연관된 값들 또는 파라미터들을 선택하거나, 애플리케이션들을 개시하거나, 구성가능한 설정들을 수정하거나, 메시지들을 전송하거나, 프로세스들을 시작 또는 정지시키거나 다른 동작들을 수행할 수 있다.
제스처 검출기(424)가 이미지 캡처 디바이스(138)에 의해 캡처된 이미지 데이터로부터 식별할 수 있는 다양한 제스처들은 손(132)의 'L' 형상 구성들, 손(132)에 의해 수행되는 파지-및-당기기 움직임들, 및 손(132)에 의해 수행되는 파지-및 던지기 움직임들을 포함한다. 제스처 검출기(424)가 이미지 데이터로부터 식별할 수 있는 제스처의 다른 예는 손목-응시 제스처이고, 여기서 사용자(110)의 반대쪽 팔의 손목은 적어도 임계 시간 기간 동안 HMD(112)의 FoV에 배치되고, 적어도 임계 시간 기간 동안 실질적으로 정지 상태이다. UI 엔진(428) 및 렌더링 엔진(422)은 제스처 검출기(424)가 본 개시내용의 미리 정의된 제스처들 중 임의의 것을 식별하는 것에 응답하여 사용자-선택가능 옵션들의 메뉴와 같은 다양한 UI 요소들을 게이팅할 수 있다. 일부 예들에서, UI 엔진(428) 및 렌더링 엔진(422)은 제스처 검출기(424)가 이미지 데이터로부터 후속 "디-게이팅" 제스처를 식별하는 것에 응답하여 이전에-게이팅된 UI 요소를 제거할 수 있다.
도 5는 인공 현실 시스템들(10, 20) 및/또는 그 구성요소들이 본 개시내용의 제스처-구동 UI 요소 게이팅 기법들에 따라 수행할 수 있는 프로세스(450)를 예시하는 흐름도이다. 도 5가 예로서 특정 순서/시퀀스의 다양한 단계들을 예시하지만, 인공 현실 시스템들(10, 20)이 부분적 또는 전체 동시성들을 포함하는 다양한 순서들/시퀀스들로 예시된 단계들을 수행할 수 있고, 다양한 단계들을 여러 번 반복할 수 있음이 인식될 것이다. UI 엔진(328, 428) 및 렌더링 엔진(322, 422)은 인공 현실 콘텐츠(122)를 출력할 수 있다(452). 예를 들어, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 가상 환경을 생성하기 위해 전자 디스플레이(203)를 통해 인공 현실 콘텐츠(122)를 출력할 수 있다.
이미지 캡처 디바이스(138) 및/또는 외부 카메라들(102)은 이미지 데이터를 캡처할 수 있다(454). 이미지 데이터는 사용자(110)를 둘러싼 물리적 환경을 반영할 수 있다. 제스처 검출기들(324, 424)은 미리 정의된 제스처가 HMD(112)의 FoV 내에서 검출되는지 여부를 결정할 수 있다(판정 블록 456). 예를 들어, 제스처 검출기들(324, 424)은 이미지 데이터로부터 검출된 손/팔 구성들 및/또는 모션들/움직임들 중 하나 이상이 제스처 라이브러리들(330, 430)의 엔트리에 매칭하는지 여부를 결정하기 위해 이미지 캡처 디바이스들(138) 및/또는 외부 카메라들(102)로부터 수신된 이미지 데이터를 프로세싱할 수 있다.
제스처 검출기들(324, 424)이 이미지 데이터로부터 미리 정의된 제스처를 식별하지 않는 경우(판정 블록(456)의 아니오(NO) 분기), 인공 현실 시스템들(10, 20)은 계속해서 인공 현실 콘텐츠(122)를 출력하고 사용자(110)의 물리적 환경으로부터 이미지 데이터를 캡처할 수 있다(단계들 452 및 454를 효과적으로 반복). 제스처 검출기들(324, 424)이 이미지 데이터로부터 미리 정의된 제스처를 식별하는 경우(판정 블록(456)의 예(YES) 분기), UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 본 개시내용의 제스처-구동 UI 요소 게이팅 기법들에 따라 하나 이상의 UI 요소들(458)을 게이팅할 수 있다. 본 개시내용의 기법들에 따라 게이팅될 수 있는 미리 정의된 제스처들 및 UI 요소들의 다양한 예들은 아래에서 더 상세히 설명된다.
도 6a-도 11은 본 개시내용의 양태들에 따라 제스처 검출기(324, 424)가 다양한 미리 정의된 게이팅 제스처들을 식별하는 데 사용할 수 있는 손(132)(및 일부 경우들에서, 팔(134)의 손목)의 다양한 움직임들 및 구성들을 예시하는 개념도들이다. 팔(134)의 손목은 도 5a-도 10의 일부에서 손목(135)으로 라벨링되고, 사용자(110)의 다른 쪽 팔은 반대쪽 팔(934)로 라벨링되고, 다른 쪽 팔의 손목은 반대쪽 손목(902)으로 라벨링된다.
도 6a-도 6d는 손(132)의 모서리-기반 게이팅 구성들의 식별에 응답하여 인공 현실 시스템들(10, 20)이 호출할 수 있는 UI 요소들 및 손(132)의 모서리-기반 게이팅 구성들을 예시한다. 도 6a는 UI 엔진들(328, 428)이 UI 요소의 모서리의 대략 위치를 식별하는 구성(502)에 기반하여 UI 요소를 게이팅할 수 있는 것에 응답하여, 제스처 검출기들(324, 424)이 식별할 수 있는 손(132)의 구성(502)을 예시한다. 도 6a에 도시된 바와 같이, 구성(502)은 손(132)의 검지와 엄지 사이의 대략적인 직각을 수반한다. 즉, 이미지 캡처 디바이스들(138) 및/또는 외부 카메라들(102)은 사용자(110)의 물리적 환경을 나타내는 이미지 데이터를 캡처할 수 있고, 전자 디스플레이(203)는 인공 현실 콘텐츠를 출력할 수 있다. 제스처 검출기들(328, 428)은 이미지 데이터로부터, 손(132)이이 적어도 임계 시간 동안 실질적으로 정지 상태이고 손(132)의 검지와 엄지가 대략 직각을 형성하도록 배치되는 구성(502)을 포함하는 제스처를 식별할 수 있다. UI 엔진들은 식별된 제스처에 응답하여 UI 요소를 생성할 수 있고, 렌더링 엔진들(322, 422)은 인공 현실 콘텐츠에 대한 오버레이로서 UI 요소를 렌더링할 수 있다. 구성(502)의 경우에, 손(132)의 검지는 HMD(112)의 시야(FoV)에서 상향을 가리키고, 손(132)의 뒤쪽은 이미지 캡처 디바이스들(138)을 향한다. 손(132)을 검출하는 제스처 검출기들(322, 422)이 적어도 임계 시간 기간 동안 구성(502)에 있는 것에 기반하여, UI 엔진들(328, 428)은 렌더링 엔진들(322, 422)이 세로 배향에 따라 UI 요소를 렌더링하게 할 수 있다.
도 6b는 UI 엔진들(328, 428)이 UI 요소의 모서리의 대략 위치를 식별하는 구성(504)에 기반하여 UI 요소를 게이팅할 수 있는 것에 응답하여, 제스처 검출기들(324, 424)이 식별할 수 있는 손(132)의 다른 구성(504)을 예시한다. 구성(504)의 경우에, 손의 엄지(132)는 이미지 캡처 디바이스들(138)에 의해 캡처된 뷰에서 상향을 가리키고, 손바닥(132)은 HMD(112)를 향한다. 손(132)을 검출하는 제스처 검출기들(322, 422)이 적어도 임계 시간 기간 동안 구성(504)에 있는 것에 기반하여, UI 엔진들(328, 428)은 렌더링 엔진들(322, 422)이 가로 배향에 따라 UI 요소를 렌더링하게 할 수 있다. 구성(504)은 구성(502)에 관련한 90도 손 회전 및 180도 손 반사를 나타낸다.
도 6c는 손(132)이 적어도 임계 시간 기간 동안 구성(502)을 따르는 제스처를 제스처 검출기들(324, 424)이 식별하는 것에 응답하여 UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)이 게이팅할 수 있는 메뉴(506)를 예시한다. 도 6c에 도시된 바와 같이, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은, 손(132)이 적어도 임계 시간 기간 동안 구성(502)을 따른다고 제스처 검출기(324, 424)들이 결정하는 것에 응답하여 세로 배향에 따라 게이트 메뉴(506)를 예시한다.
도 6d는 손(132)이 적어도 임계 시간 기간 동안 구성(504)을 따르는 제스처를 제스처 검출기들(324, 424)이 식별하는 것에 응답하여 UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)이 게이팅할 수 있는 메뉴(508)를 예시한다. 도 6d에 도시된 바와 같이, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은, 손(132)이 적어도 임계 시간 기간 동안 구성(504)을 따른다고 제스처 검출기(324, 424)들이 결정하는 것에 응답하여 가로 배향에 따라 게이트 메뉴(508)를 예시한다.
일부 사용 사례 시나리오들에서, 제스처 검출기들(324, 424)은 2개의 개별적인 순차적 제스처들의 수행으로서 구성(502)에서 구성(504)으로의 손(132)의 전이를 검출할 수 있다. 이와 같이, 제스처 검출기들(324, 424)은 구성(502)을 따르는 손(132)의 위치 및 구성(504)을 따르는 손의 위치에 기반하여 2개의 개별 제스처들을 식별할 수 있다. 이러한 특정 사용 사례 시나리오에서, 제스처 검출기(324, 424)는 (구성(504)에 따라) 제2 위치에 기반한 제2 제스처가 검출되기 전에 (구성(502)에 따라) 제1 위치에 기반한 제1 제스처가 검출되는 것을 식별한다. 이 경우에, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 제2(가로) 배향을 따르는 메뉴(508)를 형성하기 위해 제1(세로) 배향을 따르는 메뉴(506)를 수정할 수 있다. 도 6c 및 도 6d에 예시된 예들에서, 메뉴(506)(제1, 즉 세로 배향을 따름)는 메뉴(508)(제2, 즉 가로 배향을 따름)에 포함된 사용자-선택가능 옵션들의 서브세트를 포함한다.
도 6c 및 도 6d의 특정 예들에서, UI 엔진들(328, 428)은 손(132)이 구성들(502, 504)을 따르는 제스처들 각각이 메뉴들(506, 508)의 우측-하단 모서리의 위치를 각각 나타내는지 결정하기 위해 제스처 검출기들(324, 424)에 의해 제공된 데이터를 해석한다. 그러나, 다른 예들에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)이 제스처 검출기들(324, 424)에 의해 제공된 정보에 기반하여 다양한 UI 요소들의 좌측-하부, 좌측-상부, 또는 우측-상부 모서리들을 식별할 있다는 것이 인식될 것이다. 도 6c 및 도 6d 각각에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 각각의 메뉴(506, 508)의 긴 변이 손(132)의 검지와 실질적으로 정렬하도록 메뉴들(506 및 508)을 렌더링한다.
도 7a 및 도 7b는 인공 현실 시스템(10, 20)이 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 소정 UI 요소들을 게이팅하기 위한 자극으로서 검출할 수 있는 손(132)의 둥근-경계 구성을 예시한다. 도 7a는 손(132)의 검지 및 엄지(132)가 원형 세그먼트 또는 대략 원형 세그먼트를 형성하는 구성(602)을 예시한다. 구성(602)의 원형 세그먼트는 일반적으로 양쪽 개방 단부들로부터 연장되는 경우 잠재적으로 원형 또는 대략 원형과 같은 둘러싸인 공간을 형성할 호를 나타낸다. 제스처 검출기들(324, 424)은 손(132)이 구성(602)을 따르고 적어도 임계 시간 기간 동안 구성(602)에 유지되는 경우 도 7a에 예시된 게이팅 제스처를 식별할 수 있다. 즉, 제스처 검출기들(324, 424)은 손(132)의 배치가 적어도 임계 시간 기간 동안 실질적으로 정지 상태를 유지하는 조건들 둘 모두를 충족하고, 2개의 디지트들이 구성(602)의 원형 세그먼트를 형성하도록 손(132)의 디지트들 중 2개가 배치되는 경우 도 7a의 게이팅 제스처를 식별할 수 있다.
사용자 경험을 돕기 위해 그리고 인간 손의 일반적인 구조에 기반하여, 손의 엄지(132)가 임계 시간 기간 동안 적어도 하나의 다른 손가락(엄지 이외)과 조합하여 원형 세그먼트를 형성하는 경우 제스처 검출기들(324, 424)은 게이팅 제스처를 검출할 수 있다. 본 개시내용의 예들은 원형 세그먼트를 형성하는 손(132)의 검지 및 손 엄지에 관한 것이다. 그러나, 제스처 검출기들(324, 424)이 단지 검지 손가락과 같은 다양한 손가락들, 검지가 나머지 손가락들을 가리는 것을 통해 모두 4개의 다른 손가락들, 또는 엄지와 검지 이외의 나머지 손가락들 중 임의의 하나 이상과 원형 세그먼트를 형성하는 엄지에 기반하여 게이팅 제스처를 식별할 수 있다.
구성(602)에 따라 손(132)에 의해 형성된 원형 세그먼트는 둘러싸인 영역(604A)을 포함한다. 일부 예들에서, 제스처 검출기들(324, 424)은 구성(602)의 원형 세그먼트 내의 둘러싸인 영역(604A)의 임의의 곳으로부터의 법선이 HMD(112)를 향하도록 손(132)이 배치되는 경우 게이팅 제스처를 식별할 수 있다. 이러한 예들에서, UI 엔진들(328, 428)은 제스처 검출기들(324, 424)이 도 7a에 예시된 게이팅 제스처를 식별하는 것에 응답하여 UI 요소를 생성하고, 렌더링 엔진들(322, 422)이 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경의 일부에 관한 오버레이로서 UI 요소를 렌더링하게 할 수 있다.
예를 들어, 렌더링 엔진들(322, 422)은 UI 엔진들(328, 428)에 의해 생성된 UI 요소(예를 들어, 콘텐츠)가 둘러싸인 영역(604A) 내에 또는 적어도 부분적으로 둘러싸인 영역(604A) 내에 보이도록 렌더링할 수 있다. 일부 예들에서, UI 엔진들(328, 428)은 이미지 캡처 디바이스들(138) 및/또는 외부 카메라들(102)에 의해 캡처된 물리적 환경을 나타내는 이미지 데이터의 일부의 재생을 포함하도록 UI 요소를 생성한다. 이러한 예들에서, 인공 현실 시스템들(10, 20)은 원형 세그먼트 내에서 사용자(110)의 실제 물리적 환경을 재현함으로써 "통과(passthrough)" 효과를 제공하는 한편, 인공 현실 콘텐츠(122)로 표현되는 가상 환경의 나머지 부분을 유지하기 위해 본 개시내용의 기법들 구현한다. 일 예에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 UI 요소에 포함된 이미지 데이터의 일부를 생성 및 렌더링하여 이미지 데이터는 HMD(112)를 향하는 원형 세그먼트 내의 둘러싸인 영역(604A)으로부터의 법선을 따라 놓인 물리적 환경의 일부에 대응한다.
다른 예들에서, UI 엔진들(328, 428)은 동영상들과 같은 비디오 데이터를 포함하도록 UI 요소를 생성한다. 이러한 예들에서, 인공 현실 시스템들(10, 20)은 원형 세그먼트 내에서 비디오를 재생함으로써 비디오 "통과" 효과 또는 비디오 "오버레이" 효과를 제공하는 한편, 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경의 나머지 부분을 유지하기 위해 본 개시내용의 기법들을 구현한다. 여전히 다른 예들에서, UI 엔진들(328, 428)은 사용자-선택가능 옵션들의 메뉴를 포함하도록 UI 요소를 생성한다. 이러한 예들에서, 인공 현실 시스템(10, 20)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경의 나머지를 유지하면서, 원형 세그먼트 내에서 메뉴 호출 기능들을 제공하기 위해 본 개시내용의 기법들을 구현한다. 이러한 예들에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 가상 창 내에 포함된 콘텐츠를 출력한다. 가상 창의 전체 경계 또는 부분 경계는 손(132)에 의해 형성된 내부 링으로 표시된다.
도 7b는 손(132)의 검지 및 엄지(132)가 원형 또는 대략 원형을 형성하는 구성(606)을 예시한다. 구성(606)의 원형 또는 대략 원형은 일반적으로 손(132)의 해부학적 속성들에 의해 야기된 매끄럽지 않은 전이들을 고려한 후, 일반적으로 경계를 갖는 폐쇄된 형상을 나타낸다. 제스처 검출기들(324, 424)은 손(132)이 구성(606)을 따르고 적어도 임계 시간 기간 동안 구성(606)에 유지되는 경우 도 7b에 예시된 게이팅 제스처를 식별할 수 있다. 즉, 제스처 검출기들(324, 424)은 손(132)의 배치가 적어도 임계 시간 기간 동안 실질적으로 정지 상태를 유지하는 조건들 둘 모두를 충족하고, 2개의 디지트들이 구성(606)의 원형을 형성하도록 손(132)의 디지트들 중 2개가 배치되는 경우 도 7b의 게이팅 제스처를 식별할 수 있다.
사용자 경험을 돕기 위해 그리고 인간 손의 일반적인 구조에 기반하여, 손의 엄지(132)가 임계 시간 기간 동안 적어도 하나의 다른 손가락(엄지 이외)과 조합하여 원형을 형성하는 경우 제스처 검출기들(324, 424)은 게이팅 제스처를 검출할 수 있다. 본 개시내용의 예들은 원형을 형성하는 손(132)의 검지 및 손 엄지에 관한 것이다. 그러나, 제스처 검출기들(324, 424)이 단지 검지 손가락과 같은 다양한 손가락들, 검지가 나머지 손가락들을 가리는 것을 통해 모두 4개의 다른 손가락들, 또는 엄지와 검지 이외의 나머지 손가락들 중 임의의 하나 이상과 원형을 형성하는 엄지에 기반하여 게이팅 제스처를 식별할 수 있다.
구성(606)에 따라 손(132)에 의해 형성된 원형은 둘러싸인 영역(604B)을 포함한다. 일부 예들에서, 제스처 검출기들(324, 424)은 구성(606)의 원 내의 둘러싸인 영역(604B)의 임의의 곳으로부터의 법선이 HMD(112)를 향하도록 손(132)이 배치되는 경우 게이팅 제스처를 식별할 수 있다. 이러한 예들에서, UI 엔진들(328, 428)은 제스처 검출기들(324, 424)이 도 7b에 예시된 게이팅 제스처를 식별하는 것에 응답하여 UI 요소를 생성하고, 렌더링 엔진들(322, 422)이 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경의 일부에 관한 오버레이로서 UI 요소를 렌더링하게 할 수 있다.
예를 들어, 렌더링 엔진들(322, 422)은 UI 엔진들(328, 428)에 의해 생성된 UI 요소(예를 들어, 콘텐츠)가 둘러싸인 영역(604B) 내에 또는 적어도 부분적으로 둘러싸인 영역(604B) 내에 보이도록 렌더링할 수 있다. 일부 예들에서, UI 엔진들(328, 428)은 이미지 캡처 디바이스들(138) 및/또는 외부 카메라들(102)에 의해 캡처된 물리적 환경을 나타내는 이미지 데이터의 일부의 재생을 포함하도록 UI 요소를 생성한다. 이러한 예들에서, 인공 현실 시스템들(10, 20)은 원형 내에서 사용자(110)의 실제 물리적 환경을 재현함으로써 "통과(passthrough)" 효과를 제공하는 한편, 인공 현실 콘텐츠(122)로 표현되는 가상 환경의 나머지 부분을 유지하기 위해 본 개시내용의 기법들 구현한다. 일 예에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 UI 요소에 포함된 이미지 데이터의 일부를 생성 및 렌더링하여 이미지 데이터는 HMD(112)를 향하는 원 내의 둘러싸인 영역(604B)으로부터의 법선을 따라 놓인 물리적 환경의 일부에 대응한다.
다른 예들에서, UI 엔진들(328, 428)은 동영상들 같은 비디오 데이터를 포함하도록 UI 요소를 생성한다. 이러한 예들에서, 인공 현실 시스템들(10, 20)은 원형 내에서 비디오를 재생함으로써 비디오 "통과" 효과 또는 비디오 "오버레이" 효과를 제공하는 한편, 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경의 나머지 부분을 유지하기 위해 본 개시내용의 기법들을 구현한다. 여전히 다른 예들에서, UI 엔진들(328, 428)은 사용자-선택가능 옵션들의 메뉴를 포함하도록 UI 요소를 생성한다. 이러한 예들에서, 인공 현실 시스템(10, 20)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경의 나머지를 유지하면서, 원 내에서 메뉴 호출 기능들을 제공하기 위해 본 개시내용의 기법들을 구현한다. 이러한 예들에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 가상 창 내에 포함된 콘텐츠를 출력한다. 가상 창의 전체 경계 또는 부분 경계는 손(132)에 의해 형성된 내부 링으로 표시된다.
도 8a 및 도 8b는 인공 현실 시스템(10, 20)이 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 소정 UI 요소들을 게이팅하기 위한 자극으로서 검출할 수 있는 팔(134)의 구성들을 예시한다. 도 8a 및 도 8b는 손(132)에 바로 인접한 팔(134)의 세그먼트 또는 섹션인 손목(702)을 예시한다. 제스처 검출기들(324, 424)은 손목(702)이 적어도 임계 시간 동안 실질적으로 정지 상태이도록 한 팔(134)의 구성 및 손목(702)으로부터의 법선이 HMD(112)를 향하도록 배치된 팔(134)의 구성에 기반한 게이팅 제스처를 식별할 수 있다. 예를 들어, 법선은 손목(702)의 임의의 지점에서 HMD(112)의 전면 강성체까지 그려진 직선을 나타낼 수 있다. 이와 같이, 도 8a는 손목(702)에서 그려진 가상 법선이 HMD(112)의 전면 강성체와 교차하도록 손목(702)이 HMD(112)와 관련하여 배치된 구성(704)을 예시한다. 손목(702)의 구성은 제어기를 홀딩하는 동안 손목을 시뮬레이팅하거나 실질적으로 동일할 수 있다. 이러한 방식으로, 인공 현실 시스템들(10, 20)은 사용자들을 위한 자연스러운 위치를 활용하고, 사용자가 하나 이상의 제어기들을 홀딩하는 경우라도 UI 요소 게이팅을 가능하게 할 수 있다.
도 8b는 인공 현실 콘텐츠(122)에 의해 표현되는 가상 현실 환경에서 손(132) 및 손목(702)의 표현을 예시한다. 제스처 검출기(324, 424)가 임계 시간 기간 동안 HMD(112)의 전면 강성체로부터 그려진 법선을 따라 그리고 실질적으로 정지된 손목(702)에 기반하여 제스처를 식별하는 것에 응답하여, UI 엔진(328, 428)은 식별된 제스처에 응답하여 UI 요소를 생성할 수 있고, 렌더링 엔진들(322, 422)은 손목(702)의 이미지에 오버레이된 UI 요소를 렌더링할 수 있다. 오버레이된 UI 요소를 갖는 가상 환경에서의 손목(702)의 표현은 도 8b에 예시된 구성(706)을 통해 도시된다. 도 8b의 예에서, UI 엔진들(328, 428)은 메뉴(708) 형태의 UI 요소를 생성하고 렌더링 엔진(322, 422)들은 UI 요소를 렌더링한다. 다른 구현들에서, UI 엔진들(328, 428)은 손목이(702)이 적어도 임계 시간 기간 동안 실질적으로 고정된 상태이고 손목(702)으로부터의 법선이 HMD(112)를 향하도록 배치되는 구성(704)에 의해 표시된 제스처를 제스처 검출기들(324, 424)이 식별하는 것에 응답하여 상이한 UI 요소들을 생성할 수 있다.
렌더링 엔진들(322, 422)이 손목(702)의 이미지에 메뉴(708)를 오버레이하는 일부 사례들에서, 제스처 검출기들(324, 424)은 손목(702)의 이미지에 오버레이되어 나타나는 메뉴(708) 부분에서 터치 제스처를 검출할 수 있다. 예를 들어, 사용자(110)는 자신의 다른 손(손(132)이 아님)을 사용하여 메뉴(708)의 일부를 선택하고 손목(702)의 한 지점에 접촉하거나 비접촉 방식으로 가림으로써 자가-햅틱 피드백을 제공할 수 있다. 이러한 예들에서, UI 엔진들(328, 428)은 물리적 환경을 나타내는 이미지 데이터의 접촉 지점 또는 폐색 지점을 인공 현실 콘텐츠(122)의 가상 환경에 도시된 바와 같이 메뉴(708) 상의 지점에 매핑할 수 있다. 메뉴(708) 상의 매핑된 지점의 위치에 기반하여, 인공 현실 시스템들(10, 20)은 사용자(110)로부터 수신된 입력에 응답하여 호출할 특정 사용자-선택가능 옵션을 식별할 수 있다.
예를 들어, 인공 현실 시스템들(10, 20)은 위에서 설명된 입력을 나타내는 선택 제스처를 식별하기 위해 제스처 검출기들(324, 424)을 호출할 수 있다. 제스처 검출기(324, 424)가 선택 제스처를 식별하는 것에 응답하고, 그리고 메뉴(708) 상의 햅틱 입력의 대응하는 좌표들에 기반하여, UI 엔진들(328, 428)은 예를 들어 선택된 옵션 및/또는 선택 입력을 통해 이전에 선택된 옵션의 관점에서 추가 선택가능 옵션들의 세트를 갖는 메뉴(708)의 형태로 업데이트된 UI 요소를 생성할 수 있다. 이러한 방식으로, 인공 현실 시스템들(10, 20)은 메뉴(708)와 같은 UI 요소들을 게이팅하기 위해 사용자(110)가 중단 없이 소정의 시간 기간 동안 자신의 손목을 응시하는 제스처를 활용하여, 사용자(110)에게 인공 현실 콘텐츠(122)에 의해 표현된 가상 환경 내의 선택가능 옵션들을 제공한다.
도 9a-도 9c는 본 개시내용의 일부 양태들에 따라, 인공 현실 시스템들(10, 20)이 UI 요소들을 게이팅할 수 있는 것에 응답하여 파지-및-던지기 제스처를 형성하는 손(132)의 다양한 구성들을 예시한다. 본 개시내용의 다양한 구현들에서, UI 엔진들(328, 428)은 어시스턴트 요소(802)를 생성할 수 있고, 렌더링 엔진들(322, 422)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내에 나타나도록 전자 디스플레이(203)를 통해 어시스턴트 요소(802)를 출력할 수 있다. UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은, 어시스턴트 요소(802)가 가상 환경에서 사용자(110)를 나타내는 아바타 위로 또는 옆으로 호버링하는 것처럼 보일 수 있고, 아바타와 동기하여 가상 환경을 네비게이팅한다는 점에서, 드론을 시뮬레이팅하기 위해 어시스턴트 요소(802)를 출력할 수 있다.
도 9a는 손(132)의 파지 구성(810)을 예시한다. 제스처 검출기들(324, 424)은 어시스턴트 요소(802)에 대응하는 위치에서 파지 구성(810)을 형성하기 위해 손(132)의 2개 이상의 디지트들의 파지 모션을 포함하는 제스처를 식별할 수 있다. 예를 들어, 제스처 검출기들(324, 424)은 어시스턴트 요소(802)의 제1 부분에 대응하는 위치에서 손의 엄지(132)를 결정하고, 엄지 이외의 손(132)의 적어도 하나의 손가락이 어시스턴트 요소(802)의 제2 부분에 대응하는 위치에 있다는 것을 결정하여 손(132)의 파자 모션의 완료를 검출할 수 있다. 예를 들어, 어시스턴트 요소(802)의 제1 부분은 어시스턴트 요소(802)의 제2 부분과 적어도 대략 정반대다. 이러한 방식으로, 제스처 검출기들(324, 424)은 어시스턴트 요소(802)의 가상 위치 주위에 집게(팁-투-팁(tip-to-tip)) 파지, 어시스턴트 요소(802)의 가상 위치 주위에 집기(패드-투-패드(pad-to-pad)) 파지, 충양근 파지(lumbrical grip)(여기서 디지트들 접촉 위치들은 어시스턴트 요소(802)에 대응하지만 이 주위를 둘러싸지 않음), 등을 형성하는 손(132)의 디지트들에 기반하여 파지 구성(810)의 형성을 검출할 수 있다.
제스처 검출기들(324, 424)은 제스처 검출기들(324, 424)이 어시스턴트 요소(802)의 가상 위치에 대응하는 위치에서 파지 구성(810)을 형성하기 위해 손(132)의 파지 모션의 시퀀스를 식별한 다음, 어시스턴트 요소(802)에 관련한 손(132)의 던지기 모션을 식별하는 경우 게이팅 제스처를 검출할 수 있다. 제스처 검출기들(324, 424)은 파지 구성(810)의 해제와, 손(132) 및/또는 손목(702)의 특정 움직임의 조합을 식별함으로써 던지기 동작을 검출할 수 있다. 특정 움직임은 파지 구성(810)의 해제를 수반하거나, 따르거나, 부분적으로 오버랩할 수 있다.
도 9b는 손(132)의 디지트들의 하나 이상의 외향 플릭킹 모션을 통해 제스처 검출기들(324, 424)의 던지기 모션을 예시한다. 도 9b의 던지기 구성(820)에 따르면, 제스처 검출기들(324, 424)은, 파지 구성(810)을 형성한 엄지 및 다른 손가락들이 어시스턴트 요소(802)의 가상 위치에 대응하는 2개의 위치들(예를 들어, 실질적으로 정반대되는 위치들)에 더 이상 있지 않다고 제스처 검출기들(324, 424)이 결정한다는 점에서 파지 모션(810)의 해제를 검출한다. 도 9b의 예에서, 제스처 검출기들(324, 424)은 외향 플릭킹 모션(804)에 기반하여 후속 던지기 모션을 식별한다.
제스처 검출기들(324, 424)은 파지 구성(810)을 형성한 엄지 및 다른 손가락(들)의 지골들을 곧게 펴는 것에 기반하여 외향 플릭킹 모션(804)을 검출할 수 있고, 여기서 곧게 폄은 가상 환경에서 손가락-기반 던지기를 시뮬레이팅하기 위해 최소 속도를 충족한다. 어시스턴트 요소(802)와 같은 UI 요소에 관련한 던지기 모션을 시뮬레이팅하기 위해, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 어시스턴트 요소(802)를 시뮬레이팅하는 움직임과 같은 손(132)으로부터 멀어지는 어시스턴트 요소(802)의 움직임을 나타내도록 인공 현실 콘텐츠(122)를 업데이트할 수 있다.
도 9c는 손목(702)의 구부리기를 통해 제스처 검출기들(324, 424)의 던지기 모션을 예시한다. 도 9c의 던지기 구성(830)에 따르면, 제스처 검출기들(324, 424)은, 파지 구성(810)을 형성한 엄지 및 다른 손가락들이 어시스턴트 요소(802)의 가상 위치에 대응하는 2개의 위치들(예를 들어, 실질적으로 정반대되는 위치들)에 더 이상 있지 않다고 제스처 검출기들(324, 424)이 결정한다는 점에서 파지 모션(810)의 해제를 검출한다. 도 9c의 예에서, 제스처 검출기들(324, 424)은 손목 구부리기(806)에 기반하여 후속 던지기 모션을 식별한다.
제스처 검출기들(324, 424)은, 손목(702)의 굽힘이 어시스턴트 요소(802)의 손목-기반 토스를 시뮬레이팅하기 위해 최소 속도를 충족하는 경우, 파지 구성(810)의 해제와 함께 또는 실질적으로 동시에 손목(702)의 굽힘에 기반하여 구부리기(806)를 검출할 수 있다. 도 9c가 구부리기(806)를 수행하기 위한 손목(702)의 굽힘 움직임에 기반한 던지기 구성(830)을 예시하지만, 다른 사용 사례 시나리오들에서, 제스처 검출기들(324, 424)이 손목(802)의 곧게 펴는 움직임에 기반하여 던지기 굴곡을 검출할 수 있다는 것이 인식될 것이다. 어시스턴트 요소(802)와 같은 UI 요소에 관련한 던지기 모션을 시뮬레이팅하기 위해, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 손(132)에서 멀어지는 어시스턴트 요소(802)의 외전 움직임을 나타내도록 인공 현실 콘텐츠(122)를 업데이트할 수 있다.
다양한 예들에서, 제스처 검출기들(324, 424)이 파지 구성(810)을 형성하기 위한 파지 모션 다음, 던지기 모션들(820, 830) 중 하나 또는 둘 모두를 포함하는 게이팅 제스처를 식별하는 것에 응답하여, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 UI를 게이팅한다. 일부 예들에서, UI 요소는 사용자-선택가능 옵션들의 적어도 하나의 메뉴를 포함한다. 즉, UI 엔진들(328, 428)은 제스처의 식별에 응답하여 UI 요소를 생성할 수 있고, 렌더링 엔진들(322, 422)은 인공 현실 콘텐츠(122)의 적어도 일부에 대한 오버레이로서 UI 요소를 렌더링할 수 있다.
일부 사용 사례 시나리오들에서, 제스처 검출기들(324, 424)은 UI 요소를 인공 현실 콘텐츠(122)에 대한 오버레이로 렌더링한 후, 어시스턴트 요소에 관련한 길게 누르기 제스처를 식별한다. 예를 들어, 제스처 검출기들(324, 424)은 어시스턴트 요소(802)의 가상 위치에 대응하는 위치에서 손(132)의 디지트들 중 하나의 배치를 검출할 수 있고, 이러한 하나 이상의 디지트들의 배치는 적어도 임계 시간 기간 동안 제자리에 남아있는다. 즉, 제스처 검출기들(324, 424)은 손(132)의 디지트들 중 적어도 하나가 인공 현실 콘텐츠의 어시스턴트 요소에 대응하는 위치에 배치되고 적어도 임계 시간 기간 동안 실질적으로 정지 상태인 것을 식별함으로써 길게 누르기를 제스처를 식별할 수 있다.
제스처 검출기들(324, 424)은 렌더링 엔진들(322, 422)이 UI 요소를 인공 현실 콘텐츠(122)에 대한 오버레이로 렌더링한 후에 발생하는 길게 누르기 제스처를 식별할 수 있다. 이러한 예들에서, 렌더링 엔진들(322, 422)은 제스처 검출기(324, 424)가 어시스턴트 요소(802)의 가상 위치에 대응하는 위치에서 길게 누르기 제스처를 식별하는 것에 응답하여 인공 현실 콘텐츠로부터 UI 요소의 오버레이를 제거할 수 있다. 이러한 방식으로, 인공 현실 시스템들(10, 20)은 후속 길게 누르기 제스처의 형태로 사용자(110)로부터 수신된 입력에 기반하여 UI 요소(예를 들어, 메뉴)를 디게이팅할 수 있다.
도 10a 및 도 10b는 제스처 검출기들(324, 424)이 반대쪽 팔(934)의 미리 정의된 영역들로부터 발생하는 파지(또는 "홀딩" 또는 "파지하는") 제스처에 일반적으로 대응하는 제스처들을 검출하는 데 사용할 수 있는 손(132) 및 반대쪽 팔(934)의 다양한 구성들을 예시한다. 예를 들어, 제스처 검출기들(324, 424)은 제스처가 반대쪽 팔(934)의 반대쪽 손목(902)에서 시작되는 경우 파지-및-당기기 제스처를 검출할 수 있다. 도 9의 예에서, UI 엔진들(328, 428)은 반대쪽 팔(934)에 수동적으로 상주하는 것처럼 보이도록 어시스턴트 요소(802)를 생성하고 렌더링한다. 즉, UI 엔진들(328, 428), 및 렌더링 엔진들(322, 422)은 전자 디스플레이(203)를 통해 디스플레이되는 인공 현실 콘텐츠(122)의 일부로서, 어시스턴트 요소(802)가 반대쪽 팔(934)에 중첩되어 부착된 것처럼 보이도록 어시스턴트 요소(802)를 출력할 수 있다. 예를 들어, UI 엔진들(328, 428), 및 렌더링 엔진들(322, 422)은 반대쪽 손목(902)에 중첩되어 부착된 것처럼 보이도록 어시스턴트 요소(802)를 출력할 수 있다.
제스처 검출기들(324, 424)은 이미지 캡처 디바이스들(138)로부터 수신된 이미지 데이터로부터, 어시스턴트 요소(802)에 관련한 손(132)의 파지 모션을 포함하는 제스처를 식별할 수 있다. 즉, 제스처 검출기들(324, 424)은 도 9a의 파지 구성(810), 또는 다른 유형들의 파지(또는 "파지된" 또는 "홀딩") 구성들을 형성하기 위해 엄지와 하나 이상의 다른 손가락들을 함께 가져오는 손(132)의 디지트들의 움직임을 검출할 수 있다. 가상 환경에서 어시스턴트 요소(802)를 파지하는 것과 관련하여, 파지 모션은 어시스턴트 요소(802)의 제1 부분과 접촉하도록 배치되는 손의 엄지(132), 및 어시스턴트 요소(802)의 제2 부분에 접촉하도록 배치된 손(132)의 적어도 하나의 손가락(엄지 이외)을 포함한다.
예를 들어, 어시스턴트 요소(802)의 제1 부분은 어시스턴트 요소(802)의 제2 부분에 정반대되거나 적어도 대략 정반대일 수 있다. 다시, 팔(134)은 반대쪽 팔(934)과 상이하고, 손(132)은 팔(134)의 일부이다. 팔(134) 및 반대쪽 팔(934)은 인공 현실 콘텐츠(122)로 표현되는 가상 환경에서 사용자(110)의 팔들을 나타낸다. 일 예에서, 팔(134)은 사용자(110)의 주류 팔을 나타내고, 반대쪽 팔(934)은 사용자(110)의 비-주류 팔을 나타낸다.
도 10a의 특정 예에서, 제스처 검출기들(324, 424)은 다른 모션, 즉 파지 구성(810)이 여전히 온전한 상태에서 당기는 모션(908)을 식별하는 것에 기반하여 제스처를 식별한다. 당기기 모션(908)은 반대쪽 손목(902)에서 멀어지는 외전을 나타낸다. 제스처 검출기들(324, 424)은 또한 패닝(panning) 및/또는 수직 움직임 및/또는 손목(702)의 구부리기들에 의해 야기되는 팔(134)의 깊이-기반 병진 움직임 등에 의해 야기되는 손(132)의 무작위 움직임과 같이 파지 구성(810)이 여전히 온전한 동안 추가 움직임들을 식별할 수 있다. 이러한 예들에서, 파지 구성(810)이 어시스턴트 요소(802)의 가상 표현 주위의 손(132)의 2개 이상의 디지트들에 관련하여 온전하게 유지되는 한, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내에서 손(132)의 움직임과 동기하여 어시스턴트 요소(802)를 이동시킬 수 있다.
도 10b는 UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)이 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경 내의 특정 위치에 어시스턴트 요소(802)의 배치에 기반하여 UI 메뉴(912)를 게이트팅하는 시나리오를 예시한다. 도 10b는 파지 구성(810)이 여전히 온전한 동안 손(132)의 당기기 모션(908)의 정지에 응답하여 UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)이 UI 메뉴(912)를 게이트팅하는 예를 예시한다. 다른 예들에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 제스처 검출기들(324, 424)에 의한 파지 구성(810) 해제 등의 결정과 같은 다른 자극에 응답하여 UI 메뉴(912)를 게이팅할 수 있다. UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 제스처 검출기들(324, 424)에 의해 검출된 이러한 제스처들에 응답하여 다양한 유형들의 UI 요소를 게이팅할 수 있다.
UI 메뉴(912)는 사용자-선택가능 옵션들의 메뉴를 나타낸다. UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 가상 환경 내에 나타나도록 인공 현실 콘텐츠(122)에 대한 오버레이로서 UI 메뉴(912)를 출력한다. 이 예에서, 제스처 검출기들(324, 424)은 메뉴 게이팅 제스처를 나타내는 손(132)에 의해 수행된 후속 제스처를 식별할 수 있다. 일부 예들에서, 제스처 검출기들(324, 424)은 UI 메뉴(912)의 수직 축 또는 수직 표면과 대략 평행한 손(132)의 병진 움직임을 포함하는 스크롤링 움직임을 검출할 수 있다. 스크롤링 움직임은 UI 메뉴(912)에 포함된 체크박스가 손(132)(또는 그것의 수평으로-펴진 디지트)과 대략 평행한 UI 요소(912)를 포함하는 스크롤링 제스처를 나타낼 수 있고, UI 엔진들(328, 428)은 "체크된" 형태로 나타나도록 병렬 체크박스를 업데이트할 수 있다.
도 11은 인공 현실 시스템들(10, 20)이 파지-및-당기기 제스처의 식별에 응답하여 호출할 수 있는 UI 요소들 및 반대쪽 손목(902)에서 발생하는 손(132)의 파지-및-당기기 제스처를 예시한다. 이 예들에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 인공 현실 콘텐츠(122)에 의해 표현되는 가상 환경에서 반대쪽 손목(902)의 표현에 대한 오버레이로서 어시스턴트 요소(802)를 출력할 수 있다. 제스처 검출기들(324, 424)은 가상 환경의 보조 요소(802)에 대응하는 위치에서 파지 구성(810)을 형성하기 위해 손(132)의 2개 이상의 디지트들의 파지 모션, 및 파직 구성(810)에 있는 동안 반대쪽 손목(902)로부터 멀리(예를 들어, 일반적으로 수직) 손(132)의 2개 이상의 디지트들의 당기기 모션(918)을 검출하는 것에 응답하여 파지-및-당기기 제스처를 식별할 수 있다.
도 11에 예시된 파지-및-당기기 제스처의 식별에 응답하여, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 원형(방사형) 메뉴(922)와 같은 UI 요소의 렌더링을 게이팅할 수 있다. 일부 예들에서, 당기기 모션(918)이 반대쪽 손목(902)으로부터 미리 정의된 거리 내에서 종료되는 경우, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 원형 메뉴(922)만을 게이팅할 수 있다. 그러나, 당기기 모션(918)이 미리 정의된 거리보다 더 큰 반대쪽 손목(902)으로부터 임의의 거리에서 종료되는 경우, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 또한 입도 메뉴(924)를 게이팅 렌더링함으로써, 사용자-선택가능 옵션들의 관점에서 더 세밀한 입도를 제공할 수 있다. 세분화된 메뉴(924)는 원형 메뉴(922)를 통해 제공된 사용자-선택가능 옵션들의 세트에 포함되지 않은 적어도 하나의 추가 사용자-선택가능 옵션을 포함한다. 그러한 일부 사례들에서, 세분화된 메뉴(924)는 원형 메뉴(922)로부터의 옵션이 선택된 후에 이용가능하게 되는 옵션들을 나타내는 하나 이상의 서브-선택들을 포함할 수 있다. 일부 그러한 예들에서, 당기기 모션(918)은 가상 테더(926)의 형태와 같이 열 또는 라인으로서 인공 현실 콘텐츠에 묘사될 수 있다. 당기기 모션(918)으로 도시된 검출된 동작은 2개의 별개의 부분들, 즉 게이트 원형 메뉴(922)에 대한 미리 정의된 거리 내에서 종료되는 제1 당기기 모션, 및 원형 메뉴(922)에 더하여 세분화된 메뉴(924)에 대한 미리 정의된 거리를 넘어서는 제2 당기기 모션을 포함할 수 있다.
설명된 바와 같이, 파지-및-당기기 제스처를 검출하고, 원형 메뉴(922) 및 일부 예들에서 세분화된 메뉴(924)를 렌더링할 때, 제스처 검출기들(324, 424)은 모션(918)에 일반적으로 수직인 평면에서의 방사상 모션들(즉, 모션(918)에 의해 정의된 축에 관련하여 방사상 모션)을 추가로 검출할 수 있다. 방사상 모션들의 검출에 응답하여, UI 엔진들(328, 428)은 원형 메뉴(922) 및/또는 세분화된 메뉴(924) 내의 UI 요소들을 선택 및 선택 해제하기 위해 어시스턴트 요소(802)의 디스플레이를 렌더링한다.
제스처 검출기들(324, 424)은 또한 손(132)의 엄지와 다른 파지 손가락(들) 사이의 접촉 중단을 식별할 수 있고, 이에 의해 파지 구성(810)의 해제를 검출할 수 있다. 일부 그러한 예들에서, UI 엔진들(328, 428) 및 렌더링 엔진들(322, 422)은 제스처 검출기(324, 424)가 파지 구성(810)의 해제를 식별하는 것에 응답하여 원형 메뉴(922) 및 (게이팅된 경우) 세분화된 메뉴(924)의 오버레이를 제거할 수 있다. 이러한 방식으로, 도 11에 관련하여 설명된 본 개시내용의 기법들은 손 파지의 해제 시 가상 서랍이 "닫히는" 탄성 또는 자기 시뮬레이션이 추가되어, UI 요소들을 호출하는 측면에서 서랍 또는 파일 캐비닛을 시뮬레이팅한다.
본 개시내용에서 설명된 기법들은 적어도 부분적으로 하드웨어, 소프트웨어, 펌웨어 또는 이들의 임의의 조합으로 구현될 수 있다. 예를 들어, 설명된 기법들의 다양한 양태들은 하나 이상의 마이크로프로세서들, DSP들, 주문형 집적 회로(ASIC)들, 현장 프로그래밍가능 게이트 어레이(FPGA)들, 또는 임의의 다른 등가 집적 또는 이산 논리 회로, 및 그러한 구성요소들의 임의의 조합을 포함하는 하나 이상의 프로세서들 내에서 구현될 수 있다. "프로세서" 또는 "프로세싱 회로"라는 용어는 일반적으로, 단독이든 다른 논리 회로와 조합하든 전술한 논리 회로, 고정 기능 회로, 프로그램가능 회로, 또는 임의의 다른 등가 회로 중 임의의 것을 지칭할 수 있다. 하드웨어를 포함하는 제어 유닛은 또한 본 개시내용의 기법들 중 하나 이상을 수행할 수 있다.
이러한 하드웨어, 소프트웨어, 및 펌웨어는 본 개시내용에서 설명된 다양한 동작들 및 기능들을 지원하기 위해 동일한 디바이스 내에서 또는 별도의 디바이스들 내에서 구현될 수 있다. 또한, 설명된 유닛들, 모듈들 또는 구성요소들 중 임의의 것은 개별적이지만 상호운용 가능한 논리 디바이스들로서 함께 또는 별도로 구현될 수 있다. 모듈들 또는 유닛들과 같은 상이한 피처(feature)들의 묘사는 다른 기능적 양태들만을 강조하기 위한 것이고 그러한 모듈들이나 유닛들이 별도의 하드웨어 또는 소프트웨어 구성요소들에 의해 실현되어야 함을 반드시 의미하지는 않는다. 오히려, 하나 이상의 모듈들 또는 유닛들과 연관된 기능은 별도의 하드웨어 또는 소프트웨어 구성요소들에 의해 수행되거나 공통 또는 별도의 하드웨어 또는 소프트웨어 구성요소들 내에 통합될 수 있다.
본 개시내용에서 설명된 기법들은 또한 명령들을 포함하는 컴퓨터-판독가능 저장 매체와 같은 컴퓨터-판독가능 매체에서 구현되거나 인코딩될 수 있다. 컴퓨터-판독 가능 저장 매체에 내장되거나 인코딩된 명령들은 예를 들어 명령들이 실행될 때 프로그램가능 프로세서, 또는 다른 프로세서가 방법을 수행하게 할 수 있다. 컴퓨터 판독 가능 저장 매체는 RAM(Random Access Memory), ROM(Read Only Memory), PROM(Programmable Read Only Memory), EPROM(Erasable Programmable Read Only Memory), EEPROM(Electronically Erasable Programmable Read Only Memory), 플래시 메모리, 하드 디스크, CD-ROM, 플로피 디스크, 카세트, 자기 매체, 광학 매체 또는 다른 컴퓨터 판독가능 매체를 포함할 수 있다.
본원의 다양한 예들에 의해 설명된 바와 같이, 본 개시내용의 기법들은 인공 현실 시스템을 포함하거나 이와 함께 구현될 수 있다. 설명된 바와 같이, 인공 현실은 예를 들어, 가상 현실(VR), 증강 현실(AR), 혼합 현실(MR), 하이브리드 현실, 또는 이들의 일부 조합 및/또는 파생물들을 포함할 수 있는, 사용자에게 제시 전에 일부 방식으로 조정된 현실 형태이다. 인공 현실 콘텐츠는 완전히 생성된 콘텐츠 또는 캡처된 콘텐츠(예를 들어, 현실-세계 사진들)와 결합된 생성된 콘텐츠를 포함할 수 있다. 인공 현실 콘텐츠는 비디오, 오디오, 햅틱 피드백, 또는 이의 일부 조합을 포함할 수 있고, 이들 중 임의의 것은 단일 채널 또는 다중 채널들(이를테면 뷰어에게 3-차원 효과를 생성하는 스테레오 비디오)로 제시될 수 있다. 또한, 일부 실시예들에서, 인공 현실은 예를 들어 인공 현실의 콘텐츠를 생성하는 데 사용되고/되거나 인공 현실에 사용되는(예를 들어, 인공 현실의 활동들을 수행하는) 애플리케이션들, 제품들, 액세서리들, 서비스들, 또는 이들의 일부 조합과 연관될 수 있다. 인공 현실 콘텐츠를 제공하는 인공 현실 시스템은 호스트 컴퓨터 시스템에 연결된 머리-장착 디스플레이(HMD), 독립형 HMD, 모바일 디바이스 또는 컴퓨팅 시스템, 또는 인공 현실 콘텐츠를 하나 이상의 뷰어들에게 제공할 수 있는 임의의 다른 하드웨어 플랫폼을 포함하여 다양한 플랫폼들에서 구현될 수 있다.

Claims (15)

  1. 인공 현실 시스템에 있어서,
    물리적 환경을 나타내는 이미지 데이터를 캡처하도록 구성된 이미지 캡처 디바이스;
    어시스턴트 요소(assistant element)를 포함하는 인공 현실 콘텐츠를 출력하도록 구성된 머리-장착 디스플레이(HMD);
    상기 이미지 데이터로부터:
    상기 어시스턴트 요소에 대응하는 위치에서 파지 구성(gripping configuration)을 형성하기 위해 손의 2개 이상의 디지트(digit)들의 파지 모션, 및
    상기 파지 모션에 후속하여, 상기 어시스턴트 요소에 관한 상기 손의 던지기 모션을 포함하는 제스처를 식별하도록 구성된 제스처 검출기;
    상기 제스처를 식별하는 것에 응답하여 UI 요소를 생성하도록 구성된 사용자 인터페이스(UI) 엔진; 및
    상기 UI 요소를 상기 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이(overlay)로서 렌더링하도록 구성된 렌더링 엔진을 포함하는, 인공 현실 시스템.
  2. 제 1 항에 있어서, 상기 파지 모션은 상기 어시스턴트 요소의 제1 부분에 대응하는 위치에서의 상기 손의 엄지 및 상기 어시스턴트 요소의 제2 부분에 대응하는 위치에서의 상기 엄지 이외의 상기 손의 적어도 하나의 손가락을 포함하고; 선택적으로 상기 어시스턴트 요소의 상기 제1 부분은 상기 어시스턴트 요소의 상기 제2 부분에 적어도 대략적으로 정반대인, 인공 현실 시스템.
  3. 제 1 항 또는 제 2 항에 있어서, 상기 던지기 모션은 상기 파지 구성의 해제와 상기 손의 구부리기의 조합을 포함하는, 인공 현실 시스템.
  4. 제 1 항 또는 제 2 항에 있어서, 상기 던지기 모션은 상기 파지 구성의 해제와 상기 손의 상기 디지트들 중 적어도 하나의 외향 플릭킹 모션(flicking motion)의 조합을 포함하는, 인공 현실 시스템.
  5. 제 1 항 내지 제 4 항 중 어느 한 항에 있어서, 상기 UI 요소는 사용자-선택가능 옵션들의 적어도 하나의 메뉴를 포함하는, 인공 현실 시스템.
  6. 제 1 항 내지 제 5 항 중 어느 한 항에 있어서,
    상기 제스처 검출기는 상기 이미지 데이터로부터, 상기 어시스턴트 요소에 관한 길게 누르기(press-and-hold) 제스처를 식별하고, 상기 길게 누르기 제스처는 상기 UI 요소를 오버레이로 렌더링한 후에 발생하고,
    상기 렌더링 엔진은 상기 길게 누르기 제스처를 식별하는 것에 응답하여 상기 인공 현실 콘텐츠에서 상기 UI 요소의 오버레이를 제거하도록 구성되고; 선택적으로 상기 길게 누르기 제스처를 식별하기 위해, 상기 제스처 검출기는 상기 인공 현실 콘텐츠의 상기 어시스턴트 요소에 대응하고 적어도 임계 시간 기간 동안 실질적으로 고정되어 있는 위치에 배치된 상기 손의 디지트들 중 적어도 하나의 구성을 식별하도록 구성되는, 인공 현실 시스템.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서, 상기 제스처를 식별하기 위해, 상기 제스처 검출기는 상기 제스처를 제스처 라이브러리의 엔트리에 대응하는 것으로 식별하도록 추가로 구성되고; 선택적으로 상기 이미지 캡처 디바이스는 상기 HMD 내에 통합되는, 인공 현실 시스템.
  8. 방법에 있어서,
    머리-장착 디스플레이(HMD)에 의해, 물리적 환경을 나타내는 이미지 데이터를 캡처하는 단계;
    상기 HMD에 의해, 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하는 단계;
    식별하도록 구성된 제스처 검출기에 의해, 상기 이미지 데이터로부터:
    상기 어시스턴트 요소에 대응하는 위치에서 손의 2개 이상의 디지트들을 사용한 파지 모션, 및
    상기 파지 모션에 후속하여, 상기 어시스턴트 요소에 관한 상기 손의 던지기 모션을 포함하는 제스처를 식별하는 단계;
    사용자 인터페이스(UI) 엔진에 의해, 상기 제스처를 식별하는 것에 응답하여 UI 요소를 생성하는 단계; 및
    렌더링 엔진에 의해, 상기 UI 요소를 상기 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로서 렌더링하는 단계를 포함하는, 방법.
  9. 제 8 항에 있어서, 상기 파지 모션은 상기 어시스턴트 요소의 제1 부분과 접촉하는 상기 손의 엄지 및 상기 어시스턴트 요소의 제2 부분과 접촉하는 상기 엄지 이외의 상기 손의 적어도 하나의 손가락을 포함하고; 선택적으로 상기 어시스턴트 요소의 상기 제1 부분은 상기 어시스턴트 요소의 상기 제2 부분에 적어도 대략적으로 정반대인, 방법.
  10. 제 8 항 또는 제 9 항에 있어서, 상기 던지기 모션은 상기 파지 모션의 해제와 상기 손의 구부리기의 조합을 포함하는, 방법.
  11. 제 8 항 또는 제 9 항에 있어서, 상기 던지기 모션은 상기 파지 모션의 해제와 상기 손의 상기 디지트들 중 적어도 하나의 외향 플릭킹 모션의 조합을 포함하는, 방법.
  12. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서, 상기 UI 요소는 사용자-선택가능 옵션들의 적어도 하나의 메뉴를 포함하는, 방법.
  13. 제 8 항 내지 제 12 항 중 어느 한 항에 있어서,
    상기 제스처 검출기에 의해, 상기 이미지 데이터로부터, 상기 어시스턴트 요소에 관한 길게 누르기 제스처를 식별하는 단계로서, 상기 길게 누르기 제스처는 상기 UI 요소를 상기 오버레이로 렌더링한 후에 발생하는, 상기 어시스턴트 요소에 관한 길게 누르기 제스처를 식별하는 단계; 및
    상기 렌더링 엔진에 의해, 상기 길게 누르기 제스처를 식별하는 단계에 응답하여 상기 인공 현실 콘텐츠로부터 상기 UI 요소의 오버레이를 제거하는 단계를 더 포함하고; 선택적으로 상기 길게 누르기 제스처를 식별하는 단계는 상기 제스처 검출기에 의해, 상기 손의 상기 디지트들 중 적어도 하나가 상기 인공 현실 콘텐츠의 상기 어시스턴트 요소에 대응하는 위치에 배치되고 적어도 임계 시간 기간 동안 실질적으로 고정되어 있다는 것을 결정하는 단계를 포함하는, 방법.
  14. 제 8 항 내지 제 13 항 중 어느 한 항에 있어서, 상기 제스처를 식별하는 단계는 상기 제스처 검출기에 의해, 상기 제스처를 제스처 라이브러리의 엔트리에 대응하는 것으로 식별하는 단계를 포함하는, 방법.
  15. 명령들이 인코딩되어 있는 비-일시적 컴퓨터-판독가능 저장 매체에 있어서,
    상기 명령들은, 실행될 때, 인공 현실 시스템의 프로세싱 회로가:
    머리-장착 디스플레이(HMD)로부터, 물리적 환경을 나타내는 이미지 데이터를 수신하게 하고;
    상기 HMD를 통해, 어시스턴트 요소를 포함하는 인공 현실 콘텐츠를 출력하게 하고;
    상기 이미지 데이터로부터:
    상기 어시스턴트 요소에 대응하는 위치에서 손의 2개 이상의 디지트들을 사용한 파지 모션, 및
    상기 파지 모션에 후속하여, 상기 어시스턴트에 관련한 상기 손의 던지기 모션을 포함하는 제스처를 식별하게 하고;
    상기 제스처를 식별하는 것에 응답하여 사용자 인터페이스(UI) 요소를 생성하게 하고;
    상기 UI 요소를 상기 인공 현실 콘텐츠의 적어도 일부에 대한 오버레이로 렌더링하게 하는, 비-일시적 컴퓨터-판독가능 저장 매체.
KR1020227000359A 2019-06-07 2020-05-29 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들 KR20220018561A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/435,094 2019-06-07
US16/435,094 US10921879B2 (en) 2019-06-07 2019-06-07 Artificial reality systems with personal assistant element for gating user interface elements
PCT/US2020/035278 WO2020247270A1 (en) 2019-06-07 2020-05-29 Artificial reality systems with personal assistant element for gating user interface elements

Publications (1)

Publication Number Publication Date
KR20220018561A true KR20220018561A (ko) 2022-02-15

Family

ID=72193561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227000359A KR20220018561A (ko) 2019-06-07 2020-05-29 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들

Country Status (7)

Country Link
US (1) US10921879B2 (ko)
EP (1) EP3980872A1 (ko)
JP (1) JP2022535182A (ko)
KR (1) KR20220018561A (ko)
CN (1) CN113841110A (ko)
TW (1) TW202105129A (ko)
WO (1) WO2020247270A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117649A1 (ko) * 2022-12-01 2024-06-06 삼성전자주식회사 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6739847B2 (ja) * 2018-09-12 2020-08-12 株式会社アルファコード 画像表示制御装置および画像表示制御用プログラム
US11043192B2 (en) * 2019-06-07 2021-06-22 Facebook Technologies, Llc Corner-identifiying gesture-driven user interface element gating for artificial reality systems
JP2021002288A (ja) * 2019-06-24 2021-01-07 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、コンテンツ処理システム、および画像処理方法
US20220100265A1 (en) * 2020-09-30 2022-03-31 Qualcomm Incorporated Dynamic configuration of user interface layouts and inputs for extended reality systems
CN113282166A (zh) * 2021-05-08 2021-08-20 青岛小鸟看看科技有限公司 头戴式显示设备的交互方法、装置及头戴式显示设备
US11874969B2 (en) 2021-09-15 2024-01-16 Htc Corporation Method for determining two-handed gesture, host, and computer readable medium
CN115862144B (zh) * 2022-12-23 2023-06-23 杭州晨安科技股份有限公司 一种摄像机手势识别方法

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
US20130050069A1 (en) 2011-08-23 2013-02-28 Sony Corporation, A Japanese Corporation Method and system for use in providing three dimensional user interface
WO2015052588A2 (en) * 2013-10-10 2015-04-16 Itay Katz Systems, devices, and methods for touch-free typing
US10156908B2 (en) * 2015-04-15 2018-12-18 Sony Interactive Entertainment Inc. Pinch and hold gesture navigation on a head-mounted display
JP6534292B2 (ja) * 2015-04-24 2019-06-26 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ ヘッドマウントディスプレイ、及び、ヘッドマウントディスプレイの制御方法
JP6304145B2 (ja) * 2015-06-30 2018-04-04 京セラドキュメントソリューションズ株式会社 情報処理装置、画像形成装置の設定条件指定方法
JP6848881B2 (ja) * 2015-12-16 2021-03-24 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
US10261595B1 (en) 2017-05-19 2019-04-16 Facebook Technologies, Llc High resolution tracking and response to hand gestures through three dimensions
US10445935B2 (en) * 2017-05-26 2019-10-15 Microsoft Technology Licensing, Llc Using tracking to simulate direct tablet interaction in mixed reality
KR102628102B1 (ko) * 2019-08-16 2024-01-23 엘지전자 주식회사 Xr 디바이스 및 그 제어 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024117649A1 (ko) * 2022-12-01 2024-06-06 삼성전자주식회사 외부 객체에 대한 그립 형태에 기반하여 미디어 콘텐트를 표시하기 위한 웨어러블 장치 및 그 방법

Also Published As

Publication number Publication date
WO2020247270A1 (en) 2020-12-10
TW202105129A (zh) 2021-02-01
CN113841110A (zh) 2021-12-24
JP2022535182A (ja) 2022-08-05
US20200387213A1 (en) 2020-12-10
EP3980872A1 (en) 2022-04-13
US10921879B2 (en) 2021-02-16

Similar Documents

Publication Publication Date Title
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
KR20220012990A (ko) 인공 현실 시스템들을 위한 팔 응시-구동 사용자 인터페이스 요소 게이팅
US10890983B2 (en) Artificial reality system having a sliding menu
CN113826058B (zh) 具有自触觉虚拟键盘的人工现实***
KR20220018561A (ko) 사용자 인터페이스 요소들을 게이팅하기 위한 개인 어시스턴트 요소를 갖는 인공 현실 시스템들
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
TW202105133A (zh) 在人工實境環境中使用周邊裝置的虛擬使用者介面
KR20220018562A (ko) 인공 현실 시스템을 위한 모서리-식별 제스처-구동 사용자 인터페이스 요소 게이팅
TW202046085A (zh) 基於捏合和拉放手勢偵測人工實境系統中的輸入
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
KR20220016984A (ko) 디지트-매핑된 자가-햅틱 입력 방법을 갖는 인공 현실 시스템
US10990240B1 (en) Artificial reality system having movable application content items in containers