JP2022535316A - Artificial reality system with sliding menu - Google Patents

Artificial reality system with sliding menu Download PDF

Info

Publication number
JP2022535316A
JP2022535316A JP2021555497A JP2021555497A JP2022535316A JP 2022535316 A JP2022535316 A JP 2022535316A JP 2021555497 A JP2021555497 A JP 2021555497A JP 2021555497 A JP2021555497 A JP 2021555497A JP 2022535316 A JP2022535316 A JP 2022535316A
Authority
JP
Japan
Prior art keywords
menu
hand
artificial reality
gesture
reality system
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021555497A
Other languages
Japanese (ja)
Inventor
ジョナサン ラヴァス，
ジャスパー スティーブンス，
アダム ティボル ヴァルガ，
エティエンヌ ピンチョン，
サイモン チャールズ ティックナー，
ジェニファー リン スパーロック，
カイル エリック ソルジ－トゥーメイ，
ロバート エリス，
バレット フォックス，
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Meta Platforms Technologies LLC
Original Assignee
Meta Platforms Technologies LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Meta Platforms Technologies LLC filed Critical Meta Platforms Technologies LLC
Publication of JP2022535316A publication Critical patent/JP2022535316A/en
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

人工現実環境内でユーザインタフェース要素を描画、提示、および制御し、検出されたユーザの１つまたは複数のジェスチャに応答して動作を実行する、人工現実システムについて説明されている。人工現実システムは、片手で起動および相互作用され得るメニューを含むことができる。人工現実システムは、片手で実行されたメニュー起動ジェスチャの検出に応答して、メニューを描画することができる。手のメニュースライドジェスチャ（たとえば、水平方向の動き）を使用して、ＵＩメニューの水平方向の位置を一定に保ちながら、スライド可能に係合可能なユーザインタフェース（ＵＩ）要素を、メニューの水平方向の広がりに沿って移動させることができる。メニュースライドジェスチャに直交する手の動き（たとえば、水平方向でない動き）により、メニューの位置を変更することができる。人工現実システムの実施態様では、人工現実システムと相互作用するために、両手の使用または他の入力デバイスの使用が、実際に必要となる。【選択図】図７ＡAn artificial reality system is described that renders, presents, and controls user interface elements within an artificial reality environment and performs actions in response to one or more detected user gestures. Artificial reality systems can include menus that can be activated and interacted with with one hand. The artificial reality system can render a menu in response to detecting a menu activation gesture performed with one hand. A menu slide gesture (e.g., horizontal movement) of the hand is used to move a slidably engageable user interface (UI) element horizontally in the menu while maintaining a constant horizontal position in the UI menu. can be moved along the spread of A hand movement orthogonal to the menu slide gesture (eg, non-horizontal movement) can change the position of the menu. Implementations of the artificial reality system actually require the use of both hands or other input devices to interact with the artificial reality system. [Selection drawing] Fig. 7A

Description

関連出願の相互参照
この出願は、２０１９年６月７日に出願された米国特許出願第１６／４３４，９１９号の優先権を主張し、その内容は、あらゆる目的のためにその全体が参照により本明細書に組み入れられる。 CROSS-REFERENCE TO RELATED APPLICATIONS This application claims priority to U.S. patent application Ser. incorporated herein.

この開示は、一般的に、仮想現実、複合現実、および／または拡張現実システムなどの人工現実システムに関し、より具体的には、人工現実システムのユーザインタフェースに関する。 TECHNICAL FIELD This disclosure relates generally to artificial reality systems such as virtual reality, mixed reality, and/or augmented reality systems, and more specifically to user interfaces for artificial reality systems.

人工現実システムは、コンピュータゲーム、健康および安全、産業、ならびに教育など多くの分野での用途により、ますます遍在するようになっている。いくつかの例として、人工現実システムは、携帯デバイス、ゲーム機、パーソナルコンピューター、映画館、およびテーマパークに組み込まれている。一般に、人工現実は、ユーザに提示する前に何らかのやり方で調整された現実の形式であり、たとえば、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生的なものが含まれ得る。 Artificial reality systems are becoming increasingly ubiquitous with applications in many areas such as computer games, health and safety, industry, and education. As a few examples, artificial reality systems have been integrated into mobile devices, game consoles, personal computers, movie theaters, and theme parks. In general, artificial reality is a form of reality that is conditioned in some way before being presented to the user, e.g., virtual reality (VR), augmented reality (AR), mixed reality (MR) reality), hybrid reality, or any combination and/or derivative thereof.

典型的な人工現実システムは、ユーザに対してコンテンツを描画および表示する、１つまたは複数のデバイスを備える。一例として、人工現実システムは、ユーザが着用し、人工現実コンテンツをユーザに出力するよう構成された、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を組み込むことができる。人工現実コンテンツには、全面的に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、実世界のビデオおよび／または画像）と組み合わせて生成されたコンテンツが含まれ得る。動作中、ユーザは通常、人工現実システムと相互作用して、コンテンツを選択し、アプリケーションを起動するか、またはその他の方法でシステムを設定する。 A typical artificial reality system comprises one or more devices that render and display content to a user. As an example, an artificial reality system may incorporate a head-mounted display (HMD) that is worn by a user and configured to output artificial reality content to the user. Artificial reality content may include content that is entirely generated or content that is generated in combination with captured content (eg, real-world videos and/or images). In operation, users typically interact with the artificial reality system to select content, launch applications, or otherwise configure the system.

この開示は、一般的に、人工現実システムについて説明し、より具体的には、グラフィカルユーザインタフェース要素、ならびに人工現実環境内でユーザインタフェース要素を提示および制御する技法について説明する。 This disclosure generally describes an artificial reality system, and more specifically describes graphical user interface elements and techniques for presenting and controlling user interface elements within an artificial reality environment.

たとえば、ユーザの手、手指（ｆｉｎｇｅｒ）、親指、もしくは腕、または事前定義されたジェスチャの組合せの、特定の動き、配置、位置、および／または向きなど、ユーザによる１つまたは複数の事前定義されたジェスチャの検出に応答して、グラフィカルユーザインタフェース要素を生成および描画し、ユーザに対して表示する、人工現実システムについて説明されている。いくつかの例では、人工現実システムはさらに、特定のジェスチャと、リアルタイムでのユーザの凝視追跡によって、またはユーザが着用しているＨＭＤのポーズに関連して判断され得る、物理的環境でのユーザの現在の視野に対する、特定のジェスチャの位置および向きなど、他の条件との組合せの検出に応答して、グラフィカルユーザインタフェース要素の生成および描画をトリガすることができる。 For example, one or more predefined gestures by the user, such as particular movements, placements, positions, and/or orientations of the user's hand, finger, thumb, or arm, or combinations of predefined gestures. An artificial reality system is described that generates, renders, and displays graphical user interface elements to a user in response to detecting gestures. In some examples, the artificial reality system also provides a visual representation of the user in the physical environment, which can be determined by specific gestures and gaze tracking of the user in real-time or in relation to the pose of the HMD the user is wearing. Generation and rendering of graphical user interface elements can be triggered in response to detection of a combination of other conditions, such as the position and orientation of a particular gesture relative to the current field of view of the .

いくつかの例では、人工現実システムは、人工現実システムのディスプレイ内に現在描画されている人工現実コンテンツに対して、重畳する要素であるグラフィカルユーザインタフェース要素を生成および提示することができる。グラフィカルユーザインタフェース要素は、たとえば、ユーザが人工現実システムを動作させるために相互作用するメニューもしくはサブメニューなどのグラフィカルユーザインタフェース、またはトグル要素、ドロップダウン要素、メニュー選択要素、２次元もしくは３次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザが選択可能かつ操作可能な個々のグラフィカルユーザインタフェース要素であり得る。 In some examples, the artificial reality system can generate and present graphical user interface elements that are overlaying elements to the artificial reality content currently rendered in the display of the artificial reality system. A graphical user interface element may be, for example, a graphical user interface such as a menu or submenus that a user interacts with to operate an artificial reality system, or a toggle element, a dropdown element, a menu selection element, a 2D or 3D shape, It can be an individual user selectable and operable graphical user interface element, such as a graphical input key or keyboard, a content display window, or the like.

一部のＨＭＤの技術的な問題は、人工現実システムの態様と相互作用するために、たとえば、メニュー内に選択用のユーザインタフェース要素を置くために使用できる、入力デバイスがないことである。一部のシステムでは、人工現実システムは、ユーザの両手を使用した、ユーザのメニューまたはアイコンとの相互作用を実現することができる。しかし、この種の相互作用の技術的な問題は、一方の手がもう一方の手を隠してしまう可能性があり、これにより人工現実システムが、ユーザの意図を正確に判断するのが困難になることである。さらに、一部のユーザは、人工現実システムと相互作用するのに両手を使用することを妨げ得る、障害を持っている場合がある。前述の技術的問題に対する技術的解決策として、いくつかの態様は、片手で起動および相互作用することができるメニューを有している。人工現実システムは、片手で実行されたメニュー起動ジェスチャの検出に応答して、メニューを描画することができる。手のメニュースライドジェスチャ（たとえば、水平方向の動き）を使用して、メニューの水平位置を一定に保ちながら、スライド可能に係合可能なユーザインタフェース（ＵＩ：ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）要素を、メニューの水平方向の広がりに沿って移動させることができる。いくつかの態様では、メニュースライドジェスチャに実質的に直交する手の動き（たとえば、水平方向でない動き）により、メニューの位置を変更することができる。人工現実システムの実施形態は、人工現実システムと相互作用するために、両手の使用も他の入力デバイスの使用も必要とせず、したがって、従来の人工現実の実施態様に対するこの技術的改善は、使いやすさを提供すること、障害を持っている人に、システムと相互作用するための片手の使用に関係する機能、およびメニューまたは他のユーザインタフェース要素とのユーザの相互作用を正確に判断する機能を提供することなど、１つまたは複数の実用的なアプリケーションを提供することができる。 A technical problem with some HMDs is the lack of input devices that can be used to interact with aspects of the artificial reality system, for example, to place user interface elements for selection in menus. In some systems, the artificial reality system can enable interaction with the user's menus or icons using the user's two hands. However, the technical problem with this kind of interaction is that one hand can hide the other, making it difficult for artificial reality systems to accurately determine the user's intentions. It is to become. Additionally, some users may have disabilities that may prevent them from using both hands to interact with the artificial reality system. As a technical solution to the above technical problem, some embodiments have menus that can be activated and interacted with with one hand. The artificial reality system can render a menu in response to detecting a menu activation gesture performed with one hand. A menu slide gesture (e.g., horizontal movement) of the hand is used to move a slidably engageable user interface (UI) element into the horizontal direction of the menu while maintaining a constant horizontal position of the menu. can be moved along the spread of In some aspects, a hand movement (eg, non-horizontal movement) that is substantially orthogonal to the menu slide gesture can change the position of the menu. Embodiments of the artificial reality system do not require the use of both hands or other input devices to interact with the artificial reality system, thus this technical improvement over conventional artificial reality implementations is easy to use. Providing ease of use, features related to using one hand to interact with the system for people with disabilities, and the ability to accurately determine user interaction with menus or other user interface elements can provide one or more practical applications, such as providing a

１つまたは複数の例示的な態様では、人工現実システムは、画像データを取り込むよう構成される画像取込みデバイス、人工現実コンテンツを出力するよう構成されるヘッドマウントデバイス（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｅｖｉｃｅ）、画像データから、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別するよう構成されるジェスチャ検出器、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成するよう構成されるＵＩエンジン、ならびにＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画するよう構成される描画エンジンを備える。 In one or more exemplary aspects, an artificial reality system includes an image capture device configured to capture image data, a head mounted device (HMD) configured to output artificial reality content, an image a gesture detector configured to identify, from the data, a menu-activated gesture including a hand placement in which the hand is pointing substantially upwards and a pinched placement of the thumb and fingers of the hand; A UI engine configured to generate a menu interface and a slidably engageable UI element in a first position relative to the menu interface, and artificial reality content for display on an HMD, the menu interface, and A rendering engine configured to render slidably engageable UI elements.

１つまたは複数のさらなる例示的な態様では、方法は、ヘッドマウントデバイス（ＨＭＤ）を含む人工現実システムによって、画像取込みデバイスを介して画像データを取得すること、人工現実システムによって、画像データから、メニュー起動ジェスチャを識別することであって、メニュー起動ジェスチャが、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別すること、人工現実システムによって、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成すること、ならびに人工現実システムによって、ＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画することを含む。 In one or more further exemplary aspects, a method comprises: acquiring image data via an image capture device by an artificial reality system including a head-mounted device (HMD); from the image data by the artificial reality system; identifying a menu-activating gesture, the menu-activating gesture including a hand placement with the hand pointing substantially upward and a pinching placement of the thumb and fingers of the hand; generating, by the reality system, a menu interface and a slidably engageable UI element in a first position relative to the menu interface in response to the menu activation gesture; Including rendering artificial reality content for display, menu interfaces, and slidably engageable UI elements.

１つまたは複数の追加の例示的な態様では、非一時的なコンピュータ可読媒体は、実行されると、人工現実システムの１つまたは複数のプロセッサに、画像取込みデバイスを介して画像データを取り込ませ、画像データから、手の配置を含むメニュー起動ジェスチャを識別させ、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成させ、メニュー起動ジェスチャに続く、手の動きと組み合わせた手の配置を含む、メニュースライドジェスチャを識別させ、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させ、かつヘッドマウントデバイス（ＨＭＤ）で表示するための、人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画させる命令を含む。 In one or more additional exemplary aspects, a non-transitory computer-readable medium, when executed, causes one or more processors of an artificial reality system to capture image data via an image capture device. , identifying from the image data a menu activation gesture including hand placement, and responsive to the menu activation gesture, a menu interface and a slidably engageable UI element at a first position relative to the menu interface. to identify menu slide gestures, including hand placement in combination with hand movements following menu activation gestures; to a second position relative to and render artificial reality content, a menu interface, and slidably engageable UI elements for display on a head-mounted device (HMD).

一例では、画像データを取り込むよう構成される画像取込みデバイス、人工現実コンテンツを出力するよう構成されるヘッドマウントディスプレイ（ＨＭＤ）、画像データから、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別するよう構成されるジェスチャ検出器、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成するよう構成されるユーザインタフェース（ＵＩ）エンジン、ならびにＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画するよう構成される描画エンジンを備える、人工現実システムが提供される。 In one example, an image capture device configured to capture image data; a head-mounted display (HMD) configured to output artificial reality content; a gesture detector configured to identify a menu-activated gesture, comprising: a pinched placement of the thumb and fingers of a human body; a menu interface in response to the menu-activated gesture; and a slide in a first position relative to the menu interface. A user interface (UI) engine configured to generate engagable UI elements, and to render artificial reality content, menu interfaces, and slidably engagable UI elements for display on an HMD An artificial reality system is provided comprising a rendering engine configured.

いくつかの実施形態では、メニューインタフェースは、好ましくは、メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、ＵＩエンジンは、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置に応じて、メニューアイテムのうちの１つを強調表示するよう構成される。 In some embodiments, the menu interface preferably has one or more menu items arranged along the extent of the menu interface, and the UI engine generates a slidably engageable UI for the menu interface. It is arranged to highlight one of the menu items depending on the position of the element.

いくつかの実施形態では、１つまたは複数のメニューアイテムは、好ましくは、人工現実システム上で実行されるそれぞれのアプリケーションに対応する。 In some embodiments, one or more menu items preferably correspond to respective applications running on the artificial reality system.

いくつかの実施形態では、ジェスチャ検出器はさらに、好ましくは、画像データから、手の動きと組み合わせた手の配置を含むメニュースライドジェスチャを識別するよう構成され、ＵＩエンジンはさらに、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させるよう構成される。 In some embodiments, the gesture detector is further preferably configured to identify, from the image data, a menu slide gesture including hand placement in combination with hand movement, and the UI engine is further configured to identify the menu slide gesture. In response, the slidably engagable UI element is configured to move to a second position relative to the menu interface.

いくつかの実施形態では、メニューインタフェースは、好ましくは、メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させるために、ＵＩエンジンは、スライド可能に係合可能なＵＩ要素を、メニューインタフェースの広がりに沿って、メニューインタフェースに対する第２の位置へスライドさせるよう構成される。 In some embodiments, the menu interface preferably has one or more menu items arranged along the extent of the menu interface, with slidably engageable UI elements positioned relative to the menu interface. The UI engine is configured to slide the slidably engageable UI element to the second position relative to the menu interface along the extent of the menu interface.

いくつかの実施形態では、メニュースライドジェスチャは、好ましくは、実質的に第１の方向への手の動きを含み、ジェスチャ検出器は、画像データから、メニュー起動ジェスチャに続く、実質的に第２の方向への手の動きを識別するように構成され、実質的に第２の方向は、実質的に第１の方向に実質的に直交しており、ＵＩエンジンはさらに、実質的に第２の方向への手の動きに応答して、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置を維持しながら、スライド可能に係合可能なＵＩ要素およびメニューインタフェースを移動させるよう構成される。 In some embodiments, the menu slide gesture preferably includes hand movement in substantially a first direction, and the gesture detector detects from the image data substantially a second direction following the menu activation gesture. wherein the substantially second direction is substantially orthogonal to the first direction, and the UI engine is further configured to identify hand motion in a direction configured to move the slidably engagable UI element and the menu interface while maintaining the position of the slidably engagable UI element relative to the menu interface in response to movement of the hand in the direction of .

いくつかの実施形態では、人工現実システムは、好ましくは、１つまたは複数の人工現実アプリケーションを実行するためのアプリケーションエンジンをさらに備え、ジェスチャ検出器は、画像データから、メニュースライドジェスチャに続く選択ジェスチャを識別するよう構成され、アプリケーションエンジンは、選択ジェスチャに応答して動作を実行するよう構成される。 In some embodiments, the artificial reality system preferably further comprises an application engine for executing one or more artificial reality applications, wherein the gesture detector detects from the image data a menu slide gesture followed by a selection gesture. and the application engine is configured to perform an action in response to the selection gesture.

いくつかの実施形態では、選択ジェスチャは、好ましくは、（１）手の別の手指を動かすこと、（２）メニューインタフェースに実質的に垂直な方向へ手を移動させること、または（３）手の親指および手指がもはや挟持配置でなくなるように再配置することのうちの１つを含む。 In some embodiments, the selection gesture is preferably (1) moving another finger of the hand, (2) moving the hand in a direction substantially perpendicular to the menu interface, or (3) moving the hand repositioning the thumb and fingers of the patient so that they are no longer in a pinching position.

いくつかの実施形態では、ジェスチャ検出器はさらに、好ましくは、画像データから、メニュー起動ジェスチャの前にメニュープロンプトジェスチャを識別するよう構成され、ＵＩエンジンはさらに、メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成するよう構成される。 In some embodiments, the gesture detector is further preferably configured to identify, from the image data, a menu prompt gesture prior to the menu activation gesture, and the UI engine is further configured, in response to the menu prompt gesture, to identify the menu prompt gesture. Configured to generate prompt elements.

いくつかの実施形態では、メニュープロンプトジェスチャは、好ましくは、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された手を含み、ＵＩエンジンは、仮想の手の親指と手指との間隔にメニュープロンプト要素を生成する。 In some embodiments, the menu prompt gesture preferably includes a hand placed in a substantially upward position with space between the thumb and fingers, and the UI engine uses the virtual hand generates a menu prompt element between the thumb and finger of the .

いくつかの実施形態では、メニュープロンプト要素は、好ましくは、仮想の手の親指と手指との間の線を含む。 In some embodiments, the menu prompt element preferably includes a line between the thumb and fingers of the virtual hand.

いくつかの実施形態では、画像取込みデバイスは、好ましくは、ＨＭＤと統合される。 In some embodiments, the image capture device is preferably integrated with the HMD.

いくつかの例では、ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムによって、画像取込みデバイスを介して画像データを取得すること、人工現実システムによって、画像データから、メニュー起動ジェスチャを識別することであって、メニュー起動ジェスチャが、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別すること、人工現実システムによって、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成すること、ならびに人工現実システムによって、ＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画することを含む方法が提供される。 Some examples include acquiring image data via an image capture device by an artificial reality system that includes a head-mounted display (HMD), and identifying a menu activation gesture from the image data by the artificial reality system. identifying a menu-activated gesture, wherein the menu-activated gesture includes a hand placement with the hand pointing substantially upward and a pinched placement of the thumb and fingers of the hand; responding to the menu-activated gesture by an artificial reality system; to generate a menu interface and a slidably engageable UI element in a first position with respect to the menu interface; A method is provided that includes rendering an interface and slidably engageable UI elements.

いくつかの実施形態では、メニューインタフェースは、好ましくは、メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、この方法は、人工現実システムによって、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置に応じて、メニューアイテムのうちの１つを強調表示することをさらに含む。 In some embodiments, the menu interface preferably has one or more menu items arranged along the extent of the menu interface, and the method is rendered slidable relative to the menu interface by the artificial reality system. Further including highlighting one of the menu items according to the position of the engagable UI element.

いくつかの実施形態では、この方法は、好ましくは、人工現実システムによって、画像データから手の動きと組み合わせた手の配置を含むメニュースライドジェスチャを識別することと、人工現実システムによって、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させることとをさらに含む。 In some embodiments, the method preferably comprises identifying a menu slide gesture including hand placement combined with hand movement from image data by an artificial reality system; responsive to moving the slidably engagable UI element to a second position relative to the menu interface.

いくつかの実施形態では、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させることが、好ましくは、スライド可能に係合可能なＵＩ要素を、メニューインタフェースの広がりに沿ってメニューインタフェースに対する第２の位置へスライドさせることを含む。 In some embodiments, moving the slidably engagable UI element to a second position relative to the menu interface preferably moves the slidably engagable UI element to the position of the menu interface. Sliding along the spread to a second position relative to the menu interface.

いくつかの実施形態では、メニュースライドジェスチャは、好ましくは、実質的に第１の方向への手の動きを含み、この方法は、人工現実システムによって、画像データから、メニュー起動ジェスチャに続く、実質的に第２の方向への手の動きを識別することであって、実質的に第２の方向は、実質的に第１の方向に実質的に直交している、第２の方向への手の動きを識別することと、人工現実システムによって、実質的に第２の方向への手の動きに応答して、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置を維持しながら、スライド可能に係合可能なＵＩ要素およびメニューインタフェースを移動させることとをさらに含む。 In some embodiments, the menu slide gesture preferably includes a hand movement substantially in the first direction, and the method is performed by the artificial reality system from the image data following the menu activation gesture, substantially identifying movement of the hand substantially in a second direction, wherein the second direction is substantially orthogonal to the first direction; identifying the hand movement and maintaining the position of the slidably engagable UI element with respect to the menu interface by the artificial reality system in response to the hand movement substantially in the second direction; Further including moving the slidably engagable UI element and menu interface.

いくつかの実施形態では、この方法は、好ましくは、人工現実システムによって、画像データからメニュープロンプトジェスチャを識別することと、人工現実システムによって、メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成することとをさらに含む。 In some embodiments, the method preferably comprises identifying, by an artificial reality system, a menu prompt gesture from image data; and generating, by the artificial reality system, a menu prompt element in response to the menu prompt gesture. further comprising:

いくつかの例では、実行されると、人工現実システムの１つまたは複数のプロセッサに、画像取込みデバイスを介して画像データを取り込ませ、画像データから、手の配置を含むメニュー起動ジェスチャを識別させ、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成させ、メニュー起動ジェスチャに続く、手の動きと組み合わせた手の配置を含む、メニュースライドジェスチャを識別させ、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させ、かつヘッドマウントディスプレイ（ＨＭＤ）で表示するための、人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画させる命令を含む、非一時的なコンピュータ可読媒体が提供される。 Some examples, when executed, cause one or more processors of the artificial reality system to capture image data via the image capture device and identify menu activation gestures, including hand placement, from the image data. , in response to the menu activation gesture, generating a menu interface and a slidably engageable UI element in a first position relative to the menu interface, combined with a hand movement following the menu activation gesture. identifying a menu slide gesture, including hand placement; moving a slidably engageable UI element to a second position relative to the menu interface in response to the menu slide gesture; A non-transitory computer-readable medium is provided that includes instructions for rendering artificial reality content, a menu interface, and slidably engageable UI elements for display on an HMD.

命令がさらに、１つまたは複数のプロセッサに、画像データから、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された手を含む、メニュープロンプトジェスチャを識別させ、かつメニュープロンプトジェスチャに応答して、仮想の手の親指と手指との間隔にメニュープロンプト要素を生成させる、請求項１９に記載の非一時的なコンピュータ可読媒体。 The instructions further cause the one or more processors to identify from the image data a menu prompt gesture including a hand placed in a substantially upward position with a space between the thumb and fingers. 20. The non-transitory computer-readable medium of claim 19, wherein in response to a menu prompt gesture, a menu prompt element is generated at the thumb-to-finger spacing of a virtual hand.

本開示の１つまたは複数の例または実施形態に組み込むのに好適であると説明されている本開示の特徴は、本開示のありとあらゆる例および実施形態にわたって、一般化できることを意図していることが理解されよう。この開示の技法の１つまたは複数の例の詳細が、添付図面および以下の説明に示されている。技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかとなろう。 Features of the disclosure described as suitable for incorporation in one or more examples or embodiments of the disclosure are intended to be generalizable across any and all examples and embodiments of the disclosure. be understood. The details of one or more examples of the techniques of this disclosure are set forth in the accompanying drawings and the description below. Other features, objects, and advantages of the technique will be apparent from the description and drawings, and from the claims.

本開示の技法による、人工現実環境内のユーザインタフェース要素を提示および制御する、例示的な人工現実システムを示す図である。1 illustrates an example artificial reality system presenting and controlling user interface elements within an artificial reality environment, in accordance with the techniques of this disclosure; FIG. 本開示の技法による、別の例示的な人工現実システムを示す図である。FIG. 4 illustrates another example artificial reality system, in accordance with the techniques of this disclosure; 本開示の技法にしたがって動作する、例示的なＨＭＤを示す図である。1 illustrates an exemplary HMD operating in accordance with the techniques of this disclosure; FIG. 図１Ａ、図１Ｂの人工現実システムのコンソールおよびＨＭＤの、例示的な実施態様を示す構成図である。1B is a block diagram showing an exemplary implementation of the console and HMD of the artificial reality system of FIGS. 1A, 1B; FIG. 本開示の技法による、図１Ａ、図１Ｂの人工現実システムのＨＭＤによって、ジェスチャ検出およびユーザインタフェース生成が実行される例を示す構成図である。1B is a block diagram illustrating an example gesture detection and user interface generation performed by the HMD of the artificial reality system of FIGS. 1A-1B, in accordance with the techniques of this disclosure; FIG. 本開示の態様による、メニュープロンプトまたはＵＩメニューを起動する、例示的な方法の動作を示す流れ図である。4 is a flow diagram illustrating operations of an exemplary method for launching a menu prompt or UI menu, according to aspects of the present disclosure; 本開示の態様による、ＵＩメニューを位置決めし、ＵＩメニューと相互作用する、例示的な方法の動作を示す流れ図である。FIG. 4 is a flow diagram illustrating the operations of an exemplary method for locating and interacting with UI menus, according to aspects of the present disclosure; FIG. 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is a diagram of an exemplary HMD display showing positioning and interacting with UI menus, in accordance with aspects of the present disclosure; 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is a diagram of an exemplary HMD display showing positioning and interacting with UI menus, in accordance with aspects of the present disclosure; 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is a diagram of an exemplary HMD display showing positioning and interacting with UI menus, in accordance with aspects of the present disclosure; 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is a diagram of an exemplary HMD display showing positioning and interacting with UI menus, in accordance with aspects of the present disclosure; 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is a diagram of an exemplary HMD display showing positioning and interacting with UI menus, in accordance with aspects of the present disclosure; 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is a diagram of an exemplary HMD display showing positioning and interacting with UI menus, in accordance with aspects of the present disclosure; 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is a diagram of an exemplary HMD display showing positioning and interacting with UI menus, in accordance with aspects of the present disclosure; 本開示の態様によるメニュープロンプトを示す、例示的なＨＭＤディスプレイの図である。FIG. 4 is an exemplary HMD display showing menu prompts in accordance with aspects of the present disclosure;

同じ参照符号は、図および説明全体を通して、同じ要素を指す。 Like reference numbers refer to like elements throughout the drawings and description.

図１Ａは、本開示の技法による、人工現実環境内のユーザインタフェース要素を提示および制御する、例示的な人工現実システム１０を示す図である。いくつかの例示的な実施態様では、人工現実システム１０は、ユーザ１１０が実行する１つまたは複数のジェスチャの検出に応答して、グラフィカルユーザインタフェース要素を生成し、ユーザ１１０に対して描画する。すなわち、本明細書で説明されるように、人工現実システム１０は、ユーザの手、手指、親指、または腕の特定の動き、配置、場所、および／または向きなど、ユーザ１１０が実行する１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を提示する。他の例では、人工現実システム１０は、特殊なトグル要素、ドロップダウン要素、メニュー選択要素、グラフィカル入力キーまたはキーボード、コンテンツ表示ウィンドウなど、人工現実環境内でのユーザとの相互作用および操作用に特別に設計されたユーザインタフェース要素を提示および制御する。 FIG. 1A is a diagram illustrating an exemplary artificial reality system 10 presenting and controlling user interface elements within an artificial reality environment in accordance with the techniques of this disclosure. In some exemplary implementations, artificial reality system 10 generates and renders graphical user interface elements to user 110 in response to detecting one or more gestures performed by user 110 . That is, as described herein, the artificial reality system 10 may be configured to perform one or more actions by the user 110, such as specific movements, placements, locations, and/or orientations of the user's hand, fingers, thumb, or arm. or present one or more graphical user interface elements 124, 126 in response to detection of a plurality of specific gestures. In other examples, the artificial reality system 10 may include special toggle elements, drop-down elements, menu selection elements, graphical input keys or keyboards, content display windows, etc. for user interaction and manipulation within the artificial reality environment. Present and control specially designed user interface elements.

図１Ａの例では、人工現実システム１０は、ヘッドマウントデバイス（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｅｖｉｃｅ）１１２、コンソール１０６、およびいくつかの例では、１つまたは複数の外部センサ９０を備えている。図示のように、ＨＭＤ１１２は、通常、ユーザ１１０が着用し、人工現実コンテンツ１２２をユーザ１１０に提示する電子ディスプレイおよび光学組立体を備えている。加えて、ＨＭＤ１１２は、ＨＭＤ１１２の動きを追跡する１つまたは複数のセンサ（たとえば、加速度計）を備え、また周囲の物理的環境の画像データを取り込む、１つまたは複数の画像取込みデバイス１３８、たとえば、カメラ、ラインスキャナなどを備えることができる。この例では、コンソール１０６は、ゲーム機、ワークステーション、デスクトップコンピュータ、またはラップトップなど、ただ１つのコンピュータ処理デバイスとして示されている。他の例では、コンソール１０６は、分散型コンピュータ処理ネットワーク、データセンタ、またはクラウドコンピュータ処理システムなど、複数のコンピュータ処理デバイスに分散されていてもよい。コンソール１０６、ＨＭＤ１１２、およびセンサ９０は、この例に示されているように、ネットワーク１０４を介して通信可能に結合することができ、ネットワークは、ＷｉＦｉ、メッシュネットワーク、または短距離無線通信媒体などの有線または無線ネットワークであり得る。この例では、ＨＭＤ１１２は、コンソール１０６と通信する、たとえば、コンソール１０６と繋がっているか、または無線通信するように示されているが、いくつかの実施態様では、ＨＭＤ１１２は、独立型の携帯人工現実システムとして動作する。 In the example of FIG. 1A, the artificial reality system 10 includes a head mounted device (HMD) 112, a console 106, and in some examples, one or more external sensors 90. As shown, HMD 112 comprises an electronic display and optical assembly typically worn by user 110 to present artificial reality content 122 to user 110 . Additionally, HMD 112 includes one or more sensors (e.g., accelerometers) that track movement of HMD 112, and one or more image capture devices 138, e.g. , cameras, line scanners, and the like. In this example, console 106 is shown as a single computing device, such as a game console, workstation, desktop computer, or laptop. In other examples, console 106 may be distributed across multiple computing devices, such as in a distributed computing network, data center, or cloud computing system. Console 106, HMD 112, and sensors 90 may be communicatively coupled via network 104, as shown in this example, which may be a WiFi, mesh network, or short-range wireless communication medium. It can be a wired or wireless network. Although in this example HMD 112 is shown in communication with console 106, e.g., in tethered or wireless communication with console 106, in some implementations HMD 112 is a stand-alone handheld artificial reality device. Works as a system.

一般に、人工現実システム１０は、実世界の３Ｄ物理的環境から取り込まれた情報を使用して、ユーザ１１０に対して表示するための人工現実コンテンツ１２２を描画する。図１Ａの例では、ユーザ１１０は、コンソール１０６および／またはＨＭＤ１１２上で人工現実アプリケーションを実行することによって構築および描画される、人工現実コンテンツ１２２を観察する。一例として、人工現実コンテンツ１２２は、ユーザ１１０が、１つまたは複数の仮想物体１２８Ａ、１２８Ｂと共に、アバター１２０として描画される、民生ゲームアプリケーションであり得る。いくつかの例では、人工現実コンテンツ１２２には、実世界の形象と仮想物体との混在、たとえば、複合現実および／または拡張現実が含まれ得る。他の例では、人工現実コンテンツ１２２は、たとえば、ビデオ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練もしくはシミュレーションアプリケーション、または人工現実を実装する他の種類のアプリケーションであり得る。 In general, artificial reality system 10 uses information captured from the real-world 3D physical environment to render artificial reality content 122 for display to user 110 . In the example of FIG. 1A, user 110 observes artificial reality content 122 that is constructed and rendered by running an artificial reality application on console 106 and/or HMD 112 . By way of example, artificial reality content 122 may be a consumer gaming application in which user 110 is depicted as avatar 120 along with one or more virtual objects 128A, 128B. In some examples, artificial reality content 122 may include a mixture of real-world figures and virtual objects, eg, mixed reality and/or augmented reality. In other examples, artificial reality content 122 may be, for example, a videoconferencing application, a navigation application, an educational application, a training or simulation application, or other types of applications that implement artificial reality.

人工現実アプリケーションは、動作中、基準フレーム、通常はＨＭＤ１１２の観察視点に対するポーズ情報を追跡および計算することによって、ユーザ１１０に対して表示する人工現実コンテンツ１２２を構築する。基準フレームとしてＨＭＤ１１２を使用し、ＨＭＤ１１２の現在の推定ポーズによって判断される現在の視野１３０に基づいて、人工現実アプリケーションは、いくつかの例では、ユーザ１１０の実世界での３Ｄ物理的環境の上に少なくとも部分的に重畳され得る、３Ｄ人工現実コンテンツを描画する。この処理中に、人工現実アプリケーションは、ＨＭＤ１１２から受け取った動き情報およびユーザコマンドなどの感知されたデータ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０からのデータを使用して、実世界の物理的環境内での、ユーザ１１０の動きおよび／またはユーザ１１０に関する特徴追跡情報などの３Ｄ情報を取り込む。感知されたデータに基づいて、人工現実アプリケーションは、ＨＭＤ１１２の基準フレームの現在のポーズを判断し、現在のポーズにしたがって、人工現実コンテンツ１２２を描画する。 During operation, the artificial reality application builds the artificial reality content 122 displayed to the user 110 by tracking and calculating pose information relative to a reference frame, typically the HMD 112 viewing viewpoint. Using HMD 112 as a frame of reference, and based on the current field of view 130 determined by the current estimated pose of HMD 112, an artificial reality application may, in some examples, create an overlying view of user's 110 real-world 3D physical environment. Render 3D artificial reality content that can be at least partially superimposed on the . During this process, the artificial reality application uses sensed data, such as motion information and user commands received from HMD 112, and in some examples, data from any external sensors 90, such as external cameras, to Capture 3D information, such as user 110 movement and/or feature tracking information about user 110 within a real-world physical environment. Based on the sensed data, the artificial reality application determines the current pose of the reference frame of HMD 112 and renders artificial reality content 122 according to the current pose.

さらに、この開示の技法によれば、人工現実アプリケーションは、感知されたデータに基づいて、ユーザ１１０が実行するジェスチャを検出し、１つまたは複数の特定のジェスチャの検出に応答して、ユーザに提示されている、下にある人工現実コンテンツ１２２上に重畳され得る、１つまたは複数のユーザインタフェース要素、たとえば、ＵＩメニュー１２４およびＵＩ要素１２６を生成する。この点に関して、ユーザインタフェース要素１２４、１２６は、人工現実環境でユーザに提示されている人工現実コンテンツ１２２の一部と見ることができる。このようにして、人工現実システム１０は、ユーザの手、手指、親指、または腕の特定の動き、配置、位置、および／または向きなど、ユーザ１１０による１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を動的に提示する。ユーザの手の例示的な配置には、拳、伸ばした１本または複数本の指、手の個々の指のうちの１本または複数本の相対的および／または絶対的位置および向き、手のひらの形状などが含まれ得る。ユーザインタフェース要素は、たとえば、ユーザ１１０が人工現実システムを動作させるために相互作用するメニューもしくはサブメニューなどのグラフィカルユーザインタフェース、またはアイコン要素、トグル要素、ドロップダウン要素、メニュー選択要素、２次元または３次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザ１１０が選択可能かつ操作可能な個々のユーザインタフェース要素であり得る。ＵＩ要素１２６は、２次元要素として描かれているが、たとえば、ユーザが、人工現実環境において形状を平行移動、拡大縮小、および／または回転させる、ジェスチャを実行することによって操作可能な２次元または３次元形状であってもよい。 Further, in accordance with the techniques of this disclosure, the artificial reality application detects gestures performed by user 110 based on the sensed data and, in response to detecting one or more particular gestures, prompts the user to Generates one or more user interface elements, eg, UI menu 124 and UI element 126 , that may be superimposed over the underlying artificial reality content 122 being presented. In this regard, the user interface elements 124, 126 can be viewed as part of the artificial reality content 122 being presented to the user in the artificial reality environment. In this manner, the artificial reality system 10 is sensitive to the detection of one or more specific gestures by the user 110, such as specific movements, placements, positions, and/or orientations of the user's hands, fingers, thumbs, or arms. In response, one or more graphical user interface elements 124, 126 are dynamically presented. Exemplary placements of a user's hand include a fist, one or more outstretched fingers, the relative and/or absolute position and orientation of one or more of the individual fingers of the hand, the palm of the hand. shape and the like can be included. A user interface element can be, for example, a graphical user interface such as a menu or submenus that user 110 interacts with to operate the artificial reality system, or an icon element, a toggle element, a dropdown element, a menu selection element, two-dimensional or three-dimensional. It may be an individual user interface element selectable and operable by user 110, such as a dimensional shape, a graphical input key or keyboard, a content display window, or the like. UI elements 126 are depicted as two-dimensional elements, but may be manipulated by a user performing gestures that, for example, translate, scale, and/or rotate shapes in an artificial reality environment. It may have a three-dimensional shape.

さらに、本明細書で説明されているように、いくつかの例では、人工現実システム１０は、システムが実行している１つもしくは複数のアプリケーションの現在の状態、または物理的環境において、リアルタイムでのユーザの視線追跡によって判断され得る、ユーザ１１０の現在の視野１３０に対して検出された特定のジェスチャの位置および向き、もしくは他の条件など、他の条件に応答してグラフィカルユーザインタフェース要素１２４、１２６の生成および描画をトリガすることができる。 Further, as described herein, in some examples, the artificial reality system 10 can perform real-time changes in the current state of one or more applications that the system is running, or in the physical environment. graphical user interface elements 124 in response to other conditions, such as the position and orientation of a particular gesture detected relative to the current field of view 130 of the user 110, or other conditions, which may be determined by user eye-tracking of 126 generation and drawing can be triggered.

より具体的には、本明細書でさらに説明されているように、ＨＭＤ１１２の画像取込みデバイス１３８は、画像取込みデバイス１３８の視野１３０内にある実世界の物理的環境内の物体を表す画像データを取り込む。視野１３０は、通常、ＨＭＤ１１２の観察視点に対応する。図１Ａに示されている例などのいくつかの例では、人工現実アプリケーションは、視野１３０内にあるユーザ１１０の手１３２の部分を、人工現実コンテンツ１２２内の仮想の手１３６として描画する。他の例では、人工現実アプリケーションは、複合現実および／または拡張現実を含む人工現実コンテンツ１２２内で、ユーザ１１０の手１３２および／または腕１３４の実世界画像を提示することができる。いずれの例においても、ユーザ１１０は、視野１３０内にあるユーザの手１３２および／または腕１３４の部分を、人工現実コンテンツ１２２内の物体として観察することができる。他の例では、人工現実アプリケーションは、ユーザの手１３２または腕１３４の表現を描画しない場合がある。 More specifically, as further described herein, image capture device 138 of HMD 112 captures image data representing objects in the real-world physical environment within field of view 130 of image capture device 138 . take in. Field of view 130 generally corresponds to the viewing viewpoint of HMD 112 . In some examples, such as the example shown in FIG. 1A, the artificial reality application renders the portion of user's 110 hand 132 within field of view 130 as virtual hand 136 within artificial reality content 122 . In another example, the artificial reality application may present a real-world image of hand 132 and/or arm 134 of user 110 within artificial reality content 122 that includes mixed reality and/or augmented reality. In either example, user 110 may observe portions of user's hand 132 and/or arm 134 within field of view 130 as objects within artificial reality content 122 . In other examples, the artificial reality application may not render a representation of the user's hand 132 or arm 134 .

いずれにせよ、人工現実システム１０は、動作中、ＨＭＤ１１２の画像取込みデバイス１３８によって取り込まれた画像データ内で物体認識を実行して、手１３２を識別する。この識別は、オプションで、個々の手指もしくは親指、および／またはユーザ１１０の腕１３４の全部または一部を識別することを含む。さらに、人工現実システム１０は、時間のスライディングウィンドウにわたって、手１３２（オプションで、手の特定の指を含む）および／または腕１３４の部分の位置、向き、および配置を追跡する。人工現実アプリケーションは、追跡される手１３２および／または腕１３４の部分の任意の動き、配置、位置、および／または向きを分析し、特定の物体、たとえばユーザ１１０の手１３２（手の特定の指を含む）および／または腕１３４の部分を使って実行される、１つまたは複数のジェスチャを識別する。人工現実アプリケーションは、ジェスチャを検出するために、手１３２および／または腕１３４の部分の動き、配置、位置、および／または向きを、人工現実システム１０のジェスチャライブラリに記憶されたジェスチャの定義と比較することができ、ジェスチャライブラリ内の各ジェスチャは、１つまたは複数の動作にマッピングされ得る。いくつかの例では、動きの検出には、物理的環境で、指（人差し指および親指など）の定義された組合せのいずれかが、くっついて触れるまたはほぼ触れるかどうかを含む、手１３２の１本または複数本の指（個々の手指および親指）の位置を追跡することが含まれ得る。他の例では、動きの検出には、ＨＭＤ１１２の現在のポーズに対する手１３２の向き（たとえば、ＨＭＤ１１２の方を、もしくはＨＭＤ１１２とは反対の方を指す手指）、および／または腕１３４の向き（すなわち、ＨＭＤ１１２の方に向く腕の法線）を追跡することが含まれ得る。ユーザの手１３２（または手の一部）の位置および向きは、あるいは、手１３２（または手の一部）のポーズと呼ばれ得る。 In any event, during operation, artificial reality system 10 performs object recognition within image data captured by image capture device 138 of HMD 112 to identify hand 132 . This identification optionally includes identifying individual fingers or thumbs and/or all or part of arm 134 of user 110 . In addition, artificial reality system 10 tracks the position, orientation, and placement of portions of hand 132 (optionally including certain fingers of the hand) and/or arm 134 over a sliding window of time. The artificial reality application analyzes any movement, placement, position, and/or orientation of the portion of the hand 132 and/or arm 134 being tracked to identify a specific object, such as the hand 132 of user 110 (specific fingers of the hand). ) and/or to be performed using a portion of arm 134 . The artificial reality application compares the movement, placement, position, and/or orientation of portions of hand 132 and/or arm 134 to gesture definitions stored in the gesture library of artificial reality system 10 to detect gestures. and each gesture in the gesture library may be mapped to one or more actions. In some examples, motion detection includes whether any defined combination of fingers (such as the index finger and thumb) touches or nearly touches one of the hands 132 in the physical environment. Or it may involve tracking the position of multiple fingers (individual fingers and thumb). In other examples, motion detection includes orientation of hand 132 relative to the current pose of HMD 112 (e.g., finger pointing toward or away from HMD 112) and/or orientation of arm 134 (i.e., , normal of the arm facing toward HMD 112). The position and orientation of the user's hand 132 (or portion of the hand) may alternatively be referred to as the pose of the hand 132 (or portion of the hand).

さらに、人工現実アプリケーションは、手１３２および／または腕１３４の配置、位置、および／または向きを分析し、少なくとも閾値期間にわたって１つまたは複数の特定の配置、位置、および／または向きに保持されている手１３２および／または腕１３４を含む、ジェスチャを識別することができる。人工現実システム１０は、例として、手１３２および／または腕１３４が視野１３０内で少なくとも設定可能な期間、実質的に静止状態で保持されている１つまたは複数の特定の位置を、ユーザ１１０が、メニューなどの特定の種類のユーザインタフェース要素１２４、１２６の表示をトリガすることなど、人工現実アプリケーションによる所望の応答をトリガすることを意図したジェスチャを、実行しようとしていることを示すものとして使用することができる。人工現実システム１０は、別の例として、少なくとも設定可能な期間、視野１３０内に維持されている手１３２の手指および／もしくは手のひら、ならびに／または腕１３４の１つまたは複数の特定の配置を、ユーザ１１０がジェスチャを実行しようとしていることを示すものとして使用することができる。図１Ａには、ユーザ１１０の右手１３２および右腕１３４しか示されていないが、他の例では、人工現実システム１０は、ユーザ１１０の左手および／もしくは左腕、またはユーザ１１０の左右両手および／もしくは両腕を識別することができる。このようにして、人工現実システム１０は、物理的環境内で、どちらかの手で実行される片手ジェスチャ、両手ジェスチャ、または腕ベースのジェスチャを検出し、検出されたジェスチャに応答して、関連するユーザインタフェース要素を生成することができる。 In addition, the artificial reality application analyzes the placement, position and/or orientation of the hand 132 and/or arm 134 and determines whether the hand 132 and/or arm 134 have been held in one or more specific placements, positions and/or orientations for at least a threshold period of time. Gestures involving hands 132 and/or arms 134 can be identified. Artificial reality system 10 illustratively predicts one or more specific positions in which hand 132 and/or arm 134 are held substantially stationary within field of view 130 for at least a configurable period of time. , a gesture intended to trigger a desired response by an artificial reality application, such as triggering the display of a particular type of user interface element 124, 126, such as a menu, as an indication that it is about to be performed. be able to. As another example, artificial reality system 10 may determine one or more specific placements of fingers and/or palm of hand 132 and/or arm 134 that are maintained within field of view 130 for at least a configurable period of time. It can be used as an indication that the user 110 is about to perform a gesture. Although only right hand 132 and right arm 134 of user 110 are shown in FIG. 1A, in other examples, artificial reality system 10 may extend user's 110 left hand and/or left arm, or user's 110 left and right hands and/or both hands. Arms can be identified. In this manner, the artificial reality system 10 detects one-handed, two-handed, or arm-based gestures performed with either hand within the physical environment, and responds to the detected gestures with associated can generate user interface elements that

この開示の技法によれば、人工現実アプリケーションは、識別されたジェスチャが、コンソール１０６および／またはＨＭＤ１１２のジェスチャライブラリ内の複数のエントリのうちの１つによって定義されたジェスチャに相当するかどうかを判断する。以下でより詳細に説明されるように、ジェスチャライブラリのエントリはそれぞれ、相異なるジェスチャを、ユーザの手、指（手指もしくは親指）、および／もしくは腕の、時間の経過に伴う特定の動き、配置、位置、および／もしくは向き、またはかかるプロパティの組合せとして定義することができる。加えて、定義されたジェスチャはそれぞれ、人工現実アプリケーションによって実行されるべき１つまたは複数の動作の形で、所望の応答に関連づけられ得る。一例として、ジェスチャライブラリ内の１つまたは複数の定義されたジェスチャは、１つまたは複数のユーザインタフェース要素、たとえば、ＵＩメニュー１２４の生成、変形、および／または配置をトリガして、人工現実コンテンツ１２２上に描画および重畳することができる。ここで、ジェスチャは、人工現実コンテンツ１２２内のＵＩメニュー１２４の位置および／または向きを定義することができる。別の例として、定義されたジェスチャのうちの１つまたは複数は、提示されたユーザインタフェースの変更、提示されたユーザインタフェースのサブメニューの提示などをトリガするための、ユーザ１１０の特定のユーザインタフェース要素との相互作用、たとえば、ＵＩメニュー１２４のＵＩ要素１２６の選択を示すことができる。 According to techniques of this disclosure, an artificial reality application determines whether an identified gesture corresponds to a gesture defined by one of multiple entries in a gesture library of console 106 and/or HMD 112. do. As described in more detail below, each entry in the gesture library represents a different gesture, a particular movement, placement, over time, of the user's hand, fingers (fingers or thumbs), and/or arm. , position, and/or orientation, or a combination of such properties. Additionally, each defined gesture may be associated with a desired response in the form of one or more actions to be performed by the artificial reality application. As an example, one or more defined gestures in the gesture library trigger generation, deformation, and/or placement of one or more user interface elements, e.g. Can be drawn and superimposed on top. Here, gestures can define the position and/or orientation of UI menu 124 within artificial reality content 122 . As another example, one or more of the defined gestures are specific to the user's 110 user interface to trigger changes in the presented user interface, presentation of sub-menus of the presented user interface, etc. Interaction with an element, for example, selection of UI element 126 of UI menu 124 may be indicated.

いくつかの態様では、人工現実アプリケーションは、手１３２および／または腕１３４の配置、位置、および／または向きを分析し、少なくとも閾値期間にわたって特定の配置および向きに保たれている手１３２を含む、メニュー起動ジェスチャを識別することができる。いくつかの態様では、メニュー起動ジェスチャは、たとえば、手の手指および親指を挟持配置にしながら、実質的に上向きの位置に保たれている手であり得る。いくつかの態様では、メニュー起動ジェスチャは、手の向きに関わらず、挟持配置に置かれた手の手指および親指を含むことができる。メニュースライドジェスチャは、メニューがスライド方向に静止状態で保持されている間に、ユーザの手に応じて動く仮想の手を、ＵＩメニュー１２４の広がりに沿ってスライドさせることができる。メニュースライドジェスチャ以外の方向への動きにより、ＵＩメニュー１２４が、動きに基づいて位置変更され得る。一例として、メニュースライドジェスチャは、メニュー起動ジェスチャを持続しながらの、水平方向へのユーザの手１３２の動きであり得る。仮想の手１３６は、メニューが水平方向に静止状態で保持されている間に、水平方向の広がりに沿って移動させることができる。いくつかの例では、人工現実アプリケーションは、仮想の手１３６に加えて、または仮想の手１３６の代わりに、スライド可能に係合可能なＵＩ要素（図１には示されていない）を生成する。垂直方向に移動させることにより、ＵＩメニュー１２４が位置変更され得る。 In some aspects, the artificial reality application analyzes the placement, position, and/or orientation of the hand 132 and/or arm 134, including hand 132 held in a particular placement and orientation for at least a threshold period of time. Menu activation gestures can be identified. In some aspects, the menu activation gesture may be, for example, a hand held in a substantially upward position while the fingers and thumb of the hand are in a pinching position. In some aspects, the menu activation gesture may include the fingers and thumb of a hand placed in a pinching configuration, regardless of hand orientation. A menu slide gesture can slide a virtual hand that moves in response to the user's hand along the expanse of the UI menu 124 while the menu is held stationary in the slide direction. Movement in directions other than the menu slide gesture may cause the UI menu 124 to reposition based on the movement. As an example, a menu slide gesture may be a horizontal movement of the user's hand 132 while sustaining a menu activation gesture. The virtual hand 136 can be moved along the horizontal extent while the menu is held horizontally stationary. In some examples, the artificial reality application generates slidably engageable UI elements (not shown in FIG. 1) in addition to or instead of the virtual hand 136. . By moving vertically, the UI menu 124 can be repositioned.

メニュー起動ジェスチャを持続しながらのメニュースライドジェスチャにより、人工現実アプリケーションは、ユーザが、仮想の手１３２を、たとえばＵＩメニュー１２４の別のメニューアイテムの近くの別の場所にスライドさせるための、メニュースライドジェスチャをさらに実行することなしに、選択ジェスチャを実行するつもりである場合、ＵＩメニュー１２４の特定のメニューアイテムが選択されることになるという指示を描画することができる。そうした特定のメニューは、ユーザが選択できるように準備される。この指示は、メニューアイテムの近くにある仮想の手１３２もしくはスライド可能に係合可能なＵＩ要素の場所、たとえば相異なる色を使ったメニューアイテムの強調表示、メニューアイテムの拡大、または他の何らかの指示であり得る。 A menu slide gesture while sustaining a menu launch gesture causes the artificial reality application to allow the user to slide the virtual hand 132 to another location, e.g., near another menu item in the UI menu 124. Without performing further gestures, if a selection gesture is to be performed, an indication can be rendered that a particular menu item of the UI menu 124 is to be selected. Such specific menus are prepared for user selection. This indication may be the location of a virtual hand 132 or slidably engageable UI element near the menu item, such as highlighting the menu item using a different color, enlarging the menu item, or some other indication. can be

したがって、本開示の技法は、人工現実システムによってコンテンツを描画および表示するコンピュータ関連分野への、特定の技術的改善をもたらす。たとえば、本明細書に記載の人工現実システムは、ユーザが実行する直感的でありながらも独特のジェスチャの検出に基づいて、人工現実コンテンツに重畳されたユーザインタフェース要素を生成および描画することによって、ユーザ１１０などのユーザに、人工現実アプリケーションの高品質の人工現実体験を提供することができる。より具体的には、この技法は、ユーザがメニューインタフェースを有効にし、その後、メニューの広がりに沿って、スライド可能に係合可能なＵＩ要素、またはユーザが選択できるように準備されたメニューアイテムの他の指示を移動させることができるジェスチャの形の、直感的なユーザ入力をユーザに提供することができる。 Accordingly, the techniques of this disclosure provide certain technical improvements to the computer-related field of rendering and displaying content through artificial reality systems. For example, the artificial reality system described herein generates and renders user interface elements overlaid on artificial reality content based on the detection of intuitive yet unique gestures performed by the user to: A user, such as user 110, can be provided with a high quality artificial reality experience of the artificial reality application. More specifically, this technique involves a user activating a menu interface and then, along the extent of the menu, slidably engageable UI elements or menu items prepared for user selection. Intuitive user input can be provided to the user in the form of gestures that can move other instructions.

さらに、本明細書に記載のシステムは、隠れてしまうもの（ｏｃｃｌｕｓｉｏｎ）の追跡を回避するよう定義された手および腕の動きに基づいて、所定のジェスチャを検出するよう構成され得る。隠れてしまうものの追跡は、ユーザの一方の手が他方の手と少なくとも部分的に重なっている場合に起きることがあり、それぞれの手の個々の指（手指および親指）ばかりでなく、それぞれの手の位置および向きを正確に追跡することを困難にする。したがって、本明細書で説明されているシステムは、主に片手または片腕ベースのジェスチャを検出するよう構成され得る。片手または片腕ベースのジェスチャを使用すると、大きい運動技能および細かい運動技能に制限があるユーザにとって、利用し易さがさらに向上する可能性がある。さらに、本明細書に記載のシステムは、ユーザの手が、相互作用するかまたは互いに重なることのない、両手または両腕ベースのジェスチャを検出するよう構成され得る。 Additionally, the system described herein can be configured to detect predetermined gestures based on defined hand and arm movements to avoid occlusion tracking. Tracking of obscured objects can occur when one hand of the user overlaps at least partially the other, and not only the individual fingers (fingers and thumb) of each hand, but also the individual fingers of each hand. make it difficult to accurately track the position and orientation of Accordingly, the systems described herein may be configured to detect predominantly one-handed or one-arm based gestures. The use of one-handed or one-arm based gestures may further improve accessibility for users with limited large and fine motor skills. Additionally, the systems described herein can be configured to detect two-handed or two-arm based gestures in which the user's hands do not interact or overlap each other.

加えて、本明細書に記載のシステムは、ユーザに自己触覚型フィードバックを与えるジェスチャを検出するよう構成され得る。たとえば、ユーザのそれぞれの手の親指および１本または複数本の手指は、人工現実コンテンツの特定のユーザインタフェース要素との相互作用を示す事前定義されたジェスチャの一部として、物理的世界で触れるか、またはほぼ触れることができる。ユーザの手の親指と１本または複数本の手指との間の接触は、ユーザが、物理的キーボードまたは他の物理的入力デバイス上の釦などの、物理的ユーザ入力物体と直接相互作用するときに感じる、感覚のシミュレーションをユーザに与えることができる。 Additionally, the systems described herein can be configured to detect gestures that provide self-haptic feedback to the user. For example, the user's thumb and one or more fingers on each hand may be touched or touched in the physical world as part of predefined gestures that indicate interaction with specific user interface elements of artificial reality content. , or almost touchable. Contact between the thumb of a user's hand and one or more fingers is when the user directly interacts with a physical user input object, such as a button on a physical keyboard or other physical input device. It is possible to give the user a simulation of the sense of feeling.

図１Ｂは、本開示の技法による別の例示的な人工現実システム２０を示す図である。図１Ａの人工現実システム１０と同様に、いくつかの例では、図１Ｂの人工現実システム２０は、人工現実環境内でのユーザの相互作用および操作のために特別に設計された、ユーザインタフェース要素を提示および制御することができる。人工現実システム２０はまた、様々な例において、ユーザの１つまたは複数の特定のジェスチャの検出に応答して、所定のグラフィカルユーザインタフェース要素を生成し、ユーザに対して描画することができる。 FIG. 1B is a diagram illustrating another example artificial reality system 20 in accordance with the techniques of this disclosure. Similar to the artificial reality system 10 of FIG. 1A, in some examples, the artificial reality system 20 of FIG. 1B includes user interface elements specifically designed for user interaction and manipulation within an artificial reality environment. can be presented and controlled. Artificial reality system 20 may also, in various examples, generate and render predetermined graphical user interface elements to the user in response to detecting one or more particular gestures of the user.

図１Ｂの例では、人工現実システム２０は、外部カメラ１０２Ａおよび１０２Ｂ（総称して「外部カメラ１０２」）、ＨＭＤ１１２Ａ～１１２Ｃ（総称して「ＨＭＤ１１２」）、コントローラ１１４Ａおよび１１４Ｂ（総称して「コントローラ１１４」）、コンソール１０６、およびセンサ９０を備える。図１Ｂに示されているように、人工現実システム２０は、コンソール１０６および／またはＨＭＤ１１２上で実行される人工現実アプリケーションが、ユーザ１１０Ａ～１１０Ｃ（総称して「ユーザ１１０」）のそれぞれに、それぞれのユーザに対応する基準フレームの現在の観察視点に基づいて人工現実コンテンツを提示する、マルチユーザ環境を示している。すなわち、この例では、人工現実アプリケーションは、ＨＭＤ１１２ごとの基準フレームのポーズ情報を追跡および計算することによって、人工コンテンツを構築する。人工現実システム２０は、ＨＭＤ１１２の対応する基準フレームの更新されたポーズ情報を計算するのに使用するために、カメラ１０２、ＨＭＤ１１２、およびコントローラ１１４から受け取ったデータを使用して、ユーザ１１０の動きなど、実世界環境内の３Ｄ情報を、かつ／またはユーザ１１０および物体１０８に関する追跡情報を取り込む。一例として、人工現実アプリケーションは、ＨＭＤ１１２Ｃについて判断された現在の観察視点に基づいて、実世界の物体１０８Ａ～１０８Ｃ（総称して「実世界の物体１０８」）上に空間的に重畳される、仮想物体１２８Ａ～１２８Ｃ（総称して「仮想物体１２８」）を有する人工現実コンテンツ１２２を描画することができる。さらに、人工現実システム２０は、ＨＭＤ１１２Ｃの視点から、ユーザ１１０Ａ、１１０Ｂのそれぞれの推定位置に基づいて、アバター１２０Ａ、１２０Ｂを描画する。 In the example of FIG. 1B, artificial reality system 20 includes external cameras 102A and 102B (collectively "external cameras 102"), HMDs 112A-112C (collectively "HMDs 112"), controllers 114A and 114B (collectively "controller 114 ″), console 106 , and sensor 90 . As shown in FIG. 1B, artificial reality system 20 provides an artificial reality application running on console 106 and/or HMD 112 to each of users 110A-110C (collectively "users 110"), respectively. 1 illustrates a multi-user environment presenting artificial reality content based on the current viewing viewpoint of a frame of reference corresponding to a user of . That is, in this example, the artificial reality application builds artificial content by tracking and calculating pose information of reference frames for each HMD 112 . Artificial reality system 20 uses the data received from camera 102 , HMD 112 , and controller 114 to use the data received from camera 102 , HMD 112 , and controller 114 for use in calculating updated pose information for a corresponding frame of reference for HMD 112 , such as movement of user 110 . , 3D information in the real-world environment, and/or tracking information about the user 110 and the object 108 . As an example, the artificial reality application may be a virtual object that is spatially superimposed over real-world objects 108A-108C (collectively, "real-world objects 108") based on the current viewing viewpoint determined for HMD 112C. Artificial reality content 122 may be rendered having objects 128A-128C (collectively "virtual objects 128"). Further, the artificial reality system 20 renders the avatars 120A, 120B based on the respective estimated positions of the users 110A, 110B from the viewpoint of the HMD 112C.

ＨＭＤ１１２のそれぞれは、人工現実システム２０内で同時に動作する。図１Ｂの例では、ユーザ１１０のそれぞれは、人工現実アプリケーションの「プレーヤ」または「参加者」であってもよく、ユーザ１１０のいずれも、人工現実アプリケーションの「観客」または「観察者」であってもよい。ＨＭＤ１１２Ｃはユーザ１１０Ｃの手１３２および／または腕１３４を追跡し、視野１３０内にある手１３２の部分を人工現実コンテンツ１２２内の仮想の手１３６として描画することによって、図１ＡのＨＭＤ１１２と実質的に同様に動作することができる。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂが保持しているコントローラ１１４Ａから、ユーザ入力を受け取ることができる。ＨＭＤ１１２Ａはまた、図１ＡのＨＭＤ１１２と実質的に同様に動作し、ユーザ１１０Ａの手１３２Ａ、１３２Ｂによって、ジェスチャの形のユーザ入力を受け取ることができる。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂが保持しているコントローラ１１４から、ユーザ入力を受け取ることができる。コントローラ１１４は、ブルートゥースなどの短距離無線通信である近距離通信を使用して、有線通信リンクを使用して、または別の種類の通信リンクを使用して、ＨＭＤ１１２Ｂと通信することができる。 Each of HMDs 112 operates simultaneously within artificial reality system 20 . In the example of FIG. 1B, each of the users 110 may be a "player" or "participant" of the artificial reality application, and any of the users 110 may be a "spectator" or "observer" of the artificial reality application. may HMD 112C is substantially similar to HMD 112 of FIG. can work similarly. HMD 112B can receive user input from controller 114A held by user 110B. HMD 112A also operates substantially similar to HMD 112 of FIG. 1A and can receive user input in the form of gestures with hands 132A, 132B of user 110A. HMD 112B can receive user input from controller 114 held by user 110B. Controller 114 may communicate with HMD 112B using short-range wireless communication such as Bluetooth, using a wired communication link, or using another type of communication link.

図１Ａに関して上記で論じられた例と同様のやり方で、人工現実システム２０のコンソール１０６および／またはＨＭＤ１１２Ｃは、ユーザ１１０Ｃに対して表示される人工現実コンテンツ１２２上に重畳され得る、ユーザインタフェース要素１２４、１２６を生成および描画する。さらに、コンソール１０６および／またはＨＭＤ１１２Ｃは、ポーズの追跡による、ユーザ１１０Ｃが実行する直感的でありながらも独特のジェスチャの検出に基づいて、ユーザインタフェース要素１２４、１２６の生成および動的な表示をトリガすることができる。人工現実システム２０は、たとえば、ユーザの手、手指、親指、または腕の特定の動き、配置、位置、および／または向きなど、ユーザ１１０Ｃによる１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を動的に提示することができる。図１Ｂに示されているように、ＨＭＤ１１２Ｃのカメラ１３８を介して取り込まれた画像データに加えてまたはあるいは、外部カメラ１０２からの入力データを使用して、手の個々の指（手指、親指）および／または指の組合せの動きを含む、ユーザ１１０Ｃの手１３２などのユーザ１１０の手および腕の特定の動き、配置、位置、および／または向きを追跡および検出することができる。 In a manner similar to the examples discussed above with respect to FIG. 1A, console 106 and/or HMD 112C of artificial reality system 20 may overlay user interface elements 124 on artificial reality content 122 displayed to user 110C. , 126 are generated and drawn. Further, console 106 and/or HMD 112C trigger generation and dynamic display of user interface elements 124, 126 based on detection of intuitive yet unique gestures performed by user 110C through pose tracking. can do. Artificial reality system 20 responds to detection of one or more specific gestures by user 110C, such as, for example, specific movements, placements, positions, and/or orientations of the user's hands, fingers, thumbs, or arms. , one or more graphical user interface elements 124, 126 can be dynamically presented. As shown in FIG. 1B, using input data from external camera 102 in addition to or alternatively with image data captured via camera 138 of HMD 112C, individual fingers of the hand (fingers, thumbs) Certain movements, placements, positions, and/or orientations of hands and arms of user 110, such as hand 132 of user 110C, including movement of finger combinations and/or finger combinations, can be tracked and detected.

いくつかの態様では、人工現実アプリケーションは、コンソール１０６上で実行することができ、画像取込みデバイス１０２Ａおよび１０２Ｂを利用して、手１３２Ｂの配置、位置、および／または向きを分析し、ＨＭＤ１１２Ａのユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。同様に、ＨＭＤ１１２Ｃは、画像取込みデバイス１３８を利用して、手１３２Ｃの配置、位置、および／または向きを分析し、ＨＭＤ１１２Ｃのユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。人工現実アプリケーションは、図１Ａに関して上記で説明されたのと同様のやり方で、かかるジェスチャに応答して、ＵＩメニュー１２４および仮想の手１３６を描画することができる。 In some aspects, an artificial reality application may run on the console 106 and utilize the image capture devices 102A and 102B to analyze the placement, position, and/or orientation of the hand 132B, and the user of the HMD 112A. Menu prompt gestures, menu activation gestures, menu slide gestures, selection gestures, or menu positioning movements, etc., that may be performed by may be identified. Similarly, HMD 112C utilizes image capture device 138 to analyze the placement, position, and/or orientation of hand 132C, menu prompt gestures, menu launch gestures, menu slide gestures, selection gestures that may be performed by the user of HMD 112C. Gestures, or menu positioning movements, etc. can be identified. The artificial reality application can render UI menu 124 and virtual hand 136 in response to such gestures in a manner similar to that described above with respect to FIG. 1A.

図２は、本開示の技法にしたがって動作するよう構成された、例示的なＨＭＤ１１２を示す図である。図２のＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれの例でもあり得る。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であり得るか、または本明細書に記載の技法を実施するよう構成された、独立型の携帯人工現実システムとして動作することができる。 FIG. 2 is a diagram illustrating an exemplary HMD 112 configured to operate according to the techniques of this disclosure. HMD 112 of FIG. 2 may be an example of any of HMDs 112 of FIGS. 1A and 1B. The HMD 112 may be part of an artificial reality system, such as the artificial reality systems 10, 20 of FIGS. 1A, 1B, or a standalone portable artificial reality configured to implement the techniques described herein. It can work as a system.

この例では、ＨＭＤ１１２は、ＨＭＤ１１２をユーザに固定するための前部剛体およびバンドを備える。加えて、ＨＭＤ１１２は、人工現実コンテンツをユーザに提示するよう構成された、内側に向く電子ディスプレイ２０３を備える。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）ディスプレイ、電子ペーパ、または視覚出力を生成できる白黒、カラー、もしくは他の任意の種類のディスプレイなどの、任意の好適なディスプレイ技術であり得る。いくつかの例では、電子ディスプレイは、ユーザのそれぞれの目に別々の画像を提示する、立体視ディスプレイである。いくつかの例では、ＨＭＤ１１２およびユーザの現在の観察視点にしたがって人工現実コンテンツを描画するために、ＨＭＤ１１２の位置および向きを追跡するときに、ＨＭＤ１１２の前部剛体に対するディスプレイ２０３の既知の向きおよび位置が、ローカル原点とも呼ばれる、基準フレームとして使用される。他の例では、ＨＭＤ１１２は、眼鏡またはゴーグルなどの他の着用可能なヘッドマウントディスプレイの形式をとることができる。 In this example, HMD 112 includes front rigid bodies and bands for securing HMD 112 to the user. Additionally, HMD 112 includes an inward-facing electronic display 203 configured to present artificial reality content to a user. The electronic display 203 can be a liquid crystal display (LCD), a quantum dot display, a dot matrix display, a light emitting diode (LED) display, an organic light emitting diode (OLED) display, a cathode ray tube. It may be any suitable display technology, such as a cathode ray tube (CRT) display, electronic paper, or any other type of display capable of producing visual output, such as black and white, color, or any other type of display. In some examples, the electronic display is a stereoscopic display that presents separate images to each eye of the user. In some examples, the known orientation and position of the display 203 relative to the front rigid body of the HMD 112 when tracking the position and orientation of the HMD 112 in order to render the artificial reality content according to the current viewing viewpoint of the HMD 112 and the user. is used as the frame of reference, also called the local origin. In other examples, HMD 112 may take the form of other wearable head-mounted displays such as glasses or goggles.

図２にさらに示されているように、この例では、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する、１つもしくは複数の加速度計（慣性測定ユニットまたは「ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ」とも呼ばれる）などの、１つもしくは複数の動きセンサ２０６、ＨＭＤ１１２の場所を示すデータを出力するＧＰＳセンサ、様々な物体からＨＭＤ１１２の距離を示すデータを出力するレーダもしくはソナー、またはＨＭＤ１１２または物理環境内の他の物体の場所もしくは向きを示す他のセンサをさらに備える。さらに、ＨＭＤ１１２は、ビデオカメラ、レーザスキャナ、ドップラレーダスキャナ、深度スキャナなどの、統合された画像取込みデバイス１３８Ａおよび１３８Ｂ（総称して「画像取込みデバイス１３８」）を備えることができ、画像取込みデバイスは、物理的環境を表す画像データを出力するよう構成されている。より具体的には、画像取込みデバイス１３８は、通常、ＨＭＤ１１２の観察視点に相当する、画像取込みデバイス１３８の視野１３０Ａ、１３０Ｂ内にある、物理的環境内の物体を表す画像データを取り込む。ＨＭＤ１１２は、内部電源と、１つまたは複数のプロセッサ、メモリ、およびハードウェアを備え、感知されたデータを処理し、人工現実コンテンツをディスプレイ２０３上に提示する、プログラム可能な動作を実行する動作環境を提供する、１つまたは複数のプリント回路基板とを備えることができる、内部制御ユニット２１０を備える。 As further shown in FIG. 2, in this example, HMD 112 includes one or more accelerometers (also known as inertial measurement units or “IMUs”) that output data indicative of HMD 112's current acceleration. ), a GPS sensor that outputs data indicating the location of HMD 112, a radar or sonar that outputs data indicating the distance of HMD 112 from various objects, or HMD 112 or within the physical environment. It further comprises other sensors that indicate the location or orientation of other objects. Additionally, HMD 112 may include integrated image capture devices 138A and 138B (collectively "image capture devices 138"), such as video cameras, laser scanners, Doppler radar scanners, depth scanners, etc., which may include , configured to output image data representative of the physical environment. More specifically, the image capture device 138 typically captures image data representative of objects within the physical environment within the field of view 130A, 130B of the image capture device 138, which corresponds to the HMD 112 viewing viewpoint. HMD 112 includes an internal power source and one or more processors, memory, and hardware to process sensed data and provide an operating environment for performing programmable actions to present artificial reality content on display 203. an internal control unit 210, which can include one or more printed circuit boards that provide

一例では、本明細書に記載の技法によれば、制御ユニット２１０は、感知されたデータに基づいて、ユーザが実行する特定のジェスチャまたはジェスチャの組合せを識別し、それに応答して動作を実行するよう構成される。制御ユニット２１０は、たとえば、識別した１つのジェスチャに応答して、電子ディスプレイ２０３上に表示するための、人工現実コンテンツ上に重畳される特定のユーザインタフェース要素を生成および描画することができる。本明細書で説明されているように、本開示の技法によれば、制御ユニット２１０は、画像取込みデバイス１３８によって取り込まれた画像データ内の物体認識を実行して、手１３２、手指、親指、腕、またはユーザの別の一部を識別し、ユーザが実行する事前定義されたジェスチャを識別するために、識別された部分の動き、位置、配置などを追跡することができる。事前定義されたジェスチャの識別に応答して、制御ユニット２１０は、ユーザインタフェース要素に関連づけられたオプションのセットからオプションを選択する、ジェスチャを入力（たとえば、文字）に変換する、アプリケーションを起動する、さもなければコンテンツを表示するなど、何らかの動作を行う。いくつかの例では、制御ユニット２１０は、ユーザインタフェースを示すための「トリガ」として指定された、事前定義されたジェスチャを検出するのに応答して、メニューなどのユーザインタフェース要素を動的に生成および提示する。他の例では、制御ユニット２１０は、コンソール１０６などの外部デバイスからの指図に応答して、物体認識、動き追跡、およびジェスチャ検出、またはそれらの任意の部分を実行することができる、かかる機能を実行する。 In one example, in accordance with the techniques described herein, control unit 210 identifies a particular gesture or combination of gestures performed by a user based on sensed data and performs an action in response thereto. configured as follows. Control unit 210 may, for example, generate and render specific user interface elements overlaid on artificial reality content for display on electronic display 203 in response to one identified gesture. As described herein, in accordance with the techniques of this disclosure, control unit 210 performs object recognition within image data captured by image capture device 138 to identify hand 132, fingers, thumb, An arm, or another part of the user, can be identified and the movement, position, placement, etc. of the identified part can be tracked to identify predefined gestures performed by the user. In response to identifying a predefined gesture, control unit 210 selects an option from a set of options associated with the user interface element, converts the gesture into input (e.g., characters), launches an application, Otherwise, perform some action, such as displaying the content. In some examples, control unit 210 dynamically generates user interface elements, such as menus, in response to detecting predefined gestures, designated as "triggers" for presenting the user interface. and present. In other examples, control unit 210 can perform object recognition, motion tracking, and gesture detection, or any portion thereof, in response to instructions from an external device, such as console 106. Run.

一例として、制御ユニット２１０は、画像取込みデバイス１３８Ａおよび１３８Ｂを利用して、手１３２および／または腕１３４の配置、位置、動き、および／または向きを分析し、ＨＭＤ１１２のユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。制御ユニット２１０は、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きの検出に基づいて、ＵＩメニュー、スライド可能に係合可能なＵＩ要素、および／または仮想の手を描画することができる。 As an example, control unit 210 utilizes image capture devices 138A and 138B to analyze the placement, position, movement, and/or orientation of hand 132 and/or arm 134 and provide menu prompts that may be executed by a user of HMD 112. Gestures such as menu activation gestures, menu slide gestures, selection gestures, or menu positioning movements can be identified. Control unit 210 may control UI menus, slidably engageable UI elements, and/or virtual hand gestures based on detection of menu prompt gestures, menu activation gestures, menu slide gestures, selection gestures, and menu positioning movements. can be drawn.

図３は、図１Ａ、図１Ｂの人工現実システム１０、２０のコンソール１０６およびＨＭＤ１１２の例示的な実施態様を示す構成図である。図３の例では、コンソール１０６は、ＨＭＤ１１２および／または外部センサから受け取った動きデータおよび画像データなどの感知されたデータに基づいて、本明細書に記載の技法による、ポーズ追跡、ジェスチャ検出、およびＨＭＤ１１２用ユーザインタフェースの生成および描画を実行する。 FIG. 3 is a block diagram illustrating an exemplary implementation of the console 106 and HMD 112 of the artificial reality systems 10, 20 of FIGS. 1A, 1B. In the example of FIG. 3, console 106 uses sensed data, such as motion and image data received from HMD 112 and/or external sensors, to perform pose tracking, gesture detection, and pose tracking according to the techniques described herein. Generates and renders a user interface for HMD 112 .

この例では、ＨＭＤ１１２は、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を備えている。次に、オペレーティングシステム３０５は、アプリケーションエンジン３４０を含む１つまたは複数のソフトウェア構成要素３０７を実行する、マルチタスク動作環境を提供する。図２の例に関して論じられたように、プロセッサ３０２は、電子ディスプレイ２０３、動きセンサ２０６、および画像取込みデバイス１３８に結合されている。いくつかの例では、プロセッサ３０２およびメモリ３０４は、別個の離散した構成要素であり得る。他の例では、メモリ３０４は、ただ１つの集積回路内にプロセッサ３０２と併置されたオンチップメモリであってもよい。 In this example, HMD 112 provides a computer platform for running operating system 305, which in some examples may be, for example, an embedded real-time multitasking operating system, or other type of operating system. It includes one or more processors 302 and memory 304 . Operating system 305 in turn provides a multitasking operating environment in which one or more software components 307 , including application engine 340 , executes. Processor 302 is coupled to electronic display 203, motion sensor 206, and image capture device 138, as discussed with respect to the example of FIG. In some examples, processor 302 and memory 304 may be separate and discrete components. In another example, memory 304 may be on-chip memory collocated with processor 302 in a single integrated circuit.

コンソール１０６は、概ね、カメラ１０２（図１Ｂ）および／またはＨＭＤ１１２から受け取った画像および追跡情報を処理して、ジェスチャ検出およびＨＭＤ１１２用ユーザインタフェース生成を実行する、コンピュータ処理デバイスである。いくつかの例では、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲームシステムなどの、ただ１つのコンピュータ処理デバイスである。いくつかの例では、プロセッサ３１２および／またはメモリ３１４などのコンソール１０６の少なくとも一部は、クラウドコンピュータ処理システム、データセンタにわたって、またはインターネット、別の公衆もしくは専用通信ネットワーク、たとえば、コンピュータ処理システム、サーバ、およびコンピュータ処理デバイス間でデータを伝送するための広帯域、移動体通信、Ｗｉ－Ｆｉ、および／または他の種類の通信ネットワークなどの、ネットワークにわたって分散されていてもよい。 Console 106 is generally a computer processing device that processes image and tracking information received from camera 102 (FIG. 1B) and/or HMD 112 to perform gesture detection and user interface generation for HMD 112 . In some examples, console 106 is a single computing device, such as a workstation, desktop computer, laptop, or gaming system. In some examples, at least a portion of console 106, such as processor 312 and/or memory 314, is connected to a cloud computing system, across a data center, or to the Internet, another public or private communication network, e.g., computing system, server , and across networks such as broadband, cellular, Wi-Fi, and/or other types of communication networks for transmitting data between computing devices.

図３の例では、コンソール１０６は、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３１６を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３１２およびメモリ３１４を備えている。次に、オペレーティングシステム３１６は、１つまたは複数のソフトウェア構成要素３１７を実行するための、マルチタスク動作環境を提供する。プロセッサ３１２は、１つまたは複数のＩ／Ｏインタフェース３１５に結合され、キーボード、ゲームコントローラ、ディスプレイデバイス、画像取込みデバイス、ＨＭＤなどの外部デバイスと通信するための、１つまたは複数のＩ／Ｏインタフェースを提供する。さらに、１つまたは複数のＩ／Ｏインタフェース３１５には、ネットワーク１０４などのネットワークと通信する、１つまたは複数の有線または無線ネットワークインタフェースコントローラ（ＮＩＣ：ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｒ）が含まれ得る。プロセッサ３０２、３１２のそれぞれには、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、または同等の離散した、もしくは集積論理回路のうちの任意の１つまたは複数が含まれ得る。メモリ３０４、３１４には、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、電子的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびフラッシュメモリなどの、データおよび実行可能なソフトウェア命令を記憶する任意の形式のメモリが含まれ得る。 In the example of FIG. 3, console 106 provides a computer platform for running operating system 316, which in some examples may be, for example, an embedded real-time multitasking operating system, or other types of operating systems. It includes one or more processors 312 and memory 314 to perform. Operating system 316 in turn provides a multitasking operating environment for executing one or more software components 317 . Processor 312 is coupled to one or more I/O interfaces 315 for communicating with external devices such as keyboards, game controllers, display devices, image capture devices, HMDs, and the like. I will provide a. Additionally, one or more I/O interfaces 315 may include one or more wired or wireless network interface controllers (NICs) that communicate with a network, such as network 104 . Each of the processors 302, 312 includes a multi-core processor, a controller, a digital signal processor (DSP), an application specific integrated circuit (ASIC), a field-programmable gate array (FPGA). array), or any one or more of equivalent discrete or integrated logic circuits. Memories 304, 314 include random-access memory (RAM), read only memory (ROM), programmable read only memory (PROM), erasable and programmable. data and executable software instructions such as erasable programmable read only memory (EPROM), electronically erasable programmable read only memory (EEPROM), and flash memory Any form of memory may be included to store the .

コンソール１０６のソフトウェアアプリケーション３１７は、全体的な人工現実アプリケーションを提供するよう動作する。この例では、ソフトウェアアプリケーション３１７は、アプリケーションエンジン３２０、描画エンジン３２２、ジェスチャ検出器３２４、ポーズ追跡器３２６、およびユーザインタフェースエンジン３２８を有している。 Software application 317 of console 106 operates to provide an overall artificial reality application. In this example, software application 317 includes application engine 320 , drawing engine 322 , gesture detector 324 , pose tracker 326 and user interface engine 328 .

アプリケーションエンジン３２０は、概して、人工現実アプリケーション、たとえば、電話会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練またはシミュレーションアプリケーションなどを提供し、提示する機能を有している。アプリケーションエンジン３２０は、たとえば、コンソール１０６上で人工現実アプリケーションを実施するための１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはアプリケーションプログラムインタフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を含むことができる。アプリケーションエンジン３２０による制御に応答して、描画エンジン３２２は、ＨＭＤ１１２のアプリケーションエンジン３４０によってユーザに対して表示する、３Ｄ人工現実コンテンツを生成する。 Application engine 320 is generally responsible for providing and presenting artificial reality applications, such as conference call applications, gaming applications, navigation applications, educational applications, training or simulation applications, and the like. Application engine 320 may include, for example, one or more software packages, software libraries, hardware drivers, and/or Application Program Interfaces (APIs) for implementing artificial reality applications on console 106. can be done. In response to control by application engine 320 , rendering engine 322 generates 3D artificial reality content for display to the user by application engine 340 of HMD 112 .

アプリケーションエンジン３２０および描画エンジン３２２は、ポーズ追跡器３２６によって判断される基準フレーム、典型的にはＨＭＤ１１２の観察視点での現在のポーズ情報にしたがって、ユーザ１１０に対して表示する人工コンテンツを構築する。現在の観察視点に基づいて、描画エンジン３２２は、場合によっては少なくとも部分的に、ユーザ１１０の実世界の３Ｄ環境に重畳され得る、３Ｄの人工現実コンテンツを構築する。この処理中に、ポーズ追跡器３２６は、ＨＭＤ１１２から受け取った動き情報およびユーザコマンドなどの感知されたデータ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０（図１Ａ、図１Ｂ）からのデータに基づいて動作し、実世界の環境内での、ユーザ１１０の動きおよび／またはユーザ１１０に関する特徴追跡情報などの３Ｄ情報を取り込む。ポーズ追跡器３２６は、感知されたデータに基づいて、ＨＭＤ１１２の基準フレームでの現在のポーズを判断し、現在のポーズにしたがって人工現実コンテンツを構築し、ユーザ１１０に対して表示するために、１つまたは複数のＩ／Ｏインタフェース３１５を介してＨＭＤ１１２と通信する。 Application engine 320 and rendering engine 322 build artificial content for display to user 110 according to the reference frame determined by pose tracker 326 , typically the current pose information at the viewing viewpoint of HMD 112 . Based on the current viewing viewpoint, rendering engine 322 constructs 3D artificial reality content that may be superimposed, possibly at least in part, on user's 110 real-world 3D environment. During this process, pose tracker 326 captures sensed data, such as motion information and user commands received from HMD 112, and in some examples, any external sensors 90, such as external cameras (FIGS. 1A, 1B). and captures 3D information such as movement of user 110 and/or feature tracking information about user 110 within a real-world environment. Pose tracker 326 determines the current pose in the frame of reference of HMD 112 based on the sensed data, constructs artificial reality content according to the current pose, and displays it to user 110 . Communicates with HMD 112 via one or more I/O interfaces 315 .

さらに、ジェスチャ検出器３２４は、感知されたデータに基づいて、ユーザの物体（たとえば、手、腕、手首、手指、手のひら、親指）の追跡された動き、配置、位置、および／または向きを分析し、ユーザ１１０が実行する１つまたは複数のジェスチャを識別する。より具体的には、ジェスチャ検出器３２４は、ＨＭＤ１１２の画像取込みデバイス１３８ならびに／またはセンサ９０および外部カメラ１０２によって取り込まれた、画像データ内で認識された物体を分析し、ユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する手および／または腕の動きを追跡して、ユーザ１１０が実行するジェスチャを識別する。ジェスチャ検出器３２４は、取り込まれた画像データに基づいて、手、指、および／または腕の位置および向きの変化を含む動きを追跡し、物体の動きベクトルをジェスチャライブラリ３３０内の１つまたは複数のエントリと比較して、ユーザ１１０が実行するジェスチャまたはジェスチャの組合せを検出することができる。ジェスチャライブラリ３３０内の一部のエントリはそれぞれ、ジェスチャを、ユーザの手、特定の手指、親指、手首、および／または腕の相対的経路または空間的平行移動および回転などの、一連の動きまたは動きのパターンとして定義することができる。ジェスチャライブラリ３３０内の一部のエントリはそれぞれ、ジェスチャを、特定の時間の、または一定期間にわたる、ユーザの手および／もしくは腕（またはその一部）の配置、位置、および／または向きとして定義することができる。ジェスチャの種類の他の例もあり得る。加えて、ジェスチャライブラリ３３０内のエントリのそれぞれは、定義されたジェスチャまたは一連のジェスチャについての、ＨＭＤ１１２の現在の視野との空間的関係、ユーザが現在観察している特定の領域との空間的関係など、個人のリアルタイムでの凝視追跡、表示されている人工コンテンツの種類、実行されているアプリケーションの種類などによって判断され得る、ジェスチャまたは一連のジェスチャが動作をトリガするのに必要な条件を指定することができる。 Additionally, the gesture detector 324 analyzes the tracked movement, placement, position, and/or orientation of the user's object (eg, hand, arm, wrist, finger, palm, thumb) based on the sensed data. and identifies one or more gestures performed by user 110 . More specifically, gesture detector 324 analyzes recognized objects within the image data captured by image capture device 138 and/or sensor 90 and external camera 102 of HMD 112 to identify the hand and/or of user 110 . Or identify the arm and track hand and/or arm movement relative to HMD 112 to identify gestures performed by user 110 . Gesture detector 324 tracks movement, including changes in hand, finger, and/or arm position and orientation, based on the captured image data and stores object motion vectors in one or more gesture libraries 330 . , a gesture or combination of gestures performed by user 110 can be detected. Some entries in the gesture library 330 each represent a gesture as a series of movements or motions, such as relative paths or spatial translations and rotations of a user's hand, a particular finger, thumb, wrist, and/or arm. can be defined as a pattern of Some entries in the gesture library 330 each define a gesture as the placement, position, and/or orientation of the user's hand and/or arm (or portion thereof) at a particular time or over a period of time. be able to. Other examples of gesture types are also possible. In addition, each of the entries in the gesture library 330 defines the spatial relationship, for the defined gesture or series of gestures, to the current field of view of the HMD 112, to the particular region the user is currently viewing. specify the conditions required for a gesture or series of gestures to trigger an action, which can be determined by an individual's real-time gaze tracking, the type of artificial content being displayed, the type of application being run, etc. be able to.

ジェスチャライブラリ３３０内のエントリのそれぞれはさらに、定義されたジェスチャのそれぞれまたはジェスチャの組合せ／一連のジェスチャについて、ソフトウェアアプリケーション３１７によって実行されるべき所望の応答または動作を指定することができる。たとえば、この開示の技法によれば、所定の特殊なジェスチャは、ユーザインタフェースエンジン３２８が、事前定義されたジェスチャの１つを検出することに応答して、ユーザに対して表示されている人工現実コンテンツに重畳するユーザインタフェースを動的に生成するように、事前定義することができ、それによりユーザ１１０は、人工現実コンテンツと相互作用している間でさえ、ＨＭＤ１１２および／またはコンソール１０６を設定するために、ユーザインタフェースを容易に呼び出すことができる。他の例では、所定のジェスチャは、入力の提供、物体の選択、アプリケーションの起動などの、他の動作に関連づけられていてもよい。 Each of the entries in gesture library 330 may further specify a desired response or action to be performed by software application 317 for each defined gesture or combination/series of gestures. For example, according to the techniques of this disclosure, a predetermined special gesture is an artificial reality being displayed to the user in response to user interface engine 328 detecting one of the predefined gestures. A user interface can be predefined to dynamically generate a user interface that overlays the content, whereby the user 110 configures the HMD 112 and/or the console 106 even while interacting with the artificial reality content. The user interface can be easily invoked for this purpose. In other examples, a given gesture may be associated with other actions, such as providing input, selecting an object, launching an application, and the like.

一例として、ジェスチャライブラリ３３０は、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きについて記載するエントリを含むことができる。ジェスチャ検出器３２４は、画像取込みデバイス１３８からの画像データを処理して、ユーザの手の配置、位置、動き、および／または向きを分析し、ユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きなどを識別することができる。描画エンジン３２２は、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、およびメニュー位置決めの動きの検出に基づいて、メニューおよび仮想の手を描画することができる。ユーザインタフェースエンジン３２８は、表示されるメニューを定義することができ、選択ジェスチャによってもたらされた選択結果に応答して実行される動作を制御することができる。 As an example, the gesture library 330 may include entries that describe menu prompt gestures, menu activation gestures, menu slide gestures, selection gestures, and menu positioning movements. Gesture detector 324 processes image data from image capture device 138 to analyze the placement, position, movement, and/or orientation of the user's hand, and to perform menu prompt gestures, menu activation gestures, menu prompt gestures, menu activation gestures, and so on. Menu slide gestures, selection gestures, menu positioning movements, and the like can be identified. The drawing engine 322 can draw menus and virtual hands based on detection of menu prompt gestures, menu activation gestures, menu slide gestures, and menu positioning movements. The user interface engine 328 can define the menus that are displayed and can control actions that are performed in response to selections effected by selection gestures.

図４は、本開示の技法による、図１Ａ、図１Ｂの人工現実システムのＨＭＤ１１２によって、ジェスチャ検出およびユーザインタフェース生成が実行される例を示す構成図である。 FIG. 4 is a block diagram illustrating an example of gesture detection and user interface generation performed by the HMD 112 of the artificial reality system of FIGS. 1A-1B, in accordance with the techniques of this disclosure.

この例では、ＨＭＤ１１２は、図３と同様に、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を備えている。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素４１７を実行する、マルチタスク動作環境を提供する。さらに、プロセッサ３０２は、電子ディスプレイ２０３、動きセンサ２０６、および画像取込みデバイス１３８に結合されている。 In this example, HMD 112, similar to FIG. 3, is a computer for running operating system 305, which in some examples may be, for example, an embedded real-time multitasking operating system, or other type of operating system. It has one or more processors 302 and memory 304 that provide a platform. Operating system 305 in turn provides a multitasking operating environment in which one or more software components 417 execute. Additionally, processor 302 is coupled to electronic display 203 , motion sensor 206 , and image capture device 138 .

図４の例において、ソフトウェア構成要素４１７は、全体的な人工現実アプリケーションを提供するよう動作する。この例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０、描画エンジン４２２、ジェスチャ検出器４２４、ポーズ追跡器４２６、およびユーザインタフェースエンジン４２８を有している。様々な例において、ソフトウェア構成要素４１７は、図３のコンソール１０６の相当する構成要素（たとえば、アプリケーションエンジン３２０、描画エンジン３２２、ジェスチャ検出器３２４、ポーズ追跡器３２６、およびユーザインタフェースエンジン３２８）と同様に動作し、検出されたユーザ１１０のジェスチャにしたがって、ユーザ１１０に対して表示する人工コンテンツに重畳されるかまたは人工コンテンツの一部である、ユーザインタフェース要素を構築する。いくつかの例では、描画エンジン４２２は、少なくとも部分的に、ユーザ１１０の実世界の物理的環境に重畳され得る、３Ｄの人工現実コンテンツを構築する。 In the example of FIG. 4, software component 417 operates to provide an overall artificial reality application. In this example, software application 417 includes application engine 440 , drawing engine 422 , gesture detector 424 , pose tracker 426 and user interface engine 428 . In various examples, software component 417 is similar to corresponding components of console 106 of FIG. 3 (eg, application engine 320, drawing engine 322, gesture detector 324, pose tracker 326, and user interface engine 328). and constructs user interface elements that are overlaid or part of the artificial content displayed to the user 110 according to the detected user's 110 gestures. In some examples, the rendering engine 422 constructs 3D artificial reality content that can be superimposed, at least in part, on the real-world physical environment of the user 110 .

図３に関して説明された例と同様に、ジェスチャ検出器４２４は、感知されたデータに基づいて、ユーザの物体（たとえば、手、腕、手首、手指、手のひら、親指）の追跡された動き、配置、位置、および／または向きを分析し、ユーザ１１０が実行する１つまたは複数のジェスチャを識別する。本開示の技法にしたがって、ユーザインタフェースエンジン４２８は、ユーザ１１０に対して表示されるべき人工現実コンテンツの一部である、たとえば人工現実コンテンツに重畳される、ユーザインタフェース要素を生成し、かつ／あるいはジェスチャ検出器４２４によって検出された、ユーザ１１０の１つもしくは複数のジェスチャまたはジェスチャの組合せに基づいて、動作を実行する。より具体的には、ジェスチャ検出器４２４は、ＨＭＤ１１２の画像取込みデバイス１３８および／またはセンサ９０もしくは外部カメラ１０２によって取り込まれた画像データ内で認識された物体を分析し、ユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する手および／または腕の動きを追跡して、ユーザ１１０が実行するジェスチャを識別する。ジェスチャ検出器４２４は、取り込まれた画像データに基づいて、手、指、および／または腕の位置および向きの変化を含む動きを追跡し、物体の動きベクトルをジェスチャライブラリ４３０内の１つまたは複数のエントリと比較して、ユーザ１１０が実行するジェスチャまたはジェスチャの組合せを検出することができる。 Similar to the example described with respect to FIG. 3, the gesture detector 424 generates tracked movements, placements of objects of the user (eg, hands, arms, wrists, fingers, palms, thumbs) based on the sensed data. , position, and/or orientation to identify one or more gestures performed by user 110 . In accordance with the techniques of this disclosure, user interface engine 428 generates user interface elements that are part of, e.g., overlaid on, artificial reality content to be displayed to user 110 and/or An action is performed based on one or more gestures or combinations of gestures of user 110 detected by gesture detector 424 . More specifically, gesture detector 424 analyzes recognized objects within image data captured by image capture device 138 and/or sensor 90 or external camera 102 of HMD 112 to determine whether user's 110 hand and/or Arms are identified and hand and/or arm movements relative to HMD 112 are tracked to identify gestures performed by user 110 . Gesture detector 424 tracks movements, including changes in hand, finger, and/or arm position and orientation, based on captured image data, and converts object motion vectors into one or more gestures in gesture library 430 . , a gesture or combination of gestures performed by user 110 can be detected.

ジェスチャライブラリ４３０は、図３のジェスチャライブラリ３３０と同様である。ジェスチャライブラリ４３０内のエントリのそれぞれは、定義されたジェスチャまたは一連のジェスチャについて、ＨＭＤ１１２の現在の視野との空間的関係、ユーザが現在観察している特定の領域との空間的関係など、個人のリアルタイムでの凝視追跡、表示されている人工コンテンツの種類、実行されているアプリケーションの種類などによって判断され得る、ジェスチャが動作をトリガするのに必要な条件を指定することができる。 Gesture library 430 is similar to gesture library 330 of FIG. Each of the entries in the gesture library 430 represents a defined gesture or set of gestures with a personal touch, such as a spatial relationship to the current field of view of the HMD 112, a spatial relationship to a particular region the user is currently viewing, and so on. The conditions required for a gesture to trigger an action can be specified, which can be determined by real-time gaze tracking, the type of artificial content being displayed, the type of application being run, etc.

一致するジェスチャまたはジェスチャの組合せを検出することに応答して、ＨＭＤ１１２は、ジェスチャライブラリ４３０内の一致するエントリに割り当てられた応答または動作を実行する。たとえば、この開示の技法によれば、所定の特殊なジェスチャは、ジェスチャ検出器４２４が、事前定義されたジェスチャの１つを検出することに応答して、ユーザインタフェースエンジン４２８が、ユーザに対して表示されている人工現実コンテンツに重畳するユーザインタフェースを動的に生成するように、事前定義することができ、それによりユーザ１１０は、人工現実コンテンツを観察している間に、ＨＭＤ１１２を設定するため、ユーザインタフェースを容易に呼び出すことができる。他の例では、ジェスチャ検出器４２４が事前定義されたジェスチャの１つを検出するのに応答して、ユーザインタフェースエンジン４２８および／またはアプリケーションエンジン４４０は、入力を受け取り、ユーザインタフェース要素に関連する値もしくはパラメータを選択し、アプリケーションを起動し、設定変更可能な設定を修正し、メッセージを送り、処理を開始もしくは停止するか、または他の動作を実行することができる。 In response to detecting a matching gesture or combination of gestures, HMD 112 performs the response or action assigned to the matching entry in gesture library 430 . For example, according to the techniques of this disclosure, a predetermined special gesture may be a gesture that user interface engine 428 may perform to the user in response to gesture detector 424 detecting one of the predefined gestures. A user interface can be predefined to dynamically generate a user interface that overlays the displayed artificial reality content, thereby allowing the user 110 to configure the HMD 112 while observing the artificial reality content. , the user interface can be easily invoked. In other examples, in response to gesture detector 424 detecting one of the predefined gestures, user interface engine 428 and/or application engine 440 receive input and values associated with user interface elements. Or it can select parameters, launch applications, modify configurable settings, send messages, start or stop processes, or perform other actions.

ジェスチャライブラリ４３０は、一例として、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、メニュー位置決めの動き、および選択ジェスチャについて記載したエントリを含むことができる。ジェスチャ検出器４２４は、画像取込みデバイス１３８からの画像データを利用して、ユーザの手の配置、位置、および／または向きを分析し、ユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。描画エンジン４２２は、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きの検出に基づいて、ＵＩメニュー、スライド可能に係合可能な要素、および／または仮想の手を描画することができる。ユーザインタフェースエンジン３２８は、表示されるメニューを定義することができ、選択ジェスチャによってもたらされた選択結果に応答して、アプリケーションエンジン４４０によって実行される動作を制御することができる。 Gesture library 430 may include entries describing menu prompt gestures, menu activation gestures, menu slide gestures, menu positioning movements, and selection gestures, as examples. Gesture detector 424 utilizes image data from image capture device 138 to analyze the placement, position, and/or orientation of the user's hand and to perform menu prompt gestures, menu activation gestures, menu slides, and menu slides that may be performed by the user. Gestures, selection gestures, or menu positioning movements can be identified. Rendering engine 422 may render UI menus, slidably engageable elements, and/or virtual hands based on detection of menu activation gestures, menu slide gestures, selection gestures, and menu positioning movements. can. User interface engine 328 can define the menus displayed and can control actions performed by application engine 440 in response to selections effected by selection gestures.

図５および図６は、メニュープロンプトおよびメニューを起動するための、またメニューの位置を決めて、ユーザがメニューと相互作用するための、例示的な方法を示す流れ図である。図５および図６で示されている動作は、図１Ａ、図１Ｂの人工現実システム１０、２０などの、人工現実システムの１つまたは複数の構成要素によって実行され得る。たとえば、動作の一部またはすべては、ジェスチャ検出器（図３および図４の３２４、４２４）、ユーザインタフェースエンジン（図３および図４の３２８、４２８）、ならびに描画エンジン（図３および図４の３２２、４２２）のうちの１つまたは複数によって実行され得る。 5 and 6 are flow diagrams illustrating exemplary methods for activating menu prompts and menus, and for locating menus and for user interaction with menus. The operations illustrated in FIGS. 5 and 6 may be performed by one or more components of an artificial reality system, such as the artificial reality systems 10, 20 of FIGS. 1A, 1B. For example, some or all of the actions may include gesture detectors (324, 424 in FIGS. 3 and 4), user interface engines (328, 428 in FIGS. 3 and 4), and drawing engines (328, 428 in FIGS. 3 and 4). 322, 422).

図５は、本開示の態様による、メニュープロンプトまたはメニューインタフェースを起動する、例示的な方法の動作を示す流れ図である。上記のように、手の所定の配置が検出され、メニューインタフェースまたはメニュープロンプトの起動をトリガするために使用され得る。人工現実システムは、手の現在の配置を判断することができる（５０２）。配置には、手の向き、および手の指の互いに対する位置が含まれ得る。１つまたは複数の態様では、画像データを取り込んで分析し、手の配置を判断することができる。手の配置を判断するために、画像データに加えて、または画像データの代わりに、他のセンサデータを使用することができる。 FIG. 5 is a flow diagram illustrating operations of an exemplary method of activating a menu prompt or menu interface, according to aspects of this disclosure. As described above, predetermined hand placements can be detected and used to trigger activation of a menu interface or menu prompt. An artificial reality system can determine the current placement of the hand (502). Placement can include the orientation of the hand and the position of the fingers of the hand relative to each other. In one or more aspects, image data can be captured and analyzed to determine hand placement. Other sensor data can be used in addition to or instead of image data to determine hand placement.

人工現実システムは、手の現在の配置が、ユーザがメニュープロンプトジェスチャを実行していることを示しているかどうかを判断することができる（５０４）。１つまたは複数の態様では、人工現実システムは、左手または右手の配置を判断するよう（たとえば、ユーザによって）設定可能であり得る。１つまたは複数の態様では、人工現実システムは、手の現在の配置について記載したデータ、および特定のジェスチャを指定する、ジェスチャライブラリの１つまたは複数のエントリのデータを利用して、手の現在の配置がメニュープロンプトジェスチャであるかどうかを判断することができる。１つまたは複数の態様では、メニュープロンプトジェスチャは、手が実質的に上向きであり、ユーザの手の手指および親指が手指および親指の間に間隔をあけるように置かれている手の配置であり得る。メニュープロンプトジェスチャでは、ユーザの手の手指および親指が、「Ｃ」字型または鋏形を形成することができ、手指と親指とは指先が接触しない。本開示の恩恵を受ける当業者は、手の他の配置がメニュープロンプトジェスチャとして使用され得ることを理解されよう。 The artificial reality system can determine if the current hand placement indicates that the user is performing a menu prompt gesture (504). In one or more aspects, an artificial reality system may be configurable (eg, by a user) to determine left or right hand placement. In one or more aspects, an artificial reality system utilizes data describing the current placement of a hand and data in one or more entries in a gesture library that specify a particular gesture to determine the current position of the hand. is a menu prompt gesture. In one or more aspects, the menu prompt gesture is a hand placement in which the hand is facing substantially upward and the fingers and thumb of the user's hand are placed with spacing between the fingers and thumb. obtain. In a menu prompt gesture, the fingers and thumb of the user's hand may form a "C" or scissors shape, with no fingertip contact between the fingers and thumb. Those of ordinary skill in the art having the benefit of this disclosure will appreciate that other placements of the hand may be used as menu prompt gestures.

ユーザがメニュープロンプトジェスチャを実行したとの判断に応答して、人工現実システムは、メニュープロンプトを描画することができる（５０６）。１つまたは複数の態様では、メニュープロンプトは、ユーザの手の向きを表す仮想の手の近くに描画される。メニュープロンプトは、メニュープロンプトジェスチャを実行するユーザの手指および親指に対応する、仮想の手の仮想の手指と仮想の親指との間に位置するＵＩ要素であり得る。 In response to determining that the user has performed the menu prompt gesture, the artificial reality system can render the menu prompt (506). In one or more aspects, the menu prompt is drawn near a virtual hand that represents the orientation of the user's hand. A menu prompt may be a UI element located between the virtual finger and virtual thumb of a virtual hand that corresponds to the user's finger and thumb performing the menu prompt gesture.

図８は、本開示の態様によるメニュープロンプト８１０を示す、例示的なＨＭＤディスプレイ８００である。図８に示されている例では、人工現実システムのユーザは、実質的に上向きのユーザの手を、人差し指と親指との間に間隔をあけて置いている。（人差し指以外の他の手指は、メニュープロンプトおよびメニュー起動ジェスチャに使用され得る。）人工現実システムは、手の位置および向きを判断することができ、また仮想の手１３６を、ユーザの手の向きおよび指の位置に一致するように、描画することができる。加えて、人工現実システムは、ユーザがユーザの手を使ってメニュープロンプトジェスチャを実行したことを、手の配置に基づいて検出することができる。メニュープロンプトジェスチャの検出に応答して、人工現実システムは、仮想の手の人差し指と親指との間に、メニュープロンプト８１０を描画することができる。メニュープロンプト８１０は、ユーザが、親指および人差し指を使って動作（たとえば、挟持動作）を実行し、ユーザの手をメニュー起動ジェスチャにすることにより、人工現実システムがユーザへメニューを提示できることを、ユーザに示すかまたは思い出させるもの（すなわち、プロンプト）として機能するユーザインタフェース要素であり得る。いくつかの態様では、メニュープロンプト８１０は、人差し指と親指との間に延在する線を含むことができる。いくつかの態様では、メニュープロンプト８１０は、親指と人差し指との間に置かれた仮想物体を含むことができる。いくつかの態様では、メニュープロンプト８１０は、人差し指および／または親指の強調表示を含むことができる。他の種類のユーザインタフェース要素が、メニュープロンプト８１０として描画されてもよい。たとえば、矢印を使用して、メニューを起動するためにユーザの人差し指および親指を動かすべき方向を示すことができる。 FIG. 8 is an exemplary HMD display 800 showing a menu prompt 810 according to aspects of this disclosure. In the example shown in FIG. 8, the user of the artificial reality system places the user's hand, pointing substantially upwards, spaced between the index finger and thumb. (Fingers other than the index finger may be used for menu prompts and menu activation gestures.) The artificial reality system can determine the position and orientation of the hand, and also map the virtual hand 136 to the orientation of the user's hand. and can be drawn to match the finger position. Additionally, the artificial reality system can detect when the user uses the user's hand to perform the menu prompt gesture based on hand placement. In response to detecting a menu prompt gesture, the artificial reality system can draw a menu prompt 810 between the index finger and thumb of the virtual hand. The menu prompt 810 indicates to the user that the artificial reality system can present a menu to the user by performing an action (e.g., a pinching action) with the thumb and forefinger and making the user's hand into a menu activation gesture. can be a user interface element that serves as an indication or reminder (ie, a prompt) to In some aspects, the menu prompt 810 may include a line extending between the index finger and thumb. In some aspects, the menu prompt 810 may include a virtual object placed between the thumb and forefinger. In some aspects, menu prompt 810 may include index finger and/or thumb highlighting. Other types of user interface elements may be rendered as menu prompts 810 . For example, arrows can be used to indicate the direction in which the user's index finger and thumb should be moved to activate the menu.

図５に戻ると、人工現実システムは、メニュープロンプトを描画した後、手の新しい現在の配置を判断することができる（５０２）。メニュープロンプトを描画してから手の新しい配置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。 Returning to FIG. 5, after rendering the menu prompt, the artificial reality system can determine the new current placement of the hand (502). Many other actions may be performed by the artificial reality system between drawing the menu prompt and determining the new placement of the hand.

手の現在の配置がメニュープロンプトジェスチャと一致しない場合、人工現実システムは、手の現在の配置が、ユーザがメニュー起動ジェスチャを実行していることを示しているかどうかを判断することができる。１つまたは複数の態様では、人工現実システムは、手の現在の配置について記載したデータ、およびジェスチャライブラリの１つまたは複数のエントリのデータを利用して、手の現在の配置がメニュー起動ジェスチャであるかどうかを判断することができる。１つまたは複数の態様では、メニュー起動ジェスチャは、手が実質的に上向きである手の配置であり得、ユーザの手の手指および親指は、挟持配置に置かれている。本開示の恩恵を受ける当業者は、手の他の配置がメニュー起動ジェスチャとして使用され得ることを理解されよう。たとえば、メニュー起動ジェスチャは、手の向きに関わらず、挟持配置に置かれた手指および親指を含むことができる。 If the current hand placement does not match the menu prompt gesture, the artificial reality system can determine whether the current hand placement indicates that the user is performing a menu activation gesture. In one or more aspects, the artificial reality system utilizes data describing the current placement of the hands and data from one or more entries in the gesture library to determine the current placement of the hands in the menu-activated gesture. can determine whether there is In one or more aspects, the menu activation gesture may be a hand placement in which the hand is facing substantially upward, and the fingers and thumb of the user's hand are placed in a pinching position. Those skilled in the art having the benefit of this disclosure will appreciate that other hand placements may be used as menu activation gestures. For example, a menu activation gesture may include fingers and thumbs placed in a pinching position regardless of hand orientation.

ユーザがメニュー起動ジェスチャを実行したとの判断に応答して、人工現実システムは、ＵＩメニューを描画することができる（５１０）。１つまたは複数の態様では、メニューは、ユーザの手の向きを表す仮想の手の近くに描画される。いくつかの態様では、人工現実システムは、人工現実システムが最初にメニュープロンプトジェスチャを検出した場合にだけ、メニュー起動ジェスチャの検出に応答してＵＩメニューを描画することができる。いくつかの態様では、メニュープロンプトジェスチャは必要条件ではない。 In response to determining that the user has performed a menu activation gesture, the artificial reality system can render a UI menu (510). In one or more aspects, the menu is drawn near a virtual hand representing the orientation of the user's hand. In some aspects, the artificial reality system may render the UI menu in response to detecting the menu launch gesture only if the artificial reality system first detects the menu prompt gesture. In some aspects, a menu prompt gesture is not a requirement.

図７Ａは、本開示の態様によるＵＩメニュー１２４を示す、例示的なＨＭＤディスプレイ７００である。図７Ａに示されている例では、人工現実システムのユーザは、実質的に上向きのユーザの手を、手の人差し指と親指とが挟持配置にある状態で置いている。（この場合も、人差し指は、手の手指の一例として使用されている。）人工現実システムは、手の位置および向きを判断することができ、仮想の手１３６を、ユーザの手の向きおよび手指の位置を表すように、描画することができる。加えて、人工現実システムは、ユーザがユーザの手を使ってメニュー起動ジェスチャを実行したことを、手の配置に基づいて検出することができる。メニュー起動ジェスチャの検出に応答して、人工現実システムは、仮想の手の近くにＵＩメニュー１２４を描画することができる。ＵＩメニュー１２４は、ＵＩメニュー１２４の広がりに沿って配列される１つまたは複数のＵＩ要素１２６を含むことができる。１つまたは複数の態様では、１つまたは複数のＵＩ要素１２６は、観察空間または表示空間などの座標空間の水平方向の広がりに沿って配列されたメニューアイテムであり得る。図７Ａに示されている例では、座標軸７０４は、座標空間を説明するためだけに示されている。座標軸７０４は、実際のディスプレイ上に提示される必要はない。図７Ａ～図７Ｇに示されている例では、水平方向の広がりはＸ軸に沿っており、垂直方向の広がりはＹ軸に沿っており、深さはＺ軸に沿っている。 FIG. 7A is an exemplary HMD display 700 showing UI menu 124 according to aspects of this disclosure. In the example shown in FIG. 7A, the user of the artificial reality system has placed the user's hand substantially upward with the index finger and thumb of the hand in a pinching arrangement. (Again, the index finger is used as an example of a hand finger.) The artificial reality system can determine the position and orientation of the hand, and the virtual hand 136 is mapped to the user's hand orientation and finger. can be drawn to represent the position of Additionally, the artificial reality system can detect that the user has used the user's hand to perform a menu activation gesture based on hand placement. In response to detecting the menu activation gesture, the artificial reality system can draw a UI menu 124 near the virtual hand. UI menu 124 may include one or more UI elements 126 arranged along the extent of UI menu 124 . In one or more aspects, one or more UI elements 126 may be menu items arranged along the horizontal extent of a coordinate space, such as viewing space or viewing space. In the example shown in FIG. 7A, coordinate axes 704 are shown only to illustrate the coordinate space. Coordinate axes 704 need not be presented on the actual display. In the example shown in Figures 7A-7G, the horizontal extent is along the X axis, the vertical extent is along the Y axis, and the depth is along the Z axis.

上記のように、メニュー起動ジェスチャは、ユーザがユーザの手を実質的に上向きに置くことを含むことができる。たとえば、人工現実システムは、手の他の面の手のひらに垂直なベクトル７０２もまた、Ｘ軸およびＺ軸で形成される平面に実質的に垂直であることを検出することができる。１つまたは複数の態様では、ベクトル７０２が、Ｘ軸およびＺ軸で形成される平面に対する垂直線の３０度以内にある場合（破線で示されている）、ベクトル７０２は実質的に垂直線であると見なされ得る。１つまたは複数の態様では、３０度以外の他の閾値が使用され得る。 As noted above, the menu activation gesture may involve the user placing the user's hand substantially upwards. For example, the artificial reality system can detect that the vector 702 perpendicular to the palm on the other side of the hand is also substantially perpendicular to the plane formed by the X and Z axes. In one or more aspects, if vector 702 is within 30 degrees of the normal to the plane formed by the X and Z axes (shown as dashed line), then vector 702 is substantially perpendicular. can be considered to exist. In one or more aspects, other thresholds than 30 degrees may be used.

１つまたは複数の態様では、スライド可能に係合可能なＵＩ要素７０６が、仮想の手１３６の近くに描画され得る。図７Ａに示されている例では、スライド可能に係合可能なＵＩ要素７０６は円である。球、三角形、正方形などの他のグラフィカル要素、または仮想の手１３６のみが、スライド可能に係合可能なＵＩ要素７０６として機能してもよい。さらに、仮想の手１３６の１本または複数本の手指を強調表示して、１本または複数本の手指の強調表示された部分が、スライド可能に係合可能なＵＩ要素であることを示してもよい。 In one or more aspects, a slidably engageable UI element 706 may be rendered near the virtual hand 136 . In the example shown in FIG. 7A, the slidably engageable UI element 706 is a circle. Other graphical elements such as spheres, triangles, squares, or just the virtual hand 136 may function as slidably engageable UI elements 706 . Additionally, one or more fingers of the virtual hand 136 are highlighted to indicate that the highlighted portion of the one or more fingers is a slidably engageable UI element. good too.

図７Ｂは、本開示の態様による、ＵＩメニューおよびスライド可能に係合可能なＵＩ要素を示す、例示的なＨＭＤディスプレイ７４０である。図７Ｂに示されている例では、ユーザは、人工現実システムに、メニューアイテム７０８に近い位置でスライド可能に係合可能なＵＩ要素７０６を描画させるように、メニュースライドジェスチャを実行している。１つまたは複数の態様では、スライド可能に係合可能なＵＩ要素７０６の近くにあるメニューアイテム７０８が強調表示されるか、さもなければ、ユーザが選択ジェスチャ７０８を実行すると、メニューアイテム７０８が、選択されることを示すために増大または修正され得る。ラベル７１０は、メニューアイテム７０８の強調表示に加えて、または強調表示の代わりに、メニューアイテム７０８の近くに提示され得る。境界線の強調表示、背景の強調表示、点滅、拡大などを含む、様々な強調表示の仕組みが使用され得、メニューアイテム７０８を強調表示するために使用され得る。メニュー要素７０８の強調表示は、ユーザが選択ジェスチャを実行した場合にメニュー要素７０８が選択されることを、示すことができる。１つまたは複数の態様では、選択ジェスチャは、挟持配置の手指とは相異なる、たとえば挟持配置を解除する、手の手指の動きであり得る。１つまたは複数の態様では、選択ジェスチャは、ＵＩメニューの平面に実質的に垂直な方向への手の動きであり得る。本明細書で使用される場合、平面に対する「実質的に垂直な」は、平面に対する垂直線の０～２度以内、平面に対する垂直線の０～５度以内、平面に対する垂直線の０～１０度以内、平面に対する垂直線の０～２０度以内、または平面に対する垂直線の０～３０度以内を示すことができる。１つまたは複数の態様では、選択ジェスチャは、手の親指および手指が、もはや挟持配置でなくなるよう再配置され得る。１つまたは複数の態様では、選択ジェスチャは、別の手指（たとえば、小指）を丸めるかまたは伸ばすなどの動きまたは再配置であり得る。選択ジェスチャを検出することにより、人工現実システムは、何らかの動作を実行することができる。たとえば、選択ジェスチャにより、アプリケーションが、インスタンスを生成することができるか、現在実行中のアプリケーションが、ＨＭＤのディスプレイの前面に表示され得るか、または場合によっては、人工現実システムが、特定の実行している人工現実アプリケーション内で、何らかの動作を実行することができる。 FIG. 7B is an exemplary HMD display 740 showing UI menus and slidably engageable UI elements according to aspects of the present disclosure. In the example shown in FIG. 7B, the user has performed a menu slide gesture to cause the artificial reality system to draw a slidably engageable UI element 706 near menu item 708 . In one or more aspects, when a menu item 708 near a slidably engageable UI element 706 is highlighted or otherwise the user performs a selection gesture 708, the menu item 708 It may be augmented or modified to indicate selection. Label 710 may be presented near menu item 708 in addition to or instead of highlighting menu item 708 . Various highlighting mechanisms may be used, including border highlighting, background highlighting, blinking, magnifying, etc., and may be used to highlight menu item 708 . Highlighting of menu element 708 can indicate that menu element 708 will be selected if the user performs a selection gesture. In one or more aspects, the selection gesture can be a finger movement of a hand that is different from a pinched finger, such as releasing a pinched finger. In one or more aspects, the selection gesture may be a hand movement in a direction substantially perpendicular to the plane of the UI menu. As used herein, “substantially perpendicular” to a plane means within 0-2 degrees of normal to the plane, within 0-5 degrees of normal to the plane, and 0-10 degrees of normal to the plane. within degrees, within 0-20 degrees of normal to the plane, or within 0-30 degrees of normal to the plane. In one or more aspects, the selection gesture may be repositioned such that the thumb and fingers of the hand are no longer in a pinching position. In one or more aspects, the selection gesture may be a movement or repositioning, such as curling or extending another finger (eg, little finger). By detecting the selection gesture, the artificial reality system can perform some action. For example, a selection gesture may cause an application to be instantiated, a currently running application to be brought to the front of the HMD's display, or in some cases, an artificial reality system to trigger a particular running application. Any action can be performed within an artificial reality application that is

したがって、一連のジェスチャを使用して、メニュー１２４の表示をトリガし、スライド可能に係合可能なＵＩ要素７０６を、メニュー１２４のメニュー要素７０８の上または近くに置き、メニュー要素７０８を選択することができる。例示的な実施態様では、ユーザは、メニュー起動ジェスチャを実行し（たとえば、手の手指を挟持配置に置く）、これによりメニュー１２４が、ＨＭＤによって表示され得る。ユーザは、メニュースライドジェスチャ（たとえば、挟持配置を持続しながら手を動かす）を実行し、これによりスライド可能に係合可能なＵＩ要素７０６を、手の動きに応じてメニュー１２４に沿ってスライドさせることができる。次いで、ユーザは、選択ジェスチャを実行して（たとえば、手指および親指を挟持配置から解除する）、スライド可能に係合可能なＵＩ要素７０６によって指示されるメニュー要素７０８を選択することができる。 Thus, using a series of gestures to trigger the display of menu 124 , placing slidably engageable UI element 706 on or near menu element 708 of menu 124 , and selecting menu element 708 . can be done. In an exemplary implementation, the user may perform a menu activation gesture (eg, place the fingers of the hand in a pinched position), thereby causing the menu 124 to be displayed by the HMD. The user performs a menu slide gesture (e.g., moves the hand while maintaining a pinching position), thereby causing the slidably engageable UI element 706 to slide along the menu 124 in response to the hand movement. be able to. The user can then perform a selection gesture (eg, release the fingers and thumb from the pinched position) to select the menu element 708 indicated by the slidably engageable UI element 706 .

図５に戻ると、人工現実システムは、ＵＩメニュー１２４を描画した後、手の新しい現在の配置を判断することができる（５０２）。ＵＩメニュー１２４を描画してから手の新しい配置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。 Returning to FIG. 5, after rendering the UI menu 124, the artificial reality system can determine the new current placement of the hand (502). Many other actions may be performed by the artificial reality system between drawing the UI menu 124 and determining the new placement of the hand.

人工現実システムが、ユーザの手がもはやメニュープロンプトジェスチャまたはメニュー起動ジェスチャを実行していないことを検出した場合、人工現実システムは、ＵＩメニュー１２４またはメニュープロンプト８１０が表示されているかどうかを判断することができる。表示されている場合、人工現実システムは、ユーザの手がもはやＵＩメニュー１２４またはメニュープロンプト８１０を表示するための適切な配置にないので、ＵＩメニュー１２４またはメニュープロンプト８１０をディスプレイから削除することができる（５１４）。 If the artificial reality system detects that the user's hand is no longer performing the menu prompt gesture or menu activation gesture, the artificial reality system determines whether the UI menu 124 or menu prompt 810 is displayed. can be done. If so, the artificial reality system may remove the UI menu 124 or menu prompt 810 from the display because the user's hands are no longer in proper alignment for displaying the UI menu 124 or menu prompt 810. (514).

ＵＩメニュー１２４またはメニュープロンプト８１０を削除した後、フローは、手の新しい現在の配置を判断するために戻る（５０２）。ＵＩメニュー１２４またはメニュープロンプト８１０を削除してから手の新しい配置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。 After deleting UI menu 124 or menu prompt 810, flow returns (502) to determine the new current placement of the hand. Many other actions may be performed by the artificial reality system between deleting the UI menu 124 or menu prompt 810 and determining the new hand placement.

図６は、本開示の態様による、ＵＩメニューを位置決めし、ＵＩメニューと相互作用する、例示的な方法の動作を示す流れ図である。人工現実システムは、手の位置を判断することができる（６０２）。たとえば、位置は、画像センサから、または人工現実システムと結合された他の種類のセンサから取り込まれた画像データから、判断され得る。 FIG. 6 is a flow diagram illustrating the operations of an exemplary method for locating and interacting with UI menus, according to aspects of this disclosure. The artificial reality system can determine the position of the hand (602). For example, position may be determined from image data captured from an image sensor or from other types of sensors coupled with an artificial reality system.

人工現実システムは、ＵＩメニューが現在有効であるかどうか（すなわち、ＨＭＤによって描画および表示されているかどうか）を判断することができる（６０４）。ＵＩメニューが現在有効でない場合、フローは、手の更新された位置の判断に戻ることができる（６０２）。ＵＩメニューが有効であるかどうかを判断してから手の更新された位置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。 The artificial reality system can determine 604 whether the UI menu is currently active (ie, whether it is drawn and displayed by the HMD). If the UI menu is not currently active, flow may return to determining the updated position of the hand (602). Many other actions may be performed by the artificial reality system between determining whether the UI menu is valid and determining the updated position of the hand.

ＵＩメニューが有効である場合、人工現実システムは、ユーザがメニュースライドジェスチャを実行しているかどうかを判断することができる（６０６）。いくつかの態様では、メニュースライドジェスチャは、メニューが有効である間（たとえば、ユーザの手がメニュー起動ジェスチャを実行している間）の、手の実質的に水平方向の動きであり得る。たとえば、人工現実システムは、手の以前の位置を手の現在の位置と比較して、メニュースライドジェスチャが行われているかどうかを判断することができる。メニュースライドジェスチャが検出された場合、人工現実システムは、メニュースライドジェスチャに応じて、仮想の手および／またはスライド可能に係合可能なインタフェース要素を、ＵＩメニュー１２４に沿って移動させることができる（６０８）。メニューアイテムが垂直方向に向けられている場合、メニュースライドジェスチャは、手の実質的に垂直方向の動きであり得る。メニュースライドジェスチャが検出されない場合、人工現実システムは、メニュースライドジェスチャではない他の手の動きが検出されるかどうかを判断することができる（６１０）。「実質的に」垂直方向および水平方向とは、垂直方向または水平方向の５度、１０度、２０度、または３０度以内であり得る。 If the UI menu is enabled, the artificial reality system can determine if the user is performing a menu slide gesture (606). In some aspects, the menu slide gesture may be a substantially horizontal movement of the hand while the menu is active (eg, while the user's hand is performing a menu activation gesture). For example, the artificial reality system can compare the previous position of the hand to the current position of the hand to determine if a menu slide gesture is being performed. If a menu slide gesture is detected, the artificial reality system can move the virtual hand and/or the slidably engageable interface element along the UI menu 124 in response to the menu slide gesture ( 608). If the menu item is oriented vertically, the menu slide gesture can be a substantially vertical movement of the hand. If a menu slide gesture is not detected, the artificial reality system can determine whether other hand movements that are not menu slide gestures are detected (610). "Substantially" vertically and horizontally can be within 5, 10, 20, or 30 degrees of vertical or horizontal.

図７Ｃは、本開示の態様による、ＵＩメニューおよびメニュースライドジェスチャを示す、例示的なＨＭＤディスプレイ７５０である。１つまたは複数の態様では、メニュースライドジェスチャは、ＵＩメニュー１２４の水平方向の広がりに沿ったユーザの手の動き（たとえば、Ｘ軸に平行な動き）であり得る。図７Ｃに示されている例では、ユーザは、ＵＩメニュー１２４の水平方向の広がりに沿って（メニュー起動ジェスチャを持続しながら）ユーザの手を動かしている。人工現実システムは、ユーザの手の動きに応じて、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６が、メニューアイテム７１２の近くにくるように、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６の位置を変更することができる。人工現実システムは、メニュー要素７０８から強調表示を削除することができ、またメニュー要素７１２を強調表示して、ユーザが選択ジェスチャを実行する場合には、メニュー要素７１２が選択されることを示すことができる。メニューアイテム７１２の強調表示に加えて、またはメニューアイテム７１２の強調表示の代わりに、ラベル７１４が表示され得る。いくつかの例では、人工現実システムは、メニューアイテムを強調表示しない。いくつかの例では、人工現実システムは、ＵＩ要素７０６を描画しない。１つまたは複数の態様では、ＵＩメニュー１２４は、メニュースライドジェスチャより前にＵＩメニューがあったのと同じ水平方向の位置に保持される。言い換えれば、ＵＩメニュー１２４は水平方向に静止しており、一方仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、ユーザがメニュースライドジェスチャを実行するのに応答して、ＵＩメニュー１２４の水平方向の広がりに沿って動く。 FIG. 7C is an exemplary HMD display 750 showing a UI menu and menu slide gestures, according to aspects of this disclosure. In one or more aspects, the menu slide gesture may be a movement of the user's hand along the horizontal extent of the UI menu 124 (eg, movement parallel to the X-axis). In the example shown in FIG. 7C, the user is moving his hand (while maintaining the menu activation gesture) along the horizontal extent of the UI menu 124 . The artificial reality system responsively engages the virtual hand 136 and the slidably engageable UI element 706 so that the virtual hand 136 and the slidably engageable UI element 706 are proximate to the menu item 712 . The position of the configurable UI element 706 can be changed. The artificial reality system can remove the highlighting from menu element 708 and highlight menu element 712 to indicate that menu element 712 will be selected if the user performs a selection gesture. can be done. In addition to or instead of highlighting menu item 712, label 714 may be displayed. In some instances, the artificial reality system does not highlight menu items. In some examples, the artificial reality system does not render UI element 706 . In one or more aspects, the UI menu 124 is kept in the same horizontal position that the UI menu was in prior to the menu slide gesture. In other words, UI menu 124 is horizontally stationary while virtual hand 136 and slidably engagable UI element 706 move to UI menu 124 in response to the user performing a menu slide gesture. moves along the horizontal extent of

図６に戻ると、水平方向の動きが検出されたかどうかを判断した後、人工現実システムは、ユーザの手による水平方向ではない動きが行われているかどうかを判断することができる（６１０）。たとえば、人工現実システムは、垂直方向の動き（すなわち、Ｙ軸に平行な動き）および／または前から後ろもしくは後ろから前への動き（すなわち、Ｚ軸に平行な動き）があったかどうかを判断することができる。ユーザの手の水平方向ではない動きが検出された場合、人工現実システムは、水平方向ではない動きに基づいて、仮想の手、スライド可能に係合可能なＵＩ要素、およびＵＩメニューの位置を移動させることができる。ＵＩメニューアイテムが垂直方向に配列されている例では、ユーザの手の垂直方向でない動きが、手の「他の動き」を構成する。 Returning to FIG. 6, after determining whether horizontal motion has been detected, the artificial reality system can determine whether non-horizontal motion is being performed by the user's hand (610). For example, the artificial reality system determines whether there was vertical motion (i.e., motion parallel to the Y-axis) and/or front-to-back or back-to-front motion (i.e., motion parallel to the Z-axis). be able to. If non-horizontal movement of the user's hand is detected, the artificial reality system moves the positions of the virtual hand, slidably engageable UI elements, and UI menus based on the non-horizontal movement. can be made In examples where the UI menu items are arranged vertically, non-vertical movements of the user's hand constitute "other movements" of the hand.

図７Ｄは、垂直方向の動きが検出された後のＵＩメニューを示す、例示的なＨＭＤディスプレイ７６０である。図７Ｄに示されている例では、ユーザは、ユーザの手を下向きに動かしている。人工現実システムは、垂直方向の動きを検出することができ、検出された垂直方向の動きに基づいて、ＵＩメニュー１２４、仮想の手１３６、およびスライド可能に係合可能なＵＩ要素７０６の位置を移動させることができる。いくつかの態様では、垂直方向の動きに加えて水平方向の動きが検出されない場合、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、ＵＩメニュー１２４に対する仮想の手およびスライド可能に係合可能なＵＩ要素の以前の位置で保持される。したがって、同じメニュー要素７１２が、垂直方向の動きが行われるときに強調表示されていた状態で保持される。 FIG. 7D is an exemplary HMD display 760 showing the UI menu after vertical motion has been detected. In the example shown in FIG. 7D, the user is moving their hand downward. The artificial reality system can detect vertical motion, and based on the detected vertical motion, position the UI menu 124, the virtual hand 136, and the slidably engagable UI element 706. can be moved. In some aspects, if no horizontal motion is detected in addition to vertical motion, the virtual hand 136 and slidably engagable UI element 706 align the virtual hand and slidably with respect to the UI menu 124 . The previous position of the engagable UI element is retained. Therefore, the same menu element 712 remains highlighted as the vertical movement is performed.

図７Ｅは、後から前への動きが検出された（すなわち、ユーザがＺ軸に沿ってユーザの手をユーザ自身により近づけた）後のＵＩメニューを示す、例示的なＨＭＤディスプレイ７７０である。人工現実システムは、後から前への動きを検出することができ、検出された後から前への動きに基づいて、ＵＩメニュー１２４、仮想の手１３６、およびスライド可能に係合可能なＵＩ要素７０６の位置を移動させることができる。したがって、仮想の手、ＵＩメニュー１２４、およびスライド可能に係合可能なＵＩ要素７０６の位置は、より大きく、したがってユーザに対してより近くに表示される。いくつかの態様では、Ｚ軸に沿った動きに加えて、水平方向の動きが検出されない場合、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、ＵＩメニュー１２４に対する仮想の手およびスライド可能に係合可能なＵＩ要素の以前の位置で保持される。したがって、同じメニュー要素７１２が、Ｚ軸に沿った動きが行われるときに強調表示されていた状態で保持される。 FIG. 7E is an exemplary HMD display 770 showing the UI menu after back-to-front motion has been detected (ie, the user has moved their hand closer to themselves along the Z axis). The artificial reality system can detect back-to-front motion, and based on the detected back-to-front motion, the UI menu 124, the virtual hand 136, and the slidably engageable UI elements. The position of 706 can be moved. Accordingly, the positions of the virtual hand, UI menu 124, and slidably engageable UI elements 706 are displayed larger and thus closer to the user. In some aspects, if no horizontal motion is detected in addition to motion along the Z-axis, the virtual hand 136 and slidably engageable UI element 706 are displayed with respect to the UI menu 124 . The slidably engageable UI element is retained in its previous position. Therefore, the same menu element 712 remains highlighted as the movement along the Z axis is performed.

図６に戻ると、ＵＩメニュー、仮想の手、およびスライド可能に係合可能なＵＩ要素が、ユーザの手の動き（もしあれば）に応じて移動された後に、人工現実システムは、仮想の手およびスライド可能に係合可能なＵＩ要素を、ユーザの手の現在の位置に基づいて、ＵＩメニュー１２４の近くにくるように描画することができる。次いで、フローは、手の更新された位置を判断するために戻ることができる（６０２）。ＵＩメニューを描画してから手の更新された位置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。 Returning to FIG. 6, after the UI menu, the virtual hand, and the slidably engageable UI elements have been moved in response to the user's hand movements (if any), the artificial reality system Hands and slidably engageable UI elements can be drawn to be proximate UI menu 124 based on the current position of the user's hands. Flow may then return to determine the updated position of the hand (602). Many other actions may be performed by the artificial reality system between drawing the UI menu and determining the updated position of the hand.

図７Ｆは、本開示の態様による、ＵＩメニュー１２４およびＵＩアイコン配列７２０を示す、例示的なＨＭＤディスプレイ７８０である。いくつかの態様では、ＵＩメニュー１２４のメニューアイテムは、アプリケーションに対応することができる。１つまたは複数の態様では、ＵＩメニュー１２４は、２つの部分７１６および７１８に分割され得る。部分７１６のメニュー要素は、お気に入りのアプリケーションを表すことができ、部分７１８のメニュー要素は、人工現実システム内で現在実行されているアプリケーションを表すことができる。さらに、いくつかの態様では、人工現実システムは、人工現実システムで利用可能であるかまたは実行されているアプリケーションを表すアイコンの、アイコン配列７１０を提示することができる。アイコン配列７２０内の個々のアイコン上の画像は、対応するアプリケーションの現在の表示、またはアプリケーションに関連づけられた画像を表すことができる。 FIG. 7F is an exemplary HMD display 780 showing UI menu 124 and UI icon array 720, according to aspects of the present disclosure. In some aspects, menu items of UI menu 124 may correspond to applications. In one or more aspects, UI menu 124 may be divided into two portions 716 and 718 . Menu elements in portion 716 may represent favorite applications, and menu elements in portion 718 may represent applications currently running within the artificial reality system. Further, in some aspects, the artificial reality system may present an icon array 710 of icons representing applications available or running on the artificial reality system. The image on each icon in icon array 720 may represent the current display of the corresponding application, or an image associated with the application.

図７Ｇは、本開示の態様による、ＵＩメニュー１２４およびＵＩアイコン配列７２０を示す、例示的なＨＭＤディスプレイ７９０である。図７Ｇに示されている例では、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、メニューアイテム７２４の近くにある。この例では、３次元強調表示が使用され、スライド可能に係合可能なＵＩ要素７０６の近くにあるメニューアイテムを、前方にもってきて、それにより画像を、ユーザに、より大きく見せることができる。加えて、メニューアイテム７２４に対応するアイコン７２２も強調表示され得る。この例では、アイコン７２２の境界線が強調表示されている。 FIG. 7G is an exemplary HMD display 790 showing the UI menu 124 and UI icon array 720, according to aspects of this disclosure. In the example shown in FIG. 7G, virtual hand 136 and slidably engageable UI element 706 are near menu item 724 . In this example, three-dimensional highlighting is used to bring menu items near the slidably engageable UI element 706 to the front, thereby allowing the image to appear larger to the user. . Additionally, icon 722 corresponding to menu item 724 may also be highlighted. In this example, the border of icon 722 is highlighted.

上記の考察では、ＵＩメニューが水平方向に配置される人工現実システムの態様を提示してきた。他の態様では、ＵＩメニューは、垂直方向に配置され得る。かかる態様では、ＵＩメニューが垂直方向に静止状態で保持されている間に、手の垂直方向の動きによって、スライド可能に係合可能なＵＩ要素および仮想の手を、ＵＩメニューの垂直方向の広がりに沿って移動させることができる。垂直方向でない動き（すなわち、水平方向の動きまたは前から後ろへの動き）によって、垂直方向でない動きに応じて、ＵＩメニューの位置を移動させることができる。 The discussion above has presented aspects of an artificial reality system in which the UI menus are arranged horizontally. In other aspects, the UI menus may be arranged vertically. In such an aspect, while the UI menu is held vertically stationary, vertical movement of the hand causes the slidably engagable UI elements and the virtual hand to expand the vertical extent of the UI menu. can be moved along Non-vertical movement (ie, horizontal movement or front-to-back movement) can cause the position of the UI menu to move in response to the non-vertical movement.

この開示で説明される技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。たとえば、説明された技法の様々な態様は、１つもしくは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の任意の同等の集積型または離散型論理回路ばかりでなく、かかる構成要素の任意の組合せを含む、１つまたは複数のプロセッサ内で実施され得る。用語「プロセッサ」または「処理回路」は、概して、単独で、もしくは他の論理回路と組み合わせた、前述の論理回路のいずれか、または他の任意の同等の回路を指すことができる。ハードウェアを備える制御ユニットはまた、この開示の１つまたは複数の技法を実行することができる。 The techniques described in this disclosure may be implemented, at least in part, in hardware, software, firmware, or any combination thereof. For example, various aspects of the described techniques may be implemented in one or more microprocessors, DSPs, application specific integrated circuits (ASICs), field programmable gate arrays (FPGAs), or any other equivalent integrated or discrete. It may be implemented in one or more processors comprising any combination of such components, as well as type logic. The term "processor" or "processing circuit" can generally refer to any of the aforementioned logic circuits, either alone or in combination with other logic circuits, or any other equivalent circuit. A control unit comprising hardware may also perform one or more techniques of this disclosure.

かかるハードウェア、ソフトウェア、およびファームウェアは、この開示で説明されている様々な動作および機能をサポートするために、同じデバイス内または別個のデバイス内に実装され得る。加えて、説明されているユニット、モジュール、または構成要素のいずれも、一体的に、または離散的であるが相互運用可能な論理デバイスとして別々に実装され得る。モジュールまたはユニットとしての様々な特徴の記述は、様々な機能的側面を強調することが意図されており、かかるモジュールまたはユニットが、別々のハードウェアまたはソフトウェア構成要素で実現される必要があることを必ずしも含意しない。それどころか、１つまたは複数のモジュールまたはユニットに関連する機能は、別々のハードウェアもしくはソフトウェア構成要素によって実行されるか、または共通もしくは別々のハードウェアもしくはソフトウェア構成要素内に統合され得る。 Such hardware, software, and firmware may be implemented within the same device or within separate devices to support the various operations and functions described in this disclosure. Additionally, any of the described units, modules, or components may be implemented together or separately as discrete but interoperable logic devices. The description of various features as modules or units is intended to emphasize various functional aspects and implies that such modules or units must be implemented with separate hardware or software components. not necessarily implied. Rather, the functionality associated with one or more modules or units may be performed by separate hardware or software components, or integrated within common or separate hardware or software components.

この開示で説明されている技法はまた、命令を格納するコンピュータ可読記憶媒体などのコンピュータ可読媒体内で、具現化されるかまたは符号化され得る。コンピュータ可読記憶媒体内に組み込まれたまたは符号化された命令は、たとえば、命令が実行されるときに、プログラム可能なプロセッサまたは他のプロセッサに方法を実行させることができる。コンピュータ可読記憶媒体には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体が含まれ得る。 The techniques described in this disclosure may also be embodied or encoded in a computer-readable medium, such as a computer-readable storage medium that stores instructions. Instructions embodied in or encoded in a computer-readable storage medium, for example, may cause a programmable processor or other processor to perform a method when the instructions are executed. Computer readable storage media include random access memory (RAM), read only memory (ROM), programmable read only memory (PROM), erasable programmable read only memory (EPROM), electronically erasable It may include programmable read only memory (EEPROM), flash memory, hard disk, CD-ROM, floppy disk, cassette, magnetic media, optical media, or other computer readable media.

本明細書で様々な例として説明されるように、本開示の技法は、人工現実システムを含むか、または人工現実システムと組み合わせて実施され得る。説明されたように、人工現実は、ユーザに提示する前に何らかのやり方で調整された現実の形式であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生的なものが含まれ得る。人工現実コンテンツには、全面的に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、実世界の写真）と組み合わせて生成されたコンテンツが含まれ得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含むことができ、これらのいずれかが、単一チャネルまたは複数チャネル（観察者に対して３次元効果を生成する立体式ビデオなど）で提示され得る。さらに、いくつかの実施形態では、人工現実は、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに付随する場合があり、たとえば、人工現実内でコンテンツを作成するために使用され、かつ／または人工現実内で使用される（たとえば、人工現実内で活動を行う）。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントデバイス（ＨＭＤ）、独立型ＨＭＤ、携帯デバイスもしくはコンピュータ処理システム、または１人もしくは複数人の観察者に人工現実コンテンツを提供することができる他の任意のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。 As described in various examples herein, the techniques of this disclosure may include or be implemented in conjunction with an artificial reality system. As explained, artificial reality is a form of reality that is conditioned in some way before presentation to the user, e.g. virtual reality (VR), augmented reality (AR), mixed reality (MR), hybrid reality , or any combination and/or derivative thereof. Artificial reality content may include content that is entirely generated or content that is generated in combination with captured content (eg, real-world photographs). Artificial reality content can include video, audio, haptic feedback, or some combination thereof, any of which can be single-channel or multi-channel (stereoscopic video that produces a three-dimensional effect for the viewer). etc.). Further, in some embodiments, artificial reality may accompany applications, products, accessories, services, or some combination thereof, for example, used to create content within artificial reality and/or or used within an artificial reality (eg, performing an activity within an artificial reality). An artificial reality system that provides artificial reality content may be a head-mounted device (HMD) connected to a host computer system, a stand-alone HMD, a handheld device or computer processing system, or presents artificial reality content to one or more viewers. It can be implemented on a variety of platforms, including any other hardware platform that can be provided.

Claims (14)

画像データを取り込むよう構成される、画像取込みデバイス、
人工現実コンテンツを出力するよう構成される、ヘッドマウントディスプレイ（ＨＭＤ）、
前記画像データから、手が実質的に上向きである前記手の配置と、前記手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別するよう構成される、ジェスチャ検出器、
前記メニュー起動ジェスチャに応答して、メニューインタフェース、および前記メニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成するよう構成される、ユーザインタフェース（ＵＩ）エンジン、ならびに
前記ＨＭＤで表示するための前記人工現実コンテンツ、前記メニューインタフェース、および前記スライド可能に係合可能なＵＩ要素を描画するよう構成される、描画エンジン
を備える、人工現実システム。 an image capture device configured to capture image data;
a head-mounted display (HMD) configured to output artificial reality content;
a gesture detector configured to identify, from the image data, a menu activation gesture including a placement of the hand with the hand pointing substantially upwards and a pinching placement of the thumb and fingers of the hand;
a user interface (UI) engine configured to generate, in response to said menu activation gesture, a menu interface and a slidably engageable UI element in a first position relative to said menu interface; and an artificial reality system, comprising a rendering engine configured to render the artificial reality content, the menu interface, and the slidably engageable UI elements for display on the HMD. 前記メニューインタフェースが、前記メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、かつ
前記ＵＩエンジンが、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置に応じて、前記メニューアイテムのうちの１つを強調表示するよう構成され、好ましくは、前記１つまたは複数のメニューアイテムが、前記人工現実システム上で実行されるそれぞれのアプリケーションに対応する、
請求項１に記載の人工現実システム。 the menu interface having one or more menu items arranged along the extent of the menu interface; and configured to highlight one of said menu items accordingly, preferably said one or more menu items corresponding to respective applications running on said artificial reality system;
The artificial reality system of claim 1. 前記ジェスチャ検出器がさらに、前記画像データから、前記手の動きと組み合わせた前記手の前記配置を含む、メニュースライドジェスチャを識別するよう構成され、また
前記ＵＩエンジンがさらに、前記メニュースライドジェスチャに応答して、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対して第２の位置に移動させるよう構成され、かつ好ましくは、
前記メニューインタフェースが、前記メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、
前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対して前記第２の位置に移動させるために、前記ＵＩエンジンが、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースの前記広がりに沿って前記メニューインタフェースに対する前記第２の位置へスライドさせるよう構成され、かつ／または好ましくは、
前記メニュースライドジェスチャが、実質的に第１の方向への前記手の動きを含み、
前記ジェスチャ検出器が、前記画像データから、前記メニュー起動ジェスチャに続く実質的に第２の方向への前記手の動きを識別するよう構成され、前記実質的に第２の方向が、前記実質的に第１の方向に実質的に直交しており、
前記ＵＩエンジンがさらに、前記実質的に第２の方向への前記手の前記動きに応答して、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置を維持しながら、前記スライド可能に係合可能なＵＩ要素および前記メニューインタフェースを移動させるよう構成される、
請求項１または２に記載の人工現実システム。 The gesture detector is further configured to identify, from the image data, a menu slide gesture including the placement of the hand in combination with the hand movement, and the UI engine is further configured to respond to the menu slide gesture. to move said slidably engageable UI element to a second position relative to said menu interface, and preferably comprising:
the menu interface having one or more menu items arranged along the extent of the menu interface;
moving the slidably engagable UI element to the second position relative to the menu interface, wherein the UI engine moves the slidably engagable UI element to the menu interface; configured to slide along said extent to said second position relative to said menu interface and/or preferably
wherein the menu slide gesture includes movement of the hand substantially in a first direction;
The gesture detector is configured to identify, from the image data, movement of the hand in a substantially second direction following the menu activation gesture, wherein the substantially second direction corresponds to the substantially substantially orthogonal to the first direction in
The UI engine further comprises the slidable element while maintaining the position of the slidably engageable UI element relative to the menu interface in response to the movement of the hand in the substantially second direction. configured to move UI elements and said menu interface engageable with
3. The artificial reality system according to claim 1 or 2. １つまたは複数の人工現実アプリケーションを実行するためのアプリケーションエンジンをさらに備え、
前記ジェスチャ検出器が、前記画像データから、前記メニュースライドジェスチャに続く選択ジェスチャを識別するよう構成され、かつ
前記アプリケーションエンジンが、前記選択ジェスチャに応答して動作を実行するよう構成され、好ましくは、前記選択ジェスチャが、（１）前記手の別の手指を動かすこと、（２）前記メニューインタフェースに実質的に垂直な方向へ前記手を移動させること、または（３）前記手の前記親指および前記手指がもはや前記挟持配置でなくなるように再配置することのうちの１つを含む、
請求項１から３のいずれか一項に記載の人工現実システム。 further comprising an application engine for executing one or more artificial reality applications;
wherein said gesture detector is configured to identify from said image data a selection gesture following said menu slide gesture, and said application engine is configured to perform an action in response to said selection gesture, preferably comprising: The selection gesture includes (1) moving another finger of the hand, (2) moving the hand in a direction substantially perpendicular to the menu interface, or (3) the thumb of the hand and the repositioning the fingers so that they are no longer in the pinching position;
An artificial reality system according to any one of claims 1-3. 前記ジェスチャ検出器がさらに、前記画像データから、前記メニュー起動ジェスチャの前にメニュープロンプトジェスチャを識別するよう構成され、
前記ＵＩエンジンがさらに、前記メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成するように構成され、好ましくは、前記メニュープロンプトジェスチャが、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された前記手を含み、かつ
前記ＵＩエンジンが、仮想の手の親指と手指との間の前記間隔に前記メニュープロンプト要素を生成し、好ましくは、前記メニュープロンプト要素が、前記仮想の手の前記親指と前記手指との間の線を含む、
請求項１から４のいずれか一項に記載の人工現実システム。 the gesture detector is further configured to identify from the image data a menu prompt gesture prior to the menu activation gesture;
The UI engine is further configured to generate a menu prompt element in response to the menu prompt gesture, preferably the menu prompt gesture is substantially spaced between the thumb and finger. and said UI engine generates said menu prompt element at said spacing between the thumb and fingers of a virtual hand, said menu prompt element preferably comprising: , including the line between the thumb and the fingers of the virtual hand;
5. An artificial reality system according to any one of claims 1-4. 前記画像取込みデバイスが、前記ＨＭＤに統合されている、請求項１から５のいずれか一項に記載の人工現実システム。 6. The artificial reality system of any one of claims 1-5, wherein the image capture device is integrated into the HMD. ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムによって、画像取込みデバイスを介して画像データを取得すること、
前記人工現実システムによって、前記画像データから、メニュー起動ジェスチャを識別することであって、前記メニュー起動ジェスチャが、手が実質的に上向きである前記手の配置と、前記手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別すること、
前記人工現実システムによって、前記メニュー起動ジェスチャに応答して、メニューインタフェース、および前記メニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成すること、ならびに
前記人工現実システムによって、前記ＨＭＤで表示するための人工現実コンテンツ、前記メニューインタフェース、および前記スライド可能に係合可能なＵＩ要素を描画すること
を含む、方法。 Acquiring image data via an image capture device by an artificial reality system including a head-mounted display (HMD);
identifying, by the artificial reality system, a menu-activated gesture from the image data, wherein the menu-activated gesture comprises a placement of the hand in which the hand is pointing substantially upwards and a pinching of the thumb and fingers of the hand; identifying menu activation gestures, including positioning;
generating, by the artificial reality system, a menu interface and a slidably engageable UI element in a first position relative to the menu interface in response to the menu activation gesture; and the artificial reality system. A method comprising rendering, by a system, artificial reality content for display on the HMD, the menu interface, and the slidably engageable UI elements. 前記メニューインタフェースが、前記メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、前記方法が、
前記人工現実システムによって、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置に応じて、前記メニューアイテムのうちの１つを強調表示すること
をさらに含む、請求項７に記載の方法。 the menu interface having one or more menu items arranged along the extent of the menu interface, the method comprising:
8. The method of claim 7, further comprising highlighting, by the artificial reality system, one of the menu items according to the position of the slidably engageable UI element relative to the menu interface. . 前記人工現実システムによって、前記画像データから、前記手の動きと組み合わせた前記手の前記配置を含む、メニュースライドジェスチャを識別することと、
前記人工現実システムによって、前記メニュースライドジェスチャに応答して、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対する第２の位置に移動させることと
をさらに含む、請求項７または８に記載の方法。 identifying, by the artificial reality system, from the image data a menu slide gesture comprising the placement of the hand in combination with the movement of the hand;
9. The method of claim 7 or 8, further comprising moving, by the artificial reality system, the slidably engageable UI element to a second position relative to the menu interface in response to the menu slide gesture. described method. 前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対する前記第２の位置に移動させることが、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースの広がりに沿って前記メニューインタフェースに対する前記第２の位置へスライドさせることを含む、請求項９に記載の方法。 Moving the slidably engagable UI element to the second position relative to the menu interface moves the slidably engagable UI element along the extent of the menu interface to the menu interface. 10. The method of claim 9, comprising sliding to the second position relative to. 前記メニュースライドジェスチャが、実質的に第１の方向への前記手の動きを含み、前記方法が、
前記人工現実システムによって、前記画像データから、前記メニュー起動ジェスチャに続く実質的に第２の方向への前記手の動きを識別することであって、前記実質的に第２の方向が、前記実質的に第１の方向に実質的に直交している、前記手の動きを識別することと、
前記人工現実システムによって、前記実質的に第２の方向への前記手の前記動きに応答して、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置を維持しながら、前記スライド可能に係合可能なＵＩ要素および前記メニューインタフェースを移動させることと
をさらに含む、請求項９または１０に記載の方法。 wherein the menu slide gesture includes movement of the hand substantially in a first direction, the method comprising:
identifying, by the artificial reality system, from the image data a movement of the hand substantially in a second direction following the menu activation gesture, wherein the substantially second direction identifying movements of the hand that are substantially orthogonal to a first direction;
The artificial reality system causes the slidable while maintaining the position of the slidably engageable UI element relative to the menu interface in response to the movement of the hand in the substantially second direction. 11. The method of claim 9 or 10, further comprising moving UI elements engageable with and the menu interface. 前記人工現実システムによって、前記画像データから、メニュープロンプトジェスチャを識別することと、
前記人工現実システムによって、前記メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成することと
をさらに含む、請求項７から１１のいずれか一項に記載の方法。 identifying a menu prompt gesture from the image data by the artificial reality system;
12. The method of any one of claims 7-11, further comprising generating a menu prompt element in response to the menu prompt gesture by the artificial reality system. 実行されると、人工現実システムの１つまたは複数のプロセッサに、
画像取込みデバイスを介して画像データを取り込ませ、
前記画像データから、手の配置を含むメニュー起動ジェスチャを識別させ、
前記メニュー起動ジェスチャに応答して、メニューインタフェース、および前記メニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成させ、
前記メニュー起動ジェスチャに続く、前記手の動きと組み合わせた前記手の前記配置を含む、メニュースライドジェスチャを識別させ、
前記メニュースライドジェスチャに応答して、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対する第２の位置に移動させ、かつ
ヘッドマウントディスプレイ（ＨＭＤ）で表示するための、人工現実コンテンツ、前記メニューインタフェース、および前記スライド可能に係合可能なＵＩ要素を描画させる
命令を含む、非一時的なコンピュータ可読媒体。 When executed, causes one or more processors of the artificial reality system to:
Capture image data via an image capture device,
identifying from the image data a menu activation gesture including hand placement;
generating a menu interface and a slidably engageable UI element in a first position relative to the menu interface in response to the menu activation gesture;
identifying a menu slide gesture following the menu activation gesture, including the placement of the hand in combination with the movement of the hand;
responsive to the menu slide gesture to move the slidably engageable UI element to a second position relative to the menu interface and for display on a head mounted display (HMD); artificial reality content; A non-transitory computer-readable medium comprising instructions for rendering the menu interface and the slidably engageable UI element. 前記命令がさらに、前記１つまたは複数のプロセッサに、
前記画像データから、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された前記手を含む、メニュープロンプトジェスチャを識別させ、かつ
前記メニュープロンプトジェスチャに応答して、仮想の手の親指と手指との間の前記間隔にメニュープロンプト要素を生成させる、
請求項１３に記載の非一時的なコンピュータ可読媒体。 The instructions further cause the one or more processors to:
identifying from the image data a menu prompt gesture comprising the hand positioned in a substantially upward position with a space between the thumb and fingers; and in response to the menu prompt gesture. , causing the spacing between the thumb and fingers of the virtual hand to generate a menu prompt element;
14. The non-transitory computer-readable medium of claim 13.
JP2021555497A 2019-06-07 2020-06-03 Artificial reality system with sliding menu Pending JP2022535316A (en)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/434,919 US10890983B2 (en) 2019-06-07 2019-06-07 Artificial reality system having a sliding menu
US16/434,919 2019-06-07
PCT/US2020/035998 WO2020247550A1 (en) 2019-06-07 2020-06-03 Artificial reality system having a sliding menu

Publications (1)

Publication Number Publication Date
JP2022535316A true JP2022535316A (en) 2022-08-08

Family

ID=71842836

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021555497A Pending JP2022535316A (en) 2019-06-07 2020-06-03 Artificial reality system with sliding menu

Country Status (7)

Country Link
US (1) US10890983B2 (en)
EP (1) EP3980870A1 (en)
JP (1) JP2022535316A (en)
KR (1) KR20220016274A (en)
CN (1) CN113853575A (en)
TW (1) TW202113555A (en)
WO (1) WO2020247550A1 (en)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11275453B1 (en) 2019-09-30 2022-03-15 Snap Inc. Smart ring for manipulating virtual objects displayed by a wearable device
US11455078B1 (en) * 2020-03-31 2022-09-27 Snap Inc. Spatial navigation and creation interface
US11798429B1 (en) 2020-05-04 2023-10-24 Snap Inc. Virtual tutorials for musical instruments with finger tracking in augmented reality
US11520399B2 (en) 2020-05-26 2022-12-06 Snap Inc. Interactive augmented reality experiences using positional tracking
US11925863B2 (en) * 2020-09-18 2024-03-12 Snap Inc. Tracking hand gestures for interactive game control in augmented reality
US12032803B2 (en) * 2020-09-23 2024-07-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11562528B2 (en) 2020-09-25 2023-01-24 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US11921931B2 (en) * 2020-12-17 2024-03-05 Huawei Technologies Co., Ltd. Methods and systems for multi-precision discrete control of a user interface control element of a gesture-controlled device
US11782577B2 (en) 2020-12-22 2023-10-10 Snap Inc. Media content player on an eyewear device
US11797162B2 (en) * 2020-12-22 2023-10-24 Snap Inc. 3D painting on an eyewear device
US20220206588A1 (en) * 2020-12-29 2022-06-30 Snap Inc. Micro hand gestures for controlling virtual and graphical elements
US11740313B2 (en) 2020-12-30 2023-08-29 Snap Inc. Augmented reality precision tracking and display
US11954242B2 (en) 2021-01-04 2024-04-09 Apple Inc. Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
AU2022210589A1 (en) * 2021-01-20 2023-09-07 Apple Inc. Methods for interacting with objects in an environment
US11995230B2 (en) * 2021-02-11 2024-05-28 Apple Inc. Methods for presenting and sharing content in an environment
US12013985B1 (en) 2021-02-25 2024-06-18 Snap Inc. Single-handed gestures for reviewing virtual content
EP4327185A1 (en) 2021-04-19 2024-02-28 Snap, Inc. Hand gestures for animating and controlling virtual and graphical elements
CN113282169B (en) * 2021-05-08 2023-04-07 青岛小鸟看看科技有限公司 Interaction method and device of head-mounted display equipment and head-mounted display equipment
TWI764838B (en) * 2021-09-27 2022-05-11 國立臺中科技大學 A synchronous live teaching device integrating real-time recording and screenshot functions
US20230135974A1 (en) * 2021-11-04 2023-05-04 Microsoft Technology Licensing, Llc Multi-factor intention determination for augmented reality (ar) environment control
WO2023080943A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (ar) environment control
WO2023080957A1 (en) * 2021-11-04 2023-05-11 Microsoft Technology Licensing, Llc. Multi-factor intention determination for augmented reality (ar) environment control
US11928264B2 (en) * 2021-12-16 2024-03-12 Lenovo (Singapore) Pte. Ltd. Fixed user interface navigation
CN116795203A (en) * 2022-03-17 2023-09-22 北京字跳网络技术有限公司 Control method and device based on virtual reality and electronic equipment

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8935003B2 (en) * 2010-09-21 2015-01-13 Intuitive Surgical Operations Method and system for hand presence detection in a minimally invasive surgical system
EP3654146A1 (en) * 2011-03-29 2020-05-20 QUALCOMM Incorporated Anchoring virtual images to real world surfaces in augmented reality systems
US20120249740A1 (en) * 2011-03-30 2012-10-04 Tae-Yon Lee Three-dimensional image sensors, cameras, and imaging systems
US9477303B2 (en) * 2012-04-09 2016-10-25 Intel Corporation System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
US10228242B2 (en) * 2013-07-12 2019-03-12 Magic Leap, Inc. Method and system for determining user input based on gesture
CN112651288B (en) 2014-06-14 2022-09-20 奇跃公司 Method and system for generating virtual and augmented reality
US20160088060A1 (en) * 2014-09-24 2016-03-24 Microsoft Technology Licensing, Llc Gesture navigation for secondary user interface
US10067636B2 (en) * 2016-02-09 2018-09-04 Unity IPR ApS Systems and methods for a virtual reality editor
DE102016006767A1 (en) * 2016-06-02 2017-12-07 Audi Ag A method of operating a display system and display system
CN108536273A (en) * 2017-03-01 2018-09-14 天津锋时互动科技有限公司深圳分公司 Man-machine menu mutual method and system based on gesture

Also Published As

Publication number Publication date
US20200387228A1 (en) 2020-12-10
KR20220016274A (en) 2022-02-08
US10890983B2 (en) 2021-01-12
TW202113555A (en) 2021-04-01
WO2020247550A1 (en) 2020-12-10
CN113853575A (en) 2021-12-28
EP3980870A1 (en) 2022-04-13

Similar Documents

Publication Publication Date Title
JP2022535316A (en) Artificial reality system with sliding menu
EP3997552B1 (en) Virtual user interface using a peripheral device in artificial reality environments
US11003307B1 (en) Artificial reality systems with drawer simulation gesture for gating user interface elements
US11334212B2 (en) Detecting input in artificial reality systems based on a pinch and pull gesture
JP2022535315A (en) Artificial reality system with self-tactile virtual keyboard
US20200387286A1 (en) Arm gaze-driven user interface element gating for artificial reality systems
JP2022534639A (en) Artificial Reality System with Finger Mapping Self-Tactile Input Method
US10921879B2 (en) Artificial reality systems with personal assistant element for gating user interface elements
US11086475B1 (en) Artificial reality systems with hand gesture-contained content window
US11043192B2 (en) Corner-identifiying gesture-driven user interface element gating for artificial reality systems
US11422669B1 (en) Detecting input using a stylus in artificial reality systems based on a stylus movement after a stylus selection action
US10852839B1 (en) Artificial reality systems with detachable personal assistant for gating user interface elements
WO2024064231A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230310

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240326

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240409