JP2022535316A - スライドメニューを有する人工現実システム - Google Patents

Abstract

人工現実環境内でユーザインタフェース要素を描画、提示、および制御し、検出されたユーザの１つまたは複数のジェスチャに応答して動作を実行する、人工現実システムについて説明されている。人工現実システムは、片手で起動および相互作用され得るメニューを含むことができる。人工現実システムは、片手で実行されたメニュー起動ジェスチャの検出に応答して、メニューを描画することができる。手のメニュースライドジェスチャ（たとえば、水平方向の動き）を使用して、ＵＩメニューの水平方向の位置を一定に保ちながら、スライド可能に係合可能なユーザインタフェース（ＵＩ）要素を、メニューの水平方向の広がりに沿って移動させることができる。メニュースライドジェスチャに直交する手の動き（たとえば、水平方向でない動き）により、メニューの位置を変更することができる。人工現実システムの実施態様では、人工現実システムと相互作用するために、両手の使用または他の入力デバイスの使用が、実際に必要となる。【選択図】図７Ａ

Description

関連出願の相互参照
この出願は、２０１９年６月７日に出願された米国特許出願第１６／４３４，９１９号の優先権を主張し、その内容は、あらゆる目的のためにその全体が参照により本明細書に組み入れられる。

この開示は、一般的に、仮想現実、複合現実、および／または拡張現実システムなどの人工現実システムに関し、より具体的には、人工現実システムのユーザインタフェースに関する。

人工現実システムは、コンピュータゲーム、健康および安全、産業、ならびに教育など多くの分野での用途により、ますます遍在するようになっている。いくつかの例として、人工現実システムは、携帯デバイス、ゲーム機、パーソナルコンピューター、映画館、およびテーマパークに組み込まれている。一般に、人工現実は、ユーザに提示する前に何らかのやり方で調整された現実の形式であり、たとえば、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生的なものが含まれ得る。

典型的な人工現実システムは、ユーザに対してコンテンツを描画および表示する、１つまたは複数のデバイスを備える。一例として、人工現実システムは、ユーザが着用し、人工現実コンテンツをユーザに出力するよう構成された、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を組み込むことができる。人工現実コンテンツには、全面的に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、実世界のビデオおよび／または画像）と組み合わせて生成されたコンテンツが含まれ得る。動作中、ユーザは通常、人工現実システムと相互作用して、コンテンツを選択し、アプリケーションを起動するか、またはその他の方法でシステムを設定する。

この開示は、一般的に、人工現実システムについて説明し、より具体的には、グラフィカルユーザインタフェース要素、ならびに人工現実環境内でユーザインタフェース要素を提示および制御する技法について説明する。

たとえば、ユーザの手、手指（ｆｉｎｇｅｒ）、親指、もしくは腕、または事前定義されたジェスチャの組合せの、特定の動き、配置、位置、および／または向きなど、ユーザによる１つまたは複数の事前定義されたジェスチャの検出に応答して、グラフィカルユーザインタフェース要素を生成および描画し、ユーザに対して表示する、人工現実システムについて説明されている。いくつかの例では、人工現実システムはさらに、特定のジェスチャと、リアルタイムでのユーザの凝視追跡によって、またはユーザが着用しているＨＭＤのポーズに関連して判断され得る、物理的環境でのユーザの現在の視野に対する、特定のジェスチャの位置および向きなど、他の条件との組合せの検出に応答して、グラフィカルユーザインタフェース要素の生成および描画をトリガすることができる。

いくつかの例では、人工現実システムは、人工現実システムのディスプレイ内に現在描画されている人工現実コンテンツに対して、重畳する要素であるグラフィカルユーザインタフェース要素を生成および提示することができる。グラフィカルユーザインタフェース要素は、たとえば、ユーザが人工現実システムを動作させるために相互作用するメニューもしくはサブメニューなどのグラフィカルユーザインタフェース、またはトグル要素、ドロップダウン要素、メニュー選択要素、２次元もしくは３次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザが選択可能かつ操作可能な個々のグラフィカルユーザインタフェース要素であり得る。

一部のＨＭＤの技術的な問題は、人工現実システムの態様と相互作用するために、たとえば、メニュー内に選択用のユーザインタフェース要素を置くために使用できる、入力デバイスがないことである。一部のシステムでは、人工現実システムは、ユーザの両手を使用した、ユーザのメニューまたはアイコンとの相互作用を実現することができる。しかし、この種の相互作用の技術的な問題は、一方の手がもう一方の手を隠してしまう可能性があり、これにより人工現実システムが、ユーザの意図を正確に判断するのが困難になることである。さらに、一部のユーザは、人工現実システムと相互作用するのに両手を使用することを妨げ得る、障害を持っている場合がある。前述の技術的問題に対する技術的解決策として、いくつかの態様は、片手で起動および相互作用することができるメニューを有している。人工現実システムは、片手で実行されたメニュー起動ジェスチャの検出に応答して、メニューを描画することができる。手のメニュースライドジェスチャ（たとえば、水平方向の動き）を使用して、メニューの水平位置を一定に保ちながら、スライド可能に係合可能なユーザインタフェース（ＵＩ：ｕｓｅｒ ｉｎｔｅｒｆａｃｅ）要素を、メニューの水平方向の広がりに沿って移動させることができる。いくつかの態様では、メニュースライドジェスチャに実質的に直交する手の動き（たとえば、水平方向でない動き）により、メニューの位置を変更することができる。人工現実システムの実施形態は、人工現実システムと相互作用するために、両手の使用も他の入力デバイスの使用も必要とせず、したがって、従来の人工現実の実施態様に対するこの技術的改善は、使いやすさを提供すること、障害を持っている人に、システムと相互作用するための片手の使用に関係する機能、およびメニューまたは他のユーザインタフェース要素とのユーザの相互作用を正確に判断する機能を提供することなど、１つまたは複数の実用的なアプリケーションを提供することができる。

１つまたは複数の例示的な態様では、人工現実システムは、画像データを取り込むよう構成される画像取込みデバイス、人工現実コンテンツを出力するよう構成されるヘッドマウントデバイス（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｅｖｉｃｅ）、画像データから、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別するよう構成されるジェスチャ検出器、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成するよう構成されるＵＩエンジン、ならびにＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画するよう構成される描画エンジンを備える。

１つまたは複数のさらなる例示的な態様では、方法は、ヘッドマウントデバイス（ＨＭＤ）を含む人工現実システムによって、画像取込みデバイスを介して画像データを取得すること、人工現実システムによって、画像データから、メニュー起動ジェスチャを識別することであって、メニュー起動ジェスチャが、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別すること、人工現実システムによって、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成すること、ならびに人工現実システムによって、ＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画することを含む。

１つまたは複数の追加の例示的な態様では、非一時的なコンピュータ可読媒体は、実行されると、人工現実システムの１つまたは複数のプロセッサに、画像取込みデバイスを介して画像データを取り込ませ、画像データから、手の配置を含むメニュー起動ジェスチャを識別させ、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成させ、メニュー起動ジェスチャに続く、手の動きと組み合わせた手の配置を含む、メニュースライドジェスチャを識別させ、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させ、かつヘッドマウントデバイス（ＨＭＤ）で表示するための、人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画させる命令を含む。

一例では、画像データを取り込むよう構成される画像取込みデバイス、人工現実コンテンツを出力するよう構成されるヘッドマウントディスプレイ（ＨＭＤ）、画像データから、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別するよう構成されるジェスチャ検出器、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成するよう構成されるユーザインタフェース（ＵＩ）エンジン、ならびにＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画するよう構成される描画エンジンを備える、人工現実システムが提供される。

いくつかの実施形態では、メニューインタフェースは、好ましくは、メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、ＵＩエンジンは、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置に応じて、メニューアイテムのうちの１つを強調表示するよう構成される。

いくつかの実施形態では、１つまたは複数のメニューアイテムは、好ましくは、人工現実システム上で実行されるそれぞれのアプリケーションに対応する。

いくつかの実施形態では、ジェスチャ検出器はさらに、好ましくは、画像データから、手の動きと組み合わせた手の配置を含むメニュースライドジェスチャを識別するよう構成され、ＵＩエンジンはさらに、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させるよう構成される。

いくつかの実施形態では、メニューインタフェースは、好ましくは、メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させるために、ＵＩエンジンは、スライド可能に係合可能なＵＩ要素を、メニューインタフェースの広がりに沿って、メニューインタフェースに対する第２の位置へスライドさせるよう構成される。

いくつかの実施形態では、メニュースライドジェスチャは、好ましくは、実質的に第１の方向への手の動きを含み、ジェスチャ検出器は、画像データから、メニュー起動ジェスチャに続く、実質的に第２の方向への手の動きを識別するように構成され、実質的に第２の方向は、実質的に第１の方向に実質的に直交しており、ＵＩエンジンはさらに、実質的に第２の方向への手の動きに応答して、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置を維持しながら、スライド可能に係合可能なＵＩ要素およびメニューインタフェースを移動させるよう構成される。

いくつかの実施形態では、人工現実システムは、好ましくは、１つまたは複数の人工現実アプリケーションを実行するためのアプリケーションエンジンをさらに備え、ジェスチャ検出器は、画像データから、メニュースライドジェスチャに続く選択ジェスチャを識別するよう構成され、アプリケーションエンジンは、選択ジェスチャに応答して動作を実行するよう構成される。

いくつかの実施形態では、選択ジェスチャは、好ましくは、（１）手の別の手指を動かすこと、（２）メニューインタフェースに実質的に垂直な方向へ手を移動させること、または（３）手の親指および手指がもはや挟持配置でなくなるように再配置することのうちの１つを含む。

いくつかの実施形態では、ジェスチャ検出器はさらに、好ましくは、画像データから、メニュー起動ジェスチャの前にメニュープロンプトジェスチャを識別するよう構成され、ＵＩエンジンはさらに、メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成するよう構成される。

いくつかの実施形態では、メニュープロンプトジェスチャは、好ましくは、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された手を含み、ＵＩエンジンは、仮想の手の親指と手指との間隔にメニュープロンプト要素を生成する。

いくつかの実施形態では、メニュープロンプト要素は、好ましくは、仮想の手の親指と手指との間の線を含む。

いくつかの実施形態では、画像取込みデバイスは、好ましくは、ＨＭＤと統合される。

いくつかの例では、ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムによって、画像取込みデバイスを介して画像データを取得すること、人工現実システムによって、画像データから、メニュー起動ジェスチャを識別することであって、メニュー起動ジェスチャが、手が実質的に上向きである手の配置と、手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別すること、人工現実システムによって、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成すること、ならびに人工現実システムによって、ＨＭＤで表示するための人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画することを含む方法が提供される。

いくつかの実施形態では、メニューインタフェースは、好ましくは、メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、この方法は、人工現実システムによって、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置に応じて、メニューアイテムのうちの１つを強調表示することをさらに含む。

いくつかの実施形態では、この方法は、好ましくは、人工現実システムによって、画像データから手の動きと組み合わせた手の配置を含むメニュースライドジェスチャを識別することと、人工現実システムによって、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させることとをさらに含む。

いくつかの実施形態では、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させることが、好ましくは、スライド可能に係合可能なＵＩ要素を、メニューインタフェースの広がりに沿ってメニューインタフェースに対する第２の位置へスライドさせることを含む。

いくつかの実施形態では、メニュースライドジェスチャは、好ましくは、実質的に第１の方向への手の動きを含み、この方法は、人工現実システムによって、画像データから、メニュー起動ジェスチャに続く、実質的に第２の方向への手の動きを識別することであって、実質的に第２の方向は、実質的に第１の方向に実質的に直交している、第２の方向への手の動きを識別することと、人工現実システムによって、実質的に第２の方向への手の動きに応答して、メニューインタフェースに対するスライド可能に係合可能なＵＩ要素の位置を維持しながら、スライド可能に係合可能なＵＩ要素およびメニューインタフェースを移動させることとをさらに含む。

いくつかの実施形態では、この方法は、好ましくは、人工現実システムによって、画像データからメニュープロンプトジェスチャを識別することと、人工現実システムによって、メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成することとをさらに含む。

いくつかの例では、実行されると、人工現実システムの１つまたは複数のプロセッサに、画像取込みデバイスを介して画像データを取り込ませ、画像データから、手の配置を含むメニュー起動ジェスチャを識別させ、メニュー起動ジェスチャに応答して、メニューインタフェース、およびメニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成させ、メニュー起動ジェスチャに続く、手の動きと組み合わせた手の配置を含む、メニュースライドジェスチャを識別させ、メニュースライドジェスチャに応答して、スライド可能に係合可能なＵＩ要素を、メニューインタフェースに対して第２の位置に移動させ、かつヘッドマウントディスプレイ（ＨＭＤ）で表示するための、人工現実コンテンツ、メニューインタフェース、およびスライド可能に係合可能なＵＩ要素を描画させる命令を含む、非一時的なコンピュータ可読媒体が提供される。

命令がさらに、１つまたは複数のプロセッサに、画像データから、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された手を含む、メニュープロンプトジェスチャを識別させ、かつメニュープロンプトジェスチャに応答して、仮想の手の親指と手指との間隔にメニュープロンプト要素を生成させる、請求項１９に記載の非一時的なコンピュータ可読媒体。

本開示の１つまたは複数の例または実施形態に組み込むのに好適であると説明されている本開示の特徴は、本開示のありとあらゆる例および実施形態にわたって、一般化できることを意図していることが理解されよう。この開示の技法の１つまたは複数の例の詳細が、添付図面および以下の説明に示されている。技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかとなろう。

本開示の技法による、人工現実環境内のユーザインタフェース要素を提示および制御する、例示的な人工現実システムを示す図である。 本開示の技法による、別の例示的な人工現実システムを示す図である。 本開示の技法にしたがって動作する、例示的なＨＭＤを示す図である。 図１Ａ、図１Ｂの人工現実システムのコンソールおよびＨＭＤの、例示的な実施態様を示す構成図である。 本開示の技法による、図１Ａ、図１Ｂの人工現実システムのＨＭＤによって、ジェスチャ検出およびユーザインタフェース生成が実行される例を示す構成図である。 本開示の態様による、メニュープロンプトまたはＵＩメニューを起動する、例示的な方法の動作を示す流れ図である。 本開示の態様による、ＵＩメニューを位置決めし、ＵＩメニューと相互作用する、例示的な方法の動作を示す流れ図である。 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。 本開示の態様による、ＵＩメニューの位置決めおよびＵＩメニューとの相互作用を示す、例示的なＨＭＤディスプレイの図である。 本開示の態様によるメニュープロンプトを示す、例示的なＨＭＤディスプレイの図である。

同じ参照符号は、図および説明全体を通して、同じ要素を指す。

図１Ａは、本開示の技法による、人工現実環境内のユーザインタフェース要素を提示および制御する、例示的な人工現実システム１０を示す図である。いくつかの例示的な実施態様では、人工現実システム１０は、ユーザ１１０が実行する１つまたは複数のジェスチャの検出に応答して、グラフィカルユーザインタフェース要素を生成し、ユーザ１１０に対して描画する。すなわち、本明細書で説明されるように、人工現実システム１０は、ユーザの手、手指、親指、または腕の特定の動き、配置、場所、および／または向きなど、ユーザ１１０が実行する１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を提示する。他の例では、人工現実システム１０は、特殊なトグル要素、ドロップダウン要素、メニュー選択要素、グラフィカル入力キーまたはキーボード、コンテンツ表示ウィンドウなど、人工現実環境内でのユーザとの相互作用および操作用に特別に設計されたユーザインタフェース要素を提示および制御する。

図１Ａの例では、人工現実システム１０は、ヘッドマウントデバイス（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｅｖｉｃｅ）１１２、コンソール１０６、およびいくつかの例では、１つまたは複数の外部センサ９０を備えている。図示のように、ＨＭＤ１１２は、通常、ユーザ１１０が着用し、人工現実コンテンツ１２２をユーザ１１０に提示する電子ディスプレイおよび光学組立体を備えている。加えて、ＨＭＤ１１２は、ＨＭＤ１１２の動きを追跡する１つまたは複数のセンサ（たとえば、加速度計）を備え、また周囲の物理的環境の画像データを取り込む、１つまたは複数の画像取込みデバイス１３８、たとえば、カメラ、ラインスキャナなどを備えることができる。この例では、コンソール１０６は、ゲーム機、ワークステーション、デスクトップコンピュータ、またはラップトップなど、ただ１つのコンピュータ処理デバイスとして示されている。他の例では、コンソール１０６は、分散型コンピュータ処理ネットワーク、データセンタ、またはクラウドコンピュータ処理システムなど、複数のコンピュータ処理デバイスに分散されていてもよい。コンソール１０６、ＨＭＤ１１２、およびセンサ９０は、この例に示されているように、ネットワーク１０４を介して通信可能に結合することができ、ネットワークは、ＷｉＦｉ、メッシュネットワーク、または短距離無線通信媒体などの有線または無線ネットワークであり得る。この例では、ＨＭＤ１１２は、コンソール１０６と通信する、たとえば、コンソール１０６と繋がっているか、または無線通信するように示されているが、いくつかの実施態様では、ＨＭＤ１１２は、独立型の携帯人工現実システムとして動作する。

一般に、人工現実システム１０は、実世界の３Ｄ物理的環境から取り込まれた情報を使用して、ユーザ１１０に対して表示するための人工現実コンテンツ１２２を描画する。図１Ａの例では、ユーザ１１０は、コンソール１０６および／またはＨＭＤ１１２上で人工現実アプリケーションを実行することによって構築および描画される、人工現実コンテンツ１２２を観察する。一例として、人工現実コンテンツ１２２は、ユーザ１１０が、１つまたは複数の仮想物体１２８Ａ、１２８Ｂと共に、アバター１２０として描画される、民生ゲームアプリケーションであり得る。いくつかの例では、人工現実コンテンツ１２２には、実世界の形象と仮想物体との混在、たとえば、複合現実および／または拡張現実が含まれ得る。他の例では、人工現実コンテンツ１２２は、たとえば、ビデオ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練もしくはシミュレーションアプリケーション、または人工現実を実装する他の種類のアプリケーションであり得る。

人工現実アプリケーションは、動作中、基準フレーム、通常はＨＭＤ１１２の観察視点に対するポーズ情報を追跡および計算することによって、ユーザ１１０に対して表示する人工現実コンテンツ１２２を構築する。基準フレームとしてＨＭＤ１１２を使用し、ＨＭＤ１１２の現在の推定ポーズによって判断される現在の視野１３０に基づいて、人工現実アプリケーションは、いくつかの例では、ユーザ１１０の実世界での３Ｄ物理的環境の上に少なくとも部分的に重畳され得る、３Ｄ人工現実コンテンツを描画する。この処理中に、人工現実アプリケーションは、ＨＭＤ１１２から受け取った動き情報およびユーザコマンドなどの感知されたデータ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０からのデータを使用して、実世界の物理的環境内での、ユーザ１１０の動きおよび／またはユーザ１１０に関する特徴追跡情報などの３Ｄ情報を取り込む。感知されたデータに基づいて、人工現実アプリケーションは、ＨＭＤ１１２の基準フレームの現在のポーズを判断し、現在のポーズにしたがって、人工現実コンテンツ１２２を描画する。

さらに、この開示の技法によれば、人工現実アプリケーションは、感知されたデータに基づいて、ユーザ１１０が実行するジェスチャを検出し、１つまたは複数の特定のジェスチャの検出に応答して、ユーザに提示されている、下にある人工現実コンテンツ１２２上に重畳され得る、１つまたは複数のユーザインタフェース要素、たとえば、ＵＩメニュー１２４およびＵＩ要素１２６を生成する。この点に関して、ユーザインタフェース要素１２４、１２６は、人工現実環境でユーザに提示されている人工現実コンテンツ１２２の一部と見ることができる。このようにして、人工現実システム１０は、ユーザの手、手指、親指、または腕の特定の動き、配置、位置、および／または向きなど、ユーザ１１０による１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を動的に提示する。ユーザの手の例示的な配置には、拳、伸ばした１本または複数本の指、手の個々の指のうちの１本または複数本の相対的および／または絶対的位置および向き、手のひらの形状などが含まれ得る。ユーザインタフェース要素は、たとえば、ユーザ１１０が人工現実システムを動作させるために相互作用するメニューもしくはサブメニューなどのグラフィカルユーザインタフェース、またはアイコン要素、トグル要素、ドロップダウン要素、メニュー選択要素、２次元または３次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザ１１０が選択可能かつ操作可能な個々のユーザインタフェース要素であり得る。ＵＩ要素１２６は、２次元要素として描かれているが、たとえば、ユーザが、人工現実環境において形状を平行移動、拡大縮小、および／または回転させる、ジェスチャを実行することによって操作可能な２次元または３次元形状であってもよい。

さらに、本明細書で説明されているように、いくつかの例では、人工現実システム１０は、システムが実行している１つもしくは複数のアプリケーションの現在の状態、または物理的環境において、リアルタイムでのユーザの視線追跡によって判断され得る、ユーザ１１０の現在の視野１３０に対して検出された特定のジェスチャの位置および向き、もしくは他の条件など、他の条件に応答してグラフィカルユーザインタフェース要素１２４、１２６の生成および描画をトリガすることができる。

より具体的には、本明細書でさらに説明されているように、ＨＭＤ１１２の画像取込みデバイス１３８は、画像取込みデバイス１３８の視野１３０内にある実世界の物理的環境内の物体を表す画像データを取り込む。視野１３０は、通常、ＨＭＤ１１２の観察視点に対応する。図１Ａに示されている例などのいくつかの例では、人工現実アプリケーションは、視野１３０内にあるユーザ１１０の手１３２の部分を、人工現実コンテンツ１２２内の仮想の手１３６として描画する。他の例では、人工現実アプリケーションは、複合現実および／または拡張現実を含む人工現実コンテンツ１２２内で、ユーザ１１０の手１３２および／または腕１３４の実世界画像を提示することができる。いずれの例においても、ユーザ１１０は、視野１３０内にあるユーザの手１３２および／または腕１３４の部分を、人工現実コンテンツ１２２内の物体として観察することができる。他の例では、人工現実アプリケーションは、ユーザの手１３２または腕１３４の表現を描画しない場合がある。

いずれにせよ、人工現実システム１０は、動作中、ＨＭＤ１１２の画像取込みデバイス１３８によって取り込まれた画像データ内で物体認識を実行して、手１３２を識別する。この識別は、オプションで、個々の手指もしくは親指、および／またはユーザ１１０の腕１３４の全部または一部を識別することを含む。さらに、人工現実システム１０は、時間のスライディングウィンドウにわたって、手１３２（オプションで、手の特定の指を含む）および／または腕１３４の部分の位置、向き、および配置を追跡する。人工現実アプリケーションは、追跡される手１３２および／または腕１３４の部分の任意の動き、配置、位置、および／または向きを分析し、特定の物体、たとえばユーザ１１０の手１３２（手の特定の指を含む）および／または腕１３４の部分を使って実行される、１つまたは複数のジェスチャを識別する。人工現実アプリケーションは、ジェスチャを検出するために、手１３２および／または腕１３４の部分の動き、配置、位置、および／または向きを、人工現実システム１０のジェスチャライブラリに記憶されたジェスチャの定義と比較することができ、ジェスチャライブラリ内の各ジェスチャは、１つまたは複数の動作にマッピングされ得る。いくつかの例では、動きの検出には、物理的環境で、指（人差し指および親指など）の定義された組合せのいずれかが、くっついて触れるまたはほぼ触れるかどうかを含む、手１３２の１本または複数本の指（個々の手指および親指）の位置を追跡することが含まれ得る。他の例では、動きの検出には、ＨＭＤ１１２の現在のポーズに対する手１３２の向き（たとえば、ＨＭＤ１１２の方を、もしくはＨＭＤ１１２とは反対の方を指す手指）、および／または腕１３４の向き（すなわち、ＨＭＤ１１２の方に向く腕の法線）を追跡することが含まれ得る。ユーザの手１３２（または手の一部）の位置および向きは、あるいは、手１３２（または手の一部）のポーズと呼ばれ得る。

さらに、人工現実アプリケーションは、手１３２および／または腕１３４の配置、位置、および／または向きを分析し、少なくとも閾値期間にわたって１つまたは複数の特定の配置、位置、および／または向きに保持されている手１３２および／または腕１３４を含む、ジェスチャを識別することができる。人工現実システム１０は、例として、手１３２および／または腕１３４が視野１３０内で少なくとも設定可能な期間、実質的に静止状態で保持されている１つまたは複数の特定の位置を、ユーザ１１０が、メニューなどの特定の種類のユーザインタフェース要素１２４、１２６の表示をトリガすることなど、人工現実アプリケーションによる所望の応答をトリガすることを意図したジェスチャを、実行しようとしていることを示すものとして使用することができる。人工現実システム１０は、別の例として、少なくとも設定可能な期間、視野１３０内に維持されている手１３２の手指および／もしくは手のひら、ならびに／または腕１３４の１つまたは複数の特定の配置を、ユーザ１１０がジェスチャを実行しようとしていることを示すものとして使用することができる。図１Ａには、ユーザ１１０の右手１３２および右腕１３４しか示されていないが、他の例では、人工現実システム１０は、ユーザ１１０の左手および／もしくは左腕、またはユーザ１１０の左右両手および／もしくは両腕を識別することができる。このようにして、人工現実システム１０は、物理的環境内で、どちらかの手で実行される片手ジェスチャ、両手ジェスチャ、または腕ベースのジェスチャを検出し、検出されたジェスチャに応答して、関連するユーザインタフェース要素を生成することができる。

この開示の技法によれば、人工現実アプリケーションは、識別されたジェスチャが、コンソール１０６および／またはＨＭＤ１１２のジェスチャライブラリ内の複数のエントリのうちの１つによって定義されたジェスチャに相当するかどうかを判断する。以下でより詳細に説明されるように、ジェスチャライブラリのエントリはそれぞれ、相異なるジェスチャを、ユーザの手、指（手指もしくは親指）、および／もしくは腕の、時間の経過に伴う特定の動き、配置、位置、および／もしくは向き、またはかかるプロパティの組合せとして定義することができる。加えて、定義されたジェスチャはそれぞれ、人工現実アプリケーションによって実行されるべき１つまたは複数の動作の形で、所望の応答に関連づけられ得る。一例として、ジェスチャライブラリ内の１つまたは複数の定義されたジェスチャは、１つまたは複数のユーザインタフェース要素、たとえば、ＵＩメニュー１２４の生成、変形、および／または配置をトリガして、人工現実コンテンツ１２２上に描画および重畳することができる。ここで、ジェスチャは、人工現実コンテンツ１２２内のＵＩメニュー１２４の位置および／または向きを定義することができる。別の例として、定義されたジェスチャのうちの１つまたは複数は、提示されたユーザインタフェースの変更、提示されたユーザインタフェースのサブメニューの提示などをトリガするための、ユーザ１１０の特定のユーザインタフェース要素との相互作用、たとえば、ＵＩメニュー１２４のＵＩ要素１２６の選択を示すことができる。

いくつかの態様では、人工現実アプリケーションは、手１３２および／または腕１３４の配置、位置、および／または向きを分析し、少なくとも閾値期間にわたって特定の配置および向きに保たれている手１３２を含む、メニュー起動ジェスチャを識別することができる。いくつかの態様では、メニュー起動ジェスチャは、たとえば、手の手指および親指を挟持配置にしながら、実質的に上向きの位置に保たれている手であり得る。いくつかの態様では、メニュー起動ジェスチャは、手の向きに関わらず、挟持配置に置かれた手の手指および親指を含むことができる。メニュースライドジェスチャは、メニューがスライド方向に静止状態で保持されている間に、ユーザの手に応じて動く仮想の手を、ＵＩメニュー１２４の広がりに沿ってスライドさせることができる。メニュースライドジェスチャ以外の方向への動きにより、ＵＩメニュー１２４が、動きに基づいて位置変更され得る。一例として、メニュースライドジェスチャは、メニュー起動ジェスチャを持続しながらの、水平方向へのユーザの手１３２の動きであり得る。仮想の手１３６は、メニューが水平方向に静止状態で保持されている間に、水平方向の広がりに沿って移動させることができる。いくつかの例では、人工現実アプリケーションは、仮想の手１３６に加えて、または仮想の手１３６の代わりに、スライド可能に係合可能なＵＩ要素（図１には示されていない）を生成する。垂直方向に移動させることにより、ＵＩメニュー１２４が位置変更され得る。

メニュー起動ジェスチャを持続しながらのメニュースライドジェスチャにより、人工現実アプリケーションは、ユーザが、仮想の手１３２を、たとえばＵＩメニュー１２４の別のメニューアイテムの近くの別の場所にスライドさせるための、メニュースライドジェスチャをさらに実行することなしに、選択ジェスチャを実行するつもりである場合、ＵＩメニュー１２４の特定のメニューアイテムが選択されることになるという指示を描画することができる。そうした特定のメニューは、ユーザが選択できるように準備される。この指示は、メニューアイテムの近くにある仮想の手１３２もしくはスライド可能に係合可能なＵＩ要素の場所、たとえば相異なる色を使ったメニューアイテムの強調表示、メニューアイテムの拡大、または他の何らかの指示であり得る。

したがって、本開示の技法は、人工現実システムによってコンテンツを描画および表示するコンピュータ関連分野への、特定の技術的改善をもたらす。たとえば、本明細書に記載の人工現実システムは、ユーザが実行する直感的でありながらも独特のジェスチャの検出に基づいて、人工現実コンテンツに重畳されたユーザインタフェース要素を生成および描画することによって、ユーザ１１０などのユーザに、人工現実アプリケーションの高品質の人工現実体験を提供することができる。より具体的には、この技法は、ユーザがメニューインタフェースを有効にし、その後、メニューの広がりに沿って、スライド可能に係合可能なＵＩ要素、またはユーザが選択できるように準備されたメニューアイテムの他の指示を移動させることができるジェスチャの形の、直感的なユーザ入力をユーザに提供することができる。

さらに、本明細書に記載のシステムは、隠れてしまうもの（ｏｃｃｌｕｓｉｏｎ）の追跡を回避するよう定義された手および腕の動きに基づいて、所定のジェスチャを検出するよう構成され得る。隠れてしまうものの追跡は、ユーザの一方の手が他方の手と少なくとも部分的に重なっている場合に起きることがあり、それぞれの手の個々の指（手指および親指）ばかりでなく、それぞれの手の位置および向きを正確に追跡することを困難にする。したがって、本明細書で説明されているシステムは、主に片手または片腕ベースのジェスチャを検出するよう構成され得る。片手または片腕ベースのジェスチャを使用すると、大きい運動技能および細かい運動技能に制限があるユーザにとって、利用し易さがさらに向上する可能性がある。さらに、本明細書に記載のシステムは、ユーザの手が、相互作用するかまたは互いに重なることのない、両手または両腕ベースのジェスチャを検出するよう構成され得る。

加えて、本明細書に記載のシステムは、ユーザに自己触覚型フィードバックを与えるジェスチャを検出するよう構成され得る。たとえば、ユーザのそれぞれの手の親指および１本または複数本の手指は、人工現実コンテンツの特定のユーザインタフェース要素との相互作用を示す事前定義されたジェスチャの一部として、物理的世界で触れるか、またはほぼ触れることができる。ユーザの手の親指と１本または複数本の手指との間の接触は、ユーザが、物理的キーボードまたは他の物理的入力デバイス上の釦などの、物理的ユーザ入力物体と直接相互作用するときに感じる、感覚のシミュレーションをユーザに与えることができる。

図１Ｂは、本開示の技法による別の例示的な人工現実システム２０を示す図である。図１Ａの人工現実システム１０と同様に、いくつかの例では、図１Ｂの人工現実システム２０は、人工現実環境内でのユーザの相互作用および操作のために特別に設計された、ユーザインタフェース要素を提示および制御することができる。人工現実システム２０はまた、様々な例において、ユーザの１つまたは複数の特定のジェスチャの検出に応答して、所定のグラフィカルユーザインタフェース要素を生成し、ユーザに対して描画することができる。

図１Ｂの例では、人工現実システム２０は、外部カメラ１０２Ａおよび１０２Ｂ（総称して「外部カメラ１０２」）、ＨＭＤ１１２Ａ～１１２Ｃ（総称して「ＨＭＤ１１２」）、コントローラ１１４Ａおよび１１４Ｂ（総称して「コントローラ１１４」）、コンソール１０６、およびセンサ９０を備える。図１Ｂに示されているように、人工現実システム２０は、コンソール１０６および／またはＨＭＤ１１２上で実行される人工現実アプリケーションが、ユーザ１１０Ａ～１１０Ｃ（総称して「ユーザ１１０」）のそれぞれに、それぞれのユーザに対応する基準フレームの現在の観察視点に基づいて人工現実コンテンツを提示する、マルチユーザ環境を示している。すなわち、この例では、人工現実アプリケーションは、ＨＭＤ１１２ごとの基準フレームのポーズ情報を追跡および計算することによって、人工コンテンツを構築する。人工現実システム２０は、ＨＭＤ１１２の対応する基準フレームの更新されたポーズ情報を計算するのに使用するために、カメラ１０２、ＨＭＤ１１２、およびコントローラ１１４から受け取ったデータを使用して、ユーザ１１０の動きなど、実世界環境内の３Ｄ情報を、かつ／またはユーザ１１０および物体１０８に関する追跡情報を取り込む。一例として、人工現実アプリケーションは、ＨＭＤ１１２Ｃについて判断された現在の観察視点に基づいて、実世界の物体１０８Ａ～１０８Ｃ（総称して「実世界の物体１０８」）上に空間的に重畳される、仮想物体１２８Ａ～１２８Ｃ（総称して「仮想物体１２８」）を有する人工現実コンテンツ１２２を描画することができる。さらに、人工現実システム２０は、ＨＭＤ１１２Ｃの視点から、ユーザ１１０Ａ、１１０Ｂのそれぞれの推定位置に基づいて、アバター１２０Ａ、１２０Ｂを描画する。

ＨＭＤ１１２のそれぞれは、人工現実システム２０内で同時に動作する。図１Ｂの例では、ユーザ１１０のそれぞれは、人工現実アプリケーションの「プレーヤ」または「参加者」であってもよく、ユーザ１１０のいずれも、人工現実アプリケーションの「観客」または「観察者」であってもよい。ＨＭＤ１１２Ｃはユーザ１１０Ｃの手１３２および／または腕１３４を追跡し、視野１３０内にある手１３２の部分を人工現実コンテンツ１２２内の仮想の手１３６として描画することによって、図１ＡのＨＭＤ１１２と実質的に同様に動作することができる。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂが保持しているコントローラ１１４Ａから、ユーザ入力を受け取ることができる。ＨＭＤ１１２Ａはまた、図１ＡのＨＭＤ１１２と実質的に同様に動作し、ユーザ１１０Ａの手１３２Ａ、１３２Ｂによって、ジェスチャの形のユーザ入力を受け取ることができる。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂが保持しているコントローラ１１４から、ユーザ入力を受け取ることができる。コントローラ１１４は、ブルートゥースなどの短距離無線通信である近距離通信を使用して、有線通信リンクを使用して、または別の種類の通信リンクを使用して、ＨＭＤ１１２Ｂと通信することができる。

図１Ａに関して上記で論じられた例と同様のやり方で、人工現実システム２０のコンソール１０６および／またはＨＭＤ１１２Ｃは、ユーザ１１０Ｃに対して表示される人工現実コンテンツ１２２上に重畳され得る、ユーザインタフェース要素１２４、１２６を生成および描画する。さらに、コンソール１０６および／またはＨＭＤ１１２Ｃは、ポーズの追跡による、ユーザ１１０Ｃが実行する直感的でありながらも独特のジェスチャの検出に基づいて、ユーザインタフェース要素１２４、１２６の生成および動的な表示をトリガすることができる。人工現実システム２０は、たとえば、ユーザの手、手指、親指、または腕の特定の動き、配置、位置、および／または向きなど、ユーザ１１０Ｃによる１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を動的に提示することができる。図１Ｂに示されているように、ＨＭＤ１１２Ｃのカメラ１３８を介して取り込まれた画像データに加えてまたはあるいは、外部カメラ１０２からの入力データを使用して、手の個々の指（手指、親指）および／または指の組合せの動きを含む、ユーザ１１０Ｃの手１３２などのユーザ１１０の手および腕の特定の動き、配置、位置、および／または向きを追跡および検出することができる。

いくつかの態様では、人工現実アプリケーションは、コンソール１０６上で実行することができ、画像取込みデバイス１０２Ａおよび１０２Ｂを利用して、手１３２Ｂの配置、位置、および／または向きを分析し、ＨＭＤ１１２Ａのユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。同様に、ＨＭＤ１１２Ｃは、画像取込みデバイス１３８を利用して、手１３２Ｃの配置、位置、および／または向きを分析し、ＨＭＤ１１２Ｃのユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。人工現実アプリケーションは、図１Ａに関して上記で説明されたのと同様のやり方で、かかるジェスチャに応答して、ＵＩメニュー１２４および仮想の手１３６を描画することができる。

図２は、本開示の技法にしたがって動作するよう構成された、例示的なＨＭＤ１１２を示す図である。図２のＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれの例でもあり得る。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であり得るか、または本明細書に記載の技法を実施するよう構成された、独立型の携帯人工現実システムとして動作することができる。

この例では、ＨＭＤ１１２は、ＨＭＤ１１２をユーザに固定するための前部剛体およびバンドを備える。加えて、ＨＭＤ１１２は、人工現実コンテンツをユーザに提示するよう構成された、内側に向く電子ディスプレイ２０３を備える。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）ディスプレイ、電子ペーパ、または視覚出力を生成できる白黒、カラー、もしくは他の任意の種類のディスプレイなどの、任意の好適なディスプレイ技術であり得る。いくつかの例では、電子ディスプレイは、ユーザのそれぞれの目に別々の画像を提示する、立体視ディスプレイである。いくつかの例では、ＨＭＤ１１２およびユーザの現在の観察視点にしたがって人工現実コンテンツを描画するために、ＨＭＤ１１２の位置および向きを追跡するときに、ＨＭＤ１１２の前部剛体に対するディスプレイ２０３の既知の向きおよび位置が、ローカル原点とも呼ばれる、基準フレームとして使用される。他の例では、ＨＭＤ１１２は、眼鏡またはゴーグルなどの他の着用可能なヘッドマウントディスプレイの形式をとることができる。

図２にさらに示されているように、この例では、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する、１つもしくは複数の加速度計（慣性測定ユニットまたは「ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ」とも呼ばれる）などの、１つもしくは複数の動きセンサ２０６、ＨＭＤ１１２の場所を示すデータを出力するＧＰＳセンサ、様々な物体からＨＭＤ１１２の距離を示すデータを出力するレーダもしくはソナー、またはＨＭＤ１１２または物理環境内の他の物体の場所もしくは向きを示す他のセンサをさらに備える。さらに、ＨＭＤ１１２は、ビデオカメラ、レーザスキャナ、ドップラレーダスキャナ、深度スキャナなどの、統合された画像取込みデバイス１３８Ａおよび１３８Ｂ（総称して「画像取込みデバイス１３８」）を備えることができ、画像取込みデバイスは、物理的環境を表す画像データを出力するよう構成されている。より具体的には、画像取込みデバイス１３８は、通常、ＨＭＤ１１２の観察視点に相当する、画像取込みデバイス１３８の視野１３０Ａ、１３０Ｂ内にある、物理的環境内の物体を表す画像データを取り込む。ＨＭＤ１１２は、内部電源と、１つまたは複数のプロセッサ、メモリ、およびハードウェアを備え、感知されたデータを処理し、人工現実コンテンツをディスプレイ２０３上に提示する、プログラム可能な動作を実行する動作環境を提供する、１つまたは複数のプリント回路基板とを備えることができる、内部制御ユニット２１０を備える。

一例では、本明細書に記載の技法によれば、制御ユニット２１０は、感知されたデータに基づいて、ユーザが実行する特定のジェスチャまたはジェスチャの組合せを識別し、それに応答して動作を実行するよう構成される。制御ユニット２１０は、たとえば、識別した１つのジェスチャに応答して、電子ディスプレイ２０３上に表示するための、人工現実コンテンツ上に重畳される特定のユーザインタフェース要素を生成および描画することができる。本明細書で説明されているように、本開示の技法によれば、制御ユニット２１０は、画像取込みデバイス１３８によって取り込まれた画像データ内の物体認識を実行して、手１３２、手指、親指、腕、またはユーザの別の一部を識別し、ユーザが実行する事前定義されたジェスチャを識別するために、識別された部分の動き、位置、配置などを追跡することができる。事前定義されたジェスチャの識別に応答して、制御ユニット２１０は、ユーザインタフェース要素に関連づけられたオプションのセットからオプションを選択する、ジェスチャを入力（たとえば、文字）に変換する、アプリケーションを起動する、さもなければコンテンツを表示するなど、何らかの動作を行う。いくつかの例では、制御ユニット２１０は、ユーザインタフェースを示すための「トリガ」として指定された、事前定義されたジェスチャを検出するのに応答して、メニューなどのユーザインタフェース要素を動的に生成および提示する。他の例では、制御ユニット２１０は、コンソール１０６などの外部デバイスからの指図に応答して、物体認識、動き追跡、およびジェスチャ検出、またはそれらの任意の部分を実行することができる、かかる機能を実行する。

一例として、制御ユニット２１０は、画像取込みデバイス１３８Ａおよび１３８Ｂを利用して、手１３２および／または腕１３４の配置、位置、動き、および／または向きを分析し、ＨＭＤ１１２のユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。制御ユニット２１０は、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きの検出に基づいて、ＵＩメニュー、スライド可能に係合可能なＵＩ要素、および／または仮想の手を描画することができる。

図３は、図１Ａ、図１Ｂの人工現実システム１０、２０のコンソール１０６およびＨＭＤ１１２の例示的な実施態様を示す構成図である。図３の例では、コンソール１０６は、ＨＭＤ１１２および／または外部センサから受け取った動きデータおよび画像データなどの感知されたデータに基づいて、本明細書に記載の技法による、ポーズ追跡、ジェスチャ検出、およびＨＭＤ１１２用ユーザインタフェースの生成および描画を実行する。

この例では、ＨＭＤ１１２は、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を備えている。次に、オペレーティングシステム３０５は、アプリケーションエンジン３４０を含む１つまたは複数のソフトウェア構成要素３０７を実行する、マルチタスク動作環境を提供する。図２の例に関して論じられたように、プロセッサ３０２は、電子ディスプレイ２０３、動きセンサ２０６、および画像取込みデバイス１３８に結合されている。いくつかの例では、プロセッサ３０２およびメモリ３０４は、別個の離散した構成要素であり得る。他の例では、メモリ３０４は、ただ１つの集積回路内にプロセッサ３０２と併置されたオンチップメモリであってもよい。

コンソール１０６は、概ね、カメラ１０２（図１Ｂ）および／またはＨＭＤ１１２から受け取った画像および追跡情報を処理して、ジェスチャ検出およびＨＭＤ１１２用ユーザインタフェース生成を実行する、コンピュータ処理デバイスである。いくつかの例では、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲームシステムなどの、ただ１つのコンピュータ処理デバイスである。いくつかの例では、プロセッサ３１２および／またはメモリ３１４などのコンソール１０６の少なくとも一部は、クラウドコンピュータ処理システム、データセンタにわたって、またはインターネット、別の公衆もしくは専用通信ネットワーク、たとえば、コンピュータ処理システム、サーバ、およびコンピュータ処理デバイス間でデータを伝送するための広帯域、移動体通信、Ｗｉ－Ｆｉ、および／または他の種類の通信ネットワークなどの、ネットワークにわたって分散されていてもよい。

図３の例では、コンソール１０６は、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３１６を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３１２およびメモリ３１４を備えている。次に、オペレーティングシステム３１６は、１つまたは複数のソフトウェア構成要素３１７を実行するための、マルチタスク動作環境を提供する。プロセッサ３１２は、１つまたは複数のＩ／Ｏインタフェース３１５に結合され、キーボード、ゲームコントローラ、ディスプレイデバイス、画像取込みデバイス、ＨＭＤなどの外部デバイスと通信するための、１つまたは複数のＩ／Ｏインタフェースを提供する。さらに、１つまたは複数のＩ／Ｏインタフェース３１５には、ネットワーク１０４などのネットワークと通信する、１つまたは複数の有線または無線ネットワークインタフェースコントローラ（ＮＩＣ：ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｒ）が含まれ得る。プロセッサ３０２、３１２のそれぞれには、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、または同等の離散した、もしくは集積論理回路のうちの任意の１つまたは複数が含まれ得る。メモリ３０４、３１４には、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、電子的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびフラッシュメモリなどの、データおよび実行可能なソフトウェア命令を記憶する任意の形式のメモリが含まれ得る。

コンソール１０６のソフトウェアアプリケーション３１７は、全体的な人工現実アプリケーションを提供するよう動作する。この例では、ソフトウェアアプリケーション３１７は、アプリケーションエンジン３２０、描画エンジン３２２、ジェスチャ検出器３２４、ポーズ追跡器３２６、およびユーザインタフェースエンジン３２８を有している。

アプリケーションエンジン３２０は、概して、人工現実アプリケーション、たとえば、電話会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練またはシミュレーションアプリケーションなどを提供し、提示する機能を有している。アプリケーションエンジン３２０は、たとえば、コンソール１０６上で人工現実アプリケーションを実施するための１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはアプリケーションプログラムインタフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を含むことができる。アプリケーションエンジン３２０による制御に応答して、描画エンジン３２２は、ＨＭＤ１１２のアプリケーションエンジン３４０によってユーザに対して表示する、３Ｄ人工現実コンテンツを生成する。

アプリケーションエンジン３２０および描画エンジン３２２は、ポーズ追跡器３２６によって判断される基準フレーム、典型的にはＨＭＤ１１２の観察視点での現在のポーズ情報にしたがって、ユーザ１１０に対して表示する人工コンテンツを構築する。現在の観察視点に基づいて、描画エンジン３２２は、場合によっては少なくとも部分的に、ユーザ１１０の実世界の３Ｄ環境に重畳され得る、３Ｄの人工現実コンテンツを構築する。この処理中に、ポーズ追跡器３２６は、ＨＭＤ１１２から受け取った動き情報およびユーザコマンドなどの感知されたデータ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０（図１Ａ、図１Ｂ）からのデータに基づいて動作し、実世界の環境内での、ユーザ１１０の動きおよび／またはユーザ１１０に関する特徴追跡情報などの３Ｄ情報を取り込む。ポーズ追跡器３２６は、感知されたデータに基づいて、ＨＭＤ１１２の基準フレームでの現在のポーズを判断し、現在のポーズにしたがって人工現実コンテンツを構築し、ユーザ１１０に対して表示するために、１つまたは複数のＩ／Ｏインタフェース３１５を介してＨＭＤ１１２と通信する。

さらに、ジェスチャ検出器３２４は、感知されたデータに基づいて、ユーザの物体（たとえば、手、腕、手首、手指、手のひら、親指）の追跡された動き、配置、位置、および／または向きを分析し、ユーザ１１０が実行する１つまたは複数のジェスチャを識別する。より具体的には、ジェスチャ検出器３２４は、ＨＭＤ１１２の画像取込みデバイス１３８ならびに／またはセンサ９０および外部カメラ１０２によって取り込まれた、画像データ内で認識された物体を分析し、ユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する手および／または腕の動きを追跡して、ユーザ１１０が実行するジェスチャを識別する。ジェスチャ検出器３２４は、取り込まれた画像データに基づいて、手、指、および／または腕の位置および向きの変化を含む動きを追跡し、物体の動きベクトルをジェスチャライブラリ３３０内の１つまたは複数のエントリと比較して、ユーザ１１０が実行するジェスチャまたはジェスチャの組合せを検出することができる。ジェスチャライブラリ３３０内の一部のエントリはそれぞれ、ジェスチャを、ユーザの手、特定の手指、親指、手首、および／または腕の相対的経路または空間的平行移動および回転などの、一連の動きまたは動きのパターンとして定義することができる。ジェスチャライブラリ３３０内の一部のエントリはそれぞれ、ジェスチャを、特定の時間の、または一定期間にわたる、ユーザの手および／もしくは腕（またはその一部）の配置、位置、および／または向きとして定義することができる。ジェスチャの種類の他の例もあり得る。加えて、ジェスチャライブラリ３３０内のエントリのそれぞれは、定義されたジェスチャまたは一連のジェスチャについての、ＨＭＤ１１２の現在の視野との空間的関係、ユーザが現在観察している特定の領域との空間的関係など、個人のリアルタイムでの凝視追跡、表示されている人工コンテンツの種類、実行されているアプリケーションの種類などによって判断され得る、ジェスチャまたは一連のジェスチャが動作をトリガするのに必要な条件を指定することができる。

ジェスチャライブラリ３３０内のエントリのそれぞれはさらに、定義されたジェスチャのそれぞれまたはジェスチャの組合せ／一連のジェスチャについて、ソフトウェアアプリケーション３１７によって実行されるべき所望の応答または動作を指定することができる。たとえば、この開示の技法によれば、所定の特殊なジェスチャは、ユーザインタフェースエンジン３２８が、事前定義されたジェスチャの１つを検出することに応答して、ユーザに対して表示されている人工現実コンテンツに重畳するユーザインタフェースを動的に生成するように、事前定義することができ、それによりユーザ１１０は、人工現実コンテンツと相互作用している間でさえ、ＨＭＤ１１２および／またはコンソール１０６を設定するために、ユーザインタフェースを容易に呼び出すことができる。他の例では、所定のジェスチャは、入力の提供、物体の選択、アプリケーションの起動などの、他の動作に関連づけられていてもよい。

一例として、ジェスチャライブラリ３３０は、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きについて記載するエントリを含むことができる。ジェスチャ検出器３２４は、画像取込みデバイス１３８からの画像データを処理して、ユーザの手の配置、位置、動き、および／または向きを分析し、ユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きなどを識別することができる。描画エンジン３２２は、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、およびメニュー位置決めの動きの検出に基づいて、メニューおよび仮想の手を描画することができる。ユーザインタフェースエンジン３２８は、表示されるメニューを定義することができ、選択ジェスチャによってもたらされた選択結果に応答して実行される動作を制御することができる。

図４は、本開示の技法による、図１Ａ、図１Ｂの人工現実システムのＨＭＤ１１２によって、ジェスチャ検出およびユーザインタフェース生成が実行される例を示す構成図である。

この例では、ＨＭＤ１１２は、図３と同様に、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を備えている。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素４１７を実行する、マルチタスク動作環境を提供する。さらに、プロセッサ３０２は、電子ディスプレイ２０３、動きセンサ２０６、および画像取込みデバイス１３８に結合されている。

図４の例において、ソフトウェア構成要素４１７は、全体的な人工現実アプリケーションを提供するよう動作する。この例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０、描画エンジン４２２、ジェスチャ検出器４２４、ポーズ追跡器４２６、およびユーザインタフェースエンジン４２８を有している。様々な例において、ソフトウェア構成要素４１７は、図３のコンソール１０６の相当する構成要素（たとえば、アプリケーションエンジン３２０、描画エンジン３２２、ジェスチャ検出器３２４、ポーズ追跡器３２６、およびユーザインタフェースエンジン３２８）と同様に動作し、検出されたユーザ１１０のジェスチャにしたがって、ユーザ１１０に対して表示する人工コンテンツに重畳されるかまたは人工コンテンツの一部である、ユーザインタフェース要素を構築する。いくつかの例では、描画エンジン４２２は、少なくとも部分的に、ユーザ１１０の実世界の物理的環境に重畳され得る、３Ｄの人工現実コンテンツを構築する。

図３に関して説明された例と同様に、ジェスチャ検出器４２４は、感知されたデータに基づいて、ユーザの物体（たとえば、手、腕、手首、手指、手のひら、親指）の追跡された動き、配置、位置、および／または向きを分析し、ユーザ１１０が実行する１つまたは複数のジェスチャを識別する。本開示の技法にしたがって、ユーザインタフェースエンジン４２８は、ユーザ１１０に対して表示されるべき人工現実コンテンツの一部である、たとえば人工現実コンテンツに重畳される、ユーザインタフェース要素を生成し、かつ／あるいはジェスチャ検出器４２４によって検出された、ユーザ１１０の１つもしくは複数のジェスチャまたはジェスチャの組合せに基づいて、動作を実行する。より具体的には、ジェスチャ検出器４２４は、ＨＭＤ１１２の画像取込みデバイス１３８および／またはセンサ９０もしくは外部カメラ１０２によって取り込まれた画像データ内で認識された物体を分析し、ユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する手および／または腕の動きを追跡して、ユーザ１１０が実行するジェスチャを識別する。ジェスチャ検出器４２４は、取り込まれた画像データに基づいて、手、指、および／または腕の位置および向きの変化を含む動きを追跡し、物体の動きベクトルをジェスチャライブラリ４３０内の１つまたは複数のエントリと比較して、ユーザ１１０が実行するジェスチャまたはジェスチャの組合せを検出することができる。

ジェスチャライブラリ４３０は、図３のジェスチャライブラリ３３０と同様である。ジェスチャライブラリ４３０内のエントリのそれぞれは、定義されたジェスチャまたは一連のジェスチャについて、ＨＭＤ１１２の現在の視野との空間的関係、ユーザが現在観察している特定の領域との空間的関係など、個人のリアルタイムでの凝視追跡、表示されている人工コンテンツの種類、実行されているアプリケーションの種類などによって判断され得る、ジェスチャが動作をトリガするのに必要な条件を指定することができる。

一致するジェスチャまたはジェスチャの組合せを検出することに応答して、ＨＭＤ１１２は、ジェスチャライブラリ４３０内の一致するエントリに割り当てられた応答または動作を実行する。たとえば、この開示の技法によれば、所定の特殊なジェスチャは、ジェスチャ検出器４２４が、事前定義されたジェスチャの１つを検出することに応答して、ユーザインタフェースエンジン４２８が、ユーザに対して表示されている人工現実コンテンツに重畳するユーザインタフェースを動的に生成するように、事前定義することができ、それによりユーザ１１０は、人工現実コンテンツを観察している間に、ＨＭＤ１１２を設定するため、ユーザインタフェースを容易に呼び出すことができる。他の例では、ジェスチャ検出器４２４が事前定義されたジェスチャの１つを検出するのに応答して、ユーザインタフェースエンジン４２８および／またはアプリケーションエンジン４４０は、入力を受け取り、ユーザインタフェース要素に関連する値もしくはパラメータを選択し、アプリケーションを起動し、設定変更可能な設定を修正し、メッセージを送り、処理を開始もしくは停止するか、または他の動作を実行することができる。

ジェスチャライブラリ４３０は、一例として、メニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、メニュー位置決めの動き、および選択ジェスチャについて記載したエントリを含むことができる。ジェスチャ検出器４２４は、画像取込みデバイス１３８からの画像データを利用して、ユーザの手の配置、位置、および／または向きを分析し、ユーザによって実行され得るメニュープロンプトジェスチャ、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、またはメニュー位置決めの動きなどを識別することができる。描画エンジン４２２は、メニュー起動ジェスチャ、メニュースライドジェスチャ、選択ジェスチャ、およびメニュー位置決めの動きの検出に基づいて、ＵＩメニュー、スライド可能に係合可能な要素、および／または仮想の手を描画することができる。ユーザインタフェースエンジン３２８は、表示されるメニューを定義することができ、選択ジェスチャによってもたらされた選択結果に応答して、アプリケーションエンジン４４０によって実行される動作を制御することができる。

図５および図６は、メニュープロンプトおよびメニューを起動するための、またメニューの位置を決めて、ユーザがメニューと相互作用するための、例示的な方法を示す流れ図である。図５および図６で示されている動作は、図１Ａ、図１Ｂの人工現実システム１０、２０などの、人工現実システムの１つまたは複数の構成要素によって実行され得る。たとえば、動作の一部またはすべては、ジェスチャ検出器（図３および図４の３２４、４２４）、ユーザインタフェースエンジン（図３および図４の３２８、４２８）、ならびに描画エンジン（図３および図４の３２２、４２２）のうちの１つまたは複数によって実行され得る。

図５は、本開示の態様による、メニュープロンプトまたはメニューインタフェースを起動する、例示的な方法の動作を示す流れ図である。上記のように、手の所定の配置が検出され、メニューインタフェースまたはメニュープロンプトの起動をトリガするために使用され得る。人工現実システムは、手の現在の配置を判断することができる（５０２）。配置には、手の向き、および手の指の互いに対する位置が含まれ得る。１つまたは複数の態様では、画像データを取り込んで分析し、手の配置を判断することができる。手の配置を判断するために、画像データに加えて、または画像データの代わりに、他のセンサデータを使用することができる。

人工現実システムは、手の現在の配置が、ユーザがメニュープロンプトジェスチャを実行していることを示しているかどうかを判断することができる（５０４）。１つまたは複数の態様では、人工現実システムは、左手または右手の配置を判断するよう（たとえば、ユーザによって）設定可能であり得る。１つまたは複数の態様では、人工現実システムは、手の現在の配置について記載したデータ、および特定のジェスチャを指定する、ジェスチャライブラリの１つまたは複数のエントリのデータを利用して、手の現在の配置がメニュープロンプトジェスチャであるかどうかを判断することができる。１つまたは複数の態様では、メニュープロンプトジェスチャは、手が実質的に上向きであり、ユーザの手の手指および親指が手指および親指の間に間隔をあけるように置かれている手の配置であり得る。メニュープロンプトジェスチャでは、ユーザの手の手指および親指が、「Ｃ」字型または鋏形を形成することができ、手指と親指とは指先が接触しない。本開示の恩恵を受ける当業者は、手の他の配置がメニュープロンプトジェスチャとして使用され得ることを理解されよう。

ユーザがメニュープロンプトジェスチャを実行したとの判断に応答して、人工現実システムは、メニュープロンプトを描画することができる（５０６）。１つまたは複数の態様では、メニュープロンプトは、ユーザの手の向きを表す仮想の手の近くに描画される。メニュープロンプトは、メニュープロンプトジェスチャを実行するユーザの手指および親指に対応する、仮想の手の仮想の手指と仮想の親指との間に位置するＵＩ要素であり得る。

図８は、本開示の態様によるメニュープロンプト８１０を示す、例示的なＨＭＤディスプレイ８００である。図８に示されている例では、人工現実システムのユーザは、実質的に上向きのユーザの手を、人差し指と親指との間に間隔をあけて置いている。（人差し指以外の他の手指は、メニュープロンプトおよびメニュー起動ジェスチャに使用され得る。）人工現実システムは、手の位置および向きを判断することができ、また仮想の手１３６を、ユーザの手の向きおよび指の位置に一致するように、描画することができる。加えて、人工現実システムは、ユーザがユーザの手を使ってメニュープロンプトジェスチャを実行したことを、手の配置に基づいて検出することができる。メニュープロンプトジェスチャの検出に応答して、人工現実システムは、仮想の手の人差し指と親指との間に、メニュープロンプト８１０を描画することができる。メニュープロンプト８１０は、ユーザが、親指および人差し指を使って動作（たとえば、挟持動作）を実行し、ユーザの手をメニュー起動ジェスチャにすることにより、人工現実システムがユーザへメニューを提示できることを、ユーザに示すかまたは思い出させるもの（すなわち、プロンプト）として機能するユーザインタフェース要素であり得る。いくつかの態様では、メニュープロンプト８１０は、人差し指と親指との間に延在する線を含むことができる。いくつかの態様では、メニュープロンプト８１０は、親指と人差し指との間に置かれた仮想物体を含むことができる。いくつかの態様では、メニュープロンプト８１０は、人差し指および／または親指の強調表示を含むことができる。他の種類のユーザインタフェース要素が、メニュープロンプト８１０として描画されてもよい。たとえば、矢印を使用して、メニューを起動するためにユーザの人差し指および親指を動かすべき方向を示すことができる。

図５に戻ると、人工現実システムは、メニュープロンプトを描画した後、手の新しい現在の配置を判断することができる（５０２）。メニュープロンプトを描画してから手の新しい配置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。

手の現在の配置がメニュープロンプトジェスチャと一致しない場合、人工現実システムは、手の現在の配置が、ユーザがメニュー起動ジェスチャを実行していることを示しているかどうかを判断することができる。１つまたは複数の態様では、人工現実システムは、手の現在の配置について記載したデータ、およびジェスチャライブラリの１つまたは複数のエントリのデータを利用して、手の現在の配置がメニュー起動ジェスチャであるかどうかを判断することができる。１つまたは複数の態様では、メニュー起動ジェスチャは、手が実質的に上向きである手の配置であり得、ユーザの手の手指および親指は、挟持配置に置かれている。本開示の恩恵を受ける当業者は、手の他の配置がメニュー起動ジェスチャとして使用され得ることを理解されよう。たとえば、メニュー起動ジェスチャは、手の向きに関わらず、挟持配置に置かれた手指および親指を含むことができる。

ユーザがメニュー起動ジェスチャを実行したとの判断に応答して、人工現実システムは、ＵＩメニューを描画することができる（５１０）。１つまたは複数の態様では、メニューは、ユーザの手の向きを表す仮想の手の近くに描画される。いくつかの態様では、人工現実システムは、人工現実システムが最初にメニュープロンプトジェスチャを検出した場合にだけ、メニュー起動ジェスチャの検出に応答してＵＩメニューを描画することができる。いくつかの態様では、メニュープロンプトジェスチャは必要条件ではない。

図７Ａは、本開示の態様によるＵＩメニュー１２４を示す、例示的なＨＭＤディスプレイ７００である。図７Ａに示されている例では、人工現実システムのユーザは、実質的に上向きのユーザの手を、手の人差し指と親指とが挟持配置にある状態で置いている。（この場合も、人差し指は、手の手指の一例として使用されている。）人工現実システムは、手の位置および向きを判断することができ、仮想の手１３６を、ユーザの手の向きおよび手指の位置を表すように、描画することができる。加えて、人工現実システムは、ユーザがユーザの手を使ってメニュー起動ジェスチャを実行したことを、手の配置に基づいて検出することができる。メニュー起動ジェスチャの検出に応答して、人工現実システムは、仮想の手の近くにＵＩメニュー１２４を描画することができる。ＵＩメニュー１２４は、ＵＩメニュー１２４の広がりに沿って配列される１つまたは複数のＵＩ要素１２６を含むことができる。１つまたは複数の態様では、１つまたは複数のＵＩ要素１２６は、観察空間または表示空間などの座標空間の水平方向の広がりに沿って配列されたメニューアイテムであり得る。図７Ａに示されている例では、座標軸７０４は、座標空間を説明するためだけに示されている。座標軸７０４は、実際のディスプレイ上に提示される必要はない。図７Ａ～図７Ｇに示されている例では、水平方向の広がりはＸ軸に沿っており、垂直方向の広がりはＹ軸に沿っており、深さはＺ軸に沿っている。

上記のように、メニュー起動ジェスチャは、ユーザがユーザの手を実質的に上向きに置くことを含むことができる。たとえば、人工現実システムは、手の他の面の手のひらに垂直なベクトル７０２もまた、Ｘ軸およびＺ軸で形成される平面に実質的に垂直であることを検出することができる。１つまたは複数の態様では、ベクトル７０２が、Ｘ軸およびＺ軸で形成される平面に対する垂直線の３０度以内にある場合（破線で示されている）、ベクトル７０２は実質的に垂直線であると見なされ得る。１つまたは複数の態様では、３０度以外の他の閾値が使用され得る。

１つまたは複数の態様では、スライド可能に係合可能なＵＩ要素７０６が、仮想の手１３６の近くに描画され得る。図７Ａに示されている例では、スライド可能に係合可能なＵＩ要素７０６は円である。球、三角形、正方形などの他のグラフィカル要素、または仮想の手１３６のみが、スライド可能に係合可能なＵＩ要素７０６として機能してもよい。さらに、仮想の手１３６の１本または複数本の手指を強調表示して、１本または複数本の手指の強調表示された部分が、スライド可能に係合可能なＵＩ要素であることを示してもよい。

図７Ｂは、本開示の態様による、ＵＩメニューおよびスライド可能に係合可能なＵＩ要素を示す、例示的なＨＭＤディスプレイ７４０である。図７Ｂに示されている例では、ユーザは、人工現実システムに、メニューアイテム７０８に近い位置でスライド可能に係合可能なＵＩ要素７０６を描画させるように、メニュースライドジェスチャを実行している。１つまたは複数の態様では、スライド可能に係合可能なＵＩ要素７０６の近くにあるメニューアイテム７０８が強調表示されるか、さもなければ、ユーザが選択ジェスチャ７０８を実行すると、メニューアイテム７０８が、選択されることを示すために増大または修正され得る。ラベル７１０は、メニューアイテム７０８の強調表示に加えて、または強調表示の代わりに、メニューアイテム７０８の近くに提示され得る。境界線の強調表示、背景の強調表示、点滅、拡大などを含む、様々な強調表示の仕組みが使用され得、メニューアイテム７０８を強調表示するために使用され得る。メニュー要素７０８の強調表示は、ユーザが選択ジェスチャを実行した場合にメニュー要素７０８が選択されることを、示すことができる。１つまたは複数の態様では、選択ジェスチャは、挟持配置の手指とは相異なる、たとえば挟持配置を解除する、手の手指の動きであり得る。１つまたは複数の態様では、選択ジェスチャは、ＵＩメニューの平面に実質的に垂直な方向への手の動きであり得る。本明細書で使用される場合、平面に対する「実質的に垂直な」は、平面に対する垂直線の０～２度以内、平面に対する垂直線の０～５度以内、平面に対する垂直線の０～１０度以内、平面に対する垂直線の０～２０度以内、または平面に対する垂直線の０～３０度以内を示すことができる。１つまたは複数の態様では、選択ジェスチャは、手の親指および手指が、もはや挟持配置でなくなるよう再配置され得る。１つまたは複数の態様では、選択ジェスチャは、別の手指（たとえば、小指）を丸めるかまたは伸ばすなどの動きまたは再配置であり得る。選択ジェスチャを検出することにより、人工現実システムは、何らかの動作を実行することができる。たとえば、選択ジェスチャにより、アプリケーションが、インスタンスを生成することができるか、現在実行中のアプリケーションが、ＨＭＤのディスプレイの前面に表示され得るか、または場合によっては、人工現実システムが、特定の実行している人工現実アプリケーション内で、何らかの動作を実行することができる。

したがって、一連のジェスチャを使用して、メニュー１２４の表示をトリガし、スライド可能に係合可能なＵＩ要素７０６を、メニュー１２４のメニュー要素７０８の上または近くに置き、メニュー要素７０８を選択することができる。例示的な実施態様では、ユーザは、メニュー起動ジェスチャを実行し（たとえば、手の手指を挟持配置に置く）、これによりメニュー１２４が、ＨＭＤによって表示され得る。ユーザは、メニュースライドジェスチャ（たとえば、挟持配置を持続しながら手を動かす）を実行し、これによりスライド可能に係合可能なＵＩ要素７０６を、手の動きに応じてメニュー１２４に沿ってスライドさせることができる。次いで、ユーザは、選択ジェスチャを実行して（たとえば、手指および親指を挟持配置から解除する）、スライド可能に係合可能なＵＩ要素７０６によって指示されるメニュー要素７０８を選択することができる。

図５に戻ると、人工現実システムは、ＵＩメニュー１２４を描画した後、手の新しい現在の配置を判断することができる（５０２）。ＵＩメニュー１２４を描画してから手の新しい配置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。

人工現実システムが、ユーザの手がもはやメニュープロンプトジェスチャまたはメニュー起動ジェスチャを実行していないことを検出した場合、人工現実システムは、ＵＩメニュー１２４またはメニュープロンプト８１０が表示されているかどうかを判断することができる。表示されている場合、人工現実システムは、ユーザの手がもはやＵＩメニュー１２４またはメニュープロンプト８１０を表示するための適切な配置にないので、ＵＩメニュー１２４またはメニュープロンプト８１０をディスプレイから削除することができる（５１４）。

ＵＩメニュー１２４またはメニュープロンプト８１０を削除した後、フローは、手の新しい現在の配置を判断するために戻る（５０２）。ＵＩメニュー１２４またはメニュープロンプト８１０を削除してから手の新しい配置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。

図６は、本開示の態様による、ＵＩメニューを位置決めし、ＵＩメニューと相互作用する、例示的な方法の動作を示す流れ図である。人工現実システムは、手の位置を判断することができる（６０２）。たとえば、位置は、画像センサから、または人工現実システムと結合された他の種類のセンサから取り込まれた画像データから、判断され得る。

人工現実システムは、ＵＩメニューが現在有効であるかどうか（すなわち、ＨＭＤによって描画および表示されているかどうか）を判断することができる（６０４）。ＵＩメニューが現在有効でない場合、フローは、手の更新された位置の判断に戻ることができる（６０２）。ＵＩメニューが有効であるかどうかを判断してから手の更新された位置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。

ＵＩメニューが有効である場合、人工現実システムは、ユーザがメニュースライドジェスチャを実行しているかどうかを判断することができる（６０６）。いくつかの態様では、メニュースライドジェスチャは、メニューが有効である間（たとえば、ユーザの手がメニュー起動ジェスチャを実行している間）の、手の実質的に水平方向の動きであり得る。たとえば、人工現実システムは、手の以前の位置を手の現在の位置と比較して、メニュースライドジェスチャが行われているかどうかを判断することができる。メニュースライドジェスチャが検出された場合、人工現実システムは、メニュースライドジェスチャに応じて、仮想の手および／またはスライド可能に係合可能なインタフェース要素を、ＵＩメニュー１２４に沿って移動させることができる（６０８）。メニューアイテムが垂直方向に向けられている場合、メニュースライドジェスチャは、手の実質的に垂直方向の動きであり得る。メニュースライドジェスチャが検出されない場合、人工現実システムは、メニュースライドジェスチャではない他の手の動きが検出されるかどうかを判断することができる（６１０）。「実質的に」垂直方向および水平方向とは、垂直方向または水平方向の５度、１０度、２０度、または３０度以内であり得る。

図７Ｃは、本開示の態様による、ＵＩメニューおよびメニュースライドジェスチャを示す、例示的なＨＭＤディスプレイ７５０である。１つまたは複数の態様では、メニュースライドジェスチャは、ＵＩメニュー１２４の水平方向の広がりに沿ったユーザの手の動き（たとえば、Ｘ軸に平行な動き）であり得る。図７Ｃに示されている例では、ユーザは、ＵＩメニュー１２４の水平方向の広がりに沿って（メニュー起動ジェスチャを持続しながら）ユーザの手を動かしている。人工現実システムは、ユーザの手の動きに応じて、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６が、メニューアイテム７１２の近くにくるように、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６の位置を変更することができる。人工現実システムは、メニュー要素７０８から強調表示を削除することができ、またメニュー要素７１２を強調表示して、ユーザが選択ジェスチャを実行する場合には、メニュー要素７１２が選択されることを示すことができる。メニューアイテム７１２の強調表示に加えて、またはメニューアイテム７１２の強調表示の代わりに、ラベル７１４が表示され得る。いくつかの例では、人工現実システムは、メニューアイテムを強調表示しない。いくつかの例では、人工現実システムは、ＵＩ要素７０６を描画しない。１つまたは複数の態様では、ＵＩメニュー１２４は、メニュースライドジェスチャより前にＵＩメニューがあったのと同じ水平方向の位置に保持される。言い換えれば、ＵＩメニュー１２４は水平方向に静止しており、一方仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、ユーザがメニュースライドジェスチャを実行するのに応答して、ＵＩメニュー１２４の水平方向の広がりに沿って動く。

図６に戻ると、水平方向の動きが検出されたかどうかを判断した後、人工現実システムは、ユーザの手による水平方向ではない動きが行われているかどうかを判断することができる（６１０）。たとえば、人工現実システムは、垂直方向の動き（すなわち、Ｙ軸に平行な動き）および／または前から後ろもしくは後ろから前への動き（すなわち、Ｚ軸に平行な動き）があったかどうかを判断することができる。ユーザの手の水平方向ではない動きが検出された場合、人工現実システムは、水平方向ではない動きに基づいて、仮想の手、スライド可能に係合可能なＵＩ要素、およびＵＩメニューの位置を移動させることができる。ＵＩメニューアイテムが垂直方向に配列されている例では、ユーザの手の垂直方向でない動きが、手の「他の動き」を構成する。

図７Ｄは、垂直方向の動きが検出された後のＵＩメニューを示す、例示的なＨＭＤディスプレイ７６０である。図７Ｄに示されている例では、ユーザは、ユーザの手を下向きに動かしている。人工現実システムは、垂直方向の動きを検出することができ、検出された垂直方向の動きに基づいて、ＵＩメニュー１２４、仮想の手１３６、およびスライド可能に係合可能なＵＩ要素７０６の位置を移動させることができる。いくつかの態様では、垂直方向の動きに加えて水平方向の動きが検出されない場合、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、ＵＩメニュー１２４に対する仮想の手およびスライド可能に係合可能なＵＩ要素の以前の位置で保持される。したがって、同じメニュー要素７１２が、垂直方向の動きが行われるときに強調表示されていた状態で保持される。

図７Ｅは、後から前への動きが検出された（すなわち、ユーザがＺ軸に沿ってユーザの手をユーザ自身により近づけた）後のＵＩメニューを示す、例示的なＨＭＤディスプレイ７７０である。人工現実システムは、後から前への動きを検出することができ、検出された後から前への動きに基づいて、ＵＩメニュー１２４、仮想の手１３６、およびスライド可能に係合可能なＵＩ要素７０６の位置を移動させることができる。したがって、仮想の手、ＵＩメニュー１２４、およびスライド可能に係合可能なＵＩ要素７０６の位置は、より大きく、したがってユーザに対してより近くに表示される。いくつかの態様では、Ｚ軸に沿った動きに加えて、水平方向の動きが検出されない場合、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、ＵＩメニュー１２４に対する仮想の手およびスライド可能に係合可能なＵＩ要素の以前の位置で保持される。したがって、同じメニュー要素７１２が、Ｚ軸に沿った動きが行われるときに強調表示されていた状態で保持される。

図６に戻ると、ＵＩメニュー、仮想の手、およびスライド可能に係合可能なＵＩ要素が、ユーザの手の動き（もしあれば）に応じて移動された後に、人工現実システムは、仮想の手およびスライド可能に係合可能なＵＩ要素を、ユーザの手の現在の位置に基づいて、ＵＩメニュー１２４の近くにくるように描画することができる。次いで、フローは、手の更新された位置を判断するために戻ることができる（６０２）。ＵＩメニューを描画してから手の更新された位置を判断するまでの間に、他の多くの動作が、人工現実システムによって実行され得る。

図７Ｆは、本開示の態様による、ＵＩメニュー１２４およびＵＩアイコン配列７２０を示す、例示的なＨＭＤディスプレイ７８０である。いくつかの態様では、ＵＩメニュー１２４のメニューアイテムは、アプリケーションに対応することができる。１つまたは複数の態様では、ＵＩメニュー１２４は、２つの部分７１６および７１８に分割され得る。部分７１６のメニュー要素は、お気に入りのアプリケーションを表すことができ、部分７１８のメニュー要素は、人工現実システム内で現在実行されているアプリケーションを表すことができる。さらに、いくつかの態様では、人工現実システムは、人工現実システムで利用可能であるかまたは実行されているアプリケーションを表すアイコンの、アイコン配列７１０を提示することができる。アイコン配列７２０内の個々のアイコン上の画像は、対応するアプリケーションの現在の表示、またはアプリケーションに関連づけられた画像を表すことができる。

図７Ｇは、本開示の態様による、ＵＩメニュー１２４およびＵＩアイコン配列７２０を示す、例示的なＨＭＤディスプレイ７９０である。図７Ｇに示されている例では、仮想の手１３６およびスライド可能に係合可能なＵＩ要素７０６は、メニューアイテム７２４の近くにある。この例では、３次元強調表示が使用され、スライド可能に係合可能なＵＩ要素７０６の近くにあるメニューアイテムを、前方にもってきて、それにより画像を、ユーザに、より大きく見せることができる。加えて、メニューアイテム７２４に対応するアイコン７２２も強調表示され得る。この例では、アイコン７２２の境界線が強調表示されている。

上記の考察では、ＵＩメニューが水平方向に配置される人工現実システムの態様を提示してきた。他の態様では、ＵＩメニューは、垂直方向に配置され得る。かかる態様では、ＵＩメニューが垂直方向に静止状態で保持されている間に、手の垂直方向の動きによって、スライド可能に係合可能なＵＩ要素および仮想の手を、ＵＩメニューの垂直方向の広がりに沿って移動させることができる。垂直方向でない動き（すなわち、水平方向の動きまたは前から後ろへの動き）によって、垂直方向でない動きに応じて、ＵＩメニューの位置を移動させることができる。

この開示で説明される技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。たとえば、説明された技法の様々な態様は、１つもしくは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の任意の同等の集積型または離散型論理回路ばかりでなく、かかる構成要素の任意の組合せを含む、１つまたは複数のプロセッサ内で実施され得る。用語「プロセッサ」または「処理回路」は、概して、単独で、もしくは他の論理回路と組み合わせた、前述の論理回路のいずれか、または他の任意の同等の回路を指すことができる。ハードウェアを備える制御ユニットはまた、この開示の１つまたは複数の技法を実行することができる。

かかるハードウェア、ソフトウェア、およびファームウェアは、この開示で説明されている様々な動作および機能をサポートするために、同じデバイス内または別個のデバイス内に実装され得る。加えて、説明されているユニット、モジュール、または構成要素のいずれも、一体的に、または離散的であるが相互運用可能な論理デバイスとして別々に実装され得る。モジュールまたはユニットとしての様々な特徴の記述は、様々な機能的側面を強調することが意図されており、かかるモジュールまたはユニットが、別々のハードウェアまたはソフトウェア構成要素で実現される必要があることを必ずしも含意しない。それどころか、１つまたは複数のモジュールまたはユニットに関連する機能は、別々のハードウェアもしくはソフトウェア構成要素によって実行されるか、または共通もしくは別々のハードウェアもしくはソフトウェア構成要素内に統合され得る。

この開示で説明されている技法はまた、命令を格納するコンピュータ可読記憶媒体などのコンピュータ可読媒体内で、具現化されるかまたは符号化され得る。コンピュータ可読記憶媒体内に組み込まれたまたは符号化された命令は、たとえば、命令が実行されるときに、プログラム可能なプロセッサまたは他のプロセッサに方法を実行させることができる。コンピュータ可読記憶媒体には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体が含まれ得る。

本明細書で様々な例として説明されるように、本開示の技法は、人工現実システムを含むか、または人工現実システムと組み合わせて実施され得る。説明されたように、人工現実は、ユーザに提示する前に何らかのやり方で調整された現実の形式であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生的なものが含まれ得る。人工現実コンテンツには、全面的に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、実世界の写真）と組み合わせて生成されたコンテンツが含まれ得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含むことができ、これらのいずれかが、単一チャネルまたは複数チャネル（観察者に対して３次元効果を生成する立体式ビデオなど）で提示され得る。さらに、いくつかの実施形態では、人工現実は、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに付随する場合があり、たとえば、人工現実内でコンテンツを作成するために使用され、かつ／または人工現実内で使用される（たとえば、人工現実内で活動を行う）。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントデバイス（ＨＭＤ）、独立型ＨＭＤ、携帯デバイスもしくはコンピュータ処理システム、または１人もしくは複数人の観察者に人工現実コンテンツを提供することができる他の任意のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

Claims (14)

1. 画像データを取り込むよう構成される、画像取込みデバイス、
   人工現実コンテンツを出力するよう構成される、ヘッドマウントディスプレイ（ＨＭＤ）、
   前記画像データから、手が実質的に上向きである前記手の配置と、前記手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別するよう構成される、ジェスチャ検出器、
   前記メニュー起動ジェスチャに応答して、メニューインタフェース、および前記メニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成するよう構成される、ユーザインタフェース（ＵＩ）エンジン、ならびに
   前記ＨＭＤで表示するための前記人工現実コンテンツ、前記メニューインタフェース、および前記スライド可能に係合可能なＵＩ要素を描画するよう構成される、描画エンジン
   を備える、人工現実システム。
2. 前記メニューインタフェースが、前記メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、かつ
   前記ＵＩエンジンが、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置に応じて、前記メニューアイテムのうちの１つを強調表示するよう構成され、好ましくは、前記１つまたは複数のメニューアイテムが、前記人工現実システム上で実行されるそれぞれのアプリケーションに対応する、
   請求項１に記載の人工現実システム。
3. 前記ジェスチャ検出器がさらに、前記画像データから、前記手の動きと組み合わせた前記手の前記配置を含む、メニュースライドジェスチャを識別するよう構成され、また
   前記ＵＩエンジンがさらに、前記メニュースライドジェスチャに応答して、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対して第２の位置に移動させるよう構成され、かつ好ましくは、
   前記メニューインタフェースが、前記メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、
   前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対して前記第２の位置に移動させるために、前記ＵＩエンジンが、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースの前記広がりに沿って前記メニューインタフェースに対する前記第２の位置へスライドさせるよう構成され、かつ／または好ましくは、
   前記メニュースライドジェスチャが、実質的に第１の方向への前記手の動きを含み、
   前記ジェスチャ検出器が、前記画像データから、前記メニュー起動ジェスチャに続く実質的に第２の方向への前記手の動きを識別するよう構成され、前記実質的に第２の方向が、前記実質的に第１の方向に実質的に直交しており、
   前記ＵＩエンジンがさらに、前記実質的に第２の方向への前記手の前記動きに応答して、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置を維持しながら、前記スライド可能に係合可能なＵＩ要素および前記メニューインタフェースを移動させるよう構成される、
   請求項１または２に記載の人工現実システム。
4. １つまたは複数の人工現実アプリケーションを実行するためのアプリケーションエンジンをさらに備え、
   前記ジェスチャ検出器が、前記画像データから、前記メニュースライドジェスチャに続く選択ジェスチャを識別するよう構成され、かつ
   前記アプリケーションエンジンが、前記選択ジェスチャに応答して動作を実行するよう構成され、好ましくは、前記選択ジェスチャが、（１）前記手の別の手指を動かすこと、（２）前記メニューインタフェースに実質的に垂直な方向へ前記手を移動させること、または（３）前記手の前記親指および前記手指がもはや前記挟持配置でなくなるように再配置することのうちの１つを含む、
   請求項１から３のいずれか一項に記載の人工現実システム。
5. 前記ジェスチャ検出器がさらに、前記画像データから、前記メニュー起動ジェスチャの前にメニュープロンプトジェスチャを識別するよう構成され、
   前記ＵＩエンジンがさらに、前記メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成するように構成され、好ましくは、前記メニュープロンプトジェスチャが、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された前記手を含み、かつ
   前記ＵＩエンジンが、仮想の手の親指と手指との間の前記間隔に前記メニュープロンプト要素を生成し、好ましくは、前記メニュープロンプト要素が、前記仮想の手の前記親指と前記手指との間の線を含む、
   請求項１から４のいずれか一項に記載の人工現実システム。
6. 前記画像取込みデバイスが、前記ＨＭＤに統合されている、請求項１から５のいずれか一項に記載の人工現実システム。
7. ヘッドマウントディスプレイ（ＨＭＤ）を含む人工現実システムによって、画像取込みデバイスを介して画像データを取得すること、
   前記人工現実システムによって、前記画像データから、メニュー起動ジェスチャを識別することであって、前記メニュー起動ジェスチャが、手が実質的に上向きである前記手の配置と、前記手の親指および手指の挟持配置とを含む、メニュー起動ジェスチャを識別すること、
   前記人工現実システムによって、前記メニュー起動ジェスチャに応答して、メニューインタフェース、および前記メニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成すること、ならびに
   前記人工現実システムによって、前記ＨＭＤで表示するための人工現実コンテンツ、前記メニューインタフェース、および前記スライド可能に係合可能なＵＩ要素を描画すること
   を含む、方法。
8. 前記メニューインタフェースが、前記メニューインタフェースの広がりに沿って配列された１つまたは複数のメニューアイテムを有し、前記方法が、
   前記人工現実システムによって、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置に応じて、前記メニューアイテムのうちの１つを強調表示すること
   をさらに含む、請求項７に記載の方法。
9. 前記人工現実システムによって、前記画像データから、前記手の動きと組み合わせた前記手の前記配置を含む、メニュースライドジェスチャを識別することと、
   前記人工現実システムによって、前記メニュースライドジェスチャに応答して、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対する第２の位置に移動させることと
   をさらに含む、請求項７または８に記載の方法。
10. 前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対する前記第２の位置に移動させることが、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースの広がりに沿って前記メニューインタフェースに対する前記第２の位置へスライドさせることを含む、請求項９に記載の方法。
11. 前記メニュースライドジェスチャが、実質的に第１の方向への前記手の動きを含み、前記方法が、
    前記人工現実システムによって、前記画像データから、前記メニュー起動ジェスチャに続く実質的に第２の方向への前記手の動きを識別することであって、前記実質的に第２の方向が、前記実質的に第１の方向に実質的に直交している、前記手の動きを識別することと、
    前記人工現実システムによって、前記実質的に第２の方向への前記手の前記動きに応答して、前記メニューインタフェースに対する前記スライド可能に係合可能なＵＩ要素の位置を維持しながら、前記スライド可能に係合可能なＵＩ要素および前記メニューインタフェースを移動させることと
    をさらに含む、請求項９または１０に記載の方法。
12. 前記人工現実システムによって、前記画像データから、メニュープロンプトジェスチャを識別することと、
    前記人工現実システムによって、前記メニュープロンプトジェスチャに応答して、メニュープロンプト要素を生成することと
    をさらに含む、請求項７から１１のいずれか一項に記載の方法。
13. 実行されると、人工現実システムの１つまたは複数のプロセッサに、
    画像取込みデバイスを介して画像データを取り込ませ、
    前記画像データから、手の配置を含むメニュー起動ジェスチャを識別させ、
    前記メニュー起動ジェスチャに応答して、メニューインタフェース、および前記メニューインタフェースに対して第１の位置にある、スライド可能に係合可能なＵＩ要素を生成させ、
    前記メニュー起動ジェスチャに続く、前記手の動きと組み合わせた前記手の前記配置を含む、メニュースライドジェスチャを識別させ、
    前記メニュースライドジェスチャに応答して、前記スライド可能に係合可能なＵＩ要素を、前記メニューインタフェースに対する第２の位置に移動させ、かつ
    ヘッドマウントディスプレイ（ＨＭＤ）で表示するための、人工現実コンテンツ、前記メニューインタフェース、および前記スライド可能に係合可能なＵＩ要素を描画させる
    命令を含む、非一時的なコンピュータ可読媒体。
14. 前記命令がさらに、前記１つまたは複数のプロセッサに、
    前記画像データから、親指と手指との間に間隔をあけた状態で、実質的に上向きの位置に配置された前記手を含む、メニュープロンプトジェスチャを識別させ、かつ
    前記メニュープロンプトジェスチャに応答して、仮想の手の親指と手指との間の前記間隔にメニュープロンプト要素を生成させる、
    請求項１３に記載の非一時的なコンピュータ可読媒体。

Images