JP2022534639A - 指マッピング自己触覚型入力方法を有する人工現実システム - Google Patents

Abstract

人工現実環境内でユーザインタフェース要素を描画、提示、および制御し、検出されたユーザの１つまたは複数のジェスチャに応答して動作を実行する、人工現実システムについて説明されている。人工現実システムは、物理的環境を表す画像データを取り込み、人工現実コンテンツを出力する。人工現実システムは、画像データから、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および手の第２の指の動きを含む、ジェスチャを識別する。人工現実システムは、１つまたは複数の入力文字を、手の複数本の指のうちの１本または複数本に割り当て、識別されたジェスチャに応答して、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理する。【選択図】図７Ｂ

Description

関連出願の相互参照
この出願は、２０１９年６月７日に出願された米国特許出願第１６／４３５，１３９号の優先権を主張し、その内容は、あらゆる目的のためにその全体が参照により本明細書に組み入れられる。

この開示は、一般的に、仮想現実、複合現実、および／または拡張現実システムなどの人工現実システムに関し、より具体的には、人工現実システムのユーザインタフェースに関する。

人工現実システムは、コンピュータゲーム、健康および安全、産業、ならびに教育など多くの分野での用途により、ますます遍在するようになっている。いくつかの例として、人工現実システムは、携帯デバイス、ゲーム機、パーソナルコンピューター、映画館、およびテーマパークに組み込まれている。一般に、人工現実は、ユーザに提示する前に何らかのやり方で調整された現実の形式であり、たとえば、仮想現実（ＶＲ：ｖｉｒｔｕａｌ ｒｅａｌｉｔｙ）、拡張現実（ＡＲ：ａｕｇｍｅｎｔｅｄ ｒｅａｌｉｔｙ）、複合現実（ＭＲ：ｍｉｘｅｄ ｒｅａｌｉｔｙ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生的なものが含まれ得る。

典型的な人工現実システムは、ユーザに対してコンテンツを描画および表示する、１つまたは複数のデバイスを備える。一例として、人工現実システムは、ユーザが着用し、人工現実コンテンツをユーザに出力するよう構成された、ヘッドマウントディスプレイ（ＨＭＤ：ｈｅａｄ－ｍｏｕｎｔｅｄ ｄｉｓｐｌａｙ）を組み込むことができる。人工現実コンテンツには、全面的に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、実世界のビデオおよび／または画像）と組み合わせて生成されたコンテンツが含まれ得る。動作中、ユーザは通常、人工現実システムと相互作用して、コンテンツを選択し、アプリケーションを起動するか、またはその他の方法でシステムを設定する。

この開示は、一般的に、人工現実システムについて説明し、より具体的には、グラフィカルユーザインタフェース要素、ならびに人工現実環境内でユーザインタフェース要素を提示および制御する技法について説明する。

たとえば、ユーザの手、手指（ｆｉｎｇｅｒ）、親指、もしくは腕、または事前定義されたジェスチャの組合せの、特定の動き、配置、位置、および／または向きなど、ユーザによる１つまたは複数の事前定義されたジェスチャの検出に応答して、グラフィカルユーザインタフェース要素を生成および描画し、ユーザに対して表示する、人工現実システムについて説明されている。いくつかの例では、人工現実システムはさらに、特定のジェスチャと、リアルタイムでのユーザの凝視追跡によって、またはユーザが着用しているＨＭＤのポーズに関連して特定され得る、物理的環境でのユーザの現在の視野に対する、特定のジェスチャの位置および向きなど、他の条件との組合せの検出に応答して、グラフィカルユーザインタフェース要素の生成および描画をトリガすることができる。

いくつかの例では、人工現実システムは、人工現実システムのディスプレイ内に現在描画されている人工現実コンテンツに対して、重畳する要素であるグラフィカルユーザインタフェース要素を生成および提示することができる。グラフィカルユーザインタフェース要素は、たとえば、ユーザが人工現実システムを動作させるために相互作用するメニューもしくはサブメニューなどのグラフィカルユーザインタフェース、またはトグル要素、ドロップダウン要素、メニュー選択要素、２次元もしくは３次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザが選択可能かつ操作可能な個々のグラフィカルユーザインタフェース要素であり得る。

本明細書に記載の技法によれば、人工現実システムは、ユーザが、テキストおよび他の入力文字を入力するために相互作用する、様々なグラフィカルユーザインタフェース要素を生成および提示する。一例では、人工現実システムは、ＨＭＤによって出力される他の人工現実コンテンツに重畳する要素である、仮想キーボードを描画および出力する。人工現実システムは、物理的環境内を動くときの手の画像データを取り込み、人工現実空間で描画された仮想キーボードの場所に対する手の場所を追跡する。具体的には、人工現実システムは、手の少なくとも２本の指、たとえば、手の親指および人差し指の場所を追跡する。人工現実システムは、挟持配置（ｐｉｎｃｈｉｎｇ ｃｏｎｆｉｇｕｒａｔｉｏｎ）を形成するためにくっつく２本の指の動きを含むジェスチャを検出し、挟持配置にあるときの２本の指の接触点の場所を、仮想キーボードの仮想キーにマッピングする。人工現実システムがジェスチャを検出すると、人工現実システムは、特定の仮想キーに割り当てられた入力文字を含むユーザ入力である、特定の仮想キーの選択を受け取る。

別の例では、人工現実システムは、仮想キーボードを描画および出力するのではなく、人工現実システムによって取り込まれた画像データ内で検出された手の１本または複数本の指に、１つまたは複数の入力文字を割り当てる。この例では、人工現実システムは、手の少なくとも１本の指を、入力選択する指として機能するように、入力文字が割り当てられないままにしておくことができる。人工現実システムは、入力選択する指が、閾値時間内に特定の回数、入力文字を割り当てられた他の指のうちの特定の１本と共に、挟持配置を形成する動きを含むジェスチャを検出する。挟持配置を形成する動きが検出される回数が増えると、人工現実システムは、特定の指に割り当てられた１つまたは複数の入力文字を循環的に置き替える。人工現実システムは、挟持配置を形成する動きが検出された回数および特定の入力文字にマッピングされた選択番号に基づいて、入力文字のうちの特定の１つの選択を特定する。人工現実システムは、ユーザ入力である、特定の指に割り当てられた特定の入力文字の選択を受け取る。

多くの人工現実システムでは、ユーザは、人工現実システムへのユーザ入力を可能にするために、追加のハードウェアを手に持つ必要があり得るが、これは、様々な障害のあるユーザにとって利用し易さを低下させ、ユーザに厄介な、または不自然なインタフェースを提供する場合がある。ユーザが追加のハードウェアを持たない人工現実システムでは、直感的で信頼性の高いやり方で、ユーザ入力を正確に検出することが難しい場合がある。さらに、追加のハードウェアを必要としない人工現実システムは、人工現実システムへ入力するために、特定のユーザインタフェース要素がいつどのように選択されるのかに関して、ユーザに有用なフィードバックを提供できない場合がある。本明細書に記載の技法を利用することにより、人工現実システムは、選択が行われるときにユーザに示す自己触覚型フィードバック、すなわち挟持配置を形成するときに接触するユーザ自身の指の感覚を使用する、自然な入力システムを提供することができる。さらに、人工現実システムは、特定の挟持配置を形成する動きを含むジェスチャを検出することにより、いつ画像データを分析するかを効率的に特定し、どの入力文字をユーザ入力として受け取るかを特定することができる。本明細書に記載の技法は、ユーザがユーザ入力を可能にするために追加のハードウェアを持つ必要性を低減または排除することさえでき、それにより、システムの全体的な効率が高まり、人工現実システムの別個の構成要素間の通信処理が低減され、かつあらゆるレベルの身体能力のユーザにとって、人工現実システムの利用し易さが高まる。

本明細書に記載の技法の一例では、人工現実システムは、物理的環境を表す画像データを取り込むよう構成された画像取込みデバイスを備えている。人工現実システムは、人工現実コンテンツを出力するよう構成されたＨＭＤをさらに備えている。人工現実システムはまた、人工現実コンテンツに重畳する、複数の仮想キーを有する仮想キーボードを描画するよう構成される描画エンジンも備えている。人工現実システムは、画像データから、挟持配置を形成する手の第１の指および手の第２の指の動きを含むジェスチャを識別するよう構成された、ジェスチャ検出器をさらに備え、挟持配置にあるときの第１の指と第２の指との接触点は、仮想キーボードの複数の仮想キーのうちの、第１の仮想キーの場所に相当する。人工現実システムはまた、識別されたジェスチャに応答して、第１の仮想キーの選択を処理するよう構成された、ユーザインタフェースエンジンも備えている。

本明細書に記載の技法の別の例では、方法は、人工現実システムの画像取込みデバイスを使って、物理的環境を表す画像データを取り込むことを含む。この方法は、人工現実コンテンツ、および人工現実コンテンツに重畳する複数の仮想キーを有する仮想キーボードを、描画することをさらに含む。この方法はまた、人工現実システムのＨＭＤを使って、人工現実コンテンツおよび仮想キーボードを出力することも含む。この方法は、画像データから、挟持配置を形成する手の第１の指および手の第２の指の動きを含むジェスチャを識別することをさらに含み、挟持配置にあるときの第１の指と第２の指との接触点は、仮想キーボードの複数の仮想キーのうちの、第１の仮想キーの場所に相当する。この方法はまた、識別されたジェスチャに応答して第１の仮想キーの選択を処理することも含む。

本明細書に記載の技法の別の例では、非一時的なコンピュータ可読媒体は、実行されると、人工現実システムの１つまたは複数のプロセッサに、物理的環境を表す画像データを取り込ませる命令を有する。この命令はさらに、１つまたは複数のプロセッサに、人工現実コンテンツ、および人工現実コンテンツに重畳する複数の仮想キーを有する仮想キーボードを描画させる。この命令はまた、１つまたは複数のプロセッサに、人工現実コンテンツおよび仮想キーボードを出力させる。この命令はさらに、１つまたは複数のプロセッサに、画像データから、挟持配置を形成する手の第１の指および手の第２の指の動きを含むジェスチャを識別させ、挟持配置にあるときの第１の指と第２の指との接触点は、仮想キーボードの複数の仮想キーのうちの、第１の仮想キーの場所に相当する。この命令はまた、１つまたは複数のプロセッサに、識別されたジェスチャに応答して、第１の仮想キーの選択を処理させる。

本明細書に記載の技法の別の例では、人工現実システムは、物理的環境を表す画像データを取り込むよう構成された画像取込みデバイスを備えている。人工現実システムは、人工現実コンテンツを出力するよう構成されたＨＭＤをさらに備えている。人工現実システムはまた、画像データから、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および手の第２の指の動きを含むジェスチャを識別するよう構成された、ジェスチャ検出器も備えている。人工現実システムは、１つまたは複数の入力文字を、手の複数本の指のうちの１本または複数本に割り当て、識別されたジェスチャに応答して、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理するよう構成された、ユーザインタフェースエンジンをさらに備えている。

本明細書に記載の技法の別の例では、方法は、人工現実システムの画像取込みデバイスを使って、物理的環境を表す画像データを取り込むことを含む。この方法は、人工現実システムのＨＭＤを使って、人工現実コンテンツを出力することをさらに含む。この方法はまた、画像データから、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および手の第２の指の動きを含む、ジェスチャを識別することも含む。この方法は、１つまたは複数の入力文字を、手の複数本の指のうちの１本または複数本に割り当てることをさらに含む。この方法はまた、識別されたジェスチャに応答して、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理することも含む。

本明細書に記載の技法の別の例では、非一時的なコンピュータ可読媒体は、実行されると、人工現実システムの１つまたは複数のプロセッサに、物理的環境を表す画像データを取り込ませる命令を有する。この命令はさらに、１つまたは複数のプロセッサに、人工現実コンテンツを出力させる。この命令はまた、１つまたは複数のプロセッサに、画像データから、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および手の第２の指の動きを含む、ジェスチャを識別させる。この命令はさらに、１つまたは複数のプロセッサに、１つまたは複数の入力文字を、手の複数本の指のうちの１本または複数本に割り当てさせる。この命令はまた、１つまたは複数のプロセッサに、識別されたジェスチャに応答して、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理させる。

この開示の技法の１つまたは複数の例の詳細が、添付図面および以下の説明に示されている。技法の他の特徴、目的、および利点は、説明および図面から、ならびに特許請求の範囲から明らかとなろう。

本開示の技法による、人工現実環境内のユーザインタフェース要素を提示および制御する、例示的な人工現実システムを示す図である。 本開示の技法による、別の例示的な人工現実システムを示す図である。 本開示の技法にしたがって動作する、例示的なＨＭＤを示す図である。 図１Ａ、図１Ｂの人工現実システムのコンソールおよびＨＭＤの、例示的な実施態様を示す構成図である。 本開示の技法による、図１Ａ、図１Ｂの人工現実システムのＨＭＤによって、ジェスチャ検出およびユーザインタフェース生成が実行される例を示す構成図である。 本開示の技法による、仮想キーボードを出力し、仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された、例示的な人工現実システムを示す図である。 本開示の技法による、仮想キーボードを出力し、仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された、例示的な人工現実システムを示す図である。 本開示の技法による、分割された仮想キーボードを出力し、分割された仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された、例示的な人工現実システムを示す図である。 本開示の技法による、分割された仮想キーボードを出力し、分割された仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された、例示的な人工現実システムを示す図である。 本開示の技法による、挟持配置の形成を特定の回数検出し、挟持配置に関与する特定の指および挟持配置の形成が検出された特定の回数に基づく、入力文字をユーザ入力として受け取るよう構成された、例示的な人工現実システムを示す図である。 本開示の技法による、挟持配置の形成を特定の回数検出し、挟持配置に関与する特定の指および挟持配置の形成が検出された特定の回数に基づく、入力文字をユーザ入力として受け取るよう構成された、例示的な人工現実システムを示す図である。 本開示の技法による、仮想キーボードを出力し、仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された人工現実システムの、例示的な技法を示す流れ図である。 本開示の技法による、挟持配置の形成を特定の回数検出し、挟持配置に関与する特定の指および挟持配置の形成が検出された特定の回数に基づく、入力文字をユーザ入力として受け取るよう構成された例示的な人工現実システムの、例示的な技法を示す流れ図である。

同じ参照符号は、図および説明全体を通して、同じ要素を指す。

図１Ａは、本開示の技法による、人工現実環境内のユーザインタフェース要素を提示および制御する、例示的な人工現実システム１０を示す図である。いくつかの例示的な実施態様では、人工現実システム１０は、ユーザ１１０が実行する１つまたは複数のジェスチャの検出に応答して、グラフィカルユーザインタフェース要素を生成し、ユーザ１１０に対して描画する。すなわち、本明細書で説明されるように、人工現実システム１０は、ユーザの手、手指、親指、または腕の特定の動き、配置、場所、および／または向きなど、ユーザ１１０が実行する１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を提示する。他の例では、人工現実システム１０は、特殊なトグル要素、ドロップダウン要素、メニュー選択要素、グラフィカル入力キーまたはキーボード、コンテンツ表示ウィンドウなど、人工現実環境内でのユーザとの相互作用および操作用に特別に設計されたユーザインタフェース要素を提示および制御する。

図１Ａの例では、人工現実システム１０は、ヘッドマウントデバイス（ＨＭＤ：ｈｅａｄ ｍｏｕｎｔｅｄ ｄｅｖｉｃｅ）１１２、コンソール１０６、およびいくつかの例では、１つまたは複数の外部センサ９０を備えている。図示のように、ＨＭＤ１１２は、通常、ユーザ１１０が着用し、人工現実コンテンツ１２２をユーザ１１０に提示する電子ディスプレイおよび光学組立体を備えている。加えて、ＨＭＤ１１２は、ＨＭＤの動きを追跡する１つまたは複数のセンサ（たとえば、加速度計）を備え、また周囲の物理的環境の画像データを取り込む、１つまたは複数の画像取込みデバイス１３８、たとえば、カメラ、ラインスキャナなどを備えることができる。この例では、コンソール１０６は、ゲーム機、ワークステーション、デスクトップコンピュータ、またはラップトップなど、ただ１つのコンピュータ処理デバイスとして示されている。他の例では、コンソール１０６は、分散型コンピュータ処理ネットワーク、データセンタ、またはクラウドコンピュータ処理システムなど、複数のコンピュータ処理デバイスに分散されていてもよい。コンソール１０６、ＨＭＤ１１２、およびセンサ９０は、この例に示されているように、ネットワーク１０４を介して通信可能に結合することができ、ネットワークは、ＷｉＦｉ、メッシュネットワーク、または短距離無線通信媒体などの有線または無線ネットワークであり得る。この例では、ＨＭＤ１１２は、コンソール１０６と通信する、たとえば、コンソール１０６と繋がっているか、または無線通信するように示されているが、いくつかの実施態様では、ＨＭＤ１１２は、独立型の携帯人工現実システムとして動作する。

一般に、人工現実システム１０は、実世界の３Ｄ物理的環境から取り込まれた情報を使用して、ユーザ１１０に対して表示するための人工現実コンテンツ１２２を描画する。図１Ａの例では、ユーザ１１０は、コンソール１０６および／またはＨＭＤ１１２上で人工現実アプリケーションを実行することによって構築および描画される、人工現実コンテンツ１２２を観察する。一例として、人工現実コンテンツ１２２は、ユーザ１１０が、１つまたは複数の仮想物体１２８Ａ、１２８Ｂと共に、アバター１２０として描画される、民生ゲームアプリケーションであり得る。いくつかの例では、人工現実コンテンツ１２２には、実世界の形象と仮想物体との混在、たとえば、複合現実および／または拡張現実が含まれ得る。他の例では、人工現実コンテンツ１２２は、たとえば、ビデオ会議アプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練もしくはシミュレーションアプリケーション、または人工現実を実装する他の種類のアプリケーションであり得る。

人工現実アプリケーションは、動作中、基準フレーム、通常はＨＭＤ１１２の観察視点に対するポーズ情報を追跡および計算することによって、ユーザ１１０に対して表示する人工現実コンテンツ１２２を構築する。基準フレームとしてＨＭＤ１１２を使用し、ＨＭＤ１１２の現在の推定ポーズによって特定される現在の視野１３０に基づいて、人工現実アプリケーションは、いくつかの例では、ユーザ１１０の実世界での３Ｄ物理的環境の上に少なくとも部分的に重畳され得る、３Ｄ人工現実コンテンツを描画する。この処理中に、人工現実アプリケーションは、ＨＭＤ１１２から受け取った動き情報およびユーザコマンドなどの感知されたデータ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０からのデータを使用して、実世界の物理的環境内での、ユーザ１１０の動きおよび／またはユーザ１１０に関する特徴追跡情報などの３Ｄ情報を取り込む。感知されたデータに基づいて、人工現実アプリケーションは、ＨＭＤ１１２の基準フレームの現在のポーズを特定し、現在のポーズにしたがって、人工現実コンテンツ１２２を描画する。

さらに、この開示の技法によれば、人工現実アプリケーションは、感知されたデータに基づいて、ユーザ１１０が実行するジェスチャを検出し、１つまたは複数の特定のジェスチャの検出に応答して、ユーザに提示されている、下にある人工現実コンテンツ１２２上に重畳され得る、１つまたは複数のユーザインタフェース要素、たとえば、ＵＩメニュー１２４およびＵＩ要素１２６を生成する。この点に関して、ユーザインタフェース要素１２４、１２６は、人工現実環境でユーザに提示されている人工現実コンテンツ１２２の一部と見ることができる。このようにして、人工現実システム１０は、ユーザの手、手指、親指、または腕の特定の動き、配置、位置、および／または向きなど、ユーザ１１０による１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素１２４、１２６を動的に提示する。ユーザの手の例示的な配置には、拳、伸ばした１本または複数本の指、手の個々の指のうちの１本または複数本の相対的および／または絶対的位置および向き、手のひらの形状などが含まれ得る。ユーザインタフェース要素は、たとえば、ユーザ１１０が人工現実システムを動作させるために相互作用するメニューもしくはサブメニューなどのグラフィカルユーザインタフェース、またはトグル要素、ドロップダウン要素、メニュー選択要素、２次元または３次元形状、グラフィカル入力キーもしくはキーボード、コンテンツ表示ウィンドウなどの、ユーザ１１０が選択可能かつ操作可能な個々のユーザインタフェース要素であり得る。ＵＩ要素１２６は、２次元要素として描かれているが、たとえば、ユーザが、人工現実環境において形状を平行移動、拡大縮小、および／または回転させる、ジェスチャを実行することによって操作可能な２次元または３次元形状であってもよい。

図１Ａの例では、グラフィカルユーザインタフェース要素１２４は、グラフィカルユーザインタフェース要素１２６を有するウィンドウまたはアプリケーションコンテナであり得、様々な機能を実行する１つまたは複数の選択可能なアイコンを有することができる。他の例では、人工現実システム１０は、ＱＷＥＲＴＹ配列キーボード、ＡＺＥＲＴＹ配列キーボード、ＱＷＥＲＴＺ配列キーボード、Ｄｖｏｒａｋ配列キーボード、Ｃｏｌｅｍａｋ配列キーボード、Ｍａｌｔｒｏｎのキーボード、ＪＣＵＫＥＮ配列キーボード、アルファベットキーボード、数字／記号キーボード、顔文字選択キーボード、上記キーボードのいずれかの分割版、キーボード形式の入力文字の他の任意の配置構成などの仮想キーボード、またはユーザ１１０の手１３２の指の描画などの、人工現実コンテンツ１２２における１つもしくは複数のアイテムへの入力文字のカスタムマッピングまたは割当ての描写を提示することができる。

さらに、本明細書で説明されているように、いくつかの例では、人工現実システム１０は、システムが実行している１つもしくは複数のアプリケーションの現在の状態、または物理的環境において、リアルタイムでのユーザの視線追跡によって特定され得る、ユーザ１１０の現在の視野１３０に対して検出された特定のジェスチャの位置および向き、もしくは他の条件など、他の条件に応答してグラフィカルユーザインタフェース要素１２４、１２６の生成および描画をトリガすることができる。

より具体的には、本明細書でさらに説明されているように、ＨＭＤ１１２の画像取込みデバイス１３８は、画像取込みデバイス１３８の視野１３０内にある実世界の物理的環境内の物体を表す画像データを取り込む。視野１３０は、通常、ＨＭＤ１１２の観察視点に対応する。図１Ａに示されている例などのいくつかの例では、人工現実アプリケーションは、視野１３０内にあるユーザ１１０の手１３２の部分を、人工現実コンテンツ１２２内の仮想の手１３６として描画する。他の例では、人工現実アプリケーションは、複合現実および／または拡張現実を含む人工現実コンテンツ１２２内で、ユーザ１１０の手１３２および／または腕１３４の実世界画像を提示することができる。いずれの例においても、ユーザ１１０は、視野１３０内にあるユーザの手１３２および／または腕１３４の部分を、人工現実コンテンツ１２２内の物体として観察することができる。他の例では、人工現実アプリケーションは、ユーザの手１３２または腕１３４をまったく描画しない場合がある。

いずれにせよ、人工現実システム１０は、動作中、ＨＭＤ１１２の画像取込みデバイス１３８によって取り込まれた画像データ内で物体認識を実行して、手１３２を識別する。この識別は、オプションで、個々の手指もしくは親指、および／またはユーザ１１０の腕１３４の全部または一部を識別することを含む。さらに、人工現実システム１０は、時間のスライディングウィンドウにわたって、手１３２（オプションで、手の特定の指を含む）および／または腕１３４の部分の位置、向き、および配置を追跡する。人工現実アプリケーションは、追跡される手１３２および／または腕１３４の部分の任意の動き、配置、位置、および／または向きを分析し、特定の物体、たとえばユーザ１１０の手１３２（手の特定の指を含む）および／または腕１３４の部分を使って実行される、１つまたは複数のジェスチャを識別する。人工現実アプリケーションは、ジェスチャを検出するために、手１３２および／または腕１３４の部分の動き、配置、位置、および／または向きを、人工現実システム１０のジェスチャライブラリに記憶されたジェスチャの定義と比較することができ、ジェスチャライブラリ内の各ジェスチャは、１つまたは複数の動作にマッピングされ得る。いくつかの例では、動きの検出には、物理的環境で、指（人差し指および親指など）の定義された組合せのいずれかが、くっついて触れるまたはほぼ触れるかどうかを含む、手１３２の１本または複数本の指（個々の手指および親指）の位置を追跡することが含まれ得る。他の例では、動きの検出には、ＨＭＤ１１２の現在のポーズに対する手１３２の向き（たとえば、ＨＭＤ１１２の方を、もしくはＨＭＤ１１２とは反対の方を指す手指）、および／または腕１３４の向き（すなわち、ＨＭＤ１１２の方に向く腕の法線）を追跡することが含まれ得る。ユーザの手１３２（または手の一部）の位置および向きは、あるいは、手１３２（または手の一部）のポーズと呼ばれ得る。

さらに、人工現実アプリケーションは、手１３２および／または腕１３４の配置、位置、および／または向きを分析し、少なくとも閾値期間にわたって１つまたは複数の特定の配置、位置、および／または向きに保持されている手１３２および／または腕１３４を含む、ジェスチャを識別することができる。人工現実システム１０は、例として、手１３２および／または腕１３４が視野１３０内で少なくとも設定可能な期間、実質的に静止状態で保持されている１つまたは複数の特定の位置を、ユーザ１１０が、メニューなどの特定の種類のユーザインタフェース要素１２４、１２６の表示をトリガすることなど、人工現実アプリケーションによる所望の応答をトリガすることを意図したジェスチャを、実行しようとしていることを示すものとして使用することができる。人工現実システム１０は、別の例として、少なくとも設定可能な期間、視野１３０内に維持されている手１３２の手指および／もしくは手のひら、ならびに／または腕１３４の１つまたは複数の特定の配置を、ユーザ１１０がジェスチャを実行しようとしていることを示すものとして使用することができる。図１Ａには、ユーザ１１０の右手１３２および右腕１３４しか示されていないが、他の例では、人工現実システム１０は、ユーザ１１０の左手および／もしくは左腕、またはユーザ１１０の左右両手および／もしくは両腕を識別することができる。このようにして、人工現実システム１０は、物理的環境内で、どちらかの手で実行される片手ジェスチャ、両手ジェスチャ、または腕ベースのジェスチャを検出し、検出されたジェスチャに応答して、関連するユーザインタフェース要素を生成することができる。

この開示の技法によれば、人工現実アプリケーションは、識別されたジェスチャが、コンソール１０６および／またはＨＭＤ１１２のジェスチャライブラリ内の複数のエントリのうちの１つによって定義されたジェスチャに相当するかどうかを判断する。以下でより詳細に説明されるように、ジェスチャライブラリのエントリはそれぞれ、相異なるジェスチャを、ユーザの手、指（手指もしくは親指）、および／もしくは腕の、時間の経過に伴う特定の動き、配置、位置、および／もしくは向き、またはかかるプロパティの組合せとして定義することができる。加えて、定義されたジェスチャはそれぞれ、人工現実アプリケーションによって実行されるべき１つまたは複数の動作の形で、所望の応答に関連づけられ得る。一例として、ジェスチャライブラリ内の１つまたは複数の定義されたジェスチャは、１つまたは複数のユーザインタフェース要素、たとえば、ＵＩメニュー１２４の生成、変形、および／または配置をトリガして、人工現実コンテンツ１２２上に描画および重畳することができる。ここで、ジェスチャは、人工現実コンテンツ１２２内のＵＩメニュー１２４の位置および／または向きを定義することができる。別の例として、定義されたジェスチャのうちの１つまたは複数は、提示されたユーザインタフェースの変更、提示されたユーザインタフェースのサブメニューの提示などをトリガするための、ユーザ１１０の特定のユーザインタフェース要素との相互作用、たとえば、ＵＩメニュー１２４のＵＩ要素１２６の選択を示すことができる。

たとえば、ジェスチャライブラリにエントリとして記憶されたジェスチャのうちの１つは、挟持配置を形成する、手の２本以上の指の動きであり得る。挟持配置は、同じ手（たとえば、ユーザ１１０の手１３２）の少なくとも２本の別個の指が互いに接触する任意の配置からなり得る。いくつかの例では、この配置は、互いに接触状態である２本の指が、手の残りの指から離れていることを必要とするか、または互いに接触状態である指の部分が、指の腹または指先であることを必要とするなど、さらに制限され得る。場合によっては、手の親指が手の第２の指に接触する指のうちの１本であることが、さらなる制限であり得る。ただし、挟持配置は、２本の指が同じ手に属しているかどうかに関わらず、ただ単に、任意の２本の指が互いにどんな接触状態にでもなることを必要とするなど、制約がより少ない場合がある。

本明細書に記載の技法によれば、人工現実コンテンツ１２２が、１つまたは複数の仮想キーで構成される仮想キーボードを有する場合、画像取込みデバイス１３８は、挟持配置を形成するように動く手１３２の第１の指および第２の指を含む、画像データを取り込むことができる。人工現実システム１０が、挟持配置を形成する手１３２の指の動きを含むジェスチャを識別すると、挟持配列にあるときの２本の指の接触点が特定され、人工現実コンテンツ１２２によって構成された仮想環境内の対応する位置が識別される。挟持配置にあるときの指の接触点が、仮想キーボード内の仮想キーの場所に相当する場合、人工現実システム１０は、挟持配置または挟持配置の解除を、仮想キーの選択として認識することができる。人工現実システム１０は、この選択を受け取るのに応答して、テキスト入力欄内にテキスト文字または他のＡＳＣＩＩ文字を入力すること、またはコンピュータ処理システムのキーボードのキーに割り当てられ得る他の任意の機能など、仮想キーの選択に対応する動作を実行することができる。

本明細書に記載の技法の他の例では、画像取込みデバイス１３８は、ユーザの手１３２を含む画像データを取り込むことができる。人工現実システム１０は、画像データから、ユーザの手１３２の様々な指を区別することができる。ユーザ１１０の両手が画像データに含まれている場合、人工現実システム１０は、ユーザ１１０の片手または両手の様々な指を区別することができる。次いで、人工現実システム１０は、１つまたは複数の入力文字を、画像データに取り込まれた片手（または両手）の１本または複数本の指に割り当てることができる。人工現実システム１０は、いくつかの例では、それぞれの手の親指など、画像データ内のそれぞれの手の１本の指を、入力文字を割り当てないままにしておき、その代わりにこの指を、入力選択する指として割り当てることができる。画像取込みデバイス１３８は、選択用指（ｓｅｌｅｃｔｏｒ ｄｉｇｉｔ）が、人工現実システム１０が１つまたは複数の入力文字を割り当てた、他の指のうちの１本と接触して、挟持配置を形成するユーザの手１３２を含む、画像データを取り込むことができる。人工現実システム１０が、これらの２本の指の挟持配置を形成する動きを含むジェスチャを検出すると、人工現実システム１０は、特定の時間にわたって画像データを監視し、特定の時間内にこれらの２本の指によって、何度別個に挟持配置が形成されたかを特定することができる。たとえば、２本の指が特定の時間内に、挟持配置を形成し、挟持配置を解除し、再び挟持配置を形成することは、挟持配置の２つの別個のインスタンスを構成することになる。この数の別個のインスタンスに基づいて、人工現実システム１０は、選択用指と共に挟持配置を形成する、特定の指に割り当てられた入力文字のうちの対応する１つの選択を処理する。

したがって、本開示の技法は、人工現実システムによってコンテンツを描画および表示するコンピュータ関連分野への、特定の技術的改善をもたらす。たとえば、本明細書に記載の人工現実システムは、ユーザが実行する直感的でありながらも独特のジェスチャの検出に基づいて、人工現実コンテンツに重畳されたユーザインタフェース要素を生成および描画することによって、ユーザ１１０などのユーザに、人工現実アプリケーションの高品質の人工現実体験を提供することができる。

さらに、本明細書に記載のシステムは、隠れてしまうもの（ｏｃｃｌｕｓｉｏｎ）の追跡を回避するよう定義された手および腕の動きに基づいて、所定のジェスチャを検出するよう構成され得る。隠れてしまうものの追跡は、ユーザの一方の手が他方の手と少なくとも部分的に重なっている場合に起きることがあり、それぞれの手の個々の指（手指および親指）ばかりでなく、それぞれの手の位置および向きを正確に追跡することを困難にする。したがって、本明細書で説明されているシステムは、主に片手または片腕ベースのジェスチャを検出するよう構成され得る。片手または片腕ベースのジェスチャを使用すると、大きい運動技能および細かい運動技能に制限があるユーザにとって、利用し易さがさらに向上する可能性がある。さらに、本明細書に記載のシステムは、ユーザの手が、相互作用するかまたは互いに重なることのない、両手または両腕ベースのジェスチャを検出するよう構成され得る。

加えて、本明細書に記載のシステムは、ユーザに自己触覚型フィードバックを与えるジェスチャを検出するよう構成され得る。たとえば、ユーザのそれぞれの手の親指および１本または複数本の手指は、人工現実コンテンツの特定のユーザインタフェース要素との相互作用を示す事前定義されたジェスチャの一部として、物理的世界で触れるか、またはほぼ触れることができる。ユーザの手の親指と１本または複数本の手指との間の接触は、ユーザが、物理的キーボードまたは他の物理的入力デバイス上の釦などの、物理的ユーザ入力物体と直接相互作用するときに感じる、感覚のシミュレーションをユーザに与えることができる。

本明細書に記載の技法を利用することにより、人工現実システム１０は、いつ入力文字の選択が行われたかを示すために、自己触覚型フィードバック、すなわち挟持配置を形成するときに互いに接触するユーザの手１３２の指の感覚を使用する、自然な入力システムを提供することができる。さらに、人工現実システム１０は、特定の挟持の形を形成する動きを含むジェスチャを検出することにより、いつ画像データを分析するべきかを効率的に特定し、どの入力文字をユーザ入力として受け取るかを特定することができる。本明細書に記載の技法は、ユーザ入力を受け取るためにユーザ１１０が持つ追加のハードウェアの必要性を低減または排除することさえでき、それにより、人工現実システム１０の全体的な効率が高まり、人工現実システム１０の別個の構成要素間の通信処理が低減され、かつあらゆるレベルの身体能力のユーザにとって、人工現実システム１０の利用し易さが高まる。

図１Ｂは、本開示の技法による別の例示的な人工現実システム２０を示す図である。図１Ａの人工現実システム１０と同様に、いくつかの例では、図１Ｂの人工現実システム２０は、人工現実環境内でのユーザの相互作用および操作のために特別に設計された、ユーザインタフェース要素を提示および制御することができる。人工現実システム２０はまた、様々な例において、ユーザの１つまたは複数の特定のジェスチャの検出に応答して、所定のグラフィカルユーザインタフェース要素を生成し、ユーザに対して描画することができる。

図１Ｂの例では、人工現実システム２０は、外部カメラ１０２Ａおよび１０２Ｂ（総称して「外部カメラ１０２」）、ＨＭＤ１１２Ａ～１１２Ｃ（総称して「ＨＭＤ１１２」）、コントローラ１１４Ａおよび１１４Ｂ（総称して「コントローラ１１４」）、コンソール１０６、およびセンサ９０を備える。図１Ｂに示されているように、人工現実システム２０は、コンソール１０６および／またはＨＭＤ１１２上で実行される人工現実アプリケーションが、ユーザ１１０Ａ～１１０Ｃ（総称して「ユーザ１１０」）のそれぞれに、それぞれのユーザに対応する基準フレームの現在の観察視点に基づいて人工現実コンテンツを提示する、マルチユーザ環境を示している。すなわち、この例では、人工現実アプリケーションは、ＨＭＤ１１２ごとの基準フレームのポーズ情報を追跡および計算することによって、人工コンテンツを構築する。人工現実システム２０は、ＨＭＤ１１２の対応する基準フレームの更新されたポーズ情報を計算するのに使用するために、カメラ１０２、ＨＭＤ１１２、およびコントローラ１１４から受け取ったデータを使用して、ユーザ１１０の動きなど、実世界環境内の３Ｄ情報を、かつ／またはユーザ１１０および物体１０８に関する追跡情報を取り込む。一例として、人工現実アプリケーションは、ＨＭＤ１１２Ｃについて特定された現在の観察視点に基づいて、実世界の物体１０８Ａ～１０８Ｃ（総称して「実世界の物体１０８」）上に空間的に重畳される、仮想物体１２８Ａ～１２８Ｃ（総称して「仮想物体１２８」）を有する人工現実コンテンツ１２２を描画することができる。さらに、人工現実システム２０は、ＨＭＤ１１２Ｃの視点から、ユーザ１１０Ａ、１１０Ｂのそれぞれの推定位置に基づいて、アバター１２０Ａ、１２０Ｂを描画する。

ＨＭＤ１１２のそれぞれは、人工現実システム２０内で同時に動作する。図１Ｂの例では、ユーザ１１０のそれぞれは、人工現実アプリケーションの「プレーヤ」または「参加者」であってもよく、ユーザ１１０のいずれも、人工現実アプリケーションの「観客」または「観察者」であってもよい。ＨＭＤ１１２Ｃはそれぞれ、ユーザ１１０Ｃの手１３２および／または腕１２４を追跡し、視野１３０内にある手１３２の部分を人工現実コンテンツ１２２内の仮想の手１３６として描画することによって、図１ＡのＨＭＤ１１２と実質的に同様に動作することができる。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂが保持しているコントローラ１１４Ａから、ユーザ入力を受け取ることができる。ＨＭＤ１１２Ａはまた、図１ＡのＨＭＤ１１２と実質的に同様に動作し、ユーザ１１０Ａの手１３２Ａ、１３２Ｂの動きを追跡することによって、ユーザ入力を受け取ることができる。ＨＭＤ１１２Ｂは、ユーザ１１０Ｂが保持しているコントローラ１１４から、ユーザ入力を受け取ることができる。コントローラ１１４は、ブルートゥースなどの短距離無線通信である近距離通信を使用して、有線通信リンクを使用して、または別の種類の通信リンクを使用して、ＨＭＤ１１２Ｂと通信することができる。

図１Ａに関して上記で論じられた例と同様のやり方で、人工現実システム２０のコンソール１０６および／またはＨＭＤ１１２Ａは、ユーザ１１０Ａに対して表示される人工現実コンテンツ上に重畳され得る、ユーザインタフェース要素を生成および描画する。さらに、コンソール１０６および／またはＨＭＤ１１２Ａは、ポーズの追跡による、ユーザ１１０Ａが実行する直感的でありながらも独特のジェスチャの検出に基づいて、ユーザインタフェース要素の生成および動的な表示をトリガすることができる。人工現実システム２０は、たとえば、ユーザの手、手指、親指、または腕の特定の動き、配置、位置、および／または向きなど、ユーザ１１０Ａによる１つまたは複数の特定のジェスチャの検出に応答して、１つまたは複数のグラフィカルユーザインタフェース要素を動的に提示することができる。図１Ｂに示されているように、ＨＭＤ１１２Ａに組み込まれたカメラを介して取り込まれた画像データに加えて、外部カメラ１０２からの入力データを使用して、手の個々の指（手指、親指）および／または指の組合せの動きを含む、ユーザ１１０Ａの手１３２Ａおよび１３２Ｂなどのユーザ１１０の手および腕の特定の動き、配置、位置、および／または向きを追跡および検出することができる。

このようにして、本明細書に記載の技法は、手１３２Ａまたは１３２Ｂのいずれの挟持配置をも検出することによって、両手テキスト入力を可能にすることができる。たとえば、人工現実システム２０が、ＨＭＤ１１２Ａおよびユーザ１１０Ａ用の人工現実コンテンツに仮想キーボードを出力する場合、ＨＭＤ１１２Ａまたはカメラ１０２は、本明細書に記載の挟持配置を形成する手１３２Ａまたは手１３２Ｂのいずれの指の動きをも含むジェスチャを検出することができる。いくつかの例では、人工現実システム２０は、単一の仮想キーボードを出力するのではなく、分割された仮想キーボードを出力することができ、分割されたキーボード出力の半分は、手１３２Ａの仮想表現のほぼ近くにあり、分割されたキーボード出力の残り半分は、手１３２Ｂのほぼ近くにある。このようにして、人工現実システム２０は、人工現実コンテンツにおいて、単一のキーボード設計ではなく、人間工学的で自然な分割されたキーボードのレイアウトを提供することができる。

同様に、人工現実システム２０が画像データ内の手の指に１つまたは複数の入力文字を割り当てる場合、人工現実システム２０は、カメラ１０２およびＨＭＤ１１２Ａによって取り込まれた画像データを分析し、１つまたは複数の入力文字を、手１３２Ａおよび１３２Ｂのそれぞれの指に割り当てることができる。人工現実システムは、手１３２Ａおよび１３２Ｂのそれぞれの親指など、手１３２Ａおよび１３２Ｂそれぞれの指のうちの１本に入力文字を割り当てることを止め、その代わりに、これらの指を、手１３２Ａおよび１３２Ｂのそれぞれの選択用指として割り当てることができる。人工現実システム２０は、次いで、カメラ１０２またはＨＭＤ１１２Ａによって取り込まれた画像データを監視し、挟持配置を形成する手１３２Ａまたは１３２Ｂのいずれかの指の動きを含む、ジェスチャを形成する手１３２Ａまたは１３２Ｂの一方を検出することができる。人工現実システム２０は、次いで、特定の時間にわたって画像データを監視し、その時間内に、手１３２Ａまたは１３２Ｂのいずれかのこれらの２本の指が、別個に挟持配置を形成する回数を検出することができる。人工現実システム２０は、次いで、２本の指が別個に挟持配置を形成した回数に基づいて、手１３２Ａまたは１３２Ｂの特定の指の、入力文字のうちの１つの選択を処理することができる。

図２は、本開示の技法にしたがって動作するよう構成された、例示的なＨＭＤ１１２を示す図である。図２のＨＭＤ１１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれの例でもあり得る。ＨＭＤ１１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であり得るか、または本明細書に記載の技法を実施するよう構成された、独立型の携帯人工現実システムとして動作することができる。

この例では、ＨＭＤ１１２は、ＨＭＤ１１２をユーザに固定するための前部剛体およびバンドを備える。加えて、ＨＭＤ１１２は、人工現実コンテンツをユーザに提示するよう構成された、内側に向く電子ディスプレイ２０３を備える。電子ディスプレイ２０３は、液晶ディスプレイ（ＬＣＤ：ｌｉｑｕｉｄ ｃｒｙｓｔａｌ ｄｉｓｐｌａｙ）、量子ドットディスプレイ、ドットマトリックスディスプレイ、発光ダイオード（ＬＥＤ：ｌｉｇｈｔ ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、有機発光ダイオード（ＯＬＥＤ：ｏｒｇａｎｉｃ ｌｉｇｈｔ－ｅｍｉｔｔｉｎｇ ｄｉｏｄｅ）ディスプレイ、陰極線管（ＣＲＴ：ｃａｔｈｏｄｅ ｒａｙ ｔｕｂｅ）ディスプレイ、電子ペーパ、または視覚出力を生成できる白黒、カラー、もしくは他の任意の種類のディスプレイなどの、任意の好適なディスプレイ技術であり得る。いくつかの例では、電子ディスプレイは、ユーザのそれぞれの目に別々の画像を提示する、立体視ディスプレイである。いくつかの例では、ＨＭＤ１１２およびユーザの現在の観察視点にしたがって人工現実コンテンツを描画するために、ＨＭＤ１１２の位置および向きを追跡するときに、ＨＭＤ１１２の前部剛体に対するディスプレイ２０３の既知の向きおよび位置が、ローカル原点とも呼ばれる、基準フレームとして使用される。他の例では、ＨＭＤ１１２は、眼鏡などの他の着用可能なヘッドマウントディスプレイの形式をとることができる。

図２にさらに示されているように、この例では、ＨＭＤ１１２は、ＨＭＤ１１２の現在の加速度を示すデータを出力する、１つもしくは複数の加速度計（慣性測定ユニットまたは「ＩＭＵ：ｉｎｅｒｔｉａｌ ｍｅａｓｕｒｅｍｅｎｔ ｕｎｉｔ」とも呼ばれる）などの、１つもしくは複数の動きセンサ２０６、ＨＭＤ１１２の場所を示すデータを出力するＧＰＳセンサ、様々な物体からＨＭＤ１１２の距離を示すデータを出力するレーダもしくはソナー、またはＨＭＤ１１２または物理環境内の他の物体の場所もしくは向きを示す他のセンサをさらに備える。さらに、ＨＭＤ１１２は、ビデオカメラ、レーザスキャナ、ドップラレーダスキャナ、深度スキャナなどの、統合された画像取込みデバイス１３８Ａおよび１３８Ｂ（総称して「画像取込みデバイス１３８」）を備えることができ、画像取込みデバイスは、物理的環境を表す画像データを出力するよう構成されている。より具体的には、画像取込みデバイス１３８は、通常、ＨＭＤ１１２の観察視点に相当する、画像取込みデバイス１３８の視野１３０Ａ、１３０Ｂ内にある、物理的環境内の物体を表す画像データを取り込む。ＨＭＤ１１２は、内部電源と、１つまたは複数のプロセッサ、メモリ、およびハードウェアを備え、感知されたデータを処理し、人工現実コンテンツをディスプレイ２０３上に提示する、プログラム可能な動作を実行する動作環境を提供する、１つまたは複数のプリント回路基板とを備えることができる、内部制御ユニット２１０を備える。

一例では、本明細書に記載の技法によれば、制御ユニット２１０は、感知されたデータに基づいて、ユーザが実行する特定のジェスチャまたはジェスチャの組合せを識別し、それに応答して動作を実行するよう構成される。制御ユニット２１０は、たとえば、識別した１つのジェスチャに応答して、電子ディスプレイ２０３上に表示するための、人工現実コンテンツ上に重畳される特定のユーザインタフェース要素を生成および描画することができる。本明細書で説明されているように、本開示の技法によれば、制御ユニット２１０は、画像取込みデバイス１３８によって取り込まれた画像データ内の物体認識を実行して、手１３２、手指、親指、腕、またはユーザの別の一部を識別し、ユーザが実行する事前定義されたジェスチャを識別するために、識別された部分の動きを追跡することができる。事前定義されたジェスチャの識別に応答して、制御ユニット２１０は、ユーザインタフェース要素に関連づけられたオプションのセットからオプションを選択する、ジェスチャを入力（たとえば、文字）に変換する、アプリケーションを起動する、さもなければコンテンツを表示するなど、何らかの動作を行う。いくつかの例では、制御ユニット２１０は、ユーザインタフェースを示すための「トリガ」として指定された、事前定義されたジェスチャを検出するのに応答して、メニューなどのユーザインタフェース要素を動的に生成および提示する。他の例では、制御ユニット２１０は、コンソール１０６などの外部デバイスからの指図に応答して、物体認識、動き追跡、およびジェスチャ検出、またはそれらの任意の部分を実行することができる、かかる機能を実行する。

本明細書に記載の技法によれば、ディスプレイ２０３上に表示される人工現実コンテンツが、１つまたは複数の仮想キーで構成される仮想キーボードを有する場合、画像取込みデバイス１３８は、挟持配置を形成するユーザの手１３２の指の動きを含む、画像データを取り込むことができる。制御ユニット２１０は、この画像データから、挟持配置を形成する手１３２の指の動きを含む、ジェスチャを検出することができる。制御ユニット２１０が、挟持配置を形成する指の動きのジェスチャが検出されるのを検出すると、挟持配置に関与する２本の指の接触点が識別され、制御ユニット２１０は、人工現実コンテンツによって構成された仮想環境内の、相当する場所を識別する。挟持配置の接触点が仮想キーボードの仮想キーの場所に相当する場合、制御ユニット２１０は、挟持配置を形成する指の動き、または挟持配置を解除する指の動きが、接触点の場所に相当する場所にある仮想キーを選択しているのを認識することができる。この選択に応答して、制御ユニット２１０は、テキスト入力欄内にテキスト文字または他のＡＳＣＩＩ文字を入力すること、またはコンピュータ処理システムのキーボードのキーに割り当てられ得る他の任意の機能など、仮想キーの選択に対応する動作を実行することができる。

本明細書に記載の技法の他の例では、画像取込みデバイス１３８または他の外部カメラは、ユーザの手１３２を含む画像データを取り込むことができる。この画像データを使用して、制御ユニット２１０は、ユーザの手１３２の様々な指を区別することができる。次いで、制御ユニット２１０は、１つまたは複数の入力文字を、画像データに取り込まれた手１３２の１本または複数本の指に割り当てることができる。制御ユニット２１０は、いくつかの例では、手１３２の親指など、画像データ内の手１３２の１本の指を、入力文字を割り当てないままにしておき、その代わりにこの指を、選択用指として割り当てることができる。次いで、画像取込みデバイス１３８は、制御ユニット２１０が１つまたは複数の入力文字を割り当てたユーザの手１３２の選択用指および第２の指の、挟持配置を形成する動きを含む、画像データを取り込むことができる。制御ユニット２１０が画像データからこの動きを検出すると、制御ユニット２１０は、特定の時間にわたって画像データを監視し、監視している２本の指が特定の時間に挟持配置を形成および解除する、別個のインスタンスの数を検出することができる。たとえば、制御ユニット２１０は、特定の時間内の、挟持配置を形成する２本の指の動き、挟持配置を解除する動き、再び挟持配置を形成する動き、挟持配置を解除する動き、およびさらに再び挟持配置を形成する動きが、挟持配置の３つの別個のインスタンスを構成するのを検出することができる。この数の別個のインスタンスに基づいて、制御ユニット２１０は、選択用指と共に挟持配置を形成する、特定の指に割り当てられた入力文字のうちの対応する１つを選択する。制御ユニット２１０は、挟持配置の形成を組み合わせた入力であるこの選択を使用する。

図３は、図１Ａ、図１Ｂの人工現実システム１０、２０のコンソール１０６およびヘッドマウントディスプレイ１１２の例示的な実施態様を示す構成図である。図３の例では、コンソール１０６は、ＨＭＤ１１２および／または外部センサから受け取った動きデータおよび画像データなどの感知されたデータに基づいて、本明細書に記載の技法による、ポーズ追跡、ジェスチャ検出、およびＨＭＤ１１２用ユーザインタフェースの生成および描画を実行する。

この例では、ＨＭＤ１１２は、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を備えている。次に、オペレーティングシステム３０５は、アプリケーションエンジン３４０を含む１つまたは複数のソフトウェア構成要素３０７を実行する、マルチタスク動作環境を提供する。図２の例に関して論じられたように、プロセッサ３０２は、電子ディスプレイ２０３、動きセンサ２０６、および画像取込みデバイス１３８に結合されている。いくつかの例では、プロセッサ３０２およびメモリ３０４は、別個の離散した構成要素であり得る。他の例では、メモリ３０４は、ただ１つの集積回路内にプロセッサ３０２と併置されたオンチップメモリであってもよい。

コンソール１０６は、概ね、カメラ１０２（図１Ｂ）および／またはＨＭＤ１１２から受け取った画像および追跡情報を処理して、ジェスチャ検出およびＨＭＤ１１２用ユーザインタフェース生成を実行する、コンピュータ処理デバイスである。いくつかの例では、コンソール１０６は、ワークステーション、デスクトップコンピュータ、ラップトップ、またはゲームシステムなどの、ただ１つのコンピュータ処理デバイスである。いくつかの例では、プロセッサ３１２および／またはメモリ３１４などのコンソール１０６の少なくとも一部は、クラウドコンピュータ処理システム、データセンタにわたって、またはインターネット、別の公衆もしくは専用通信ネットワーク、たとえば、コンピュータ処理システム、サーバ、およびコンピュータ処理デバイス間でデータを伝送するための広帯域、移動体通信、Ｗｉ－Ｆｉ、および／または他の種類の通信ネットワークなどの、ネットワークにわたって分散されていてもよい。

図３の例では、コンソール１０６は、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３１６を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３１２およびメモリ３１４を備えている。次に、オペレーティングシステム３１６は、１つまたは複数のソフトウェア構成要素３１７を実行するための、マルチタスク動作環境を提供する。プロセッサ３１２は、１つまたは複数のＩ／Ｏインタフェース３１５に結合され、キーボード、ゲームコントローラ、ディスプレイデバイス、画像取込みデバイス、ＨＭＤなどの外部デバイスと通信するための、１つまたは複数のＩ／Ｏインタフェースを提供する。さらに、１つまたは複数のＩ／Ｏインタフェース３１５には、ネットワーク１０４などのネットワークと通信する、１つまたは複数の有線または無線ネットワークインタフェースコントローラ（ＮＩＣ：ｎｅｔｗｏｒｋ ｉｎｔｅｒｆａｃｅ ｃｏｎｔｒｏｌｌｅｒ）が含まれ得る。プロセッサ３０２、３１２のそれぞれには、マルチコアプロセッサ、コントローラ、デジタル信号プロセッサ（ＤＳＰ：ｄｉｇｉｔａｌ ｓｉｇｎａｌ ｐｒｏｃｅｓｓｏｒ）、特定用途向け集積回路（ＡＳＩＣ：ａｐｐｌｉｃａｔｉｏｎ ｓｐｅｃｉｆｉｃ ｉｎｔｅｇｒａｔｅｄ ｃｉｒｃｕｉｔ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ：ｆｉｅｌｄ－ｐｒｏｇｒａｍｍａｂｌｅ ｇａｔｅ ａｒｒａｙ）、または同等の離散した、もしくは集積論理回路のうちの任意の１つまたは複数が含まれ得る。メモリ３０４、３１４には、ランダムアクセスメモリ（ＲＡＭ：ｒａｎｄｏｍ－ａｃｃｅｓｓ ｍｅｍｏｒｙ）、読取り専用メモリ（ＲＯＭ：ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ：ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ：ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、電子的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ：ｅｌｅｃｔｒｏｎｉｃａｌｌｙ ｅｒａｓａｂｌｅ ｐｒｏｇｒａｍｍａｂｌｅ ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）、およびフラッシュメモリなどの、データおよび実行可能なソフトウェア命令を記憶する任意の形式のメモリが含まれ得る。

コンソール１０６のソフトウェアアプリケーション３１７は、全体的な人工現実アプリケーションを提供するよう動作する。この例では、ソフトウェアアプリケーション３１７は、アプリケーションエンジン３２０、描画エンジン３２２、ジェスチャ検出器３２４、ポーズ追跡器３２６、およびユーザインタフェースエンジン３２８を有している。

アプリケーションエンジン３２０は、概して、人工現実アプリケーション、たとえば、電話会議アプリケーション、ゲームアプリケーション、ナビゲーションアプリケーション、教育アプリケーション、訓練またはシミュレーションアプリケーションなどを提供し、提示する機能を有している。アプリケーションエンジン３２０は、たとえば、コンソール１０６上で人工現実アプリケーションを実施するための１つまたは複数のソフトウェアパッケージ、ソフトウェアライブラリ、ハードウェアドライバ、および／またはアプリケーションプログラムインタフェース（ＡＰＩ：Ａｐｐｌｉｃａｔｉｏｎ Ｐｒｏｇｒａｍ Ｉｎｔｅｒｆａｃｅ）を有することができる。アプリケーションエンジン３２０による制御に応答して、描画エンジン３２２は、ＨＭＤ１１２のアプリケーションエンジン３４０によってユーザに対して表示する、３Ｄ人工現実コンテンツを生成する。

アプリケーションエンジン３２０および描画エンジン３２２は、ポーズ追跡器３２６によって特定される基準フレーム、典型的にはＨＭＤ１１２の観察視点での現在のポーズ情報にしたがって、ユーザ１１０に対して表示する人工コンテンツを構築する。現在の観察視点に基づいて、描画エンジン３２２は、場合によっては少なくとも部分的に、ユーザ１１０の実世界の３Ｄ環境に重畳され得る、３Ｄの人工現実コンテンツを構築する。この処理中に、ポーズ追跡器３２６は、ＨＭＤ１１２から受け取った動き情報およびユーザコマンドなどの感知されたデータ、ならびにいくつかの例では、外部カメラなどの任意の外部センサ９０（図１Ａ、図１Ｂ）からのデータに基づいて動作し、実世界の環境内での、ユーザ１１０の動きおよび／またはユーザ１１０に関する特徴追跡情報などの３Ｄ情報を取り込む。ポーズ追跡器３２６は、感知されたデータに基づいて、ＨＭＤ１１２の基準フレームでの現在のポーズを特定し、現在のポーズにしたがって人工現実コンテンツを構築し、ユーザ１１０に対して表示するために、１つまたは複数のＩ／Ｏインタフェース３１５を介してＨＭＤ１１２と通信する。

さらに、ジェスチャ検出器３２４は、感知されたデータに基づいて、ユーザの物体（たとえば、手、腕、手首、手指、手のひら、親指）の追跡された動き、配置、位置、および／または向きを分析し、ユーザ１１０が実行する１つまたは複数のジェスチャを識別する。より具体的には、ジェスチャ検出器３２４は、ＨＭＤ１１２の画像取込みデバイス１３８ならびに／またはセンサ９０および外部カメラ１０２によって取り込まれた、画像データ内で認識された物体を分析し、ユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する手および／または腕の動きを追跡して、ユーザ１１０が実行するジェスチャを識別する。ジェスチャ検出器３２４は、取り込まれた画像データに基づいて、手、指、および／または腕の位置および向きの変化を含む動きを追跡し、物体の動きベクトルをジェスチャライブラリ３３０内の１つまたは複数のエントリと比較して、ユーザ１１０が実行するジェスチャまたはジェスチャの組合せを検出することができる。ジェスチャライブラリ３３０内の一部のエントリはそれぞれ、ジェスチャを、ユーザの手、特定の手指、親指、手首、および／または腕の相対的経路または空間的平行移動および回転などの、一連の動きまたは動きのパターンとして定義することができる。ジェスチャライブラリ３３０内の一部のエントリはそれぞれ、ジェスチャを、特定の時間の、または一定期間にわたる、ユーザの手および／もしくは腕（またはその一部）の配置、位置、および／または向きとして定義することができる。ジェスチャの種類の他の例もあり得る。加えて、ジェスチャライブラリ３３０内のエントリのそれぞれは、定義されたジェスチャまたは一連のジェスチャについての、ＨＭＤ１１２の現在の視野との空間的関係、ユーザが現在観察している特定の領域との空間的関係など、個人のリアルタイムでの凝視追跡、表示されている人工コンテンツの種類、実行されているアプリケーションの種類などによって特定され得る、ジェスチャまたは一連のジェスチャが動作をトリガするのに必要な条件を指定することができる。

ジェスチャライブラリ３３０内のエントリのそれぞれはさらに、定義されたジェスチャのそれぞれまたはジェスチャの組合せ／一連のジェスチャについて、ソフトウェアアプリケーション３１７によって実行されるべき所望の応答または動作を指定することができる。たとえば、この開示の技法によれば、所定の特殊なジェスチャは、ユーザインタフェースエンジン３２８が、事前定義されたジェスチャの１つを検出することに応答して、ユーザに対して表示されている人工現実コンテンツに重畳するユーザインタフェースを動的に生成するように、事前定義することができ、それによりユーザ１１０は、人工現実コンテンツと相互作用している間でさえ、ＨＭＤ１１２および／またはコンソール１０６を設定するために、ユーザインタフェースを容易に呼び出すことができる。他の例では、所定のジェスチャは、入力の提供、物体の選択、アプリケーションの起動などの、他の動作に関連づけられていてもよい。

本明細書に記載の技法によれば、画像取込みデバイス１３８は、物理的環境を表す画像データを取り込むよう構成され得る。ＨＭＤ１１２は、人工現実コンテンツを出力するよう構成され得る。一例では、描画エンジン３２２は、ＨＭＤ１１２によって出力される人工現実コンテンツに重畳する、複数の仮想キーを有する仮想キーボードを描画するよう構成され得る。場合によっては、キーボードはＱＷＥＲＴＹ配列キーボードの仮想表現であり得るが、他のキーボードもまた、本明細書に記載の技法にしたがって描画され得る。場合によっては、ＱＷＥＲＴＹ配列キーボードの仮想表現は、切れ目のないＱＷＥＲＴＹ配列キーボードの仮想表現であり得る。他の例では、ＱＷＥＲＴＹ配列キーボードの仮想表現は、分割されたＱＷＥＲＴＹ配列キーボードの一方の半分が第１の手に紐づき、分割されたＱＷＥＲＴＹ配列キーボードのもう一方の半分が第２の手に紐づいた、分割されたＱＷＥＲＴＹ配列キーボードの２つの半分の仮想表現であってもよい。

ジェスチャ検出器３２４は、画像取込みデバイス１３８によって取り込まれた画像データから、ジェスチャライブラリ３３０内のエントリと一致するジェスチャを識別するよう構成され得る。ジェスチャ検出器３２４によって検出される特定のジェスチャは、たとえば、挟持配置を形成するための手の第１の指および手の第２の指の動きであり得る。ジェスチャ検出器３２４がかかるジェスチャを検出する場合、ジェスチャ検出器３２４は、挟持配置にあるときの第１の指と第２の指との接触点を識別し、接触点の場所が、仮想キーボードの任意の仮想キーの場所に相当するかどうかを判断することができる。一例として、ジェスチャ検出器３２４は、接触点が、仮想キーボードの複数の仮想キーのうちの、第１の仮想キーに相当する場所にあると特定することができる。この例では、ユーザインタフェースエンジン３２８は、検出されたジェスチャに応答して、第１の仮想キーの選択を処理する。

ジェスチャ検出器３２４は、場合によっては、単に挟持配置を形成する手の指の動きのジェスチャを検出するだけではなく、挟持配置を形成する指の動きの後に、挟持形成を解除する指のさらなる動きが、ジェスチャが完了したと特定する前に起きていることを、さらに特定することができる。かかる場合に、ジェスチャ検出器３２４は、接触点の場所を、挟持配置が解除される直前の接触点の場所と特定することができ、これによりユーザは、挟持配置にあるとき、仮想キーを選択する前に、仮想キーボードの周囲で手を動かすことができるであろう。いくつかのさらなる例では、ジェスチャ検出器３２４は、挟持配置を形成し、また挟持配置を解除することを必要とするのに加えて、キーボードに間違えて入力することを減らすために、解除される前に、閾値時間にわたって挟持配置が保持されているのを検出することを必要とし得る。

ジェスチャ検出器３２４は、場合によっては、ジェスチャを識別する前に、画像取込みデバイス１３８または外部カメラによって取り込まれた画像データから、仮想キーボードに対する手の第１の指の場所ばかりでなく、仮想キーボードに対する手の第２の指の場所を識別することができる。次いで、ジェスチャ検出器３２４は、手の第１の指の場所から手の第２の指の場所までの選択ベクトルを計算し、選択ベクトルと仮想キーボードとの交点を特定することができる。この交点は、第１の指および第２の指が挟持配置を形成する場合、予測される接触点に相当するであろう。描画エンジン３２２は、選択ベクトル自体を表す線を描画すること、仮想キーボード上に交点を表す形状、たとえば円もしくはドットを描画すること、交点が特定の仮想キーと重なる場合に、仮想キーボードの特定の仮想キーを、仮想キーボードの残りの仮想キーとは相異なる配色で、もしくは相異なるパターンで塗りつぶして描画すること、上記の任意の組合せ、または選択ベクトルおよび／もしくは交点のグラフィカルな表示を提示することができる他の任意の描画などによって、選択ベクトルおよび／または交点のグラフィカルな表示を描画することができる。ジェスチャ検出器３２４は、ジェスチャを識別すると、挟持配置の接触点を、選択ベクトルと仮想キーボードの第１の仮想キーとの交点として検出することができる。

ジェスチャ検出器３２４が、接触点の場所が第１の仮想キーに相当すると特定するのに応答して、ユーザインタフェースエンジン３２８は、識別されたジェスチャに応答して第１の仮想キーの選択を処理するよう構成され得る。

いくつかの例では、ジェスチャ検出器３２４は、片手入力に加えて両手入力を識別できることにより、コンソール１０６は、仮想キーボードの複数の仮想キーの複合入力を検出することが可能である。かかる場合に、第１の手の第１の指および第２の指が挟持配置にあるとき、ジェスチャ検出器３２４は、画像取込みデバイス１３８によって取り込まれた画像データから、第２のジェスチャを識別することができる。第２のジェスチャは、第２の挟持配置を形成する、第２の手の第１の指および第２の手の第２の指の第２の動きを含むことができる。第２の挟持配置において、ジェスチャ検出器３２４は、仮想キーボードの複数の仮想キーのうちの第２の仮想キーの場所に相当する、挟持配置にあるときの第２の手の第１の指と第２の手の第２の指との接触点を識別することができる。この第２のジェスチャが検出されると、ユーザインタフェースエンジン３２８は、第１のジェスチャと第２のジェスチャとを同時に識別したことに応答して、第１の仮想キーと第２の仮想キーとが組み合わされた選択を受け取ることができる。たとえば、第１の仮想キーが仮想キーボードの「ＳＨＩＦＴ」キーに相当し、第２の仮想キーが仮想キーボードの「ｐ」キーに相当する場合、ユーザインタフェースエンジン３２８は、組み合わされた選択出力である、大文字である文字「Ｐ」を受け取ることができる。

ユーザインタフェースエンジン３２８がユーザ入力を受け取ると、それが第１の仮想キーの単一の入力であるか、または第１および第２の仮想キーの組み合わされた選択であるかに関わらず、描画エンジン３２２は、識別されたジェスチャに応答して、ユーザ入力の表示を描画することができる。たとえば、第１の仮想キーに対応する文字を、描画エンジン３２２は、選択されたテキスト欄の一部として描画することができ、ＨＭＤ１１２は、電子ディスプレイ２０３上に表示するよう出力することができる。

この開示の技法の別の例として、ジェスチャ検出器３２４は、画像データから、ジェスチャライブラリ３３０内のエントリに対応するジェスチャを識別することができる。この例では、ジェスチャ検出器３２４は、ジェスチャを、挟持配置を閾値時間内に特定の回数形成する、手の第１の指および手の第２の指の動きとして識別することができる。

ユーザインタフェースエンジン３２８は、１つまたは複数の入力文字を、手の複数本の指のうちの１本または複数本に割り当てることができる。たとえば、ユーザインタフェースエンジン３２８は、画像取込みデバイス１３８または外部カメラによって取り込まれた画像データから、画像データ内の手の複数本の指を識別することができる。ユーザインタフェースエンジン３２８は、１つまたは複数の入力文字を、選択用指として指定されている手の１本の指（たとえば、手の親指）を除くすべての指など、手の数本の指のサブセットに割り当てることができる。１つまたは複数の入力文字は、文字、数字、記号、他の特殊文字（たとえばスペース文字もしくはバックスペース文字）、または「ＮＵＬＬ」文字のいずれでもよい。この割当て方式では、ジェスチャ検出器３２４が手の選択用指と所与の指との間の別個の挟持配置を検出する回数が、所与の指に割り当てられた複数の入力文字のうちの、どの入力文字をユーザが選択するかに対応することができる。場合によっては、各指に割り当てられる入力文字は、ユーザインタフェースエンジン３２８が入力文字を割り当てる指ごとの、別個の入力文字のセットであり得る。場合によっては、入力文字が割り当てられている各指に、「ＮＵＬＬ」文字も割り当てられることがあり、これによりユーザは、元の選択が間違いだった場合に、所与の指に割り当てられた入力文字を「ＮＵＬＬ」文字に循環的に置き替えることができる。ユーザインタフェースエンジン３２８は、識別されたジェスチャに応答して、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理することができる。

いくつかの例では、ユーザインタフェースエンジン３２８は、手の第２の指に割り当てられた別個の入力文字のセットの、１つまたは複数の入力文字のそれぞれを、別個のセットの基数以下の選択番号にマッピングすることができる。次いで、ユーザインタフェースエンジン３２８は、識別されたジェスチャの、手の第１の指および手の第２の指が閾値時間内に挟持配置を形成する特定の回数に等しい、第１の入力文字にマッピングされた選択番号に基づいて、第１の入力文字の選択を特定することができる。言い換えると、文字「ａ」、「ｂ」、および「ｃ」がそれぞれ第２の指に割り当てられている場合、個別のセットの基数は３に等しくなり得る。したがって、文字「ａ」は番号１にマッピングすることができ、文字「ｂ」は番号２にマッピングすることができ、文字「ｃ」は番号３にマッピングすることができる。ジェスチャ検出器３２４が、識別されたジェスチャにおいて、３回の別個の挟持配置を識別した場合、ユーザインタフェースエンジン３２８は、所望の入力文字が文字「ｃ」であると特定することができる。

他の例では、ユーザインタフェースエンジン３２８は、識別されたジェスチャでの、手の第１の指および手の第２の指が閾値時間内に挟持配置を形成する特定の回数を、別個のセットの基数で割ることにより、余りを伴う商を計算することができる。次いで、ユーザインタフェースエンジン３２８は、余りに等しい、第１の入力文字にマッピングされた選択番号に基づいて、第１の入力文字の選択を特定することができる。言い換えると、文字「ａ」、「ｂ」、および「ｃ」がそれぞれ第２の指に割り当てられている場合、個別のセットの基数は３に等しくなり得る。したがって、文字「ａ」は番号１にマッピングすることができ、文字「ｂ」は番号２にマッピングすることができ、文字「ｃ」は番号０にマッピングすることができる。ジェスチャ検出器３２４が、識別されたジェスチャにおいて、４回の別個の挟持配置を識別した場合、ユーザインタフェースエンジン３２８は、別個の挟持配置（すなわち、４）を別個のセットの基数（すなわち、３）で割った商を１、余りを１と計算することができる。ユーザインタフェースエンジン３２８は、余りが１で、文字「ａ」が番号１にマッピングされていることを考慮して、所望の入力文字が文字「ａ」であると特定することができる。

場合によっては、ジェスチャ検出器３２４が閾値時間内にジェスチャを検出している間、描画エンジン３２２は、手の第１の指および手の第２の指が閾値期間内に挟持配置を形成する現在の回数に基づいて選択されることになる、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの現在の入力文字を描画することができる。たとえば、文字「ａ」、「ｂ」、および「ｃ」がそれぞれ第２の指に割り当てられている例において、描画エンジン３２２は、第１の指および第２の指が第１の挟持配置を形成すると、ＨＭＤ１１２のディスプレイ上に出力するために、文字「ａ」を描画することができる。ジェスチャ検出器３２４が、閾値期間内に挟持配置の解除およびそれに続くさらなる挟持配置を検出した場合、描画エンジン３２２は、文字「ａ」の描画を文字「ｂ」の描画に置き換えることができ、閾値時間が経過するまで置換えが続く。

画像取込みデバイス１３８が両手を含む画像データを取り込む場合、ユーザインタフェースエンジン３２８は、第２の手に対して割当てプロセスを繰り返すことができる。たとえば、ユーザインタフェースエンジン３２８は、第１の手の様々な指に別個の入力文字のセットを割り当てることに加えて、第２の手の複数本の指のうちの１本または複数本の指のそれぞれに、別個の入力文字のセットを割り当てることができる。このようにして、それぞれの手の親指を選択用指として指定し、それぞれの手の残りの指で、システムのテキスト入力オプションを実現することができる。

場合によっては、ユーザが、どの指がどの文字を作り出すことになるかを認識する助けとなるように、描画エンジン３２２は、人工現実コンテンツ内の手の仮想表現に重畳する、手の複数本の指のうちの１本または複数本に割り当てられた１つまたは複数の文字を描画することができる。描画におけるかかる文字の順序は、ユーザインタフェースエンジン３２８が特定の文字を選択するために、ジェスチャ検出器３２４が検出しなければならない別個の挟持配置の数に相当し得る。

文字のみ、または文字と数字との組合せが、一方または両方の手の指に割り当てられる例では、追加のジェスチャのエントリが、記号、スペース文字、またはバックスペース文字などの特殊文字のエントリ用に、ジェスチャライブラリ３３０内に含まれ得る。かかる例では、ジェスチャ検出器３２４は、画像取込みデバイス１３８によって取り込まれた画像データから、両手での拍手または片手での拳の形成などの、第２のジェスチャを識別することができる。ユーザインタフェースエンジン３２８は、１つまたは複数の特殊な入力文字を第２のジェスチャに割り当て、識別された第２のジェスチャに応答して、第２のジェスチャに割り当てられた１つまたは複数の特殊な入力文字のうちの、第１の特殊な入力文字の選択を処理することができる。

場合によっては、閾値時間は動的であり得る。たとえば、ジェスチャ検出器３２４は、ジェスチャ検出器３２４が最新の挟持配置を識別した後の特定の時間である、閾値時間を定義することができる。他の例では、ジェスチャ検出器３２４は、ジェスチャ検出器３２４が第１の指と第２の指との間での挟持配置以外の新しいジェスチャを識別すると終了するものとして、閾値時間を定義することができる。たとえば、ジェスチャ検出器３２４が、挟持配置を形成する第１の指および第２の指の第１のジェスチャを２回別個に検出し、次いでジェスチャ検出器３２４が、第１のジェスチャに与えられた事前定義された閾値時間内に、挟持配置を形成する手の第１の指および第３の指の第２のジェスチャ検出する場合、ジェスチャ検出器３２４は、第１のジェスチャの入力時間を動的に打ち切ることができ、ユーザインタフェースエンジン３２８は、番号２にマッピングされた入力文字を、入力文字として選択することができる。次いで、ジェスチャ検出器３２４は、第２のジェスチャの画像データの監視を開始し、第１の指および第３の指が挟持配置を形成する別個の回数を特定することができる。このようにして、コンソール１０６およびＨＭＤ１１２は、テキストエントリ処理をより迅速に進めることができる。

図４は、本開示の技法による、図１Ａ、図１Ｂの人工現実システムのＨＭＤ１１２によって、ジェスチャ検出およびユーザインタフェース生成が実行される例を示す構成図である。

この例では、ＨＭＤ１１２は、図３と同様に、いくつかの例において、たとえば、組込み型のリアルタイムマルチタスクオペレーティングシステム、または他の種類のオペレーティングシステムであり得る、オペレーティングシステム３０５を実行するためのコンピュータプラットフォームを提供する、１つまたは複数のプロセッサ３０２およびメモリ３０４を備えている。次に、オペレーティングシステム３０５は、１つまたは複数のソフトウェア構成要素４１７を実行する、マルチタスク動作環境を提供する。さらに、プロセッサ３０２は、電子ディスプレイ２０３、動きセンサ２０６、および画像取込みデバイス１３８に結合されている。

図４の例において、ソフトウェア構成要素４１７は、全体的な人工現実アプリケーションを提供するよう動作する。この例では、ソフトウェアアプリケーション４１７は、アプリケーションエンジン４４０、描画エンジン４２２、ジェスチャ検出器４２４、ポーズ追跡器４２６、およびユーザインタフェースエンジン４２８を有している。様々な例において、ソフトウェア構成要素４１７は、図３のコンソール１０６の相当する構成要素（たとえば、アプリケーションエンジン３２０、描画エンジン３２２、ジェスチャ検出器３２４、ポーズ追跡器３２６、およびユーザインタフェースエンジン３２８）と同様に動作し、検出されたユーザ１１０のジェスチャにしたがって、ユーザ１１０に対して表示する人工コンテンツに重畳されるかまたは人工コンテンツの一部である、ユーザインタフェース要素を構築する。いくつかの例では、描画エンジン４２２は、少なくとも部分的に、ユーザ１１０の実世界の物理的環境に重畳され得る、３Ｄの人工現実コンテンツを構築する。

図３に関して説明された例と同様に、ジェスチャ検出器４２４は、感知されたデータに基づいて、ユーザの物体（たとえば、手、腕、手首、手指、手のひら、親指）の追跡された動き、配置、位置、および／または向きを分析し、ユーザ１１０が実行する１つまたは複数のジェスチャを識別する。本開示の技法にしたがって、ユーザインタフェースエンジン４２８は、ユーザ１１０に対して表示されるべき人工現実コンテンツの一部である、たとえば人工現実コンテンツに重畳される、ユーザインタフェース要素を生成し、かつ／あるいはジェスチャ検出器４２４によって検出された、ユーザ１１０の１つもしくは複数のジェスチャまたはジェスチャの組合せに基づいて、動作を実行する。より具体的には、ジェスチャ検出器４２４は、ＨＭＤ１１２の画像取込みデバイス１３８および／またはセンサ９０もしくは外部カメラ１０２によって取り込まれた画像データ内で認識された物体を分析し、ユーザ１１０の手および／または腕を識別し、ＨＭＤ１１２に対する手および／または腕の動きを追跡して、ユーザ１１０が実行するジェスチャを識別する。ジェスチャ検出器４２４は、取り込まれた画像データに基づいて、手、指、および／または腕の位置および向きの変化を含む動きを追跡し、物体の動きベクトルをジェスチャライブラリ４３０内の１つまたは複数のエントリと比較して、ユーザ１１０が実行するジェスチャまたはジェスチャの組合せを検出することができる。

ジェスチャライブラリ４３０は、図３のジェスチャライブラリ３３０と同様である。ジェスチャライブラリ４３０内のエントリのそれぞれは、定義されたジェスチャまたは一連のジェスチャについて、ＨＭＤ１１２の現在の視野との空間的関係、ユーザが現在観察している特定の領域との空間的関係など、個人のリアルタイムでの凝視追跡、表示されている人工コンテンツの種類、実行されているアプリケーションの種類などによって特定され得る、ジェスチャが動作をトリガするのに必要な条件を指定することができる。

一致するジェスチャまたはジェスチャの組合せを検出することに応答して、ＨＭＤ１１２は、ジェスチャライブラリ４３０内の一致するエントリに割り当てられた応答または動作を実行する。たとえば、この開示の技法によれば、所定の特殊なジェスチャは、ジェスチャ検出器４２４が、事前定義されたジェスチャの１つを検出することに応答して、ユーザインタフェースエンジン４２８が、ユーザに対して表示されている人工現実コンテンツに重畳するユーザインタフェースを動的に生成するように、事前定義することができ、それによりユーザ１１０は、人工現実コンテンツを観察している間に、ＨＭＤ１１２を設定するため、ユーザインタフェースを容易に呼び出すことができる。他の例では、ジェスチャ検出器４２４が事前定義されたジェスチャの１つを検出するのに応答して、ユーザインタフェースエンジン４２８および／またはアプリケーションエンジン４４０は、入力を受け取り、ユーザインタフェース要素に関連する値もしくはパラメータを選択し、アプリケーションを起動し、設定変更可能な設定を修正し、メッセージを送り、処理を開始もしくは停止するか、または他の動作を実行することができる。

本明細書に記載の技法によれば、画像取込みデバイス１３８は、物理的環境を表す画像データを取り込むよう構成され得る。ＨＭＤ１１２は、人工現実コンテンツを出力するよう構成され得る。描画エンジン４２２は、ＨＭＤ１１２によって出力される人工現実コンテンツに重畳する、複数の仮想キーを有する仮想キーボードを描画するよう構成され得る。場合によっては、キーボードはＱＷＥＲＴＹ配列キーボードの仮想表現であり得るが、他のキーボードもまた、本明細書に記載の技法にしたがって描画され得る。場合によっては、ＱＷＥＲＴＹ配列キーボードの仮想表現は、切れ目のないＱＷＥＲＴＹ配列キーボードの仮想表現であり得る。他の例では、ＱＷＥＲＴＹ配列キーボードの仮想表現は、分割されたＱＷＥＲＴＹ配列キーボードの一方の半分が第１の手に紐づき、分割されたＱＷＥＲＴＹ配列キーボードのもう一方の半分が第２の手に紐づいた、分割されたＱＷＥＲＴＹ配列キーボードの２つの半分の仮想表現であってもよい。

ジェスチャ検出器４２４は、画像取込みデバイス１３８によって取り込まれた画像データから、ジェスチャライブラリ４３０内のエントリと一致するジェスチャを識別するよう構成され得る。ジェスチャ検出器４２４によって検出される特定のジェスチャは、たとえば、挟持配置を形成するための手の第１の指および手の第２の指の動きであり得る。ジェスチャ検出器４２４がかかる挟持配置を検出する場合、ジェスチャ検出器４２４は、挟持配置にあるときの第１の指と手の第２の指との接触点の位置を突き止め、接触点の場所が、仮想キーボードの任意の仮想キーの場所に相当するかどうかを判断することができる。図４の例では、ジェスチャ検出器４２４は、接触点が、仮想キーボードの複数の仮想キーのうちの、第１の仮想キーに相当する場所にあると特定することができる。

ジェスチャ検出器４２４は、場合によっては、単に挟持配置を形成する手の指の動きのジェスチャを検出するだけではなく、挟持配置を形成する指の動きの後に、挟持形成を解除する指のさらなる動きが、ジェスチャが完了したと特定する前に起きていることを、さらに特定することができる。かかる場合に、ジェスチャ検出器４２４は、接触点の場所を、挟持配置が解除される直前の接触点の場所と特定することができ、これによりユーザは、挟持配置にあるとき、仮想キーを選択する前に、仮想キーボードの周囲で手を動かすことができるであろう。いくつかのさらなる例では、ジェスチャ検出器４２４は、挟持配置を形成し、また挟持配置を解除することを必要とするのに加えて、キーボードに間違えて入力することを減らすために、解除される前に、閾値時間にわたって挟持配置が保持されているのを検出することを必要とし得る。

ジェスチャ検出器４２４は、場合によっては、ジェスチャを識別する前に、画像取込みデバイス１３８または外部カメラによって取り込まれた画像データから、仮想キーボードに対する手の第１の指の場所ばかりでなく、仮想キーボードに対する手の第２の指の場所を識別することができる。次いで、ジェスチャ検出器４２４は、手の第１の指の場所から手の第２の指の場所までの選択ベクトルを計算し、選択ベクトルと仮想キーボードとの交点を特定することができる。この交点は、第１の指および第２の指が挟持配置を形成する場合、予測される接触点に相当するであろう。描画エンジン４２２は、選択ベクトル自体を表す線を描画すること、仮想キーボード上に交点を表す形状を描画すること、交点が特定の仮想キーと重なる場合に、仮想キーボードの特定の仮想キーを、仮想キーボードの残りの仮想キーとは相異なる配色で、もしくは相異なるパターンで塗りつぶして描画すること、上記の任意の組合せ、または選択ベクトルおよび／もしくは交点のグラフィカルな表示を提示することができる他の任意の描画などによって、選択ベクトルおよび／または交点のグラフィカルな表示を描画することができる。ジェスチャ検出器４２４は、ジェスチャを識別すると、挟持配置の接触点を、選択ベクトルと仮想キーボードの第１の仮想キーとの交点として検出することができる。

ジェスチャ検出器４２４が、接触点の場所が第１の仮想キーに相当すると特定するのに応答して、ユーザインタフェースエンジン４２８は、識別されたジェスチャに応答して第１の仮想キーの選択を処理するよう構成され得る。

いくつかの例では、ジェスチャ検出器４２４は、片手入力に加えて両手入力を識別することができることにより、ＨＭＤ１１２は、仮想キーボードの複数の仮想キーの複合入力を検出することが可能である。かかる場合に、第１の指および第２の指が挟持配置にあるとき、ジェスチャ検出器４２４は、画像取込みデバイス１３８または外部カメラによって取り込まれた画像データから、第２のジェスチャを識別することができる。第２のジェスチャは、第２の挟持配置を形成する、第２の手の第１の指および第２の手の第２の指の第２の動きを含むことができる。第２の挟持配置において、ジェスチャ検出器４２４は、挟持配置にあるときの、仮想キーボードの複数の仮想キーのうちの第２の仮想キーの場所に相当する、第２の手の第１の指と第２の手の第２の指との接触点を識別することができる。この第２のジェスチャが検出されると、ユーザインタフェースエンジン４２８は、第１のジェスチャと第２のジェスチャとを同時に識別したことに応答して、第１の仮想キーと第２の仮想キーとが組み合わされた選択を受け取ることができる。たとえば、第１の仮想キーが仮想キーボードの「ＳＨＩＦＴ」キーに相当し、第２の仮想キーが仮想キーボードの「９」キーに相当する場合、ユーザインタフェースエンジン４２８は、組み合わされた選択出力である文字「（」を受け取ることができる。

ユーザインタフェースエンジン４２８が最後の入力を受け取ると、それが第１および第２の仮想キーの組み合わされた選択の第１の仮想キーの単一の入力であるかどうかに関わらず、描画エンジン４２２は、識別されたジェスチャに応答して、第１の仮想キーの選択の表示を描画することができる。たとえば、選択されたテキスト欄内の第１の仮想キーに対応する文字を、描画エンジン４２２は、選択されたテキスト欄の一部として描画することができ、ユーザインタフェースエンジン４２８は、電子ディスプレイ２０３上に表示するよう出力することができる。

本明細書に記載の他の技法によれば、画像取込みデバイス１３８は、物理的環境を表す画像データを取り込むことができる。ＨＭＤ１１２は、人工現実コンテンツを出力することができる。

次いで、ジェスチャ検出器４２４は、画像データから、ジェスチャライブラリ４３０内のエントリに対応するジェスチャを識別することができる。この例では、ジェスチャ検出器４２４は、ジェスチャを、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および手の第２の指の動きとして識別することができる。

ユーザインタフェースエンジン４２８は、１つまたは複数の入力文字を、手の複数本の指のうちの１本または複数本に割り当てることができる。たとえば、ユーザインタフェースエンジン４２８は、画像取込みデバイス１３８によって取り込まれた画像データから、画像データ内の手の複数本の指を識別することができる。ユーザインタフェースエンジン４２８は、１つまたは複数の入力文字を、選択用指として指定されている手の１本の指（たとえば、手の親指）を除くすべての指など、手の指のいくつかのサブセットに割り当てることができる。１つまたは複数の入力文字は、文字、数字、記号、他の特殊文字（たとえばスペース文字もしくはバックスペース文字）、または「ＮＵＬＬ」文字のいずれでもよい。場合によっては、各指に割り当てられる入力文字は、ユーザインタフェースエンジン４２８が入力文字を割り当てる指ごとの、別個の入力文字のセットであり得る。場合によっては、入力文字が割り当てられている各指に、「ＮＵＬＬ」文字も割り当てられることがあり、これによりユーザは、選択が間違いだった場合に、入力文字を「ＮＵＬＬ」文字に循環的に置き替えることができる。このマッピングの場合、ユーザインタフェースエンジン３２８は、識別されたジェスチャに応答して、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理することができる。

このマッピングでは、ジェスチャ検出器４２４が別個の挟持配置を検出する回数は、複数の入力文字のうちのどの入力文字がジェスチャによって選択されるかに対応することができる。たとえば、ユーザインタフェースエンジン４２８は、手の第２の指に割り当てられた別個の入力文字のセットの、１つまたは複数の入力文字のそれぞれを、別個のセットの基数以下の選択番号にマッピングすることができる。

場合によっては、ユーザインタフェースエンジン４２８は、次いで、識別されたジェスチャでの、手の第１の指および手の第２の指が閾値時間内に挟持配置を形成する特定の回数に等しい、第１の入力文字にマッピングされた選択番号に基づいて、第１の入力文字の選択を特定することができる。言い換えると、文字「ａ」、「ｂ」、および「ｃ」がそれぞれ第２の指に割り当てられている場合、個別のセットの基数は３に等しくなり得る。したがって、文字「ａ」は番号１にマッピングすることができ、文字「ｂ」は番号２にマッピングすることができ、文字「ｃ」は番号３にマッピングすることができる。ジェスチャ検出器４２４が、識別されたジェスチャにおいて、３回の別個の挟持配置を識別した場合、ユーザインタフェースエンジン４２８は、所望の入力文字が文字「ｃ」であると特定することができる。

他の例では、ユーザインタフェースエンジン４２８は、識別されたジェスチャでの、手の第１の指および手の第２の指が閾値時間内に挟持配置を形成する特定の回数を、別個のセットの基数で割ることにより、余りを伴う商を計算することができる。次いで、ユーザインタフェースエンジン４２８は、余りに等しい、第１の入力文字にマッピングされた選択番号に基づいて、第１の入力文字の選択を特定することができる。言い換えると、文字「ａ」、「ｂ」、および「ｃ」がそれぞれ第２の指に割り当てられている場合、個別のセットの基数は３に等しくなり得る。したがって、文字「ａ」は番号１にマッピングすることができ、文字「ｂ」は番号２にマッピングすることができ、文字「ｃ」は番号０にマッピングすることができる。ジェスチャ検出器４２４が、識別されたジェスチャにおいて、４回の別個の挟持配置を識別した場合、ユーザインタフェースエンジン４２８は、別個の挟持配置（すなわち、４）を別個のセットの基数（すなわち、３）で割った商を１、余りを１と計算することができる。ユーザインタフェースエンジン４２８は、余りが１で、文字「ａ」が番号１にマッピングされていることを考慮して、所望の入力文字が文字「ａ」であると特定することができる。

場合によっては、ジェスチャ検出器４２４が閾値時間内にジェスチャを検出している間、描画エンジン４２２は、閾値期間内に手の第１の指が有しかつ手の第２の指が挟持配置を形成する現在の回数に基づいて選択されることになる、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの現在の入力文字を描画することができる。たとえば、文字「ａ」、「ｂ」、および「ｃ」がそれぞれ第２の指に割り当てられている例において、描画エンジン４２２は、第１の指および第２の指が第１の挟持配置を形成すると、ＨＭＤ１１２の電子ディスプレイ２０３上に出力するために、文字「ａ」を描画することができる。ジェスチャ検出器４２４が、閾値期間内に挟持配置の解除およびそれに続くさらなる挟持配置を検出した場合、描画エンジン４２２は、文字「ａ」の描画を文字「ｂ」の描画に置き換えることができ、閾値時間が経過するまで置換えが続く。

画像取込みデバイス１３８が両手を含む画像データを取り込む場合、ユーザインタフェースエンジン４２８は、第２の手に対して割当てプロセスを繰り返すことができる。たとえば、ユーザインタフェースエンジン４２８は、第１の手の様々な指に別個の入力文字のセットを割り当てることに加えて、第２の手の複数本の指のうちの１本または複数本の指のそれぞれに、別個の入力文字のセットを割り当てることができる。このようにして、それぞれの手の親指を選択用指として指定し、それぞれの手の残りの指で、システムのテキスト入力オプションを実現することができる。

場合によっては、ユーザが、どの指がどの文字を作り出すことになるかを認識する助けとなるように、描画エンジン４２２は、人工現実コンテンツ内の手の仮想表現に重畳する、手の複数本の指のうちの１本または複数本に割り当てられた１つまたは複数の文字を描画することができる。描画におけるかかる文字の順序は、ユーザインタフェースエンジン４２８が特定の文字を選択するために、ジェスチャ検出器４２４が検出しなければならない別個の挟持配置の数に相当し得る。

文字のみ、または文字と数字との組合せが、一方または両方の手の指に割り当てられる例では、追加のジェスチャのエントリが、記号、スペース文字、またはバックスペース文字などの特殊文字のエントリ用に、ジェスチャライブラリ４３０内に含まれ得る。かかる例では、ジェスチャ検出器４２４は、画像取込みデバイス１３８によって取り込まれた画像データから、第２のジェスチャを識別することができる。ユーザインタフェースエンジン４２８は、１つまたは複数の特殊な入力文字を第２のジェスチャに割り当て、識別された第２のジェスチャに応答して、第２のジェスチャに割り当てられた１つまたは複数の特殊な入力文字のうちの、第１の特殊な入力文字の選択を処理することができる。

場合によっては、閾値時間は動的であり得る。たとえば、ジェスチャ検出器４２４は、ジェスチャ検出器４２４が最新の挟持配置を識別した後の特定の時間である、閾値時間を定義することができる。他の例では、ジェスチャ検出器４２４は、ジェスチャ検出器４２４が第１の指と第２の指との間での挟持配置以外の新しいジェスチャを識別すると終了するものとして、閾値時間を定義することができる。たとえば、ジェスチャ検出器４２４が、挟持配置を形成する第１の指および第２の指の第１のジェスチャを５回別個に検出し、次いでジェスチャ検出器４２４が、第１のジェスチャに与えられた事前定義された閾値時間内に、挟持配置を形成する手の第１の指および第３の指の第２のジェスチャを検出する場合、ジェスチャ検出器４２４は、第１のジェスチャの入力時間を動的に打ち切ることができ、ユーザインタフェースエンジン４２８は、番号５にマッピングされた入力文字を、入力文字として選択することができる。次いで、ジェスチャ検出器４２４は、第２のジェスチャの画像データの監視を開始し、第１の指および第３の指が挟持配置を形成する別個の回数を特定することができる。このようにして、ＨＭＤ１１２は、テキストエントリ処理をより迅速に進めることができる。

図５Ａおよび図５Ｂは、本開示の技法による、仮想キーボードを出力し、仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された、例示的な人工現実システムを示す図である。図５のＨＭＤ５１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれの例でもあり得る。ＨＭＤ５１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であり得るか、または本明細書に記載の技法を実施するよう構成された、独立型の携帯人工現実システムとして動作することができる。以下の記載は、様々な動作を実行するＨＭＤ５１２について説明しているが、ＨＭＤ５１２に接続されたコンソール、またはコンソールもしくはＨＭＤ５１２内の特定のエンジンが、本明細書で説明されている様々な機能を実行してもよい。たとえば、ＨＭＤ５１２内部の描画エンジンまたはＨＭＤ５１２に接続されているコンソールは、描画動作を実行することができ、ＨＭＤ５１２内部のジェスチャ検出器またはＨＭＤ５１２に接続されているコンソールは、画像データを分析し、挟持配置を形成する手６３２Ａまたは６３２Ｂの指の動きを、本明細書に記載の技法のうちの１つまたは複数にしたがって検出することができる。

図５Ａでは、ＨＭＤ５１２の画像取込みデバイス５３８は、画像取込みデバイス５３８の視野５３０内にある実世界の物理的環境内の物体を表す画像データを取り込む。視野５３０は、通常、ＨＭＤ５１２の観察視点に対応する。図５Ａに示されている例などのいくつかの例では、人工現実アプリケーションは、視野５３０内にあるユーザ５１０の手５３２の部分を、人工現実コンテンツ５２２内の仮想背景５２６の上に重畳される仮想の手５３６として描画する。他の例では、人工現実アプリケーションは、複合現実および／または拡張現実を含む人工現実コンテンツ５２２内で、ユーザ５１０の手５３２の実世界画像を提示することができる。いずれの例においても、ユーザ５１０は、視野５３０内にあるユーザの手５３２の部分を、人工現実コンテンツ５２２内の物体として観察することができる。図５Ａの例では、人工現実コンテンツ５２２は、文字「ｎ」が割り当てられた仮想キー５４０Ａを含む複数の仮想キーを有する、仮想キーボード５６０も有している。この例では、仮想キーボード５６０は、切れ目のないＱＷＥＲＴＹ配列キーボードの仮想表現である。

ＨＭＤ５１２は、仮想キーボード５６０を、仮想キーボードが手５３２の配置を写し出すように手のひらを上に向けている仮想の手５３６の上に位置していると見えるように、描画することができる。ＨＭＤ５１２は、仮想の手５３６の親指を、親指が仮想キーボード５６０より上に伸びて見えるように描画することができ、一方ＨＭＤ５１２は、仮想の手５３６の残りの指を、残りの指が仮想キーボード５６０より下にあると見えるように描画することができる。したがって、ＨＭＤ５１２が、挟持配置を形成する手５３２の親指および別の指の動きを検出すると、ＨＭＤ５１２は、親指および追加の指の動きが、挟持配置間に仮想キーボード５６０がある状態で挟持配置を形成するように、動きを描画する。

図５Ｂでは、ＨＭＤ５１２の画像取込みデバイス５３８は、挟持配置を形成する、手５３２の第１の指および第２の指（たとえば、親指および人差し指）の動きを含むジェスチャを実行する、ユーザ５１０の手５３２の画像データを取り込む。物理的環境内の所与の場所で取り込まれた手５３２の画像データに基づいて、ＨＭＤ５１２は、人工現実環境内の対応する場所で人工現実コンテンツ５２２に重畳される、仮想の手５３６を描画することができる。画像データからジェスチャを検出すると、ＨＭＤ５１２は、挟持配置にあるときの２本の指の接触点の場所が、仮想キー５４０Ａの場所に相当すると特定することができる。したがって、ＨＭＤ５１２は、ユーザ入力である仮想キー５４０Ａ、すなわち文字「ｎ」の選択を処理することができる。次いで、ＨＭＤ５１２は、人工現実コンテンツ５２２内に、選択された文字「ｎ」を含むように、テキスト欄５５０を描画して出力することができる。ＨＭＤ５１２はまた、選択された仮想キーのさらなる視覚的表示を提供するために、仮想キー５４０Ａの配色を反転することになどよって、仮想キー５４０Ａの塗りつぶしまたはパターンが、仮想キーボード５６０の残りの仮想キーと相異なるように、仮想キー５４０Ａを描画することもできる。

図６Ａおよび図６Ｂは、本開示の技法による、分割された仮想キーボードを出力し、分割された仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された、例示的な人工現実システムを示す図である。図６のＨＭＤ６１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれの例でもあり得る。ＨＭＤ６１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であり得るか、または本明細書に記載の技法を実施するよう構成された、独立型の携帯人工現実システムとして動作することができる。以下の記載は、様々な動作を実行するＨＭＤ６１２について説明しているが、ＨＭＤ６１２に接続されたコンソール、またはコンソールもしくはＨＭＤ６１２内の特定のエンジンが、本明細書で説明されている様々な機能を実行してもよい。たとえば、ＨＭＤ６１２内部の描画エンジンまたはＨＭＤ６１２に接続されているコンソールは、描画動作を実行することができ、ＨＭＤ６１２内部のジェスチャ検出器またはＨＭＤ６１２に接続されているコンソールは、画像データを分析し、挟持配置を形成する手６３２Ａまたは６３２Ｂの指の動きを、本明細書に記載の技法のうちの１つまたは複数にしたがって検出することができる。

図６Ａでは、ＨＭＤ６１２の画像取込みデバイス６３８Ａおよび６３８Ｂは、画像取込みデバイス６３８Ａおよび６３８Ｂの視野６３０Ａおよび６３０Ｂ内にある、実世界の物理的環境内の物体を表す画像データを取り込む。視野６３０Ａおよび６３０Ｂは、通常、ＨＭＤ６１２の観察視点に対応する。図６Ａに示されている例などのいくつかの例では、人工現実アプリケーションは、視野６３０Ａおよび６３０Ｂ内にあるユーザ６１０の手６３２Ａおよび６３２Ｂの部分を、人工現実コンテンツ６２２内の仮想の手６３６Ａおよび６３６Ｂとして描画する。他の例では、人工現実アプリケーションは、複合現実および／または拡張現実を含む人工現実コンテンツ６２２内で、ユーザ６１０の手６３２Ａおよび６３２Ｂの実世界画像を提示することができる。いずれの例においても、ユーザ６１０は、視野６３０Ａおよび６３０Ｂ内にあるユーザの手６３２Ａおよび６３２Ｂの部分を、人工現実コンテンツ６２２内の物体として観察することができる。図６Ａの例では、人工現実コンテンツ６２２はまた、人工現実コンテンツ６２２の背景６２６の上に重畳された、手６３２Ａおよび６３２Ｂのそれぞれ用に、それぞれ仮想キーボード６６０Ａおよび６６０Ｂも有している。この例では、仮想キーボード６６０Ａおよび６６０Ｂは、文字「ｚ」が割り当てられた仮想キー６４０Ａおよび文字「ｋ」が割り当てられた仮想キー６４０Ｂを含む、複数の仮想キーを有する分割されたＱＷＥＲＴＹ配列キーボードの、２つの半分の仮想表現である。

ＨＭＤ６１２は、仮想キーボードを、仮想キーボード６６０Ａが仮想の手６３６Ａの上に位置していると見えるように、かつ仮想キーボード６６０Ｂが仮想の手６３６Ｂの上に位置していると見えるように描画することができ、仮想の手のそれぞれは、手６３２Ａおよび６３２Ｂそれぞれの配置を写し出すように手のひらを上に向けている。ＨＭＤ６１２は、仮想の手６３６Ａおよび６３６Ｂの親指を、親指が仮想キーボード６６０Ａおよび６６０Ｂのそれぞれより上に伸びて見えるように描画することができ、一方ＨＭＤ６１２は、仮想の手６３６Ａおよび６３６Ｂの残りの指を、残りの指が仮想キーボード６６０Ａおよび６６０Ｂのそれぞれより下にあると見えるように描画することができる。したがって、ＨＭＤ６１２が、挟持配置を形成する手６３２Ａおよび６３２Ｂのうちの一方の親指および別の指の動きを検出すると、ＨＭＤ６１２は、親指および追加の指の動きが、挟持配置間に仮想キーボード６６０Ａまたは６６０Ｂのそれぞれ一方がある状態で挟持配置を形成するように、動きを描画する。

図６Ａに示されているように、人工現実コンテンツ６２２はまた、選択ベクトル６４２Ａおよび６４２Ｂを有している。ＨＭＤ６１２は、手６３０Ａおよび６３０Ｂのそれぞれの第１の指の場所を識別し、手６３０Ａおよび６３０Ｂのそれぞれの第２の指の場所を識別し、それぞれの手６３２Ａおよび６３２Ｂのそれぞれの指の場所を接続するベクトルである選択ベクトル６４２Ａおよび６４２Ｂを計算することによって、これらの選択ベクトルを計算することができる。選択ベクトル６４２Ａおよび６４２Ｂと仮想キーボード６６０Ａおよび６６０Ｂとの交点は、それぞれ、手６３０Ａおよび６３０Ｂの指の予測される接触点に相当する。たとえば、ＨＭＤ６１２は、選択ベクトル６４２Ａと仮想キーボード６６０Ａとの交点が仮想キー６４０Ａに相当し、選択ベクトル６４２Ｂと仮想キーボード６６０Ｂとの交点が仮想キー６４０Ｂに相当すると特定することができる。ＨＭＤ６１２は、対応する手６３２Ａまたは６３２Ｂの指が、挟持配置を形成するつもりである場合、どの仮想キーが選択されることになるかについての、さらなる視覚的表示を提供するために、仮想キー６４０Ａおよび６４０Ｂの配色を反転することなどによって、仮想キー６４０Ａおよび６４０Ｂの塗りつぶしまたはパターンが、仮想キーボード６６０Ａおよび６６０Ｂの残りの仮想キーと相異なるように、仮想キー６４０Ａおよび６４０Ｂを描画することができる。

図６Ｂでは、画像取込みデバイス６３８Ａおよび／または６３８Ｂは、挟持配置を形成する、手６３２Ｂの第１の指および第２の指（たとえば、親指および人差し指）の動きを含むジェスチャを実行する、ユーザ６１０の手６３２Ｂの画像データを取り込む。物理的環境内の所与の場所で取り込まれた手６３２Ｂの画像データに基づいて、ＨＭＤ６１２は、人工現実環境内の対応する場所で人工現実コンテンツ６２２に重畳される、仮想の手６３６Ｂを描画することができる。画像データからジェスチャを検出すると、ＨＭＤ６１２は、挟持配置にあるときの手６３２Ｂの２本の指の接触点の場所が、仮想キー６４０Ｂの場所に相当すると特定することができる。したがって、ＨＭＤ６１２は、ユーザ入力である仮想キー６４０Ｂ、すなわち文字「ｋ」の選択を処理することができる。次いで、ＨＭＤ６１２は、人工現実コンテンツ６２２内に、選択された文字「ｋ」を含むように、テキスト欄６５０を描画して出力することができる。

図７Ａおよび図７Ｂは、本開示の技法による、挟持配置の形成を特定の回数検出し、挟持配置に関与する特定の指および挟持配置の形成が検出された特定の回数に基づく、入力文字をユーザ入力として受け取るよう構成された、例示的な人工現実システムを示す図である。図７のＨＭＤ７１２は、図１Ａおよび図１ＢのＨＭＤ１１２のいずれの例でもあり得る。ＨＭＤ７１２は、図１Ａ、図１Ｂの人工現実システム１０、２０などの人工現実システムの一部であり得るか、または本明細書に記載の技法を実施するよう構成された、独立型の携帯人工現実システムとして動作することができる。以下の記載は、様々な動作を実行するＨＭＤ７１２について説明しているが、ＨＭＤ７１２に接続されたコンソール、またはコンソールもしくはＨＭＤ７１２内の特定のエンジンが、本明細書で説明されている様々な機能を実行してもよい。たとえば、ＨＭＤ７１２内部の描画エンジンまたはＨＭＤ７１２に接続されているコンソールは、描画動作を実行することができ、ＨＭＤ７１２内部のジェスチャ検出器またはＨＭＤ７１２に接続されているコンソールは、画像データを分析し、挟持配置を形成する手７３２Ａまたは７３２Ｂの指の動きを、本明細書に記載の技法のうちの１つまたは複数にしたがって検出することができる。

図７Ａでは、ＨＭＤ７１２の画像取込みデバイス７３８Ａおよび７３８Ｂは、画像取込みデバイス７３８Ａおよび７３８Ｂの視野７３０Ａおよび７３０Ｂ内にある、実世界の物理的環境内の物体を表す画像データを取り込む。視野７３０Ａおよび７３０Ｂは、通常、ＨＭＤ７１２の観察視点に対応する。図７Ａに示されている例などのいくつかの例では、人工現実アプリケーションは、視野７３０Ａおよび７３０Ｂ内にあるユーザ７１０の手７３２Ａおよび７３２Ｂの部分を、人工現実コンテンツ７２２内の背景７２６の上に重畳される、仮想の手７３６Ａおよび７３６Ｂとして描画する。他の例では、人工現実アプリケーションは、複合現実および／または拡張現実を含む人工現実コンテンツ７２２内で、ユーザ７１０の手７３２Ａおよび７３２Ｂの実世界画像を提示することができる。いずれの例においても、ユーザ７１０は、視野７３０Ａおよび７３０Ｂ内にあるユーザの手７３２Ａおよび７３２Ｂの部分を、人工現実コンテンツ７２２内の物体として観察することができる。

図７Ａの例では、人工現実コンテンツ７２２は、入力文字セット７４０Ａ～７４０Ｈ（総称して「入力文字セット７４０」）も有する。本明細書に記載の技法によれば、ＨＭＤ７１２は、画像取込みデバイス７３８Ａおよび７３８Ｂによって取り込まれた画像データ内で、手のひらを上に向けた手７３２Ａおよび７３２Ｂを検出することができる。ＨＭＤ７１２は、入力文字セット７４０のうちの１つを仮想の手７３６Ａおよび７３６Ｂの指のうちの一部に割り当て、少なくとも１本の指（たとえば、仮想の手７３６Ａおよび７３６Ｂのそれぞれの親指）を、入力文字を割り当てることなく、仮想の手７３６Ａおよび７３６Ｂごとの入力選択する指となるように残すことができる。次いで、ＨＭＤ７１２は、仮想の手７３６Ａおよび７３６Ｂのそれぞれの指に割り当てられた特定の入力文字を描画することができる。

図７Ｂでは、画像取込みデバイス７３８Ａおよび／または７３８Ｂは、閾値期間内に特定の回数挟持配置を形成する、手７３２Ａの第１の指および第２の指（たとえば、親指および中指）の動きを含むジェスチャを実行する、ユーザ７１０の手７３２Ａの画像データを取り込む。ＨＭＤ７１２は、第１の挟持配置の検出から始めて、手７３２Ａが、入力選択する指（すなわち、親指）および入力文字セット７４０Ｂが割り当てられた指（すなわち、中指）を用いて、閾値時間内に別個に２回挟持配置を形成したことを検出することができる（すなわちＨＭＤ７１２は、手７３２Ａが、挟持配置を形成し、挟持配置を解除し、次いでもう１回挟持配置を形成するのを検出する）。ＨＭＤ７１２は、挟持配置に関与する指への入力文字セット７４０Ｂの割り当て、および手７３２Ａが挟持配置を形成した別個の回数に基づいて、選択された入力文字が文字「ｅ」であると特定することができる。したがって、ＨＭＤ７１２は、ユーザ入力である文字「ｅ」の選択を受け取ることができる。次いで、ＨＭＤ７１２は、人工現実コンテンツ７２２内に、選択された文字「ｅ」を含むように、テキスト欄７５０を描画して出力することができる。図示されていないが、ＨＭＤ７１２が第１の挟持配置の形成を検出した後で、ＨＭＤ７１２が第２の挟持配置の形成を検出する前に、ＨＭＤ７１２は、人工現実コンテンツ７２２内に、文字「ｄ」を含むようにテキスト欄７５０を描画および出力することができ、手７３２Ａの第２の挟持配置の形成を検出すると、文字「ｄ」を文字「ｅ」に置き換える。

図８は、本明細書に記載の技法による、仮想キーボードを出力し、仮想キーボードの仮想キーに相当する場所での挟持配置の形成を検出するよう構成された人工現実システムの、例示的な技法を示す流れ図である。図１より、例示的な動作は、ＨＭＤ１１２によって単独で、またはコンソール１０６と組み合わせて実行され得る。以下は、処理ステップであるが、この開示の技法にしたがって実行される処理の他の例は、追加のステップを含む場合があるか、または下記で列挙されるステップの一部を含まない場合がある。以下の記載は、様々な動作を実行するＨＭＤ１１２について説明しているが、ＨＭＤ１１２に接続されたコンソール（たとえばコンソール１０６）、またはコンソール１０６もしくはＨＭＤ１１２内の特定のエンジンが、本明細書で説明されている様々な機能を実行してもよい。たとえば、ＨＭＤ１１２内部の描画エンジンまたはＨＭＤ１１２に接続されているコンソール１０６は、描画動作を実行することができ、ＨＭＤ１１２内部のジェスチャ検出器またはＨＭＤ１１２に接続されているコンソール１０６は、画像データを分析し、挟持配置を形成する手の指の動きを、本明細書に記載の技法のうちの１つまたは複数にしたがって検出することができる。

本明細書に記載の技法によれば、ＨＭＤ１１２、または他の画像取込みデバイス（図１Ｂのカメラ１０２など）は、物理的環境を表す画像データを取り込む（８０２）。ＨＭＤ１１２は、人工現実コンテンツ、および人工現実コンテンツに重畳する複数の仮想キーを有する仮想キーボードを描画する（８０４）。次いで、ＨＭＤ１１２は、人工現実コンテンツおよび仮想キーボードを出力する（８０６）。ＨＭＤ１１２は、画像データからジェスチャを識別し、このジェスチャは、挟持配置を形成する手の第１の指および手の第２の指の動きを含む（８０８）。挟持配置にあるときの第１の指と第２の指との接触点は、仮想キーボードの複数の仮想キーのうちの、第１の仮想キーの場所に相当する。したがって、ＨＭＤ１１２は、識別されたジェスチャに応答して、第１の仮想キーの選択を処理する（８１０）。

図９は、本開示の技法による、挟持配置の形成を特定の回数検出し、挟持配置に関与する特定の指および挟持配置の形成が検出された特定の回数に基づく、入力文字をユーザ入力として受け取るよう構成された例示的な人工現実システムの、例示的な技法を示す流れ図である。図１より、例示的な動作は、ＨＭＤ１１２によって単独で、またはコンソール１０６と組み合わせて実行され得る。以下は、処理ステップであるが、この開示の技法にしたがって実行される処理の他の例は、追加のステップを含む場合があるか、または下記で列挙されるステップの一部を含まない場合がある。以下の記載は、様々な動作を実行するＨＭＤ１１２について説明しているが、ＨＭＤ１１２に接続されたコンソール（たとえばコンソール１０６）、またはコンソール１０６もしくはＨＭＤ１１２内の特定のエンジンが、本明細書で説明されている様々な機能を実行してもよい。たとえば、ＨＭＤ１１２内部の描画エンジンまたはＨＭＤ１１２に接続されているコンソール１０６は、描画動作を実行することができ、ＨＭＤ１１２内部のジェスチャ検出器またはＨＭＤ１１２に接続されているコンソール１０６は、画像データを分析し、挟持配置を形成する手の指の動きを、本明細書に記載の技法のうちの１つまたは複数にしたがって検出することができる。

本明細書に記載の技法によれば、ＨＭＤ１１２、または他の画像取込みデバイス（図１Ｂのカメラ１０２など）は、物理的環境を表す画像データを取り込む（９０２）。ＨＭＤ１１２は、人工現実コンテンツを出力する（９０４）。ＨＭＤ１１２は、画像データからジェスチャを識別することができ、このジェスチャは、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および手の第２の指の動きを含む（９０６）。ＨＭＤ１１２は、１つまたは複数の入力文字を、手の複数本の指のうちの１本または複数本に割り当てる（９０８）。ＨＭＤ１１２は、識別されたジェスチャに応答して、手の第２の指に割り当てられた１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理する（９１０）。

この開示で説明される技法は、少なくとも部分的に、ハードウェア、ソフトウェア、ファームウェア、またはそれらの任意の組合せで実施され得る。たとえば、説明された技法の様々な態様は、１つもしくは複数のマイクロプロセッサ、ＤＳＰ、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、または他の任意の同等の集積型または離散型論理回路ばかりでなく、かかる構成要素の任意の組合せを含む、１つまたは複数のプロセッサ内で実施され得る。用語「プロセッサ」または「処理回路」は、概して、単独で、もしくは他の論理回路と組み合わせた、前述の論理回路のいずれか、または他の任意の同等の回路を指すことができる。ハードウェアを備える制御ユニットはまた、この開示の１つまたは複数の技法を実行することができる。

かかるハードウェア、ソフトウェア、およびファームウェアは、この開示で説明されている様々な動作および機能をサポートするために、同じデバイス内または別個のデバイス内に実装され得る。加えて、説明されているユニット、モジュール、または構成要素のいずれも、一体的に、または離散的であるが相互運用可能な論理デバイスとして別々に実装され得る。モジュールまたはユニットとしての様々な特徴の記述は、様々な機能的側面を強調することが意図されており、かかるモジュールまたはユニットが、別々のハードウェアまたはソフトウェア構成要素で実現される必要があることを必ずしも含意しない。それどころか、１つまたは複数のモジュールまたはユニットに関連する機能は、別々のハードウェアもしくはソフトウェア構成要素によって実行されるか、または共通もしくは別々のハードウェアもしくはソフトウェア構成要素内に統合され得る。

この開示で説明されている技法はまた、命令を格納するコンピュータ可読記憶媒体などのコンピュータ可読媒体内で、具現化されるかまたは符号化され得る。コンピュータ可読記憶媒体内に組み込まれたまたは符号化された命令は、たとえば、命令が実行されるときに、プログラム可能なプロセッサまたは他のプロセッサに方法を実行させることができる。コンピュータ可読記憶媒体には、ランダムアクセスメモリ（ＲＡＭ）、読取り専用メモリ（ＲＯＭ）、プログラム可能な読取り専用メモリ（ＰＲＯＭ）、消去可能でプログラム可能な読取り専用メモリ（ＥＰＲＯＭ）、電子的に消去可能でプログラム可能な読取り専用メモリ（ＥＥＰＲＯＭ）、フラッシュメモリ、ハードディスク、ＣＤ－ＲＯＭ、フロッピディスク、カセット、磁気媒体、光学媒体、または他のコンピュータ可読媒体が含まれ得る。

本明細書で様々な例として説明されるように、本開示の技法は、人工現実システムを含むか、または人工現実システムと組み合わせて実施され得る。説明されたように、人工現実は、ユーザに提示する前に何らかのやり方で調整された現実の形式であり、たとえば、仮想現実（ＶＲ）、拡張現実（ＡＲ）、複合現実（ＭＲ）、ハイブリッド現実、またはそれらの何らかの組合せおよび／もしくは派生的なものが含まれ得る。人工現実コンテンツには、全面的に生成されたコンテンツ、または取り込まれたコンテンツ（たとえば、実世界の写真）と組み合わせて生成されたコンテンツが含まれ得る。人工現実コンテンツは、ビデオ、オーディオ、触覚フィードバック、またはそれらの何らかの組合せを含むことができ、これらのいずれかが、単一チャネルまたは複数チャネル（観察者に対して３次元効果を生成する立体式ビデオなど）で提示され得る。さらに、いくつかの実施形態では、人工現実は、アプリケーション、製品、アクセサリ、サービス、またはそれらの何らかの組合せに付随する場合があり、たとえば、人工現実内でコンテンツを作成するために使用され、かつ／または人工現実内で使用される（たとえば、人工現実内で活動を行う）。人工現実コンテンツを提供する人工現実システムは、ホストコンピュータシステムに接続されたヘッドマウントディスプレイ（ＨＭＤ）、独立型ＨＭＤ、携帯デバイスもしくはコンピュータ処理システム、または１人もしくは複数人の観察者に人工現実コンテンツを提供することができる他の任意のハードウェアプラットフォームを含む、様々なプラットフォーム上に実装され得る。

本開示の様々な例が説明されてきた。説明されたシステム、動作、または機能の任意の組合せが考えられる。こうした例および他の例は、添付の特許請求の範囲内にある。

Claims (20)

1. 物理的環境を表す画像データを取り込むよう構成される、画像取込みデバイスと、
   人工現実コンテンツを出力するよう構成される、ヘッドマウントディスプレイ（ＨＭＤ）と、
   前記画像データから、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および前記手の第２の指の動きを含む、ジェスチャを識別するよう構成される、ジェスチャ検出器と、
   １つまたは複数の入力文字を、前記手の複数本の指のうちの１本または複数本に割り当て、前記識別されたジェスチャに応答して、前記手の前記第２の指に割り当てられた前記１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理するよう構成される、ユーザインタフェースエンジンと
   を備える、人工現実システム。
2. 前記手の前記複数本の指のうちの前記１本または複数本に割り当てられた前記１つまたは複数の文字を、前記手の画像に重畳して描画するよう構成される、描画エンジンをさらに備える、請求項１に記載の人工現実システム。
3. 前記ユーザインタフェースエンジンが、前記１つまたは複数の入力文字を割り当てるために、前記手の前記複数本の指のうちの前記１本または複数本の指のそれぞれに、別個の入力文字のセットを割り当てるよう構成される、請求項１に記載の人工現実システム。
4. 前記手が、第１の手を含み、前記ユーザインタフェースエンジンがさらに、第２の手の複数本の指のうちの１本または複数本の指のそれぞれに、別個の入力文字のセットを割り当てるよう構成される、請求項３に記載の人工現実システム。
5. 前記手の前記第２の指に割り当てられる前記１つまたは複数の入力文字が、別個の入力文字のセットを含み、前記ユーザインタフェースエンジンがさらに、
   前記手の前記第２の指に割り当てられた前記別個の入力文字のセットの、前記１つまたは複数の入力文字のそれぞれを、前記別個のセットの基数以下の選択番号にマッピングするよう構成される、請求項１に記載の人工現実システム。
6. 前記第１の入力文字の前記選択を受け取るために、前記ユーザインタフェースエンジンが、
   前記識別されたジェスチャでの、前記手の前記第１の指および前記手の前記第２の指が前記閾値時間内に前記挟持配置を形成する前記特定の回数に等しい、前記第１の入力文字にマッピングされた前記選択番号に基づいて、前記第１の入力文字の前記選択を特定するよう構成される、請求項５に記載の人工現実システム。
7. 前記第１の入力文字の前記選択を受け取るために、前記ユーザインタフェースエンジンが、
   前記識別されたジェスチャでの、前記手の前記第１の指および前記手の前記第２の指が前記閾値時間内に前記挟持配置を形成する前記特定の回数を、前記別個のセットの前記基数で割ることにより、余りを伴う商を計算し、かつ
   前記余りに等しい、前記第１の入力文字にマッピングされた前記選択番号に基づいて、前記第１の入力文字の前記選択を特定する
   よう構成される、請求項５に記載の人工現実システム。
8. 前記ジェスチャ中に、前記閾値期間内に前記手の前記第１の指が有しかつ前記手の前記第２の指が前記挟持配置を形成する現在の回数に基づいて選択されることになる、前記手の前記第２の指に割り当てられた前記１つまたは複数の入力文字のうちの現在の入力文字を描画するよう構成される描画エンジンをさらに備える、請求項１に記載の人工現実システム。
9. 前記ジェスチャが第１のジェスチャを含み、
   前記ジェスチャ検出器がさらに、前記画像データから第２のジェスチャを識別するよう構成され、かつ
   前記ユーザインタフェースエンジンが、１つまたは複数の特殊な入力文字を前記第２のジェスチャに割り当て、前記識別された第２のジェスチャに応答して、前記第２のジェスチャに割り当てられた前記１つまたは複数の特殊な入力文字のうちの、第１の特殊な入力文字の選択を処理するよう構成される、
   請求項１に記載の人工現実システム。
10. 前記１つまたは複数の入力文字が、文字、数字、記号、またはヌル文字、のうちの１つまたは複数を含む、請求項１に記載の人工現実システム。
11. 前記画像取込みデバイスが、前記ＨＭＤ内に統合されている、請求項１に記載の人工現実システム。
12. 人工現実システムの画像取込みデバイスによって、物理的環境を表す画像データを取り込むことと、
    前記人工現実システムのヘッドマウントディスプレイ（ＨＭＤ）によって、人工現実コンテンツを出力することと、
    前記画像データから、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および前記手の第２の指の動きを含む、ジェスチャを識別することと、
    １つまたは複数の入力文字を、前記手の複数本の指のうちの１本または複数本に割り当てることと、
    前記識別されたジェスチャに応答して、前記手の前記第２の指に割り当てられた前記１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理することと
    を含む、方法。
13. 前記手の前記複数本の指のうちの前記１本または複数本に割り当てられた前記１つまたは複数の文字を、前記手の画像に重畳して描画することをさらに含む、請求項１２に記載の方法。
14. 前記手が第１の手を含み、前記１つまたは複数の入力文字を割り当てることが、
    別個の入力文字のセットを、前記第１の手の前記複数本の指のうちの前記１本または複数本の指のそれぞれに割り当てることと、
    別個の入力文字のセットを、第２の手の複数本の指のうちの１本または複数本の指のそれぞれに割り当てることと
    を含む、請求項１２に記載の方法。
15. 前記手の前記第２の指に割り当てられる前記１つまたは複数の入力文字が、別個の入力文字のセットを含み、ユーザインタフェースエンジンがさらに、
    前記手の前記第２の指に割り当てられた前記別個の入力文字のセットの、前記１つまたは複数の入力文字のそれぞれを、前記別個のセットの基数以下の選択番号にマッピングするよう構成される、請求項１２に記載の方法。
16. 前記第１の入力文字の前記選択を受け取ることが、
    前記識別されたジェスチャでの、前記手の前記第１の指および前記手の前記第２の指が前記閾値時間内に前記挟持配置を形成する前記特定の回数に等しい、前記第１の入力文字にマッピングされた前記選択番号に基づいて、前記第１の入力文字の前記選択を特定することを含む、請求項１５に記載の方法。
17. 前記第１の入力文字の前記選択を受け取ることが、
    前記識別されたジェスチャでの、前記手の前記第１の指および前記手の前記第２の指が前記閾値時間内に前記挟持配置を形成する前記特定の回数を、前記別個のセットの前記基数で割ることにより、余りを伴う商を計算することと、
    前記余りに等しい前記第１の入力文字にマッピングされた前記選択番号に基づいて、前記第１の入力文字の前記選択を特定することと
    を含む、請求項１５に記載の方法。
18. 前記ジェスチャ中に、前記閾値期間内に前記手の前記第１の指が有しかつ前記手の前記第２の指が前記挟持配置を形成する現在の回数に基づいて選択されることになる、前記手の前記第２の指に割り当てられた前記１つまたは複数の入力文字のうちの現在の入力文字を描画することをさらに含む、請求項１２に記載の方法。
19. 前記ジェスチャが第１のジェスチャを含み、前記方法がさらに、
    前記画像データから第２のジェスチャを識別することと、
    １つまたは複数の特殊な入力文字を、前記第２のジェスチャに割り当てることと、
    前記識別された第２のジェスチャに応答して、前記第２のジェスチャに割り当てられた前記１つまたは複数の特殊な入力文字のうちの、第１の特殊な入力文字の選択を処理することと
    を含む、請求項１２に記載の方法。
20. 命令を有する非一時的なコンピュータ可読媒体であって、前記命令は、実行されると、人工現実システムの１つまたは複数のプロセッサに、
    物理的環境を表す画像データを取り込ませ、
    人工現実コンテンツを出力させ、
    前記画像データから、閾値時間内に特定の回数挟持配置を形成する、手の第１の指および前記手の第２の指の動きを含む、ジェスチャを識別させ、
    １つまたは複数の入力文字を、前記手の複数本の指のうちの１本または複数本に割り当てさせ、かつ
    前記識別されたジェスチャに応答して、前記手の前記第２の指に割り当てられた前記１つまたは複数の入力文字のうちの、第１の入力文字の選択を処理させる
    非一時的なコンピュータ可読媒体。
    

Images