JP2014515147A - 拡張現実のためのジェスチャベースユーザインターフェース - Google Patents

Abstract

仮想ディスプレイと共に用いることができるジェスチャキーボードを提供するのに有効なシステムおよび方法のための技術が一般的に説明されている。ある例では、本発明による方法は、少なくとも３つのレベルの相互作用の差異から検出された少なくとも１つのレベルの相互作用の差異を受け取ることを含む、入力装置に近接または接触しているオブジェクトと関連する知覚情報を受け取ることと、知覚情報からのコマンドを、少なくとも１つのレベルの相互作用の差異に応じて解釈することと、コマンドに基づき動作表示を出力することと、を含む。

Description

本開示は、一般にジェスチャキーボードに関し、例えば拡張現実のためのジェスチャベースユーザインターフェースに関する。

コンピューティングシステムの使用と複雑性が進展するにつれて、操作が簡単でユーザにとって楽しいコンピューティングシステムを提供したいという希望もまた同様の状況にある。多くのコンピューティングシステムは、キーボードとディスプレイを用いている。キーボードに入力がなされると、対応する出力をディスプレイ上に提示することが可能である。入力のあるものは、出力されるべき対応の動作に対するコマンドとして入力される。しかし、コマンドの入力は、伝統的に、キーボードおよび／またはマウスを通じて行われてきており、実行するのが厄介である場合がある。例えば、いくつかのコマンドを入力するためには、ある場合には、キーボード上の複数のキーがある順序で押下されるが、そうしないと、所望の入力は達成されない。

いくつかのコンピューティングシステムでは、コマンドの入力のためにタッチスクリーンを用いている。しかし、タッチスクリーンは２次元の入力空間を利用しており、タッチ表面の上方の３次元空間を用いることはできない。したがって、タッチスクリーンに向かう方向またはタッチスクリーンから遠ざかる方向のユーザによる動きは、何の効果も生じない。更に、コンピューティングシステムによっては、キーボードはディスプレイから分離しているため、例えばシフトロックやカーソル移動などのタイピングと関係するコマンドをディスプレイ内に配置するのは実際的でない。これは、ディスプレイがキーパッドから遠く離れすぎているからであり、したがって、ユーザの（一方または両方の）手は、そのようなコマンドを入力するにはあまりに遠くまで移動するからである。

ジェスチャベースコンピューティングシステムへの従来型のアプローチの短所について上述したが、これは、従来型のアプローチおよび技法に関する問題点のいくつかの概観を提供することを単に意図しただけであり、網羅的であることは意図していない。従来型のシステムおよび技法に付随する他の問題点と、本明細書において説明される様々な非限定的な実施形態のそれに対応する利点とは、以下の説明を検討することで、更に明らかになるであろう。

様々な非限定的な実施形態において、コマンドを認識し、ジェスチャの形式でおよび／またはタイピングとして入力し、コマンドに基づき１つまたは複数の動作を実行するように構成されているジェスチャキーボードが開示されている。ある例では、この１つまたは複数の動作は、拡張現実において実行される。ジェスチャキーボードは、押下されるとタイプを行いキーボードに近接しているまたはキーボードに接触している指を感知することもできるキーを含む。指は、そのキャパシタンスによって感知されうる。キーボードとの接触は、指とキーの間の電気的接触によって感知されうる。電気的接触による指の検出は、仮想現実メガネにおいて表示される仮想キーボードをハイライト表示するのに用いることができる。なお、仮想現実メガネは、タイプされているテキストを示すこともできる。容量性感知は、キーボードに近接する指によるジェスチャを検出するのに用いることができ、このジェスチャは、コマンドをタイプするのに用いることができる。

ある実施形態では、方法が、少なくとも２つのレベルの相互作用の差異（interaction differentiation）から検出された少なくとも１つのレベルの相互作用の差異を受け取ることを含む、入力装置に近接または接触しているオブジェクトと関連する知覚情報を受け取ることと、知覚情報からのコマンドを、少なくとも１つのレベルの相互作用の差異に応じて解釈することと、コマンドに基づき動作表示を出力することと、を含む。

別の実施形態では、システムが、キーボードに対する空間内部の少なくとも１つのジェスチャを受け取るように構成された環境捕捉コンポーネントと、少なくとも１つのジェスチャに基づきコマンドを識別するように構成された解釈コンポーネントと、少なくとも１つのジェスチャの情報とコマンドの結果とをレンダリングするように構成された出力コンポーネントであって、この情報は仮想ディスプレイ上でレンダリングされるように構成されている、出力コンポーネントと、を含む。

追加的な実施形態では、コンピュータ実行可能な命令が記憶されている、コンピュータ可読記憶媒体が説明され、命令は、実行に応じて、コンピューティングデバイスに、実行されるべき少なくとも１つのコマンドを示すジェスチャを検出することと、ジェスチャを、複数のコマンドから選択された少なくとも１つのコマンドとして解釈することと、少なくとも１つのコマンドの結果を、仮想空間内部の知覚可能なイベントとして開始することと、を含む動作を実行させる。

更に別の実施形態では、システムが、ジェスチャの形式で入力を受け取る手段と、ジェスチャを、近接性レベル、電気的導通性レベル、および作動レベルのうちの１つまたは複数に応じて、１組の択一的なコマンドから選択されたコマンドに変換する手段と、コマンドの結果を、知覚可能なフォーマットで、遠隔の表示装置に出力する手段と、を含む。

更に別の実施形態は、キーのアレイを含むキーボードを含むコンピューティングデバイスである。このコンピューティングデバイスにおいて、キーのアレイの少なくとも１つの部分集合が、その少なくとも１つの部分集合のそれぞれのキーに加えられた圧力を検出するように構成されたそれぞれの変位作動式スイッチを含む。このコンピューティングデバイスは、キーボードに近接する指を検出するように構成された少なくとも１つの容量性センサを更に含む。

以上の概要は、説明のためだけのものであり、いかなる意味でも限定を意図しない。上述した説明のための態様、実施形態および特徴に加えて、別の態様、実施形態および特徴が、図面と以下の詳細な説明を参照することにより明らかになるはずである。

様々な非限定的な実施形態が、以下の添付の図面を参照して、更に説明される。

図１は、コマンドを認識し実行するための方法の例示的で非限定的な実施形態を図解する流れ図である。 図２は、ある態様によるジェスチャキーボードを用いている人の特定の非限定的な例を説明する図である。 図３は、ジェスチャキーボードを提供するのに用いることができる非限定的で例示的な電気回路を説明する図である。 図４は、コマンドを認識し実行するように構成されたシステムの例示的で非限定的な実施形態のブロック図である。 図５は、手のジェスチャまたはタイピングの形式で受け取られたコマンドを解釈し実行する非限定的で例示的なシステムを説明する図である。 図６は、コマンドを認識し実行するための方法の例示的で非限定的な実施形態を図解する流れ図である。 図７は、コマンドを認識し実行するための方法の例示的で非限定的な実施形態を説明する流れ図である。 図８は、コマンドを認識し実行するための方法の例示的で非限定的な実施形態を説明する流れ図である。 図９は、コマンドを認識し実行するための方法の例示的で非限定的な実施形態を説明する流れ図である。 本開示の少なくともいくつかの態様によるジェスチャベースキーボードのためのコンピュータ可読命令セットの例示的で非限定的な実施形態を説明する流れ図である。 本開示の少なくともいくつかの態様によるジェスチャキーボードコンピューティングデバイスの例示的で非限定的な実施形態のブロック図である。 本開示の少なくともいくつかの実施形態によるジェスチャベースキーボードのために構成された例示的なコンピューティングデバイスを説明するブロック図である。

概観
以下の詳細な説明では添付の図面を参照するが、これらの図面は、詳細な説明の一部を形成する。詳細な説明、図面、および特許請求の範囲に記載されている説明のための実施形態は、限定的であることを意味していない。ここで提示される主題の趣旨または範囲から逸脱することなく、他の実施形態を用いることが可能であり、他の変更を行うことが可能である。本明細書で一般的に説明され図面に図解されている本開示の複数の態様は、広範な異なる構成においては、整理され、置き換えられ、組み合わされ、分離され、設計されることが可能であり、これらのすべてについて、本明細書で明示的に企図されることが容易に理解されよう。

ディスプレイとタッチスクリーンが組み合わされたものを経由してコンピュータシステムに運ばれるコマンドが、ますます用いられるようになった。元来は、このようなコマンドは、アイコンが表示されているスクリーン上の位置で（例えば、指先で）スクリーンを押すことによってアイコンを選択することに限られていた。しかし最近は、電話、コンピュータ、タブレット、およびそれ以外のデバイスにおいて、表示を横方向または垂直方向に移動させるためのタッチ表面を横断するスウィープ状の動き、表示されている画像を回転させるために２本の指でスクリーンに触れて回転させること、および表示されている画像を縮小または拡大するための放射状の動きを利用することなど、進んだ機能が組み入れられてきている。これらのコマンドに人気があるのは、これらのコマンドが自然で直感的な動作を用いており、例えばディスプレイに対して仮想的な質量や仮想的な摩擦を加えることによって、結果が現実のオブジェクトを模倣できるからである。しかし、これらの新しいコマンドにも限界がいくつか存在する。例えば、コマンドがディスプレイだけに関係しているために、これらのコマンドはディスプレイ自体にだけ影響を及ぼすことが可能であり、したがって、その適用に限界がある。

上述したように、今日、コンピューティングデバイス上で費やされる大量の時間は、ユーザの観点からは、タイピングすることで消費されている。通常、キーボードはディスプレイと切り離されているから、（例えば、シフトロックやカーソル移動などの）タイピングに関係するコマンドを、ディスプレイ内に配置するのは現実的でない。その理由は、例えば、現在、ユーザによって用いられているキーから更に遠くにあるなど、ディスプレイが、ユーザの物理的な入力から遠く離れすぎているからである。場合によっては、ラップトップにおいてはユーザの親指の近くに配置されているのが典型的であるマウスパッドは、手が遠くに移動する必要がないという理由から、類似した複数のコマンドに用いられることがありうる。しかし、（例えば、スウィープの動き、回転、半径方向の動きなどの）２次元的なスクリーン空間におけるタッチスクリーンというコンテキストにおいて進歩してきた新たなコマンドは、マウスパッドやタブレット上でのタイピングの動きには適していない。

更に、これらの新たなタッチスクリーンコマンドは、タッチ表面の上方にある空間を利用できないため、タッチスクリーンに向かう方向またはタッチスクリーンから遠ざかる方向の動きが、どのような効果も生じない。更に、これらの新たなタッチスクリーンコマンドは、すぐに陳腐化する可能性があるハードウェアに、すなわちディスプレイに基づいている。例えば、ディスプレイは仮想現実ヘッドギア（後述）によって置き換えられるか、または補完されることが予測されている。したがって、これらのコマンドは、その現在の形式では、やはり陳腐化する可能性がある。

様々な非限定的な実施形態が、様々なジェスチャを実質的に同時にタイピングとして適用できることにより、タイピングをする人々の労働条件が改善されうる環境での、様々なジェスチャの使用に向けられている。タイピングは、人々の時間の多くを消費させる活動であるが、現在のタイピングのパラダイムは非効率的でストレスを生じさせる。コンピュータがタイピストに要求するおかしいしイライラさせ間違いを生じさせる傾向を有する微小運動の時間密度を得て、それにタイピングに費やされた時間量を乗算すると、その結果は、かなり大量の時間およびエネルギの浪費であり、イライラの原因であり、おそらくは、ユーザが受ける様々なストレスに起因する、多くのストレスに関係する不具合の原因である。長年にわたる改革を求める声にもかかわらず、ＱＷＥＲＴＹキーボードは現状のまま留まるように思われる。しかし、議論の余地はあるもののＱＷＥＲＴＹキーボードより不便なカーソル制御やそれ以外のコマンドに対しては、ほとんど注意が向けられてきていない。

例えば、ＱＷＥＲＴＹキーボードは、２６個の文字キーと１０個の数字キーを含み、更に４８個の他のキーを備えているので、他のキーと本質的な数字／文字キーとの比率は４：３である。これらの４８個のキーのうちで、いくつかは印刷記号のキー（例えば、コロンやセミコロンのためのキー）である。これらの印刷記号を引くと、「他の」キーの数は３７個に減るが、それでもまだ、数字／文字／記号のキーよりも多い。

ナイーブな人は、ほとんどのキーを解読できないだろう。多くは（例えば、「Ｆ６」のように）暗号的であり、経験またはルックアップテーブルがなければ、使えない。他に、（例えば、「キャプスロック」または「？」のように）その機能を明示的に宣言しているキーも存在する。暗号的なキーと明示的なキーとの比率は、おおよそ２：１である。これらのおおよそ２７個の暗号的でミステリであるキーの配置および関係には、ほとんど論理的でない。

多くのキーは、非本質的な機能を有し、多くの人々がいくつかのキーが何をするのか知らない。これらのキーによって、議論の余地はあるだろうが、キーボードを拡大させるべきではないのである。タイピストであればこれらのキーの機能についてぼんやりとした考えをもっているのかもしれないけれど、他に、まったく用いられないキーもある。したがって、いくつかのキーは削除されて、メニュによる選択肢によって置き換えられるべきなのである。

キーを介してコマンドを入力するには、ユーザに対して正確な動作が要求され、意図していたキーを指が外し、隣接するキーをヒットすると、精度の欠如のために、希望しない動作が生じてしまう。近くに設置された「タブ」、「キャプスロック」、「シフト」、および「コントロール」は、特に、いらだたしい混同を生じさせる傾向がある。不必要なマクロ、ウインドウ、またはモードもキーを打ち間違えることから生じる。これらのエラーのために、ユーザが事故の前に居た場所に戻るには、追加的な正確な動作が次に必要となる。デバイスのサイズが小さくなるにつれて、それに対応してキーのサイズも小さくする圧力が生じることになり、耐え難いほどに小型のキーボードによって、ユーザのフラストレーションが悪化することになりかねない。

（現在では、「マウスパッド」上で実行されるのが通常である）マウス／クリックコマンドは、コンピュータシステムの必須の部分にもなりうる。しかし、これは、キー自体よりも劣っていることが多い。マウスパッドは、寸法が小さいために正確な動きが要求されるから、ユーザにそのエネルギを浪費させることになるし、また、マウスパッドは、それ自体ではいかなる動作も実行することができず、補助的な左クリックまたは右クリックを必要とする。

マウスパッドの代わりにディスプレイをタッチスクリーンとして用いることは、精度の問題の助けになる。しかし、上述したように、これには、手をキーパッドから離れてタッチスクリーンに向かう方向に移動させることが要求され、自分の手を前後に移動させることの結果として、新たな不自然さが生じてしまう。

従来型の入力装置とその限界とに伴う上述の問題を考察すると、本明細書において説明される１つまたは複数の実施形態は、物理的ディスプレイを必要としないコンパクトなシステムを提供する。例示的な実施形態では、仮想現実デバイスが、テキストとキーボード画像とをユーザのパースペクティブからの現実世界上に重ね合わせることができる。

ある実施形態では、少なくとも２つのレベルの相互作用の差異から検出された少なくとも１つのレベルの相互作用の差異を受け取ることを含む、入力装置に近接または接触しているオブジェクトと関連する知覚情報を受け取ることと、知覚情報からのコマンドを、少なくとも１つのレベルの相互作用の差異に応じて解釈することと、コマンドに基づき動作表示を出力することと、を含む方法が本明細書で説明される。

ある例によると、少なくとも２つのレベルの相互作用の差異が近接性レベルと電気的導通性レベルとを含む。この例では、知覚情報を受け取ることは、近接性レベルをキャパシタンスに応じて解釈すること、または、オブジェクトによる入力装置の少なくとも１つのコンポーネントの表面の接地に基づき電気的導通性レベルを感知すること、の少なくとも一方を更に含む。更にこの例では、この方法は、近接性レベルの解釈と電気的導通性レベルの感知とに基づきコマンドジェスチャの数を増加させることを更に含む。

上述の例では更に、近接性レベルを解釈することが、少なくとも１つの共振回路からの出力に基づき入力装置の上のオブジェクトの高さを確認することと、入力装置に対するオブジェクトの横方向の位置を特定することと、を含む。更に、高さを確認することが、入力装置の第１のコンポーネントの第１の共振周波数と入力装置の第２のコンポーネントの第２の共振周波数とを比較し、第１の共振周波数と第２の共振周波数とのうちの最低共振周波数を決定することと、最低共振周波数に基づき、オブジェクトが第１のコンポーネントにより近いこと、または、オブジェクトが第２のコンポーネントにより近いことを決定することを含む、最低共振周波数に基づきオブジェクトと入力装置との間の距離を測定することと、を含む。別の例では、高さを確認することが、入力装置のコンポーネントの応答を比較することと、オブジェクトの高さを間接的に確認するために、三角関数を応答に適用することと、を含む。

別の例では、横方向の位置を特定することが、入力装置の第１のコンポーネントの第１の共振周波数と入力装置の第２のコンポーネントの第２の共振周波数とを計算することと、第１の共振周波数と第２の共振周波数との間の極小値に応じて、横方向の位置を決定することと、を含む。別の例では、横方向の位置を特定することが、第１のコンポーネントの第１の共振周波数と、第１のコンポーネントに隣接する第２のコンポーネントの第２の共振周波数との間の差を検出することと、オブジェクトが第１のコンポーネントにより近いこと、または、オブジェクトが第２のコンポーネントにより近いことを、差に応じて決定することと、を含む。

更なる例によると、動作表示を出力することが、第１の部分と第２の部分とを含む仮想ディスプレイ上でアイテムをハイライト表示することを含み、第１の部分が動作表示と関連するコマンドを含み、第２の部分が入力装置の仮想表現を含む。更にこの例では、アイテムをハイライト表示することが、オブジェクトが入力装置と物理的に接触していることに応答して実行される。

別の例によると、知覚情報を受け取ることが、入力装置に近接するまたは接触する２つ以上のオブジェクトを同時に検出することと、ジェスチャコマンドのために２つ以上のオブジェクトを単一のオブジェクトとして識別することと、を含み、知覚情報を受け取ることが、単一のオブジェクトと関連する知覚情報を受け取ることを含む。別の例では、動作表示を出力することが、ディスプレイ装置に、動作表示を含む信号と、ディスプレイ装置による出力のためのコマンドの解釈とを送信することを含む。いくつかの例では、コマンドの解釈がオブジェクトの動きを補間することを含む。更に、いくつかの例では、補間することが、入力装置の複数のコンポーネントからデータを受け取ることと、データに基づき、オブジェクトを特定するなめらかな線を構築することと、を含む。

別の実施形態では、本明細書で説明されるシステムは、キーボードに対する空間内部の少なくとも１つのジェスチャを受け取るように構成された環境捕捉コンポーネントと、少なくとも１つのジェスチャに基づきコマンドを識別するように構成された解釈コンポーネントと、少なくとも１つのジェスチャの情報とコマンドの結果とをレンダリングするように構成された出力コンポーネントであって、情報は仮想ディスプレイ上でレンダリングされるように構成される、出力コンポーネントと、を含む。ある例によると、解釈コンポーネントが、更に、少なくとも１つのジェスチャと関連する近接性または電気的導通性を確認するように構成される。更にこの例では、解釈コンポーネントが、更に、カーソル制御を検出することにより近接性を確認するように構成され、機械的作動が手動のコマンドを示すことを確認するように構成されており、電気的導通性が仮想ディスプレイにおけるキーのハイライト表示を容易にする。いくつかの例では、環境捕捉コンポーネントが、キーボードに対するおよび近接する空間における移動を検出し、キーボードに加えられた圧力を検出するように構成される。更にこの例では、出力コンポーネントが、更に、キーボードに加えられた圧力の検出に応答して仮想ディスプレイの少なくとも一部をハイライト表示するように構成されている。

別の例では、このシステムは、キーボードの上の指先の高さと横方向の位置との決定への入力としてキャパシタンスを測定するように構成されたセンサを更に含む。この例では、指先とキーボードのキーとが共振回路のコンデンサを形成し、指先とキーのサイズの２分の１を単位とする分離距離をｄとすると、指先とキーの間のキャパシタンスが物理学で１／ｄに比例し、ここで、共振回路の周波数が距離の尺度である。更にこの例では、このシステムは、指先が１対のキーにおいて第２のキーよりも第１のキーにより近い度合いを表すうなり周波数を測定するように構成された評価コンポーネントを更に含む。第１のキーと第２のキーとのうなり周波数は、指先が第１のキーと第２のキーとの間にあることに応答して消滅する。

更なる例によると、仮想ディスプレイは、拡張現実メガネを含む。別の例では、キーボードがそれぞれの親指で作動されるスペースバーを有する２つの部分を含んでおり、２つの部分が、その２つの部分自体と関連するキーを覆うように相互に折り畳まれるように構成される。

追加的な実施形態では、コンピュータ実行可能な命令が記憶されている、コンピュータ可読記憶媒体が説明される。命令は、実行に応答して、コンピューティングデバイスに、実行されるべき少なくとも１つのコマンドを示すジェスチャを検出することと、ジェスチャを、複数のコマンドから選択された少なくとも１つのコマンドとして解釈することと、少なくとも１つのコマンドの結果を、仮想空間内部の知覚可能なイベントとして開始することと、を含む動作を実行させる。１つまたは複数の例によると、ジェスチャを検出することが、少なくとも１つのコマンドを示すジェスチャと、１組の一般的な近接性レベルのジェスチャ（common proximity-level gestures）とを区別することを更に含み、１組の一般的な近接性レベルのジェスチャが無視される。別の例では、ジェスチャを検出することが、外部行為者と、キーボード上の導電性作動キーとの間の電気的接触を示す作動を受け取ることを更に含むことができる。更に別の例では、ジェスチャを検出することが、入力装置の第１の導電性作動キーの第１の共振周波数と入力装置の第２の導電性作動キーの第２の共振周波数とを比較し、第１の共振周波数と第２の共振周波数とのうちの最低共振周波数を決定することと、最低共振周波数に基づき、外部行為者が第１の導電性作動キーにより近いこと、または、外部行為者が第２の導電性作動キーにより近いことを決定することを含む、最低共振周波数に基づき外部行為者と入力装置との間の距離を測定することと、を含むことができる。更なる例では、ジェスチャを検出することが、入力装置の第１の導電性作動キーの第１の共振周波数と入力装置の第２の導電性作動キーの第２の共振周波数とを計算することと、第１の共振周波数と第２の共振周波数との間の極小値に応じて、外部行為者の横方向の位置を決定することと、を含むことができる。

いくつかの例によると、ジェスチャを解釈することが、ジェスチャが、スウィープジェスチャ、プッシュプルジェスチャ、サークルジェスチャ、デフレクションジェスチャ、拡大縮小ジェスチャ、または回転ジェスチャのうちの少なくとも１つであることを確認することを含む。別の例によると、結果を開始することが、第１の部分と第２の部分とを含む仮想ディスプレイ上でアイテムをハイライト表示すること、第１の部分によってジェスチャと関連するコマンドを図解すること、および第２の部分によって入力装置の表現を提示することを含む。別の例では、アイテムをハイライト表示することが、外部行為者と入力装置との間の物理的接触に応答する。

更に別の実施形態では、本明細書に記載されているシステムは、ジェスチャの形式で入力を受け取る手段と、ジェスチャを、近接性レベル、電気的導通性レベル、および作動レベルのうちの１つまたは複数に応じて、１組の択一的なコマンドから選択されたコマンドに変換する手段とを含む。システムはまた、コマンドの結果を、知覚可能なフォーマットで、遠隔の表示デバイスに出力する手段を含む。

ある例では、このシステムは、近接性レベルをキャパシタンスに応じて解釈する手段と、オブジェクトによる入力装置のコンポーネントの表面の接地に基づき電気的導通性レベルを感知する手段と、外部の力による前記コンポーネントの移動から作動レベルを検出する手段と、を更に含む。

本明細書で説明される更に別の実施形態は、キーボードを含むコンピューティングデバイスである。キーボードは、キーのアレイであって、キーのアレイの少なくとも１つの部分集合が、少なくとも部分集合のそれぞれのキーに加えられた圧力を検出するように構成されたそれぞれの変位作動式スイッチを備えている、キーのアレイと、キーボードに近接する指を検出するように構成された少なくとも１つの容量性センサと、を含む。このコンピューティングデバイスは、キーボードに近接するジェスチャをコマンドに変換するように構成された変換モジュールと、コマンドに応じて表示を変更するように構成されたプロセッサと、を更に含む。ある例では、このキーボードは、容量性相互作用、導電性相互作用、または機械的相互作用から相互作用情報を受け取るために、指とキーの少なくとも１つの部分集合との間の電気的接触を検出するように構成される。いくつかの例では、ディスプレイが遠隔仮想ディスプレイであり、プロセッサが、信号を生成し信号を遠隔仮想ディスプレイに送信するように更に構成される。他の例では、変換モジュールが、異なるコマンドに対応する１組のコマンドジェスチャを含むデータストアにアクセスするように更に構成される。別の例では、データストアが、１組のコマンドジェスチャと区別可能な１組の一般的な近接性レベルのジェスチャを更に含む。

本明細書では、ジェスチャキーボードを提供するための実施形態のいくつかに関する概観が、以上で提示されてきた。以下で述べることのためのロードマップとして、拡張現実のためのジェスチャベースユーザインターフェースのための様々な例、非限定的な実施形態、および特徴が、詳細に説明されている。そして、そのような実施形態および／または特徴を実装することができる計算環境のための非限定的な実装形態が与えられる。

拡張現実のためのジェスチャベースユーザインターフェース
上述したように、様々な実施形態において、コマンドを認識し、ジェスチャの形式で入力を行い、コマンドに基づいて１つまたは複数の動作を実行するように構成されたジェスチャキーボードが開示されている。いくつかの態様では、コマンドの１つまたは複数を、タイピングの形式で入力が可能である。いくつかの態様によると、コマンドを、ジェスチャとタイピングの組み合わせで入力することもできる。本明細書で用いられるとき「タイピング」とは伝統的なタイピング動作（例えば、キーボード上のキーとの接触）を、「ジェスチャ」とはキーボードの上方または近傍での動き（例えば、タイピング以外の動作）を、意味する。ある例では、この１つまたは複数のコマンドが、拡張現実の中で実行される。図１は、コマンドを認識し実行するための方法の例示的で非限定的な実施形態を図解する流れ図を示している。図１の流れ図は、例えば、本明細書で説明される（図４の）システム４００などのシステムの任意のものを用いて実行されうる。ここでの説明を通じて用いられる例は、キーボードおよび／またはメガネに関するものである。キーボードは、容量性のキーボードを含みうる。メガネは、ヘッドマウントギアを含みうる。しかし、本明細書で説明される実施形態はキーボードおよび／またはメガネという特定の例に限定されないこと、また、本明細書で説明される実施形態は他の入力装置および／または出力装置と共に機能すると考えるべきであること、を理解すべきである。

１００では、知覚情報が受け取られる。知覚情報は、入力装置と近接または接触しているオブジェクトと関連する。ある特定の例では、入力装置はキーボードであり、オブジェクトは指先またはキーボードと相互作用する外部行為者（例えば、人）によって用いられる別のアイテムでありうる。例えば、人が、手のジェスチャの形式でまたはタイピングによりコマンドを入力するために、キーボードと相互作用をすることがありうる。このようなコマンドが、知覚情報として受け取られうる。

１００におけるこの受け取りは、少なくとも２つのレベルの相互作用の差異から検出された少なくとも１つのレベルの相互作用の差異を受け取ることを含みうる。いくつかの態様では、相互作用の差異は、タイピングによって入力されたコマンドと、ジェスチャとして入力されたコマンドとの間での区別が可能である。ある例では、この少なくとも２つのレベルの相互作用の差異には、近接性のレベルと電気的導通性のレベルとが含まれる。キーボードの場合での特定の非限定的な例では、近接性レベルはキャパシタンスによって感知が可能であり、電気的導通性レベルはユーザの指によるキー表面の接地によって感知が可能である。いくつかの例では、別のレベルの相互作用の差異として、作動レベルが含まれる。作動レベルは、力または押下によるキーの作動によって感知が可能である。

１０２では、知覚情報からのコマンドが、検出された少なくとも１つのレベルの相互作用の差異に応じて解釈されうる（例えば、近接性レベル、電気的導通性レベルの少なくとも１つ、または、いくつかの態様では、作動レベル）。例えば、解釈されたコマンドは、複数のコマンドからの選択が可能である。例えば、ジェスチャの形式で受け取られる解釈されたコマンドは、コマンドとして機能することが意図されていない１組の一般的な近接性レベルのジェスチャからも区別が可能である。そのジェスチャが一般的な近接性レベルのジェスチャであると判断される場合には、そのジェスチャは無視される（例えば、コマンドとして実行されない）。以下では、様々なタイプのジェスチャに関係する更なる情報を提供する。

１０４では、コマンドに基づいて、動作表示が出力される。例えば、この出力される表示には、仮想キーボードを表す仮想ディスプレイにおけるキーをハイライト表示することが含まれうる。他の例としては、カーソルの移動、ページの移動、カット、コピーおよびペーストのためのハイライト表示、ならびに、仮想ディスプレイでの表現が可能なドキュメントの中で実行されるべきそれ以外の動作が含まれる。別の例では、出力される表示は、仮想空間の中の知覚可能なイベントとしての提示が可能である。更なる例では、出力される表示は、作動レベルとして、テキストファイルに記号を追加することを含みうる。別の態様によると、仮想ディスプレイは、拡張現実メガネを用いることにより実装が可能である。

本明細書で開示されているこのおよび他のプロセスおよび方法に関しては、これらのプロセスおよび方法で実行される機能は異なる順序でも実行が可能であることを、当業者であれば、理解するはずである。更に、ここで概観されたステップおよび動作は、単に例として提供されているのであり、これらのステップおよび動作のいくつかはオプションでありうるのであって、開示されている実施形態の本質から離れることなく、組み合わされてより少数のステップおよび動作になったり、追加的なステップおよび動作に拡大されたりすることがありうる。

次に図２を参照すると、ある態様によるジェスチャキーボードを用いている人の特定の非限定的な例が図解されている。キーボード２０６上に置かれている左手２０２と右手２０４とが示されている。右手２０４の指が、キーボード２０６の右側から距離ｈ１の上方に配置されている。開かれた左手２０２は、キーボード２０６の左側から距離ｈ２の上方に配置されている。ある例では、キーボードの上方における指先の高さと横方向の位置の両方を検出することができる。高さと横方向の位置との検出に関する追加的な情報が、以下で更に詳細に提供される。

いくつかの態様では、ユーザが、いくつかの状況で、接地されている場合がある。キーボードは、***リムまたは軽くバイアスがかけられた接地バーを含みうるのであり、それに接するように手首を乗せることができることで、ユーザおよびユーザの両手が接地電位にあることが保証される。オプションとして、接地のためのリストストラップが提供されることもある。

タイピングのときは、両手２０２、２０４は、１つまたは複数のジェスチャを入力するのに用いられる位置と類似する位置に、キーボード２０６の上に置かれる。ある態様では、１つまたは複数のジェスチャは、容量性のジェスチャでありうる。例えば、知られている容量性のキーボードでは、キーは、指の近接性に起因する「手のキャパシタンス」によって作動される。この開示されている態様によると、キーボードのキーは、指先の近接性を検出するのに用いられる回路に接続されている。キーボードへの指先の近接性の検出は、キーボードに対する空間における指の動きを検出するのに用いられ、よって、手のジェスチャを検出することができる。手のジェスチャは、コマンドとして機能し、いくつかの態様によると、タイピングコマンドとしても機能する。

開示されているいくつかの態様では、スクリーンの移動、カーソルの移動、リターン機能、コントロール機能、クリッキングなどのために用いられるコマンドなど、キーによって作動されるものやマウスパッドのコマンドに代わるものとして、容量性の手のジェスチャを用いることができる。従来型のシステムでは、これらのコマンドは、正確な動きを用いて実行され、しばしばエラーを生じさせる。しかし、本明細書で開示されているように、これらのコマンドは、より少ないエラーしか生じないように、精度がより低い動きを用いて入力することが可能なのである。

ある例では、センサが、キーボード２０６の上方の指先の高さと横方向の位置との決定への入力としてキャパシタンスを測定するように構成されている。例えば、手のキャパシタンスは、センサが高さと横方向の位置とを決定するのに用いることができる。「手のキャパシタンス」という用語は、元来、人の手が無線アンテナの近くに持ってこられたときのその無線アンテナのキャパシタンスの変化を意味していた。可変コンデンサがラジオのチューニングに用いられるのであるが、特に、影響を生じさせる人間が接地されているときには、そのアンテナの近傍に手または身体の他の部分が存在することによって、アンテナのチューニングがずれてしまうことがある。

手のキャパシタンスは、テルミンの基礎として、意図的に用いられた。なお、テルミンとは、直接的な接触なしで演奏された最初の楽器である。テルミンは、任意のピッチの音を生じ、演奏者の手が動くにつれて、その音は、急速に周波数を掃引することができるのである。テルミンでは、アンテナが用いられる。そして、そのアンテナは、共振ＬＣ（インダクタ・コンデンサ）回路を含むオーディオ周波数発振器に結合されている。演奏者の手がアンテナに近づくまたはアンテナから遠ざかることによってアンテナのキャパシタンスに変動が生じると、ＬＣ発振の周波数が変動する。発振は電子的に増幅され、次にラウドスピーカに送られ、人の手の位置によって決まるピッチの音が生じるのである。

導電性または部分的に導電性のオブジェクトは、どのようなものでも、キャパシタンスを有し、そのキャパシタンスは、近くに持ってこられた別のオブジェクトによって影響を受ける（その別のオブジェクトのキャパシタンスも、同じように影響を受ける）。例えば人の指は、何らかのキャパシタンスを有している。別の小さな導電性のオブジェクトも、これはキーボード上のキーであるかもしれないが、やはりキャパシタンスを有しており、したがって、これら２つのオブジェクトは相互キャパシタンスを有する。これらの相互キャパシタンスは、幾何学的形状によって決定される。

平行板コンデンサでは、極板が近接しているために、キャパシタンスは大きい。第１の極板が接地されていると、バッテリによって第２の極板上に電圧が生じ、第２の極板上に電荷が生じる（第１の極板は接地されているので、第１の極板には生じない）。オブジェクトのキャパシタンスは、そのオブジェクトを１ボルトの電位まで上昇させるときに、そのオブジェクトに集積する電荷の量として定義される。

極板を離れる方向に移動させると、電荷は第２の極板から流れ出て電池に戻る。第２の極板がバッテリに接続されていない場合には、電荷は一定のままであるが、極板が離れると電圧が上昇する。結果的には、帯電している極板が接地されている極板から非常に離れているため、接地されている極板の影響は背後の影響（周囲にある接地されているすべてのオブジェクト）の中に吸収され、それ以上離しても差を生じない。したがって、孤立しているオブジェクトのキャパシタンスは、いずれかの他の特定のオブジェクトではなく、（接地電位を有する）宇宙との関係で決定される。

指先は、そのキャパシタンスを調べるという目的に関しては、球として、おおよそモデル化できる。孤立している球のキャパシタンスを求める公式は、ａを球の半径として、Ｃ＝４πε_０ａである。空気中で保持されている指先が半径０．６センチメートルの球で近似されるとすると、そのキャパシタンスは、４π×（８．８５×１０^−１２Ｆ／ｍ）×０．００６ｍ＝６．６７×１０^−１３Ｆ、すなわち、３分の２ピコファラッドとなる。

しかし、球（すなわち指）が何かの近くに持ってこられると、そのキャパシタンスは増加する。半径がａであり、中心の間がｄだけ分離している２つの球の間のキャパシタンスは、次の通りである。
Ｃ＝４πε_０（ａ^２／ｄ）｛１＋［ａ^２／（ｄ^２−２ａ^２）］＋・・・［より高次の項］｝
ｄが２ａに近づくと（すなわち、２つの球が、接触する方向に接近すると）、（ｄ^２−２ａ^２）という量はゼロに近づき、［ａ^２／（ｄ^２−２ａ^２）］は非常に大きくなり、したがって、キャパシタンス自体も同様に非常に大きくなる。（このとき、（ａ^２／ｄ）という量は０．５に近づくため、［ａ^２／（ｄ^２−２ａ^２）］よりも重要性が小さくなる。）より高次の項を無視し、球が単位半径を有する（ただし、ｄ≧２）と仮定すると、相対的なキャパシタンスは、次の通りである。
（１／ｄ）｛１＋［１／（ｄ^２−２）］＋・・・｝
すなわち、おおよそ１／ｄである。指先とキーボード上のキーとは、共に、同一サイズの球であるものとして近似できるので、指先とキーとの間のキャパシタンスは、近似的に１／ｄに比例するものと考えることができる。なお、ｄは、指先とキーボードとのサイズ（指先とキーボードのキーとは同一のサイズ）の半分を単位とする分離距離である。

キーと指先とがＬＣ共振回路のコンデンサを形成するのに用いられる場合に、共振周波数は近似的にｄの平方根として変動するが、これは、周波数が、ＬとＣの積の平方根の逆数に比例するからである。ｄは指またはキーのいずれかのサイズに相当する単位を有するから、キー・指先回路の周波数は、特に指先がキーに近接しているときには、感度が高い距離の尺度となる。

それぞれのキーが、コンデンサの一部としての当該キー自体と固定されたインダクタンスとによって形成されるそれ自身の共振回路を有する場合には、最低の共振周波数を有するキーが、指先に最も近接しているキーであり、その周波数が指先から最も近くにあるキーまでの距離（例えば、高さ）の尺度である。

キーと関連する回路の共振周波数によって決定されるそれらの相互キャパシタンスを測定することによって指からキーまでの距離を測定することとは別に、指の高さは、三角法によって、キーの応答を比較することによっても間接的に検出が可能である。空中にある指先から真下のキーまでの距離と同じ指先から隣接するキーまでの距離との比率は、指先がその指先の真下にあるキーに近づく方向に移動するにつれて増大する。真下のキーまでの距離がｄであるときには、その次のキーまでの距離は１．４１ｄである。その理由は、２つのキーが４５度−４５度−９０度の直角３角形を形成するからである。高さがより大きい場合には、３０度−６０度−９０度の直角３角形が形成され、距離の比率は、１．４１ではなくて、１．１５である。指がキーボード表面に近づくほど、隣接するキーの間での指までの距離の比例差が大きくなり、また、隣接するＬＣ回路の周波数の差も大きくなる。最も近い指までの距離は、比率によっても、同様にして計算できる。

いくつかの態様では、センサを、局所的な領域ではそのＬＣ回路において最低の周波数を有するキーを見つけることによって、位置を検出するように構成することが可能である。指先によって２つのキーに同一の共振周波数を有することになる場合には、その指は、２つのキーの中間にあるのである。

共振周波数は距離の平方根として変動するのだから、周波数の変化と距離の変化との比率は、最短の距離のときに最大になり、距離が大きくなると、はるかに小さくなることに留意されたい。すなわち、このデバイスは、より近い距離においてより感度が高いことになる。この物理的な事実は、本明細書に開示されているジェスチャベースシステムの有用性を高める。というのは、手をキーボードに対して平坦で平行に保持するようなジェスチャ（後述する）は、より高い位置で実行される可能性はあるが、ジェスチャ検出回路において混乱を生じさせる可能性は低いからである。

いくつかの態様によると、うなり周波数（beat frequency）が提供される。うなり周波数とは、指先が、１対のキーにおいて、第２のキーよりも第１のキーの方により近接している度合いを表す。例えば、それぞれのキーの共振周波数を直接的に用いて、上方にある指を示す周波数の極小値を見つけることができる。いくつかの態様では、それぞれのキーの共振周波数を、２つの隣接するキーの周波数の差異（変調）であるうなり周波数を見つけることにより、間接的に利用することができる。

うなり周波数は、指先が他方のキーよりも一方のキーに、より近接している度合いを表す。２つのキーの間のうなり周波数が消滅するときは、指がこれらのキーの中間地点にある。同様に、ユーザの手が遠く離れているときは、どのようなキーの対をとっても、うなり周波数は本質的にゼロである。これは、それぞれのキーが、ほとんど同一の周波数を有しているからである（上述したように、ｄの平方根として変動するから）。一般に、キーボードの近くにある単一の指先は、ほぼゼロのうなり周波数のリングまたはループによって囲まれるが、それぞれのリングまたはループの中のキーは、キーの下の点から更に離れているまたはより近いキーとの関係では、非ゼロのうなり周波数を有する。

いくつかの態様では、１次のうなり周波数の間のうなり周波数である２次のうなり周波数を見つけることができる。２次のうなり周波数は、いくつかの状況においては、計算上の利点を提供することができる。３次および更に高次のものも見つけることができる。しかし、キーの外部の層が取り除かれるにつれて、それぞれの反復の度に結果の数は縮小するために、このプロセスには限度が存在する。

上述したように、相互作用には３つのレベルが存在し、これら３つのレベルの相互作用は、相互に機能的に区別されることにより、可能な限り最大の相互作用の差異が提供される。第１のレベルは近接性であり、近接性はキャパシタンスによって感知される。第２は電気的導通性であり、電気的導通性はユーザの指によるキー表面の接地によって感知される。第３は、標準的なキーボードのように、力または押下によるキーの作動である。いくつかの態様によると、より大きな機械的な凹凸および／またはより低いプロファイルに対しては、圧電デバイス、コンデンサマイクロフォンに似た容量性デバイス、またはそれ以外のデバイスなど、可動部分を有しないまたは可動部分が最小限のキーによって、力を感知できる。

容量性感知は、カーソル制御に用いられることがある。電気的導通性は、仮想ディスプレイにおいてあるキーをハイライト表示するために用いられることがある（例えば、「Ｈ」のキーは、軽く触れることで、仮想キーボードディスプレイにおいてハイライト表示することができる）。機械的なキー作動は、記号のタイピングや、またはユーザに深く染み込んでいる「エンタ」および「シフト」などのコマンドのために用いられることがあり、その理由で、おそらくは変更されるべきではない。

容量性ジェスチャと導通性ジェスチャとの差異は、コマンドジェスチャの数を倍増させる可能性がある。これは、「コントロール（ｃｔｒｌ）」などのキーが、選択された組のキーに対する機能の数を効果的に倍増させるのと同じである。例えば、キーボードの上で右方向に手を移動させること（スウィープ）は、カーソルを右へ移動させるコマンドになりうるし、他方で、キーを軽くブラッシングするのは、いくらか別のコマンドとなりうる。しかし、上で述べたばかりの２つのような重なることなく実行することが困難な２つのジェスチャは、非常に異なる意味を有するべきではなく、フラストレーションを生じさせるべきではない。今日、このフラストレーションは、意図していたキーの代わりに隣のキーを押下することによって、生じているのである。以下で更に詳細に論じられるが、容量性スウィープと導電性スウィープとの間での混乱を緩和する１つの方法として、ある最小距離またはある最短時間に及ぶ導電性スウィープだけを登録するというものがある。ジェスチャと関連するコマンドとに関係する更なる情報については、後述する。

手のキャパシタンスの感知は、仮想キーボード２１０と２つのドキュメント２１２（例えば、テキストドキュメントまたはそれ以外のタイプのドキュメント）を含むように示されている仮想ディスプレイ２０８と結合させることができる。仮想ディスプレイ２０８は、拡張現実メガネ２１４によって提供することが可能である。メガネ２１４を用いることで、このユニットをポケットサイズまで縮小することが可能であるし、また、追加的な表示および制御態様を備えた３次元ディスプレイを提供することもできる。

ある態様では、ユーザが、テキスト、画像、または現在作業をしている他の情報と、仮想キーボード２１０との両方を見ることを可能にするように、メガネ２１４を構成することができる。ここで、仮想キーボード２１０のキーは、ユーザによるキーボード２０６への軽い接触に応答してハイライト表示２１６させることができる。以下で論じるようなメガネによって、現在のフラットディスプレイを置き換えることができる。その理由は、メガネの方がより小型で、より軽く、盗難の可能性もより低く（というのは人によって携帯される可能性が高いから）、環境への負荷もより小さく、より安価にすることが可能であるからである。更に、メガネは、多くのアプリケーションと共に用いることができる拡張現実デバイスである。更に、耳に取り付ける電話や音楽装置を身につけるのが一般的であるように、メガネを装着することも一般的になりうる。

メガネ２１４は、テキストとキーボードの画像とを現実世界の上に重畳させる仮想現実デバイスを提供する。これにより、話している人と取っているテキストによるノートとの間で注意を分割することを必要とせずに、会議の間にノートをタイプすることが可能になる。更に、それらのノートはスクリーン上にではなくメガネ上だけに存在するため、機密性を維持することができる。

以下では、開示されている態様と共に用いることができるメガネに関係する情報を提供する。しかし、開示されている態様は、メガネに限定されることはなく、ラップトップ屋タブレットとの互換性を有する。仮想キーボードがディスプレイの下半分に、テキストが上半分に配置されたスプリットディスプレイを用いることができる。様々な態様と共に用いることができるメガネの１つのタイプとして、カール・ツァイス（Ｃａｒｌ Ｚｅｉｓｓ）社からのシネマイザ（Ｃｉｎｅｍｉｚｅｒ）があり、これによると、プライベート映画の視聴が可能になる。シネマイザは、物理的には、ラップアラウンド型のサングラスに類似している。２つの高解像度液晶ディスプレイ（ＬＣＤ）スクリーンと２つの合焦可能なレンズシステムとを用い、画像は、６フィート（約１８２センチメートル）離れて置かれた１／２０インチ（約０．１２５センチメートル）のピクセルで４５インチ（１１２．５センチメートル）の対角サイズ（アスペクト比が３：４）の現実のスクリーンでのものと類似する。ある非限定的なテストは、電力は４時間継続し、重量は１００グラムであった。

別の例では、開示されている態様と共に用いられたメガネでは、テンプル部分から投影された光線をユーザの目の中に反射させる、部分的に銀メッキをしたゼロジオプターレンズ（zero-diopter lenses）レンズを用いることができる。このメガネは、低出力のレーザダイオード（レーザポインタで用いられるタイプのものと類似する）を用いることができ、これは、単にパワーのオンオフを切り換えることによって、メガヘルツの速さで変調が可能である。変調されたレーザビームは、１つまたは複数のミラーによってラスタパターンにステアリングをして、画像を生じさせることができる。レーザビームを表面の上に走査するのではなく、メガネのレンズの部分的に銀メッキされた内側表面を集光鏡として用いることで、変調されたビームは、目の中に直接的に走査することが可能である（「仮想網膜ディスプレイ」）。

別の例によると、コンパクト性、外観、および光学的な理由のために、用いることができるメガネは、レーザとメガネのテンプルに設置されたビームステアリングミラーとを有するメガネである。ステアリングミラーは、上述したように、レンズの部分的に金属加工された内部からビームを目の中に反射させる。例えば、メガネのレンズは、外側部分の上を完全に銀メッキされた表面を有することがある。ただし、ユーザがそこを通して見る部分は、集光（合焦）要素として機能するように、放物面、回転楕円体、またはそれ以外の適切な形状として形成することができる。その効果は、ユーザの目の直前に配置された集光レンズの効果と類似しており、走査鏡がレンズ軸上に配置され、レンズを通過してユーザの目の中に至るようにビームを輝かせる。こうして、このレンズは、仮想的な画像を形成することができる。外観的なサイズは、レンズの焦点距離に依存することになる。

レーザビームがこのようにして直接に目の中に送られると、現実の画像は存在せず、したがって、合焦についての不安は存在せず、見かけの焦点距離と視差による見かけの距離（これらの間の不一致が疲労を生じさせうる）との間のミスマッチは存在しえない。集光鏡の焦点距離が、ユーザの視野角を決定するので、広範囲の画像が可能である。レーザビームは細いため、画像の解像度は高く、仮想的なオブジェクトは精細であり、投影された画像およびテキストは大きい必要がない。

フルカラーのステレオビジョンは、６つのレーザと対応する数のミラーとを用いることができる。これらのコンポーネントは小型であり、光学システムの全体を、依然として、厚いフレームのメガネのサイドレール（テンプル）の中に、ぴったりはめ込むことができる。（タイピングを含む）ほとんどの目的のために、モノクロの２次元または３次元の画像がやはり適している。２つのレーザダイオードと２つのビームステアリングミラーとにより、プッシュ／プルジェスチャを用いて、異なるテキストファイル（または、それ以外の画像）を背景の中に押し込んだり、手前に引き出したりすることを可能にする３次元画像を提供することができる。レーザポインタからなどの通常の赤色のレーザ光もまた、本明細書において論じている様々な態様に適応しうる。

（補正レンズでもありうる）メガネのレンズを例外として、メガネの残りのコンポーネントは小型である。したがって、メガネフレームの設計は制約を受けず、このメガネは、現在のスタイルと合致するように製作できる。本明細書で用いられるとき「メガネ」という用語は、画像を形成するコンタクトレンズや移植組織など将来において開発されるすべてのデバイスに及ぶことが意図されている。「メガネ」という用語は、また、単眼鏡やそれ以外の片目用のデバイスを含むことが意図されている。

上述したように、電気的導通性は、仮想ディスプレイ２０８においてキーをハイライト表示するのに用いることができる。仮想ディスプレイ２０８は、テキスト（および／または数字など）を示す上側部分と（ラップトップに類似の）キーボードを示す下側部分という２つの部分を有しうる。例えば、テキストを示す上側部分とキーボードを示す下側部分とは、２つのドキュメント２１２と類似するものでありうる。接地されているキーは仮想ディスプレイにおいてハイライト表示することが可能であり、これによって、タイピングがはるかに容易になる。エキスパートには至らないタッチタイピストは、数字キーや、ましてや「ｚ」のキーを探すためにもディスプレイから視線を外すことがあるのだが、（キーボード２１０に示されているように）タッチしたキーをハイライト表示することができるのであるから、目をそらす必要はなくなるであろう。例えば、タッチされたキーを、明るくする、点滅させる、異なる色にする、またはそれ以外の方法でハイライト表示させることが可能であり、したがって、指を滑るように動かすことによって、希望するキーを容易に見つけることができる。いったん位置が特定されれば、エラーの可能性なく（または、最小限の可能性だけで）記号をタイプするためにキーを押下することができる。

図３は、ジェスチャキーボードを提供するのに用いることができる非限定的で例示的な電気回路３００を図解している。３要素相互作用を達成するために、標準的なキーボードのキーの表面上に、金属フォイル３０２またはそれ以外の導電性部材を装備することができる。フォイル３０２は、コンデンサ極板と接地電極との両方として機能することができ、これらの電極は、下位の回路に結合することができる。指先３０４が近づくと、回路の周波数が変化する。キーボード３０８上のキー３０６が接触されると、したがって、接地されると、発振が停止する。例えば、フォイル３０２からのリード線３１０は電気的接点感知モジュール３１２への入力を提供することができ、電気的接点感知モジュール３１２はプロセッサ３１４と相互作用することができる。ある態様では、電気的接点感知モジュール３１２は、電気的導通性を検出するように構成されている。

キー３０６上のフォイル３０２は、接地された指３０４に対向するコンデンサ極板として作用し、リード線３１０を通じてインダクタ３１８と接続することによって、共振タンク回路（他のタイプの共振回路を用いることも可能である）を形成する。この回路は更に、例えば、周波数検出モジュール３２０に結合されており、コイル３１８における共振からの信号をピックアップすることにより、指３０４がキー３０６に近いのか、キー３０６から離れているのか、またはキー３０６と接触さえしているのか、を判断する磁気結合されたピックアップコイル３１６を含む。指３０４とフォイル３０２の物理的接触は、専用の接触感知回路３１２によっても感知されることが可能である。ピックアップコイル３１６、別の類似のコイル（図示せず）、またはタンク回路への別のタイプの接続により、例えば正のフィードバックを用いてインダクタ３１８とコンデンサ３０２／３０４によって形成されるタンク回路の発振を駆動することが可能である。いくつかの態様では、周波数検出モジュール３２０は、近接性を検出するセンサとして用いられる。

別の例では、キー３０６の下に配置された圧力スイッチ３２２がデバウンスモジュール３２４によって検出されることが可能であり、デバウンスモジュール３２４はプロセッサ３１４と通信することが可能である。ある態様では、圧力スイッチ３２２および／またはデバウンスモジュール３２４が、機械的作動の感知を容易にする。

プロセッサ３１４は、キーをモニタするように構成されており、周波数によって指の位置を確認することができる。または、別の態様では、プロセッサ３１４は、導通性だけを検出する並列回路によってキーをモニタすることができる。プロセッサ３１４は、出力（例えば、コマンド、情報、動作表示などの結果）がディスプレイ３２６上でレンダリングされるようにすることができ、それが、知覚可能なフォーマットでユーザに提示されることが可能である。

ここで、検出されうる例示的なジェスチャについて論じる。重ねられた２本の指または相互に接触された複数の指は、回路によって、孤立したすなわち１本の指と同じように解釈され、扱われうる。しかし、１本の指または１群の指は、図２の左手２０２によって図解されているように、指が約２インチ（約５センチ）離れた手を開いたジェスチャと区別されることがありうる。図２に示されている手が開いているジェスチャは、キャパシタンス勾配の減少に基づいて、特に、キーボードから更に離れているとき（例えば、図２において、ｈ１がｈ２よりも小さいとき）に、区別が可能である。精度を要求されるジェスチャは最小化されるべきであるが、その理由は、特定のキーをたたくのに要求される精細な動きと同じように、そのようなジェスチャは正確に実行するのが困難であるからである。

更に、現在のミステリキー／ポイントクリックコマンドの最悪なものの代わりになることを特に意図しているジェスチャを、選択することができる。これには、カーソル移動、ページ移動、ならびに切り取り、コピー、およびペーストのためのハイライト表示が含まれる。これらは、典型的には、４分の１インチ（約０．６２５センチ）内で、対応する複数のターゲットキーの位置に同時に配置される１本ではなく２本の指を使用するものである（例えば、ペーストのために、「コントロールキー＋Ｖ」を押す場合など）。

利用できるタイプのジェスチャに、スウィープがある。これは、例えば、手または１本もしくは複数の指をキーボード表面と平行に移動させる（キャパシタンスの感知によって検出可能）ことによる、キーボードを横断する手または指の横方法の動きである。スウィープは、キーボードの上方で、水平方向軸を中心にして手を回転させることにより反復的かつ迅速に実行可能であり、カーソルまたは表示の大きな変位を目的とする活発で大胆な動きから、精細な変位のための小さなまたはより低速での動きまで、容易に変動させることが可能であり、これは、直感的な動きである。回路が、キーボードからの所定の作動距離の範囲内で指を単に検出するのではなく指の高さをトラッキングするのであれば、例えば速度と最低の共振周波数とを乗算することによってキーボード表面に平行な動きと高さの逆数とが乗算される場合には、スウィープ制御をより精細かつより直感的にすることが可能である。これにより、指がキーボードにより近いときには、より大きな応答を生じさせることができることになり、これは、直感的なバリエーションである。スウィープは、例えば、キーボード上で指を軽くこすって、電気的接触を生じさせるがタイピングを生じさせるほどにはキーを作動しないことによって、導電的に実行することも可能である。これについては、後で更に詳述する。

関連するジェスチャの別の例として、タッチスクリーン接触スウィープがある。これは、表示されている画像を横方向に移動させるコマンドを入力するのに、いくつかのデバイスで用いられる。タッチスクリーン接触スウィープは、容量的にまたは導電的に実行することができる。仮想的な運動量または摩擦力を用いることもできる。混乱を緩和するため、例えば一定の距離および／または継続時間でない場合には、接触スウィープを無視することもありうる。

別の例では、スウィープが水平方法だけである場合には、垂直方向のものをロールと称する場合もありうる。ソフトウェアに応じて、タッチスクリーン接触スウィープおよびロールは、別のジェスチャにもなりうるし、または、任意の角度での単一の横方向への移動に包含されることにより、表示要素を対角線方向に移動させることも可能である。スウィープのバリエーションにディザがあり、これは、キーボードに平行な連続的で交互の反対方向への動きを含む往復の動きである。

ジェスチャの別の例に、プッシュまたはプルがある。このジェスチャでは、手を平坦に拡げ、指を伸ばし、キーボードに平行なコンデンサの接地極板を形成して、キーボードに向かって、または、キーボードから離れる方向に動かす。このジェスチャは、キーボードの２つの面で独立に実行することが可能であり、それぞれが２つの意味を有する２つのコマンドが可能になる。手を開いて空中で静止させることで、例えば、他方の手によってなされるジェスチャを修正するモード変更コマンドといった、「コントロール」または「アルト」と類似のコマンドを構築することができる。

プッシュおよびプルのジェスチャは、仮想的なテキスト（または他の表示）をユーザに向かう方向にまたはユーザから遠ざかる方向に、移動させるのに用いることができる。これは、ドキュメントを切り換えるのに便利である可能性がある。すなわち、１つのドキュメントをこちら側に移動させ、他方で、別のドキュメントを（メガネの３次元機能を用いて達成される）目の輻輳範囲の外に後退させ、混乱を避けるために表示をよりぼんやりさせることもできる。また、開いているドキュメントを、水平方向のスウィープと垂直方向のロールとによって、横方向に移動させることもできる。

別の例示的なタイプのジェスチャに、サークリングがある。これは、容量的または導電的のどちらでも実行が可能である。キーボードには２つのサイドがあり、回転には２つの意味があるので、サークリングは、４つの異なるコマンド（円の直径が検出され、ジェスチャの１つのファクタとなる場合には、更に多くのコマンド）を伝達することができる。

ジェスチャの更に別の例として、キーボードのある領域で指を保持するというものがある。この場合、中心からの距離と方向が、ジョイスティックの偏向と類似の効果を有する。（極座標では、中心からの距離と方向はｒおよびθである。）これは、ナビン（nubbin）を備えておりそのナビンが偏向される方向にカーソルが移動する仕組みを有するある種のラップトップのように、カーソルの制御に用いることができる。このタイプの制御は、仮想的な物理学から利益を得ることができる。この偏向が（仮想的な摩擦力を伴う可能性がある）仮想的に質量の大きなカーソルに対する加速度を生じさせる仮想的な力として解釈される場合には、インターフェースはより自然的なものとなりうる。更に、指の反転は、中心から離れる方向での指の進みとは異なって解釈される可能性があるのであって、前者は、位置に応じて異なる加速度に至る。指の高さは既に検出されているので、このジェスチャを、制御のためのファクタとして高さを含むように一般化することが可能であろう。円筒座標の場合には、ｒ、θ、およびｚは、すべて入力変数である。

ジェスチャの他の例として、拡大／縮小があり、これは、２本の指または手を相互により近接させる方向におよびより遠ざかる方向に移動させることによって達成することができる。このジェスチャは、表示されている画像の拡大または縮小を命じるために、タッチスクリーンデバイスにおいて用いることができる。キーボードでは、このジェスチャは、異なる意味をもちうる。更に別の例示的なジェスチャに、２つの指を用いた回転があり、これは、画像を回転させるのに用いることができる。

本明細書において論じられる非限定的で例示的なジェスチャには、タイピングコマンドとして用いられるために設定されうるよりも多くのジェスチャが含まれ、したがって、より少数のキーとより低い精度とを用いる新たなインターフェースが可能になる。また、これにより、プログラマたちは、ユーザをイライラさせるのではなく、ユーザに従う新たなコードを書く機会を得ることができる。ジェスチャと表示を変更するコマンドとの最良の対応は、心理学者によっておよび／またはユーザの評価によって決定することができる事柄である。例えば、タイピングを開始するのと同時にキーボードの上の位置に両手を移動させるような通常生じるジェスチャは、コマンドとして解釈されるべきではなく、除外（または、無視）されうる。

タイピングの即座適用とは異なり、ジェスチャは、おそらくジェスチャまたはキーを介してモードを切り換えた後に、メニュのナビゲーションのためにも用いられうる。あるいは、ここで開示されている複数の態様は、タイピングとは無関係でありジェスチャによって制御される更に大きな仮想的な世界に組み入れることが可能である。

ジェスチャキーボードを実装するための１つまたは複数の非限定的な方法に関し、図４に、コマンドを認識し実行するように構成されているシステムの例示的で非限定的な実施形態のブロック図が図解されている。図４に示されているように、キーボード４０６に対する空間の範囲内での少なくとも１つのジェスチャ４０４を受け取るように構成されている環境捕捉コンポーネント４０２を含む、ジェスチャベースのシステム４００が示されている。いくつかの態様では、ジェスチャ４０４は、例えば、カーソル制御、ドキュメントのスクロールなどのコマンド４０８であることが意図されている。いくつかの態様では、コマンド４０８は、タイピング４１０の形として受け取られる。

キーボード４０６に対する空間は、（例えば、物理的に接触している）キーボード４０６上の場所、または、（例えば、物理的接触のない）キーボード４０６の上方の場所でありうる。環境捕捉コンポーネント４０２は、いずれか一方または両手の指の存在を、たとえ指がキーボード４０６と物理的に接触していない場合であっても、検出するように構成される。

ある例では、キーボード４０６は、キー表面に金属製フォイルまたはそれ以外の導電性部材が事後的に設置された標準的なキーボードでありうる。これについては、以下で更に詳述する。別の例では、キーボード４０６は、２つの部分から構成される折り曲げ式のキーボードであることも可能であり、その場合には、これら２つの半部分は、人間工学的なキーボードのように分割されるが、それぞれの半部分に親指によって作動されるスペースバーを備えている。上側エッジの中間に配置された堅固ではあるが曲げることが可能なユニバーサルジョイントで接続されている場合には、キーボードのそれぞれの半分は、テーブル上で通常の向きに位置合わせすることが可能であり、若干は人間工学的な構成に、または、膝の上でドレープ状に拡げられる。用いられていないときには、２つの半部分はキーをカバーするように相互に折り曲げることが可能であり、結果的に、ペーパーバックの小説のサイズである、およそ４．５インチ（約１１．２５センチ）Ｘ６インチ（約１５センチ）の大きさのパッケージになる。ある態様によると、１つの部分から構成されるキーボードを用いることもできる。プロセッサは、（現在のラップトップのように）キーボードの内部に配置する、または、別個のユニットに配置することが可能である。いくつかの態様では、キーボードの２つの面を独立に用いることが可能であり、したがって、機械的な設計を何らかの別個の機構のために用意することもありうる。

ジェスチャベースのシステム４００に更に含まれているのは、少なくとも１つのジェスチャ４０４またはタイピング４１０に基づきコマンド４０８を識別するように構成されている解釈コンポーネント４１２である。また、ジェスチャベースのシステム４００は、コマンド４０８に関係する情報４１６とコマンドの結果４１８とをレンダリングするように構成されている出力コンポーネント４１４を含む。情報４１６および／または結果４１８は、仮想ディスプレイ４２０上にレンダリングされるように構成されている。ある態様では、情報４１６および／または結果４１８は、仮想空間にレンダリングされるように構成されている。

図５には、手のジェスチャまたはタイピングの形式で受け取られたコマンドを解釈し実行するための非限定的で例示的なシステムが図解されている。示されているように、図５には、キーボード５０６に対する空間内にある少なくとも１つのコマンド５０４を受け取るように構成された環境捕捉コンポーネント５０２を含むジェスチャベースシステム５００が示されている。ある例では、キーボード５０６は、図４におけるキーボード４０６に類似している。ある例では、環境捕捉コンポーネント５０２は、キーボード５０６に対して近接する空間における動き（例えば、ジェスチャ）を検出し、キーボード５０６に加えられた圧力（例えば、タイピング）を検出するように構成されている。例えば、１つまたは複数のセンサを、近接性５０８、電気的導通性５１０、および機械的作動５１２を検出するように構成することが可能である。いくつかの態様では、センサを、キャパシタンスによって、キーボードの上方にある指先の高さと横方向の位置とを検出するように構成することができる。

ジェスチャベースシステム５００には、少なくとも１つのジェスチャおよび／またはタイピングに基づいてコマンド５１６を識別するように構成された解釈コンポーネント５１４も含まれている。ある例では、解釈コンポーネント５１４は、少なくとも１つのコマンドを、例えばキャパシタンスによる近接性５０８に応じて識別するように構成されている。別の例では、解釈コンポーネント５１４は、手動によるコマンドを示しうる機械的作動５１２に基づき少なくとも１つのコマンドを識別するように構成されている。更に、解釈コンポーネント５１４は、コマンドを識別でき、電気的導通性５１０が仮想ディスプレイにおけるキーのハイライト表示を生じさせるべきだと解釈することができる。

ジェスチャベースシステム５００には、更に、指先が１対のキーにおいて第２のキーよりも第１のキーにより近い度合いを表すうなり周波数を測定するように構成された評価コンポーネント５１６が含まれる。例えば、評価コンポーネント５１６は、それぞれのキーの共振周波数を直接的に用いて、上方にある指を示す周波数の極小値を見つけるように構成される。別の例では、評価コンポーネント５１６は、２つの隣接するキーの周波数の差（変調）であるうなり周波数を見つけることにより、それぞれのキーの共振周波数を間接的に用いるように構成される。いくつかの態様では、評価コンポーネント５１６は、２次のうなり周波数または更に高次のうなり周波数を見つけるように構成される。

いくつかの態様によると、キーボード５０６は、いつ発振器の周波数がキーボード５０６の上方のある距離と相関する固定のまたは所定の周波数よりも低くなるのかを検出する回路を含む。これにより仮想バリアが形成されうる。指先によって仮想バリアが貫通されると、そのキーに登録させるイベントが生じうる。そのようなバリアは２つまたはそれより多くが存在しうるのであって、それらのバリアは、異なる高さで実行されるジェスチャを区別するのに用いることができる。検出方法としては、多くのものが可能である。開示されている態様には、キーボード５０６に近接する指またはそれ以外のオブジェクトを検出し、そのような指またはオブジェクトを、キーボード５０６の近くでのジェスチャを区別し判断することができるような方法でトラッキングする任意のプログラムまたは回路が含まれる。

ジェスチャベースシステム５００に更に含まれているものとして、コマンド５０４の情報５２０とコマンドの結果５２２とをレンダリングするように構成された出力コンポーネント５１８がある。情報５２０および／または結果５２２は、仮想ディスプレイ５２４上にレンダリングされるように構成されている。いくつかの態様では、情報５２０および／または結果５２２は、仮想空間においてレンダリングされるように構成される。ある実装形態では、出力コンポーネント５１８は、キーボード５０６に加えられた圧力の検出に応答して仮想ディスプレイ５２４の少なくとも一部をハイライト表示するように構成される。

既存の容量性キーボードとは対照的に、キーボード５０６は、キーを作動するのにキャパシタンスを用いるのではなく、代わりに、機械的なキー作動を用いており、それによって、ユーザに優れた触覚的および聴覚的なフィードバックを提供する。キーボード５０６は、このようにして、作動を生じさせずに指がキーに触れることを可能にすることで、ユーザは、キーボード５０６を軽くヒットすることに関して心配することなく、キーボード５０６の上方の空間で手のジェスチャをすることができるようになる。このようにエラーから解放されることにより、ジェスチャの実行がより容易になり、ストレスも生じにくくなる。

図６は、コマンドを認識して実行するための方法６００の例示的で非限定的な実施形態を図解する流れ図である。図６の方法６００は、例えば本明細書で説明されるシステム４００などのシステムの任意のものを用いて実行することができ、コマンドを認識して実行するのに用いることができる。６０２では、方法６００は、少なくとも２つのレベルの相互作用の差異から検出された少なくとも１つのレベルの相互作用の差異を受け取ることを含む、入力装置に近接または接触しているオブジェクトと関連する知覚情報を受け取ることを含みうる。例えば、少なくとも２つのレベルの相互作用の差異には、近接性のレベルと電気的導通性のレベルとが含まれうる。いくつかの態様では、第３のレベルの相互作用の差異として、作動レベルが含まれる。

６０４では、近接性レベルが、キャパシタンスに応じて解釈される。６０６では、電気的導通性レベルが、オブジェクトによる入力装置の少なくとも１つのコンポーネントの表面の接地に基づいて、感知される。作動レベルを用いるいくつかの態様では、作動レベルが、６０８において、外部の力による少なくとも１つのコンポーネントの移動から検出される。６０４における解釈、６０６における感知、または６０８における検出のうちの少なくとも１つが実行されうることに注意すべきである。例えば、ある態様によると、電気的導通性レベルは感知されるが、近接性レベルは解釈されず、作動レベルは検出されないことがありうる。

６１０では、知覚情報からのコマンドが、少なくとも１つのレベルの相互作用の差異に応じて解釈される。６１２では、動作表示が、コマンドに基づき出力される。動作表示は、仮想キーボード上のキーをハイライト表示する、および／または、仮想ディスプレイ内で動作を実行することができる。仮想キーボードおよび／または仮想ディスプレイは、メガネの使用を通じて、または、仮想現実を提供することができる他のデバイスの使用を通じて、実現することができる。

図７は、コマンドを認識して実行するための方法７００の例示的で非限定的な実施形態を図解する流れ図である。図７の方法７００は、例えば本明細書で説明されるシステム５００などのシステムの任意のものを用いて実行することができ、コマンドを認識して実行するのに用いることができる。７０２では、方法７００は、少なくとも２つのレベルの相互作用の差異から検出された少なくとも１つのレベルの相互作用の区別を受け取ることを含む、入力装置に近接または接触しているオブジェクトと関連する知覚情報を受け取ることを含みうる。例えば、少なくとも２つのレベルの相互作用の差異には、近接性のレベルと電気的導通性のレベルとが含まれうる。

７０４では、知覚情報からのコマンドが、少なくとも１つのレベルの相互作用の差異に応じて解釈される。コマンドを解釈することは、７０６で、少なくとも１つの共振回路からの出力に基づき入力装置の上のオブジェクトの高さを確認することと、７０８で、入力装置に対するオブジェクトの横方向の位置を特定することとを含みうる。

ある実装形態では、７０６でオブジェクトの高さを確認することは、入力装置の第１のコンポーネントの第１の共振周波数と入力装置の第２のコンポーネントの第２の共振周波数とを比較し、第１の共振周波数と第２の共振周波数とのうちの最低共振周波数を決定することを含む。更にこの実装形態を参照すると、７０６でオブジェクトの高さを確認することは、７１０で、最低共振周波数に基づき、オブジェクトが第１のコンポーネントにより近いこと、または、オブジェクトが第２のコンポーネントにより近いことを決定することを含む、最低共振周波数に基づきオブジェクトと入力装置との間の距離を測定することを含む。

別の実装形態では、７０６でオブジェクトの高さを確認することは、７１２で入力装置のコンポーネントの応答を比較し、オブジェクトの高さを間接的に確認するために三角関数を応答に適用することを含む。

更なる実装形態では、７０８で横方向の位置を特定することは、７１４で、入力装置の第１のコンポーネントの第１の共振周波数と前記入力装置の第２のコンポーネントの第２の共振周波数とを計算することと、第１の共振周波数と第２の共振周波数との間の極小値に応じて、横方向の位置を決定することと、を含む。

別の実装形態では、７０８で横方向の位置を特定することは、７１６で、第１のコンポーネントの第１の共振周波数と第１のコンポーネントに隣接する第２のコンポーネントの第２の共振周波数との間の差を検出することと、オブジェクトが第１のコンポーネントにより近いこと、または、オブジェクトが第２のコンポーネントにより近いことを、差に応じて決定することと、を含む。

７１８で、コマンドに基づいて、動作表示が出力される。動作表示は、他人に見られることのありえない、したがって、ユーザに対する機密性が維持される仮想ディスプレイおよび／または仮想空間に出力することができる。

図８は、コマンドを認識して実行するための方法８００の例示的で非限定的な実施形態を図解する流れ図である。図８の方法８００は、例えば本明細書で説明されるシステム４００などのシステムの任意のものを用いて実行することができる。８０２では、知覚情報が受け取られる。知覚情報は、入力装置と近接または接触しているオブジェクトと関連している。知覚情報を受け取ることは、少なくとも２つのレベルの相互作用の差異から検出された少なくとも１つのレベルの相互作用の差異を受け取ることを含みうる。ある例では、少なくとも２つのレベルの相互作用の差異には、近接性レベルと電気的導通性レベルとが含まれうる。いくつかの態様では、第３のレベルの相互作用の差異として、作動レベルが含まれる。

８０４では、知覚情報からのコマンドが、少なくとも１つのレベルの相互作用の差異に応じて解釈される。コマンドの解釈には、２以上の指を検出することと、知覚情報を解釈するために、その２以上の指を単一の孤立した指として解釈することとが含まれることがある。

８０６では、動作表示が、コマンドに基づいて出力される。ある実装形態では、８０８で動作表示を出力することは、第１の部分と第２の部分とを含む仮想ディスプレイ上でアイテムをハイライト表示することを含む。第１の部分は動作表示と関連するコマンドを含み、第２の部分は入力装置の仮想表現を含む。ある例では、アイテムをハイライト表示することは、オブジェクトが入力装置と物理的に接触していることに応答して実行される。代替えの実装形態では、動作表示を出力することは、８１０で動作表示とコマンドの解釈とを含む信号を送信することを含む。この信号は、動作表示とコマンドの解釈とを出力するように構成されるディスプレイ装置に送信されうる。このディスプレイ装置は、メガネの使用や、ユーザに仮想ディスプレイを与えるように構成することが可能な別のデバイスを通じて実装することができる。

図９は、コマンドを認識し実行するための方法９００の例示的で非限定的な実施形態を図解する流れ図である。図９の方法９００は、例えば、本明細書において説明されコマンドを認識し実行するために用いることができるシステム５００などのシステムの任意のものを用いて実行が可能である。９０２で、知覚情報が受け取られる。この知覚情報は、入力装置と近接または接触しているオブジェクトと関連している。ある実装形態では、９０２で知覚情報を受け取ることは、また、９０４で、入力装置に近接するまたは接触する２つ以上のオブジェクトを同時にまたは実質的に同時に検出することと、コマンドのために、これら２つ以上のオブジェクトを単一のオブジェクトとして識別することとを含む。知覚情報を受け取ることは、単一のオブジェクトと関連する知覚情報を受け取ることを含む。

９０６では、知覚情報からのコマンドが、少なくとも１つのレベルの相互作用の差異に応じて解釈される。ある実装形態では、９０６におけるこの解釈は、９０８においてオブジェクトの運動を補間することを含む。ある例では、オブジェクトの動きを補間することは、９１０において、入力装置の複数のコンポーネントからデータを受け取ることと、そのデータに基づき、オブジェクトを特定するなめらかな線を構築することとを含む。

例えば、正確な動き、特に迅速な動きを、キーデータから補間することができる。例えば、多数のキーからのデータが考察されるが、これらのデータから、グラフのための平滑化方法、および／または、共振周波数の比較によって測定されたキーの間の相対的な距離を用いて、キーの間隔よりも正確に特定されるなめらかな線を構築することができる。隣接するキーの共振周波数は、２つのキーからの指先の相対的な距離の指示を提供することができ、したがって、キーアレイの間隔よりも高い精度で指先を特定することができる。

いくつかの態様では、方法９００は、９１２において、近接性レベルの解釈と電気的導通性レベルの感知とに基づいて、コマンドジェスチャの数を増加させることを含むことができる。９１４において、動作表示は、コマンドに基づいて出力される。

図１０には、本明細書における開示の少なくともいくつかの態様によるジェスチャキーボードのためのコンピュータ可読な命令セットの、例示的で非限定的な実施形態の流れ図が図解されている。コンピュータ可読な記憶媒体１０００には、コンピュータ実行可能な命令が含まれうる。１００２では、これらの命令は、実行されるべき少なくとも１つのコマンドを示すジェスチャまたはタイピングを検出するように機能しうる。ある例では、ジェスチャを検出するために、命令は、少なくとも１つのコマンドを示すジェスチャと１組の一般的な近接性レベルのジェスチャとを区別するように機能しうるのであって、１組の一般的な近接性レベルのジェスチャは無視される。

別の例では、ジェスチャを検出するために、命令は、外部行為者とキーボード上の導電性作動キーとの間の電気的接触を示す作動を受け取るように機能しうる。

別の例では、ジェスチャを検出するために、入力装置の第１の導電性作動キーの第１の共振周波数と入力装置の第２の導電性作動キーの第２の共振周波数とを比較し、第１の共振周波数と第２の共振周波数とのうちの最低共振周波数を決定するように機能しうる。更に、この例では、命令は、最低共振周波数に基づき、外部行為者が第１の導電性作動キーにより近いこと、または、外部行為者が第２の導電性作動キーにより近いことを決定することを含む、最低共振周波数に基づき前記外部行為者と前記入力装置との間の距離を測定するように機能しうる。

更なる例によると、ジェスチャを検出するために、命令は、入力装置の第１の導電性作動キーの第１の共振周波数と入力装置の第２の導電性作動キーの第２の共振周波数とを計算するように機能しうる。更にこの例では、命令は、第１の共振周波数と前記第２の共振周波数との間の極小値に応じて、外部行為者の横方向の位置を決定するように機能しうる。

１００４では、命令は、ジェスチャを、複数のコマンドから選択された少なくとも１つのコマンドとして解釈するように機能しうる。ある例では、ジェスチャを解釈するために、命令は、そのジェスチャが、スウィープジェスチャ、プッシュプルジェスチャ、サークルジェスチャ、デフレクションジェスチャ、拡大縮小ジェスチャ、または回転ジェスチャのうちの少なくとも１つであることを確認するように機能しうる。

１００６では、命令は、少なくとも１つのコマンドの結果を仮想空間の中の知覚可能なイベントとして開始するように機能しうる。ある例では、結果を開始するために、命令は、第１の部分と第２の部分とを含む仮想ディスプレイ上でアイテムをハイライト表示し、第１の部分によってジェスチャと関連するコマンドを図解し、および第２の部分によって入力装置の表現を提示するように機能しうる。アイテムをハイライト表示することは、外部行為者と入力装置との間の物理的接触への応答でありうる。

図１１は、本開示の少なくともいくつかの態様によるジェスチャキーボード型のコンピューティングデバイスの例示的で非限定的な実施形態のブロック図である。示されているように、コンピューティングデバイス１１００は、キーボード１１０２を含みうる。ある例では、キーボード１１０２は、指と、キーの少なくとも部分集合との間の電気的接触を検出して、容量性相互作用、導電性相互作用、または機械的相互作用からの相互作用情報を受け取るように構成されている。

キーボード１１０２は、キーのアレイを含むことができ、このキーのアレイの少なくとも１つの部分集合が、この少なくとも１つの部分集合自体のそれぞれのキーに加えられた圧力を検出するように構成されたそれぞれの変位作動式スイッチを備えている。キーボード１１０２は、少なくとも１つの容量性センサ１１０６を含みうる。この少なくとも１つの容量性センサ１１０６は、キーボード１１０２に近接する指を検出するように構成されている。

コンピューティングデバイス１１００は、また、キーボードに近接するジェスチャをコマンドに変換するように構成された変換モジュール１１０８を含む。ある例では、変換モジュール１１０８は、異なるコマンドに対応する１組のコマンドジェスチャを含むデータストア１１１０にアクセスするように更に構成されている。ある例では、データストア１１１０は、１組のコマンドジェスチャから区別可能な１組の一般的な近接性レベルのジェスチャを含む。

コンピューティングデバイス１１００は、更に、コマンドに応じてディスプレイ１１１４を変更するように構成されたプロセッサ１１１２を含む。ある例では、ディスプレイ１１１４は遠隔仮想ディスプレイであり、更に、プロセッサ１１１２は、信号を生成しその信号をその遠隔仮想ディスプレイに送信するように構成される。

本明細書において論じられているように、ジェスチャキーボードと関係する様々な態様が、物理的なディスプレイがなくても実装可能であり、また、持ち運びが容易な折り畳み型またはロールアップ型のキーボードによって用いることができる。このコンパクトなシステムは、航空機のような不便な場所でも容易に用いることができる。しかし、様々な態様が、現実の（例えば、物理的な）ディスプレイを備えた暫定的なラップトップコンピュータとも互換性を有している。様々な態様が、メガネの使用と共に、テキストとキーボード画像とを現実の世界の上に重ね合わせる仮想現実デバイスを提供することができる。これにより、会議の間に、話している人間と取っている文字のノートとの間で注意を分割することの必要なく、ノートをタイプすることが可能になる。このノートは、スクリーン上にレンダリングされないのであるから、機密とすることが可能である。

様々な態様において、本発明によるキーボードは、従来型のキーボードよりも小型でありうるが、その理由は、多くのキーが用いられない、および／または、キーボード上に含まれていないからである。更に、大きなジェスチャを、開示されている態様と共に用いることが可能であることにより、誤り、余分な作業、および苛立ちの量を軽減することが可能になる。例えば、ジェスチャをキーボードの真上で行うのであるから、ユーザは、コマンドを出すためにタイピング位置から手を離す必要がない。更に、本明細書で開示されている態様によると、ハイライト表示されているキーは軽い接触でトリガされるために、タッチタイピングのために手を迅速に位置合わせできる。手の位置がディスプレイ上で明白であるから、ユーザは、自らの手を導くためにキーボードを一瞥することも必要ない。別の例では、本明細書で開示されている態様によると、多数のジェスチャが提供されるが、これらのジェスチャはスケールを変えることができるのであって、つまり、ジェスチャのサイズがコマンドの一部に変換されることが可能であることを意味する。コマンドは、度合いを持つ通常のコマンド（例えば、カーソル制御、ディスプレイの移動）すべてに用いることができ、更に、どのような大きさも含まない離散的なコマンド（例えば、シフトロックなど）にも用いることができる。

例示的なコンピューティング環境
図１２には、例示のコンピューティングデバイス１２００が図解されているブロック図である。この例示のコンピューティングデバイス１２００は、主題の開示の少なくともいくつかの実施形態によるジェスチャベースキーボード用に構成される。非常に基本的な構成１２０２において、コンピューティングデバイス１２００は、典型的には、１つまたは複数のプロセッサ１２０４と、システムメモリ１２０６とを含む。メモリバス１２０８は、プロセッサ１２０４とシステムメモリ１２０６との間の通信に用いられうる。

所望の構成に応じて、プロセッサ１２０４は、これらに限定されるのではないが、マイクロプロセッサ（μＰ）、マイクロコントローラ（μＣ）、デジタル信号プロセッサ（ＤＳＰ）、またはこれらの任意の組み合わせを含む任意のタイプでありうる。プロセッサ１２０４は、レベル１キャッシュ１２１０、レベル２キャッシュ１２１２、プロセッサコア１２１４、およびレジスタ１２１６など、キャッシングの１つまたは複数のレベルを含みうる。例示的なプロセッサコア１２１４は、算術論理ユニット（ＡＬＵ）、浮動小数点ユニット（ＦＰＵ）、デジタル信号処理コア（ＤＳＰコア）、またはこれらの任意の組み合わせを含みうる。例示的なメモリコントローラ１２１８はプロセッサ１２０４と共に用いられることもあり、または、いくつかの実装形態では、メモリコントローラ１２１８はプロセッサ１２０４の内部的な部分であることもありうる。

所望の構成に応じて、システムメモリ１２０６は、これらの限定されるのではないが、（ＲＡＭなどの）揮発性メモリ、（ＲＯＭやフラッシュメモリなどの）不揮発性メモリ、またはこれらの任意の組み合わせを含む任意のタイプでありうる。システムメモリ１２０６は、オペレーティングシステム１２２０、１つまたは複数のアプリケーション１２２２、およびプログラムデータ１２２４を含みうる。アプリケーション１２２２は、図４のジェスチャベースシステム４００に関して説明されたものを含む本明細書で説明された機能を実行するように構成されたジェスチャ検出および解釈アルゴリズム１２２６を含みうる。プログラムデータ１２２４は、本明細書で説明されているようなジェスチャ検出および解釈アルゴリズム１２２６を用いた操作のために便利でありうるジェスチャコマンドと一般的な近接性レベルのジェスチャ情報１２２８とを含みうる。いくつかの実施形態では、アプリケーション１２２２は、ジェスチャベースキーボードと拡張された仮想現実経験が提供されうるように、オペレーティングシステム１２２０上でプログラムデータ１２２４を用いて動作するように構成されうる。この説明されている基本構成１２０２は、図１２では、内側の破線の内部のコンポーネントによって図解されている。

コンピューティングデバイス１２００は、基本構成１２０２と任意の必要とされるデバイスおよびインターフェースとの間の通信を容易にするために、追加的な特徴または機能と、追加的なインターフェースとを有することがある。例えば、基本構成１２０２と１つまたは複数のデータ記憶デバイス１２３２との間での、ストレージインターフェースバス１２３４経由での通信を容易にするために、バス／インターフェースコントローラ１２３０が用いられることがある。データ記憶デバイス１２３２は、取り外し可能な記憶デバイス１２３６、取り外し不可能な記憶デバイス１２３８、またはそれらの組み合わせでありうる。取り外し可能な記憶デバイスと取り外し不可能な記憶デバイスとの例には、いくつかの例を挙げると、フレキシブルディスクドライブやハードディスクドライブ（ＨＤＤ）などの磁気ディスクデバイス、コンパクトディスク（ＣＤ）やデジタルバーサタイルディスク（ＤＶＤ）などの光ディスクドライブ、ソリッドステートドライブ（ＳＳＤ）、およびテープドライブが含まれうる。例示的なコンピュータ記憶媒体には、コンピュータ可読な命令、データ構造、プログラムモジュール、またはそれ以外のデータなどの情報を記憶するための任意の方法または技術として実装されている、揮発性および不揮発性、そして、取り外し可能および取り外し不可能な媒体が含まれうる。

システムメモリ１２０６、取り外し可能な記憶デバイス１２３６、および取り外し不可能な記憶デバイス１２３８は、コンピュータ記憶媒体の例である。コンピュータ記憶媒体には、これらに限定されることはないが、ＲＡＭ、ＲＯＭ、ＥＥＰＲＯＭ、フラッシュメモリもしくはそれ以外のメモリ技術、ＣＤ−ＲＯＭ、デジタルバーサタイルディスク（ＤＶＤ）もしくはそれ以外の光学ストレージ、磁気カセット、磁気テープ、磁気ディスクストレージもしくはそれ以外の磁気記憶デバイス、または、所望の情報を記憶するのに用いることができコンピューティングデバイス１２００によってアクセスが可能である任意のそれ以外の媒体が含まれる。任意のそのようなコンピュータ記憶媒体は、コンピューティングデバイス１２００の一部でありうる。

コンピューティングデバイス１２００は、また、様々なインターフェース装置（例えば、出力装置１２４２、周辺インターフェース１２４４、および通信装置１２４６）からバス／インターフェースコントローラ１２３０を介して基本構成１２０２への通信を容易にするためのインターフェースバス１２４０を含みうる。例示的な出力装置１２４２には、グラフィクス処理ユニット１２４８と音声処理ユニット１２５０とが含まれ、これらは、１つまたは複数のＡ／Ｖポート１２５２を介してディスプレイまたはスピーカなど様々な外部装置と通信するように構成されうる。例示的な周辺インターフェース１２４４の例は、シリアルインターフェースコントローラ１２５４やパラレルインターフェースコントローラ１２５６が含まれ、これらは、入力装置（例えば、マウス、ペン、音声入力装置など）や他の周辺装置（例えば、プリンタ、スキャナなど）などの外部装置と１つまたは複数のＩ／Ｏポート１２５８を介して通信するように構成されうる。例示的な通信装置１２４６には、ネットワークコントローラ１２６０が含まれるが、これは、１つまたは複数の通信ポート１２６４を介し、ネットワーク通信リンク経由で１つまたは複数のコンピューティングデバイス１２６２との通信が容易になるように構成されうる。

ネットワーク通信リンクは、通信媒体の一例でありうる。通信媒体は、典型的には、コンピュータ可読命令、データ構造、プログラムモジュール、または搬送波やそれ以外の輸送機構などの変調されたデータ信号の中のそれ以外のデータによって、実現され、任意の情報搬送媒体を含みうる。「変調されたデータ信号」とは、その特性の１つまたは複数を当該信号の中の情報が符号化されるように設定または変更した信号でありうる。例として、限定を意味するのではないが、通信媒体には、ワイアードネットワークやダイレクトワイアード接続などのワイアード媒体と、音響、無線周波数（ＲＦ）、マイクロ波、赤外（ＩＲ）、およびそれ以外のワイヤレス媒体などのワイヤレス媒体とが含まれうる。本明細書において用いられるときコンピュータ可読媒体という用語は、記憶媒体と通信媒体との両者を含みうる。

主題である開示は、本出願で説明されている特定の実施形態として限定されず、これらの実施形態は、様々な態様の説明として意図されている。その精神および精神趣旨ら逸脱することなく、多くの修正および変更をなすことが可能であり、そのことは、当業者には明らかであろう。本明細書において列挙されているものに加え、本開示の範囲に属する機能的に均等な方法および装置は、以上の説明から当業者には明らかであろう。そのような修正および変更は、特許請求の範囲の範囲に属することが意図されている。主題の開示は、特許請求の範囲が及ぶ均等物の全範囲と共に、添付の特許請求の範囲の文言によってのみ限定されるべきである。本開示は、変動することが当然である特定の方法、試薬、化合物、組成または生物システムに限定されないことを理解すべきである。また、本明細書において用いられている用語は特定の実施形態を説明するという目的のためであり、限定を意図していないことを理解すべきであろう。

図解されている実施形態では、本明細書で説明されている動作やプロセスなどはどれもが、コンピュータ可読な媒体上に記憶されたコンピュータ可読な命令として実装することができる。このコンピュータ可読な命令は、モバイル装置、ネットワーク要素、および／または任意の他のコンピューティングデバイスのプロセッサによって実行されうる。

システムの側面でのハードウェアの実装形態とソフトウェアの実装形態との間には、ほとんど相違が残されていない。ハードウェアまたはソフトウェアの使用は、一般に（いつもそうではないが、ある状況ではハードウェアとソフトウェアの間の選択が重要になりうるという点で）コスト対効果のトレードオフを表す設計上の選択である。本明細書に記載された、プロセスおよび／またはシステムおよび／または他の技術をもたらすことができる様々な達成手段があり（例えば、ハードウェア、ソフトウェア、および／またはファームウェア）、好ましい達成手段は、プロセスおよび／またはシステムおよび／または他の技術が導入される状況によって異なる。例えば、実装者が速度と正確性が最も重要であると決定すると、実装者は主にハードウェアおよび／またはファームウェアの達成手段を選択することができる。フレキシビリティが最も重要なら、実装者は主にソフトウェアの実装形態を選択することができる。または、更に別の代替案として、実装者は、ハードウェア、ソフトウェア、および／またはファームウェアの何らかの組み合わせを選択することができる。

前述の詳細な説明では、ブロック図、フローチャート、および／または例の使用によって、装置および／またはプロセスの様々な実施形態を説明してきた。そのようなブロック図、フローチャート、および／または例が１つまたは複数の機能および／または動作を含む限りにおいて、そのようなブロック図、フローチャート、または例の中のそれぞれの機能および／または動作は、広範囲のハードウェア、ソフトウェア、ファームウェア、または実質上それらのすべての組み合わせにより、個別におよび／または集合的に実装可能であることが、当業者には理解されるであろう。ある実施形態では、本明細書に記載された主題のいくつかの部分は、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタルシグナルプロセッサ（ＤＳＰ）、または他の集積化方式によって実装することができる。しかし、本明細書で開示された実施形態のいくつかの態様が、全体においてまたは一部において、１つまたは複数のコンピュータ上で動作する１つまたは複数のコンピュータプログラムとして（例えば、１つまたは複数のコンピュータシステム上で動作する１つまたは複数のプログラムとして）、１つまたは複数のプロセッサ上で動作する１つまたは複数のプログラムとして（例えば、１つまたは複数のマイクロプロセッサ上で動作する１つまたは複数のプログラムとして）、ファームウェアとして、あるいは実質上それらの任意の組み合わせとして、等価に集積回路に実装することができることを、当業者は認識するであろうし、電気回路の設計ならびに／またはソフトウェアおよび／もしくはファームウェアのコーディングが、本開示に照らして十分当業者の技能の範囲内であることを、当業者は認識するであろう。更に、本明細書に記載された主題のメカニズムを様々な形式のプログラム製品として配布することができることを、当業者は理解するであろうし、本明細書に記載された主題の例示的な実施形態が、実際に配布を実行するために使用される信号伝達媒体の特定のタイプにかかわらず適用されることを、当業者は理解するであろう。信号伝達媒体の例には、フロッピー（登録商標）ディスク、ハードディスクドライブ、ＣＤ、ＤＶＤ、デジタルテープ、コンピュータメモリ、などの記録可能なタイプの媒体、ならびに、デジタル通信媒体および／またはアナログ通信媒体（例えば、光ファイバケーブル、導波管、有線通信リンク、無線通信リンクなど）の通信タイプの媒体が含まれるが、それらには限定されない。

本明細書で説明したやり方で装置および／またはプロセスを記載し、その後そのように記載された装置および／またはプロセスを、データ処理システムに統合するためにエンジニアリング方式を使用することは、当技術分野で一般的であることを当業者は認識するであろう。すなわち、本明細書に記載された装置および／またはプロセスの少なくとも一部を、妥当な数の実験によってデータ処理システムに統合することができる。通常のデータ処理システムは、一般に、システムユニットハウジング、ビデオディスプレイ装置、揮発性メモリおよび不揮発性メモリなどのメモリ、マイクロプロセッサおよびデジタル信号プロセッサなどのプロセッサ、オペレーティングシステムなどの計算実体、ドライバ、グラフィカルユーザインターフェース、およびアプリケーションプログラムのうちの１つもしくは複数、タッチパッドもしくはスクリーンなどの１つもしくは複数の相互作用装置、ならびに／またはフィードバックループおよびコントロールモータを含むコントロールシステム（例えば、位置検知用および／もしくは速度検知用フィードバック、コンポーネントの移動用および／もしくは数量の調整用コントロールモータ）を含むことを、当業者は理解するであろう。通常のデータ処理システムは、データコンピューティング／通信システムおよび／またはネットワークコンピューティング／通信システムの中に通常見られるコンポーネントなどの、市販の適切なコンポーネントを利用して実装することができる。

本明細書に記載された主題は、様々なコンポーネントをしばしば例示しており、これらのコンポーネントは、他の様々なコンポーネントに包含されるか、または他の様々なコンポーネントに接続される。そのように図示されたアーキテクチャは、単に例にすぎず、実際には、同じ機能を実現する多くの他のアーキテクチャが実装可能であることが理解されよう。概念的な意味で、同じ機能を実現するコンポーネントの任意の構成は、所望の機能が実現されるように効果的に「関連付け」される。したがって、特定の機能を実現するために組み合わされた、本明細書における任意の２つのコンポーネントは、アーキテクチャまたは中間のコンポーネントにかかわらず、所望の機能が実現されるように、お互いに「関連付け」されていると見ることができる。同様に、そのように関連付けされた任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に接続」または「動作可能に結合」されていると見なすこともでき、そのように関連付け可能な任意の２つのコンポーネントは、所望の機能を実現するために、互いに「動作可能に結合できる」と見なすこともできる。動作可能に結合できる場合の具体例には、物理的にかみ合わせ可能な、および／もしくは物理的に相互作用するコンポーネント、ならびに／またはワイヤレスに相互作用可能な、および／もしくはワイヤレスに相互作用するコンポーネント、ならびに／または論理的に相互作用する、および／もしくは論理的に相互作用可能なコンポーネントが含まれるが、それらに限定されない。

本明細書における実質的にすべての複数形および／または単数形の用語の使用に対して、当業者は、状況および／または用途に適切なように、複数形から単数形に、および／または単数形から複数形に変換することができる。様々な単数形／複数形の置き換えは、理解しやすいように、本明細書で明確に説明することができる。

通常、本明細書において、特に添付の特許請求の範囲（例えば、添付の特許請求の範囲の本体部）において使用される用語は、全体を通じて「オープンな（ｏｐｅｎ）」用語として意図されていることが、当業者には理解されよう（例えば、用語「含む（ｉｎｃｌｕｄｉｎｇ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｉｎｇ ｂｕｔ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきであり、用語「有する（ｈａｖｉｎｇ）」は、「少なくとも有する（ｈａｖｉｎｇ ａｔ ｌｅａｓｔ）」と解釈されるべきであり、用語「含む（ｉｎｃｌｕｄｅｓ）」は、「含むがそれに限定されない（ｉｎｃｌｕｄｅｓ ｂｕｔ ｉｓ ｎｏｔ ｌｉｍｉｔｅｄ ｔｏ）」と解釈されるべきである、など）。導入される請求項で具体的な数の記載が意図される場合、そのような意図は、当該請求項において明示的に記載されることになり、そのような記載がない場合、そのような意図は存在しないことが、当業者には更に理解されよう。例えば、理解の一助として、添付の特許請求の範囲は、導入句「少なくとも１つの（ａｔ ｌｅａｓｔ ｏｎｅ）」および「１つまたは複数の（ｏｎｅ ｏｒ ｍｏｒｅ）」を使用して請求項の記載を導くことを含む場合がある。しかし、そのような句の使用は、同一の請求項が、導入句「１つまたは複数の」または「少なくとも１つの」および「ａ」または「ａｎ」などの不定冠詞を含む場合であっても、不定冠詞「ａ」または「ａｎ」による請求項の記載の導入が、そのように導入される請求項の記載を含む任意の特定の請求項を、単に１つのそのような記載を含む実施形態に限定する、ということを示唆していると解釈されるべきではない（例えば、「ａ」および／または「ａｎ」は、「少なくとも１つの」または「１つまたは複数の」を意味すると解釈されるべきである）。同じことが、請求項の記載を導入するのに使用される定冠詞の使用にも当てはまる。また、導入される請求項の記載で具体的な数が明示的に記載されている場合でも、そのような記載は、少なくとも記載された数を意味すると解釈されるべきであることが、当業者には理解されよう（例えば、他の修飾語なしでの「２つの記載（ｔｗｏ ｒｅｃｉｔａｔｉｏｎｓ）」の単なる記載は、少なくとも２つの記載、または２つ以上の記載を意味する）。更に、「Ａ、ＢおよびＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、およびＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。「Ａ、Ｂ、またはＣ、などの少なくとも１つ」に類似の慣例表現が使用されている事例では、通常、そのような構文は、当業者がその慣例表現を理解するであろう意味で意図されている（例えば、「Ａ、Ｂ、またはＣの少なくとも１つを有するシステム」は、Ａのみ、Ｂのみ、Ｃのみ、ＡおよびＢを共に、ＡおよびＣを共に、ＢおよびＣを共に、ならびに／またはＡ、Ｂ、およびＣを共に、などを有するシステムを含むが、それに限定されない）。２つ以上の代替用語を提示する事実上いかなる離接する語および／または句も、明細書、特許請求の範囲、または図面のどこにあっても、当該用語の一方（ｏｎｅ ｏｆ ｔｈｅ ｔｅｒｍｓ）、当該用語のいずれか（ｅｉｔｈｅｒ ｏｆ ｔｈｅ ｔｅｒｍｓ）、または両方の用語（ｂｏｔｈ ｔｅｒｍｓ）を含む可能性を企図すると理解されるべきであることが、当業者には更に理解されよう。例えば、句「ＡまたはＢ」は、「Ａ」または「Ｂ」あるいは「ＡおよびＢ」の可能性を含むことが理解されよう。

更に、開示の特徴や態様がマーカッシュグループとして説明されている場合には、当業者であれば、本明細書での開示が、そのマーカッシュグループの任意の個々の構成要素または複数の構成要素で構成されるサブグループとしても説明されることを理解するであろう。

当業者であれば理解するであろうように、任意のおよびすべての目的について、記載された説明を提供することに関してなど、本明細書で開示されているすべての範囲は、任意のおよびすべての可能性のある下位の範囲と下位の範囲の組み合わせとに及ぶ。任意のリストされている範囲は、同一の範囲が、少なくとも、等しい２分の１、３分の１、４分の１、５分の１、１０分の１などに分割されることを十分に説明し可能にしているものとして、容易に認識されうる。非限定的な例として、本明細書で論じられているそれぞれの範囲は、下位の３分の１、中間の３分の１、上位の３分の１などに容易に分割することができる。当業者であれば容易に理解するであろうように、「まで」や「少なくとも」などのすべての言葉は、言及された数字を含み、上述したように、以後に下位の範囲に分割することができる範囲を示す。最後に、当業者に理解されるであろうように、範囲はそれぞれの個別の構成要素を含む。したがって、例えば、１から３個のセルを有するグループは、１、２または３個のセルを有するグループに及ぶ。同様に、１から５個のセルを有するグループは、１、２、３、４または５個のセルを有するグループに及ぶ、などである。

様々な態様が様々な図面と対応する説明によって以上で詳述されているが、ある図面との関係で説明された特徴は、他の図面に示され説明されている態様に含まれる。例をただ１つだけ挙げておくが、図５との関係で説明された「仮想バリア」は、図２や図３などで示されている態様における特徴でもある。

本明細書では主題である開示に関して様々な実施形態を説明のために論じてきたが、本開示の範囲と趣旨とから逸脱せずに様々な修正をなしうることは、以上から、理解されるであろう。したがって、本明細書において開示されている様々な実施形態は限定を意図しておらず、真の範囲および趣旨は、以下の特許請求の範囲によって示される。

Claims (40)

1. 少なくとも２つのレベルの相互作用の差異から検出された少なくとも１つのレベルの相互作用の差異を受け取ることを含む、入力装置に近接または接触しているオブジェクトと関連する知覚情報を受け取ることと、
   前記知覚情報からのコマンドを、前記少なくとも１つのレベルの相互作用の差異に応じて解釈することと、
   前記コマンドに基づき動作表示を出力することと、
   を含む、方法。
2. 前記少なくとも２つのレベルの相互作用の差異が近接性レベルと電気的導通性レベルとを含み、前記知覚情報を受け取ることが、
   前記近接性レベルをキャパシタンスに応じて解釈すること、または、
   前記オブジェクトによる前記入力装置の少なくとも１つのコンポーネントの表面の接地に基づき前記電気的導通性レベルを感知すること、
   の少なくとも一方を更に含む、請求項１に記載の方法。
3. 前記近接性レベルの前記解釈と前記電気的導通性レベルの前記感知とに基づきコマンドジェスチャの数を増加させることを更に含む、請求項２に記載の方法。
4. 前記近接性レベルを解釈することが、
   少なくとも１つの共振回路からの出力に基づき前記入力装置上の前記オブジェクトの高さを確認することと、
   前記入力装置との関係で前記オブジェクトの横方向の位置を特定することと、
   を含む、請求項２に記載の方法。
5. 前記高さを確認することが、
   前記入力装置の第１のコンポーネントの第１の共振周波数を前記入力装置の第２のコンポーネントの第２の共振周波数と比較し、前記第１の共振周波数と前記第２の共振周波数とのうちの最低共振周波数を決定することと、
   前記最低共振周波数に基づき、前記オブジェクトが前記第１のコンポーネントにより近いこと、または、前記オブジェクトが前記第２のコンポーネントにより近いことを決定することを含む、前記最低共振周波数に基づき前記オブジェクトと前記入力装置との間の距離を測定することと、
   を含む、請求項４に記載の方法。
6. 前記高さを確認することが、
   前記入力装置のコンポーネントの応答を比較することと、
   前記オブジェクトの高さを間接的に確認するために、三角関数を前記応答に適用することと、
   を含む、請求項４に記載の方法。
7. 前記横方向の位置を特定することが、
   前記入力装置の第１のコンポーネントの第１の共振周波数と前記入力装置の第２のコンポーネントの第２の共振周波数とを計算することと、
   前記第１の共振周波数と前記第２の共振周波数との間の極小値に応じて、前記横方向の位置を決定することと、
   を含む、請求項４に記載の方法。
8. 前記横方向の位置を特定することが、
   第１のコンポーネントの第１の共振周波数と、前記第１のコンポーネントに隣接する第２のコンポーネントの第２の共振周波数との間の差を検出することと、
   前記オブジェクトが前記第１のコンポーネントにより近いこと、または、前記オブジェクトが前記第２のコンポーネントにより近いことを、前記差に応じて決定することと、
   を含む、請求項４に記載の方法。
9. 前記動作表示を出力することが、第１の部分と第２の部分とを含む仮想ディスプレイ上でアイテムをハイライト表示することを含み、前記第１の部分が前記動作表示と関連するコマンドを含み、前記第２の部分が前記入力装置の仮想表現を含む、請求項１に記載の方法。
10. 前記アイテムをハイライト表示することが、前記オブジェクトが前記入力装置と物理的に接触していることに応答して実行される、請求項９に記載の方法。
11. 前記知覚情報を受け取ることが、
    前記入力装置に近接するまたは接触する２つ以上のオブジェクトを同時に検出することと、
    ジェスチャコマンドのために前記２つ以上のオブジェクトを単一のオブジェクトとして識別することと、
    を含み、前記知覚情報を受け取ることが、前記単一のオブジェクトと関連する前記知覚情報を受け取ることを含む、請求項１に記載の方法。
12. 前記動作表示を出力することが、ディスプレイ装置に、前記動作表示を含む信号と前記ディスプレイ装置による出力のためのコマンドの解釈とを送信することを含む、請求項１に記載の方法。
13. 前記コマンドの解釈が前記オブジェクトの運動を補間することを含む、請求項１に記載の方法。
14. 前記補間することが、
    前記入力装置の複数のコンポーネントからデータを受け取ることと、
    前記データに基づき、前記オブジェクトを特定するなめらかな線を構築することと、
    を含む、請求項１３に記載の方法。
15. キーボードに対する空間内部の少なくとも１つのジェスチャを受け取るように構成された環境捕捉コンポーネントと、
    前記少なくとも１つのジェスチャベースコマンドを識別するように構成された解釈コンポーネントと、
    前記少なくとも１つのジェスチャの情報と前記コマンドの結果とをレンダリングするように構成された出力コンポーネントであって、前記情報は仮想ディスプレイ上でレンダリングされるように構成される、出力コンポーネントと、
    を備える、システム。
16. 前記解釈コンポーネントが、前記少なくとも１つのジェスチャと関連する近接性または電気的導通性を確認するように更に構成される、請求項１５に記載のシステム。
17. 前記解釈コンポーネントが、カーソル制御を検出することにより前記近接性を確認するように更に構成され、機械的作動が手動のコマンドを示すことを確認するように構成されており、前記電気的導通性が前記仮想ディスプレイにおけるキーのハイライト表示を容易にする、請求項１６に記載のシステム。
18. 前記環境捕捉コンポーネントが、前記キーボードに対するおよび近接する空間における移動を検出し、前記キーボードに加えられた圧力を検出するように構成される、請求項１５に記載のシステム。
19. 前記出力コンポーネントが、更に、前記キーボードに加えられた圧力の検出に応答して前記仮想ディスプレイの少なくとも一部をハイライト表示するように構成される、請求項１８に記載のシステム。
20. 前記キーボード上の指先の高さと横方向の位置との決定への入力としてキャパシタンスを測定するように構成されたセンサを更に備える、請求項１５に記載のシステム。
21. 前記指先と前記キーボードのキーとが共振回路のコンデンサを形成し、前記指先と前記キーのサイズの２分の１を単位とする分離距離をｄとすると、前記指先と前記キーの間のキャパシタンスが１／ｄに比例し、前記共振回路の周波数が距離の尺度である、請求項２０に記載のシステム。
22. 前記指先が１対のキーにおいて第２のキーよりも第１のキーにより近い度合いを表すうなり周波数を測定するように構成された評価コンポーネントを更に備える、請求項２０に記載のシステム。
23. 前記第１のキーと前記第２のキーとの前記うなり周波数は、前記指先が前記第１のキーと前記第２のキーとの間にあることに応答して消滅する、請求項２２に記載のシステム。
24. 前記仮想ディスプレイが拡張現実メガネを含む、請求項１５に記載のシステム。
25. 前記キーボードがそれぞれの親指で作動されるスペースバーを有する２つの部分を含んでおり、前記２つの部分が前記２つの部分と関連するキーを覆うように相互に折り畳まれるように構成される、請求項１５に記載のシステム。
26. コンピュータ実行可能な命令が記憶されるコンピュータ可読記憶媒体であって、前記命令は、実行に応じて、コンピューティングデバイスに、
    実行されるべき少なくとも１つのコマンドを示すジェスチャを検出することと、
    前記ジェスチャを、複数のコマンドから選択された前記少なくとも１つのコマンドとして解釈することと、
    前記少なくとも１つのコマンドの結果を、仮想空間内部の知覚可能なイベントとして開始することと、
    を含む動作を実行させる、コンピュータ可読記憶媒体。
27. 前記ジェスチャを検出することが、
    前記少なくとも１つのコマンドを示すジェスチャと１組の一般的な近接性レベルのジェスチャとを区別することを更に含み、前記１組の一般的な近接性レベルのジェスチャが無視される、請求項２６に記載のコンピュータ可読記憶媒体。
28. 前記ジェスチャを検出することが、
    外部行為者とキーボード上の導電性作動キーとの間の電気的接触を示す作動を受け取ることを更に含む、請求項２６に記載のコンピュータ可読記憶媒体。
29. 前記ジェスチャを検出することが、
    入力装置の第１の導電性作動キーの第１の共振周波数と前記入力装置の第２の導電性作動キーの第２の共振周波数とを比較し、前記第１の共振周波数と前記第２の共振周波数とのうちの最低共振周波数を決定することと、
    前記最低共振周波数に基づき、外部行為者が前記第１の導電性作動キーにより近いこと、または、外部行為者が前記第２の導電性作動キーにより近いことを決定することを含む、前記最低共振周波数に基づき前記外部行為者と前記入力装置との間の距離を測定することと、
    を更に含む、請求項２６に記載のコンピュータ可読記憶媒体。
30. 前記ジェスチャを検出することが、
    入力装置の第１の導電性作動キーの第１の共振周波数と前記入力装置の第２の導電性作動キーの第２の共振周波数とを計算することと、
    前記第１の共振周波数と前記第２の共振周波数との間の極小値に応じて、外部行為者の横方向の位置を決定することと、
    を更に含む、請求項２６に記載のコンピュータ可読記憶媒体。
31. 前記ジェスチャを解釈することが、前記ジェスチャが、スウィープジェスチャ、プッシュプルジェスチャ、サークルジェスチャ、デフレクションジェスチャ、拡大縮小ジェスチャ、または回転ジェスチャのうちの少なくとも１つであることを確認することを含む、請求項２６に記載のコンピュータ可読記憶媒体。
32. 前記結果を開始することが、第１の部分と第２の部分とを含む仮想ディスプレイ上でアイテムをハイライト表示すること、前記第１の部分によって前記ジェスチャと関連するコマンドを図解すること、および前記第２の部分によって入力装置の表現を提示することを含む、請求項２６に記載のコンピュータ可読記憶媒体。
33. 前記アイテムをハイライト表示することが、外部行為者と前記入力装置との間の物理的接触に応答する、請求項３２に記載のコンピュータ可読記憶媒体。
34. ジェスチャの形式で入力を受け取る手段と、
    前記ジェスチャを、近接性レベル、電気的導通性レベル、および作動レベルのうちの１つまたは複数に応じて、１組の択一的なコマンドから選択されたコマンドに変換する手段と、
    前記コマンドの結果を、知覚可能なフォーマットで、遠隔の表示デバイスに出力する手段と、
    を備える、システム。
35. 前記近接性レベルをキャパシタンスに応じて解釈する手段と、
    オブジェクトによる入力装置のコンポーネントの表面の接地に基づき前記電気的導通性レベルを感知する手段と、
    外部の力による前記コンポーネントの移動から前記作動レベルを検出する手段と、
    を更に備える、請求項３４に記載のシステム
36. キーボードであって、
    キーのアレイであって、前記キーのアレイの少なくとも１つのキーの部分集合が、少なくとも前記キーの部分集合のそれぞれのキーに加えられた圧力を検出するように構成されたそれぞれの変位作動式スイッチを備える、キーのアレイと、
    前記キーボードに近接する指を検出するように構成された少なくとも１つの容量性センサと、
    を備えるキーボードと、
    前記キーボードに近接するジェスチャをコマンドに変換するように構成された変換モジュールと、
    前記コマンドに応じて表示を変更するように構成されたプロセッサと、
    を備える、コンピューティングデバイス。
37. 前記キーボードは、容量性相互作用、導電性相互作用、または機械的相互作用から相互作用情報を受け取るために、前記指と、少なくとも前記キーの前記部分集合との間の電気的接触を検出するように構成される、請求項３６に記載のコンピューティングデバイス。
38. 前記ディスプレイが遠隔仮想ディスプレイであり、前記プロセッサが、信号を生成し前記信号を前記遠隔仮想ディスプレイに送信するように更に構成される、請求項３６に記載のコンピューティングデバイス。
39. 前記変換モジュールが、異なるコマンドに対応する１組のコマンドジェスチャを含むデータストアにアクセスするように更に構成される、請求項３６に記載のコンピューティングデバイス。
40. 前記データストアが、前記１組のコマンドジェスチャと区別可能な１組の一般的な近接性レベルのジェスチャを更に含む、請求項３９に記載のコンピューティングデバイス。

Images