JP5674674B2 - 表面に載せた手に合わせたジェスチャーの発生 - Google Patents

Description

本発明は、コンピューティングシステムの入力装置として使用されるタッチ感知マウスに係り、より詳細には、マウス表面に載せた手に合わせたジェスチャーを発生する方法に係る。

ほとんどのコンピューティングシステムは、ユーザからマウスのような入力装置を経て入力を受け取ることができる。マウスは、ユーザが、コンピューティングシステムのディスプレイスクリーン上のユーザインターフェイス（ＵＩ）において例えばカーソルのような入力ポインタを移動して、そのポインタでＵＩにおける選択を行い、それにより、コンピューティングシステムの種々のオペレーションをトリガーできるようにする。マウスは、ＵＩにおけるデータ選択のためのメカニズムを備え、それが信号へと変換され、コンピューティングシステムは、それを使用して、コンピューティングシステムの種々のオペレーションに対応するＵＩの表示要素を選択することができる。例えば、タッチ感知マウスは、選択を行うためのタッチ装置を含むことができる。タッチ装置は、マウスのタッチ面に対してユーザによって行われたジェスチャーを検出することができ、そのジェスチャーは、コンピューティングシステムにおける１つ以上のオペレーションに対応する。コンピューティングシステムは、ジェスチャーを解釈し、その後、それに対応するオペレーションを実行する。

一般的に、コンピューティングシステムにおける特定のオペレーションに対して特定のジェスチャーが予め定義される。コンピューティングシステムの各ユーザは、予め定義されたジェスチャーを行って、それに対応するオペレーションを実行しなければならない。しかしながら、あるケースでは、予め定義されたジェスチャーは、例えば、ユーザの手に幾つかの物理的な制限があったり異なる自然の姿勢があったりする様々な理由で、ユーザにとって不便であったり不快であったりすることがある。

本発明は、タッチ感知マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。ある実施形態では、マウス表面に載せた手の自然の姿勢（pose；ポーズ）に合わせた第１のジェスチャーを発生することができる。第１のジェスチャーに使用される指及び／又は他の指のサブセット（subset；部分集合）を使用する付加的なジェスチャーを発生することができる。ある実施形態では、ユーザの好みのユーザ入力に基づいて第１のジェスチャーを発生することができる。又、ユーザの好みのユーザ入力に基づいて、或いは第１のジェスチャーに使用される指及び／又は他の指のサブセットとして、付加的なジェスチャーを発生することができる。

マウスに載せた手の規範的な自然の姿勢を示す。 マウスに載せた手の規範的な自然の姿勢を示す。 マウスに載せた手の規範的な自然の姿勢を示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 マウスに載せた手の１本以上の指で実行できる規範的ジェスチャーを示す。 本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。 本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。 本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。 本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用される図４のコンピューティングシステムへタッチ情報を通信することのできるタッチセンサパネルを含む規範的なマウスを示す。

好ましい実施形態の以下の説明において、本発明を実施できる特定の実施形態が例示された添付図面を参照する。他の実施形態も使用できるし、又、本発明の実施形態の範囲から逸脱せずに構造変更もできることを理解されたい。

本発明は、マウスの表面に載せた手に合わせたジェスチャーを発生することに係る。このジェスチャーは、マウスに載せた手の自然の姿勢に基づく。これは、ユーザが、マウス表面に対しユーザにとって快適なジェスチャーを行えるようにする。

本発明の幾つかの実施形態は、ここではタッチ感知マウス上でのジェスチャーに関して説明するが、本発明の実施形態は、これに限定されず、タッチ及び他の形式の感知技術を使用する入力装置に一般的に適用できることを理解されたい。

図１ａないし１ｃは、マウスに載せた手の規範的な自然の姿勢を示す。図１ａは、マウス１００の表面に載せた右手１１０の規範的な上面図である。図１ｂは、マウス１００の表面に載せた右手１１０の規範的な左側面図である。図１ｃは、マウス１００の表面に載せた右手１１０の規範的な右側面図である。典型的に、ユーザは、マウスが使用されないときでも長時間にわたって図１ａないし１ｃに示す弛緩した姿勢でマウスに手を載せることができる。この例では、人差し指及び中指をマウスの上面に載せることができ、親指をマウスの左側面に載せることができ、そして薬指及び小指をマウスの右側面に載せることができる。タッチ感知マウスでは、載せた手をタッチ事象として検出し、コンピューティングシステムにより処理することができる。その後、載せた手の１本以上の指がジェスチャーとして見られるように動くときに、載せた手のタッチをコンピューティングシステムにより処理することができる。

マウスの表面に載せた手の自然の姿勢は、ここに示すものに限定されず、より多数の又はより少数の指が上面及び側面に載せられるか、指が表面のより高いところ又はより低いところに載せられるか、等々の種々の他の姿勢も含むことを理解されたい。

図２ａないし２ｋは、マウスに載せた手の１本以上の指により行うことのできる規範的なジェスチャーを示す。図２ａの例では、右手１１０の人差し指１１２を横方向に動かし（２０５）、マウス１００の表面に手を載せながら「スワイプ(swipe)」ジェスチャーのようなジェスチャーをすることができる。スワイプジェスチャーは、ディスプレイスクリーン上のＵＩ表示を通してページングのようなオペレーションをコンピューティング装置が遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｂの例では、右手１１０の人差し指１１２及び中指１１３を一緒に横方向に動かし（２１０）、マウス１００の表面に手を載せながらスワイプジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｃの例では、右手１１０の人差し指１１２を長手方向に動かし（２１５）、マウス１００の表面に手を載せながら「スクロール」ジェスチャーのようなジェスチャーをすることができる。スクロールジェスチャーは、ディスプレイスクリーン上のＵＩにおいてスクロールアップ又はスクロールダウンのようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｄの例では、右手１１０の人差し指１１２及び中指１１３を一緒に長手方向に動かし（２２０）、マウス１００の表面に手を載せながらスクロールジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｅの例では、右手１１０の親指１１１及び人差し指１１２を一緒に動かしてピンチング(pinching)運動２２５を行い、マウス１００の表面に手を載せながら「ズーム」ジェスチャーのようなジェスチャーをすることができる。ズームジェスチャーは、ディスプレイスクリーン上のＵＩ要素を拡大又は収縮するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｆの例では、右手１１０の人差し指１１２及び中指１１３を一緒に動かしてピンチング運動２３０を行い、マウス１００の表面に手を載せながらズームジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｇの例では、右手１１０の人差し指１１２でタップ運動２３５を２回行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。ダブルクリックジェスチャーは、ディスプレイスクリーン上で入力ポインタにより指されたＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｈの例では、右手１１０の人差し指１１２及び中指１１３で一緒にタップ運動２４０を一度行って、マウス１００の表面に手を載せながら「ダブルクリック」ジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｉの例では、右手１１０の人差し指１１２でタップ運動２４５を３回行って、マウス１００の表面に手を載せながら「トリプルクリック」ジェスチャーのようなジェスチャーをすることができる。トリプルクリックジェスチャーは、ディスプレイスクリーン上の入力ポインタで指された複数のＵＩ要素を選択するようなオペレーションをコンピューティングシステムが遂行するようにさせる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｊの例では、右手１１０の人差し指１１２、中指１１３及び薬指１１４で一緒にタップ運動２５０を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

図２ｋの例では、右手１１０の親指１１１、人差し指１１２及び中指１１３で一緒にタップ運動２５５を一度行って、マウス１００の表面に手を載せながらトリプルクリックジェスチャーのようなジェスチャーをすることができる。手１１０の他の指は、マウスの表面上に実質的に静止したままにすることができる。

本発明の幾つかの実施形態は、ここでは右手のジェスチャーに関して説明するが、左手のジェスチャーも含まれることを理解されたい。更に、それら実施形態は、ここに述べるジェスチャーに限定されず、マウス表面上で行うことのできる適当なジェスチャーを含むことも理解されたい。更に、ジェスチャーは、ここに述べる指により行われるものに限定されず、ジェスチャーを実行できる付加的な指又は他の指によって行われてもよい。

図３ａは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを発生するための規範的な方法を示す。図３ａの例において、マウスに手が載せられているかどうか判断することができる（３０５）。これは、マウスの表面にタッチ事象が生じたかどうか検出することにより行うことができる。マウスに手が載せられている場合には、マウス表面に載せられた手の指に対応するタッチ映像を捕獲することができる。

その捕獲した映像を処理して、手の姿勢を決定することができる（３１０）。例えば、標準的な信号処理技術を使用して、マウスの上面及び側面において、どの指がどこに何回載せられたか決定することができる。

決定された手の姿勢（pose；ポーズ）に基づき、スクロールジェスチャーを発生することができる（３１５）。例えば、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指及び親指を含む場合に、図２ｄのようにこれら２つの指が、又は図２ｃのようにそのいずれかの指が、マウス表面上で長手方向の運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差しのみを含む場合に、図２ｃのようにその指がマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。或いは又、ユーザの自然の手の姿勢が、マウスの上面に載せられた人差し指、中指及び薬指を含む場合に、図２ｃ及び図２ｄのように、これら３本の指又はそのサブセット（subset；部分集合）がマウス表面上で長手方向運動を遂行して、コンピューティングシステムがスクロールオペレーションを実行するようにさせるスクロールジェスチャーを発生することができる。スクロールジェスチャーを発生するための他の自然の姿勢も使用できる。

スクロールジェスチャーに含まれる指に基づいて、他のジェスチャーを発生することもできる（３２０）。他のジェスチャーは、人差し指、中指及び親指のような３本の指を含む発生されたスクロールジェスチャーに基づいて発生することができる。図２ａ及び２ｂのように３本の全ての指又はそのサブセットがマウス表面上で横方向運動を遂行してコンピューティングシステムがスワイプ動作を遂行するようにさせるスワイプジェスチャーを発生することができる（３２２）。図２ｇないし２ｋのように、３本の全ての指又はそのサブセットがマウス表面上で１つ以上のタップ運動を遂行してコンピューティングシステムがクリック動作を実行するようにさせるクリックジェスチャーを発生することができる（３２４）。図２ｆのように２本の指が、又は図２ｅのように１本の指及び親指が、マウス表面上でピンチング運動を遂行して、コンピューティングシステムがズーム動作を実行するようにさせるズームジェスチャーを発生することができる（３２６）。

同様に、人差し指及び中指のような２本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。両方の指又はいずれかの指がマウス表面上で横方向の運動を遂行することを含むスワイプジェスチャーを発生することができる（３３２）。その両方の指又はいずれかの指がマウス表面上で１つ以上のタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３３４）。その両方の指又は１つの指と親指がマウスの表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３３６）。

同様に、人差し指のような１本の指を含む発生されたスクロールジェスチャーに基づいて他のジェスチャーを発生することができる。その指がマウス表面上で横方向運動を遂行することを含むスワイプジェスチャーを発生することができる（３４２）。その指がマウス表面上でタップ運動を遂行することを含むクリックジェスチャーを発生することができる（３４４）。その指及び親指がマウス表面上でピンチング運動を遂行することを含むズームジェスチャーを発生することができる（３４６）。

発生されたジェスチャーは、マウス表面上で行われるジェスチャーを識別するのに後で使用するためにコンピューティングシステムのメモリに記憶することができる。

図３ａの方法とは別に、ユーザの手の自然の姿勢に基づいてジェスチャーが自動的に発生されるのではなく、ユーザによりジェスチャーが選択されてもよい。例えば、スクロールジェスチャーを行うのにユーザがどの指を使用したいかについてユーザに質問をし、ユーザの応答に基づいてジェスチャーを発生することができる。その後、ユーザは、スワイプ、ズーム及びクリックのような他のジェスチャーに対してユーザの好みを指示することもできる。或いは又、スクロールジェスチャーに対するユーザの選択に基づいて、コンピューティングシステムは、他のジェスチャーを自動的に発生することができる。

図３ａの方法とは更に別に、スクロールジェスチャーが、ユーザの手の自然の姿勢に基づいて自動的に発生される第１のジェスチャーであるのではなく、ジェスチャーをプライオリティ付けし、そのプライオリティに基づいて発生することができる。例えば、スワイプジェスチャーがより頻繁に使用されるか又はより重要と考えられるコンピューティングシステムでは、スワイプジェスチャーを最初に発生することができる。このような実施形態では、スワイプジェスチャーは、ユーザの手の自然の姿勢に基づいて発生することができる。スワイプジェスチャーに含まれる指に基づいて他のジェスチャーを発生することができる。或いは又、ユーザは、ジェスチャーを発生する順序を選択することができる。

図３ａの方法とは更に別に、その後のジェスチャーが、スクロールジェスチャーに含まれた同じ指又はそのサブセットを含むのではなく、その後のジェスチャーは、スクロールジェスチャーに含まれた指のスーパーセット又は他の指を含むことができる。

ジェスチャーを発生する方法は、ここに述べるものに限定されず、本発明の実施形態に基づいてジェスチャー発生を遂行できる他のステップ又は付加的なステップも含むことを理解されたい。

図３ｂは、本発明の実施形態によりマウスに載せた手に合わせたジェスチャーを検出するための規範的な方法を示す。図３ｂの例では、マウスの表面にタッチ事象が生じたかどうかの判断がなされる（３５０）。タッチ事象が生じた場合には、マウスの表面に載せられた手の指に対応する複数のタッチ映像を捕獲することができる（３５５）。この映像は、ジェスチャーを行う指の動き、及び他の指の動きの実質的な欠如を捕獲することができる。

指の動き成分を計算することができる（３６０）。動き成分は、ｘ成分及びｙ成分より成る並進運動成分と、スケール（又はズーム）成分と、回転成分とを含むことができる。並進運動成分は、マウスの表面を横切る指の位置の変化を表すことができる。スケール成分は、マウスの表面を横切る指間の距離の変化、即ち指の運動ベクトルのドット積を表すことができる。回転成分は、マウスの表面を横切る指間の角度の変化、即ち指の動きベクトルのクロス積を表すことができる。動き成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Method and Apparatus for Integrating Manual Input”と題する米国特許第６，３２３，８４６号に開示されている。

米国特許第６，３２３，８４６号のように、指と指の間の並進運動成分は、指の各並進運動成分の単純な平均値として計算することができる。しかしながら、マウス用途では、例えば、スクロールジェスチャー中、１つの指がマウス表面上を移動する間に、他の指は静止のままであるか又はほとんど動かないことが人間工学的である。従って、１つの指が他の指より非常に速く動くので、又は１つの指は動くが他の指は全く動かないので、単純な平均値は、並進運動を正確に表すものではない。このようなケースでは、指と指との間の並進運動成分Ｖ_tは、指の各並進運動成分の重み付けされた平均値として計算することができ、次に示すように、速く動く指は、ゆっくり動く指又は動かない指より大きく重み付けすることができる。

但し、ｗ₁及びｗ₂は、重みであり、Ｖ_t1及びＶ_t2は、各々、指１及び指２に対する並進運動成分である。式(１)は、親指以外の指を動かすときに適用することができる。というのは、一般的に、親指は、並進運動ではなく、スケール又は回転運動を行うものだからである。

指の滑らかな運動成分は、生の運動成分から計算することができる（３６５）。これは、生の運動成分にローパスフィルタ（ＬＰＦ）を適用して、指の動きが開始するときに滑らかな運動成分の迅速な構築を生じさせ、そして指の動きが停止するときに滑らかな運動成分のゆっくりした衰退を生じさせることにより実行できる。滑らかな運動成分を迅速に構築することで、滑らかな運動成分をジェスチャー検出のために素早く得ることができる。又、滑らかな運動成分をゆっくり衰退させることで、付加的な指運動の情報が必要になったときに、指運動が停止した後もある時間中は、滑らかな運動成分をジェスチャー検出のために使用し続けることができる。規範的なローパスフィルタは、単純な一次自己回帰フィルタである。滑らかな運動成分の計算は、全ての目的で参考としてここに内容をそのまま援用する“Motion Component Dominance Factors for Motion Locking of Touch Sensor Data”と題する米国特許出願第１２／２３８，３４２号に開示されている。

ある実施形態では、滑らかな指速度は、重み付け並進運動成分計算に重みとして使用することができる。従って、式(１)のような指と指との間の重み付け並進運動成分Ｖ_tは、次のように表わすことができる。

但し、ｓ_t1及びｓ_t2は、滑らかな指速度であり、Ｖ_t1及びＶ_t2は、各々、指１及び指２の並進運動成分である。従って、重み付けされた並進運動成分は、２本の指の間で、対応する滑らかな指速度で重み付けされた各並進運動成分の平均値を計算することにより、計算することができる。

動く指を識別することができる（３７０）。指は、タッチ映像におけるそれらの相対的な位置に基づいて識別することができる。例えば、右手のタッチ映像において、親指は、タッチ映像の下部における最も左のタッチとして識別することができ、人差し指は、タッチ映像の上部における隣接タッチとして識別することができ、中指は、タッチ映像に最も上の位置を有する次の隣接タッチとして識別することができ、薬指は、タッチ映像の上部における最も右のタッチに隣接したタッチとして識別することができ、そして小指は、タッチ映像の下部における最も右のタッチとして識別することができる。或いは又、各指には、指のタッチが見える可能性が最も高いタッチ映像の特定領域を指定することができ、タッチ映像のその領域におけるタッチを、他の指のタッチのタッチ映像における相対的な位置に関わらず、その指定された指として識別することができる。動く指を識別するための他の基準も使用することができる。指の動きは、並進運動、スケール及び回転運動成分に関して上述したように計算することができる。

運動優勢(motion dominance)ファクタは、ジェスチャーの形式に基づき３つの運動成分に対する重みとして計算することができる（３７５）。例えば、特定のジェスチャーは、マウスの表面上で長手方向に指の著しい並進運動を有することができる。しかしながら、指は、絶対的な直線で動かないので、見掛け上、若干のスケール運動が生じ、即ち指は、ジェスチャー中又は回転運動中に互いに近づくか又は離れるように動き、即ち１つ以上の指がジェスチャー中にある角度で動く。特定のジェスチャーにおいて並進運動が優勢であるから、著しい並進運動を大事に扱いそして若干のスケール及び回転運動を無視するために３つの運動成分に重み（即ち運動優勢ファクタ）を指定することができる。運動優勢ファクタの計算は、上述した米国特許出願第１２／２３８，３４２号に開示されている。

米国特許出願第１２／２３８，３４２号のように、運動優勢ファクタは、ジェスチャーに含まれる動く指の１つが親指であるときには、並進運動よりもスケール及び回転運動の方が高くなる。これは、ジェスチャーにおける親指に対して並進運動成分よりもスケール及び回転運動成分の方が優勢であることを反映する。ある実施形態では、スケール及び回転の優勢ファクタは、約２．５にセットすることができ、並進の優勢ファクタは、約０．２５にセットすることができる。マウスの用途では、親指以外の指しかジェスチャーに含まれないときに、可能性のある運動は、並進運動であることが人間工学的に期待される。従って、並進運動に対する運動優勢ファクタは、セットできるが、スケール及び回転運動に対する運動優勢ファクタは、オフにされるか、又は非常に低くセットされる。これは、ジェスチャーにおける親指以外の指に対してスケール及び回転運動成分よりも並進運動成分の方が優勢であることを反映する。ある実施形態では、並進の優勢ファクタは、１．０にセットすることができ、スケール及び回転の優勢ファクタは、オフにされるか、又は０．１０にセットされる。

並進運動、スケール及び回転運動成分の中からの優勢運動成分は、運動優勢ファクタに基づいて識別することができる（３８０）。優勢運動成分の識別も、上述した米国特許出願第１２／２３８，３４２号に開示されている。

識別された指及びそれらの優勢運動成分は、それらがどのジェスチャーに最もぴったりマッチングするか決定するために、複数の考えられるジェスチャーと比較することができる（３８５）。例えば、マウスの表面上で行うことのできるユーザの手に合わせた複数の考えられるジェスチャーをメモリに記憶することができる。各記憶されたジェスチャーは、ジェスチャーを遂行できる指及び優勢運動成分を識別することができる。使用すべき記憶されたジェスチャーの指を、タッチ事象で識別された指と比較し、そして記憶されたジェスチャーの優勢運動成分を、タッチ事象で識別された指の優勢運動成分と比較することにより、比較を行うことができる。考えられるジェスチャーの他の特徴も、記憶して比較することができる。

識別された指及び識別された優勢運動成分に最もぴったりマッチングする記憶されたジェスチャーは、検出されたジェスチャーとして選択することができる（３９０）。検出されたジェスチャーは、コンピューティングシステムにより処理されて、それに対応するオペレーションを実行することができる。

ジェスチャー検出方法は、ここに述べたものに限定されず、本発明の実施形態によるジェスチャー検出を遂行できる他のステップ又は付加的なステップを含んでもよいことを理解されたい。

図４は、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを具現化する規範的なコンピューティングシステムを示す。図４の例において、コンピューティングシステム４００は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行できる１つ以上のパネルプロセッサ４０２と、周辺装置４０４と、パネルサブシステム４０６とを備えている。周辺装置４０４は、ランダムアクセスメモリ（ＲＡＭ）或いは他の形式のメモリ又は記憶装置、ウオッチドッグタイマー、等を含むが、これに限定されない。パネルサブシステム４０６は、１つ以上のセンスチャンネル４０８、チャンネルスキャンロジック（アナログ又はデジタル）４１０、及びドライバロジック（アナログ又はデジタル）４１４を含むが、これに限定されない。チャンネルスキャンロジック４１０は、ＲＡＭ４１２にアクセスし、センスチャンネル４０８からデータを自律的に読み取り、そしてセンスチャンネルの制御を行うことができる。加えて、チャンネルスキャンロジック４１０は、タッチセンサパネル４２４のドライブ線に同時に付与できる種々の位相で刺激信号４１６を発生するようにドライバロジック４１４を制御することができる。パネルサブシステム４０６は、低いデジタルロジック電圧レベル（例えば、１．７ないし３．３Ｖ）で動作することができる。ドライバロジック４１４は、２つの電荷蓄積装置、例えば、キャパシタを一緒にカスケード接続して、電荷ポンプ４１５を形成することにより、デジタルロジックレベルの供給電圧より高い供給電圧を発生することができる。電荷ポンプ４１５は、デジタルロジックレベル供給電圧の約２倍の振幅（例えば、３．４ないし６．６Ｖ）を有する刺激信号４１６を発生するのに使用できる。図４は、ドライバロジック４１４とは個別の電荷ポンプ４１５を示しているが、電荷ポンプは、ドライバリックの一部分でもよい。ある実施形態では、パネルサブシステム４０６、パネルプロセッサ４０２及び周辺装置４０４は、単一の特定用途向け集積回路（ＡＳＩＣ）へと一体化することができる。

タッチセンサパネル４２４は、複数のドライブ線及び複数のセンス線を有する容量性感知媒体を含むが、他の感知媒体を使用することもできる。ドライブ線及びセンス線は、インジウムスズ酸化物（ＩＴＯ）又はアンチモンスズ酸化物（ＡＴＯ）のような透明導電性媒体から形成できるが、他の透明及び不透明材料、例えば、銅を使用することもできる。ドライブ線及びセンス線は、実質的に透明な基板の片側、基板の両側、又は誘電体材料によって分離された２枚の個別基板に形成することができる。ドライブ線及びセンス線の各交差点は、容量性感知ノードを表し、そして画素（ピクセル）４２６として見ることができ、これは、タッチセンサパネル４２４がタッチの「映像」を捕獲するものと考えたときに特に有用である。（換言すれば、タッチセンサパネルの各タッチセンサにおいてタッチ事象が検出されたかどうかパネルサブシステム４０６が決定した後に、タッチ事象が生じたところのマルチタッチパネルのタッチセンサのパターンをタッチの「映像」（例えば、パネルにタッチする指のパターン）として見ることができる。）ドライブ線及びセンス線とローカルシステム接地との間のキャパシタンスは、漂遊キャパシタンスＣstrayとして現れ、そしてドライブ線とセンス線の交点、即ちピクセルのキャパシタンスは、所与のドライブ線が交流（ＡＣ）信号で刺激されたときに相互信号キャパシタンスＣsigとして現れる。タッチセンサパネル上又はその付近における指又は他の物体の存在は、タッチされるピクセルに生じる信号電荷の変化、Ｃsigの関数、を測定することで、検出できる。タッチセンサパネル４２４の各センス線は、パネルサブシステム４０６のセンスチャンネル４０８を駆動することができる。

タッチセンサパネル４２４は、マウスのような入力装置の表面の一部分又は実質的に全部をカバーすることができる。

又、コンピューティングシステム４００は、パネルプロセッサ４０２から出力を受け取って、その出力に基づいてアクションを遂行するためのホストプロセッサ４２８も備え、それらのアクションは、カーソル又はポインタのような１つ以上の物体を移動し、スクロール又はパンを行い、制御設定を調整し、ファイル又はドキュメントをオープンし、メニューを見、選択を行い、インストラクションを実行し、ホスト装置に結合された周辺装置を動作し、電話コールに応答し、電話コールを発信し、電話コールを着信し、ボリューム又は音声設定を変更し、住所、頻繁にダイヤルされる番号、受け取ったコール、逸したコールのような電話通信に関連した情報を記憶し、コンピュータ又はコンピュータネットワークにログオンし、コンピュータ又はコンピュータネットワークの制限エリアへの許可された個人のアクセスを許し、コンピュータデスクトップのユーザの好ましい構成に関連したユーザプロフィールをロードし、ウェブコンテンツへのアクセスを許し、特定のプログラムを起動し、メッセージを暗号化し又はデコードし、等々、を含むが、それらに限定されない。ホストプロセッサ４２８は、本発明の実施形態によるアルゴリズムを具現化するソフトウェア又はファームウェアを実行することができる。又、ホストプロセッサ４２８は、パネル処理に関係ない付加的な機能を遂行することもできるし、プログラム記憶装置４３２及びディスプレイ装置４３０、例えば、装置のユーザにＵＩを与えるＬＣＤディスプレイに結合することもできる。ディスプレイ装置４３０は、タッチセンサパネル４２４のもとに部分的に又は完全に位置されたときに、タッチセンサパネルと共に、タッチスクリーンを形成することができる。

上述した１つ以上の機能は、メモリ（例えば、図４の周辺装置４０４の１つ）に記憶されてパネルプロセッサ４０２により実行されるファームウェア、又はプログラム記憶装置４３２に記憶されてホストプロセッサ４２８により実行されるファームウェアにより遂行できることに注意されたい。又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、コンピュータ読み取り可能な媒体に記憶され及び／又はその中において搬送される。本書において、「コンピュータ読み取り可能な媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを収容し又は記憶できる媒体である。コンピュータ読み取り可能な媒体は、電子、磁気、光学、電磁、赤外線又は半導体システム、装置又はデバイス、ポータブルコンピュータディスケット（磁気）、ランダムアクセスメモリ（ＲＡＭ）（磁気）、リードオンリメモリ（ＲＯＭ）（磁気）、消去可能なプログラマブルリードオンリメモリ（ＥＰＲＯＭ）（磁気）、ポータブル光学ディスク、例えば、ＣＤ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−Ｒ又はＤＶＤ−ＲＷ、或いはフラッシュメモリ、例えば、コンパクトフラッシュカード、セキュアなデジタルカード、ＵＳＢメモリデバイス、メモリスティック、等を含むが、それらに限定されない。

又、ファームウェアは、コンピュータベースのシステム、プロセッサ収容システムのようなインストラクション実行システム、装置又はデバイス、或いはそのインストラクション実行システム、装置又はデバイスからインストラクションをフェッチしてそれらインストラクションを実行する他のシステムにより使用するために又はそれらに関連して使用するために、搬送媒体内で伝播することもできる。本書において、「搬送媒体」とは、インストラクション実行システム、装置又はデバイスにより使用するために又はそれらに関連して使用するためにプログラムを通信し、伝播し又は搬送できる媒体である。読み取り可能な搬送媒体は、電子、磁気、光学、電磁又は赤外線のワイヤード又はワイヤレス伝播媒体を含むが、それらに限定されない。

センサパネルは、図４を参照して説明したタッチセンサパネルに限定されず、本発明の実施形態によりタッチ又は空中停止事象を感知してジェスチャーを検出することのできる接近センサパネル又は他のセンサパネルでもよいことを理解されたい。更に、タッチセンサパネルのタッチセンサは、ここでは、行及び列を有するタッチセンサの直交アレイに関して説明したが、本発明の実施形態は、直交アレイに限定されず、対角線、同心円、並びに三次元及びランダム配向を含む多数の次元及び配向に配列されたタッチセンサに一般的に適用できることを理解されたい。更に、ここに述べるタッチセンサパネルは、シングルタッチ又はマルチタッチのいずれのセンサパネルでもよい。

図５は、マウスの表面のタッチセンサパネル５２４と、ベース５４５と、本発明の実施形態によるジェスチャー発生及び検出アルゴリズムを実行するのに使用できる図４のコンピューティングシステム内の他のコンピューティングシステムブロックとを備えた規範的なタッチ感知マウス５００を示す。ある実施形態では、マウス５００は、ケーブル５５０を経てコンピューティングシステムと通信することができる。ある実施形態では、マウス５００は、ワイヤレス接続を経てコンピューティングシステムと通信することができる。

以上、添付図面を参照して、本発明の実施形態を詳細に説明したが、当業者であれば、種々の変更や修正が明らかであろう。このような変更や修正は、特許請求の範囲に規定された本発明の実施形態の範囲内に網羅されるものと理解されたい。

１００：マウス
１１０：右手
１１２：人差し指
１１３：中指
２０５、２１０：横方向運動
２１５、２２０：長手方向運動
２２５、２３０：ピンチング運動
２３５、２４０、２４５、２５０：タップ運動
４００：コンピューティングシステム
４０２：パネルプロセッサ
４０４：周辺装置
４０６：パネルサブシステム
４０８：センスチャンネル
４１０：チャンネルスキャンロジック
４１２：ＲＡＭ
４１４：ドライブロジック
４１５：電荷ポンプ
４１６：刺激信号
４２４：タッチセンサパネル
４２８：ホストプロセッサ
４３０：ディスプレイ装置
４３２：プログラム記憶装置

Claims (22)

1. タッチ表面に載せた手に合わせたジェスチャーを選択する方法において、
   第１の操作を実行するための複数のジェスチャーを記憶するステップと、
   前記タッチ表面に載せた手の１つ又は複数の指を識別するステップと、
   前記識別された１つ又は複数の指のうちの少なくとも第１のサブセットに基づいて、前記記憶された複数のジェスチャーの中から第１のジェスチャーを選択するステップと、
   前記識別された１つ又は複数の指のうちの少なくとも第１のサブセットがジェスチャーを実行することを示すデータを受信するステップと、
   前記記憶された第１のジェスチャーを前記実行されたジェスチャーと比較するステップと、
   前記比較に基づいて、前記第１の操作を実行するステップと、を備えた方法。
2. 指を識別する前記ステップは、前記第１のジェスチャーの一環として前記タッチ表面上で長手方向の動きを作る姿勢をとる前記手の前記指を識別することを含み、前記第１の操作はスクロール操作である、請求項１に記載の方法。
3. 前記識別された１つ又は複数の指のうちの少なくとも第２のサブセットに基づいて第２のジェスチャーを選択することをさらに含む、請求項１に記載の方法。
4. タッチ表面に載せた手に合わせたジェスチャーを選択する方法において、
   第１の操作を実行する複数のジェスチャーを記憶するステップと、
   前記タッチ表面に載せた手の姿勢を識別するステップと、
   前記手の姿勢に基づいて、前記記憶された複数のジェスチャーの中から、前記タッチ表面に載せた前記手の１つ又は複数の指を含む前記手によって実行される第１のジェスチャーを選択するステップと、
   前記１つ又は複数の指のうちの少なくともサブセットを含む前記手によって実行される第２のジェスチャーを選択するステップと、
   前記手がジェスチャーを実行することを示すデータを受信するステップと、
   前記記憶された第１のジェスチャーを前記実行されたジェスチャーと比較するステップと、
   前記比較に基づいて、前記第１の操作を実行するステップと、を備えた方法。
5. 前記タッチ表面に載せた手の姿勢を識別する前記ステップは、前記手の姿勢の１つ又は複数の指を選択する入力を受け取ることを含む、請求項４に記載の方法。
6. 前記第１のジェスチャーを選択する前記ステップは、前記タッチ表面上で長手方向の動きを作ることができる前記指を利用する前記第１のジェスチャーを選択することを含み、前記第１の操作はスクロール操作である、請求項４に記載の方法。
7. 前記第１のジェスチャーは、定義される第１のプライオリティを有し、前記第２のジェスチャーは、定義される第２のプライオリティを有する、請求項４に記載の方法。
8. タッチ表面に載せた手に合わせたジェスチャーを選択する方法において、
   第１の操作を実行するための複数のジェスチャーを記憶するステップと、
   前記タッチ表面に載せた手の姿勢を識別するステップと、
   前記タッチ表面に載せた手によってなされたタッチイベントに応答して、前記手のどの指が動いたかを識別するステップと、
   識別された動く指の運動成分を確認するステップと、
   前記記憶された複数のジェスチャーの中から、少なくとも１つの前記確認された運動成分を有する前記識別された動く指によってなされ得る第１のジェスチャーを選択するステップと、
   前記手がジェスチャーを実行することを示すデータを受信するステップと、
   前記記憶された第１のジェスチャーを前記実行されたジェスチャーと比較するステップと、
   前記比較に基づいて、前記第１の操作を実行するステップと、を備えた方法。
9. 前記運動成分は、並進運動成分、スケール運動成分、及び回転運動成分、の少なくとも１つを含む、請求項８に記載の方法。
10. 前記並進運動成分は、前記識別された動く指の並進運動成分の重み付けされた平均として計算され、前記識別された動く指の速い方が、前記識別された動く指の残りより大きく重み付けされる、請求項８に記載の方法。
11. 前記決定された運動成分の中から優勢な運動成分を決定するステップと、
    前記決定された優勢な運動成分をもつ前記第１のジェスチャーを選択するステップと、を更に備えた請求項８に記載の方法。
12. 優勢な運動成分を決定する前記ステップは、
    前記決定された運動成分に対応する運動優勢ファクタを計算すること、を含み、
    スケール運動成分及び回転運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つでないときよりも、親指が前記識別された動く指の１つであるときにより高く、そして
    並進運動成分に対する運動優勢ファクタは、親指が前記識別された動く指の１つであるときよりも、親指が前記識別された動く指の１つでないときにより高い、請求項１１に記載の方法。
13. タッチ表面に載せた手に合わせたジェスチャーを選択するためのプログラムコードを含むコンピュータ読み取り可能な媒体において、
    前記プログラムコードは、
    第１の操作を実行するための複数のジェスチャーを記憶し、
    タッチ表面上のタッチ事象に応答して、前記タッチ表面に載せた手の姿勢を識別し、 前記手の姿勢に基づいて、前記記憶された複数のジェスチャーの中から、前記手によって実行される第１のジェスチャーを選択し、
    前記手によって実行される第２のジェスチャーを定義し、
    前記手がジェスチャーを実行することを示すデータを受信し、
    前記記憶された第１のジェスチャーを前記実行されたジェスチャーと比較し、
    前記比較に基づいて、前記第１の操作を実行する、
    ことを含む方法を遂行するものである、コンピュータ読み取り可能な媒体。
14. 前記手の姿勢を識別することは、どの指がタッチ事象を構成するか、どれほど多くの指がタッチ事象を構成するか、又はタッチ事象の間にタッチ表面のどこに指がタッチするか、を識別することを含む、請求項１３に記載のコンピュータ読み取り可能な媒体。
15. 前記第１のジェスチャーを選択することは、前記第１のジェスチャーを作るために姿勢をとった前記手の指を選択することを含む、請求項１３に記載のコンピュータ読み取り可能な媒体。
16. 前記第２のジェスチャーを選択することは、前記第２のジェスチャーを作るために姿勢をとった前記第１のジェスチャーから前記手の指を選択することを含む、請求項１３に記載のコンピュータ読み取り可能な媒体。
17. 第１の操作を実行するための複数のジェスチャーを記憶することが可能な記憶装置と、 入力装置からデータを受信することが可能なプロセッサであって、前記入力装置が、前記入力装置の表面上の複数の入力を検出するように構成された複数の入力センサを有し、前記複数の入力は、前記表面に載せた物体に対応する、プロセッサと、を備え、
    前記プロセッサは、さらに、
    前記複数の入力に基づいて、前記記憶された複数のジェスチャーの中から、前記物体によって実行される第１のジェスチャーを選択し、
    前記物体がジェスチャーを実行することを示すデータを受信し、
    前記記憶された第１のジェスチャーを前記実行されたジェスチャーと比較し、
    前記比較に基づいて、前記第１の操作を実行する、ことが可能である、コンピューティングシステム。
18. 前記物体は、前記表面に載せた手の指である、請求項１７に記載のシステム。
19. 前記複数の入力センサは、前記入力装置の表面に載せた手のタッチを検出するように構成された複数のタッチセンサである、請求項１７に記載のシステム。
20. 前記複数のタッチセンサは、前記入力装置の表面に配置されたタッチセンサパネルに組み込まれている、請求項１９に記載のシステム。
21. 前記入力装置はマウスである、請求項１７に記載のシステム。
22. 前記複数の入力センサは、複数のタッチセンサであり、前記マウスの表面に配置されたタッチセンサパネルに組み込まれている、請求項２１に記載のシステム。

Images