JP2016529640A

JP2016529640A - マルチタッチ仮想マウス

Info

Publication number: JP2016529640A
Application number: JP2016541755A
Authority: JP
Inventors: マー、リリ
Original assignee: Intel Corp
Current assignee: Intel Corp
Priority date: 2013-09-13
Filing date: 2013-09-13
Publication date: 2016-09-23
Also published as: EP3044660A4; DE102014111989A1; WO2015035595A1; US20150077352A1; CN105431810A; TW201531925A; EP3044660A1; KR20160030987A

Abstract

いくつかの実施形態に従い、タッチスクリーン、またはトラックパッドもしくはタッチパッドなどのタッチ入力デバイスは、２本以上の指で同時にスクリーンをタッチすることによってマウスモードで操作され得る。一実施形態においては、３本の指が使用され得る。一実施形態における３本の指とは、親指、並びに人差し指および中指であってよい。そうして、仮想マウスコマンドを入力するために、人差し指および中指が左クリックまたは右クリックすべく用いられ得る。

Description

本発明は、概してタッチスクリーンカーソルを制御するためのマウスコマンドの使用に関する。

ラップトップコンピュータ、デスクトップコンピュータ、携帯電話、ゲーム機などのメディア遊戯装置、および他のそのようなデバイスなどの従来のプロセッサベースのシステムにおいては、タッチスクリーンで入力されたマウスコマンドは、キーボードまたはマウスで入力されたカーソルコマンドの使用の代替手段を提供する。例えば、マウスコマンドは、ディスプレイスクリーン上で選択を行うべくカーソルを移動させるために用いられ得る。従来は、マウスがユーザの手の中に保持され、マウスの動きがカーソルを移動させる。マウスのボタンをクリックすることで、カーソルが置かれる表示されたオブジェクトの選択を可能にする。

いくつかの場合において、モバイルユーザは、携帯電話などの実際のプロセッサベースのデバイスより大きい場合もある追加のデバイスを持ち運ぶ必要があるので、マウスを使用するのは面倒であると感じることもある。また、携帯電話において見られるものなどの小スクリーンのデバイスでは、スクリーン上に表示されるいくつかの小さめの形状のものを選択するための十分なスクリーン空間があるとは言えない。別の問題として、ディスプレイスクリーンにおいて、小さいアイコンボタンまたはリンクの場合、ユーザが特定の場所にマウスカーソルを正確に配置することは困難なこともある。

いくつかの実施形態が以下の複数の図面に関して記載される。
一実施形態による、ディスプレイスクリーン上のユーザの右手の上面図である。ディスプレイスクリーン上のユーザの左手の上面図である。ディスプレイスクリーン上で左クリックをするユーザの手を示す。ディスプレイスクリーン上で右クリックをするユーザの手を示す。ディスプレイスクリーン上のユーザの手の１本指モードを示す上面図である。２本指モードを示す上面図である。別の２本指モードを示す上面図である。一実施形態のフローチャートの一部である。図８のフローチャートの続きである。一実施形態の概略図である。

いくつかの実施形態に従い、タッチスクリーンなどのタッチ入力デバイスは、２本以上の指で同時にスクリーンをタッチすることによってマウスモードで操作され得る。一実施形態においては３本の指が使用され得る。一実施形態における３本の指とは、親指、並びに人差し指および中指であってよい。そうして、仮想マウスコマンドを入力するために、人差し指および中指が左クリックまたは右クリックすべく用いられ得る。

本明細書において用いられる場合、タッチ入力デバイスは、入力デバイスをタッチする複数の指を検出するマルチタッチ入力デバイスである。

いくつかの実施形態において、システムは、タッチ入力デバイス上の複数の指による同時タッチを検出し得る。３本指のスクリーンタッチコマンドの場合、システムは、左手または右手のどちらがデバイス上にあるのかと、３本の指の相対的位置とを決定し得る。このことが実行され得る１つの方法は、３点の接触および特にその形状によって画定される三角形の特質を解明（ｒｅｓｏｌｖｅ）し、このことから、デバイスにはユーザの左手または右手のどちらがあるのかを決定する。このような手の特定は、左クリックまたは右クリックのどちらが指示されるのかを決定する上で重要であろう。左クリックまたは右クリックは、左手または右手のどちらが用いられるかに応じて、スクリーン上を人差し指または中指のいずれかでタップすることによって、一実施形態において指示され得る。一実施形態において、左手の人差し指は右の位置にあり、右手の人差し指は左の位置にある。その両方が左クリックである。よって、手の特定はいくつかの実施形態においては重要な場合がある。

したがって、図１を参照すると、タッチ入力デバイスにユーザの右手が置かれている。人差し指は中央に、中指は右に、かつ親指は左にあり、特定の向きおよび形状の三角形Ｔ１を形成する。その三角形の特質は形状および向きに基づいて解明されて、それがスクリーン上のユーザの右手または左手のどちらの３本の指なのかを決定し得る。接触の検出に応答して、ユーザの手の下のスクリーン上にマウスの画像が自動的に生成されてよい。

左手または右手のどちらがスクリーンをタッチしているのかを特定すべく用いられ得る多数の異なる技術がある。例えば、いくつかの実施形態において、３点の接触によって形成される三角形は分析されて、その三角形の最も長い脚（隣辺、ｌｅｇ）が、右または左のどちらに傾斜（ａｎｇｌｅｄ）しているかを決定し得る。右の方に傾斜している場合は左手の接触を示し、左手のマウスモードが実行され得る。左の方に傾斜している場合は右手の接触が特定され、右手のマウスモードが実行され得る。別の例は、中指または人差し指が、三角形の最も長い脚の左または右のどちらなのかを決定するだろう。当業者であれば様々な他の技術を理解するだろう。

カーソルは、適切な複数の指の接触の検出に応答して、タッチスクリーンの実施形態において自動的に表示させられ得る。３本の指の一実施形態において、三角形Ｔ１は親指、人差し指、および中指の接触点によって決定される頂点を有する。それから、カーソルＣは、三角形の最も長い辺に直交し、かつ中央の頂点を通る直線Ｌ上に配置され得る。中央の頂点からの直線に沿った距離は、ユーザに選択されてよいか、またはデフォルト値であってよい。

同様に、図２に示されるように、ユーザの左手が入力デバイス上にあり、中指が左、親指が右、かつ人差し指が中央にある。再度、形成される三角形Ｔ２の形状は、入力デバイス上にあるのはユーザの左手なのか、または右手なのかを決定すべく解明され得る。

図１において示される位置から、望み通りにカーソルを移動させるべく、カーソルは、例えばデバイスに沿って手全体（または、少なくとも１本の指、この場合は人差し指）をスライドさせることによって移動させられ得る。一実施形態において、カーソルはＣによって示されるように、人差し指の近傍に自動的に表示され得る。カーソルはまた、３点の接触が検出されるとき、１本の指の近傍に自動的に表示させられ得る。

予め定められた時間内にタッチイベントが無い場合、複数の指のマウスシミュレーションモードは終了する。さらにいくつかの実施形態において、複数の指は、複数の指のマウスシミュレーションモードを実行すべく、閾値時間の間、スクリーン上に残っていなければならない。

ユーザがタッチ入力デバイス上で３本の指の全てを移動または回転させるとき、カーソルＣは適宜移動する。人差し指がタッチ入力デバイスをタップするとき、左クリックイベントが検出される。中指が入力デバイスをタップすると、一実施形態において右手または左手のいずれの場合でも、右クリックが検出される。最も左の指がスクリーン上をタップすることが左クリックを示し、人差し指および中指のうちの最も右の指がスクリーン上をタップすることが右クリックを示す複数の他の実施形態もまた用いられ得る。このことは図３および図４に示される。

図５において示される一実施形態において、３本の指のうちの２本が入力デバイスとの接触から外れて１本の指が入力デバイスをタッチし続ける場合、システムは１本指のマウスシミュレーションモードに入る。１本のタッチする指は、３本指のマウスシミュレーションモード同様、人差し指として扱われる。スクリーンと接触しているその１本の指はデバイスをタップし得て、そのようなタッピングはカーソルに対しての左クリックイベントとして扱われ得る。１本指のマウスシミュレーションモードは、いくつかの場合においてエンドユーザらが使用するのにより簡単であり得る。

いくつかの実施形態において、複数の指のマウスシミュレーションモードは、タッチコントローラまたは組込み型サービスハブによって実行され得る。タッチコントローラまたは組込み型サービスハブがマウスシミュレーションモードに入ったことを検出すると、システムがマウスシミュレーションモードを抜けるまでタッチイベントはホストに報告されないだろう。複数の他の実装においては、タッチイベントは依然としてホストに報告され得る。シミュレーションされたマウスイベントは、タッチコントローラまたは組込み型サービスハブによってホストに報告され得る。

図６において示されるように、２本指モードの例として、人差し指および中指などの２本の指が、カーソルを移動させるべく用いられ得る。カーソルモードは、破線の円によって示される親指の接触を有する最初の３本指の接触があり、その後親指を持ち上げて２本の指だけを移動させることによって実行され得る。親指が下がると、システムは、前述したように、それが左手または右手のどちらなのかを解明し得る。

２本指モードの別の例として、図７において示されるように、２本指モードにおいて人差し指および中指が用いられる。（水平な破線Ｈに対して）より長い方の指は左または右のどちらにあるのかが、左手または右手のどちらが入力デバイスと接触しているのかを示すべく用いられ得る。

そうして、図８を参照すると、シーケンス１０がソフトウェア、ファームウェア、および／またはハードウェアにおいて実行され得る。ソフトウェアおよびファームウェアの実施形態において、当該シーケンスは、磁気記憶装置、光記憶装置、または半導体記憶装置などの１または複数の非一時的コンピュータ可読媒体において格納される複数のコンピュータ実行命令によって実装され得る。

一実施形態において、シーケンス１０はブロック１２において示されるように、複数の指がタッチ入力デバイスをタッチしているかどうかを検出することで開始する。タッチしている場合、ブロック１４において示されるように、複数の指の接触の形状および向きが決定される。次に、シーケンスはカーソルモードに入る（ブロック１６）。カーソルモードにおいて、全ての入力は、指の位置ではなくカーソルの位置に基づいて解明される。したがって、マウスクリックにとって重要なことは、タッピングしている指がどこに位置しているかではなくカーソルがどこに位置しているか、である。また、カーソルモードにおいて、カーソルはディスプレイスクリーン上に自動的に表示される。タッチスクリーンの実施形態においては、カーソルは人差し指などの指の下ではなく近傍に表示され得る。それから、システムは、ブロック１８において示されるように、右手または左手のどちらがスクリーンをタッチしているのかを決定する。カーソルは特定の指の近傍に自動的に表示され得る。

次に、ひし形ブロック２０におけるチェックは、中指または人差し指のうちの１つがスクリーンをタッピングしているかどうかを決定する。タッピングしている場合、ブロック２２において示されるように、適切なマウスクリックが指示される。左クリックおよび右クリックに加えて、ダブルクリック、マウスオーバ、左／右クリック、左／右ボタンのダウン／アップ、マウスホイール、複数のマウスムーブ、およびムーブアウトなどの他の複数のマウスコマンドがあり、それらは、いくつかの実施形態において、スクリーン上の指のタッピング、および／または手／指の位置によって指示され得る。

その後、ひし形ブロック２４におけるチェックは、スクリーンをタッチする複数の指が移動したかどうかを決定する。移動している場合、カーソルはブロック２５において示されるように移動させられる。

いくつかの実施形態において、図９において示されるように、他の従来の指ベースの複数の入力コマンドが指示され得る。例えば、様々な電話およびタブレットアプリケーションにおいて従来から行われるように、２本の指でのスワイプ、またはピンチおよびプルが用いられ得る。図９において図示される例において、ピンチまたはプルがひし形ブロック２６において検出され得る。これが検出される場合、カーソルによって特定されるオブジェクトは、指の動きの直下のオブジェクトよりむしろ拡大または縮小される（ブロック２８）。例えばピンチおよびプルは、親指と人差し指との間の距離を増加または減少させることによって指示され得る。

次は、ひし形ブロック３０におけるカーソルモードコマンドがあるかどうかのチェックである。カーソルモードコマンドはカーソルモードを即座に抜けるためのコマンドであり得る。それは、ある期間、単に指の接触を断つことによって指示されるか、または、薬指もしくは小指のいずれかを含む４本目の指でスクリーンに接触することなどによる特別な形の指の接触によって指示され得る。カーソル終了コマンドが受信されると、カーソルモードはブロック３２において終了され得る。

そのようなカーソルモードコマンドが受信されない場合、ひし形ブロック３４におけるチェックは、１本指マウスモードが示されるかどうかを決定する。１本指マウスモードは、３本指の接触モードまたは２本指の接触モードから移行し、ただ１本の指のモードに入ることによって実行され得る（ブロック３６）。システムは、３本指の接触により、それがカーソルモードにあることを知り、１本を除く全ての指がデバイスから持ち上げられるとき、ブロック３６において示されるように、たやすく１本指マウスモードに入る。１本指マウスモードにおいて、カーソルは指の接触などの（１本の指の接触による）同一の方法で移動させられ、その同じ指でのタッピングはまた、（どのようなオブジェクトでも指の下にあることとは対照的に）どのようなオブジェクトでもカーソルの下に示されることについての選択を指示する。

１本指モードにおいて、タッピングはひし形ブロック３８において検出される。マウスクリックはブロック４０において示される。ひし形ブロック４２において決定されるように、与えられた期間、全ての指が離されると、ブロック４４において示されるように、マウスモードは終了される。そうでなければ、フローは引き続き戻って反復し、１本指マウスモードの複数のコマンドのチェックをする。

本明細書において限定された数のコマンドが示されるが、複数のコマンドは任意のタイプの指のコマンドであってよい。いくつかの実施形態において、カーソルモードにおいてでさえも、複数の非カーソルコマンドが受信され、複数の他の実施形態においては、カーソルモードで複数のカーソル型のコマンドまたは複数のマウス型コマンドだけが受信され得る。

図１０を参照すると、プロセッサベースのデバイス５０は、記憶装置５６に連結されるプロセッサ５２を含み得る。デバイス５０は、いくつかの実施形態において、タブレットまたは携帯電話であってよい。タッチコントローラまたは組込み型サービスハブ５８はプロセッサ５２に連結され得る。マルチタッチ入力デバイスパッド５４はまた、タッチコントローラ５８に連結される。いくつかの実施形態において、ワイヤレスインターフェース６０がプロセッサ５２に連結され得る。いくつかの場合において、タッチコントローラ５８は、図８および図９において示されるようなシーケンスを実行し得る。

組込み型サービスハブは、Ｗｉｎｄｏｗｓ（登録商標）８または任意の他のオペレーティングシステム環境においてセンサハブである。１つのマイクロコントローラが全てのセンサを一システムオンチップおよびアプリケーションプロセッサに接続し得て、いくつかの実施形態において、センサハブが指の接触の検出とマウスカーソルモードの実行とを処理し得るようにする。

いくつかの実施形態において、トレーニングモードは、ユーザが、マウスベースのカーソルモードに入るべく用いられ得る指の種類および本数を選択できるようにし得る。例えば、システムは、マウスカーソルモードを指示すべくユーザが望む方法でディスプレイ上にユーザの複数の指を配置するようユーザに促し得る。それから、このパターンは記録され、それが続いて検出される場合、マウスカーソルモードに入る。例えば、それからユーザは、人差し指、親指、および中指を用いてスクリーン上をタッチし得る。または、ユーザは人差し指、中指、および薬指でタッチし得る。更なる別の代替形態においては、２本の指は、同じ手の掌の一部と共にスクリーンに接触し得る。他の多数の変更形態もまた可能である。

少数の例に言及すべく、いくつかの実施形態において、図８および図９において示されるシーケンスは、組込み型サービスハブ、タッチコントローラ、汎用プロセッサ、特殊プロセッサ、または、オペレーティングシステムによって実行されるアプリケーション内に常駐し得るソフトウェアまたはファームウェアにおいて実行され得る。

いくつかの実施形態において、指の接触によるマウスカーソルモードの認識は、ディスプレイ上に視覚的表示を提供することによって確認され得る。一実施形態において、実際のマウスが存在するかのように、ユーザの複数の指の下にマウスの画像が表示させられ得る。一実施形態において、そのマウスの描写は、下になっているマテリアルを不明瞭にしないように、幻影のようなもの、または軽めの描写であってよい。

以下の複数の項目および／または例はさらなる複数の実施形態に関する。一例示的実施形態は、少なくとも２本の指を含む、タッチ入力デバイス上における接触を検出する段階と、当該検出に応答して、カーソルモードに入る段階と、カーソルを表示する段階と、当該複数の指のうちの１または複数の指の動きに基づいて、カーソル位置を制御する段階と、を備える方法であってよい。当該方法はまた、当該デバイスがタッチスクリーンであり、当該複数の指のうちの１本の近傍に当該カーソルを表示していることを含み得る。当該方法はまた、少なくとも３本の指による接触を検出する段階を含み得る。当該方法はまた、当該複数の指の接触が親指の接触を含むことを含み得る。当該方法はまた、複数の指がユーザの左手または右手のどちらに属するかを決定する段階を含み得る。当該方法はまた、左手または右手のどちらがデバイスに接触すると決定されたかに基づいて、複数のマウス型コマンドを解明する段階を含み得る。当該方法はまた、指によってカバーされることなく当該指でカーソルを移動させる段階を含み得る。

別の例示的な実施形態は、タッチ入力デバイス上において複数の指の接触を検出するための手段と、ディスプレイ上に表示されるオブジェクトの選択を受信するための手段と、指の位置ではなくカーソルの位置に基づいてオブジェクトを選択するための手段と、を備える装置であってよい。当該装置は、検出に応答してカーソルモードに入るための手段を含み得る。当該装置は、当該検出に応答してカーソルを表示するための手段を含み得る。当該装置は、１または複数の指の動きに基づいてカーソルの位置を制御するための手段を含み得る。当該装置は、当該複数の指のうちの１本の近傍に当該カーソルを表示するための手段を含み得る。当該装置は、少なくとも３本の指による接触を検出するための手段を含み得る。当該装置は、当該指の接触が親指の接触を含むシーケンスを実行するための複数の命令を格納するための手段を含み得る。当該装置は、複数の指がユーザの左手または右手のどちらに属するかを決定することを含むシーケンスを実行するための複数の命令を格納するための手段を含み得る。当該装置は、左手または右手のどちらがデバイスに接触すると決定されたかに基づいて、複数のマウス型コマンドを解明することを含むシーケンスを実行するための複数の命令を格納するための手段を含み得る。当該装置は、指によってカバーされることなく、当該指でカーソルを移動させるための手段を含み得る。

別の例示的な実施形態において、装置は、プロセッサと、当該プロセッサに連結されるタッチスクリーンと、少なくとも２本の指を含む、タッチスクリーン上における接触を検出し、当該検出に応答して、カーソルモードに入り、カーソルを表示し、当該複数の指のうちの１または複数の指の動きに基づいてカーソル位置を制御するためのデバイスと、を備える。当該装置は、当該デバイスが当該複数の指のうちの１本の近傍に当該カーソルを表示することを含み得る。当該装置は、当該デバイスが少なくとも３本の指によるスクリーンへの接触を検出することを含み得る。当該装置は、当該指の接触が親指の接触を含むことを含み得る。当該装置は、当該デバイスが、複数の指がユーザの左手または右手のどちらに属しているのかを決定することを含み得る。当該装置は、当該デバイスが、左手または右手のどちらがスクリーンに接触すると決定されたかに基づいて、複数のマウス型コマンドを解明することを含み得る。当該デバイスは、当該デバイスが、指によってカバーされることなく、スクリーンの指の動きでカーソルを移動させることを含み得る。

本明細書を通した「一実施形態」または「実施形態」への言及は、その実施形態に関連して記載される特定の機能、構造、または特性が、本開示内に含まれる少なくとも１つの実装に含まれることを意味する。したがって、「一実施形態」または「実施形態において」という文言があるときは、必ずしも同一の実施形態を指しているわけではない。さらに、特定の機能、構造、または特性は、例示される特定の実施形態以外の他の適切な形態で設けられ得て、全てのそのような形態は本願の特許請求の範囲内に含まれ得る。

限定された数の実施形態が記載されてきたが、当業者であれば、多数の変形形態および変更形態をそこから理解するであろう。添付の特許請求の範囲は、本開示の真の主旨および範囲に含まれる全てのそのような変形形態および変更形態を網羅することが意図される。

Claims

少なくとも２本の指を含む、タッチ入力デバイス上における接触を検出する段階と、
前記検出に応答してカーソルモードに入る段階と、
カーソルを表示する段階と、
１または複数の指の動きに基づいてカーソル位置を制御する段階と、を備える
方法。
前記少なくとも２本の指のうちの１または複数の指の動きに基づいて、カーソル位置を制御する段階を含む
請求項１に記載の方法。
前記デバイスはタッチスクリーンであり前記少なくとも２本の指のうちの１本の近傍に前記カーソルを表示している
請求項１または２に記載の方法。
少なくとも３本の指による接触を検出する段階を含む
請求項１から３の何れか一項に記載の方法。
前記指の接触は、親指の接触を含む
請求項４に記載の方法。
前記少なくとも３本の指がユーザの左手または右手のどちらに属しているかを決定する段階を含む
請求項４または５に記載の方法。
前記左手または前記右手のどちらが前記デバイスに接触すると決定されたかに基づいて複数のマウス型コマンドを解明する段階を含む
請求項６に記載の方法。
指によってカバーされることなく、前記指で前記カーソルが移動させられる段階を含む
請求項１から７の何れか一項に記載の方法。
タッチ入力デバイス上において複数の指の接触を検出するための手段と、
ディスプレイ上に表示されるオブジェクトの選択を受信するための手段と、
指の位置ではなくカーソルの位置に基づいてオブジェクトを選択するための手段と、を備える
装置。
検出に応答してカーソルモードに入るための手段を含む
請求項９に記載の装置。
前記検出に応答してカーソルを表示するための手段を含む
請求項９または１０に記載の装置。
１または複数の指の動きに基づいてカーソル位置を制御するための手段を含む
請求項１１に記載の装置。
前記複数の指のうちの１本の指の近傍に前記カーソルを表示するための手段を含む
請求項１１または１２に記載の装置。
少なくとも３本の指による接触を検出するための手段を含む
請求項９から１３の何れか一項に記載の装置。
シーケンスを実行するための複数の命令を格納するための手段を含み、前記指の接触は親指の接触を含む
請求項１４に記載の装置。
前記少なくとも３本の指がユーザの左手または右手のどちらに属するかを決定することを含むシーケンスを実行するための複数の命令を格納するための手段を含む
請求項１４または１５に記載の装置。
左手または右手のどちらが前記デバイスに接触すると決定されたかに基づいて、複数のマウス型コマンドを解明することを含むシーケンスを実行するための複数の命令を格納するための手段を含む
請求項９から１６の何れか一項に記載の装置。
指によってカバーされることなく、前記指で前記カーソルが移動させられるための手段を含む
請求項１１から１７の何れか一項に記載の装置。
プロセッサと、
前記プロセッサに連結されるタッチスクリーンと、
少なくとも２本の指を含む、タッチスクリーン上における接触を検出し、前記検出に応答してカーソルモードに入り、カーソルを表示し、前記少なくとも２本の指のうちの１または複数の指の動きに基づいてカーソル位置を制御するためのデバイスと、
を備える
装置。
前記デバイスは前記少なくとも２本の指のうちの１本の近傍に前記カーソルを表示する
請求項１９に記載の装置。
前記デバイスは少なくとも３本の指によるスクリーンへの接触を検出する
請求項１９または２０に記載の装置。
前記指の接触は親指の接触を含む
請求項２１に記載の装置。
前記デバイスは、前記少なくとも２本の指がユーザの左手または右手のどちらに属するかを決定する
請求項１９から２２の何れか一項に記載の装置。
前記デバイスは、左手または右手のどちらが前記タッチスクリーンに接触すると決定されたかに基づいて、複数のマウス型コマンドを解明する
請求項１９から２３の何れか一項に記載の装置。
前記デバイスは、前記指によってカバーされることなく、スクリーンの指の動きで前記カーソルを移動させる
請求項１９から２４の何れか一項に記載の装置。