JP4869135B2 - コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法及びマウスをエミュレートするシステム - Google Patents

Description

本発明は、包括的にはタッチセンシティブ画面に関し、より詳細にはマルチタッチセンシティブ画面に触れることによりマウスをエミュレートすることに関する。

パーソナルコンピュータでは、間接式及び直接式という、表示画面上でカーソルの動きを制御する２つの基本的な方法がある。最も一般的な方法では、マウス又はタッチパッド上の指がテーブルトップ、デスクトップ若しくはラップトップ等の水平な作用面上で動かされ、一方カーソルが垂直な画面上を動く。入力空間及び表示空間は独立している。タッチセンシティブダイレクトタッチ画面では、カーソルが画面に直接触れている指又はスタイラスの動きに追従し、通常接触点の真下で位置決めされる。表示空間及び入力空間は同じ空間であり一致するように較正される。

カーソルの制御では、カーソルを操作するために、位置決め及びエンゲージメント(engagement、関与)という２つのモードが通常認識される。位置決めモードは、コンテンツを明らかに変更し又はコンテンツとアクティブに相互作用することなく、表示されるコンテンツ上でカーソルを単純に動かす一方、エンゲージメントモードは、例えば選択されたウィンドウを動かし又は選択されたコンテンツの外観を変更する等、コンテンツとアクティブに相互作用する。従来のデスクトップの環境では、カーソルを位置決めすることは通常マウスを動かすことによって行われ、エンゲージメントは１つ又は複数のマウスボタンを押下すると共に場合によってはまたマウスを動かすことによって達成される。エンゲージメントモードの通常の動作は、ドラッグ、すなわちマウスボタンを押下した状態でカーソルを動かすこと、並びにクリック及びダブルクリック、すなわちマウスボタンを１回又は複数回素早く押下すると共に離すこと、を含む。

通常、位置決めは表示されるコンテンツに視覚的な変化をもたらす一方で、その変化はカーソルの動きに付随すること、すなわち変化は一時的なものであり、システム／アプリケーションによって提供され、ユーザに対するフィードバックを意図するものであることに留意されたい。たとえば、或るグラフィカルユーザインタフェース(ＧＵＩ)要素はマウスオーバーによりトリガされる「ツールチップ(ＴｏｏｌＴｉｐｓ)」を提供する。すなわち、カーソルがこのような要素上に配置されると、情報の吹き出しが表示される。別の例では、カーソルがＧＵＩ要素内に及び要素外に移動すると、要素は視覚的な外観を変化させ、例えば要素をハイライト及びアンハイライトしてそれがアクティブな要素であることを示す場合がある。マウスボタンが作動して初めてエンゲージメントが起きることになる。

ダイレクトタッチ入力の１つ又は複数の根本的な課題は、ユーザがいかなる「マウス」ボタンも関与させずにタッチセンシティブディスプレイにわたってカーソルを動かすことを望む(例えば、カーソルをアイコン上で単純に動かすことを望む)場合があるということである。しかしながら、ユーザがタッチセンシティブ面に触れると、そのタッチが単純にカーソルを動かすことを意図するものであるのか、又はコンテンツと相互作用することを意図するものであるのか、例えば移動の間左のマウスボタンを押下することにより間接的に制御するように、カーソルでコンテンツを「ドラッグ」することを意図するものであるのかをシステムが検出することは困難である。

このように、ダイレクトタッチシステムは、異なる様々な既知の「ミダスタッチ(Midas touch)」問題、すなわち全てのタッチが有意である、という問題に遭遇する。Hansen, J., Andersen, A.及びRoed, P.著「Eye gaze control of multimedia systems」(ACM Symposium on Eye Tracking Research & Applications, 1995)を参照のこと。

大半のタッチ面は大型のタッチセンシティブ画面用に設計されてはいないが、どのように他のタッチ面がこの問題に対処するかを考慮することが有益である。

大半のラップトップコンピュータで見られるタッチパッドはまた、通常左のマウスボタン及び右のマウスボタンを有する。ボタンを使用せずにモード間で切り替える機構もある。ユーザは、カーソルを動かすこと、及びパッド上で１度タッピングしその後素早くパッドを連続的に押下してカーソルをドラッグすることの間で切り替えることができる。この一連の行為は、間接的な制御で左のマウスボタンを押下するのと同様であるものとして認識される。

タッチセンシティブ画面における第２の問題は、指により、ユーザが接触したいと望む画面のまさに正確な部分が曖昧になり得るため、カーソルを比較的「面積が大きな」指先で正確に位置決めすることが困難であり得るということである。

この問題は、カーソルをタッチロケーションからずらす(offset)ことにより解決することができる。しかしながら、これにより直接入力面の大きな利点の１つ、すなわち制御される表示コンテンツに直接触れる能力を喪失する。

いくつかの抵抗膜式又は感圧式のタッチセンシティブ面は通常、カーソルの表示位置として、指が触れる２つの連続したロケーションの平均を使用する。ラップトップタッチパッドは１つの入力点を提供する。しかしながら、これらは間接的な入力装置であり、位置決めマウスモードとエンゲージメントマウスモードとの間で流動的に切り替えるという問題に対処しない。ラップトップタッチパッドの場合、モード間で流動的に切り替えるという問題に対処するために補助的なボタンを設けてもよいが、これは付加的な間接入力装置に頼る必要があるという問題を解決しない。

２００５年１月３１日にHotelling他により出願された「Gestures for touch sensitive input devices」と題する米国特許出願第１１／０４８２６４号は、１人のユーザからのハンドヘルドデバイスへのタッチ入力を処理する方法及びシステムを記載している。そのシステムは、マルチポイントタッチスクリーン等のマルチポイント感知装置からデータを読み出す。データはマルチポイント感知装置に関するタッチ入力に関連し、マルチポイントジェスチャ(multipoint gesture)を識別する。特に、記載されたシステムは通常片手に保持され、他方の手で操作される。そのシステムは異なるユーザによる複数のタッチを識別及び区別することができない。すなわち、システムは、スクリーンに触れている人が装置を保持している人と同一であるのか又は誰か他の人であるのかを判断することができない。装置がハンドヘルドであるため、異なるジェスチャの数は大幅に制限される。

２００３年１２月３０日にAokiに対して発行された「Coordinates input method」と題する米国特許第６，６７０，５６１号のダイレクトタッチセンシティブ面は、カーソルの位置として２つの連続したタッチロケーションの平均を使用する。しかしながら、この特定の技術を利用すると、１つ又は複数のロケーションが同時に触れられたかどうかを検出することができず、それにより装置の実用性が制限される。例えば、装置は、タッチが左クリック又は右クリックとして解釈されるべきかどうかを指定するために専用のオンスクリーン「右クリックモード」ボタンを必要とする。この解決法は全く位置決めモードをサポートせず、ボタンを押下せずにどのようにカーソルの動きをエミュレートするかという問題を回避する。

別の装置は特別に設計されたスタイラスを使用する。２００５年８月３０日にNguyenに対して発行された「User Interface for Stylus-Based User Input」と題する米国特許第６，９３８，２２１号、及び２００４年９月１４日にKeely他に対して発行された「Simulating Gestures of a Pointing Device using a Stylus and Providing Feedback Thereto」と題する米国特許第６，７９１，５３６号を参照のこと。その装置は「ホバーリング」、すなわちスタイラスが面近くにあるが実際には面に接触していない状態、を検出することができる。スタイラスがホバーリングしている場合には、カーソルは単純に移動し、すなわち位置決めし、ペンが面に接触している場合には、カーソルがドラッグされる、すなわち関与される。

右クリックはスタイラス上のボタンを保持することにより、さらに長い時間にわたりスタイラスを面に接触させることにより、又はメニューアイコンに表示される「右クリック」を選択して次のタッチが右クリックとして解釈されるべきであるということを示すことによりサポートされる。大半のタッチ面では、触れている又は触れていないという２つの異なる状態とは対照的に、ホバーリング状態がないため、マウスの位置決めモード及びエンゲージメントモードの双方をエミュレートすることが非常に困難になる。大半の場合には、このような装置は位置決め又はエンゲージメントというモードのうちの１つのモードのみをサポートし、２つのモードの間での円滑な遷移はサポートされていない。

マルチタッチセンシティブ画面に触れることによりマウスをエミュレートすることが望ましい。

本発明は、マルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチを感知するステップと、前記マルチタッチセンシティブ画面上の第２のロケーションでの第２の指による第２のタッチを同時に感知するステップと、前記マルチタッチセンシティブ画面上の前記第１のロケーション及び前記第２のロケーションに依存する位置でグラフィックオブジェクトを表示するステップと、を含み、さらに前記マルチタッチセンシティブ画面上の第３のロケーションでの第３の指による第３のタッピングを同時に感知するステップと、前記第３のタッチに従ってカーソル制御モード間の切り替えを行うステップと、を含み、前記第３のロケーションの感知は、前記第１のロケーション及び前記第２のロケーションにより画定される対角部を有する矩形のバウンディングボックスに制限されるコンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法等を提供する。

本発明の実施の形態は、マルチタッチセンシティブ画面でマウスのような制御をエミュレートする。本明細書において定義するように、位置及び位置決めが表示されるカーソルにあてられ、ロケーション及び位置付けが面上のタッチにあてられる。すなわち、位置決めは仮想的であり、カーソル又は面上に表示される画像中の他のグラフィックオブジェクトを表示することに関する。位置付けは物理的であり、指又は手全体による接触を物理的に感知することに関する。ここに述べる方法はいずれのマルチタッチタッチセンシティブ装置にも適用可能であることに留意されたい。本発明の好適な実施の形態はタッチ面をテーブルとして使用するが、面の向きは任意、例えば壁、テーブル、角度付き面であってもよい。

図１は、本発明の実施の形態によるマルチモデルマルチタッチセンシティブグラフィカルユーザインタフェース１００の一例を示す。例示のシステムは、マルチタッチセンシティブ画面２００に電気的に接続されるテーブル１１０、椅子１２０、プロジェクタ１３０、及びプロセッサ１４０を備える。椅子の１つに座っているユーザが画面２００上の１つ又は複数のロケーションに触れると、ユーザと面上の触れられたロケーションとの間に静電結合が発生する。ロケーションはプロセッサにより感知され、触れられたロケーションに従って操作が行われる。

例えば１本又は複数本の指で、１本又は２本の手で、拳(手)等で面に直接触れることにより手で操作される「マウス」をエミュレートすることが望ましい。コンピュータシステムがとる動作は、触れることにより発生するマウスイベントに応答する基礎となっているアプリケーションプログラムに依存することは留意すべきである。

１人のユーザ又は複数のユーザによる複数のタッチ又はジェスチャを同時に感知することができる。複数のユーザが同時に面に触れている間であっても、触れている特定のユーザを識別することも可能である。プロセッサ１４０により処理されるタッチに従って、画像がプロジェクタ１３０により面上に表示される。画像は、グラフィカルオブジェクトのセットを含む。特定のセットは１つ又は複数のオブジェクトを含むことができる。表示されるオブジェクトは、テキスト、データ、画像、メニュー、アイコン、及びポップアップアイテム等のアイテムであることができる。本発明の好適な実施の形態では、タッチ面は正面投影型であり、ディスプレイ技術は本発明の相互作用の技法とは無関係である。本発明の技法は、どのように画像が表示されるかに関わらず、任意のマルチタッチタッチセンシティブ面で使用することができる。

複数のユーザが同時に触れる複数のロケーションを感知することが可能なダイレクトタッチ画面を使用することが好ましい。参照により本明細書に援用される、Dietz他著「DiamondTouch: A multi-user touch technology」(Proc. User Interface Software and Technology (UIST) 2001, pp. 219-226, 2001)、及び２００２年１２月２４日にDietz他に対して発行された「Multi-user touch surface」と題する米国特許第６，４９８，５９０号を参照のこと。ハンドジェスチャが、参照により本明細書に援用される、２００３年９月１０にWu他により出願された「Hand Gesture Interaction with Touch Surface」と題する米国特許出願番号第１０／６５９，１８０号に記載される。

１つの特徴として、本発明によるマルチタッチセンシティブ画面はマウスに見られるいかなる物理的なボタンも、又は他のユーザインタフェースも必要としない。

表示されるグラフィックオブジェクトは、オブジェクトが表示されるロケーション上又はロケーション付近の面に触れることにより任意に制御される。制御するとは、ここでは、機械式マウスによるように、オブジェクトに対して移動、ドラッグ、選択、ハイライト、回転、サイズ変更、及び向き変更等を行うことができることを意味する。向き変更は、１回のタッチ動作によるアイテムの平行移動及び回転として定義される。触れることは、指、手、スタイラス若しくはライトペン等のポインティングデバイス又はマーキングデバイス、或いは画面に適した他のトランスデューサにより実行することができる。

このようなマルチタッチセンシティブ画面上でのマウスエミュレーションを円滑且つ自然なものにするために、いくつかのことが望まれる。

第１に、グラフィックオブジェクトの１つのタイプであるカーソルを画面上で正確に位置決めすることが要求される。これは指による微細な位置決めを試みる際に特有の問題である。その理由は、指での物理的なロケーションは通常、画面上でのカーソルの仮想的な位置を曖昧にするためである。

第２に、位置決めモード、すなわちカーソルを単に動かすこと、及びエンゲージメントモード、すなわちドラッグ又はドローイングとの間で切り替えを行うための単純な機構が存在しなくてはならない。

第３に、この切り替え機構がカーソル自体の動きを要求することは望ましくない。例えば、カーソルはマルチタッチセンシティブ面上の指の物理的なロケーションに一致する表示位置に動いた後、切り替えの間同じロケーションにとどまっているべきである。

第４に、そしておそらくこれが最も重要なことであるが、マウス制御をエミュレートするいかなる解決法も極めて容易且つ自然であると「感じる」ものであるべきである。

本発明の一実施の形態によれば、ユーザが１本の指でタッチセンシティブ面に触れると、システムは左のマウスボタンが押下されたかのように振る舞う。これによりユーザがスクロール、ドラッグ、及びドローイング等の一般的な操作を実行する際に単純且つ直感的な挙動が促進される。

しかしながら、これにより、メニューアイテムを作動させるようにカーソルを位置決めすること、ツールチップ、及びウェブページでの画像ロールオーバー(カーソルを画像上で動かすと画像の外観が変化する)等の「マウスオーバー」操作を実行することが不便になる。本来であればマウスオーバー操作であるはずの操作の間に左のマウスボタンが押下されると、例えばテキストが不意に選択されることになり得る。

図２Ａに示すように、２本の指２０１及び２０２、例えば中指及び親指が同時に面２００に触れると、図２Ｂに示すように、２本の指の位置間の中間ロケーションにグラフィックオブジェクトとしてカーソル２１０が表示される。これにより指により曖昧にされることがないカーソルの図が提供される。指を位置変更するとカーソルもそれに従って移動する。２本の指の間の距離が伸びるか又は縮まると、図２Ｃに示すように、カーソルは引き続き中間ロケーションで表示されることになる。

図３に示すように、カーソル２１０が位置付けられると、ユーザは第３の指３０１、例えば人差し指で面２００をタッピングし、それにより左のマウスの押下をシミュレートする、すなわち左のマウスボタンを押下することができる。これによりユーザは位置決めモードとエンゲージメントモードとの間で円滑に切り替えつつカーソル２１０を位置決めすることができるようになる。第３の指がどこをタッピングするかは問題ではない。しかしながら、アクティブなタッピングエリアは、２本の指２０１及び２０２の位置であると画定される対角部を有する矩形のバウンディングボックス３１０に制限されることができる。この技法によりユーザは２本の指を面に接触させておきつつ、マウスのような方法でカーソルを円滑且つ正確に位置決めすることが可能になる。

図４は、矢印４１０により示されるように手を移動させることにより、ユーザが線４０１(これは別のグラフィックオブジェクトである)を引くことができる方法を示す。移動の初めにおいて、単純にカーソルを位置決めする代わりに、ユーザが第３の指３０１で面をタッピングすることによりドローイングモードが可能になる。「移動」の完了は第３の指を上げることにより、又は３本全ての指をほぼ同時に上げることにより示される。

実際には、片手の親指及び中指を使用してカーソル位置決めモードを開始することが最も自然であるように思われる。これにより人差し指は他の２本の指の間でタッピングするために使用することができる。

しかしながら、手がカーソル又は他の表示されるコンテンツを曖昧にする場合、ユーザは図５に示すように２本の人差し指５０１及び５０２を使用してカーソルを位置付けることができる。１つの利点としては、２本の指の間の距離を大きくすることによりカーソルの位置決めの精度を高めることができる。

片手の親指及び中指を使用してカーソルの位置を指定することが人の手にとっては最も自然且つ安定しているように思われる。２本の指はタッチを「固定する(anchor)」傾向があり、これはカーソルを正確に位置決めしようとする際には特に重要である。

図６〜図１０は、本発明の一実施の形態による、マルチタッチセンシティブ画面を使用してマウス形態のイベントをエミュレートする状態図である。「丸いボックス」は状態を、矩形のボックスはマウス形態のイベントを、そして矢印付きの弧は様々な状態間での一目瞭然の遷移を示す。

左のマウスボタンをクリックすることをエミュレートするためには、ユーザは単純に所望のロケーションを素早くタッピングする。左のマウスボタンでのダブルクリックをエミュレートするためには、ユーザは単純に所望のロケーションを２度素早くタッピングする。

図６は、マウスの左クリック及びドラッグをエミュレートする状態を示す。状態は指が触れて(down)いない６０１、１本の指が触れている６０２、及び１本の指でドラッグしている６０３である。イベントは左クリック６１１、左のボタンを下げる６１２、左のボタンを上げる６１３、及び左ボタンでのドラッグ６１４である。指が面と接触した状態を保ちつつ位置変更又は「ドラッグ」されると、カーソルは位置決めする指に対応したロケーションに表示され、且つ表示されるグラフィカルオブジェクトに関与する。エンゲージメントのタイプは基本となっているアプリケーションに依存する。例えば、グラフィカルオブジェクトがワードプロセッサでのテキストである場合、マウスを使用したと仮定した場合のように、関与することによりテキストがハイライトされる。オブジェクトが「ウィンドウ」のタイトルバーである場合、ウィンドウは指と共にドラッグされる。

一実施の形態によれば、右のマウスボタンを押下することをエミュレートするためには、ユーザは面上の所望のロケーションを１本の指で押下し、その直後に任意の第２のロケーションのどこかを第２の指でタッピングする(下げると共に上げる)。続いて第１の指を動かすことにより右のマウスボタンを押下した状態でドラッグすることを効果的にエミュレートする。第２の指が面をタッピングした後、ユーザが第１の指で押下することを止めると、システムは右のマウスボタンを離すことをエミュレートする。右クリックをエミュレートするために(ボタンは押下されその後離される)、ユーザは単純に第１の指で所望のクリックロケーションを押下し、第２の指で軽くタッピングし、そして第１の指を離す(触れることを止める)。１回のクリック及び右のマウスボタンでドラッグする状態図が図７に示される。状態は指が触れていない７０１、１本の指が触れている７０２、及び右のマウスボタンモード７０３である。イベントは左クリック７１１、右のボタンを下げる７１２、右のボタンを上げる７１３、及び右ボタンでのドラッグ７１４である。

一実施の形態によれば、中央のマウスボタンを押下することをエミュレートするためには、ユーザは面上の所望のロケーションを１本の指で押下し、その直後に任意の第２のロケーションのどこかを第２の指で２回タッピングする(下げると共に上げる、ただし２回)。続いて第１の指を動かすことにより中央のマウスボタンを押下した状態でドラッグすることを効果的にエミュレートする。第２の指が面を２回タッピングした後、ユーザが第１の指で押下することを止めると、システムは中央のマウスボタンを離すことをエミュレートする。中央クリックをエミュレートするために(ボタンは押下されその後離される)、ユーザは単純に第１の指で所望のクリックロケーションを押下し、第２の指で軽く２回タッピングし、そして第１の指を離す(触れることを止める)。１回のクリック及び中央のマウスボタンでドラッグする状態図が図８に示される。状態は指が触れていない８０１、１本の指が触れている８０２、右のボタンであるか又は中央のボタンであるかが保留にされているモード８０３、及び中央のボタンモード８０４である。イベントは左クリック８１１、中央のボタンを下げる８１２、中央のボタンを上げる８１３、及び中央のボタンでのドラッグ８１４である。

一実施の形態によれば、ユーザはマウスカーソルを動かすこと、すなわちマウスボタンが関与していない状態でマウスカーソルを位置変更すること、をエミュレートしてもよい。これをするためには、図９に示すように、指が触れていない状態９０１で開始し、ユーザは同時に２本の指で面を押下することにより精度−ホバー(Precision-Hover)モード９０２を開始する。これによりカーソルを２本の指の中間点に移動させる(９１２)。続いて、マウスボタンが一切関与していない状態で、１本又は両方の指を動かすことによりカーソルが２本の指の中間点にとどまるようにカーソルを連続的に位置変更させる(９１２)。このモードの間、第３の指でタッピングすることにより押下された状態９０３と離された状態９０２との間で左のマウスボタンの状態をトグリングする。ユーザは一方又は両方の指を動かす一方で左のマウスボタンを下げる９０３ことによりドラッグ及びドローイング等の通常の「左ドラッグ」操作を実行してもよい。精度−ホバーモード９０２及びパートナー左ドラッグモード９０３はユーザの全ての指が面に触れることを止めた時に終了する(９１３)。

したがって、図９は、本発明の一実施の形態による、マウスボタンが関与していない状態でマウスカーソルの位置変更をエミュレートする、またマルチタッチセンシティブ面上で左のマウスボタンの作動をトグリングすることをエミュレートする原則的な(principle)状態を示す状態図である。状態は指が触れていない９０１、精度−ホバーモード９０２、左のマウスボタンを下げるモード９０３である。イベントは左のボタンを下げる９１１、指の動きがカーソルを位置変更する９１２、左のボタンを上げる９１３、及び左のマウスボタンでドラッグする９１４である。

本発明のこの実施の形態によれば、マウスホイールを回転させることをエミュレートするために、ユーザは片方の拳で面を押下し、その後その拳を上に／離れるように又は下に／近づけるようにスライドさせ、マウスホイールを上又は下にスクロールすることをエミュレートする。この実施の形態は、触れているエリアの大きさをシステムが判断することができるという事実に依存している。この場合、指先で触れているエリアは握り拳により触れているエリアよりも実質的に小さい。スライドする量とその結果としてマウスホイールが回転する量との比は構成可能であり得る。これは図１０に示される。状態は指が触れていない１００１、及びマウスホイールモード１００２である。イベントはマウスホイールがスクロールダウンする１０１１、及びマウスホイールがスクロールアップする１０１２である。

様々な他の適用及び変更を本発明の精神及び範囲内で行い得ることを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲内に入る全てのこのような変形及び変更を網羅することである。

本発明の一実施の形態によるマルチタッチセンシティブ画面を使用するユーザインタフェースの概略図である。 本発明の一実施の形態による片手の複数の指を使用してカーソルを位置決めすることを示す概略図である。 本発明の一実施の形態による片手の複数の指を使用してカーソルを位置決めすることを示す概略図である。 本発明の一実施の形態による片手の複数の指を使用してカーソルを位置決めすることを示す概略図である。 本発明の一実施の形態による複数の指を使用してカーソルモード間で切り替えることを示す概略図である。 本発明の一実施の形態による複数の指を使用してカーソルをドラッグすることを示す概略図である。 本発明の一実施の形態による２本の手の複数の指を使用してカーソルを位置決めすることを示す概略図である。 本発明の一実施の形態によるマルチタッチセンシティブ面で関与する左のマウスボタンでのクリック及びドラッグをエミュレートする原則的な状態の状態図である。 本発明の一実施の形態による、マルチタッチセンシティブ面で関与する右のマウスボタンでのクリック及びドラッグをエミュレートする原則的な状態の状態図である。 本発明の一実施の形態による、マルチタッチセンシティブ面で関与する中央のマウスボタンでのクリック及びドラッグをエミュレートする原則的な状態の状態図である。 本発明の一実施の形態による、マルチタッチセンシティブ面上でマウスボタンが関与していない状態でマウスカーソルの位置変更をエミュレートする、また左のマウスボタンの作動をトグリングすることをエミュレートする原則的な状態の状態図である。 本発明の一実施の形態による、マルチタッチセンシティブ面上でマウスホイールを上又は下へ回転させることをエミュレートする原則的な状態の状態図である。

Claims (14)

1. マルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチを感知するステップと、
   前記マルチタッチセンシティブ画面上の第２のロケーションでの第２の指による第２のタッチを同時に感知するステップと、
   前記マルチタッチセンシティブ画面上の前記第１のロケーション及び前記第２のロケーションに依存する位置でグラフィックオブジェクトを表示するステップと、
   を含み、さらに
   前記マルチタッチセンシティブ画面上の第３のロケーションでの第３の指による第３のタッピングを同時に感知するステップと、
   前記第３のタッチに従ってカーソル制御モード間の切り替えを行うステップと、
   を含み、
   前記第３のロケーションの感知は、前記第１のロケーション及び前記第２のロケーションにより画定される対角部を有する矩形のバウンディングボックスに制限される
   コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法。
2. グラフィカルオブジェクトを表示する一方でマルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチを感知するステップと、
   前記マルチタッチセンシティブ画面上の第２のロケーションでの第２の指による第２のタッチを同時に感知する一方で前記第１の指の動きを感知するステップと、
   前記第１の指の動きに従って前記グラフィカルオブジェクトに関与し、マウスの左クリック及びドラッグ操作をエミュレートするステップと、
   を含み、
   前記グラフィカルオブジェクトはウィンドウであり、前記動きにより該ウィンドウが回転する
   コンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法。
3. グラフィカルオブジェクトを表示する一方でマルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチを感知するステップと、
   前記マルチタッチセンシティブ画面上の第２のロケーションでの第２の指によるタッピングを感知するステップと、
   前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、マウスの右ボタンを押下する操作をエミュレートするステップと、
   を含み、さらに
   前記マルチタッチセンシティブ画面にタッチしている前記第１の指の動きを感知するステップと、
   前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、マウスの右ボタンを関与させた状態でマウスをドラッグする操作をエミュレートするステップと、
   を含むコンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法。
4. グラフィカルオブジェクトを表示する一方でマルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチを感知するステップと、
   前記マルチタッチセンシティブ画面上の第２のロケーションでの第２の指による２回の連続するタッチを感知するステップと、
   前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、前記マウスの中央ボタンを押下する操作をエミュレートするステップと、
   を含むコンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法。
5. 前記マルチタッチセンシティブ画面にタッチしている前記第１の指の動きを感知するステップと、
   前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、前記マウスの中央ボタンを関与させた状態でマウスをドラッグする操作をエミュレートするステップと、
   をさらに含む請求項４に記載のコンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法。
6. 前記第１の指が前記マルチタッチセンシティブ画面に触れることを止めることを感知するステップと、
   前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、前記マウスの中央ボタンを離す操作をエミュレートするステップと、
   をさらに含む請求項４に記載のコンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法。
7. グラフィカルオブジェクトを表示する一方でマルチタッチセンシティブ画面上の第１のロケーションでの拳による第１のタッチを感知するステップと、
   グラフィカルオブジェクトを表示する一方で前記マルチタッチセンシティブ画面にタッチしながらの前記拳の動きを感知するステップと、
   動きに従って前記グラフィカルオブジェクトに関与して、マウスホイールをスクロールすることをエミュレートするステップと、
   を含むコンピュータで実施するマルチタッチセンシティブ画面でマウスをエミュレートする方法。
8. マルチタッチセンシティブ画面であって、該マルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチと、同時に第２のロケーションでの第２の指による第２のタッチとを感知すると共に、第３のロケーションでの第３の指による第３のタッピングを同時に感知するように構成されたものと、
   前記マルチタッチセンシティブ画面上の前記第１のロケーション及び前記第２のロケーションに依存する位置でグラフィックオブジェクトを表示する手段と、
   前記第３のタッチに従ってカーソル制御モード間の切り替えを行う手段と、
   を備え、
   前記第３のロケーションの感知は、前記第１のロケーション及び前記第２のロケーションにより画定される対角部を有する矩形のバウンディングボックスに制限される
   マウスをエミュレートするシステム。
9. マルチタッチセンシティブ画面であって、グラフィカルオブジェクトを表示する一方で該マルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチと、第２のロケーションでの第２の指による第２のタッチを同時に感知する一方で前記第１の指の動きを感知するように構成されたものと、
   前記第１の指の動きに従って前記グラフィカルオブジェクトに関与し、マウスの左クリック及びドラッグ操作をエミュレートする手段と、
   を備え、
   前記グラフィカルオブジェクトはウィンドウであり、前記動きにより該ウィンドウが回転する
   マウスをエミュレートするシステム。
10. マルチタッチセンシティブ画面であって、グラフィカルオブジェクトを表示する一方で該マルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチと、第２のロケーションでの第２の指によるタッピングを感知すると共に、前記マルチタッチセンシティブ画面にタッチしている前記第１の指の動きを感知するように構成されたものと、
    前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、マウスの右ボタンを押下する操作をエミュレートする手段と、
    前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、マウスの右ボタンを関与させた状態でマウスをドラッグする操作をエミュレートする手段と、
    を備えたマウスをエミュレートするシステム。
11. マルチタッチセンシティブ画面であって、グラフィカルオブジェクトを表示する一方で該マルチタッチセンシティブ画面上の第１のロケーションでの第１の指による第１のタッチと、第２のロケーションでの第２の指による２回の連続するタッチを感知するように構成されたものと、
    前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、前記マウスの中央ボタンを押下する操作をエミュレートする手段と、
    を備えたマウスをエミュレートするシステム。
12. 前記マルチタッチセンシティブ画面が、前記マルチタッチセンシティブ画面にタッチしている前記第１の指の動きを感知するように構成され、
    前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、前記マウスの中央ボタンを関与させた状態でマウスをドラッグする操作をエミュレートする手段をさらに備えた請求項１１に記載のマウスをエミュレートするシステム。
13. 前記マルチタッチセンシティブ画面が、前記第１の指が前記マルチタッチセンシティブ画面に触れることを止めることを感知するように構成され、
    前記第１の指のロケーションに従って前記グラフィカルオブジェクトに関与して、前記マウスの中央ボタンを離す操作をエミュレートする手段をさらに備えた請求項１１に記載のマウスをエミュレートするシステム。
14. マルチタッチセンシティブ画面であって、グラフィカルオブジェクトを表示する一方で該マルチタッチセンシティブ画面上の第１のロケーションでの拳による第１のタッチと、グラフィカルオブジェクトを表示する一方で前記マルチタッチセンシティブ画面にタッチしながらの前記拳の動きを感知するように構成されたものと、
    動きに従って前記グラフィカルオブジェクトに関与して、マウスホイールをスクロールすることをエミュレートする手段と、
    を備えたマウスをエミュレートするシステム。

Images