JP2007334870A - 直接入力装置の位置をマッピングする方法およびシステム - Google Patents

Abstract

【課題】方法は、直接入力装置の位置を表面に表示されるポインタのロケーションにマッピングする。
【解決手段】本方法は、絶対的マッピングモードで動作している時に、直接入力装置の物理的位置と表示装置上のポインタの仮想ロケーションとの間の絶対的マッピングを行い、相対的マッピングモードで動作している時に、入力装置の物理的位置とポインタのロケーションとの間の相対的マッピングを行う。絶対的マッピングおよび相対的マッピングの間の切り換えは、直接入力装置から検出される制御信号に応答して行われる。
【選択図】図２Ｂ

Description

本発明は、包括的にはグラフィックアプリケーションに関し、特に、直接ポインティング入力装置を用いたグラフィックアプリケーションの制御に関する。

間接入力装置および直接入力装置
通常、コンピュータ実装されるグラフィックアプリケーションは、ポインティング入力装置を用いて制御される。間接ポインティング装置は、マウス、トラックボールおよびタッチパッドを含み、直接ポインティング装置は、タッチセンシティブ表示面を含む。グラフィックオブジェクトとの対話は、通常、アプリケーションにより出力装置上に表示されるグラフィックポインタにより表される。入力装置の移動に対応して、出力装置上のポインタが移動する。

マウス、タッチパッド、またはトラックボール等の間接入力装置を用いる場合、入力装置とポインタとは物理的に離れている。また、入力装置は、通常、机の作業面またはタッチパッドの水平面上を移動するが、ポインタは、表示装置の垂直面上を移動する。タッチセンシティブ表面等の直接入力ポインティング入力装置を用いる場合、グラフィックオブジェクトは、表示面上でそれに触れることにより直接操作される。直接入力方式は、マウスの使用等の間接入力に対する実用的な代案である。

絶対的マッピングおよび相対的マッピング
ポインティング装置の位置とポインタのロケーションとの間のマッピングは、絶対的または相対的であり得る。ほとんどの直接ポインティング入力装置は、絶対的マッピングを用いる。すなわち、ポインタが、ポインティングに用いられる指またはスタイラスの真下に位置決めされる。これは、最も明快であり、最も自然なマッピングであるかもしれないが、欠点がある。手、腕、指、およびスタイラスがディスプレイの一部を遮蔽する可能性がある。これは、シングルユーザシステムおよびマルチユーザシステムの両方において厄介となり得る。

多くの背面投影出力装置の場合、正確なポインティングおよび選択は、視差により妨げられる。前面投影の場合、指または手が注意対象のオブジェクトの上に影を落とす。

小型ディスプレイでは、ユーザインタフェースの全ての領域に容易に手が届くが、大型ディスプレイでは、そうであるとは限らない。直接入力装置の使用は、その望ましさを失い、多くのユーザが腕を伸ばすか、体をひねるか、またはディスプレイの離れた部分へ物理的に歩いて行かなければならなくなる。極端な場合、非常に大きなディスプレイの全域に手が届かなくなる場合がある。これらの問題は、大きなマルチディスプレイ環境で作業する場合にのみ増え、遠くにあるグラフィックオブジェクトは、手が届き難いだけでなく、ユーザがディスプレイ間の斜面、さらにはギャップを越えて対話することを要求する場合がある。例えば、数平方メートルの大きさの表示面上でポインタを直接移動させるのは不便であり、おそらくは、物理的に不可能である。

間接ポインティングは、おそらくは、自然さと引き換えにではあるが、これらの限界の多くを克服する。大型の壁面サイズのディスプレイに関する主な利点は、間接入力装置の小さな移動をポインタの大きな移動にマッピングさせることができるため、歩かずに遠くのターゲットを操作できることである。その逆もまた同じことが言える。間接入力装置を用いた相対的マッピングは、ゆっくりとした移動およびより正確なポインティングに関して制御−表示（ＣＤ）利得比を１：１未満にすることができるため、ポインティングをより自由に制御することを可能にする。

遮蔽および視差もまた、間接ポインティングではあまり問題にならない。また、異なるディスプレイ間でのポインタのドラッグが容易にサポートされ、大型ディスプレイの全域が容易に選択される。マルチユーザ環境では、ユーザは、共同作業者の視野を遮らないように自身の位置を変えることができる。

間接ポインティングおよび直接ポインティングの性能に関して、従来技術は、異なる結論を記載している。Sears他は、間接マウス入力を直接タッチスクリーン入力と比較した。Sears他の実験は、マウスのＣＤ利得をほぼ１として、２７．６×１９．５ｃｍのディスプレイを用いた。幅１６ピクセル以上のターゲットに関して、Sears他は、タッチセンシティブスクリーンを用いた直接選択が、マウスを用いた間接選択よりも速いことを見出した。さらに、幅３２ピクセル以上のターゲットに関して、直接タッチ選択により生じたミスは、間接マウスの場合より約６６％少なかった。それでもなお、直接タッチ入力方式の性能が明らかに優れているにもかかわらず、参加者は、やはりマウス入力を好んだ（Sears, A.およびShneiderman, B.著「高精度のタッチスクリーン：設計方針およびマウスとの比較（High Precision Touchscreens: Design Strategies and Comparisons with a Mouse）」（International Journal of Man-Machine Studies, 34(4). 593-613, 1991））。

Myers他もまた直接入力装置を間接入力装置と比較した。Myers他は、制御領域と表示領域とが物理的に離れた状態で間接的に用いられる場合、間接装置の性能が直接装置よりも優れていることを見出した。実際、Myers他は、全ての直接入力装置が間接装置よりも遅いことを見出した（Myers, B.、Bhatnagar, R.、Nichols, J.、Peck, C.H.、Kong, D.、Miller, R.およびLong, C.著「遠隔対話：レーザポインタおよび他の装置の性能測定（Interacting at a distance: measuring the performance of laser pointers and other devices）」（Proc. of ACM CHI Conference on Human Factors in Computing Systems, pp. 33-40, 2002））。

一方、Graham他は、直接的な物理接触および間接的な仮想接触を用いて選択性能を比較した。物理モードでは、ユーザは、自身の手を用いて、物理面上で直接ターゲットを選択したが、仮想モードでは、ユーザの手は隠され、「仮想の指」としてディスプレイ上に描画された。最初の移動段階では、両技法に性能の差はなかったが、第２の移動段階では、小さな３〜１２ｍｍのターゲットを選択するために手が減速したため、仮想接触のほうが遅かった。これは、直接入力の性能が、状況によっては間接入力よりも優れている可能性があることを示唆する（Graham, E.およびMacKenzie, C.著「物理ポインティング対仮想ポインティング（Physical versus virtual pointing）」（Proc. of the CHI '96 Conf. on Human Factors in Computing Systems, pp. 292-299, 1996））。

これらの結果は、Accot他が記載した結果と対照をなす。Accot他は、ステアリング（操作）タスクの場合、ユーザは、８インチ×６インチの間接タッチタブレットを絶対モードで用いた場合、より小さな間接タッチパッドを相対モードで用いた場合よりも２倍近く速いことを見出した（Accot, J.およびZhai, S.著「軌跡ベースのタスクにおける入力装置の性能評価：ステアリングの法則の適用（Performance evaluation of input devices in trajectory-based tasks: an application of the steering law）」（Proc. of ACM SIGCHI Conference on Human Factors in Computing Systems, pp. 466-472, 1999））。

ある絶対的な間接入力装置が、J.K.、Mandryk, R.L.、およびInkpen, K.M.著「ＴｒａｃｔｏｒＢｅａｍ：卓上ディスプレイのためのローカルポインティングおよびリモートポインティングのシームレスな統合（TractorBeam: seamless integration of local and remote pointing for tabletop displays）」（Proceedings of the 2005 conference on Graphics interface, Human-Computer Communications Society, pp. 33-40, 2005）により記載されている。このシステムは、ハンドヘルドＰｏｌｈｅｍｕｓ Ｆａｓｔｒａｋテザー付きポインティング装置を６自由度の動き追跡に用いる。表示されるポインタ（この場合は仮想レーザ点）は、テーブルトップ上の、ハンドヘルドポインタを向けたちょうどその場所に、常に表示されている。しかし、ハンドヘルド装置を用いて遠くにあるターゲットを正確に選択することは、難しくミスを生じ易いことがよく知られている。手を長時間にわたって静止させておくことは、不可能である。ジッタは、不可避である。これは、大型ディスプレイに対するハンドヘルド直接入力装置の使い易さを疑わしいものにする（Myers, B.、Bhatnagar, R.、Nichols, J.、Peck, C.H.、Kong, D.、Miller, R.およびLong, C.著「遠隔対話：レーザポインタおよび他の装置の性能測定（Interacting at a distance: measuring the performance of laser pointers and other devices）」（Proc. of ACM CHI Conference on Human Factors in Computing Systems, pp. 33-40, 2002））。

大型ディスプレイを用いる場合または複数のディスプレイにわたる場合には、手の届く範囲の問題もある。多くの従来技術の解決策は、大きな面積の作業空間を再構成するか、またはディスプレイの大きな面積にわたってグラフィックフィードバックを表示する。この手法は、壁面サイズのディスプレイ上で個人ユーザには問題ないが、グラフィックの過剰使用は、マルチユーザの作業空間では、これらの技法が他のユーザの妨げになり得るため不適当である場合がある。

Baudisch他は、選択されたオブジェクトを離れたターゲットへ移動させる手段として、ドラッグアンドポップを記載した。この技法が呼び出されると、遠くにあるターゲットのプロキシがユーザの近くの、容易に手が届く場所に引き寄せられる。参照線がこれらのプロキシをその真のターゲットにつないでいる。しかし、マルチユーザ環境では、これらの参照線が他人の作業空間を通過する可能性は十分にある。また、Baudischの技法では、ターゲットオブジェクトの周囲の領域を選択することができず、オブジェクトそのものしか選択できない（Baudisch, P.、Cutrell, E.、Robbins, D.、Czerwinski, M.、Tandler, P.、Bederson, B.およびZierlinger, A.著「ドラッグアンドポップおよびドラッグアンドピック：タッチおよびペンにより操作されるシステムにおいて遠くにあるスクリーンコンテンツにアクセスする技法（Drag-and-Pop and Drag-and-Pick: Techniques for Accessing Remote Screen Content on Touch and Pen operated Systems）」（Proceedings of the ninth IFIP TC13 international conference on Human-Computer Interaction, pp. 57-64, 2003））。

同様に、Bezerianos他は、遠くにあるオブジェクトを選択するためのＶａｃｕｕｍ（吸引）技法を記載している。Ｖａｃｕｕｍは、遠くにあるターゲットをユーザの近くに引き寄せながら、ディスプレイの大部分を容易にカバーすることができる大きな調節可能な有効領域を表示する。ドラッグアンドポップと同様に、同一空間で作業している他のユーザを妨げることにより、大型ディスプレイの手の届き易さの問題に対処する利点が損なわれる恐れがある（Bezerianos, A.およびBalakrishnan, R.著「Ｖａｃｕｕｍ：遠くにあるオブジェクトの操作の促進（The vacuum: facilitating the manipulation of distant objects）」（Proceedings of the SIGCHI conference on Human factors in computing systems, ACM Press, pp. 361-370, 2005）（参照により本明細書中に援用される））。

図１Ａは、直接入力の絶対的マッピング専用システムの３状態モデルを示す（Buxton, W.著「グラフィック入力の３状態モデル（A three-state model of graphical input）」（Proc. of the IFIP TC13 Third International Conference on Human-Computer Interaction, pp. 449-456, 1990））。このシステムは、先端スイッチを有するスタイラスと、水平表示面とを用いる。スタイラスが表示面と接触していない時、このシステムは、状態０ １０１にある。先端スイッチは、開いており、スタイラスは、範囲外にあるものと見なされる。スタイラスを動かしても何の効果もない。スタイラスを表示面に付けると、表示されるポインタは、スタイラスの移動を絶対的に追跡し、システムは、状態１ １０２にある。スタイラスが表示面上で強く押されると、先端スイッチが閉じ、ポインタに一致する表示グラフィックオブジェクトが状態２ １０３において絶対的にドラッグされる。スタイラスを表示面に接触させたままスタイラスへの圧力を除去すると、先端スイッチが開き、グラフィックオブジェクトが「解除」され、システムは、状態１へ戻る。スタイラスを持ち上げると、システムは、状態０になる。これは、マウス等の間接入力装置の動作を真似たものであり、スイッチを閉じることは、マウスを動かしながらマウスの左ボタンを押すのと同じ効果を持つ。

相対的マッピングの場合、追跡およびドラッグ／選択だけでなくクラッチもサポートしなければならない。図１Ｂは、相対的マッピング専用のマウスペンの改良型３状態モデルを示す。マウスペンは、その先端を表面上で動かすことにより操作される。マウスペンは、スイッチも含む。マウスペンが表面と軽く接触している時、スイッチは、開いており、表示されるポインタは、ペンの移動を追跡するが、図１Ａに示す絶対的なスタイラスとは異なり、グラフィックポインタは、ペンの先端の真下にない。これが相対的追跡状態１０５である。ペンを持ち上げて表面から少し離すことにより、クラッチ動作が合図される。これは、クラッチ状態１０４と呼ばれる。ペンを表面に接触させると追跡状態１０５へ戻る。ただし、ポインタは、今度は、クラッチ動作を行う前にポインタがあった場所と相対的に移動する。これは、作業面からマウスを持ち上げ、マウスをどこか他の場所へ置くことと似ている。ポインタは、初めは元のロケーションに留まり、その後、異なる位置にあるマウスにより再び動かすことができる。ペンを表面に押し付けるとスイッチが閉じ、グラフィックポインタの下にあるグラフィックオブジェクトが選択され、このオブジェクトがドラッグされる。これがドラッグ状態１０６である。

追跡およびドラッグを行う時、入力装置およびポインタの移動の間のＣＤ利得は、スタイラスの速度の関数として変化し得る。これは、通常、ポインタ加速度関数と呼ばれる。

直感的に、絶対的マッピングは、横断すべき距離が小さい場合に良好に動作するはずであり、相対的マッピングは、距離が大きい場合に最適である。しかし、絶対的な「スタイラスの下」のマッピングの手頃さがあまりに強いため、ユーザは、相対的マッピングの使用が難しくまたは不自然であり、大きな距離でも性能が低下すると感じる場合がある。さらに、遠くにあるグラフィックオブジェクトに対する相対的マッピングの使用は、そのオブジェクトを見て選択することを、ユーザが常にオブジェクトに視覚的に近い絶対的マッピングモードよりも難しくする可能性がある。

図１Ｃは、オブジェクトターゲットの選択タスクに関するユーザ成績を、大型の壁面サイズディスプレイへの直接入力のための絶対的マッピングモード（図１Ａ）と相対的マッピングモード（図１Ｂ）との間で比較した実験の結果を示す。図１Ｃのグラフは、様々な距離にあるターゲットの選択時間を絶対的マッピングおよび相対的マッピングの両方に関して示す。絶対的マッピングと相対的マッピングとの間の成績の逆転は、約２メートルの距離で起こる。この実験におけるオブジェクトの距離は、ディスプレイの約１，０００ピクセル〜ほぼ４，０００ピクセルの範囲であり、これは、約１〜４メートルの物理的距離に相当する。

グラフから分かるように、ユーザは、近くにあるオブジェクトでは絶対的マッピングを用いる場合に成績が良くなり、遠くにあるオブジェクトでは相対的マッピングを用いる場合に成績が良くなった。この成績の逆転は、断面幅が２メートルを超える１台の大型ディスプレイ上で作業を行う場合、入力装置を用いて様々な距離で作業する時に絶対的マッピングまたは相対的マッピングを選択できることがユーザに役立ち得ることを示す。

同様の実験において、参加者は、対角寸法が１２．１インチのディスプレイを備えるタブレットＰＣ上で絶対的マッピングおよび相対的マッピングの両方を用いた。参加者は、この小型ディスプレイ上のオブジェクトでは絶対的マッピングを用いてターゲットを選択するほうが著しく速く、こちらを大いに好んだ。しかし、小さなオブジェクトの場合、ユーザは、相対的マッピングを用いたほうが正確だった。

速度、性能、および精度の間のこのトレードオフは、高いレベルの精度が要求される場合は、相対的マッピングに切り換えられることがユーザに役立ち得ることを示す。

Streitz他が記載しているようなマルチディスプレイ環境が近年大きな関心を呼んでいる。これらの環境は、様々な入力能力を有する装置の異種混合を含むことが多い（Streitz, N.、Geibler, J.、Holmer, T.、Konomi, S.、Muller-Tomfelde, C.、Reischl, W.、Rexroth, P.、Seitz, P.、およびSteinmetz, R.著「ｉ−Ｌａｎｄ：創造および革新のためのインタラクティブな景色（i-LAND: An interactive Landscape for Creativity and Innovation）」（Proc. of the ACM Conf. on Human Factors in Computing Systems, pp. 120-127, 1999））。パーソナルラップトップシステムまたはハンドヘルドシステム上で作業をしている時にユーザが絶対的マッピングを用いて入力を行えるようにすると共に、他のディスプレイ上にあるポインタを制御するためにユーザが相対的マッピングに切り換えられるようにすることが望ましい。

Johanson他は、ＰｏｉｎｔＲｉｇｈｔと呼ばれるポインティング技法を記載した（Johanson, B.、Hutchins, G.、Winograd, T.、Stone, M.著「ＰｏｉｎｔＲｉｇｈｔ：インタラクティブ作業空間におけるフレキシブルな入力方向変更の経験（PointRight: Experience with Flexible Input Redirection in Interactive Workspaces）」（Proc. of the ACM Conf. on User Interface and Software Technology, pp. 227-234, 2002））。この技法は、ユーザが単一の間接装置（例えばマウス）を用いて複数のシステムのディスプレイにまたがってシステムポインタを動かすことを可能にする。その場合、ユーザは、ハンドヘルド上に表示されたグラフィックオブジェクトだけでなく、壁掛けディスプレイ上に表示されたオブジェクトも操作することができる。ユーザは、大きな垂直ディスプレイに囲まれたタッチセンシティブテーブルの周囲に配置されることもできる。このようなマルチディスプレイ環境における近くのディスプレイには直接入力が役立ち得るが、グラフィックオブジェクトと対話するためにユーザを遠くのディスプレイまで歩かせることは面倒であろう。一方、間接入力は、ユーザが遠くのディスプレイを用いて作業することを可能にするが、近くのディスプレイ上のオブジェクトには不便であろう。

これまで、システム設計者は、システムの実装時に、絶対的直接入力方式または相対的間接入力方式のいずれかを選択しなければならなかった。しかし、１つの直接入力装置を用いながら相対的マッピングと絶対的マッピングとの間で流れるような切り換えを可能にする入力機構を提供し、よって、ユーザが両入力方式を最大限に利用することを可能にすることが望ましい。

本発明の実施の形態は、直接入力装置の移動とディスプレイポインタとの間のマッピングを絶対モードまたは相対モードのいずれかで動的に制御するシステムおよび方法を提供する。

本システムおよび方法は、多くの直接入力装置（例えばタッチセンシティブ表面またはアクティブスタイラス）を用いることができ、シングルディスプレイの計算環境およびマルチディスプレイの計算環境の両方に適している。

本発明の実施の形態は、直接入力装置の移動とディスプレイポインタとを絶対的マッピングモードおよび相対的マッピングモードの両方で動的にマッピングするシステムおよび方法を提供する。

図２Ａは、本発明の１つの実施の形態によるシステムを示す。本システムは、グラフィック画像２５１を表示する出力表示装置２５０を備える。グラフィック画像は、ユーザ２８０により操作されるグラフィックオブジェクト２５２を含む。表示装置の１つは、本発明の実施の形態の入力装置として動作する直接タッチセンシティブ表面を備えるテーブルトップの形態である。この表面は、スタイラス２８５または１本若しくは複数本の指で触れることができる。また、本システムは、複数のユーザによる複数のタッチをユーザにより一意に識別することができる。ポインタ２７０を表示することができる。ディスプレイ上のポインタのロケーションは、触れた位置に対応する（Dietz他に２００２年１２月２４日付で発行された米国特許第６，４９８，５９０号「マルチユーザタッチスクリーン（Multi-User Touch Screen）」（参照により本明細書中に援用される））。

表示装置および入力装置は、コンピュータシステム２６０に接続される。コンピュータシステムは、従来のもの（例えば、ＰＣ、ラップトップ等）である。コンピュータシステムは、プロセッサ、メモリ、およびＩ／Ｏインタフェースを備える。入力装置は、ユーザ入力に応答して制御信号２６６をコンピュータシステム２６０へ送る。制御信号は、スタイラスの移動またはスタイラススイッチのオン／オフ状態、または指の移動、または１本または複数本の指によるタッチセンシティブ表面のタップを示すことができる。コンピュータシステムは、直接入力装置の移動をディスプレイポインタ２７０の移動に絶対的マッピングモードおよび相対的マッピングモードの両方で動的にマッピングする方法２６５を実行することができる。

本発明の目標は、絶対的マッピングと相対的マッピングとを容易に切り換えると共に、スタイラスまたはタッチセンシティブ表面等の直接入力装置を用いて対話する方法をユーザに提供することである。

図２Ｂは、絶対的マッピングモード２９２および相対的マッピングモード２９１の間で切り換えを行う本発明の方法およびシステムの１つの実施の形態の状態遷移図である。本システムは、タッチセンシティブタブレット計算装置と共に備えられているようなスタイラスを用いる。１本または複数本の指によりポインティングされるタッチセンシティブ表面を用いて、方法を実施することも可能であることを理解すべきである。本システムは、状態０ ２００で始まる。この時点で、スタイラスまたは指は、入力装置の検知範囲外（ＯＯＲ）にある。スタイラスまたは指を動かしても何の効果もない。

スタイラスを入力装置の検知範囲内へ動かすと、システムは、状態１ ２０１となり、グラフィックポインタがスタイラスまたは指の位置の真下に表示され、スタイラスを動かすとポインタが移動する。

スタイラスの先端を下げてタッチセンシティブ表示面に接触させると、システムは、状態２ ２０２へ移る。ポインタのロケーションは、引き続きスタイラスの先端の位置を追跡しながら、グラフィックアプリケーションのコマンド（例えばドラッグ）を実行する。

スタイラスを持ち上げてディスプレイから離すと、システムは、状態１ ２０１へ戻る。状態１ ２０１にある間、スタイラスを軽くはじく（２０３）と、システムは、相対的クラッチ状態２０４へ遷移する。これと同じ遷移を、２本の指で同時に表面に触れることによって行うことができる。

この状態から、スタイラスの先端を下げディスプレイに当接させることによって、システムは、相対的追跡状態２０５へ移る。すると、スタイラスまたは指の移動によりポインタが相対的マッピングモードで動くようになり、グラフィックポインタ２７０は、ペンの先端の真下ではなくなる。

スタイラスを表示面に強く押し当てる（２０９）ことによりスタイラススイッチを閉じると、システムは、相対的ドラッグ２０６へ移り、その間、通常のパーソナルコンピュータにおいてマウスボタンを押した時のように、アプリケーション内でコマンドが実行される。この遷移は、２本指のタッチでも行うことができる。入力装置に接続されたボタンを用いてこの機能を行うこともできる。表示面へ接触させたままスタイラスへの圧力を解除する（２０８）と、スタイラススイッチが開き、システムは、元の相対的追跡状態２０５へ遷移する。

相対的追跡２０５から、スタイラスをディスプレイから持ち上げると、システムは、相対的クラッチ状態２０４へ戻る。すると、スタイラスを動かしても、ポインタは、動かなくなる。スタイラスを入力装置の検知範囲から離す（２０７）と、システムは、ＯＯＲ状態０ ２００へ戻る。

視覚／聴覚フィードバック
本発明では、現在のマッピングモードおよび状態の切り換えを伝えるために、いくつかの視覚フィードバック手段および聴覚フィードバック手段を実装した。図３Ａは、システムが絶対的マッピングモード２９２にある場合の、スタイラス２８２の位置に対する表示面２５０上のグラフィックポインタ２７０のロケーションを示す。図３Ｂは、システムが相対的マッピングモード２９１にある場合の、スタイラス２８２に対するグラフィックポインタ２７０を示す。本発明のユーザに、相対的または絶対的のいずれかである現在のマッピングを示すために、本発明は、ポインタ２７０の外観を２つのモード間で、例えば、黒および白に変える。同様に、コンピュータシステム２６０は、２つのモード間の切り換え時に音を鳴らすことができる。

また、相対モード２９１にある時、線３０４を表示する。この線は、ポインタのロケーションをスタイラスの位置につなぐ。この線は、ユーザが相対的マッピングモードにあることをユーザに知らせるだけでなく、ユーザが大型ディスプレイ上でポインタを見付ける助けにもなる。

図３Ａおよび図３Ｂは、本発明のユーザがスタイラスを用いて入力を行っている様子を示すが、本入力方法は他の直接入力装置（１本または複数本の指により制御されるタッチセンシティブテーブル等）にも適していることに留意すべきである。

変形
ユーザが絶対的マッピングモード２９２および相対的マッピングモード２９１の間で切り換えを行うことを可能にすることに加えて、ドラッグ操作中にマッピングの遷移を達成することも可能である。相対的ドラッグおよび絶対的ドラッグの間の遷移は、特に興味深い。オブジェクトをドラッグしながらの絶対的マッピングから相対的マッピングへの移行は、ユーザが、Poupyrev他著「Ｇｏ−Ｇｏ対話技法：ＶＲにおける直接操作のための非線形マッピング（The Go-Go interaction technique: non-linear mapping for direct manipulation in VR）」（Proceedings of the 9th annual ACM symposium on User interface software and technology, pp. 79-80, 1996）により記載および提示されたＧｏ−Ｇｏ対話技法に似た方法でグラフィックオブジェクトをディスプレイの離れた部分へ導くことを可能にする。逆に、遠くのオブジェクトを相対的マッピングモードで選択する場合、Bezerianos他によって記載されているように、そのオブジェクトを「吸い込んで」スタイラスの真下に配置することができる。いずれの場合にも、ユーザは、選択したオブジェクトを中断なく扱い続けることができる。

図４は、ユーザがドラッグ操作の最中に相対的マッピングおよび絶対的マッピングの間で切り換えを行うことができる本発明の１つの実施の形態の状態遷移図を示す。グラフィックポインタの下にあるオブジェクトに働きかけると相対的ドラッグクラッチ４０２が生じるが、スタイラスを動かしてもグラフィックポインタは動かない。これは、左マウスボタンを押したままマウスを机の表面から持ち上げることに似ている。スタイラスが表示面と接触している間に「はじく」ジェスチャ４００により、システムが絶対的ドラッグ２０２と相対的ドラッグ入力２０６との間で切り換わる。相対的ドラッグ２０６と相対的追跡との間の変更は、スイッチの開閉動作４１０により達成される。

同様に、スタイラスが表示面の上にある間に、はじくジェスチャ２０３を行うと、システムが絶対的追跡２０１と相対的クラッチ２０４との間で切り換わる。相対的ドラッグクラッチ状態４０２にある間に、スタイラスを持ち上げて入力装置の検知範囲外へ動かす（２０７）と、グラフィックポインタの下にあるグラフィックオブジェクトの操作が終了し、システムは、状態０ ２００へ戻る。

図５は、１本または複数本の指を検知することが可能なタッチセンシティブ入力装置を用いる本発明の１つの実施の形態を示す。初期状態は、状態０入力２００である。ディスプレイに１本指で触れると、システムは、ドラッグ「状態２」２０２へ遷移する。ディスプレイに２本指で同時に触れる（５０１）と、システムは、相対的追跡状態２０５へ遷移する。相対的追跡状態にある間、一方の指を離しても何の効果もなく、両方の指を離すと、システムは、相対的クラッチ２０４状態へ遷移し、表示面を一方の指でタップすると、システムは、相対的ドラッグ２０６状態へ移行する。ユーザは、また、ディスプレイに中指で触れる（５００）ことによって相対的ドラッグ状態２０６および絶対的ドラッグ２０２の間で切り換えを行うことができる。ユーザが所定時間よりも長く相対的クラッチ状態２０４にある場合、システムは、「タイムアウト条件」５０２を合図し、状態０入力２００へ戻る。

入力装置とポインタとの間で絶対的マッピングを用いる従来技術のシステムの状態図である。 入力装置とポインタとの間で相対的マッピングを用いる従来技術のシステムの状態図である。 絶対的マッピングおよび相対的マッピングのユーザ成績を比較するグラフである。 本発明の１つの実施の形態による、直接入力装置に関して絶対的マッピングおよび相対的マッピングの間で切り換えを行うシステムのブロック図である。 本発明の１つの実施の形態による図２Ａのシステムの状態遷移図である。 本発明の１つの実施の形態による視覚フィードバックの概略図である。 本発明の別の実施の形態による視覚フィードバックの概略図である。 本発明の１つの実施の形態の状態遷移図である。 タッチセンシティブ入力装置を用いる本発明の１つの実施の形態の状態遷移図である。

Claims (23)

1. 直接入力装置の位置を表面に表示されるポインタのロケーションにマッピングする方法であって、
   絶対的マッピングモードで動作している時に、直接入力装置の物理的位置と表示装置上のポインタの仮想ロケーションとを絶対的にマッピングすることと、
   相対的マッピングモードで動作している時に、前記直接入力装置の前記物理的位置と前記ポインタの前記仮想ロケーションとを相対的にマッピングすることと、および
   前記直接入力装置から検出される制御信号に応答して前記絶対的にマッピングすることおよび前記相対的にマッピングすることの間で切り換えを行うことと
   を含む直接入力装置の位置を表面に表示されるポインタのロケーションにマッピングする方法。
2. 前記直接入力装置は、タッチセンシティブグラフィック表示面である請求項１に記載の方法。
3. 前記直接入力装置への複数のタッチを複数のユーザにより一意に識別することをさらに含む請求項２に記載の方法。
4. 前記直接入力装置は、スタイラスおよびタッチセンシティブタブレットコンピュータ装置を含む請求項１に記載の方法。
5. 前記絶対的マッピングは、範囲外状態、絶対的追跡状態、および絶対的ドラッグ状態を含み、前記相対的マッピングは、相対的クラッチ状態、相対的追跡状態、および相対的ドラッグ状態を含む請求項１に記載の方法。
6. 前記制御信号は、前記絶対的追跡状態および前記相対的クラッチ状態の間で遷移する請求項５に記載の方法。
7. 前記制御信号は、前記相対的クラッチ状態から前記範囲外状態へ遷移する請求項５に記載の方法。
8. 前記直接入力装置は、スタイラスおよびタッチセンシティブタブレットコンピュータ装置を含み、前記制御信号は、該スタイラスをはじくことに応答する請求項６に記載の方法。
9. 前記直接入力装置は、スタイラスおよびタッチセンシティブタブレットコンピュータ装置を含み、前記制御信号は、該スタイラスを持ち上げて該タブレットコンピュータ装置の検知範囲外へ動かすことに応答する請求項７に記載の方法。
10. 前記直接入力装置は、タッチセンシティブグラフィック表示面であり、前記制御信号は、２箇所の同時タッチを検知することに応答する請求項６に記載の方法。
11. 前記直接入力装置はタッチセンシティブグラフィック表示面であり、前記制御信号は、該表示面から指を離すことに応答する請求項７に記載の方法。
12. 前記絶対的マッピングモードにおいて、前記ポインタは、前記直接入力装置の前記位置に対応するロケーションに表示される請求項１に記載の方法。
13. 前記相対的マッピングモードにおいて、前記ポインタは、前記位置からずれたロケーションに表示される請求項１に記載の方法。
14. 前記ロケーションと前記位置とをつなぐ線を表示することをさらに含む請求項１３に記載の方法。
15. 切り換え時に前記ポインタの外観を変えることをさらに含む請求項１に記載の方法。
16. 切り換え時に音を鳴らすことをさらに含む請求項１に記載の方法。
17. 前記相対的マッピングは、相対的ドラッグクラッチ状態をさらに含み、前記制御信号は、該相対的ドラッグクラッチ状態から前記範囲外状態へ遷移する請求項５に記載の方法。
18. 前記直接入力装置は、スタイラスおよびタッチセンシティブタブレットコンピュータ装置を含み、前記制御信号は、該スタイラスを持ち上げて該タブレットコンピュータ装置の検知範囲外へ動かすことに応答する請求項１７に記載の方法。
19. 前記制御信号に従って前記絶対的ドラッグ状態および前記相対的ドラッグ状態の間で遷移することをさらに含む請求項１７に記載の方法。
20. 前記制御信号は、タイムアウト条件に応答する請求項７に記載の方法。
21. 前記制御信号は、前記直接入力装置に接続されたボタンをユーザが押すことに応答する請求項１に記載の方法。
22. 前記ボタンは、コンピュータスタイラス上にある請求項２１に記載の方法。
23. 直接入力装置の位置を表示装置に表示されるポインタのロケーションにマッピングするシステムであって、
    絶対的マッピングモードで動作している時に、直接入力装置の物理的位置と表示装置上のポインタの仮想ロケーションとを絶対的にマッピングする手段と、
    相対的マッピングモードで動作している時に、前記直接入力装置の前記物理的位置と前記表示装置上の前記ポインタの前記仮想ロケーションとを相対的にマッピングする手段と、
    前記絶対的にマッピングする手段および前記相対的にマッピングする手段により受け取られ、該絶対的マッピング手段および該相対的マッピング手段の間で切り換えを行うように構成される制御信号と
    を備える直接入力装置の位置を表示装置に表示されるポインタのロケーションにマッピングするシステム。

Images