JP4800060B2 - グラフィカルユーザインタフェースを操作する方法及びグラフィカルユーザインタフェース装置 - Google Patents

Description

本発明は、包括的にはグラフィカルユーザインタフェースに関し、特に、オブジェクトが表面に表示され、オブジェクトに対する操作が、オブジェクトをポインティングすること、又はオブジェクトに直接的又は間接的に触れることによって行われるグラフィカルユーザインタフェースに関する。

最も一般的なタイプのグラフィカルユーザインタフェース（ＧＵＩ）は、マウスインタフェース及び直接接触式インタフェースである。グラフィカルユーザインタフェースのこのようなディスプレイ表面に表示されるオブジェクトは通常、操作−オブジェクトというメタファーに従ってユーザによって操作される。

先ず、ユーザは、メニュー又は他のユーザインタフェース手段により、或る事前に定義された一組の可能な動作から操作Ｐを選択する。次に、ユーザは、操作を適用するオブジェクトＯを選択する。時として、メタファーはオブジェクト−操作である。すなわち、先ずオブジェクトＯを選択し、次に操作Ｐを適用する。重要なこととして、オブジェクトＯに適用される操作Ｐは、ディスプレイインタフェース上のオブジェクトの位置Ｌに依存しない。

マウスの右クリック、マウスの左クリック又はマウスのドラッグといった動作Ａを用いて、操作、オブジェクトを選択し、操作を選択したオブジェクトに適用する。動作は、操作を選択されたオブジェクトに適用する。

通常、操作を適用するモードＭは、選択されたオブジェクトＯ（ｉ）が与えられた上で許容される一組の操作Ｐ（ｉ）と、既に選択され且つ／又はオブジェクトに適用された以前の操作Ｐ（ｉ−１）とによって決まる。この場合、操作モードＭは、選択された最後の操作Ｐ（ｉ−１）によって決まる。オブジェクトＯに対する動作Ａの結果は、オブジェクト、モードＭ、及び操作Ｐに基づく。その結果、オブジェクトの現在の状態Ｏ（ｉ）が次の状態Ｏ（ｉ＋１）に変化する。すなわち、Ｏ（ｉ＋１）＝Ｏ（ｉ）＋Ｍ＋Ｐ（ｉ）である。従来技術のインタフェースは通常、モードの視覚的な指示を提供する。多くの場合、モードを設定する最後の操作Ｐ（ｉ−１）は、可視でないか、又は、ツールバーの影及びおそらくはカーソル画像の形で可視である。

図４は、典型的な従来技術のグラフィカルユーザインタフェースの操作の概要を示す。一組の動作４２１を定義する４２０。状態（ｉ）４０１を有するオブジェクトを選択し表示する４３０。特定の動作を実行して４４０操作を行い、オブジェクトの状態を（ｉ＋１）に変化させる。

マウスベースのインタフェースの場合、ポインタ又はカーソルの外観は、現在の操作モードＭ（ｉ）を示すことができる。したがって、ポインタは、ユーザに対して２つの役割を果たす。ポインタは、相対位置情報（動作が行われる場所）及び操作モード（行われる動作）を示す。しかし、この方式は、直接接触式インタフェースでは上手く機能しない。

直接接触式表面を用いる場合、間接的なフィードバック機能はない。すなわち、表面に触れるか、又は表面にほぼ触れること（通常は動作に対応する）なくポインタを動かすことはできない。これは、直接接触式表面では、指がポインタであり入力装置であるためである。したがって、ポインタは、入力手段（例えば手又はスタイラス）が接触感知表面と直接接触していない場合、この入力手段の位置を示すことができない。言い換えれば、入力手段は、ディスプレイ表面の或る部分、具体的には操作を行っている部分を常に遮蔽することになる。これは、視覚ポインタの使用方法が、直接接触式インタフェースの操作モードを表示するための良い選択でないもう１つの理由である。

手によるディスプレイ表面における対話は、指の位置及び両手の位置を変えることによるジェスチャの可能性を提供する。大型ディスプレイは、空間を分割して使用を助けるためのより多くの機能を提供する。例えば、ＰａｌｍＰｉｌｏｔはその接触インタフェースを、スタイラスマークを数字又は文字として認識するための別個の領域に分割している。この単純な分割により、より複雑で、よってより大きな識別可能な一組の入力図（input drawings）を学ぶことをユーザに要求することなく、入力ミスが減る。

したがって、直接接触感知式インタフェースのユーザに対して、オブジェクトに適用することのできる動作がディスプレイ内のオブジェクトの位置に依存する、すなわち、そうした位置がそれぞれモード領域であり、ユーザは、特定の動作を行うことを可能にするためにオブジェクトをウインドウの特別な領域へ移動させるシステムを提供することが望ましい。

本発明は、ディスプレイ表面上のオブジェクトＯの位置Ｌに応じて、一組の動作Ａを用いて一組の操作ＰをオブジェクトＯに適用する接触感知式（タッチセンシティブ）ユーザインタフェースを提供する。

ユーザは、特定の動作Ａ（ｉ）を可能にするために、オブジェクトＯ（ｉ）をディスプレイ表面上の位置Ｌ（ｉ）に移動させる。この操作モードは一般的なものであり、全てのタイプのグラフィカルユーザインタフェースに適用することができ、ユーザが指及び手により操作を行う接触感知式ディスプレイ表面に特に有用である。

したがって、本発明によれば、以下の定式に従って現在の操作モードＭ（ｉ）を判定して視覚的に指示する。
Ｍ（ｉ）＝Ａ（ｉ）＋Ｏ（ｉ）＋Ｌ（ｉ）

本発明は、複数のモードで動作することができ、各モードが、オブジェクトＯが表示されている位置Ｌ（ｉ）によって指示される接触感知式グラフィカルユーザインタフェースを提供する。各位置Ｌ（ｉ）は、その位置のモードＭ（ｉ）を示す特定のテキスト背景等、特有の視覚的外観を有することができる。

オブジェクトは接触感知式ディスプレイ表面に表示される。動作は、この表面に１本指で触れること、又は複数本の指で触れることであり得る。接触は、ジェスチャを生じる指（複数可）の動きを含むことができる。同一の動作が、その行われる位置に応じて異なるモードを生じ得る。

図１は、本発明によるマルチモデル（multi-model）接触感知式グラフィカルユーザインタフェース１００を示す。このシステムは、接触感知表面２００を有するテーブル１１０、１つ又は複数の椅子１２０、プロジェクタ１３０、及びプロセッサ１４０を備える。椅子１２０の１つに座るユーザが表面２００に触れると、容量結合が生じる。独特な特徴として、１人のユーザ又は複数のユーザについて複数の接触又はジェスチャを同時に検出することができる。

接触に従って画像を表面２００に表示する。画像は、操作すべき選択されたオブジェクトＯ（ｉ）、例えば文書を含む。オブジェクトは、写真、ビデオ、図等も含み得ることを理解すべきである。したがって、オブジェクトは異なるタイプＴを有することができ、操作及び本発明を行うモードはオブジェクトのタイプに依存し得る。

本発明では、複数のユーザからの複数の接触点を同時に認識することができる接触表面を使用することが好ましい。Dietz等著「DiamondTouch: A multi-user touch technology」Proc. User Interface Software and Technology (UIST) 2001, pp. 219-226, 2001、及びDietz他に対して２００２年１２月２４日付で発行された米国特許第６，４９８，５９０号「Multi-user touch surface」（参照により本明細書中に援用する）を参照のこと。ハンドジェスチャは、Wu他により２００３年９月１０日付で出願された米国特許出願第１０／６５９，１８０号「Hand Gesture Interaction with Touch Surface」（参照により本明細書中に援用する）に記載されている。

文書編集用途の例について図２に示すように、表面２００は、一組の領域２０１〜２０４、例えば、レイアウト領域２０１、切り取り領域２０２、サイズ変更領域２０３、及び注釈付け領域２０４に分割される。各領域は、一組の固有の重複しない位置Ｌ（ｉ）を画定する。

一組の動作Ａ（ｉ）を定義する。動作は、接触ジェスチャ、例えば、１度に１本、２本、又は３本の指によるディスプレイインタフェースへの接触という形である。本発明の特徴として、接触ジェスチャは、接触位置Ｌ（ｉ）に応じて、インタフェースの異なる操作モードＭ（ｉ）として解釈することができる。したがって、可能なインタフェース操作モードの数は一組の動作よりも多い。

レイアウト領域２０１において、ユーザは、表示されたオブジェクト２１０、例えば選択された文書２１０に１本、２本又は３本の指で触れることによって、この文書を動かすことができる。他の領域では、２本指で触れることにより文書を動かす。

文書が切り取り領域２０２に移動されると、１本指で触れることにより、その接触位置を通り文書の垂直方向の両縁へ延びる水平な直線に沿って文書が「切り取られる」。３本指で触れることにより、文書の矩形部分が切り出される。最も離れた接触位置に対応する２本の指の距離が矩形部分の対角線上の２つの対向する角を定める。直線及び矩形部分は２つのタイプの視覚フィードバックである。

文書がサイズ変更領域２０３に移動されると、１本指で触れることにより文書のサイズが大きくなり、３本指で触れることによりサイズが小さくなる。

文書が注釈付け領域２０４に移動されると、１本指での接触を用いて触れた文書に注釈が付けられ、３本指で触れることにより注釈が消去される。

異なるジェスチャ又は動作は３つしかないため、ユーザは、ジェスチャを素早く学ぶことができ、その一方で、より多くの異なる操作モード、すなわち、移動、切り取り、サイズ変更、注釈付け及び消去にアクセスすることができる。

したがって、図３に示すように、グラフィカルユーザインタフェース１００を操作する方法３００は以下のステップを含む。グラフィカルユーザインタフェースのディスプレイ表面２００を、複数の領域に分割し３１０、一組の固有の重複しない位置３１１を各領域に関連付ける。インタフェースにより実行する一組の動作３２１を定義する３２０。状態（ｉ）３０１を有するオブジェクトを選択し表示する３３０。オブジェクトを特定の位置に移動させる３４０。次に、ディスプレイ表面上のオブジェクトの特定の位置に応じて、一組の動作のうち特定の動作をオブジェクトに対して行う３５０。これにより、オブジェクトは次の状態（ｉ＋１）３０２に変化し、グラフィカルユーザインタフェースがその特定の動作に対する複数のモードのうちの１つで操作される。

本発明を好ましい実施形態の例として説明してきたが、本発明の精神及び範囲内で様々な他の適応及び変更を行ってもよいことを理解されたい。したがって、添付の特許請求の範囲の目的は、本発明の真の精神及び範囲に入るそのような変形及び変更をすべて網羅することである。

本発明によるグラフィカルユーザインタフェースの側面図である。 本発明によるインタフェースの上面図である。 図２のインタフェースの操作方法のフロー図である。 従来技術のユーザインタフェースを操作するためのフロー図である。

Claims (12)

1. グラフィカルユーザインタフェースを操作する方法であって、
   前記グラフィカルユーザインタフェースのディスプレイ表面を複数の領域に分割するとともに、一組の固有の重複しない位置を各領域に関連付けること、
   前記グラフィカルユーザインタフェースによって行うことのできる一組の動作を定義すること、
   前記ディスプレイ表面に表示するオブジェクトを選択すること、
   前記オブジェクトを特定の位置に移動させること、
   及び
   前記ディスプレイ表面上の前記オブジェクトの前記特定の位置に応じて、前記一組の動作のうち特定の動作を前記選択されたオブジェクトに対して行い、前記グラフィカルユーザインタフェースを前記特定の動作に対する複数のモードのうちの１つで操作すること
   を含み、
   前記ディスプレイ表面は、レイアウト領域、切り取り領域、サイズ変更領域、及び注釈付け領域に分割される、方法。
2. 前記ディスプレイ表面は、接触感知式であり、
   各動作を接触ジェスチャとして定義することをさらに含む
   請求項１記載の方法。
3. 複数のユーザによる複数の接触位置を同時に感知するとともに、各接触位置を特定のユーザに関連付けることをさらに含む
   請求項２記載の方法。
4. 前記選択されたオブジェクトを含む、画像を前記ディスプレイ表面に投影することをさらに含む
   請求項１記載の方法。
5. 前記複数のユーザは、前記ディスプレイ表面に触れると前記ディスプレイ表面に容量結合される
   請求項２記載の方法。
6. 前記オブジェクトは文書であり、前記文書は、１本又は複数の指で触れることによって前記レイアウト領域内で移動される
   請求項１記載の方法。
7. 前記オブジェクトは文書であり、前記文書は、２本指で触れることによって前記切り取り領域、前記サイズ変更領域、及び前記注釈付け領域内で移動される
   請求項１記載の方法。
8. 前記オブジェクトは、前記切り取り領域に移動された文書であり、前記切り取り領域において、前記文書は、１本指の触れる位置を通り前記文書の垂直方向の両縁へ延びる水平な直線に沿って切り取られる
   請求項１記載の方法。
9. 前記オブジェクトは、前記切り取り領域に移動された文書であり、前記切り取り領域において、３本指で触れることにより前記文書の矩形部分が切り取られ、最も離れた２つの位置に対応する２本指の距離が、前記矩形部分の対角線上の２つの対向する角を定める
   請求項１記載の方法。
10. 前記オブジェクトは、前記サイズ変更領域に移動された文書であり、前記サイズ変更領域において、１本指で触れることにより前記文書のサイズが大きくなり、３本指で触れることにより前記文書のサイズが小さくなる
    請求項１記載の方法。
11. 前記オブジェクトは、前記注釈付け領域に移動された文書であり、前記注釈付け領域において、１本指で触れることにより前記文書に注釈が付けられ、３本指で触れることにより前記注釈が消去される
    請求項１記載の方法。
12. グラフィカルユーザインタフェース装置であって、
    複数の領域に分割され、一組の固有の重複しない位置が各領域に関連付けられる、ディスプレイ表面と、
    前記インタフェース装置によって行うことのできる一組の動作を定義する手段と、
    前記ディスプレイ表面に表示されるオブジェクトと、
    前記オブジェクトを特定の位置に移動させる手段と、
    前記ディスプレイ表面上の前記オブジェクトの前記特定の位置に応じて、前記一組の動作のうち特定の動作を前記選択されたオブジェクトに対して行い、前記グラフィカルユーザインタフェース装置を前記特定の動作に対する複数のモードのうちの１つで操作する手段と
    を備え、
    前記ディスプレイ表面は、レイアウト領域、切り取り領域、サイズ変更領域、及び注釈付け領域に分割される、グラフィカルユーザインタフェース装置。

Images