JP2004523850A - 入力装置の動きに基づいてオブジェクトのための機能を実行する方法およびコンピュータシステム - Google Patents

Abstract

本発明は、データ処理コンピュータシステム（１００）の機能を実行する方法（４００）、コンピュータプログラム製品（２００）およびシステム（１００）について述べる。前記機能はオブジェクト（１２５）に関連している。前記方法は、ディスプレイ装置（１２０）上にオブジェクトのグラフィカルな表現を表示するステップと、入力装置（１３０）から動きデータ（１３１）を受信するステップと、動きデータに対応する、カーソルの動き（１２１）に合うマッチング動きパターン（２２１）を識別するステップと、マッチング動きパターンおよびオブジェクトに関連する機能（２４１）を選択するステップと、オブジェクトのために機能を実行するステップとによって実行される。識別ステップは、時間軸上でのカーソル座標の変化（１２２から１２４）として、カーソルの動きを測定することによって実行することができる。結果は、予め定義された基準動きパターン群（２２０）と比較される。１つの動きパターンが、前記オブジェクトのためのマッチング動きパターンとして、複数の基準動きパターンの中から選択される。

Description

【技術分野】
【０００１】
本発明は、大まかにはデータ処理システムに関し、より詳細にはデータ処理システムとユーザの対話を改善する方法に関する。以下、データ処理システムをコンピュータと称する。
【背景技術】
【０００２】
一般に、コンピュータとユーザの対話は、モニタのようなディスプレイ装置およびマウスのような入力装置から成るグラフィカルユーザーインターフェース（ＧＵＩ）を通して行われる。ユーザは、入力装置の動きを通してユーザによって制御可能な動くカーソルを用いて、ディスプレイ装置上に表示されるグラフィカルなオブジェクト（object）を指さす。グラフィカルインターフェースを介したユーザとの対話を容易にするために、スクロールするためのボタンまたはホイールが、入力装置に追加された。これらの追加のハードウェアの機能は、ユーザが、マウスボタンをクリックするか、またはスクロールホイールを用いることによって、表示されたオブジェクトを指さすのみならず、これらのオブジェクトと相関がある指定された機能（function）を実行することを可能にする。このようなインターフェースによって、ユーザは、もはや、対応する機能を実行するために、全てのあり得るコマンドを知って、コマンドラインエディタで、これらのコマンドを入力することを強制されはしない。
【０００３】
入力装置としてのマウス装置は、公知技術であり、特定のオブジェクトのコンテキスト（context）の中の、より多くの機能を実行するために、より多くの機能性（functionality）を追加することによって、時と共に絶え間なく改良されてきた。例えば、マウスカーソルの位置が、コンピュータシステムのディスプレイ装置上で、グラフィカルなオブジェクトの位置と重なったときに、別のボタン、例えば左右のマウスボタンを用いることによって、別の動作または機能を、そのオブジェクトに対して実行することができる。一般に、左ボタンを一回クリックすると、オブジェクトが選択され、左ボタンを二回クリックすると、オブジェクトと関連付けられたプログラムが起動される。オブジェクトの種類に応じて、起動は、例えば、コンピュータ上で、文書処理プログラムのエディタ内にオブジェクトをロードすること、または実行可能なプログラムを起動することであってもよい。右ボタンを一回クリックすると、コンテキストメニューがディスプレイ装置上に表示される。コンテキストメニューは、そのオブジェクトのために実行可能な拡張された機能のリストを提供し、通常、左ボタンの機能も含んでいる。例えば、テキストオブジェクトのコンテキストにおける予め定義された機能は、オブジェクトをプリンタに送ること、オブジェクトを削除すること、またはそれを電子メールで別の人に送ることである。
【０００４】
更に、いくつかのマウス装置は、３つのボタンを有していて、ユーザは、機能を第３のボタンに割り当てることができる（例えば、ダブルクリック機能）。
【０００５】
更に、いくつかのマウス装置は、画面上のページをスクロールするための追加のホイールを有している。マウスのような装置の現在の技術的発展は、これらの装置を、より複雑にしている。
【０００６】
ラップトップおよびノートブック型のコンピュータの出現と共に、トラックボールベースの装置が、従来のマウス装置の全ての機能を置き換えようとして、コンピュータ装置に組み込まれた。トラックボールとマウスボタンは、物理的に切り離された。何人かのユーザにとって、これは、マウスのような装置と比較して、不便であるかもしれない。
【０００７】
更に、コンピュータがどんどん小さくなり、ＰＤＡ（パーソナルデジタルアシスタント）のような形になると、マウスは完全に消え、ペンのような装置によって置き換えられた。それは、直接、接触感知（touch sensitive）ディスプレイ装置上に書くものであり、これにより入力装置になる。しかし、ペンのような装置に対しては、例えば表示されたオブジェクトのためのコンテキストメニューを表示するための、第１のボタン例えば左ボタンとは異なる入力信号を提供するための、第２のマウスボタン例えば右のマウスボタンまたは第３のマウスボタンのようなものがないという技術的問題が発生する。その結果、全てのあり得る種類のオブジェクトのための全てのあり得る機能を提供する大量のメニューを、非常に小さなサイズの画面上に、一斉に表示しなければならない。これは、例えば、小さなアイコンによって機能を表現するか、または多層のメニューを持つことを要求する。これは、ユーザとの対話が不十分になることを意味する。これは、特にグラフィカルユーザーインターフェースのための、対話の機能性が制限されるという問題があることを意味する。
【０００８】
以下の文書は、役に立つ。
・特許出願 WO 99 42920 A (Dobler 他)
・特許出願 EP 0 723 217 A (Falcon)
・１９９１年１１月１１日の "Issues in combining marking and direct manipulation techniques" (Kurtenbach 他), UIST '91 4th annual symposium on user interface software and technology の会報の１３７〜１４４ページ
・１９９３年５月１日の "Pen-based user interfaces" (Millen), AT&T Technical Journal, vol. 72, no. 3 の２１〜２７ページ
・日本の特許抄録（patent abstracts）、２０００年３月３０日の vol. 2000, no. 03 及び１９９９年１２月１４日の JP 11 345071 A
・日本の特許抄録、１９９９年８月３１日の vol. 1999, no. 10 及び１９９９年５月２８日の JP 11 143445 A
【発明の開示】
【発明が解決しようとする課題】
【０００９】
本発明は、コンピュータ装置とユーザの対話を改善するという技術的問題を解決するための方法、コンピュータプログラム製品およびシステムを提供しようとするものである。
【課題を解決するための手段】
【００１０】
コンピュータとユーザの対話が制限されるという技術的問題を解決するために、請求項１によれば、本発明は、オブジェクトのコンテキストの中の、データ処理コンピュータシステムの機能を実行する方法を提供する。オブジェクトは、ディスプレイ装置上のグラフィカルな表現を有している。ユーザは、入力装置によって動きを実行する。コンピュータシステムは、対応する動きデータを受信するが、それは、好ましくは、ディスプレイ装置上にカーソルの動きを表示する。カーソルの動きは、ディスプレイ装置上の連続したカーソル座標として記述することができる。請求項１５によるコンピュータプログラム製品（ＣＰＰ）は、前記カーソルの動きの中から、あらかじめ定義されたマッチング（matching）動きパターンを識別し、このマッチング動きパターンをオブジェクトと関連付ける。ＣＰＰは、マッチング動きパターンとオブジェクトの組み合わせを用いて、複数の機能の中から少なくとも１つの機能を選択する。最後に、前記機能が、オブジェクトのために実行される。
【００１１】
本発明の利点は、以下のように要約することができる。入力装置は、たくさんのハードウェア機能を必要としない。また、この入力装置は、障害のある人も用いることができる。ユーザは、その機能と関連する動きを実行することによって、グラフィカルなオブジェクトと相関がある複数の機能に対する直接のアクセスを得る（メニューの階層構造は必要ない）。動きパターンの形は、機能を意味する（例えば削除するための‘ｘ’、送るための矢印、確認するためのフック）ことが可能なので、その結果、ユーザは簡単に記憶することができる。
【００１２】
特に、たくさんのハードウェア機能を有する非常に洗練された入力装置、例えばマウスがない場合に、本発明は、入力装置の単純な動きによって、コンピュータと対話して、このコンピュータを制御するソフトウェアベースの便利な方法を記述する。従来の入力装置を用いることが不可能な障害をもつ人でさえ、動きデータ、例えば人の体の任意の部分（例えば頭、腕）の動きを捕捉する入力装置を用いることによって、コンピュータと対話することが可能になる。
【００１３】
好ましくは、請求項２のように、本発明は、測定されたカーソルの動きに合うマッチング動きパターンを識別する。これは、カーソルの動きを、予め定義された動きパターン群（ライブラリ）と比較することによって達成される。このようなライブラリの利点は、以下の通りである。それは、どこにでも格納することができる。それは、簡単に交換することができる。それは、いかなる当業者でも作成することができる。好ましくは、請求項９のように、本発明は、入力装置から受信される動きデータが、三次元になることを可能にする。三次元ディスプレイ装置、例えばバーチャルリアリティ眼鏡と組み合わされた入力装置、例えばデータ入力グローブは、ユーザに、動きの自由度を追加することを可能にするという利点がある。これは、直観的な基準動きパターンの可能な数を増やす。
【００１４】
好ましくは、請求項４および５のように、本発明は、ひとたびマッチング動きパターンが入力装置によるユーザの動きの中で認識されたら、ユーザに視覚的なフィードバックを与える。この目的のために、マッチング動きパターンのグラフィカルな表現が、ディスプレイ装置上に視覚化され、かつ、そのサイズは、カーソルの動きのサイズに自動的に調節される。動きパターンが識別されると、ユーザに直ちに通知され、かつ対応する機能が実行されるという利点がある。これは、特に選択された機能がバックグラウンドで実行されるときに、ユーザの不安（uncertainty）を避け、かつ、その結果、ユーザが再び同じ動きを実行してしまうことを防止する。
【００１５】
好ましくは、請求項６および７のように、本発明は、異なる環境（environment）で動作する場合に、同じ動きパターンに対して異なる機能を実行するための技術的な解決策を提供する。異なる環境とは、例えば、ヨーロッパ、アジアまたはアメリカ文化のような異なる文化であってもよい。常に環境に特有の機能を動きパターンにマッピングしている環境テーブルを切り替えるだけで、予め定義された動きパターンの同じライブラリを、全ての環境で用いることができるという利点がある。
【００１６】
好ましくは、請求項８のように、本発明は、動きパターン群（ライブラリ）に、更に、個人専用の基準動きパターンを追加することを可能にする。入力装置からの少なくとも２組の異なる動きデータが記録され、ユーザは、好ましくは、記録の全てにおいて、同じ動きを実行しようとする。ＣＰＰは、予め記録された動きデータから、平均カーソル座標を計算して、これは平均の形という結果になる。また、平均の形のための許容範囲は、例えば、標準偏差計算を用いて計算される。平均の形および許容範囲の両方が、新しい基準動きパターンとして格納される。入力装置を動かすユーザに特有の方法が、基準動きパターンの中で考慮されるという利点がある。したがって、ユーザは、予め定義された動きパターンに従って入力装置を動かすことを学ぶ必要はない。むしろ、システムが学んで、ユーザに特有な動きデータを認識する。
【００１７】
ある場合には、同じ動きパターンが、複数の機能を意味することもできる。この問題は、請求項１０の特徴によって解決され、入力装置からの動きデータの他に、更なる信号が、更なる入力装置から受信される。機能は、オブジェクトに対して、信号とマッチング動きパターンの組み合わせに従って、複数の機能の中から選択される。例えば、入力装置によってオブジェクトのまわりで円の動きを行うと、オブジェクトが選択されるが、更なる入力装置（例えばキーボード）上の“プリント”キーを同時に押すと、オブジェクトの内容が直接プリンタに送られるという利点がある。
【００１８】
入力装置の単一の動きによって複数のオブジェクトのための機能を実行することは、便利かもしれない。好ましくは、請求項１１のように、本発明は、更なるカーソルの動きおよび対応するマッチング動きパターンを複数のオブジェクトに関連付ける。例えば、円で囲まれた全てのオブジェクトは、各々のオブジェクトに対して対応するマッチング動きパターンと関連する機能（例えばオブジェクトを起動する）にかけられるという利点がある。
【００１９】
安全の観点から見て重要な機能（例えば個人データを有するシステムへのログオン）を実行するために用いられる動きパターン、例えばユーザの署名の動きは、他人による濫用を避けるために、特定のユーザに対してユニークでなければならない。請求項１２のように、本発明は、入力装置からの接触感知（contact sensitive）情報をカーソルの動きデータに追加するという解決策を提供する。圧力値は、全てのカーソルの動きに対する各カーソル座標で測定される。したがって、測定された圧力値は、カーソルの動きデータの一部になり、それぞれが圧力値を含む予め定義された動きパターンとの比較に用いられる。特に（請求項８のように）更なる基準動きパターンの個人専用の記録と組み合わされると、カーソルの動きの各座標での圧力値は、ユーザに特有の、個人的な値であり、それは別のユーザによってコピーされることがほとんど不可能なので、動きパターンは、特定のユーザに対してユニークになる。このようなユニークな動きパターンは、請求項１３のように、デジタル署名を作成するために用いることができる。
【００２０】
再度、本発明の利点の引用は行わないが、本発明は、請求項１４、１５および１６のように、コンピュータシステムとして記述することもできる。コンピュータシステムは、実行可能なプログラムコードの形の手段を有していて、これは、システムが、請求項１から１３のような、本発明の方法における全ての方法のステップを実行することを可能にする。請求項１４のように、オブジェクトに関する機能を実行するために、第１の手段は、ディスプレイ装置上にオブジェクトのグラフィカルな表現を表示する。第２の手段は、入力装置から動きデータを受信し、この動きデータは、ディスプレイ装置上にカーソルの動きを描く。カーソルの動きは、ディスプレイ装置のカーソル座標を通過する。第３の手段は、オブジェクトに対するカーソルの動きの中のマッチング動きパターンを識別する。マッチング動きパターンは、予め定義された動きパターンである。第４の手段は、オブジェクトのための複数の機能の中から１つの機能を選択する。この機能は、マッチング動きパターンに割り当てられている。第５の手段は、オブジェクトに関して機能を実行する。
【００２１】
好ましくは、請求項１５のように、第３の手段は、マッチング動きパターンを識別するために、更なる手段を有している。第６の手段は、時間軸上でのカーソル座標の変化として、カーソルの動きを測定する。第７の手段は、カーソルの動きを、複数の予め定義された基準動きパターンと比較する。第８の手段は、前記オブジェクトに関するマッチング動きパターンとして、複数の予め定義された動きパターンの中から、１つの動きパターンを選択する。
【００２２】
好ましくは、請求項１６のように、コンピュータシステムは、更に、基準動きパターンを、複数の動きパターンに追加する手段を有している。これは、
入力装置からの第１の組の動きデータを記録し、
前記入力装置からの第２の組の動きデータを記録し、
平均カーソル座標および許容範囲を、予め記録された組の動きデータから計算し、これは基準動きパターンの形という結果になり、
この計算の結果を、更なる基準動きパターンとして、複数の基準動きパターンの中に格納することによって達成される。
【発明を実施するための最良の形態】
【００２３】
従来技術
図１は、従来技術のコンピュータ１、ディスプレイ装置２およびマウスのような入力装置３の単純化された図を示す。ディスプレイ装置２および入力装置３の両方が、コンピュータ１に接続されている。入力装置としてのマウスは、公知技術であり、特定のオブジェクトのための機能を実行するために、より多くの機能性を追加することによって、時と共に絶え間なく改良されてきた。この例では、入力装置３は、右ボタン３−１および左ボタン３−２を有している。ディスプレイ装置２は、オブジェクト１０およびカーソル１１を表示している。ディスプレイ装置２上でのカーソル１１の位置は、入力装置３によって制御される。カーソル１１の位置が、オブジェクト１０のグラフィカルな表現の位置と重なったときに、ボタン３−１および３−２を用いて、いろいろな機能を、オブジェクト１０のコンテキストの中から実行することができる。一般に、一回左ボタン３−１をクリックすると、オブジェクト１０が選択される。二回左ボタン３−１をクリックすると、オブジェクトと関連付けられたプログラムが起動する。オブジェクト１０の種類に応じて、起動は、例えば、エディタ内にオブジェクトをロードすること、または実行可能なプログラムを起動することであってもよい。一回右ボタン３−１をクリックすると、コンテキストメニュー１２が、ディスプレイ装置２上に表示される。コンテキストメニュー１２は、そのオブジェクトのために実行可能な機能（Ｆ１’からＦ５’）の拡張されたリストを提供し、左ボタン３−２の機能を含んでいる。例えば、テキストオブジェクトのコンテキストの中の予め定義された機能は、オブジェクトをプリンタに送ること、オブジェクトを削除すること、またはそれを電子メールで別の人に送ることである。
【００２４】
好適な実施形態の詳細な説明
従来技術においては、たくさんの機能性、例えば左右のマウスボタンを入力装置に追加して、表示されたオブジェクトのコンテキストの中の機能の便利な実行を可能にしたが、本発明は、入力装置の機能性を更に追加する必要なしで、単にオブジェクトに関して入力装置を動かすことによって、オブジェクトのための機能（すなわち、そのオブジェクトと関連付けられている機能）を実行するという技術的解決策を提供する。
【００２５】
本発明は、特に、マウス装置におけるような機能的な性能（capability）を提供しない、単純な入力装置、例えばタッチスクリーンと共に用いるペンのような装置に価値を付加する。したがって、本発明は、コンピュータ装置と人間であるユーザの対話のための簡単な対話モデルによって、オブジェクトのコンテキスト内の機能を実行する、便利な、技術的解決策を提供する。これにより、対話モデルは、入力装置が可変の速度および圧力で動かされる可能性があることを考慮に入れる。
【００２６】
図２は、コンピュータプログラム製品２００を用いることによって、本発明に従って動作するコンピュータシステム１００の単純化された機能的ブロック図を示している。例えば、コンピュータシステム１００は、マウス、キーボードおよびモニタを有するパーソナルコンピュータ、またはスタイラスおよびタッチスクリーンを有するパーソナルデジタルアシスタント（ＰＤＡ）、またはユーザとの対話が可能な他のいかなるコンピュータシステムであってもよい。コンピュータシステム１００は、入力装置１３０、ディスプレイ装置１２０、プロセッサ１６０（ＣＰＵ）、およびメモリ装置１９０を備えていて、これらはバス１１０を介して通信する。コンピュータプログラム製品２００（ＣＰＰ）は、メモリ装置１９０内に常駐し、プロセッサ１６０によって実行される。説明の都合により、基準動きパターン２２１〜２２３の群（plurality）２２０が、ＣＰＰ２００の一部として示されている。しかし、これは本発明に必須というわけではない。当業者であれば、群２２０を、例えば、ネットワークによってコンピュータシステム１００に接続される、更なるコンピュータシステムのメモリ部（図２には示していない）内に組み込むこともできる。基準動きパターンという用語については、後に説明する。
【００２７】
ＣＰＰ２００の更なる構成要素は、パターン識別器２７０、第１および第２の環境テーブル２８０および２８１、機能２４１から２４３（Ｆ１からＦ３）の群２４０である。パターン識別器２７０は、インターフェース２０１を介して群２２０と通信し、かつインターフェース２０２を介して第１および第２の環境（environment）テーブル２８０、２８１と通信する。環境テーブル２８０、２８１は、インターフェース２０３を介して群２４０と通信する。これらの構成要素の目的は、以下の図のコンテキストの中で説明する。
【００２８】
割り当て５０１および５０２は、断続線で示されている。割り当て５０１は、環境テーブル２８０、２８１がオブジェクト１２５に割り当てられていることを示している。なぜなら、それらが機能Ｆ１からＦ３を含んでいて、これらは全てオブジェクト１２５に適用できるからである。割り当て５０２は、テーブル２８０、２８１内の機能が、複数のオブジェクト１２６〜１２８にも適用できることを示している。
【００２９】
アイコン５１０は、ディスプレイ１２０の座標系を表している。５１０の原点の位置は、本発明にとって重要ではない。“座標”という用語を用いるときは、常に、座標系５１０の座標に関するものとする。好ましくは、座標系５１０は、少なくともｘおよびｙ座標を有するデカルト座標系である。
【００３０】
図３は、本発明による方法４００の単純化されたフローチャートを示す。好ましくは、方法４００は、ＣＰＰ２００を用いるコンピュータシステム１００によって実行され、オブジェクト１２５に対して少なくとも１つの機能（例えば２４１〜２４３）を実行する。オブジェクト１２５は、例えば、テキストファイル、グラフィックスファイル、実行可能なプログラムファイル、ハイパーリンクなどのディスプレイ装置１２０上でのグラフィカルな表現である。機能２４１〜２４３と、それらのラベルＦ１〜Ｆ３（図２参照）は、同義語として用いられる。
【００３１】
方法４００は、
グラフィカルな表現を表示するステップ４１０と、
動きデータを受信するステップ４２０と、
マッチング動きパターンを識別するステップ４３０と、
機能を選択するステップ４４０と、
前記機能を実行するステップ４５０とを有している。
【００３２】
ステップ４１０において、コンピュータシステム１００は、ディスプレイ装置１２０上にオブジェクト１２５を表示する。
【００３３】
ステップ４２０において、コンピュータシステム１００は、ユーザによって動かされる入力装置１３０を通して動きデータ１３１を受信する。動きデータ１３１は、ディスプレイ装置１２０上のカーソルの動き１２１として視覚化される。カーソルが動いている間、カーソル座標は変化する。カーソルの動き１２１は、一連のカーソル座標によって定義される。例えば、カーソルの動き１２１は、最初はカーソル座標１２２を通過し、後にカーソル座標１２３および１２４を通過する。入力装置１３０が二次元の動きデータを提供することが、本発明にとって都合が良い。しかし、公知技術である入力装置、例えば対話用グローブは、三次元の動きデータを提供することができる。例えば、三次元の動きデータは、二次元のディスプレイ装置１２０上に、疑似三次元グラフィックスとして表示される。ディスプレイ装置１２０の更なる実施形態は、本物の三次元ディスプレイ装置、例えば本物の三次元グラフィックスを生成するホログラム投影機である。
【００３４】
ステップ４３０において、ＣＰＰ２００（図２参照）は、前記オブジェクト１２５に対する前記カーソルの動き１２１の中のマッチング動きパターン２２１を識別する。ここで、マッチング動きパターン２２１とは、予め定義された基準動きパターン（例えば２２１〜２２３）である。
【００３５】
ＣＰＰ２００の好ましい実施形態は、パターン識別器（identifier）２７０（図２参照）を有していて、それは、時間軸上でのカーソル座標の変化（１２２から１２４）として、カーソルの動き１２１を測定する。好ましくは、変化は、オブジェクト１２５に関して定義される。パターン識別器２７０は、前記カーソル座標の変化（１２４から１２２）に基づいて、カーソルの動き１２１を、予め定義された基準動きパターン（２２１から２２３）の群２２０と比較する。更に、パターン識別器２７０は、オブジェクト１２５に対するマッチング動きパターン２２１として、予め定義された基準動きパターン群２２０の中から、１つの動きパターンを選択する。
【００３６】
ステップ４４０において、ＣＰＰ２００は、オブジェクト１２５に対する機能Ｆ１、Ｆ２、Ｆ３の群２４０の中から、少なくとも１つの機能Ｆ１を選択する。ここで、機能Ｆ１は、マッチング動きパターン２２１（例えば“円”）に割り当てられている。ＣＰＰ２００の好ましい実施形態は、環境テーブル２８０を有している。環境テーブル２８０は、割り当てテーブルであり、ここで、テーブル２８０の右の列２８０−２における機能Ｆ１、Ｆ２、Ｆ３が、テーブル２８０の左の列２８０−１における予め定義された基準動きパターン（２２１から２２３）に割り当てられている。断続線５０１（図２参照）は、テーブル２８０において、オブジェクト１２５に適用できる機能（列２８０−２）だけが、列２８０−１における対応する予め定義された基準動きパターンに割り当てられることを示している。
【００３７】
グラフィカルなシンボルは、異なる文化においては、異なる意味を有する場合がある。例えば、いくつかの国においては、クロスは、しばしばチェックマークとして用いられるのに対して、他の国においては、チェックマークは、一般にフックによって表され、クロスは‘削除’を表す。異なる環境のために同じ機能を異なるシンボルに割り当てるという技術的問題は、第２の環境テーブル２８１をロードするＣＰＰ２００の能力（ability）によって解決される。第２の環境テーブル２８１では、対応する予め定義された基準動きパターンに対する機能（Ｆ１、Ｆ２、Ｆ３）の割り当てが、テーブル２８０とは異なっている。好ましくはテーブル２８１に対する起動（activation）フラグをセットすることによって、このテーブルをアクティブにしているときに、四角形２２３がパターン識別器２７０によって識別されると、ＣＰＰ２００は機能Ｆ１を選択する。これより前に、テーブル２８０がアクティブな（active）テーブルであるときに、円２２１が識別されると、Ｆ１が選択されていた。ステップ４５０において、プロセッサ１６０は、オブジェクト１２５に対する選択された機能Ｆ１に対応するコンピュータプログラムインストラクションを実行する。
【００３８】
オプションのステップ４２５（断続枠、図３参照）において、ＣＰＰ２００は、入力装置１３０から接触感知情報（圧力値）を受信する。ステップ４３０で述べたようなカーソルの動き１２１の測定の他に、パターン識別器２７０は、全てのカーソルの動き１２１に対する各カーソル座標で、圧力値も測定する。カーソルの動きデータ１２１の一部になる、この圧力値は、ステップ４３０における基準動きパターン群２２０とカーソルの動きデータ１２１の比較に用いられる。ここで、各基準動きパターンは、圧力値も含んでいる。
【００３９】
マッチング動きパターン２２１がシステム１００によって識別されたときに、ディスプレイ装置１２０上にグラフィカルなフィードバックを得ることは、時には、ユーザにとって都合が良い。特に、オブジェクト１２５に対する機能がバックグラウンドで実行されるとき、例えば一晩中動作しているバッチジョブ（バックグラウンドで動作しているコンピュータプログラム）の場合、ユーザには、入力装置１３０上での動きデータ１３１が、パターン識別器２７０によって本当に認識されたかどうかが分からないかもしれない。
【００４０】
それゆえに、オプションとして、ひとたびマッチング動きパターン２２１が、カーソルの動き１２１と相関があるものとして識別されれば、マッチング動きパターン２２１の形のグラフィカルな表現が、ディスプレイ装置１２０上のカーソルの動き１２１が生じた領域に表示される。ユーザーインターフェースプログラミングの当業者であれば、元のカーソルの動きデータ１２１のサイズによって、マッチング動きパターン２２１のグラフィカルな表現のサイズを調節することができる。
【００４１】
図４は、動きパターン群２２０に、更なる基準動きパターン２２５を追加する、方法４００の追加の、オプションのステップ４０５の詳細を示す。好ましくは、ステップ４０５は、方法４００（図３参照）のステップ４１０の前またはステップ４５０の後に、以下の順序で、パターン識別器２７０の好ましい実施形態を用いて実行される（図５参照）。
【００４２】
入力装置１３０からの第１の組１３５−１の動きデータが記録される（４０６）。パターン識別器２７０が、方法４００のステップ４３０に従って動きデータを測定する（図３参照）。測定結果２７１−１は、パターン識別器２７０の中間記憶部２７１に一時的に格納される。
【００４３】
その後、入力装置１３０からの第２の組１３５−２の動きデータが記録される（４０７）。
【００４４】
パターン識別器２７０は、ステップ４０８において、以前の記録４０６と４０７の反復によって得られる結果２７１−１と２７１−２を平均することによって、基準動きパターン２２５の形２７１−９９および前記動きパターンに対する許容範囲２７１−０を計算する。どの公式が形２７１−９９および許容範囲２７１−０を計算するために適用されるかは、本発明にとって重要ではない。公知技術における、幾何学的に平均された形を計算するのに適用できる、いかなる公式も、群２２０に加えることができる基準動きパターン２２５を計算する目的にかなう。画像処理の分野のプログラマのような当業者であれば、与えられた状況におけるシステム１００の要求に最も適した公式を定義することができる。
【００４５】
パターン識別器２７０は、群２２０の中の更なる基準動きパターン２２５として、平均の形の計算の結果を格納する（４０９）ことによって、群２２０の基準動きパターンを更新する。この更新は、矢印２７２によって示されている（図５参照）。
【００４６】
図５は、方法４００のオプションのステップ４０５を実現するシステム１００の好ましい実施形態を示す。好ましくは、ステップ４０５は、ステップ４１０の前またはステップ４５０の後に実行することができる。例として、フォワードスラッシュの形を持つ基準動きパターン２２５が、群２２０に追加される。入力装置１３０の動きデータ１３５−１および１３５−２は、入力装置１３０を通してシステム１００によって順に受信され、かつカーソルの動きデータ１２５−１および１２５−２として順に表示される。実線１２５−１、１２５−２として示されているが、前記カーソルの動きは、ディスプレイ装置１２０上の離散的な単一のカーソル座標の連なり（sequence）として定義される。パターン識別器２７０は、記録された動きデータ２７１−１および２７１−２を、中間記憶部２７１内に並行して（in parallel）保持する。記録された動きデータ２７１−１、２７１−２は、それぞれ、カーソルの動きデータ１２５−１、１２５−２に対応する。パターン識別器２７０は、平均の形２７１−９９および許容範囲２７１−０を計算する。許容範囲２７１−０は、カーソルの動きの各カーソル座標の、平均の形のカーソル座標からの許容される最大偏差を示す。それで、パターン識別器２７０は、さらに、平均の形２７１−９９とカーソルの動きの相関を取る。パターン識別器２７０は、それから、形２７１−９９および許容範囲２７１−０に関する情報を含んでいる基準動きパターン２２５を格納することによって、群２２０を更新する（２７２）。
【００４７】
図６は、本発明に従って動作するシステム１００（図２参照）の単純化された機能的ブロック図を示していて、これは、更なる要素、すなわち更なる入力装置１４０および第３の環境テーブル２８２を導入している。パターン識別器２７０は、更なる入力装置１４０から動きデータ１３１と共に信号１４５を受信する。例えば、これは、更なる入力装置１４０がキーボードであって、入力装置１３０を動かしている間、キー、例えば‘プリント’キーが押されるときに、達成されることができる。この例では、方法４００のステップ４４０において（環境テーブル２８０の代わりに）環境テーブル２８２が用いられる。テーブル２８２は、３つの列（２８２−１から２８２−３）を有する割り当てテーブルである。テーブル２８２の右の列２８２−３における各機能Ｆ１、Ｆ２、Ｆ３は、テーブル２８２の左の列２８２−１における予め定義された基準動きパターン（２２１から２２３）と、テーブル２８２の中央の列２８２−２における信号１４５の値（例えば０／１）との組み合わせに割り当てられている。図６における断続線５０３は、オブジェクト１２５に適用できる機能だけが、テーブル２８２における予め定義された基準動きパターンと信号１４５の値との対応する組み合わせに割り当てられることを示す。更なる入力装置１４０の信号１４５と入力装置１３０の動きデータを組み合わせることは、同じ動きパターンが、複数の機能を意味する可能性がある、いくつかの場合に、利点がある。これらの機能は、信号１４５によって識別することができる。
【００４８】
図２に戻って、ディスプレイ装置１２０は、オブジェクト１２６〜１２８のグラフィカルな表現を表示する。パターン識別器２７０は、更なるカーソルの動き１２９に対するマッチング動きパターン２２１を識別し、かつ、順に、自動的にオブジェクト１２６〜１２８に対する機能Ｆ１を実行する。ＣＰＰ２００は、オブジェクトをマッチング動きパターンに関連させることによって、常に、機能Ｆ１の実行にかけられる全てのオブジェクトを選択する。別の実施形態３００および３５０では、どのようにして、適切なオブジェクトに、マッチング動きパターンを関連付けるかについて述べる。これは、図７に示されている。
【００４９】
図７は、本発明によるオブジェクト相関のための２つの別の実施形態を示す。実施形態３００では、マッチング動きパターン２２１をオブジェクト１２５に関連させるための第１の解決策を述べる。本実施形態においては、仮想グリッド３１０が、オブジェクト１２５と恒久的に関連付けられている。グリッド３１０は、オブジェクト１２５のまわりに表示範囲の特定の分割を描写する。例えば、グリッド３１０は、表示のためのデータを格納するメモリ１９０の一部分の中の見えない構造（図示せず）として実現することができる。グリッド３１０は、その中心が、オブジェクトの中心３１５と合っていることが好ましいが、グリッド３１０の指定された座標（例えば中心）が、オブジェクト１２５の指定された座標に対して、ある規定された関係にあれば、本発明にとって十分である。グリッド３１０のサイズは、オブジェクト１２５のグラフィカルな表現のサイズに、自動的に調節される。例えば、これは、オブジェクトのサイズに対するグリッドのサイズの予め規定された比率が計算されるまで、グリッド３１０の幅および高さを変化させることによって達成される。サイズを変更する計算が、標準のグラフィックス表示ソフトウェア（図示せず）によって実行されるか、またはシステム１００の他のどのソフトウェアの構成要素によって実行されるかは、本発明にとって重要ではない。カーソルの動き１２１におけるカーソル座標１２２〜１２４は、オブジェクト１２５に関するグリッド３１０の範囲内に位置している。その結果、カーソルの動き１２１とオブジェクト１２５の相関が確立される。マッチング動きパターン２２１が、カーソルの動き１２１に対して識別され（方法４００のステップ４３０で述べた）、かつカーソルの動き１２１が、オブジェクト１２５に関するグリッド３１０の中で生じるので、オブジェクト１２５とマッチング動きパターン２２１の相関も確立される。
【００５０】
実施形態３５０は、マッチング動きパターン２２１を複数のオブジェクト１２６〜１２８に関連させるための第２の解決策を示す。本実施形態においては、例えば、システム１００のオペレーティングシステム（図示せず）が、絶え間なく（continuously）、更なるカーソルの動きデータ１２９をパターン識別器２７０（図２参照）へ転送する。ひとたびパターン識別器２７０がマッチング動きパターン２２１を識別すると、ＣＰＰ２００は、更なるカーソルの動き１２９と、例えば、群２２０の中にマッチング動きパターン２２１と共に格納されている許容範囲とに基づいて、オブジェクト選択範囲３６０を決定する。ＣＰＰ２００は、それから、オブジェクトの中心３５６〜３５８が範囲３６０内にあることを確認し、その結果、マッチング動きパターン２２１を、それぞれ、オブジェクト１２６〜１２８と関連させる。
【００５１】
図８は、本発明の更なる例を示していて、表示装置１２０−１およびスタイラス入力装置１３０−１を有するパーソナルデジタルアシスタント（ＰＤＡ）１００−１を用いる場合である。ＰＤＡは、例えば、ＳＡＰ Ｒ／３システムのようなアプリケーションシステムによって提供されるアプリケーションサービスを遠隔操作で起動するためのフロントエンドコンピュータとして役立つ。アプリケーションウインドウ３００は、顧客のためのスペアパーツの注文のリストの単純化された表示を示す。リスト内の各行は、この顧客のための注文に対応している。リストは、３つの列Ｃ１、Ｃ２、Ｃ３を有していて、左の列Ｃ１には、各注文の現状のためのアイコン（例えば黒丸アイコン）を表示し、中央の列Ｃ２には、品目番号（例えば４７１２）を表示し、右の列Ｃ３には、注文日付（例えば０１／０２／０１）を表示する。例えば、状態の列Ｃ１の中の三角形のアイコン３０２は、対応する注文のための（例えば品目２２２１のための）警報（alert）を表している。ユーザは、状態オブジェクト３０２の上の接触感知ＰＤＡディスプレイ１２０−１上でのスタイラスカーソルの動き３０１を行う。動き３０１の形は、疑問符の形に似ている。
【００５２】
方法４００のステップ４３０で述べたように、マッチング動きパターンが識別され、かつ対応する機能、例えば、ＰＤＡディスプレイ１２０−１上の注文の状態の詳細を表示する照会（query）が実行される。なぜなら、この機能は、状態オブジェクトのためのマッチング動きパターンに割り当てられているからである。
【００５３】
ユーザが注文を確認したいときには、彼または彼女は、オブジェクト３０２上で別の動き、例えばチェックマーク形の動きを行う。すると、対応する確認機能が、この注文のために実行される。
【００５４】
本発明は、オブジェクト１２５に関する機能を実行するコンピュータシステム１００として記述することもできる。システム１００は、以下の構成要素を備えている。
ディスプレイ装置１２０上にオブジェクト１２５のグラフィカルな表現を表示する第１の手段。
入力装置１３０から動きデータ１３１を受信する第２の手段。動きデータ１３１は、ディスプレイ装置１２０上のカーソルの動き１２１を記述している。カーソルの動き１２１は、１２２から１２４へカーソル座標を通過する。
オブジェクト１２５に対するカーソルの動き１２１の中のマッチング動きパターン２２１を識別する第３の手段。マッチング動きパターン２２１は、予め定義された動きパターン群２２０の一部である。
オブジェクト１２５のための機能群２４０の中から機能２４１を選択する第４の手段。機能２４１は、マッチング動きパターン２２１に割り当てられている。
オブジェクト１２５のための機能２４１を実行する第５の手段。
【００５５】
コンピュータシステム１００の第３の手段は、更に以下の構成要素を備えている。
時間軸上でのカーソル座標の変化（１２２から１２４）として、カーソルの動き１２１を測定する第６の手段。
カーソルの動き１２１を、予め定義された基準動きパターン群２２０と比較する第７の手段。
オブジェクト１２５に対するマッチング動きパターン２２１として、予め定義された動きパターン群２２０の中から、１つの動きパターンを選択する第８の手段。
【００５６】
コンピュータシステム１００は、オプションとして、更に、以下の手順で、更なる基準動きパターン２２５を、動きパターン群２２０に追加する第９の手段を備えている。
入力装置１３０からの第１の組１３５−１の動きデータを記録する（４０６）。
入力装置１３０からの第２の組１３５−２の動きデータを記録する（４０７）。
前の記録４０６、４０７の反復によって得られる結果を平均することによって、更なる基準動きパターン２２５の形２７１−９９と、前記パターンに対する許容範囲２７１−０とを計算する（４０８）。
基準動きパターン群２２０の中に、更なる基準動きパターン２２５として、計算の結果を格納する（４０９）。
【００５７】
本発明は、プロセッサ１６０に、図２から８の説明として開示された方法における全てのステップおよび機能を実行させるプログラムインストラクションを含んでいるコンピュータプログラム製品２００として実現することができる。コンピュータプログラム製品２００は、コンピュータメモリ１９０内に格納される。更に、コンピュータプログラム製品２００は、記録媒体上またはリードオンリーメモリ内で具体化することができる。また、コンピュータプログラム製品２００は、電気信号伝送媒体（carrier）上を伝送させることもできる。これば、例えば、ＣＰＰ２００を、記憶装置からネットワーク接続を通してシステム１００にダウンロードする場合である。
【図面の簡単な説明】
【００５８】
【図１】従来技術におけるコンピュータ、ディスプレイ装置および入力装置の単純化された図である。
【図２】本発明に従って動作するコンピュータシステムの単純化された機能的ブロック図である。
【図３】本発明による方法の単純化されたフローチャートである。
【図４】前記方法の追加のオプションのステップの詳細を示す図である。
【図５】前記方法の前記オプションのステップのための、前記システムの好ましい実施形態を示す図である。
【図６】本発明に従って動作するシステムの単純化された機能的ブロック図である。
【図７】本発明によるオブジェクト相関のための２つの別の実施形態を示す図である。
【図８】本発明の更なる例を示す図である。
【符号の説明】
【００５９】
１００ コンピュータシステム
１１０ バス
１２０ ディスプレイ装置
１２１、１２９ カーソルの動き
１２２〜１２４ カーソル座標
１２５〜１２８ オブジェクト
１３０ 入力装置
１３１ 動きデータ
１６０ プロセッサ（ＣＰＵ）
１９０ メモリ装置
２００ コンピュータプログラム製品（ＣＰＰ）
２０１〜２０３ インターフェース
２２１〜２２３ マッチング動きパターン（基準動きパターン）
２２０、２４０ 群
２４１〜２４３ 機能
２７０ パターン識別器
２８０ 第１の環境テーブル
２８０−１、２８０−２ 列
２８１ 第２の環境テーブル
５０１、５０２ 割り当て
５１０ 座標系

Claims (21)

1. データ処理コンピュータシステム（１００）の少なくとも１つの機能を実行する方法（４００）において、前記機能はオブジェクト（１２５）に関連していて、前記方法（４００）は、
   オブジェクト（１２５）のグラフィカルな表現をディスプレイ装置（１２０）上に表示するステップ（４１０）と、
   入力装置（１３０）から、ディスプレイ装置（１２０）上での、順にカーソル座標を通過する（１２２から１２４）カーソルの動き（１２１）を表す動きデータ（１３１）を受信するステップ（４２０）と、
   オブジェクト（１２５）と関連するグリッド（３１０）を介した前記オブジェクト（１２５）に対する前記カーソルの動き（１２１）の中の予め定義されたマッチング動きパターン（２２１）を識別するステップ（４３０）と、
   前記オブジェクト（１２５）のための機能群（２４０）の中から、前記マッチング動きパターン（２２１）に割り当てられる少なくとも１つの機能（２４１）を選択するステップ（４４０）と、
   前記オブジェクト（１２５）のために前記選択された機能（２４１）を実行するステップ（４５０）とを有していて、
   前記グリッド（３１０）のサイズは、オブジェクト（１２５）のサイズによって決まることを特徴とする方法。
2. 前記識別ステップ（４３０）は、
   時間軸上でのグリッド（３１０）の範囲内でのカーソル座標の変化（１２２から１２４）としてカーソルの動き（１２１）を測定し、
   このカーソルの動き（１２１）を複数の予め定義された基準動きパターン（２２０）と比較し、
   前記オブジェクト（１２５）のためのマッチング動きパターン（２２１）として、複数の予め定義された動きパターン（２２０）の中から１つの動きパターンを選択するという順序で実行されることを特徴とする請求項１に記載の方法。
3. 前記識別ステップ（４３０）では、更に、時間軸上でのカーソルの速度の変化として、カーソルの動き（１２１）のカーソル加速成分を測定することを特徴とする請求項１または２に記載の方法。
4. 前記マッチング動きパターン（２２１）のグラフィカルな表現が、ディスプレイ装置（１２０）上で視覚化されることを特徴とする請求項１に記載の方法。
5. 前記マッチング動きパターン（２２１）のグラフィカルな表現は、ディスプレイ装置（１２０）上で、自動的にカーソルの動き（１２１）のサイズに調節されることを特徴とする請求項４に記載の方法。
6. 前記選択ステップ（４４０）において、データ処理システム（１００）が異なる環境で動作するとき、更なる機能（２４２）が選択されることを特徴とする請求項１に記載の方法。
7. 前記選択ステップ（４４０）において、前記機能（２４１）は、第１の環境テーブル（２８０）から選択され、かつ前記更なる機能は、第２の環境テーブル（２８１）から選択されることを特徴とする請求項６に記載の方法。
8. 更なる基準動きパターン（２２５）を複数の動きパターン（２２０）に追加する少なくとも１つの更なるステップ（４０５）を有していて、この更なるステップは、
   入力装置（１３０）からの第１の組（１３５−１）の動きデータを記録し（４０６）、
   入力装置（１３０）からの第２の組（１３５−２）の動きデータを記録し（４０７）、
   平均カーソル座標および許容範囲（２７１−０）を、予め記録された組の動きデータ（１３５−１、１３５−２）から計算し（４０８）、これは更なる基準動きパターン（２２５）の形（２７１−９９）という結果になり、
   この計算の結果を、更なる基準動きパターン（２２５）として、基準動きパターン群（２２０）の中に格納する（４０９）という順序で実行されることを特徴とする請求項１に記載の方法。
9. 前記受信ステップ（４２０）における動きデータは、三次元の動きを記述していることを特徴とする請求項１に記載の方法。
10. 前記選択ステップ（４４０）における動きパターン（２２１）は、更なる入力装置（１４０）の信号（１４５）と組み合わせられて、前記オブジェクト（１２５）のための機能群（２４０）の中から１つの機能（２４２）を選択し、前記選択される機能（２４２）は、前記動きパターン（２２１）と信号（１４５）の組み合わせによって決まることを特徴とする請求項１に記載の方法。
11. 前記機能は、複数のオブジェクト（１２６から１２８）のために実行され、更なるカーソルの動き（１２９）が、動きパターン群（２２０）のうちの１つの動きパターン（２２１）に合わされ、前記マッチング動きパターン（２２１）は、複数のオブジェクト（１２６から１２８）に関連付けられることを特徴とする請求項１に記載の方法。
12. カーソルの動きデータ（１２１）に、入力装置（１３０）からの接触感知情報を追加する更なるステップ（４２５）を有していて、パターン識別器（２７０）は、更に、全てのカーソルの動き（１２１）に対する各カーソル座標での接触圧力値を測定し、前記接触圧力値は、カーソルの動きデータ（１２１）の一部になり、基準動きパターン群（２２０）との比較に用いられ、各基準動きパターンは、それぞれ、接触圧力値を有していることを特徴とする請求項１に記載の方法。
13. デジタル署名が、ユーザのために、更なる基準動きパターン（２２５）から作成され、前記更なる基準動きパターン（２２５）は、接触圧力値を有していることを特徴とする請求項８または１２に記載の方法。
14. オブジェクト（１２５）に関する機能を実行するコンピュータシステム（１００）において、
    ディスプレイ装置（１２０）上にオブジェクト（１２５）のグラフィカルな表現を表示する第１の手段と、
    入力装置（１３０）から、ディスプレイ装置（１２０）上でのカーソル座標を通り抜けている（１２２から１２４）カーソルの動き（１２１）を記述している動きデータ（１３１）を受信する第２の手段と、
    オブジェクト（１２５）と関連するグリッド（３１０）を介した前記オブジェクト（１２５）に対する前記カーソルの動き（１２１）の中の予め定義されたマッチング動きパターン（２２１）を識別する第３の手段と、
    前記オブジェクト（１２５）のための機能群（２４０）の中から、前記マッチング動きパターン（２２１）に割り当てられる１つの機能（２４１）を選択する第４の手段と、
    前記オブジェクト（１２５）のために前記機能（２４１）を実行する第５の手段とを備えていて、
    前記グリッド（３１０）のサイズは、オブジェクト（１２５）のサイズによって決まることを特徴とするコンピュータシステム。
15. 前記マッチング動きパターン（２２１）を識別する第３の手段は、
    時間軸上でのグリッド（３１０）の範囲内でのカーソル座標の変化（１２２から１２４）として、前記カーソルの動き（１２１）を測定する第６の手段と、
    前記カーソル動き（１２１）を、前記予め定義された基準動きパターン群（２２０）と比較する第７の手段と、
    前記オブジェクト（１２５）のためのマッチング動きパターン（２２１）として、予め定義された動きパターン群（２２０）の中から、１つの動きパターンを選択する第８の手段とを備えていることを特徴とする請求項１４に記載のコンピュータシステム。
16. 入力装置（１３０）からの第１の組の動きデータ（１３５−１）を記録し（４０６）、
    前記入力装置（１３０）からの第２の組の動きデータ（１３５−２）を記録し（４０７）、
    平均カーソル座標および許容範囲（２７１−０）を、予め記録された組の動きデータ（１３５−１、１３５−２）から計算し（４０８）、これは基準動きパターン（２２５）の形（２７１−９９）という結果になり、
    この計算の結果を、更なる基準動きパターン（２２５）として、基準動きパターン群（２２０）の中に格納する（４０９）ことによって、基準動きパターン（２２５）を動きパターン群（２２０）に追加する手段を備えていることを特徴とする請求項１４に記載のコンピュータシステム。
17. プロセッサ（１６０）に、請求項１から１３のうちのいずれか一項に記載の方法を実行させるプログラムインストラクションを含んでいるコンピュータプログラム製品（２００）。
18. 記録媒体上で具体化されることを特徴とする請求項１７に記載のコンピュータプログラム製品（２００）。
19. コンピュータメモリ（１９０）内に格納されることを特徴とする請求項１７に記載のコンピュータプログラム製品（２００）。
20. リードオンリーメモリ内で具体化されることを特徴とする請求項１７に記載のコンピュータプログラム製品（２００）。
21. 電気信号伝送媒体上を伝送されることを特徴とする請求項１７に記載のコンピュータプログラム製品（２００）。

Images