JP4105682B2 - パーソナルコンピューティング装置のユーザ入力を改善するシステム及び方法 - Google Patents

Description

本発明は、データ処理システム、特にパーソナルコンピューティング装置に関する。より詳細には、本発明は、パーソナルコンピューティング装置のユーザ入力を改善するための方法、装置及びプログラムを提供するものである。

移動電話、手持ち式コンピュータ、及び携帯情報端末のようなモバイル・コンピューティング装置は、今日の社会において広く普及している。これらの装置は現在、典型的には、ユーザにデスクトップコンピュータとほぼ同等のコンピューティング能力を与えるプロセッサ、メモリ、及び記憶装置を備える。しかしながら、多くのユーザは、こうした装置の主な欠点が、その入力機構にあると感じている。移動電話又は携帯情報端末（ＰＤＡ）への大量のデータの手動入力は、確かに取るに足らない作業ではない。

テキスト入力は、典型的には、３つの入力機構の１つによって達成される。第１のテキスト入力機構は、ハードウェアキー機構である。移動電話は、普通は、ユーザがボタンを押す組み合わせを用いてテキスト文字を入力することができる数字キーパッドを備える。この入力方法は、テキストの長いストリングを入力する作業が、かなり多くのボタンを押すことを要求するので、遅く、面倒である。他のモバイル・コンピューティング装置は、フルキーボードを備える。しかしながら、装置自体のサイズが小さければ、キーのサイズ及び間隔が、キーボードを操作しにくいものにする。

多くのモバイル・コンピューティング装置は、ディスプレイ上のグラフィカル要素を操作するのに用いることができるタッチスクリーンディスプレイ装置及びスタイラスを備える。ユーザがタッチスクリーンディスプレイ上に手書きした文字を使用できるようにする幾つかの試みがなされているが、成功の度合いが様々に異なるものとなる。Ｇｒａｆｆｉｔｉ（登録商標）は、テキスト文字についての簡略化されたジェスチャを認識する手書き認識機構である。しかし依然として、ユーザは、個々の文字を書かなければならず、認識機構の成功度は限られている。

或るモバイル・コンピューティング装置は、タッチスクリーン上に小型版のキーボードを提示する「バーチャル」キーボードを備える。ユーザは、キーボード配列を用いてバーチャルキーを打鍵してテキストを入力することができる。しかしながら、キーを打鍵するにしても、依然としてフルサイズキーボードにおける両手でのタイピングほど自然ではない、スタイラスを用いる冗長な探しかつ打鍵する動作がある。さらに、ユーザは、スタイラスで打鍵することによって、各々のキーを個々に上手く押さなければならない。この動作は、多くのユーザにとって冗長かつ難しいものである。

本発明は、従来技術の欠点を認識し、パーソナルコンピューティング装置のための改善されたユーザ入力機構を提供するものである。ユーザ入力機構は、スタイラスといった道具又はユーザの指が、タッチセンシティブ入力装置と接触した状態になったときを認識する。バーチャルキーボードは、入力装置の下に表示されることが好ましい。次いで、ユーザ入力機構は、タッチスクリーンと接触している間の道具の移動を認識する。ユーザ入力機構は、バーチャルキーボード上のキーの位置に空間的に関連付けられた単語に対応する既知のパターン又はジェスチャを認識することができる。単語は、キーボードから道具を持ち上げることによって、道具をキーボード領域の外にドラッグすることによって、又は指定された領域を打鍵することによって、完成させることができる。或いは、ユーザ入力機構は、方向変化その他の単語中の文字を識別するパターン状の移動を認識するものとすることができる。ユーザ入力機構は、スペルチェック又は文脈解析を実行して、そのパターン又はジェスチャの最も近い一致を判断することができる。

ここで図１を参照すると、本発明の好ましい実施形態に係るパーソナルコンピューティング装置の簡略化された図が示されている。パーソナルコンピューティング装置１００は、テキスト及び図形情報を提示するためのディスプレイ１０２を備える。ディスプレイ１０２は、液晶ディスプレイ（ＬＣＤ）装置のような公知のディスプレイ装置とすることができる。ディスプレイは、マップ又は方向、カレンダ情報、電話帳、又は電子メールメッセージを提示するのに用いることができる。本発明の例示的な実施形態においては、スクリーン１０２は、例えばスタイラス１１０のような道具を用いるユーザ入力を受け取るタッチスクリーン装置とすることができる。

パーソナルコンピューティング装置１００はまた、キーパッド１０４、スピーカ１０６及びアンテナ１０８を備えることができる。スクリーン１０２を使用することに加えて、ユーザ入力を受け取るためにキーパッド１０４を用いることができる。スピーカ１０６は、音声ファイルのプレゼンテーションといった音声出力用の機構を与える。アンテナ１０８は、パーソナルコンピューティング装置１００とネットワークとの間の無線通信リンクを確立するのに用いられる機構を与える。付属する装置ドライバ及び無線通信手段は、図１には明確に示されていない。

パーソナルコンピューティング装置１００はまた、パーソナルコンピューティング装置１００での動作中にコンピュータ可読媒体に存在するシステムソフトウェアによって実行可能な、グラフィカルユーザインターフェースを含むことが好ましい。

本発明の好ましい実施形態によれば、ユーザがディスプレイ装置上に提示されたバーチャルキーボード上でのジェスチャによって単語を入力できるようにするユーザ入力機構が提供される。本発明のユーザ入力機構は、２つの既存の普及した形態のユーザ入力要素、すなわち筆記体の手書きとキーボード入力とを組み合わせたものである。慣れたキーボード配列がディスプレイ上に提示される。ユーザは、スタイラスのような道具か又はユーザの指をディスプレイに接触させる。典型的には、この道具は、単語中の最初の文字の位置でスクリーンに触れることになる。次いで、ユーザは、道具をディスプレイの表面に沿って文字から文字へと動かして、単語をつづることができる。やがて、ユーザは、各単語についてのバーチャルキーボード上のパターンを学習することとなる。もっと慣れれば、バーチャルキーボードのディスプレイは、熟達したユーザにとっては余計なものとなる。

次に図２を参照すると、本発明の好ましい実施形態に係るパーソナルコンピューティング装置のブロック図が示されている。パーソナルコンピューティング装置２００は、図１のパーソナルコンピューティング装置１００のようなコンピューティング装置の一例であり、本発明のプロセスを実行するコード又は命令が搭載される。パーソナルコンピューティング装置２００は、プロセッサ２０２及びメインメモリ２０４が接続されるバス２０６を含む。音声アダプタ２０８、グラフィックスアダプタ２１０、タッチスクリーン／スタイラスアダプタ２１２、トランシーバ２１４及び記憶装置２１６もまた、バス２０６に接続される。

クレードルリンク２１８は、パーソナルコンピューティング装置２００におけるデータを別のデータ処理システムと同期させるために用いられるクレードルに、パーソナルコンピューティング装置２００を接続するための機構を与える。さらに、タッチスクリーン／スタイラスアダプタ２１２はまた、スタイラスがタッチスクリーンディスプレイに接触したときのユーザ入力を受け取るための機構を含む。

オペレーティングシステムは、プロセッサ２０２上で動作するものであり、図２のパーソナルコンピューティング装置２００における種々のコンポーネントを調整し、それらの制御を与えるために用いられる。オペレーティングシステムは、例えば、マイクロソフト社から入手可能なＷｉｎｄｏｗｓ ＣＥ（登録商標）、Ｌｉｎｕｘ（登録商標）、又はＰａｌｍＯＳ（登録商標）といった市販のオペレーティングシステムとすることができる。オペレーティングシステムの命令と、アプリケーション又はプログラムは、記憶装置２１６のような記憶装置上に搭載され、プロセッサ２０２による実行のためにメインメモリ２０４にロードすることができる。

当業者であれば、図２のハードウェアは、実施に応じて変更できることが分かるであろう。図２に示されたハードウェアに加えて、又はその代わりに、他の内部ハードウェア、又はフラッシュＲＯＭ（又は同等の不揮発性メモリ）又は光ディスクドライブ等のような周辺装置を用いることができる。パーソナルコンピューティング装置２００は、例えば、携帯情報端末（ＰＤＡ）又はパームトップコンピューティング装置とすることができる。パーソナルコンピューティング装置２００はまた、本発明の範囲内の電話コンピューティング装置、タブレットコンピュータ、又はラップトップコンピュータの形態をとることができる。

図３は、本発明の好ましい実施形態に係るタッチスクリーンディスプレイを示す。タッチスクリーンディスプレイ３００は、アプリケーション部分３０２、テキスト入力部分３０４、及びバーチャルキーボード３０６を含む。図示された例においては、キーボード配列は、ＱＷＥＲＴＹ（登録商標）キーボード配列と同様のものである。ＱＷＥＲＴＹ（登録商標）キーボード配列は、キーボードの上段左側部分のキーの順序にちなんで名付けられている。ドボラクキーボード配列のような他のキーボード配列を、本発明の範囲内で用いることもできる。本発明はまた、数字キーパッド又は非英字キーボードのような他の入力配列にも適用することができる。したがって、単語は、英字のストリング、数字のストリング、又は英字と数字の組み合わせから構成することができる。

バーチャルキーボード上の個々の字を打鍵することは、ほとんどのユーザにとって自然な動作ではない。スタイラスを握ることは、ペン又は鉛筆を握ることに類似しており、それゆえ、ユーザはスタイラスでの手書きがより自然であると感じる。ペン又は鉛筆で書くときに、筆記体で書くのが、より能率的で流れのある書き方である。ユーザは、筆記具が紙を離れる頻度が低いので、より能率的に単語を書くことができる。

本発明は、単語を表わすジェスチャを認識する「ＱＷＥＲ−ｓｉｖｅ」ユーザ入力機構を提供するものである。「ｃｕｒｓｉｖｅ（筆記体）」と似たように発音するＱＷＥＲ−ｓｉｖｅは、ユーザが、バーチャルキーボード３０６のようなキーボード配列に基づいて一回のジェスチャで単語を入力できるようにする入力方法である。ユーザは、例えばスタイラスのような道具を、タッチスクリーンにおける単語の第１字の表示の上に接触させる。次いで、ユーザは、スタイラスをタッチスクリーンの表面に接触させた状態で、単語の次の字へ、そしてまた次の字へとドラッグしていく。ユーザは、このキーボード配列を用いて、全ての単語を一回のジェスチャで流れるように書くことができる。本発明のＱＷＥＲ−ｓｉｖｅ入力機構を用いると、各文字入力間の時間が最小になり、ユーザは結局、よく使う単語又は文字の組み合わせの記憶からジェスチャを繰り返すことができるようになる。

キーボード配列３０６への入力から単語が認識されときに、その単語がテキスト入力部分３０４に提示される。単語又は一連の単語が受諾された場合には、ストリングがアプリケーション部分３０２のアプリケーションに送られる。このようにして、ユーザは、テキストをパーソナルコンピューティング装置に能率的にかつ流れるように入力することができる。

図３に示された例はディスプレイ上のキーボード配列を示しているが、ユーザは、そのキーボード配列に徐々に慣れていき、そしてまた特定の単語についてのジェスチャを記憶することができる。ほとんどの言語における多くの割合のテキストは、単語の比較的小さいサブセットによって表すことができる。例えば、「ｔｈｅ」、「ｉｓ」、「ｉｔ」及び「ｏｆ」といった単語が、英語において非常によく使われる単語の例である。ユーザは、非常によく使う単語のジェスチャを記憶して、それらを、キーボード配列を見ないで行うことができる。ジェスチャのパターンは、キーボード配列に大まかに結び付けて認識される。実際には、多くの単語については、必ずしもキーボード配列を表示する必要はない。したがって、本発明の例示的な実施形態においては、ジェスチャを、表示されていないキーボード配列に対して入力することができる。キーボード配列は、ユーザが例えば特定のボタン又はグラフィカル要素を選択することによって特別に要求したときにのみ表示されてもよい。

図４Ａ−４Ｆは、本発明のユーザ入力機構を用いるテキスト入力例を示す。より詳細には、図４Ａは、よく使われる単語「ｔｈｅ」の入力を示す。ユーザは、バーチャルキーボードの第１字、この場合には「ｔ」の位置に道具を接触させる。次いで、ユーザは、道具を「ｔ」から字「ｈ」の位置に、そして字「ｅ」の位置にドラッグする。次いで、ユーザは、タッチスクリーンの表面から道具を単純に持ち上げるか、又は例えば、道具をスペースバー４１２にドラッグするか、道具を「ＥＮＴＥＲ」キー４１４にドラッグするか、又は道具を部分４１６のようなディスプレイの使用されない部分にドラッグすることによって、単語を終わらせることができる。

本発明の入力機構は、ジェスチャの頂角に近いキーを判断するために、ファジー理論を用いることができる。例えば、上記の単語「ｔｈｅ」の例を挙げると、ユーザは、字「ｈ」に関連する、種々の流動性及び正確さで方向変化を実行することになる。直接「ｈ」キー上で頂角をもつ鋭い方向変化を行うのではなく、ユーザは、かどを丸くするか、又はバーチャルキーの縁で止めることもある。したがって、本発明は、ユーザの意図をより正確に判断するために、幾つかのファジー理論を含むことができる。

図４Ｂは、単語「ｑｕｉｃｋ」の入力を示す。この場合には、ユーザは、字「ｕ」を通過して字「ｉ」に到達しなければならない。本発明のユーザ入力機構は、キーボード配列上の字「ｕ」の位置でスタイラスが瞬間的に止まるかどうかを判断することによって、字「ｕ」を認識することができる。

或いは、ユーザは、単純に字を通過して、単語「ｑｉｃｋ」のジェスチャを作成することがある。この場合、ユーザ入力機構は、そのパターンを単語「ｑｕｉｃｋ」に対応する一般的なパターンとして認識することになる。ユーザ入力機構はまた、「ｑｉｃｋ」を入力単語として受諾し、スペルチェック動作を行い、単語「ｑｕｉｃｋ」がその入力単語の最も近い一致であると判断することができる。キーボード配列における先行字と後続字との間の経路上にある字を識別するための別の方法を、図４Ｆを参照しながら後述する。

図４Ｃは、本発明のユーザ入力機構を用いる単語「ｂｒｏｗｎ」の入力を示す。さらに、図４Ｄは、単語「ｆｏｘ」の入力を示す。例えば、タッチスクリーン表面から道具を持ち上げることによって各単語が完成されたときに、その単語は、ディスプレイのテキスト入力部分に追加される。或いは、ユーザ入力機構は、道具が方向を変化させたとき又はジェスチャ内の他のサブジェスチャを作成するときに、個々の文字を表示するようにすることができる。ユーザ入力機構はまた、当該技術分野では公知の通常のオートコンプリート機能と全体として類似した形で、個々の文字又はパターンに基づいて、どんな単語が入力されようとしているかを推測することができる。推測が正しい場合には、ユーザは入力を中止し、例えば「ＥＮＴＥＲ」キー等を打鍵することによって、推測の受諾を示すことができる。

次に図４Ｅを参照すると、重複字をもつ単語の入力が示されている。この例においては、単語「ｓｃｒｉｂｂｌｅ」は、その単語中に２つの「ｂ」を有する。前述のように、ユーザは、ユーザ入力機構がパターンを認識するか、又はスペルチェックによってスペルが校正されることを期待しつつ、「ｂ」を１つだけ入力してもよい。しかしながら、本発明の好ましい実施形態によれば、ユーザは、サブジェスチャによって重複字を明確に入力することができる。この例においては、ループ・サブジェスチャ４５０が重複字を示す。ユーザは、字が連続して２回出現するまで、その字を入力する。次いで、ユーザは、円のジェスチャで第１の出現から第２の出現までのループを作って、重複字を示すことができる。

図４Ｆは、字が直線上に現れる単語の入力を示す。この例においては、単語「ａｓｈ」は、スタイラスを字「ａ」から字「ｓ」を通って字「ｈ」までドラッグすることによって入力される。前述のように、ユーザは、ユーザ入力機構がパターンを認識するか又はスペルチェックによってスペルを校正することを期待しつつ、字「ｓ」を通るようにドラッグする。しかしながら、本発明の好ましい実施形態によれば、ユーザは、サブジェスチャによって字「ｓ」を明確に入力することができる。この例においては、チェック印又は心拍形状のサブジェスチャ４６０によって、字が単語の中に含められることを示す。ユーザは、字「ａ」を入力し、字「ｓ」までドラッグし、道具による上げ下げ移動を行って、字「ｓ」がその単語の一部であることを示す。次いで、ユーザは、最後の字「ｈ」までドラッグする。

「チェック印」又は「心拍」型のサブジェスチャが図４Ｆに示されているが、他のサブジェスチャも使用可能である。例えば、図示された例においては、字「ｓ」は、典型的には「ａ」から「ｈ」までのジェスチャに含まれないので、字「ｓ」が含まれることを示すために「ループ」サブジェスチャを用いてもよい。この場合、キーボード配列における先行字と後続字との間にある重複字を示すために、２重ループ・サブジェスチャを用いることができる。

本発明の範囲内で他のサブジェスチャを用いることもできる。例えば、重複字又は「ドラッグ通過」字のために、「ハンプ」又は「Ｖ」状のサブジェスチャといった別のサブジェスチャを用いることができる。サブジェスチャはまた、大文字化などのような文字修正を示すために用いることもできる。他の文字修正及びサブジェスチャは、当業者には明らかであろう。

図５は、本発明の例示的な実施形態に係るデータ処理システムを示すブロック図である。テキスト入力インターフェース５１０は、ユーザ入力５０２を受け取る。例示的な実施形態においては、ユーザ入力５０２は、スタイラス又は他の道具をタッチスクリーン装置に接触させることによって生成される。テキスト入力インターフェースは、オペレーティングシステム５３０に、最終的にはオペレーティングシステム５３０の動作環境において実行されるアプリケーション５４０にテキストを与える。

入力５０２は、タッチスクリーン上に表示されたバーチャルキーボードの上で道具をドラッグすることによって作成されるジェスチャを含む。テキスト入力インターフェース部５１０は、ジェスチャをパターンデータ５１４と比較するパターンマッチング５１２を含む。パターンデータは、対応するパターンをもつ一般的な単語に関連する。入力ジェスチャが既知のパターンに一致する場合には、入力単語が、該パターンに関連付けられた単語として識別される。このようにして、ユーザは、一般的なパターンを記憶し、それらを、個々の字を良く見ずしてタッチスクリーン上に素早く描くことができる。

テキスト入力インターフェース５１０はまた、単語中の個々の字を識別するために、方向変化及びジェスチャ内のサブジェスチャを認識する文字ルート判断部５１６を含む。文字ルート判断部５１６は、タッチスクリーンに対する入力位置を、キーボード配列情報５１８と比較して、方向変化及びサブジェスチャに関連付けられた個々の文字を判断する。

テキスト入力インターフェース５１０はまた、入力単語を辞書５２２で調べるスペル／文脈チェック部５２０を含むことができる。意図的に及び意図的でなく不正確につづられた単語は、それらを辞書５２２からの単語と置き換えることによって校正することができる。前の「ｑｉｃｋ」の例を考えると、単語「ｑｕｉｃｋ」は、辞書５２２の中の最も近い一致となることが見出される。テキスト入力インターフェースは、単語を自動的に校正するか、又は校正された単語を受諾するようにユーザに促す。

スペル／文脈チェック部５２０はまた、単語を校正するためのルールを適用することができる。例えば、長い単語を入力する際に、ユーザは、スクリーンから道具をうっかり持ち上げることがある。スペル／文脈チェックは、２つの単語フラグメントを組み合わせるためのルールを適用し、その結果としての単語を辞書５２２の中で調べる。特定の例として、ユーザは、うっかり「ｍｉｓｃｈａｒａ」及び「ｃｔｅｒｉｚａｔｉｏｎ」と入力することがある。いずれの単語フラグメントも恐らく辞書では見つからず、組み合わされた単語「ｍｉｓｃｈａｒａｃｔｅｒｉｚａｔｉｏｎ」が見つかる。文脈ルールはまた、特定のユーザによってよく入力される単語を識別するために適用することができる。例えば、ユーザは、特定の単語を頻繁に使用し、そのジェスチャを迅速に入力することができる。スペル／文脈チェック５２０は、文脈及びジェスチャの頻度に応じて、単語を認識することができる。

テキスト入力インターフェース５１０は、タッチスクリーン装置の装置ドライバ内で具体化することができる。テキスト入力インターフェースはまた、オペレーティングシステム５３０内で具体化することができ、又はオペレーティングシステム上で又は内で実行されて、アプリケーション５４０にテキスト入力を与えるアプリケーションとすることができる。このように、テキスト入力インターフェースを終了後常駐（ＴＳＲ）アプリケーションとして付加し、ユーザ入力をフィルタして、単語ジェスチャを用いる迅速かつ能率的なテキスト入力を与えるようにすることができる。

図６Ａ及び図６Ｂは、本発明の例示的な実施形態に係るユーザ入力インターフェースの動作を示すフローチャートである。図６Ａを参照すると、プロセスが始まり、終了条件が存在するかどうかについての判断がなされる（ステップ６０２）。例えば、パーソナルコンピューティング装置がシャットダウンされたとき、ユーザがユーザ入力インターフェースを終了したとき、ユーザが別の入力インターフェースに切り替えたときなどに、終了条件が存在する。終了条件が存在する場合には、プロセスが完了する。

ステップ６０２において終了条件が存在しない場合には、スタイラスが下ろされているか又はタッチスクリーンに接触した状態であるかについての判断がなされる（ステップ６０４）。スタイラスが下ろされていない場合には、プロセスはステップ６０２に戻って、終了条件が存在するかどうかを判断する。しかしながら、ステップ６０４において、スタイラスがタッチスクリーンと接触している場合には、プロセスは、スタイラスの出発位置を識別し（ステップ６０６）、単語の開始文字を記録する（ステップ６０８）。

次いで、方向変化が起こるかどうかについての判断がなされる（ステップ６１０）。スタイラスがタッチスクリーンと接触したままの状態で方向変化が起こる場合には、プロセスは、スタイラス位置を識別し（ステップ６１２）、そのスタイラス位置に基づいて入力単語中の次の文字を記録する（ステップ６１４）。その後、プロセスは、ステップ６１０に戻って、方向変化が起こるかどうかを判断する。

ステップ６１０において方向変化が起こらない場合には、ループ・サブジェスチャが起こるどうかについての判断がなされる（ステップ６１６）。ループ・サブジェスチャが起こる場合には、プロセスが、入力された最後の文字に基づいて入力単語中の重複文字を記録し（ステップ６１８）、ステップ６１０に戻って、方向変化が起こるかどうかを判断する。

ステップ６１６においてループ・サブジェスチャが起こらない場合には、スタイラスがタッチスクリーンに接触した状態でチェック印サブジェスチャが起こるかどうかについての判断がなされる（ステップ６２０）。チェック印サブジェスチャが起こる場合には、プロセスは、スタイラス位置を識別し（ステップ６２２）、そのスタイラス位置に基づいて入力単語中の次の文字を記録する（ステップ６２４）。その後、プロセスがステップ６１０に戻って、方向変化が起こるかどうかを判断する。

ステップ６２０においてチェック印サブジェスチャが起こらない場合には、ジェスチャが終了するかどうかについての判断がなされる（ステップ６２６）。この判断は、例えば、スタイラスがタッチスクリーンから持ち上げられているかどうか、或いはスタイラスがスペースバー、エンターキー、又はその他の制御もしくはタッチスクリーンの使用されていない部分までドラッグされたかどうかを判断することによってなされる。ジェスチャが終了する場合には、プロセスは、スタイラス位置を識別し（ステップ６２８）、そのスタイラス位置に基づいて入力単語中の最後の文字を記録する（ステップ６３０）。

図６Ａに示されたプロセスは、付加的なサブジェスチャを含むように修正することができる。例えば、大文字化のためのサブジェスチャを、プロセスに追加することができる。他の文字修正又は特殊文字もまた、図６Ａに示されたのと同じ形で、サブジェスチャの使用を通じて取り扱うことができる。

次に図６Ｂへと続き、プロセスは、入力ジェスチャに対するパターン認識を行う（ステップ６３２）。パターンマッチングは、主に方向変化及びサブジェスチャに基づくものである。サブジェスチャはまた、方向変化と考えることができる。パターンが認識されたかどうかについての判断がなされる（ステップ６３４）。パターンが認識された場合には、プロセスは、そのパターンに基づいて単語検索を行い（ステップ６３６）、関連する単語を選択されたアプリケーションに送る（ステップ６３８）。

ステップ６３４においてパターンが認識されない場合には、プロセスがスペル／文脈チェックを行う（ステップ６４０）。その単語が見つかったか又は文脈に基づけば正しいかどうかについての判断がなされる（ステップ６４２）。単語が辞書で見つかるか、又は文脈に基づけば正しい場合には、プロセスは、ステップ６３０へと続き、そのジェスチャに関連付けられた単語を選択されたアプリケーションに送る（ステップ６３８）。

ステップ６４２において単語が見つからないか又は文脈に基づけば正しくない場合には、置換単語が特定されるかどうかについての判断がなされる（ステップ６４４）。この判断は、置換単語を自動的に特定することによって、又はユーザに正しい単語の選択を促すことによってなされるようにすることができる。置換単語が特定されない場合には、その単語が、入力として選択されたアプリケーションに送信される（ステップ６３８）。置換単語が特定された場合には、プロセスが入力単語を置換単語に置き換え（ステップ６４６）、置換単語が選択されたアプリケーションに送られる（ステップ６３８）。

ステップ６３８において、プロセスがそのジェスチャに関連付けられた単語をアプリケーションに送った後に、プロセスは図６Ａのステップ６０２に戻って、終了条件が存在するかどうかを判断する。

このように、本発明は、ユーザが反復的かつ冗長な作業を実行する必要なしに、バーチャルキーボードを用いてテキストのストリングを能率的に入力できるようにするユーザ入力機構を提供することによって、従来技術の欠点を克服する。本発明のユーザ入力機構は、多数の文字からなる単語を表わすジェスチャを認識する。ユーザは、筆記体の手書きに類似した自然な形で、単語を一回のジェスチャで流れるように書くことができる。本発明のユーザ入力機構は、慣れたキーボード配列に基づくものであり、かつジェスチャを基本とするものであるので、ユーザは、ジェスチャを容易に学習して、それらを記憶に基づいて能率的に入力することができる。ジェスチャのパターンは、キーボード配列に大まかに結び付けて認識することができる。したがって、ユーザは、実際の配置を良く見ずして、それらを素早く入力することができる。

本発明はまた、ユーザが他のテキスト入力機構よりもＱＷＥＲ−ｓｉｖｅ入力機構を好むあらゆる状況に適用することができる。例えば、デスクトップコンピュータのユーザは、キーボード入力よりも、タッチパッドといったタッチスクリーン入力装置を備えたＱＷＥＲ−ｓｉｖｅ機構を用いることを好むことがある。ユーザはまた、ユーザが、電話又は印刷物をもつといった他のより生産的な活動のために片方の手があいたままの状態で、テキストを片手で入力することができる点で、本発明のＱＷＥＲ−ｓｉｖｅ入力機構を好むであろう。例えば、飛行機に乗っているラップトップコンピュータのユーザは、もう一方の手で報告書又はメモをもった状態で、片手でテキストを入力することができる。

本発明は、十分に機能するデータ処理システムとの関連において説明されてきたが、重要なこととして、当業者であれば、本発明のプロセスは、コンピュータ可読媒体の命令の形態、及び様々な形態で配布することができ、そして本発明は、この配布を行うために実際に用いられている特定形式の信号伝達媒体に係わりなく等しく適用可能であると認識するであろうことを注記しておく。コンピュータ可読媒体の例には、フレキシブルディスク、ハードディスクドライブ、ＲＡＭ、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭのような書き込み可能型媒体、例えば無線周波数及び光波伝送といった伝送形態を用いるデジタル及びアナログ通信リンク、有線又は無線通信リンクのような伝送型媒体がある。コンピュータ可読媒体は、特定のデータ処理システムにおける実際の使用のためにデコードされるコード化フォーマットの形態をとることができる。

本発明の詳細な説明は、図示及び説明のために与えられるものであって、網羅的なものとして、すなわち本発明を開示された形態に限定するものとして意図されたものではない。多くの修正及び変形が当業者には明らかとなるであろう。実施形態は、本発明の原理、実用的用途を最も良く解説し、かつ当業者以外の人が本発明の種々の修正を有する種々の実施形態を、考えられる特定の用途に適するものとして理解できるように、選択され、説明されるものである。

本発明の好ましい実施形態に係るパーソナルコンピューティング装置の図である。 本発明の好ましい実施形態に係るパーソナルコンピューティング装置のブロック図である。 本発明の好ましい実施形態に係るタッチスクリーンディスプレイを示す。 本発明のユーザ入力機構を用いるテキスト入力例を示す。 本発明のユーザ入力機構を用いるテキスト入力例を示す。 本発明のユーザ入力機構を用いるテキスト入力例を示す。 本発明のユーザ入力機構を用いるテキスト入力例を示す。 本発明のユーザ入力機構を用いるテキスト入力例を示す。 本発明のユーザ入力機構を用いるテキスト入力例を示す。 本発明の例示的な実施形態に係るデータ処理システムを示すブロック図である。 本発明の例示的な実施形態に係るユーザ入力インターフェースの動作を図解するフローチャートを示す。 本発明の例示的な実施形態に係るユーザ入力インターフェースの動作を図解するフローチャートを示す。

符号の説明

５０２：入力
５１０：テキスト入力インターフェース
５１２：パターンマッチング部
５１６：文字ルート判断部
５２０：スペル／文脈チェック部
５１４：パターンデータ
５１８：キーボード配列
５２２：辞書
５３０：オペレーティングシステム
５４０：アプリケーション

Claims (3)

1. 複数のキーで構成されたキーボード配列を表示することができるタッチスクリーンディスプレイを備えるコンピュータに、前記タッチスクリーンディスプレイに道具または指を接触させて単語を入力する方法であって、
   前記入力する単語を構成する複数の文字のそれぞれに対応する前記キーの位置に関連した位置に順番に前記道具または指を接触させてジェスチャを入力するステップと、
   前記入力されたジェスチャに基づいて前記単語を構成する文字を識別し文字のストリングを生成するステップと、
   前記ジェスチャまたは前記文字のストリングに基づいて前記入力する単語を認識するステップと、
   前記認識された単語をテキスト入力として提供するステップと
   を有し、
   前記ジェスチャが重複文字を示すサブジェスチャを含み、前記文字のストリングを生成するステップが、前記サブジェスチャを識別するステップを含む入力方法。
2. 複数のキーで構成されたキーボード配列を表示することができるタッチスクリーンディスプレイを備えるコンピュータに、ユーザが前記タッチスクリーンディスプレイに道具または指を接触させて単語を入力するための装置であって、
   前記入力する単語を構成する複数の文字のそれぞれに対応する前記キーの位置に関連した位置に順番に前記道具または指を接触させて入力されたジェスチャを受け取る受取手段と、
   前記受け取ったジェスチャに基づいて前記単語を構成する文字を識別することにより文字のストリングを生成し前記ジェスチャまたは前記文字のストリングに基づいて前記入力する単語を認識する認識手段と、
   前記認識された単語をテキスト入力として提供する提供手段とを備え、
   前記ジェスチャが重複文字を示すサブジェスチャを含み、前記認識手段が前記サブジェスチャを識別する手段を含む装置。
3. 複数のキーで構成されたキーボード配列を表示することができるタッチスクリーンディスプレイを備えるコンピュータに、前記タッチスクリーンディスプレイに道具または指を接触させて単語を入力する機能を実現させるプログラムであって、
   前記入力する単語を構成する複数の文字のそれぞれに対応する前記キーの位置に関連した位置に順番に前記道具または指を接触させて生成されたジェスチャを入力する命令と、
   前記入力されたジェスチャに基づいて前記単語を構成する文字を識別し文字のストリングを生成する命令と、
   前記ジェスチャまたは前記文字のストリングに基づいて前記入力する単語を認識する命令と、
   前記認識された単語をテキスト入力として提供する命令とを有し、
   前記ジェスチャが重複文字を示すサブジェスチャを含み、前記文字のストリングを生成する命令が、前記サブジェスチャを識別する命令を含むプログラム。

Images