JP5661279B2 - テキスト編集およびメニュー選択のためのユーザーインターフェースのシステムおよび方法 - Google Patents

Description

優先権主張
本申請は、仮出願番号第60/718,984号の利益を主張する2006年9月20日に出願された出願番号第11/533,714号の継続出願である。また、本申請はまた、2006年7月3日に出願された仮出願番号第60/806,522号および2007年5月14日に出願された仮出願番号第60/917,849号の利益を主張し、参照により本文中に組み込まれる。

発明の分野
本発明はコンピュータシステムのグラフィカルおよびジェスチャ・ユーザーインターフェースに関連し、より詳しくは、1つ以上の入力装置を使用する入力動作をユーザーが行い、かつ当該入力動作により生成されたデータはコンピュータシステムに入力されるテキストデータに対応する1つ以上の当該ユーザー入力動作として認識するために解析されるところのさまざまなコンピュータシステムに関連したものである。また、本発明は、テキスト入力方法の一部として、またはコンピュータシステムの他の制御機能のために実行するメニュー選択肢について、実行が素早く簡単なシンプルなジェスチャにより選択できる当該の2つ以上のメニューをユーザーに提示するグラフィカルアプローチにも関連する。

ユーザーによる、より高速なテキスト入力を可能にするために設計されたテキスト入力システムは豊富にある。一般に、さほど正確性が要求されない場合に所与の一連の行動をより速く実行することが可能であるため、テキスト入力の速度増加は、多くの場合、同程度のシステムで必要とされている基準よりも正確性の低い動作をユーザーが実行できるようにすることで可能となる。一般に、これは、システムにより生成されるテキストオブジェクトの辞書を定義することにより、またユーザーにより実行される入力動作が辞書中の1つ以上のこれらテキストオブジェクトにマッピングされているという原則のもとに、達成される。システムは次に、ユーザーにより実行された（1つ以上の）入力動作を解析し、入力動作の実行によりユーザーに意図されたオブジェクトである可能性が最も高いテキストオブジェクトを決定し、決定されたオブジェクトをその入力動作に対応するテキストとして生成する。その一例は、米国特許番号第6,801,190号においてロビンソン他（Robinson et al）が開示したシステムであり、ユーザーが不正確なタップによりテキストを入力できるバーチャルキーボードに基づくものである。もう1つの例は、言葉と関連付けられた形状プロトタイプのライブラリに比較することによりバーチャルキーボード上でトレースパスの形に基づきワードパターンを認識する「ShapeWriter」システム（米国特許公報US 2004-0120583 A1においてザイ（Zhai）が開示）である。さらに別の例として、米国特許番号第7,098,896号においてクッシュラー他（Kushler et al）が開示したシステムがある。

他のシステム（例えば、音声認識および手書き文字認識システム）において、ユーザーは、（ロビンソン他（Robinson et al）のバーチャルキーボードの場合と同様に）同一手段で正確性に劣る行動を実行するのではなく、代替「手段」を用いた情報入力によるテキスト入力（すなわち、音声認識システムの場合においては話すこと、手書き文字認識システムの場合においては筆記体で書くこと）が可能となる。この「代替手段」システムにおいて、ユーザーの入力動作（音声認識の場合においては話された言葉、手書き文字認識の場合においては筆記体のテキスト）は、システム辞書中の1つ以上のテキストオブジェクトに対応するよう同様にマッピング（「認識」）される。他のシステムはユーザーにより実行されたテキスト入力動作に本質的にあいまいさをもたらし、ひいてはユーザーにより実行されたテキスト入力動作を辞書中の1つ以上のテキストオブジェクトにマッピングする必要もある。有名な例として、「T9」として商業的に知られている入力システム（米国特許番号第5,818,437号においてグローバー他（Grover et al）が開示）がある。これは、限定数のキーを持つ携帯電話のキーパッドに一般に使用され、標準電話キーの副集合の各キーが個別文字の複数性に関連付けられ、ユーザーが入力するキーシーケンスはその入力シーケンス中のキーに関連付けられた文字に対応する1つ以上の言葉にマッピングされる入力システムである。

これらさまざまなシステム（以下「入力動作認識システム」）において、ユーザーにより実行される入力動作の性質、およびこれらの入力動作がシステム辞書中のテキストオブジェクトへマッピングされる様態の相違にもかかわらず、入力動作認識システムが一般に共通して持つ特長は多数ある。

1）当該の入力動作認識システムにより特定されるテキストオブジェクトは、生成されたテキストをさらにユーザーが編集できるように、テキストプレゼンテーションシステム（テキストが表示される表示装置の領域として最も一般的に実行される）により出力される。

2）所与の入力動作（または入力動作のシーケンス）が1つ以上の対応する特定テキストオブジェクトにマッピングされ、その入力動作に最も密接に対応すると判断される特定テキストオブジェクトがそのテキストプレゼンテーションシステムに結果的に出力される場合もある。

3）システムは入力動作に合理的に密接であると判断された代替テキストオブジェクト1つ以上の記録（少なくとも限定された最近生成されたテキストオブジェクト）を維持し、出力用に実際に生成されたテキストオブジェクトとこれらの代替テキストオブジェクトを（少なくとも一時的に）関連付けることができる。その代わりまたはそれに加えて、システムは入力動作に関する特定データまたは情報を記録し、このデータを関連付けられた代替テキスト解釈の記録と関連付けること、または後に代替テキストオブジェクトを特定するためにその入力動作に関するこの記録されたデータを再処理することができる。

4）入力動作に最も密接に一致すると判断され、テキストプレゼンテーションシステムを通して出力された特定のテキストオブジェクトが、ユーザーが生成を意図したテキストオブジェクトではなく、ユーザーが生成を意図したテキストに正しく対応するように、生成されたテキストをユーザーが編集する必要がある場合もある。

5）テキストプレゼンテーションシステム内にはユーザーが生成した次のテキストオブジェクトを挿入するテキスト挿入場所（または位置）がある。これは一般に「カーソル」（時折「カレット」）位置と呼ばれる（以下「テキスト挿入位置」）。

6）ユーザーがテキスト挿入位置をテキストプレゼンテーションシステム中の新しい場所へ変更できる手段である、テキスト編集動作（または「ジェスチャ」）がある。過半数のシステムにおいて、テキストプレゼンテーションシステムはディスプレイ上のテキスト出力領域から成る。例えば、マウス使用のシステムでは、この動作は、多分例外なく、テキスト出力領域内で実行されるマウスのシングルクリックである。スタイラス使用のタッチスクリーンシステムでは、この動作は、また多分例外なく、テキスト出力領域内で実行されるスタイラスのシングルタップである。

7）システムにより処理される文字の分類には、一般に2つの文字クラスがある。1つ目のクラスは、システムにより生成された1つ以上のテキストオブジェクトに有効に使用できる文字から成る（以下「テキストオブジェクト文字」）。二つ目のクラスは、システムにより生成されたテキストオブジェクトに含まれないデリミタ文字としてシステムに処理される1つ以上の文字または文字種から成る（以下「デリミタ」）。デリミタ文字のクラスには、「空白」文字（スペース、タブ、改行等）が非常に一般的に含まれ、他の句読点文字もしばしば含まれる。

これらの本質的に異なる入力動作認識システム全般の過半数ユーザーにより共有される傾向があるもう1つの特徴は、ユーザーは特定数の「エラー」が起こり始めるまで入力動作をより加速的に（そしてその結果としてより不正確に）行う傾向があることである。その際、エラーとは、システムによりテキストプレゼンテーションシステムに出力されるテキストオブジェクトがユーザーの意図したテキストオブジェクトではない場合である。ほとんどすべてのテキスト編集システムに共通するもう1つの特徴は、ユーザーが実行する任意の編集動作（テキストプレゼンテーションシステムに表示される任意テキストがユーザーの動作により修正される場合）は、編集済みテキストの場所へテキスト挿入位置が再配置される結果になることである。この行動は、テキスト編集の元のマウスとキーボードのモデルで道理に適っていた（かつある意味で回避できなかった）が、上述の入力動作認識システムでは多数の場合、この行動はもはや望ましいものではない。これらのシナリオで必要とされる「テキスト編集」の場合、一般にユーザーは次々と特定テキストを入力しようとしている。その課程のある時点で、ユーザーの先行入力動作の1つ以上がシステムにより「間違って認識された」ために、ユーザーが意図したものではない1つ以上のテキストオブジェクトがテキスト出力領域のどこか前に現れたという事実によって、ユーザーはテキスト出力領域を見て（またはテキストプレゼンテーションシステムを確認して）生成されたテキストが、ユーザーが生成を意図したテキストと何らかの形で異なることに気付く。大抵の場合、ユーザーは間違って認識されたテキストを修正（要するに、そのテキストオブジェクトの生成時にユーザーが実行した当初の入力動作のシステム解釈を「再マップ」または「再編集」）し、現行のテキスト挿入位置で新規テキストの入力を続けることを単に希望する。しかしながら、既存のシステムでは、編集済みテキストの場所へテキスト挿入位置を配置し直さないことには間違って認識されたテキストは一切編集できないという問題が残る。

標準のデスクトップコンピュータシステムは、ほぼ例外なくフルサイズのデスクトップ用キーボードおよびマウス（またはトラックボールあるいはグラフィックタブレットデジタイザーなどのマウス同等物）を装備している。結果として、大多数のユーザーはデスクトップシステム上でのキーボードおよびマウスの使用に慣れており比較的に手際が良い。ポータブル、ハンドヘルド機器の場合、デスクトップ用のキーボードおよびマウスはそのサイズおよび平らで比較的安定した表面を必要とすること（標準マウスの場合）から非実用的である。従って、上記の入力動作認識テキスト入力システムの多数はポータブル、ハンドヘルド機器での使用のために特別に開発されたものであるか、または当該機器での使用に特に有用であると大抵考えられている。

ポータブル計算機器は、より強力かつより有用になり続ける。タッチスクリーンは、ポータブル機器に非常に便利で、柔軟性に富み、使いやすいインターフェースであることが立証されている。タッチスクリーン・インターフェースは、タブレットPCなどの大型機器を含め、幅広いポータブル機器に使用されているが、PDAや携帯電話などの小型機器に特に効果的であることが分かっている。当該機器の開発は、機器のさらなる小型化、そしてより容易に、より高速に、かつより使いやすくするという2つの矛盾する目標に主に焦点を当てている。

幅広いシステムで共通して使われているユーザーインターフェース・エレメントの1つに、ユーザーに選択肢を提示し、提示した代替項目の中から望ましい回答を選択できるようにすることがある。1つ以上の入力動作について考えられる代替テキスト解釈の一覧をユーザーに提示し、その入力動作を実行する際のユーザーの意図を反映する正しい解釈をユーザーが選択できるようにする必要が多々あるため、このユーザーインターフェース・エレメントは、上記の入力動作認識テキスト入力システムにおいて頻繁に使用されている。タッチスクリーン・インターフェースを使用するシステムにおいて、画面上のメニューの最も自然な操作方法は、単にスタイラスまたは指で希望する選択肢に触れて選択する方法である。メニュー表示に必要とされる表示領域は、表示されている他のエレメントが隠れないように最小化することが好ましい場合が多い。他方、ユーザーが希望のメニュー選択項目に触れて選択することを前提とすると、メニューが小さいほどユーザーはその選択動作をより正確に行わなければならず、従ってそのメニューは使い難くなる。

従って、これらの使用可能性の観点には必然的に緊張関係が生じる。2つ目の同様な考慮点は、もう1つのよく望まれる設計目標が、スタイラスまたはスクリーン操作用に他の特殊な器具の使用を必要とするのではなく、ユーザーが指でタッチスクリーンシステムを使用できるようにすることにあるという事実から生じる。指先はスタイラスよりも一般に正確でなく、ユーザーの指で選択を実行できるメニューの設計には表示メニューをかなり大きくする必要があるため、ここにも同じ緊張関係が生じる。

上述の通り、従来の技術においては、タッチスクリーンメニューから一項目を選択するためにユーザーは希望する選択肢に直接触れる必要があった。一部の実施例においては、スタイラス（または指）による画面への最初の接触が希望する選択肢に関連した領域内で起きるようにユーザーがスタイラスの配置を制御する必要がある。他のアプローチでは、ユーザーは一連のアクティブな選択領域内の画面への最初の接触が可能で、希望の選択項目に関連した領域内まで（画面との接触を途切らせることなく）スタイラスを持ち上げずにスライドさせる。一番目のアプローチでは、希望する項目を選択するために最初の接触場所を注意深く制御しなければならず、二番目のアプローチでは、最終接触場所を同様に制御しなければならない。各メニュー選択項目は、表示メニューの所与の二次元領域として表示されるため、いずれのアプローチにおいても、希望のメニュー選択項目を有効にするには、ユーザーは二次元で画面との接触の配置を制御する必要がある。各二次元メニュー領域が小さいほど、ユーザーはその接触動作をより正確に行わなければならず、かつ、一般に、メニュー項目選択を行うためにより長い時間が必要とされる。

本発明の方法およびシステムは、編集済みテキストの場所にテキスト挿入位置を配置し直さずにユーザーが間違って認識されたテキストを編集できるようにすることにより、入力動作認識テキスト入力システムに関する上記の問題を解決する。一態様では、テキスト出力領域に挿入するテキストを生成すると、本発明のテキスト編集システムはテキスト出力領域内においてテキスト挿入位置を追跡かつ記録し、間違って認識されたテキストの「再編集」の直後にこの位置にテキスト挿入位置を自動的に復元できるようにする。

また別の態様では、本システムはテキスト挿入位置をテキスト出力領域内の新しい場所へ変更するために使用されるものとは異なるテキストを編集するユーザー動作（または「ジェスチャ」）を定義し、そのシステムにおいてこの独自のテキスト編集ユーザー動作はユーザーが以前に生成された（しかし間違って認識された）テキストオブジェクトを出力用に実際に生成されたテキストオブジェクトと関連した代替テキストオブジェクトの1つに変更したいことを示すために実行される（以下「再編集」ジェスチャ）。例えば、スタイラスを一回タップすることによってテキスト出力領域内における新しい場所へテキスト挿入位置を変更する、スタイラス使用のタッチスクリーンシステムにおいて、特有の再編集ジェスチャはテキスト出力領域内の以前に出力されたテキストオブジェクトの近くで起こる、スタイラスの「ダブルタップ」（連続した二回のタップ間の閾値最大時間間隔を超えない閾値の時間間隔内の二回のタップ）として定義できる。以前に出力されたテキストオブジェクトと関連付けられた領域内でユーザーが再編集ジェスチャを実行したことをシステムが検出すると、そのテキストオブジェクトは当初のテキストオブジェクト（デフォルト選択またはユーザーにより実行された選択のいずれか）を生成させた1つ以上の入力動作に関連した代替テキストオブジェクトの選択された1つによりそのテキスト出力領域において置換され、テキスト挿入位置は以前の位置（再編集ジェスチャの検出前）に自動的に復元される。

元のテキストオブジェクトを置換する代替テキストオブジェクトがユーザーによって選択される場合、しばしば最も有効なユーザーインターフェースでは希望のテキストオブジェクトを選択するための代替テキストオブジェクトのメニューをユーザーに提示する。本発明ではさらに、希望のメニュー選択項目に関連した二次元メニュー領域内で始まるかまたは終了するように、画面接触動作を制御することなくユーザーが選択メニューから選択できるようにすることでスピードと容易性を高めた。代わりに、ユーザーの画面接触動作によって有効となるメニュー選択項目は、接触動作の経路が交差するメニューの最外部の境界セグメントによって決定される、ここでメニュー境界の各セグメントは、メニュー選択項目の1つに関連している。このアプローチでは、最初の接触は表示メニュー内のどこででも発生し得るものであり、および開始（あるいは終了）は特定の希望するテキストオブジェクトに関連した（あるいは関連していると思われる）領域内に制限されない。2つ以上の可能な選択肢の間で選択される必要がある場合はいつでも、本発明のメニュー選択システムを使用することでさらに効果的なものとなる。

本発明の実施形態を次の図面を参照して以下に詳述する。
図1は、図2A、2B、並びに2Cおよび図3A、3B並びに3Cに示す本発明のテキスト編集およびメニュー選択システムの方法を具体化するシステムの典型的なハードウェア・コンポーネントを示すシステムブロック構成図である。 図2Aは、本発明の方法の一態様に従い再編集されたテキストオブジェクトの一例を示す図である。 図2Bは、本発明の方法の一態様に従い内1つが再編集された2つの連結テキストオブジェクトの一例を示す図である。 図2Cは、図2Bで示した2つの連結オブジェクトの内1つを本発明の方法の一態様に従い再編集した結果の一例を示す図である。 図3Aは、本発明の方法の利点を有する1つの方法で構成されたメニューの一例を示す図である。 図3Bは、本発明の方法の利点を有する1つの方法で構成されたメニューの一例を示す図であり、ここで提示された2つの選択は、ユーザーが意図した選択に対応する事前確率が低い。 図3Cは、本発明の方法の利点を有する1つの方法で構成されたメニューの一例を示す図であり、提示された選択のそれぞれに関連するメニューの境界セグメントは、提示された選択および関連した境界セグメントの背景の色、濃淡またはテクスチャの使用に対応して示される。 図4は、本発明の方法の利点を有する1つの方法で構成されたメニュー上の接触動作の一例を示す図である。 図5は、本発明の方法の利点を有する1つの方法で構成されたメニューの一例を示す図であり、提示される選択数の増加を可能にする。 図6は、図5に示された方法で構成されるメニューの一例を示し、ここでは類似の選択ジェスチャによって選択可能なメニュー選択項目のセットを示すために類似の背景色が使用される。

本発明のシステムは、テキストの入力および編集のユーザープロセスを不必要に妨げずに、入力動作認識システムによって間違って認識されたテキストの訂正という目標をユーザーが実現することを可能にする。意図した単語または語句が間違って認識される場合（1つ以上の入力動作が、入力動作を行ったユーザーが意図したものではないテキストに「マッピングされた」場合）、ユーザーはシステムの誤認識を訂正しなければならないが、この訂正はユーザーの意図したテキストを変更または編集するというユーザーの意図を反映せず、どちらかというと、テキストオブジェクトが生成された際にユーザーが行った当初の入力動作（単数または複数）のシステム解釈の「再マップ」または「再編集」を行うためのものである。ユーザーがシステムによる1つ以上の以前の入力動作の誤認識に気いた場合、本発明のシステムはユーザーが誤認識されたテキストを訂正することを可能にし、その後テキスト挿入位置が元の位置に自動的に戻るため、最小の努力でテキスト挿入位置の元の位置でテキストを引き続き入力することを可能にする。

一態様では、ユーザーがテキスト出力領域中に挿入されるテキストを生成するに従って、適切な場合に、テキスト入力位置が自動的にこの位置に戻れるように、システムはテキスト出力領域内のテキスト入力位置を追跡および記録する。別の態様では、システムは、テキスト出力領域中の新しい場所へテキスト入力位置を変更するために使用される場合とは異なる、テキスト編集ユーザー動作（あるいは「ジェスチャ」）を定義し、およびここでこの独自のテキスト編集ユーザー動作は、ユーザーが以前に生成された（しかし間違って認識された）テキストオブジェクトを、出力用に実際に生成されたテキストオブジェクトに関連した代替テキストオブジェクトの1つに変更したいことを示すために実行される（以下「再編集」ジェスチャ）。例えば、テキスト出力領域内の新しい場所へテキスト入力位置を変更するためにスタイラスのシングルタップが実行されるスタイラスベースのタッチスクリーンでは、独特な再編集ジェスチャはテキスト出力領域中の以前の出力テキストオブジェクト近辺でのスタイラスのダブルタップとして定義できる。ユーザーが以前に出力したテキストオブジェクトに関連した領域で再編集ジェスチャを実行したことをシステムが検出すると、テキストオブジェクトは関連した代替テキストオブジェクトの1つにテキスト出力領域で置換される（下記のように）、そしてテキスト入力位置は以前の位置（再編集ジェスチャの検出前）に自動的に復元される。

本発明の以下のさまざまな観点の記述および実施形態では、特定の態様または実施形態がしばしば記述され、スタイラスベースのタッチスクリーンに実装されている文脈で例示される。しかしながら、これらのさまざまな態様および実施形態は、標準マウスおよびキーボードを使用して入力動作が実行されるシステム、スタイラスの使用を必要としないタッチスクリーンシステム、マウスの代替形式（例えば、ユーザーが注視しているスクリーン位置を決定するためにユーザーの目の動きを追跡し、システムマウスカーソルをその位置に自動的に位置させ、および瞬きの監視またはその他のメカニズムでユーザーにさまざまなマウスクリックを行うことを可能にする「視線」システム）、音声コマンドベースのシステム、または、ユーザーにテキストを生成するための入力動作の実行および／またはすでに入力されたテキストの編集動作の実行を可能にする他の手段を使用するシステムに同等に適用できることは当業者には明白であろう。

別の態様では、システムはユーザーに編集される単語をハイライトすることで（あるいは単語の境界に隣接するまたはその中のテキスト挿入位置を示すことで）、再編集のために出力されたテキスト中の単語を選択することを可能にし、その後、指定された「再編集」編集ファンクションキーを有効にする（この場合、システムは、ファンクションを有効にするために実行されたテキスト挿入位置を再配置以前の位置に復元するために、テキスト挿入位置の以前の2つの配置を追跡しなければならない。別の態様では、できるだけ効率的にそのような認識エラーの訂正プロセスを行うために、システムは、いつ出力テキスト領域中で再編集ジェスチャが実行されるかを認識し、およびあらかじめ定められたスタイラス動作またはジェスチャが実行された場所に最も近い出力テキスト領域中の単語を再編集用の標的単語として特定する。一実施形態では、前の実施例で言及したように、あらかじめ定められた編集動作は、タッチスクリーン上に表示される単語上のスタイラスの「ダブルタップ」である。別の実施形態では（例えば、マウスなどのカーソル移動制御装置を使用してシステムが動作する場合）、あらかじめ定められた編集動作は（例えば）編集される単語上でマウスを一時的に静止させ、その後マウスを素早く前後に一度動かす（これは単に例示的なジェスチャであって、多くのこのようなジェスチャが定義され得る）。

また別の実施形態では、再編集ジェスチャにおいて、複数の単語を1つのジェスチャで選択できるように定義しているものがある。例えば、音声認識システムにおける認識エラーは通常、生成された出力における1つ以上の単語に影響する。例として、ユーザーが「音声を認識するのは難しい」と発声したのに対し、システムが生成した出力は、「混成を任じ指揮するのは難しい」となる場合などである。このようなシステムでは、再編集ジェスチャは、例えば、一連の単語に下線が引かれることで定義される。上の例では、「混成を任じ」という語句に下線が引かれる。その後システムは、「するのは難しい」に相当する発声部分の解釈は変更せずに、発声に関連付けられた1つ以上の代替解釈を生成するこの同じアプローチは、手書き文字認識システムへも適用される。同システムにおいても、ユーザーの手書き文字の区切りを間違え、1つの単語を2つ以上の単語に解釈したことなどにより多くの認識エラーが生じる。もちろん、再編集する一連の語句を円で囲むなど、他の再編集ジェスチャも定義可能であり、これらは本発明の範囲外とみなされるものではない。例えば、音声認識システムにおいて、コマンドの発声により再編集「ジェスチャ」を定義することもできる。上の例では、「再編集：混声を任じ指揮する」などと発音することである。

一態様では、システムは、直近で出力したテキストオブジェクトの1つ以上の入力動作に最も一致すると判断された代替テキストオブジェクトのリストを保存する。再編集ジェスチャを検出すると、システムは代替テキストオブジェクトを含むテキストオブジェクト選択リストを表示する。この代替テキストオブジェクトは、再編集対象のテキストオブジェクトを出力する結果となった、ユーザーによる入力動作に最も一致すると判断されたテキストオブジェクトである。別の実施形態では、最初に出力されたテキストオブジェクトは、テキストオブジェクトの選択リストには表示されない。これは、再編集手順は（通常）、置き換えのためにのみ実行されるためである。別の態様では、再編集の対象となるテキストオブジェクトは、一致度が二番目に高い代替テキストオブジェクトによって自動的に置換される。これは、再編集対象のテキストオブジェクトを生成した入力動作に最も一致すると判断された代替テキストオブジェクトのリストから選択される（表示されたテキストオブジェクト選択リストからのテキストオブジェクトの選択をユーザーに要求しない）。このアプローチは、ユーザーが本来意図したテキストオブジェクトは、一致度が二番目に高い代替テキストオブジェクトであることがほとんどの場合であるシステムにおいて、有利である。別の態様では、既に再編集され、その際、一致度が二番目に高い次候補の代替テキストオブジェクトが最初の出力テキストオブジェクトを自動的に置き換えたテキストオブジェクトが再度、再編集される場合、システムはテキストオブジェクトの選択リストを表示し、ユーザーが代替テキストオブジェクトを選択できるようにする。

図1は、テキスト編集およびメニュー選択のためのユーザーインターフェースのシステムおよび方法を実装した典型的装置＜100＞のハードウェア・コンポーネントの単純化したブロック図を示したものである。装置＜100＞には、1つ以上の入力装置＜120＞が含まれ、ユーザーが実行した動作による入力信号をCPU（プロセッサ）＜110＞へ送る。通常、ハードウェアコントローラが調整に入り、入力装置から受け取った生の信号を解釈し、その情報を、利用可能なデータポート経由で既知の通信プロトコルを使って、CPU＜110＞へ送信する。入力装置＜120＞の例としてタッチスクリーンがある。これは、ユーザーがタッチスクリーンに触れたときの接触イベントをCPU＜110＞へ通知する入力機能を提供する。同様に、CPU＜110＞は、モニター＜130＞上に描画するようモニター＜130＞のハードウェアコントローラと通信する。モニター＜130＞の例として、グラフィックや文字の視覚フィードバックを提供するタッチスクリーンモニターがあげられる。オプションとして、CPUにスピーカー＜140＞を組み合わせ、適切な音声信号によりユーザーをガイドし（多くはエラー信号）、またマイク＜141＞をCPUに組み合わせて、ユーザーの声による入力（多くはユーザーによるテキスト入力方法として音声入力を実装した入力動作認識システム用）を受け取れるようにすることもできる。CPU＜110＞は、メモリ＜150＞へのアクセスを持つ。これには、一時記憶域および／または固定記憶域の組み合わせ、読取・書込可能なメモリ（ランダムアクセスメモリまたはRAM）、読取専用メモリ（ROM）、フラッシュメモリ、ハードドライブ、フレキシブルディスクなどの書込可能不揮発性メモリが含まれる。メモリ＜150＞には、オペレーティングシステム＜161＞、入力動作認識システムソフトウェア＜162＞、その他のアプリケーションプログラム＜163＞などすべてのプログラムとソフトウェアを含むプログラムメモリ＜160＞が含まれる。またプログラムメモリ＜160＞には、本発明の方法に従ってテキスト挿入位置を記録、復元するためのテキスト編集システムソフトウェア＜164＞と、本発明の方法に従って複数の選択肢をグラフィカルに表示し、グラフィカルに表示された選択肢の1つを選択決定するためのメニュー選択システムソフトウェア＜165＞が最低1つ含まれる。メモリ＜150＞には、データメモリ＜170＞も含まれ、この中には入力動作認識システムソフトウェア＜162＞が必要とするテキストオブジェクトデータベース＜171＞および、ユーザー設定とお気に入りの記録を維持するためのオプションの記憶域＜172＞、装置＜100＞のコンポーネントが必要とするその他データ＜173＞が含まれる。

図2Aは、システム＜100＞のモニター＜130＞上に表示された再編集ファンクションキー＜208＞により、または、あらかじめ定められた再編集ジェスチャを以前に出力されたがユーザーの意図したテキストオブジェクトではなかったテキストオブジェクト（図2Aでは「great」200）上で実行することにより、再編集手順を有効化する様子を示している。別の実施形態では、再編集ファンクションキー＜208＞が有効化され、ハイライトされているテキストオブジェクトが存在しない場合、システムは現在のテキスト挿入位置を含む、または隣接するテキストオブジェクトを特定し、自動的に再編集手順のターゲットとして選択する。

図2Aは結果として表示されるテキストオブジェクト選択リスト＜202＞を示している。この例では、ユーザーが本来意図したテキストオブジェクトである「heat」が、テキストオブジェクト選択リスト＜202＞で1つ目のテキストオブジェクト候補＜204＞として表示されている。これは、このテキストオブジェクトが、当初行った入力動作に対し二番目に一致するテキストオブジェクトと判断されたためである（当初の入力動作に一致するテキストオブジェクトとして最初に出力した単語「great」の次に一致）。入力装置＜120＞を使ってテキストオブジェクト選択リスト＜202＞のテキストオブジェクト＜204＞を選択すると、CPU＜110＞は、モニターのテキスト出力領域＜206＞で、ハイライトされているテキストオブジェクト「great」<200>を、ユーザーが本来意図したテキストオブジェクト「heat」に自動的に置き換える。

別の態様では、再編集プロセスは、入力動作認識システムソフトウェア＜162＞がスペースを自動生成する場合と同じように、スペースを挿入または削除する。入力動作認識システムがテキストオブジェクト間に自動的にスペースを生成する場合に、隣接するすべてのテキストオブジェクト間にスペースを自動生成する設定では、ユーザーは不必要な自動生成スペースの削除作業に追われることになる。例えば、英語では、名詞を所有格にする際に、テキストオブジェクトの最後に“'s”（アポストロフ-s）を付ける。フランス語では、母音で始まる語句の前に、冠詞「le」や「la」を付ける場合、「l’」（l-アポストロフ）と表記し、続く語句の最初の文字とアポストロフの間にスペースは挿入しない。ドイツ語などの言語では2つ以上の語句を連結させ長い「複合」語を作ることが一般に行われている。この問題を解決するには他のアプローチもあり、それを本発明の範囲外とするものではないが、入力動作認識システムにおけるこの問題を解決する簡単なアプローチとして、一定のテキストオブジェクトにフラグを付け、隣接するテキストオブジェクト間にスペースを自動挿入するという通常のルールへの例外を規定する方法がある。例えば、英語では、システムのテキストオブジェクトのデータベースにあるテキストオブジェクト「's」（アポストロフ- s）にフラグを付け、この単語と次の単語の間にはスペースを入れるが、この単語と前の単語の間にはスペースを入れないよう指定する。反対にフランス語では、システムのテキストオブジェクトのデータベースにあるテキストオブジェクト「l'」（l-アポストロフ）にフラグを付け、この単語と前の単語の間にはスペースを入れるが、この単語と次の単語の間にはスペースを入れないよう指定する。別の態様では、通常はテキストオブジェクトをスペースで区切るが、また一般に別々のテキストオブジェクトを合体させて長い「複合」テキストオブジェクトを生成するドイツ語などの言語に対応するため、通常挿入する単語間へのスペースの自動生成を次回はオフにする機能を入力動作認識システムに搭載する（これにより、間にスペースを生成せずに2つのテキストオブジェクトを続けて生成できる）。あるいは、スペースの自動生成機能を再度有効化するまでの間、通常ならば生成されるスペースの自動生成機能をオフにする機能を搭載してもよい。あるいは、入力動作認識システムに、直近で自動生成したスペースを削除する機能を付け加えることもできる。以下に説明するように、本発明の再編集プロセスは、スペースの自動生成におけるこれらさまざまな例外に対応するため、再編集プロセスによって、テキストオブジェクトを異なる自動スペース設定規則が適用されるテキストオブジェクトによって置き換えた場合も、テキストは正しいスペース設定で生成される。

また別の態様では、再編集ジェスチャにおいて、テキストオブジェクト文字の連続した文字列を構成する一部の文字列を1つのジェスチャで選択できるように定義する。図2Bの例に示すように、単語「of’s」＜210＞は、「of」＜212＞と「’s」＜214＞から成り立っている。この例では2つのテキストオブジェクトは、連続して実行された2つの別々の入力動作に対応して作成された点に注意されたい。もう1点注意したいのは、このテキストは、デフォルトでは連続して生成するテキストオブジェクト間にスペースを自動出力する入力動作認識システムで生成されているが、テキストオブジェクト「’s」＜214＞はシステムのテキストオブジェクトデータベースで、このデフォルト動作の例外としてフラグが付いているため、「’s」＜214＞の出力前にスペースは生成されておらず、そのため、直前のテキストオブジェクトに合体し、正しい所有格が作られている点である。ただし、図2Bに示した例では、テキストオブジェクト「’s」＜214＞は対応する入力動作を実行したときにユーザーが本来意図したテキストオブジェクトではなかった。

また別の態様では、複数のテキストオブジェクト文字から構成され、前後に1つ以上のデリミタ文字が付いているテキスト文字列（図2Bの例では、「of’s」<210>の文字列）に関連付けられた領域で、再編集ジェスチャが検出されると、システムはまず、テキスト文字列全体（図2Bの例では、「of’s」<210>）が、1つのユーザー入力動作に対応して生成されたかどうかを確認し、そうであることが確認された場合は、システムは入力動作で特定された代替テキストオブジェクトに基づき、上述の方法で対応する。また別の態様では、特定されたテキスト文字列（この例では「of’s」<210>）が、それぞれテキストオブジェクトの部分文字列を生成する2つ以上の別々のユーザー入力動作によって生成された場合には、システムは実行された再編集ジェスチャに最も近いテキストオブジェクトの部分文字列を特定し、例えば、特定された部分文字列をハイライトし、部分文字列を生成したユーザー入力動作に一致する代替テキストオブジェクトのリストを表示し、ユーザーが選択できるようにする。図2Bでは、検出された再編集ジェスチャに関連付けられた位置＜216＞（例えば位置＜216＞でのダブルタップ）は、部分文字列「’s」＜214＞に最も近いため、この部分文字列が再編集の「ターゲット」として特定され、テキスト出力領域＜206＞でハイライトされている。図2Bの例では、ユーザーは文章全体の入力をちょうど終えたところで、位置＜216＞での再編集ジェスチャの検出前のため、テキスト挿入位置は入力を終えた文末である位置＜218＞にあり、ユーザーは次の文章を入力する準備ができている。

この例では、ユーザーが本来意図したテキストオブジェクトである「Oz」が、テキストオブジェクト選択リスト＜202＞に第一候補のテキストオブジェクト＜220＞として表示されている。これはこの単語が、当初の入力動作に対し二番目に一致するテキストオブジェクトとして判断されたためである（当初の入力動作に最も一致するテキストオブジェクトとして最初に出力されたテキストオブジェクト「’s」＜214＞の次に一致）。図2Cは、テキストオブジェクト選択リスト＜202＞で、テキストオブジェクト「Oz」＜220＞を選択し、出力テキスト領域＜206＞において、テキスト編集システムソフトウェア＜164＞が自動的にハイライトしたテキストオブジェクト「’ｓ」＜214＞を、ユーザーが本来意図したテキストオブジェクト「Oz」＜220＞に置き換えた様子を示している。テキスト編集システムソフトウェア＜164＞が、直前のテキストオブジェクト「of」＜212＞と「Oz」＜220＞の間にスペース＜222＞を挿入した点にも注意されたい。前述の通り、テキストオブジェクト「's」＜214＞は、システムのテキストオブジェクトデータベース＜171＞内で、正常に生成したテキストオブジェクト間にスペースを自動生成するというデフォルト動作に対する例外フラグが付けられているため、元来、図2Bの「's」＜214＞を出力する前にスペースは生成されていない。選択した置換テキストオブジェクト「Oz」＜220＞には、システムのテキストオブジェクトデータベース＜171＞内でそのようなフラグが付いていないため、システムがテキストオブジェクト「's」＜214＞をテキストオブジェクト「Oz」＜220＞で置き換えると、置換テキストを挿入する前にスペースが生成され、スペース＜222＞が、語句「of」＜212＞と「Oz」＜220＞の間に挿入される。逆の場合も同じように処理される。つまり、テキストオブジェクト「Oz」＜220＞が最初に生成され、その後再編集手順によって、テキストオブジェクト「's」＜214＞で置き換えられる場合、最初はスペース＜222＞が生成されテキストオブジェクト「Oz」＜220＞の前に置かれているが、「Oz」＜220＞を「's」＜214＞で置き換える際に、先行するスペースは削除され、「's」＜214＞が直前のテキストオブジェクトと直接結合する。このように別の態様において、再編集プロセスの結果、1つのテキストオブジェクトが別のオブジェクトで置き換えられ、かつ、2つのテキストオブジェクトに異なるスペース自動挿入動作が関連付けられている場合、置換テキストオブジェクトの前後のスペースは、2つのテキストオブジェクトのスペース設定動作の違いを反映して調整される。

別の実施形態では、テキスト編集システムソフトウェア＜164＞がテキスト出力領域＜206＞におけるテキスト挿入位置を記録するため、再編集テキストオブジェクトを代替テキストオブジェクトで置換した直後に、テキスト挿入位置は自動的に復元され、再編集手順実行前の出力テキストの位置に戻る。図2Cの例では、テキストオブジェクト「’s」＜214＞のテキストオブジェクト「Oz」＜220＞による置き換えの後、テキスト挿入位置は自動的に元の位置＜218＞、つまり文の終了位置に戻る（位置＜216＞における再編集ジェスチャ検出前の場所）。このため、ユーザーは手動でテキスト挿入位置へカーソルを移す必要なく、テキストの挿入を続行できる。また別の態様において、生成されたテキストオブジェクト選択リストが、置換テキストオブジェクトを選択せずにキャンセルされた場合、特定されたテキストオブジェクトはハイライトされた（選択された）状態のままとなり、テキスト挿入位置は出力テキストの元の位置に戻らないため、ハイライトされたままの特定されたテキストオブジェクトに対し別の動作を行うことができる。また別の態様において、生成されたテキストオブジェクト選択リストから代替テキストオブジェクトを選択する前に、1つ以上の追加の入力動作を行うと、テキストオブジェクト選択リストは自動的にキャンセルされ、テキスト挿入位置は、出力テキスト内の元の位置に戻らない。そして、1つ以上の追加の入力動作により生成されたテキストは、テキスト出力領域に送られ、ワード処理プログラムの標準動作に従い、結果として、以前に出力されたテキストオブジェクトを置き換える。これは、以前に出力されたテキストオブジェクトが現在、テキスト領域でハイライトされている（選択されている）ためである。また別の態様では、制御文字の生成に対応する入力動作を行うと、制御文字をターゲットのテキストアプリケーションへ送る結果になる。例えば、Ctrl-Bの生成に対応する入力動作を実行すると、ターゲットアプリケーションはCtrl-Bを受け取り、ハイライトされている以前に出力したテキストオブジェクトを太字でフォーマットする。また別の態様において、ユーザーが表示テキスト領域をスクロールし、テキスト挿入位置がモニター画面上に表示されなくなったことをシステムが検出した状態で再編集ジェスチャを実行すると、自動生成されたテキストオブジェクト選択リストから代替テキストオブジェクトを選択しても、テキスト挿入位置は、出力テキストの元の場所（すでに表示されていない）には戻らない。また別の態様では、システム設定から選択することにより、システムであらかじめ定められた再編集ジェスチャおよびその後の動作（例えば出力テキストの元の位置にテキスト挿入位置を戻すことなど）を設定できる。

システムのこれらの機能は、テキスト入力効率を大幅に向上させる。入力動作認識システムは、本質的に、多くの不正確に生成されたテキストオブジェクトを伴い、これらは通常以前生成したテキスト全体にランダムに散らばる。多くの場合、ユーザーは単に不正確に生成されたテキストオブジェクトを修正する必要があるだけで、修正後、それまでテキストを出力していた場所への入力を続行する。テキスト挿入位置を記録し自動で戻る機能は、テキスト挿入位置を元の位置へ戻す面倒な移動作業をなくすため、ユーザーへの大きなメリットとなる。エラー修復手順の効率を大幅に改善することにより、システムの全体効率は2つの面で大幅に向上する。まず、偶発的なエラーの修正が容易となり、時間が削減されるため、全体的な実効入力速度が向上する。次に、エラー修復プロセスがとても単純で容易なため、多くのユーザーの認識エラーの可能性に対する懸念が減少し、結果として入力動作がより迅速になり、正確性への懸念が減る。多くの入力動作認識システムにおいて、これは、入力速度の向上に全体として効果がある。

また別の態様において、ユーザーがテキスト出力領域内でカーソルを移動させると、テキスト編集システムソフトウェア＜164＞はそれを検出し、カーソルが置かれた新しいテキスト挿入位置の状況に合わせて自動でシステム動作を変更する。一態様では、生成する単語間にスペースを自動出力する場合に、テキスト挿入位置が新しい文脈へ移動したことを検出すると、システムは、新しい文脈で1つ目の単語を出力するまでスペースの自動出力をオフにする。また別の態様では、テキスト挿入位置が新しい文脈へ移動したことをシステムが検出し、かかる自動スペース設定がオンになっていた場合、システムは、新しいテキスト挿入位置の左側にある文字を調べ、テキスト挿入位置の左にある文字が「空白」文字の場合、および／またはテキスト挿入位置がテキストフィールドの先頭にある場合、および／またはテキストフィールドがパスワード入力フィールドの場合、システムは新しい文脈で1つ目の単語を出力するまでスペースの自動出力をオフにする。

別の態様では、ユーザーがテキストオブジェクトを再編集する際、1つ以上の代替テキストオブジェクトのリストがユーザーに提示されるため、ユーザーが本来意図するテキストオブジェクトを選択することができる。これらの代替テキストオブジェクトは、再編集されるテキストオブジェクトに対して、システムにより最初にマップされた1つ以上の入力動作の入力動作認識システムによる代替「マッピング」に対応する。別の態様では、ユーザーが選択できる代替テキストオブジェクトのリストが特別なグラフィカル表示によって提示されるので、ユーザーは単純かつ直感的なジェスチャによって希望の選択肢を指定できる。通常、このジェスチャには従来の技術で使用されるメニュー選択方法に必要な精度は要求されず、意図されたオブジェクトの選択処理にかかる時間を短縮することで、再編集手順を迅速にする。別の態様では、これと同じ特別なグラフィカルメニュー表示がユーザーインターフェースの他の箇所でも利用されるため、システム内の他の箇所における2つ以上の代替選択肢からの選択に要する時間も同様に短縮される。本発明のグラフィカル表示およびジェスチャ表示による選択方法は、提示された1つ以上の代替選択肢が、ユーザーが意図する選択肢となる事前確率の平均よりも高い場合、特に有効である。これは、ユーザーに選択肢が提供される多くの場合に当てはまる。

図3Aは、本発明の方法の利点を有する一つの方法で構成されたメニュー300の一例を示したものである。図3Aに示される例は、次の6つの選択サブ領域を含む。これらは、選択肢1から選択肢5に対する5つの選択サブ領域301〜305、そしてこの選択がメニュー300をキャンセルする動作であることを明示するアイコンが付いた6番目のサブ領域306である。6つの各選択サブ領域301〜306は、メニュー300の周辺境界線に対応するセグメント311〜316に関連している。本発明において、メニュー選択を行うには、まず画面上で、メニューの最も外側の周辺境界線で囲まれる領域内の任意の場所に接触する。画面との接触を保ちながら、希望の選択肢と関連したメニュー境界線セグメントを通り抜けて、メニュー領域から退出する経路をたどる。次に、メニュー300周辺境界線の外部の場所で、画面との接触を解除することによって（例：スタイラスを離す）接触動作を終了する。または、接触動作がメニュー領域から退出すると、直ちにメニュー選択が効果的に行わる。この場合、接触動作を終了する必要はない。メニュー選択を効果的に行うため、接触動作の終了が要求されるので、ユーザーは接触を解除せずにメニュー領域に再び入り込み、保留中の選択を修正することができ、メニュー境界線の別のセグメントを通り抜けてから接触動作を終了することができる。ここで説明されている例には、タッチスクリーンの使用が含まれており、画面との接触および接触解除の動作により、スタイラス（または指、その他の接触手段）の位置によって決定される制御ポイントが効果的に「有効」または「無効」になるが、その他のアプローチは本発明の範囲外とみなされるものではない。例えば、制御ポイントは、マウスの移動によって制御されるカーソルになり得る。この場合、マウスボタンをクリックするまたは放すことによって、制御ポイントが「有効」または「無効」になる。

図3Aにおいて、メニュー選択サブ領域に関連のあるメニュー300の周辺境界線セグメントは、メニュー選択サブ領域自体の周辺境界線の一部でもあるメニューの周辺境界線セグメントである。図3Aに示されるメニューの例において、選択サブ領域301内にある選択肢1は、メニュー300の上部境界線全体を構成する、メニュー周辺境界線セグメント311に関連がある。選択肢1を選択するには、メニュー300内の任意の場所で画面に接触し、上方向に移動して、上部のメニュー領域から退出し、画面との接触を解除する。図4は、起点となる接触位置401から開始し、周辺境界線セグメント311上にある退出位置402からメニューを退出し、最終接触位置403で終了する接触動作400の例を示したものである。接触動作400の結果として、最初の接触位置が「選択肢3」に関連のあるメニュー選択サブ領域303内にあるにもかかわらず、メニュー選択肢301（「選択肢1」）が選択される。

本発明の利点の1つは、接触動作が正確性をさほど必要としないため、非常に迅速に実行され、全般的にユーザーによるメニュー選択が迅速化されることにある。特定のメニュー選択肢が選択される事前見込みが高い場合、利点はさらに大きくなる。例えば、図3Aに示されるメニューにおいて、メニュー選択肢301（「選択肢1」）および305（「選択肢5」）の一方が選択される確率は、選択肢302、303、または304のいずれかが選択される確率の2倍以上であることが事前に判明していると仮定する。図3Aに示されるメニューの例は、メニュー周辺境界線の上部境界線セグメント311全体が「選択肢1」の選択サブ領域301に関連付けられ、メニュー周辺境界線の下部境界線セグメント315が「選択肢5」の選択サブ領域305に関連付けられるように設計されている。このメニュー例では、セグメント311と315の両方の長さは、セグメント312、313、および314（それぞれ選択サブ領域302、303、および304に関連する）の長さの約3倍となる。つまり、対応するセグメントを通過してメニューを退出する経路を素早くたどる際の誤差の許容範囲が大きいため、「選択肢1」と「選択肢5」を選択するのが非常に容易になる。さまざまなメニュー選択サブ領域を簡単に設計できるため、関連のある周辺境界線セグメントの相対的な長さは、妥当な許容範囲において、さまざまなメニュー選択の相対的な期待確率に近似する。

本発明の別の重要な利点は、最も外側にあるメニュー周辺境界線に囲まれた領域内で開始され、一度も周辺境界線を通過してメニューを退出することのない接触動作は、従来のメニュー選択とみなされることにある。つまり、メニュー選択サブ領域の「タップ」による選択とみなされる。これにより、この新しいメニュー選択アプローチに関する説明または情報がユーザーに提供されていないシステムに、本発明によって改善されたメニュー選択アプローチを導入することができる。新しい選択アプローチをまったく知らないユーザーは、新しいメニュー選択方法が発見されるか、紹介されるまで、従来のメニュー選択である「タッピング」を引き続き使用できる。これにより、事前確率が非常に低いメニュー選択項目は、メニュー選択肢の周辺境界線にメニューの外部境界線セグメントが一切含まれない「境界線のない」メニュー選択肢として表示できるため、メニュー設計に関する柔軟性も向上する。この結果、使用可能なメニュー周辺境界線の長さが増加し、確率の高い他のメニュー選択肢に割り当てることが可能となる。例えば、図3Bには、図3Aに示されているのと同じ選択肢のセットを使用したメニュー配置の例が示されている。ただし、図3Bに示されるメニュー選択肢セットのメニュー配置では、「選択肢2」（322）が選択される事前確率が図3Aにおける確率よりもはるかに高いことを示している。図3Bの例では、メニューの右側にある332全体が「選択肢2」に関連があり、「選択肢3」と「選択肢4」の両方は、関連のあるメニュー選択サブ領域323と324内で、画面に直に接触することで選択する必要があり、希望のメニュー選択サブ領域から退出せずに接触を解除する（例：従来のメニュー選択である「タッピング」を使用）選択する必要がある。

同様の設計原理は、2つのサブメニューを組み合わせることによって、より多くの選択肢を持つメニューに効果的に使用できる。図5は8つの選択サブ領域501〜508を持つメニュー500を示す。選択サブ領域501〜504は共に最初のサブメニュー領域521を構成し、サブ領域505〜508は共に第2のサブメニュー領域522を構成する。選択サブ領域501〜504はサブメニュー521周辺境界セグメント511〜514と関連し、選択サブ領域505〜508はサブメニュー522周辺境界セグメント515〜518と関連している。サブメニュー521周辺境界セグメント514およびサブメニュー522周辺境界セグメント515は、メニュー500の外周境界に沿ってあるのではなく、それ自体がメニュー500の内部にある同じラインセグメント（514/515）であることに注意すべきである。これは問題ではないが、メニュー選択504と505の選択動作は、ラインセグメント（514/515）が交差する方向および最初の接触がなされるサブメニュー領域が異なる。サブメニュー521の領域にある最初の接触場所を持ち、ラインセグメント（514/515）を下向きに交差する接触動作は、メニュー選択504の一義的な選択である一方、サブメニュー522の領域にある最初の接触場所を持ち、ラインセグメント（514/515）を上向きに交差する接触行為は、メニュー選択505の一義的選択である。他の実施形態では、サブメニューの領域内の最初の接触の検出時に最初の接触場所を含むサブメニューが視覚的にハイライトされ、サブメニューの外周を交差することによりサブメニューに存在するパスをトレースして選択することのできる（サブメニュー内に含まれる）メニュー選択肢のセットを表示する。

メニューの周辺境界のセグメントとメニュー選択肢を関連付ける最も直接的な方法は、それ自体がメニュー選択肢の周辺境界の一部でもあるメニューの周辺境界のセグメントを関連付けることである（上記に説明の通り）。他の方法も可能であり、本発明の範囲外とはみなされるべきではない。例えば、各メニュー選択と関連する領域は異なる特徴的な背景（またはフォント）色で表示され、関連するメニューの周辺境界セグメントは対応する関連（または同一の）色で表示される。例えば図3Cでは、6つのメニュー選択肢341〜346はそれぞれ、オレンジ（341）、黄（342）、緑（343）、青（344）、紫（345）、赤（346）の背景色で表示され、対応するメニュー周辺境界セグメントはそれぞれ、オレンジ（351）、黄（352）、緑（353）、青（354）、紫（355）、赤（356）のセグメントとして表示される。あるいは、6つのメニュー選択肢341〜346はそれぞれ、明るいオレンジ、淡黄色、薄緑、薄青色、薄紫、明るい赤の背景色で表示することができ（明るい背景色によって各メニュー項目を読みやすくするため）、対応するメニュー周辺境界セグメントはそれぞれ、鮮明なオレンジ（351）、黄（352）、緑（353）、青（354）、紫（355）、赤（356）のセグメントとして表示されうる。2つのアプローチの組み合わせにより、色と周辺境界セグメントの近傍によりどのメニュー選択サブ領域が関連しているかを明らかにする場所において、使用する色を少なくすることができる。このように、メニューは図3Cに示す例のように表示することができ、各メニュー選択サブ領域は図3Aに示されるようなより複雑な多角形ではなく、従来型の長方形として表される。別の態様では、色の代わりにパターンまたは濃淡を使って、さまざまなメニューサブ領域を区別し、サブ領域と対応するメニュー周辺境界セグメントを関連付けることが可能である。

さらに図6に示されるように、メニュー構造500は、各ケースで必要なメニュー選択動作を簡単かつ直感的にするために、一貫した4色のカラースキームを使用することができる。例えば、メニュー選択サブ領域501と505は青の背景、サブ領域502と506は赤の背景、サブ領域503と507は黄色の背景、サブ領域504と508は緑の背景で表示できる。するとユーザーは次の事のみを覚えておけばよい。青の背景−下をタップして上向きになでる。赤の背景−近くをタップして右向きになでる。黄色の背景−近くをタップして左向きになでる。緑の背景−上をタップして下向きになでる。この特定のスキームは簡略記憶記号のようなものでもある。青−「空に向かって」、緑−「地球に向かって」、「赤は右へ」、そして「黄色は左へ」など。このモジュラーアプローチでは、任意の数の選択肢を持つメニューを、本発明の原理を使用して構築することができる。

上記のように、本発明の実施形態を図解、説明してきたが、本発明の精神と範囲から逸脱することなく、多くの変更をすることが可能である。従って、方法の範囲は、上記に説明された特定の態様によってではなく、添付の請求項およびその法的同等物により決定されるべきである。
以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。
［１］
ユーザーの入力動作を検出してテキストを生成および編集する少なくとも１つの入力システム、および当該テキストを当該ユーザーに表示する少なくとも１つのテキスト表示システムから成るユーザーインターフェースを持つ電子機器上の入力および編集方法であって、
次に生成されるテキストオブジェクトが出力される当該テキスト表示システム内でのテキスト挿入位置の記録、
当該テキスト表示システムへの１つまたは複数の当該テキストオブジェクト出力を識別するための特徴的入力動作の検出、
検出された特徴的入力動作に基づく１つまたは複数の当該テキストオブジェクトの以前の出力の特定、
１つまたは複数の当該特定テキストオブジェクトが前に判定された、１つまたは複数の入力動作に対応する１つまたは複数の代替テキストオブジェクトの判定、
１つまたは複数の当該判定代替テキストオブジェクトと、１つまたは複数の以前に出力された当該特定テキストオブジェクトとの置換、
当該テキスト挿入位置の、当該入力動作の検出以前の記録場所への復元、を具備する方法。
［２］
［１］の方法において、さらに、テキスト表示システム上の１つまたは複数の当該判定代替テキストオブジェクトを、ユーザーに表示し、当該特定の以前に出力された１つまたは複数のテキストオブジェクト置換のため、表示されたテキストオブジェクトの１つを選択することを具備する方法。
［３］
［１］の方法において、さらに、当該の特徴的入力動作と関連する当該テキスト表示システム内の場所を判定し、当該判定場所に最も近いテキスト表示システムに対する以前に出力されたテキストオブジェクトを特定することを具備する方法。
［４］
［１］の方法において、さらに、１つまたは複数の出力テキストオブジェクト間に１つまたは複数のスペースを自動的に生成することを具備する方法。
［５］
［４］の方法において、さらに、２つ以上のクラスのテキストオブジェクトクラスに属する２つ以上のテキストオブジェクトを特定することを具備し、２つ以上の当該各テキストオブジェクトクラスは、当該クラスに属するテキストオブジェクトの出力の前または後の少なくとも１つで、１つまたは複数のスペースを自動的に生成する方法において他のクラスと異なる、方法。
［６］
［５］の方法において、さらに、当該テキストオブジェクトクラスの異なるクラスに属するテキストオブジェクトと差し替えられるテキストオブジェクトの前か後の少なくとも１つに位置するスペースを自動的に挿入または削除することの少なくとも１つを具備する方法。
［７］
［５］の方法において、さらに、当該テキスト挿入位置の変更を検出すること、また変更されたテキスト挿入場所における、次のテキストオブジェクト出力の前または後の少なくとも１つで、当該テキスト挿入場所に直接隣接するテキストオブジェクトに関連する当該テキストオブジェクトクラスに関して、また当該変更テキスト挿入場所に直接隣接するすべてのスペースに関して、１つまたは複数のスペースが自動的に生成される方法を変えること、を具備する方法。
［８］
［４］の方法において、さらに、特徴的なユーザー入力動作を検出して次に生成されたテキストオブジェクトの出力に関連した当該スペースの自動的な生成を不可能にし、かつ、次に生成された当該テキストオブジェクトの出力に続き、当該する自動的なスペース生成を自動的に再び可能にすること、を具備する方法。
［９］
［４］の方法において、さらに、特徴的なユーザー入力動作を検出して、当該する自動的に生成されたスペースの内、最も直近に発生成されたものを削除することを具備する方法。
［１０］
［１］の方法において、さらに、テキスト表示システムに２つ以上の決定された代替テキストオブジェクトを表示し、意図されたテキストオブジェクトを置き換える代替テキストオブジェクトを特定するためにユーザーの選択を検出することを具備する方法。
［１１］
［１０］の方法において、さらに、指示されたテキストオブジェクトの代替として表示された代替テキストオブジェクトを選択する前に、当該ユーザーが１つ以上の別の入力動作を行い、テキスト挿入位置の復元が行われず、特定されたテキストオブジェクトがテキスト挿入位置として選択されていることで、１つ以上の別の入力動作の結果が意図されたテキストオブジェクトを修正または置換することを具備する方法。
［１２］
［１］の方法において、さらに、特定されたテキストオブジェクトを置き換えるための決定された代替テキストオブジェクトの内、検出された入力動作に対して次に最も一致するテキストオブジェクトとして決定された１つ以上の代替テキストオブジェクトを自動的に特定することを具備する方法。
［１３］
［１］の方法において、さらに、テキスト挿入位置が当該テキスト表示システムで可視である位置にはない場合、特徴的な入力動作が検出される以前に記録された位置にテキスト表示システム中のテキスト挿入位置を復元しないことを具備する方法。
［１４］
テキストを入力および編集する装置であって、
テキストを生成および編集する１つ以上のユーザーの入力動作を検出する１つ以上の入力装置、
ユーザーに生成されたテキストを表示する出力装置、
入力装置および出力装置に接続されているプロセッサーを具備し、そのプロセッサーは、
次に生成されるテキストオブジェクトが出力されるテキスト挿入位置を記録する第１部分、
以前に当該出力装置に出力された１つ以上の当該テキストオブジェクトを特定する特徴的な入力動作を検出する第２部分、
検出された特徴的な入力動作に基づき１つ以上の以前に出力された当該テキストオブジェクトを特定する第３部分、
１つ以上の意図されたテキストオブジェクトを以前に決定した１つ以上の検出された入力動作に対応する１つ以上の代替テキストオブジェクトを決定する第４部分、
１つ以上の決定された当該代替テキストオブジェクトで以前に出力された１つ以上の当該テキストオブジェクトを置き換える第５部分、
特徴的な入力動作が検出される前に記録された場所にテキスト挿入位置を復元する第６部分を具備する、装置。
［１５］
［１４］の装置において、さらに、当該プロセッサーは、以前に出力されて特定された１つ以上のテキストオブジェクトを置き換えるために表示されたテキストオブジェクト１つをユーザーが選択するために、当該出力装置に１つ以上の決定された当該代替テキストオブジェクトを表示する第７部分を具備する、装置。
［１６］
［１４］の装置において、さらに、当該プロセッサーは、特徴的な当該入力動作に関連した当該出力装置内の場所を決定する第７部分、
および以前に当該出力装置に出力されたテキストオブジェクトの内、決定された場所に最も近いものを特定する第８部分を具備する、装置。
［１７］
［１４］の装置において、さらに、当該プロセッサーは、１つ以上の出力されたテキストオブジェクトの間に１つ以上のスペースを自動的に生成する第７部分を具備する、装置。
［１８］
［１７］の装置において、さらに、当該プロセッサーは、２つ以上のクラスのテキストオブジェクトに属する２つ以上のテキストオブジェクトを特定する第８部分を具備し、前記２つ以上のテキストオブジェクトのそれぞれは、当該クラスに属するテキストオブジェクトが出力される場合に、１つ以上のスペースが自動的に生成され、少なくとも１つは出力の前または後に生成されるという点において他のクラスと異なる、装置。
［１９］
［１８］の装置において、さらに、当該プロセッサーは、
当該テキストオブジェクトクラス内の別のクラスに属するテキストオブジェクトを置き換えるテキストオブジェクトの前か後の少なくとも１つに位置するスペースの自動的な挿入またはスペースの自動的な削除のための第８部分を具備する、装置。
［２０］
［１８］の装置において、さらに、当該プロセッサーは、
テキスト挿入位置の変更を検出でき、そして、変更されたテキスト挿入位置に近接であるテキストオブジェクトに関連したテキストオブジェクトのクラスに対して、または変更されたテキスト挿入位置に近接であるスペースに対して、少なくとも１つ以上のスペースが自動的に生成される方法、すなわち、少なくとも変更された当該テキスト挿入位置にある次のテキストオブジェクトが出力される前または後少なくとも１つで自動的に生成されたスペースを修正する第９部分を具備する、装置。
［２１］
［１７］の装置において、さらに、当該プロセッサーは、
特徴的なユーザー入力動作を検出して次に生成されたテキストオブジェクトに関連した自動的なスペースを生成することを不可能にし、かつ、次に生成されたテキストオブジェクトが出力された次第に、自動的にスペースを生成することを自動的に再び可能にする第８部分を具備する、装置。
［２２］
［１７］の装置において、さらに、当該プロセッサーは、
特徴的なユーザー入力動作を検出して、自動的に生成されたスペースの内、直近に生成されたものを削除する第８部分を具備する、装置。
［２３］
［１４］の装置において、さらに、当該プロセッサーは、
当該出力装置の中の２つ以上の決定された代替テキストオブジェクトを表示する第７部分、および
意図されたテキストオブジェクトを置き換える代替テキストオブジェクトを特定するためにユーザーにより行われる選択を検出する第８部分を具備する、装置。
［２４］
［２３］の装置において、さらに、当該プロセッサーは、
指示されたテキストオブジェクトの代替として表示された代替テキストオブジェクトを選択する前に、ユーザーの１つ以上の別の入力動作を検出する第９部分、および
以前の個所にテキスト挿入位置が復元されず、１つ以上の別な入力動作の結果としてテキストオブジェクトを修正または置換するように特定されたテキストオブジェクトを当該テキスト挿入位置として選択する第１０部分を具備する、装置。
［２５］
［１４］の装置において、さらに、当該プロセッサーは、
指摘されたテキストオブジェクトを置き換えるために、決定された代替テキストオブジェクトの内、指摘されたテキストオブジェクトを生成した検出された当該入力動作に対して次に最も一致するテキストオブジェクトとして決定されている代替テキストオブジェクトを自動的に特定する第７部分を具備する、装置。
［２６］
［１４］の装置において、さらに、当該プロセッサーは、
特徴的な入力動作が記録された以前のテキスト挿入位置の場所が当事に出力装置の可視であるテキストにはないということを決定する第７部分、および
第７部分が記録された場所は当事に出力装置の可視であるテキストにはないということを決定する場合、第６部分が特徴的な入力動作が検出された以前に記録された個所にテキスト挿入位置を復元することを防ぐ第８部分を具備する、装置。
［２７］
電子ディスプレーの上に指摘された限られた領域の中に、ユーザーが制御ポイントを位置決め、移動、有効、無効にできるディスプレーにおいて、２つ以上の映像的な選択肢を表示する方法において、
限られた領域の中に２つ以上の映像的な選択肢を提示すること、
限られた領域の境界に対して１つ以上のセグメントを定義すること、
映像的な選択肢の内、特定の１つには１つ以上の指定されたセグメント間を独立的に関連付けること、
限られた領域内の制御ポイントの有効化を検出すること、
有効化された制御ポイントが限られた領域内から出るなど有効化された制御ポイントの動作を検知すること、
有効化された制御ポイントが限られた領域内から出る際に通った独自の境界セグメントの１つを特定すること、
特定された境界セグメントの元に、映像的に表示された選択肢を決定することを具備する方法。
［２８］
［２７］の方法において、さらに、それぞれの当該選択肢が限られた領域内にある独自に定義されたサブ領域内に表示され、指定された特定の該境のセグメントが１つのサブ領域の境界セグメント間を兼ねる境界セグメントで定義され、さらにサブ領域内に表示された選択肢がその兼ねられた境界の領域に特定に関連する、方法。
［２９］
［２７］の方法において、１つ以上の色、映像的なパターン、または濃淡を使い１つ以上の選択肢が映像的に表示され、さらに、その独自関連付けられ定義された境界セグメントが同等またはそれ以上の色、映像的なパターン、または濃淡を使って表示される、方法。
［３０］
［２７］の方法において、さらに、限られた領域内で制御ポイントが有効化された場合、定義され限られた領域の映像的な表示を修正することを具備する方法。
［３１］
［２７］の方法において、２つ以上の限られた当該領域の長さに対して、関係はユーザーがその２つ以上の定義された境界セグメントには独自に関連されて映像的に表示される選択肢をそれぞれ選択することの決定された確率の関係に関連する、方法。
［３２］
装置であって、
選択されるための２つ以上の選択肢を映像的に発表する出力装置、
当該ディスプレーの上に、ユーザーが制御ポイントを位置決め、移動、有効、無効に指定するための２つ以上の入力動作を検出する入力装置、
入力装置および出力装置にも接続されているプロセッサーを具備し、そのプロセッサーは、
ディスプレーの上に、定義されて限定された領域の中に２つ以上の選択肢を映像的に表示する第１部分、
該限定された領域の境界の２つ以上の特定のセグメントを指定する第２部分、
１つ以上の定義されたセグメントをそれぞれ映像的に表示された選択肢の内特定の１つに独立的に関連させる第３部分、
限定された領域内で制御ポイントが有効化された状態を検出する第４部分、
有効化された制御ポイントが限定された領域内から出るような次第の動作を検出する第５部分、
有効化された制御ポイントが限定された領域内から出る時に通った定義された境界セグメントを特定する第６部分、
特定された境界セグメントの元に、映像的に表示されている選択肢を決定する第６部分を具備する、装置。
［３３］
［３２］の装置において、当該プロセッサーは、さらに、
当該選択肢をそれぞれ独自に限定されたサブ領域内に表示する第７部分、
指定された特定の境界セグメントが１つのサブ領域の境界セグメントを兼ねる境界セグメントとして定義する第８部分、
サブ領域の中に表示された選択肢をその兼ねられた境界セグメントの領域と関連付ける第９部分を具備する、装置。
［３４］
［３２］の装置において、さらに、当該プロセッサーは、
１つ以上の色、映像的なパターン、または濃淡で１つ以上の選択肢を映像的に表示し、さらに、その独自に関連付けられ定義された境界セグメントを同等またはそれ以上の色、映像的なパターン、それに濃淡で表示する第７部分を具備する、装置。
［３５］
［３２］の装置において、さらに、当該プロセッサーは、
限定された領域内で制御ポイントが有効化された状態を検出した場合、定義され限定された領域の映像的な表示を修正する第７部分を具備する、装置。
［３６］
［３２］の装置において、さらに、２つ以上の限定された領域の長さに対して、関係はユーザーがその２つ以上の定義された境界セグメントと独自に関連付けられ映像的に表示された選択肢のそれぞれを選択することの決定された確率の関係に関連する、装置。

Claims (6)

1. ユーザがテキストの入力および編集を行う最低１つの入力システムと、前記ユーザに前記テキストを表示する最低１つのテキスト表示システムとから構成されるユーザインターフェースを備えた電子デバイスにおいてテキストを入力および編集する方法であって、
   前記電子デバイスの第１のコンポーネントによって、ユーザによって行われた１つまたは複数の入力行為を検出し、
   前記電子デバイスの第２のコンポーネントによって、前記ユーザによって行われた１つまたは複数の入力行為に対応する１つまたは複数のテキストオブジェクトを判断するために、前記ユーザによって行われた１つまたは複数の入力行為を処理し、
   前記電子デバイスの第３のコンポーネントによって、前記判断したテキストオブジェクトのうちの１つを識別し、
   前記電子デバイスの第４のコンポーネントによって、前記識別したテキストオブジェクトを前記テキスト表示システム内の決まったテキスト挿入位置に出力し、
   前記電子デバイスの第５のコンポーネントによって、次に識別されるテキストオブジェクトが出力される前記テキスト表示システム内の前記テキスト挿入位置の場所を記録し、
   前記電子デバイスの第６のコンポーネントによって、ユーザによって行われた特定の入力行為を検出し、前記テキスト表示システムに先に出力された１つまたは複数の前記テキストオブジェクトを指し示し、
   前記電子デバイスの第７のコンポーネントによって、ユーザがさらなる入力行為を行うこと無しに、１つまたは複数の代替のテキストオブジェクトを識別し、ここで、前記１つまたは複数の代替のテキストオブジェクトは、前記検出された１つまたは複数の入力行為に対応すると判断されるものでもあり、１つまたは複数の前記指し示されたテキストオブジェクトは、前記検出された１つまたは複数の入力行為のうちから判断されたものである、
   前記電子デバイスの第８のコンポーネントによって、１つまたは複数の前記指し示されたテキストオブジェクトを置き換えるために、代替のテキストオブジェクトの選択用として１つまたは複数の前記識別した代替のテキストオブジェクトを前記ユーザに表示し、
   前記指し示されたテキストオブジェクトを置き換えるために前記表示された代替のテキストオブジェクトのいずれかを選択する前に、前記ユーザが１つまたは複数の他の入力行為を行う場合に、
   前記電子デバイスの第９のコンポーネントによって、前記１つまたは複数の他の入力行為によって前記指し示されたテキストオブジェクトが変更または置き換えられるように、前記指し示されたテキストオブジェクトを前記テキスト挿入位置として選択し、
   さもなければ、
   前記電子デバイスの第１０のコンポーネントによって、前記テキスト表示システム内の１つまたは複数の前記指し示されたテキストオブジェクトを１つまたは複数の前記識別した代替のテキストオブジェクトに置き換えて、
   前記電子デバイスの第１１のコンポーネントによって、前記テキスト表示システム内の前記テキスト挿入位置を、前記特定の入力行為が検出される前に記録された場所に復元する、
   ことを具備し、
   前記ユーザによって行われた特定の入力行為は前記テキスト挿入位置の前記場所を変更するために使用される行為ではない、方法。
2. 前記電子デバイスによって、前記ユーザによって行われた特定の入力行為に関連する前記テキスト表示システム内の場所を判断し、前記判断された場所に最も近い前記テキスト表示システムに先に出力されたテキストオブジェクトを１つまたは複数の前記指し示されたテキストオブジェクトとして識別することをさらに具備する請求項１記載の方法。
3. 前記電子デバイスによって、１つまたは複数の出力されたテキストオブジェクトの間に１つまたは複数のスペースを自動的に生成することをさらに具備する請求項１記載の方法。
4. 前記電子デバイスによって、テキストオブジェクトから成る２つかそれ以上のグループに属する２つかそれ以上のテキストオブジェクトを識別することと、ここで、前記グループのうちの１つかそれ以上のグループに属するテキストオブジェクトの出力の直前および／または直後に１つかそれ以上のスペースが自動的に生成されることで、前記テキストオブジェクトから成る２つかそれ以上のグループのうちの各グループは、前記グループのうちの他のグループと、スペースの設定が異なる、
   前記テキストオブジェクトから成るグループのうちの異なるグループに属するテキストオブジェクトを置き換えるテキストオブジェクトの直前および／または直後にスペースを自動的に挿入または削除することと、
   をさらに具備する請求項３記載の方法。
5. 前記電子デバイスによって、前記指し示されたテキストオブジェクトを置き換える代替のテキストオブジェクトを自動的に識別することをさらに具備する請求項１記載の方法。
6. テキスト入力装置であって、
   ユーザによって行われた１つまたは複数の入力行為を検出する１つまたは複数の入力デバイスと、
   生成したテキストをユーザに表示する出力デバイスと、
   前記入力デバイスおよび前記出力デバイスに結合されたプロセッサであって、
   ユーザによって行われた１つまたは複数の入力行為を検出するための第１のコンポーネントと、
   前記ユーザによって行われた１つまたは複数の入力行為に対応する１つまたは複数のテキストオブジェクトを判断するために、前記ユーザによって行われた１つまたは複数の入力行為を処理するための第２のコンポーネントと、
   前記判断したテキストオブジェクトのうちの１つを識別するための第３のコンポーネントと、
   前記識別したテキストオブジェクトを前記出力デバイスの決まったテキスト挿入位置に出力するための第４のコンポーネントと、
   次に識別されるテキストオブジェクトが出力される前記テキスト挿入位置の場所を記録するための第５のコンポーネントと、
   ユーザによって行われた特定の入力行為を検出し、前記出力デバイスに先に出力された１つまたは複数の前記テキストオブジェクトを指し示すための第６のコンポーネントと、ここで、前記ユーザによって行われた特定の入力行為は前記テキスト挿入位置の前記場所を変更するために使用される行為ではない、
   ユーザがさらなる入力行為を行うこと無しに、１つまたは複数の代替のテキストオブジェクトを識別するための第７の構成要素と、ここで、前記１つまたは複数の代替のテキストオブジェクトは、前記検出された１つまたは複数の入力行為に対応すると判断されるものでもあり、１つまたは複数の前記指し示されたテキストオブジェクトは、前記検出された１つまたは複数の入力行為のうちから判断されたものである、
   １つまたは複数の前記指し示されたテキストオブジェクトを置き換えるために、代替のテキストオブジェクトの選択用として１つまたは複数の前記識別した代替のテキストオブジェクトを前記ユーザに表示するための第８のコンポーネントと、
   前記指し示されたテキストオブジェクトを置き換えるために前記表示された代替のテキストオブジェクトのいずれかを選択する前に、前記ユーザが１つまたは複数の他の入力行為を行う場合に、
   前記１つまたは複数の他の入力行為によって前記指し示されたテキストオブジェクトが変更または置き換えられるように、前記指し示されたテキストオブジェクトを前記テキスト挿入位置として選択するための第９のコンポーネントと、
   さもなければ、
   前記出力デバイスの１つまたは複数の前記指し示されたテキストオブジェクトを１つまたは複数の前記識別した代替のテキストオブジェクトに置き換えるための第１０のコンポーネントと、
   前記出力デバイスの前記テキスト挿入位置を、前記特定の入力行為が検出される前に記録された場所に復元するための第１１のコンポーネントと、
   を具備する、プロセッサと、
   を具備するテキスト入力装置。

Images