JP2018530051A - 手書き入力をガイドするシステムおよび方法 - Google Patents

Abstract

手書き入力をコンピューティングデバイスにイドするためのシステム、方法およびコンピュータプログラム製品が提供される。コンピューティングデバイスは、プロセッサと、手書き入力をプロセッサの制御のもとで認識するための少なくとも１つのシステムアプリケーションとを備えている。少なくとも１つのシステムアプリケーションは、コンピュータ装置のインタラクティブディスプレイ上に、手書き入力に対応するデジタルインクの表示の少なくとも一部と隣接しているガイド要素を表示させるように構成されている。ガイド要素は、さらなる手書き入力をガイドするように構成されている。

Description

［関連出願への相互参照］
本出願は、２０１５年８月２５日に出願された欧州出願第１５２９０２１８．５号および２０１５年１０月１９日に出願された合衆国特許出願第１４／８８６，２００号に係る優先権を主張し、その内容全体は参照により本明細書に組み込まれる。

本明細書は、一般的にデジタル手書きシステムおよびコンピューティングデバイスインタフェースを使用する方法の分野に関する。本明細書は、より具体的には、デジタルメモ取りシステムおよび様々な文字、シンボルおよびオブジェクトのユーザ入力された手書きを認識することが可能な方法に関する。

コンピューティングデバイスは、日々の生活にますます遍在的になり続けている。かかるコンピューティングデバイスには、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲームコンソール等が含まれる。さらに、コンピューティングデバイスは、自動車、トラック、農業機器、製造機器、建築環境制御（例えば、照明、ＨＶＡＣ）ならびに家庭用および商業用機器のような車両や機器に組み込まれている。

コンピューティング装置は、一般に、中央処理装置（ＣＰＵ）、何らかの形式のメモリならびに入力および出力装置のような少なくとも１つの処理要素からなる。様々なコンピューティングデバイスおよびそれらに続く用途は、様々なインタフェースおよび入力デバイスを必要とする。かかる入力装置の１つは、タッチスクリーンまたはタッチパッドのようなタッチセンシティブ面であり、ユーザ入力は、ユーザの指またはペンまたはスタイラスのような機器と接触感知面との間の接触を通じて受け付けられる。別の入力装置は、入力面上のユーザによって行われたジェスチャを感知する入力面である。これらの入力方法は、一般的にテキストの描画や入力に使用できる。ユーザ入力がテキストである場合、ユーザの手書きは、手書き認識システムまたは手書き認識方法を用いて解釈される。

スマートフォン、ファブレットおよびタブレットのようなポータブルコンピューティングデバイスにおける１つの手書き認識のアプリケーションはメモ取りにある。これは特に、コンピューティングデバイスのユーザが例えば、講義またはミーティングの間にメモを記録する、教育およびビジネス環境において生じる。これは、通常、ユーザが手書きメモ取りアプリケーションをコンピューティングデバイス上で起動することにより行われ、コンピューティングデバイスは、ローカルでデバイス内にまたはデバイスの通信リンクを介してリモートで、タッチセンシティブ面上で入力される手書きメモを受け取りおよび解釈する。従来、かかる手書きメモ取りアプリケーションは、手書きの認識と、認識された手書き、いわゆるデジタルインクのタイプセットテキストへの変換を提供する。出願人が見出したところでは、手書きメモ取りアプリケーションを用いるとき、ユーザは典型的に、筆記する間に認識のリアルタイムフィードバックを望んでいる。幾つかの従来のアプリケーションはかかるフィードバックメカニズムをユーザに提供するが、これらはそれらの有効性において概して限定的であり、または設計が煩雑である。

例えば、利用可能な手書きメモ取りアプリケーションは、手書き入力を自動的にタイプセットする（例えば、オンザフライで）ことによってフィードバックを提供する。これは典型的に、タイプセットテキストを手書き入力のためのインタフェースとは別個のウィンドウ内または専用のデバイス表示部に表示することによってなされる。しかしながら、かかるシステムは一般的に入力のフローからユーザの注意をそらせる、なぜなら、彼らは、画面の異なる部分を見なければならないからである。他の利用可能な手書きメモ取りアプリケーションは、入力の間、認識候補をリスト化するなどしてフィードバックを提供する。これもまた非常にユーザにとって気が散るものである。

デジタルインクをもとの場所で、例えば、手書きフローの背後でタイプセットテキストに変換することが可能である。しかしながら、タイプセットテキストは一般的に手書きされたテキストよりもより小さくかつより均一である。したがって、文字、単語および行間隔における相対的な相違はただちに問題となり、これが認識されたテキストを読みにくくし、したがって気を散らせることになる。ユーザが望むときに、メニュー選択およびジェスチャの入力によってユーザが手動でタイプセットをすることを可能にすることもできる。しかしながら、かかる手動方法はリアルタイムフィードバックを提供せず、出願人が見出したところでは、手書きメモ取りアプリケーションを利用するとき、ユーザは一般的に、自然でなくかつ非直感的な具体的な入力方法またはジェスチャを学んだりまたはメニュー等により設定を行なったりすることができないかそうしたくない。

さらに、従来のアプリケーションはユーザに入力と対話する能力を与えるものではなく、または書き留められたメモから完全なドキュメント作成を提供するものではない、なぜなら、これらのアプリケーションにおける焦点はドキュメント作成ではなくむしろ主として認識精度であったからである。さらに、出願人が見出したところでは、手書きメモ取りアプリケーションを利用するとき、ユーザはメモを多言語または複数の入力タイプ（例えば、英数字、記号、方程式）で書き留め、筆記する際にメニュー選択によって言語または入力タイプを変更し忘れ、表示制約等に起因してアプリケーションによって課される、例えば、高さ、長さおよび量のような筆記寸法に関する制約を理解していない、のような他の問題も経験する。

米国特許出願公開第２００９／００７７０５３号

Ｗ３ＣＨＴＭＬ５ＤＯＭ − Ｋｉｎｄｓ ｏｆ Ｃｏｎｔｅｎｔ： ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｈｔｍｌ５／ｄｏｍ．ｈｔｍｌ＃ｋｉｎｄｓ−ｏｆ−ｃｏｎｔｅｎｔ

以下に記載される本発明の実施例は、手書き入力をコンピューティングデバイスにガイドするためのシステム、方法およびコンピュータプログラム製品を提供する。コンピュータプログラム製品は、本方法を実装するために実行されるように適合されたコンピュータ可読プログラムコードがその内部に具体化されているコンピュータ利用可能媒体を有する。

本開示の一態様においては、手書き入力をコンピューティングデバイスにガイドするシステムが提供される。コンピューティングデバイスは、プロセッサと、プロセッサの制御の下で手書き入力を認識するための少なくとも１つのシステムアプリケーションと、を備えている。少なくとも１つのシステムアプリケーションは、手書き入力に対応して、デジタルインクの表示の少なくとも一部と隣接したガイド要素の表示をコンピュータ装置のインタラクティブディスプレイ上に生じさせるように構成されている。ガイド要素は、さらなる手書き入力をガイドするように構成されている。

本開示の別の態様においては、手書き入力をコンピューティングデバイスにガイドする方法が開示される。コンピューティングデバイスは、プロセッサと、プロセッサの制御の下で手書き入力を認識するための少なくとも１つのシステムアプリケーションと、を備えている。本方法は、少なくとも１つのシステムアプリケーションを、コンピュータ装置のインタラクティブディスプレイ上に、手書き入力に対応するデジタルインクの表示の少なくとも一部と隣接しているガイド要素の表示を生じさせるように構成するステップを含む。ガイド要素は、さらなる手書き入力をガイドするように構成されている。

本開示の別の態様においては、その内部に具体化されたコンピュータ可読プログラムコードを有する非一時的なコンピュータ読み取り可能媒体が提供される。コンピュータ可読プログラムコードは、手書き入力をコンピューティングデバイスにガイドする方法を実装するために実行されるように適合されている。この方法は、コンピュータ装置のインタラクティブディスプレイ上に、手書き入力に対応するデジタルインクの少なくとも一部と隣接しているガイド要素の表示を生じさせることを含む。ガイド要素は、さらなる手書き入力をガイドするように構成されている。

本システムおよび装置は図面とあわせてその実施例の詳細な説明からより完全に理解されるであろう。各図において、同様の引用符号は同様の要素を示す。各面において：
本システムおよび方法の実施例に係るコンピューティングデバイスのブロック図である。 本システムおよび方法の実施例に係る手書き認識のためのシステムのブロック図である。 本システムおよび方法の実施例に係る図２の手書き認識システムの詳細を説明したブロック図である。 コンピューティングデバイスの入力インタフェースの一部におけるスクロール可能なページの例示的視覚的表現の概略図である。 ガイド要素によってガイドされるパラグラフの順次的手書き入力を含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 ガイド要素によってガイドされるパラグラフのさらなる順次的手書き入力を含む図５のスクロール可能なページの概略図である。 ガイド要素によってガイドされる別のパラグラフのさらなる順次的手書き入力を含む図６のスクロール可能なページの概略図である。 ガイド要素との順次的パラグラフサイズ変更インタラクションを含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 パラグラフの順次的手書き入力およびガイド要素によるタイプセットテキストの結果として生じる表示を含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 ガイド要素とのタイプセットテキストスクロールインタラクションを含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 ガイド要素に対するデジタルテキストスクロールインタラクションを含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 順次的タイプセットテキストおよびガイド要素とのメニューインタラクションを含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 順次的デジタルインクインタラクションおよびガイド要素の結果として生じる表現を含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 ガイド要素の言語タグ付けを有するスクロール可能なページの一部の例示的視覚的表現の概略図である。 パラグラフの順次的手書き入力およびガイド要素の言語タグ付けの結果として生じる表現を含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 順次的アイコンおよびガイド要素とのメニューインタラクションを含むスクロール可能なページの一部の例示的視覚的表現の概略図である。 ガイド要素との関連におけるスクロール可能なページのアライメント要素の例の概略図である。 ガイド要素との関連におけるスクロール可能なページのアライメント要素の例の概略図である。

以下の詳細な説明においては、関連する教示の完全な理解を提供するために多数の具体的な詳細が一例として提供される。しかしながら、本教示がかかる詳細なしに実施されうることは当業者には明らかであるはずである。他の例においては、周知の方法、手順、構成要素および／または回路は、詳細なしに、比較的高レベルで記載されているが、これは本教示の各態様を不必要に不明瞭にすることを避けるためである。

上へ、下へ、上に、下に、最も低い、最も高い、水平な、垂直な等の方向性のある構成への言及および議論は、入力が認識される入力インタフェースに適用されるデカルト座標系を基準としてなされる。さらに、本明細書における用語「テキスト」の使用は、任意の書き言葉におけるすべての英数字およびその文字列、ならびに、書かれたテキストにおいて用いられる一般的な非英数字、例えば記号、およびその文字列を包含するものと理解される。さらに、本明細書における用語「非テキスト」は、非英数字およびその文字列に加えて、自由形式の手書きコンテンツならびにレンダリングされたテキストおよび画像データ、ならびに、非テキスト的文脈において用いられる英数字およびその文字列を包含するものと理解される。

ここに記載された様々な技術は、一般にポータブルおよび非ポータブルコンピューティングデバイス上の手書きコンテンツの、当該コンテンツを出版可能なドキュメントに変換すること可能とするような態様におけるキャプチャ、処理および管理に関する。ここに記載されたシステムおよび方法は、コンピューティングデバイスに接続されたまたはそのタッチセンシティブ画面のような入力インタフェースを介して、または、コンピューティングデバイスに接続されたデジタルペンまたはマウスのような入力装置を介してコンピューティングデバイスに入力されるユーザの自然な手書きまたは描画スタイルの入力の認識を利用してもよい。いわゆるオンライン認識技術を用いた手書き入力の認識に関して様々な例が記載されているが、デジタルインクではなく画像が認識されるオフライン認識のような他の形式の入力についてもその認識のために応用が可能であることが理解される。

図１は、例示的コンピューティングデバイス１００のブロック図を示す。コンピューティングデバイスは、コンピュータデスクトップ、ラップトップコンピュータ、タブレットコンピュータ、電子書籍リーダ、携帯電話、スマートフォン、ウェアラブルコンピュータ、デジタル時計、対話型ホワイトボード、全地球測位システム（ＧＰＳ）ユニット、エンタープライズデジタルアシスタント（ＥＤＡ）、パーソナルデジタルアシスタント（ＰＤＡ）、ゲーム機等であってもよい。コンピューティングデバイス１００は、少なくとも１つの処理要素と、何らかの形式のメモリと、入力および／または出力（Ｉ／Ｏ）装置とを含む複数のコンポーネントを備えている。複数のコンポーネントは、コネクタ、ライン、バス、ケーブル、バッファ、電磁リンク、ネットワーク、モデム、トランスデューサ、ＩＲポート、アンテナ、またはその他等業者に知られているもののような入力部および出力部を介して相互に通信を行なう。

コンピューティングデバイス１００は、画像、テキストおよび動画のようなコンピューティングデバイスからのデータを出力するための少なくとも１つのインタラクティブディスプレイ１０２を有している。ディスプレイ１０２は、ＬＣＤ、プラズマ、ＬＥＤ、ｉＯＬＥＤ、ＣＲＴ、または当業者に知られているようなタッチセンシティブまたはそうでない任意の他の適切な技術を用いてもよい。ディスプレイ１０２の少なくとも幾つかは、少なくとも１つの入力インタフェース１０４と同じ場所に配置される。入力インタフェース１０４は、抵抗性、弾性表面波、容量性、赤外線グリッド、赤外線アクリル投影、光学イメージング、分散信号技術、音響パルス認識、またはユーザ入力を受け取るための当業者に知られている任意の他の適切な技術を含むことができる。入力インタフェース１０４は、そのバウンダリを明確に識別する恒久的またはビデオ生成された境界線によって境界が付けられてもよい。

入力インタフェース１０４に加えて、コンピューティングデバイス１００は、ローカルインタフェースを介して通信可能に結合された１つまたは複数の追加のＩ／Ｏデバイス（または周辺機器）を含むことができる。追加のＩ／Ｏデバイスは、キーボード、マウス、スキャナ、マイクロフォン、タッチパッド、バーコードリーダ、レーザリーダ、無線周波数デバイスリーダ、または当業者に知られている他の適切な技術のようなＩ／Ｏデバイスを含んでもよい。さらに、Ｉ／Ｏデバイスは、プリンタ、バーコードプリンタ、または当業者に知られている他の適切な技術のような出力デバイスを含んでもよい。さらに、Ｉ／Ｏデバイスは、変調器／復調器（モデム；別のデバイス、システムまたはネットワークにアクセスするため）、無線周波数（ＲＦ）もしくは他のトランシーバ、電話インタフェース、ブリッジ、ルータまたは当業者に知られている任意の他の適切な技術を含んでもよい。ローカルインタフェースは、コントローラ、バッファ（キャッシュ）、ドライバ、リピータ、およびレシーバのような、通信を可能にする追加の要素を有してもよく、これらは単純化のために省略されているが当業者には公知である。さらに、ローカルインタフェースは、他のコンピュータコンポーネント間の適切な通信を可能にするために、アドレス、制御、および／またはデータ接続を含んでもよい。

コンピューティングデバイス１００はまた、プロセッサ１０６を備えており、これはソフトウェア、特にメモリ１０８に格納されたソフトウェアを実行するためのハードウェアデバイスである。プロセッサは、カスタムメイドまたは市販の汎用プロセッサ、中央処理装置（ＣＰＵ）、半導体ベースのマイクロプロセッサ（マイクロチップまたはチップセットの形態）、マクロプロセッサ、マイクロコントローラ、デジタルシグナルプロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）またはその他のプログラマブルロジックデバイス、ディスクリートゲートまたはトランジスタロジック、ディスクリートハードウェアコンポーネント、ステートマシン、または当業者に知られたソフトウェア命令を実行するように設計されたそれらの任意の組合せを含んでもよい。適切な市販のマイクロプロセッサの例は以下のとおりである：ヒューレット・パッカード社のＰＡ−ＲＩＳＣシリーズマイクロプロセッサ、インテル社の８０ｘ８６またはＰｅｎｔｉｕｍシリーズマイクロプロセッサ、ＩＢＭ社のＰｏｗｅｒＰＣマイクロプロセッサ、サン・マイクロシステムズ社のＳｐａｒｃマイクロプロセッサ、モトローラ社の６８ｘｘｘシリーズマイクロプロセッサ、ＤＳＰマイクロプロセッサまたはＡＲＭマイクロプロセッサ。

メモリ１０８は、揮発性メモリ素子（例えば、ランダムアクセスメモリ（ＤＲＡＭ、ＳＲＡＭまたはＳＤＲＡＭのようなＲＡＭ））および不揮発性メモリ素子（例えば、ＲＯＭ、ＥＰＲＯＭ、フラッシュＰＲＯＭ、ＥＥＰＲＯＭ、ハードドライブ、磁気または光テープ、メモリレジスタ、ＣＤ−ＲＯＭ、ＷＯＲＭ、ＤＶＤ、レイド（ＲＡＩＤ）、別の直接アクセス記憶装置（ＤＡＳＤ））を含むことができる。さらに、メモリ１０８は、電子、磁気、光学および／または他のタイプの記憶媒体を組み込んでもよい。メモリ１０８は、様々な構成要素が互いに離隔して位置するがプロセッサ１０６によってアクセスされることもできる分散アーキテクチャを有することができる。さらに、メモリ１０８は、コンピューティングデバイス１００によって遠隔アクセス可能なサーバまたはクラウドベースのシステムなど、デバイスから離れていてもよい。メモリ１０８はプロセッサ１０６に結合されているので、プロセッサ１０６は、メモリ１０８から情報を読み取りかつ書き込むことができる。代替案においては、メモリ１０８はプロセッサ１０６に統合されていてもよい。別の例においては、プロセッサ１０６およびメモリ１０８は、両方とも単一のＡＳＩＣまたは他の集積回路内に存在してもよい。

メモリ１０８内のソフトウェアは、オペレーティングシステム１１０およびアプリケーション１１２を含む。ソフトウェアは、任意選択的に、それぞれが１つまたは複数の別個のコンピュータプログラムを含んでもよい手書き認識（ＨＷＲ）システム１１４をさらに含む。これらの各々が、論理機能を実装するための実行可能命令の順序付きリストを有する。オペレーティングシステム１１０は、アプリケーション１１２（およびＨＷＲシステム１１４）の実行を制御する。オペレーティングシステム１１０は、ＷＥＢＯＳ、ＷＩＮＤＯＷＳ（登録商標）、ＭＡＣおよびＩＰＨＯＮＥ ＯＳ（登録商標）、ＬＩＮＵＸ、ＡＮＤＲＯＩＤのような任意の独自のオペレーティングシステムまたは市販のオペレーティングシステムであってもよい。他のオペレーティングシステムも利用されてもよいことが理解される。

アプリケーション１１２は、ユーザ入力のレイアウトの検出、管理、および処理に関連する１つまたは複数の処理要素を含む（詳細は後述する）。ソフトウェアはまた、手書き認識、異なる機能または両者に関連する１つまたは複数の他のアプリケーションを含んでもよい。他のアプリケーションの幾つかの例には、テキストエディタ、電話ダイヤラ、連絡先ディレクトリ、インスタントメッセージング機能、コンピュータ支援設計（ＣＡＤ）プログラム、電子メールプログラム、ワープロプログラム、ウェブブラウザおよびカメラが含まれる。アプリケーション１１２および他のアプリケーションは、製造時にコンピューティングデバイス１００に設けられたプログラムを含み、製造後にコンピューティングデバイス１００にアップロードまたはダウンロードされるプログラムをさらに含んでもよい。

ＨＷＲシステム１１４は、サポート機能およびコンプライアンス機能を備え、ソースプログラム、実行可能プログラム（オブジェクトコード）、スクリプト、アプリケーション、または実行される一連の命令を有する任意の他のエンティティであってもよい。ソースプログラムの場合、プログラムは、オペレーティングシステムに関連して適切に動作するように、メモリ内に含まれていてもいなくてもよいコンパイラ、アセンブラ、インタープリタなどを介して翻訳される必要がある。さらには、サポート機能およびコンプライアンス機能を備えた手書き認識システムは、（ａ）データのクラスおよびメソッドを有するオブジェクト指向プログラミング言語、（ｂ）例えばこれらに限定されないが、Ｃ、Ｃ＋＋、Ｐａｓｃａｌ、Ｂａｓｉｃ、Ｆｏｒｔｒａｎ、Ｃｏｂｏｌ、Ｐｅｒｌ、Ｊａｖａ、ＯｂｊｅｃｔｉｖｅＣ、Ｓｗｉｆｔ、Ａｄａのようなルーチン、サブルーチンおよび／または関数を有するも手続プログラミング言語、（ｃ）例えばこれらに限定されないが、Ｈｏｐｅ、Ｒｅｘ、ＣｏｍｍｏｎＬｉｓｐ、Ｓｃｈｅｍｅ、Ｃｌｏｊｕｒｅ、Ｒａｃｋｅｔ、Ｅｒｌａｎｇ、ＯＣａｍｌ、Ｈａｓｋｅｌｌ、Ｐｒｏｌｏｇ、Ｆ＃のような機能プログラミング言語、として書き込まれることができる。代替的には、ＨＷＲシステム１１４は、サーバまたはクラウドベースのシステムのような、デバイスから遠隔の手書き認識システムと通信するための方法またはシステムであってもよいが、前述のコンピューティングデバイス１００の通信Ｉ／Ｏデバイスを用いて通信リンクを介してコンピューティングデバイス１００によって遠隔アクセス可能である。さらに、アプリケーション１１２およびＨＷＲシステム１１４は、一緒に動作してもよく、または、単一のアプリケーションとして組み合わせられてもよい。

入力インタフェース１０４を介してまたはその上に入力されたストロークは、プロセッサ１０６によってデジタルインクとして処理される。ユーザは、指または入力インタフェースでの使用に適したペンもしくはスタイラスのようなある種の器具を用いてストロークを入力してもよい。ユーザはまた、入力インタフェース１０４の近傍の動きを感知する技術が使用されている場合には入力インタフェース１０４の上にジェスチャを行うことによって、またはマウスまたはジョイスティックのようなコンピューティングデバイス１００の周辺デバイスを用いて、ストロークを入力してもよい。ストロークは、少なくともストローク開始位置、ストローク終了位置、およびストローク開始位置と終了位置とを結ぶ経路によって特徴づけられる。異なるユーザがわずかな変化を伴う同じオブジェクト、例えば文字、形状、シンボルを自然に書くことがあるので、ＨＷＲシステムは、各オブジェクトが正しいオブジェクトまたは意図されたオブジェクトとして認識されつつ入力されてもよい様々な方法に対応する。

図２は、ローカル（すなわち、デバイス１００にロードされている）またはリモート（すなわち、デバイス１００によって遠隔的にアクセス可能）の形態におけるＨＷＲシステム１１４の一例の概略図である。ＨＷＲシステム１１４は、前処理１１６、認識１１８、および出力１２０のようなステージを含む。前処理ステージ１１６は、デジタルインクを処理して、より高い精度を実現するとともに認識ステージ１１８の間の処理時間を低減させる。この前処理は、サイズ正規化および／または入力を平滑化するためのＢスプライン近似のような方法を適用することによって、ストローク開始位置とストローク終了位置とを結ぶ経路を正規化することを含んでもよい。前処理されたストロークは、認識ステージ１１８に渡され、認識ステージ１１８がストロークを処理して、それによって形成されたオブジェクトを認識する。認識されたオブジェクトはその後、一般に手書き要素／文字のタイプセットされたバージョンとしてディスプレイ１０２に出力１２０される。

認識ステージ１１８は、異なる処理要素またはエキスパートを含んでもよい。図３は、認識ステージ１１８の概略を示す図２の例の概略図である。３つのエキスパートすなわちセグメンテーションエキスパート１２２、認識エキスパート１２４および言語エキスパート１２６が図示されており、これらは動的プログラミングによって協同して出力１２０を生成する。

セグメンテーションエキスパート１２２は、例えば単語、数学的方程式、図形グループなどの表現を形成するために、入力ストロークを個々の要素仮説、例えば英数字および数学的演算子、テキスト文字、個々の図形または下位表現にセグメント化するための異なる方法を定義する。例えば、セグメンテーションエキスパート１２２は、元の入力の連続的な複数のストロークをグループ化して、各ノードが少なくとも１つの要素仮説に対応するとともに要素間の隣接制約がノード接続によって処理されるセグメンテーショングラフを得ることにより、要素仮説を形成してもよい。代替的には、セグメンテーションエキスパート１２２は、テキスト、描画、方程式および楽譜のような異なる入力種別に対して別個の複数エキスパートを用いてもよい。

認識エキスパート１２４は、分類器１２８によって抽出された特徴の分類を提供し、セグメンテーショングラフの各ノードについての確率または認識スコアを有する要素候補のリストを出力する。サポートベクトルマシン、隠れマルコフモデル、または、多層パーセプトロン、ディープニューラルネットワーク、畳み込みニューラルネットワークまたは再帰型ニューラルネットワークのようなニューラルネットワークなど、この認識タスクに対処するために使用できる多くのタイプの分類器が存在する。選択は、タスクに求められる複雑度、精度および速度に依存する。

言語エキスパート１２６は、言語モデル（例えば、文法またはセマンティクス）を用いて、セグメンテーショングラフ内の異なる経路について言語的意味を生成する。エキスパート１２６は、言語情報１３０に従って他のエキスパートによって提案された候補をチェックする。言語情報１３０は、レキシコン、正規表現等を含んでもよい。言語エキスパート１２６は、最良の認識経路を見つけることを目指す。一例として、言語エキスパート１２６は、言語情報１３０の内容を表す最終状態オートマトン（決定性ＦＳＡ）のような言語モデルを探索することによってこれを行う。語彙制約に加えて、言語エキスパート１２６は、所与の要素の順序が指定された言語においてどの程度の頻度で出現するかまたは特定のユーザによってどの程度の頻度で用いられるかについての統計的情報モデリングを用いて、セグメンテーショングラフの所与の経路の言語学的尤度を評価してもよい。

本システムおよび方法は、デバイス１００に対する手書き入力を認識するためにＨＷＲシステム１１４を用いる。前述のように、アプリケーション１１２は、認識されたユーザ入力のレイアウトを処理するためのアプリケーションを含む。かかるアプリケーションは、異なる処理を扱うための別個の複数のレイヤをもつアーキテクチャにおいて提供されてもよい。これらのレイヤのうちの１つまたは複数には、前述した通信チャネルを介してアクセス可能なデバイス１００とは離れていてもよい。レイヤには、アプリケーションラッパー、プラットフォームラッパーおよび（プラットフォーム固有）アプリケーションユーザーインターフェイスが含まれてもよい。

本システムおよび方法によって提供されるアプリケーション１１２は、ユーザがコンピューティングデバイス１００を用いてコンテンツを手書きすることを可能にする。特に、アプリケーション１１２は、学生、学者および専門職のようなユーザが、講義、会議およびブレインストーミングセッション等の間に手書きメモをとることを可能にし、ユーザは手書きノートをコンピューティングデバイス上で共有可能にフォーマットされたドキュメントに変換することができる。本システムおよび方法は、さらに自然なままの書き込みを入力することを可能にする、なぜなら書き込みが（罫）線上になされており、パラグラフその他レイアウト要素が尊重されるからである。デバイス間における取り込まれたメモの同期化およびメモの自動保存もまたサポートされる。ＨＷＲシステムによる手書きメモのタイプセッティングがまたサポートされており、ユーザの手書き入力を妨げないライブ認識フィードバックが効果的に提供される。本出願人に譲渡された米国特許出願公開第２００９／００７７０５３号（特許文献１）に記載されておりその全内容が参照により本明細書に組み込まれるシステムおよび方法のような、認識されたタイプセットされたテキストとデジタルインクとの双方の検索がまたサポートされており、オンザフライでのインデックス作成を含む。テキスト、Ｌａｔｅｘ、ＨＴＭＬ、画像、ｐｄｆ等のような様々なフォーマットへのエクスポートオプションもサポートされている。これらの態様および他の態様についてここで説明する。

アプリケーション１１２は、パラグラフや非テキスト入力のようなメモ取り要素の処理を可能にする構造化されたコンテンツを提供するために、ドキュメントおよびドキュメント要素の定義および処理のためのフレームワークを利用する。ドキュメントモデルは、ＨＴＭＬ５リファレンスで最もよく説明されているさまざまなタイプのドキュメント要素を処理する、例えば、Ｗ３ＣＨＴＭＬ５ＤＯＭ − Ｋｉｎｄｓ ｏｆ Ｃｏｎｔｅｎｔ： ｈｔｔｐ：／／ｗｗｗ．ｗ３．ｏｒｇ／ＴＲ／ｈｔｍｌ５／ｄｏｍ．ｈｔｍｌ＃ｋｉｎｄｓ−ｏｆ−ｃｏｎｔｅｎｔ（非特許文献１）を参照されたい。アプリケーション１１２によって利用されるドキュメントモデルは、ＨＴＭＬ仕様を再現するのではなく、むしろそれらからインスピレーションを得ている。

出願人が見出したところでは、既存のデジタルメモ取りアプリケーションのユーザは、テキストのリフローや制御されないテキスト／オブジェクト位置など、編集時にテキストがどのようなに振る舞うかを理解するうえで問題を抱えている。かかるアプリケーションの利用について学習曲線を下げるには、手書きはユーザが慣れ親しんでいるもの、つまり、同じモデルおよび挙動を有するテキスト編集ソフト／ウェブサービスにおけるキーボードを用いた筆記に近いものであるべきである。ユーザはまた、彼らが手書きを入力する際に手書き認識の結果を求めているが、気を散らすことを極力避けつつ自然に書くことができなければならない。いかなるデジタルデバイスのユーザも予測テキスト候補などすでに複数種類の認識フィードバックに慣れているが、かかるフィードバックの表示メカニズムはユーザの筆記の流れを混乱させてはならない。

本システムおよび方法のこれらのおよび他の特徴をここで詳細に説明する。図４は、例示的なコンピューティングデバイス１００の入力インタフェース１０４の一部分上のページ４００の例示的視覚的表現の概略図を示す。ページ４００は、すべてのコンテンツ入力が行なわれる編集ビューで示されている。その他のビューがドキュメント構造編集およびノートブックナビゲーションのために用いられてもよい。編集ビューの主要な目的は、ユーザインターフェース（ＵＩ）制御（後述）を提供することに加えて、デバイス１００のディスプレイ１０２から垂直方向にオーバーフローするフル幅のページを提供することである。ページ４００は、柔軟な高さのページを具現化したものであって、本質的に無限の高さであり、よく理解されているタッチスクリーンコンピューティングデバイスジェスチャーまたはマウスを用いるなどした非タッチスクリーンコンピューティングデバイス方法を用いて垂直にスクロールすることができる。ユーザのための（特に小型デバイス上の）筆記スペースを最大化するために、少なくとも編集ビューの高さ全体を占めるように空のスクロール可能なページが定義される。

編集ビュー（および適切な他のビュー）においては、上部パディング４０２、左マージン４０４および右マージン４０６を含む幾つかのページ要素が表示される。パディングおよびマージンは、ラインパターン背景４１０を有する入力エリア４０８を規定している。ラインパターン４１０は、密度非依存ピクセル（ｄｐ）であるバーティカルリズム高さユニットの倍数によって分離された複数の水平ラインを有する。特定のデバイス１００とは無関係に、水平線４１０どうしの間の垂直距離はラインパターンユニット（ＬＰＵ）によって規定されており、バーティカルリズム高さユニットは、特定のデバイス上のＬＰＵの目盛り付き尺度を提供する。例えば、ＬＰＵは、バーティカルリズム高さユニットの何らかの倍数である、任意のデバイスに対して約１センチメートルに設定されてもよく、または、ユーザは各自の書込みスタイルにしたがってラインパターンユニットをバーティカルリズム高さユニットの異なる倍数にカスタマイズしてもよい。代替的には、バーティカルリズムは、タイプセットテキストサイズ（例えば、最小テキストサイズ）に基づいてもよく、ＬＰＵは、このタイプセットテキストサイズの倍数として提供される。すべてのライン４１０は、ちょうど目に見えるのと色あせたのとの間の非常に明るくかつわずかな同じ色、例えば灰色、で表示される。このようにして、手書き入力すること自体から注意をそらせることなく手書き入力をガイドするように、ラインパターンは目立つものの邪魔にはならない。ラインパターン背景４１０は、手書きテキストのコンテキストで表示され、複数の目的を果たす。
・手書き認識が最適化されるようにユーザに書かせる。
・ユーザが規則的な縦方向のリズムライティングを採用して同じ書き込みサイズとより良いブロック寸法および位置を実現するのを助ける。
・パラグラフを定義するためにラインスキップをユーザが制御するのを支援する（後述）。

上部パディング４０２は、任意の新しいページまたはセクションに表示され、ラインパターンの背景を含まない。これが、ユーザが適切な垂直スペーシング、すなわち、インタフェース１０４の境界からあまり接近しないように筆記することを助け、セクションのタイトル付けおよびタグ付けのような他の要素のための余地を残す。上部パディング４０２はＬＰＵの倍数で定義され、例えば図４の例では上部パディングはＬＰＵの２倍である。

左右のマージン４０４，４０６は、縦線で表示されている。図４の例では、これらの線は、色および定義においてラインパターン４１０と同様であるが、しかしながら、これらの線は、必要に応じてこれより太く表示されることができる。垂直ラインマージンは、対応する左右の「ページ」エッジからバーティカルリズムユニットの倍数で位置づけられる。図４の例では、マージン４０４，４０６は上部パディング４０２に表示されず、第１のラインパターン４１０の水平ラインから開始する。しかしながら、必要に応じて、マージンを上部パディングに延長してもよい。さらに、ラインパターン４１０は、これらの領域への書き込みを阻止するためにマージン要素には表示されない。しかしながら、注釈などについてはマージンに書き込むことができるようにすることが望ましい場合がある。代替的には、マージンは、ページ４００の水平範囲とのインタラクションとのホバーオーバーもしくは接触インタラクションでのみ表示され、または、完全に省略されそれにより画面／ＵＩ縁部のあまりにも近くに筆記することがないようにユーザの自然な手書き挙動に依存するようにしてもよい。

ドキュメントモデルのこの基本的構造により、本システムおよび方法は、ユーザの手書き入力をガイドして認識を最適化するためのメカニズムを提供する。このメカニズムは、ユーザに対して、手書きの入力を妨げないどころかそれを強化するリアルタイム認識フィードバックを提供するためにさらに用いることができる。これは、ダイナミックルーラーとダイナミックプロンプターとを含むガイド要素を提供することにより実現される。プロンプターは、ある数の最後に認識された単語を、現在のセンテンスまたはパラグラフ（または手書き入力が非テキストである場合には現在の入力文字列の文字／記号）のタイプセットインクとして動的に表示するために用いられる。ルーラーは、手書きの水平区切りを提供するために提供され、ストロークが入力エリア４０８に手書きされるにつれて動的に延長し、および／またはタイプセットインクは複数のライン４１０の１つに沿って表現されてデジタルインクとして表示される。

以下、ガイド要素について、図５ないし図１８を参照して説明する。これらの図面に示される例は、左から右へ書かれる言語のコンテキストにおけるものであり、したがって、位置に関するあらゆる言及は、異なる方向フォーマットを有する書き言葉について適用されることができる。図５ないし図１８の各図において、スクロール可能なページ４００の一部が模式的な形式で示されており、デバイスインタフェースの視認可能な領域に描かれている。スクロール可能なページ４００は、ラインパターン背景４１０とともに示されている。

図５ないし図７は、単語の文字５０２の順次的手書き入力に関してページ４００のラインパターン４１０の一部分上の２つのパラグラフ５０４および５０６内におけるガイド要素５００を示す。インタフェース１０４の入力エリア４０８上の手書きの始まりとこれに対応するデジタルインクの表現とを（前述した態様で）検出すると、本システムおよび方法はまた、ガイド要素５００を、ラインパターン背景のライン４１０上であって文字５０２が入力されるライン４１０の直上にある、手書き文字の上側にありかつこれに隣接している水平バー５０８として表示する。図５の例からわかるように、ガイド要素５００の水平バー５０８は、入力と同一の広がりを持つような寸法とされており、かつ、文字５０２としての入力がライン４１０に追加されることに応じて動的に延長されるように構成されている。水平バー５０８は、ちょうど目に見えるのと色あせたのとの間の、デジタルインクほど派手ではないがラインパターン背景よりは派手な、非常に明るくかつわずかな色、例えば、青または少なくともラインパターン背景またはデジタルインクに用いられている色とは異なる色合い、で表示される。このようにして、ガイド要素は、手書き入力すること自体から注意をそらせることなく手書き入力をガイドするように、目立つ（ラインパターン背景よりも目立つ）が邪魔にならない。

図６からわかるように、ガイド要素５００の水平バー５０８は、複数のパラグラフ５０４における入力のうち１番目のライン４１０の上方のライン４１０上にとどまり、パラグラフ５０４のいずれかのライン上でパラグラフの水平幅が延長されるにつれて延長される。このようにして、ガイド要素５００は、パラグラフそれ自体と隣接しかつそれと同じ広がりをもつ、なぜならそれは最も左側のパラグラフ位置と整列されており、最も右側のパラグラフ位置まで延びており、かつ、ラインパターン背景と垂直に整列されてユーザに対して上側筆記境界を提供するからである。これが、ユーザが適切なサイズとされた文字（例えば、単一のＬＰＵよりも高すぎない）を入力することを確保する。代替的には、ガイド要素は、パラグラフに対して異なる複数の位置において表示されることができ、例えば、パラグラフにおける入力の１番目のラインから始まり入力の最後のラインに至る最も左側のパラグラフ位置のそばの単一の垂直線として表示されることができる。さらに、ガイド要素は、パラグラフ／コンテンツブロックに対して水平および垂直方向双方において延長するように構成されることができる。いずれの場合においても、ガイド要素は、ユーザに対して、当該パラグラフにおける入力を通じてパラグラフの寸法の視覚的表示を提供する。

図７において、２番目のパラグラフ５０６はパラグラフ５０４の最後のライン４１０の下側の２つのライン４１０で開始する。したがって、このパラグラフでは入力はこれ以上行なわれないためパラグラフ５０４の上側のガイド要素５００の表示は終了され、ガイド要素５００は、以前に説明したのと同じ態様にて、新しいパラグラフ５０６の１番目のライン４１０上側のライン４１０上に表示される。

図６の例においては、パラグラフ５０４に対して追加された入力は、ラインパターン背景４１０の次のラインへのパラグラフのテキストの続きである。追加されたテキストはすでに存在しているパラグラフに属すると考えられる、なぜならそれはページ４００の垂直フローにおける直後のライン４１０に追加されているからである。実際には新しいパラグラフの一部である追加されたテキストの判定は、特に、隣接するラインのテキストのオフセットに対して、およびそれらの左マージンとの関係または（すでに存在している）パラグラフの並んだ縁部に対する、ＨＷＲシステム１１４の認識段階１１８を用いてされることも考えられよう。

新しいパラグラフラインの上側のガイドの表示は、かかる認識の結果をユーザに表示するために用いることができ、したがって、新しいパラグラフが誤認識されると、パラグラフをマージするといった何らかの訂正アクションがユーザによりとられる場合がある。しかしながら、図形を表現する例においては、これは、パラグラフのテキストの最後のラインに重畳するガイド要素の表示を必要とすると思われ、したがって、そのテキストを不明瞭にしまたはガイド要素を見にくくし、それゆえユーザの妨げになる。前述したガイド要素の垂直表示は、この望ましからざる重なりを克服すると思われ、しかしながら、水平ガイドの利用は後述するとおり他の利便性を有する。

したがって、ユーザによって容易に理解されかつ適用される態様においてページの垂直フローにおける別個の複数のパラグラフの入力に対して単純な制約条件が課される。この制約条件は、パラグラフどうしの間に空のライン４１０、例えば、２つのＬＰＵのスペーシングがつねに存在する必要があるというものであり、これは図７の例においてなされたように、水平に重なる。このルールが、ページの垂直フローにおけるパラグラフどうしの間の相対的レイアウトをきれいに維持する手段を提供し、これは、コンテンツまたはドラッグアンドドロップもしくはプッシュアンドドロップされたパラグラフを直接入力するために適用されることができ、また、アクティブなパラグラフ（例えば、入力が作成されつつあるまたはインタラクションのために選択されたパラグラフ）の上側にガイド要素の明確な表示を提供する。

図８は、図５の最終入力段階に描かれているコンテンツを含むパラグラフ５０４を示す。図８に示すように、ガイド要素５００の水平バー５０８は、水平な（第１の）ライン５０８ａとこの水平ライン５０８ａの右端から下方へ突出している垂直な（第２の）ライン５０８ｂとを有するように構成されている。水平ライン５０８ａはパラグラフ幅が延長されるにしたがって延長されるガイド要素５００の部分であり、それ自体、オブジェクトブロック（例えばパラグラフ）の幅の指標として機能する。垂直線５０８ｂは、ブロック／パラグラフがページの幅に沿ってどこで終了するかについて視覚的な手がかりをユーザに提供するガイド要素５００の部分である。したがって、水平および垂直線５０８ａおよび５０８ｂは、ガイドバー５０８をパラグラフ／コンテンツブロック幅のルーラーとして提供する。

ルーラー５０８の垂直線５０８ｂはまた、リサイズハンドルのような、ブロックのためのインタラクティブルーラー要素として用いることができるので、ブロック／パラグラフのための制御機能を提供してもよい。例えば、図８において、シングルポイントまたはマルチポイントジェスチャＡ（指またはスタイラスを用いてインタフェース１０４にタッチまたはその上方でホバーさせるなどして行なわれるシングルタップ、長押しまたはダブルタップジェスチャ）を受け取ることに応じて、パラグラフ５０４はアプリケーション１１２によって選択される（この選択は詳細については後述するとおりユーザに対して表示されることができる）。そして、さらなるジェスチャＢ（ジェスチャＡがプレスまたはプレスアンドドラッグもしくはプッシュである場合にはドラッグまたはプッシュなど）を受け取ることに応じて、パラグラフ５０４はブロックのコンテンツの、結果として生じるリフローおよび水平ライン５０８ａのリサイズ、および所望であればリサイズガイドの表示を伴ってリサイズされる。

図８において、パラグラフ５０４の幅は、単語「ｗｏｒｌｄ」がパラグラフ５０４の第１のライン４１０の下側の別個のライン４１０上にリフローされるように小さくされ、これにより、ルーラー５０８の幅インジケータ５０８ａをサイズにおいて縮小させ、かつパラグラフがリサイズされると、ガイド要素５００のライン４１０から開始してパラグラフ５０４の最後のライン４１０下方の次の利用可能なライン４１０まで延びているリサイズガイド６００を、パラグラフ５０４（破線で示す）の右側に表示させる。ルーラー５０８の垂直線５０８ｂは、上述のとおりユーザのコンテンツ入力を妨げることなくインタラクションを行なうことができるかぎり、大きくされ、小さくされ、または図面に示したのとは異なるようにされてもよい。代替的には、垂直線５０８ｂは、ルーラー上方でのホバーオーバーまたはそれとの接触インタラクションに応じて表示されまたは完全に省略されてもよく、それにより、例えば、操作を直接的に行なうためにガイド要素の水平ライン５０８ａと対話するうえでユーザの自然な挙動のみに依存する。さらに、複数のパラグラフが一度に選択される場合、アプリケーション１１２において利用可能な選択メカニズムを用いて、ガイド要素は、この選択の間、すべての選択されたパラグラフと関連付けられたツールバーによって置換されてもよい。

水平に配置されたガイド要素の別の有益な側面は、アクティブなパラグラフ／ブロックの上側に図９ないし図１２に示すリアルタイムコンテンツ認識フィードバックのためのプロンプター５１０が提供されることである。上で議論したように、利用可能な手書きメモ取りアプリケーションに関わる欠点は、ユーザに対する効果的な手書き認識フィードバックの欠如であり、このためメモをドキュメント処理アプリケーションにエクスポートする前に認識精度を検証する手段をユーザは全くもたない。幾つかの利用可能なアプリケーションは、エクスポート前に変更および修正が行なわれることができる認識されたテキスト／コンテンツのエクスポートビューを提供する。しかしながら、かかる修正はいずれもエクスポートビュー内でのみ行なわれ、メモ自体のデジタルインクにおいては反映されない。

プロンプター５１０は、タイプセットインクとしてのガイド要素５００の水平ライン５０８ａの上に表示されるシングルラインビューとして、編集ビューにおける認識されたコンテンツのリアルタイムフィードバックを提供する。図９は、ページ４００のラインパターン４１０の部分上のパラグラフ９００への、単語の文字５０２の順次的手書き入力を示す。これまでのように、ガイド要素５００は、文字５０２の入力の間に生成および表示される。ガイド要素５００のプロンプター５１０は、ＨＷＲシステム１１４が出力１２０を提供する際に、パラグラフ９００の認識された単語５１０ａを表示する。このように、入力の間、プロンプター５１０は、あらゆる新たに認識された単語をバー５０８の左揃えの範囲から水平バー５０８の上方に表示する。

この表示は、ユーザの手書きのライブ視覚表示を提供しつつユーザの入力を妨げることを最小限にするような仕方で行なわれる。例えば、新たに認識された各単語は、デジタルインクのために用いられるものより低いウエイトをもつ青など、第１のウエイトおよび／または色のタイプセットを用いて表示されてもよく、そして、短期間の後（例えば、約０．５秒ないし約１秒以内）、新しい単語が全く認識されないまたは迅速に（例えば、ほとんど瞬時に）新たに認識された単語が入力された場合、前回までに認識された単語が、第１のウエイトより小さい低い第２のウエイトおよび／または第１の色とは異なる、または少なくとも異なる色合いの色のタイプセットを用いて再表示される。表示および再表示は微妙なアニメーション、フェードインなどにより行なわれてもよい。

理解できるように、タイプセットインクは、より多くのコンテンツがパラグラフに１つまたは複数のラインにおいて追加されるように、デジタルインクよりも小さく、新たに認識された単語は、個々の単語と単語のストリングまたはセンテンスのコンテキストとの認識を両方とも容易にみることができるように、既存のタイプセットとあわせてタイプセットされる。しかしながら、パラグラフの垂直範囲が水平範囲よりも大きくなるようにより多くのコンテンツがパラグラフに追加されるにつれて、新たにタイプセットされた要素は、プロンプターにおけるすでにタイプセットされた要素とはフィットしないであろう。これは、プロンプターコンテンツのオーバーフローを左へのみ許容して右へは許容しないことによって対処される。例えば、図１０においては、パラグラフ９００は、第２および第３のライン４１０に追加されたさらなるコンテンツ５０２を有し、プロンプターフレームとして定義される、ルーラー５０８長さを、プロンプターコンテンツとして定義される、タイプセットテキストの長さよりも短くさせる。したがって、プロンプター５１０を用いて新たに認識された単語５１０ａをユーザに表示し続けるためには、プロンプターコンテンツは、新たに認識された単語／コンテンツ５１０ａ（すなわちコンテンツ「ｙｏｕ？」）がプロンプターフレームの右範囲に表示されることができるように、左へスクロールされ、プロンプター５１０表示から最も左側のタイプセットテキストを押し出す（すなわち第１の単語「Ｈｅｌｌｏ」が消える）。

この（動的または自動的）プロンプタースクロールは、アプリケーション１１２が、新たに認識された単語が現在のルーラー長さを越えて表示されるであろうことを意味するタイプセットされた長さを有すること、例えばプロンプターコンテンツがプロンプターフレームから右側へオーバーフローするであろうと判断したことに応じて、またはタイプセットされたコンテンツが現在のガイド要素の特定の位置に達したときにプリセットスクロールとして、発生し得る。プロンプターおよびその要素は、さらに、随時ユーザがプロンプターをスクロールして前回までに認識されたいずれのコンテンツを見直してもよいように、インタラクティブに構成されることができる。これは、図１０に示すスワイプのようなシングルポイントまたはマルチポイントジェスチャＣを受け取ることに応じて行なわれることができる。かかる手動スクロールの間、図１０に示す下線要素５１０ｂのようなスクロールバーインジケータが表示されてもよく、これは、スクロール挙動を示す。手動スクロールが生じた後で、現在のプロンプタースクロール位置は、さらなるインタラクションまでとどまり、または、プロンプターがプロンプターフレームの右範囲にスクロールバックして新しい入力挙動を採用するイベントである、新しいコンテンツがパラグラフ／ブロックに入力されるというイベントまで、とどまる。

プロンプターのタイプセットコンテンツのスクロールを超えて、これまで議論したとおり、ページ４００の入力エリア４０８のコンテンツ全体がスクロールされてもよい。ガイド要素はしたがって、ページがスクロールされる際にページの上部および／または底部に対してオフセットされている任意の現在ブロックとともにスクロールされる。しかしながら、ガイド要素の有効性を維持するために、それは、ｉＯＳ（登録商標）「スティッキーヘッダー」の挙動に類似して、現在ブロックがビュー外へスクロールされるときに、現在ブロックが完全に押し出されるまで、ビューから押し出されることから防止される。したがって、ページ４００上で部分的に視認可能な現在ブロック（例えば、パラグラフはインタフェース１０４の閲覧可能エリアから部分的にオーバーフローしている）については、ガイド要素は、ブロックコンテンツがその下側でスクロールされる間、最上部に「固定」され、そして、ページ４００上での視認可能性から除外された現在ブロック（例えば、パラグラフは、インタフェース１０４の閲覧可能エリアから完全にオーバーフローする）については、ガイド要素は、その面倒な挙動をなくし、ブロックコンテンツの最後のラインとともに閲覧可能エリア外にスクロールされる。図１１は、この挙動の例を示し、パラグラフ１１００は、結果として生じる表示効果をともなって、ページ４００の最上部において視界外へスクロールされる。理解できるように、この例示的スクロール操作の間、パラグラフ１１００が一旦ページ４００の最上部に達すると、ガイド要素５１０は、ページ４００の上部パディングエリア４０２を占有しかつそこに固定される。

プロンプターによって提供されるライブ認識フィードバックによって、ユーザは、誤って認識された単語／コンテンツに気づくかもしれない。かかる誤認識は、低品質手書き、または、ＨＷＲシステム１１４によって処理されるような候補の誤選択もしくは辞書外単語／コンテンツの存在に起因して発生するかもしれない。一旦気づけば、ユーザは当業者によって理解される仕方において、単に手書き修正ジェスチャを用いて手書きを修正して誤認識を訂正することができよう。代替的にまたは追加的には、ＨＷＲシステム１１４は、アプリケーション１１２に対して、認識の信頼度が低いことを示唆してもよく、または、アプリケーション１１２自体がこの低信頼度を判定してもよい。いずれの場合においても、本システムおよび方法の実施例においては、プロンプター５１０は、疑わしく認識されたコンテンツに対して、何かが間違っていることをユーザが容易に理解できるような専用の表現を提供するように構成されている。例えば、図１２において、現在パラグラフ１２００のうち誤認識された可能性のある単語「ａｇａｎ」が、その余のプロンプターコンテンツとは異なるように色づけおよび／またはウエイトが付けられたアンダーラインパターン、例えば、誤って綴られた単語のテキストエディタアプリケーションにおいて用いられるような赤いジグザグパターンをもってプロンプター５１０に表現されている。

プロンプターは、（強調表示された）タイプセットインクが修正またはガイド要素５００において直接的に他のまたはより好ましい単語との置換のため、または、任意の他の所望のタイプセットインクとのインタラクションのために、選択されることができるように、さらにインタラクティブプロンプター要素とインタラクティブに構成されることができる。これは、例えば、図１２に示すような、シングルタップＤといったシングルポイントまたはマルチポイントジェスチャを受け取ることに応じてなされることができる。選択をすると、図１２の例に示すような候補メニュー１２０２上でのシングルタップＥのようなシングルポイントまたはマルチポイントジェスチャを受け取ることに応じて表示された場合に正しい候補が選択されることができる（ＨＷＲシステム１１４によって追加されるような）他の認識候補のメニューが表示されてもよい。図１２においては、候補メニュー１２０２は、次のトップ３候補単語「ａｇａｉｎ」、「ａｇｉｎｇ」および「ａｇｅｎｔ」（ＨＷＲシステム１１４によって返されるような）が続いているもとの誤認識された単語に対応する第１のエントリを有し、正しい単語「ａｇａｉｎ」は、当該単語上でシングルタップＥを受け取ることに応じて選択され、かつ、これに応じて、プロンプターコンテンツは、「ａｇａｎ」を「ａｇａｉｎ」によって（新しい認識された単語表現によって；チェックされている単語はまた同様にチェックプロセスの間に表現されることもできようことに留意すべきである）置換するために変更される。このプロセスの結果は、認識ステージ１１８をトレーニングするためにＨＷＲシステム１１４に対して通信により戻されてもよい。選択およびタイプセットインクとのインタラクションの間、対応するデジタルインクは、選択されたタイプセットインクと同様に仕方で強調表示されてもよい。このプロセスによって、しかしながら、ユーザが手書きされたコンテンツとのインタラクションを行なわず、フィードバックとインタラクションをしているのでデジタルインクが変化しないことがわかる。しかしながら、デジタルインクと直接的にされるインタラクションもまた、編集等を行なうために可能である。

デジタルインクの編集はもちろん、プロンプターに表示される認識されたテキストに対して影響を有する。ユーザが手書きコンテンツを選択すると、プロンプターはこのサブコンテキストを反映してそのコンテンツを然るべく適合させるべきである。図１３は、プロンプター５１０における対応する認識された単語表示のある図１０のパラグラフ９００を示す。パラグラフ９００の単語「ｗｏｒｌｄ」は、長押しＦのようなシングルポイントまたはマルチポイントジェスチャを受け取ることに応じてインタラクションのために選択される。この選択に応じて、プロンプター５１０は、それ自体を選択された単語（複数の単語）に対応する認識された単語（複数の単語）上に再度位置づけるために、図１３に示すように、認識された単語「ｗｏｒｌｄ」がプロンプター５１０内にとどまりつつ、幾つかの前述した色／ウエイトの強調表示および／またはすべての他のプロンプターコンテンツの除去をともなって、水平にスクロールされる（必要であれば、例えば、選択された単語（複数の単語）は現在プロンプターフレームの外にある）。代替的には、選択された単語（複数の単語）に対応するタイプセットインクを除くすべてのタイプセットインクはプロンプター表示から省略される。このようにして、編集／操作（公知の選択ハンドル等によって強調表示されて示されている）のための選択されたデジタルインクに対応する認識されたコンテンツは、編集の間にユーザによって容易に識別されることができる。選択が拡張される場合（例えば、選択ハンドルがドラッグ／プッシュされる）、プロンプターコンテンツは然るべく更新される。

選択モードが解除されると、プロンプターコンテンツは、現在プロンプターフレーム内で全プロンプターコンテンツの表示に戻る。選択されたデジタルインクが削除される場合、対応する認識されたコンテンツもまた何らかのアニメーションをともなって削除される（例えば、除去された文字／単語のフェードアウト）、そして、残されたスペースを埋めるために残りのプロンプターコンテンツの再表示または翻訳をする。選択されたデジタルインクが上書きされまたは置換される場合、対応する前回の認識されたコンテンツは新しいプロンプターコンテンツの通常の認識更新のように何らかのアニメーションをともなって新たに認識されたコンテンツによって置換される、そして、他のプロンプターコンテンツの再表示／翻訳をする。

本システムおよび方法のガイド要素のプロンプターは、追加的フィードバックおよびそれとのインタラクションを提供するようにさらに構成されてもよい。ＨＷＲシステム１１４は、複数の言語をオンザフライで認識することができてもよい。これは、部分的に、入力された言語をユーザが選択する必要をなくし、これは、複数言語が複数のページ、パラグラフおよびさらにはセンテンスにおいて互換的に用いられているときに特に問題である。しかしながら、かかる多言語検出は必ずしも常に認識のために正しい言語を選択するとはかぎらず、異なる言語で書き込んでいるユーザの意図を反映するとはかぎらない。ガイド要素のプロンプターは、プロンプターコンテンツ内で多言語タグ付けを表示することで、この言語検出（または手動検出；後述）を示すうえで大いに有用となるように構成されることができ、これから、ユーザは異なる認識言語がデジタルインクコンテンツに適用されていることを特定することができる。

図１４および図１５は、本システムおよび方法の実施例に係るプロンプターの言語タグ付けの表現例を示す。図１４は、第１の言語（すなわちスペイン語）におけるコンテンツ１４００ａおよび第２の言語（すなわち英語）におけるコンテンツ１４００ｂを含むデジタルインクコンテンツ１４００を示す。ガイド要素５００のプロンプター５１０において、認識コンテンツは、認識された複数言語を反映し、タグ５１０ｃを認識された複数言語の前に（例えば、左側に）表示し、これらはＨＷＲシステム１１４によって検出された言語を示す。例えば、スペイン語コンテンツの前のタグ５１０ｃは、「ＥＳ」を示し、英語コンテンツの前（例えば、スペイン語および英語コンテンツの間）のタグ５１０ｃは「ＥＮ」を示す。

これらのタグはまた、別の言語に切り替える（例えば、アプリケーション１１２の主言語に戻る）ときに別の言語がこれまでの言語シーケンスの末尾および新言語の冒頭の双方をマークするために別の言語タグが追加されるように、メニュー等により、入力の言語を具体的に選択する際に用いられることができる。かかる主要言語および代替言語の各タグは、代替言語についてはイタリック体とされたテキストを用いるなど異なるスタイルで表現されることができよう。用語「主要」および「代替」はデバイス１００のメモリ１０８へのインストールを通じてなど、ＨＷＲシステム１１２のためのそれらの言語における相対的なサイズおよび辞書の利用可能性を反映し、これは概ねオペレーティングシステム１１０の言語に基づいて行なわれる。ＨＷＲシステムによるこれらの異なる辞書の利用は、出力１２０を実現する、なぜなら減少された辞書からまたは別の言語の辞書をもつ１つの言語から単語を正しく認識するＨＷＲシステムの能力は、一般に厳しく制限されているからである。

言語タグの有効性を維持するために、言語タグは、さらなるデジタルインクが入力されプロンプターコンテンツがそれに応じてスクロールするとき、または、ユーザがプロンプターを手動でスクロールさせるときに、関連付けられたプロンプターコンテンツとインラインで移動する。プロンプターコンテンツが現在プロンプターフレームをオーバーフローすると、言語タグはｉＯＳ（登録商標）「スティッキーヘッダー」の挙動を模倣する、ただし水平コンテキストにおいてである。例えば、図１５ａに示すように、デジタルインクのパラグラフ１５００が第１の言語部分１５００ａ（例えば、フランス語）および第２の言語部分１５００ｂ（例えば、英語）を含み、これらがプロンプター５１０のコンテンツにおいてタグ５１０ａ（例えば、「ＦＲ」および「ＥＮ」）を用いて表示されている。さらなるコンテンツが言語部分１５００ｂにおいてパラグラフ１５００に入力されるにつれて、プロンプターコンテンツは左側にスクロールされ、一旦第１のタグ５１０ｃ「ＦＲ」がプロンプターフレームの最も左側の範囲に達すると、それは最も左側の位置に固定され、その右側のテキストコンテンツは、第２のタグ５１０ｃ「ＥＮ」を含む他のコンテンツのスクロールとともに、プロンプターフレーム外で「固定された」タグ５１０ｃの下方にスクロールするようにみえる。第２の言語タグ５１０ｃ「ＥＮ」がスクロールされて固定された言語タグ５１０ｃ「ＦＲ」に「タッチ」すると、第２のタグが第１のタグをプロンプターフレーム外に左側へ押し出し、プロンプターフレームの最も左側の位置においてその固定位置を占める。

言語タグはさらに、例えば、認識のための異なる言語の選択のためのインタラクティブプロンプター要素であってもよい。これは、例えば、シングルタップのようなシングルポイントまたはマルチポイントジェスチャを用いたタグの選択によって実現され、これに応じて、他の言語選択のためのメニュー等が表示され、これから、利用可能な言語が、新しい出力１２０を用いてプロンプターコンテンツにおける後続の置換をもってするＨＷＲシステム１１４による再認識のために選択されることができる。言語タグとのかかるインタラクションはまた、例えば、デバイス１００にアクセス可能な言語翻訳アプリケーションを用いて、認識された単語を複数言語間で翻訳する手段を提供することもできよう。さらに、本システムおよび方法に係るガイド要素のプロンプターは、デバイス１００にアクセス可能な適切なアプリケーションを用いたアプリケーション１１２に手書きされたテキストまたは記譜法からのタイプセットされたプロンプターコンテンツの、もしくはその部分のオーディオ／音声表現、またはデバイス１００にアクセス可能な計算アプリケーションを用いてアプリケーション１１２に手書きされた算術式からのタイプセットされたプロンプターコンテンツのもしくはその一部の自動計算といった異なる目的のために、他のタイプのインタラクティブタグを表示するように構成可能である。

本システムおよび方法のガイド要素のさらなる有利な応用は、ガイド要素それ自体を介してアプリケーション１１２の追加的インタラクティブ制御要素へのアクセスをユーザに提供することである。このようにして、制御要素はアプリケーションのトップバーのような通常のメカニズムよりもコンテンツにより近くアクセス可能である。この構成の例は図１６に示され、そこではガイド要素５００は、最後に認識された単語／要素の後（例えばその右側）のプロンプターフレームの最も右側に、「もっとみる」アイコンとして表示される、制御アクセス要素５１２を含む。制御アクセス要素５１２は、例えば、シングルタップのようなシングルポイントまたはマルチポイントジェスチャを介してインタラクティブであり、これに応じて、コンテキスト的メニューが表示される。例えば、図１６においては、「もっとみる」要素５１２の選択に応じて、ドロップダウンメニュー１６００が表示され、これは、例えば、明確に識別可能なアイコンおよびコンテンツ変換アクションへの分離（リフローおよびタイプセットなど）および標準的アクション（切り取り、コピー、削除など）といったすべてのまたは何らかの利用可能なアクションを表す。コンテンツ入力の間にユーザを妨げないために、制御アクセス要素５１２は、入力が行なわれない場合のみに表示されてもよい。例えば、指／ペンダウンイベントの検出時に直ちに、「もっとみる」アイコンはフェードアウトして見えない状態となり、書き込み中は、アイコンは見える状態に保たれ、そして、書き込み後、例えば、指／ペンアップイベントの検出プラス所定の時間（例えば、約０．５秒から約１秒）の経過時には、「もっとみる」アイコンはフェードバックして完全視認性とされる。

これまで説明したガイド要素の複数例においては、ガイド要素のルーラーが入力された複数のコンテンツパラグラフ／ブロックと実質的に隣接するように描かれている。他の例においては、ガイド要素は、代わりに、現在のデジタルメモ取りアプリケーションのドキュメントモデルの何らかの構成に接着するように構成されてもよい。前述したとおり、スクロール可能なページ４００は、認識最適化のためにユーザがきれいに手書きするのを支援するためにラインパターン背景４１０をもって規定されている。このラインパターン背景はまた、手書きメモからの適切なドキュメント作成を支援するためにコンテンツ要素の規則的な垂直スペーシング（例えば、ＬＰＵによる）を提供する。説明したとおり、ガイド要素５００はまた、入力されたコンテンツの各パラグラフまたはブロックに関してラインパターン背景４１０と整列されている。手書きされたコンテンツの線と同様、ガイド要素高さはまた、垂直スペーシング単位によってコントロールされ、図面の例では１つのＬＰＵである。これが、アプリケーション１１２のきれいなＵＩと、ラインパターンとの適切な整列とを提供する。

このラインパターンにより、スクロール可能なページは、いずれかそうでない場合には、ユーザがオブジェクトブロック（テキストのブロック、図面、方程式、楽譜等）をサイジングまたはアライメントについて心配することなくどこでも作成することを可能にする、制約のないキャンバスとして提供されることができる。流動的なインタラクションを提供してユーザにレイアウトの制御中であると感じさせるためには、オブジェクトブロックのあらゆる移動／サイズ変更は、リアルタイムで更新され、インタラクションの間、現在のタッチまたはホバー位置と整列されてもよい。しかしながら、構造化されたコンテンツを含む専門的にフォーマットされたドキュメントを提供するには、さらなるアライメントパターンが定義されてもよく、その上に、すべてのコンテンツが整列／定義される（入力時またはユーザインタラクションにより）。このアライメントパターンは、個々のコンテンツブロックを互いに対して適切にハンドリングすることを可能とするために定義される。

アライメントパターンは、パディングエリアを有しており、これらは、その間に利用可能な水平スペースがユーザコンテンツのための入力エリアとして定義されているページ４００のマージン４０４および４０６内で実質的に定義されている。このようにして、コンテンツがデバイス１００のインタフェース１０４のエッジに近づきすぎて入力されることを防止する。この入力エリアは、多数のカラムに分割され、これらは、すべて同じ幅でありかつ入力エリアをみたすようにフレキシブルであり、そして、アプリケーション１１２がデスクトップ／ラップトップ上のようにフルスクリーンまたは縮小された場合ジャストウィンドウ幅において、または、タブレット上の分割画面において提供されるときに、ブレイクポイントを例えば、スクリーン幅におけるｄｐにおける最小アプリケーション幅値として定義する。さらに、オブジェクトブロックが互いに近すぎて配置されることを防止するためにガタースペースが各カラム分割部において定義されてもよい。

スナップトゥーパターン挙動は、オブジェクトブロックアライメントのために用いられる。垂直スナップは、２つの仕方で、すべてのオブジェクトブロック高さがＬＰＵの整数倍であるように確保することにより、または各ブロックの少なくとも上部バウンダリがラインパターン背景４１０の次の利用可能なラインと整列されることを確保することにより、ラインパターン４１０を参照することを通じて処理される。前者の場合には、ユーザインタラクションがどのような（例えば、新しい、編集された、移動された、サイズ変更された）ものであれ、すべてのオブジェクトブロックは常にＬＰＵ丸めされたうえで垂直ＬＰＵにしたがって配置される（例えば、上部および底部バウンダリはラインパターン背景４１０と整列される）。いずれにせよスナップトゥーグリッドメカニズムのＬＰＵ部分が提供される。水平スナップについては、ユーザインタラクションがどのような（例えば、新しい、編集された、移動された、サイズ変更された）ものであれ、すべてのオブジェクトブロックの左および右バウンダリは、いずれの場合でもアライメントパターンのカラム（またはガター）と整列されたままである。これは、スナップトゥーグリッドメカニズムのレイアウト部分を提供する。したがって、垂直および水平スナップ操作はＬＰＵ（垂直）およびレイアウト（水平）グリッドに対して垂直アライメントおよび水平アライメントを提供する。

ＬＰＵおよびレイアウト（アライメント）グリッド１７００の例が図１７および図１８に示されている。図１７および図１８の各々において、スクロール可能なページ４００の部分がデバイスインタフェースの閲覧可能エリアにおいて図示されているように模式的形式において示されている。スクロール可能なページ４００は、アライメントグリッド１７００がラインパターン背景４１０からグリッド１７００の水平ライン１７０２（破線で分割して示す）として構成され、かつ、アライメントパターンがページ４００を多数のカラム、例えば、図中では６つのカラムに分割するグリッド１７００の垂直線１７０４（破線で分割して示す）によって規定されて、示されている。スクロールページの上部パディングおよびマージンならびにアライメントパターンのパディングエリアおよびカラムガターは、説明を簡素にするために図面では省略されている。アライメントグリッドそれ自体はユーザには表示されず、アプリケーション１１２のためのオブジェクトブロックのレイアウトのマネジメントのための見えないガイドとして作用する。しかしながら、ラインパターン背景４１０は、すでに説明したように、筆記サイズおよび配置についてガイダンスをユーザに提供するために表示されてもよい。ブロックおよびアライメントグリッドの利用は、ブロック内のコンテンツがブロックの相対的なレイアウトを保持しつつ編集されることを許容する。

筆記時、テキストは、ユーザに対して自由な筆記体験を保つために指またはスタイラスがデバイスインタフェースに関連しているところに実質的に現れる。しかしながら、パラグラフバウンダリは、たとえ何があろうとＬＰＵおよびレイアウトグリッドと整列される。例えば、パラグラフの左バウンダリは、最も近い左カラムエッジ（ガター）と整列され、かつ、パラグラフの右バウンダリは、最も近い右カラムエッジ（ガター）と整列される。インデントといった内部パラグラフ構成（例えば、テキスト左から右に書く言語の場合パラグラフの左側出発点から水平にオフセットされている）は、ＬＰＵおよびレイアウトグリッドサイズ変更に関係のないパラグラフの各ラインについては、カラムと整列されるかプロパティとして例えばメモリ１０８に保存されてもよい。

図１７において、パラグラフ１７０６は、グリッド１７００の最も左のまたは第１の垂直線１７０４に整列されてグリッド１７００の水平ライン１７０２の４本または４つのＬＰＵにわたっているように示されている。パラグラフは、実線水平ラインとして図示された手書きされたテキストを含む。バウンダリ１７０６ａ（破線にて図示）は、パラグラフ１７０６の周りに規定されている。図示したように、パラグラフ１７０６それ自体のテキストは、アライメントグリッドにはスナップされておらず、それゆえ、ユーザは彼らの制御が失われているとの感触を得ることはない。しかしながら、パラグラフ１７０６のバウンダリ１７０６ａは、パラグラフコンテンツに最も近いグリッド１７００の水平および垂直線１７０２，１７０４と整列されている。アライメントグリッドにスナップされている一方、ガイド要素５００のルーラー５０８がパラグラフ１７０６のバウンダリ１７０６ａの水平ラインの頂部として提供されており、したがってガイド要素５００がアライメントグリッド１７００にスナップされることがわかる。これは、図１８においてより明確に示されており、最も左の垂直線１７０４に整列されたパラグラフ１８００が、パラグラフ１８００の周りに規定されたバウンダリ１８００ａ（破線にて図示）が第５の垂直線１７０４まで延長され、それにより、グリッド１７００の当該垂直線１７０４までガイド要素５００のルーラー５０８を規定するように、ちょうどアライメントグリッド１７００の第４のカラム内まで延長されている手書きされたテキスト（実線水平ラインとして図示）を有する。

パラグラフ／コンテンツブロックのバウンダリは、入力要素の範囲をアライメントグリッドとの関連で判定するために本システムおよび方法によって用いられるものであって、それゆえ、ガイド要素のルーラーとして表示される上部バウンダリを除いて、アプリケーション１１２によってユーザに典型的には表示されない。しかしながら、ブロックの移動等といった編集操作の間、すべてのバウンダリは、レイアウトの他の要素に対する要素の適切な配置においてユーザを支援するために表示されてもよい。さらに、適切なスペーシングのユーザの知覚を支援するために、少なくとも現在入力されているカラムのガター内のラインパターン背景の表示は入力の間省略されてもよい。例えば、４つのカラムグリッドの第２のカラムにおける入力の間、ラインパターン背景は第２のカラムの左および右ガターにおいて省略／マスクされ、さらに、第１のカラムの右ガターおよび第３のカラムの左カラムにおいて省略／マスクされてもよい。

本システムおよび方法によって提供されるデジタルメモ取りアプリケーションは、自然な筆記が入力されることができることで、コンピューティングデバイス上で共有可能にフォーマットされたドキュメントに変換されることができるコンピューティングデバイスを用いてコンテンツを手書きすることを可能にする、なぜなら、筆記が（罫線入りの）ライン上でなされるようにガイドされ、パラグラフおよび他のレイアウト要素が尊重され、そして、手書きのタイプセッティングがなされ、ユーザの手書き入力を妨げないライブ認識フィードバックであるからである。

以上、最良の形態と考えられるものおよび／またはその他の例について説明したが、本明細書に開示された主題が様々な形態および例において実装されてもよく、それにおいて様々な変更がなされてもよく、かつ、それらが多数の他の応用、組み合わせおよび環境において適用されてもよいことが理解されるべきであり、本明細書に記載されているのはそのうちの幾つかである。当業者であれば、開示された態様が主題の真の趣旨および範囲から逸脱することなく改変されまたは修正されてもよいことを認識するであろう。したがって、主題は本明細書における具体的な細部、証拠および記載された実施例に局限されるものではない。本明細書に開示された有利な概念の真の範囲に入る任意かつすべての変更および変形が保護されるべきことが意図されている。

Claims (33)

1. 手書き入力をコンピューティングデバイスにガイドするシステムにおいて、前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御の下で前記手書き入力を認識するための少なくとも１つのシステムアプリケーションと、を備え、前記少なくとも１つのシステムアプリケーションは、
   前記コンピュータ装置のインタラクティブディスプレイ上に、前記手書き入力に対応するデジタルインクの表示の少なくとも一部と隣接するガイド要素の表示を生じさせるように構成され、前記ガイド要素は、さらなる手書き入力をガイドするように構成されていることを特徴とするシステム。
2. 前記ガイド要素は、前記手書きが入力されると、前記手書き入力から認識される前記デジタルインクに対応して、タイプセットインクを動的に表示するダイナミックプロンプターを含むことを特徴とする請求項１に記載のシステム。
3. 前記ダイナミックプロンプターは、少なくとも１つのインタラクティブプロンプター要素を含み、前記少なくとも１つのシステムアプリケーションは、前記少なくとも１つのインタラクティブプロンプター要素とのインタラクションを受け取ることに応じて、少なくとも前記タイプセットインクにおいて変化を生じさせるように構成されていることを特徴とする請求項２に記載のシステム。
4. 前記少なくとも１つのインタラクティブプロンプター要素は前記タイプセットインクを含むことを特徴とする請求項３に記載のシステム。
5. 前記少なくとも１つのインタラクティブプロンプター要素は、前記タイプセットインクに関連する少なくとも１つのタグを含むことを特徴とする請求項３または４に記載のシステム。
6. 前記少なくとも１つのタグは、前記タイプセットインクに含まれる複数の語の１つまたは複数の言語に関連していることを特徴とする請求項５に記載のシステム。
7. 前記ガイド要素は、前記手書きが入力されると前記デジタルインクの少なくとも１つの寸法を動的に表示するダイナミックルーラーを含むことを特徴とする請求項２ないし６のいずれか一項に記載のシステム。
8. 前記タイプセットインクは、前記ダイナミックルーラーの少なくとも１つの寸法に沿って表示されることを特徴とする請求項７に記載のシステム。
9. 前記ダイナミックルーラーは、前記デジタルインクを含むコンテンツブロックの幅を示すことを特徴とする請求項７または８に記載のシステム。
10. 前記ダイナミックルーラーは、インタラクティブルーラー要素を含み、前記少なくとも１つのシステムアプリケーションは、前記インタラクティブ要素とのインタラクションを受け取ることに応じて、少なくとも前記コンテンツブロックの前記幅に変更を生じさせるように構成されていることを特徴とする請求項９に記載のシステム。
11. 前記ガイド要素はインタラクティブ制御要素を含み、前記少なくとも１つのシステムアプリケーションは、前記インタラクティブ制御要素とのインタラクションを受け取ることに応じて、前記プロセッサに、前記少なくとも１つのシステムアプリケーションを制御させるように構成されていることを特徴とする請求項１ないし１０のいずれか一項に記載のシステム。
12. 手書き入力をコンピューティングデバイスにガイドする方法であって、前記コンピューティングデバイスは、プロセッサと、前記プロセッサの制御の下で前記手書き入力を認識するための少なくとも１つのシステムアプリケーションと、を備え、前記方法は、前記少なくとも１つのシステムアプリケーションを、
    前記コンピュータ装置のインタラクティブディスプレイ上に、前記手書き入力に対応するデジタルインクの表示の少なくとも一部と隣接するガイド要素の表示を生じさせるように構成するステップを含み、前記ガイド要素は、さらなる手書き入力をガイドするように構成されていることを特徴とする方法。
13. 前記ガイド要素は、ダイナミックプロンプターを含むように表示され、前記方法は、前記少なくとも１つのシステムアプリケーションを、
    前記手書きが入力されると、前記手書き入力から認識される前記デジタルインクに対応する、前記ダイナミックプロンプターにおけるタイプセットインクの動的表示を生じさせるように構成するステップを含むことを特徴とする請求項１２に記載の方法。
14. 前記ダイナミックプロンプターは、少なくとも１つのインタラクティブプロンプター要素を含むように表示され、前記方法は、前記少なくとも１つのシステムアプリケーションを、
    前記少なくとも１つのインタラクティブプロンプター要素とのインタラクションを受け取ることに応じて、少なくとも前記タイプセットインクに変更を生じさせるように構成するステップを含むことを特徴とする請求項１３に記載の方法。
15. 前記少なくとも１つのインタラクティブプロンプター要素は前記タイプセットインクを含むことを特徴とする請求項１４に記載の方法。
16. 前記少なくとも１つのインタラクティブプロンプター要素は、前記タイプセットインクに関連する少なくとも１つのタグを含むように表示されることを特徴とする請求項１４または１５に記載の方法。
17. 前記少なくとも１つのタグは、前記タイプセットインクに含まれる複数の語の１つまたは複数の言語に関連していることを特徴とする請求項１６に記載の方法。
18. 前記ガイド要素はダイナミックルーラーを含むように表示され、前記方法は、前記少なくとも１つのシステムアプリケーションを、
    前記手書きが入力されると、前記ダイナミックルーラーに、前記デジタルインクの少なくとも１つの寸法を動的に示させるように構成するステップを含むことを特徴とする請求項１３ないし１７のいずれか一項に記載の方法。
19. 前記タイプセットインクは、前記ダイナミックルーラーの少なくとも１つの寸法に沿って表示されることを特徴とする請求項１８に記載の方法。
20. 前記ダイナミックルーラーは、前記デジタルインクを含むコンテンツブロックの幅を示すことを特徴とする請求項１８または１９に記載の方法。
21. 前記ダイナミックルーラーは、インタラクティブルーラー要素を含むように表示され、前記方法は、前記少なくとも１つのシステムアプリケーションを、
    前記インタラクティブ要素とのインタラクションを受け取ることに応じて、少なくとも前記コンテンツブロックの前記幅に変更を生じさせるように構成するステップを含むことを特徴とする請求項２０に記載の方法。
22. 前記ガイド要素は、インタラクティブ制御要素を含むように表示され、前記方法は、前記少なくとも１つのシステムアプリケーションを、
    前記プロセッサに、前記インタラクティブ制御要素とのインタラクションを受け取ることに応じて、前記少なくとも１つのシステムアプリケーションを制御させるように構成するステップを含むことを特徴とする請求項１２ないし２１のいずれか一項に記載の方法。
23. 内部に具体化されたコンピュータ可読プログラムコードを有する非一時的なコンピュータ読み取り可能媒体であって、前記コンピュータ可読プログラムコードは、手書き入力をコンピューティングデバイスにガイドする方法を実装するために実行されるように適合され、前記方法は、
    前記コンピュータ装置のインタラクティブディスプレイ上に、前記手書き入力に対応するデジタルインクの少なくとも一部と隣接するガイド要素の表示を生じさせるステップを含み、前記ガイド要素は、さらなる手書き入力をガイドするように構成されていることを特徴とする非一時的なコンピュータ読み取り可能媒体。
24. 前記ガイド要素は、ダイナミックプロンプターを含むように表示され、前記方法は、
    前記手書きが入力されると、タイプセットインクを前記手書き入力から認識される前記デジタルインクに対応する前記ダイナミックプロンプターへの動的表示を生じさせるステップを含むことを特徴とする請求項２３に記載の非一時的なコンピュータ読み取り可能媒体。
25. 前記ダイナミックプロンプターは、少なくとも１つのインタラクティブプロンプター要素を含むように表示され、前記方法は、
    前記少なくとも１つのインタラクティブプロンプター要素とのインタラクションを受け取ることに応じて、少なくとも前記タイプセットインクに変更を生じさせるステップを含むことを特徴とする請求項２４に記載の非一時的なコンピュータ読み取り可能媒体。
26. 前記少なくとも１つのインタラクティブプロンプター要素は前記タイプセットインクを含むことを特徴とする請求項２５に記載の非一時的なコンピュータ読み取り可能媒体。
27. 前記少なくとも１つのインタラクティブプロンプター要素は、前記タイプセットインクに関連する少なくとも１つのタグを含むように表示されることを特徴とする請求項２５または２６に記載の非一時的なコンピュータ読み取り可能媒体。
28. 前記少なくとも１つのタグは、前記タイプセットインクに含まれる複数の語の１つまたは複数の言語に関連していることを特徴とする請求項２７に記載の非一時的なコンピュータ読み取り可能媒体。
29. 前記ガイド要素は、ダイナミックルーラーを含むように表示され、前記方法は、
    前記手書きが入力されると、前記ダイナミックルーラーに、前記デジタルインクの少なくとも１つの寸法を動的に表示させるステップを含むことを特徴とする請求項２４ないし２８のいずれか一項に記載の非一時的なコンピュータ読み取り可能媒体。
30. 前記タイプセットインクは、前記ダイナミックルーラーの少なくとも１つの寸法に沿って表示されることを特徴とする請求項２９に記載の非一時的なコンピュータ読み取り可能媒体。
31. 前記ダイナミックルーラーは、前記デジタルインクを含むコンテンツブロックの幅を示すことを特徴とする請求項２９または３０に記載の非一時的なコンピュータ読み取り可能媒体。
32. 前記ダイナミックルーラーは、インタラクティブルーラー要素を含むように表示され、前記方法は、
    前記インタラクティブ要素とのインタラクションを受け取ることに応じて、少なくとも前記コンテンツブロックの前記幅に変更を生じさせるステップを含むことを特徴とする請求項３１に記載の非一時的なコンピュータ読み取り可能媒体。
33. 前記ガイド要素は、インタラクティブ制御要素を含むように表示され、前記方法は、
    プロセッサに、前記インタラクティブ制御要素とのインタラクションを受け取ることに応じて、前記少なくとも１つのシステムアプリケーションを制御させるステップを含むことを特徴とする請求項２３ないし３２のいずれか一項に記載の非一時的なコンピュータ読み取り可能媒体。

Images