JP6251408B2 - 電子機器、方法及びプログラム - Google Patents

Description

本発明の実施形態は、文字列を手書き入力する技術に関する。

近年、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡといった文書を手書きで入力可能な種々の電子機器が開発されている。

特開２００５−０２５５６６号公報

本発明の一形態の目的は、手書き文書を効率的に作成することが可能な電子機器、方法及びプログラムを提供することである。

実施形態によれば、方法は、画面上の第１接点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力することと、手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示することとを具備する。

図１は、実施形態に係る電子機器の外観の一例を示す斜視図である。 図２は、電子機器と他の装置との連係動作の一例を示すブロック図である。 図３は、タッチスクリーンディスプレイに手書きされる手書き文書の一例を示す図である。 図４は、ストロークデータの集合である時系列情報の一例を示す図である。 図５は、電子機器のシステム構成の一例を示す図である。 図６は、電子機器によって表示されるホーム画面の一例を示す図である。 図７は、電子機器によって表示されるノートプレビュー画面の一例を示す図である。 図８は、電子機器によって表示される設定画面の一例を示す図である。 図９は、電子機器によって表示されるページ編集画面の一例を示す図である。 図１０は、電子機器によって表示される検索ダイアログの一例を示す図である。 図１１は、電子機器によって実行される手書きノートアプリケーションプログラムの機能構成の一例を示すブロック図である。 図１２は、ペンを使用してタッチスクリーンディスプレイの画面上で手書き入力操作を行う場合におけるユーザの操作領域の一例について説明するための図。 図１３は、入力補助ＵＩ表示処理の処理手順の一例を示すフローチャートである。 図１４は、第１の決定処理の一例について説明するための図である。 図１５は、入力補助ＵＩの第１の表示例について説明するための図である。 図１６は、入力補助ＵＩの第２の表示例について説明するための図である。 図１７は、第２の決定処理の一例について説明するための図である。

以下、実施の形態について図面を参照して説明する。

図１は、一実施形態に係る電子機器の外観の一例を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能なペン・ベースの携帯型電子機器である。この電子機器は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン及びＰＤＡ等として実現され得る。図１においては、この電子機器がタブレットコンピュータとして実現されている例が示されている。以下の説明では、本実施形態に係る電子機器がタブレットコンピュータとして実現されているものとして説明する。タブレットコンピュータは、タブレットまたはスレートコンピュータとも称される携帯型電子機器である。

図１に示すタブレットコンピュータ１０は、本体１１とタッチスクリーンディスプレイ１２とを備える。本体１１は薄い箱型の筐体を有しており、タッチスクリーンディスプレイ１２は当該本体の上面に重ね合わせるように取り付けられている。

タッチスクリーンディスプレイ１２には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザ等を使用することができる。以下ではタッチパネル及びデジタイザの２種類のセンサの双方がタッチスクリーンディスプレイ１２に組み込まれている場合を説明する。このため、タッチスクリーンディスプレイ１２は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出することができる。

ペン１００は、例えばデジタイザペン（電磁誘導ペン）であってもよい。ユーザは、ペン１００を使用してタッチスクリーンディスプレイ１２上で手書き入力操作を行うことができる（ペン入力モード）。ペン入力モードにおいては、画面上のペン１００の動きの軌跡、つまり、手書き入力操作によって手書きされるストロークが求められ、これによって手書きにより入力された複数のストロークが画面上に表示される。ペン１００が画面に接触されている間のペン１００の動きの軌跡が１つのストロークに相当する。複数のストロークが文字、記号等を構成する。手書きされた文字、手書きされた図形、手書きされた表等に対応する多数のストロークの集合が手書き文書を構成する。

本実施形態では、この手書き文書は、イメージデータではなく、各ストロークの軌跡の座標列とストローク間の順序関係とを示す時系列情報（手書き文書データ）として記憶媒体に保存される。ただし、この手書き文書は、イメージデータに基づいて生成されてもよい。時系列情報の詳細については後述するが、当該時系列情報は、複数のストロークが手書きされた順を示し、かつ、複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある１つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序に相当する。

タブレットコンピュータ１０は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまり、この時系列情報によって示される複数のストロークを画面上に表示することができる。時系列情報によって示される複数のストロークも、手書きによって入力される複数のストロークである。

更に、本実施形態に係るタブレットコンピュータ１０は、ペン１００を使用せずに、指で手書き入力操作を行うためのタッチ入力モードも有している。タッチ入力モードが有効な場合、ユーザは、指を使用してタッチスクリーンディスプレイ１２上で手書き入力操作を行うことができる。タッチ入力モードにおいては、画面上の指の動きの軌跡、つまり、手書き入力操作によって手書きされるストロークが求められ、これによって手書きにより入力された複数のストロークが画面上に表示される。

タブレットコンピュータ１０は、編集機能を有している。この編集機能は、「消しゴム」ツール、範囲選択ツール、及び他の各種ツール等を用いたユーザによる編集操作に応じて、範囲選択ツールによって選択される表示中の手書き文書内の任意の手書き部分（手書き文字、手書きマーク、手書き図形及び手書き表等）を削除または移動することができる。また、範囲選択ツールによって選択される手書き文書内の任意の手書き部分を、手書き文書を検索するための検索キーとして指定することもできる。また、範囲選択ツールによって選択される手書き文書内の任意の手書き部分に対して、手書き文字認識／手書き図形認識／手書き表認識のような認識処理を実行することもできる。

本実施形態では、手書き文書は、１つまたは複数のページとして管理され得る。この場合、時系列情報（手書き文書データ）を１つの画面に収まる面積単位で区切ることによって、１つの画面に収まる時系列情報のまとまりを１つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を１つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小して表示するようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図２は、タブレットコンピュータ１０と外部装置との連係動作の一例を示している。タブレットコンピュータ１０は、無線ＬＡＮ等の無線通信デバイスを備えており、パーソナルコンピュータ１との無線通信を実行することができる。更に、タブレットコンピュータ１０は、無線通信デバイスを使用してインターネット上のサーバ２との通信を実行することもできる。サーバ２は、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１は、ハードディスクドライブ（ＨＤＤ：Hard Disk Drive）のようなストレージデバイスを備えている。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をパーソナルコンピュータ１に送信して、パーソナルコンピュータ１のＨＤＤに記録することができる（アップロード）。タブレットコンピュータ１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１がタブレットコンピュータ１０を認証するようにしてもよい。この場合、タブレットコンピュータ１０の画面上にユーザに対してＩＤまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ１０のＩＤ等を自動的にタブレットコンピュータ１０からパーソナルコンピュータ１に送信してもよい。

これにより、タブレットコンピュータ１０内のストレージの容量が少ない場合でも、タブレットコンピュータ１０が多数あるいは大容量の時系列情報を扱うことが可能となる。

更に、タブレットコンピュータ１０は、パーソナルコンピュータ１のＨＤＤに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークをタブレットコンピュータ１０のタッチスクリーンディスプレイ１２の画面に表示することができる。この場合、複数の時系列情報それぞれのページを縮小することによって得られるサムネイルの一覧をタッチスクリーンディスプレイ１２の画面上に表示してもよいし、これらサムネイルから選ばれた１ページをタッチスクリーンディスプレイ１２の画面上に通常サイズで表示してもよい。

更に、タブレットコンピュータ１０が通信する先はパーソナルコンピュータ１ではなく、上述したように、ストレージサービス等を提供するクラウド上のサーバ２であってもよい。タブレットコンピュータ１０は、時系列情報（手書き文書データ）をインターネットを介してサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。更に、タブレットコンピュータ１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ１０のタッチスクリーンディスプレイ１２の画面に表示することができる。

このように、本実施形態では、時系列情報が保存される記憶媒体は、タブレットコンピュータ１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

次に、図３及び図４を参照して、ユーザによって手書きされたストローク（文字、図形及び表等）と時系列情報との関係について説明する。図３は、ペン１００等を使用してタッチスクリーンディスプレイ１２上に手書きされる手書き文書（手書き文字列）の一例を示している。

手書き文書では、一旦手書きによって入力される文字や図形等の上に、更に別の文字や図形等が手書きによって入力されるというケースが多い。図３においては、「Ａ」、「Ｂ」及び「Ｃ」の手書き文字が、この順番で手書きによって入力され、この後に、手書きの矢印が、手書き文字「Ａ」の近傍に手書きによって入力されている。

手書き文字「Ａ」は、ペン１００等を使用して手書きされた２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり、２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標ＳＤ１１、ＳＤ１２、…、ＳＤ１ｎが得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標ＳＤ２１、ＳＤ２２、…、ＳＤ２ｎが得られる。

手書き文字「Ｂ」は、ペン１００等を使用して手書きされた２つのストローク、つまり、２つの軌跡によって表現される。手書き文字「Ｃ」は、ペン１００等を使用して手書きされた１つのストローク、つまり、１つの軌跡によって表現される。手書きの「矢印」は、ペン１００等を使用して手書きされた２つのストローク、つまり、２つの軌跡によって表現される。

図４は、図３の手書き文書に対応する時系列情報２００を示している。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。時系列情報２００内においては、これらストロークデータＳＤ１、ＳＤ２、…、ＳＤ７は、これらのストロークが手書きされた順に時系列に並べられている。

時系列情報２００において、先頭の２つのストロークデータＳＤ１及びＳＤ２は、手書き文字「Ａ」の２つのストロークをそれぞれ示している。３番目及び４番目のストロークデータＳＤ３及びＳＤ４は、手書き文字「Ｂ」を構成する２つのストロークをそれぞれ示している。５番目のストロークデータＳＤ５は、手書き文字「Ｃ」を構成する１つのストロークを示している。６番目及び７番目のストロークデータＳＤ６及びＳＤ７は、手書き「矢印」を構成する２つのストロークをそれぞれ示している。

各ストロークデータは、１つのストロークに対応する座標データ系列（時系列座標）、つまり、１つのストローク軌跡上の複数のサンプリング点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数のサンプリング点の座標はストロークが書かれた順（サンプリングされた順）に時系列に並べられている。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまり、ｎ個の座標データＳＤ１１、ＳＤ１２、…、ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまり、ｎ個の座標データＳＤ２１、ＳＤ２２、…、ＳＤ２ｎを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。ストロークを等時間間隔でサンプリングすると、ストロークの長さが異なっているので、サンプリング点の数も異なる。

各座標データは、対応する軌跡内のある１点のＸ座標及びＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）及びＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）及びＹ座標（Ｙ１ｎ）を示す。

各座標データは、その座標に対応する点が手書きされた時点（サンプリングタイミング）に対応するタイムスタンプ情報Ｔを含んでいてもよい。手書きされた時点は、絶対時間（例えば、年月日時分秒）またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間をタイムスタンプ情報として付加し、更に、ストロークデータ内の各座標データに、当該絶対時間との差分を示す相対時間をタイムスタンプ情報Ｔとして付加してもよい。

このように、各座標データにタイムスタンプ情報Ｔが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。図４には示されていないが、各座標データには、筆圧を示す情報（Ｚ）を追加してもよい。

図４で説明したような構造を有する時系列情報２００は、個々のストロークの筆跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、この時系列情報２００を使用することにより、図３に示すようにたとえ手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、当該手書き文字「Ａ」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。

更に、本実施形態では、上述したように、手書き文書データは、イメージまたは文字認識結果ではなく、時系列のストロークデータの集合から構成される時系列情報２００として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。したがって、本実施形態における時系列情報２００の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレットコンピュータ１０のシステム構成を示す図である。図５に示すように、タブレットコンピュータ１０は、ＣＰＵ１０１、不揮発性メモリ１０２、主メモリ１０３、ＢＩＯＳ−ＲＯＭ１０４、システムコントローラ１０５、グラフィクスコントローラ１０６、無線通信デバイス１０７及びＥＣ等を備える。また、タブレットコンピュータ１０において、図１に示すタッチスクリーンディスプレイ１２は、ＬＣＤ１２Ａ、タッチパネル１２Ｂ及びデジタイザ１２Ｃを備える。

ＣＰＵ１０１は、タブレットコンピュータ１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストローレジデバイスである不揮発性メモリ１０２から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）１０３ａ及び各種アプリケーションプログラムが含まれている。各種アプリケーションプログラムには、手書きノートアプリケーションプログラム１０３ｂが含まれている。以下では、手書き文書データを手書きノートとも称する。

この手書きノートアプリケーションプログラム１０３ｂは、上述の手書き文書データを作成及び表示する機能、手書き文書データを編集する機能、所望の手書き部分を含む手書き文書データや、ある手書き文書データ内の所望の手書き部分を検索するための手書き文書検索機能等を有している。

更に、手書きノートアプリケーションプログラム１０３ｂは、例えばタブレットコンピュータ１０の画面上で入力するストロークを指定するための操作に用いられるユーザインタフェースを表示する機能を有しているものとする。なお、このユーザインタフェースには、例えばストローク（手書き文字列）のフォント、色彩、スタイル（太さ）及びサイズ等を指定するための操作及び後述する手書き入力の候補を指定するための操作に用いられるユーザインタフェース等が含まれる。更に、このユーザインタフェースは、例えば後述する手書きされたストローク（手書き文字列）の入力の確定を指定するための操作及び当該ストロークの入力のキャンセルを指定するための操作に用いられるユーザインタフェース等であってもよい。すなわち、本実施形態において表示されるユーザインタフェースは、ユーザによる手書き入力操作を補助する機能（以下、入力補助機能と表記）を利用するための操作に用いられるユーザインタフェース（以下、入力補助ＵＩと表記）を含む。以下の説明においては、本実施形態において表示されるユーザインタフェースは入力補助ＵＩであるものとして説明するが、当該ユーザインタフェースはユーザによる手書き入力操作時に表示されるものであればよい。

ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０４に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０５は、ＣＰＵ１０１のローカルバスと各種コンポーネント・モジュールとの間を接続するデバイスである。システムコントローラ１０５には、主メモリ１０３をアクセス制御するメモリコントローラも内蔵されている。システムコントローラ１０５は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバス等を介してグラフィクスコントローラ１０６との通信を実行する機能も有している。

グラフィクスコントローラ１０６は、タブレットコンピュータ１０のディスプレイモニタとして使用されるＬＣＤ１２Ａを制御する表示コントローラである。グラフィクスコントローラ１０６によって生成される表示信号はＬＣＤ１２Ａに送られる。ＬＣＤ１２Ａは、表示信号に基づいて画面イメージを表示する。ＬＣＤ１２Ａ、タッチパネル１２Ｂ及びデジタイザ１２Ｃは互いに重ね合わされている。タッチパネル１２Ｂは、ＬＣＤ１２Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置及び当該接触位置の動き等は、タッチパネル１２Ｂによって検出される。また、このタッチパネル１２Ｂによれば、例えば画面上で手書き入力操作が行われる際の当該画面上におけるユーザの手の接触等も検出することができる。デジタイザ１２Ｃは、ＬＣＤ１２Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン（デジタイザペン）１００が接触される画面上の接触位置及び当該接触位置の動き等は、デジタイザ１２Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたは３Ｇ移動通信等の無線通信を実行するように構成されたデバイスである。

ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ１０を電源オンまたは電源オフする機能を有している。

次に、上述した手書きノートアプリケーションプログラム１０３ｂによってユーザに提示されるいくつかの代表的な画面の例を説明する。

図６は、手書きノートアプリケーションプログラム１０３ｂのホーム画面の一例を示す。ホーム画面は複数の手書き文書データを扱うための基本画面であり、ノートの管理や、アプリケーション全体の設定を行うことができる。

ホーム画面は、デスクトップ画面領域７０と引き出し画面領域７１とを含む。デスクトップ画面領域７０は、作業中の複数の手書きノートに対応する複数のノートアイコン８０１〜８０５を表示するテンポラリ領域である。ノートアイコン８０１〜８０５の各々は、対応する手書きノート内のあるページのサムネイルを表示する。デスクトップ画面領域７０は、更に、ペンアイコン７７１、カレンダーアイコン７７２、スクラップノート（ギャラリー）アイコン７７３及びタグ（ラベル）アイコン７７４を表示する。

ペンアイコン７７１は、表示画面をホーム画面からページ編集画面に切り替えるためのグラフィカルユーザインタフェース（ＧＵＩ）である。カレンダーアイコン７７２は、現在の日付を示すアイコンである。スクラップノートアイコン７７３は、他のアプリケーションプログラムからまたは外部ファイルから取り込んだデータ（スクラップデータまたはギャラリーデータ）を閲覧するためのＧＵＩである。タグアイコン７７４は、任意の手書きノート内の任意のページにラベル（タグ）を貼り付けるためのＧＵＩである。

引き出し画面領域７１は、作成済みの全ての手書きノートを格納するためのストレージ領域を閲覧するための表示領域である。引き出し画面領域７１は、全ての手書きノート内のいくつかの手書きノートに対応するノートアイコン８０Ａ、８０Ｂ及び８０Ｃを表示する。ノートアイコン８０Ａ、８０Ｂ及び８０Ｃの各々は、対応する手書きノート内のあるページのサムネイルを表示する。手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われる引き出し画面領域７１上のあるジェスチャ（例えば、スワイプジェスチャ等）を検出することができる。このジェスチャ（例えば、スワイプジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、引き出し画面領域７１上の画面イメージを左方向または右方向にスクロールする。これにより、引き出し画面領域７１に任意の手書きノートそれぞれに対応するノートアイコンを表示することができる。

手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われる引き出し画面領域７１のノートアイコン上の他のジェスチャ（例えば、タップジェスチャ等）を検出することができる。引き出し画面領域７１上のあるノートアイコン上のジェスチャ（例えば、タップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、このノートアイコンをデスクトップ画面領域７０の中央部に移動する。そして、手書きノートアプリケーションプログラム１０３ｂは、このノートアイコンに対応する手書きノートを選択し、デスクトップ画面の代わりに図７に示すノートプレビュー画面を表示する。図７に示すノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。

更に、手書きノートアプリケーションプログラム１０３ｂは、ペン１００または指を使用してユーザによって行われるデスクトップ画面領域７０上のジェスチャ（例えば、タップジェスチャ等）も検出することができる。デスクトップ画面領域７０の中央部に位置するノートアイコン上のジェスチャ（例えば、タップジェスチャ等）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、中央部に位置するノートアイコンに対応する手書きノートを選択し、そして、デスクトップ画面の代わりに図７に示すノートプレビュー画面を表示する。

更に、ホーム画面は、メニューを表示することができる。このメニューは、画面の下部、例えば引き出し画面領域７１に表示されるノート一覧ボタン８１Ａ、ノート作成ボタン８１Ｂ、ノート削除ボタン８１Ｃ、検索ボタン８１Ｄ及び設定ボタン８１Ｅを備える。ノート一覧ボタン８１Ａは、手書きノートの一覧を表示するためのボタンである。ノート作成ボタン８１Ｂは、新しい手書きノートを作成（追加）するためのボタンである。ノート削除ボタン８１Ｃは、手書きノートを削除するためのボタンである。検索ボタン８１Ｄは、検索画面（検索ダイアログ）を開くためのボタンである。設定ボタン８１Ｅは、アプリケーションの設定画面を開くためのボタンである。

なお、図示しないが、引き出し画面領域７１の下にも、戻るボタン、ホームボタン、リーセントアプリケーションボタンが表示される。

図８は、設定ボタン８１Ｅがペン１００または指でタップされた際に開かれる設定画面の一例を示す。

この設定画面には、様々な設定項目が表示される。これら設定項目には、「バックアップと復元」、「入力モード（ペンまたはタッチ入力モード）」、「ライセンス情報」及び「ヘルプ」等が含まれる。

ホーム画面においてノート作成ボタン８１Ｂがペン１００または指でタップされるとノート作成画面が表示される。ここで、タイトル欄にノートの名前を手書き入力する。なお、ノートの表紙と用紙とを選択することができる。作成ボタンを押すと、新規なノートが作成され、当該作成されたノートは引き出し画面領域７１に置かれる。

図７は、上述したノートプレビュー画面の一例を示す。ノートプレビュー画面は、選択された手書きノート内の任意のページを閲覧可能な画面である。ここでは、ホーム画面のデスクトップ画面領域７０のノートアイコン８０１に対応する手書きノートが選択された場合を説明する。この場合、手書きノートアプリケーションプログラム１０３ｂは、この手書きノートに含まれる複数のページ９０１、９０２、９０３、９０４及び９０５を、これらページ９０１、９０２、９０３、９０４及び９０５それぞれの少なくとも一部分が視認可能で、かつ、これらページ９０１、９０２、９０３、９０４及び９０５が重なった形態で表示する。

ノートプレビュー画面は、更に、上述のペンアイコン７７１、カレンダーアイコン７７２及びスクラップノートアイコン７７３を表示する。

ノートプレビュー画面は、更に、メニューを画面下部に表示することができる。このメニューは、ホームボタン８２Ａ、ページ一覧ボタン８２Ｂ、ページ追加ボタン８２Ｃ、ページ編集ボタン８２Ｄ、ページ削除ボタン８２Ｅ、ラベルボタン８２Ｆ、検索ボタン８２Ｇ及びプロパティ表示ボタン８２Ｈを備える。ホームボタン８２Ａは、ノートのプレビューを閉じてホーム画面を表示するためのボタンである。ページ一覧ボタン８２Ｂは、現在選択されている手書きノート内のページの一覧を表示するためのボタンである。ページ追加ボタン８２Ｃは、新しいページを作成（追加）するためのボタンである。ページ編集ボタン８２Ｄは、ページ編集画面を表示するためのボタンである。ページ削除ボタン８２Ｅは、ページを削除するためのボタンである。ラベルボタン８２Ｆは、使用可能なラベルの種類の一覧を表示するためのボタンである。検索ボタン８２Ｇは、検索画面を表示するためのボタンである。プロパティ表示ボタン８２Ｈは、このノートのプロパティを表示するためのボタンである。

手書きノートアプリケーションプログラム１０３ｂは、ユーザによって行われるノートプレビュー画面上の様々なジェスチャを検出することができる。例えば、あるジェスチャの検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、一番上に表示されるべきページを任意のページに変更する（ページ送り、ページ戻し）。また、一番上のページ上で行われるあるジェスチャ（例えば、タップジェスチャ）の検出に応答して、またはペンアイコン７７１上で行われるジェスチャ（例えば、タップジェスチャ）の検出に応答して、あるいは編集ボタン８２Ｄ上で行われるあるジェスチャ（例えば、タップジェスチャ）の検出に応答して、手書きノートアプリケーションプログラム１０３ｂは、一番上のページを選択し、そしてノートプレビュー画面の代わりに、図９に示すページ編集画面を表示する。

図９に示すページ編集画面は、手書きノート内のページ（手書きページ）の新規作成、及び既存のページの閲覧及び編集が可能な画面である。図７に示すノートプレビュー画面上のページ９０１が選択された場合には、図９に示すように、ページ編集画面は、ページ９０１の内容を表示する。

このページ編集画面において、破線で囲まれた矩形の領域５００は、手書き可能な手書き入力領域である。手書き入力領域５００においては、デジタイザ１２Ｃからの入力イベントは手書きストロークの表示（描画）のために使用され、タップ等のジェスチャを示すイベントとしては使用されない。一方、ページ編集画面における手書き入力領域５００以外の領域においては、デジタイザ１２Ｃからの入力イベントはタップ等のジェスチャを示すイベントとしても使用され得る。

タッチパネル１２Ｂからの入力イベントは、手書きストロークの表示（描画）には使用されず、タップ及びスワイプ等のジェスチャを示すイベントとして使用される。

ページ編集画面は、更に、ユーザによって予め登録された３種類のペン５０１〜５０３と、範囲選択ペン５０４、消しゴムペン５０５とを含むクイックセレクトメニューを手書き入力領域５００外の画面上部に表示する。ここでは、黒ペン５０１、赤ペン５０２及びマーカー５０３がユーザによって予め登録されている場合が説明されている。ユーザは、ペン１００または指でクイックセレクトメニュー内のあるペン（ボタン）をタップすることにより、使用するペンの種類を切り替えることができる。例えば、黒ペン５０１がユーザによるペン１００または指を使用したタップジェスチャによって選択された状態で、ペン１００を用いた手書き入力操作がページ編集画面上で行われると、手書きノートアプリケーションプログラム１０３ｂは、ペン１００の動きに合わせて黒色のストローク（軌跡）をページ編集画面上に表示する。

クイックセレクトメニュー内の上述の３種類のペンは、ペン１００のサイドボタン（図示せず）の操作によっても切り替えることができる。クイックセレクトメニュー内の上述の３種類のペンの各々には、よく使うペンの色やペンの太さの組み合わせを設定することができる。

ページ編集画面は、更に、メニューボタン５１１、ページ戻し（ノートプレビュー画面に戻る）ボタン５１２及び新規ページ追加ボタン５１３を、手書き入力領域５００外の画面下部に表示する。メニューボタン５１１は、メニューを表示するためのボタンである。

このメニューは、例えば、このページをゴミ箱に入れる、コピーやカットしたページの一部を貼り付ける、検索画面を開く、エクスポートサブメニューを表示する、インポートサブメニューを表示する、ページをテキストに変換してメールを送る、ペンケースを表示する等のボタンを表示してもよい。エクスポートサブメニューは、例えば、ページ編集画面上に表示されている手書きページを認識して電子文書ファイル、プレゼンテーションファイル、画像ファイル等に変換する機能、あるいはページを画像ファイルに変換して他のアプリケーションと共有する機能をユーザに選択させる。インポートサブメニューは、例えば、メモギャラリーからメモをインポートする機能、あるいはギャラリーから画像をインポートする機能をユーザに選択させる。ペンケースは、クイックセレクトメニュー内の３種類のペンの各々の色（描画される線の色）及び太さ（描画される線の太さ）を変更可能なペン設定画面を呼び出すためのボタンである。

図１０は、検索画面（検索ダイアログ）の例を示す。図１０では、図７に示すノートプレビュー画面上で検索ボタン８２Ｇが選択され、当該ノートプレビュー画面上に検索画面（検索ダイアログ）が開かれた場合が説明されている。

検索画面は、検索キー入力領域５３０、筆跡検索ボタン５３１、テキスト検索ボタン５３２、デリートボタン５３３及び検索実行ボタン５３４を表示する。筆跡検索ボタン５３１は、筆跡検索を選択するためのボタンである。テキスト検索ボタン５３２は、テキスト検索を選択するためのボタンである。検索実行ボタン５３４は、検索処理の実行を要求するためのボタンである。

筆跡検索においては、検索キー入力領域５３０は、検索キーとすべき文字列、図形及び表等を手書きするための入力領域として使用される。図１０においては、検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力されている。ユーザは、手書き文字列に限らず、手書き図形及び手書き表等を検索キー入力領域５３０にペン１００で手書きすることができる。検索キー入力領域５３０に手書き文字列「Ｄｅｔｅｒｍｉｎｅ」が検索キーとして入力された状態で検索実行ボタン５３４がユーザによって選択されると、手書き文字列「Ｄｅｔｅｒｍｉｎｅ」を構成するストローク集合（クエリーストローク集合）を用いて、このクエリーストローク集合に対応するストローク集合を含む手書き文書（ノート）を検索するための筆跡検索が実行される。筆跡検索では、ストローク間のマッチングによって、クエリーストローク集合に類似するストローク集合が検索される。クエリーストローク集合とある別のストローク集合との間の類似度の算出においては、ＤＰ（Dynamic Programming）マッチングを使用してもよい。

テキスト検索においては、例えばソフトウェアキーボードが画面上に表示される。ユーザは、ソフトウェアキーボードを操作することによって任意のテキスト（文字列）を検索キーとして検索キー入力領域５３０に入力することができる。検索キー入力領域５３０にテキストが検索キーとして入力された状態で検索実行ボタン５３４がユーザによって選択されると、このテキスト（クエリーテキスト）を表すストローク集合を含む手書きノートを検索するためのテキスト検索が実行される。

筆跡検索／テキスト検索は、全ての手書き文書を対象に実行することもできるし、選択された手書き文書のみを対象に実行することもできる。筆跡検索／テキスト検索が実行されると、検索結果画面が表示される。検索結果画面においては、クエリーストローク集合（またはクエリーテキスト）に対応するストローク集合を含む手書き文書（ページ）の一覧が表示される。なお、ヒットワード（クエリーストローク集合またはクエリーテキストに対応するストローク集合）は、強調表示される。

次に、図１１を参照して、タブレットコンピュータ１０によって実行される手書きノートアプリケーションプログラム１０３ｂの機能構成について説明する。

手書きノートアプリケーションプログラム１０３ｂは、手書き文書データを扱うことが可能なＷＹＳＩＷＹＧアプリケーションである。この手書きノートアプリケーションプログラム１０３ｂは、例えば、表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５及び作業メモリ４０１等を備える。表示処理部３０１は、手書きデータ入力部３０１Ａ、筆跡描画部３０１Ｂ及びＵＩ表示処理部３０１Ｃを含む。

上述したタッチパネル１２Ｂは、「タッチ（接触）」、「移動（スライド）」及び「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上のオブジェクト（指）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（指）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（指）が離されたことを示すイベントである。

上述したデジタイザ１２Ｃも、「タッチ（接触）」、「移動（スライド）」及び「リリース」等のイベントの発生を検出するように構成されている。「タッチ（接触）」は、画面上にオブジェクト（ペン１００）が接触したことを示すイベントである。「移動（スライド）」は、画面上にオブジェクト（ペン１００）が接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面からオブジェクト（ペン１００）が離されたことを示すイベントである。

手書きノートアプリケーションプログラム１０３ｂは、手書きページデータの作成、閲覧及び編集を行うためのページ編集画面をタッチスクリーンディスプレイ１２上に表示する。

表示処理部３０１及び時系列情報生成部３０２は、デジタイザ１２Ｃによって発生される「タッチ（接触）」、「移動（スライド）」または「リリース」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ（接触）」イベントには、接触位置の座標が含まれている。「移動（スライド）」イベントには、移動先の接触位置の座標が含まれている。したがって、表示処理部３０１及び時系列情報生成部３０２は、デジタイザ１２Ｃから接触位置の動きの軌跡に対応する座標列を受信することができる。

表示処理部３０１は、デジタイザ１２Ｃを用いて検出される画面上のオブジェクト（ペン１００）の動きに応じて手書きストロークを画面上に表示する。この表示処理部３０１により画面にペン１００が接触している間のペン１００の軌跡、つまり、各ストロークの軌跡がページ編集画面上に表示される。

時系列情報生成部３０２は、デジタイザ１２Ｃから出力される上述の座標列を受信し、この座標列に基づいて、図４において詳述したような構造を有する時系列情報（座標データ系列）を含む手書きデータを生成する。時系列情報生成部３０２は、生成された手書きデータを作業メモリ４０１に一時保存する。

編集処理部３０３は、現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部３０３は、タッチスクリーンディスプレイ１２上でユーザによって行われる編集操作及び手書き入力操作に応じて、現在表示中の手書きページに新たなストローク（新たな手書き文字及び新たな手書きマーク等）を追加する処理、表示されている複数のストローク内の１以上のストロークを削除または移動する処理等を含む編集処理を実行する。更に、編集処理部３０３は、編集処理の結果を表示中の時系列情報に反映するために作業メモリ４０１内の時系列情報を更新する。

ページ保存処理部３０４は、作成中の手書きページ上の複数の手書きストロークに対応する複数のストロークデータを含む手書きページデータを記憶媒体４０２に保存する。記憶媒体４０２は、例えばタブレットコンピュータ１０内のストレージデバイスであってもよいし、例えばサーバ（コンピュータ）２のストレージデバイスであってもよい。

ページ取得処理部３０５は、記憶媒体４０２から任意の手書きページデータを取得する。この取得された手書きページデータは、表示処理部３０１に送られる。表示処理部３０１は、手書きページデータに含まれる複数のストロークデータに対応する複数のストロークを画面上に表示する。

次に、図１１に示す表示処理部３０１の詳細について説明する。
前述したように、タッチスクリーンディスプレイ１２は、画面に対するタッチ操作をタッチパネル１２Ｂまたはデジタイザ１２Ｃで検出する。手書きデータ入力部３０１Ａは、タッチパネル１２Ｂまたはデジタイザ１２Ｃから出力される検出信号を入力するモジュールである。検出信号には、タッチ位置の座標情報（Ｘ，Ｙ）が含まれている。このような検出信号を時系列順に入力することによって、手書きデータ入力部３０１Ａは、手書き入力操作に応じた（つまり、手書きで記載される）ストロークに対応するストロークデータを入力する。手書きデータ入力部３０１Ａによって入力されたストロークデータ（検出信号）は、筆跡描画部３０１Ｂに供給される。

筆跡描画部３０１Ｂは、手書き入力の軌跡（筆跡）を描画してタッチスクリーンディスプレイ１２のＬＣＤ１２Ａに表示するモジュールである。筆跡描画部３０１Ｂは、手書きデータ入力部３０１Ａからのストロークデータ（検出信号）に基づき、手書き入力の軌跡（筆跡）に対応する線分を描画する。

ＵＩ表示処理部３０１Ｃは、手書きデータ入力部３０１Ａによって入力されたストロークデータが例えば上述したページ編集画面（上の手書き入力領域５００）に対する手書き入力操作に応じたストロークに対応するものである場合に、上述した入力補助ＵＩを表示するモジュールである。

ここで、図１２を参照して、ペン１００を使用してタッチスクリーンディスプレイ１２の画面上で手書き入力操作を行う（つまり、１以上のストロークを手書きで記載する）場合におけるユーザの操作領域の一例について説明する。

図１２においては、ユーザがペン１００を使用して手書き文字列を横書きで記載する例が示されている。ここでは、手書き文字列を横書きで記載する場合の運筆方向はユーザから見て左から右方向である。なお、言語によっては、運筆方向はユーザから見て右から左方向であっても構わない。

図１２に示す領域１００１は、タッチスクリーンディスプレイ１２上で手書き入力操作を行う際に、ユーザの手が当該タッチスクリーンディスプレイ１２上で接触する領域である。

領域１００２は、ユーザの手が上記した領域１００１に接触している状態で当該ユーザがペン１００のペン先を動かすことができる最大の領域（手書き入力可能領域）である。なお、ユーザは領域１００２の範囲内で手書き入力操作を行うことは可能であるが、当該領域１００２の外周付近（例えば、上部及び下部等）においては、ペン先を動かすことができる最大の距離となってしまうため、手書き入力操作が比較的困難となる。

これに対して、領域１００３は、上記した領域１００２のうち、手書き入力操作が比較的困難となる領域を除いた領域（つまり、容易に手書き入力操作を行うことが可能な領域）である。すなわち、領域１００３は、上記した領域１００１にユーザの手が接触している状態において手書きでストロークを記載するのに最適な領域であり、ユーザが操作しやすいと感じられる領域である。

ここで、本実施形態においては、上記した入力補助ＵＩを介して、手書き入力操作を補助する機能を利用することができる。この入力補助ＵＩは、ユーザの操作性を考慮すると、上記した領域１００３内に表示することが好ましい。

しかしながら、入力補助ＵＩに対する操作を行う必要がない場合、領域１００３内に表示された入力補助ＵＩは、ユーザによる手書き入力操作の妨げとなる可能性が高い。

これに対して、手書き入力操作の妨げとなることを回避するために入力補助ＵＩを例えば領域１００３以外の領域１００２に表示した場合には、当該入力補助ＵＩに対する操作が困難となる。

そこで、本実施形態において、ＵＩ表示処理部３０１Ｃは、領域１００１にユーザの手が接触している状態において手書き入力操作が行われる領域１００３（第１領域）から運筆方向に所定距離（第１距離）離れた位置に入力補助ＵＩを表示するものとする。この入力補助ＵＩの具体的な表示例については後述する。

なお、図１１においては図示されていないが、手書きノートアプリケーションプログラム１０３ｂは、上記した以外に手書き入力操作に応じた１以上のストロークに基づいて特定されるストローク集合をユーザによる手書き入力の候補として例えばページ編集画面上に表示する候補表示処理部や上述した筆跡検索及びテキスト検索等を実行するための検索処理部等を備える。

以下、本実施形態に係るタブレットコンピュータ１０の動作について説明する。ここでは、本実施形態に係るタブレットコンピュータ１０によって実行される処理のうち、上述した手書き入力操作時（つまり、手書きでストロークが記載される際）に入力補助ＵＩを表示する処理（以下、入力補助ＵＩ表示処理と表記）について主に説明する。

図１３のフローチャートを参照して、入力補助ＵＩ表示処理の処理手順の一例について説明する。なお、入力補助ＵＩ表示処理は、上記したページ編集画面上の手書き入力領域５００において手書き入力操作に応じたストロークに対応するストロークデータが入力される際に実行される。

まず、手書きデータ入力部３０１Ａは、ユーザによる手書き入力操作に応じた１以上のストロークに対応するストロークデータを入力する（ブロックＢ１）。このように手書きデータ入力部３０１Ａによってストロークデータが入力された場合、筆跡描画部３０１Ｂは、当該ストロークデータに基づいて、手書き入力操作に応じたストローク（手書き入力の軌跡に対応する線分）を描画する処理を実行する。

なお、このように手書き入力操作が行われることによってストロークデータが入力される場合、ユーザの手はタッチスクリーンディスプレイ１２の画面上に接触した状態であるものとする。以下の説明においては、ブロックＢ１においてストロークデータが入力される際にユーザの手が接触している画面上の点を第１接触点と称する。この第１接触点（の座標）は、上述した図１２に示す領域１００１等に基づいてタッチスクリーンディスプレイ１２に備えられるタッチパネル１２Ｂによって検出可能である。

次に、ＵＩ表示処理部３０１Ｃは、タッチパネル１２Ｂからの入力イベントに基づいて、タッチスクリーンディスプレイ１２の画面上からユーザの手が離れたか否かを判定する（ブロックＢ２）。

タッチスクリーンディスプレイ１２の画面上からユーザの手が離れていないと判定された場合（ブロックＢ２のＮＯ）、ユーザの手が第１接触点に接触した状態のまま手書き入力操作が継続されているものとして、上述したブロックＢ１に戻って処理が繰り返される。すなわち、本実施形態においては、タッチスクリーンディスプレイ１２の画面上にユーザの手が接触した状態が継続している間は入力補助ＵＩは表示されない（つまり、非表示である）。

ここで、ユーザがペン１００を使用して比較的長い文字列（ストローク集合）をタッチスクリーンディスプレイ１２の画面上で記載する場合、ユーザは、運筆のために手を一旦当該画面上から離し、次の文字（列）の記載のために再度当該画面上に手を接触させるという動作（以下、運筆動作と表記）を行う場合が多い。

本実施形態においては、このような運筆動作を判別するために、上記したブロックＢ２においてタッチスクリーンディスプレイ１２の画面上からユーザの手が離れたと判定された場合（ブロックＢ２のＹＥＳ）、ＵＩ表示処理部３０１Ｃは、タッチスクリーンディスプレイ１２の画面上に再びユーザの手が接触したか否かを判定する（ブロックＢ３）。

タッチスクリーンディスプレイ１２の画面上に再びユーザの手が接触したと判定された場合（ブロックＢ３のＹＥＳ）、ＵＩ表示処理部３０１Ｃは、上記した運筆動作が行われたと判別することができる。以下の説明においては、このような運筆動作が行われた後にユーザの手が接触している画面上の点を第２接触点と称する。この第２接触点（の座標）は、上記した第１接触点と同様に、タッチパネル１２Ｂによって検出可能である。

なお、ユーザの手が一旦画面上から離れた後に当該ユーザの手が再度画面上に接触したとしても、当該ユーザの手の動きは上記した運筆動作によるものではない可能性もある。よって、運筆動作の判別精度を向上させるために、例えば第２接触点の位置が第１接触点から予め定められた距離の範囲内で、かつ、例えば運筆方向にある場合にのみ運筆動作が行われたと判別するようにしてもよい。なお、運筆方向は、ブロックＢ１において入力されたストロークデータ等から判別することができるものとする。

このように運筆動作が行われたと判別された場合、ＵＩ表示処理部３０１Ｃは、上述した入力補助ＵＩを表示する位置（入力補助ＵＩの表示位置）を決定する（ブロックＢ４）。この場合、ＵＩ表示処理部３０１Ｃは、例えば上記した画面上の第１接触点にユーザの手が接触した状態において手書き入力操作が行われる領域（例えば、図１２に示す領域１００３）から運筆方向に所定距離離れた位置を入力補助ＵＩの表示位置として決定する。

ここで、図１４を参照して、入力補助ＵＩの表示位置の決定処理（以下、第１の決定処理と表記）について詳細に説明する。ここでは、上述した図１２と同様の部分には同一参照符号を付して、その詳しい説明を省略する。

図１４に示す領域１００４は、画面上の領域１００１にユーザの手が接触した状態で手書き入力操作が行われた後に、運筆動作により手を移動して手書き入力操作を行う際に当該ユーザの手が接触する領域である。なお、図１４において点１００１ａ及び点１００４ａは、それぞれ上記した第１接触点及び第２接触点を示す。なお、第１接触点１００１ａ及び第２接触点１００４ａは、それぞれ領域１００１及び領域１００４の最左端に位置する点とされているが、例えば領域１００１及び領域１００４の中心等に位置する点であっても構わない。

入力補助ＵＩの表示位置の決定処理において、ＵＩ表示処理部３０１Ｃは、例えば領域１００２（及び領域１００３）の最右端に位置する点のＸ座標（以下、Ｘ１座標と表記）を取得する。なお、この領域１００２及び領域１００３（及びＸ１座標）は、上記したブロックＢ１において入力されたストロークデータ（時系列座標）及びタッチパネル１２Ｂによって検出される第１接触点１００１ａの位置（座標）等から算出されるものとする。

また、ＵＩ表示処理部３０１Ｃは、第２接触点１００４ａのＸ座標（以下、Ｘ２座標と表記）を取得する。

次に、ＵＩ表示処理部３０１Ｃは、領域１００３の最下端に位置する点のＹ座標（以下、Ｙ１座標と表記）及び当該領域１００３の最上端に位置する点のＹ座標（以下、Ｙ２座標と表記）を取得する。

これにより、ＵＩ表示処理部３０１Ｃは、図１４に示すようにＸ１座標、Ｘ２座標、Ｙ１座標及びＹ２座標に基づいて領域１００５を算出する。

この場合、ＵＩ表示処理部３０１Ｃは、算出された領域１００５（内の位置）を、入力補助ＵＩを表示する位置として決定する。なお、入力補助ＵＩの表示位置は、領域１００５内であればよいが、当該入力補助ＵＩと当該入力補助ＵＩを介して利用される入力補助機能との関係性または関連性をユーザが判断することができる程度の範囲内にあるものとする。具体的には、入力補助ＵＩを介して利用される入力補助機能が上記した手書き文字列の色彩を変更する機能である場合には、入力補助ＵＩは、例えば領域１００３内に記載された手書き文字列の近傍に表示されるものとする。

ここで、領域１００１〜領域１００３によって示されるように、領域１００１の近傍は手書き入力操作を行うことができない。このため、ユーザの手が接触する画面上の領域１００１と手書き入力可能領域１００２及び１００３との間には一定の間隔が存在する。これによれば、領域１００４の近傍についても手書き入力操作を行うことができないと推定される。したがって、入力補助ＵＩをユーザが容易に手書き入力操作を行うことが可能な位置（領域）に表示するためには、上記した第２接触点のＸ座標を例えば第１接触点のＸ座標とＸ１座標との差分だけＸ軸の負方向にずらした位置のＸ座標を、Ｘ２座標として用いて入力補助ＵＩを表示する位置を決定することが好ましい。

また、ここでは領域１００３の最下端に位置する点のＹ座標（Ｙ１座標）及び当該領域１００３の最上端に位置する点のＹ座標（Ｙ２座標）を用いるものとして説明したが、当該Ｙ１座標及びＹ２座標に代えて、例えば領域１００２の最下端に位置する点のＹ座標及び当該領域１００２の最上端に位置する点のＹ座標を用いても構わない。

なお、ここで説明した入力補助ＵＩの表示位置の決定処理は一例であり、他の処理によって入力補助ＵＩの表示位置を決定しても構わない。具体的には、例えば領域１００１及び領域１００３との位置関係から、領域１００４にユーザの手が接触している場合において容易に手書き入力操作を行うことが可能な領域を算出し、当該算出された領域（内の位置）を入力補助ＵＩの表示位置として決定しても構わない。

再び図１３に戻ると、ＵＩ表示処理部３０１Ｃは、上記したように決定された入力補助ＵＩの表示位置に当該入力補助ＵＩを表示する（ブロックＢ５）。ユーザは、このように表示された入力補助ＵＩに対して例えばペン１００を使用したタッチ操作等を行うことにより、上述した入力補助機能を利用することができる。このように表示された入力補助ＵＩは、ユーザによる円滑な手書き入力操作のために、不要と判定される場合には速やかに非表示とすることが好ましい。具体的には、例えば入力補助ＵＩに対する操作が一定時間行われない場合には当該入力補助ＵＩは不要であると判定し、非表示とすることができる。

なお、上述したブロックＢ３においてタッチスクリーンディスプレイ１２の画面上にユーザの手が接触していないと判定された場合（ブロックＢ３のＮＯ）、例えば手書き入力操作が終了されたものとして、入力補助ＵＩ表示処理は終了される。

次に、上述した入力補助ＵＩの表示について具体的に説明する。ここでは、入力補助ＵＩの第１の表示例及び第２の表示例について説明する。

まず、図１５を参照して、入力補助ＵＩの第１の表示例について説明する。図１５は、ユーザによる手書き入力操作に応じた１以上のストローク（ここでは、手書き文字列「ＡＢＣ」）に対応するストロークデータが入力された後に、上述した運筆動作が行われる場合について示している。

図１５に示すように、運筆動作が行われた場合、当該運筆動作が行われる前に手書き入力操作が行われた領域１００３から運筆方向に所定距離離れた位置に、入力補助ＵＩ１１００が表示される。これによれば、ユーザは、領域１００３内に手書き文字列「ＡＢＣ」を書き終えて運筆動作を行った際に、容易に入力補助ＵＩ１１００に対する操作（タッチ操作等）を行うことができるとともに、次の手書き入力操作（手書き文字列の記載等）を行うことが可能となる。

なお、この図１５に示す入力補助ＵＩ１１００は、例えば手書き文字列の色彩を変更するという入力補助機能を利用するためのユーザインタフェース（つまり、手書き文字列の色彩を指定するための操作に用いられるユーザインタフェース）である。

図１５に示す例では、この入力補助ＵＩ１１００には、例えば「Ｒ（赤色）」ボタン１１０１、「Ｇ（緑色）」ボタン１１０２及び「Ｂ（青色）」ボタン１１０３が設けられている。ユーザは、ペン１００を用いて例えば「Ｒ」ボタン１１０１に対するタッチ操作を行うことにより、手書き文字列「ＡＢＣ」の色彩を当該ボタン１１０１に対応する色彩（つまり、赤色）に変更することができる。ここでは、「Ｒ」ボタン１１０１について説明したが、他のボタン１１０２及び１１０３に対するタッチ操作が行われた場合についても同様である。

なお、入力補助ＵＩ１１００には、赤色、緑色及び青色に対応するボタン１１０１〜１１０３以外のボタンが設けられていてもよい。この入力補助ＵＩ１１００に設けられる各ボタンの種類（当該ボタンに対応する色彩）及び数等は、ユーザによって適宜変更（設定）することができるものとする。

また、本実施形態における手書きノート（手書き文書）の作成時には、タッチスクリーンディスプレイ１２の画面上で手書き文字列が記載される度に、当該画面に対する所定の操作（以下、確定操作と表記）により当該手書き文字列（の入力）を確定するという動作が行われる。この場合、図１５に示す入力補助ＵＩ１１００を介して利用される機能（ここでは、手書き文字列の色彩を指定する機能）は、上記した確定操作により確定されていない、つまり、未確定（編集中）の手書き文字列（つまり、１以上のストローク）に対して適用されるものとする。すなわち、本実施形態においては、未確定のストロークが入力補助ＵＩ１１００を用いた操作の対象とされる。

次に、図１６を参照して、入力補助ＵＩの第２の表示例について説明する。ここでは、本実施形態に係るタブレットコンピュータ１０（上で動作する手書きノートアプリケーションプログラム１０３ｂ）が入力補助機能として上述した手書き入力の候補（以下、推薦手書き文字列と表記）を表示する機能（以下、入力サジェスト機能と表記）を有している場合を想定している。この入力サジェスト機能によれば、手書き入力操作に応じた１以上のストロークに基づいて特定されるストローク集合（例えば、過去に記載された手書き文字列のうち当該１以上のストロークに類似するストロークから構成される手書き文字列）が推薦手書き文字列として表示される。

図１６は、このような推薦手書き文字列が表示された後に、上述した運筆動作が行われる場合について示している。

ここで、図１６に示す例では、例えば手書き入力操作によって手書き文字「ａ」が手書きで記載された場合、当該手書き文字「ａ」（つまり、１以上のストローク）に基づいて特定される推薦手書き文字列「ａｐｐ」、「ａｐｐｌｅ」及び「ａｉｒ」が表示されている。

なお、図１６では上述した領域１００１〜１００３については省略されているが、推薦手書き文字列「ａｐｐ」は、例えば領域１００３（手書き入力操作が行われる領域）の上側に位置する領域１２０１（第２領域）に表示される。また、推薦手書き文字列「ａｐｐｌｅ」は、例えば領域１００３（に重なる領域１２０２）に表示される。更に、推薦手書き文字列「ａｉｒ」は、例えば領域１００３の下側に位置する領域１２０３（第３領域）に表示される。なお、表示される推薦手書き文字列のうち、例えば最も優先度の高い推薦手書き文字列が領域１２０２に表示されるものとする。この優先度は、例えば手書き入力操作によって手書きで記載された手書き文字列と一致する度合いや推薦手書き文字列として過去に表示された際にユーザによって選択された回数等に基づいて算出することが可能であるが、他の手法により算出されても構わない。また、図１６に示す例では領域１２０１〜１２０３の各々に推薦手書き文字列が表示されるものとして説明したが、推薦手書き文字列は、当該領域１２０１〜１２０３の少なくとも１つの領域に表示されればよい。

このように推薦手書き文字列が表示された場合、ユーザは、当該推薦手書き文字列のうちの１つを（手書き入力領域５００に）表示すべき文字列として選択することができる。すなわち、推薦手書き文字列のうちの１つがユーザによって選択される場合、筆跡描画部３０１Ｂは、当該推薦手書き文字列を手書き入力領域５００に表示（描画）する。

図１６に示す例では、運筆動作が行われた場合、カーソル１２０４を合わせることによって推薦手書き文字列のうちの１つを選択（指定）することができる入力補助ＵＩ１２０５が表示される。なお、この入力補助ＵＩ１２０５は、例えば領域１２０２に表示されている推薦手書き文字列「ａｐｐｌｅ」が選択された場合に、次の手書き入力操作が行われると推定される位置の近傍（つまり、当該推薦手書き文字列の後の位置）に表示される。

この入力補助ＵＩ１２０５には、例えば上記したカーソル１２０４を上に移動させるための「上」ボタン１２０５ａ、当該カーソル１２０４を下に移動させるための「下」ボタン１２０５ｂ及びカーソル１２０４が合わせられている推薦手書き文字列を指定するための「ＯＫ」ボタン１２０５ｃが設けられている。

これによれば、運筆動作後に入力補助ＵＩ１２０５に対する操作（つまり、推薦手書き文字列を選択する操作）を容易に行うことができるとともに、容易に次の手書き入力操作を行うことが可能となる。

なお、図１５及び図１６において説明した入力補助ＵＩ１１００及び１２０５は一例であり、本実施形態における入力補助ＵＩは、例えば手書き文字列の太さを変更する、当該手書き文字列を拡大または縮小する、当該手書き文字列を削除する、当該手書き文字列を検索キーとして指定する、または当該手書き文字列に対して文字認識処理を実行する等の機能、あるいはこれらを組み合わせた機能等を利用するためのものであってもよい。すなわち、本実施形態における入力補助ＵＩは、ユーザによる手書き入力操作を補助する機能を利用するためのものであればよい。

上記したように本実施形態においては、タッチスクリーンディスプレイ１２の画面上の接触点（第１接触点）に手が接触した状態で手書きで入力される１以上のストローク（第１ストローク）に対応するストロークデータ（第１ストロークデータ）を入力し、手が当該接触点から離れた後、当該１以上のストロークが表示される領域（第１領域）から運筆方向に所定距離（第１距離）離れた位置に、入力補助ＵＩ（入力するストロークを指定するための操作に用いられるユーザインタフェース）を表示する。具体的には、画面上の接触点（第１接触点）に手が接触した状態で１以上のストローク（第１ストローク）が入力された後に運筆動作を行い、当該画面上の異なる接触点（第２接触点）に手が接触した状態で１以上のストローク（第２ストローク）が入力される場合、入力補助ＵＩは、当該運筆動作前に１以上のストロークが表示される領域と当該運筆動作後の接触点との間の位置に表示される。

本実施形態においては、このような構成により、手書き入力操作を阻害または中断しない位置（つまり、運筆動作後の次の手書き入力操作を行う位置の近傍）に入力補助ＵＩが表示されるため、ユーザは、当該入力補助ＵＩに対する操作を容易に行うことが可能となり、手書き文書（手書きノート）を効率的に作成することが可能となる。

また、本実施形態においては、１以上のストロークが手書きで記載される領域１２０２（第１領域）、当該領域の上側に位置する領域１２０１（第２領域）及び当該領域の下側に位置する領域１２０３（第３領域）の少なくとも１つの領域に推薦手書き文字列（手書き入力の候補）が表示され、当該推薦手書き文字列を指定するための操作に用いられる入力補助ＵＩ１２０５が表示される。本実施形態においては、このような構成により、推薦手書き文字列を表示（提示）する機能（入力サジェスト機能）を有している場合に、当該推薦手書き文字列を指定する操作（図１６に示す入力補助ＵＩ１２０５に対する操作）を容易に行うことが可能な入力補助ＵＩを表示することが可能となる。

更に、本実施形態においては、タッチスクリーンディスプレイ１２の画面上にユーザの手が接触した状態が継続している間は入力補助ＵＩを非表示とすることにより、例えば当該画面上において手書き入力操作が継続して行われている場合に、ユーザが意図しない当該入力補助ＵＩに対する操作が行われることを防止することが可能となる。

また、本実施形態においては、未確定のストロークを入力補助ＵＩを用いた操作の対象とする（つまり、入力補助ＵＩを介して利用される入力補助機能は未確定のストロークに対して適用される）ことにより、ユーザが意図しない範囲のストローク（手書き文字列）に対してまでも当該入力補助機能が適用される（つまり、当該入力補助機能による効果が生じる）ことを防止することができる。

なお、本実施形態においては図１３及び図１４において説明した第１の決定処理が実行されることによって決定された位置に入力補助ＵＩが表示される（つまり、運筆動作後に入力補助ＵＩが表示される）ものとして説明したが、当該ユーザの手が再度画面上に接触する前（つまり、次の手書き入力位置に手を移動している最中）に、入力補助ＵＩが表示されるようにしてもよい。この場合には、次にユーザが手を接触させる画面上の位置を予測して入力補助ＵＩの表示位置を決定する。

以下、図１７を参照して、この場合における入力補助ＵＩの表示位置の決定処理（以下、第２の決定処理と表記）について説明する。ここでは、上述した図１２及び図１４と同様の部分には同一参照符号を付して、その詳しい説明を省略する。

この第２決定処理の場合、ＵＩ表示処理部３０１Ｃは、例えば領域１００２（及び領域１００３）の最左端に位置する点のＸ座標（以下、Ｘ０座標と表記）を取得する。

また、ＵＩ表示処理部３０１Ｃは、上述した図１４において説明したＸ１座標を取得する。

なお、領域１００２及び領域１００３（Ｘ０座標及びＸ１座標）は、ブロックＢ１において入力されたストロークデータ（時系列座標）及びタッチパネル１２Ｂによって検出される第１接触点１００１ａの位置（座標）等から算出されるものとする。

ここで、ＵＩ表示処理部３０１Ｃは、図１７に示すように、取得されたＸ１座標とＸ０座標との差分ｄを算出し、当該算出された差分ｄをＸ１座標に加算した値（以下、Ｘ２´座標と表記）を算出する。

次に、ＵＩ表示処理部３０１Ｃは、上述した図１４において説明したＹ１座標及びＹ２座標を取得する。

これにより、ＵＩ表示処理部３０１Ｃは、図１７に示すようにＸ１座標、Ｘ２´座標、Ｙ１座標及びＹ２座標に基づいて領域１００６を算出する。

この場合、ＵＩ表示処理部３０１Ｃは、算出された領域１００６（内の位置）を、入力補助ＵＩを表示する位置として決定する。

すなわち、第２の決定処理においては、上記したように領域１００２及び領域１００３に基づいて次の手書き入力操作が行われると推測される領域１００６を予測し、当該領域１００６内の位置を入力補助ＵＩの表示位置として決定する。

この第２の決定処理によれば、ユーザの運筆動作によりユーザの手が画面上に置かれる（接触する）前に入力補助ＵＩを表示することが可能となるため、運筆のリズムをソフトウェア的に意図的に作り出すことが可能となる。

しかしながら、手書き文字列を横書きで記載する場合を想定すると、第２の決定処理によって決定された位置に入力補助ＵＩを表示する場合、運筆動作の最中（つまり、ユーザが手を移動している最中）の当該ユーザの手の下に入力補助ＵＩが表示されることになる。つまり、ユーザの運筆動作が完了するまで（つまり、ユーザが手を画面上に置くまで）の間に、ユーザが意図しないタッチ操作（つまり、誤操作）が行われる可能性がある。

これに対して、上述した第１の決定処理によれば、ユーザの運筆動作後（つまり、ユーザの手が画面上に置かれた後）に入力補助ＵＩが表示されるため、第２の決定処理が実行された場合と比較して誤操作が行われる可能性は低い。

上記した第１または第２の決定処理のいずれの処理が実行されるか（つまり、ユーザの手が画面上に置かれた後に入力補助ＵＩが表示されるか、当該ユーザの手が画面上に置かれる前に入力補助ＵＩが表示されるか）はユースケースによって決定される。

なお、本実施形態においてはユーザがペン１００を使用して手書き文字列を横書きで記載する場合について主に説明したが、本実施形態は、当該手書き文字列を縦書きで記載する場合にも適用可能である。ここで、手書き文字列を縦書きで記載する場合の運筆方向は、当該手書き文字列を横書きで記載する場合と異なり、ユーザから見て上から下方向である。また、運筆方向やユーザの手書き習慣から当該運筆方向に最適化されたペン１００の持ち方及び動かし方によって、手書き入力可能領域は、横書きの場合における領域１００２と異なる場合がある。更に、手書き文字列を縦書きで記載する場合における容易に手書き入力操作を行うことが可能な領域の形状も、上述した図１２に示す領域１００３とは異なり、縦長の楕円形状となる。このように、手書き文字列を横書きで記載する場合と縦書きで記載する場合とでは上記したように運筆方向等に差異があるが、手書き文字列を縦書きで記載する場合であっても、図１３に示すような処理が実行されることによってユーザによる手書き入力操作が行われる領域から運筆方向に所定距離離れた位置に入力補助ＵＩを表示することが可能である。これにより、手書き文字列を縦書きで記載する場合でも上述した手書き文字列を横書きで記載する場合と同様の効果を実現することができる。

なお、本実施形態の処理はコンピュータプログラムによって実現することができるため、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１０…タブレットコンピュータ（電子機器）、１１…本体、１２…タッチスクリーンディスプレイ、１２Ａ…ＬＣＤ、１２Ｂ…タッチパネル、１２Ｃ…デジタイザ、１００…ペン、１０１…ＣＰＵ、１０２…不揮発性メモリ、１０３…主メモリ、１０３ａ…オペレーティングシステム、１０３ｂ…手書きノートアプリケーションプログラム、１０４…ＢＩＯＳ−ＲＯＭ、１０５…システムコントローラ、１０６…グラフィクスコントローラ、１０７…無線通信デバイス、１０８…ＥＣ、３０１…表示処理部、３０１Ａ…手書きデータ入力部、３０１Ｂ…筆跡描画部、３０１Ｃ…ＵＩ表示処理部、３０２…時系列情報生成部、３０３…編集処理部、３０４…ページ保存処理部、３０５…ページ取得処理部、４０１…作業メモリ、４０２…記憶媒体。

Claims (15)

1. 画面上の第１接触点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力することと、
   手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示することと
   を具備する、方法。
2. 画面上の第１接触点に手が接触した状態で１以上の第１ストロークが入力された後に前記画面上の第２接触点に手が接触した状態で１以上の第２ストロークが入力される場合、前記ユーザインタフェースは、前記第１領域と前記第２接触点との間の位置に表示される請求項１記載の方法。
3. 前記１以上のストロークに基づいて特定されるストローク集合を、手書き入力の候補として表示することを更に具備し、
   前記手書き入力の候補は、前記第１領域、当該第１領域の上側に位置する第２領域及び当該第１領域の下側に位置する第３領域の少なくとも１つの領域に表示され、
   前記ユーザインタフェースは、前記手書き入力の候補を指定するための操作に用いられる
   請求項１記載の方法。
4. 前記ユーザインタフェースは、画面上の第１接触点に手が接触した状態が継続している間は非表示である請求項１記載の方法。
5. 未確定のストロークを前記ユーザインタフェースを用いた操作の対象とする請求項１記載の方法。
6. 画面上の第１接触点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力する入力手段と、
   手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示する表示処理手段と
   を具備する、電子機器。
7. 画面上の第１接触点に手が接触した状態で１以上の第１ストロークが入力された後に前記画面上の第２接触点に手が接触した状態で１以上の第２ストロークが入力される場合、前記ユーザインタフェースは、前記第１領域と前記第２接触点との間の位置に表示される請求項６記載の電子機器。
8. 前記表示処理手段は、前記１以上のストロークに基づいて特定されるストローク集合を、手書き入力の候補として表示し、
   前記手書き入力候補は、前記第１領域、当該第１領域の上側に位置する第２領域及び当該第１領域の下側に位置する第３領域の少なくとも１つの領域に表示され、
   前記ユーザインタフェースは、前記手書き入力の候補を指定するための操作に用いられる
   請求項６記載の電子機器。
9. 前記ユーザインタフェースは、画面上の第１接触点に手が接触した状態が継続している間は非表示である請求項６記載の電子機器。
10. 未確定のストロークを前記ユーザインタフェースを用いた操作の対象とする請求項６記載の電子機器。
11. コンピュータにより実行されるプログラムであって、
    前記コンピュータに、
    画面上の第１接触点に手が接触した状態で手書きで入力される１以上の第１ストロークに対応する第１ストロークデータを入力することと、
    手が前記第１接触点から離れた後、前記１以上の第１ストロークが表示される第１領域から運筆方向に第１距離離れた位置に、入力するストロークを指定するための操作に用いられるユーザインタフェースを表示することと
    を実行させるためのプログラム。
12. 画面上の第１接触点に手が接触した状態で１以上の第１ストロークが入力された後に前記画面上の第２接触点に手が接触した状態で１以上の第２ストロークが入力される場合、前記ユーザインタフェースは、前記第１領域と前記第２接触点との間の位置に表示される請求項１１記載のプログラム。
13. 前記コンピュータに、前記１以上のストロークに基づいて特定されるストローク集合を、手書き入力の候補として表示することを更に実行させ、
    前記手書き入力の候補は、前記第１領域、当該第１領域の上側に位置する第２領域、及び当該第１領域の下側に位置する第３領域の少なくとも１つの領域に表示され、
    前記ユーザインタフェースは、前記手書き入力の候補を指定するための操作に用いられる
    請求項１１記載のプログラム。
14. 前記ユーザインタフェースは、画面上の第１接触点に手が接触した状態が継続している間は非表示である請求項１１記載のプログラム。
15. 未確定のストロークを前記ユーザインタフェースを用いた操作の対象とする請求項１１記載のプログラム。

Images