JP2014032632A - 電子機器、方法、およびプログラム - Google Patents

Abstract

【課題】手書き文書を容易に扱うことができる電子機器を実現する。
【解決手段】プロセッサ１０１は、タッチスクリーンディスプレイ１７の画面上に表示される１以上のストロークを指定するための第１ストロークと、処理を特定するための第２ストロークとが入力される場合に、第１ストロークによって指定されるストロークに対して、第２ストロークで特定される処理を実行する。プロセッサ１０１は、ストローク、すなわち手書き文書にかかるデータに対して、検索処理を実行でき、その他任意の処理を実行できる。
【選択図】 図５

Description

本発明の実施形態は、手書き文書に関する。

近年、タブレット、ＰＤＡ、スマートフォンといった種々の電子機器が開発されている。この種の電子機器の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。

ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を電子機器に指示することができる。

しかし、タッチスクリーンディスプレイを備える既存の電子機器の多くは、会議、商談、商品開発などのビジネスシーンにおける利用については必ずしも適していない場合がある。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。

特開平３−６６６４号公報

紙の手帳の代わりに、タッチスクリーンディスプレイに対して手書き入力されるストロークに関する筆跡情報を保存するタブレットを用いることが考えられる。保存された筆跡情報に対する検索処理も考えられる。

本発明の一実施形態では、手書き文書を容易に扱うことができる電子機器、検索方法および検索プログラムを提供することを目的とする。

上記目的を達成するために、本発明の実施形態に係る電子機器は、タッチスクリーンディスプレイと、プロセッサとを備える。プロセッサは、タッチスクリーンディスプレイの画面上に表示される１以上のストロークを指定するための第１ストロークと、処理を特定するための第２ストロークとが入力される場合に、第１ストロークによって指定されるストロークに対して、第２ストロークで特定される処理を実行する。

一実施形態に係る電子機器の外観を示す斜視図。 一実施形態の電子機器と外部装置との連携動作を示す図。 一実施形態の電子機器に手書きされる手書き文書の例を示す図。 一実施形態の電子機器に保存される時系列情報の例を示す図。 一実施形態の電子機器の構成例を示すブロック図。 デジタルノートブックアプリケーションプログラムの機能構成例を示すブロック図。 デジタルノートブックアプリケーションプログラムのユーザインターフェース例を示す図。

以下、本発明の実施形態について説明する。

（実施形態）
図１は、一実施形態に係る電子機器の外観を示す斜視図である。この電子機器は、例えば、ペンまたは指によって手書き入力可能である。この電子機器は、タブレット、ノートブック型パーソナルコンピュータ、スマートフォン、ＰＤＡ、ホワイトボード代替の大型ディスプレイ等である。以下では、この電子機器がタブレット１０である場合を仮定して説明する。タブレット１０は、タブレットコンピュータまたはスレートコンピュータとも称される電子機器である。タブレット１０は、本体１１とタッチスクリーンディスプレイ１７とを備える。タッチスクリーンディスプレイ１７は、本体１１の上面に重ね合わせて取り付けられる。

本体１１は、薄い箱形の筐体を有する。タッチスクリーンディスプレイ１７は、カラー又はモノクロで電子データを表示可能なディスプレイと、ペンまたは指による画面（表面）への接触部位の位置を検出可能な入力装置とを兼ねるものであればどのようなものであっても良い。タッチスクリーンディスプレイ１７は、たとえば、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するセンサとを有する。フラットパネルディスプレイは、例えば、液晶表示装置（ＬＣＤ）、有機ＥＬであってもよい。センサは、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどである。以下では、デジタイザとタッチパネルの２種類のセンサの双方がタッチスクリーンディスプレイ１７に組み込まれている場合を仮定する。デジタイザおよびタッチパネルは、フラットパネルディスプレイの画面を覆うように設けられる。

タッチスクリーンディスプレイ１７は、指を使用した画面に対するタッチ操作のみならず、ペン１００を使用した画面に対するタッチ操作も検出できる。ペン１００は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト（ペン１００又は指）を使用してタッチスクリーンディスプレイ１７上に手書きで文字、図形等を入力できる。ストロークとは、手書きで入力される軌跡（筆跡）であればどのようなものであってもよく、たとえば、外部オブジェクトによってタッチスクリーンディスプレイ１７上で入力される軌跡（筆跡）、またはその他のユーザインターフェースによって手書き入力される軌跡（筆跡）である。たとえば、外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が１ストロークに相当する。タッチスクリーンディスプレイ１７は、画面上の外部オブジェクトの動きの軌跡、つまり手書きされるストロークをリアルタイムに画面上に表示する。

手書き文書の電子データ（以下、手書き文書）とは、手書きされた文字または図形などに対応する多数のストロークの情報の集合である。手書き文書は、タブレット１０に内蔵される記録媒体、ユーザの持つ他の電子機器、サーバ、またはクラウドに保存される。本実施形態では、この手書き文書は、イメージデータではなく、各ストローク（軌跡）の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に保存される。時系列情報とは、複数のストロークが手書きされた順番（筆順）が識別可能であって、且つ各ストローク（軌跡）を特定可能なデータ（以下、ストロークデータと呼ぶ）であればどのようなものであっても良い。時系列情報の詳細は図４を参照して後述する。１つのストロークデータは、ある一つ（一画）のストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データを含む。時系列情報に含まれるストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順を示しても良い。時系列情報は、各ストロークデータに対応するストロークが手書きされた順序（筆順）の情報をさらに含むものでもよく、各ストロークデータに対応するストロークが手書きされた時刻をさらに含むものでもよい。以下、手書き文書は、時系列情報として保存される例で説明するが、複数のストロークが手書きされた順番（筆順）が識別不可能な形態にて保存されても良い。

タブレット１０は、時系列情報によって示される複数のストロークを画面上に表示できる。タブレット１０は編集機能を有する。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動すること、幾つかの手書き操作の履歴を取り消す機能を含んでも良い。

時系列情報（手書き文書）は、１つまたは複数のページとして管理されうる。時系列情報（手書き文書）は、１つの画面に収まる面積単位（ページ）で区切られて記録されてもよい。ページのサイズは可変でよい。ページのサイズは１つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。１つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。

図２は、タブレット１０と外部装置との連携動作の例を示す。タブレット１０は、パーソナルコンピュータ１やクラウドと連携できる。タブレット１０は、有線ＬＡＮや、無線ＬＡＮ、セルラー（３Ｇ、ＬＴＥ、ＬＴＥ−ａｄｖａｎｃｅｄ）などの通信デバイスを備えており、パーソナルコンピュータ１、またはサーバ２と通信できる。サーバ２はオンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行するサーバであってもよい。

パーソナルコンピュータ１は、ハードディスクドライブ（ＨＤＤ）、半導体メモリ（ＮＡＮＤメモリ、ＮＯＲメモリ）等のストレージデバイスを備える。タブレット１０は、時系列情報（手書き文書）をネットワーク越しにパーソナルコンピュータ１へ送信して、パーソナルコンピュータ１のストレージデバイスに時系列情報を記録することができる（アップロード）。タブレット１０とパーソナルコンピュータ１との間のセキュアな通信を確保するために、通信開始時には、パーソナルコンピュータ１とタブレット１０との認証処理がなされてもよい。これにより、タブレット１０内のストレージの容量が少ない場合でも、タブレット１０が多数の時系列情報（手書き文書）あるいは大容量の時系列情報（手書き文書）を扱うことが可能となる。タブレット１０は、パーソナルコンピュータ１のストレージデバイスに記録されている任意の１以上の時系列情報を読み出し（ダウンロード）、その読み出した時系列情報によって示されるストロークをディスプレイ１７の画面に表示できる。

タブレット１０が通信する先は、ストレージサービスなどを提供するクラウド上のサーバ２であってよい。タブレット１０は、時系列情報（手書き文書）をネットワーク越しにサーバ２に送信して、サーバ２のストレージデバイス２Ａに記録することができる（アップロード）。タブレット１０は、サーバ２のストレージデバイス２Ａに記録されている任意の時系列情報を読み出して（ダウンロード）、その時系列情報によって示されるストロークそれぞれの軌跡をタブレット１０のディスプレイ１７の画面に表示できる。

このように、本実施形態では、時系列情報（手書き文書）が格納される記憶媒体は、タブレット１０からアクセス可能なストレージデバイスであればどのようなものであっても良く、タブレット１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイス等のいずれであってもよい。

図３および図４を参照して、ユーザによって手書きされたストローク（文字、マーク、図形、表など）と時系列情報との関係について説明する。図３は、ペン１００などを使用してタッチスクリーンディスプレイ１７上に手書きされる手書き文書の例を示す。手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされてもよい。図３においては、「ＡＢＣ」の手書き文字列が「Ａ」、「Ｂ」、「Ｃ」の順番で手書きされ、この後に、「矢印」が、手書き文字「Ａ」のすぐ近くに手書きされた場合が想定されている。

図４は、図３の手書き文書に対応する時系列情報２００を示す。時系列情報は、複数のストロークデータＳＤ１、ＳＤ２、…、ＳＤ７を含む。図４で示す時系列情報２００の例では、ストロークの筆跡順（時系列順）に、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７が並べられている。

手書き文字「Ａ」は、ペン１００などを使用して手書きされる２つのストローク（「∧」形状の軌跡、「−」形状の軌跡）によって、つまり２つの軌跡によって表現される。最初に手書きされる「∧」形状のペン１００の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークデータＳＤ１（時系列座標ＳＤ１１、ＳＤ１２、…ＳＤ１ｎ）が得られる。同様に、次に手書きされる「−」形状のペン１００の軌跡もサンプリングされ、これによって「−」形状のストロークデータＳＤ２（時系列座標ＳＤ２１、ＳＤ２２、…ＳＤ２ｎ）が得られる。手書き文字「Ｂ」は、２つのストロークデータＳＤ３、ＳＤ４（時系列座標ＳＤ３１…ＳＤ３ｎ、ＳＤ４１…ＳＤ４ｎ）によって表現される。手書き文字「Ｃ」は、１つのストロークデータＳＤ５（時系列座標ＳＤ５１…ＳＤ５ｎ）によって表現される。手書きの「矢印」は、２つのストロークデータＳＤ６、ＳＤ７（時系列座標ＳＤ６１…ＳＤ６ｎ、ＳＤ７１…ＳＤ７ｎ）によって表現される。

各ストロークデータは、一つのストロークに対応する座標データ系列（時系列座標）、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。例えば、手書き文字「Ａ」に関しては、ストロークデータＳＤ１は、手書き文字「Ａ」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列（時系列座標）、つまりｎ個の座標データＳＤ１１、ＳＤ１２、…ＳＤ１ｎを含む。ストロークデータＳＤ２は、手書き文字「Ａ」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりｎ個の座標データＳＤ２１、ＳＤ２２、…ＳＤ２ｎを含む。なお、座標データの数（ｎ）はストロークデータ毎に異なっていてもよい。

各座標データは、対応する軌跡内のある１点に対応するＸ座標およびＹ座標を示す。例えば、座標データＳＤ１１は、「∧」形状のストロークの始点のＸ座標（Ｘ１１）およびＹ座標（Ｙ１１）を示す。ＳＤ１ｎは、「∧」形状のストロークの終点のＸ座標（Ｘ１ｎ）およびＹ座標（Ｙ１ｎ）を示す。

さらに、各座標データは、その座標に対応する点が手書きされた時刻に対応するタイムスタンプ情報Ｔを含むことができる。手書きされた時刻は、絶対時刻（例えば、年月日時分秒）またはある時点を基準とした相対時刻のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時刻（例えば、年月日時分秒）をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時刻との差分を示す相対時刻をタイムスタンプ情報Ｔとして付加してもよい。タイムスタンプ情報Ｔを含む各座標データ（時系列情報）により、ストローク間の時間的関係をより精度よく表すことができる。

さらに、各座標データは、筆圧を示す情報（Ｚ）を含むことができる。筆圧を示す情報（Ｚ）を含む各座標データ（時系列情報）は、手書き入力されたストロークについての個人の癖を精度よく表し、各ストロークの手書き入力者を精度よく特定できる。

各ストロークの順序（筆順）を使用することによって、図３に示すように、手書き「矢印」の先端部が手書き文字「Ａ」上に重ねてまたは手書き文字「Ａ」に近接して書かれたとしても、手書き文字「Ａ」と手書き「矢印」の先端部とが異なる文字または図形として区別可能となる。

例えば、タブレット１０のＣＰＵは、時系列情報２００から、手書き文字「Ａ」の２つのストローク（ストロークデータＳＤ１、ＳＤ２）については連続的に手書きされたものと判定し、さらに、手書き「矢印」の先端部（ストロークデータＳＤ７）の手書きタイミングは、手書き文字「Ｂ」、「Ｃ」の後であって、手書き文字「Ａ」の手書きタイミングと不連続であると判定できる。これより、タブレット１０のＣＰＵは、手書き文字「Ａ」の２つのストロークと、手書き「矢印」の先端部とが異なる文字または図形として区別できる。

また、例えば、タブレット１０のＣＰＵは、上述のタイムスタンプ情報Ｔを使用して、ストロークデータＳＤ１、ＳＤ２に対応するストロークが手書きされた時刻と、ストロークデータＳＤ７に対応するストロークが手書きされた時刻との差異が閾値以上である場合に、ストロークデータＳＤ７の書き込みタイミングがストロークデータＳＤ１、ＳＤ２の書き込みタイミングと不連続であり、異なる文字または図形と判定できる。

いま、図３に示す通り、ユーザによって、実線（太線）の手書きの丸（ストローク）が入力され、手書きの丸（ストローク）によって、画面上に表示されるストロークが指定される場合を想定する。手書きの丸（ストローク）に囲まれた範囲（指定範囲）には、手書き文字「Ａ」の２つのストロークと、手書き「矢印」の先端部に対応する１つのストロークが含まれている。この場合、タブレット１０のＣＰＵは、手書き「Ａ」の２つのストローク（ストロークデータＳＤ１、ＳＤ２）と、手書き「矢印」の先端部（ストロークデータＳＤ７）とが別個のものであることが区別できるため、ユーザに対して、どちらか一方を選択可能とするインタフェースを表示することができる。

時系列情報２００は、ストロークデータＳＤ１、ＳＤ２、…、ＳＤ７の並びは手書き文字の筆順を示す。例えば、ストロークデータＳＤ１およびＳＤ２の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ２つの手書き文字の筆跡同士が互いに類似していても、それら２つの手書き文字の筆順が互いに異なる場合には、それら２つの手書き文字を異なる文字として区別することができる。

手書き文書が時系列のストロークデータの集合から構成される時系列情報２００として記憶されることで、手書き文字の言語に依存せずに手書き文字を扱うことができ、使用言語の異なる世界中の様々な国で共通に使用できる。

図５は、タブレット１０のシステム構成の一例を示す図である。タブレット１０は、図５に示されるように、ＣＰＵ１０１、システムコントローラ１０２、主メモリ１０３、グラフィクスコントローラ１０５、ＢＩＯＳ−ＲＯＭ１０５、不揮発性メモリ１０６、無線通信デバイス１０７、エンベデッドコントローラ（ＥＣ）１０８等を備える。

ＣＰＵ１０１は、タブレット１０内の各種モジュールの動作を制御するプロセッサである。ＣＰＵ１０１は、ストレージデバイスである不揮発性メモリ１０６から主メモリ１０３にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム（ＯＳ）２０１、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、デジタルノートブックアプリケーションプログラム２０２が含まれている。このデジタルノートブックアプリケーションプログラム２０２は、上述の手書き文書を作成および表示する機能、手書き文書を編集する機能、筆跡検索機能、および文字・図表認識機能等を実現するためのものである。ＣＰＵ１０１は、ＢＩＯＳ−ＲＯＭ１０５に格納された基本入出力システム（ＢＩＯＳ）も実行する。ＢＩＯＳは、ハードウェア制御のためのプログラムである。

システムコントローラ１０２は、ＣＰＵ１０１のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ１０２は、主メモリ１０３をアクセス制御するメモリコントローラを内蔵する。システムコントローラ１０２は、ＰＣＩ ＥＸＰＲＥＳＳ規格のシリアルバスなどを介してグラフィクスコントローラ１０４との通信を実行する機能も有する。

グラフィクスコントローラ１０４は、本タブレット１０のディスプレイモニタとして使用されるＬＣＤ１７Ａを制御する表示コントローラである。このグラフィクスコントローラ１０４によって生成される表示信号はＬＣＤ１７Ａに送られる。ＬＣＤ１７Ａは、表示信号に基づいて画面イメージを表示する。このＬＣＤ１７Ａ上にはタッチパネル１７Ｂおよびデジタイザ１７Ｃが配置されている。タッチパネル１７Ｂは、ＬＣＤ１７Ａの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル１７Ｂによって検出される。デジタイザ１７ＣはＬＣＤ１７Ａの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン１００が接触される画面上の接触位置および接触位置の動き等はデジタイザ１７Ｃによって検出される。

無線通信デバイス１０７は、無線ＬＡＮまたはセルラー通信などの無線通信を実行する。ＥＣ１０８は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。ＥＣ１０８は、ユーザによるパワーボタンの操作に応じて本タブレット１０を電源オンまたは電源オフする機能を有している。

次に、図６を参照して、デジタルノートブックアプリケーションプログラム２０２の機能構成について説明する。デジタルノートブックアプリケーションプログラム２０２は、ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、処理対象ブロック選択部３０７、および処理部３０８等を備える。これらの機能ブロックは、デジタルノートブックアプリケーションプログラム２０２を実行するＣＰＵ１０１により実現される。

デジタルノートブックアプリケーションプログラム２０２は、タッチスクリーンディスプレイ１７を介して入力されるイベント情報等を使用して、手書き文書の作成、表示、編集等を行う。タッチスクリーンディスプレイ１７は、「タッチ」、「移動（スライド）」、「リリース」等のイベントの発生を検出する。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動（スライド）」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。

ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７によって発生される「タッチ」または「移動（スライド）」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれる。「移動（スライド）」イベントには、移動元、移動中、および移動先の接触位置の座標が含まれる。ペン軌跡表示処理部３０１および時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から、接触位置の動きの軌跡に対応する座標列を受信する。

ペン軌跡表示処理部３０１は、タッチスクリーンディスプレイ１７から受信した座標列に基づいて、各ストロークの軌跡をタッチスクリーンディスプレイ１７内のＬＣＤ１７Ａの画面上に表示する。ペン軌跡表示処理部３０１は、画面にペン１００が接触している間のペン１００の軌跡、つまり各ストロークの軌跡をＬＣＤ１７Ａの画面上へ表示する。

時系列情報生成部３０２は、タッチスクリーンディスプレイ１７から受信した座標列に基づいて、図４で詳述したような構造を有する上述の時系列情報を生成する。時系列情報生成部３０２は、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報を作業メモリ４０１に一時保存してもよい。

ページ保存処理部３０４は、生成された時系列情報を手書き文書（手書きページ）として記憶媒体４０２に保存する。記憶媒体４０２は、上述したように、タブレット１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスのいずれであってもよい。

ページ取得処理部３０５は、記憶媒体４０２に格納されている任意の時系列情報を読み出し、手書き文書表示処理部３０６に送る。手書き文書表示処理部３０６は、時系列情報に基づいて、各ストロークの軌跡を画面上に手書きページとして表示する。

編集処理部３０３は現在表示中の手書きページを編集するための処理を実行する。編集処理部３０３は、タッチスクリーンディスプレイ１７上でユーザによって行われる編集操作に応じて、表示されている複数のストローク内の１以上のストロークを削除または移動等するための編集処理を実行する。編集処理部３０３は、例えば、ユーザによって編集メニューから「削除」または「移動」等のメニューが選択された場合、処理対象ブロック選択部３０７によって選択されているストロークに対する削除、移動等の処理を実行する。ユーザは、例えば、「消しゴム」ツール、ペン１００の逆側の端部、ペン１００によるタップ等を使用して、表示されている複数のストローク内の任意のストロークを削除できる。ユーザは、処理対象ブロック選択部３０７によって選択されているストロークを、外部オブジェクトによりドラッグアンドドロップ等することによって、表示されている複数のストローク内の任意のストロークを移動できる。編集処理部３０３は、編集処理の結果を表示中の時系列情報に反映するためにこの時系列情報を更新する。時系列情報においては、移動された各ストロークデータの時系列座標は、移動先位置に応じて自動的に変更されてもよい。移動された各ストロークデータの時系列座標を変更したことを表す操作履歴が時系列情報に追加されてもよい。削除された各ストロークデータは、時系列座標から必ずしも削除しなくてもよく、これら各ストロークデータを削除したことを表す操作履歴が時系列情報に追加されてもよい。

処理対象ブロック選択部３０７は、ユーザの範囲指定操作、ストローク選択操作に応じて、処理対象の時系列情報部分、つまり処理対象のストローク（ストロークデータ）を選択する。ユーザは、画面上の任意の部分を丸または四角によって囲むための「範囲指定」ツールを使用して、表示中の時系列情報（手書きページ）内の任意の部分を範囲指定できる。ユーザは、外部オブジェクトを使用して、画面上の任意の部分に特定のストロークを入力することにより、表示中の時系列情報の任意の部分（ストロークの少なくとも１つ）を選択できる。処理対象ブロック選択部３０７により選択されたストロークは、他のストロークと異なる形態、例えば、反転、異なる色、太字、アンダーライン等によって表示される。

表示中の時系列情報の任意の部分（ストロークの少なくとも１つ）を選択するための特定のストローク（以下、選択用ストローク）とは、予め定められた１以上のストロークあればどのようなものであってもよく、丸、四角等の周回形状、直線、波線等の線状形状等である。処理対象ブロック選択部３０７は、ユーザにより入力されたストロークが選択用ストロークであるか否かを、パターンマッチング、ストロークの類似度等を用いて判別できる。処理対象ブロック選択部３０７は、ユーザにより入力されたストロークが選択用ストロークであると判定した場合に、選択用ストロークを他のストロークと異なる形態で表示することができる。丸、四角等の周回形状のストロークは、そのストロークで囲まれる領域にすべてが含まれるストロークを選択しても良く、そのストロークで囲まれる領域に少なくとも一部が含まれるストロークを選択してもよく、そのストロークで囲まれる領域に含まれるストロークに加えてそれと同一の文字又は図形とされるストロークを選択してもよく、そのストロークで囲まれる領域に含まれるストロークから筆順が不連続なストロークを除いたストロークを選択しても良い。丸、四角等の周回形状は、閉じたストロークであっても良く、一部閉じていないストロークであっても良い。一部閉じていないストロークでは、開始端と終了端とをつなぐ線があるものと仮定等することで、そのストロークで囲まれる領域を特定できる。直線、波線等の線状形状のストロークは、そのストロークと交差するストロークを選択しても良く、そのストロークの近傍領域に含まれるストロークを選択してもよく、そのストロークの上側又は下側の近傍領域に含まれるストロークを選択してもよく、そのストロークと交差する又は近傍領域に含まれるストロークに加えてそれと同一の文字又は図形とみなされるストロークを選択してもよく、そのストロークと交差する又は近傍領域に含まれるストロークから筆順が不連続なストロークを除いたストロークを選択しても良い。

処理部３０８は、処理対象ブロック選択部３０７により選択された処理対象の時系列情報に対して、様々な処理、例えば、筆跡検索処理、認識処理、削除処理、移動処理、コピー処理、切り取り（カット）処理等を実行できる。図６の例では、検索処理部３０９が筆跡検索処理を実行し、認識処理部３１０が文字認識処理を実行する。

処理部３０８は、ユーザのメニュー指定操作、ストローク操作に応じて、処理対象の時系列情報部分に対して、様々な処理を実行する。ユーザは、画面上に表示されるメニューバー、ブルダウンメニュー、アイコンを選択、指定して、処理の内容を指定できる。ユーザは、外部オブジェクトを使用して、画面上の任意の部分に特定のストロークを入力することにより、処理の内容を指定できる。

処理の内容を指定するための特定のストローク（以下、処理指定用ストローク）とは、予め定められた１以上のストロークあればどのようなものであってもよく、記号、はてな（？）、星、二重丸、渦巻き、アルファベット、ギリシャ文字、平仮名、片仮名、漢字等である。処理指定用ストロークの各種類ごとに、１つの処理が対応づけられる。処理部３０８は、ユーザにより入力されたストロークが処理指定用ストロークであるか否かを、パターンマッチング、ストロークの類似度等を用いて判定できる。処理部３０８は、ユーザにより入力されたストロークが処理指定用ストロークであると判定した場合に、処理指定用ストロークを他のストロークと異なる形態で表示することができる。

処理部３０８は、選択用ストロークの入力後に処理指定用ストロークが入力された場合、処理指定用ストロークの入力後に選択用ストロークが入力された場合、選択用ストロークの入力と処理指定用ストロークの入力が連続して行われた場合、選択用ストロークの入力と処理指定用ストロークの入力との時間差が閾値以内である場合、選択用ストロークと処理指定用ストロークとが少なくとも一部重複する場合、選択用ストロークに処理指定用ストロークが包含される場合、選択用ストロークと処理指定用ストロークとの距離が閾値以内である場合等、一定の場合に限って、選択用ストロークで選択された１つ以上のストロークに対して、処理指定用ストロークで指定された処理を実行することができる。

検索処理部３０９は、処理対象ブロック選択部３０７により選択された時系列情報部分を検索キー（検索クエリ）として用いて、記憶媒体４０２に格納されている複数の時系列情報（複数の手書きページ）を検索する。検索処理部３０９は、複数の時系列情報の各々から、特定の時系列情報部分に対応するストロークの軌跡との類似度が基準値以上であるストロークをＬＣＤ１７Ａの画面上に視認可能に表示する。

検索処理部３０９によって実行される検索処理は筆跡検索であり、すでに記録されている複数の手書きページの中から、検索クエリである手書き文字列と類似する筆跡を有する手書き文字列を検索する。なお、現在表示中のある一つの手書きページのみを対象に筆跡検索を行ってもよい。

手書き文字間の類似度の計算方法としては、様々な方法を使用することができる。例えば各ストロークの座標列をベクトルとして扱ってもよい。この場合、比較対象のベクトル同士の類似度を計算するために、それら比較対象のベクトル間の内積を比較対象のベクトル間の類似度として算出してもよい。また他の例としては、各ストロークの軌跡を画像として扱い、比較対象の軌跡間の画像の重なりがもっとも多くなる部分の面積の大きさを上述の類似度として計算してもよい。さらに計算処理量を減らすための任意の工夫をしてもよい。また、手書き文字間の類似度の計算方法として、ＤＰ（Dynamic Programming）マッチングを使用してもよい。

認識処理部３１０は、処理対象ブロック選択部３０７により選択された時系列情報部分に対して、手書き文字認識、手書き図形認識、手書き表認識などの認識処理を実行する。認識処理部３１０は、手書きページ（時系列情報）を、文書作成ソフト、表計算ソフト、プレゼンテーションソフト等が扱うことが可能な構造を有するアプリケーションデータに変換する。

手書き文字認識処理は、認識処理対象の時系列情報によって示される複数のストロークデータをグループ分けして、グループごとに文字認識して、文字コードに変換する処理である。手書き図形認識処理は、認識処理対象の時系列情報によって示される複数のストロークデータをグループ分けして、グループごとに類似度が最も高い図形オブジェクトを特定し、複数の図形オブジェクトへ変換する処理である。手書き表認識処理は、認識処理対象の時系列情報によって示される複数のストロークデータから縦横の線の組み合わせ（表形状）を認識し、認識された表形状の縦横の要素数と同じ縦横の要素数を有するテーブルオブジェクトに変換する処理である。

処理部３０８は、選択用ストロークで選択された１つ以上のストロークに対して処理指定用ストロークで指定された処理を開始した後、選択用ストロークと処理指定用ストロークとの双方を削除してもよく、処理指定用ストロークのみを削除してもよく、選択用ストロークのみを削除しても良い。処理部３０８は、選択用ストロークで選択された１つ以上のストロークに対して処理指定用ストロークで指定された処理を終了した後、選択用ストロークと処理指定用ストロークとの双方を削除してもよく、処理指定用ストロークのみを削除してもよく、選択用ストロークのみを削除しても良い。処理部３０８は、選択用ストローク及び処理指定用ストローク以外のストロークが入力された場合に、選択用ストロークと処理指定用ストロークとの双方を削除してもよく、処理指定用ストロークのみを削除してもよく、選択用ストロークのみを削除しても良い。処理部３０８は、ユーザに対するダイアログボックスによって選択用ストローク又は処理指定用ストロークの削除が指定された場合に、ユーザの指定に応じたストロークを削除しても良い。処理部３０８は、選択用ストロークによって選択されたストロークが他のストロークと異なる形態で表示された場合に選択用ストロークを削除してもよい。選択用ストローク又は処理指定用ストロークは、他のストロークと同様に、「消しゴム」ツール、ペン１００の逆側の端部、ペン１００によるタップ等により削除されても良い。

デジタルノートブックアプリケーションプログラム２０２並びに各機能ブロックは、ＣＰＵ１０１により実行されるものとして説明したが、これに限られない。処理部３０８全体、検索処理部３０９、認識処理部３１０の少なくとも１つが、パーソナルコンピュータ１内のプロセッサ、サーバ２のプロセッサによって実行されることによって実現されてもよい。この場合、タブレット１０は、パーソナルコンピュータ１又はサーバ２に対して、処理（例えば、検索）を実行するファイル（複数のページを含む）内の時系列情報すべて、ユーザが閲覧中のページ内の時系列情報、処理対象ブロック選択部３０７により選択された時系列情報のいずれかと、当該時系列情報に対する処理の種類を送付しても良い。

ペン軌跡表示処理部３０１、時系列情報生成部３０２、編集処理部３０３、ページ保存処理部３０４、ページ取得処理部３０５、手書き文書表示処理部３０６、処理対象ブロック選択部３０７、および処理部３０８等のすべてが、パーソナルコンピュータ１内のプロセッサ、サーバ２のプロセッサによって実行されることによって実現されてもよい。この場合、タブレット１０は、パーソナルコンピュータ１又はサーバ２に対して、タッチスクリーンディスプレイ１７により検出されるイベント等の情報、ユーザによる編集メニューの操作等の情報を送信しても良く、最終的な処理結果を示す画像情報を受信してもよい。

時系列情報生成部３０２、手書き文書表示処理部３０６以外のデジタルノートブックアプリケーションプログラム２０２の各機能ブロックが、パーソナルコンピュータ１内のプロセッサ、サーバ２のプロセッサによって実行されることによって実現されてもよい。この場合、タブレット１０は、パーソナルコンピュータ１又はサーバ２に対して、ユーザにより入力される時系列情報、編集メニューの操作等の情報を送信しても良い。

このように、デジタルノートブックアプリケーションプログラム２０２の少なくとも１つの機能ブロックが、パーソナルコンピュータ１内のプロセッサ、サーバ２のプロセッサによって実行されることによって実現される場合には、作業メモリ４０１、記憶媒体４０２は、タブレット１０内のストレージデバイス、パーソナルコンピュータ１内のストレージデバイス、サーバ２のストレージデバイスの少なくとも１つ以上のストレージによって実現される。

図７は、デジタルノートブックアプリケーションプログラム２０２がＣＰＵ１０１によって実行された場合に、タッチスクリーンディスプレイ１７に表示されるユーザインターフェース画面の例示である。

図７（ａ）は、手書き文書に対して、“丸”の選択用ストロークが記入された場合の画面を示す。処理対象ブロック選択部３０７は、“丸”の選択用ストロークが記入された場合、丸に囲まれたストローク、すなわち「還元」を構成するストロークを選択する。

図７（ｂ）は、選択用ストロークが記入された手書き文書に対して、“はてな（？）”の処理指定用ストロークが記入された場合の画面を示す。ここで、“はてな（？）”の処理指定用ストロークは、検索処理を指定するものとする。処理部３０８は、選択用ストロークと処理指定用ストロークとが入力されたため、処理指定用ストロークで指定される処理、すなわち検索処理を実行する。

図７（ｃ）、（ｄ）は、検索結果を表示する画面を示す。図７（ｃ）、（ｄ）において、検索クエリ「還元」と類似度の高いストローク群（“還元”の文字）が“四角”で囲まれて表示される。図７（ｃ）では、検索の前後において、選択用ストローク及び処理指定用ストロークが入力されたページは、大きさを同一のまま表示が継続される。図７（ｄ）では、検索の前後において、選択用ストローク及び処理指定用ストロークが入力されたページは、大きさが縮小されるものの表示が継続される。図７（ｄ）では、選択用ストローク及び処理指定用ストロークが入力されたページ以外のページで、検索クエリと類似度の高いストローク群を有するページのサムネイルを表示する。図７（ｄ）の例では、サムネイルが３つ表示されているが、スクロールバー等により、他のサムネイルが表示可能であっても良い。

このように、第１の実施形態に係る電子機器によれば、選択用ストロークと処理指定用ストロークの入力に応じて、様々な処理を実行できるため、手書き文書を容易に扱えることとなり、ユーザの利便性を向上できる。

なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。また、例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。

１…パーソナルコンピュータ、２…サーバ、２Ａ…記憶装置、１０…タブレットコンピュータ、１１…本体、１７…タッチスクリーンディスプレイ、１７Ａ…ＬＣＤ、１７Ｂ…タッチパネル、１７Ｃ…デジタイザ、１００…ペン、１０１…ＣＰＵ、１０２…システムコントローラ、１０３…主メモリ、１０４…グラフィクスコントローラ、１０５…ＢＩＯＳ−ＲＯＭ、１０６…不揮発性メモリ、１０７…無線通信デバイス、１０８…ＥＣ、２００…時系列情報、２０１…ＯＳ、２０２…デジタルノートブックＡＰＬ、３０１…ペン軌跡表示処理部、３０２…時系列情報生成部、３０３…編集処理部、３０４…ページ保存処理部、３０５…ページ取得処理部、３０６…手書き文書表示処理部、３０７…処理対象ブロック選択部、３０８…処理部、３０９…検索処理部、３１０…認識処理部、４０１…作業メモリ、４０２…記憶媒体

Claims (12)

1. タッチスクリーンディスプレイと、
   プロセッサとを備え、
   前記プロセッサは、前記タッチスクリーンディスプレイへの手書きによって入力される複数のストロークを、前記タッチスクリーンディスプレイの画面上に表示するために出力し、
   前記プロセッサは、前記タッチスクリーンディスプレイの画面上に表示される１以上のストロークを指定するための第１ストロークと、検索処理を実行するための第２ストロークとが入力される場合に、前記第１ストロークによって指定されるストロークとの類似度が閾値以上であるストロークを、前記タッチスクリーンディスプレイの画面上に表示するために出力することを特徴とする電子機器。
2. 前記プロセッサは、前記第１ストロークによって指定されるストロークとの類似度が閾値以上であるストロークを、前記タッチスクリーンディスプレイの画面上に表示するために出力する場合、少なくとも前記第２ストロークを削除することを特徴とする請求項１に記載の電子機器。
3. 前記プロセッサは、前記第１手書き入力操作によって指定されるストロークとの類似度が閾値以上であるストロークを、前記タッチスクリーンディスプレイの画面上に表示する期間が終了した後、少なくとも前記第１ストロークを削除することを特徴とする請求項１または請求項２に記載の電子機器。
4. 前記プロセッサは、前記第１ストロークが入力される時刻と、前記第２ストロークが入力される時刻との差が第１期間以上である場合、前記第１手書き入力操作によって指定されるストロークとの類似度が閾値以上であるストロークの検索処理を行わないことを特徴とする請求項１乃至請求項３のいずれか１項に記載の電子機器。
5. 前記プロセッサは、前記第１ストロークの位置と、前記第２ストロークの位置との距離が第１値以上である場合、前記第１手書き入力操作によって指定されるストロークとの類似度が閾値以上であるストロークの検索処理を行わないことを特徴とする請求項１乃至請求項３のいずれか１項に記載の電子機器。
6. 前記プロセッサは、前記第２ストロークの入力後、前記第１ストロークによって指定されるストロークとの類似度が閾値以上であるストロークの検索処理が実行可能であることをユーザへ通知することを特徴とする請求項１乃至請求項５のいずれか１項に記載の電子機器。
7. 前記プロセッサは、前記第１ストロークが一筆書きの閉じた周回形状である場合に、その周回形状内の領域に、すべて含まれるストローク、または少なくとも一部含まれるストロークを、前記第１ストロークによって指定されるストロークと判断することを特徴とする請求項１乃至請求項６のいずれか１項に記載の電子機器。
8. 前記第１ストロークの後、前記タッチスクリーンディスプレイの画面上に表示される１以上のストロークの指定を解除するための第３ストロークが入力される場合に、前記プロセッサは、前記第１ストロークによって指定されるストロークのうち、前記第３ストロークによって指定されるストロークを除いたストロークを、指定されるストロークと判断することを特徴とする請求項１乃至請求項７のいずれか１項に記載の電子機器。
9. 前記タッチスクリーンディスプレイの画面上に表示される１以上のストロークのうち、前記第１ストロークによって指定されるストロークとの類似度が閾値以上であるストロークを第１形態で表示するために出力し、前記第１ストロークによって指定されるストロークとの類似度が閾値未満であるストロークを前記第１形態とは異なる第２形態で表示するために出力することを特徴とする請求項１乃至請求項８のいずれか１項に記載の電子機器。
10. タッチスクリーンディスプレイと、
    プロセッサとを備え、
    前記プロセッサは、前記タッチスクリーンディスプレイへの手書きによって入力される複数のストロークを、前記タッチスクリーンディスプレイの画面上に表示するために出力し、
    前記プロセッサは、前記タッチスクリーンディスプレイの画面上に表示される１以上のストロークを指定するための第１ストロークと、処理を特定するための第２ストロークとが入力される場合に、前記第１ストロークによって指定されるストロークに対して、前記第２ストロークで特定される処理を実行することを特徴とする電子機器。
11. タッチスクリーンディスプレイと、プロセッサとを用いる方法であって、
    前記タッチスクリーンディスプレイへの手書きによって入力される複数のストロークを、前記タッチスクリーンディスプレイの画面上に表示し、
    前記タッチスクリーンディスプレイの画面上に表示される１以上のストロークを指定するための第１ストロークと、検索処理を実行するための第２ストロークとが入力される場合に、前記第１ストロークによって指定されるストロークとの類似度が閾値以上であるストロークを、前記タッチスクリーンディスプレイの画面上に表示することを特徴とする方法。
12. コンピュータにより実行されるプログラムであって、
    前記コンピュータに、
    タッチスクリーンディスプレイへの手書きによって入力される複数のストロークを、前記タッチスクリーンディスプレイの画面上に表示させるための機能と、
    前記タッチスクリーンディスプレイの画面上に表示される１以上のストロークを指定するための第１ストロークと、検索処理を実行するための第２ストロークとが入力される場合に、前記第１ストロークによって指定されるストロークとの類似度が閾値以上であるストロークを、前記タッチスクリーンディスプレイの画面上に表示させるための機能とを、実現させうることを特徴とするプログラム。

Images