JP5355769B1 - 情報処理装置、情報処理方法及びプログラム - Google Patents
情報処理装置、情報処理方法及びプログラム Download PDFInfo
- Publication number
- JP5355769B1 JP5355769B1 JP2012261266A JP2012261266A JP5355769B1 JP 5355769 B1 JP5355769 B1 JP 5355769B1 JP 2012261266 A JP2012261266 A JP 2012261266A JP 2012261266 A JP2012261266 A JP 2012261266A JP 5355769 B1 JP5355769 B1 JP 5355769B1
- Authority
- JP
- Japan
- Prior art keywords
- image
- stroke data
- handwritten
- stroke
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
- G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
- G06V30/40—Document-oriented image-based pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Artificial Intelligence (AREA)
- Multimedia (AREA)
- Character Discrimination (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】アナログな媒体に書かれた文書をデジタル情報として容易に入力することができる情報処理装置、情報処理方法及びプログラムを提供すること。
【解決手段】実施形態によれば、情報処理装置は、1つの記号と1以上のストロークデータとの対応を表すグループを複数記憶する第1記憶媒体にアクセス可能であって、画像を入力する入力手段と、処理手段とを具備する。処理手段は、入力手段により入力された画像の部分である部分画像と、第1グループに含まれる第1記号又は第1ストロークデータから生成可能な第1画像とが対応する場合に、部分画像と第1ストロークデータとを関連付ける。
【選択図】図8
【解決手段】実施形態によれば、情報処理装置は、1つの記号と1以上のストロークデータとの対応を表すグループを複数記憶する第1記憶媒体にアクセス可能であって、画像を入力する入力手段と、処理手段とを具備する。処理手段は、入力手段により入力された画像の部分である部分画像と、第1グループに含まれる第1記号又は第1ストロークデータから生成可能な第1画像とが対応する場合に、部分画像と第1ストロークデータとを関連付ける。
【選択図】図8
Description
本発明の実施形態は手書きの文書の処理に関する。
近年、タブレット、PDA、スマートフォンといった種々の情報処理装置が開発されている。この種の情報処理装置の多くは、ユーザによる入力操作を容易にするために、タッチスクリーンディスプレイを備えている。
ユーザは、タッチスクリーンディスプレイ上に表示されるメニューまたはオブジェクトを指などでタッチすることにより、これらメニューまたはオブジェクトに関連づけられた機能の実行を情報処理装置に指示することができる。
しかし、タッチスクリーンディスプレイを備える既存の情報処理装置の多くは、画像、音楽、他の各種メディアデータに対する操作性を追求したコンシューマ向け製品であり、会議、商談、商品開発などの文書情報を処理する必要があるビジネスシーンにおける利用については必ずしも適していない場合がある。文字入力に関しては、ハードウェアキーボードを用いる操作の方がタッチ操作に優る。このため、ビジネスシーンにおいては、いまなお、紙の手帳が広く利用されている。
従来の情報処理装置は、紙等のアナログな媒体に書かれた文書をデジタル情報として容易に入力することが困難であった。
本発明の一形態の目的は、アナログな媒体に書かれた文書をデジタル情報として容易に入力することができる情報処理装置、情報処理方法及びプログラムを提供することである。
実施形態によれば、情報処理装置は、第1ユーザによって手書きにより入力される複数のストロークに対応する複数のストロークデータを用いて生成可能なものであって、1つの記号と1以上のストロークデータとの対応に関するグループを複数記憶する第1記憶媒体にアクセス可能な情報処理装置であって、第1ユーザによって手書きにより記載された文書に対応する画像を入力可能な入力手段と、処理手段と、表示制御手段を具備する。処理手段は、入力手段により入力された画像の部分である第1部分画像と、第1記憶媒体に記憶される複数のグループのうちの第1グループに含まれる第1ストロークデータから生成可能な第1画像とが対応する場合、第1部分画像と第1ストロークデータとを関連付ける。表示制御手段は、第1ユーザによって手書きにより記載された文書に対応する文書であって、第1部分画像、又は第1画像、又は第1ストロークデータに基づく画像、又は第1グループに含まれる第1記号に基づく画像のいずれかを含む文書を表示可能である。
図1は、一実施形態に係る情報処理装置の外観を示す斜視図である。この情報処理装置は、例えば、ペンまたは指によって文書を手書き入力可能な入力部を有するペン・ベースの携帯型情報処理装置である。この情報処理装置は、入力部に手書きされた文書をビットマップ画像データとしてではなく、文書を構成する文字、数字、マーク、図形等の記号や、図形のストロークの軌跡のサンプリング点の座標の時系列を示す1以上のストロークデータストロークとして記憶し、ストロークデータに基づいて手書き文書を検索することができる。このように、情報処理装置は、ストロークデータと記号(ビットマップ画像、筆跡)との対応関係を認識している。この情報処理装置は、この対応関係に基づいてストロークデータからビットマップ画像を生成することができるので、スキャナあるいはカメラ等から入力した文書画像の一部(文字候補領域)とストロークデータとを対応付けることができる。これにより、情報処理装置は、過去に紙のノートに書いた文書をストロークデータとして取り込むことができる。
さらに、この情報処理装置は、ストロークデータの一部(1記号領域に対応する一部の情報)で表されるビットマップ画像に対して文字認識処理を行ない、手書き文書を文字コードからなるテキストとしても記憶し、テキストに基づいて手書き文書を検索することもできる。このように、情報処理装置は、1以上のストロークデータと文字コードとの対応関係を認識している。この情報処理装置は、この対応関係に基づいて各文字コードに対応するストロークデータの一部からビットマップ画像を生成することができるので、スキャナあるいはカメラ等から入力した文書画像の一部(文字候補領域)の文字コードを求めることができる。これにより、この情報処理装置は、過去に紙のノートに書いた文書をデジタルテキストとして取り込むこともできる。
この情報処理装置は、タブレットコンピュータ、ノートブック型パーソナルコンピュータ、スマートフォン、PDA等として実現され得る。以下では、説明の便宜上、この情報処理装置がタブレットコンピュータ10として実現されている場合を説明する。タブレットコンピュータ10は、タブレットまたはスレートコンピュータとも称される携帯型情報処理装置であり、本体11と、文書の手書き入力を可能とするタッチスクリーンディスプレイ17とを備える。タッチスクリーンディスプレイ17は、本体11の上面に重ね合わせるように取り付けられている。ペンまたは指によってタッチスクリーンディスプレイ17の画面をタッチすることにより、種々の操作を入力可能である。本体11の背面には文書の画像を取り込むカメラが設けられている。このカメラにより画像を取り込むことにより、紙に印刷・手書きされている文書に限らず、立体物に印刷・手書きされている文書等の種々のアナログ媒体に書かれた文書の画像を取り込むことができる。
本体11は、薄い箱形の筐体を有している。タッチスクリーンディスプレイ17には、フラットパネルディスプレイと、フラットパネルディスプレイの画面上のペンまたは指の接触位置を検出するように構成されたセンサとが組み込まれている。フラットパネルディスプレイは、例えば、液晶表示装置(LCD)であってもよい。センサとしては、例えば、静電容量方式のタッチパネル、電磁誘導方式のデジタイザなどを使用することができる。以下では、デジタイザとタッチパネルの2種類のセンサの双方がタッチスクリーンディスプレイ17に組み込まれている場合を説明する。
デジタイザおよびタッチパネルタッチの各々は、フラットパネルディスプレイの画面を覆うように設けられる。タッチスクリーンディスプレイ17は、指を使用した画面に対するタッチ操作のみならず、専用のペン100を使用した画面に対するタッチ操作も検出することができる。ペン100は例えば電磁誘導ペンであってもよい。ユーザは、外部オブジェクト(ペン100又は指)を使用してタッチスクリーンディスプレイ17上で手書き入力操作を行うことができる。手書き入力操作中においては、画面上の外部オブジェクト(ペン100又は指)の動きの軌跡、つまり手書き入力操作によって手書きされるストロークの軌跡がリアルタイムに描画され、これによって各ストロークの軌跡が画面上に表示される。外部オブジェクトが画面に接触されている間の外部オブジェクトの動きの軌跡が1ストロークに相当する。手書きされたストロークの集合である文字、数字、マーク等の記号、または図形等の集合が手書き文書を構成する。
手書き文書は、各ストロークの軌跡の座標列とストローク間の順序関係を示す時系列情報として記憶媒体に記憶される。この時系列情報の詳細は、図2、図3を参照して後述するが、この時系列情報は、複数のストロークが手書きされた順を示し、且つ複数のストロークにそれぞれ対応する複数のストロークデータを含む。換言すれば、この時系列情報は、複数のストロークにそれぞれ対応する時系列のストロークデータの集合を意味する。各ストロークデータは、ある一つのストロークに対応し、このストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)を含む。これらストロークデータの並びの順序は、ストロークそれぞれが手書きされた順序つまり筆順に相当する。
タブレットコンピュータ10は、記憶媒体から既存の任意の時系列情報を読み出し、この時系列情報に対応する手書き文書、つまりこの時系列情報によって示される複数のストロークそれぞれに対応する軌跡を画面上に表示することができる。さらに、タブレットコンピュータ10は編集機能を有している。この編集機能は、「消しゴム」ツール、範囲指定ツール、および他の各種ツール等を用いたユーザによる編集操作に応じて、表示中の手書き文書内の任意のストロークまたは任意の手書き文字等を削除または移動することができる。さらに、この編集機能は、幾つかの手書き操作の履歴を取り消す機能も含んでいる。さらに、この編集機能は、表示中の手書き文書に、任意の手書き文字または手書き記号などを追加することができる。
本実施形態では、時系列情報(手書き文書)は、1つまたは複数のページとして管理されうる。この場合、時系列情報を1つの画面に収まる面積単位で区切ることによって、1つの画面に収まる時系列情報のまとまりを1つのページとして記録してもよい。あるいは、ページのサイズを可変できるようにしてもよい。この場合、ページのサイズは1つの画面のサイズよりも大きい面積に広げることができるので、画面のサイズよりも大きな面積の手書き文書を一つのページとして扱うことができる。1つのページ全体をディスプレイに同時に表示できない場合は、そのページを縮小してするようにしてもよいし、縦横スクロールによってページ内の表示対象部分を移動するようにしてもよい。
このように、時系列情報はページデータとして管理することができるので、以下では、時系列情報を手書きページデータあるいは単に手書きデータとも称する。
タブレットコンピュータ10は、ネットワーク通信機能を有しており、他のパーソナルコンピュータやインターネット上のサーバシステム2などと連携することができる。すなわち、タブレットコンピュータ10は、無線LANなどの無線通信デバイスを備えており、他のパーソナルコンピュータとの無線通信を実行することができる。さらに、タブレットコンピュータ10は、インターネット上のサーバシステム2との通信を実行することもできる。サーバシステム2は様々な情報を共有するためのシステムであり、オンラインストレージサービス、他の各種クラウドコンピューティングサービスを実行する。サーバシステム2は1以上のサーバコンピュータから実現し得る。
サーバシステム2はハードディスクドライブ(HDD)のような大容量の記憶媒体を備えている。タブレットコンピュータ10は、時系列情報(手書きページデータ)をネットワーク越しにサーバシステム2に送信して、サーバシステム2の記憶媒体に格納することができる(アップロード)。タブレットコンピュータ10とサーバシステム2との間のセキュアな通信を確保するために、通信開始時には、サーバシステム2がタブレットコンピュータ10を認証するようにしてもよい。この場合、タブレットコンピュータ10の画面上にユーザに対してIDまたはパスワードの入力を促すダイアログを表示してもよいし、タブレットコンピュータ10のIDなどを自動的にタブレットコンピュータ10からサーバシステム2に送信してもよい。
これにより、タブレットコンピュータ10内のストレージの容量が少ない場合でも、タブレットコンピュータ10が多数の時系列情報(手書きページデータ)あるいは大容量の時系列情報(手書きページデータ)を扱うことが可能となる。
さらに、タブレットコンピュータ10は、サーバシステム2の記憶媒体に格納されている任意の1以上の時系列情報(手書きページデータ)を読み出し(ダウンロード)、その読み出した時系列情報によって示されるストロークそれぞれの軌跡をタブレットコンピュータ10のディスプレイ17の画面に表示することができる。この場合、複数の時系列情報(手書きページデータ)それぞれのページを縮小することによって得られるサムネイル(サムネイル画像)の一覧をディスプレイ17の画面上に表示してもよいし、これらサムネイルから選ばれた1ページをディスプレイ17の画面上に通常サイズで表示してもよい。
このように、本実施形態では、時系列情報が格納される記憶媒体は、タブレットコンピュータ10内のストレージ、サーバシステム2内のストレージのいずれであってもよい。タブレットコンピュータ10のユーザは、任意の時系列情報を、タブレットコンピュータ10内のストレージおよびサーバシステム2内のストレージから選択される任意のストレージに格納することができる。
次に、図2および図3を参照して、ユーザによって手書きされたストローク(文字、数字、マーク等の記号や、図形、表など)と時系列情報との関係について説明する。図2は、ペン100などを使用してタッチスクリーンディスプレイ17上に手書きされる手書き文書(手書き文字列)の例を示している。
手書き文書では、一旦手書きされた文字や図形などの上に、さらに別の文字や図形などが手書きされるというケースが多い。図2においては、「ABC」の手書き文字列が「A」、「B」、「C」の順番で手書きされ、この後に、手書きの矢印が、手書き文字「A」のすぐ近くに手書きされている。
手書き文字「A」は、ペン100などを使用して手書きされる2つのストローク(「∧」形状の軌跡、「−」形状の軌跡)によって、つまり2つの軌跡によって表現される。最初に手書きされる「∧」形状のペン100の軌跡は例えば等時間間隔でリアルタイムにサンプリングされ、これによって「∧」形状のストロークの時系列座標SD11、SD12、…SD1nが得られる。同様に、次に手書きされる「−」形状のペン100の軌跡も等時間間隔でリアルタイムにサンプリングされ、これによって「−」形状のストロークの時系列座標を示すSD21、SD21、…SD2nが得られる。
手書き文字「B」は、ペン100などを使用して手書きされた2つのストローク、つまり2つの軌跡によって表現される。手書き文字「C」は、ペン100などを使用して手書きされた手書きされた1つのストローク、つまり1つの軌跡によって表現される。手書きの「矢印」は、ペン100などを使用して手書きされた手書きされた2つのストローク、つまり2つの軌跡によって表現される。
図3は、図2の手書き文書に対応する時系列情報(手書きページデータ)200を示している。時系列情報は、複数のストロークデータSD1、SD2、…、SD7を含む。時系列情報200内においては、これらストロークデータSD1、SD2、…、SD7は、筆跡順に、つまり複数のストロークが手書きされた順に時系列に並べている。
時系列情報200において、先頭の2つのストロークデータSD1、SD2は、手書き文字「A」の2つのストロークをそれぞれ示している。3番目と4番目のストロークデータSD3、SD4は、手書き文字「B」を構成する2つのストロークをそれぞれ示している。5番目のストロークデータSD5は、手書き文字「C」を構成する1つのストロークを示している。6番目と7番目のストロークデータSD6、SD7は、手書き「矢印」を構成する2つのストロークをそれぞれ示している。
各ストロークデータは、一つのストロークに対応する座標データ系列(時系列座標)、つまり一つのストロークの軌跡上の複数の点それぞれに対応する複数の座標を含む。各ストロークデータにおいては、複数の座標はストロークが書かれた順に時系列に並べられている。例えば、手書き文字「A」に関しては、ストロークデータSD1は、手書き文字「A」の「∧」形状のストロークの軌跡上の点それぞれに対応する座標データ系列(時系列座標)、つまりn個の座標データSD11、SD12、…SD1nを含む。ストロークデータSD2は、手書き文字「A」の「−」形状のストロークの軌跡上の点それぞれに対応する座標データ系列、つまりn個の座標データSD21、SD22、…SD2nを含む。なお、座標データの数はストロークデータ毎に異なっていてもよい。外部オブジェクトが画面に接触されている期間中、一定の周期で座標データをサンプリングするので、座標データの数はストロークの長さに依存する。
各座標データは、対応する軌跡内のある1点に対応するX座標およびY座標を示す。例えば、座標データSD11は、「∧」形状のストロークの始点のX座標(X11)およびY座標(Y11)を示す。SD1nは、「∧」形状のストロークの終点のX座標(X1n)およびY座標(Y1n)を示す。
さらに、各座標データは、その座標に対応する点が手書きされた時点に対応するタイムスタンプ情報Tを含んでいてもよい。手書きされた時点は、絶対時間(例えば、年月日時分秒)またはある時点を基準とした相対時間のいずれであってもよい。例えば、各ストロークデータに、ストロークが書き始められた絶対時間(例えば、年月日時分秒)をタイムスタンプ情報として付加し、さらに、ストロークデータ内の各座標データに、絶対時間との差分を示す相対時間をタイムスタンプ情報Tとして付加してもよい。
このように、各座標データにタイムスタンプ情報Tが追加された時系列情報を使用することにより、ストローク間の時間的関係をより精度よく表すことができる。このため、1文字を構成する1つまたは複数のストロークデータからなるグループを文字認識する際の精度も向上しうる。
さらに、各座標データには、筆圧を示す情報(Z)を追加してもよい。グループを文字認識する精度は筆圧も考慮すると、さらに向上しうる。
図3で説明したような構造を有する時系列情報200は、個々のストロークの軌跡だけでなく、ストローク間の時間的関係も表すことができる。したがって、時系列情報200を使用することにより、図2に示すようにたとえ手書き「矢印」の先端部が手書き文字「A」上に重ねてまたは手書き文字「A」に近接して書かれたとしても、手書き文字「A」と手書き「矢印」の先端部とを異なる文字または図形として扱うことが可能となる。
なお、ストロークデータSD1のタイムスタンプ情報としては、ストロークデータSD1の内の複数の座標それぞれに対応する複数のタイムスタンプ情報T11からT1nから選択される任意の一つを、あるいはタイムスタンプ情報T11からT1nの平均値などを使用してもよい。同様に、ストロークデータSD2のタイムスタンプ情報としては、ストロークデータSD2の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報T21からT2nから選択される任意の一つを、あるいはタイムスタンプ情報T21からT2nの平均値などを使用してもよい。また、同様に、ストロークデータSD7のタイムスタンプ情報としては、ストロークデータSD7の内の複数の座標点それぞれに対応する複数のタイムスタンプ情報T71からT7nから選択される任意の一つを、あるいはタイムスタンプ情報T71からT7nの平均値などを使用してもよい。
本実施形態の時系列情報200においては、上述したように、ストロークデータSD1、SD2、…、SD7の並びは手書き文字の筆順を示す。例えば、ストロークデータSD1およびSD2の並びは、最初に「∧」形状のストロークが手書きされ、次に「−」形状のストロークが手書きされたことを表す。したがって、たとえ2つの手書き文字の筆跡同士が互いに類似していても、それら2つの手書き文字の筆順が互いに異なる場合には、それら2つの手書き文字を異なる文字として区別することができる。
さらに、本実施形態では、上述したように、手書き文書は複数のストロークに対応する複数のストロークデータの集合から構成される時系列情報200として記憶されるので、手書き文字の言語に依存せずに手書き文字を扱うことができる。よって、本実施形態の時系列情報200の構造は、使用言語の異なる世界中の様々な国で共通に使用できる。
図4は、タブレットコンピュータ10のシステム構成を示す図である。
タブレットコンピュータ10は、図4に示されるように、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ105、BIOS−ROM105、不揮発性メモリ106、無線通信デバイス107、エンベデッドコントローラ(EC)108、カメラ109等を備える。
タブレットコンピュータ10は、図4に示されるように、CPU101、システムコントローラ102、主メモリ103、グラフィクスコントローラ105、BIOS−ROM105、不揮発性メモリ106、無線通信デバイス107、エンベデッドコントローラ(EC)108、カメラ109等を備える。
CPU101は、タブレットコンピュータ10内の各種モジュールの動作を制御するプロセッサである。CPU101は、ストレージデバイスである不揮発性メモリ106から主メモリ103にロードされる各種ソフトウェアを実行する。これらソフトウェアには、オペレーティングシステム(OS)201、および各種アプリケーションプログラムが含まれている。アプリケーションプログラムには、手書きノートアプリケーションプログラム202が含まれている。手書きノートアプリケーションプログラム202は、上述の手書きページデータを作成および表示する機能、手書きページデータを編集する機能、筆跡(ストローク)検索機能、文字認識機能、文書入力機能等を有している。文書入力機能はスキャナあるいはカメラにより読み込まれた文書画像をストロークデータ、あるいはテキストとして入力する機能であり、詳細は後述する。
また、CPU101は、BIOS−ROM105に格納された基本入出力システム(BIOS)も実行する。BIOSは、ハードウェア制御のためのプログラムである。
システムコントローラ102は、CPU101のローカルバスと各種コンポーネントとの間を接続するデバイスである。システムコントローラ102には、主メモリ103をアクセス制御するメモリコントローラも内蔵されている。また、システムコントローラ102は、PCI EXPRESS規格のシリアルバスなどを介してグラフィクスコントローラ104との通信を実行する機能も有している。
グラフィクスコントローラ104は、タブレットコンピュータ10のディスプレイモニタとして使用されるLCD17Aを制御する表示コントローラである。グラフィクスコントローラ104によって生成される表示信号はLCD17Aに送られる。LCD17Aは、表示信号に基づいて画面イメージを表示する。LCD17A上にはタッチパネル17Bおよびデジタイザ17Cが配置されている。タッチパネル17Bは、LCD17Aの画面上で入力を行うための静電容量式のポインティングデバイスである。指が接触される画面上の接触位置および接触位置の動き等はタッチパネル17Bによって検出される。デジタイザ17CはLCD17Aの画面上で入力を行うための電磁誘導式のポインティングデバイスである。ペン100が接触される画面上の接触位置および接触位置の動き等はデジタイザ17Cによって検出される。
無線通信デバイス107は、無線LANまたは3G移動通信などの無線通信を実行するように構成されたデバイスである。EC108は、電力管理のためのエンベデッドコントローラを含むワンチップマイクロコンピュータである。EC108は、ユーザによるパワーボタンの操作に応じてタブレットコンピュータ10を電源オンまたは電源オフする機能を有している。
カメラ109は、本体の背面に設けられ、紙等の他のアナログの媒体に手書き、あるいは印刷されている文書を撮影する。撮影された文書の画像データは、手書きノートアプリケーションプログラム202の文書入力機能により時系列情報、あるいはテキストとしてタブレットコンピュータ10に取り込まれる。ただし、タッチスクリーンディスプレイ17に手書きされた場合と異なり、筆順は判別できないので、ストロークデータが手書きされた順番に並べられている時系列情報は得られず、文書の画像データが含む1以上のストロークデータが得られる。
次に、図5を参照して、手書きノートアプリケーションプログラム202の機能構成について説明する。
手書きノートアプリケーションプログラム202は、ペン軌跡表示処理部301、時系列情報生成部302、編集処理部303、ページ保存処理部304、ページ取得処理部305、手書き文書表示処理部306、処理対象ブロック選択部307、及び処理部308、文書画像入力処理部311等を備える。
手書きノートアプリケーションプログラム202は、タッチスクリーンディスプレイ17を用いて入力されるストロークデータを使用することによって、手書きページデータの作成、表示、編集、文字認識等を行う。手書きノートアプリケーションプログラム202は、カメラ109で撮影され、図示しないスキャナで読み込まれた、あるいは他の装置で取り込まれサーバシステムから送信された文書の画像データをストロークデータ、さらにはテキストに変換する文書入力処理も行う。タッチスクリーンディスプレイ17は、「タッチ」、「移動(スライド)」、「リリース」等のイベントの発生を検出するように構成されている。「タッチ」は、画面上に外部オブジェクトが接触したことを示すイベントである。「移動(スライド)」は、画面上に外部オブジェクトが接触されている間に接触位置が移動されたことを示すイベントである。「リリース」は、画面から外部オブジェクトが離されたことを示すイベントである。
ペン軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17によって発生される「タッチ」または「移動(スライド)」のイベントを受信し、これによって手書き入力操作を検出する。「タッチ」イベントには、接触位置の座標が含まれている。「移動(スライド)」イベントにも、移動先の接触位置の座標が含まれている。したがって、ペン軌跡表示処理部301および時系列情報生成部302は、タッチスクリーンディスプレイ17から、接触位置の動きの軌跡に対応する座標列を受信することができる。
ペン軌跡表示処理部301は、タッチスクリーンディスプレイ17から座標列を受信し、この座標列に基づいて、ペン100等を使用した手書き入力操作によって手書きされる各ストロークの軌跡をタッチスクリーンディスプレイ17内のLCD17Aの画面上に表示する。ペン軌跡表示処理部301により、画面にペン100が接触している間のペン100の軌跡、つまり各ストロークの軌跡がLCD17Aの画面上に描かれる。
時系列情報生成部302は、タッチスクリーンディスプレイ17から出力される上述の座標列を受信し、この座標列に基づいて、図3で詳述したような構造を有する上述の時系列情報を生成する。この場合、時系列情報、つまりストロークの各点に対応する座標およびタイムスタンプ情報は作業メモリ401に一時保存してもよい。
ページ保存処理部304は、生成された時系列情報を手書きページデータとして記憶媒体402に保存する。記憶媒体402は手書きページデータを格納するためのローカルなデータベースである。なお、記憶媒体402はサーバシステム2内に設けても良い。
ページ取得処理部305は、記憶媒体402から既に格納されている任意の時系列情報(手書きページデータ)を読み出す。読み出された時系列情報は手書き文書表示処理部306及び認識処理部310に送られる。手書き文書表示処理部306は、時系列情報を解析し、この解析結果に基づいて、時系列情報内の各ストロークデータによって示される各ストロークの軌跡である筆跡を画面上に手書きページとして表示する。
編集処理部303は現在表示中の手書きページを編集するための処理を実行する。すなわち、編集処理部303は、タッチスクリーンディスプレイ17上でユーザによって行われる編集操作および手書き入力操作に応じて、現在表示中の手書きページに新たなストローク(新たな手書き文字、新たな手書きマーク等)を追加する処理、表示されている複数のストローク内の1以上のストロークを削除または移動いる処理等を含む編集処理を実行する。さらに、編集処理部303は、編集処理の結果を表示中の時系列情報に反映するためにこの時系列情報を更新する。
ユーザは、「消しゴム」ツール等を使用して、表示されている複数のストローク内の任意のストロークを削除することができる。また、ユーザは、画面上の任意の部分を丸または四角によって囲むための「範囲指定」ツールを使用して、表示中の時系列情報(手書きページ)内の任意の部分を範囲していることができる。この範囲指定操作によって指定される画面上の指定範囲に応じて、処理対象の時系列情報部分、つまり処理対象のストロークデータ群が処理対象ブロック選択部307によって選択される。すなわち、処理対象ブロック選択部307は、表示中の時系列情報を使用して、指定範囲内に属するストロークそれぞれに対応する第1のストロークデータ群の中から、処理対象の時系列情報部分を選択する。
例えば、処理対象ブロック選択部307は、表示中の時系列情報から、指定範囲内に属するストロークそれぞれに対応する第1のストロークデータ群を抽出し、この第1のストロークデータ群内の他のストロークデータと不連続である第2のストロークデータを除く、第1のストロークデータ群内の個々のストロークデータを処理対象の時系列情報部分に決定する。
編集処理部303は、ユーザによって編集メニューから「削除」または「移動」等のメニューが選択された場合、処理対象ブロック選択部307によって選択されているストロークデータ群に対する削除、移動等の処理を実行する。この場合、複数のストロークデータが処理対象のストロークデータ群として選択されている場合には、編集処理部303は、これら複数のストロークデータをまとめて画面上から削除または画面上に別の位置に移動することができる。時系列情報においては、移動された各ストロークデータの時系列座標は、移動先位置に応じて自動的に変更してもよい。また、移動された各ストロークデータの時系列座標を変更したことを表す操作履歴を時系列情報に追加してもよい。削除された各ストロークデータも、時系列座標から必ずしも削除しなくてもよく、これら各ストロークデータを削除したことを表す操作履歴を時系列情報に追加してもよい。
処理部308は、処理対象の時系列情報に対して様々な処理、例えば、筆跡検索処理、文字認識処理等を実行することができる。処理部308は、検索処理部309、認識処理部310を含む。
さらに、処理部308は、カメラ109等から入力された文書の画像データに対して、過去に入力した時系列情報に基づくビットマップ画像との照合を行い、類似するビットマップ画像に対する時系列情報を検出することにより、入力画像データに時系列情報を関連付けることができる。さらに、過去に入力した時系列情報の文字認識結果を利用して、入力画像データにテキストを関連付けることができる。これらの処理は、文書画像入力処理部311により行なわれる。
検索処理部309は、記憶媒体402内に既に格納されている複数の時系列情報(複数の手書きページ)を検索してこれら複数の時系列情報内の特定の時系列情報部分(特定の手書き文字列等)を見つけ出す。検索処理部309は、特定の時系列情報部分を検索キーつまり検索クエリとして指定するように構成された指定モジュールを含んでいる。検索処理部309は、複数の時系列情報の各々から、特定の時系列情報部分に対応するストロークの軌跡との類似度が基準値以上であるストロークの軌跡を有する時系列情報部分を見つけ出し、見つけ出された時系列情報部分を含む手書きページデータを記憶媒体402から読み出し、見つけ出された時系列情報部分に対応する軌跡が視認可能なように手書きページデータをLCD17Aの画面上に表示する。
検索クエリとして指定される特定の時系列情報部分は、特定の手書き文字、特定の手書き文字列、特定の手書き記号、特定の手書き図形等が使用しうる。例えば、タッチスクリーンディスプレイ17上に手書きされる手書きオブジェクト(手書き文字、手書きマーク、手書き図形)を構成する1以上のストロークそのものを検索キーとして使用することができる。
検索処理部309によって実行される検索処理は筆跡検索であり、すでに記録されている複数の手書きページの中から、検索クエリである特定の手書き文字列と類似する筆跡を有する手書き文字列を検索する。なお、現在表示中のある一つの手書きページのみを対象に筆跡検索を行ってもよい。
検索処理部309は、検索キーである1以上のストロークの特徴と類似する特徴を有するストロークを含む手書きページを記憶媒体402から検索する。各ストロークの特徴としては、筆画方向、形状、傾斜、等を使用し得る。この場合、検索キーである手書き文字のストロークとの類似度が基準値以上である手書き文字を含む手書きページデータ(ヒット手書きページ)が記憶媒体402から検索される。手書き文字間の類似度の計算方法としては、様々な方法を使用することができる。例えば各ストロークの座標列をベクトルとして扱ってもよい。この場合、比較対象のベクトル同士の類似度を計算するために、それら比較対象のベクトル間の内積を比較対象のベクトル間の類似度として算出してもよい。また他の例としては、各ストロークの軌跡を画像として扱い、比較対象の軌跡間の画像の重なりがもっとも多くなる部分の面積の大きさを上述の類似度として計算してもよい。さらに計算処理量を減らすための任意の工夫をしてもよい。また、手書き文字間の類似度の計算方法として、DP(Dynamic Programming)マッチングを使用してもよい。
このように、文字列を示すコード群ではなく、ストロークデータが検索キーとして使用されるので、言語に依存しない検索を行うことができる。
なお、検索処理は、記憶媒体402内の手書きページデータ群に対してのみならず、サーバシステム2の記憶媒体に格納されている手書きページデータ群に対しても行うことができる。この場合、検索処理部309は、検索キーとして使用すべき1以上のストロークに対応する1以上のストロークデータを含む検索要求をサーバシステム2に送信する。サーバシステム2は、1以上のストロークデータの特徴と類似する特徴を有する手書きページデータ(ヒット手書きページ)を記憶媒体2Aから検索し、このヒット手書きページをタブレットコンピュータ10に送信する。
検索処理部309内の上述の指定モジュールは、検索対象とすべき文字列または図形を手書きするための検索キー入力領域を画面上に表示してもよい。ユーザによって検索キー入力領域に手書きされた文字列等が検索クエリとして使用される。
あるいは、指定モジュールとして、上述の処理対象ブロック選択部307を使用してもよい。この場合、処理対象ブロック選択部307は、ユーザによって行われる範囲指定操作に応じて、表示中の時系列情報内の特定の時系列情報部分を、検索対象とすべき文字列または図形として選択することができる。ユーザは、表示中のページ内の一部の文字列を囲むように範囲指定してもよいし、表示中のページの余白などに検索クエリ用の文字列を新たに手書きし、この検索クエリ用の文字列を囲むように範囲指定してもよい。
例えば、ユーザは、表示中のページ内の一部を手書きの丸で囲むことによって範囲指定することができる。あるいは、ユーザは、あらかじめ用意されているメニューを用いてデジタルノートブックアプリケーションプログラム202を「選択」モードに設定し、この後、表示中のページ内の一部をペン100でなぞってもよい。
このように、表示中の時系列情報(手書きページ)内の時系列情報部分(手書き文字列)が検索クエリとして選択された場合においては、検索処理部309は、検索クエリとして選択された時系列情報部分を検索対象から除外する。すなわち、検索処理部309は、表示中の時系列情報全体では無く、選択された時系列情報部分を除く、表示中の時系列情報内の他の時系列情報部分から、選択され時系列情報部分に対応するストロークの軌跡との類似度が基準値以上であるストロークの軌跡を有する時系列情報部分を見つけ出す。
このように、検索クエリとして選択された時系列情報部分を検索対象から除外するという処理を行うことにより、選択された時系列情報部分(検索されて当然の文字列)それ自体が検索結果として表示されてしまうことを防止することができる。
よって、ユーザは、表示中のページに検索クエリとして使用すべき文字列を新たに手書きし、この文字列を選択するという操作を行うことによって、検索クエリの入力を行うことが可能となる。この場合、新たに手書きされた文字列(検索クエリ)自体は検索対象から除外されるので、新たに手書きされた文字列自体が検索結果として表示されることはない。よって、検索キー入力領域を画面上に表示することなく、表示中の手書きページの一部を容易に検索クエリとして使用することができる。
このように、本実施形態では、既に記録されている複数の手書きページから、検索クエリとして選択されたある手書き文字の特徴に類似する手書き文字を検索することができる。よって、過去に作成および保存した多数の手書きページから、ユーザの意図に合った手書きページを簡単に検索することができる。
本実施形態の筆跡検索においては、テキスト検索の場合とは異なり、文字認識を行う必要が無い。したがって、言語に依存しないため、あらゆる言語で手書きされた手書きページを検索対象とすることができる。さらに、図形等を筆跡検索のための検索クエリとして使用することもでき、また言語以外の記号、マーク等を筆跡検索のための検索クエリとして使用することもできる。
認識処理部310は、表示中の時系列情報(手書きページ)に対して文字認識を実行する。認識処理部310は、認識処理対象の時系列情報によって示される1つまたは複数のストロークデータをグループ化処理することによって得られる複数のブロック(手書きブロック)の各々を文字認識して、これら複数のブロック内の手書き文字それぞれを文字コードに変換する。時系列情報には筆跡(ビットマップ画像)以外にも筆順、タイムスタンプ情報、場合によっては筆圧情報も含まれているので、認識の精度が高い。グループ化処理では、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一ブロックに分類されるように、認識処理対象の時系列情報によって示される1以上複数のストロークデータがグループ化される。
このように、時系列情報から各文字に対応するグループ毎の文字コードが得られる。グループの配置に基づいて文字コードを配列すると、1ページの手書きページデータのテキストデータが得られ、両者は関連付けられて、記憶媒体402に保存される。認識処理部310で文字コードが得られると、各文字コードに対して時系列情報のグループを関連付けたコード/ストローク対応表が得られ、この対応表も記憶媒体402に保存される。この対応表は、入力された文書にストロークデータを関連付けた後にストロークデータの集合をテキストデータに変換するために利用される。
文書画像入力処理部311は、カメラ109で撮影され、図示しないスキャナで読み込まれた、あるいは他の装置で取り込まれサーバシステムから送信された文書の画像データを上記記憶媒体402に記憶されている時系列情報とのマッチング処理により、ストロークデータの集合に変換する処理を行う。文書がストロークデータの集合に変換されると、上記対応表を利用して文字コードを得ることができる。すなわち、文書画像からOCR(光学的文字認識)と同様に文字の行構造や部首情報に基づいて1文字の候補領域を切り出す。一方、記憶媒体402に保存されているグループに基づく多数の画像を生成する。候補領域の画像と多数の画像とを照合することにより、文字候補領域の画像に類似する画像、すなわちグループを得ることができる。グループが得られると、対応表から文字コードを得ることができる。
本実施例では、筆順も考慮した本人の手書き筆跡を示す時系列情報から文字コードを得ているので、文字認識の精度が高い。従来のOCRでは、画像情報のマッチングにより文字コードを得ているが、OCRの基準画像はユーザ固有の画像データではなく、標準的な画像であるので、本実施形態に比べて文字認識の精度は劣る。
以下、実施形態の具体的な作用例を説明する。先ず、図6のフローチャートを参照して、デジタルノートブックアプリケーションプログラム202によって実行される手書きページ作成処理の手順について説明する。
ユーザがペン100を使用して手書き入力操作を行うと(ブロックB11)、「タッチ」や「移動」のイベントが発生される。これらイベントに基づいて、デジタルノートブックアプリケーションプログラム202は、ペン100の動きの軌跡を検出する(ブロックB12)。ペン100の動きの軌跡が検出されたならば(ブロックB12のYES)、デジタルノートブックアプリケーションプログラム202は、検出されたペン100の動きの軌跡をディスプレイに表示する(ブロックB13)。さらに、デジタルノートブックアプリケーションプログラム202は、検出されたペン100の動きの軌跡に対応する座標列に基づいて図3に示すような上述の時系列情報を生成し、その時系列情報を手書きページ情報として作業メモリ401に一時保存する(ブロックB14)。
次に、作業メモリ401内の手書きページ情報が認識処理部310に渡され、手書き文字認識処理が行なわれる。先ず、ブロックB16で、時系列情報のストロークデータを、互いに近傍に位置し且つ連続的に手書きされたストロークにそれぞれ対応するストロークデータ同士が同一グループに分類されるように分割する。グループは1つの記号に相当し、1つまたは複数のストロークデータからなる。図3の例では、ストロークデータSD1、SD2を1つのグループ、ストロークデータSD3、SD4を1つのグループ、ストロークデータSD5を1つのグループとする。ブロックB18で1つのグループの文字認識処理を行ない、候補文字を決定する。ブロックB20で言語処理を行い、言語的に確からしい文字列の判定を行なう。例えば、“ナキスト”が候補とされた場合、“ナ”を“テ”と変更して、“テキスト”を認識結果とする。これにより、手書き入力された文書の時系列情報と文字コード列(テキスト)が求められる。また、必要であれば、ブロックB16に戻り、ストロークデータのグループ分けを変更して認識処理を繰り返す。
ブロックB22で、文字認識結果である文字コード列であるテキストと時系列情報(図3)とが関連付けられてページ毎に記憶媒体402に保存される。図3の時系列情報に対応するテキストは(2341,2342,2343,222d,…)(16進数)である。これにより、タブレットコンピュータ10は、手書き入力された文書をテキストとしても取り込むことができる。
上記処理により、グループ毎に文字コードとの対応関係が求められ、1つの記号と1以上のストロークデータとの対応関係を表すグループを複数記憶するコード/ストローク対応表が作成され、ブロックB24で記憶媒体402に保存される。コード/ストローク対応表の一例を図7に示す。コード/ストローク対応表は、文字コード毎にグループを有しても良い。コード/ストローク対応表、グループに含まれるストロークデータは、ストロークを表示可能な情報であれば良く、例えば、時系列情報から筆順、タイムスタンプ情報、筆圧を除いたものであってもよい。なお、場合によって、同一人でも同じ文字を異なる筆跡で書くこともあるので、1つの文字コードに対して異なるグループが関連付けられることもある。さらに、同一人でも同じ筆跡でも、異なる筆順で書くこともあるので、同じストロークデータの集合からなるが、順番が異なるグループが関連付けられることもある。記憶媒体402のコード/ストローク対応表は新しい手書きページが作成される毎にデータが追加され、更新される。
図8は文書画像入力処理部311の処理を示すフローチャートである。
ブロックB32で、スキャナあるいはカメラ等からアナログ媒体上の文書を画像として入力する。文書としては、過去にノートに書いた文書や、黒板に書いた文書等がある。入力画像はタッチスクリーンディスプレイ17で表示される。図9は入力画像の表示例である。
ブロックB34で、画像内の文字の行構造を解析して、画像の部分である1文字(あるいは部首)の候補領域を抽出する。
ブロックB36で、図7のコード/ストローク対応表の各グループのストロークデータに基づいてストローク画像(筆跡画像)を生成し、ブロックB34で抽出された候補領域の部分画像とストローク画像とを照合し、候補領域の画像に類似するストローク画像を検出する。
ブロックB38で、類似するストローク画像の類似度が閾値以上であるか否か判定される。閾値以上である場合は、ブロックB40で、そのストローク画像のグループを候補領域に関連付ける。図10はこの関連付けを模式的に示す。図10(a)は図9に示された入力画像である。図10(b)は記憶媒体402内に保存された1頁の時系列情報により表されるストローク画像である。図10(a)、(b)間の破線が関連付けを示す。図10(b)は1頁しか示していないが、類似するストローク画像は単一の頁の時系列情報から得られるとは限らず、類似する画像は、各候補領域毎に異なる頁の時系列情報のストロークデータ画像であることが多い。グループが関連付けられた候補領域の表示態様は他の領域と変えられる(ブロックB42)。例えば、図11に示すように、グループが関連付けられた候補領域の画像は輝度が下げられる。
閾値以上でない場合は、候補領域の画像に対応するグループが記憶媒体402内に保存されていない場合であるので、ブロックB44でその候補領域のストロークデータの手書き入力をユーザに促す。ブロックB42で説明したように、認識結果が得られた候補領域の画像は輝度が下げられるので、輝度が変わっていない候補領域が手書き入力操作の対象であることを促していることになるが、さらに強調するために表示を点滅させる、枠で囲む、音声メッセージを発する等してもよい。
ユーザがペン100を使用してタッチスクリーンディスプレイ17上の候補領域の画像をなぞると、ブロックB46で図6に示す手書き入力処理が行なわれる。手書き入力は文字、数字、マーク等の記号以外の文字コードが無い画像、例えば図11の地図画像に対して行なってもよい。ブロックB48で、全ての候補領域の処理が完了したか否か判定され、完了していない場合は、ブロックB36に戻る。
これにより、文書の画像に対するストロークデータ(タイムスタンプ情報を除く)が得られ、ブロックB50で、入力画像と対応するストロークデータが関連付けられて記憶媒体402に保存される。なお、ストロークデータが求められているので、それから画像が復元できるので、入力画像は保存しなくても良い。
以上の処理により、過去に紙のノート等に書いた文書を、ユーザがペン100を使用してタッチスクリーンディスプレイ17上に手書きした文書と同様に、ストロークデータ(ただし、タイムスタンプ情報は除く)としてタブレットコンピュータ10に取り込むことが出来る。
さらに、入力画像の各文字候補領域のグループが求められたので、必要に応じて、図7のコード/ストローク対応表に基づいて、入力画像の各文字候補領域の文字コードを求めることもできる(ブロックB52)。これにより、入力画像をテキストとしてタブレットコンピュータ10に取り込むことも出来る(ブロックB54)。
以上説明したように、実施形態によれば、タッチスクリーンディスプレイ17に手書き入力した文書を、手書きの軌跡を示すストロークデータとして記憶媒体402に保存することができる。さらに、カメラ、スキャナ等により画像として入力した文書から文字の候補領域を抽出し、既に手書き入力されたストロークデータに基づく画像と候補領域の画像とが対応する場合に、候補領域とストロークデータとを関連付けることができる。これにより、例えば紙のノート等に手書きした文書を、タッチスクリーンディスプレイ17に手書き入力した文書と同様にストロークデータとして記憶媒体402に保存することができる。
さらに、タッチスクリーンディスプレイ17に手書き入力した文書のストロークデータを文字認識処理して文字コードを求めておけば、画像として入力した文書をテキストに変換することもできる。ストロークデータはユーザ毎の情報であるので、基準画像との画像マッチングに基づく従来のOCRに比べて文字認識の精度が高い。さらに、ストロークデータに筆順、タイムスタンプ情報、筆圧等の情報を付加すれば、認識の精度をさらに向上することもできる。
実施形態は、全ての処理をタブレットコンピュータ10で行なったが、タッチスクリーンディスプレイ17への手書き以外の処理はサーバシステム2側で行なってもよい。例えば、手書きノートアプリケーションの処理部308の機能をサーバシステム2側に移してもよい。また、記憶媒体402に保存する代わりに、サーバシステム2のデータベースに保存してもよい。その場合、コード/ストローク対応表はユーザ毎に管理してもよいし、全てのユーザに共通に、各文字コードに全てのユーザのストロークデータを対応付けてもよい。あるいは、同じようなカテゴリ(男性/女性、子供/大人、アルファベットについては国籍)毎にコード/ストローク対応表を管理してもよい。
なお、本実施形態の処理はコンピュータプログラムによって実現することができるので、このコンピュータプログラムを格納したコンピュータ読み取り可能な記憶媒体を通じてこのコンピュータプログラムをコンピュータにインストールして実行するだけで、本実施形態と同様の効果を容易に実現することができる。
なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合せにより種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態に亘る構成要素を適宜組み合せてもよい。
2…サーバシステム、10…タブレットコンピュータ、17…タッチスクリーンディスプレイ、200…時系列情報、301…ペン軌跡表示処理部、302…時系列情報生成部、303…編集処理部、308…処理部、309…検索処理部、310…認識処理部、311…文書画像入力処理部、402…記憶媒体。
Claims (21)
- 第1ユーザによって手書きにより入力される複数のストロークに対応する複数のストロークデータを用いて生成可能なものであって、1つの記号と1以上のストロークデータとの対応に関するグループを複数記憶する第1記憶媒体にアクセス可能な情報処理装置であって、
前記第1ユーザによって手書きにより記載された文書に対応する画像を入力可能な入力手段と、
前記入力手段により入力された画像の部分である第1部分画像と、前記第1記憶媒体に記憶される複数のグループのうちの第1グループに含まれる第1ストロークデータから生成可能な第1画像とが対応する場合、前記第1部分画像と前記第1ストロークデータとを関連付ける処理手段と、
前記第1ユーザによって手書きにより記載された文書に対応する文書であって、前記第1部分画像、又は前記第1画像、又は前記第1ストロークデータに基づく画像、又は前記第1グループに含まれる第1記号に基づく画像のいずれかを含む文書を表示可能な表示制御手段と、
を具備する情報処理装置。 - 前記第1部分画像は、前記入力手段により入力された画像から抽出された文字候補領域の画像であり、
前記処理手段は、前記文字候補領域の画像と前記第1画像とが類似する度合いに基づいて前記文字候補領域の画像と前記第1画像とが対応していることを検出する請求項1記載の情報処理装置。 - 前記第1部分画像と前記第1画像とが対応しない場合に、前記第1部分画像に対応する1以上のストロークデータを書き込むことを促すメッセージを発する発生手段をさらに具備する請求項1記載の情報処理装置。
- タッチスクリーンディスプレイと、
前記タッチスクリーンディスプレイ上で行われる手書き入力操作によって手書きされる1つの記号に対応する1以上のストロークデータを前記第1記憶媒体に保存する保存手段と、
をさらに具備する請求項3記載の情報処理装置。 - 1以上のストロークデータと、該1以上のストロークデータに対応する記号の文字コードとを複数記憶する第2記憶媒体から、前記第1部分画像に関連付けられた文字コードを読み出す決定手段をさらに具備する請求項1記載の情報処理装置。
- タッチスクリーンディスプレイと、
前記タッチスクリーンディスプレイ上で行われる手書き入力操作によって手書きされる1以上のストロークデータを生成する生成手段と、
前記生成手段により生成された1以上のストロークデータを文字認識して、手書き記号を文字コードに変換する認識手段と、
前記認識手段の変換結果を前記第2記憶媒体に保存する保存手段と、
をさらに具備する請求項5記載の情報処理装置。 - 前記入力手段はカメラとスキャナの何れかであり、画像のビットマップデータを入力する請求項1乃至請求項6のいずれか一項記載の情報処理装置。
- 第1ユーザによって手書きにより入力される複数のストロークに対応する複数のストロークデータを用いて生成可能なものであって、1つの記号と1以上のストロークデータとの対応に関するグループを複数記憶する第1記憶媒体にアクセス可能な情報処理方法であって、
前記第1ユーザによって手書きにより記載された文書に対応する画像を入力することと、
前記入力された画像の部分である第1部分画像と、前記第1記憶媒体に記憶される複数のグループのうちの第1グループに含まれる第1ストロークデータから生成可能な第1画像とが対応する場合に、前記第1部分画像と前記第1ストロークデータとを関連付けることと、
前記第1ユーザによって手書きにより記載された文書に対応する文書であって、前記第1部分画像、又は前記第1画像、又は前記第1ストロークデータに基づく画像、又は前記第1グループに含まれる第1記号に基づく画像のいずれかを含む文書を表示することと、
を具備する情報処理方法。 - 前記第1部分画像は、前記入力された画像から抽出された文字候補領域の画像であり、
前記関連付けることは、前記文字候補領域の画像と前記第1画像とが類似する度合いに基づいて前記文字候補領域の画像と前記第1画像とが対応していることを検出する請求項8記載の情報処理方法。 - 前記第1部分画像と前記第1記号とが対応しない場合に、前記第1部分画像に対応する1以上のストロークデータを書き込むことを促すメッセージを発することをさらに具備する請求項8記載の情報処理方法。
- タッチスクリーンディスプレイ上で行われる手書き入力操作によって手書きされる1つの記号に対応する1以上のストロークデータを前記第1記憶媒体に保存することをさらに具備する請求項10記載の情報処理方法。
- 1以上のストロークデータと、該1以上のストロークデータに対応する記号の文字コードとを複数記憶する第2記憶媒体から、前記第1部分画像に関連付けられた文字コードを読み出すことをさらに具備する請求項8記載の情報処理方法。
- タッチスクリーンディスプレイ上で行われる手書き入力操作によって手書きされる1以上のストロークデータを生成することと、
前記生成された1以上のストロークデータを文字認識して、手書き記号を文字コードに変換することと、
前記文字認識により得られた文字コードを前記第2記憶媒体に保存することと、
をさらに具備する請求項12記載の情報処理方法。 - 前記入力することはカメラとスキャナの何れかにより、画像のビットマップデータを入力することである請求項8乃至請求項13のいずれか一項記載の情報処理方法。
- コンピュータにより実行されるプログラムであって、前記プログラムは
第1ユーザによって手書きにより入力される複数のストロークに対応する複数のストロークデータを用いて生成可能なものであって、1つの記号と1以上のストロークデータとの対応に関するグループを複数記憶する第1記憶媒体にアクセス可能であり、
前記第1ユーザによって手書きにより記載された文書に対応する画像を入力し、
前記入力された画像の部分である第1部分画像と、前記第1記憶媒体に記憶される複数のグループのうちの第1グループに含まれる第1ストロークデータから生成可能な第1画像とが対応する場合に、前記第1部分画像と前記第1ストロークデータとを関連付け、
前記第1ユーザによって手書きにより記載された文書に対応する文書であって、前記第1部分画像、又は前記第1画像、又は前記第1ストロークデータに基づく画像、又は前記第1グループに含まれる第1記号に基づく画像のいずれかを含む文書を表示させるものであるプログラム。 - 前記第1部分画像は、前記入力された画像から抽出された文字候補領域の画像であり、
前記関連付けることは、前記文字候補領域の画像と前記第1画像とが類似する度合いに基づいて前記文字候補領域の画像と前記第1画像とが対応していることを検出する請求項15記載のプログラム。 - 前記第1部分画像と前記第1画像とが対応しない場合に、前記第1部分画像に対応する1以上のストロークデータを書き込むことを促すメッセージを発することをさらに具備する請求項15記載のプログラム。
- タッチスクリーンディスプレイ上で行われる手書き入力操作によって手書きされる1つの記号に対応する1以上のストロークデータを前記第1記憶媒体に保存することをさらに具備する請求項17記載のプログラム。
- 1以上のストロークデータと、該1以上のストロークデータに対応する記号の文字コードとを複数記憶する第2記憶媒体から、前記第1部分画像に関連付けられた文字コードを読み出すことをさらに具備する請求項15記載のプログラム。
- タッチスクリーンディスプレイ上で行われる手書き入力操作によって手書きされる1以上のストロークデータを生成することと、
前記生成された1以上のストロークデータを文字認識して、手書き記号を文字コードに変換することと、
前記文字認識により得られた文字コードを前記第2記憶媒体に保存することと、
をさらに具備する請求項19記載のプログラム。 - 前記入力することはカメラとスキャナの何れかにより、画像のビットマップデータを入力することである請求項15乃至請求項20のいずれか一項記載のプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012261266A JP5355769B1 (ja) | 2012-11-29 | 2012-11-29 | 情報処理装置、情報処理方法及びプログラム |
US13/768,970 US9207808B2 (en) | 2012-11-29 | 2013-02-15 | Image processing apparatus, image processing method and storage medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012261266A JP5355769B1 (ja) | 2012-11-29 | 2012-11-29 | 情報処理装置、情報処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5355769B1 true JP5355769B1 (ja) | 2013-11-27 |
JP2014106881A JP2014106881A (ja) | 2014-06-09 |
Family
ID=49765025
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012261266A Active JP5355769B1 (ja) | 2012-11-29 | 2012-11-29 | 情報処理装置、情報処理方法及びプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9207808B2 (ja) |
JP (1) | JP5355769B1 (ja) |
Families Citing this family (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9652678B2 (en) * | 2014-05-23 | 2017-05-16 | Samsung Electronics Co., Ltd. | Method and device for reproducing content |
JP6373664B2 (ja) * | 2014-07-09 | 2018-08-15 | 株式会社東芝 | 電子機器、方法及びプログラム |
CN104239910B (zh) * | 2014-07-31 | 2017-05-17 | 南京师范大学 | 一种联机手写汉字笔画续笔的识别方法 |
JP6430198B2 (ja) * | 2014-09-30 | 2018-11-28 | 株式会社東芝 | 電子機器、方法及びプログラム |
JP6464504B6 (ja) * | 2014-10-01 | 2019-03-13 | Dynabook株式会社 | 電子機器、処理方法およびプログラム |
JP2016085512A (ja) * | 2014-10-23 | 2016-05-19 | 株式会社東芝 | 電子機器、方法及びプログラム |
JP2016143182A (ja) * | 2015-01-30 | 2016-08-08 | 株式会社リコー | 情報処理装置、プログラム |
US20160321025A1 (en) * | 2015-04-30 | 2016-11-03 | Kabushiki Kaisha Toshiba | Electronic apparatus and method |
JP2017116830A (ja) * | 2015-12-25 | 2017-06-29 | カシオ計算機株式会社 | 情報表示装置及びプログラム |
JP6554223B1 (ja) * | 2018-11-26 | 2019-07-31 | フューチャー株式会社 | 分析装置、分析方法及び分析プログラム |
CN112487774B (zh) * | 2020-11-20 | 2024-06-25 | 深圳市鹰硕技术有限公司 | 书写表单电子化方法、装置及电子设备 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH04290188A (ja) | 1991-03-19 | 1992-10-14 | Seiko Epson Corp | 文字認識方法 |
JPH09138678A (ja) | 1995-11-14 | 1997-05-27 | Ricoh Co Ltd | 光学文字読取装置 |
JP4737576B2 (ja) | 2001-02-01 | 2011-08-03 | 日本電気株式会社 | ストローク抽出装置、ストローク抽出方法及びストローク抽出用プログラムを記録した記録媒体 |
US20040126017A1 (en) * | 2002-12-30 | 2004-07-01 | Giovanni Seni | Grammar-determined handwriting recognition |
JP3882805B2 (ja) | 2003-10-27 | 2007-02-21 | ソニー株式会社 | 筆跡情報生成方法、筆跡情報生成装置及び文字入力装置 |
US7791593B2 (en) * | 2005-03-18 | 2010-09-07 | The Invention Science Fund I, Llc | Machine-differentiatable identifiers having a commonly accepted meaning |
JP2008090574A (ja) | 2006-10-02 | 2008-04-17 | Fuji Xerox Co Ltd | 画像処理システムおよび画像処理プログラム |
US20090138800A1 (en) * | 2007-11-23 | 2009-05-28 | Mckesson Financial Holdings Limited | Apparatus, method and computer-readable storage medium for directing operation of a software application via a touch-sensitive surface |
US8869070B2 (en) * | 2008-12-30 | 2014-10-21 | T-Mobile Usa, Inc. | Handwriting manipulation for conducting a search over multiple databases |
-
2012
- 2012-11-29 JP JP2012261266A patent/JP5355769B1/ja active Active
-
2013
- 2013-02-15 US US13/768,970 patent/US9207808B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US9207808B2 (en) | 2015-12-08 |
US20140145974A1 (en) | 2014-05-29 |
JP2014106881A (ja) | 2014-06-09 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5355769B1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JP5349645B1 (ja) | 電子機器および手書き文書処理方法 | |
JP5248696B1 (ja) | 電子機器、手書き文書作成方法、及び手書き文書作成プログラム | |
JP5270027B1 (ja) | 情報処理装置および手書き文書検索方法 | |
JP6464504B6 (ja) | 電子機器、処理方法およびプログラム | |
JP5270018B1 (ja) | システム及び手書き文書管理方法 | |
US9134833B2 (en) | Electronic apparatus, method, and non-transitory computer-readable storage medium | |
JP5395927B2 (ja) | 電子機器および手書き文書検索方法 | |
US9378427B2 (en) | Displaying handwritten strokes on a device according to a determined stroke direction matching the present direction of inclination of the device | |
JP2015162088A (ja) | 電子機器、方法及びプログラム | |
JP5694234B2 (ja) | 電子機器、手書き文書表示方法、及び表示プログラム | |
US20150146986A1 (en) | Electronic apparatus, method and storage medium | |
WO2014147712A1 (ja) | 情報処理装置、情報処理方法及びプログラム | |
JPWO2014147719A1 (ja) | 電子機器および手書き文書処理方法 | |
US9183276B2 (en) | Electronic device and method for searching handwritten document | |
JP5284523B1 (ja) | 情報処理システム、プログラムおよび情報処理システムの処理方法 | |
JP2014203393A (ja) | 電子機器、手書き文書処理方法、及び手書き文書処理プログラム | |
JP5735126B2 (ja) | システムおよび筆跡検索方法 | |
JP5330576B1 (ja) | 情報処理装置および筆跡検索方法 | |
JP6223687B2 (ja) | 電子機器および手書き文書検索方法 | |
JP6039066B2 (ja) | 電子機器、手書き文書検索方法およびプログラム | |
JP5377708B2 (ja) | データ処理システム、データ処理方法およびプログラム | |
JP2014089645A (ja) | システムおよび情報提供方法並びに電子機器 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130730 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5355769 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313117 Free format text: JAPANESE INTERMEDIATE CODE: R313121 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |