JP4775246B2 - 電子ペン及びプログラム - Google Patents

Description

本発明は、電子ペンにより電子ペン用帳票に記入された記入情報を処理する技術に関する。

近年、「電子ペン」、「デジタルペン」などと呼ばれるペン型入力デバイスが登場しており（以下、本明細書では「電子ペン」と呼ぶ。）、その代表的なものとしてスウェーデンのAnoto社が開発した「アノトペン（Anoto pen）」が知られている。アノトペンは、所定のドットパターンが印刷された専用紙（以下、「専用ペーパー」とも呼ぶ。）とペアで使用される。アノトペンは、通常のインクタイプのペン先部に加えて、専用紙上のドットパターンを読み取るための小型カメラと、データ通信ユニットを搭載している。利用者が専用紙上にアノトペンで文字などを書いたり、専用紙上に図案化されている画像をチェックしたりすると、ペンの移動に伴って小型カメラが専用紙上のドットパターンを検出し、利用者が書き込んだ文字、画像などの記入情報が取得される。この記入情報が、データ通信ユニットによりアノトペンから近くのパーソナルコンピュータや携帯電話などの端末装置に送信される。このアノトペンを利用したシステムは、キーボードに代わる入力デバイスとして利用することが可能であり、上述のパーソナルコンピュータやキーボードの使用に抵抗がある利用者にとっては非常に使いやすい。そのため、現在、各種ビジネス上の書類、申込書、契約書等に記入されたデータをデジタル化する手法として、電子ペンを利用したシステムが普及しつつある（例えば、特許文献１）。

従来の電子ペンでは、上述のように、デジタルデータである記入情報を端末装置に送信し、端末装置において記入情報に基づく所定の処理が行われていた。つまり、電子ペンが記入情報を端末装置に送信してからはじめて処理が始まるため、記入直後は電子ペンが正しく記入情報を取得できたかどうか分からないという問題が生じていた。

特開２００４−１５３６１２号公報

本発明は、以上の点に鑑みてなされたものであり、ディスプレイやキーボードを必要とせず、音声出力だけで記入文字の認識結果を確認し、誤認識を訂正することが可能な電子ペンを提供することを課題とする。

本発明の１つの観点では、認識可能なドットパターンが印刷された電子ペン用帳票に記入された情報を処理する電子ペンであって、前記電子ペンは、音声データに基づいて音声を出力する音声出力部と、前記音声データを記憶する音声データ記憶手段と、前記電子ペン用帳票への記入内容に対応する記入情報を取得する記入情報取得手段と、前記記入情報に基づいて文字を認識する文字認識手段と、前記記入情報に基づいて、前記文字認識手段が認識した各文字に対応するストロークに外接する指示エリアを設定する指示エリア設定手段と、前記電子ペン用帳票へのタップによる指示に対応する指示情報を取得する指示情報取得手段と、前記指示エリアと、前記ドットパターン上における前記指示エリアの位置座標を示す座標データとを対応付けた認識結果情報を作成する認識結果情報作成手段と、前記指示情報に含まれる座標データに基づいて前記認識結果情報を参照することで、タップした指示エリアを特定するタップ指示エリア特定手段と、前記指示情報に基づいて、前記タップ指示エリア特定手段が特定した指示エリアをタップした回数を特定するタップ回数特定手段と、前記音声データ記憶手段に基づいて、前記タップ指示エリア特定手段が特定した指示エリアが設定された文字に対応する音声データを特定する音声データ特定手段と、前記タップ回数特定手段が特定したタップ回数に応じて、前記音声出力部から前記音声データ特定手段が特定した音声データに基づく音声を出力する音声出力手段と、を備える。

上記のように構成された電子ペンは、当該電子ペンにより認識可能なドットパターンが印刷された電子ペン用帳票に記入された内容に対応するデジタルデータである記入情報を処理することができる。利用者は、電子ペンにより、電子ペン用帳票に任意の文字列等を記入する。電子ペンは、記入内容に対応する記入情報を取得し、当該記入情報に基づいて文字認識処理を実行することで、利用者が記入した各文字を認識する。さらに、電子ペンは、記入情報に含まれる各文字のストロークを抽出し、当該ストロークに外接する仮想の矩形を描き、それを指示エリアと設定する。このとき、電子ペンは、設定した指示エリアと、電子ペン用帳票に印刷されたドットパターン上における指示エリアの位置を示す座標データとを対応付けた認識結果情報を作成する。

利用者は、電子ペン用帳票に記入した文字列の電子ペンによる認識結果を確認する場合、当該電子ペンにより確認したい文字をタップする。タップとは、電子ペンを使用して文字をつつくことである。電子ペンは、このような電子ペン用帳票へのタップによる指示に対応するストロークや座標に関する情報を指示情報として取得する。そして、電子ペンは、指示情報に含まれる座標データに基づいて、認識結果情報を参照することにより、対応する指示エリアを特定する。また、電子ペンは、指示情報に基づいて、電子ペン内部に搭載された圧力センサ等により、特定した指示エリアへのタップ回数を特定する。さらに、電子ペンは、特定した指示エリアが設定された文字に対応する音声データを特定する。即ち、文字認識手段が認識した文字に対応する音声データを特定する。そして、電子ペン内部の音声出力部は、特定した音声データに基づいて音声を出力する。このとき、電子ペンは、タップ回数に応じて、特定した音声データに基づく音声を出力する。つまり、文字認識手段が認識した文字に対応する音声データが複数存在する場合、タップ回数に応じて、次々にその音声データを出力する。

これによれば、利用者は、電子ペンにより任意の文字をタップするだけで、容易に電子ペンから出力される音声によって、その文字の認識結果を確認することができる。また、文字認識手段が１つの手書き文字に対して複数の文字を認識した場合、タップ回数に応じて、文字認識手段が認識した複数の文字にそれぞれ対応する複数の音声データを出力する。よって、利用者は、任意の文字を複数回タップすることにより、電子ペンによる誤認識を把握し、修正することが可能となる。

上記電子ペンの一態様では、前記認識結果情報作成手段は、前記指示エリアと、前記座標データと、前記文字認識手段が認識した文字であって音声出力する際の候補である１つ以上の出力候補とを対応付けた認識結果情報を作成するものであって、前記電子ペンは、前記認識結果情報から、前記タップ指示エリア特定手段が特定した指示エリアに対応する出力候補を抽出する出力候補抽出手段をさらに備え、前記音声データ特定手段は、前記音声データ記憶手段に基づいて、前記出力候補抽出手段が抽出した出力候補である文字に対応する音声データを特定する。

上記のように構成された電子ペンでは、文字認識手段が認識した１つ以上の文字は出力候補として、認識結果情報において指示エリア及び座標データに対応付けられている。そのため、電子ペンは、指示情報に含まれる座標データに基づいて容易に対応する１つ以上の出力候補を特定することができる。よって、電子ペンは、音声データ記憶手段に基づいて、容易に出力候補である文字に対応する音声データを特定することができる。

上記電子ペンの他の一態様では、前記電子ペンは、前記音声出力手段が最後に出力した音声データに対応する出力候補である文字を、正しい文字であると確定する文字確定手段をさらに備える。これによれば、ディスプレイやキーボードを持たない電子ペンのみによって、音声出力により、誤認識の訂正及び文字の確定を行うことが可能となる。

上記電子ペンの他の一態様では、前記電子ペンは、前記タップ指示エリア特定手段が特定した指示エリアが２箇所であるか否かを判定する判定手段と、前記判定手段により２箇所であると判定された場合に、前記認識結果情報に基づいて、前記タップ指示エリア特定手段が特定した２箇所の指示エリアの間にある全ての指示エリアを特定する単語指示エリア特定手段と、前記認識結果情報から、前記タップ指示エリア特定手段が特定した２箇所の指示エリア及び前記単語指示エリア特定手段が特定した指示エリアのそれぞれに対応する出力候補を抽出して合成することで、当該２箇所の指示エリアが示す単語の出力候補である単語出力候補を作成する単語出力候補作成手段と、をさらに備え、前記音声データ特定手段は、前記判定手段により２箇所であると判定された場合に、前記音声データ記憶手段に基づいて、前記単語出力候補作成手段が作成した単語出力候補である単語に対応する音声データを特定する。

上記のように構成された電子ペンでは、指示情報に基づいて、２箇所の指示エリアにタップされたか否かを判定する。２箇所の指示エリアにタップされたと判定した場合、電子ペンは、当該２箇所の指示エリアが示す単語を特定し、当該単語の出力候補である単語出力候補を作成する。具体的に、利用者は、認識結果を確認したい単語がある場合、当該単語の最初の文字と最後の文字を電子ペンによりタップする。よって、電子ペンは、タップされた２箇所の指示エリアと、タップされた２箇所の指示エリアの間の指示エリアに対応する出力候補を抽出し、当該出力候補に基づいて、利用者が確認したい単語の出力候補である単語出力候補を作成することができる。電子ペンが作成した単語出力候補に対応する音声データを出力することにより、利用者は、容易に単語の認識結果を確認することができる。

上記電子ペンのさらに他の一態様では、前記文字確定手段は、前記判定手段により２箇所であると判定された場合に、前記音声出力手段が最後に出力した音声データに対応する単語出力候補である単語を構成する文字を、正しい文字であると確定する。これによれば、ディスプレイやｋーボードを持たない電子ペンのみによって、音声出力により、容易に単語の誤認識の訂正及び単語の確定を行うことが可能となる。

本発明の別の観点では、認識可能なドットパターンが印刷された電子ペン用帳票に記入された情報を処理するコンピュータにより実行されるプログラムであって、前記コンピュータは、音声データに基づいて音声を出力する音声出力部を備え、前記プログラムは、前記音声データを記憶する音声データ記憶手段、前記電子ペン用帳票への記入内容に対応する記入情報を取得する記入情報取得手段、前記記入情報に基づいて文字を認識する文字認識手段、前記記入情報に基づいて、前記文字認識手段が認識した各文字に対応するストロークに外接する指示エリアを設定する指示エリア設定手段、前記電子ペン用帳票へのタップによる指示に対応する指示情報を取得する指示情報取得手段、前記指示エリアと、前記ドットパターン上における前記指示エリアの位置座標を示す座標データとを対応付けた認識結果情報を作成する認識結果情報作成手段、前記指示情報に含まれる座標データに基づいて前記認識結果情報を参照することで、タップした指示エリアを特定するタップ指示エリア特定手段、前記指示情報に基づいて、前記タップ指示エリア特定手段が特定した指示エリアをタップした回数を特定するタップ回数特定手段、前記音声データ記憶手段に基づいて、前記タップ指示エリア特定手段が特定した指示エリアが設定された文字に対応する音声データを特定する音声データ特定手段、前記タップ回数特定手段が特定したタップ回数に応じて、前記音声出力部から前記音声データ特定手段が特定した音声データに基づく音声を出力する音声出力手段、として前記コンピュータを機能させる。

上記プログラムをコンピュータにより実行することにより、上述の電子ペンを実現することができる。また、上述の電子ペンの各態様も同様に実現することができる。

本発明によれば、ディスプレイやキーボードを必要とせず、電子ペンのみを使用して、音声出力により記入文字の認識結果を確認し、誤認識を訂正することが可能となる。

以下、図面を参照して本発明の好適な実施の形態について説明する。まず、本発明のシステムにおいて入力デバイスとして使用される電子ペンの概要について説明する。

［電子ペン］
図１は電子ペンの使用形態を模式的に示す図であり、図２は電子ペンの構造を示す機能ブロック図である。図１に示すように、電子ペン１０は、ドットパターンが印刷された専用ペーパー２０と組み合わせて使用される。電子ペン１０は、通常のインクペンと同様のペン先部１７を備えており、利用者は通常のインクペンと同様に専用ペーパー２０上に文字などを書くことになる。

図２に示すように、電子ペン１０は、その内部にプロセッサ１１、メモリ１２、データ通信ユニット１３、バッテリー１４、ＬＥＤ１５、カメラ１６、圧力センサ１８、スピーカ１９及び専用アプリケーション５０を備える。また、電子ペン１０は通常のインクペンと同様の構成要素としてインクカートリッジ（図示せず）などを有する。なお、図２では、メモリ１２と専用アプリケーション５０を別々に記載しているが、専用アプリケーション５０がメモリ１２内に保持されていることとしてもよい。

電子ペン１０は、ペン先部１７により専用ペーパー２０上に描かれたインクの軌跡をデータ化するのではなく、専用ペーパー２０上で電子ペン１０が移動した軌跡座標をデータ化する。ＬＥＤ１５が専用ペーパー２０上のペン先部１７近傍を照明しつつ、カメラ１６が専用ペーパー２０に印刷されているドットパターンを読み取り、データ化する。つまり、電子ペン１０は専用ペーパー２０上で利用者が電子ペン１０を移動させることにより生じるストロークを画像データ又はベクトルデータとして取得することができる。

圧力センサ１８は、利用者が電子ペン１０により専用ペーパー上に文字などを書く際にペン先部１７に与えられる圧力、即ち筆圧を検出し、プロセッサ１１へ供給する。プロセッサ１１は、圧力センサ１８から与えられる筆圧データに基づいて、ＬＥＤ１５及びカメラ１６のスイッチオン／オフの切換を行う。即ち、利用者が電子ペン１０で専用ペーパー２０上に文字などを書くと、ペン先部１７には筆圧がかかる。よって、所定値以上の筆圧が検出されたときに、利用者が記述を開始したと判定して、ＬＥＤ１５及びカメラ１６を作動する。

カメラ１６は専用ペーパー２０上のドットパターンを読み取り、そのパターンデータをプロセッサ１１に供給する。プロセッサ１１は、供給されたドットパターンから、専用ペーパー２０上でのＸ／Ｙ座標を算出する。

プロセッサ１１は、利用者の記述が行われる間に、筆圧の配列データ及びＸ／Ｙ座標データを取得し、タイムスタンプ（時間情報）と関連付けてメモリ１２に記憶していく。よって、メモリ１２内には利用者の記述内容に対応するデータが時系列で記憶されていく。メモリ１２の容量は例えば１Ｍバイト程度とすることができる。

プロセッサ１１は、予め電子ペン１０が保有している専用アプリケーション５０により、メモリ１２内のデータに基づいて所定の処理を実行する。専用アプリケーション５０とは、電子ペン１０が専用ペーパー２０に記入することで取得したデータに基づいて所定の処理を実行するものであって、原則として専用ペーパー２０に対応付けられている。つまり、種類の異なる専用ペーパー２０の場合、各専用ペーパー２０に記入されたデータを処理する専用アプリケーション５０はそれぞれ異なる。しかし、専用ペーパー２０と専用アプリケーションの対応は必ずしも１対１である必要はなく、複数種類の専用ペーパー２０に１つの専用アプリケーションを対応付けることとしてもよい。

処理を実行した結果、音声を出力する場合、プロセッサ１１は、スピーカ１９から音声を出力する。音声を出力するための音声データは、予めメモリ１２に記憶しておいて適宜選択することとしてもよいし、専用アプリケーション５０による処理の実行により作成することとしてもよい。

なお、電子ペン１０は、データ通信ユニット１３により、他の端末装置やサーバとデータを送受信することが可能である。具体的には、専用アプリケーション５０による処理の実行結果等を、データ通信ユニット１３により、他の端末装置等に送信することができる。

送信指示その他の指示は、利用者が専用ペーパー２０上の所定位置に設けられた専用ボックスを電子ペン１０でチェックすることにより実行される。専用ボックスの位置座標には、予め送信指示が対応付けられており、プロセッサ１１は専用ボックスの位置座標を受信すると、データ通信ユニット１３にメモリ１２内に記憶された実行結果に関するデータを供給し、端末装置への送信を行わせる。なお、電子ペン１０は、データの送信完了を電子ペンの振動により示すことができる。また、電子ペン１０自体が、送信機能等を搭載していることとしてもよい。

バッテリー１４は電子ペン１０内の各要素に電源供給するためのものであり、例えば電子ペンのキャップ（図示せず）により電子ペン１０自体の電源のオン／オフを行うことができる。

このように、電子ペン１０は利用者が専用ペーパー２０上に記述した文字などに対応する座標データ及び筆圧データを取得して近傍の端末装置へ送信する機能を有するが、電子ペン１０のペン先部１７は通常のインクペンとなっているため、専用ペーパー２０上に記述した内容はオリジナルの原本として残るという特徴がある。即ち、紙の原本に対して記述するのと同時に、その内容を座標データなどの形態でリアルタイムに電子化することができる。

なお、電子ペン１０の標準機能によれば、電子ペン１０により得られるデータは、原則として座標データ又はベクトルデータの形態であり、テキストデータではない。但し、電子ペン１０は標準機能として、専用ペーパー２０上に設けられた専用エリアに記述することにより、英数字に限りテキスト化する機能は備えている。

また、電子ペン１０内には、ペン自体及びその所有者に関するプロパティ情報（ペン情報及びペン所有者情報）を保持することができ、アプリケーションから参照することができる。ペン情報としては、バッテリーレベル、ペンＩＤ、ペン製造者番号、ペンソフトウェアのバージョン、サブスクリプションプロバイダのＩＤなどを保持できる。また、ペン所有者情報としては、国籍、言語、タイムゾーン、emailアドレス、空きメモリ容量、名称、住所、ファックス／電話番号、携帯電話番号などを保持することができる。

なお、上記の例におけるデータ通信ユニット１３では、Bluetooth（登録商標）の無線伝送、ＵＳＢケーブルを使用した有線伝送、端子などの接触によるデータ伝送など、各種の方法によって電子ペン１０から端末装置へのデータ送信を行うことが考えられる。

次に、電子ペンにより利用者が記述した内容のＸ／Ｙ座標データを取得する方法について説明する。前述のように専用ペーパー２０には、所定のドットパターンが印刷されている。電子ペン１０のカメラ１６は、利用者が専用ペーパー２０上に記述したインクの軌跡を読み取るのではなく、専用ペーパー２０上のドットパターンを読み取る。実際、図１に示すように、ＬＥＤ１５による照明エリア及びカメラ１６の撮影エリア（照明エリア内に位置する）は、ペン先部１７が専用ペーパー２０に接触する位置とはずれている。

ドットパターンはカーボンを含む専用インキなどで印刷されており、カメラ１６はその専用インキによるパターンのみを認識することができる。専用インキ以外のインキ（カーボンを含まない）により、専用ペーパー上に罫線や枠などを印刷しても、電子ペンはそれらを認識することはない。よって、専用ペーパーを利用して各種申込書などの帳票を生成する際は、専用インキ以外のインキで入力枠や罫線、注意書きなどを印刷する。

ドットパターンは、図３に例示するように、各ドットの位置がデータに対応付けされている。図３の例では、ドットの位置を格子の基準位置（縦線及び横線の交差点）から上下左右にシフトすることにより、０〜３の２ビット情報を表示した例である。このようにして表現された情報の組合せにより、専用ペーパー上の位置座標が決定される。図４（ａ）に例示するように、縦横２mmの範囲内に３６個のドットが格子状に配置され、これらのドットにより示されるデータの配列（図４（ｂ））が、その専用ペーパー上の位置座標と対応付けされている。よって、電子ペン１０のカメラ１６が図４（ａ）に示すようなドットパターンを撮影すると、プロセッサ１１はカメラ１６から入力されるドットパターンのデータに基づいて図４（ｂ）に示すデータ配列を取得し、それに対応する専用ペーパー上の位置座標（即ち、そのドットパターンがその専用ペーパー上のどの位置にあるのか）をリアルタイムで算出する。なお、ドットパターンを認識する最小単位は２mm×２mmであり、カメラ１６は毎秒１００回程度の撮影を行う。

次に、専用ペーパーについて説明する。専用ペーパーの構造の一例を図５に示す。図示のように、専用ペーパー２０は、台紙３０上にドットパターン３２が印刷され、その上に罫線などの図案３４が印刷されている。台紙３０は通常は紙であり、ドットパターン３２は前述のようにカーボンを含んだ専用インキにより印刷される。また、通常のインキなどにより図案３４が印刷される。ドットパターンと図案とは同時に印刷してもよいし、いずれかを先に印刷してもよい。

図案３４の例を図６に示す。図６は、ある申込書３６の例であり、複数の記入欄３８や送信ボックス３９が印刷されている。図６には明確に図示されておらず、詳細は後述するが、実際にはドットパターンが申込書３６の全面に印刷されており、その上に記入欄３８や送信ボックス３９が通常のインキにより印刷されている。利用者は、ドットパターンを意識することなく、従来からある申込書と同様に、電子ペン１０を使用して必要事項を申込書３６の各記入欄３８に記入すればよい。

専用ペーパー２０上のエリアは大きく２種類のエリアに分けることができる。１つは記入エリアであり、電子ペン１０による記述内容をそのまま情報として取り扱うエリアである。図６の例では複数の記入欄３８がこれに該当する。もう１つは機能エレメントであり、対応するエリア内を電子ペン１０でチェックした際に、予めそのエリアに対して定義されているアクション、指示などを実行するようになっている。図６の例における送信ボックス３９がこれに該当する。

送信ボックス３９は前述したように電子ペン１０内に記憶されている実行結果等に関するデータを近傍の端末装置等へ送信するための指示を行う際に使用される。利用者が送信ボックス３９内に電子ペン１０でチェックを入れると、電子ペン１０が送信ボックス内のドットパターンを読み取る。当該パターンは送信指示に対応付けられており、電子ペン１０内のプロセッサ１１はデータ通信ユニット１３にメモリ１２内の記憶データの送信命令を発する。

ドットパターンの割り当ては、通常、用紙の種類毎に行われる。即ち、ある申込書内のドットパターンは１枚の用紙の中で重複することはないが、同一の申込書には全て同じドットパターンが印刷されている。よって、利用者が電子ペン１０で必要事項を入力すると、その入力事項がその申込書のどの項目に対するものであるかを、申込書上の座標データから特定することができる。

このように、ドットパターンを印刷した専用ペーパー上に所定の図案を印刷することにより、専用ペーパーを利用した各種申込書が生成できる。利用者は電子ペン１０を使用して通常の要領で必要事項を記入すれば、その電子データが自動的に取得される。

上記の例では、ドットパターンは専用ペーパー上にカーボンを含むインキにより印刷されているが、プリンタ及びカーボンを含むインクを使用してドットパターンを通常の紙上にプリントすることも可能である。さらに、専用ペーパー上の図案も印刷ではなく、プリンタにより形成することも可能である。ドットパターンをプリンタにより紙上に形成する場合には、１枚１枚に異なるドットパターンを形成することが可能である。よって、形成されたドットパターンの違いにより、それらの用紙１枚１枚を識別し、区別することが可能となる。

なお、本明細書においては、「印刷」の語は、通常の印刷のみならず、プリンタによるプリントも含む概念とする。

[文字の確定方法]
次に、本発明の電子ペンによる文字の確定方法について、図７乃至図１１を参照して説明する。図７は、本発明で使用される電子ペン用帳票の例である。図８は、指示エリアを説明する図である。図９は、認識結果情報のデータ構造を模式的に示す図である。図１０は、１箇所の指示エリアをタップした場合における音声出力を説明する図である。図１１は、２箇所の指示エリアをタップした場合における音声出力を説明する図である。

本発明の電子ペン１０は、上述の専用ペーパーである電子ペン用帳票に記入をした際に、記入した手書き文字をその場で認識し、電子ペン１０に搭載されたスピーカからの音声出力により、誤認識の訂正及び文字の確定をすることができる。つまり、ディスプレイやキーボードを必要とせず、電子ペン１０のみを使用することで、音声出力により容易に認識結果を確認し、誤認識の訂正及び文字の確定をすることが可能となる。

利用者は、電子ペン１０を使用して、図７（ａ）に示すような電子ペン用帳票に、図７（ｂ）に示すように任意の文字列を記入する。ここで、記入された文字列「急速にデジタル化が進んでいます。」は、利用者による手書き文字である。

電子ペン１０は、電子ペン用帳票に記入された内容に対応する記入情報を取得する。ここで、記入情報とは、電子ペン用帳票への記入内容に対応するストロークや座標に関する情報である。電子ペン１０は、記入情報に基づいて文字認識処理を実行することにより、利用者が記入した手書き文字列を構成する各文字を認識する。さらに、電子ペン１０は、図８に示すように、記入情報に基づいて、認識した各文字に対応するストロークに外接する仮想の矩形を指示エリアとして設定する。つまり、１つの手書き文字に１つの指示エリアが設定される。図８乃至図１１において、指示エリアは便宜上直線で囲まれているが、指示エリアは仮想的に設定されているものであるため、実際に利用者が視覚的に認識することはできない。

さらに、電子ペン１０は、指示エリアと、手書き文字と、文字認識処理による出力候補と、電子ペン用帳票に印刷されたドットパターン上における指示エリアの座標データとを対応付けた認識結果情報を作成する。認識結果情報は、図９に示すように、指示エリアＩＤ、手書き文字、第１出力候補、第２出力候補、第３出力候補及び座標データから構成されている。指示エリアＩＤは、各指示エリアを識別する情報である。手書き文字は、指示エリアに対応する手書き文字である。出力候補は、文字認識処理によって手書き文字を認識した文字であって、音声出力する際の候補である。文字認識処理により手書き文字を認識した際、１つの文字に絞り込めず、複数の候補が挙げられる場合がある。この場合、複数の出力候補が存在することになる。本実施形態において出力候補は、第１から第３までが記憶されている。座標データは、電子ペン用帳票に印刷されたドットパターン上における指示エリアの位置座標を示す座標データである。

なお、本実施形態では、図９に示すように、出力候補を第１から第３までとしているが、本発明はこれに限定されるものではなく、出力候補をいくつ挙げるかは任意に設定することができる。また、認識結果情報のデータ構造も任意に設定することができる。

利用者は、電子ペン１０により記入した手書き文字をタップすることで、当該手書き文字の認識結果を音声で確認することができる。タップとは、電子ペン１０により手書き文字をつつくことである。

まず、利用者が電子ペン１０により任意の１文字をタップした場合について説明する。利用者は、図１０に示すように、認識結果を確認したい１文字をタップする。すると、電子ペン１０は、電子ペン用帳票へのタップによる指示に対応する座標データ等を指示情報として取得する。そして、電子ペン１０は、指示情報に含まれる座標データに基づいて認識結果情報を参照することにより、タップされた指示エリアを特定する。また、電子ペン１０は、指示情報に基づいて、圧力センサ１８により、特定した指示エリアがタップされた回数を特定する。さらに、電子ペン１０は、認識結果情報から、特定した指示エリアに対応する第１出力候補乃至第３出力候補を抽出する。電子ペン１０は、予め５０音にそれぞれ対応する音声データを記憶しており、抽出した第１出力候補乃至第３出力候補にそれぞれ対応する音声データを特定する。そして、電子ペン１０は、特定した音声データを、特定したタップ回数に応じてスピーカ１９から出力する。

図１０（ａ）に示すように、利用者が電子ペン１０により認識結果を確認したい１文字を１回タップした場合、電子ペン１０は、第１出力候補に対応する音声データをスピーカ１９から出力する。つまり、図示のように、文字認識処理による認識結果「デ」を音声出力する。

図１０（ｂ）に示すように、利用者が電子ペン１０により認識結果を確認したい１文字を連続してタップした場合、電子ペン１０は、第１出力候補、第２出力候補、第３出力候補に対応する音声データをタップ回数にあわせて次々にスピーカ１９から出力する。つまり、図示のように、文字認識処理による認識結果「ン」、「ジ」、「シ」をタップ回数にあわせて次々に音声出力する。なお、４回以上タップされた場合には、第１出力候補「ン」に戻り、繰り返し出力する。

このとき、電子ペン１０は、最後に音声出力した音声データに対応する出力候補である文字を、正しい文字と確定する。例えば、図１０（ｂ）に示すように、正しい文字が「ジ」であるとする。この場合、利用者は、手書き文字「ジ」を２回タップして第２出力候補「ジ」を音声出力させた後にタップを終了する。すると、電子ペン１０は、第１出力候補「ン」ではなく、最後に音声出力した音声データに対応する第２出力候補「ジ」を正しい文字と確定する。

これによれば、利用者は、電子ペン１０により手書き文字をタップすることで、容易に音声によって文字認識処理による認識結果を確認することができる。また、利用者は、電子ペン１０により手書き文字をタップすることで、容易に誤認識を訂正し、正しい文字を確定することができる。つまり、ディスプレイやキーボードを必要とせず、電子ペン１０のみにより、誤認識の訂正及び文字の確定を行うことができる。

次に、利用者が電子ペン１０により任意の２文字をタップした場合について説明する。利用者は、図１１に示すように、認識結果を確認したい単語の最初の文字及び最後の文字をタップする。すると、電子ペン１０は、電子ペン用帳票へのタップによる指示に対応する座標データ等を指示情報として取得する。そして、電子ペン１０は、指示情報に含まれる座標データに基づいて認識結果情報を参照することにより、タップされた指示エリア２箇所を特定する。さらに、電子ペン１０は、認識結果情報に基づいて、タップされた２箇所の指示エリアの間の指示エリアを特定する。具体的に、図示のように、利用者が手書き文字「デ」及び「ル」をタップした場合、電子ペン１０は、手書き文字「デ」、「ジ」、「タ」、「ル」にそれぞれ対応する指示エリアを特定する。

また、電子ペン１０は、指示情報に基づいて、圧力センサ１８により、特定した指示エリアがタップされた回数を特定する。さらに、電子ペン１０は、認識結果情報から、特定した指示エリアにそれぞれ対応する出力候補を抽出して合成することで、タップした２箇所の指示エリアが示す単語の出力候補である単語出力候補を作成する。例えば、図示のように、第１単語出力候補「デンタル」及び第２単語出力候補「デジタル」を作成する。

具体的に、本実施形態では、認識結果情報から抽出した指示エリアにそれぞれ対応する第１出力候補を全てつなげることで第１単語出力候補を作成し、認識結果情報から抽出した指示エリアにそれぞれ対応する第２出力候補を全てつなげることで第２単語出力候補を作成する。しかし、本発明はこれに限定されるものではなく、予め単語出力候補を認識結果情報に記憶しておくこととしてもよい。

電子ペン１０は、予め記憶している音声データを合成することにより、単語出力候補に対応する単語音声データを作成し、当該単語音声データをスピーカ１９から音声出力する音声データであると特定する。そして、電子ペン１０は、特定した音声データ（即ち、作成した単語音声データ）を、特定したタップ回数に応じてスピーカ１９から出力する。

図１１（ａ）に示すように、利用者が電子ペン１０により認識結果を確認したい単語の最初の文字及び最後の文字を１回ずつタップした場合、電子ペン１０は、第１単語出力候補に対応する音声データをスピーカ１９から出力する。つまり、図示のように、「デンタル」を出力する。

図１１（ｂ）に示すように、利用者が電子ペン１０により認識結果を確認したい単語を連続してタップした場合、電子ペン１０は、第１単語出力候補、第２単語出力候補に対応する音声データをタップ回数にあわせて次々にスピーカ１９から出力する。つまり、図示のように、文字認識処理による認識結果「デンタル」、「デジタル」をタップ回数にあわせて次々に音声出力する。なお、２回以上タップされた場合には、第１単語出力候補「デンタル」に戻り、繰り返し出力する。

このとき、電子ペン１０は、最後に出力した音声データに対応する単語出力候補である単語を正しい単語と確定する。つまり、その単語を構成する各文字を正しい文字と確定する。

なお、このように電子ペン１０によるタップにより２箇所の指示エリアを指定する場合、２箇所をタップする制限時間を予め設定しておくこととしてもよい。指示情報には、タップした時刻に関する時間情報が含まれているため、１箇所目のタップ時刻と２箇所目のタップ時刻との差分により２箇所をタップするのに要した時間を算出することができる。２箇所をタップするのに要した時間が制限時間より長い場合、電子ペン１０は、記入文字列中における単語ではなく、別々の２文字の認識結果を音声出力する。このように、制限時間を設定しておくことで、利用者が、記入文字列中における別々の２文字の認識結果を知りたいのか、１つの単語の認識結果を知りたいのかを区別することができる。

これによれば、利用者は、電子ペン１０により２つの手書き文字をタップすることで、容易に音声によって文字認識処理による単語の認識結果を確認することができる。また、利用者は、電子ペン１０により、容易に単語の誤認識を訂正し、正しい単語を構成する文字を確定することができる。

[専用アプリケーション]
次に、本実施形態における文字確定処理を実行する専用アプリケーション５０について図１２を参照して説明する。図１２は、電子ペン１０内部が有する専用アプリケーション５０の内部構成を示す。専用アプリケーション５０は、上述のように電子ペン１０が保有している処理ソフトウェアである。

図示のように、専用アプリケーション５０は、文字確定プログラム１０１、記入情報取得機能１０２、文字認識機能１０３、指示エリア設定機能１０４、認識結果情報作成機能１０５、指示情報取得機能１０６、タップ指示エリア特定機能１０７、タップ回数特定機能１０８、音声データ特定機能１０９、音声出力機能１１０及び文字確定機能１１１を有する。なお、各機能は、電子ペン１０が有するプロセッサ１１が予め用意されたプログラムを実行することにより実現される。

文字確定プログラム１０１は、記入情報に基づいて文字を認識した上で、利用者の指示に応じて出力候補を音声出力することにより、誤認識の訂正及び文字の確定を行うプログラムである。

記入情報取得機能１０２は、電子ペン用帳票への記入内容に対応する記入情報を取得する機能である。

文字認識機能１０３は、記入情報取得手段１０２が取得した記入情報に含まれるストロークの画像データ等に基づいて文字認識処理を実行することにより、利用者による手書き文字を認識する機能である。

指示エリア設定機能１０４は、記入情報取得手段１０２が取得した記入情報に基づいて、文字認識機能１０３が認識した各文字に対応するストロークに外接する仮想の矩形を指示エリアとして設定する機能である。

認識結果情報作成機能１０５は、図９に示すような、指示エリア設定機能１０４が設定した指示エリアを識別する指示エリアＩＤと、手書き文字と、文字認識機能１０３が認識した文字に対応する出力候補と、指示エリアを示す座標データとを対応付けた認識結果情報を作成する機能である。

指示情報取得機能１０６は、電子ペン用帳票へのタップによる指示に対応する指示情報を取得する機能である。

タップ指示エリア特定機能１０７は、指示情報取得機能１０６が取得した指示情報に基づいて、タップされた指示エリアを特定する機能である。

タップ回数特定機能１０８は、指示情報に基づいて、圧力センサ１８により、タップ指示エリア特定機能１０７が特定した指示エリアがタップされた回数を特定する機能である。

音声データ特定機能１０９は、タップ指示エリア特定機能１０７が特定した指示エリアが１箇所である場合に、認識結果情報作成機能１０５が作成した認識結果情報から、特定した指示エリアに対応する出力候補を抽出し、当該出力候補に対応する音声データを特定する機能である。また、音声データ特定機能１０９は、タップ指示エリア特定機能１０７が特定した指示エリアが２箇所である場合に、認識結果情報に基づいて特定した２箇所の指示エリアが示す単語に対応する単語出力候補を作成し、当該単語出力候補に対応する音声データを特定する機能である。

音声出力機能１１０は、タップ回数特定機能１０８が特定したタップ回数に応じて、音声データ特定機能１０９が特定した音声データをスピーカ１９から出力する機能である。

文字確定機能１１１は、タップ指示エリア特定機能１０７が特定した指示エリアが１箇所である場合に、音声出力機能１１０が音声出力した最後の音声データに対応する出力候補に対応する文字を正しい文字と確定する機能である。また、文字確定機能１１１は、タップ指示エリア特定機能１０７が特定した指示エリアが２箇所である場合に、音声出力機能１１０が音声出力した最後の音声データに対応する単語出力候補に対応する単語を構成する各文字を正しい文字と確定する機能である。

[文字確定処理]
次に、本実施形態の電子ペン１０により実行される文字確定処理について説明する。図１３は、文字確定処理のフローチャートである。

利用者は、電子ペン１０を使用して、電子ペン用帳票に文字列を記入する。このとき、電子ペン１０は、記入内容に対応する記入情報を取得する（ステップＳ１）。さらに、電子ペン１０は、記入情報に基づいて、文字認識処理を実行することで、利用者が電子ペン用帳票に記入した各文字を認識する（ステップＳ２）。そして、電子ペン１０は、記入情報に基づいて、認識した各文字に対応するストロークに外接する矩形を指示エリアとして設定する（ステップＳ３）。

電子ペン１０は、指示エリアを設定すると、設定した指示エリアを識別する指示エリアＩＤと、利用者による手書き文字と、文字認識処理が認識した文字に対応する出力候補と、指示エリアを示す座標データとを対応付けた認識結果情報を作成する（ステップＳ４）。

利用者は、記入した文字列の認識結果を知りたい場合、電子ペン１０により任意の文字をタップする。このような電子ペン用帳票へのタップによる指示を、電子ペン１０は、指示情報として取得する。指示情報を取得すると（ステップＳ５；Ｙｅｓ）、電子ペン１０は、指示情報に含まれる座標データに基づいて認識結果情報を参照することにより、対応する指示エリアを特定する。即ち、利用者によりタップされた指示エリアを特定する（ステップＳ６）。また、電子ペン１０は、指示情報に基づいて、圧力センサ１８により、特定した指示エリアをタップした回数を特定する（ステップＳ７）。

電子ペン１０は、利用者によりタップされた指示エリアが１箇所であるか２箇所であるかを判定する（ステップＳ８）。１箇所であると判定された場合（ステップＳ８；１箇所）、電子ペン１０は、認識結果情報から特定した指示エリアに対応する出力候補を抽出し、当該出力候補に対応する音声データを特定する（ステップＳ９）。さらに、電子ペン１０は、特定したタップ回数に応じ、特定した音声データに基づいてスピーカ１９から音声を出力する（ステップＳ１０）。そして、電子ペン１０は、最後の音声データに対応する出力候補に対応する文字を正しい文字と確定し（ステップＳ１１）、文字確定処理を完了する。

一方、利用者によりタップされた指示エリアが２箇所であると判定された場合（ステップＳ８；２箇所）、電子ペン１０は、認識結果情報から特定した指示エリアに対応する出力候補を抽出して合成することで、２箇所の指示エリアが示す単語に対応する単語出力候補を作成する。そして、電子ペン１０は、単語出力候補に対応する音声データを特定する（ステップＳ１２）。さらに、電子ペン１０は、特定したタップ回数に応じ、特定した音声データに基づいてスピーカ１９から音声を出力する（ステップＳ１０）。そして、電子ペン１０は、最後の音声データに対応する出力候補に対応する単語を構成する各文字を正しい文字と確定し（ステップＳ１１）、文字確定処理を完了する。

なお、電子ペン１０は、同じ文字列内における指示情報を取得した場合、当該指示情報に基づいてステップＳ５乃至Ｓ１１の処理を繰り返し行う。

これによれば、ディスプレイやキーボードを持たない電子ペン１０であっても、音声出力だけで記入文字の誤認識の訂正及び文字の確定を容易に行うことができる。

なお、本実施形態では、認証結果情報を作成して指示エリアと出力候補とを対応づけているが、本発明はこれに限定されるものではなく、認証結果情報を作成しなくとも指示エリアと出力候補とが関連付されていればよい。即ち、認証結果情報の作成以外の方法であっても、指示エリアと出力候補とが対応づけされていれば本発明を適用することができる。

また、本実施形態では、電子ペン１０が予め５０音にそれぞれ対応する音声データを記憶することとしているが、本発明はこれに限定されるものではなく、任意の文字及び単語に対応する音声データを予め記憶することとしてもよい。

また、本実施形態には記載されていないが、認証結果情報において、出力候補である文字や単語に対応する音声データを予め格納しておくこととしてもよい。

また、本実施形態では、最後に音声出力された出力候補に基づいて文字を確定しているが、本発明はこれに限定されるものではなく、例えば正しい出力候補が音声出力された後にチェックマークを記入したり、予め電子ペン用帳票上に設けられた「確定エリア」をチェックしたりするアクションにより文字を確定することとしてもよい。

また、本実施形態では記載していないが、音声出力する際に音読／訓読を切り替えるエリアを電子ペン用帳票上に設けることとしてもよい。これによれば、利用者が電子ペン１０により記入したエリアに基づいて容易に音読／訓読を切り替えることができる。

本発明によれば、ディスプレイやキーボードを必要とせず、音声出力だけで記入文字の誤認識を訂正することが可能な電子ペンとして利用することができる。

電子ペンの使用形態を模式的に示す図である。 電子ペンの構造を示す機能ブロック図である。 専用ペーパーに印刷されたドットパターンによる情報の表現方法を説明する図である。 ドットパターン及びそれに対応する情報の例である。 専用ペーパーにより構成される帳票の構造を示す。 電子ペン用帳票の例を示す。 本実施形態で使用する電子ペン用帳票の例である。 指示エリアを説明する図である。 認識結果情報のデータ構造を模式的に示す図である。 １箇所の指示エリアをタップした場合における音声出力を説明する図である。 ２箇所の指示エリアをタップした場合における音声出力を説明する図である。 電子ペンにおける専用アプリケーションの機能ブロック図である。 文字確定処理のフローチャートである。

符号の説明

１０…電子ペン
１１…プロセッサ
１２…メモリ
１３…データ通信ユニット
１４…バッテリー
１５…ＬＥＤ
１６…カメラ
１８…圧力センサ
１９…スピーカ
５０…専用アプリケーション

Claims (6)

1. 認識可能なドットパターンが印刷された電子ペン用帳票に記入された情報を処理する電子ペンであって、
   前記電子ペンは、
   音声データに基づいて音声を出力する音声出力部と、
   前記音声データを記憶する音声データ記憶手段と、
   前記電子ペン用帳票への記入内容に対応する記入情報を取得する記入情報取得手段と、
   前記記入情報に基づいて文字を認識する文字認識手段と、
   前記記入情報に基づいて、前記文字認識手段が認識した各文字に対応するストロークに外接する指示エリアを設定する指示エリア設定手段と、
   前記電子ペン用帳票へのタップによる指示に対応する指示情報を取得する指示情報取得手段と、
   前記指示エリアと、前記ドットパターン上における前記指示エリアの位置座標を示す座標データとを対応付けた認識結果情報を作成する認識結果情報作成手段と、
   前記指示情報に含まれる座標データに基づいて前記認識結果情報を参照することで、タップした指示エリアを特定するタップ指示エリア特定手段と、
   前記指示情報に基づいて、前記タップ指示エリア特定手段が特定した指示エリアをタップした回数を特定するタップ回数特定手段と、
   前記音声データ記憶手段に基づいて、前記タップ指示エリア特定手段が特定した指示エリアが設定された文字に対応する音声データを特定する音声データ特定手段と、
   前記タップ回数特定手段が特定したタップ回数に応じて、前記音声出力部から前記音声データ特定手段が特定した音声データに基づく音声を出力する音声出力手段と、を備えることを特徴とする電子ペン。
2. 前記認識結果情報作成手段は、前記指示エリアと、前記座標データと、前記文字認識手段が認識した文字であって音声出力する際の候補である１つ以上の出力候補とを対応付けた認識結果情報を作成するものであって、
   前記電子ペンは、
   前記認識結果情報から、前記タップ指示エリア特定手段が特定した指示エリアに対応する出力候補を抽出する出力候補抽出手段をさらに備え、
   前記音声データ特定手段は、前記音声データ記憶手段に基づいて、前記出力候補抽出手段が抽出した出力候補である文字に対応する音声データを特定することを特徴とする請求項１に記載の電子ペン。
3. 前記電子ペンは、
   前記音声出力手段が最後に出力した音声データに対応する出力候補である文字を、正しい文字であると確定する文字確定手段をさらに備えることを特徴とする請求項１又は２に記載の電子ペン。
4. 前記電子ペンは、
   前記タップ指示エリア特定手段が特定した指示エリアが２箇所であるか否かを判定する判定手段と、
   前記判定手段により２箇所であると判定された場合に、前記認識結果情報に基づいて、前記タップ指示エリア特定手段が特定した２箇所の指示エリアの間にある全ての指示エリアを特定する単語指示エリア特定手段と、
   前記認識結果情報から、前記タップ指示エリア特定手段が特定した２箇所の指示エリア及び前記単語指示エリア特定手段が特定した指示エリアのそれぞれに対応する出力候補を抽出して合成することで、当該２箇所の指示エリアが示す単語の出力候補である単語出力候補を作成する単語出力候補作成手段と、をさらに備え、
   前記音声データ特定手段は、前記判定手段により２箇所であると判定された場合に、前記音声データ記憶手段に基づいて、前記単語出力候補作成手段が作成した単語出力候補である単語に対応する音声データを特定することを特徴とする請求項２又は３に記載の電子ペン。
5. 前記文字確定手段は、前記判定手段により２箇所であると判定された場合に、前記音声出力手段が最後に出力した音声データに対応する単語出力候補である単語を構成する文字を、正しい文字であると確定することを特徴とする請求項４に記載の電子ペン。
6. 認識可能なドットパターンが印刷された電子ペン用帳票に記入された情報を処理するコンピュータにより実行されるプログラムであって、
   前記コンピュータは、
   音声データに基づいて音声を出力する音声出力部を備え、
   前記プログラムは、
   前記音声データを記憶する音声データ記憶手段、
   前記電子ペン用帳票への記入内容に対応する記入情報を取得する記入情報取得手段、
   前記記入情報に基づいて文字を認識する文字認識手段、
   前記記入情報に基づいて、前記文字認識手段が認識した各文字に対応するストロークに外接する指示エリアを設定する指示エリア設定手段、
   前記電子ペン用帳票へのタップによる指示に対応する指示情報を取得する指示情報取得手段、
   前記指示エリアと、前記ドットパターン上における前記指示エリアの位置座標を示す座標データとを対応付けた認識結果情報を作成する認識結果情報作成手段、
   前記指示情報に含まれる座標データに基づいて前記認識結果情報を参照することで、タップした指示エリアを特定するタップ指示エリア特定手段、
   前記指示情報に基づいて、前記タップ指示エリア特定手段が特定した指示エリアをタップした回数を特定するタップ回数特定手段、
   前記音声データ記憶手段に基づいて、前記タップ指示エリア特定手段が特定した指示エリアが設定された文字に対応する音声データを特定する音声データ特定手段、
   前記タップ回数特定手段が特定したタップ回数に応じて、前記音声出力部から前記音声データ特定手段が特定した音声データに基づく音声を出力する音声出力手段、として前記コンピュータを機能させることを特徴とするプログラム。

Images