JP2003288545A - 文字認識装置及び文字認識プログラム - Google Patents

Abstract

(57)【要約】 【課題】あらかじめ指定された枠内に文字を記入する必
要が無く、また、文字と線画とを混在して手書入力をお
こなった場合でも、高い文字認識率を有する文字認識装
置を提供することができる。また、文字ブロックごとに
文字認識を行い、さらに、隣接する文字ブロック間にお
ける文字認識を行うため、高速度で高い文字認識率を有
する文字認識装置を提供する。 【課題を解決するための手段】手書入力データを分析
し、手書文字データと描画データとに分離する手書入力
データ分離部と、前記手書文字データを分析して所定の
方向に連続する文字列単位の文字ブロックを設定する文
字ブロック生成部と、前記文字ブロック単位で手書文字
データの文字認識を行う文字認識部とを具備するように
した。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手書き入力された
内容の電子データ化を行う文字認識装置に関するもので
ある。

【０００２】

【従来の技術】近年、目まぐるしく情報化が進む中、オ
フィスでは会議中にホワイトボードに書き込んだ文字等
をスキャナ等で読み取って文字認識を行いテキストデー
タに変換してパソコン等に保存し、保存したデータを２
次加工して利用するなどの需要が高まっている。また、
この他にも様々な電子データ化が要求されるオフィスに
おいては、ホワイトボードに限らず紙や電子ペーパー等
の各種媒体に書き込まれる手書文字をデータベース化す
るための装置として、文字認識装置は必要不可欠のもの
となりつつある。

【０００３】

【発明が解決しようとする課題】しかしながら、従来の
文字認識装置では、あらかじめ指定された枠内に文字を
記入する必要があったり、また、文字と線画とを区別し
て認識することが困難なため、書き込み時に文字入力も
しくは線画入力を区別させるアクションを設ける必要が
あったりするなどの問題があった。

【０００４】そこで、本発明は、上述する問題を解決す
ることを主たる課題とするものである。

【０００５】

【課題を解決するための手段】すなわち、本発明は、手
書入力データを分析し、手書文字データと描画データと
に分離する手書入力データ分離部と、前記手書文字デー
タを分析して所定の方向に連続する文字列単位の文字ブ
ロックを設定する文字ブロック生成部と、前記文字ブロ
ック単位で手書文字データの文字認識を行う文字認識部
とを具備するようにしたものである。

【０００６】なお、ここで「文字」とは、漢字、仮名、
ローマ字、句読点等、例えば日本語入力ソフト等により
文字コードに変換可能なものを示す。

【０００７】このような構成によれば、あらかじめ指定
された枠内に手書文字を記入する必要がなく、また、書
込み時に文字入力もしくは線画入力を区別させるアクシ
ョンを必要とせずに文字と線画とを区別して文字認識可
能な文字認識装置の提供を行うことができる。

【０００８】また、読み取った手書入力データを再加工
可能にするためには、前記文字認識部で認識した手書文
字データをテキストデータに変換して出力するとともに
前記描画データをそのまま出力するデータ変換部を設け
ればよい。

【０００９】そして手書入力データを手書文字データと
描画データとに分離するためには、画面上に表示した前
記手書入力データの中の少なくとも一部を包囲する枠の
指定を受け付ける枠データ受付部と、前記手書入力デー
タと前記枠データ受付部で受け付けた枠とを比較し、手
書入力データが枠より大きい場合は描画データとして認
識し、手書入力データが枠より小さい場合は手書文字デ
ータとして認識する手書入力データ比較部とを用意し、
前記手書入力データ分離部が、この手書入力データ比較
部の認識結果に基づき、手書入力データを手書文字デー
タと描画データとに分離すればよい。

【００１０】ところで、高い文字認識率を得るために
は、複数の文字ブロック間同士の関係を解析してそれら
文字ブロック内の文字認識を行うことが好ましい。

【００１１】この文字認識の具体的な実施態様として
は、前記文字認識部が、認識した複数の文字における幾
何学的な文字分離の確率と、文字認識辞書に格納される
文字との近似度と、隣接する２文字間の遷移頻度により
求められる２文字間遷移確率とから最も確信度の高い文
字列の組合せを決定することが挙げられる。

【００１２】ところで、手書による文字を認識し高い文
字認識率を得るためには、前記手書入力データが、筆順
等の書込み順序を示す属性を有するストローク単位で構
成されるものであることが好ましい。

【００１３】さらに、縦書きや横書きや斜め書き等の書
込み方向を解析するためには、ストロークに基づき、文
字ブロック内における文字列の書込み方向を解析する運
筆方向解析部を具備すればよい。

【００１４】また、ストロークから文字の認識を行うた
めには、前記文字ブロック生成部が、同一の書込み方向
にある全てのストロークを包囲する包囲枠とこの全ての
ストロークの次に書き込まれた次ストロークとが交差す
るときに、前記全てのストローク及び前記次ストローク
を含む全ストロークを包囲する新たな包囲枠を形成し、
一方、同一の書込み方向にある全てのストロークを包囲
する包囲枠とこの全てのストロークの次に書き込まれた
次ストロークとが交差せず且つ該次ストロークが前記包
囲枠の書込み方向の所定の範囲にない場合、前記包囲枠
に含まれる全てのストロークを文字ブロックとして設定
することが好ましい。

【００１５】なお、ここで「交差する」とは、包囲枠と
次ストロークとが少なくとも一部交差している場合や包
囲枠が次ストロークを包囲する場合も含む。

【００１６】前記所定の範囲の具体的な実施態様として
は、前記所定の範囲が前記包囲枠端縁から書込み方向に
連続し、かつ、その書込み方向に連続する距離が、前記
包囲枠における書込み方向と直行する辺の所定倍の長さ
以内であることが好ましい。

【００１７】さらに、高い文字認識率を得るためには、
前記手書入力データが、筆順等の書込み順序を示す属性
を有するストローク単位で構成され、このストロークか
ら得られた文字ブロック内における文字列の書込み方向
に基づき、文字ブロック間の繋がりを解析するブロック
間関係解析部を具備し、このブロック間関係解析部で得
られた文字ブロック間の繋がりに基づき、前記文字認識
部が、複数の文字ブロック間同士の関係を解析してそれ
ら文字ブロック内の文字認識を行うことが望ましい。

【００１８】手書文字と描画とが混在する手書入力から
これらを分離するためには、手書文字と描画とを含む手
書入力データに基づいて、コンピュータの画面上に表示
させた手書文字部分と描画部分の内、いずれかの少なく
とも一部を包囲する枠の指定を受け付ける枠データ受付
部と、前記手書入力データと前記枠データ受付部で受け
付けた枠とを比較し、手書入力データが枠より大きい場
合は描画データとして認識し、手書入力データが枠より
小さい場合は手書文字データとして認識する手書入力デ
ータ分離部とを具備することが望ましい。

【００１９】

【発明の実施の形態】以下、図面を用いて本発明の実施
形態について説明する。

【００２０】本発明の文字認識装置Ｐは、図１に示すよ
うに、書込み可能なボード面Ｗ１を有するホワイトボー
ドＷＢに取り付けられるセンサ装置Ｓとともに使用され
るものであって、このセンサ装置Ｓからホワイトボード
ＷＢに書き込まれる手書文字データＬや描画データＤ等
が含まれる手書入力データＦを受信し、文字認識処理を
行うものである。

【００２１】センサ装置Ｓは、現在市販されているボー
ドスキャナに分類されるものであって、二つの吸盤を利
用してボード面Ｗ１に着脱可能に取り付けられており、
そして、ペン圧を検知して音波を出力する図示しない専
用の筆記具とともに使用される。そして、このセンサ装
置Ｓは、図２に示すように、ＣＰＵ１０１、内部メモリ
１０２、専用筆記具から出力される音波を検出する二つ
の超音波センサ１０３、１０４、赤外線センサ１０５、
ＲＳ２３２Ｃ等の通信インタフェイス１０６等を主な構
成要素とする。

【００２２】そして、内部メモリ１０２に記憶したプロ
グラムに従ってＣＰＵ１０１や他の機器が動作し、図３
に示すように、少なくとも手書入力データ取得部１１
と、手書入力データ送信部１２としての機能を有してい
る。

【００２３】さらに詳述すると、このセンサ装置Ｓは、
二つの超音波センサ１０３、１０４を、該センサ装置Ｓ
の上下方向に一定距離隔てて設けてあり、二つの超音波
センサ１０３、１０４と前記筆記具との位置関係によっ
て筆記具の位置を検出できるように設定している。そし
て、この筆記具を用いて手書入力すると、すなわち筆記
具を筆圧がかかった状態で移動すると、これらの軌跡を
手書入力データとして手書入力データ取得部１１が取得
する。すなわち、手書入力データは、筆順等の書込み順
序やホワイトボードＷＢにおける書込位置を示す属性を
有するストローク単位で構成されるベクトルデータとし
て取得される。

【００２４】また、赤外線検出センサ１０５は、専用筆
記具の先に取り付けられた筆記具の色を検出できるよう
に設定している。

【００２５】このようにして手書入力データ取得部１１
が取得した手書入力データは、手書入力データ送信部１
２によって通信インタフェイス１０６を介してリアルタ
イムに文字認識装置Ｐに送信されるように設定されてい
る。また同時に筆記具の色も同時に送信されるように設
定されている。

【００２６】本実施形態では、図１に示すように、手書
入力データ取得部１１がホワイトボードＷＢに書き込ま
れた「今日解決ホワイトボード上に書いた日本語文字を
スクリプトコンバーターが認識、ＴＥＸＴデータ変換さ
せます。」等を、筆順等の書込み順序やホワイトボード
ＷＢにおける書込位置を示す属性を有するストローク単
位で構成されるベクトルデータとして取得し、そして、
手書入力データ送信部１２がこれら手書入力データＦを
文字認識装置Ｐに送信する。

【００２７】そして、このようにしてセンサ装置Ｓで読
み取られた手書による文字や描画など手書入力データＦ
は、リアルタイムに文字認識装置Ｐに送信される。そし
て、ホワイトボードへの書込みが終了した時点で、セン
サ装置Ｓに設けた図示しないリセットボタンが押される
と、手書入力の終了を受け付けたことを示す入力終了信
号を文字認識装置Pに送信し、これら手書入力データの
文字認識処理が文字認識装置Ｐで行われるように設定し
ている。

【００２８】次に、文字認識装置Ｐにおける文字認識処
理について説明する。

【００２９】本発明の文字認識装置Ｐは、例えば、パー
ソナルコンピュータのような一般的な情報処理機能やデ
ータベース機能等を具備したもので、図４に示すよう
に、ＣＰＵ２０１、内部メモリ２０２、ＨＤＤ等の外部
記憶装置２０３、キーボードやマウス等のユーザインタ
フェイス２０４、ＣＲＴ等の表示部２０５、ＲＳ２３２
Ｃ等の通信インタフェイス２０６等を主な構成要素とす
る。

【００３０】そして、この文字認識装置Ｐは、その内部
メモリ２０２等に記憶されたプログラムにしたがって前
記ＣＰＵ２０１や周辺機器を作動し、図３に示すよう
に、手書入力データ受付部２１、手書入力データ格納部
２２、画面表示部３１、枠データ受付部４１、手書入力
データ比較部５１、手書入力データ分離部５２、描画デ
ータ格納部６１、手書文字データ格納部７１、運筆方向
解析部８０、文字ブロック生成部８１、文字ブロック格
納部８２、ブロック間関係解析部９２、文字認識辞書格
納部９３、文脈辞書格納部９４、文字認識部１０１、文
字データバッファ１０２、データ変換部１１１、変換済
データ表示部１１２等としての機能を発揮するようにし
ている。

【００３１】手書入力データ受付部２１は、前記通信イ
ンタフェイス２０６等で構成されるものであって、前記
センサ装置Ｓから送信される手書入力データを受け付け
るものである。

【００３２】より具体的には、本実施形態では、センサ
装置Ｓから送信される「今日解決ホワイトボード上に書
いた日本語文字をスクリプトコンバーターが認識、ＴＥ
ＸＴデータ変換させます。」を、「ノ」、「＼」、
「一」・・・の順に、それぞれ筆順等の書込み順序やホ
ワイトボードＷＢにおける書込位置を示す属性を有する
ストローク単位で順次受け付ける。

【００３３】手書入力データ格納部２２は、前記外部記
憶装置２０３等の所定領域に形成されるものであって、
手書入力データ受付部２１が受け付けた手書入力データ
をストローク単位で順次格納している。

【００３４】画面表示部３１は、センサ装置Ｓから受け
付けた手書入力データ格納部２２に順次格納される手書
入力データＬを、図５に示すように、表示部２０５に画
面表示するものである。

【００３５】枠データ受付部４１は、画面表示部３１に
画面表示した前記手書入力データＬの中で最も大きい文
字を包囲する枠を、前記ユーザインタフェイス２０４等
により受け付けるものである。

【００３６】より具体的には、図５に示すように、画面
表示した手書入力データＬの中で「解」の文字が最も大
きく、これを認識したユーザが、前記ユーザインタフェ
イス２０４等を利用して該文字「解」を取り囲む枠Ａを
指定する。このようにして指定された枠Ａを、枠データ
受付部４１が読み取ることで枠が設定されることとな
る。

【００３７】ところで本実施形態では、枠データ受付部
４１が取得した枠Ａを若干大きくするように設定してい
る。これは、該枠Ａとの交差する範囲を大きくすること
で、後述する手書入力データ比較部５１及び手書入力デ
ータ分離部５２における文字データと描画データとの分
離をより確実に行うことができるからである。

【００３８】また、本実施形態では、枠データ受付部４
１が、画面表示部３１に画面表示した前記手書入力デー
タＬの中で最も大きい文字を包囲する枠を受け付けるよ
うにしたが、文字に限らず、描画を包囲する枠を受け付
ける実施態様等も考えられる。

【００３９】手書入力データ比較部５１は、前記手書入
力データと前記枠データ受付部４１で受け付けた枠Ａと
を比較し、手書入力データＬが枠Ａより大きい場合は描
画データとして認識し、手書入力データＬが枠Ａより小
さい場合は手書文字データとして認識するものである。

【００４０】より具体的には、図５に示すように、「解
決」Ｌ１を囲む「〇」Ｄ１について考えると、この
「〇」Ｄ１と前記枠Ａとを比較した場合、「〇」Ｄ１が
前記枠Ａより大きい描画データであることが認識され
る。

【００４１】手書入力データ分離部５２は、前記手書入
力データ比較部５１の認識結果に基づき、手書入力デー
タを手書文字データと描画データとに分離するものであ
る。より具体的には、前記手書入力データ比較部５１で
得られた「〇」Ｄ１が前記枠Ａより大きいという結果に
基づき、「〇」Ｄ１を描画データとして描画データ格納
部６１に出力する。なお、枠データ受付部４１で受け付
けた枠より若干大きくするように設定した枠Ａは、
「〇」や「□」等の描画データを「口」や「ロ」等の文
字として誤認識されることを防止する効果がある。例え
ば、「国」を「口」と「玉」とに誤認識されることを防
ぐことができる。なお、本実施形態では、枠を１．２倍
に設定したが、これに限られるものではない。無論縦横
比を自由に設定してもよいしさらには丸枠などであって
もよい。

【００４２】描画データ格納部６１は、前記外部記憶装
置２０３等の所定領域に形成されるものであって、前記
手書入力データ分離部５２で分離された描画データＤを
格納するものである。

【００４３】手書文字データ格納部７１は、前記外部記
憶装置２０３等の所定領域に形成されるものであって、
前記手書入力データ分離部５２で分離された手書文字デ
ータＬを格納するものである。

【００４４】運筆方向解析部８０は、手書文字データＬ
のストロークに基づき、文字列の書込み方向を解析する
ものである。

【００４５】より具体的には、複数のストロークで構成
される文字列が、左から右方向または右から左方向に書
き込まれたことを解析したり、上から下または下から上
に書き込まれたことを解析したりする。そしてこの解析
結果により、文字列の書込み方向が右向きか左向きに書
き込まれたものであるか、或いは上向きか下向きに書き
込まれたものであるかを出力する。なお、該運筆方向解
析部８０が、手書文字データが斜めに書き込まれたもの
であってもその書込み方向を解析可能であることはいう
までもない。

【００４６】文字ブロック生成部８１は、手書文字デー
タＬを構成するストロークに基づき、所定の方向に連続
する文字列からなる文字ブロックを設定するものであ
る。

【００４７】より具体的に、手書文字データ「今日」か
ら文字ブロックが設定される過程を、図６を用いて詳述
する。この「今日」は、第１ストロークから第８ストロ
ークまでの８つのストロークで構成されている。

【００４８】まず、第１ストローク「ノ」Ｓ１を包囲す
る包囲枠たる第１外接矩形Ｂ１が形成される。

【００４９】次に、第２ストローク「＼」Ｓ２と前記第
１外接矩形Ｂ１とが交差しているか否かのチェックが行
われる。そして、この第２ストローク「＼」Ｓ２と前記
第１外接矩形Ｂ１とは交差しているため、これら第１ス
トローク「ノ」Ｓ１と第２ストローク「＼」Ｓ２とを含
む新たな包囲枠である第２外接矩形Ｂ２を設定する。

【００５０】すなわち、第ｎ＋１番目のストロークと、
第ｎ番目の外接矩形とが交差していれば、この第ｎ＋１
番目のストロークまでの全てのストロークを包囲する新
しい包囲枠を求め、これを第ｎ＋１番目の外接矩形とし
て設定する。

【００５１】ところで、第５ストローク「｜」Ｓ５と第
４外接矩形Ｂ４との交差をチェックすると、これらは交
差していないことがわかる。この場合には、第４外接矩
形Ｂ４における運筆方向に直行する運筆方向直行辺ＢＸ
の２倍の長さの判別距離ＢＹを求め、該第４外接矩形端
縁たる運筆方向直行辺ＢＸから書込み方向に連続する前
記判別距離の範囲、すなわち運筆方向直行辺ＢＸと判別
距離ＢＹとで囲まれる領域の中に、この第５ストローク
「｜」Ｓ５が存在するか否かをチェックする。

【００５２】そして、第５ストローク「｜」Ｓ５はこの
範囲に存在するので、この第５ストローク「｜」Ｓ５ま
でを包囲する新たな包囲枠を求め、これを第５外接矩形
Ｂ５として設定する。

【００５３】すなわち、第ｎ＋１番目のストロークと、
第ｎ番目の外接矩形とが交差していないとき、第ｎ番目
の外接矩形における運筆方向に直行する運筆方向直行辺
の２倍の長さの判別距離を求め、該第ｎ外接矩形端縁た
る運筆方向直行辺から書込み方向に連続する前記判別距
離の範囲の中に、この第ｎ＋１番目のストロークが存在
するか否かをチェックする。そして、第ｎ＋１番目のス
トロークが該範囲の中に存在していれば、この第ｎ＋１
番目のストロークまでを包囲する新たな包囲枠を求め、
これを第ｎ＋１番目の外接矩形として設定する。一方、
この第ｎ＋１番目のストロークが該範囲の中に存在して
いなければ、この第ｎ＋１番目のストロークまでを文字
ブロックとして設定する。

【００５４】また、第ｎ＋１番目のストロークが存在し
ていなければ、第ｎ番目のストロークまでを文字ブロッ
クとして設定する。

【００５５】以上のようにして、図６に示すように、文
字ブロック生成部８１は、手書文字データを構成するス
トロークＳ１〜Ｓ８に基づき、所定の方向に連続するス
トロークからなる文字ブロック「今日」ＬＢを設定する
ことができる。また、文字ブロックは、ホワイトボード
ＷＢにおける書込位置を有するストロークに基づき生成
されるため、この文字ブロックも位置情報を有してい
る。そしてこの位置情報に基づき、文字ブロックが表示
部２０５に表示される位置が決定されることとなる。

【００５６】文字ブロック格納部８２は、前記外部記憶
装置２０３等の所定領域に形成されるものであって、手
書文字データＬを構成するストロークを、前記文字ブロ
ック生成部８１で設定された文字ブロック単位ごと格納
している。

【００５７】より具体的には、「今日」、「解決」、
「ホワイトボード上に書いた」、「日本語文字を」、
「スクリプトコンバーター」、「が認識、ＴＥＸＴ」、
「データ変換させます。」を構成するストロークを、そ
れぞれ文字ブロック単位で格納している。

【００５８】ブロック間関係解析部９２は、筆順などの
書込み順序を示す属性を有するストロークに基づき、前
記文字ブロック格納部８２に格納される文字ブロック間
の繋がりを解析するものである。

【００５９】より具体的には、文字ブロック格納部８２
に格納される「今日」、「解決」、「ホワイトボード上
に書いた」、「日本語文字を」、「スクリプトコンバー
ター」、「が認識、ＴＥＸＴ」、「データ変換させま
す。」は、「ノ」、「＼」、「一」・・・の順に、それ
ぞれ筆順等の書き込み順序を示す属性を有しているた
め、これに基づき各ストロークの繋がりを解析できる。
すなわち、「今日」と「解決」、「解決」と「ホワイト
ボード上に書いた」、「ホワイトボード上に書いた」と
「日本語文字を」、「日本語文字を」と「スクリプトコ
ンバーター」、「スクリプトコンバーター」と「が認
識、ＴＥＸＴ」、「が認識、ＴＥＸＴ」と「データ変換
させます。」らがそれぞれ、隣り合う繋がりを有した文
字ブロックであると出力される。

【００６０】文字認識辞書格納部９３は、前記外部記憶
装置２０３の所定領域に設けられるものであって、マッ
チングのベースとなる手書パターン等を格納している。

【００６１】文脈辞書格納部９４は、前記外部記憶装置
２０３の所定領域に設けられるものであって、日本語等
の２文字間の遷移頻度を格納している。

【００６２】なお、本実施形態では、２文字間の遷移頻
度を格納するものとしたがこれに限らず、より文字認識
率を向上させるために、複数文字間の遷移頻度を格納し
たり、例えば構文解析、意味解析、文脈解析等が可能な
辞書を格納したりする等の実施態様も考えられる。

【００６３】文字認識部１０１は、前記文字ブロック格
納部８２に格納される手書文字データに対して、運筆方
向解析部８０と前記ブロック間関係解析部９２と前記文
字認識辞書格納部９３と前記文脈辞書格納部９４とを参
照し、文字列を認識し出力するものである。

【００６４】この文字認識部１０１における文字認識
は、以下に述べる各文字ブロックごとにおける第１段階
の文字認識と、文字ブロック間における第２段階の文字
認識との２段階で行われる。

【００６５】まず、第１段階の文字認識は、文字ブロッ
ク単位でその中に含まれている文字列の文字認識を文字
認識辞書格納部９３と文脈辞書格納部９４とを参照して
行う。次に、第２段階の文字認識は、文字ブロック間関
係解析部９２で得られた文字ブロック間における文脈な
どの整合性をチェックする。そして、これらより得られ
た最も確信度の高い文字認識結果をデータ変換部１１１
に出力する。

【００６６】より具体的には、第１段階の文字認識であ
る各文字ブロックにおける文字認識を、「解決」を用い
て説明する。

【００６７】文字認識部１０１が文字ブロック「解決」
を受け付けると、まず、この文字入力データ「解」
「決」について、前記文字認識辞書格納部９３に格納さ
れる文字との近時度により、マッチングパターンの高い
順に「解」については認識文字「解」と「觧」とを得、
また「決」については認識文字「決」と「沢」との２パ
ターンを得たとする。次にこれら認識文字を、隣接する
２文字に組み合わる。そして組み合わせて得られた
「解」と「決」、「解」と「沢」、「觧」と「決」、
「觧」と「沢」の４パターンについて、それぞれ、
「解」と「決」との遷移頻度、「解」と「沢」との遷移
頻度、「觧」と「決」との遷移頻度、「觧」と「沢」と
の遷移頻度とを文脈辞書格納部９４からそれぞれ求め
る。しかして、この文脈辞書格納部９４において最も高
い遷移頻度の組合せが「解」と「決」とであったとする
と、この組合せである「解決」が文字列候補として文字
データバッファ１０２に格納されることとなる。

【００６８】なお、手書文字入力データが「林に」であ
った場合、前記文字認識辞書格納部９３に格納される文
字との近時度によって、「木」と「木」と「に」や
「林」と「し」と「こ」のように、本来一文字である文
字がばらばらの文字として認識される場合も考えられる
が、これは文脈辞書格納部９４を参照することにより補
正される。すなわち、この文字認識辞書格納部９３と文
脈辞書格納部９４との両方を参照することより高い認識
率を、文字ブロック内の手書文字データに対して得られ
ることとなる。このようにして第１段階の文字認識で得
られた文字列は、文字列候補として文字データバッファ
１０２に出力される。

【００６９】次に、第１段階の文字認識で得られた文字
列候補に対して第２段階の文字認識を行う。

【００７０】まず、第１段階の文字認識で得られて文字
列バッファ１０２に格納される文字列候補「今日」、
「解決」、「ホワイトボード上に書いた」、「日本語文
字を」、「スクリプトコンバーター」、「が認識、ＴＥ
ＸＴ」、「データ変換させます。」に対して、前記ブロ
ック間関係解析部９２で得られた繋がりが解析される。

【００７１】すなわち、前記ブロック間関係解析部９２
で繋がっていると解析された文字列候補「今日」と「解
決」とについて前記文脈辞書格納部９４の参照が行われ
る。そして、この文字列候補「今日」と「解決」とにお
ける繋がりはないと判断され、かつ、各々独立する単語
であることが認識された場合、この文字列候補「今日」
を文字列としてデータ変換部１１１に出力する。

【００７２】以下同様に、前記文脈辞書格納部９４を参
照しながら、文字列候補間の文字認識が行われる。そし
て、連続する文字列候補における文脈の不整合さがあっ
た場合、第１段階の文字認識である文字ブロック内の文
字認識を、再度を行うように設定している。すわなち、
個々の文字ブロック内で誤った文字認識がされていた場
合は、再度この文字ブロックでの文字認識が行われるこ
ととなる。

【００７３】このようにして、文字データバッファ１０
２に格納されている文字列候補の文字認識は、ブロック
間関係解析部９２、文脈辞書格納部９４等によって行わ
れ、文脈等の不整合があった場合には、再度第１段階の
文字認識が行われるため、高い文字認識率を有する文字
列をデータ変換部１１１に出力することができる。

【００７４】以上のように、本実施形態の文字認識部１
０１における文字認識は、各文字ブロックごとにおける
第１段階の文字認識と、文字ブロック間における第２段
階の文字認識との組合せにより行われることとなるた
め、非常に高い文字認識率を有した文字列を得ることが
できる。

【００７５】文字データバッファ１０２は、前記内部メ
モリ２０２の所定領域に設けられるものであって、前記
文字認識部１０１において文字列が確定されるまでに生
成される文字列候補等を一時的に格納するものである。

【００７６】データ変換部１１１は、前記文字認識部１
０１で得られた文字列をテキストデータに変換するもの
である。また、前記描画データ格納部６１に格納してい
る描画データは、変換せずに画面表示部３１や変換済み
データ格納部１１２にそのまま出力する。

【００７７】なお、本実施形態では文字列をテキストデ
ータに変換するものとしたが、これに限らず、パソコン
などの情報処理装置が取り扱うことのできる任意のフォ
ーマットのデータに変換しても構わない。

【００７８】変換済データ表示部１１２は、図７に示す
ように、前記データ変換部１１１で出力されるテキスト
データＴ及び描画データＤ１、Ｄ２とを、前記表示部２
０５に画面表示するものである。なお、このテキストデ
ータＴ及び描画データＤ１、Ｄ２とは、前記画面表示部
３１が表示するウインドウとは別ウインドウに表示する
ように設定している。また、このテキストデータＴ及び
描画データＤ１、Ｄ２を表示するウインドウでは、手書
入力データＦを書き込むホワイトボードＷＢと同様の縮
尺で、これらテキストデータＴ及び描画データＤ１、Ｄ
２を表示するように設定している。

【００７９】次に、本実施形態のシステムの動作につい
て、図８〜図１２に示すフロー図等を用いて説明する。

【００８０】図８は、センサ装置Ｓにおいて、筆記具に
よりホワイトボードＷＢに書き込まれる手書入力データ
Ｆを取得し、文字認識装置Ｐに送信する過程をフロー図
で示したものである。

【００８１】図９〜図１２は、文字認識装置Ｐにおい
て、センサ装置Ｓから送信される手書入力データＦを文
字認識し画面出力する過程をフロー図で示したものであ
る。

【００８２】図８に示すように、手書入力データ取得部
１１が手書文字データＬや描画データＤ等が含まれる手
書入力データＦを取得すると（ステップＳ１０１）、こ
の取得した手書入力データＦを手書入力送信部１２がリ
アルタイムに文字認識装置Ｐに送信する（ステップＳ１
０２）。そして、手書入力の終了を受け付けると（ステ
ップＳ１０３）、文字認識装置Ｐに入力終了信号を送信
する（ステップＳ１０４）。

【００８３】そして、図９に示すように、センサ装置Ｓ
から手書入力データＦを手書入力受付部２１が受信する
と（ステップＳ２０１）、この手書入力データＦをスト
ロークごとに手書入力データ格納部２２に順次格納する
とともに（ステップＳ２０２）、画面表示部３１が手書
入力データ格納部２２に格納している手書入力データを
表示部２０５に画面表示する（ステップＳ２０３）。

【００８４】そして、センサ装置Ｓから入力終了信号を
受信して（ステップＳ２０４）、ユーザが前記ユーザイ
ンタフェイス２０４等を利用して、画面表示している手
書入力データの中で最も大きい文字を取り囲む枠を指定
すると（ステップＳ２０５）、枠データ受付部４１がこ
の枠の大きさである絶対最大値幅ｘ，ｙを取得し（ステ
ップＳ２０６）、さらにこの絶対最大値幅ｘ、ｙを１．
２倍に拡大して（ステップＳ２０７）、この拡大した絶
対最大値幅Ｘ、Ｙを有する矩形を作成し（ステップＳ２
０８）、これを枠Ａとして受け付ける（ステップ２０
９）ように設定している。このようにして、手書入力デ
ータの中で最も大きい文字を包囲する枠Ａを受け付ける
こととなる。

【００８５】なお、本実施形態では、枠データ受付部４
１が受け付ける枠を、ユーザが前記ユーザインタフェイ
ス２０４等を利用して、画面表示している手書入力デー
タの中で最も大きい文字を取り囲み、この取り囲んだ枠
を基に設定するようにしているが、これに限らず、例え
ば、画面表示している手書入力データの中で最も大きい
文字を取り囲む任意の直線又は曲線を描き、この任意の
直線又は曲線に含まれる全てのストロークを取り囲む最
大外接矩形を計算してから、この最大外接矩形を基に枠
を設定する実施態様も考えられる。

【００８６】次に、図１０に示すように、手書入力デー
タ比較部５１が、前記枠データ受付部４１で受け付けた
枠Ａと、手書入力データ格納部２２に格納している全て
のストロークとの大きさの比較を順次行い、ストローク
が枠Ａより大きければ（ステップＳ３０１）、該ストロ
ークを描画データ格納部６１に格納し（ステップＳ３０
２）、ストロークが枠Ａより小さければ（ステップＳ３
０１）、該ストロークを手書文字データ格納部７１に格
納する（ステップＳ３０３）。

【００８７】そして、このようにして手書文字データ格
納部７１に格納されたストロークから、文字ブロックが
設定される（ステップＳ３０４）。

【００８８】なお、このステップＳ３０４は、文字ブロ
ック生成部８１において文字ブロックが生成される文字
ブロック生成処理のサブルーチンとして機能し、図１１
に示すフロー図で示される。

【００８９】図１１において、まず、文字ブロック生成
部８１が手書入力データの最初のストロークを手書文字
データ格納部から取得し（ステップＳ４０１）、このス
トロークを包囲する外接矩形を作成する（ステップＳ４
０２）。そして、次のストロークを取得して（ステップ
Ｓ４０３）、前記外接矩形と交差するかをチェックし、
交差していれば（ステップＳ４０４）、前記次のストロ
ークまでを含む新しい外接矩形を作成する（ステップＳ
４０５）。そして、次のストロークがあれば（ステップ
Ｓ４０６）、前記新しい外接矩形とこのストロークとの
交差のチェックが行われる（ステップＳ４０４）。一
方、次のストロークがなければ（ステップＳ４０６）、
該ストロークまでを文字ブロックとして設定する（ステ
ップＳ４１１）。ところで、ステップＳ４０４において
次のストロークと前記外接矩形とが交差していなけれ
ば、外接矩形の運筆方向に直行する運筆方向直行辺ＢＸ
の長さを取得し（ステップＳ４０８）、さらにこの運筆
方向直行辺ＢＸとこの２倍の長さを有する判断距離ＢＹ
とで囲まれる範囲を、前記運筆方向直行辺ＢＸから書込
み方向に連続する位置に設定する（ステップＳ４０
９）。そして、該ストロークがこの範囲にあれば（ステ
ップＳ４１０）、該ストロークまでを含む外接矩形を作
成し（ステップＳ４０５）、範囲に無ければ（ステップ
Ｓ４１０）、該ストロークまでを文字ブロックに設定す
る（ステップＳ４１１）。

【００９０】以上のようにして、ステップＳ４０１から
ステップＳ４１１によって文字ブロックが設定されると
（ステップＳ３０４）、次に文字認識部１０１が文字認
識処理を行う（ステップＳ３０５）。

【００９１】この文字認識処理は、文字認識部１０１で
行われるサブルーチンとして機能するものであって、図
１２に示すフロー図で示される。

【００９２】図１２に示すように、まず、各文字ブロッ
クのストロークを取得し（ステップＳ５０１）、該文字
ブロックから仮の文字サイズを決定し（ステップＳ５０
２）、さらに、この文字サイズに基づき文字の分離位置
を決定する（ステップＳ５０３）。次にブロック内にあ
るストロークとを用いて文字認識辞書格納部９３を参照
し、最も近時度の高い認識文字を抽出してテキストバッ
ファ１０２に格納する（ステップＳ５０４）。さらに、
この抽出した認識文字を２文字単位に分離し、文脈辞書
格納部９４を参照してこの２文字間の遷移頻度を求める
（ステップＳ５０５）。以上のようにして求められた文
字の分離位置と文字認識の近似度と２文字間の遷移頻度
とから最も確信度の高い順に文字列の組合せを数組決定
し（ステップＳ５０６）、これを文字列候補として文字
データバッファ１０２に格納する（ステップＳ５０
７）。このようにして各文字ブロックごとに求めた最も
確信度の高い文字列候補について、隣接する文字ブロッ
ク間の文脈のチェックを文脈辞書格納部９４を参照して
行う。そして、文字ブロック間の繋がりがＯＫであれば
（ステップ５０８）、チェックした最初の文字列候補を
文字列として出力し（ステップＳ５０９）、ＯＫでなけ
れば（ステップＳ５０８）、次に最も確信度の高い文字
列候補を文字データバッファ１０２から読み出し（ステ
ップＳ５１０）、隣接する文字ブロック間の文脈のチェ
ックを文脈辞書格納部９４を参照して行う（ステップＳ
５０８）。

【００９３】このようにして、手書文字データが文字認
識され、文字列として出力されることとなる。

【００９４】そして、文字認識部１０１で得られた文字
列をデータ変換部１１１がテキストデータに変換して変
換済データ表示部１１２に出力する（ステップＳ３０
６）。またこのとき、描画データ格納部６１に格納して
いる描画手データをそのまま変換済データ表示部１１２
に出力する（ステップＳ３０６）。

【００９５】そして、変換済データ表示部１１２がテキ
ストデータと描画データとを表示部２０５に画面表示す
る（ステップＳ３０７）。

【００９６】なお、テキストデータは文字ブロックが有
する位置情報に基づき、一方描画データは該描画データ
が有するストロークに基づき、表示部２０５に画面表示
される位置が決定されるように設定している。また、こ
れらテキストデータ及び描画データとは、手書入力デー
タＦを書き込むホワイトボードＷＢと同様の縮尺によっ
て表示部２０５に表示されるように設定している。

【００９７】そして、表示されたテキストデータと描画
データとがＯＫであれば（ステップＳ３０８）、これら
を文書として出力し（ステップＳ３０９）、ＯＫでなけ
れば（ステップＳ３０８）、データの修正をユーザイン
タフェイス２０４等より受け付けて修正するように設定
している（ステップＳ３１０）。

【００９８】なお、文字ブロック生成処理ステップＳ３
０４における処理は、本実施形態で説明した以外の方法
を用いて、文字ブロックを生成してもかまわない。

【００９９】また、文字認識処理ステップＳ３０５にお
ける処理は、ブロック間の繋がりをチェックするステッ
プが含まれているものであれば、他の文字認識方法を採
用しても構わない。

【０１００】以上に詳述したように、本実施形態の文字
認識装置は、あらかじめ指定された枠内に文字を記入す
る必要が無く、また、文字と線画とを混在して手書入力
をおこなった場合でも、高い文字認識率を有する文字認
識装置を提供することができる。例えば、「〇」や
「□」等の描画データは「口」や「ロ」等の文字として
誤認識され易いが、枠データ受付部４１で受け付けた枠
の効果により誤認識を防止することができる。

【０１０１】また、ストロークから文字ブロックを生成
し、この文字ブロックごとに文字認識を行うため、高速
な文字認識装置を提供できる。

【０１０２】さらに、隣接する文字ブロック間における
文字認識を行うため、高い文字認識率を得ることができ
る。

【０１０３】なお、本実施形態では、手書入力データが
ストローク情報を有するものとして説明したが、ストロ
ーク情報が欠落した手書入力データであっても、各ブロ
ックの繋がりを解析することができる。例えば、スキャ
ナ等を利用して受け付けた手書入力データは、ストロー
ク情報が欠落している。しかしながら、例えば、各文字
ブロック間のすべての組合せにおける繋がりを解析する
などにより、各ブロック間の繋がりを解析できるからで
ある。

【０１０４】また、本実施形態では、文字認識装置Ｐで
文字認識が行われるタイミングを、筆記具に設けた送信
ボタン（図示せず）を押してから蓄えられた手書入力デ
ータの文字認識が開始されるものとしたが、これに限ら
ず、蓄えないでリアルタイムに文字認識するなど、各種
態様が考えられる。

【０１０５】なお、筆記具で書き込む媒体をホワイトボ
ードとしたが、これに限らず、紙などの用紙であっても
構わない。この場合は、紙に手書された手書入力データ
を、スキャナなどで読み込んで手書入力受付部で受け付
け、しかるのち文字認識を行えばよい。また、筆記具で
書き込む媒体が電子ペーパーやＰＤＡなどであっても良
いことは自明である。

【０１０６】また、本実施形態では、センサ装置Ｓと文
字認識装置ＰとをＲＳ２３２Ｃにより有線ケーブルで接
続されるものとしたが、これに限らず、例えばＢｌｕｅ
Ｔｏｏｔｈのような無線接続であってもよいことは言う
までもない。

【０１０７】なお、本実施形態においてストロークを包
囲する外接矩形を長方形状としたが、ストロークを包囲
でいるものであれば任意の曲線であっても良い。

【０１０８】なお、本実施形態では、手書入力データの
運筆方向が横書きのタイプで説明したが、縦書きや斜め
書きであっても対応できることは言うまでもない。ま
た、文字認識後に表示部２０５に表示されるテキストデ
ータも横書きや縦書き等に対応して表示可能であること
はいうまでもない。なお、文字認識後に表示部２０５に
表示されるテキストデータは、２次加工可能であるた
め、手書入力データの運筆方向と異なる運筆方向に配置
する等自由に配置することが可能である。

【０１０９】

【発明の効果】以上に詳述した本発明によれば、あらか
じめ指定された枠内に文字を記入する必要が無く、ま
た、文字と線画とを混在して手書入力をおこなった場合
でも、高い文字認識率を有する文字認識装置を提供する
ことができる。また、文字ブロックごとに文字認識を行
い、さらに、隣接する文字ブロック間における文字認識
を行うため、高速度で高い文字認識率を有する文字認識
装置を提供できる。

【図面の簡単な説明】

【図１】本発明の実施形態における全体機器構成図。

【図２】同実施形態におけるセンサ装置を示す機器構成
図。

【図３】同実施形態を示す機能構成図。

【図４】同実施形態における文字認識装置を示す機器構
成図。

【図５】同実施形態における表示部に表示した手書入力
データ。

【図６】同実施形態における文字ブロックの生成過程を
示すフロー図。

【図７】同実施形態における表示部に表示したテキスト
データと描画データ。

【図８】同実施形態におけるセンサ装置の動作を示すフ
ロー図。

【図９】同実施形態における文字認識装置の動作を示す
フロー図。

【図１０】同実施形態における文字認識装置の動作を示
すフロー図。

【図１１】同実施形態における文字認識装置の文字ブロ
ック生成過程を示すフロー図。

【図１２】同実施形態における文字認識装置の文字認識
過程を示すフロー図。

【符号の説明】

４１・・・枠データ受付部 ５１・・・手書入力データ比較部 ５２・・・手書入力データ分離部 ８０・・・運筆方向解析部 ８１・・・文字ブロック生成部 ９２・・・ブロック間関係解析部 １０１・・・文字認識部 １１１・データ変換部 Ａ・・・枠 Ｂ１、Ｂ２、Ｂ３、Ｂ４、Ｂ５、Ｂ６、Ｂ７、Ｂ８・・
・外接矩形（包囲枠） ＢＸ・・・包囲枠端縁 ＢＹ・・・書込み方向と直行する辺 Ｄ、Ｄ１、Ｄ２・・・描画データ Ｆ・・・手書入力データ Ｌ・・・手書文字データ ＬＢ・・・文字ブロック Ｐ・・・文字認識装置。 Ｓ１、Ｓ２、Ｓ３、Ｓ４、Ｓ５、Ｓ６、Ｓ７、Ｓ８・・
・ストローク Ｔ・・・テキストデータ Ｓ３０１〜Ｓ３０３・・・手書入力データ分離ステップ Ｓ３０４・・・文字ブロック生成ステップ Ｓ３０５・・・文字認識ステップ

───────────────────────────────────────────────────── フロントページの続き Ｆターム(参考） 5B029 BB09 CC29 5B064 AB04 BA05 DD10 DD12 5B068 AA05 AA22 BD02 BD17 BE08 CC06 CC13 CC18 CC19

Claims (12)

【特許請求の範囲】
1. 【請求項１】手書入力データを分析し、手書文字データ
   と描画データとに分離する手書入力データ分離部と、前
   記手書文字データを分析して所定の方向に連続する文字
   列単位の文字ブロックを設定する文字ブロック生成部
   と、前記文字ブロック単位で手書文字データの文字認識
   を行う文字認識部とを具備することを特徴とする文字認
   識装置。
2. 【請求項２】前記文字認識部で認識した手書文字データ
   をテキストデータに変換して出力するとともに前記描画
   データをそのまま出力するデータ変換部を具備すること
   を特徴とする請求項１記載の文字認識装置。
3. 【請求項３】画面上に表示した前記手書入力データの中
   の少なくとも一部を包囲する枠の指定を受け付ける枠デ
   ータ受付部と、前記手書入力データと前記枠データ受付
   部で受け付けた枠とを比較し、手書入力データが枠より
   大きい場合は描画データとして認識し、手書入力データ
   が枠より小さい場合は手書文字データとして認識する手
   書入力データ比較部とを具備し、前記手書入力データ分
   離部が、この手書入力データ比較部の認識結果に基づ
   き、手書入力データを手書文字データと描画データとに
   分離することを特徴とする請求項１又は２記載の文字認
   識装置。
4. 【請求項４】前記文字認識部が、複数の文字ブロック間
   同士の関係を解析してそれら文字ブロック内の文字認識
   を行うことを特徴とする請求項１、２又は３記載の文字
   認識装置。
5. 【請求項５】前記文字認識部が、認識した複数の文字に
   おける幾何学的な文字分離の確率と、文字認識辞書に格
   納される文字との近似度と、隣接する２文字間の遷移頻
   度により求められる２文字間遷移確率とから最も確信度
   の高い文字列の組合せを決定することを特徴とする請求
   項１、２、３又は４又記載の文字認識装置。
6. 【請求項６】前記手書入力データが、筆順等の書き込み
   順序を示す属性を有するストローク単位で構成されるも
   のであることを特徴とする請求項１、２、３、４又５記
   載の文字認識装置。
7. 【請求項７】前記ストロークに基づき、文字ブロック内
   における文字列の書込み方向を解析する運筆方向解析部
   を具備することを特徴とする請求項６記載の文字認識装
   置。
8. 【請求項８】前記文字ブロック生成部が、同一の書込み
   方向にある全てのストロークを包囲する包囲枠とこの全
   てのストロークの次に書き込まれた次ストロークとが交
   差するときに、前記全てのストローク及び前記次ストロ
   ークを含む全ストロークを包囲する新たな包囲枠を形成
   し、一方、同一の書込み方向にある全てのストロークを
   包囲する包囲枠とこの全てのストロークの次に書き込ま
   れた次ストロークとが交差せず且つ該次ストロークが前
   記包囲枠の書込み方向の所定の範囲にない場合、前記包
   囲枠に含まれる全てのストロークを文字ブロックとして
   設定することを特徴とする請求項７記載の文字認識装
   置。
9. 【請求項９】前記所定の範囲が、前記包囲枠端縁から書
   込み方向に連続し、かつ、その書込み方向に連続する距
   離が前記包囲枠における書込み方向と直行する辺の所定
   倍の長さ以内であることを特徴とする請求項８記載の文
   字認識装置。
10. 【請求項１０】前記手書入力データが、筆順等の書込み
    順序を示す属性を有するストローク単位で構成され、こ
    のストロークから得られた文字ブロック内における文字
    列の書込み方向に基づき、文字ブロック間の繋がりを解
    析するブロック間関係解析部を具備し、このブロック間
    関係解析部で得られた文字ブロック間の繋がりに基づ
    き、前記文字認識部が、複数の文字ブロック間同士の関
    係を解析してそれら文字ブロック内の文字認識を行うこ
    とを特徴とする請求項４記載の文字認識装置。
11. 【請求項１１】手書文字と描画とを含む手書入力データ
    に基づいて、コンピュータの画面上に表示させた手書文
    字部分と描画部分の内、いずれかの少なくとも一部を包
    囲する枠の指定を受け付ける枠データ受付部と、前記手
    書入力データと前記枠データ受付部で受け付けた枠とを
    比較し、手書入力データが枠より大きい場合は描画デー
    タとして認識し、手書入力データが枠より小さい場合は
    手書文字データとして認識する手書入力データ分離部と
    を具備することを特徴とする文字認識装置。
12. 【請求項１２】コンピュータを作動させて手書入力デー
    タの文字認識を行うプログラムであって、手書入力デー
    タを分析し、手書文字データと描画データとに分離する
    手書入力データ分離ステップと、前記手書文字データを
    分析して所定の方向に連続する文字列単位の文字ブロッ
    クを設定する文字ブロック生成ステップと、前記文字ブ
    ロック単位で手書文字データの文字認識を行う文字認識
    ステップとを具備することを特徴とする文字認識プログ
    ラム。