JPH0660222A

JPH0660222A - 文字認識装置

Info

Publication number: JPH0660222A
Application number: JP4215054A
Authority: JP
Inventors: Shuichi Tsujimoto; 修一辻本; Shunji Ariyoshi; 俊二有吉; Koji Umeoka; 孝次梅岡
Original assignee: Toshiba Corp; Toshiba Software Engineering Corp
Current assignee: Toshiba Corp; Toshiba Software Engineering Corp
Priority date: 1992-08-12
Filing date: 1992-08-12
Publication date: 1994-03-04

Abstract

(57)【要約】【目的】本発明は、利用者にとっての使い勝手を改善で
きるとともに、精度の高い認識処理を得られる文字認識
装置を提供する。【構成】帳票にかかる入力画像デ―タより該帳票の罫線
をセパレータ候補として罫線抽出部１で抽出するととも
に、この罫線抽出部１により抽出されるセパレータ候補
の情報と前記入力画像デ―タを表示部４で表示し、この
表示部４での表示によりセパレ―タ候補の修正／追加／
選定の各操作を実行し、この実行により最終的に確定さ
れたセパレ―タ候補情報を書式データベース３に登録し
て、この書式データベース３に登録されたセパレ―タ候
補情報を用いて帳票の認識領域を特定しこの認識領域の
文字認識を行うようにしている。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、伝票などの用紙（以
下、表形式帳票と呼ぶ。）に印刷された文字の認識に用
いられる文字認識装置に関するものである。

【０００２】

【従来の技術】従来、伝票のように罫線・空白などによ
り文字の並びが項目毎・デ―タ毎に区切られている表形
式帳票に印刷されている文字の認識を行うような場合、
使用者はあらかじめフォ―マット・コントロ―ルファイ
ルに対して認識領域の座標位置情報をエディタコマンド
を使ってキ―ボ―ドから入力したり、マウスを用いて認
識領域の座標位置を入力するなどして、認識対象の位置
を特定した後に認識処理を行うようにしていた。また、
場合によっては、実際に認識させる帳票を使って認識領
域の座標位置情報を計測させたり、帳票上にマ―カを記
入するなどすることもあり、一般の利用者にとっては使
い勝手が悪く、文字認識の精度が著しく悪いという問題
点があった。

【０００３】

【発明が解決しようとする課題】このように従来、伝票
などの表形式帳票に印刷された文字の認識を行う場合、
一般の利用者にとって使い勝手が悪いだけでなく、認識
処理の精度も低い欠点があった。

【０００４】本発明は、上記事情に鑑みてなされたもの
で、利用者にとっての使い勝手を改善できるとともに、
精度の高い認識処理を得られる文字認識装置を提供する
ことを目的とする。

【０００５】

【課題を解決するための手段】本発明は、帳票にかかる
入力画像デ―タより該帳票の各デ―タ項目区切部をセパ
レータ候補として抽出する抽出手段、この抽出手段によ
り抽出されるセパレータ候補の情報と前記入力画像デ―
タを表示する表示手段、この表示手段の表示により前記
セパレ―タ候補の修正／追加／選定の少なくとも１つを
実行可能にした手段、この手段の実行により最終的に確
定されたセパレ―タ候補情報を登録する書式データベー
スを具備し、画像データとして入力される帳票に対応す
る前記書式データベースに登録されたセパレ―タ候補情
報を用いて前記帳票の認識領域を特定し該認識領域の文
字認識を行うように構成されている。

【０００６】また、本発明は、画像データとして入力さ
れる帳票に対して読取り領域に対応した画像を生成する
手段、前記読取り領域に対応した画像の形状から文字種
を推定する手段、この手段により推定された文字種に基
き前記読取り領域内の画像について文字認識結果を行う
手段により構成されている。

【０００７】

【作用】この結果、本発明によれば、帳票にかかる画像
デ―タに対してセパ―レ―タ候補を抽出し、このセパレ
―タ候補の情報を画像デ―タとともに表示させ、使用者
は、キ―ボ―ドなどを使ってのセパレ―タ候補の編集操
作は画像デ―タイメ―ジが表示されている画面を見なが
ら修正をしたり、新たにセパレ―タを追加したりして選
定を行なった後に書式データベースに登録することによ
り、データベースに登録されるセパレ―タ情報の登録ミ
ス、情報の抜けを防止できるとともに、必要により情報
の追加も行うことができるようになり、その後に、帳票
を認識させるような場合に、書式データベースに登録さ
れたセパレ―タ情報を参照させるようにすることで文字
認識を簡単に行うことができるとともに、その認識精度
を高めることもできる。

【０００８】また、本発明によれば、画像データで入力
される帳票に対し生成された読取り領域に対応した画像
の形状から文字種を推定し、この推定された文字種に基
づいて文字認識結果が決定されるようにしている。これ
により正しい文字認識を短時間に効率よく得られるとと
もに、精度の高い認識結果が得られる。

【０００９】

【実施例】以下、本発明の一実施例を図面に従い説明す
る。

【００１０】図１は同実施例の概略構成を示すものであ
る。この場合、伝票など表形式帳票では、文字の並びを
分割するセパレ―タとして一般的に罫線や空白が多く用
いられているが、ここでは、文字の並びをデ―タ・項目
毎に区切っているセパレ―タのうちで、最も代表的と考
えられる罫線（区切り線）を例にとり、セパレ―タ情報
を書式データとして書式データベースに登録する場合を
説明する。

【００１１】図において、１は罫線抽出部で、この罫線
抽出部１は、帳票に関するブランクシートまたは表示画
像データが入力されると罫線をセパレ―タ情報として抽
出し、この情報に基づいて書式定義部２により帳票の書
式を定義し、これを書式データベース３に登録するよう
にしている。

【００１２】このような構成をさらに詳述すると、例え
ば、使用者が、図示しない画像入力装置からデ―タベ―
スとして登録したい表形式帳票が画像デ―タとして入力
すると、入力された画像デ―タは、２値化され表示部４
の画面上に表示されるとともに、罫線抽出部１のメモリ
１ａに記憶される。この場合、メモリ１ａには、画像デ
―タとともに、その先頭アドレスも保持される。そし
て、このメモリ１ａ上に記憶された画像デ―タをアクセ
スするには、アドレスを使って行なわれる。また、２値
化された画像デ―タは、黒画素が１、白画素が０に対応
し、さらに、画像デ―タの左上方を原点としている。

【００１３】まず、セパレ―タ（罫線）抽出処理を行
う。ここで述べるセパレ―タ抽出処理は、イメ―ジの射
影を用いるが、これはほんの一例に過ぎず、どのような
抽出法を用いてもよい。この場合、罫線抽出部１のメモ
リ１ａから図２（ａ）に示すような表形式帳票の画像デ
―タが読み出されると、この画像デ―タに対して同図
（ｂ）（ｃ）に示す黒画素のｘ軸方向とｙ軸方向のそれ
ぞれの射影を求める。

【００１４】ここでは、黒画素の射影から得られる図形
的特徴を使ってｙ軸方向に伸びるセパレ―タ候補（以
下、縦セパレ―タ候補と呼ぶ）の抽出方法について説明
する。この場合、ｘ軸方向に対して得られた射影の図形
的特徴から、縦セパレ―タと思われる部分は他の図形的
特徴に比べると細長くなっている。このことから、射影
の図形的特徴の中から細長い分布を示している箇所を検
索することにより、画像デ―タのｘ軸上における縦セパ
レ―タ候補の位置が２つのｘ座標値（図２中＊印部）と
して求められる。

【００１５】次に、黒画素のｙ軸上への射影で得られた
図形的特徴から画像デ―タのｙ軸上におけるデ―タ領域
（文字、線、図形などが必ず書かれている部分）の始点
／終点として２つのｙ座標値（図２中☆印部）を求め
る。

【００１６】このようにして求められた２つずつのｘ，
ｙ座標値から縦セパレ―タ候補の画像イメ―ジに外接す
る矩形（図３）を作成することができる。そして、これ
を縦セパレ―タ候補のデ―タとして前記外接する矩形の
左上方の（ｘ，ｙ）座標値と右下方の（ｘ，ｙ）座標値
をメモリ１ｂに保持しておく。

【００１７】同様にして黒画素のｙ軸方向への射影から
得られた図形的特徴から、画像デ―タのｙ軸上における
横セパレ―タ候補（ｘ軸方向に伸びるセパレ―タ候補）
の位置が２つのｙ座標値として、また黒画素のｘ軸上へ
の射影から得られた図形的特徴から、画像デ―タのｘ軸
上におけるデ―タ領域の始点／終点として２つのｘ座標
値を求める。そして、横セパレ―タ候補の画像イメ―ジ
に外接する矩形の左上方の（ｘ，ｙ）座標値と右下方の
（ｘ，ｙ）座標値を横セパレ―タのデ―タとしてメモリ
１ｂに保持しておく。ここで、メモリ１ｂに縦横のセパ
レ―タ候補のデ―タを保持する時は、それぞれのセパレ
―タ候補にＩＤ番号を付けておく。

【００１８】なお、上述したと同様にして、例えば、図
４（ａ）に示すような表形式帳票からセパレ―タ情報を
求めると、縦セパレ―タのイメ―ジに外接する矩形は、
同図（ｂ）のように求められてしまう。この場合は、後
述するセパレ―タ候補の修正を行ない正しいセパレ―タ
を求めるようにする。

【００１９】このようにしてセパレ―タ候補の自動抽出
が終了したならば、表示部４にメモリ１ａに保持された
画像デ―タとメモリ１ｂに保持されたセパレ―タ候補の
デ―タを渡し、画像デ―タのイメ―ジを画面上に表示さ
せると同時に，個々のセパレ―タ候補のデ―タを参照し
ながら、画面上に表示している画像デ―タイメ―ジの周
りにセパレ―タ候補の位置を示す記号（図５（ａ）中△
印）とＩＤ番号を画像デ―タイメ―ジとは違う色color1
で表示させる。

【００２０】同時に、表示部４の画面上にはセパレ―タ
候補の修正／選定／追加を行なう為の操作を選択できる
ボタン４ａ、４ｂ、４ｃを有するウイドウ４ｄ（図５
（ｂ））も表示される。また、ポインティングデバイス
が接続されていない場合でもキ―ボ―ドのような入力装
置を用いて操作ができるように、キ―に対応した文字を
前記ウイドウ４ｄに表示している各ボタン４ａ、４ｂ、
４ｃと共に表示される。

【００２１】この状態から、使用者は画面上に表示され
た画像デ―タのイメ―ジとセパレ―タ候補の位置を示す
記号を見ながら、修正／追加／選定の中で操作をしたい
ボタン４ａ、４ｂ、４ｃをマウスなどのポインティング
デバイスを使ってクリックする。ポインティングデバイ
スが場合には、ボタン４ａ、４ｂ、４ｃに付随して表示
している文字に対応したキ―をキ―ボ―ド上でタイプす
ることによりポインティングデバイスと同様の操作が行
なえるようにしておく。

【００２２】次に、修正・追加・選定についての操作を
説明する。

【００２３】最初にセパレ―タ候補の修正について説明
する。使用者は表示部４の画面上に表示されているウイ
ンドウ４ｄの修正ボタン４ａをポインティングデバイス
でクリック、またはキ―ボ―ドから修正ボタン４ａに対
応したキ―をタイプすることによって、ウインドウ４ｄ
の表示が図６に示すように変化し、次の入力を促す。

【００２４】使用者はその表示に従って、画面上に表示
されているセパレ―タ候補の位置を示す記号の中から修
正したいものをポインティングデバイスを用いて選択ま
たはセパレ―タ候補に対応するＩＤ番号をキ―ボ―ドか
ら入力すると、セパレ―タ候補に対応したデ―タがメモ
リ１ｂより呼び出される。そして、画面上ではメモリ１
ｂから呼び出されたデ―タにより作成された矩形の枠が
画像デ―タのイメ―ジにオ―バ―ラップして色color1で
表示される（図７）。

【００２５】そして、画面上に表示された画像デ―タ中
にある複数のセパレ―タ候補の中で、どのセパレ―タ候
補の修正を行なうのかを使用者に対して視覚的に示す。
それと同時にウインドウ４ｄでは上述の操作により選択
されたセパレ―タ候補のデ―タと修正操作の終了を行な
うボタンとキ―ボ―ドのキ―に対応した文字、キ―ボ―
ドを使った場合の修正操作の方法が表示される（図８
（ａ））。

【００２６】まず、使用者がセパレ―タ候補の修正をポ
インティングデバイスを用いて行なう場合は、画面上に
表示されている矩形の周辺をクリックする。すると先程
まで色color1で表示されていた矩形の色が色color2に変
化し、使用者に対してセパレ―タ候補デ―タの修正操作
を行なえることを示す。そして、使用者がポインティン
グデバイスを画面上で移動させることで画面上に表示し
ている矩形の形状が変化すると共に、ウインドウ４ｄに
表示されているセパレ―タ候補のデ―タも矩形の変化に
対応して変化する。

【００２７】セパレ―タ候補デ―タの修正が終ったなら
ば、使用者はもう一度ポインティングデバイスをクリッ
クする。すると今まで色color2で表示されていた矩形が
色color1に戻り、使用者にセパレ―タ候補デ―タの修正
が終ったことを示す。窓１の表示は図６に戻る。またキ
―ボ―ドを用いて修正を行なう場合は、最初にキ―ボ―
ドからセパレ―タ候補に対応したＩＤ番号をタイプす
る。すると矩形の色color1が色color2に変化し、使用者
に対してこれから修正を行なうセパレ―タ候補を示す。
次に使用者はウインドウ４ｄに表示されている前記キ―
ボ―ドを使った場合の修正操作の表示（図８（ｂ））に
従い矩形の形状を変化させ、セパレ―タ候補デ―タの修
正を行なう。ここで、外接矩形の上下方向の動きに対し
ては幅の値は維持されたままで、高さの値とｙ座標値だ
けが変化する。また、左右方向の動きに対しては高さの
値は維持されたままで、幅の値とｘ座標値だけが変化す
る。ウインドウ４ａでは矩形の変化に伴ってセパレ―タ
候補デ―タの表示も変化する。前記セパレ―タ候補デ―
タの修正が終ったならキ―ボ―ドから改行キ―をタイプ
する。すると矩形の色color2が色color1に変わり、セパ
レ―タ候補デ―タの修正が終了したことを示す。そし
て、ウインドウ４ｄの表示は図６に戻る。

【００２８】また、本操作ではセパレ―タ候補単位によ
る削除・接続・切断も行なえる。

【００２９】いま、削除を行なう場合は、図６に示すウ
インドウ４ａに表示している削除ボタンをポインティン
グデバイスでクリックするか削除ボタンに対応したキ―
をキ―ボ―ドでタイプすると、ウインドウ４ａ表示だけ
が図９に示すように変わり、削除したいセパレ―タ候補
の入力を促す。

【００３０】使用者はポインティングデバイスを使って
画面上に表示されているセパレ―タ候補の位置を示す記
号をクリックするか、前記位置を示す記号の近くに表示
されているセパレ―タ候補のＩＤ番号（図５（ａ）参
照）をキ―ボ―ドから入力することにより、削除したい
セパレ―タ候補の指定を行なう。ポインティングデバイ
スでクリックされたセパレ―タ候補は、その場で前記位
置を示す記号が画面上から削除される。キ―ボ―ドから
の入力ではＩＤ番号間に区切り文字（例えばコンマ）を
入れることにより、複数の削除が一度に行なえる。

【００３１】入力が終ったら改行キ―をキ―ボ―ドから
タイプすると、ポインティングデバイスによる削除と同
様に前記位置を示す記号が画面上から削除される。セパ
レ―タ候補の位置を示す記号が画面上から削除さると、
今までメモリ１ｂに保持されていたデ―タの中から削除
されたセパレ―タ候補が持っていたＩＤ番号に対応した
デ―タが削除される。

【００３２】使用者が削除操作を終了する時はウインド
ウ４ｄに表示されている終了ボタンをポインティングデ
バイスでクリックするか、終了ボタンに対応したキ―を
キ―ボ―ドからタイプする。すると、ウインドウ４ｄの
表示は図６に戻る。

【００３３】次に、接続を行なう場合は、図６に示すウ
インドウ４ａに表示している接続ボタンをポインティン
グデバイスでクリックするか接続ボタンに対応したキ―
をキ―ボ―ドでタイプする。すると、ウインドウ４ｄの
表示が図１０に示すように変わり、接続したいセパレ―
タ候補の選択を促す。

【００３４】使用者は画面上に表示されているセパレ―
タ候補の位置を示す記号の中から接続させたい位置を示
す記号の全てをクリックしていくか、前記位置を示す記
号近くに表示されているセパレ―タ候補のＩＤ番号（図
５（ａ）参照）の中から接続させたい該ＩＤ番号の全て
をキ―ボ―ドから入力し改行キ―をタイプする。する
と、今まで別々のセパレ―タ候補として画面上に表示さ
れていたセパレ―タ候補の位置を示す記号群が１つの該
記号になって表示される。それとともにメモリ１ｂで
も、今まで別々のセパレ―タ候補デ―タとして保持され
ていた内容が、それまでのセパレ―タ候補デ―タの内容
を含むように１つにまとめられ保持される。これらの処
理が終るとウインドウ４ａの表示が図６に戻る。

【００３５】次に、切断を行なう場合は、図６に示すウ
インドウ４ａに表示している切断ボタンをポインティン
グデバイスでクリックするか切断ボタンに対応したキ―
をキ―ボ―ドでタイプする。するとウインドウ４ａの表
示が図１１に示すように変わり、切断したいセパレ―タ
候補の選択を促す。

【００３６】使用者は画面上に表示されているセパレ―
タ候補の中から切断させたいセパレ―タ候補を選んで、
そのイメ―ジ上で「ここから、ここまで」といった具合
にポインティングデバイスを２回クリックするか、前記
位置を示す記号近くに表示されているセパレ―タ候補の
ＩＤ番号を（図５（ａ）参照）の中から切断させたい該
ＩＤ番号をキ―ボ―ドから入力して改行キ―をタイプ
し、該セパレ―タ候補イメ―ジ中で切断させたい部分領
域の左上方の（ｘ，ｙ）座標値と右下方の（ｘ，ｙ）座
標値とをキ―ボ―ドから入力し、改行キ―をタイプす
る。すると、今まで画面上に１つで表示されていた位置
を示す記号が２つに別れて表示される。それとともにメ
モリ１ｂでも、今まで１つのセパレ―タ候補デ―タとし
て保持されていた内容が、切断された部分領域を境にし
て２つのデ―タに分割されて保持される。これらの処理
が終るとウインドウ４ａの表示が図６に戻る。

【００３７】その後、使用者が修正処理を終了したい時
は、図６に示すウインドウ４ａに表示している終了ボタ
ンをポインティングデバイスでクリックするか、終了ボ
タンに対応したキ―をキ―ボ―ドから入力することによ
り修正操作が終了する。

【００３８】そして、修正操作の終了により今までメモ
リ１ｂに保持されていたセパレ―タ候補のデ―タが修正
されたセパレ―タ候補のデ―タに更新され、表示部４の
表示は修正操作に入る前の図５（ａ）の状態に戻る。

【００３９】次に、セパレ―タ候補の追加について説明
をする。ここでのセパレ―タ候補の追加処理は、セパレ
―タ抽出処理で候補を抽出できなかった部分を対象とし
ている。

【００４０】使用者は表示部４の画面上に表示されてい
るウインドウ４ｄの追加ボタン４ｂをポインティングデ
バイスでクリック、またはキ―ボ―ドから追加ボタンに
対応したキ―をタイプすることによって、画面上に表示
されている画像デ―タイメ―ジに対してセパレ―タ候補
として抽出された部分にセパレ―タ候補デ―タを参照し
て得られる外接矩形が色color1でオ―バ―ラップして表
示され（図１２（ａ））、現在候補として抽出されたセ
パレ―タを使用者に示す。

【００４１】また、ウインドウ４ｄの表示は図１２
（ｂ）に示すように次の入力を促す。これと同時に、画
面上では縦横に一定の間隔で線（図１２（ｄ））が色co
lor2で引かれ、左上方を原点とした座標軸を定めた時に
セパレ―タの位置と範囲が（ｘ，ｙ）座標値からもわか
るようになっている。

【００４２】使用者はウインドウ４ｄの表示に従って画
面上に表示されている画像デ―タイメ―ジとセパレ―タ
候補を示す矩形表示を見ながら、画面上に表示されてい
る画像デ―タイメ―ジにおいてセパレ―タ候補に追加し
たい部分の任意の箇所をポインティングデバイスでクリ
ックする。するとクリックされた箇所に対応した画像デ
―タイメ―ジがメモリ１ａから呼び出され、ある一定領
域１３１の切り出しが行なわれる（図１３（ａ））。

【００４３】そして、上述したセパレ―タ候補の抽出法
と同様にして射影（図１３（ｂ））から得られる図形的
特徴からセパレ―タ候補の位置を最初に求める。セパレ
―タ候補の位置は縦セパレ―タではｘ軸上に、横セパレ
―タはｙ軸上に求まる。それから画像デ―タイメ―ジか
ら切り出された領域について、位置を求めた座標軸とは
違う方向（位置をｘ軸上で求めたならｙ軸方向に、位置
をｙ軸上で求めたならｘ軸方向に）に画像デ―タイメ―
ジのサイズ分（ｙ軸方向なら幅を、ｘ軸方向なら高さ
を）をメモリ１ａから呼び出し、位置を求めた座標軸の
垂直方向に切り出しを行なう（図１４（ａ）（ｂ））。

【００４４】そして，切り出された画像デ―タイメ―ジ
に対して位置を求めた座標とは違う座標に対して射影を
行なう（図１４（ｃ））。すると、射影から得られる図
形的特徴により座標軸に対するデ―タ領域の始点／終点
を求めることができ、範囲を求めることができる。

【００４５】追加するセパレ―タの抽出が終了するとウ
インドウ４ｄには追加されたセパレ―タのｘ軸上での座
標値とｙ軸上での座標値が（図１２（ｃ））のように表
示される。これと同時に追加されたセパレ―タに外接す
る矩形枠が色color1で表示され、使用者に追加されたセ
パレ―タを示す。また、追加したいセパレ―タの入力
は、前記縦横に一定の間隔で引かれた線を参照すること
によりキ―ボ―ドから追加するセパレ―タイメ―ジの位
置を示す座標値と範囲を示す座標値をタイプしてもでき
る。キ―ボ―ドからの追加したいセパレ―タの位置を示
す座標と範囲を示す座標の入力が終ると上記と同様に追
加されたセパレ―タイメ―ジに外接する矩形枠が色colo
r1で表示され、使用者に追加されたセパレ―タを示す。

【００４６】そして、ウインドウ４ｄに表示している終
了ボタンをポインティングデバイスでクリックするか、
終了ボタンに付随している文字に対応したキ―をキ―ボ
―ドから入力することにより、ウインドウ４ｄの表示
は、図５（ｂ）に戻り、追加操作が終了し、画面の表示
は追加操作に入る前の図５（ａ）に戻る。

【００４７】最後に、セパレ―タに対して修正／追加が
終了したならばウインドウ４ｄの図５（ｂ）に表示され
ている選定ボタン４ｃをポインティングデバイスでクリ
ックするか選定ボタンに対応したキ―をキ―ボ―ドから
タイプすることにより、メモリ１ｂに保持されたセパレ
―タデ―タは、書式定義部２に送られ、ここで帳票の書
式が定義され、これが書式データベース３に登録される
ようになる。

【００４８】なお、以上の説明では、セパレ―タ情報が
罫線の場合について述べたが、空白の場合はセパレ―タ
を抽出する時に黒画素を０、白画素を１として行なえ
ば、後の操作は同じである。また、上述では、罫線のセ
パレ―タとして実線を挙げているが、この他にも太線・
細線・破線・点線・２重線と様々な種類があり、これら
の罫線に対しても上述の方法を採用することが可能であ
る。さらに、ここで示した記号・色・操作ボタンに対応
した文字キ―は、その一例を挙げただけで、使用者にあ
わせて表示形態をセパレ―タイメ―ジの色を直接変えて
表示させたり、セパレ―タイメ―ジに直線をオ―バ―ラ
ップして表示させたり、入力手段にタブレットを用いた
り、頻繁に使用する文字キ―を操作ボタンに対応させた
りすることにより、セパレ―タのデ―タを書式データベ
ース３に登録する際の使い勝手のよさを高めることがで
きる。また、ここで述べたセパレ―タの抽出法は、画像
デ―タが２値化されたものでも、ラン復号化デ―タを用
いた場合でも使用できる。さらに、セパレ―タの抽出処
理を行なう前に表形式帳票の傾きからスキュ―補正を行
なうとも可能である。

【００４９】次に、図１に戻って、帳票の書式データが
登録された書式データベース３を用いて、以下述べるよ
うな文字認識処理が実行される。

【００５０】この場合、帳票入力部５は、文字認識対象
となる表形式帳票が画像データとして入力される。する
と、帳票入力部５より書式読出し部６に書式読出し指令
が与えられ、罫線検出部７に画像データが送られる。

【００５１】書式読出し部６では、書式データベース３
に登録された書式データを順に読み出すようにしてい
る。また、罫線検出部７では、帳票入力部５から与えら
れる表形式帳票の画像データから罫線を検出するように
している。この場合の罫線検出部７での罫線検出は、上
述した罫線抽出部１での罫線抽出と同様な方法を採用す
ればよい。

【００５２】罫線検出部７で検出される罫線と書式読出
し部６を介して順に読出される書式データは照合部８に
送られ、ここでの照合により罫線検出部７で検出される
罫線と一致する書式データを検索するようになってい
る。

【００５３】そして、照合部８で、一致が得られると、
文字認識部９に対し帳票入力部５に入力された表形式帳
票の文字部分の認識処理を促すとともに、一致書式デー
タが文字認識部９に送られる。

【００５４】文字認識部９では、書式読出し部６より与
えられる一致書式データとしてセパレ―タのデ―タがテ
キスト形式で与えられ、これらのデ―タを用いて入力帳
票の罫線に囲まれた領域を認識領域として特定し、領域
情報入力部１１から入力される領域情報に基づいて文字
認識処理を行うようにしている。ここでの領域情報入力
部１１は、詳細は後述するが指定領域に関する知識を入
力するものである。

【００５５】なお、文字認識部９に与えられるセパレ―
タ候補にかかる情報として認識領域のフォント指定や特
定図形画像の位置指定などのデ―タを加えると、認識精
度の向上を図ることができる。

【００５６】そして、この文字認識部９での認識結果を
使用者が確認して帳票データベース１０に登録するよう
になる。

【００５７】次に、このようにした文字認識処理を図１
５により詳述する。

【００５８】この場合、使用者が帳票入力部５より文字
認識対象の表形式帳票を画像デ―タで入力すると（ステ
ップＳ１５１）、帳票画像に変換されて表示部４に表示
される（ステップＳ１５２）。

【００５９】そして、このような帳票画像に対し、使用
者は、文字認識するための読み取り領域を指定する（ス
テップＳ１５３）。すると、上述した一致書式データに
よるセパレ―タ情報により罫線で囲まれる領域が認識領
域として帳票画像より切り出され、切り出し画像が生成
される（ステップＳ１５４）。

【００６０】そして、この切り出し画像について文字認
識装置９により文字認識を行うが、これに先立って、領
域情報入力部１１より領域情報を入力する（ステップＳ
１５５）。そして、この領域情報に基づいて切り出し画
像について文字認識を行うことで（ステップＳ１５
６）、文字認識候補を求め（ステップＳ１５７）、使用
者による文字認識候補の確認修正を行った後に（ステッ
プＳ１５８）、その文字認識結果を帳票デ―タベ―ス１
０に格納するようになる（ステップＳ１５９）。

【００６１】この場合、帳票に記載されたデ―タに関す
る知識があれば文字認識をより正確に実行できる。例え
ば、デ―タはすべて数字だけから構成される、あるいは
デ―タは人名であるなどの知識である。そして、これら
の知識は、領域情報として指定して文字認識の際に用い
られる。

【００６２】図１６に読み取り領域を指定する場合の例
を示している。

【００６３】この場合、入力帳票の読み取り領域が予め
知られているときは使用者による読み取り領域指定は必
要ない。図１６は、表示部４に表示される帳票画像１６
１を示している。ここでの帳票画像１６１は、入力帳票
として項目名”受取人”１６２、”出身地”１６３、”
種目”１６４、”金額”１６５が記載され、それぞのの
項目に対するデ―タ１６６ａ〜１６６ｄが記載されてい
る。そして、使用者がデ―タベ―ス１０に格納すべきデ
―タをマウスなどを用いて指定する。例えば、図示１６
７ａ〜１６７ｄで示される枠の対角位置を指定すること
により実行できる。

【００６４】図１７は領域情報入力部１１より領域情報
を入力する例を示している。

【００６５】この場合、図では、領域情報入力のために
生成されたウインドを示している。上述したように読み
取り領域が指定されると領域情報ウインド１７１が生成
される。領域情報ウインド１７１には指定領域に関する
知識が記されている。図では知識１７１ａ〜１７１ｆが
定義され、その内容１７２ａ〜１７２ｆが空白で示され
ている。そして、使用者によりこれらの空白が埋められ
ることにより領域情報が生成される。なお、これらの空
白は必ずしもすべて埋められる必要はない。

【００６６】ここで、デ―タベ―ス登録項目名１７１ａ
は指定領域のデ―タをどのような項目名でデ―タベ―ス
に登録するかを示す。文字数１７１ｂはデ―タの文字数
を示し不等号などを用て表現することも可能である。文
字種１７１ｃはデ―タの文字種、例えば漢字、かな、カ
ナ、英字（大文字、小文字）、記号、数字等を指定す
る。この場合、複数の文字種を組み合わせることも可能
であるし、また数字のうち‘０’と‘１’のみ、等の指
定をすることも可能である。フォント１７１ｄはデ―タ
の文字フォント（書体）が指定される。項目種１７１ｅ
はデ―タの分野、例えば、地名、人名、漢学、製品番
号、計算機用語、等を示す。タイプ１７１ｆデ―タ特有
の規則を示す。例えば、金額は特許の公開番号は、（‘平’、‘昭’）（数字列）（’−’）（数字列）という構成をもつとか、旅券番号は、（英字大文字２文字）（数字列）という規則があるとかである。

【００６７】しかして、いま、切り出し画像を図１８
（ａ）に示し、使用者より指示された領域情報入力を同
図（ｂ）に示すものとすると、文字認識処理において
は、まず”フォント１７１ｄは明朝体である”という知
識を用い文字認識を行い、同図（ｃ）に示す文字認識候
補を得る。次に”文字種１７１ｂは漢字である”という
知識を元に同図（ｃ）に示す文字認識候補の中から漢字
でないものを取り除き、同図（ｄ）に示す文字認識候補
に修正する。そして、最後に”項目種１７１ｅは人名で
ある”という知識により同図（ｅ）に示す文字認識候補
が得られる。

【００６８】なお、ここで文字種に関する知識は文字認
識時に用いることもできるし、文字認識候補は類似度な
どの情報より制限することも可能である。更に文字認識
結果が十分信用できると判定された場合はオペレ―タに
よる文字認識結果の確認修正を実行する必要はない。

【００６９】次に、上述した図１に示す文字認識部９に
文字種推定部１２を付加した場合の処理例を図１９によ
り説明する。

【００７０】この場合、入力画像データより得られる帳
票画像（ステップＳ１９１）から読み取り領域の切り出
し画像を得る（ステップＳ１９２、Ｓ１９３）。そし
て、この切り出し画像から各文字を切り出して文字認識
を行い（ステップＳ１９４）、文字認識候補を求める
（ステップＳ１９５）。次いで、文字種推定部１２によ
りデ―タの文字種の推定を行い（ステップＳ１９６）、
最後に使用者により文字種推定結果の確認修正を行うよ
うになる（ステップＳ１９４）。

【００７１】こうすれば、上述した領域情報ウインド１
７１の文字種欄１７１ｃをオペレ―タが指定する必要が
なく自動的に埋めることができる。ここでは文字種の推
定しか行わなかったがフォントや項目種などの他の項目
の推定も行い領域情報ウインドの空白を埋めてもよい。

【００７２】次に、文字種推定部１２での文字種推定に
ついて具体例を挙げて説明する。

【００７３】図２０は、上述した図１６のデ―タ１６６
ｂの文字認識結果を示すもので、（ａ）から（ｃ）図
は、それぞれ”オオサカ”、”アキタ”、”ヒロシマ”
の文字認識結果であって、文字認識候補、文字種、類似
度値の順に書かれている。ここで、類似度値は文字認識
装置により得られる値で、０から１０００までの値を取
り、その値が大きいほど認識結果が信用できる。

【００７４】そして、文字種推定を行うには、各文字認
識候補に対してその類似度値を文字種の得点として加算
する。図２１は、文字種推定の過程を示すもので、得点
がもっとも大きい文字種を入力デ―タの文字種を推定す
る。図示例では、‘カナ’と推定されることになる。

【００７５】なお、文字種の推定に際しては、最高得点
のみでなく２位以下の得点も考慮して文字種の推定を行
ってもよい。例えば、１位の得点がある値よりも大き
く、かつ２位との間がある値よりも開いているとか、あ
るいはある値よりも大きな得点を取るのは１つだけしか
ないとかが考えられる。また、各文字の文字認識候補に
共通に含まれる文字種を入力デ―タの文字種とすること
も考えられる。

【００７６】図２２は、図１６のデ―タ１６６ｄの文字
認識結果である（ａ）から（ｃ）と文字種ごとの得点
（ｄ）を示している。この場合は、同図（ｄ）よりわか
るように’漢字’、’英字大文字’、’数字’の文字種
の得点に大きな差が検出できず、文字種が推定できてい
ないことを示している。つまり、デ―タ１６６ｄについ
ては’数字’と漢字’円’の複数の文字種から構成され
ており、文字種の推定に失敗している。このような場合
には、使用者に文字種候補を提示するようにすればよ
い。

【００７７】次に、文字種の推定に知識ベ―スを利用す
る場合を説明する。

【００７８】図２３は、その例を示すもので、同図
（ａ）は“単位に関する知識”を示し、同図（ｂ）は
“類似度文字に関する知識”を示している。図２２に示
した例の場合、単位に関する知識“（数字列）（’
円’）”により入力デ―タの文字種が、’数字’と’円
（漢字）’であることが決まる。

【００７９】図２４は、領域情報入力により文字種の推
定を実行した場合の領域情報ウインドを示している。こ
の場合、図２４（ａ）では知識２４１ａ〜２４１ｆに対
応する内容２４２ａ〜２４２ｆのうち文字種とタイプの
内容２４２ｃ、２４２ｆ以外の項目が埋められていて、
認識ボタン２４３をクリックすることにより文字認識が
実行されると、知識ベ―スとの併用により文字種、タイ
プが決定され、図２４（ｂ）に示すように文字種とタイ
プの内容２４２ｃ、２４２ｆが埋められる。推定に誤り
があればオペレ―タにより修正され、正しければＯＫボ
タン２４４をクリックすることにより次の処理に進むよ
うになる。

【００８０】文字種の推定は、必ずしも文字認識を実行
しなくても可能である。図２５はその一例動作を説明す
るもので、まず、切り出し画像を得て（ステップＳ２５
１）、この切り出し画像に対して文字矩形の抽出処理を
行い（ステップＳ２５２）、文字矩形を抽出する（ステ
ップＳ２５３）。

【００８１】そして、この文字矩形に関する情報より、
文字認識（ステップＳ２５４）、文字ピッチ検出（ステ
ップＳ２５５）、文字サイズ検出（ステップＳ２５６）
を実行し、これらの結果から文字種推定が行われる（ス
テップＳ２５７）。

【００８２】この文字種の推定においては、予め与えら
れた文字種と文字ピッチの関係（ステップＳ２５８）や
文字種と文字サイズの関係（ステップＳ２５９）が用い
られる。文字種と文字ピッチの関係の例としては”漢字
はほぼ定ピッチに並んでいる、文字種と文字サイズの関
係としては”漢字はほぼ正方形に近い”などがある。

【００８３】なお、文字認識、文字ピッチ検出、文字サ
イズ検出は１つの装置で実現してもよいし複数個組み合
わせるようにしてもよい。

【００８４】そして、文字種の推定結果は、使用者によ
り確認、修正が行われる（ステップＳ２６０）。

【００８５】なお、文字種の推定の前に文字ピッチや文
字サイズの推定結果をオペレ―タに提示して確認、修正
を促してもよい。図２６（ａ）、（ｂ）は、その推定結
果を使用者に提示する一例である。同図（ａ）では文字
ピッチの推定結果を点線で表示し、同図（ｂ）では文字
サイズの推定結果を矩形で表示している。これらの推定
結果に誤りがあれば使用者は修正することができる。修
正方法の一例としては推定結果を示す点線や矩形をマウ
スなどを用いて直接移動変形する方法が考えられる。

【００８６】以上は、文字種推定を領域情報入力時に行
う場合について述べたが、次に、図２７により文字認識
終了後に文字種の推定を行う場合を説明する。

【００８７】この場合、ステップＳ２７１からステップ
Ｓ２７７は、上述した図１５のステップＳ１５１からス
テップＳ１５７と同じであり、そして、ステップＳ２７
８で文字種推定を実行した後に、第２の文字認識候補を
得るようにしている（ステップＳ２７９）。例えば、図
１６に示す読み取り領域が出身地に関するデ―タ１６６
ｂの場合、まず、最初の文字認識候補が得られる（ステ
ップＳ２７７）。そして、続く文字種推定によりて入力
デ―タの文字種はカナと推定され（ステップＳ２７
８）、これにより第２の文字認識候補が制限される（ス
テップＳ２７９）。そして、使用者により確認修正が行
われ（ステップＳ２８０）、帳票デ―タベ―スに格納確
定されるようになる（ステップＳ２８０１）。この場
合、文字種の推定後に使用者による確認修正があっても
よい。

【００８８】図２８は、文字種を学習していく場合の例
である。この場合、ステップＳ２８１からステップＳ２
８４までは、上述した図１５のステップＳ１５１からス
テップＳ１５４と同じであり、ステップＳ２８４で切り
出された切り出し画像に対して文字認識が行われ（ステ
ップＳ２８５）、その文字認識候補が得られる（ステッ
プＳ２８６）。この場合、最初は文字種などの領域情報
は用いずに文字認識が行われ、その後に文字種が推定さ
れ（ステップＳ２８７）、その結果は領域情報デ―タベ
―スに格納される（ステップＳ２８８）。次の入力帳票
に対しても画像入力、読み取り領域指定を経て切り出し
画像を求める。そして、ここで領域情報デ―タベ―スに
指定領域に関する情報が格納されていると、この情報
（例えば文字種）を用いて文字認識が行われ（ステップ
Ｓ２８５）、その文字認識候補が得られる（ステップＳ
２８６）。次に、これら文字認識候補の信頼性を評価し
（ステップＳ２８９）、信頼できると評価される場合は
使用者による確認修正を行い（ステップＳ２９０）、信
用できないと評価される場合は、先に登録された領域情
報に誤りがあると判断して再び文字種等を制限しないで
文字認識を行い（ステップＳ２９１）、その文字認識候
補をについて（ステップＳ２９２）、文字種が推定され
（ステップＳ２９３）、使用者による確認修正を経て帳
票デ―タベ―スに格納される（ステップＳ２９０、ステ
ップＳ２９４）。この際、使用者による確認（ステップ
Ｓ２９５）経て、領域情報デ―タベ―スの内容が更新さ
れる（ステップＳ２８８）。

【００８９】文字認識候補評の具体例としては、”いず
れの文字の類似度値も予め設定した値よりも大きいなら
ば文字認識候補は信用できるがそうでないのなら信用で
きない”、などが考えられる。

【００９０】この学習の例を図２９により説明する。こ
こでは、図１６のデ―タ１６６ａの領域についての例で
ある。この場合、デ―タ１６６ａについて文字種の推定
を行うと’漢字’と判定される。ところが、帳票を処理
していくうちに文字種が’カナ’であるデ―タ”ピッ
ツ”（外国人の名前）が入ってきた状況を想定すると、
同図（ａ）に示される切り出し画像は、”文字種は’漢
字’”という条件のもとで文字認識が実行される。その
文字認識結果を同図（ｂ）に示す。

【００９１】ここで、文字認識候補評価が”いずれの文
字の類似度値も８５０点よりも大きいならば信用する”
ということならば、同図（ｂ）図に示す文字認識結果は
信用できないと判定される。これにより、次に文字種を
制限することなく文字認識を行い、文字認識結果として
同図（ｃ）を得る。この文字認識結果は、いずれの類似
度値も８５０点信用され最終的に”ピッツ”が帳票デ―
タベ―スに登録される。この際、同図（ｃ）の文字認識
候補に対して文字種の推定が行われ、結局文字種は同図
（ｄ）に示すように、’漢字’から’”漢字”カナ”’
に更新される。

【００９２】従って、このようにすれば帳票にかかる画
像デ―タに対して罫線抽出部１で罫線セパ―レ―タ候補
として抽出し、このセパレ―タ候補の情報を画像デ―タ
とともに表示部４の同一画面上に表示させ、使用者は、
キ―ボ―ドやマウスなどを使っての画面を見ながらセパ
レ―タ候補について修正をしたり、新たにセパレ―タを
追加したりして選定を行い、書式データベースに登録し
ている。これによりデータベースに登録されるセパレ―
タ候補の関する情報の登録ミス、情報の抜けを防止で
き、さらに必要に応じて情報の追加も行うことができる
ことから、その後に、帳票を認識させるような場合に、
書式データベースに登録されたセパレ―タ情報を参照さ
せることにより文字認識を簡単に行うことができ、その
認識精度を高めることもできるようになる。

【００９３】また、書式データベースに登録されたセパ
レ―タ情報を参照して、入力帳票に対し生成された読取
り領域の画像について文字認識処理を行うとともに、こ
の文字認識の認識候補についての文字種推定部１２によ
り文字種推定を行い、ここで推定された文字種に基づ文
字認識結果を決定するようになっているので、正しい文
字認識結果を短時間のうちに求めることができ、この場
合も精度の高い認識結果が得られることになる。

【００９４】次に、本発明の他の実施例を説明する。

【００９５】この実施例では、ある一定の文字を連続し
て印字することで罫線の代用としている表の中に印字さ
れている文字列を認識する際に、最初に罫線を構成する
文字も含めて文字認識を行い、その結果得られた文字認
識結果に基づいて罫線の存在する位置を決定し、罫線位
置の情報に基づいて表の各項目ごとに出力するようにし
ている。

【００９６】図３０は、同実施例の概略構成を示してい
る。この場合、画像入力部３０１はスキャナ３００によ
り読み取るべき帳票３０２の画像データを取り込み、画
像記憶部３０３に格納する。そして、画像記憶部３０３
に格納された画像データから認識部３０４は、文字を抽
出し認識した結果を出力ファイル３０５に出力するよう
になっている。

【００９７】次に、図３１に、同実施例の読み取り対象
となる帳票の例を示す。

【００９８】この場合、通常の帳票は、見出しや罫線等
をあらかじめ印刷された用紙に各項目の文字を印字する
という形態をとることが多いが、この例に示す帳票は、
白紙のラインプリンタ用紙に、罫線と文字を同時に印刷
するという形態をとっている。また、この例では、記号
「−」を横に連続して印字することによって横罫線を表
し、記号「｜」を縦に連続して印字することによって縦
罫線を表している。また、記号「＋」によって縦罫線と
横罫線の交点を表し、記号「＝」を横に連続して印字す
ることによって２重の横罫線を表すようにもしている。

【００９９】本実施例では、このような一定の文字を用
いて罫線の代用としている帳票を自動的に読み取るもの
を対象としている。

【０１００】次に、このような帳票を読み取る処理を説
明する。

【０１０１】この場合、最初に罫線を構成する各記号
を、それ以外の文字と同様に認識し、その後に、認識結
果を利用して罫線位置を確定して、文字列を各項目毎に
分離するようにしている。

【０１０２】まず、文字行抽出処理として図３２に示す
ように、入力された画像の横方向に黒画素の射影をとる
ことにより、各行の存在位置を決定して抽出する。この
際に、表中に記載された文字列だけでなく、横罫線を表
す「−」記号と「＋」記号からなる行も文字行とみなし
ている。

【０１０３】次に、文字抽出処理として、図３３に示す
ように、切り出された各行の画像に対して縦方向に黒画
素の射影をとり、各文字を抽出する。この際に、表中に
記載された文字だけでなく縦罫線を表す記号「＋」も文
字とみなしている。

【０１０４】次に、文字認識処理を行う。この場合、切
り出された文字の画像を文字認識辞書と照合することに
よって文字認識する。文字認識した結果として得られる
文字コ―ドは、その文字が存在していた画像上の位置座
標とともに保存しておく。

【０１０５】次に、レイアウト判定処理において、文字
認識の結果に基づいて罫線の位置を決定し、罫線位置情
報から罫線に囲まれた各項目の位置を確定する。

【０１０６】この場合、図３４に示すように、文字認識
結果が縦罫線を構成する記号（すなわち記号「−」また
は「＋」）であった文字の横方向のヒストグラムをと
る。この射影値があるしきい値３４１以上の場所に横罫
線が存在すると判定することができる。同様にして、文
字認識結果が縦罫線を構成し得る記号（すなわち記号
「｜」または「＋」）であった文字の縦方向のヒストグ
ラムによって縦罫線を求めることができる。

【０１０７】このようなアルゴリズムには以下に示すよ
うな３つの問題点がある。

【０１０８】第１に、これらの縦横罫線を表す記号は帳
票の種類によって変わる可能性がある。例えば、横罫線
を「−」でなく「＝」で表したり、縦罫線を「｜」では
なく「‖」で表す場合もある。この問題を解決するに
は、処理すべき帳票の種類に応じて、縦横罫線を表す記
号をユ―ザ自身が登録できるようにしておけばよい。

【０１０９】第２に、文字認識の結果、これらの記号が
常に正解になる保証がないという問題がある。これを解
決するには、以下のような方式をとれば良い。すなわ
ち、文字認識結果の第１位が罫線をなす記号である文字
のヒストグラムを求めるのではなく、より一般的に、文
字認識結果の第ｉ位（０＜ｉ＜Ｎ；Ｎは定数）が罫線を
なす記号であった文字のヒストグラムを求めれば良い。
あるては、ある文字の第ｉ位の認識結果が罫線をなす記
号であった場合に、その文字が存在する位置に対応する
ヒストグラムに１を加算すればよい。あるいは、ｉの値
が小さいほど大きな値を加算したり、第ｉ位の類似度を
加算したりするとより、信頼性のあるヒストグラムが得
られる。

【０１１０】第３に、罫線ではなく、文字の間の空白に
よって項目を区切る帳票にも対処しなくてはいけないと
いう問題がある。この場合には、罫線をなす記号のヒス
トグラムではなく、文字間の空白のヒストグラムを用い
ることにより本方式を拡張できる。

【０１１１】そして、レイアウト判定処理において、罫
線に囲まれた各項目の位置が確定されると、項目抽出処
理において、図３５に示すように縦横罫線３５１、３５
２に囲まれた各領域に記載された文字列を項目３５３と
して抽出するようになり、これら項目毎に認識結果の文
字列を出力するようになる。

【０１１２】次に、本発明の異なる他の実施例を説明す
る。

【０１１３】この実施例では、読み取るべき帳票の書式
を登録する書式登録部と、登録された書式に基づいて帳
票に記載された文字を認識する認識部から構成される文
字認識装置であって、書式登録部は、罫線をあらかじめ
印刷された用紙に文字を印字する型の帳票と、罫線を印
字されていない用紙に文字を印字する型の帳票を区別し
て登録するようにしている。また、書式登録部に登録さ
れる帳票上の各記載項目が左揃え、右揃え、中央揃えの
いずれであるかを指定できるようになっている。さら
に、帳票上の行のレイアウトまたは欄のレイアウトにつ
いて、複数の候補を持たせることができるようにもなっ
ている。そして、帳票上の指定された記載項目の読み取
り結果を指定された方式で編集して出力できるようにも
なっている。

【０１１４】図３６は、同実施例の概略構成を示してい
る。

【０１１５】この実施例では、書式登録モ―ドと認識モ
―ドの２種類のモ―ドを持っている。そして、書式登録
モ―ドにおいては、画像入力部３６１が書式登録する基
準となる帳票３６２をスキャン３６０を介して画像信号
として書式登録部３６３に与える。書式登録部３６３は
入力された画像をユ―ザに提示し、ユ―ザとの対話的な
処理によって、読みとるべき帳票３６２の書式情報を生
成して書式情報ファイル３６４に登録する。

【０１１６】また、認識モ―ドにおいては、画像入力部
３６１が読みとるべき帳票３６２をスキャンして得られ
た画像信号を認識部３６５に与える。認識部３６５は書
式情報ファイル３６４に登録された書式の情報を基にし
て、画像からの文字の切り出し、文字認識、単語照合な
どの一連の処理を行う。そして、この結果得られた認識
結果の文字列を出力ファイル３６６として出力するよう
にしている。

【０１１７】まず、書式登録モ―ドについて説明する
と、スキャナによって入力された画像がディスプレイに
表示される。この表示を見てユ―ザはその帳票の型を指
定する。この場合、帳票の型は、図３７（ａ）に示す罫
線があらかじめ印字された帳票に後から文字を印字して
いくもの（以下でＡ型と呼ぶ）と、同図（ｂ）に示す罫
線が印字されていない帳票に、文字が印字されるもの
（以下でＢ型と呼ぶ）の２種類に分けられる。

【０１１８】ここで、Ａ型の帳票は、読みとるべき項目
が罫線で区切られていることに特徴があり、Ｂ型の帳票
は読みとるべき項目が罫線ではなく、文字間の広い空白
で区切られていることに特徴がある。ただし、一部分が
罫線で区切られているが、主要な部分が空白で区切られ
ている帳票はＢ型に含めるものとする。

【０１１９】いま、登録しようとしている帳票がＡ型で
あれば、ユ―ザは、その帳票に印刷された罫線の情報を
入力する。罫線の情報には、その罫線の位置，線種など
の情報が含まれる。罫線の位置情報はディスプレイ上に
マウスなどで始点と終点を指定するようにすれば容易に
指定できる。あるいは、文字認識装置が自動的に罫線を
抽出した結果をユ―ザに提示し、ユ―ザの修正・確認の
後に登録するという方式にすれば、よりユ―ザの手間を
省くことができる。

【０１２０】例えば、ユ―ザがディスプレイ上に表示し
た帳票の画像の上で、指定したい罫線の近くの一点をマ
ウス等で指示すると、文字認識によりその点の近くの罫
線を自動的に抽出して、ディスプレイ上に、帳票の画像
に重ねて表示する。ユ―ザはその表示を見て、抽出され
た罫線の位置を移動したり、伸縮したり、線種を変更し
たりするなどの操作をマウスで指定できることが考えら
れる。

【０１２１】一方、登録しようとしている帳票がＢ型で
あれば、ユ―ザは、各項目の縦横の切れ目に仮想的な罫
線の位置を指定する。Ｂ型の場合は、縦方向の仮想的な
罫線で区切られた各項目に記載された文字列が、左揃
え，右揃え，中央揃えのいずれであるかも指定できる。
その際に、文字列を揃える基準線の位置も指定してお
く。

【０１２２】仮想罫線および揃え位置指定の例を図３８
に示す。また、仮想的な罫線の位置を表題や頁番号等の
項目以外の固定部分との相対的な位置で指定することも
できる。この場合には、固定部分の絶対位置と、仮想的
な罫線の相対位置の両者を登録しておく必要がある。こ
の指定の方法を図３９に示している。ここで、破線は仮
想罫線、一点鎖線は固定部分を示している。

【０１２３】次に、指定された罫線または仮想罫線で囲
まれた、各項目の属性を指定する。これらの属性には、
その項目がどの文字種で印字されているか（字種指
定）、その項目にはどのような種類の単語が記載されて
いるか（単語指定）、認識後には１つの項目を複数の項
目として分割して出力するか（分割指定）、認識後に複
数の項目を１つの項目として統合して出力するか（統合
指定）、半角文字列か全角文字列（ピッチ指定）、番号
が順に並んでいるか否かの認識をするか（シ―ケンス指
定）などが指定できる。

【０１２４】ここで字種指定は、文字認識を行う際に認
識すべき字種を、例えばカタカナのみ、数字のみという
ふうに、限定することにより、認識率を高めると同時
に、認識速度を速くすることを目的としている。単語指
定は、その項目に記載された単語が、例えば住所・氏名
・会社名等であることを指定し、それぞれの単語の種類
に対応する単語辞書によってスペルチェックすることに
より、高い認識精度を達成することを目的としている。
分割指定は、単一の項目として印字されているが複数の
項目として出力したい場合に指定する。例えば、図４０
（ａ）に示す場合には、銀行名と、その右のカッコに囲
まれた支店名を別の項目として出力する。この項目の分
割指定は例えば次のような文字列で指定するように決め
ておく。

【０１２５】＄銀行名＄（＄支店名＄）この指定をしておくと、認識結果からカッコが探され、
カッコの外の文字列は「銀行名」という名の項目として
出力され、カッコ内の文字列は「支店名」という項目と
して出力される。

【０１２６】図４０（ｂ）の場合には、銀行口座の種別
（普通か当座か）と口座番号を別の項目として出力す
る。この項目の分割指定は例えば次ような文字列で指定
するように決めておく。

【０１２７】＄種別＄：｛普｜当｝＄口座番号＄この指定をしておくと、認識結果の先頭の１文字が
「普」か「当」かを判定して、その結果を「種別」とい
う項目として出力する。次に、その後ろの文字列を数字
として認識し、「口座番号」という項目として出力す
る。

【０１２８】統合指定は、複数の項目として印字されて
いるが単一の項目として出力したい場合に指定する。例
えば、図４１は姓と名が別の項目として分かれている帳
票の例を示している。統合指定によって、この二つの項
目を統合して「氏名」という項目として出力することが
可能になる。

【０１２９】そして、シ―ケンス指定は認識結果の確認
に用いる。例えば、図３７に示す帳票の「番号」の項目
は、各行で順に並んでいなくてはならない。この項目を
シ―ケンス指定しておくと、文字認識が終わった後に、
数字が順に並んでいるかどうかチェックして、順番が狂
っているとユ―ザに確認・修正を促す。

【０１３０】もし、項目の属性として複数の可能性が考
えられる場合には、上で述べた属性の組を複数個用意し
ておくことができる。例えば、図４２に示すように、項
目が縦に並んでいる途中で小計が挿入されている場合
に、左から２番目の「氏名」の項目の項目属性の可能性
として、以下の２種類が考えられる。

【０１３１】（１）字種指定：カタカナ，単語指定：氏
名，ピッチ指定：半角，分割指定：姓と名。

【０１３２】（２）字種指定：全字種，単語指定：”小
計”，ピッチ指定：全角。

【０１３３】また、項目単位ではなく行単位で複数の可
能性を指定することもできるようにする必要がある。例
えば、図４３に示すような場合は、各行における項目の
配置自体が複数の可能性を持っている。

【０１３４】以上のようにして指定された全ての書式指
定情報は、書式情報ファイルの形で出力され、次に述べ
る認識モ―ドで用いられる。

【０１３５】この場合、スキャナによって認識すべき帳
票の画像が入力される。この場合、入力された画像は、
書式情報を登録した際の画像と位置がずれていることが
多い。そのため、両者の画像の位置合わせを行う必要が
あるが、その位置合わせの方法がＡ型の帳票とＢ型の帳
票で異なっている。

【０１３６】まず、Ａ型の場合は入力された帳票の画像
から罫線を抽出し、それらと書式情報に登録された罫線
とを照合することにより、位置合わせができる。位置合
わせの具体的な方法は、例えば入力画像中の罫線の存在
位置を示す関数ｆ（ｘ）を考える。ここで、ｆ（ｘ）＝１：位置ｘに罫線が存在する時＝０：位置ｘに罫線が存在しない時同様にして、書式情報における罫線の存在位置を示す関
数ｇ（ｘ）を考え、相関関数 φ（ｓ）＝Ｅ［ｆ（ｘ）ｇ（ｘ＋ｓ）］を最大にするｓを位置ずれ量とする。ここでＥ［・］は
平均操作を示す。この位置合わせを行う際に、線種の情
報も用いることが可能である。

【０１３７】一方、Ｂ型の場合は、上記のような罫線位
置を用いることができないので、各項目の端点の位置に
よって位置合わせを行う。まず、入力された画像におい
て、近接した黒画素を統合する操作によって、図４４
（ａ）に示すように概略の項目を抽出する。ここで、４
４１は左揃えの欄、４４２は中央揃えの欄、４４３は右
揃えの欄を示している。

【０１３８】次に図４４（ｂ）に示すように、各概略項
目の左端・右端・中央の各位置のヒストグラムをとる。
これら３個のヒストグラムを、図４４（ｃ）に示すよう
な書式情報に登録された左端，右端，中央の各位置と照
合をとることにより、位置を合わせることができる。

【０１３９】位置合わせの具体的な方法は、例えば入力
画像中の項目の左端のヒストグラムをｆ₁（ｘ），右端
のヒストグラムをｆ₂（ｘ），中央のヒストグラムをｆ
₃（ｘ）とし、書式情報における左端の位置を示す関数
をｇ₁（ｘ），右端の位置を示す関数をｇ₂（ｘ），中
央を示す関数をｇ₃（ｘ）とし、Ｊ（ｓ）＝α₁・φ₁（ｓ）＋α₂・φ₂（ｓ）＋α₃・φ₃（ｓ）を最大にするｓを位置ずれ量とする。ここで、 φ₁（ｓ）＝Ｅ［ｆ₁（ｘ＋ｓ）ｇ₁（ｘ）］（ｉ＝１，２，３） α₁は定数である。

【０１４０】また、帳票上の固定部分と仮想罫線の位置
情報を登録した場合には、次のようにして位置合わせを
行う。すなわち、まず登録された固定部分の絶対座標の
近くで、入力画像内のどこに固定部分が存在するかを検
索する。発見された固定部分の位置座標を、登録された
座標と比較することにより、位置ずれ量を求めることが
でき、この位置ずれ量に基づいて位置合わせを行うこと
ができる。

【０１４１】以上のようにして、入力された画像と書式
情報の位置合わせができると、図４５に示すように書式
情報に記述された罫線または仮想罫線４５１の位置に従
って、項目４５２の画像が入力画像全体から抽出される
ようになる。

【０１４２】次に、抽出された項目はそれぞれ認識され
る。この場合、抽出された項目の画像から、書式情報に
記述された項目属性に基づいて、文字を切り出し、文字
認識を行い、単語照合を行い、その結果を認識結果とし
ている。ここで、項目属性の候補が複数ある場合には、
それぞれの項目属性候補に基づいて認識して、最も認識
結果の得点が高かったものを選択する。認識結果の得点
としては、例えば、文字認識結果の類似度の平均などを
用いれば良い。選択された候補の認識結果だけでなく、
その候補がどの型のものであったかも、出力する必要が
ある。行単位で複数の可能性を指定した場合にも、同様
にして、行全体を複数の方式で項目に分割して文字認識
を行ってみて、その結果に基づいていずれの候補を選択
するかを選べば良い。

【０１４３】このようにして認識結果が選択された後、
その項目が分割すべき項目として指定されていたなら
ば、その指示に従って、その項目を複数の項目に分割す
る。また、統合すべき項目として指定されている複数の
項目についても、その指示に従う。そして、最後に、以
上のようにして得られた各項目の認識結果を認識結果フ
ァイルに出力するようになる。

【０１４４】なお、本発明は上記実施例にのみ限定され
ず、要旨を変更しない範囲で適宜変形して実施できる。

【０１４５】

【発明の効果】本発明によれば、帳票にかかる画像デ―
タに対してセパ―レ―タ候補を抽出し、このセパレ―タ
候補の情報を画像デ―タとともに表示させ、使用者は、
キ―ボ―ドなどを使ってのセパレ―タ候補の編集操作は
画像デ―タイメ―ジが表示されている画面を見ながら修
正をしたり、新たにセパレ―タを追加したりして選定を
行なった後に書式データベースに登録するようにできる
ので、データベースに登録されるセパレ―タ情報の登録
ミス、情報の抜けを防止できるとともに、必要により情
報の追加も行うことができるようになり、その後に、帳
票を認識させるような場合に、書式データベースに登録
されたセパレ―タ情報を参照させることで文字認識処理
を簡単に行うことができるとともに、その認識精度を高
めることができる。

【０１４６】また、本発明によれば、画像データで入力
される帳票に対し生成された読取り領域に対応した画像
の形状から文字種を推定し、この推定された文字種に基
づいて文字認識結果が決定されるようにしているので、
正しい文字認識を短時間に効率よく得られるとともに、
精度の高い認識結果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施例の概略構成を示す図。

【図２】実施例のセパレ―タ（罫線）候補の抽出を説明
するための図。

【図３】実施例の画像イメ―ジのセパレ―タ候補に外接
する矩形を示す図。

【図４】実施例により抽出されたセパレ―タ候補の一例
を示す図。

【図５】実施例のセパレ―タ候補の抽出後の表示画面例
を示す図。

【図６】実施例のセパレ―タ候補の修正の際の表示画面
例を示す図。

【図７】実施例の修正するセパレ―タ候補を画像デ―タ
のイメ―ジにオ―バ―ラップして表示した状態を示す
図。

【図８】実施例のセパレ―タ候補を修正する際のウイン
ドウの表示例を示す図。

【図９】実施例のセパレ―タ候補を削除する際のウイン
ドウの表示例を示す図。

【図１０】実施例のセパレ―タ候補を接続する際のウイ
ンドウの表示例を示す図。

【図１１】実施例のセパレ―タ候補を切断する際のウイ
ンドウの表示例を示す図。

【図１２】実施例のセパレ―タ候補を追加する際の表示
画面例を示す図。

【図１３】実施例のセパレ―タ候補の追加方法を説明す
るための図。

【図１４】実施例のセパレ―タ候補の追加方法を説明す
るための図。

【図１５】実施例の文字認識処理の動作を説明するため
の図。

【図１６】実施例の読取り領域の指定の表示画面例を示
す図。

【図１７】実施例の領域情報を入力する際のウインドウ
の表示例を示す図。

【図１８】実施例の領域情報を適用した場合の文字認識
処理を説明するための図。

【図１９】実施例に文字種推定部を付加した場合の動作
を説明するための図。

【図２０】実施例の文字種推定部での動作を説明するた
めの図。

【図２１】実施例の文字種推定部での動作を説明するた
めの図。

【図２２】実施例の文字種推定部での動作を説明するた
めの図。

【図２３】実施例の文字種推定に知識ベ―スを利用した
場合を説明するための図。

【図２４】実施例の文字種推定での領域情報ウインドの
表示例を示す図。

【図２５】実施例の文字種推定の他の例を説明するため
の図。

【図２６】図２５の文字種推定の他の例を説明するため
の図。

【図２７】実施例の文字種推定の異なる他の例を説明す
るための図。

【図２８】実施例の文字種推定のさらに異なる他の例を
説明するための図。

【図２９】図２９に示す文字種推定のさらに異なる他の
例を説明するための図。

【図３０】本発明の他の実施例の概略構成を示す図。

【図３１】他の実施例に用いられる帳票の一例を示す
図。

【図３２】他の実施例の文字行抽出処理を説明するため
の図。

【図３３】他の実施例の文字抽出処理を説明するための
図。

【図３４】他の実施例のレイアウト判定処理を説明する
ための図。

【図３５】他の実施例の項目抽出処理を説明するための
図。

【図３６】本発明の異なる他の実施例の概略構成を示す
図。

【図３７】異なる他の実施例に用いられる帳票の一例を
示す図。

【図３８】異なる他の実施例の仮想罫線および揃え位置
指定を説明するための図。

【図３９】異なる他の実施例の仮想罫線と固定部分を説
明するための図。

【図４０】異なる他の実施例の項目を分割指定する場合
を説明するための図。

【図４１】異なる他の実施例の項目を統合指定する場合
を説明するための図。

【図４２】異なる他の実施例の項目の属性が複数候補あ
る場合を説明するための図。

【図４３】異なる他の実施例の行レイアウトに複数候補
ある場合を説明するための図。

【図４４】異なる他の実施例の行端による位置決め方法
を説明するための図。

【図４５】異なる他の実施例の項目抽出を説明するため
の図。

【符号の説明】

１…罫線抽出部、１ａ、１ｂ…メモリ、２…書式定義
部、３…書式データベース、４…表示部、５…帳票入力
部、６…書式読出し部、７…罫線検出部、８…照合部、
９…文字認識部、１０…帳票データベース、１１…領域
情報入力部、１２…文字種推定部、３０１、３６１…画
像入力部、３０２、３６２…帳票、３０３…画像記憶
部、３０４、３６５…認識部、３０５、３６６…出力フ
ァイル、３６３…書式登録部、３６４…書式情報ファイ
ル。

───────────────────────────────────────────────────── フロントページの続き (72)発明者有吉俊二神奈川県川崎市幸区小向東芝町１番地株式会社東芝総合研究所内 (72)発明者梅岡孝次東京都青梅市新町1385番地東芝ソフトウェアエンジニアリング株式会社内

Claims

【特許請求の範囲】

【請求項１】帳票にかかる入力画像デ―タより該帳票
の各デ―タ項目区切部をセパレータ候補として抽出する
抽出手段と、この抽出手段により抽出されるセパレータ候補の情報と
前記入力画像デ―タを表示する表示手段と、この表示手段の表示により前記セパレ―タ候補の修正／
追加／選定の少なくとも１つを実行可能にした手段と、この手段の実行により最終的に確定されたセパレ―タ候
補情報を登録する書式データベースとを具備し、画像データとして入力される帳票に対応する前記書式デ
ータベースに登録されたセパレ―タ候補情報を用いて前
記帳票の認識領域を特定し該認識領域の文字認識を行う
ことを特徴とする文字認識装置。
【請求項２】画像データとして入力される帳票に対し
て読取り領域に対応した画像を生成する手段と、前記読取り領域に対応した画像の形状から文字種を推定
する手段と、この手段により推定された文字種に基き前記読取り領域
内の画像について文字認識結果を行う手段とを具備した
ことを特徴とする文字認識装置。