JPH0660222A - 文字認識装置 - Google Patents
文字認識装置Info
- Publication number
- JPH0660222A JPH0660222A JP4215054A JP21505492A JPH0660222A JP H0660222 A JPH0660222 A JP H0660222A JP 4215054 A JP4215054 A JP 4215054A JP 21505492 A JP21505492 A JP 21505492A JP H0660222 A JPH0660222 A JP H0660222A
- Authority
- JP
- Japan
- Prior art keywords
- character
- separator
- data
- candidate
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Character Discrimination (AREA)
- Character Input (AREA)
Abstract
(57)【要約】
【目的】本発明は、利用者にとっての使い勝手を改善で
きるとともに、精度の高い認識処理を得られる文字認識
装置を提供する。 【構成】帳票にかかる入力画像デ―タより該帳票の罫線
をセパレータ候補として罫線抽出部1で抽出するととも
に、この罫線抽出部1により抽出されるセパレータ候補
の情報と前記入力画像デ―タを表示部4で表示し、この
表示部4での表示によりセパレ―タ候補の修正/追加/
選定の各操作を実行し、この実行により最終的に確定さ
れたセパレ―タ候補情報を書式データベース3に登録し
て、この書式データベース3に登録されたセパレ―タ候
補情報を用いて帳票の認識領域を特定しこの認識領域の
文字認識を行うようにしている。
きるとともに、精度の高い認識処理を得られる文字認識
装置を提供する。 【構成】帳票にかかる入力画像デ―タより該帳票の罫線
をセパレータ候補として罫線抽出部1で抽出するととも
に、この罫線抽出部1により抽出されるセパレータ候補
の情報と前記入力画像デ―タを表示部4で表示し、この
表示部4での表示によりセパレ―タ候補の修正/追加/
選定の各操作を実行し、この実行により最終的に確定さ
れたセパレ―タ候補情報を書式データベース3に登録し
て、この書式データベース3に登録されたセパレ―タ候
補情報を用いて帳票の認識領域を特定しこの認識領域の
文字認識を行うようにしている。
Description
【0001】
【産業上の利用分野】本発明は、伝票などの用紙(以
下、表形式帳票と呼ぶ。)に印刷された文字の認識に用
いられる文字認識装置に関するものである。
下、表形式帳票と呼ぶ。)に印刷された文字の認識に用
いられる文字認識装置に関するものである。
【0002】
【従来の技術】従来、伝票のように罫線・空白などによ
り文字の並びが項目毎・デ―タ毎に区切られている表形
式帳票に印刷されている文字の認識を行うような場合、
使用者はあらかじめフォ―マット・コントロ―ルファイ
ルに対して認識領域の座標位置情報をエディタコマンド
を使ってキ―ボ―ドから入力したり、マウスを用いて認
識領域の座標位置を入力するなどして、認識対象の位置
を特定した後に認識処理を行うようにしていた。また、
場合によっては、実際に認識させる帳票を使って認識領
域の座標位置情報を計測させたり、帳票上にマ―カを記
入するなどすることもあり、一般の利用者にとっては使
い勝手が悪く、文字認識の精度が著しく悪いという問題
点があった。
り文字の並びが項目毎・デ―タ毎に区切られている表形
式帳票に印刷されている文字の認識を行うような場合、
使用者はあらかじめフォ―マット・コントロ―ルファイ
ルに対して認識領域の座標位置情報をエディタコマンド
を使ってキ―ボ―ドから入力したり、マウスを用いて認
識領域の座標位置を入力するなどして、認識対象の位置
を特定した後に認識処理を行うようにしていた。また、
場合によっては、実際に認識させる帳票を使って認識領
域の座標位置情報を計測させたり、帳票上にマ―カを記
入するなどすることもあり、一般の利用者にとっては使
い勝手が悪く、文字認識の精度が著しく悪いという問題
点があった。
【0003】
【発明が解決しようとする課題】このように従来、伝票
などの表形式帳票に印刷された文字の認識を行う場合、
一般の利用者にとって使い勝手が悪いだけでなく、認識
処理の精度も低い欠点があった。
などの表形式帳票に印刷された文字の認識を行う場合、
一般の利用者にとって使い勝手が悪いだけでなく、認識
処理の精度も低い欠点があった。
【0004】本発明は、上記事情に鑑みてなされたもの
で、利用者にとっての使い勝手を改善できるとともに、
精度の高い認識処理を得られる文字認識装置を提供する
ことを目的とする。
で、利用者にとっての使い勝手を改善できるとともに、
精度の高い認識処理を得られる文字認識装置を提供する
ことを目的とする。
【0005】
【課題を解決するための手段】本発明は、帳票にかかる
入力画像デ―タより該帳票の各デ―タ項目区切部をセパ
レータ候補として抽出する抽出手段、この抽出手段によ
り抽出されるセパレータ候補の情報と前記入力画像デ―
タを表示する表示手段、この表示手段の表示により前記
セパレ―タ候補の修正/追加/選定の少なくとも1つを
実行可能にした手段、この手段の実行により最終的に確
定されたセパレ―タ候補情報を登録する書式データベー
スを具備し、画像データとして入力される帳票に対応す
る前記書式データベースに登録されたセパレ―タ候補情
報を用いて前記帳票の認識領域を特定し該認識領域の文
字認識を行うように構成されている。
入力画像デ―タより該帳票の各デ―タ項目区切部をセパ
レータ候補として抽出する抽出手段、この抽出手段によ
り抽出されるセパレータ候補の情報と前記入力画像デ―
タを表示する表示手段、この表示手段の表示により前記
セパレ―タ候補の修正/追加/選定の少なくとも1つを
実行可能にした手段、この手段の実行により最終的に確
定されたセパレ―タ候補情報を登録する書式データベー
スを具備し、画像データとして入力される帳票に対応す
る前記書式データベースに登録されたセパレ―タ候補情
報を用いて前記帳票の認識領域を特定し該認識領域の文
字認識を行うように構成されている。
【0006】また、本発明は、画像データとして入力さ
れる帳票に対して読取り領域に対応した画像を生成する
手段、前記読取り領域に対応した画像の形状から文字種
を推定する手段、この手段により推定された文字種に基
き前記読取り領域内の画像について文字認識結果を行う
手段により構成されている。
れる帳票に対して読取り領域に対応した画像を生成する
手段、前記読取り領域に対応した画像の形状から文字種
を推定する手段、この手段により推定された文字種に基
き前記読取り領域内の画像について文字認識結果を行う
手段により構成されている。
【0007】
【作用】この結果、本発明によれば、帳票にかかる画像
デ―タに対してセパ―レ―タ候補を抽出し、このセパレ
―タ候補の情報を画像デ―タとともに表示させ、使用者
は、キ―ボ―ドなどを使ってのセパレ―タ候補の編集操
作は画像デ―タイメ―ジが表示されている画面を見なが
ら修正をしたり、新たにセパレ―タを追加したりして選
定を行なった後に書式データベースに登録することによ
り、データベースに登録されるセパレ―タ情報の登録ミ
ス、情報の抜けを防止できるとともに、必要により情報
の追加も行うことができるようになり、その後に、帳票
を認識させるような場合に、書式データベースに登録さ
れたセパレ―タ情報を参照させるようにすることで文字
認識を簡単に行うことができるとともに、その認識精度
を高めることもできる。
デ―タに対してセパ―レ―タ候補を抽出し、このセパレ
―タ候補の情報を画像デ―タとともに表示させ、使用者
は、キ―ボ―ドなどを使ってのセパレ―タ候補の編集操
作は画像デ―タイメ―ジが表示されている画面を見なが
ら修正をしたり、新たにセパレ―タを追加したりして選
定を行なった後に書式データベースに登録することによ
り、データベースに登録されるセパレ―タ情報の登録ミ
ス、情報の抜けを防止できるとともに、必要により情報
の追加も行うことができるようになり、その後に、帳票
を認識させるような場合に、書式データベースに登録さ
れたセパレ―タ情報を参照させるようにすることで文字
認識を簡単に行うことができるとともに、その認識精度
を高めることもできる。
【0008】また、本発明によれば、画像データで入力
される帳票に対し生成された読取り領域に対応した画像
の形状から文字種を推定し、この推定された文字種に基
づいて文字認識結果が決定されるようにしている。これ
により正しい文字認識を短時間に効率よく得られるとと
もに、精度の高い認識結果が得られる。
される帳票に対し生成された読取り領域に対応した画像
の形状から文字種を推定し、この推定された文字種に基
づいて文字認識結果が決定されるようにしている。これ
により正しい文字認識を短時間に効率よく得られるとと
もに、精度の高い認識結果が得られる。
【0009】
【実施例】以下、本発明の一実施例を図面に従い説明す
る。
る。
【0010】図1は同実施例の概略構成を示すものであ
る。この場合、伝票など表形式帳票では、文字の並びを
分割するセパレ―タとして一般的に罫線や空白が多く用
いられているが、ここでは、文字の並びをデ―タ・項目
毎に区切っているセパレ―タのうちで、最も代表的と考
えられる罫線(区切り線)を例にとり、セパレ―タ情報
を書式データとして書式データベースに登録する場合を
説明する。
る。この場合、伝票など表形式帳票では、文字の並びを
分割するセパレ―タとして一般的に罫線や空白が多く用
いられているが、ここでは、文字の並びをデ―タ・項目
毎に区切っているセパレ―タのうちで、最も代表的と考
えられる罫線(区切り線)を例にとり、セパレ―タ情報
を書式データとして書式データベースに登録する場合を
説明する。
【0011】図において、1は罫線抽出部で、この罫線
抽出部1は、帳票に関するブランクシートまたは表示画
像データが入力されると罫線をセパレ―タ情報として抽
出し、この情報に基づいて書式定義部2により帳票の書
式を定義し、これを書式データベース3に登録するよう
にしている。
抽出部1は、帳票に関するブランクシートまたは表示画
像データが入力されると罫線をセパレ―タ情報として抽
出し、この情報に基づいて書式定義部2により帳票の書
式を定義し、これを書式データベース3に登録するよう
にしている。
【0012】このような構成をさらに詳述すると、例え
ば、使用者が、図示しない画像入力装置からデ―タベ―
スとして登録したい表形式帳票が画像デ―タとして入力
すると、入力された画像デ―タは、2値化され表示部4
の画面上に表示されるとともに、罫線抽出部1のメモリ
1aに記憶される。この場合、メモリ1aには、画像デ
―タとともに、その先頭アドレスも保持される。そし
て、このメモリ1a上に記憶された画像デ―タをアクセ
スするには、アドレスを使って行なわれる。また、2値
化された画像デ―タは、黒画素が1、白画素が0に対応
し、さらに、画像デ―タの左上方を原点としている。
ば、使用者が、図示しない画像入力装置からデ―タベ―
スとして登録したい表形式帳票が画像デ―タとして入力
すると、入力された画像デ―タは、2値化され表示部4
の画面上に表示されるとともに、罫線抽出部1のメモリ
1aに記憶される。この場合、メモリ1aには、画像デ
―タとともに、その先頭アドレスも保持される。そし
て、このメモリ1a上に記憶された画像デ―タをアクセ
スするには、アドレスを使って行なわれる。また、2値
化された画像デ―タは、黒画素が1、白画素が0に対応
し、さらに、画像デ―タの左上方を原点としている。
【0013】まず、セパレ―タ(罫線)抽出処理を行
う。ここで述べるセパレ―タ抽出処理は、イメ―ジの射
影を用いるが、これはほんの一例に過ぎず、どのような
抽出法を用いてもよい。この場合、罫線抽出部1のメモ
リ1aから図2(a)に示すような表形式帳票の画像デ
―タが読み出されると、この画像デ―タに対して同図
(b)(c)に示す黒画素のx軸方向とy軸方向のそれ
ぞれの射影を求める。
う。ここで述べるセパレ―タ抽出処理は、イメ―ジの射
影を用いるが、これはほんの一例に過ぎず、どのような
抽出法を用いてもよい。この場合、罫線抽出部1のメモ
リ1aから図2(a)に示すような表形式帳票の画像デ
―タが読み出されると、この画像デ―タに対して同図
(b)(c)に示す黒画素のx軸方向とy軸方向のそれ
ぞれの射影を求める。
【0014】ここでは、黒画素の射影から得られる図形
的特徴を使ってy軸方向に伸びるセパレ―タ候補(以
下、縦セパレ―タ候補と呼ぶ)の抽出方法について説明
する。この場合、x軸方向に対して得られた射影の図形
的特徴から、縦セパレ―タと思われる部分は他の図形的
特徴に比べると細長くなっている。このことから、射影
の図形的特徴の中から細長い分布を示している箇所を検
索することにより、画像デ―タのx軸上における縦セパ
レ―タ候補の位置が2つのx座標値(図2中*印部)と
して求められる。
的特徴を使ってy軸方向に伸びるセパレ―タ候補(以
下、縦セパレ―タ候補と呼ぶ)の抽出方法について説明
する。この場合、x軸方向に対して得られた射影の図形
的特徴から、縦セパレ―タと思われる部分は他の図形的
特徴に比べると細長くなっている。このことから、射影
の図形的特徴の中から細長い分布を示している箇所を検
索することにより、画像デ―タのx軸上における縦セパ
レ―タ候補の位置が2つのx座標値(図2中*印部)と
して求められる。
【0015】次に、黒画素のy軸上への射影で得られた
図形的特徴から画像デ―タのy軸上におけるデ―タ領域
(文字、線、図形などが必ず書かれている部分)の始点
/終点として2つのy座標値(図2中☆印部)を求め
る。
図形的特徴から画像デ―タのy軸上におけるデ―タ領域
(文字、線、図形などが必ず書かれている部分)の始点
/終点として2つのy座標値(図2中☆印部)を求め
る。
【0016】このようにして求められた2つずつのx,
y座標値から縦セパレ―タ候補の画像イメ―ジに外接す
る矩形(図3)を作成することができる。そして、これ
を縦セパレ―タ候補のデ―タとして前記外接する矩形の
左上方の(x,y)座標値と右下方の(x,y)座標値
をメモリ1bに保持しておく。
y座標値から縦セパレ―タ候補の画像イメ―ジに外接す
る矩形(図3)を作成することができる。そして、これ
を縦セパレ―タ候補のデ―タとして前記外接する矩形の
左上方の(x,y)座標値と右下方の(x,y)座標値
をメモリ1bに保持しておく。
【0017】同様にして黒画素のy軸方向への射影から
得られた図形的特徴から、画像デ―タのy軸上における
横セパレ―タ候補(x軸方向に伸びるセパレ―タ候補)
の位置が2つのy座標値として、また黒画素のx軸上へ
の射影から得られた図形的特徴から、画像デ―タのx軸
上におけるデ―タ領域の始点/終点として2つのx座標
値を求める。そして、横セパレ―タ候補の画像イメ―ジ
に外接する矩形の左上方の(x,y)座標値と右下方の
(x,y)座標値を横セパレ―タのデ―タとしてメモリ
1bに保持しておく。ここで、メモリ1bに縦横のセパ
レ―タ候補のデ―タを保持する時は、それぞれのセパレ
―タ候補にID番号を付けておく。
得られた図形的特徴から、画像デ―タのy軸上における
横セパレ―タ候補(x軸方向に伸びるセパレ―タ候補)
の位置が2つのy座標値として、また黒画素のx軸上へ
の射影から得られた図形的特徴から、画像デ―タのx軸
上におけるデ―タ領域の始点/終点として2つのx座標
値を求める。そして、横セパレ―タ候補の画像イメ―ジ
に外接する矩形の左上方の(x,y)座標値と右下方の
(x,y)座標値を横セパレ―タのデ―タとしてメモリ
1bに保持しておく。ここで、メモリ1bに縦横のセパ
レ―タ候補のデ―タを保持する時は、それぞれのセパレ
―タ候補にID番号を付けておく。
【0018】なお、上述したと同様にして、例えば、図
4(a)に示すような表形式帳票からセパレ―タ情報を
求めると、縦セパレ―タのイメ―ジに外接する矩形は、
同図(b)のように求められてしまう。この場合は、後
述するセパレ―タ候補の修正を行ない正しいセパレ―タ
を求めるようにする。
4(a)に示すような表形式帳票からセパレ―タ情報を
求めると、縦セパレ―タのイメ―ジに外接する矩形は、
同図(b)のように求められてしまう。この場合は、後
述するセパレ―タ候補の修正を行ない正しいセパレ―タ
を求めるようにする。
【0019】このようにしてセパレ―タ候補の自動抽出
が終了したならば、表示部4にメモリ1aに保持された
画像デ―タとメモリ1bに保持されたセパレ―タ候補の
デ―タを渡し、画像デ―タのイメ―ジを画面上に表示さ
せると同時に,個々のセパレ―タ候補のデ―タを参照し
ながら、画面上に表示している画像デ―タイメ―ジの周
りにセパレ―タ候補の位置を示す記号(図5(a)中△
印)とID番号を画像デ―タイメ―ジとは違う色color1
で表示させる。
が終了したならば、表示部4にメモリ1aに保持された
画像デ―タとメモリ1bに保持されたセパレ―タ候補の
デ―タを渡し、画像デ―タのイメ―ジを画面上に表示さ
せると同時に,個々のセパレ―タ候補のデ―タを参照し
ながら、画面上に表示している画像デ―タイメ―ジの周
りにセパレ―タ候補の位置を示す記号(図5(a)中△
印)とID番号を画像デ―タイメ―ジとは違う色color1
で表示させる。
【0020】同時に、表示部4の画面上にはセパレ―タ
候補の修正/選定/追加を行なう為の操作を選択できる
ボタン4a、4b、4cを有するウイドウ4d(図5
(b))も表示される。また、ポインティングデバイス
が接続されていない場合でもキ―ボ―ドのような入力装
置を用いて操作ができるように、キ―に対応した文字を
前記ウイドウ4dに表示している各ボタン4a、4b、
4cと共に表示される。
候補の修正/選定/追加を行なう為の操作を選択できる
ボタン4a、4b、4cを有するウイドウ4d(図5
(b))も表示される。また、ポインティングデバイス
が接続されていない場合でもキ―ボ―ドのような入力装
置を用いて操作ができるように、キ―に対応した文字を
前記ウイドウ4dに表示している各ボタン4a、4b、
4cと共に表示される。
【0021】この状態から、使用者は画面上に表示され
た画像デ―タのイメ―ジとセパレ―タ候補の位置を示す
記号を見ながら、修正/追加/選定の中で操作をしたい
ボタン4a、4b、4cをマウスなどのポインティング
デバイスを使ってクリックする。ポインティングデバイ
スが場合には、ボタン4a、4b、4cに付随して表示
している文字に対応したキ―をキ―ボ―ド上でタイプす
ることによりポインティングデバイスと同様の操作が行
なえるようにしておく。
た画像デ―タのイメ―ジとセパレ―タ候補の位置を示す
記号を見ながら、修正/追加/選定の中で操作をしたい
ボタン4a、4b、4cをマウスなどのポインティング
デバイスを使ってクリックする。ポインティングデバイ
スが場合には、ボタン4a、4b、4cに付随して表示
している文字に対応したキ―をキ―ボ―ド上でタイプす
ることによりポインティングデバイスと同様の操作が行
なえるようにしておく。
【0022】次に、修正・追加・選定についての操作を
説明する。
説明する。
【0023】最初にセパレ―タ候補の修正について説明
する。使用者は表示部4の画面上に表示されているウイ
ンドウ4dの修正ボタン4aをポインティングデバイス
でクリック、またはキ―ボ―ドから修正ボタン4aに対
応したキ―をタイプすることによって、ウインドウ4d
の表示が図6に示すように変化し、次の入力を促す。
する。使用者は表示部4の画面上に表示されているウイ
ンドウ4dの修正ボタン4aをポインティングデバイス
でクリック、またはキ―ボ―ドから修正ボタン4aに対
応したキ―をタイプすることによって、ウインドウ4d
の表示が図6に示すように変化し、次の入力を促す。
【0024】使用者はその表示に従って、画面上に表示
されているセパレ―タ候補の位置を示す記号の中から修
正したいものをポインティングデバイスを用いて選択ま
たはセパレ―タ候補に対応するID番号をキ―ボ―ドか
ら入力すると、セパレ―タ候補に対応したデ―タがメモ
リ1bより呼び出される。そして、画面上ではメモリ1
bから呼び出されたデ―タにより作成された矩形の枠が
画像デ―タのイメ―ジにオ―バ―ラップして色color1で
表示される(図7)。
されているセパレ―タ候補の位置を示す記号の中から修
正したいものをポインティングデバイスを用いて選択ま
たはセパレ―タ候補に対応するID番号をキ―ボ―ドか
ら入力すると、セパレ―タ候補に対応したデ―タがメモ
リ1bより呼び出される。そして、画面上ではメモリ1
bから呼び出されたデ―タにより作成された矩形の枠が
画像デ―タのイメ―ジにオ―バ―ラップして色color1で
表示される(図7)。
【0025】そして、画面上に表示された画像デ―タ中
にある複数のセパレ―タ候補の中で、どのセパレ―タ候
補の修正を行なうのかを使用者に対して視覚的に示す。
それと同時にウインドウ4dでは上述の操作により選択
されたセパレ―タ候補のデ―タと修正操作の終了を行な
うボタンとキ―ボ―ドのキ―に対応した文字、キ―ボ―
ドを使った場合の修正操作の方法が表示される(図8
(a))。
にある複数のセパレ―タ候補の中で、どのセパレ―タ候
補の修正を行なうのかを使用者に対して視覚的に示す。
それと同時にウインドウ4dでは上述の操作により選択
されたセパレ―タ候補のデ―タと修正操作の終了を行な
うボタンとキ―ボ―ドのキ―に対応した文字、キ―ボ―
ドを使った場合の修正操作の方法が表示される(図8
(a))。
【0026】まず、使用者がセパレ―タ候補の修正をポ
インティングデバイスを用いて行なう場合は、画面上に
表示されている矩形の周辺をクリックする。すると先程
まで色color1で表示されていた矩形の色が色color2に変
化し、使用者に対してセパレ―タ候補デ―タの修正操作
を行なえることを示す。そして、使用者がポインティン
グデバイスを画面上で移動させることで画面上に表示し
ている矩形の形状が変化すると共に、ウインドウ4dに
表示されているセパレ―タ候補のデ―タも矩形の変化に
対応して変化する。
インティングデバイスを用いて行なう場合は、画面上に
表示されている矩形の周辺をクリックする。すると先程
まで色color1で表示されていた矩形の色が色color2に変
化し、使用者に対してセパレ―タ候補デ―タの修正操作
を行なえることを示す。そして、使用者がポインティン
グデバイスを画面上で移動させることで画面上に表示し
ている矩形の形状が変化すると共に、ウインドウ4dに
表示されているセパレ―タ候補のデ―タも矩形の変化に
対応して変化する。
【0027】セパレ―タ候補デ―タの修正が終ったなら
ば、使用者はもう一度ポインティングデバイスをクリッ
クする。すると今まで色color2で表示されていた矩形が
色color1に戻り、使用者にセパレ―タ候補デ―タの修正
が終ったことを示す。窓1の表示は図6に戻る。またキ
―ボ―ドを用いて修正を行なう場合は、最初にキ―ボ―
ドからセパレ―タ候補に対応したID番号をタイプす
る。すると矩形の色color1が色color2に変化し、使用者
に対してこれから修正を行なうセパレ―タ候補を示す。
次に使用者はウインドウ4dに表示されている前記キ―
ボ―ドを使った場合の修正操作の表示(図8(b))に
従い矩形の形状を変化させ、セパレ―タ候補デ―タの修
正を行なう。ここで、外接矩形の上下方向の動きに対し
ては幅の値は維持されたままで、高さの値とy座標値だ
けが変化する。また、左右方向の動きに対しては高さの
値は維持されたままで、幅の値とx座標値だけが変化す
る。ウインドウ4aでは矩形の変化に伴ってセパレ―タ
候補デ―タの表示も変化する。前記セパレ―タ候補デ―
タの修正が終ったならキ―ボ―ドから改行キ―をタイプ
する。すると矩形の色color2が色color1に変わり、セパ
レ―タ候補デ―タの修正が終了したことを示す。そし
て、ウインドウ4dの表示は図6に戻る。
ば、使用者はもう一度ポインティングデバイスをクリッ
クする。すると今まで色color2で表示されていた矩形が
色color1に戻り、使用者にセパレ―タ候補デ―タの修正
が終ったことを示す。窓1の表示は図6に戻る。またキ
―ボ―ドを用いて修正を行なう場合は、最初にキ―ボ―
ドからセパレ―タ候補に対応したID番号をタイプす
る。すると矩形の色color1が色color2に変化し、使用者
に対してこれから修正を行なうセパレ―タ候補を示す。
次に使用者はウインドウ4dに表示されている前記キ―
ボ―ドを使った場合の修正操作の表示(図8(b))に
従い矩形の形状を変化させ、セパレ―タ候補デ―タの修
正を行なう。ここで、外接矩形の上下方向の動きに対し
ては幅の値は維持されたままで、高さの値とy座標値だ
けが変化する。また、左右方向の動きに対しては高さの
値は維持されたままで、幅の値とx座標値だけが変化す
る。ウインドウ4aでは矩形の変化に伴ってセパレ―タ
候補デ―タの表示も変化する。前記セパレ―タ候補デ―
タの修正が終ったならキ―ボ―ドから改行キ―をタイプ
する。すると矩形の色color2が色color1に変わり、セパ
レ―タ候補デ―タの修正が終了したことを示す。そし
て、ウインドウ4dの表示は図6に戻る。
【0028】また、本操作ではセパレ―タ候補単位によ
る削除・接続・切断も行なえる。
る削除・接続・切断も行なえる。
【0029】いま、削除を行なう場合は、図6に示すウ
インドウ4aに表示している削除ボタンをポインティン
グデバイスでクリックするか削除ボタンに対応したキ―
をキ―ボ―ドでタイプすると、ウインドウ4a表示だけ
が図9に示すように変わり、削除したいセパレ―タ候補
の入力を促す。
インドウ4aに表示している削除ボタンをポインティン
グデバイスでクリックするか削除ボタンに対応したキ―
をキ―ボ―ドでタイプすると、ウインドウ4a表示だけ
が図9に示すように変わり、削除したいセパレ―タ候補
の入力を促す。
【0030】使用者はポインティングデバイスを使って
画面上に表示されているセパレ―タ候補の位置を示す記
号をクリックするか、前記位置を示す記号の近くに表示
されているセパレ―タ候補のID番号(図5(a)参
照)をキ―ボ―ドから入力することにより、削除したい
セパレ―タ候補の指定を行なう。ポインティングデバイ
スでクリックされたセパレ―タ候補は、その場で前記位
置を示す記号が画面上から削除される。キ―ボ―ドから
の入力ではID番号間に区切り文字(例えばコンマ)を
入れることにより、複数の削除が一度に行なえる。
画面上に表示されているセパレ―タ候補の位置を示す記
号をクリックするか、前記位置を示す記号の近くに表示
されているセパレ―タ候補のID番号(図5(a)参
照)をキ―ボ―ドから入力することにより、削除したい
セパレ―タ候補の指定を行なう。ポインティングデバイ
スでクリックされたセパレ―タ候補は、その場で前記位
置を示す記号が画面上から削除される。キ―ボ―ドから
の入力ではID番号間に区切り文字(例えばコンマ)を
入れることにより、複数の削除が一度に行なえる。
【0031】入力が終ったら改行キ―をキ―ボ―ドから
タイプすると、ポインティングデバイスによる削除と同
様に前記位置を示す記号が画面上から削除される。セパ
レ―タ候補の位置を示す記号が画面上から削除さると、
今までメモリ1bに保持されていたデ―タの中から削除
されたセパレ―タ候補が持っていたID番号に対応した
デ―タが削除される。
タイプすると、ポインティングデバイスによる削除と同
様に前記位置を示す記号が画面上から削除される。セパ
レ―タ候補の位置を示す記号が画面上から削除さると、
今までメモリ1bに保持されていたデ―タの中から削除
されたセパレ―タ候補が持っていたID番号に対応した
デ―タが削除される。
【0032】使用者が削除操作を終了する時はウインド
ウ4dに表示されている終了ボタンをポインティングデ
バイスでクリックするか、終了ボタンに対応したキ―を
キ―ボ―ドからタイプする。すると、ウインドウ4dの
表示は図6に戻る。
ウ4dに表示されている終了ボタンをポインティングデ
バイスでクリックするか、終了ボタンに対応したキ―を
キ―ボ―ドからタイプする。すると、ウインドウ4dの
表示は図6に戻る。
【0033】次に、接続を行なう場合は、図6に示すウ
インドウ4aに表示している接続ボタンをポインティン
グデバイスでクリックするか接続ボタンに対応したキ―
をキ―ボ―ドでタイプする。すると、ウインドウ4dの
表示が図10に示すように変わり、接続したいセパレ―
タ候補の選択を促す。
インドウ4aに表示している接続ボタンをポインティン
グデバイスでクリックするか接続ボタンに対応したキ―
をキ―ボ―ドでタイプする。すると、ウインドウ4dの
表示が図10に示すように変わり、接続したいセパレ―
タ候補の選択を促す。
【0034】使用者は画面上に表示されているセパレ―
タ候補の位置を示す記号の中から接続させたい位置を示
す記号の全てをクリックしていくか、前記位置を示す記
号近くに表示されているセパレ―タ候補のID番号(図
5(a)参照)の中から接続させたい該ID番号の全て
をキ―ボ―ドから入力し改行キ―をタイプする。する
と、今まで別々のセパレ―タ候補として画面上に表示さ
れていたセパレ―タ候補の位置を示す記号群が1つの該
記号になって表示される。それとともにメモリ1bで
も、今まで別々のセパレ―タ候補デ―タとして保持され
ていた内容が、それまでのセパレ―タ候補デ―タの内容
を含むように1つにまとめられ保持される。これらの処
理が終るとウインドウ4aの表示が図6に戻る。
タ候補の位置を示す記号の中から接続させたい位置を示
す記号の全てをクリックしていくか、前記位置を示す記
号近くに表示されているセパレ―タ候補のID番号(図
5(a)参照)の中から接続させたい該ID番号の全て
をキ―ボ―ドから入力し改行キ―をタイプする。する
と、今まで別々のセパレ―タ候補として画面上に表示さ
れていたセパレ―タ候補の位置を示す記号群が1つの該
記号になって表示される。それとともにメモリ1bで
も、今まで別々のセパレ―タ候補デ―タとして保持され
ていた内容が、それまでのセパレ―タ候補デ―タの内容
を含むように1つにまとめられ保持される。これらの処
理が終るとウインドウ4aの表示が図6に戻る。
【0035】次に、切断を行なう場合は、図6に示すウ
インドウ4aに表示している切断ボタンをポインティン
グデバイスでクリックするか切断ボタンに対応したキ―
をキ―ボ―ドでタイプする。するとウインドウ4aの表
示が図11に示すように変わり、切断したいセパレ―タ
候補の選択を促す。
インドウ4aに表示している切断ボタンをポインティン
グデバイスでクリックするか切断ボタンに対応したキ―
をキ―ボ―ドでタイプする。するとウインドウ4aの表
示が図11に示すように変わり、切断したいセパレ―タ
候補の選択を促す。
【0036】使用者は画面上に表示されているセパレ―
タ候補の中から切断させたいセパレ―タ候補を選んで、
そのイメ―ジ上で「ここから、ここまで」といった具合
にポインティングデバイスを2回クリックするか、前記
位置を示す記号近くに表示されているセパレ―タ候補の
ID番号を(図5(a)参照)の中から切断させたい該
ID番号をキ―ボ―ドから入力して改行キ―をタイプ
し、該セパレ―タ候補イメ―ジ中で切断させたい部分領
域の左上方の(x,y)座標値と右下方の(x,y)座
標値とをキ―ボ―ドから入力し、改行キ―をタイプす
る。すると、今まで画面上に1つで表示されていた位置
を示す記号が2つに別れて表示される。それとともにメ
モリ1bでも、今まで1つのセパレ―タ候補デ―タとし
て保持されていた内容が、切断された部分領域を境にし
て2つのデ―タに分割されて保持される。これらの処理
が終るとウインドウ4aの表示が図6に戻る。
タ候補の中から切断させたいセパレ―タ候補を選んで、
そのイメ―ジ上で「ここから、ここまで」といった具合
にポインティングデバイスを2回クリックするか、前記
位置を示す記号近くに表示されているセパレ―タ候補の
ID番号を(図5(a)参照)の中から切断させたい該
ID番号をキ―ボ―ドから入力して改行キ―をタイプ
し、該セパレ―タ候補イメ―ジ中で切断させたい部分領
域の左上方の(x,y)座標値と右下方の(x,y)座
標値とをキ―ボ―ドから入力し、改行キ―をタイプす
る。すると、今まで画面上に1つで表示されていた位置
を示す記号が2つに別れて表示される。それとともにメ
モリ1bでも、今まで1つのセパレ―タ候補デ―タとし
て保持されていた内容が、切断された部分領域を境にし
て2つのデ―タに分割されて保持される。これらの処理
が終るとウインドウ4aの表示が図6に戻る。
【0037】その後、使用者が修正処理を終了したい時
は、図6に示すウインドウ4aに表示している終了ボタ
ンをポインティングデバイスでクリックするか、終了ボ
タンに対応したキ―をキ―ボ―ドから入力することによ
り修正操作が終了する。
は、図6に示すウインドウ4aに表示している終了ボタ
ンをポインティングデバイスでクリックするか、終了ボ
タンに対応したキ―をキ―ボ―ドから入力することによ
り修正操作が終了する。
【0038】そして、修正操作の終了により今までメモ
リ1bに保持されていたセパレ―タ候補のデ―タが修正
されたセパレ―タ候補のデ―タに更新され、表示部4の
表示は修正操作に入る前の図5(a)の状態に戻る。
リ1bに保持されていたセパレ―タ候補のデ―タが修正
されたセパレ―タ候補のデ―タに更新され、表示部4の
表示は修正操作に入る前の図5(a)の状態に戻る。
【0039】次に、セパレ―タ候補の追加について説明
をする。ここでのセパレ―タ候補の追加処理は、セパレ
―タ抽出処理で候補を抽出できなかった部分を対象とし
ている。
をする。ここでのセパレ―タ候補の追加処理は、セパレ
―タ抽出処理で候補を抽出できなかった部分を対象とし
ている。
【0040】使用者は表示部4の画面上に表示されてい
るウインドウ4dの追加ボタン4bをポインティングデ
バイスでクリック、またはキ―ボ―ドから追加ボタンに
対応したキ―をタイプすることによって、画面上に表示
されている画像デ―タイメ―ジに対してセパレ―タ候補
として抽出された部分にセパレ―タ候補デ―タを参照し
て得られる外接矩形が色color1でオ―バ―ラップして表
示され(図12(a))、現在候補として抽出されたセ
パレ―タを使用者に示す。
るウインドウ4dの追加ボタン4bをポインティングデ
バイスでクリック、またはキ―ボ―ドから追加ボタンに
対応したキ―をタイプすることによって、画面上に表示
されている画像デ―タイメ―ジに対してセパレ―タ候補
として抽出された部分にセパレ―タ候補デ―タを参照し
て得られる外接矩形が色color1でオ―バ―ラップして表
示され(図12(a))、現在候補として抽出されたセ
パレ―タを使用者に示す。
【0041】また、ウインドウ4dの表示は図12
(b)に示すように次の入力を促す。これと同時に、画
面上では縦横に一定の間隔で線(図12(d))が色co
lor2で引かれ、左上方を原点とした座標軸を定めた時に
セパレ―タの位置と範囲が(x,y)座標値からもわか
るようになっている。
(b)に示すように次の入力を促す。これと同時に、画
面上では縦横に一定の間隔で線(図12(d))が色co
lor2で引かれ、左上方を原点とした座標軸を定めた時に
セパレ―タの位置と範囲が(x,y)座標値からもわか
るようになっている。
【0042】使用者はウインドウ4dの表示に従って画
面上に表示されている画像デ―タイメ―ジとセパレ―タ
候補を示す矩形表示を見ながら、画面上に表示されてい
る画像デ―タイメ―ジにおいてセパレ―タ候補に追加し
たい部分の任意の箇所をポインティングデバイスでクリ
ックする。するとクリックされた箇所に対応した画像デ
―タイメ―ジがメモリ1aから呼び出され、ある一定領
域131の切り出しが行なわれる(図13(a))。
面上に表示されている画像デ―タイメ―ジとセパレ―タ
候補を示す矩形表示を見ながら、画面上に表示されてい
る画像デ―タイメ―ジにおいてセパレ―タ候補に追加し
たい部分の任意の箇所をポインティングデバイスでクリ
ックする。するとクリックされた箇所に対応した画像デ
―タイメ―ジがメモリ1aから呼び出され、ある一定領
域131の切り出しが行なわれる(図13(a))。
【0043】そして、上述したセパレ―タ候補の抽出法
と同様にして射影(図13(b))から得られる図形的
特徴からセパレ―タ候補の位置を最初に求める。セパレ
―タ候補の位置は縦セパレ―タではx軸上に、横セパレ
―タはy軸上に求まる。それから画像デ―タイメ―ジか
ら切り出された領域について、位置を求めた座標軸とは
違う方向(位置をx軸上で求めたならy軸方向に、位置
をy軸上で求めたならx軸方向に)に画像デ―タイメ―
ジのサイズ分(y軸方向なら幅を、x軸方向なら高さ
を)をメモリ1aから呼び出し、位置を求めた座標軸の
垂直方向に切り出しを行なう(図14(a)(b))。
と同様にして射影(図13(b))から得られる図形的
特徴からセパレ―タ候補の位置を最初に求める。セパレ
―タ候補の位置は縦セパレ―タではx軸上に、横セパレ
―タはy軸上に求まる。それから画像デ―タイメ―ジか
ら切り出された領域について、位置を求めた座標軸とは
違う方向(位置をx軸上で求めたならy軸方向に、位置
をy軸上で求めたならx軸方向に)に画像デ―タイメ―
ジのサイズ分(y軸方向なら幅を、x軸方向なら高さ
を)をメモリ1aから呼び出し、位置を求めた座標軸の
垂直方向に切り出しを行なう(図14(a)(b))。
【0044】そして,切り出された画像デ―タイメ―ジ
に対して位置を求めた座標とは違う座標に対して射影を
行なう(図14(c))。すると、射影から得られる図
形的特徴により座標軸に対するデ―タ領域の始点/終点
を求めることができ、範囲を求めることができる。
に対して位置を求めた座標とは違う座標に対して射影を
行なう(図14(c))。すると、射影から得られる図
形的特徴により座標軸に対するデ―タ領域の始点/終点
を求めることができ、範囲を求めることができる。
【0045】追加するセパレ―タの抽出が終了するとウ
インドウ4dには追加されたセパレ―タのx軸上での座
標値とy軸上での座標値が(図12(c))のように表
示される。これと同時に追加されたセパレ―タに外接す
る矩形枠が色color1で表示され、使用者に追加されたセ
パレ―タを示す。また、追加したいセパレ―タの入力
は、前記縦横に一定の間隔で引かれた線を参照すること
によりキ―ボ―ドから追加するセパレ―タイメ―ジの位
置を示す座標値と範囲を示す座標値をタイプしてもでき
る。キ―ボ―ドからの追加したいセパレ―タの位置を示
す座標と範囲を示す座標の入力が終ると上記と同様に追
加されたセパレ―タイメ―ジに外接する矩形枠が色colo
r1で表示され、使用者に追加されたセパレ―タを示す。
インドウ4dには追加されたセパレ―タのx軸上での座
標値とy軸上での座標値が(図12(c))のように表
示される。これと同時に追加されたセパレ―タに外接す
る矩形枠が色color1で表示され、使用者に追加されたセ
パレ―タを示す。また、追加したいセパレ―タの入力
は、前記縦横に一定の間隔で引かれた線を参照すること
によりキ―ボ―ドから追加するセパレ―タイメ―ジの位
置を示す座標値と範囲を示す座標値をタイプしてもでき
る。キ―ボ―ドからの追加したいセパレ―タの位置を示
す座標と範囲を示す座標の入力が終ると上記と同様に追
加されたセパレ―タイメ―ジに外接する矩形枠が色colo
r1で表示され、使用者に追加されたセパレ―タを示す。
【0046】そして、ウインドウ4dに表示している終
了ボタンをポインティングデバイスでクリックするか、
終了ボタンに付随している文字に対応したキ―をキ―ボ
―ドから入力することにより、ウインドウ4dの表示
は、図5(b)に戻り、追加操作が終了し、画面の表示
は追加操作に入る前の図5(a)に戻る。
了ボタンをポインティングデバイスでクリックするか、
終了ボタンに付随している文字に対応したキ―をキ―ボ
―ドから入力することにより、ウインドウ4dの表示
は、図5(b)に戻り、追加操作が終了し、画面の表示
は追加操作に入る前の図5(a)に戻る。
【0047】最後に、セパレ―タに対して修正/追加が
終了したならばウインドウ4dの図5(b)に表示され
ている選定ボタン4cをポインティングデバイスでクリ
ックするか選定ボタンに対応したキ―をキ―ボ―ドから
タイプすることにより、メモリ1bに保持されたセパレ
―タデ―タは、書式定義部2に送られ、ここで帳票の書
式が定義され、これが書式データベース3に登録される
ようになる。
終了したならばウインドウ4dの図5(b)に表示され
ている選定ボタン4cをポインティングデバイスでクリ
ックするか選定ボタンに対応したキ―をキ―ボ―ドから
タイプすることにより、メモリ1bに保持されたセパレ
―タデ―タは、書式定義部2に送られ、ここで帳票の書
式が定義され、これが書式データベース3に登録される
ようになる。
【0048】なお、以上の説明では、セパレ―タ情報が
罫線の場合について述べたが、空白の場合はセパレ―タ
を抽出する時に黒画素を0、白画素を1として行なえ
ば、後の操作は同じである。また、上述では、罫線のセ
パレ―タとして実線を挙げているが、この他にも太線・
細線・破線・点線・2重線と様々な種類があり、これら
の罫線に対しても上述の方法を採用することが可能であ
る。さらに、ここで示した記号・色・操作ボタンに対応
した文字キ―は、その一例を挙げただけで、使用者にあ
わせて表示形態をセパレ―タイメ―ジの色を直接変えて
表示させたり、セパレ―タイメ―ジに直線をオ―バ―ラ
ップして表示させたり、入力手段にタブレットを用いた
り、頻繁に使用する文字キ―を操作ボタンに対応させた
りすることにより、セパレ―タのデ―タを書式データベ
ース3に登録する際の使い勝手のよさを高めることがで
きる。また、ここで述べたセパレ―タの抽出法は、画像
デ―タが2値化されたものでも、ラン復号化デ―タを用
いた場合でも使用できる。さらに、セパレ―タの抽出処
理を行なう前に表形式帳票の傾きからスキュ―補正を行
なうとも可能である。
罫線の場合について述べたが、空白の場合はセパレ―タ
を抽出する時に黒画素を0、白画素を1として行なえ
ば、後の操作は同じである。また、上述では、罫線のセ
パレ―タとして実線を挙げているが、この他にも太線・
細線・破線・点線・2重線と様々な種類があり、これら
の罫線に対しても上述の方法を採用することが可能であ
る。さらに、ここで示した記号・色・操作ボタンに対応
した文字キ―は、その一例を挙げただけで、使用者にあ
わせて表示形態をセパレ―タイメ―ジの色を直接変えて
表示させたり、セパレ―タイメ―ジに直線をオ―バ―ラ
ップして表示させたり、入力手段にタブレットを用いた
り、頻繁に使用する文字キ―を操作ボタンに対応させた
りすることにより、セパレ―タのデ―タを書式データベ
ース3に登録する際の使い勝手のよさを高めることがで
きる。また、ここで述べたセパレ―タの抽出法は、画像
デ―タが2値化されたものでも、ラン復号化デ―タを用
いた場合でも使用できる。さらに、セパレ―タの抽出処
理を行なう前に表形式帳票の傾きからスキュ―補正を行
なうとも可能である。
【0049】次に、図1に戻って、帳票の書式データが
登録された書式データベース3を用いて、以下述べるよ
うな文字認識処理が実行される。
登録された書式データベース3を用いて、以下述べるよ
うな文字認識処理が実行される。
【0050】この場合、帳票入力部5は、文字認識対象
となる表形式帳票が画像データとして入力される。する
と、帳票入力部5より書式読出し部6に書式読出し指令
が与えられ、罫線検出部7に画像データが送られる。
となる表形式帳票が画像データとして入力される。する
と、帳票入力部5より書式読出し部6に書式読出し指令
が与えられ、罫線検出部7に画像データが送られる。
【0051】書式読出し部6では、書式データベース3
に登録された書式データを順に読み出すようにしてい
る。また、罫線検出部7では、帳票入力部5から与えら
れる表形式帳票の画像データから罫線を検出するように
している。この場合の罫線検出部7での罫線検出は、上
述した罫線抽出部1での罫線抽出と同様な方法を採用す
ればよい。
に登録された書式データを順に読み出すようにしてい
る。また、罫線検出部7では、帳票入力部5から与えら
れる表形式帳票の画像データから罫線を検出するように
している。この場合の罫線検出部7での罫線検出は、上
述した罫線抽出部1での罫線抽出と同様な方法を採用す
ればよい。
【0052】罫線検出部7で検出される罫線と書式読出
し部6を介して順に読出される書式データは照合部8に
送られ、ここでの照合により罫線検出部7で検出される
罫線と一致する書式データを検索するようになってい
る。
し部6を介して順に読出される書式データは照合部8に
送られ、ここでの照合により罫線検出部7で検出される
罫線と一致する書式データを検索するようになってい
る。
【0053】そして、照合部8で、一致が得られると、
文字認識部9に対し帳票入力部5に入力された表形式帳
票の文字部分の認識処理を促すとともに、一致書式デー
タが文字認識部9に送られる。
文字認識部9に対し帳票入力部5に入力された表形式帳
票の文字部分の認識処理を促すとともに、一致書式デー
タが文字認識部9に送られる。
【0054】文字認識部9では、書式読出し部6より与
えられる一致書式データとしてセパレ―タのデ―タがテ
キスト形式で与えられ、これらのデ―タを用いて入力帳
票の罫線に囲まれた領域を認識領域として特定し、領域
情報入力部11から入力される領域情報に基づいて文字
認識処理を行うようにしている。ここでの領域情報入力
部11は、詳細は後述するが指定領域に関する知識を入
力するものである。
えられる一致書式データとしてセパレ―タのデ―タがテ
キスト形式で与えられ、これらのデ―タを用いて入力帳
票の罫線に囲まれた領域を認識領域として特定し、領域
情報入力部11から入力される領域情報に基づいて文字
認識処理を行うようにしている。ここでの領域情報入力
部11は、詳細は後述するが指定領域に関する知識を入
力するものである。
【0055】なお、文字認識部9に与えられるセパレ―
タ候補にかかる情報として認識領域のフォント指定や特
定図形画像の位置指定などのデ―タを加えると、認識精
度の向上を図ることができる。
タ候補にかかる情報として認識領域のフォント指定や特
定図形画像の位置指定などのデ―タを加えると、認識精
度の向上を図ることができる。
【0056】そして、この文字認識部9での認識結果を
使用者が確認して帳票データベース10に登録するよう
になる。
使用者が確認して帳票データベース10に登録するよう
になる。
【0057】次に、このようにした文字認識処理を図1
5により詳述する。
5により詳述する。
【0058】この場合、使用者が帳票入力部5より文字
認識対象の表形式帳票を画像デ―タで入力すると(ステ
ップS151)、帳票画像に変換されて表示部4に表示
される(ステップS152)。
認識対象の表形式帳票を画像デ―タで入力すると(ステ
ップS151)、帳票画像に変換されて表示部4に表示
される(ステップS152)。
【0059】そして、このような帳票画像に対し、使用
者は、文字認識するための読み取り領域を指定する(ス
テップS153)。すると、上述した一致書式データに
よるセパレ―タ情報により罫線で囲まれる領域が認識領
域として帳票画像より切り出され、切り出し画像が生成
される(ステップS154)。
者は、文字認識するための読み取り領域を指定する(ス
テップS153)。すると、上述した一致書式データに
よるセパレ―タ情報により罫線で囲まれる領域が認識領
域として帳票画像より切り出され、切り出し画像が生成
される(ステップS154)。
【0060】そして、この切り出し画像について文字認
識装置9により文字認識を行うが、これに先立って、領
域情報入力部11より領域情報を入力する(ステップS
155)。そして、この領域情報に基づいて切り出し画
像について文字認識を行うことで(ステップS15
6)、文字認識候補を求め(ステップS157)、使用
者による文字認識候補の確認修正を行った後に(ステッ
プS158)、その文字認識結果を帳票デ―タベ―ス1
0に格納するようになる(ステップS159)。
識装置9により文字認識を行うが、これに先立って、領
域情報入力部11より領域情報を入力する(ステップS
155)。そして、この領域情報に基づいて切り出し画
像について文字認識を行うことで(ステップS15
6)、文字認識候補を求め(ステップS157)、使用
者による文字認識候補の確認修正を行った後に(ステッ
プS158)、その文字認識結果を帳票デ―タベ―ス1
0に格納するようになる(ステップS159)。
【0061】この場合、帳票に記載されたデ―タに関す
る知識があれば文字認識をより正確に実行できる。例え
ば、デ―タはすべて数字だけから構成される、あるいは
デ―タは人名であるなどの知識である。そして、これら
の知識は、領域情報として指定して文字認識の際に用い
られる。
る知識があれば文字認識をより正確に実行できる。例え
ば、デ―タはすべて数字だけから構成される、あるいは
デ―タは人名であるなどの知識である。そして、これら
の知識は、領域情報として指定して文字認識の際に用い
られる。
【0062】図16に読み取り領域を指定する場合の例
を示している。
を示している。
【0063】この場合、入力帳票の読み取り領域が予め
知られているときは使用者による読み取り領域指定は必
要ない。図16は、表示部4に表示される帳票画像16
1を示している。ここでの帳票画像161は、入力帳票
として項目名”受取人”162、”出身地”163、”
種目”164、”金額”165が記載され、それぞのの
項目に対するデ―タ166a〜166dが記載されてい
る。そして、使用者がデ―タベ―ス10に格納すべきデ
―タをマウスなどを用いて指定する。例えば、図示16
7a〜167dで示される枠の対角位置を指定すること
により実行できる。
知られているときは使用者による読み取り領域指定は必
要ない。図16は、表示部4に表示される帳票画像16
1を示している。ここでの帳票画像161は、入力帳票
として項目名”受取人”162、”出身地”163、”
種目”164、”金額”165が記載され、それぞのの
項目に対するデ―タ166a〜166dが記載されてい
る。そして、使用者がデ―タベ―ス10に格納すべきデ
―タをマウスなどを用いて指定する。例えば、図示16
7a〜167dで示される枠の対角位置を指定すること
により実行できる。
【0064】図17は領域情報入力部11より領域情報
を入力する例を示している。
を入力する例を示している。
【0065】この場合、図では、領域情報入力のために
生成されたウインドを示している。上述したように読み
取り領域が指定されると領域情報ウインド171が生成
される。領域情報ウインド171には指定領域に関する
知識が記されている。図では知識171a〜171fが
定義され、その内容172a〜172fが空白で示され
ている。そして、使用者によりこれらの空白が埋められ
ることにより領域情報が生成される。なお、これらの空
白は必ずしもすべて埋められる必要はない。
生成されたウインドを示している。上述したように読み
取り領域が指定されると領域情報ウインド171が生成
される。領域情報ウインド171には指定領域に関する
知識が記されている。図では知識171a〜171fが
定義され、その内容172a〜172fが空白で示され
ている。そして、使用者によりこれらの空白が埋められ
ることにより領域情報が生成される。なお、これらの空
白は必ずしもすべて埋められる必要はない。
【0066】ここで、デ―タベ―ス登録項目名171a
は指定領域のデ―タをどのような項目名でデ―タベ―ス
に登録するかを示す。文字数171bはデ―タの文字数
を示し不等号などを用て表現することも可能である。文
字種171cはデ―タの文字種、例えば漢字、かな、カ
ナ、英字(大文字、小文字)、記号、数字等を指定す
る。この場合、複数の文字種を組み合わせることも可能
であるし、また数字のうち‘0’と‘1’のみ、等の指
定をすることも可能である。フォント171dはデ―タ
の文字フォント(書体)が指定される。項目種171e
はデ―タの分野、例えば、地名、人名、漢学、製品番
号、計算機用語、等を示す。タイプ171fデ―タ特有
の規則を示す。例えば、金額は特許の公開番号は、 (‘平’、‘昭’)(数字列)(’−’)(数字列) という構成をもつとか、旅券番号は、 (英字大文字2文字)(数字列) という規則があるとかである。
は指定領域のデ―タをどのような項目名でデ―タベ―ス
に登録するかを示す。文字数171bはデ―タの文字数
を示し不等号などを用て表現することも可能である。文
字種171cはデ―タの文字種、例えば漢字、かな、カ
ナ、英字(大文字、小文字)、記号、数字等を指定す
る。この場合、複数の文字種を組み合わせることも可能
であるし、また数字のうち‘0’と‘1’のみ、等の指
定をすることも可能である。フォント171dはデ―タ
の文字フォント(書体)が指定される。項目種171e
はデ―タの分野、例えば、地名、人名、漢学、製品番
号、計算機用語、等を示す。タイプ171fデ―タ特有
の規則を示す。例えば、金額は特許の公開番号は、 (‘平’、‘昭’)(数字列)(’−’)(数字列) という構成をもつとか、旅券番号は、 (英字大文字2文字)(数字列) という規則があるとかである。
【0067】しかして、いま、切り出し画像を図18
(a)に示し、使用者より指示された領域情報入力を同
図(b)に示すものとすると、文字認識処理において
は、まず”フォント171dは明朝体である”という知
識を用い文字認識を行い、同図(c)に示す文字認識候
補を得る。次に”文字種171bは漢字である”という
知識を元に同図(c)に示す文字認識候補の中から漢字
でないものを取り除き、同図(d)に示す文字認識候補
に修正する。そして、最後に”項目種171eは人名で
ある”という知識により同図(e)に示す文字認識候補
が得られる。
(a)に示し、使用者より指示された領域情報入力を同
図(b)に示すものとすると、文字認識処理において
は、まず”フォント171dは明朝体である”という知
識を用い文字認識を行い、同図(c)に示す文字認識候
補を得る。次に”文字種171bは漢字である”という
知識を元に同図(c)に示す文字認識候補の中から漢字
でないものを取り除き、同図(d)に示す文字認識候補
に修正する。そして、最後に”項目種171eは人名で
ある”という知識により同図(e)に示す文字認識候補
が得られる。
【0068】なお、ここで文字種に関する知識は文字認
識時に用いることもできるし、文字認識候補は類似度な
どの情報より制限することも可能である。更に文字認識
結果が十分信用できると判定された場合はオペレ―タに
よる文字認識結果の確認修正を実行する必要はない。
識時に用いることもできるし、文字認識候補は類似度な
どの情報より制限することも可能である。更に文字認識
結果が十分信用できると判定された場合はオペレ―タに
よる文字認識結果の確認修正を実行する必要はない。
【0069】次に、上述した図1に示す文字認識部9に
文字種推定部12を付加した場合の処理例を図19によ
り説明する。
文字種推定部12を付加した場合の処理例を図19によ
り説明する。
【0070】この場合、入力画像データより得られる帳
票画像(ステップS191)から読み取り領域の切り出
し画像を得る(ステップS192、S193)。そし
て、この切り出し画像から各文字を切り出して文字認識
を行い(ステップS194)、文字認識候補を求める
(ステップS195)。次いで、文字種推定部12によ
りデ―タの文字種の推定を行い(ステップS196)、
最後に使用者により文字種推定結果の確認修正を行うよ
うになる(ステップS194)。
票画像(ステップS191)から読み取り領域の切り出
し画像を得る(ステップS192、S193)。そし
て、この切り出し画像から各文字を切り出して文字認識
を行い(ステップS194)、文字認識候補を求める
(ステップS195)。次いで、文字種推定部12によ
りデ―タの文字種の推定を行い(ステップS196)、
最後に使用者により文字種推定結果の確認修正を行うよ
うになる(ステップS194)。
【0071】こうすれば、上述した領域情報ウインド1
71の文字種欄171cをオペレ―タが指定する必要が
なく自動的に埋めることができる。ここでは文字種の推
定しか行わなかったがフォントや項目種などの他の項目
の推定も行い領域情報ウインドの空白を埋めてもよい。
71の文字種欄171cをオペレ―タが指定する必要が
なく自動的に埋めることができる。ここでは文字種の推
定しか行わなかったがフォントや項目種などの他の項目
の推定も行い領域情報ウインドの空白を埋めてもよい。
【0072】次に、文字種推定部12での文字種推定に
ついて具体例を挙げて説明する。
ついて具体例を挙げて説明する。
【0073】図20は、上述した図16のデ―タ166
bの文字認識結果を示すもので、(a)から(c)図
は、それぞれ”オオサカ”、”アキタ”、”ヒロシマ”
の文字認識結果であって、文字認識候補、文字種、類似
度値の順に書かれている。ここで、類似度値は文字認識
装置により得られる値で、0から1000までの値を取
り、その値が大きいほど認識結果が信用できる。
bの文字認識結果を示すもので、(a)から(c)図
は、それぞれ”オオサカ”、”アキタ”、”ヒロシマ”
の文字認識結果であって、文字認識候補、文字種、類似
度値の順に書かれている。ここで、類似度値は文字認識
装置により得られる値で、0から1000までの値を取
り、その値が大きいほど認識結果が信用できる。
【0074】そして、文字種推定を行うには、各文字認
識候補に対してその類似度値を文字種の得点として加算
する。図21は、文字種推定の過程を示すもので、得点
がもっとも大きい文字種を入力デ―タの文字種を推定す
る。図示例では、‘カナ’と推定されることになる。
識候補に対してその類似度値を文字種の得点として加算
する。図21は、文字種推定の過程を示すもので、得点
がもっとも大きい文字種を入力デ―タの文字種を推定す
る。図示例では、‘カナ’と推定されることになる。
【0075】なお、文字種の推定に際しては、最高得点
のみでなく2位以下の得点も考慮して文字種の推定を行
ってもよい。例えば、1位の得点がある値よりも大き
く、かつ2位との間がある値よりも開いているとか、あ
るいはある値よりも大きな得点を取るのは1つだけしか
ないとかが考えられる。また、各文字の文字認識候補に
共通に含まれる文字種を入力デ―タの文字種とすること
も考えられる。
のみでなく2位以下の得点も考慮して文字種の推定を行
ってもよい。例えば、1位の得点がある値よりも大き
く、かつ2位との間がある値よりも開いているとか、あ
るいはある値よりも大きな得点を取るのは1つだけしか
ないとかが考えられる。また、各文字の文字認識候補に
共通に含まれる文字種を入力デ―タの文字種とすること
も考えられる。
【0076】図22は、図16のデ―タ166dの文字
認識結果である(a)から(c)と文字種ごとの得点
(d)を示している。この場合は、同図(d)よりわか
るように’漢字’、’英字大文字’、’数字’の文字種
の得点に大きな差が検出できず、文字種が推定できてい
ないことを示している。つまり、デ―タ166dについ
ては’数字’と漢字’円’の複数の文字種から構成され
ており、文字種の推定に失敗している。このような場合
には、使用者に文字種候補を提示するようにすればよ
い。
認識結果である(a)から(c)と文字種ごとの得点
(d)を示している。この場合は、同図(d)よりわか
るように’漢字’、’英字大文字’、’数字’の文字種
の得点に大きな差が検出できず、文字種が推定できてい
ないことを示している。つまり、デ―タ166dについ
ては’数字’と漢字’円’の複数の文字種から構成され
ており、文字種の推定に失敗している。このような場合
には、使用者に文字種候補を提示するようにすればよ
い。
【0077】次に、文字種の推定に知識ベ―スを利用す
る場合を説明する。
る場合を説明する。
【0078】図23は、その例を示すもので、同図
(a)は“単位に関する知識”を示し、同図(b)は
“類似度文字に関する知識”を示している。図22に示
した例の場合、単位に関する知識“(数字列)(’
円’)”により入力デ―タの文字種が、’数字’と’円
(漢字)’であることが決まる。
(a)は“単位に関する知識”を示し、同図(b)は
“類似度文字に関する知識”を示している。図22に示
した例の場合、単位に関する知識“(数字列)(’
円’)”により入力デ―タの文字種が、’数字’と’円
(漢字)’であることが決まる。
【0079】図24は、領域情報入力により文字種の推
定を実行した場合の領域情報ウインドを示している。こ
の場合、図24(a)では知識241a〜241fに対
応する内容242a〜242fのうち文字種とタイプの
内容242c、242f以外の項目が埋められていて、
認識ボタン243をクリックすることにより文字認識が
実行されると、知識ベ―スとの併用により文字種、タイ
プが決定され、図24(b)に示すように文字種とタイ
プの内容242c、242fが埋められる。推定に誤り
があればオペレ―タにより修正され、正しければOKボ
タン244をクリックすることにより次の処理に進むよ
うになる。
定を実行した場合の領域情報ウインドを示している。こ
の場合、図24(a)では知識241a〜241fに対
応する内容242a〜242fのうち文字種とタイプの
内容242c、242f以外の項目が埋められていて、
認識ボタン243をクリックすることにより文字認識が
実行されると、知識ベ―スとの併用により文字種、タイ
プが決定され、図24(b)に示すように文字種とタイ
プの内容242c、242fが埋められる。推定に誤り
があればオペレ―タにより修正され、正しければOKボ
タン244をクリックすることにより次の処理に進むよ
うになる。
【0080】文字種の推定は、必ずしも文字認識を実行
しなくても可能である。図25はその一例動作を説明す
るもので、まず、切り出し画像を得て(ステップS25
1)、この切り出し画像に対して文字矩形の抽出処理を
行い(ステップS252)、文字矩形を抽出する(ステ
ップS253)。
しなくても可能である。図25はその一例動作を説明す
るもので、まず、切り出し画像を得て(ステップS25
1)、この切り出し画像に対して文字矩形の抽出処理を
行い(ステップS252)、文字矩形を抽出する(ステ
ップS253)。
【0081】そして、この文字矩形に関する情報より、
文字認識(ステップS254)、文字ピッチ検出(ステ
ップS255)、文字サイズ検出(ステップS256)
を実行し、これらの結果から文字種推定が行われる(ス
テップS257)。
文字認識(ステップS254)、文字ピッチ検出(ステ
ップS255)、文字サイズ検出(ステップS256)
を実行し、これらの結果から文字種推定が行われる(ス
テップS257)。
【0082】この文字種の推定においては、予め与えら
れた文字種と文字ピッチの関係(ステップS258)や
文字種と文字サイズの関係(ステップS259)が用い
られる。文字種と文字ピッチの関係の例としては”漢字
はほぼ定ピッチに並んでいる、文字種と文字サイズの関
係としては”漢字はほぼ正方形に近い”などがある。
れた文字種と文字ピッチの関係(ステップS258)や
文字種と文字サイズの関係(ステップS259)が用い
られる。文字種と文字ピッチの関係の例としては”漢字
はほぼ定ピッチに並んでいる、文字種と文字サイズの関
係としては”漢字はほぼ正方形に近い”などがある。
【0083】なお、文字認識、文字ピッチ検出、文字サ
イズ検出は1つの装置で実現してもよいし複数個組み合
わせるようにしてもよい。
イズ検出は1つの装置で実現してもよいし複数個組み合
わせるようにしてもよい。
【0084】そして、文字種の推定結果は、使用者によ
り確認、修正が行われる(ステップS260)。
り確認、修正が行われる(ステップS260)。
【0085】なお、文字種の推定の前に文字ピッチや文
字サイズの推定結果をオペレ―タに提示して確認、修正
を促してもよい。図26(a)、(b)は、その推定結
果を使用者に提示する一例である。同図(a)では文字
ピッチの推定結果を点線で表示し、同図(b)では文字
サイズの推定結果を矩形で表示している。これらの推定
結果に誤りがあれば使用者は修正することができる。修
正方法の一例としては推定結果を示す点線や矩形をマウ
スなどを用いて直接移動変形する方法が考えられる。
字サイズの推定結果をオペレ―タに提示して確認、修正
を促してもよい。図26(a)、(b)は、その推定結
果を使用者に提示する一例である。同図(a)では文字
ピッチの推定結果を点線で表示し、同図(b)では文字
サイズの推定結果を矩形で表示している。これらの推定
結果に誤りがあれば使用者は修正することができる。修
正方法の一例としては推定結果を示す点線や矩形をマウ
スなどを用いて直接移動変形する方法が考えられる。
【0086】以上は、文字種推定を領域情報入力時に行
う場合について述べたが、次に、図27により文字認識
終了後に文字種の推定を行う場合を説明する。
う場合について述べたが、次に、図27により文字認識
終了後に文字種の推定を行う場合を説明する。
【0087】この場合、ステップS271からステップ
S277は、上述した図15のステップS151からス
テップS157と同じであり、そして、ステップS27
8で文字種推定を実行した後に、第2の文字認識候補を
得るようにしている(ステップS279)。例えば、図
16に示す読み取り領域が出身地に関するデ―タ166
bの場合、まず、最初の文字認識候補が得られる(ステ
ップS277)。そして、続く文字種推定によりて入力
デ―タの文字種はカナと推定され(ステップS27
8)、これにより第2の文字認識候補が制限される(ス
テップS279)。そして、使用者により確認修正が行
われ(ステップS280)、帳票デ―タベ―スに格納確
定されるようになる(ステップS2801)。この場
合、文字種の推定後に使用者による確認修正があっても
よい。
S277は、上述した図15のステップS151からス
テップS157と同じであり、そして、ステップS27
8で文字種推定を実行した後に、第2の文字認識候補を
得るようにしている(ステップS279)。例えば、図
16に示す読み取り領域が出身地に関するデ―タ166
bの場合、まず、最初の文字認識候補が得られる(ステ
ップS277)。そして、続く文字種推定によりて入力
デ―タの文字種はカナと推定され(ステップS27
8)、これにより第2の文字認識候補が制限される(ス
テップS279)。そして、使用者により確認修正が行
われ(ステップS280)、帳票デ―タベ―スに格納確
定されるようになる(ステップS2801)。この場
合、文字種の推定後に使用者による確認修正があっても
よい。
【0088】図28は、文字種を学習していく場合の例
である。この場合、ステップS281からステップS2
84までは、上述した図15のステップS151からス
テップS154と同じであり、ステップS284で切り
出された切り出し画像に対して文字認識が行われ(ステ
ップS285)、その文字認識候補が得られる(ステッ
プS286)。この場合、最初は文字種などの領域情報
は用いずに文字認識が行われ、その後に文字種が推定さ
れ(ステップS287)、その結果は領域情報デ―タベ
―スに格納される(ステップS288)。次の入力帳票
に対しても画像入力、読み取り領域指定を経て切り出し
画像を求める。そして、ここで領域情報デ―タベ―スに
指定領域に関する情報が格納されていると、この情報
(例えば文字種)を用いて文字認識が行われ(ステップ
S285)、その文字認識候補が得られる(ステップS
286)。次に、これら文字認識候補の信頼性を評価し
(ステップS289)、信頼できると評価される場合は
使用者による確認修正を行い(ステップS290)、信
用できないと評価される場合は、先に登録された領域情
報に誤りがあると判断して再び文字種等を制限しないで
文字認識を行い(ステップS291)、その文字認識候
補をについて(ステップS292)、文字種が推定され
(ステップS293)、使用者による確認修正を経て帳
票デ―タベ―スに格納される(ステップS290、ステ
ップS294)。この際、使用者による確認(ステップ
S295)経て、領域情報デ―タベ―スの内容が更新さ
れる(ステップS288)。
である。この場合、ステップS281からステップS2
84までは、上述した図15のステップS151からス
テップS154と同じであり、ステップS284で切り
出された切り出し画像に対して文字認識が行われ(ステ
ップS285)、その文字認識候補が得られる(ステッ
プS286)。この場合、最初は文字種などの領域情報
は用いずに文字認識が行われ、その後に文字種が推定さ
れ(ステップS287)、その結果は領域情報デ―タベ
―スに格納される(ステップS288)。次の入力帳票
に対しても画像入力、読み取り領域指定を経て切り出し
画像を求める。そして、ここで領域情報デ―タベ―スに
指定領域に関する情報が格納されていると、この情報
(例えば文字種)を用いて文字認識が行われ(ステップ
S285)、その文字認識候補が得られる(ステップS
286)。次に、これら文字認識候補の信頼性を評価し
(ステップS289)、信頼できると評価される場合は
使用者による確認修正を行い(ステップS290)、信
用できないと評価される場合は、先に登録された領域情
報に誤りがあると判断して再び文字種等を制限しないで
文字認識を行い(ステップS291)、その文字認識候
補をについて(ステップS292)、文字種が推定され
(ステップS293)、使用者による確認修正を経て帳
票デ―タベ―スに格納される(ステップS290、ステ
ップS294)。この際、使用者による確認(ステップ
S295)経て、領域情報デ―タベ―スの内容が更新さ
れる(ステップS288)。
【0089】文字認識候補評の具体例としては、”いず
れの文字の類似度値も予め設定した値よりも大きいなら
ば文字認識候補は信用できるがそうでないのなら信用で
きない”、などが考えられる。
れの文字の類似度値も予め設定した値よりも大きいなら
ば文字認識候補は信用できるがそうでないのなら信用で
きない”、などが考えられる。
【0090】この学習の例を図29により説明する。こ
こでは、図16のデ―タ166aの領域についての例で
ある。この場合、デ―タ166aについて文字種の推定
を行うと’漢字’と判定される。ところが、帳票を処理
していくうちに文字種が’カナ’であるデ―タ”ピッ
ツ”(外国人の名前)が入ってきた状況を想定すると、
同図(a)に示される切り出し画像は、”文字種は’漢
字’”という条件のもとで文字認識が実行される。その
文字認識結果を同図(b)に示す。
こでは、図16のデ―タ166aの領域についての例で
ある。この場合、デ―タ166aについて文字種の推定
を行うと’漢字’と判定される。ところが、帳票を処理
していくうちに文字種が’カナ’であるデ―タ”ピッ
ツ”(外国人の名前)が入ってきた状況を想定すると、
同図(a)に示される切り出し画像は、”文字種は’漢
字’”という条件のもとで文字認識が実行される。その
文字認識結果を同図(b)に示す。
【0091】ここで、文字認識候補評価が”いずれの文
字の類似度値も850点よりも大きいならば信用する”
ということならば、同図(b)図に示す文字認識結果は
信用できないと判定される。これにより、次に文字種を
制限することなく文字認識を行い、文字認識結果として
同図(c)を得る。この文字認識結果は、いずれの類似
度値も850点信用され最終的に”ピッツ”が帳票デ―
タベ―スに登録される。この際、同図(c)の文字認識
候補に対して文字種の推定が行われ、結局文字種は同図
(d)に示すように、’漢字’から’”漢字”カナ”’
に更新される。
字の類似度値も850点よりも大きいならば信用する”
ということならば、同図(b)図に示す文字認識結果は
信用できないと判定される。これにより、次に文字種を
制限することなく文字認識を行い、文字認識結果として
同図(c)を得る。この文字認識結果は、いずれの類似
度値も850点信用され最終的に”ピッツ”が帳票デ―
タベ―スに登録される。この際、同図(c)の文字認識
候補に対して文字種の推定が行われ、結局文字種は同図
(d)に示すように、’漢字’から’”漢字”カナ”’
に更新される。
【0092】従って、このようにすれば帳票にかかる画
像デ―タに対して罫線抽出部1で罫線セパ―レ―タ候補
として抽出し、このセパレ―タ候補の情報を画像デ―タ
とともに表示部4の同一画面上に表示させ、使用者は、
キ―ボ―ドやマウスなどを使っての画面を見ながらセパ
レ―タ候補について修正をしたり、新たにセパレ―タを
追加したりして選定を行い、書式データベースに登録し
ている。これによりデータベースに登録されるセパレ―
タ候補の関する情報の登録ミス、情報の抜けを防止で
き、さらに必要に応じて情報の追加も行うことができる
ことから、その後に、帳票を認識させるような場合に、
書式データベースに登録されたセパレ―タ情報を参照さ
せることにより文字認識を簡単に行うことができ、その
認識精度を高めることもできるようになる。
像デ―タに対して罫線抽出部1で罫線セパ―レ―タ候補
として抽出し、このセパレ―タ候補の情報を画像デ―タ
とともに表示部4の同一画面上に表示させ、使用者は、
キ―ボ―ドやマウスなどを使っての画面を見ながらセパ
レ―タ候補について修正をしたり、新たにセパレ―タを
追加したりして選定を行い、書式データベースに登録し
ている。これによりデータベースに登録されるセパレ―
タ候補の関する情報の登録ミス、情報の抜けを防止で
き、さらに必要に応じて情報の追加も行うことができる
ことから、その後に、帳票を認識させるような場合に、
書式データベースに登録されたセパレ―タ情報を参照さ
せることにより文字認識を簡単に行うことができ、その
認識精度を高めることもできるようになる。
【0093】また、書式データベースに登録されたセパ
レ―タ情報を参照して、入力帳票に対し生成された読取
り領域の画像について文字認識処理を行うとともに、こ
の文字認識の認識候補についての文字種推定部12によ
り文字種推定を行い、ここで推定された文字種に基づ文
字認識結果を決定するようになっているので、正しい文
字認識結果を短時間のうちに求めることができ、この場
合も精度の高い認識結果が得られることになる。
レ―タ情報を参照して、入力帳票に対し生成された読取
り領域の画像について文字認識処理を行うとともに、こ
の文字認識の認識候補についての文字種推定部12によ
り文字種推定を行い、ここで推定された文字種に基づ文
字認識結果を決定するようになっているので、正しい文
字認識結果を短時間のうちに求めることができ、この場
合も精度の高い認識結果が得られることになる。
【0094】次に、本発明の他の実施例を説明する。
【0095】この実施例では、ある一定の文字を連続し
て印字することで罫線の代用としている表の中に印字さ
れている文字列を認識する際に、最初に罫線を構成する
文字も含めて文字認識を行い、その結果得られた文字認
識結果に基づいて罫線の存在する位置を決定し、罫線位
置の情報に基づいて表の各項目ごとに出力するようにし
ている。
て印字することで罫線の代用としている表の中に印字さ
れている文字列を認識する際に、最初に罫線を構成する
文字も含めて文字認識を行い、その結果得られた文字認
識結果に基づいて罫線の存在する位置を決定し、罫線位
置の情報に基づいて表の各項目ごとに出力するようにし
ている。
【0096】図30は、同実施例の概略構成を示してい
る。この場合、画像入力部301はスキャナ300によ
り読み取るべき帳票302の画像データを取り込み、画
像記憶部303に格納する。そして、画像記憶部303
に格納された画像データから認識部304は、文字を抽
出し認識した結果を出力ファイル305に出力するよう
になっている。
る。この場合、画像入力部301はスキャナ300によ
り読み取るべき帳票302の画像データを取り込み、画
像記憶部303に格納する。そして、画像記憶部303
に格納された画像データから認識部304は、文字を抽
出し認識した結果を出力ファイル305に出力するよう
になっている。
【0097】次に、図31に、同実施例の読み取り対象
となる帳票の例を示す。
となる帳票の例を示す。
【0098】この場合、通常の帳票は、見出しや罫線等
をあらかじめ印刷された用紙に各項目の文字を印字する
という形態をとることが多いが、この例に示す帳票は、
白紙のラインプリンタ用紙に、罫線と文字を同時に印刷
するという形態をとっている。また、この例では、記号
「−」を横に連続して印字することによって横罫線を表
し、記号「|」を縦に連続して印字することによって縦
罫線を表している。また、記号「+」によって縦罫線と
横罫線の交点を表し、記号「=」を横に連続して印字す
ることによって2重の横罫線を表すようにもしている。
をあらかじめ印刷された用紙に各項目の文字を印字する
という形態をとることが多いが、この例に示す帳票は、
白紙のラインプリンタ用紙に、罫線と文字を同時に印刷
するという形態をとっている。また、この例では、記号
「−」を横に連続して印字することによって横罫線を表
し、記号「|」を縦に連続して印字することによって縦
罫線を表している。また、記号「+」によって縦罫線と
横罫線の交点を表し、記号「=」を横に連続して印字す
ることによって2重の横罫線を表すようにもしている。
【0099】本実施例では、このような一定の文字を用
いて罫線の代用としている帳票を自動的に読み取るもの
を対象としている。
いて罫線の代用としている帳票を自動的に読み取るもの
を対象としている。
【0100】次に、このような帳票を読み取る処理を説
明する。
明する。
【0101】この場合、最初に罫線を構成する各記号
を、それ以外の文字と同様に認識し、その後に、認識結
果を利用して罫線位置を確定して、文字列を各項目毎に
分離するようにしている。
を、それ以外の文字と同様に認識し、その後に、認識結
果を利用して罫線位置を確定して、文字列を各項目毎に
分離するようにしている。
【0102】まず、文字行抽出処理として図32に示す
ように、入力された画像の横方向に黒画素の射影をとる
ことにより、各行の存在位置を決定して抽出する。この
際に、表中に記載された文字列だけでなく、横罫線を表
す「−」記号と「+」記号からなる行も文字行とみなし
ている。
ように、入力された画像の横方向に黒画素の射影をとる
ことにより、各行の存在位置を決定して抽出する。この
際に、表中に記載された文字列だけでなく、横罫線を表
す「−」記号と「+」記号からなる行も文字行とみなし
ている。
【0103】次に、文字抽出処理として、図33に示す
ように、切り出された各行の画像に対して縦方向に黒画
素の射影をとり、各文字を抽出する。この際に、表中に
記載された文字だけでなく縦罫線を表す記号「+」も文
字とみなしている。
ように、切り出された各行の画像に対して縦方向に黒画
素の射影をとり、各文字を抽出する。この際に、表中に
記載された文字だけでなく縦罫線を表す記号「+」も文
字とみなしている。
【0104】次に、文字認識処理を行う。この場合、切
り出された文字の画像を文字認識辞書と照合することに
よって文字認識する。文字認識した結果として得られる
文字コ―ドは、その文字が存在していた画像上の位置座
標とともに保存しておく。
り出された文字の画像を文字認識辞書と照合することに
よって文字認識する。文字認識した結果として得られる
文字コ―ドは、その文字が存在していた画像上の位置座
標とともに保存しておく。
【0105】次に、レイアウト判定処理において、文字
認識の結果に基づいて罫線の位置を決定し、罫線位置情
報から罫線に囲まれた各項目の位置を確定する。
認識の結果に基づいて罫線の位置を決定し、罫線位置情
報から罫線に囲まれた各項目の位置を確定する。
【0106】この場合、図34に示すように、文字認識
結果が縦罫線を構成する記号(すなわち記号「−」また
は「+」)であった文字の横方向のヒストグラムをと
る。この射影値があるしきい値341以上の場所に横罫
線が存在すると判定することができる。同様にして、文
字認識結果が縦罫線を構成し得る記号(すなわち記号
「|」または「+」)であった文字の縦方向のヒストグ
ラムによって縦罫線を求めることができる。
結果が縦罫線を構成する記号(すなわち記号「−」また
は「+」)であった文字の横方向のヒストグラムをと
る。この射影値があるしきい値341以上の場所に横罫
線が存在すると判定することができる。同様にして、文
字認識結果が縦罫線を構成し得る記号(すなわち記号
「|」または「+」)であった文字の縦方向のヒストグ
ラムによって縦罫線を求めることができる。
【0107】このようなアルゴリズムには以下に示すよ
うな3つの問題点がある。
うな3つの問題点がある。
【0108】第1に、これらの縦横罫線を表す記号は帳
票の種類によって変わる可能性がある。例えば、横罫線
を「−」でなく「=」で表したり、縦罫線を「|」では
なく「‖」で表す場合もある。この問題を解決するに
は、処理すべき帳票の種類に応じて、縦横罫線を表す記
号をユ―ザ自身が登録できるようにしておけばよい。
票の種類によって変わる可能性がある。例えば、横罫線
を「−」でなく「=」で表したり、縦罫線を「|」では
なく「‖」で表す場合もある。この問題を解決するに
は、処理すべき帳票の種類に応じて、縦横罫線を表す記
号をユ―ザ自身が登録できるようにしておけばよい。
【0109】第2に、文字認識の結果、これらの記号が
常に正解になる保証がないという問題がある。これを解
決するには、以下のような方式をとれば良い。すなわ
ち、文字認識結果の第1位が罫線をなす記号である文字
のヒストグラムを求めるのではなく、より一般的に、文
字認識結果の第i位(0<i<N;Nは定数)が罫線を
なす記号であった文字のヒストグラムを求めれば良い。
あるては、ある文字の第i位の認識結果が罫線をなす記
号であった場合に、その文字が存在する位置に対応する
ヒストグラムに1を加算すればよい。あるいは、iの値
が小さいほど大きな値を加算したり、第i位の類似度を
加算したりするとより、信頼性のあるヒストグラムが得
られる。
常に正解になる保証がないという問題がある。これを解
決するには、以下のような方式をとれば良い。すなわ
ち、文字認識結果の第1位が罫線をなす記号である文字
のヒストグラムを求めるのではなく、より一般的に、文
字認識結果の第i位(0<i<N;Nは定数)が罫線を
なす記号であった文字のヒストグラムを求めれば良い。
あるては、ある文字の第i位の認識結果が罫線をなす記
号であった場合に、その文字が存在する位置に対応する
ヒストグラムに1を加算すればよい。あるいは、iの値
が小さいほど大きな値を加算したり、第i位の類似度を
加算したりするとより、信頼性のあるヒストグラムが得
られる。
【0110】第3に、罫線ではなく、文字の間の空白に
よって項目を区切る帳票にも対処しなくてはいけないと
いう問題がある。この場合には、罫線をなす記号のヒス
トグラムではなく、文字間の空白のヒストグラムを用い
ることにより本方式を拡張できる。
よって項目を区切る帳票にも対処しなくてはいけないと
いう問題がある。この場合には、罫線をなす記号のヒス
トグラムではなく、文字間の空白のヒストグラムを用い
ることにより本方式を拡張できる。
【0111】そして、レイアウト判定処理において、罫
線に囲まれた各項目の位置が確定されると、項目抽出処
理において、図35に示すように縦横罫線351、35
2に囲まれた各領域に記載された文字列を項目353と
して抽出するようになり、これら項目毎に認識結果の文
字列を出力するようになる。
線に囲まれた各項目の位置が確定されると、項目抽出処
理において、図35に示すように縦横罫線351、35
2に囲まれた各領域に記載された文字列を項目353と
して抽出するようになり、これら項目毎に認識結果の文
字列を出力するようになる。
【0112】次に、本発明の異なる他の実施例を説明す
る。
る。
【0113】この実施例では、読み取るべき帳票の書式
を登録する書式登録部と、登録された書式に基づいて帳
票に記載された文字を認識する認識部から構成される文
字認識装置であって、書式登録部は、罫線をあらかじめ
印刷された用紙に文字を印字する型の帳票と、罫線を印
字されていない用紙に文字を印字する型の帳票を区別し
て登録するようにしている。また、書式登録部に登録さ
れる帳票上の各記載項目が左揃え、右揃え、中央揃えの
いずれであるかを指定できるようになっている。さら
に、帳票上の行のレイアウトまたは欄のレイアウトにつ
いて、複数の候補を持たせることができるようにもなっ
ている。そして、帳票上の指定された記載項目の読み取
り結果を指定された方式で編集して出力できるようにも
なっている。
を登録する書式登録部と、登録された書式に基づいて帳
票に記載された文字を認識する認識部から構成される文
字認識装置であって、書式登録部は、罫線をあらかじめ
印刷された用紙に文字を印字する型の帳票と、罫線を印
字されていない用紙に文字を印字する型の帳票を区別し
て登録するようにしている。また、書式登録部に登録さ
れる帳票上の各記載項目が左揃え、右揃え、中央揃えの
いずれであるかを指定できるようになっている。さら
に、帳票上の行のレイアウトまたは欄のレイアウトにつ
いて、複数の候補を持たせることができるようにもなっ
ている。そして、帳票上の指定された記載項目の読み取
り結果を指定された方式で編集して出力できるようにも
なっている。
【0114】図36は、同実施例の概略構成を示してい
る。
る。
【0115】この実施例では、書式登録モ―ドと認識モ
―ドの2種類のモ―ドを持っている。そして、書式登録
モ―ドにおいては、画像入力部361が書式登録する基
準となる帳票362をスキャン360を介して画像信号
として書式登録部363に与える。書式登録部363は
入力された画像をユ―ザに提示し、ユ―ザとの対話的な
処理によって、読みとるべき帳票362の書式情報を生
成して書式情報ファイル364に登録する。
―ドの2種類のモ―ドを持っている。そして、書式登録
モ―ドにおいては、画像入力部361が書式登録する基
準となる帳票362をスキャン360を介して画像信号
として書式登録部363に与える。書式登録部363は
入力された画像をユ―ザに提示し、ユ―ザとの対話的な
処理によって、読みとるべき帳票362の書式情報を生
成して書式情報ファイル364に登録する。
【0116】また、認識モ―ドにおいては、画像入力部
361が読みとるべき帳票362をスキャンして得られ
た画像信号を認識部365に与える。認識部365は書
式情報ファイル364に登録された書式の情報を基にし
て、画像からの文字の切り出し、文字認識、単語照合な
どの一連の処理を行う。そして、この結果得られた認識
結果の文字列を出力ファイル366として出力するよう
にしている。
361が読みとるべき帳票362をスキャンして得られ
た画像信号を認識部365に与える。認識部365は書
式情報ファイル364に登録された書式の情報を基にし
て、画像からの文字の切り出し、文字認識、単語照合な
どの一連の処理を行う。そして、この結果得られた認識
結果の文字列を出力ファイル366として出力するよう
にしている。
【0117】まず、書式登録モ―ドについて説明する
と、スキャナによって入力された画像がディスプレイに
表示される。この表示を見てユ―ザはその帳票の型を指
定する。この場合、帳票の型は、図37(a)に示す罫
線があらかじめ印字された帳票に後から文字を印字して
いくもの(以下でA型と呼ぶ)と、同図(b)に示す罫
線が印字されていない帳票に、文字が印字されるもの
(以下でB型と呼ぶ)の2種類に分けられる。
と、スキャナによって入力された画像がディスプレイに
表示される。この表示を見てユ―ザはその帳票の型を指
定する。この場合、帳票の型は、図37(a)に示す罫
線があらかじめ印字された帳票に後から文字を印字して
いくもの(以下でA型と呼ぶ)と、同図(b)に示す罫
線が印字されていない帳票に、文字が印字されるもの
(以下でB型と呼ぶ)の2種類に分けられる。
【0118】ここで、A型の帳票は、読みとるべき項目
が罫線で区切られていることに特徴があり、B型の帳票
は読みとるべき項目が罫線ではなく、文字間の広い空白
で区切られていることに特徴がある。ただし、一部分が
罫線で区切られているが、主要な部分が空白で区切られ
ている帳票はB型に含めるものとする。
が罫線で区切られていることに特徴があり、B型の帳票
は読みとるべき項目が罫線ではなく、文字間の広い空白
で区切られていることに特徴がある。ただし、一部分が
罫線で区切られているが、主要な部分が空白で区切られ
ている帳票はB型に含めるものとする。
【0119】いま、登録しようとしている帳票がA型で
あれば、ユ―ザは、その帳票に印刷された罫線の情報を
入力する。罫線の情報には、その罫線の位置,線種など
の情報が含まれる。罫線の位置情報はディスプレイ上に
マウスなどで始点と終点を指定するようにすれば容易に
指定できる。あるいは、文字認識装置が自動的に罫線を
抽出した結果をユ―ザに提示し、ユ―ザの修正・確認の
後に登録するという方式にすれば、よりユ―ザの手間を
省くことができる。
あれば、ユ―ザは、その帳票に印刷された罫線の情報を
入力する。罫線の情報には、その罫線の位置,線種など
の情報が含まれる。罫線の位置情報はディスプレイ上に
マウスなどで始点と終点を指定するようにすれば容易に
指定できる。あるいは、文字認識装置が自動的に罫線を
抽出した結果をユ―ザに提示し、ユ―ザの修正・確認の
後に登録するという方式にすれば、よりユ―ザの手間を
省くことができる。
【0120】例えば、ユ―ザがディスプレイ上に表示し
た帳票の画像の上で、指定したい罫線の近くの一点をマ
ウス等で指示すると、文字認識によりその点の近くの罫
線を自動的に抽出して、ディスプレイ上に、帳票の画像
に重ねて表示する。ユ―ザはその表示を見て、抽出され
た罫線の位置を移動したり、伸縮したり、線種を変更し
たりするなどの操作をマウスで指定できることが考えら
れる。
た帳票の画像の上で、指定したい罫線の近くの一点をマ
ウス等で指示すると、文字認識によりその点の近くの罫
線を自動的に抽出して、ディスプレイ上に、帳票の画像
に重ねて表示する。ユ―ザはその表示を見て、抽出され
た罫線の位置を移動したり、伸縮したり、線種を変更し
たりするなどの操作をマウスで指定できることが考えら
れる。
【0121】一方、登録しようとしている帳票がB型で
あれば、ユ―ザは、各項目の縦横の切れ目に仮想的な罫
線の位置を指定する。B型の場合は、縦方向の仮想的な
罫線で区切られた各項目に記載された文字列が、左揃
え,右揃え,中央揃えのいずれであるかも指定できる。
その際に、文字列を揃える基準線の位置も指定してお
く。
あれば、ユ―ザは、各項目の縦横の切れ目に仮想的な罫
線の位置を指定する。B型の場合は、縦方向の仮想的な
罫線で区切られた各項目に記載された文字列が、左揃
え,右揃え,中央揃えのいずれであるかも指定できる。
その際に、文字列を揃える基準線の位置も指定してお
く。
【0122】仮想罫線および揃え位置指定の例を図38
に示す。また、仮想的な罫線の位置を表題や頁番号等の
項目以外の固定部分との相対的な位置で指定することも
できる。この場合には、固定部分の絶対位置と、仮想的
な罫線の相対位置の両者を登録しておく必要がある。こ
の指定の方法を図39に示している。ここで、破線は仮
想罫線、一点鎖線は固定部分を示している。
に示す。また、仮想的な罫線の位置を表題や頁番号等の
項目以外の固定部分との相対的な位置で指定することも
できる。この場合には、固定部分の絶対位置と、仮想的
な罫線の相対位置の両者を登録しておく必要がある。こ
の指定の方法を図39に示している。ここで、破線は仮
想罫線、一点鎖線は固定部分を示している。
【0123】次に、指定された罫線または仮想罫線で囲
まれた、各項目の属性を指定する。これらの属性には、
その項目がどの文字種で印字されているか(字種指
定)、その項目にはどのような種類の単語が記載されて
いるか(単語指定)、認識後には1つの項目を複数の項
目として分割して出力するか(分割指定)、認識後に複
数の項目を1つの項目として統合して出力するか(統合
指定)、半角文字列か全角文字列(ピッチ指定)、番号
が順に並んでいるか否かの認識をするか(シ―ケンス指
定)などが指定できる。
まれた、各項目の属性を指定する。これらの属性には、
その項目がどの文字種で印字されているか(字種指
定)、その項目にはどのような種類の単語が記載されて
いるか(単語指定)、認識後には1つの項目を複数の項
目として分割して出力するか(分割指定)、認識後に複
数の項目を1つの項目として統合して出力するか(統合
指定)、半角文字列か全角文字列(ピッチ指定)、番号
が順に並んでいるか否かの認識をするか(シ―ケンス指
定)などが指定できる。
【0124】ここで字種指定は、文字認識を行う際に認
識すべき字種を、例えばカタカナのみ、数字のみという
ふうに、限定することにより、認識率を高めると同時
に、認識速度を速くすることを目的としている。単語指
定は、その項目に記載された単語が、例えば住所・氏名
・会社名等であることを指定し、それぞれの単語の種類
に対応する単語辞書によってスペルチェックすることに
より、高い認識精度を達成することを目的としている。
分割指定は、単一の項目として印字されているが複数の
項目として出力したい場合に指定する。例えば、図40
(a)に示す場合には、銀行名と、その右のカッコに囲
まれた支店名を別の項目として出力する。この項目の分
割指定は例えば次のような文字列で指定するように決め
ておく。
識すべき字種を、例えばカタカナのみ、数字のみという
ふうに、限定することにより、認識率を高めると同時
に、認識速度を速くすることを目的としている。単語指
定は、その項目に記載された単語が、例えば住所・氏名
・会社名等であることを指定し、それぞれの単語の種類
に対応する単語辞書によってスペルチェックすることに
より、高い認識精度を達成することを目的としている。
分割指定は、単一の項目として印字されているが複数の
項目として出力したい場合に指定する。例えば、図40
(a)に示す場合には、銀行名と、その右のカッコに囲
まれた支店名を別の項目として出力する。この項目の分
割指定は例えば次のような文字列で指定するように決め
ておく。
【0125】$銀行名$($支店名$) この指定をしておくと、認識結果からカッコが探され、
カッコの外の文字列は「銀行名」という名の項目として
出力され、カッコ内の文字列は「支店名」という項目と
して出力される。
カッコの外の文字列は「銀行名」という名の項目として
出力され、カッコ内の文字列は「支店名」という項目と
して出力される。
【0126】図40(b)の場合には、銀行口座の種別
(普通か当座か)と口座番号を別の項目として出力す
る。この項目の分割指定は例えば次ような文字列で指定
するように決めておく。
(普通か当座か)と口座番号を別の項目として出力す
る。この項目の分割指定は例えば次ような文字列で指定
するように決めておく。
【0127】$種別$:{普|当} $口座番号$ この指定をしておくと、認識結果の先頭の1文字が
「普」か「当」かを判定して、その結果を「種別」とい
う項目として出力する。次に、その後ろの文字列を数字
として認識し、「口座番号」という項目として出力す
る。
「普」か「当」かを判定して、その結果を「種別」とい
う項目として出力する。次に、その後ろの文字列を数字
として認識し、「口座番号」という項目として出力す
る。
【0128】統合指定は、複数の項目として印字されて
いるが単一の項目として出力したい場合に指定する。例
えば、図41は姓と名が別の項目として分かれている帳
票の例を示している。統合指定によって、この二つの項
目を統合して「氏名」という項目として出力することが
可能になる。
いるが単一の項目として出力したい場合に指定する。例
えば、図41は姓と名が別の項目として分かれている帳
票の例を示している。統合指定によって、この二つの項
目を統合して「氏名」という項目として出力することが
可能になる。
【0129】そして、シ―ケンス指定は認識結果の確認
に用いる。例えば、図37に示す帳票の「番号」の項目
は、各行で順に並んでいなくてはならない。この項目を
シ―ケンス指定しておくと、文字認識が終わった後に、
数字が順に並んでいるかどうかチェックして、順番が狂
っているとユ―ザに確認・修正を促す。
に用いる。例えば、図37に示す帳票の「番号」の項目
は、各行で順に並んでいなくてはならない。この項目を
シ―ケンス指定しておくと、文字認識が終わった後に、
数字が順に並んでいるかどうかチェックして、順番が狂
っているとユ―ザに確認・修正を促す。
【0130】もし、項目の属性として複数の可能性が考
えられる場合には、上で述べた属性の組を複数個用意し
ておくことができる。例えば、図42に示すように、項
目が縦に並んでいる途中で小計が挿入されている場合
に、左から2番目の「氏名」の項目の項目属性の可能性
として、以下の2種類が考えられる。
えられる場合には、上で述べた属性の組を複数個用意し
ておくことができる。例えば、図42に示すように、項
目が縦に並んでいる途中で小計が挿入されている場合
に、左から2番目の「氏名」の項目の項目属性の可能性
として、以下の2種類が考えられる。
【0131】(1)字種指定:カタカナ,単語指定:氏
名,ピッチ指定:半角,分割指定:姓と名。
名,ピッチ指定:半角,分割指定:姓と名。
【0132】(2)字種指定:全字種,単語指定:”小
計”,ピッチ指定:全角。
計”,ピッチ指定:全角。
【0133】また、項目単位ではなく行単位で複数の可
能性を指定することもできるようにする必要がある。例
えば、図43に示すような場合は、各行における項目の
配置自体が複数の可能性を持っている。
能性を指定することもできるようにする必要がある。例
えば、図43に示すような場合は、各行における項目の
配置自体が複数の可能性を持っている。
【0134】以上のようにして指定された全ての書式指
定情報は、書式情報ファイルの形で出力され、次に述べ
る認識モ―ドで用いられる。
定情報は、書式情報ファイルの形で出力され、次に述べ
る認識モ―ドで用いられる。
【0135】この場合、スキャナによって認識すべき帳
票の画像が入力される。この場合、入力された画像は、
書式情報を登録した際の画像と位置がずれていることが
多い。そのため、両者の画像の位置合わせを行う必要が
あるが、その位置合わせの方法がA型の帳票とB型の帳
票で異なっている。
票の画像が入力される。この場合、入力された画像は、
書式情報を登録した際の画像と位置がずれていることが
多い。そのため、両者の画像の位置合わせを行う必要が
あるが、その位置合わせの方法がA型の帳票とB型の帳
票で異なっている。
【0136】まず、A型の場合は入力された帳票の画像
から罫線を抽出し、それらと書式情報に登録された罫線
とを照合することにより、位置合わせができる。位置合
わせの具体的な方法は、例えば入力画像中の罫線の存在
位置を示す関数f(x)を考える。ここで、 f(x)=1:位置xに罫線が存在する時 =0:位置xに罫線が存在しない時 同様にして、書式情報における罫線の存在位置を示す関
数g(x)を考え、相関関数 φ(s)=E[f(x)g(x+s)] を最大にするsを位置ずれ量とする。ここでE[・]は
平均操作を示す。この位置合わせを行う際に、線種の情
報も用いることが可能である。
から罫線を抽出し、それらと書式情報に登録された罫線
とを照合することにより、位置合わせができる。位置合
わせの具体的な方法は、例えば入力画像中の罫線の存在
位置を示す関数f(x)を考える。ここで、 f(x)=1:位置xに罫線が存在する時 =0:位置xに罫線が存在しない時 同様にして、書式情報における罫線の存在位置を示す関
数g(x)を考え、相関関数 φ(s)=E[f(x)g(x+s)] を最大にするsを位置ずれ量とする。ここでE[・]は
平均操作を示す。この位置合わせを行う際に、線種の情
報も用いることが可能である。
【0137】一方、B型の場合は、上記のような罫線位
置を用いることができないので、各項目の端点の位置に
よって位置合わせを行う。まず、入力された画像におい
て、近接した黒画素を統合する操作によって、図44
(a)に示すように概略の項目を抽出する。ここで、4
41は左揃えの欄、442は中央揃えの欄、443は右
揃えの欄を示している。
置を用いることができないので、各項目の端点の位置に
よって位置合わせを行う。まず、入力された画像におい
て、近接した黒画素を統合する操作によって、図44
(a)に示すように概略の項目を抽出する。ここで、4
41は左揃えの欄、442は中央揃えの欄、443は右
揃えの欄を示している。
【0138】次に図44(b)に示すように、各概略項
目の左端・右端・中央の各位置のヒストグラムをとる。
これら3個のヒストグラムを、図44(c)に示すよう
な書式情報に登録された左端,右端,中央の各位置と照
合をとることにより、位置を合わせることができる。
目の左端・右端・中央の各位置のヒストグラムをとる。
これら3個のヒストグラムを、図44(c)に示すよう
な書式情報に登録された左端,右端,中央の各位置と照
合をとることにより、位置を合わせることができる。
【0139】位置合わせの具体的な方法は、例えば入力
画像中の項目の左端のヒストグラムをf1 (x),右端
のヒストグラムをf2 (x),中央のヒストグラムをf
3 (x)とし、書式情報における左端の位置を示す関数
をg1 (x),右端の位置を示す関数をg2 (x),中
央を示す関数をg3 (x)とし、 J(s)=α1 ・φ1 (s)+α2 ・φ2 (s)+α3 ・φ3 (s) を最大にするsを位置ずれ量とする。ここで、 φ1 (s)=E[f1 (x+s)g1 (x)](i=1,2,3) α1 は定数である。
画像中の項目の左端のヒストグラムをf1 (x),右端
のヒストグラムをf2 (x),中央のヒストグラムをf
3 (x)とし、書式情報における左端の位置を示す関数
をg1 (x),右端の位置を示す関数をg2 (x),中
央を示す関数をg3 (x)とし、 J(s)=α1 ・φ1 (s)+α2 ・φ2 (s)+α3 ・φ3 (s) を最大にするsを位置ずれ量とする。ここで、 φ1 (s)=E[f1 (x+s)g1 (x)](i=1,2,3) α1 は定数である。
【0140】また、帳票上の固定部分と仮想罫線の位置
情報を登録した場合には、次のようにして位置合わせを
行う。すなわち、まず登録された固定部分の絶対座標の
近くで、入力画像内のどこに固定部分が存在するかを検
索する。発見された固定部分の位置座標を、登録された
座標と比較することにより、位置ずれ量を求めることが
でき、この位置ずれ量に基づいて位置合わせを行うこと
ができる。
情報を登録した場合には、次のようにして位置合わせを
行う。すなわち、まず登録された固定部分の絶対座標の
近くで、入力画像内のどこに固定部分が存在するかを検
索する。発見された固定部分の位置座標を、登録された
座標と比較することにより、位置ずれ量を求めることが
でき、この位置ずれ量に基づいて位置合わせを行うこと
ができる。
【0141】以上のようにして、入力された画像と書式
情報の位置合わせができると、図45に示すように書式
情報に記述された罫線または仮想罫線451の位置に従
って、項目452の画像が入力画像全体から抽出される
ようになる。
情報の位置合わせができると、図45に示すように書式
情報に記述された罫線または仮想罫線451の位置に従
って、項目452の画像が入力画像全体から抽出される
ようになる。
【0142】次に、抽出された項目はそれぞれ認識され
る。この場合、抽出された項目の画像から、書式情報に
記述された項目属性に基づいて、文字を切り出し、文字
認識を行い、単語照合を行い、その結果を認識結果とし
ている。ここで、項目属性の候補が複数ある場合には、
それぞれの項目属性候補に基づいて認識して、最も認識
結果の得点が高かったものを選択する。認識結果の得点
としては、例えば、文字認識結果の類似度の平均などを
用いれば良い。選択された候補の認識結果だけでなく、
その候補がどの型のものであったかも、出力する必要が
ある。行単位で複数の可能性を指定した場合にも、同様
にして、行全体を複数の方式で項目に分割して文字認識
を行ってみて、その結果に基づいていずれの候補を選択
するかを選べば良い。
る。この場合、抽出された項目の画像から、書式情報に
記述された項目属性に基づいて、文字を切り出し、文字
認識を行い、単語照合を行い、その結果を認識結果とし
ている。ここで、項目属性の候補が複数ある場合には、
それぞれの項目属性候補に基づいて認識して、最も認識
結果の得点が高かったものを選択する。認識結果の得点
としては、例えば、文字認識結果の類似度の平均などを
用いれば良い。選択された候補の認識結果だけでなく、
その候補がどの型のものであったかも、出力する必要が
ある。行単位で複数の可能性を指定した場合にも、同様
にして、行全体を複数の方式で項目に分割して文字認識
を行ってみて、その結果に基づいていずれの候補を選択
するかを選べば良い。
【0143】このようにして認識結果が選択された後、
その項目が分割すべき項目として指定されていたなら
ば、その指示に従って、その項目を複数の項目に分割す
る。また、統合すべき項目として指定されている複数の
項目についても、その指示に従う。そして、最後に、以
上のようにして得られた各項目の認識結果を認識結果フ
ァイルに出力するようになる。
その項目が分割すべき項目として指定されていたなら
ば、その指示に従って、その項目を複数の項目に分割す
る。また、統合すべき項目として指定されている複数の
項目についても、その指示に従う。そして、最後に、以
上のようにして得られた各項目の認識結果を認識結果フ
ァイルに出力するようになる。
【0144】なお、本発明は上記実施例にのみ限定され
ず、要旨を変更しない範囲で適宜変形して実施できる。
ず、要旨を変更しない範囲で適宜変形して実施できる。
【0145】
【発明の効果】本発明によれば、帳票にかかる画像デ―
タに対してセパ―レ―タ候補を抽出し、このセパレ―タ
候補の情報を画像デ―タとともに表示させ、使用者は、
キ―ボ―ドなどを使ってのセパレ―タ候補の編集操作は
画像デ―タイメ―ジが表示されている画面を見ながら修
正をしたり、新たにセパレ―タを追加したりして選定を
行なった後に書式データベースに登録するようにできる
ので、データベースに登録されるセパレ―タ情報の登録
ミス、情報の抜けを防止できるとともに、必要により情
報の追加も行うことができるようになり、その後に、帳
票を認識させるような場合に、書式データベースに登録
されたセパレ―タ情報を参照させることで文字認識処理
を簡単に行うことができるとともに、その認識精度を高
めることができる。
タに対してセパ―レ―タ候補を抽出し、このセパレ―タ
候補の情報を画像デ―タとともに表示させ、使用者は、
キ―ボ―ドなどを使ってのセパレ―タ候補の編集操作は
画像デ―タイメ―ジが表示されている画面を見ながら修
正をしたり、新たにセパレ―タを追加したりして選定を
行なった後に書式データベースに登録するようにできる
ので、データベースに登録されるセパレ―タ情報の登録
ミス、情報の抜けを防止できるとともに、必要により情
報の追加も行うことができるようになり、その後に、帳
票を認識させるような場合に、書式データベースに登録
されたセパレ―タ情報を参照させることで文字認識処理
を簡単に行うことができるとともに、その認識精度を高
めることができる。
【0146】また、本発明によれば、画像データで入力
される帳票に対し生成された読取り領域に対応した画像
の形状から文字種を推定し、この推定された文字種に基
づいて文字認識結果が決定されるようにしているので、
正しい文字認識を短時間に効率よく得られるとともに、
精度の高い認識結果が得られる。
される帳票に対し生成された読取り領域に対応した画像
の形状から文字種を推定し、この推定された文字種に基
づいて文字認識結果が決定されるようにしているので、
正しい文字認識を短時間に効率よく得られるとともに、
精度の高い認識結果が得られる。
【図1】本発明の一実施例の概略構成を示す図。
【図2】実施例のセパレ―タ(罫線)候補の抽出を説明
するための図。
するための図。
【図3】実施例の画像イメ―ジのセパレ―タ候補に外接
する矩形を示す図。
する矩形を示す図。
【図4】実施例により抽出されたセパレ―タ候補の一例
を示す図。
を示す図。
【図5】実施例のセパレ―タ候補の抽出後の表示画面例
を示す図。
を示す図。
【図6】実施例のセパレ―タ候補の修正の際の表示画面
例を示す図。
例を示す図。
【図7】実施例の修正するセパレ―タ候補を画像デ―タ
のイメ―ジにオ―バ―ラップして表示した状態を示す
図。
のイメ―ジにオ―バ―ラップして表示した状態を示す
図。
【図8】実施例のセパレ―タ候補を修正する際のウイン
ドウの表示例を示す図。
ドウの表示例を示す図。
【図9】実施例のセパレ―タ候補を削除する際のウイン
ドウの表示例を示す図。
ドウの表示例を示す図。
【図10】実施例のセパレ―タ候補を接続する際のウイ
ンドウの表示例を示す図。
ンドウの表示例を示す図。
【図11】実施例のセパレ―タ候補を切断する際のウイ
ンドウの表示例を示す図。
ンドウの表示例を示す図。
【図12】実施例のセパレ―タ候補を追加する際の表示
画面例を示す図。
画面例を示す図。
【図13】実施例のセパレ―タ候補の追加方法を説明す
るための図。
るための図。
【図14】実施例のセパレ―タ候補の追加方法を説明す
るための図。
るための図。
【図15】実施例の文字認識処理の動作を説明するため
の図。
の図。
【図16】実施例の読取り領域の指定の表示画面例を示
す図。
す図。
【図17】実施例の領域情報を入力する際のウインドウ
の表示例を示す図。
の表示例を示す図。
【図18】実施例の領域情報を適用した場合の文字認識
処理を説明するための図。
処理を説明するための図。
【図19】実施例に文字種推定部を付加した場合の動作
を説明するための図。
を説明するための図。
【図20】実施例の文字種推定部での動作を説明するた
めの図。
めの図。
【図21】実施例の文字種推定部での動作を説明するた
めの図。
めの図。
【図22】実施例の文字種推定部での動作を説明するた
めの図。
めの図。
【図23】実施例の文字種推定に知識ベ―スを利用した
場合を説明するための図。
場合を説明するための図。
【図24】実施例の文字種推定での領域情報ウインドの
表示例を示す図。
表示例を示す図。
【図25】実施例の文字種推定の他の例を説明するため
の図。
の図。
【図26】図25の文字種推定の他の例を説明するため
の図。
の図。
【図27】実施例の文字種推定の異なる他の例を説明す
るための図。
るための図。
【図28】実施例の文字種推定のさらに異なる他の例を
説明するための図。
説明するための図。
【図29】図29に示す文字種推定のさらに異なる他の
例を説明するための図。
例を説明するための図。
【図30】本発明の他の実施例の概略構成を示す図。
【図31】他の実施例に用いられる帳票の一例を示す
図。
図。
【図32】他の実施例の文字行抽出処理を説明するため
の図。
の図。
【図33】他の実施例の文字抽出処理を説明するための
図。
図。
【図34】他の実施例のレイアウト判定処理を説明する
ための図。
ための図。
【図35】他の実施例の項目抽出処理を説明するための
図。
図。
【図36】本発明の異なる他の実施例の概略構成を示す
図。
図。
【図37】異なる他の実施例に用いられる帳票の一例を
示す図。
示す図。
【図38】異なる他の実施例の仮想罫線および揃え位置
指定を説明するための図。
指定を説明するための図。
【図39】異なる他の実施例の仮想罫線と固定部分を説
明するための図。
明するための図。
【図40】異なる他の実施例の項目を分割指定する場合
を説明するための図。
を説明するための図。
【図41】異なる他の実施例の項目を統合指定する場合
を説明するための図。
を説明するための図。
【図42】異なる他の実施例の項目の属性が複数候補あ
る場合を説明するための図。
る場合を説明するための図。
【図43】異なる他の実施例の行レイアウトに複数候補
ある場合を説明するための図。
ある場合を説明するための図。
【図44】異なる他の実施例の行端による位置決め方法
を説明するための図。
を説明するための図。
【図45】異なる他の実施例の項目抽出を説明するため
の図。
の図。
1…罫線抽出部、1a、1b…メモリ、2…書式定義
部、3…書式データベース、4…表示部、5…帳票入力
部、6…書式読出し部、7…罫線検出部、8…照合部、
9…文字認識部、10…帳票データベース、11…領域
情報入力部、12…文字種推定部、301、361…画
像入力部、302、362…帳票、303…画像記憶
部、304、365…認識部、305、366…出力フ
ァイル、363…書式登録部、364…書式情報ファイ
ル。
部、3…書式データベース、4…表示部、5…帳票入力
部、6…書式読出し部、7…罫線検出部、8…照合部、
9…文字認識部、10…帳票データベース、11…領域
情報入力部、12…文字種推定部、301、361…画
像入力部、302、362…帳票、303…画像記憶
部、304、365…認識部、305、366…出力フ
ァイル、363…書式登録部、364…書式情報ファイ
ル。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 有吉 俊二 神奈川県川崎市幸区小向東芝町1番地 株 式会社東芝総合研究所内 (72)発明者 梅岡 孝次 東京都青梅市新町1385番地 東芝ソフトウ ェアエンジニアリング株式会社内
Claims (2)
- 【請求項1】 帳票にかかる入力画像デ―タより該帳票
の各デ―タ項目区切部をセパレータ候補として抽出する
抽出手段と、 この抽出手段により抽出されるセパレータ候補の情報と
前記入力画像デ―タを表示する表示手段と、 この表示手段の表示により前記セパレ―タ候補の修正/
追加/選定の少なくとも1つを実行可能にした手段と、 この手段の実行により最終的に確定されたセパレ―タ候
補情報を登録する書式データベースとを具備し、 画像データとして入力される帳票に対応する前記書式デ
ータベースに登録されたセパレ―タ候補情報を用いて前
記帳票の認識領域を特定し該認識領域の文字認識を行う
ことを特徴とする文字認識装置。 - 【請求項2】 画像データとして入力される帳票に対し
て読取り領域に対応した画像を生成する手段と、 前記読取り領域に対応した画像の形状から文字種を推定
する手段と、 この手段により推定された文字種に基き前記読取り領域
内の画像について文字認識結果を行う手段とを具備した
ことを特徴とする文字認識装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4215054A JPH0660222A (ja) | 1992-08-12 | 1992-08-12 | 文字認識装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP4215054A JPH0660222A (ja) | 1992-08-12 | 1992-08-12 | 文字認識装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPH0660222A true JPH0660222A (ja) | 1994-03-04 |
Family
ID=16666003
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP4215054A Pending JPH0660222A (ja) | 1992-08-12 | 1992-08-12 | 文字認識装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPH0660222A (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339000A (ja) * | 2004-05-25 | 2005-12-08 | Casio Comput Co Ltd | 画像認識装置およびプログラム |
JP2008152719A (ja) * | 2006-12-20 | 2008-07-03 | Oki Electric Ind Co Ltd | 帳票辞書作成装置 |
JP2009187361A (ja) * | 2008-02-07 | 2009-08-20 | Sharp Corp | 項目判定装置、項目判定プログラム、記録媒体、および項目判定方法 |
JP2015153340A (ja) * | 2014-02-19 | 2015-08-24 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP2020170261A (ja) * | 2019-04-01 | 2020-10-15 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
CN113408323A (zh) * | 2020-03-17 | 2021-09-17 | 华为技术有限公司 | 表格信息的提取方法、装置、设备及存储介质 |
-
1992
- 1992-08-12 JP JP4215054A patent/JPH0660222A/ja active Pending
Cited By (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005339000A (ja) * | 2004-05-25 | 2005-12-08 | Casio Comput Co Ltd | 画像認識装置およびプログラム |
JP4501531B2 (ja) * | 2004-05-25 | 2010-07-14 | カシオ計算機株式会社 | 画像認識装置およびプログラム |
JP2008152719A (ja) * | 2006-12-20 | 2008-07-03 | Oki Electric Ind Co Ltd | 帳票辞書作成装置 |
JP2009187361A (ja) * | 2008-02-07 | 2009-08-20 | Sharp Corp | 項目判定装置、項目判定プログラム、記録媒体、および項目判定方法 |
JP2015153340A (ja) * | 2014-02-19 | 2015-08-24 | 富士ゼロックス株式会社 | 画像処理装置及び画像処理プログラム |
JP2020170261A (ja) * | 2019-04-01 | 2020-10-15 | 富士ゼロックス株式会社 | 画像処理装置及びプログラム |
US11715018B2 (en) | 2019-04-01 | 2023-08-01 | Fujifilm Business Innovation Corp. | Image processing apparatus and non-transitory computer readable medium |
CN113408323A (zh) * | 2020-03-17 | 2021-09-17 | 华为技术有限公司 | 表格信息的提取方法、装置、设备及存储介质 |
CN113408323B (zh) * | 2020-03-17 | 2023-03-03 | 华为技术有限公司 | 表格信息的提取方法、装置、设备及存储介质 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP3469345B2 (ja) | 画像のファイリング装置及びファイリング方法 | |
JP4998219B2 (ja) | 帳票認識プログラム、帳票認識装置および帳票認識方法 | |
US20070098263A1 (en) | Data entry apparatus and program therefor | |
JPH06274680A (ja) | 文書認識方法およびシステム | |
JPH11110480A (ja) | テキストの表示方法およびその装置 | |
JPH04343190A (ja) | 文字データ入力方式 | |
JP2002324236A (ja) | 帳票識別方法及び帳票登録方法 | |
JPH06176188A (ja) | 認識文字の情報作成方法及び装置 | |
KR20040078046A (ko) | 전표정의데이터 작성방법 및 전표처리장치 | |
US6504540B1 (en) | Method and apparatus for altering one or more attributes of one or more blocks of image data in a document | |
JPH0660222A (ja) | 文字認識装置 | |
EP0519713B1 (en) | Character input method and apparatus | |
US5991440A (en) | Method and apparatus for recognizing input handwritten characters associated with title information | |
JP2003223610A (ja) | 文字認識装置及び文字認識方法 | |
US6456739B1 (en) | Apparatus for recognizing characters and a method therefor | |
JPH05225399A (ja) | 文書処理装置 | |
JP2002063197A (ja) | 検索装置、記録媒体およびプログラム | |
JPH08190603A (ja) | 文字認識装置及びその候補文字表示方法 | |
US11481544B2 (en) | Form processing apparatus and non-transitory computer readable medium | |
JPH0689330A (ja) | 画像ファイリングシステム | |
JP4697387B2 (ja) | 原稿画像判定装置、原稿画像判定方法及びそのプログラム | |
JP4130429B2 (ja) | 文字読取装置 | |
JPH103516A (ja) | 情報処理方法及び装置 | |
JP2731394B2 (ja) | 文字入力装置 | |
JP2698345B2 (ja) | 文書処理方法 |