JP2006229685A

JP2006229685A - 帳票歪み判定装置

Info

Publication number: JP2006229685A
Application number: JP2005042129A
Authority: JP
Inventors: Tomoya Igi; 智也井木
Original assignee: Oki Electric Industry Co Ltd
Current assignee: Oki Electric Industry Co Ltd
Priority date: 2005-02-18
Filing date: 2005-02-18
Publication date: 2006-08-31

Abstract

【課題】取得した画像上の帳票の外形情報から帳票歪み特徴を測定し、登録されている特徴と比較することにより、帳票の歪みを検出する。
【解決手段】帳票の画像を取得して、当該画像上の帳票部分の外形の歪みを判定する帳票歪み判定装置であって、前記帳票部分の辺を分割した辺分割点を求める辺分割部と、各対向する辺の辺分割点を所定の対応条件によって結び、各線分の交点における線分同士の角度とを歪み特徴として抽出する歪み特徴抽出部と、標準状態における前記歪み特徴を基準歪み特徴として予め記憶しておく歪み特徴記憶部と、前記基準歪み特徴と、前記抽出した帳票部分の歪み特徴とを比較することにより前記帳票部分の歪みを判定する歪み判定部とを備えた。
【選択図】図１

Description

本発明は、帳票をマットにセットし、上部からセンサ部でイメージを読み取る非接触スキャナ装置を用いた帳票画像の歪みを判別する帳票歪み判別装置に関するものである。

現在、金融営業店の窓口業務等にて、顧客が持ち込んだ帳票や本人確認書類等の種々の用紙の画像を取得するための、非接触型スキャナが用いられている。非接触型スキャナは、帳票を置くマット部の上方に設置されたカメラによって、帳票の画像を取得する形式のスキャナである。金融営業店の窓口業務においては、非接触型スキャナは、金融営業店窓口の窓口端末に接続され、画像取得の制御が行われる。非接触型スキャナは、フラットベッド型スキャナやシートフィード型スキャナに比べ、画像取得のための操作が簡便で所要時間が短い等の特徴を持っている。（例えば非特許文献１）
窓口にて取得された帳票の画像に対しては、光学的文字認識装置によって所定の文字認識処理が行われ、記入内容がデータ化され、金融取引に利用される。
以下に本発明の従来技術について説明する。

＜従来のシステム構成＞
従来のシステムの概観を図６に示す。
従来のシステムは、非接触スキャナ装置１０１、光学式文字認識装置１０２、ＷＳ１０３から構成され、ＷＳ１０３はキーボード等の入力手段とＣＲＴ等の表示手段を備える。
図６において、非接触スキャナ装置１０１は上から見た図を示している。非接触スキャナ装置１０１、光学式文字認識装置１０２、については後述する。
ＷＳ１０３はシステム全体を制御するための端末であり、図示しないメモリやＣＲＴ等の表示部やキーボードマウス等の操作部を備えた、一般的なＰＣ等が使用される。
なお、ここでは光学式文字認識装置１０２はハードウェアによって実現するものとして説明するが、ＷＳ１０３内に設けたソフトウェアであってもよい。

＜非接触スキャナ装置の構成＞
非接触スキャナ装置１０１の構成は、図７に示すように、制御部１０１ｃ、マット部１０１ａ、画像取得部１０１ｂから構成される。
制御部１０１ｃは、非接触スキャナ装置１０１全体の制御手段、光学式文字認識装置１０２との通信手段を有する。
マット部１０１ａは、画像を取得する帳票を設置するための置き台である。マット部１０１ａは図６においては網掛けで表現しているが、黒色等、画像上で帳票と容易に区別ができる色の材質が用いられる。これにより、取得した帳票画像はマット部が背景となるため、黒い背景色に対し、帳票が浮き上がって見えるような状態となる。このため、容易に帳票の辺を検出することが可能となる。
画像取得部１０１ｂは、マット部１０１ａ上の帳票を撮影し画像データに変換する機能を有する、ＣＣＤやＣ−ＭＯＳ等を利用したカメラである。

＜光学式文字認識装置の構成＞
光学式文字認識装置は、取得した帳票の画像から、帳票の種類を特定し、さらに当該帳票の文字認識すべき領域を特定し、文字認識を行う。
光学式文字認識装置１０２の構成は、図８に示すように、制御部１０２ａ、画像メモリ１０２ｂ、帳票角検出部１０２ｃ、フォーマット作成部１０２ｄ、フォーマット読取部１０２ｅ、文字領域補正部１０２ｆ、文字認識部１０２ｇから構成される。また非接触スキャナ装置１０１およびＷＳ１０３との図示しない通信手段を有する。

光学式文字認識装置１０２の制御部１０２ａは、光学文字認識装置１０２全体の制御を行う。
画像メモリ１０２ｂは、帳票画像データを保持する手段を有する。各処理部は、適宜画像メモリ１０２ｂを参照することにより、帳票画像を参照することができる。
帳票角検出部１０２ｃは、画像から帳票角を検出する手段を有する。帳票の角の検出は、例えば画像を走査して、画素の濃度の違いにより背景と帳票部分との境目すなわち帳票辺を検出する。得られた帳票辺となる画素を追跡して、ＸまたはＹ座標の変化量の正負が反転するか、変化が開始される場所を角と判断することができる。または、各帳票辺から任意に複数の点を選択し、ハフ変換等既知の技術を用いることにより各帳票辺ごとに直線または曲線に近似し、それらの交点を角として選択することもできる。
フォーマット作成部１０２ｄは、文字領域座標等の文字認識に必要なフォーマットを作成する手段を有する。フォーマット作成部１０２ｄについては後述する。
フォーマット読取部１０２ｅは、他の処理部に対してフォーマットの内容を読取る機能を提供する。
文字領域補正部１０２ｆは、フォーマットから文字領域座標を補正する手段を有する。文字領域補正部１０２ｆについては後述する。
文字認識部１０２ｇは、図示しない文字認識辞書とのパターンマッチングにより、文字を認識する機能を提供する。

＜フォーマット作成部＞
フォーマット作成部１０２ｄの構成は、図９に示すように、制御部１０２ｄ１、フォーマット保存部１０２ｄ２、文字領域座標設定部１０２ｄ３で構成される。また、他の処理部との図示しない通信処理部を有する。

フォーマット作成部の制御部１０２ｄ１は、フォーマット作成部１０２ｄ全体の制御を行う。
フォーマット保存部１０２ｄ２は、文字領域座標等の文字認識に必要なフォーマットを図示しないフォーマット記憶部に保存する機能を提供する。なお、以下フォーマットの取得は、フォーマット記憶部から行うものとする。
前記フォーマットには、各帳票の識別情報とともに、各文字領域ごとに帳票の基準となる角（例えば左上）からの相対座標が格納されている。文字認識部は、この情報を元に、帳票画像上の文字領域を特定し、記入されている文字を認識する。
文字領域座標設定部１０２ｄ３は、フォーマット作成するオペレータの入力操作を受けて、上記の座標の他、文字認識に使用する辞書の種類等、必要な情報をフォーマットとして登録する。ここでは、オペレータはＷＳ１０３を介してフォーマット作成部にデータを入力するものとする。

＜文字領域補正部＞
文字領域補正部１０２ｆの構成は、図１０に示すように、制御部１０２ｆ１、文字領域位置補正部１０２ｆ２で構成される。また、他の処理部との図示しない通信処理部を有する。
文字領域補正部１０２ｆの制御部１０２ｆ１は、文字領域補正部１０２ｆ全体の制御を行う。

文字領域位置補正部１０２ｆ２は、左上の角の座標から文字領域を補正する。なお、ここでは左上としたが、前記相対座標の基準となる角を左上としているためであり、例えば右上等、他のすべての角を基準とすることが可能である。

＜動作＞
（ａ）フォーマット登録時
図１１（ａ）は、非接触スキャナを用いた光学式文字認識システムにおける登録時のフローチャートである。まず、画像取得部１０１ｂにて、マット部１０１ａ上に置かれた登録帳票の読取りを行い、取得画像を画像メモリ１０２ｂに取り込む（Ｓ１０１）。続いて、帳票角検出部１０２ｃにて、画像メモリ１０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ１０２）。続いて、文字領域座標設定部１０２ｄ３にて、画像メモリ１０２ｂを参照して、ＷＳ１０３のＣＲＴに画像を表示し、オペレータは、文字領域を設定する（Ｓ１０３）。続いて、フォーマット保存部１０２ｄ２にて、別途指定したシートＩＤ等の各帳票の識別情報とともに帳票角座標と文字領域座標をフォーマットに保存する（Ｓ１０４）。

（ｂ）読取時
図１１（ｂ）は、非接触スキャナを用いた光学式文字認識システムにおける読取時のフローチャートである。まず、画像取得部１０１ｂにて、マット部１０１ａ上に置かれた読取帳票の読取りを行い、取得画像を画像メモリ１０２ｂに取り込む（Ｓ２０１）。続いて、帳票角検出部１０２ｃにて、画像メモリ１０２ｂを参照して、画像上の帳票角を4点検出する（Ｓ２０２）。続いて、フォーマット読込部１０２ｅにて、当該帳票の種別に対応するフォーマット（登録画像の帳票角座標と文字領域座標）を読取り（Ｓ２０３）。続いて、文字領域補正部１０２ｆの文字領域位置補正部１０２ｆ２にて、登録画像の帳票角座標・文字領域座標、読取画像の帳票角座標から、帳票角座標の左上端座標により、文字領域を補正する（Ｓ２０４）。続いて、文字認識部１０２ｇにて、文字を認識し（Ｓ２０５）、ＷＳ１０３のＣＲＴに文字認識結果を表示する（Ｓ２０６）。なお、文字認識結果とともに、当該文字領域を切り出したイメージを確認イメージとして表示し、文字認識結果の確認に用いることが良く行われている。

なお、当該帳票の種別の特定は、当該帳票画像から抽出した識別情報と前記フォーマットに登録されている識別情報とを比較し、一致するフォーマットを選択することによって行う。識別情報としては、シートＩＤや罫線特徴情報等が用いられる。
沖テクニカルレビュー２００２年１月／第１８９号Ｖｏｌ.６９Ｎｏ.１「カラーダイレクトスキャナ」

非接触型スキャナは前記のとおり、マット部に置かれた帳票を上方からカメラによって撮影することにより画像取得する構造である為、マットから帳票が浮き上がった状態で画像取得した場合に、帳票自体は歪んでいなくとも、画像上で帳票の歪みが生じる。

図１２（ｂ）は、帳票の左上角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して表現したものである。このような場合、帳票の文字領域の基準となる角の部分が左上方に伸びたようにずれてしまっているために、文字認識を行った際、文字領域を図のように左上方に誤って補正してしまう。帳票上のすべての文字領域位置はひとつの帳票の角を基準点として位置が定まるため、他の文字領域についても一様にずれてしまう。このため、文字認識結果が誤読になったり、空白になったり、文字領域から実際の記入文字が外れることにより桁落ちしたりする等の影響が帳票全体で生じることになる。そのような場合、文字領域の確認イメージもまたずれて切り出されるので、修正がしづらいばかりでなく、桁落ちにも気づきづらいことになる。例えば、図１２（ｂ）の右下部分の文字領域は、基準となる角がずれたために、実際の記入位置から完全に外れてしまっている。このような場合には、実際には記入があるにもかかわらず空白とみなされてしまうことが生じる。このような場合、金融取引上の事故が発生する可能性がある。

従って、このような状態の帳票画像が取得された場合には、画像を無効とし、帳票の浮き上がり等を修正させたうえで、オペレータに再度帳票画像を取得させる必要がある。

このような課題を解決するために、本発明の帳票歪み判定装置は以下の構成を備える。
＜構成１＞
帳票の画像を取得して、当該画像上の帳票部分の外形の歪みを判定する帳票歪み判定装置であって、
前記帳票部分の辺を分割した辺分割点を求める辺分割部と、
各対向する辺の辺分割点を所定の対応条件によって結び、各線分の交点における線分同士の角度とを歪み特徴として抽出する歪み特徴抽出部と、
標準状態における前記歪み特徴を基準歪み特徴として予め記憶しておく歪み特徴記憶部と、
前記基準歪み特徴と、前記抽出した帳票部分の歪み特徴とを比較することにより前記帳票部分の歪みを判定する歪み判定部とを備えた。
＜構成２＞
前記帳票部分の角を検出する角検出部を備え、
前記辺分割部は、前記検出した角を結ぶ線をそれぞれ分割した点を求め、求めた点を前記帳票部分の辺に対応させることによって辺を分割する。
＜構成３＞
前記辺分割部は、前記分割を所定数で等分に分割する。
＜構成４＞
前記辺分割部は、角に近い部分の前記分割の間隔を短くする。
＜構成５＞
前記歪み特徴にさらに前記辺分割点を結んだ各線分の長さを加え、
前記歪み特徴記憶部には帳票の種別ごとの前記歪み特徴を帳票の種別ごとの識別情報に関連付けて予め記憶し、
前記判定部は、前記画像上の帳票の識別情報を元に歪み特徴記憶部から歪み特徴を取得し、前記抽出した歪み特徴と比較することによって歪み判定をおこなう。
＜構成６＞
上記の帳票歪み判定装置歪み判定装置を備えた、帳票画像取得装置。
＜構成７＞
上記の帳票歪み判定装置歪み判定装置を備えた、金融営業店端末。

取得した画像上の帳票の外形情報から帳票歪み特徴を測定し、登録されている特徴と比較することにより、帳票の歪みを検出することができる。

本発明の実施例について、以下のとおり説明する。

＜実施例１の構成＞
本システムの概観を図２に示す。
本システムは、非接触スキャナ装置２０１、光学式文字認識装置２０２、ＷＳ２０３から構成され、ＷＳ２０３はキーボード等の入力手段とＣＲＴ等の表示手段を備える。以下、従来のシステムと同じ部分については、説明を省略する。

＜非接触スキャナ装置の構成＞
非接触スキャナ装置２０１の構成は、従来のシステムと同様である。

＜光学式文字認識装置の構成＞
光学式文字認識装置２０２の内部構成は、図１に示すように、制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、フォーマット作成部２０２ｄ、フォーマット読取部２０２ｅ、文字領域補正部２０２ｆ、文字認識部２０２ｇ、辺分割部２０２ｈ、帳票歪み特徴抽出部２０２ｉ、帳票歪み判定部２０２ｊ、から構成される。

制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、文字領域補正部２０２ｆ、文字認識部２０２ｇ、は従来と同じものであるので説明を省略する。

フォーマット作成部２０２ｄは、従来のシステムの構成に対して、さらに歪み判定の基準となる基準歪み特徴情報を登録するための歪み特徴登録部２０２ｄ４を備えている。フォーマット作成部２０２ｄについては、後述する。

フォーマット読取部２０２ｅは、従来のシステムと同様にフォーマット記憶部の内容を読取る機能を提供する処理部であるが、本実施例に置いては、さらにフォーマット記憶部に登録されている規準歪み特徴を読み取り、出力する機能を持つ。

帳票歪み判定部２０２ｊは、フォーマット読取部２０２ｅを用いてフォーマット記憶部から基準歪み特徴情報を取得し、帳票歪み特徴抽出部２０２ｉによって抽出される歪み特徴情報と比較することにより、帳票の歪みを判定する機能を提供する。

辺分割部２０２ｈは、帳票部分の各辺を所定の条件で分割し歪み特徴を抽出する基準となる辺分割点を求める機能を提供する。辺分割部２０２ｈについては、後述する。

帳票歪み特徴抽出部２０２ｉは、画像から帳票の歪み特徴を抽出する機能を提供する。帳票歪み特徴抽出部２０２ｉについては、後述する。

＜歪み特徴情報＞
ここで、本実施例における歪み特徴情報について説明する。
図５（ａ）は、歪み情報の基準となる帳票画像の帳票部分について歪み特徴を抽出した様子である。なお、図１２（ａ）（ｂ）と比べ網点の濃度が異なっているが、文字を見やすくためであり、濃度の違いに特に意味はない。

図５（ａ）において、各記号は以下の意味を持つ。
Ｔｅ：帳票部分の上辺の横幅
Ｂｅ：帳票部分の下辺の横幅
Ｌｅ：帳票部分の左辺の縦幅
Ｒｅ：帳票部分の右辺の縦幅
ｎ：上辺および下辺の分割数
ｍ：左辺および右辺の分割数
Ｖｅｘ（ｘ＝１，２…ｎ）：上辺および下辺の対向する辺分割点を結んだ線分
Ｈｅｙ（ｙ＝１，２…ｍ）：左辺および右辺の対向する辺分割点を結んだ線分
θｅｙｘ（ｙ＝１，２…ｍ）（ｘ＝１，２…ｎ）：ＶｅｘおよびＨｅｙの交点の角度
なお、それぞれの抽出方法は、後述する。

本実施例では、１枚の基準帳票を用いて、θｅｙｘを歪み特徴情報として抽出し、共通の基準歪み特徴情報としてフォーマット記憶部に記憶する。

図５（ｂ）は、判定対象となるとなる帳票画像の帳票部分について図５（ａ）と同じ処理で歪み特徴を抽出した様子である。
図５（ｂ）は、帳票の左角が浮き上がった状態で画像取得した場合の帳票の歪みを、強調して記載したものである。記号の意味は、ｅがｒに変化しただけで、図５（ａ）と同じである。

＜フォーマット作成部＞
フォーマット作成部２０２ｅの内部構成は、図３に示すように、制御部２０２ｄ１、フォーマット保存部２０２ｄ２、文字領域座標設定部２０２ｄ３、歪み特徴登録部２０２ｄ４で構成される。また、他の処理部との図示しない通信処理部を有する。

ここでは、従来システムに対して追加された、歪み特徴登録部２０２ｄ４について説明する。

歪み特徴登録部２０２ｄ４は、基準とする帳票の帳票画像の帳票部分について抽出された歪み特徴情報を、フォーマット記憶部に登録する機能を提供する。例えば、オペレータがＷＳ１０３を介してフォーマット作成部に開始指示を行うことにより、歪み特徴情報の抽出からフォーマット記憶部への登録までの一連の処理が行われる。

なお、前記フォーマットは事前に登録されていれば良く、運用時には、事前にフォーマット記憶部に登録されたフォーマットが参照可能であれば足りる。従って、運用時にはフォーマット作成部２０２ｄは省略することが可能である。

＜辺分割部＞
辺分割部２０２ｈは、帳票部分の辺の分割を行う機能を提供する。
以下に、辺分割部２０２ｈにより、辺を分割する際の処理を説明する。

まず、角検出部２０２ｃにより、従来システムと同様にして前記帳票部分の角が検出される。
辺分割部２０２ｈは、検出した角を結ぶ線分を求める。続いて、求めた線分をそれぞれ所定の数で等間隔に分割する。なお、この所定の数とは、図５（ａ）（ｂ）におけるｎ、ｍであり、分割点の数は入力される帳票のサイズによらず一定になる。続いて、前記分割点より、例えば上辺および下辺であればＹ軸方向に（左辺および右辺であればｘ軸方向に）画素を走査して、背景色と帳票部分の濃度が変化する点を抽出することにより、前記線分の分割点に対応する各帳票辺の辺分割点を抽出することができる。

＜帳票歪み特徴抽出部＞
帳票歪み特徴抽出部２０２ｉは、辺分割部２０２ｈによって得られた辺分割点について、図のように対向するもの同士を結んだ線分を求める。これらの線分は、図５（ａ）（ｂ）におけるＶｅｘ、Ｈｅｙ、Ｖｒｘ、Ｈｒｙのようになる。続いて、各交点の角度θｅｙｘを求め、特徴として出力する。

＜実施例１の動作＞
（a）登録時
図４（ａ）は、非接触スキャナを用いた光学式文字認識システムにおける前記基準歪み特徴情報の登録時のフローチャートである。まず、画像取得部２０１ｂにて、マット部２０１ａ上に置かれた基準となる登録帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ３０１）。ここで、基準帳票の画像は、歪みの無い状態で取得する必要があるため、浮き上がりや折れ曲がりが無い状態で置く必要がある。これを標準状態または基準状態と呼ぶ。

続いて、帳票角検出部２０２ｃにて、帳票画像上の帳票角を４点検出する（Ｓ３０２）。

続いて、辺分割部２０２ｈにより、帳票部分の辺を分割し、辺分割点を求める（Ｓ３０３）。

続いて、帳票特徴抽出部２０２ｉにて、基準帳票画像の歪み特徴情報を抽出する（Ｓ３０４）。

続いて、歪み特徴登録部２０２ｄ４にて、抽出した歪み特徴情報を基準歪み特徴情報としてフォーマット記憶部に登録する。（Ｓ３０５）。

なお、標準状態で取得した基準歪み特徴情報に含まれる角度は、すべてほぼ９０度となると考えられるので、上記のように標準状態での歪み特徴を取得せずにすべての角度を９０度とする歪み特徴情報を生成して登録することも可能である。ただし、上記のように標準状態での歪み特徴を取得して実際に歪み特徴情報を抽出すれば、カメラのレンズ等の特性により標準状態でも歪みが発生する場合の影響を排除することができるので、精度を向上させることができる。

（ｂ）読取時
図４（b）は、非接触スキャナを用いた光学式文字認識システムにおける読取時のフローチャートである。まず、画像取得部２０１ｂにて、マット部２０１ａ上に置かれた読取帳票の読取りを行い、取得画像を画像メモリ２０２ｂに取り込む（Ｓ４０１）。

続いて、帳票角検出部２０２ｃにて、画像メモリ２０２ｂを参照して、画像上の帳票角を４点検出する（Ｓ４０２）。

続いて、辺分割部２０２ｈにより、帳票部分の辺を分割し、辺分割点を求める（Ｓ４０３）。

続いて、帳票歪み特徴抽出部２０２ｉにて、画像の帳票部分の帳票歪み特徴を抽出する（Ｓ４０４）。

続いて、フォーマット読み取り部２０２ｅは、フォーマット記憶部から基準歪み特徴情報を取得する（Ｓ４０５）。

続いて、帳票歪み判定部２０２ｊにて、下記に示す帳票歪み評価値を計算し、あらかじめ設定されているそれぞれの閾値（θTＨr）と比較して（Ｓ４０６）、１つでも閾値を超えるものがあれば、帳票が歪んでいると判断し（Ｓ４０７）、ＷＳ２０３のＣＲＴに帳票リジェクトと表示する（Ｓ４０８）。

[帳票歪み評価値]
θｙｘ＝｜ θｅｙｘ - θｒｙｘ｜（ｙ＝１，２…ｍ）（ｘ＝１，２…n）
[帳票歪み評価値の閾値]
θｙｘの閾値： θTＨr
帳票リジェクトした場合には、当該取引はいったん取り消された後、オペレータは帳票の浮き上がりを確認し、必要に応じて帳票の反りを修正する等して再度マット部２０１ａに帳票を置き、前述の処理を再度行う。

閾値を超えるものが１つも無ければ、帳票が歪んでいないと判断し（Ｓ４０７）、文字領域補正部２０２ｆの文字領域位置補正部２０２ｆ２にて、登録画像の帳票角座標・文字領域座標、読取画像の帳票角座標から、帳票角座標の左上端座標により、文字領域を補正する（Ｓ４０９）。

続いて、文字認識部２０２ｇにて、文字を認識し（Ｓ４１０）、ＷＳ２０３のＣＲＴに文字認識結果を表示する（Ｓ４１１）。

このように、基準帳票画像の各辺を所定の値で分割して辺分割点を求め、それぞれを結ぶ線分の交点の角度を基準歪み特徴とし、歪判定の際には、判定対象となる帳票画像の各辺を基準帳票と同様に分割し、同じくそれぞれを結ぶ線分の交点の角度を歪み特徴とし、前記基準歪み特徴と比較することによって、帳票の画像上の歪みが判定できるので、オペレータに対して警告ができ、文字領域のずれによる金融取引の事故の発生を防止し、オペレータにとっても確認の負荷が減少するという、効果を得ることができる。

また、帳票が浮き上がっておかれた場合等に画像の歪みを検出して警告し帳票の置きなおしを行わせるので、オペレータは帳票のマット部２０１ａへの設置の仕方に問題があった場合、即座に知ることができ、学習により以後設置の仕方が改善されるという効果を見込むことができる。

また、前記辺分割点同士を結んだ線分の交点の角度のみを特徴とすることにより、非判定帳票が基準帳票と異なるサイズであっても同じ数の交点を得ることができるので、基準歪特徴データは共通のものを使用できるので、登録は１回のみでよく、新規な帳票を含めて画像の歪みの判定を行うことができる。

実施例１においては、対応する辺分割点同士を結んだ線分の交点の角度のみを歪み特徴とするとしたが、本実施例においては、前記線分の長さについても歪み特徴情報として用いる。このため、基準歪み特徴は帳票の種別毎に異なるものとなるので、基準歪み特徴情報は各帳票のフォーマット毎に登録されることになる。

＜実施例２の構成＞
本実施零におけるシステムの構成は、実施例１と同じく図２で示される。以下、実施例１と異なる部分についてのみ説明する。

＜光学式文字認識装置の構成＞
光学式文字認識装置２０２の内部構成は、実施例１と同じく図１に示される。
制御部２０２ａ、画像メモリ２０２ｂ、帳票角検出部２０２ｃ、文字領域補正部２０２ｆ、文字認識部２０２ｇ、は従来と同じものであるので説明を省略する。

フォーマット読取部２０２ｅは、本実施例においては、基準歪み特徴を、フォーマット毎に取得する機能を有する。

帳票歪み特徴抽出部２０２ｉは、画像から帳票の歪み特徴を抽出する機能を提供するのは実施例１と同様であるが、各辺分割点を結ぶ線分の交点の角度に加えて、前記線分の長さについても、特徴情報として抽出する。帳票歪み特徴抽出部２０２ｉについては、後述する。

＜歪み特徴情報＞
ここで、本実施例における歪み特徴情報について説明する。
図５（ａ）は、歪み情報の基準となる帳票画像の帳票部分について歪み特徴を抽出した様子である。各記号の意味は実施例１と同様である。

本実施例では、１枚の基準帳票を用いて、Ｖｅｘ、Ｈｅｙ、θｅｙｘを歪み特徴情報として抽出し、共通の基準歪み特徴情報としてフォーマットに記憶する。ここで基準歪み特徴は、実施例１と異なり、基準帳票は、フォーマットに登録されている帳票の種別毎に登録する必要がある。
図５（ｂ）は、実施例１と同様であるので、説明を省略する。

＜フォーマット作成部＞
フォーマット作成部２０２ｅの内部構成は、実施例１と同じく図３に示される。
歪み特徴登録部２０２ｄ４は、基準歪み特徴を各帳票のフォーマットに関連づけてフォーマット記憶部に格納する。このため、基準歪み特徴情報は、各帳票ごとの文字情報の登録とともに行うと効率が良い。

＜帳票歪み特徴抽出部＞
帳票歪み特徴抽出部２０２ｉは、辺分割部２０２ｈによって得られた辺分割点について、対向するもの同士を結んだ線分を求める。これらの線分は、図５（ａ）（ｂ）におけるＶｅｘ、Ｈｅｙ、Ｖｒｘ、Ｈｒｙのようになる。続いて、各交点の角度θｅｙｘを求め、前記各線分の長さとともに、特徴として出力する。

＜実施例２の動作＞
（a）登録時
本実施例における動作は、実施例１と同じく図４（ａ）にて説明される。Ｓ３０１〜Ｓ３０４については、実施例１と同様なので説明を省略する。

Ｓ３０５では、歪み特徴登録部２０２ｄ４にて、抽出した歪み特徴情報を基準歪み特徴情報として当該帳票のフォーマットに関連付けて登録する。

（ｂ）読取時
本実施例における動作は、実施例１と同じく図４（ｂ）にて説明される。Ｓ４０５、Ｓ４０６以外については、実施例１と同様なので説明を省略する。

Ｓ４０５では、フォーマット読み取り部２０２ｅは、フォーマット記憶部から帳票画像の帳票の種別に対応する基準歪み特徴情報を取得する（４０５）。帳票の種別の特定には、既存の方法が適用されるが、例えば当該帳票のシートＩＤや罫線特徴等の特徴情報をフォーマットとともに登録しておき、特徴が一致するフォーマットを選択するようにしてもよい。または、ＷＳのオペレータに対して帳票の種別の指定手段を提供し、指定された情報により帳票の種別を特定することにしても良い。

Ｓ４０６では、帳票歪み判定部２０２ｊは下記に示す式にて帳票歪み評価値を計算する。
[帳票歪み評価値]
Ｖｘ＝｜Ｖｅｘ − Ｖｒｘ｜（ｘ＝１，２…ｎ）
Ｈｙ＝｜Ｈｅｙ − Ｈｒｙ｜（ｙ＝1，2 …m）
θｙｘ＝｜ θｅｙｘ - θrｙｘ｜（ｙ＝1，2 …m）（ｘ＝1，2 …n）
[帳票歪み評価値の閾値]
Ｈｘの閾値：ＶTＨr
Ｈｙの閾値：ＨTＨr
θｙｘの閾値： θTＨr
あらかじめ設定されているそれぞれの閾値（ＶTＨr、ＨTＨr、θTＨr）と比較して（Ｓ４０６）、１つでも閾値を超えるものがあれば実施例１と同様に、帳票が歪んでいると判断し（Ｓ４０７）、ＷＳ２０３のＣＲＴに帳票リジェクトと表示する（Ｓ４０８）

このように、基準帳票画像の各辺を所定の値で分割して辺分割点を求め、それぞれを結ぶ線分の交点の角度と各線分の長さとを基準歪み特徴として各帳票毎に登録し、歪み判定の際には、判定対象となる帳票画像の各辺を基準帳票と同様に分割し、同じくそれぞれを結ぶ線分の交点の角度と線分の長さを歪み特徴とし、前記基準歪み特徴と比較することによって、帳票の画像上の歪みが判定できるので、実施例１に対してさらに精度よく歪みの判定を行うことができる。

なお、上述の実施例に置いて、角を結ぶ線分を等分するとしたが、帳票の浮き上がり等による歪みは帳票の角に近い部分ほど大きくなることから、帳票の角に近い部分の分割間隔を短くし、中央すなわち角から遠い部分の分割間隔を長くすることにより、辺分割点の密度を挙げるとさらに精度良く帳票部分の歪みを検出することができる。例えば、図５（ａ）（ｂ）におけるｎ、ｍに対応する分割間隔を三角関数を用いて変換することにより、角に近い部分の分割間隔を短くすることが可能である。例えば、辺の中央を起点＝０とし辺の角部を終点＝π／２［ｒａｄ］とすれば、辺を等分した点を正弦関数によって角に近くなるほど短い間隔となるように写像できる。例えば、中央から角までを３分割する場合、中央から１／３の地点は、ｓｉｎ（（π／２）ｘ（１／３））＝ｓｉｎ（π／６）＝０．５により、中央から角までの半分の地点に写像される。中央から２／３の地点は、ｓｉｎ（（π／２）ｘ（２／３））＝ｓｉｎ（π／３）＝約０．８７により、中央から角までの約０．８７倍の地点に写像される。

なお、実施例１において、基準歪み特徴情報は共通なものを１回登録すればよい、としたが、実施例２のような方法によって帳票ごとに基準歪み特徴情報を登録しても構わない。例えば、カメラのレンズ等の特性により帳票のサイズによって歪み方に差異が生じるような場合には、帳票ごとに基準歪み特徴情報を登録すれば、さらに精度を上げることができる。

なお、上記の実施例において、文字認識装置にて上記の歪み判別を行うものとして説明したが、本発明の目的は帳票の歪みの検出であるため、文字認識自体は別途行うものであってもよい。従って、光学式文字認識装置２０２の構成のうち文字領域補正部２０２ｆ、文字認識部２０２ｇの機能は、例えばＷＳ２０３に持たせる等して機能を分割することができる。この場合、光学式文字認識装置２０２は帳票画像の歪み検出装置として機能する。

また、そのような歪み検出装置とスキャナ装置２０１を組み合わせることにより、帳票画像の歪み検出機能を備えた画像取得装置として機能させることもできる。
また、そのような歪み検出装置とＷＳ２０３を組み合わせることにより、帳票画像の歪み検出機能を備えた端末装置として機能させることもできる。特に、ＷＳ２０３が金融営業店窓口端末である場合には、帳票画像の歪み検出機能を備えた金融営業店窓口端末として機能させることができる。

本発明の光学式文字認識装置の機能ブロック本発明のシステム構成本発明のフォーマット作成部の機能ブロック本発明のフローチャート帳票の歪み特徴の説明従来のシステム構成従来のスキャナの機能ブロック従来の光学式文字認識装置の機能ブロック従来のフォーマット作成部の機能ブロック従来の文字領域補正部の機能ブロック従来のフローチャート帳票歪み時の取得画像と領域補正結果

符号の説明

２０１スキャナ装置
２０１ａマット部
２０１ｂ画像取得部
２０２光学式文字認識装置
２０３ＷＳ
２０２ａ制御部
２０２ｂ画像メモリ
２０２ｃ帳票角検出部
２０２ｄフォーマット作成部
２０２ｅフォーマット読取部
２０２ｆ文字領域補正部
２０２ｇ文字認識部
２０２ｈ辺分割部
２０２ｉ帳票歪み特徴抽出部
２０２ｊ帳票歪み判定部

Claims

帳票の画像を取得して、当該画像上の帳票部分の外形の歪みを判定する帳票歪み判定装置であって、
前記帳票部分の辺を分割した辺分割点を求める辺分割部と、
各対向する辺の辺分割点を所定の対応条件によって結び、各線分の交点における線分同士の角度を歪み特徴として抽出する歪み特徴抽出部と、
標準状態における前記歪み特徴を基準歪み特徴として予め記憶しておく歪み特徴記憶部と、
前記基準歪み特徴と、前記抽出した帳票部分の歪み特徴とを比較することにより前記帳票部分の歪みを判定する歪み判定部とを備えた、
帳票歪み判定装置。
前記帳票部分の角を検出する角検出部を備え、
前記辺分割部は、前記検出した角を結ぶ線をそれぞれ分割した点を求め、求めた点を前記帳票部分の辺に対応させることによって辺を分割する、請求項１に記載の帳票歪み判定装置。
前記辺分割部は、前記分割を所定数で等分に分割する、請求項２に記載の帳票歪み判定装置。
前記辺分割部は、角に近い部分の前記分割の間隔を短くする、請求項２に記載の帳票歪み判定装置。
前記分割の間隔は、等分割した場合の分割点の位置を三角関数によって写像して決定する、請求項４に記載の帳票歪み判定装置。
前記歪み特徴にさらに前記辺分割点を結んだ各線分の長さを加え、
前記歪み特徴記憶部には帳票の種別ごとの前記歪み特徴を帳票の種別ごとの識別情報に関連付けて予め記憶し、
前記判定部は、前記画像上の帳票の識別情報を元に歪み特徴記憶部から歪み特徴を取得し、前記抽出した歪み特徴と比較することによって歪み判定をおこなう、請求項１から５のいずれかに記載の帳票歪み判定装置。
請求項１から６のいずれかに記載の帳票歪み判定装置歪み判定装置を備えた、帳票画像取得装置。
請求項１から６のいずれかに記載の帳票歪み判定装置歪み判定装置を備えた、金融営業店端末。