JP2021076882A - 画像読取処理システム - Google Patents

Abstract

【課題】帳票のレイアウトが最適でなく、罫線と文字が接触している為に、ＯＣＲ等の認識率を高く維持できない。【解決手段】画像読取部と、前記画像読取部が読み取った原稿画像に含まれる文字列の文字認識を行う文字認識部と、前記文字認識部が認識した文字の尤度を算出する尤度算出部と、帳票レイアウトを保存する保存部と、前記保存部に保存された帳票レイアウトのレイアウトを変更するレイアウト変更手段とを備え、画像読取部によって読み取られた画像データが、前記保存部に保存された帳票レイアウトに類似している場合に、前記帳票レイアウトを所定の位置だけずらした場合における前記尤度を再算出し、元の帳票レイアウトよりも前記尤度が高ければ、前記保存部に保存された帳票レイアウトを、前記所定の位置だけずらした帳票のレイアウトに変更する帳票修正部を有することを特徴とする。【選択図】図１

Description

本発明は、読み取った画像データに含まれる文字情報を認識することができる画像読取処理システムに関する。

従来、画像読取部を備え、帳票や原稿の画像読取を行う画像読取処理システムが提案されている。特に近年においては、読み取った帳票や原稿の画像情報から、ＯＣＲ（光学的文字認識）技術を用いて、帳票や原稿に印刷された文字や、人の手によって書かれた手書き文字を認識させることが可能になってきた。

そこで、ＯＣＲ技術を用いて、文字認識を行い、認識された文字情報に基づいて、画像情報のファイル名の命名や、画像情報から導出した一連のメタデータのタグ付け等の処理を自動的に行い、業務効率化を実現している事例がある。

特開平６−１６２２５６号公報

しかしながら、現状の技術において十分な認識率を確保するためには、様々な制約が存在する。その一例として、識別しようとしている文字が、罫線等の他の画像と重なっていない事が挙げられ、罫線等の他の画像と重なっていると認識率が低下してしまう。

その理由は、一般的なＯＣＲ技術による文字認識方法に由来する。一般的なＯＣＲ技術による文字認識方法では、文字のある領域を切り出して文字毎に辞書テーブルと比較し、最も尤度の高い文字を、切り出された領域に存在する文字として認識している。

その為、仮に認識しようとしている文字が罫線等と重なっていた場合、画像領域を正しく切り出す事に失敗し、誤って切り出された画像領域に基づいて辞書テーブルと比較することになるので、正しく認識することが困難になる。

また、仮に画像領域を正しく切り出す事が出来たとしても、罫線を含んだ画像領域と辞書テーブルとを比較する事となるので、尤度が低くなり、他の異なる文字に誤判定する場合がある。

そこで、枠の罫線と重なるか接触した文字がある場合でも、枠内の文字を正確に認識できるようにすることを目的として、特許文献１に示す技術が提案されている。

特許文献１では、帳票画像から文字画像が含まれている領域を抽出し、抽出された領域において、文字と罫線が接触されていると推定された場合、分離させる処理を施したのち、文字認識処理を実行するというものである。

しかしながら、この方法では、帳票のレイアウトがそもそも適切でなかった場合に対する対策は考えられていない。

そこで、本発明では、読み取った帳票の画像情報に基づいて、文字認識の尤度を高く維持できるように、帳票の原画像を微調整する画像読取処理システムの提供を目的とする。

上記を鑑み、本発明の画像読取処理システムは、
画像読取部と、
前記画像読取部が読み取った原稿画像に含まれる文字列の文字認識を行う文字認識部と、
前記文字認識部が認識した文字の尤度を算出する尤度算出部と、
帳票レイアウトを保存する保存部と、
前記保存部に保存された帳票レイアウトのレイアウトを変更するレイアウト変更手段と
を備え、
画像読取部によって読み取られた画像データが、前記保存部に保存された帳票レイアウトに類似している場合に、前記帳票レイアウトを所定の位置だけずらした場合における前記尤度を再算出し、元の帳票レイアウトよりも前記尤度が高ければ、前記保存部に保存された帳票レイアウトを、前記所定の位置だけずらした帳票のレイアウトに変更する帳票修正部を有することを特徴とする。

本発明によれば、帳票レイアウトを所定の位置だけずらすことによって文字認識処理を向上させることができる。

本発明の実施形態に関わる画像読取装置の斜視図を示す。 本発明の実施形態に関わる画像処理装置と画像読取装置の接続を示す。 本発明の実施形態に関わる画像読取装置の断面図を示す。 本発明の実施形態に関わる画像処理装置のブロック図を示す。 本発明の実施形態に関わる画像処理装置のフローチャートを示す。 本発明の実施形態に関わる画像処理装置のフローチャートを示す。 帳票原本保存部に格納され散る原本帳票の原画像情報を示す。 帳票種別のリスト情報を示す。 画像読取装置によって読取られた画像情報を示す。 文字列記載箇所を示す。 罫線と文字が接触している文字列記載箇所を示す。 画像読取装置によって読取られた画像情報を示す。 原本帳票の原画像情報における文字列記載箇所を示す。 レイアウト調整処理後の原画像情報における文字列記載箇所を示す。

以下、本発明の実施の形態を説明する。図１は、本発明の実施の形態に係る画像読取処理システムにおいて用いられる一般的な画像読取装置１の斜視図を示す。図１の画像読取装置１には、原稿を載置するための原稿載置部４、そして原稿を搬送する為の搬送路１４が設けられている。また、画像読取装置１は、原稿を排紙する原稿排紙部１３を有している。

図２は、画像読取装置１が画像処理装置２と通信ケーブル３を介して接続されていることを示した図である。このような構成によって本発明の実施形態に係る画像読取処理システムが構成されるが、画像読取装置１と画像処理装置２とはネットワークを介して接続されても良いし、単一の装置が両方の機能を実現可能なように構成しても良い。

図３は、画像読取装置１の構成を示す図である。画像読取装置１には、原稿を搬送路１４に一枚ずつ給送する為の搬送ローラ５と分離ローラ６を有している。また、画像読取装置１には、搬送された原稿の画像を読み取る為のタイミングを算出する為に、原稿の有無を検出する為のレジストセンサ９が搬送路内に設けられている。更に、画像読取装置１は、原稿の表面の画像を読み取る為の表用画像読取部１０と原稿の裏面の画像を読み取る為の裏用画像読取部１１を有している。

図４は、本実施例に係る画像処理装置２のブロック図である。画像処理装置２には、予め、帳票の原本である原画像情報や、原画像情報のリスト情報等を格納しておく帳票原本保存部８２を備える。

また、画像処理装置２には、画像読取装置１から取得した画像情報の特徴から帳票の種別判定を行う帳票種別判定部８３と、所定領域内の文字を認識する文字認識部８４と、認識された文字、及び文字列の確からしさである尤度を算出する文字列尤度算出部８５と、導出された尤度を比較する為の尤度比較部８６と、帳票原本保存部８２に格納されている帳票の原本である原画像情報のレイアウト情報を変更する帳票原本修正部８７と、画像読取装置１に対する指示、及び画像読取装置１によって読み取られた画像情報を取得する為のＩ／Ｆ部８１、更に、画像処理装置２は、それらのブロックを制御するためのＣＰＵ８０を備える。

また、図５は、画像処理装置２上で起動している不図示のキャプチャアプリケーションのフローチャート図である。画像読取に関する説明をこのフローチャートに従って説明する。

画像処理装置２上で起動している不図示のキャプチャアプリケーションは、ステップＳ１０００において、原稿の画像読取を開始すると、ステップＳ１００１において、画像読取装置１に対して読取指示を行う。そして、ステップＳ１００２において、不図示のキャプチャアプリケーションは、画像読取装置１が画像読取処理を終えたか、もしくは、読み取った画像情報の転送が可能かを監視する。

ここで、画像読取装置１は、画像処理装置２上で起動している不図示のキャプチャアプリケーションから画像読取の指示を受けると、原稿載置部４に載置された原稿を分離ローラ６で重送しないように一枚ずつ分離しながら搬送ローラ５により搬送路１４の下流へ給送を行う。

画像読取装置１は、レジストセンサ９によって原稿の先端が通過したのを検出すると、レジストセンサ９と表用画像読取部１０との距離をＬ＿１、原稿９０の搬送速度をｖとすると、Ｌ＿１／ｖ後に原稿９０が表用画像読取部１０に到達するので、不図示のタイマを用いて時間の測定を行い、原稿９０の先端がレジストセンサ９上を通過した時間からＬ＿１／ｖ経過後に表画像の読み取りを行う。

また、画像読取装置１は、レジストセンサ９と裏用画像読取部１１との距離をＬ＿２、原稿９０の搬送速度をｖとすると、Ｌ＿２／ｖ後に原稿９０が裏用画像読取部１１に到達するので、不図示のタイマを用いて時間の測定を行い、原稿９０の先端がレジストセンサ９上を通過した時間からＬ＿２／ｖ経過後に裏画像の読み取りを行う。なお、表用画像読取部１０と裏用画像読取部１１との搬送方向に対する上下流の位置については、図４のようにと裏用画像読取部１１を上流側にしても良く、どちらが上流側でも構わない。

表画像、裏画像の読み取りを終えた画像読取装置１は、通信ケーブル３を介して読み取った画像データを画像処理装置２へ転送するとともに、原稿９０を原稿排紙部１３へ排紙する。

図５の画像処理装置２上で動作している不図示のキャプチャアプリケーションの説明に戻る。ステップＳ１００２において、画像データが転送される場合には、ステップＳ１００３において、画像処理装置２へ転送された画像データを受信した不図示のキャプチャアプリケーションは、受信した画像データに対して適切な画像処理を行い、処理後の画像情報を取得する。なお、ここでは画像データの取得のみを行い、画像の転送終了後にステップＳ１００４などでまとめて画像処理を行って画像情報の取得を行っても良い。

そして、不図示のキャプチャアプリケーションは、次原稿の画像情報の受信、若しくは、読み取った画像情報が最終原稿の画像情報であり、読取処理が完了したことを示す信号の受信をステップＳ１００２で待機する。画像読取装置１から、原稿の画像読取処理を完了した事を示す信号を受信した不図示のキャプチャアプリケーションは、ステップＳ１００４で調整処理を実行し、完了後にステップＳ１００５にて処理を終了する。

図６は、本実施形態における画像処理装置２が実行する調整処理のうちの、原本帳票の原画像情報のレイアウトを変更する帳票レイアウト変更処理のフローチャート図である。

Ｉ／Ｆ部８１を介して画像データを画像読取装置１から取得した画像処理装置２は、ステップＳ１１００において処理を開始する。

ステップＳ１１０１において、画像処理装置２は、受信した画像情報の特徴情報から類似する帳票を判定する帳票種別判定部８３を用いて原稿種別の判定を行う。画像処理装置２が帳票の種別を判定する際に使用される画像情報の特徴情報として、画像情報のサイズ情報が挙げられる。

以下に画像情報のサイズ情報を用いた原稿種別を判定する方法についてその一例を説明する。識別したい帳票のサイズが、Ａ５サイズ（幅２１０ｍｍ、高さ１４８ｍｍ）であった場合、予め、画像処理装置２は、この帳票のサイズを、帳票原本保存部８２の帳票種別ごとに不図示のメモリ等に格納しておく。

その後、画像処理装置２は、読み取った画像情報から原稿サイズを導出する。原稿サイズの検知方法は、公知の一般的な検知方法を用いることができる。

画像処理装置２が導出した原稿サイズが、例えば、幅２０５ｍｍ、高さ１４５ｍｍ等、予め格納していた帳票サイズと似通っていた場合、識別したい帳票であると推定する。本実施形態においては、一例として、原稿の幅、高さに対して±５％ずつの範囲に収まっている原稿サイズであれば、識別したい帳票であると推定するようにしているが、これに限られない。

一方、導出した原稿サイズが、一般的な名刺サイズである幅９１ｍｍ、高さ５５ｍｍ等であった場合、画像処理装置２は、取得された画像情報が識別したい帳票ではないと判定する。

以上より、予め格納された原稿サイズと、読み取られた画像情報から導出した原稿サイズとの一致度合いに応じて所定の帳票か否かを判定する。

他にも、画像情報から予め切り出された画像領域から文字認識部を用いて文字を認識し、文字情報に基づいて原稿種別を行うなど、原稿の種別を判定する特徴情報は特に限定されるものではなく、公知の方法を用いることができる。

ステップＳ１１０１において、原稿の種別を判定した画像処理装置２は、引き続き、帳票種別判定部８３を用いてステップＳ１１０２で原稿レイアウトの解析処理を行う。

下記に画像処理装置２による原稿レイアウトの解析処理の一例を説明する。図７は、帳票原本保存部８２に格納されている原本帳票の原画像情報の一例である。

原本帳票の原画像情報１００には、帳票種別ごとに割り振られている帳票番号１０１が画像情報として付加されており、印刷等の出力時には所定箇所に出力される。

図８は、帳票原本保存部８２に格納されている原本帳票の原画像情報１００に加えて格納されている帳票種別のリスト情報である。帳票種別のリスト情報には、帳票種別毎に割り振られた帳票番号と、帳票種別と、原稿レイアウト情報が関連付けられて保存されている。

図９は、画像処理装置２が画像読取装置１から受け取った画像情報の例である。画像処理装置２は、文字認識部８４を用いて、所定の領域において、印刷されている帳票番号１０３を認識し、認識された帳票番号１０３に基づいて、帳票原本保存部８２に格納された帳票種別のリスト情報から、原稿レイアウト情報を取得する。なお、これは一例であり、上述したように受け取った画像情報に対しサイズ検知を行い、サイズ検知の結果に依って帳票種別を判別し、帳票種別に対応する原稿レイアウト情報を取得しても良いし、画像情報に含まれるこれら以外の情報を用いて類似する帳票を推定しても良い。

若しくは、読み取られた画像情報１０２において、文字列が記載された箇所の各々について、文字認識部８４を用いて文字情報を取得するとともに、文字内容に応じて、レイアウト情報として生成する方法もある。

ステップＳ１１０２で原稿レイアウトの解析を行った画像処理装置２は、ステップＳ１１０３において、Ｓ１１０２で解析された原稿レイアウトに従って、文字列の記載箇所を特定する処理を行う。

予め文字列記載箇所を帳票原本保存部８２にレイアウト情報とともに登録しておいても良く、帳票原本保存部８２に格納されている帳票原本が使用されていることが判定されている場合は、画像処理装置２は、それを文字列記載箇所の特定に用いればよい。

ステップＳ１１０３で文字列記載箇所を特定した画像処理装置２は、ステップＳ１１０４において、文字認識部８４を用いて、特定した文字列記載箇所の領域に記載されている文字の認識を行うとともに、文字列尤度算出部８５を用いて特定した文字列に含まれる文字の認識結果の正当性を示す尤度Ａを算出する。

画像処理装置２が文字列尤度算出部８５で尤度Ａを算出するにあたって、文字のある領域を切り出して文字毎に辞書テーブルと比較した結果、及び最も高い文字の尤度の合算値、更に、認識された文字列の文字サイズや帳票レイアウトの欄内における文字列の位置等が使用される。

画像処理装置２が実行する処理について、一例を示しながら説明する。図１０は、画像処理装置２が画像読取装置１から取得した画像情報１０２の一部であり、文字列記載箇所として特定された領域の一つを示した図である。文字列記載箇所として特定された領域２０１には、文字認識部８４によって認識された文字２００がある。

罫線によって囲まれた領域２０１を文字列記載箇所として認識した画像処理装置２は、ステップＳ１１０５において、文字列記載箇所として特定された領域２０１を形成する罫線と文字２００が接触しているか否かを検出する。

検出する方法の一例としては、読み取られた画像情報１０２を二値化画像に変換した後、罫線と連続した黒画素領域を検出することで判定できる。

図１１は、罫線と文字が接触していることを示した図である。ステップＳ１１０５で画像処理装置２が領域２０１を形成する罫線と文字２００が接触していると判定した場合、画像処理装置２は、ステップＳ１１０６において、領域２０１に対して外側の領域を含んだ領域２０３を文字列記載箇所の領域として抽出する。

なお、Ｓ１１０６では、文字列記載箇所として抽出された領域２０３に対して、画像処理装置２は、ステップＳ１１０２で解析した結果によって特定された帳票原本保存部に格納されている帳票原本のレイアウト情報に基づいて帳票部分（罫線部分）を削除する。

一方、Ｓ１１０５で文字と罫線が接触していないことを検出した画像処理装置２は、ステップＳ１１１２に移行して処理を終える。

ステップＳ１１０６において、文字列記載箇所としての画像情報を抽出した画像処理装置２は、ステップＳ１１０７で帳票原本保存部８２から取得した帳票の原本である原画像情報１００から、帳票原本修正部８７を用いて、レイアウト調整処理を実行する。

図を用いて、ステップＳ１１０７で実行されるレイアウト調整処理について、一例を説明する。図１２は、画像読取装置１によって読み取られた帳票原稿の画像情報における、文字列記載箇所を示した図である。

図１３は、帳票原本保存部８２から取得した帳票の原本である原画像情報１００における文字列記載箇所の領域である。図には、文字の記入箇所を促すガイドライン２１０が予め印字されている。

なお、画像処理装置２は、ステップＳ１１０４において、文字列尤度算出部８５を用いて尤度Ａを算出する際に、文字認識部８４により認識された文字の文字サイズを導出する事は先述したが、画像処理装置２は、認識された同一の帳票原稿における全ての文字の平均の文字サイズ、若しくは、最大サイズに基づいて、対象になっている文字列記載箇所に記入される文字列の一般的な文字サイズ２５０も算出する。なお、ここで言う一般的な文字サイズ２５０とは、実際にこの帳票に対して記入される文字においてという意味で用いられる。

また、ガイドライン２１０と全ての文字の平均位置の相対位置も算出する。更に、文字がガイドライン２１０に沿って記入された際の、文字列記載箇所における文字の許容最高位置２５１を画像処理装置２は算出する。

図１４は、画像処理装置２が実行したレイアウト調整処理によって帳票の原本である原画像情報１００から生成されたレイアウト調整後の原画像情報における文字列記載箇所を示した図である。

このように、ステップＳ１１０７のレイアウト調整処理では、画像処理装置２は、ステップＳ１１０４で算出した一般的な文字サイズ２５０で書かれた文字が、文字列記載箇所における文字の許容最高位置２５１よりも下に配置される範囲内でガイドライン２１１を移動さてガイドライン２１１の配置を決定する。

以上によって、画像処理装置２は、レイアウト調整処理後の帳票原稿の原画像情報を生成するが、上記で示した方法は一例であり、原画像情報を生成する方法は問われない。

画像処理装置２は、ステップＳ１１０８において、レイアウト調整処理後のガイドライン２１１が反映された原画像情報とステップＳ１１０６で生成した文字列記載箇所の領域として抽出された文字列の画像情報を、ガイドライン２１１に合わせて重ねて、仮想画像情報を生成する。

ステップＳ１１０９では、画像処理装置２は、ステップＳ１１０８で生成された仮想画像情報を用いて、ステップＳ１１０４において尤度Ａを算出した手法と同等の手法で尤度Ｂを再算出する。

ステップＳ１１１０において、画像処理装置２は、尤度比較部８６を用いて、尤度Ａと尤度Ｂを比較する。尤度Ａが尤度Ｂよりも高い場合は、変更前の帳票の原本である帳票レイアウトの方が高い認識率を保つレイアウトであると判断して処理を終了する。

一方、ステップＳ１１１０において、尤度Ｂのほうが尤度Ａよりも高い場合は、変更前の帳票の原本である帳票レイアウトよりも、ステップＳ１１０６のレイアウト調整処理によって変更が加わった帳票レイアウトの方が、高い認識率を維持できる可能性があるものとして帳票原本保存部８２に格納されている帳票の原本である画像情報をステップＳ１１０８で生成した仮想画像情報によって変更する。

なお、このレイアウト調整処理は、尤度Ｂがもっとも高くなるまで繰り返すことが好ましい。

説明した本発明の実施の形態では、一連の処理を画像処理装置で行う事を説明したが、画像読取装置で実施しても構わない。

また、画像読取装置が直接ネットワークに接続されている構成となっていた場合、同ネットワークに接続されたサーバー上で実行しても構わない。

また、ガイドライン２１１の位置を変更する事を説明したが、文字列記載箇所を構成する罫線の位置を変更しても構わない。

特に、レイアウトの変更については、罫線やガイドラインの位置を変更すること以外にも、何らかのオブジェクトの位置を変更する事でも構わない。

また、レイアウトの変更については、解析した結果に基づいて、新規に罫線やオブジェクトを帳票原本に追加する事を実行しても構わない。

なお、ステップＳ１１１１によって採用された調整後の帳票レイアウトを、画像処理装置２にネットワークなどで接続された印刷装置やその制御装置に転送し、帳票レイアウトとして採用されたことの通知を受け付けたときにのみ帳票原本保存部８２に格納されている帳票レイアウトを更新しても良い。この場合、採用されなかったことの通知を受け付けたときには、帳票レイアウトを従前のものに戻す。従って、この場合には、レイアウト調整処理の前後の帳票原稿の両方を帳票原本保存部８２に保存しておき、変更後の帳票レイアウトの採否の通知を受け取った時点で採用されなかった方の帳票原稿を削除することが好ましい。

１ 画像読取装置
２ 画像処理装置
１０ 表用画像読取部
１１ 裏用画像読取部
８０ ＣＰＵ
８２ 帳票原本保存部
８３ 帳票種別判定部
８４ 文字認識部
８５ 文字列尤度算出部
８６ 尤度比較部
８７ 帳票原本修正部
１００ 原本帳票の原画像情報
１０１ 原本帳票の帳票番号
１０２ 読み取られた画像情報
１０３ 認識された帳票番号
２００ 認識された文字
２０１ 文字列記載箇所
２０３ 文字列記載箇所
２１０ 原本帳票のガイドライン
２１１ 調整処理後のガイドライン
２５０ 文字サイズ
２５１ 文字列記載箇所における文字の許容最高位置

Claims (3)

1. 画像読取部と、
   前記画像読取部が読み取った画像に含まれる文字列の文字認識を行う文字認識部と、
   前記文字認識部が認識した文字の尤度を算出する尤度算出部と、
   帳票レイアウトを保存する保存部と、
   前記保存部に保存された帳票レイアウトのレイアウトを変更するレイアウト変更手段と
   を備え、
   画像読取部によって読み取られた画像データが、前記保存部に保存された帳票レイアウトに類似している場合に、前記帳票レイアウトを所定の位置だけずらした場合における前記尤度を再算出し、元の帳票レイアウトよりも前記尤度が高ければ、前記保存部に保存された帳票レイアウトを、前記所定の位置だけずらした帳票のレイアウトに変更する帳票原本修正部を有することを特徴とする画像読取処理システム。
2. 前記帳票のレイアウトは、罫線で囲まれた領域に配置されたガイドラインを有し、前記レイアウト変更手段は、前記ガイドラインを移動させることを特徴とする請求項１に記載の画像読取処理システム。
3. 前記帳票のレイアウトを前記所定の位置ずらす際に、前記ガイドラインと前記文字列とが接触している場合に前記文字列を抽出し、前記ガイドラインを移動させることを特徴とする請求項２に記載の画像読取処理システム。

Images