JP4580520B2

JP4580520B2 - Character recognition method and character recognition apparatus

Info

Publication number: JP4580520B2
Application number: JP2000257415A
Authority: JP
Inventors: 寿太郎石岡
Original assignee: 株式会社日本デジタル研究所
Priority date: 2000-08-28
Filing date: 2000-08-28
Publication date: 2010-11-17
Anticipated expiration: 2020-08-28
Also published as: JP2002074269A

Description

【０００１】
【発明の属する技術分野】
本発明は、文字認識方法に関し、特に、非ドロップアウトカラーで印刷された罫線又は枠線（以下、罫線等）を持つ帳票に記入された文字が罫線等に接触している場合の文字認識技術に関する。
【０００２】
【従来の技術】
光学的文字読取装置（ＯＣＲ）では帳票や原稿上の文字を読み取って電気信号に変換し文字イメージを出力するが、帳票には、通常、文字枠線が印刷されており文字は文字枠線内に収まるように印刷或いは記入されるので、読み取りの障害にならないように文字枠線は記入者に認識できるが装置には検出できないドロップアウトカラーで印刷されている場合が多い。
【０００３】
しかし、ドロップアウトカラーは特殊な色のため帳票の印刷コストが高くなりがちな点や、ドロップアウトカラーは通常ＯＣＲに対し１色に決まっているので帳票の種類によって色分けをすることができない点、及びドロップアウトカラーは非常に色が淡いので見づらい点、等の不都合がある。
【０００４】
上述したような不具合を解消するため、文字枠線を非ドロップアウトカラーで印刷した帳票を光学的に読み取って文字を認識する場合に、その前段処理として文字枠線を検出して消去する枠線消去(除去）処理を行うように構成した文字認識装置がある。
【０００５】
【発明が解決しようとする課題】
しかしながら、単に、罫線や枠線を除去するだけでは罫線又は枠線と接触していた文字の一部が除去されてしまうので文字認識装置の認識性能を低下させる要因となっていた。従って、このような罫線又は枠線と接触したイメージに対し文字認識時に辞書学習を行うと、信頼性の低い（つまり、上述したように認識性能の低い）イメージに対して辞書学習を行うことになるために結果として信頼性の低い学習辞書が作成され信頼性のある文字認識を行うことができないことから、自動的な学習処理を行うことができないといった問題点があった。
【０００６】
本発明は上記課題を解決するためになされたものであり、文字が罫線等に接触している場合にも自動的な学習処理を行うことのできる文字認識方法および文字認識装置の提供を目的とする。
【０００７】
【課題を解決するための手段】
上記課題を解決するために、請求項１に記載の発明では、非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識方法であって、読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線接触情報取得ステップと、罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出しステップと、上記文字切り出しステップで切り出された各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完を行う第１の文字イメージ補完ステップと、上記第１の文字イメージ補完ステップで補完された文字イメージに対し認識辞書を用いて文字認識を行い、その際に、該文字の特徴量およびメモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理部の補完対象でなかった文字イメージに対しては認識辞書を用いて文字認識を行って候補文字を取得する文字認識ステップと、認識辞書に登録されている罫線接触情報およびメモリに記憶されている第２の罫線接触情報を基に、上記文字認識ステップで取得された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定ステップと、上記棄却ステップの信頼度判定で棄却コードが出力された文字イメージについて修正入力を待ち、修正入力があったときは、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合には修正入力により修正された文字コードに対応する文字イメージとメモリに記憶されている第２の罫線接触情報のうちの該文字コードに対応する文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定ステップと、上記補完イメージステップで決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完ステップと、上記第２の文字イメージ補完ステップで補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を認識辞書に登録するか否かの判定を行う登録判定ステップと、を備えたことを特徴とする文字認識方法を提供する。
【０００８】
また、請求項２に記載の発明は、補完イメージ決定ステップは、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、第２のイメージ補完ステップは、上記補完イメージステップで決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、登録判定ステップは、上記第２のイメージ補完ステップで取得した複数の補完された文字イメージ毎に判定を行う、ことを特徴とする請求項１に記載の文字認識方法を提供する。
【０００９】
また、請求項３に記載の発明は、非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識装置において、文字認識に用いる辞書であって、補完文字イメージの罫線接触情報を登録可能な認識辞書と、上記文字切り出し部で取得した第２の罫線接触情報を記憶するメモリと、読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線除去手段と、罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出し手段と、各文字イメージのうち、上記メモリに記憶した各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完処理を行う第１の文字イメージ補完処理手段と、上記第１の文字イメージ補完処理手段で補完処理された文字イメージおよび上記文字イメージ補完処理手段の補完対象でなかった文字イメージに対し特徴抽出を行ってそれぞれの文字イメージの特徴量を取得する特徴量取得手段と、上記文字イメージ補完処理手段で補完処理された文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較すると共にメモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理手段の補完処理の対象でなかった文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較して候補文字を出力する認識処理手段と、認識辞書に登録されている罫線接触情報およびメモリに記憶されている第２の罫線接触情報を基に、上記認識処理手段から出力された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定手段と、上記棄却判定手段の信頼度判定で棄却コードが出力された文字イメージについて、キー入力を待ち、キー入力あったとき、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合にはキー入力された文字コードとメモリに記憶されている第２の罫線接触情報のうちの該文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定手段と、上記補完イメージ決定手段で決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完処理手段と、上記第２の文字イメージ補間処理手段で補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を認識辞書に登録するか否かの判定を行う登録判定手段と、を備えたことを特徴とする文字認識装置を提供する。
【００１０】
また、請求項４に記載の発明は、補完イメージ決定手段は、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、第２のイメージ補完手段は、上記補完イメージ手段で決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、登録判定手段は、上記第２のイメージ補完手段で取得した複数の補完された文字イメージ毎に判定を行う、ことを特徴とする請求項３に記載の文字認識装置を提供する。
【００１３】
【発明の実施の形態】
[文字認識装置の構成例]
図１は本発明の文字認識方法を適用可能な文字認識装置の一実施例の構成を示すブロック図である。また、図２は認識処理部の一実施例の構成を示すブロック図、図３は文字認識部及び認識文字学習部の機能構成の一実施例を示すブロック図である。
【００１４】
図１で、文字認識装置１０は、原稿読取り部１、認識処理部２、ハードディスク（ＨＤ）３、モニタ装置４及びキーボード５を備えている。
原稿読取り部１はＯＣＲ（光学的文字読取り装置）やスキャナー等のイメージリーダからなり、原稿を読み取ってイメージデータに変換し、認識処理部２に渡す。
また、認識処理部２は、図２に示すように文字認識部２１、認識文字学習部２２及び制御部２３と認識辞書３１を備え、文字認識部２１は原稿読取り部１から受け取ったイメージデータから１文字分ずつ文字イメージを切り出して文字認識処理を行い、認識結果（文字コード或いは棄却コード）を出力すると共にモニタ装置４に表示する。
【００１５】
また、認識文字学習部２２は罫線等と接触している文字イメージが文字認識部２１で認識されなかった場合（つまり、棄却された場合）又は認識エラーの場合に、オペレータによってキーボード５から文字コード入力がされた場合には、それら棄却イメージ或いは誤認識された文字について文字コード入力（キー入力による修正及び自動修正）及び学習を行い、認識辞書３１を更新する。
【００１６】
なお、ハードディスク３には認識辞書３１及び認識結果を格納する領域が確保されている。なお、認識辞書３１はＲＯＭ又は物理的に別のハードディスクとしてもよい。また、ハードディスク３には認識処理プログラムのほか文字認識装置１０の実行制御に必要な各種プログラムを格納することもできる。
【００１７】
図３で、文字認識部２１は罫線除去部２１１、文字切り出し部２１２、罫線接触情報格納部２１３、イメージ補完処理部２１４、特徴抽出部２１５、識別部２１６及び棄却判定部２１７を有している。また、認識文字学習部２２は補完予測処理部２２１、イメージ補完部２２２及び辞書登録判定部２２３を有している。
【００１８】
文字認識部２１は後述するように特徴抽出部２１５で抽出した文字イメージの特徴を基に識別部２１６で認識辞書３１を用いて文字認識を行い、認識候補文字を出力するが、認識できない文字のうち、罫線等と接触していた文字については罫線接触情報格納部２１３に格納されている罫線情報とキー入力される文字（修正文字）を基に認識文字学習部２２で補完予測等を行って文字イメージを補完し認識辞書に登録する。これにより、罫線等と接触していて罫線除去により文字の一部を欠き、従来方式では認識できなかった罫線接触文字についても認識が可能となる。
【００１９】
[動作例]
図４は上記図３に示した文字認識部２１及び認識文字学習部２２の動作例を示すフローチャートである。また、図５は入力した原稿文字イメージの一実施例を示す図、図６は罫線除去後の原稿文字イメージの一実施例を示す図、図７及び図８は切り出された文字イメージの一実施例を示す図である。
【００２０】
ステップＳ１：（罫線除去及び罫線接触情報の取得）
罫線除去部２１１は、スキャナ等から読み込んだ読み込みイメージ５０（図５）から罫線等５１を検出し、罫線等のイメージを読み込みイメージから除去して図６に示すようなイメージ６０を取得し、除去した罫線等に接触していたイメージ５０に関する罫線接触情報（例えば、文字の接触方向、接触個所数、接触部分の位置（座標）、罫線等の太さ）Ｉｆ１を取得する。
【００２１】
ステップＳ２：（文字イメージの切り出し及び各罫線接触情報の取得）
文字切り出し部２１２は、罫線除去部２１１によって罫線等が除去されたイメージ５０から１文字ずつ文字イメージを切り出して、図７に示すような切り出し文字イメージＣｉ１（ｉ＝１〜ｎ；ｎは文字数）を取得し、イメージ５０の罫線接触情報から文字イメージＣｉ１の各イメージ単位の罫線接触情報Ｉｆ２を取得する。
【００２２】
ステップＳ３：（文字イメージ毎の罫線接触情報の一時格納）
罫線接触情報格納部２１３はＲＡＭ等の一時格納メモリからなり、文字切り出し部２１２で得た罫線接触情報Ｉｆ２を格納する。
ここで、罫線接触情報Ｉｆ２について図７の切り出し文字イメージＣ１１と図８（ａ）の切り出し文字イメージＣ３１を例として説明する。
図７に示した切り出し文字イメージＣ１１では、接触方法＝左、接触数＝３、接触位置＝α（Ｘ１、Ｙ１）、β（Ｘ２、Ｙ２）、γ（Ｘ３、Ｙ３）、罫線の太さ＝Ｗが格納される。また、図８（ａ）に示した切り出し文字イメージＣ３１では、接触方法＝下、接触数＝１、接触位置＝（Ｘ、Ｙ）、罫線の太さ＝Ｗ、記入線の太さ＝ｗ、罫線への進行方向＝左下方向、が格納される。
【００２３】
ステップＳ４：（イメージ補完処理）
次に、イメージ補完処理部２１４は上記ステップＳ３で罫線接触情報格納部２１３に格納されている罫線接触情報を基に切り出し文字イメージＣｉ１のイメージ補完処理を行う。なお、切り出し文字イメージＣｉ１が罫線に接触していなかった場合にはイメージ補完処理を行うことなくＳ５に遷移する。
ここで、イメージ補完処理の方法としては本発明の発明者によって発明され本願特許出願人によって平成１１年１１月２２日に出願された特願平１１−３３１１６３号に記載された方法やその他よく知られたイメージ補完方法を用いることができる。
【００２４】
ステップＳ５：（特徴抽出及び特徴量の取得）
特徴抽出部２１５は、上記ステップＳ４でイメージ補完処理された切り出し文字イメージＣｉ１に対し特徴抽出を行い、未知入力文字の特徴量を取得する。
【００２５】
ステップＳ６：（認識候補文字の出力）
識別部２１６は、上記ステップＳ５で得られた特徴量と認識辞書３１に格納されている特徴量を比較し認識候補文字を出力するが、罫線接触情報格納部２１３に格納されている罫線接触情報から未知入力文字が罫線等に接触していたという情報がある場合にはその情報を基に認識候補文字を出力する。
【００２６】
例えば、図７の切り出し文字イメージＣ１１に対し上記ステップＳ４でイメージ補完処理部２１４でイメージ補完処理され、上記ステップＳ５の特徴抽出部２１５による特徴抽出で抽出した特徴に基づいて識別部２１６で認識辞書３１の特徴量と比較した結果、認識候補文字として「３」及び「８」の２つが得られた場合を例とすると、切り出し文字イメージＣ１１で特定される未知入力文字は、罫線接触情報格納部２１３に格納されている罫線接触情報（ステップＳ３参照）から左側罫線に３個所接続しているので、接触のしかたから判断して認識候補「３」でない可能性が高いことから識別部２１６は認識候補文字として「８」を出力する。別の例としては、認識辞書３１に格納されている特徴量と罫線接触情報（ステップＳ３参照）のうちの罫線接触方向に関する情報（例えば、罫線への進行方向）からその方向の特徴量の曖昧さを考慮し、罫線接触とは関係ない特徴を優先的に採用する（例えば、図８（ａ）の切り出し文字イメージＣ３１で特定される未知入力文字の場合）。
【００２７】
ステップＳ７：（棄却判定）
次に、棄却判定部２１７は上記ステップＳ６で候補文字として出力された文字の確からしさ（信頼度）を認識辞書３１に登録してある罫線接触情報及び罫線接触情報格納部２１３に格納されている切り出し文字イメージＣｉ１の罫線接触情報等を基に判定し、信頼度が所定値より高い場合はその文字コードを出力しＳ９に遷移する。また、信頼度が所定値より低い場合は棄却コード（リジェクトコード）を出力し、Ｓ８に遷移する。
【００２８】
例えば、上記ステップＳ６で例とした切り出し文字イメージＣ１１の場合は、認識候補文字「８」について上記判定の結果、信頼度が所定値より高いとして認識文字「８」を出力する。
また、文字イメージＣ３１に対して上記ステップＳ６で認識候補文字として「２」及び「７」の２つが得られ、識別部２１６は認識候補文字として「７」を出力した場合、上記判定の結果、信頼度が所定値より低いとして棄却コードが出力される。
【００２９】
ステップＳ８：（棄却文字の罫線接触判定）
上記ステップＳ７で棄却文字コードが出力された未知入力文字が罫線等に接触していた文字か否か、つまり、切り出し文字イメージＣｉ１が罫線等が除去された文字イメージであったかどうかを罫線接触情報格納部２１３に格納されている罫線接触情報から判定し、罫線等に接触していた場合にはＳ９に遷移し、そうでない場合にはＳ１２に遷移する。
【００３０】
ステップＳ９（補完イメージの決定）
補完予測処理部２２１は、上記ステップＳ８で棄却文字コードが出力された未知入力文字が罫線等に接触していた文字の場合に、オペレータによる文字コード入力（修正文字入力）を待ち、オペレータによって入力された切り出し文字イメージＣｉ１に対する文字コードと罫線接触情報格納部２１３に格納された罫線接触情報を基に補完イメージを決定する。例えば、上記ステップＳ７の例で、文字イメージＣ３１に対する認識文字候補「７」について棄却コードが出されたが、文字イメージＣ３１は罫線に接触しているので文字イメージＣ３１に対する文字コード入力を入力指示メッセージを表示してオペレータに促し、オペレータが文字イメージＣ３１に対する文字コードとして「２」を入力すると、補完予測処理部２２１は入力された文字コード「２」と罫線接触情報格納部２１３に格納された罫線接触情報から、「２」の下の横棒が罫線除去部２１１によって除去されたものと判定し、文字イメージＣ３１の下の横棒を補完する補完処理を決定する。
【００３１】
ステップＳ１０：（イメージ補完）
イメージ補完部２２２は、補完予測処理部によって決定された補完処理を行う。図８（ａ）の文字イメージＣ３１について上記ステップＳ９の例で補完決定された補完処理を行うと図８（ｂ）に示すような文字イメージを得ることができる。
【００３２】
ステップＳ１１：（辞書登録の可否判定）
辞書登録判定部２２３は、上記ステップＳ１０で得た補完イメージについて認識辞書への登録の可否を判定し、判定結果が「登録可」の場合にはその文字イメージ及び罫線接触情報を認識辞書３１に登録し、ステップＳ４に遷移する。また、判定結果が「登録否」の場合にはＳ１２に遷移する。
辞書登録判定は上記ステップＳ１０で得た補完イメージを上記ステップＳ９でオペレータが入力した文字コードの認識辞書として登録した場合に、入力した文字コードの認識率に悪影響（例えば、認識率の低下）を及ぼさないか否かを調べ、悪影響があるとされた場合には「登録否」とする。ここで、辞書登録判定の方法には本願特許出願人によって平成９年１２月２２日に出願された特開平１１−１８４９７６号公報に開示された方法を用いることができる。
【００３３】
ステップＳ１２：（終了判定）
制御部２３は全ての切り出し文字イメージＣｉ１について文字認識部２１又は認識文字学習部２２による処理が終るまでＳ４に戻って次の切り出し文字イメージの認識処理（または学習処理）を行う。
【００３４】
なお、上記図４のフローチャートのステップＳ９で、補完予測処理部２２１が１文字に対し１種類の補完文字イメージを出力するように構成した例を示したが、これに限定されない。
例えば、図９に示すような原稿イメージ『４０』を読み込んだ場合、ステップＳ１に示したように罫線除去部２１１で罫線除去を行い、ステップＳ２で文字切り出し部２１２で『４』を切り出すと、図１０に示すような切り出しイメージＣ１２を得ることができる。ここで、ステップＳ９に遷移して、補完予測処理部２２１でオペレータによって入力された文字コードと罫線接触情報格納部２１３に格納された罫線接触情報を基に補完方法を決定するが、図１０の例に示すように補完方法を１種類に決定できない場合がある。
【００３５】
つまり、図１０に示した切り出し文字イメージＣ１２の左側縦線の長さが罫線除去処理によって全部除去されてしまっているので、予測不可能な状態にある。このような場合には補完予測処理部２２１は補完イメージをいくつか決定しその全てについてイメージ補完部２２２でイメージ補完処理を行い、イメージ補完された各イメージごとに辞書登録判定部２２３で辞書登録判定を行なう。
【００３６】
図１０の切り出し文字イメージＣ１２の例では、イメージ補完部２２２は、文字イメージの左側の縦棒を補完するが、この場合、補完する棒の長さを文字イメージＣ１２のイメージに対しての矩形範囲最大、文字イメージＣ１２のイメージに対しての矩形範囲最大の３分の２、文字イメージＣ１２のイメージに対しての矩形範囲最大の２分の３という３種類の補完処理を行う。図１１はこれにより補完された文字イメージを示す図であり、図１１（ａ）は矩形範囲最大とした場合の補完文字イメージ、図１１（ｂ）は矩形範囲最大の３分の２とした場合の補完文字イメージ、図１１（ｃ）は矩形範囲最大の２分の３とした場合の補完文字イメージである。辞書登録判定部２２３は上記３種類の補完イメージの辞書登録判定を行い、登録判定されたイメージを認識辞書３１に登録する。
【００３７】
このように補完方法を１種類に決定できない場合には補完方法をいくつか決定しその全てについてイメージ補完処理を行い、イメージ補完された各イメージごとに辞書登録判定を行なうように構成することにより、原稿記入者が罫線に接触しないが同じような文字を記入しても認識辞書に登録されたいずれかの特徴に近い文字イメージになり、認識辞書での認識が可能となる。
以上、本発明の一実施例について説明したが本発明は上記実施例に限定されるものではなく、種々の変形実施が可能であることはいうまでもない。
【００３８】
【発明の効果】
上記説明したように、請求項１、３に記載の発明によれば、棄却判定された文字イメージが罫線等と接触していて罫線除去により文字の一部を欠いた文字イメージの補完を行うだけでなく、切り出した文字イメージが文字認識による候補文字の信頼度を判定し、信頼度判定により棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合には、更に、修正入力により修正された文字コードに対応する文字イメージとメモリに記憶されている第２の罫線接触情報のうちの該文字コードに対応する文字イメージの罫線接触情報を基に決定された補完イメージで文字イメージを補完し、補完された文字イメージに関連付けて該文字イメージの罫線接触情報を認識辞書に登録することができることから、棄却判定された文字イメージが罫線等と接触していて罫線除去により文字の一部を欠いた文字イメージにも認識辞書を基に認識処理を行うことができるので、従来方式では認識できなかった罫線接触を原因とした棄却対象文字についても認識が可能となる。
【００３９】
また、請求項２、４に記載の発明によれば、請求項１，３の発明において補完イメージを１種類に決定できない場合には補完方法をいくつか決定しその全てについてイメージ補完処理を行い、イメージ補完された各イメージごとに辞書登録判定を行なうことができるので、原稿記入者が罫線に接触しないが同じような文字を記入しても認識辞書に登録されたいずれかの特徴に近い文字イメージになり、認識辞書での認識が可能となる。
【図面の簡単な説明】
【図１】本発明の文字認識方法を適用可能な文字認識装置の一実施例の構成を示すブロック図である。
【図２】認識処理部の一実施例の構成を示すブロック図である。
【図３】文字認識部及び認識文字学習部の機能構成の一実施例を示すブロック図である。
【図４】文字認識部及び認識文字学習部の動作例を示すフローチャートである。
【図５】図５は入力した原稿文字イメージの一実施例を示す図である。
【図６】罫線除去後の原稿文字イメージの一実施例を示す図である。
【図７】切り出された文字イメージの一実施例を示す図である。
【図８】切り出された文字イメージの一実施例を示す図である。
【図９】入力した原稿文字イメージの一実施例を示す図である。
【図１０】切り出された文字イメージの一実施例を示す図である。
【図１１】複数の補完イメージの一実施例を示す図である。
【符号の説明】
１原稿読取り部
２認識処理部
３ハードディスク（ＨＤ）
４モニタ装置
５キーボード
１０文字認識装置
２１文字認識部
２２認識文字学習部
２３制御部
３１認識辞書
５０読み込みイメージ
５１罫線等
２１１罫線除去部
２１２文字切り出し部
２１３罫線接触情報格納部
２１４イメージ補完処理部
２１５特徴抽出部
２１６識別部
２１７棄却判定部
２２１補完予測処理部
２２２イメージ補完部
２２３辞書登録判定部
Ｃ１１、Ｃ３１、Ｃ１２切り出し文字イメージ（切り出された文字イメージ）[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a character recognition method, and in particular, a character recognition technique when characters entered in a form having ruled lines or frame lines (hereinafter referred to as ruled lines) printed in a non-dropout color are in contact with the ruled lines. About.
[0002]
[Prior art]
An optical character reader (OCR) reads characters on a form or document, converts them into electrical signals, and outputs a character image. However, a character frame line is usually printed on the form, and the character is within the character frame line. Therefore, the character frame line is often printed in a dropout color that can be recognized by the writer but cannot be detected by the apparatus so as not to hinder reading.
[0003]
However, because the dropout color is a special color, the printing cost of the form tends to be high, and since the dropout color is usually one color for OCR, it can not be color-coded according to the type of form, In addition, the dropout color has a disadvantage that it is difficult to see because the color is very light.
[0004]
In order to solve the above-mentioned problems, when a character is recognized by optically reading a form with a character border printed in non-dropout color, a border that detects and erases the character border as the preceding process. There is a character recognition device configured to perform erasure (removal) processing.
[0005]
[Problems to be solved by the invention]
However, simply removing a ruled line or a frame line would remove a part of the character that was in contact with the ruled line or the frame line, which caused a reduction in the recognition performance of the character recognition device. Therefore, if dictionary learning is performed during character recognition for an image in contact with such ruled lines or frame lines, dictionary learning is performed for an image with low reliability (that is, recognition performance is low as described above). As a result, a learning dictionary with low reliability is created, and reliable character recognition cannot be performed, so that automatic learning processing cannot be performed.
[0006]
  The present invention has been made to solve the above-described problem, and a character recognition method capable of performing automatic learning processing even when a character is in contact with a ruled line or the likeAnd character recognition deviceThe purpose is to provide.
[0007]
[Means for Solving the Problems]
  To solve the above problem,In the invention according to claim 1,A character recognition method in which character images are cut out character by character from a read image of a document having ruled lines printed in a non-dropout color, and character recognition is performed by detecting ruled lines and the like from the read image of a read document. The first ruled line contact information including the contact information regarding the read image that has been in contact with the removed ruled line is acquired.First ruled line contact information acquisition stepIn addition, the read image from which the ruled lines are removed is cut out one character at a time, and each character image unit cut out based on the first ruled line acquisition informationInAcquire second ruled line contact information consisting of contact information with a ruled line etc.Character extraction stepWhen,A first character image complementing step of complementing a character image that has been in contact with a ruled line or the like based on second ruled line contact information of each character image cut out in the character cutting out step; and the first character image complementing. Character recognition is performed on the character image complemented in the step using a recognition dictionary, and at that time, candidate characters are output based on the feature amount of the character and the second ruled line contact information stored in the memory, A character recognition step for obtaining candidate characters by performing character recognition using a recognition dictionary for a character image that has not been complemented by the character image complement processing unit, ruled line contact information and memory registered in the recognition dictionary On the basis of the second ruled line contact information stored in the character recognition step, the reliability of the candidate character obtained in the character recognition step is determined. The character code of the character is output as a recognition result, and if the reliability is lower than the predetermined value, a rejection determination step for outputting a rejection code, and a correction input for the character image for which the rejection code is output in the reliability determination of the rejection step above. When there is a wait and correction input, if the character image for which the rejection code is output is a character image that is in contact with the ruled line, etc., the character image corresponding to the character code corrected by the correction input is stored in the memory. A complementary image determining step for determining a complementary position and a length of the complementary image based on the ruled line contact information of the character image corresponding to the character code in the second ruled line contact information, and the complementary image step. A second character image complementing step of complementing the character image that has been in contact with the ruled line or the like by the complemented image; A registration determination step of determining whether or not to register the second recognition dictionary borders contact information consisting of ruled line contact information of the character image in association with the serial character image that has been supplemented with a second character image completion step,Character recognition method characterized by comprisingI will provide a.
[0008]
  Also,In the invention according to claim 2, the complementary image determination step includes:About the character image that was in contact with the ruled line etc. among the extracted character image,KeyOf the inputted character code and second ruled line contact information, the ruled line contact information of the character imageComplement image fromIf it is not possible to determine one, multiple complementary images are determinedThe second image complementing step obtains a plurality of supplemented character images by complementing the character image that has been in contact with the ruled line etc. by each of the complementing images determined in the complementing image step,The registration judgment stepA determination is made for each of a plurality of complemented character images acquired in the second image complementation step.Claim 1InCharacter recognition method describedI will provide a.
[0009]
  Also,The invention according to claim 3 is a dictionary used for character recognition in a character recognition apparatus that performs character recognition by cutting out character images one by one from a scanned image of a document having ruled lines printed in a non-dropout color. A rule dictionary that can register ruled line contact information of the supplementary character image, a memory that stores the second ruled line contact information acquired by the character cutout unit, and a ruled line detected from the read image of the read original. The first ruled line removing means for acquiring first ruled line contact information including contact information related to the read image that has been in contact with the removed ruled line and the like, and the ruled line and the like are removed. Cut out the scanned image one character at a time, and based on the first ruled line acquisition information, cut out each character image unit. Character cutout means for obtaining second ruled line contact information consisting of contact information with ruled lines, etc., and contact with the ruled lines etc. based on the second ruled line contact information of each character image stored in the memory among the character images The first character image complement processing means for performing the complement processing of the character image, the character image complemented by the first character image complement processing means, and the characters that were not complemented by the character image complement processing means A feature quantity acquisition unit that performs feature extraction on an image and acquires a feature quantity of each character image, and a character quantity that is acquired by the feature quantity acquisition unit for the character image that is complemented by the character image complement processing unit. And comparing the feature values registered in the recognition dictionary and outputting candidate characters based on the second ruled line contact information stored in the memory, A recognition processing unit that outputs a candidate character by comparing the feature amount acquired by the feature amount acquisition unit and the feature amount registered in the recognition dictionary for a character image that has not been subjected to the complement processing of the character image complement processing unit The reliability of the candidate character output from the recognition processing means is determined based on the ruled line contact information registered in the recognition dictionary and the second ruled line contact information stored in the memory, and the reliability is predetermined. If it is higher than the value, the character code of the candidate character is output as the recognition result, and if the reliability is lower than the predetermined value, the rejection determination means for outputting the rejection code, and the rejection code is output by the reliability determination of the rejection determination means Wait for key input, and if the character image with the rejection code is in contact with the ruled line etc. Complementary image determining means for determining the complementary position and the length of the complementary image based on the ruled line contact information of the character image of the character code and the second ruled line contact information stored in the memory, and the complementary image A second character image complement processing unit that complements the character image that has been in contact with the ruled line by the complement image determined by the determination unit, and a character image supplemented by the second character image interpolation processing unit. There is provided a character recognition apparatus comprising: a registration determination unit that determines whether or not ruled line contact information including second ruled line contact information of the character image is registered in a recognition dictionary.
[0010]
  Also,According to a fourth aspect of the present invention, the complementary image determining means is configured to select the character code input by key input and the second ruled line contact information for the character image that has been in contact with the ruled line or the like of the extracted character image. When one complementary image cannot be determined from the ruled line contact information of the character image, a plurality of complementary images are determined, and the second image complementing means determines the ruled lines etc. according to the respective complementary images determined by the complementary image means. The character image that has been in contact with is acquired to obtain a plurality of supplemented character images, and the registration determination unit performs determination for each of the plurality of supplemented character images acquired by the second image complementing unit. The character recognition device according to claim 3 is provided.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
[Configuration example of character recognition device]
FIG. 1 is a block diagram showing the configuration of an embodiment of a character recognition apparatus to which the character recognition method of the present invention can be applied. FIG. 2 is a block diagram showing the configuration of an embodiment of the recognition processing unit, and FIG. 3 is a block diagram showing an embodiment of the functional configuration of the character recognition unit and the recognized character learning unit.
[0014]
In FIG. 1, the character recognition device 10 includes a document reading unit 1, a recognition processing unit 2, a hard disk (HD) 3, a monitor device 4, and a keyboard 5.
The document reading unit 1 includes an image reader such as an OCR (optical character reading device) or a scanner. The document reading unit 1 reads the document, converts it into image data, and passes it to the recognition processing unit 2.
As shown in FIG. 2, the recognition processing unit 2 includes a character recognition unit 21, a recognized character learning unit 22, a control unit 23, and a recognition dictionary 31, and the character recognition unit 21 uses image data received from the document reading unit 1. A character image is cut out character by character, character recognition processing is performed, and a recognition result (character code or rejection code) is output and displayed on the monitor device 4.
[0015]
Further, the recognized character learning unit 22 reads the character code from the keyboard 5 by the operator when the character image in contact with the ruled line or the like is not recognized by the character recognition unit 21 (that is, when it is rejected) or when a recognition error occurs. When input is performed, character code input (correction by key input and automatic correction) and learning are performed on the rejected images or misrecognized characters, and the recognition dictionary 31 is updated.
[0016]
The hard disk 3 has an area for storing the recognition dictionary 31 and recognition results. Note that the recognition dictionary 31 may be a ROM or a physically separate hard disk. In addition to the recognition processing program, the hard disk 3 can also store various programs necessary for execution control of the character recognition device 10.
[0017]
In FIG. 3, the character recognition unit 21 includes a ruled line removal unit 211, a character cutout unit 212, a ruled line contact information storage unit 213, an image complement processing unit 214, a feature extraction unit 215, an identification unit 216, and a rejection determination unit 217. . The recognized character learning unit 22 includes a complementary prediction processing unit 221, an image complementing unit 222, and a dictionary registration determining unit 223.
[0018]
As will be described later, the character recognition unit 21 performs character recognition using the recognition dictionary 31 based on the character image feature extracted by the feature extraction unit 215 and outputs a recognition candidate character. Of these, the character that has been in contact with the ruled line or the like is subjected to supplementary prediction or the like by the recognized character learning unit 22 based on the ruled line information stored in the ruled line contact information storage unit 213 and the key input character (corrected character). Complement the character image and register it in the recognition dictionary. This makes it possible to recognize even a ruled line contact character that is in contact with a ruled line or the like and lacks a part of the character by removing the ruled line and cannot be recognized by the conventional method.
[0019]
[Example of operation]
FIG. 4 is a flowchart showing an operation example of the character recognition unit 21 and the recognized character learning unit 22 shown in FIG. FIG. 5 is a diagram showing an example of an input document character image, FIG. 6 is a diagram showing an example of a document character image after ruled line removal, and FIGS. 7 and 8 are examples of cut-out character images. It is a figure which shows an example.
[0020]
Step S1: (ruled line removal and ruled line contact information acquisition)
The ruled line removal unit 211 detects ruled lines 51 from the read image 50 (FIG. 5) read from the scanner or the like, removes images such as ruled lines from the read image, and acquires an image 60 as shown in FIG. The ruled line contact information (for example, the contact direction of the character, the number of contact points, the position (coordinates) of the contact part, the thickness of the ruled line, etc.) If1 is acquired.
[0021]
Step S2: (Cut out character image and acquire each ruled line contact information)
The character cutout unit 212 cuts out a character image character by character from the image 50 from which the ruled lines etc. have been removed by the ruled line removal unit 211, and a cutout character image Ci1 (i = 1 to n; n is the number of characters) as shown in FIG. And the ruled line contact information If2 of each image unit of the character image Ci1 is acquired from the ruled line contact information of the image 50.
[0022]
Step S3: (Temporary storage of ruled line contact information for each character image)
The ruled line contact information storage unit 213 includes a temporary storage memory such as a RAM, and stores the ruled line contact information If2 obtained by the character cutout unit 212.
Here, the ruled line contact information If2 will be described using the cutout character image C11 in FIG. 7 and the cutout character image C31 in FIG. 8A as examples.
In the cutout character image C11 shown in FIG. 7, the contact method = left, the number of contacts = 3, the contact position = α (X1, Y1), β (X2, Y2), γ (X3, Y3), the thickness of the ruled line = W is stored. In the cutout character image C31 shown in FIG. 8A, the contact method = down, the number of contacts = 1, the contact position = (X, Y), the thickness of the ruled line = W, the thickness of the entry line = w, The traveling direction to the ruled line = the lower left direction is stored.
[0023]
Step S4: (Image complementation processing)
Next, the image complement processing unit 214 performs image complement processing of the cut-out character image Ci1 based on the ruled line contact information stored in the ruled line contact information storage unit 213 in step S3. If the cut-out character image Ci1 is not in contact with the ruled line, the process proceeds to S5 without performing the image complementing process.
Here, as a method of image complement processing, the method described in Japanese Patent Application No. 11-331163, which was invented by the inventor of the present invention and filed on November 22, 1999 by the applicant of the present application, and other well-known methods. Can be used.
[0024]
Step S5: (feature extraction and feature quantity acquisition)
The feature extraction unit 215 performs feature extraction on the cut-out character image Ci1 that has been subjected to image complementation processing in step S4, and acquires the feature amount of the unknown input character.
[0025]
Step S6: (Output of recognition candidate characters)
The identification unit 216 compares the feature amount obtained in step S5 with the feature amount stored in the recognition dictionary 31 and outputs a recognition candidate character. However, the ruled line contact information stored in the ruled line contact information storage unit 213 If there is information that an unknown input character is in contact with a ruled line or the like, a recognition candidate character is output based on that information.
[0026]
  For example, the cutout character image C11 in FIG. 7 is subjected to image complementation processing by the image complementation processing unit 214 in step S4 and extracted by the feature extraction by the feature extraction unit 215 in step S5. As an example of the case where two recognition candidate characters “3” and “8” are obtained as a result of comparison with the feature amount 31, the unknown input character specified by the cut-out character image C 11 is a ruled line contact information storage unit. Ruled line contact information stored in 213 (stepS33), the identification unit 216 outputs “8” as a recognition candidate character since there is a high possibility that it is not the recognition candidate “3” based on the contact method. As another example, the feature amount stored in the recognition dictionary 31 and ruled line contact information (stepS3In consideration of the ambiguity of the feature amount in the direction from the information on the ruled line contact direction (for example, the direction of travel to the ruled line) in the reference), features not related to ruled line contact are preferentially adopted (for example, FIG. 8). (In the case of an unknown input character specified by the cutout character image C31 in (a)).
[0027]
Step S7: (rejection determination)
Next, rejection determination unit 217 stores the probability (reliability) of the characters output as candidate characters in step S6 in ruled line contact information and ruled line contact information storage unit 213 registered in recognition dictionary 31. The determination is made based on the ruled line contact information of the cut-out character image Ci1, and if the reliability is higher than a predetermined value, the character code is output and the process proceeds to S9. If the reliability is lower than the predetermined value, a rejection code (reject code) is output, and the process proceeds to S8.
[0028]
For example, in the case of the cut-out character image C11 taken as an example in step S6, the recognition character “8” is output as the reliability is higher than a predetermined value as a result of the determination regarding the recognition candidate character “8”.
In addition, when two recognition candidates “2” and “7” are obtained in step S6 for the character image C31, and the identification unit 216 outputs “7” as the recognition candidate character, as a result of the determination, A rejection code is output assuming that the reliability is lower than a predetermined value.
[0029]
Step S8: (rejected character ruled line contact determination)
Ruled line contact information is stored as to whether or not the unknown input character whose rejected character code is output in step S7 is a character that is in contact with a ruled line or the like, that is, whether or not the cut-out character image Ci1 is a character image from which the ruled line or the like is removed. Judgment is made from the ruled line contact information stored in the unit 213, and if the ruled line is touched, the process proceeds to S9, and if not, the process proceeds to S12.
[0030]
Step S9 (complementimageDecision)
The complementary prediction processing unit 221 waits for the character code input (corrected character input) by the operator when the unknown input character for which the rejected character code is output in step S8 is in contact with the ruled line or the like, and is input by the operator Based on the character code for the cut-out character image Ci1 and the ruled line contact information stored in the ruled line contact information storage unit 213imageTo decide. For example, in the example of step S7, a rejection code is issued for the recognized character candidate “7” for the character image C31. Since the character image C31 is in contact with the ruled line, an input instruction message for inputting the character code for the character image C31. When the operator inputs “2” as the character code for the character image C31, the complementary prediction processing unit 221 displays the input character code “2” and the ruled line stored in the ruled line contact information storage unit 213. From the contact information, it is determined that the horizontal bar under “2” has been removed by the ruled line removal unit 211, and a complementing process for complementing the horizontal bar under the character image C31 is determined.
[0031]
Step S10: (Image complementation)
The image complementing unit 222 performs the complementing process determined by the complementing prediction processing unit. When the complement processing determined in the example of step S9 is performed on the character image C31 in FIG. 8A, a character image as shown in FIG. 8B can be obtained.
[0032]
Step S11: (Dictionary determination of dictionary registration)
The dictionary registration determination unit 223 determines whether or not the complementary image obtained in step S10 can be registered in the recognition dictionary. If the determination result is “registration is possible”, the character image and ruled line contact information are stored in the recognition dictionary 31. Register and transition to step S4. If the determination result is “registration denied”, the process proceeds to S12.
In the dictionary registration determination, when the complementary image obtained in step S10 is registered as a recognition dictionary for the character code input by the operator in step S9, the recognition rate of the input character code is adversely affected (for example, the recognition rate is reduced). If it is determined that there is an adverse effect, “registration reject” is set. Here, the method disclosed in Japanese Patent Application Laid-Open No. 11-184976 filed on Dec. 22, 1997 by the applicant of the present patent application can be used as the dictionary registration determination method.
[0033]
Step S12: (End determination)
The control unit 23 returns to S4 until the processing by the character recognition unit 21 or the recognized character learning unit 22 is completed for all the cutout character images Ci1, and performs recognition processing (or learning processing) of the next cutout character image.
[0034]
In addition, although the example which comprised so that the complement prediction process part 221 might output one type of complement character image with respect to one character was shown by step S9 of the flowchart of the said FIG. 4, it is not limited to this.
For example, when a document image “40” as shown in FIG. 9 is read, ruled line removal unit 211 performs ruled line removal as shown in step S1, and character cutout unit 212 cuts out “4” in step S2. A cut-out image C12 as shown in FIG. 10 can be obtained. Here, the process proceeds to step S9, where the complementing method is determined based on the character code input by the operator in the complement prediction processing unit 221 and the ruled line contact information stored in the ruled line contact information storage unit 213. As shown in the example, there may be a case where the complement method cannot be determined as one type.
[0035]
  That is, since the length of the left vertical line of the cutout character image C12 shown in FIG. 10 has been completely removed by the ruled line removal process, it is in an unpredictable state. In such a case, the complementary prediction processing unit 221 performs the complementaryimageThe image complementation unit 222 performs image complementation processing on all of them, and the dictionary registration judgment unit 223 performs dictionary registration judgment for each image that has undergone image complementation.
[0036]
In the example of the cutout character image C12 in FIG. 10, the image complementing unit 222 complements the left vertical bar of the character image. In this case, the length of the bar to be complemented is a rectangular range with respect to the image of the character image C12. Three types of complementary processing are performed: the maximum two-thirds of the rectangular range for the image of the character image C12 and three-thirds of the maximum of the rectangular range for the image of the character image C12. FIG. 11 is a diagram showing a character image complemented in this manner. FIG. 11A shows a supplementary character image when the rectangular range is maximum, and FIG. 11B shows a case where the rectangular range is maximum two-thirds. FIG. 11C shows a supplementary character image when the rectangular range is the maximum three-half. The dictionary registration determination unit 223 performs dictionary registration determination of the above three types of complementary images, and registers the registration-determined image in the recognition dictionary 31.
[0037]
In this way, when it is not possible to determine a single complement method, several complement methods are determined, image complement processing is performed for all of them, and dictionary registration determination is performed for each image complemented image. Even if the person who entered the manuscript does not touch the ruled line but enters similar characters, the character image is close to any of the features registered in the recognition dictionary, and can be recognized by the recognition dictionary.
As mentioned above, although one Example of this invention was described, this invention is not limited to the said Example, It cannot be overemphasized that various deformation | transformation implementation is possible.
[0038]
【The invention's effect】
  As described above, according to the first and third aspects of the present invention, the character image determined to be rejected is in contact with the ruled line or the like, and only the character image lacking a part of the character is removed by removing the ruled line. If the character image that the cut-out character image determines the reliability of the candidate character by character recognition and the rejection code is output by the reliability determination is in contact with the ruled line, etc., further correction Character with complementary image determined based on ruled line contact information of character image corresponding to character code among character image corresponding to character code corrected by input and second ruled line contact information stored in memory Since the image can be complemented and the ruled line contact information of the character image can be registered in the recognition dictionary in association with the complemented character image, The character image that is in contact with the ruled line and the like, and the character image lacking a part of the character by removing the ruled line can be recognized based on the recognition dictionary, causing the ruled line contact that could not be recognized by the conventional method. It is possible to recognize the rejected characters.
[0039]
  Claims2 and 4According to the invention,In the inventions of claims 1 and 3ComplementimageIf it is not possible to decide on one type, it is possible to determine several methods of completion, perform image completion processing for all of them, and determine the dictionary registration for each image that has been image-complemented. However, even if similar characters are entered, a character image close to one of the features registered in the recognition dictionary is obtained, and recognition by the recognition dictionary is possible.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of an embodiment of a character recognition apparatus to which a character recognition method of the present invention can be applied.
FIG. 2 is a block diagram illustrating a configuration of an embodiment of a recognition processing unit.
FIG. 3 is a block diagram illustrating an example of a functional configuration of a character recognition unit and a recognized character learning unit.
FIG. 4 is a flowchart showing an operation example of a character recognition unit and a recognized character learning unit.
FIG. 5 is a diagram illustrating an example of an input original character image.
FIG. 6 is a diagram illustrating an example of a document character image after ruled line removal.
FIG. 7 is a diagram illustrating an example of a cut-out character image.
FIG. 8 is a diagram illustrating an example of a cut-out character image.
FIG. 9 is a diagram illustrating an example of an input original character image.
FIG. 10 is a diagram illustrating an example of a cut-out character image.
FIG. 11 is a diagram illustrating an example of a plurality of complementary images.
[Explanation of symbols]
1 Document reader
2. Recognition processing unit
3 Hard disk (HD)
4 Monitor device
5 Keyboard
10 Character recognition device
21 Character recognition part
22 Recognition character learning part
23 Control unit
31 recognition dictionary
50 Reading image
51 Ruled lines, etc.
211 Ruled line removal unit
212 character cutout
213 Ruled line contact information storage unit
214 Image Completion Processing Unit
215 Feature extraction unit
216 Identification part
217 Rejection determination unit
221 Complementary prediction processing part
222 Image complement
223 dictionary registration determination unit
C11, C31, C12 Cutout character image (cutout character image)

Claims

非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識方法であって、
読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線接触情報取得ステップと、
前記罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、前記第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出しステップと、
上記文字切り出しステップで切り出された各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完を行う第１の文字イメージ補完ステップと、
上記第１の文字イメージ補完ステップで補完された文字イメージに対し認識辞書を用いて文字認識を行い、その際に、該文字の特徴量および前記メモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理部の補完対象でなかった文字イメージに対しては認識辞書を用いて文字認識を行って候補文字を取得する文字認識ステップと、
認識辞書に登録されている罫線接触情報および前記メモリに記憶されている第２の罫線接触情報を基に、上記文字認識ステップで取得された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定ステップと、
上記棄却ステップの信頼度判定で棄却コードが出力された文字イメージについて修正入力を待ち、修正入力があったときは、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合には修正入力により修正された文字コードに対応する文字イメージと前記メモリに記憶されている第２の罫線接触情報のうちの該文字コードに対応する文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定ステップと、
上記補完イメージステップで決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完ステップと、
上記第２の文字イメージ補完ステップで補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を認識辞書に登録するか否かの判定を行う登録判定ステップと、
を備えたことを特徴とする文字認識方法。A character recognition method for character recognition by cutting out a character image character by character from a read image of a document having ruled lines printed in a non-dropout color,
A ruled line or the like is detected from the read image of the read document, and the detected ruled line or the like is removed from the read image, and first ruled line contact information including contact information regarding the read image that has been in contact with the removed ruled line is acquired. A first ruled line contact information acquisition step ,
The read image from which the ruled lines and the like are removed is cut out one character at a time, and second ruled line contact information consisting of contact information with the ruled lines and the like in units of the cut out character images is obtained based on the first ruled line acquisition information. A character segmentation step to be acquired;
A first character image complementing step for complementing the character image that has been in contact with the ruled line or the like based on the second ruled line contact information of each character image cut out in the character extracting step;
Character recognition using the recognition dictionary is performed on the character image supplemented in the first character image complementation step, and at that time, the feature amount of the character and the second ruled line contact information stored in the memory are obtained. A character recognition step for outputting a candidate character based on the character image and performing character recognition using a recognition dictionary for a character image that is not a complement target of the character image complement processing unit, and obtaining a candidate character;
Based on the ruled line contact information registered in the recognition dictionary and the second ruled line contact information stored in the memory, the reliability of the candidate character acquired in the character recognition step is determined, and the reliability is a predetermined value. If it is higher, the character code of the candidate character is output as a recognition result, and if the reliability is lower than a predetermined value, a rejection determination step of outputting a rejection code;
Waiting for correction input for the character image for which the rejection code was output in the reliability judgment of the rejection step above, if there was a correction input, the character image for which the rejection code was output was a character image that was in contact with a ruled line, etc. Is based on the character image corresponding to the character code corrected by the correction input and the ruled line contact information of the character image corresponding to the character code out of the second ruled line contact information stored in the memory. A complementary image determination step for determining the length of the complementary image;
A second character image complementing step for complementing the character image that has been in contact with the ruled line or the like by the complement image determined in the complement image step;
A registration determination step for determining whether or not to register ruled line contact information including the second ruled line contact information of the character image in the recognition dictionary in association with the character image supplemented in the second character image complementing step;
A character recognition method comprising:

前記補完イメージ決定ステップは、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと前記第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、
前記第２のイメージ補完ステップは、上記補完イメージステップで決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、
前記登録判定ステップは、上記第２のイメージ補完ステップで取得した複数の補完された文字イメージ毎に判定を行う、
ことを特徴とする請求項１に記載の文字認識方法。 The complement image determination step, the character image that has been in contact with the ruled line or the like of the extracted character image, from the border contact information of the character image of the character code keyed second ruled line contact information if it is unable to determine the complement image into one determines the plurality of complementary image,
The second image complementing step acquires a plurality of supplemented character images by complementing the character image that has been in contact with the ruled line or the like by each complementing image determined in the complementing image step,
The registration determination step performs determination for each of a plurality of complemented character images acquired in the second image complementation step.
Character recognition method according to claim 1, characterized in that.

非ドロップアウトカラーで印刷された罫線等を有する原稿の読み込みイメージから１文字ずつ文字イメージを切り出して文字認識を行う文字認識装置において、
文字認識に用いる辞書であって、補完文字イメージの罫線接触情報を登録可能な認識辞書と、
上記文字切り出し部で取得した第２の罫線接触情報を記憶するメモリと、
読取った原稿の読み込みイメージから罫線等を検出し、検出された罫線等を該読み込みイメージから取り除くと共に、除去した罫線等に接触していた読み込みイメージに関する接触情報からなる第１の罫線接触情報を取得する第１の罫線除去手段と、
前記罫線等を取り除いた読み込みイメージを一文字ずつ切り出すと共に、前記第１の罫線取得情報を基にして、切り出された各文字イメージ単位での罫線等との接触情報からなる第２の罫線接触情報を取得する文字切り出し手段と、
各文字イメージのうち、上記メモリに記憶した各文字イメージの第２の罫線接触情報を基に罫線等に接触していた文字イメージの補完処理を行う第１の文字イメージ補完処理手段と、
上記第１の文字イメージ補完処理手段で補完処理された文字イメージおよび上記文字イメージ補完処理手段の補完対象でなかった文字イメージに対し特徴抽出を行ってそれぞれの文字イメージの特徴量を取得する特徴量取得手段と、
上記文字イメージ補完処理手段で補完処理された文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較すると共に前記メモリに記憶されている第２の罫線接触情報を基に候補文字を出力し、上記文字イメージ補完処理手段の補完処理の対象でなかった文字イメージについては、上記特徴量取得手段で取得した特徴量と認識辞書に登録されている特徴量を比較して候補文字を出力する認識処理手段と、
認識辞書に登録されている罫線接触情報および前記メモリに記憶されている第２の罫線接触情報を基に、上記認識処理手段から出力された候補文字の信頼度を判定し、信頼度が所定値より高い場合はその候補文字の文字コードを認識結果として出力し、信頼度が所定値より低い場合は棄却コードを出力する棄却判定手段と、
上記棄却判定手段の信頼度判定で棄却コードが出力された文字イメージについて、キー入力を待ち、キー入力あったとき、棄却コードが出力された文字イメージが罫線等と接触していた文字イメージの場合にはキー入力された文字コードと前記メモリに記憶されている第２の罫線接触情報のうちの該文字イメージの罫線接触情報を基に補完位置および補完イメージの長さを決定する補完イメージ決定手段と、
上記補完イメージ決定手段で決定された補完イメージによって上記罫線等と接触していた文字イメージを補完する第２の文字イメージ補完処理手段と、
上記第２の文字イメージ補間処理手段で補完された文字イメージに関連付けて該文字イメージの第２の罫線接触情報からなる罫線接触情報を前記認識辞書に登録するか否かの判定を行う登録判定手段と、
を備えたことを特徴とする文字認識装置。 In a character recognition device that performs character recognition by cutting out a character image character by character from a read image of a document having ruled lines printed in a non-dropout color,
A dictionary used for character recognition, which can register ruled line contact information of supplementary character images,
A memory for storing second ruled line contact information acquired by the character cutout unit;
A ruled line or the like is detected from the read image of the read document, and the detected ruled line or the like is removed from the read image, and first ruled line contact information including contact information regarding the read image that has been in contact with the removed ruled line is acquired. First ruled line removing means for
The read image from which the ruled lines and the like are removed is cut out one character at a time, and second ruled line contact information consisting of contact information with the ruled lines and the like in units of the cut out character images is obtained based on the first ruled line acquisition information. A character cutout means to be acquired;
First character image complement processing means for complementing a character image that has been in contact with a ruled line or the like based on second ruled line contact information of each character image stored in the memory among the character images;
Feature amounts for extracting feature values of character images obtained by performing feature extraction on the character image complemented by the first character image complementing processing unit and the character images not complemented by the character image complementing processing unit Acquisition means;
For the character image complemented by the character image complement processing means, the feature quantity acquired by the feature quantity acquisition means and the feature quantity registered in the recognition dictionary are compared and the second stored in the memory. For character images that are output as candidate characters based on the ruled line contact information and that have not been subjected to the complement processing by the character image complement processing means, the feature quantities acquired by the feature quantity acquisition means and features registered in the recognition dictionary Recognition processing means for comparing quantities and outputting candidate characters;
Based on the ruled line contact information registered in the recognition dictionary and the second ruled line contact information stored in the memory, the reliability of the candidate character output from the recognition processing means is determined, and the reliability is a predetermined value. If it is higher, the character code of the candidate character is output as a recognition result, and if the reliability is lower than a predetermined value, a rejection determination means for outputting a rejection code ,
For character images for which a rejection code is output in the reliability determination of the above rejection determination means, wait for key input, and when there is a key input, the character image with the rejection code output is in contact with a ruled line, etc. A complementary image determining means for determining a complementary position and a length of the complementary image based on the character code input by the key and the ruled line contact information of the character image out of the second ruled line contact information stored in the memory. When,
Second character image complement processing means for complementing the character image that has been in contact with the ruled line or the like by the complement image determined by the complement image determining means;
Registration determination means for determining whether or not ruled line contact information composed of second ruled line contact information of the character image is registered in the recognition dictionary in association with the character image supplemented by the second character image interpolation processing means. When,
A character recognition device comprising:

前記補完イメージ決定手段は、切り出された文字イメージのうち罫線等と接触していた文字イメージについて、キー入力された文字コードと前記第２の罫線接触情報のうちの該文字イメージの罫線接触情報から補完イメージを１つに決定できない場合には複数の補完イメージを決定し、The supplemental image determination unit is configured to determine a character image that has been in contact with a ruled line or the like among the cut out character images from the character code input by key and the ruled line contact information of the character image in the second ruled line contact information. If you cannot determine one complementary image, determine multiple complementary images,
前記第２のイメージ補完手段は、上記補完イメージ手段で決定されたそれぞれの補完イメージによって上記罫線等と接触していた文字イメージを補完して複数の補完された文字イメージを取得し、 The second image complementing means supplements the character image that has been in contact with the ruled line etc. by each complemented image determined by the complementing image means to obtain a plurality of complemented character images,
前記登録判定手段は、上記第２のイメージ補完手段で取得した複数の補完された文字イメージ毎に判定を行う、 The registration determination unit performs determination for each of a plurality of complemented character images acquired by the second image complementing unit.
ことを特徴とする請求項３に記載の文字認識装置。The character recognition device according to claim 3.