JP3794285B2

JP3794285B2 - Optical character reader

Info

Publication number: JP3794285B2
Application number: JP2001176989A
Authority: JP
Inventors: 昌並沖; 孝之西田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2001-06-12
Filing date: 2001-06-12
Publication date: 2006-07-05
Anticipated expiration: 2021-06-12
Also published as: JP2002366900A

Description

【０００１】
【発明の属する技術分野】
本発明は、紙面に記入された文字イメージを光学的に取りこんで、文字認識処理を行う光学式文字読取装置に関し、特に罫線を有する帳票に記入された活字文字の読み取りにおいて、罫線と文字ストロークが接触・交差している場合において誤認識を低減するリジェクト機能を有した光学式文字読取装置に関する。
【０００２】
【従来の技術】
光学式文字読取装置では、一般に、帳票に印刷された罫線をドロップアウトカラーで印刷する場合と非ドロップアウトカラーで印刷する場合がある。前者は容易に実現可能であるが、後者は文字のストロークと罫線が一部重なっている(以下、干渉と呼ぶ)場合に十分な精度で認識できないという問題がある。
【０００３】
この問題を解決しようとする第一の従来技術が特開２０００−３２２５１０号公報に記載されている。この公報の記載によると、まず、罫線を消去した後、画像から残存ノイズを消去する。次に残存ノイズ消去後の画像に、文字部分の垂直分離成分を結合する。罫線消去処理で消去した文字部分の抽出を行う。最後に、抽出した文字部分を、残存ノイズ消去後の画像に対して補完し、罫線消去処理により消去された文字部分を復元する。これにより、罫線に干渉した文字の誤認識を防止できるとされている。
【０００４】
一方、消去された文字ストロークを復元せずに認識を行う第二の従来技術が特開２００１−２２８８９号公報に記載されている。この手法は罫線と接触していない文字用の辞書（通常辞書）と罫線と接触している文字用の辞書（罫線接触文字用辞書）をあらかじめ生成しておき、認識用辞書選択部で、罫線と文字の接触の有無を判定し、罫線と文字の接触がないと判定された場合は通常辞書だけを、接触があると判定された場合は通常辞書と罫線接触文字用辞書を選択して文字認識を行うことにより、罫線に干渉した文字の誤認識を防止できるとされている。
【０００５】
【発明が解決しようとする課題】
上記第一の従来技術を用いて復元を行うと誤った復元を行う場合がある。例えば、図１６に示す１６Ａが１６Ｂのように罫線と干渉（交差）している場合、罫線消去処理を行うと１６Ｃのようになる。このとき、上記の手法を用いて復元処理を行うと１６Ｄのようになる。このように、本来は「６」であるのに、誤った復元を行ったため字形が「０」に類似してしまい、誤認識を引き起こす問題がある。また、図１６に示す１６Ｅが１６Ｆのように罫線と干渉（接触）している場合、罫線消去処理を行うと１６Ｇのようになる。この場合、「７」を「１」に誤認識する可能性があるが、上記の手法はこの問題に対応していない。特に、認識対象が活字文字の場合は、活字を構成する水平方向と垂直方向の文字のストロークが完全に罫線と接触してしまうことが多く、そのような文字への対応が十分でないため、誤認識を引き起こす問題がある。
【０００６】
上記第二の従来技術ではあらかじめ文字ストロークの一部が欠けた文字画像を用いて罫線接触文字用辞書を生成している。しかし、罫線と文字の干渉パターンには接触の他に交差の場合があるが、第二の従来技術の手法はこれに対応していない。交差を考慮に入れると、あらかじめ生成しておかなければならない罫線接触文字用辞書数は増大するため、容易に実現することは難しい。仮に、辞書数を限定して生成しても、この手法の辞書選択方法では、交差している位置を特定することができないため、処理量、処理時間の増大が避けられない。また、前述と同様に図１６に示す１６Ｃを認識対象とした場合、「０」と「６」のどちらの文字ストロークの一部が欠けているのか判断できないため、誤認識が生じる可能性がある。図１６に示す１６Ｅのような接触の場合においても罫線接触文字用辞書の「１」と「７」、および通常辞書の「１」が類似してしまい、必ずしも「１」と「７」の誤認識を回避できるとは限らない。
【０００７】
以上に述べた課題を解決するために、本発明は、罫線を有する帳票に記入された活字文字の読み取りにおいて、罫線と文字ストロークが交差・接触している場合でも正読率を低下することなく誤認識を引き起こす可能性がある場合には適切にリジェクトする機能を有した光学式文字読取装置を提供する。
【０００８】
本発明の目的は、罫線を有する帳票に記入された文字の読み取りにおいて、罫線と文字ストロークが交差・接触している場合においても誤認識を低減した光学式文字読取装置を提供することにある。
【０００９】
【課題を解決するための手段】
本発明による光学式文字読取装置は、帳票画像入力部にて帳票イメージの取り込みを行う。領域抽出部は領域位置情報保存メモリに予め格納されている領域位置情報を参照して帳票イメージから認識対象領域を抽出する。罫線抽出部は前記認識対象領域の中から罫線を抽出し、罫線消去部は抽出された罫線を消去した画像（以降、罫線消去画像と呼ぶ）を作成する。文字位置抽出部は前記罫線消去画像から各文字の位置を抽出する。
【００１０】
干渉判定部は罫線と認識対象文字との位置関係について「交差」、「接触」、「干渉無し」の３種類の状態のうちのいずれかを判定する。上記干渉判定部で干渉無しと判定された認識対象領域は、文字認識部において通常辞書保存メモリに予め格納されている通常辞書を用いて文字認識が行われる。
【００１１】
一方、前記干渉判定部で干渉 (交差、接触) 有りと判定された認識対象領域については、干渉位置抽出部において干渉位置を抽出する。次に干渉辞書生成部において干渉文字用の辞書（干渉辞書）を生成する。そして、文字認識部は上記干渉辞書を用いて文字認識を行う。
【００１２】
最後に、正読判定部は上記文字認識部で得られた認識結果が正読である可能性を判定する。そして、その判定の結果、正読していると判定された場合は、上記認識結果を出力する。一方、誤読している可能性があると判定された場合は、強制リジェクトする。これにより誤認識を低減できる。
【００１３】
【発明の実施の形態】
（本発明の第一の実施の形態）
次に、本発明の第一の実施の形態について図１を参照して説明する。本発明の第一の実施の形態は、イメージスキャナ等の帳票画像入力部１０１と、領域位置情報保存メモリ１１１に格納されている領域位置情報を用いて認識対象領域を抽出する領域抽出部１０２と、罫線位置情報保存メモリ１１１に格納されている罫線位置情報を用いて罫線を抽出する罫線抽出部１０３と、抽出された罫線を消去する罫線消去部１０４と、罫線消去部１０４で得られる罫線消去画像から文字が存在する位置を抽出する文字位置抽出部１０５と、罫線と文字ストロークとの干渉の状態 (交差、接触、干渉なし)を判定する干渉判定部１０６と、前記干渉判定部１０６で干渉 (交差、接触) 有りと判定された場合に干渉位置を抽出する干渉位置抽出部１０７と、前記干渉判定部１０６で干渉有りと判定された場合に文字パターン辞書保存メモリ１１４に格納されている文字パターン画像に対して前記干渉位置抽出部１０７で抽出された干渉位置を含む部分を消去した干渉辞書を生成する干渉辞書生成部１０８と、前記干渉辞書または通常辞書を用いて認識を行う文字認識部１０９と、正読判定辞書保存メモリ１１５に格納されている正読判定辞書を用いて正読の可能性を判定する正読判定部１１０から構成される。
【００１４】
以下に図１における各構成要素の機能について詳細に説明する。
【００１５】
領域位置情報保存メモリ１１１には、認識対象の文字が記入された領域の領域位置情報が格納されている。前記領域位置情報には、図１７に示すように認識対象とする領域の領域番号と左上座標と右下座標が含まれる。
罫線位置情報保存メモリ１１２は、罫線消去部１０４で消去を行う罫線の始点座標と終点座標が格納されている。
【００１６】
文字パターン辞書保存メモリ１１４には、干渉辞書生成部１０８で干渉辞書を生成するときに使用する活字フォントの文字パターン画像がフォント別に格納されている。また、格納されている文字パターン画像ごとに幅と高さの情報も保存している。
【００１７】
通常辞書保存メモリ１１３には、ストロークに欠損部分がない文字パターンから生成された辞書（通常辞書）が格納されている。この通常辞書は文字認識部１０９で使用される。
【００１８】
干渉辞書保存メモリ１１５には、干渉辞書生成部１０８で生成される干渉辞書が格納される。この干渉辞書は、干渉判定部１０６で干渉有りと判定された場合に文字認識部１０９で使用される。
【００１９】
次に、図２のフローチャートも参照し、本発明の光学式文字読取装置の動作を順を追って説明する。
【００２０】
まず、帳票画像入力部１０１は処理対象となる帳票の画像をイメージスキャナを用いて入力する（ステップ２０１）。なお入力される画像は２値画像、多値画像のどちらでもよい。
【００２１】
次に、領域抽出部１０２は領域位置情報保存メモリ１１１に格納されている予め作成しておいた領域位置情報を用いて認識対象領域の抽出を行う（ステップ２０２）。入力された画像に傾きが生じている場合は、後処理を簡単化するために図３のように認識対象領域を回転に対して補正した領域画像(以降、補正認識領域画像)を生成する。また、罫線と文字ストロークが干渉している場合、認識対象領域から文字パターン（ストローク）がはみ出すため、文字パターン辞書保存メモリ１１４に格納している文字高さ分のマージンを上下左右に持たせた補正認識領域画像を生成する。
【００２２】
次に、罫線抽出部１０３は前記補正認識領域画像３３に対して罫線の抽出を行う（ステップ２０３）。この罫線抽出部１０３の動作については後述する。
【００２３】
次に、罫線消去部１０４は抽出された罫線を前記補正認識領域画像３３から消去する（ステップ２０４）。罫線の消去は前記罫線抽出部１０３において検出された罫線範囲内の黒画素を白画素に置き換えることで実現可能である。
【００２４】
次に、文字位置抽出部１０５は前記罫線消去画像に対して文字位置の抽出を行う（ステップ２０５）。文字位置は文字パターンの外接矩形枠の左上座標と右下座標とで表すものとする。以下に文字位置抽出部１０５の動作の一例を述べる。抽出には、例えば、罫線消去画像に対して輪郭線ラベリング手法を利用することができる。この手法を利用すると、図１３に示すように横罫線が文字と干渉している場合は、本来１つのパターンに対して縦方向に１３１Ａ、１３１Ｂの２つのラベルが生成される。また、縦罫線が文字と干渉している場合は、本来１つのパターンに対して横方向に１３３Ａ、１３３Ｂの２つのラベルが生成される。そこで、次に罫線抽出部１０３で求めた標準罫線幅を利用して、標準罫線幅だけ離れているラベル同士を結合する処理を行う。これにより、１３１Ａ、１３１Ｂは１３２のような１つのラベル、すなわち１つの文字パターンになる。同様に１３３Ａ、１３３Ｂは１３４のようになる。
【００２５】
ステップ２０５までの処理が終了すると、次に干渉判定部１０６は罫線と文字ストロークが干渉しているか否かの判定を行う（ステップ２０６）。干渉判定部１０６の動作については後述する。ここで干渉無しと判定された場合は、文字認識部１０９は通常辞書を用いた文字認識を実行し、その認識結果を出力する（ステップ２０７）。
【００２６】
一方、前記干渉判定部１０６で干渉有りと判定された場合は、まず、干渉位置抽出部１０７で罫線と文字ストロークの干渉位置を抽出する（ステップ２０８）。干渉位置抽出部１０７の動作については後述する。
【００２７】
次に干渉辞書生成部１０８は文字パターン辞書保存メモリ１１４に格納している文字パターン画像を用いて干渉辞書を生成する（ステップ２０９）。干渉辞書生成部１０８の動作については後述する。
【００２８】
次に、前記文字認識部１０９は干渉辞書を用いた文字認識を実行する（ステップ２１０）。次に正読判定部１１０は、前記文字認識部１０９で得られた認識結果が正読である可能性を正読判定辞書保存メモリ１１６に格納されている正読判定辞書を参照して判定する（ステップ２１１）。なお、正読判定辞書の詳細については後述する。また、干渉判定部１０６で干渉有りと判定されたときのみ前記正読判定部１１０を実行する。正読判定辞書を参照した結果、正読の可能性が１００％の場合は、そのときの認識結果を出力する（ステップ２１２）。一方、正読の可能性が１００％でない場合は、強制リジェクトする（ステップ２１３）。このようにすれば、欠損によって区別がつかなくなってしまった文字パターンを無理に認識して誤った結果を出力することが避けられる。
【００２９】
１つの認識対象領域に対する処理が終了すると、ステップ２０２に戻り、次の認識対象領域に対する処理を行う。すべての認識対象領域に対して処理が終わると、入力画像に対する処理が完了する。
【００３０】
以上が本発明の第一の実施の形態の全体の動作である。次に、各部の動作について詳細に説明する。
【００３１】
まず、罫線抽出部１０３の動作の一例を図４を用いて説明する。罫線抽出部１０３は前記補正認識領域画像に対して罫線位置抽出を行う。まず、罫線位置情報保存メモリ１１２に格納されている罫線位置情報を用いて罫線が存在する矩形領域(罫線存在領域)を求める（ステップ４１）。次に、前記罫線存在領域に対して垂直方向に探索し、黒ランの長さに関するヒストグラムを生成する。このヒストグラムの最頻値を標準罫線幅とする（ステップ４２）。次に、罫線存在領域内の黒画素部分のうち標準罫線幅に等しい黒ラン長の黒画素部分を横罫線の場合は水平方向、縦罫線の場合は垂直方向に投影する（ステップ４３）。そして、投影数のピークを算出し、正確な罫線存在領域を抽出する（ステップ４４）。すなわち、図６に示すような罫線と文字の境界線６１、境界線６２を求める。
【００３２】
次に干渉判定部１０６の動作について詳細に説明する。干渉判定部１０６は、注目している認識対象領域内で罫線と文字ストロークの関係が「交差」、「接触」、「干渉なし」のどれにあてはまるか判定する。図５に示すように罫線と文字ストロークの関係には、ａ）罫線と文字が交差する場合は、罫線抽出部１０３で求めた２本の境界線に隣接した黒画素が存在する、ｂ）罫線と文字が接触している場合は、どちらか一方の境界線に隣接した黒画素が存在する、ｃ）罫線と文字が干渉しない場合は、どちらの境界線にも隣接する黒画素が存在しないという条件が存在する。これら３つの条件を用いて「交差」、「接触」、「干渉なし」を判定する。ここで、文字と罫線の重なった状態を交差と接触とにわけて判定する意図について説明する。罫線消去画像から「接触」文字を切出すと、接触部分が消去されているために切出された画像は実際の文字の高さよりも低くなる。「接触」においては、この欠落した高さ情報を干渉位置抽出部１０７で補正する必要があるために接触と交差にわけて判定する。図８に干渉判定部１０６の詳細なフローチャートを示す。まず、文字パターン上端から下方へ探索して１つ目の境界線５１の上側に隣接する黒画素を検出する（ステップ８１）。次に、２つ目の境界線５２の下側に隣接する黒画素を検出する（ステップ８２）。その結果、２つの境界線に対して黒画素が検出されない場合は「干渉無し」と判断して終了する。黒画素が存在した場合は、交差と接触の判定を行う（ステップ８３）。２つの境界線で黒画素が検出された場合は「交差」と判定し、いずれか１つの境界線でしか検出されなかった場合は「接触」と判定する（ステップ８６）。
【００３３】
次に干渉位置抽出部１０７の動作について詳細に説明する。干渉位置抽出部１０７は、罫線と文字ストロークが干渉している位置の抽出を行う。この干渉位置抽出には、前記罫線抽出部１０３で得られる罫線の位置情報と前記文字位置抽出部１０５で得られる文字の位置情報を利用する。図７に示す罫線と文字の境界線６１、境界線６２が前記罫線抽出部１０３で得られる罫線の上端、下端であり、点線で囲まれた領域が前記文字位置抽出部１０５で得られる文字の外接矩形枠である。図７を例に交差している場合の干渉位置抽出部１０７の動作を説明する。補正認識領域画像の左上を原点Ａ（０、０）としたとき、罫線と文字の境界線６１のＹ座標をＬ１、境界線６２のＹ座標をＬ２とする。また文字位置７１の上側のＹ座標をＣ１、下側のＹ座標をＣ２とする。このとき、図７のＢ（文字の外接矩形の左上角）を原点としたときの罫線と文字ストロークが干渉している部分の最小座標値Ｋ１、最大座標値Ｋ２は以下のように表される。
Ｋ１＝Ｌ１−Ｃ１
Ｋ２＝Ｌ２−Ｃ１
接触している場合は、前記罫線抽出部１０３で得られる罫線の位置情報と前記文字位置抽出部１０５で得られる文字の位置情報から接触している部分が上端、下端（縦罫線の場合は、左端、右端）のどちらであるかを求めて干渉位置を抽出する。
【００３４】
次に干渉辞書生成部１０８の動作について説明する。干渉辞書生成部１０８は、文字パターン辞書保存メモリ１１４に格納されている文字パターン画像から前記干渉位置抽出部１０７で求めた干渉位置を含む領域を消去した画像を生成する。図９に示すように９１が罫線除去画像から抽出された文字パターンであり、９２は文字パターン辞書保存メモリ１１４に格納されている文字パターン画像すべてに対して前記干渉位置抽出部１０７で求めた干渉位置を消去した画像である。これらを干渉辞書として使用する。
【００３５】
次に正読判定部１１０で使用する正読判定辞書の詳細について説明する。正読判定辞書は罫線消去によって文字ストロークの一部が欠損することにより字形が類似してしまい、区別がつきにくくなる文字カテゴリの組合せの情報を保持している。この情報は予め実験により定めておく。例えば、図１１に示すように文字パターン「６」がＬ１、Ｌ２の位置で消去された場合、「０」、「３」、「６」、「８」、「９」の５種類の文字と混同する可能性があるという情報である。このときの５種類の文字を混同対象文字と呼ぶことにする。この情報をあらかじめ図１２に示すような形式で保持しているものとする。図１２は文字パターン「６」の正読判定辞書を表している。図１２の横方向はＬ１のＹ座標を示しており、縦方向はＬ２のＹ座標を示している（但し、Ｌ１≦Ｌ２とする）。図１１の例を基に図１２を参照すると、Ｌ１とＬ２の交わる部分１２０２に２０という値が格納されている。これは、（１／（混同対象文字数））×１００という計算式から求めた値である（この場合、（１／５）×１００＝２０となる）。これは、「６」である可能性が２０％であることを示している。なお、図示しないがこのときの混同対象文字（「０」、「３」、「６」、「８」、「９」）も１２０２に格納されているものとする。この正読判定辞書は、各文字パターンに対してある位置(Ｌ１〜Ｌ２)を擬似的に消去した画像を作成し、パターンマッチング等により確信度を測定し、上位候補の確信度にあまり差異が現れない組合せを混同する組合せとして登録することにより、あらかじめ定めておく。なお、この正読判定辞書は認識対象としているすべての文字に対して作成されて保持している。
【００３６】
これにより、誤認識を低減するという効果が得られ、認識精度を向上することができる。
【００３７】
（本発明の第二の実施の形態）
図１４は本発明の第二の実施の形態における光学式文字読取装置の構成を示すブロック図である。図１５はこの光学式文字読取装置における動作を示すフローチャートである。前記第一の実施の形態との装置構成における相違点は、図１４において、欠損文字復元部１１７が追加されている点である。欠損文字復元部１１７は罫線消去画像から切出された、ストロークが欠損している文字（欠損文字）に対して復元処理を行う。
【００３８】
次に、本発明の第二の実施の形態の動作を説明する。動作はステップ２０１〜２１１まで第一の実施の形態と同じである。以下では動作の相違点についてのみ説明する。図１５において、ステップ２１４とステップ２１５とステップ２１６が追加されたステップである。
【００３９】
まず、干渉パターンが交差か接触かを判定する（ステップ２１４）。接触の場合は文字ストロークに欠損が残ってしまう場合や復元が不完全な場合などがあるため、強制リジェクトする。交差の場合は欠損文字復元部１１７で欠損文字に対して文字ストロークの復元を行い、復元文字画像を生成する。復元方法は、例えば図１０に示すように罫線抽出部１０３で得られた罫線と文字の境界線５１の上端と境界線５２の下端に罫線方向に対して垂直な方向にそれぞれ黒画素が存在する場合、結合する処理を利用することができる。次に、文字認識部１０９は復元文字画像に対して通常辞書を用いて文字認識を行う（ステップ２１５）。通常辞書を用いて文字認識を行った時の認識結果を干渉辞書を用いて文字認識を行った時の結果と比較し（ステップ２１６）、それらが同じであれば認識結果を出力する（ステップ２１２）。それぞれの認識結果が異なっていれば強制リジェクトとする（ステップ２１３）。
【００４０】
以上に述べたように、第一の実施の形態では正読可能性が１００％でないため強制リジェクトされていた文字パターンでも、第二の実施の形態では簡単な復元処理を行うことにより、誤認識を回避しつつ、認識を行うことが可能となる。
【００４１】
【発明の効果】
以上説明したように、本発明には以下の効果がある。
【００４２】
従来の光学式文字読取装置では、罫線と文字ストロークが交差、または接触する場合に十分な精度で読み取ることができなかったが、本発明によれば、罫線と文字ストロークが干渉している文字（入力）パターンに対して、干渉文字用の辞書を内部で生成し、その辞書を用いて文字認識を行うことにより、通常辞書を用いた場合に比べて認識精度を向上させることができるという効果がある。その理由は、干渉文字用の辞書は、文字認識を行う際に文字ストロークの欠損部分が影響しないように、予め入力パターンと同じ干渉位置を消去した画像を用いているためである。
【００４３】
更に、請求項６により、図１６のように欠損によって区別がつかなくなってしまった文字パターンに対して無理に認識して誤った結果を出力することが避けられることができるという効果がある。その理由は、あらかじめ罫線と文字ストロークの干渉によって生じる文字の混同パターンの情報を正読判定辞書として生成し、その情報を内部で参照することにより、認識結果に対する正読判定を行うためである。
【００４４】
更に、請求項２、請求項５により、罫線と文字ストロークが干渉していない文字については従来の認識精度を維持できるという効果がある。その理由は、干渉の有無を判定し、通常辞書と干渉辞書を使い分ける機能を備えているためである。
【図面の簡単な説明】
【図１】本発明の第一の実施の形態による光学式文字読取装置のブロック図である。
【図２】第一の実施の形態の処理手順を示すフローチャートである。
【図３】領域抽出部で生成される補正認識領域画像を例示する図である。
【図４】罫線抽出部の処理手順を示すフローチャートである。
【図５】罫線と文字ストロークの干渉判定の説明図である。
【図６】罫線抽出部で抽出される罫線と文字ストロークの境界線を例示する図である。
【図７】干渉位置抽出部で交差の場合の干渉位置の抽出方法を例示した図である。
【図８】干渉位置抽出部の処理手順を示すフローチャートである。。
【図９】干渉辞書生成部で生成される干渉辞書を例示した図である。
【図１０】欠損文字復元部での復元処理の方法を例示した図である。
【図１１】正読判定辞書に格納されている混同する文字を例示した図である。
【図１２】正読判定辞書の書式を例示した図である。
【図１３】文字位置抽出部で抽出される文字パターンの外接矩形枠を例示した図である。
【図１４】本発明の第二の実施の形態による光学式文字読取装置のブロック図である。
【図１５】第二の実施の形態の処理手順を示すフローチャートである。
【図１６】誤った復元を例示した図である。
【図１７】領域位置情報の書式を例示した図である。
【符号の説明】
１０１帳票画像入力部
１０２領域抽出部
１０３罫線抽出部
１０４罫線消去部
１０５文字位置抽出部
１０６干渉判定部
１０７干渉位置抽出部
１０８干渉辞書生成部
１０９文字認識部
１１０正読判定部
１１１領域位置情報保存メモリ
１１２罫線位置情報保存メモリ
１１３通常辞書保存メモリ
１１４文字パターン辞書保存メモリ
１１５干渉辞書保存メモリ
１１６正読判定辞書保存メモリ
１１７欠損文字復元部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an optical character reader that optically captures a character image written on a paper and performs character recognition processing, and in particular, when reading a type character written on a form having a ruled line, the ruled line and the character stroke are The present invention relates to an optical character reader having a reject function for reducing erroneous recognition when in contact or crossing.
[0002]
[Prior art]
In an optical character reader, generally, a ruled line printed on a form may be printed in a dropout color or a non-dropout color. The former can be easily realized, but the latter has a problem that it cannot be recognized with sufficient accuracy when the strokes of characters and ruled lines partially overlap (hereinafter referred to as interference).
[0003]
A first conventional technique for solving this problem is described in Japanese Patent Laid-Open No. 2000-322510. According to the description of this publication, first, after removing ruled lines, residual noise is erased from the image. Next, the vertical separation component of the character portion is combined with the image after the residual noise is eliminated. The character portion erased by the ruled line erasure process is extracted. Finally, the extracted character portion is complemented to the image after the remaining noise is erased, and the character portion erased by the ruled line erase processing is restored. Thereby, it is supposed that the misrecognition of the character which interfered with the ruled line can be prevented.
[0004]
On the other hand, Japanese Patent Laid-Open No. 2001-22889 discloses a second conventional technique that recognizes an erased character stroke without restoring it. In this method, a dictionary for characters not in contact with the ruled line (normal dictionary) and a dictionary for characters in contact with the ruled line (ruled line contact character dictionary) are generated in advance, and the recognition dictionary selection unit selects the ruled line. If it is determined that there is no contact between the ruled line and the character, only the normal dictionary is selected. If it is determined that there is a contact, the normal dictionary and the ruled line contact character dictionary are selected to select the character. By performing recognition, it is said that erroneous recognition of characters that interfere with ruled lines can be prevented.
[0005]
[Problems to be solved by the invention]
If restoration is performed using the first conventional technique, there is a case where erroneous restoration is performed. For example, when 16A shown in FIG. 16 interferes (intersects) with a ruled line as indicated by 16B, the ruled line erasing process results in 16C. At this time, when restoration processing is performed using the above-described method, 16D is obtained. Thus, although it is originally “6”, the character shape is similar to “0” because of erroneous restoration, and there is a problem of causing erroneous recognition. Further, when 16E shown in FIG. 16 interferes (contacts) with the ruled line as indicated by 16F, the ruled line erasing process results in 16G. In this case, “7” may be erroneously recognized as “1”, but the above method does not deal with this problem. In particular, when the recognition target is a printed character, the horizontal and vertical character strokes that make up the printed character often come into full contact with the ruled line, and the correspondence to such characters is not sufficient. There is a problem that causes recognition.
[0006]
In the second prior art, a ruled line contact character dictionary is generated using a character image in which a part of a character stroke is missing in advance. However, the interference pattern between the ruled line and the character may be crossed in addition to the contact, but the second prior art method does not cope with this. When the intersection is taken into account, the number of ruled line contact character dictionaries that must be generated in advance increases, so that it is difficult to easily realize it. Even if the number of dictionaries is limited, the crossing position cannot be specified by the dictionary selection method of this method, so that an increase in processing amount and processing time cannot be avoided. Similarly to the case described above, when 16C shown in FIG. 16 is set as a recognition target, it is impossible to determine which part of the character stroke “0” or “6” is missing, and thus erroneous recognition may occur. . In the case of contact such as 16E shown in FIG. 16, “1” and “7” in the ruled line contact character dictionary and “1” in the normal dictionary are similar, and an error of “1” and “7” is not necessarily obtained. Recognition cannot always be avoided.
[0007]
In order to solve the above-described problems, the present invention does not decrease the correct reading rate even when the ruled line and the character stroke intersect or contact in the reading of the printed character written in the form having the ruled line. Provided is an optical character reader having a function of appropriately rejecting when there is a possibility of causing erroneous recognition.
[0008]
An object of the present invention is to provide an optical character reader that reduces erroneous recognition even when a ruled line and a character stroke intersect and contact each other when reading characters written on a form having ruled lines.
[0009]
[Means for Solving the Problems]
The optical character reader according to the present invention captures a form image in a form image input unit. The area extraction unit extracts a recognition target area from the form image with reference to area position information stored in advance in the area position information storage memory. The ruled line extraction unit extracts a ruled line from the recognition target area, and the ruled line deletion unit creates an image from which the extracted ruled line is deleted (hereinafter referred to as a ruled line deletion image). The character position extraction unit extracts the position of each character from the ruled line erased image.
[0010]
The interference determination unit determines one of three types of states of “intersection”, “contact”, and “no interference” with respect to the positional relationship between the ruled line and the recognition target character. The recognition target area determined to have no interference by the interference determination unit is subjected to character recognition using a normal dictionary stored in advance in a normal dictionary storage memory in the character recognition unit.
[0011]
On the other hand, for the recognition target area determined as having interference (intersection, contact) by the interference determination unit, the interference position extraction unit extracts the interference position. Next, a dictionary for interference characters (interference dictionary) is generated in the interference dictionary generation unit. Then, the character recognition unit performs character recognition using the interference dictionary.
[0012]
Finally, the correct reading determination unit determines the possibility that the recognition result obtained by the character recognition unit is correct reading. If it is determined that the reading is correct, the recognition result is output. On the other hand, if it is determined that there is a possibility of misreading, it is forcibly rejected. Thereby, misrecognition can be reduced.
[0013]
DETAILED DESCRIPTION OF THE INVENTION
(First embodiment of the present invention)
Next, a first embodiment of the present invention will be described with reference to FIG. A first embodiment of the present invention includes a form image input unit 101 such as an image scanner, a region extraction unit 102 that extracts a recognition target region using region position information stored in a region position information storage memory 111, and The ruled line extraction unit 103 that extracts ruled lines using the ruled line position information stored in the ruled line position information storage memory 111, the ruled line deletion unit 104 that deletes the extracted ruled lines, and the ruled line deletion obtained by the ruled line deletion unit 104 A character position extraction unit 105 that extracts a position where a character exists from an image, an interference determination unit 106 that determines a state of interference between a ruled line and a character stroke (intersection, contact, no interference), and interference by the interference determination unit 106 (Intersection, contact) An interference position extraction unit 107 that extracts an interference position when it is determined to be present, and a character pattern dictionary when the interference determination unit 106 determines that there is interference. An interference dictionary generating unit that generates an interference dictionary in which a portion including the interference position extracted by the interference position extracting unit 107 is deleted from the character pattern image stored in the storage memory 114; and the interference dictionary or the normal dictionary A character recognition unit 109 that performs recognition using the correct reading determination dictionary 110 and a correct reading determination unit 110 that determines the possibility of correct reading using the correct reading determination dictionary stored in the correct reading determination dictionary storage memory 115.
[0014]
The function of each component in FIG. 1 will be described in detail below.
[0015]
The area position information storage memory 111 stores area position information of an area in which characters to be recognized are entered. The area position information includes the area number, upper left coordinates, and lower right coordinates of the area to be recognized as shown in FIG.
The ruled line position information storage memory 112 stores the start point coordinates and end point coordinates of the ruled lines to be erased by the ruled line erasing unit 104.
[0016]
In the character pattern dictionary storage memory 114, character pattern images of type fonts used when the interference dictionary generation unit 108 generates an interference dictionary are stored for each font. Also, the width and height information is stored for each stored character pattern image.
[0017]
The normal dictionary storage memory 113 stores a dictionary (normal dictionary) generated from a character pattern having no missing part in the stroke. This normal dictionary is used by the character recognition unit 109.
[0018]
The interference dictionary storage memory 115 stores the interference dictionary generated by the interference dictionary generation unit 108. The interference dictionary is used by the character recognition unit 109 when the interference determination unit 106 determines that there is interference.
[0019]
Next, the operation of the optical character reader of the present invention will be described in order with reference to the flowchart of FIG.
[0020]
First, the form image input unit 101 inputs an image of a form to be processed using an image scanner (step 201). The input image may be either a binary image or a multi-value image.
[0021]
Next, the region extraction unit 102 extracts a recognition target region using the region position information created in advance stored in the region position information storage memory 111 (step 202). If the input image is tilted, a region image (hereinafter referred to as a corrected recognition region image) in which the recognition target region is corrected with respect to rotation is generated as shown in FIG. 3 in order to simplify post-processing. In addition, when the ruled line and the character stroke interfere with each other, the character pattern (stroke) protrudes from the recognition target area, so margins for the character height stored in the character pattern dictionary storage memory 114 are provided on the top, bottom, left and right. A correction recognition area image is generated.
[0022]
Next, the ruled line extraction unit 103 extracts ruled lines from the correction recognition area image 33 (step 203). The operation of the ruled line extraction unit 103 will be described later.
[0023]
Next, the ruled line erasure unit 104 erases the extracted ruled lines from the correction recognition area image 33 (step 204). The erasing of ruled lines can be realized by replacing the black pixels in the ruled line range detected by the ruled line extraction unit 103 with white pixels.
[0024]
Next, the character position extraction unit 105 extracts a character position from the ruled line erased image (step 205). The character position is represented by the upper left coordinates and lower right coordinates of the circumscribed rectangular frame of the character pattern. An example of the operation of the character position extraction unit 105 will be described below. For the extraction, for example, a contour line labeling method can be used for the ruled line erased image. When this method is used, when the horizontal ruled line interferes with characters as shown in FIG. 13, two labels 131A and 131B are generated in the vertical direction for one pattern. When the vertical ruled line interferes with the character, two labels 133A and 133B are generated in the horizontal direction for one pattern. Therefore, next, a process of combining labels separated by the standard ruled line width is performed using the standard ruled line width obtained by the ruled line extraction unit 103. Thereby, 131A and 131B become one label like 132, that is, one character pattern. Similarly, 133A and 133B become like 134.
[0025]
When the processing up to step 205 is completed, the interference determination unit 106 next determines whether or not the ruled line and the character stroke interfere (step 206). The operation of the interference determination unit 106 will be described later. If it is determined that there is no interference, the character recognition unit 109 performs character recognition using a normal dictionary and outputs the recognition result (step 207).
[0026]
On the other hand, if the interference determination unit 106 determines that there is interference, the interference position extraction unit 107 first extracts the interference position between the ruled line and the character stroke (step 208). The operation of the interference position extraction unit 107 will be described later.
[0027]
Next, the interference dictionary generation unit 108 generates an interference dictionary using the character pattern image stored in the character pattern dictionary storage memory 114 (step 209). The operation of the interference dictionary generation unit 108 will be described later.
[0028]
Next, the character recognition unit 109 performs character recognition using an interference dictionary (step 210). Next, the correct reading determination unit 110 determines the possibility that the recognition result obtained by the character recognition unit 109 is correct reading with reference to the correct reading determination dictionary stored in the correct reading determination dictionary storage memory 116. (Step 211). Details of the correct reading determination dictionary will be described later. Further, the correct reading determination unit 110 is executed only when the interference determination unit 106 determines that there is interference. As a result of referring to the correct reading determination dictionary, if the possibility of correct reading is 100%, the recognition result at that time is output (step 212). On the other hand, if the possibility of correct reading is not 100%, forced rejection is performed (step 213). In this way, it is possible to avoid forcibly recognizing a character pattern that has become indistinguishable due to a loss and outputting an incorrect result.
[0029]
When the process for one recognition target area is completed, the process returns to step 202 to perform the process for the next recognition target area. When the processing is completed for all the recognition target areas, the processing for the input image is completed.
[0030]
The above is the overall operation of the first embodiment of the present invention. Next, the operation of each unit will be described in detail.
[0031]
First, an example of the operation of the ruled line extraction unit 103 will be described with reference to FIG. The ruled line extraction unit 103 performs ruled line position extraction on the correction recognition area image. First, a rectangular area (ruled line existence area) where a ruled line exists is obtained using the ruled line position information stored in the ruled line position information storage memory 112 (step 41). Next, a search is performed in the vertical direction with respect to the ruled line existence region, and a histogram relating to the length of the black run is generated. The mode value of this histogram is set as the standard ruled line width (step 42). Next, among the black pixel portions in the ruled line existence region, the black pixel portion having the black run length equal to the standard ruled line width is projected in the horizontal direction for horizontal ruled lines and in the vertical direction for vertical ruled lines (step 43). Then, the peak of the number of projections is calculated, and an accurate ruled line existence region is extracted (step 44). That is, ruled lines and character boundary lines 61 and boundary lines 62 as shown in FIG. 6 are obtained.
[0032]
Next, the operation of the interference determination unit 106 will be described in detail. The interference determination unit 106 determines whether the relationship between the ruled line and the character stroke is “intersection”, “contact”, or “no interference” in the target recognition target region. As shown in FIG. 5, the relationship between the ruled line and the character stroke is as follows: a) When the ruled line and the character intersect, there are black pixels adjacent to the two boundary lines obtained by the ruled line extraction unit 103; b) the ruled line C) If there is a black pixel adjacent to one of the border lines, c) If there is no interference between the ruled line and the character, there is no black pixel adjacent to either boundary line. A condition exists. Using these three conditions, “intersection”, “contact”, and “no interference” are determined. Here, the intention of determining the state in which the character and the ruled line overlap each other by intersecting and contacting will be described. When the “contact” character is cut out from the ruled line erased image, the cut out image becomes lower than the actual character height because the contact portion is erased. In “contact”, since the missing height information needs to be corrected by the interference position extraction unit 107, determination is made separately from contact and intersection. FIG. 8 shows a detailed flowchart of the interference determination unit 106. First, a search is performed downward from the upper end of the character pattern to detect a black pixel adjacent to the upper side of the first boundary line 51 (step 81). Next, a black pixel adjacent to the lower side of the second boundary line 52 is detected (step 82). As a result, if no black pixel is detected for the two boundary lines, it is determined that there is no interference and the process ends. If there is a black pixel, the intersection and contact are determined (step 83). If a black pixel is detected at two boundary lines, it is determined as “intersection”, and if it is detected only at one of the boundary lines, it is determined as “contact” (step 86).
[0033]
Next, the operation of the interference position extraction unit 107 will be described in detail. The interference position extraction unit 107 extracts a position where the ruled line and the character stroke interfere with each other. For this interference position extraction, the ruled line position information obtained by the ruled line extraction unit 103 and the character position information obtained by the character position extraction unit 105 are used. The ruled line and character boundary lines 61 and 62 shown in FIG. 7 are the upper and lower ends of the ruled line obtained by the ruled line extracting unit 103, and the area surrounded by the dotted line is the character position obtained by the character position extracting unit 105. A circumscribed rectangular frame. The operation of the interference position extraction unit 107 when intersecting will be described by taking FIG. 7 as an example. When the upper left of the correction recognition area image is the origin A (0, 0), the Y coordinate of the border line 61 between the ruled line and the character is L1, and the Y coordinate of the boundary line 62 is L2. Further, the upper Y coordinate of the character position 71 is C1, and the lower Y coordinate is C2. At this time, the minimum coordinate value K1 and the maximum coordinate value K2 of the portion where the ruled line and the character stroke interfere with each other when B (the upper left corner of the circumscribed rectangle of the character) in FIG. 7 is the origin are expressed as follows. .
K1 = L1-C1
K2 = L2-C1
In the case of contact, the part in contact from the ruled line position information obtained by the ruled line extraction unit 103 and the character position information obtained by the character position extraction unit 105 has an upper end and a lower end (in the case of a vertical ruled line, The interference position is extracted by determining which is the left end or the right end).
[0034]
Next, the operation of the interference dictionary generation unit 108 will be described. The interference dictionary generation unit 108 generates an image in which the region including the interference position obtained by the interference position extraction unit 107 is deleted from the character pattern image stored in the character pattern dictionary storage memory 114. As shown in FIG. 9, 91 is a character pattern extracted from the ruled line removal image, and 92 is the interference obtained by the interference position extraction unit 107 for all the character pattern images stored in the character pattern dictionary storage memory 114. It is an image with the position erased. These are used as interference dictionaries.
[0035]
Next, details of the correct reading determination dictionary used in the correct reading determination unit 110 will be described. The correct reading determination dictionary holds information on combinations of character categories in which character shapes are similar due to deletion of a part of character strokes due to ruled line deletion, and are difficult to distinguish. This information is determined in advance by experiments. For example, as shown in FIG. 11, when the character pattern “6” is erased at positions L1 and L2, five types of characters “0”, “3”, “6”, “8”, and “9” It is information that there is a possibility of confusion. The five types of characters at this time are referred to as confusion target characters. Assume that this information is held in advance in the format shown in FIG. FIG. 12 shows a correct reading determination dictionary of the character pattern “6”. The horizontal direction in FIG. 12 indicates the Y coordinate of L1, and the vertical direction indicates the Y coordinate of L2 (provided that L1 ≦ L2). Referring to FIG. 12 based on the example of FIG. 11, a value of 20 is stored in a portion 1202 where L1 and L2 intersect. This is a value obtained from a calculation formula of (1 / (number of characters to be confused)) × 100 (in this case, (1/5) × 100 = 20). This indicates that the possibility of “6” is 20%. Although not shown, it is assumed that the confusion target characters (“0”, “3”, “6”, “8”, “9”) at this time are also stored in 1202. This correct reading determination dictionary creates an image in which a certain position (L1 to L2) is pseudo-erased for each character pattern, measures the certainty factor by pattern matching or the like, and there is not much difference in the certainty factors of the top candidates. A combination that does not appear is registered in advance as a confusing combination. This correct reading determination dictionary is created and held for all characters to be recognized.
[0036]
Thereby, the effect of reducing misrecognition is acquired, and recognition accuracy can be improved.
[0037]
(Second embodiment of the present invention)
FIG. 14 is a block diagram showing a configuration of an optical character reader according to the second embodiment of the present invention. FIG. 15 is a flowchart showing the operation of this optical character reader. The difference in the apparatus configuration from the first embodiment is that a missing character restoration unit 117 is added in FIG. The missing character restoration unit 117 performs restoration processing on a character (missing character) that is cut out from the ruled line erased image and has a missing stroke.
[0038]
Next, the operation of the second embodiment of the present invention will be described. The operation is the same as that in the first embodiment from steps 201 to 211. Only the difference in operation will be described below. In FIG. 15, step 214, step 215, and step 216 are added.
[0039]
First, it is determined whether the interference pattern is an intersection or a contact (step 214). In case of contact, the character stroke may be left missing or the restoration may be incomplete. In the case of an intersection, the missing character restoration unit 117 restores the character stroke for the missing character to generate a restored character image. For example, as shown in FIG. 10, there are black pixels in the direction perpendicular to the ruled line direction at the upper end of the ruled line and character boundary line 51 and at the lower end of the boundary line 52, as shown in FIG. In this case, a process for combining can be used. Next, the character recognition unit 109 performs character recognition on the restored character image using a normal dictionary (step 215). The recognition result when the character recognition is performed using the normal dictionary is compared with the result when the character recognition is performed using the interference dictionary (step 216). If they are the same, the recognition result is output (step 212). ). If the respective recognition results are different, a forced rejection is made (step 213).
[0040]
As described above, even if the character pattern is forcibly rejected because the correct reading possibility is not 100% in the first embodiment, erroneous recognition is performed by performing a simple restoration process in the second embodiment. It is possible to perform recognition while avoiding the above.
[0041]
【The invention's effect】
As described above, the present invention has the following effects.
[0042]
In the conventional optical character reader, the ruled line and the character stroke cannot be read with sufficient accuracy when the ruled line and the character stroke intersect or contact each other. However, according to the present invention, a character ( By generating a dictionary for interfering characters with respect to (input) patterns and performing character recognition using the dictionary, the recognition accuracy can be improved compared to the case of using a normal dictionary. is there. The reason is that the interference character dictionary uses an image in which the same interference position as that of the input pattern is deleted in advance so that the missing part of the character stroke is not affected when character recognition is performed.
[0043]
Further, according to the sixth aspect, there is an effect that it is possible to avoid forcibly recognizing a character pattern which cannot be distinguished due to a defect as shown in FIG. 16 and outputting an erroneous result. The reason for this is that the information of the character confusion pattern generated by the interference between the ruled line and the character stroke is generated as a correct reading determination dictionary in advance, and the correct reading determination for the recognition result is performed by referring to the information inside.
[0044]
Further, according to the second and fifth aspects, there is an effect that the conventional recognition accuracy can be maintained for the characters whose ruled lines and the character strokes do not interfere with each other. The reason is that it has a function of determining the presence or absence of interference and using a normal dictionary and an interference dictionary.
[Brief description of the drawings]
FIG. 1 is a block diagram of an optical character reader according to a first embodiment of the present invention.
FIG. 2 is a flowchart illustrating a processing procedure according to the first embodiment.
FIG. 3 is a diagram illustrating a correction recognition area image generated by an area extraction unit.
FIG. 4 is a flowchart illustrating a processing procedure of a ruled line extraction unit.
FIG. 5 is an explanatory diagram of interference determination between ruled lines and character strokes.
FIG. 6 is a diagram illustrating ruled lines extracted by a ruled line extraction unit and character stroke boundaries;
FIG. 7 is a diagram exemplifying a method of extracting an interference position in the case of an intersection at an interference position extraction unit.
FIG. 8 is a flowchart illustrating a processing procedure of an interference position extraction unit. .
FIG. 9 is a diagram illustrating an interference dictionary generated by an interference dictionary generation unit.
FIG. 10 is a diagram exemplifying a restoration processing method in a missing character restoration unit.
FIG. 11 is a diagram illustrating confused characters stored in a correct reading determination dictionary;
FIG. 12 is a diagram illustrating a format of a correct reading determination dictionary.
FIG. 13 is a diagram illustrating a circumscribed rectangular frame of a character pattern extracted by a character position extraction unit.
FIG. 14 is a block diagram of an optical character reader according to a second embodiment of the present invention.
FIG. 15 is a flowchart illustrating a processing procedure according to the second embodiment;
FIG. 16 is a diagram illustrating erroneous restoration.
FIG. 17 is a diagram illustrating a format of region position information.
[Explanation of symbols]
DESCRIPTION OF SYMBOLS 101 Form image input part 102 Area extraction part 103 Ruled line extraction part 104 Ruled line deletion part 105 Character position extraction part 106 Interference determination part 107 Interference position extraction part 108 Interference dictionary generation part 109 Character recognition part 110 Correct reading determination part 111 Area | region position information preservation | save Memory 112 Ruled line position information storage memory 113 Normal dictionary storage memory 114 Character pattern dictionary storage memory 115 Interference dictionary storage memory 116 Correct reading determination dictionary storage memory 117 Missing character restoration unit

Claims

罫線を有する帳票に記入された文字を読み取る光学式文字読取装置であって、
処理対象の画像を入力するための帳票画像入力部と、
前記帳票画像入力部より得られる入力画像上の認識対象領域を抽出する領域抽出部と、
前記認識対象領域から罫線を抽出する罫線抽出部と、
該抽出された罫線を前記認識対象領域から消去する罫線消去部と、
前記罫線消去部から得られる画像から文字が存在する位置を抽出する文字位置抽出部と、
前記認識対象領域における罫線と文字との干渉の有無を判定し、前記認識対象領域における罫線と文字ストロークの境界線に隣接する黒画素の組合せから罫線と文字ストロークとの干渉の状態を「交差」「接触」「干渉無し」に分類する干渉判定部と、
前記干渉判定部で干渉有りと判定された場合、干渉位置を抽出する干渉位置抽出部と、
前記干渉位置抽出部で抽出された干渉位置をもとに干渉した文字用の辞書を生成する干渉辞書生成部と、
前記干渉の有無の判定で干渉無しと判定された場合は、罫線と干渉しない文字用の辞書を用いて文字認識を行い、前記干渉の有無の判定で干渉有りと判定された場合は、前記干渉した文字用の辞書を用いて文字認識を行う文字認識部と、
前記干渉した文字用の辞書を用いた文字認識の認識結果に対して正読の可能性を判定し、正読していると判定された場合は、前記認識結果を出力すし、誤読している可能性があると判定された場合は、強制リジェクトする正読判定部と
罫線消去画像から切出された、ストロークが欠損している文字に対して復元処理を行う欠損文字復元部とを備え、
前記欠損文字復元部は、干渉パターンが交差の場合は、欠損文字に対して文字ストロークの復元を行い、復元文字画像を生成し、
前記文字認識部は、復元文字画像に対して通常辞書を用いて文字認識を行い、通常辞書を用いて文字認識を行った時の認識結果を干渉辞書を用いて文字認識を行った時の結果と比較し、それらが同じであれば認識結果を出力し、それぞれの認識結果が異なっていれば強制リジェクトとすることを特徴とする光学式文字読取装置。An optical character reader that reads characters entered in a form with ruled lines,
A form image input unit for inputting an image to be processed;
An area extraction unit for extracting a recognition target area on the input image obtained from the form image input unit;
A ruled line extraction unit for extracting a ruled line from the recognition target area;
A ruled line erasing unit for erasing the extracted ruled line from the recognition target area;
A character position extracting unit for extracting a position where a character is present from an image obtained from the ruled line erasing unit;
It is determined whether or not there is interference between the ruled line and the character in the recognition target area, and the state of interference between the ruled line and the character stroke is “crossed” from a combination of black pixels adjacent to the boundary line between the ruled line and the character stroke in the recognition target area. An interference judgment unit for classifying into “contact” and “no interference”;
When the interference determination unit determines that there is interference, an interference position extraction unit that extracts an interference position;
An interference dictionary generating unit that generates a dictionary for interfering characters based on the interference position extracted by the interference position extracting unit;
When it is determined that there is no interference in the determination of the presence or absence of interference, character recognition is performed using a dictionary for characters that does not interfere with the ruled line, and when it is determined that there is interference in the determination of the presence or absence of interference, the interference A character recognition unit that performs character recognition using the dictionary for the selected character,
The possibility of correct reading is determined with respect to the recognition result of character recognition using the dictionary for the interfering characters. If it is determined that the character is correctly read, the recognition result is output and misread. If it is determined that there is a possibility,
A missing character restoration unit that performs a restoration process on a character that is cut out from a ruled line erased image and that has a missing stroke;
The missing character restoration unit, when the interference pattern intersects, restores the character stroke for the missing character, generates a restored character image,
The character recognition unit performs character recognition on the restored character image using a normal dictionary, and the recognition result when the character recognition is performed using the normal dictionary is the result when the character recognition is performed using the interference dictionary. An optical character reader that outputs a recognition result if they are the same, and forcibly rejects if the recognition results are different .