JP2010191724A - 画像処理装置および制御プログラム - Google Patents

Abstract

【課題】文字色が様々であったり、印刷文字に手書き文字あるいは手書き図形が重なっている場合でも、良好に文字認識処理を行う。
【解決手段】画像処理装置は、入力画像から印刷文字の文字列が含まれる画像領域を特定し、一つの印刷文字の周囲に余白を形成可能な大きさの文字枠を用いて、特定した画像領域から前記一つの印刷文字が含まれると推定される領域を切り出し、文字枠に接触するストロークを検出し、当該ストロークと一連とみなせるストローク群を抽出し、このストローク群のうち印刷文字と重なっていると推定される部分を残して、文字枠に含まれる画像からストローク群を除去する。
【選択図】図２

Description

本発明は、画像処理装置および制御プログラムに係り、特に印刷文字と手書き文字が混在した書類において印刷文字を光学的に読み取る際に用いられる画像処理装置および制御プログラムに関する。

従来、小切手のコンピューターによる自動処理においては、小切手用紙の所定領域（クリアバンドに印刷されたＭＩＣＲ（Ｍａｇｎｅｔｉｃ Ｉｎｋ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）文字を読取るだけでなく、支払金額の読取り、顧客情報の読取り等が提案されてきた（例えば、特許文献１参照）。

特開２００２−２９６３１９号公報

ところで、ＭＩＣＲ文字は磁気（インク）の分布で認識されるように設計されたものであるが，近年ＯＣＲ（Ｏｐｔｉｃａｌ Ｃｈａｒａｃｔｅｒ Ｒｅｃｏｇｎｉｔｉｏｎ）の性能向上により光学的に読取られることが一般的になってきた。更に米国では最近の法律改正により小切手の電子データのみで決済ができるようになりつつあり、光学的な手法によるＭＩＣＲ文字の高精度な認識が重要になってきている。
これまでＭＩＣＲ文字読取りのための製品はいくつか実現されているが，濃淡画像（グレースケール画像）としてスキャンし、処理しているため，複雑な色や模様を持つ背景が印刷されていたり、署名（ｓｉｇｎａｔｕｒｅ；サイン）の一部がＭＩＣＲ文字に重なったりした場合等に文字認識精度が十分ではないという問題点があった。
同様に、光学的な手法による印刷文字の認識を行う場合には、印刷文字に手書き文字あるいは手書き図形などが重なっている場合についても文字認識精度が確保できないという問題点が生じることが想定される。
そこで、本発明の目的は、文字色が様々であったり、印刷文字に手書き文字あるいは手書き図形が重なっている場合でも、良好に文字認識処理を行えるように画像前処理を行う画像処理装置および制御プログラムを提供することにある。

上記課題を解決するため、本発明の第１態様は、入力画像から印刷文字の認識に先だって画像前処理を行う画像処理装置において、前記入力画像から前記印刷文字の文字列が含まれる画像領域を特定する領域特定部と、一つの印刷文字の周囲に余白を形成可能な大きさの文字枠を用いて、前記特定した画像領域から前記一つの印刷文字が含まれると推定される領域を切り出す文字切り出し部と、前記文字枠に接触するストロークを検出し、当該ストロークと一連とみなせるストローク群を抽出する連続ストローク抽出部と、前記ストローク群のうち前記印刷文字と重なっていると推定される部分を残して、前記文字枠に含まれる画像から前記ストローク群を除去するストローク除去部と、を備えたことを特徴としている。

上記構成によれば、領域特定部は、入力画像から印刷文字の文字列が含まれる画像領域を特定し、文字切り出し部は、文字枠を用いて、特定した画像領域から一つの印刷文字が含まれると推定される領域を切り出す。
これらの結果、連続ストローク抽出部は、文字枠に接触するストロークを検出し、当該ストロークと一連とみなせるストローク群を抽出し、ストローク除去部は、ストローク群のうち印刷文字と重なっていると推定される部分を残して、文字枠に含まれる画像からストローク群を除去する。
したがって、印刷文字以外に起因するストローク、例えば、手書きのサインによるサインストロークのみを除去することが可能となり、より確実に印刷文字の認識が行える。

本発明の第２態様は、第１態様において、前記ストローク除去部は、前記文字枠に含まれる画像から前記ストローク群を削除する削除部と、前記ストローク群のうち前記印刷文字と重なっていると推定される部分を補間する補間部と、を備えたことを特徴としている。
上記構成によれば、ストローク除去部の削除部は、前記文字枠に含まれる画像から前記ストローク群を削除する。
これにより、補間部は、ストローク群のうち印刷文字と重なっていると推定される部分を補間する。
したがって、より確実に印刷文字以外に起因するストロークのみを除去することが可能となり、画像認識の認識精度の向上に寄与することとなる。

本発明の第３態様は、第１態様または第２態様において、前記連続ストローク抽出部は、前記文字枠に接触するストロークを追跡し、複数のストロークに分岐する場合は、最も曲率が小さいストロークを前記ストローク群を構成する一連のストロークとすることを特徴とする。
上記構成によれば、印刷文字を構成するストロークがストローク群として除去されてしまうことを抑制できる。

本発明の第４態様は、第１態様ないし第３態様のいずれかにおいて、前記連続ストローク抽出部は、前記文字枠内の画像を線分（端点含む）と連結点（分岐点、交差点）とに分割するラベリング部と、前記分割された線分と前記連結点との配置関係に基づいて前記ストローク群を構成するストロークを推定するストローク群推定部と、を備えたことを特徴としている。
上記構成によれば、連続ストローク抽出部のラベリング部は、文字枠内の画像を線分と連結点とに分割する。
これにより、ストローク群推定部は、分割された線分と連結点との配置関係に基づいてストローク群を構成するストロークを推定する。

本発明の第５態様は、第１態様ないし第４態様のいずれかにおいて、前記文字切り出し部は、前記入力画像中の前記印刷文字の存在確率を表す相関画像を生成する相関画像生成部と、前記相関画像から前記印刷文字の所定の文字間ピッチに基づいて、前記印刷文字の中心位置を推定する文字中心推定部と、前記中心位置に基づいて、前記文字枠の配置位置を決定する文字枠位置決定部と、を備えたことを特徴とする。
上記構成によれば、文字切り出し部の相関画像生成部は、入力画像中の印刷文字の存在確率を表す相関画像を生成する。
これにより文字中心推定部は、相関画像から前記印刷文字の所定の文字間ピッチに基づいて、印刷文字の中心位置を推定する。
これにより、文字枠位置決定部は、推定された中心位置に基づいて、文字枠の配置位置を決定する。
したがって、印刷文字の文字間ピッチにそぐわない位置が印刷文字の中心位置として推定されることはないので、より文字枠の配置を的確なものとして、文字切り出しの信頼性を向上させることができる。

本発明の第６態様は、第１態様ないし第５態様のいずれかにおいて、前記印刷文字のみが含まれていると推定できる印刷文字画像領域を抽出する印刷文字領域抽出部と、前記印刷文字画像領域における文字色の色平均値に基づいて、前記印刷文字の印刷領域とそれ以外の領域とを識別するための閾値を設定する閾値設定部と、前記入力画像から文字色のみの画像を抽出する文字画像抽出部と、を備え、前記領域特定部は、前記抽出された文字色のみの画像から、文字列の配置を推定して、前記印刷文字の文字列が含まれる画像領域を特定する、ことを特徴とする。
上記構成によれば、印刷文字領域抽出部は、印刷文字のみが含まれていると推定できる印刷文字画像領域を抽出し、閾値設定部は、印刷文字画像領域における色平均値に基づいて、印刷文字の印刷領域とそれ以外の領域とを識別するための閾値を設定する。
これにより、領域特定部は、設定された閾値に基づいて、入力画像から印刷文字の文字列が含まれる画像領域を特定するので、より確実に画像領域を特定することができる。

本発明の第７態様は、入力画像から印刷文字の認識に先だって画像前処理を行う画像処理装置をコンピューターにより制御するための制御プログラムにおいて、前記コンピューターに、前記入力画像から前記印刷文字の文字列が含まれる画像領域を特定させる領域特定機能と、一つの印刷文字の周囲に余白を形成可能な大きさの文字枠を用いて、前記特定した画像領域から前記一つの印刷文字が含まれると推定される領域を切り出させる文字切り出し機能と、前記文字枠に接触するストロークを検出させ、当該ストロークと一連とみなせるストローク群を抽出させる連続ストローク抽出機能と、前記ストローク群のうち前記印刷文字と重なっていると推定される部分を残して、前記文字枠に含まれる画像から前記ストローク群を除去するストローク除去機能と、を実現させることを特徴とする。
上記構成によれば、印刷文字以外に起因するストローク、例えば、手書きのサインによるサインストロークのみを除去することが可能となり、より確実に印刷文字の認識が行える。

本発明によれば、印刷文字以外に起因するストローク、例えば、手書きのサインによるサインストロークのみを除去することが可能となり、印刷文字の光学的な文字認識処理における認識率の向上に寄与することができる。

印刷文字認識装置の概要ブロック図である。 実施形態の光学文字認識（ＯＣＲ）の概要処理フローチャートである。 ステップＳ１２の二値化および行切り出し処理の詳細処理フローチャートである。 スキャナー部により読み込んだ小切手のカラー画像の切出処理の説明図である。 文字色推定時の動作説明図である。 矩形領域の削除の説明図である。 二値化画像の説明図である。 ＭＩＣＲ文字印刷領域の特定処理の説明図である。 除去しきれなかった背景や手書きのサインの影響による影響を低減するためのガウス型重み付け処理の説明図である。 ＭＩＣＲ文字印刷領域の決定の説明図である。 ＭＩＣＲ文字印刷領域に対応する切り出し画像の説明図である。 ＭＩＣＲ文字印刷領域に対応する切り出し画像の二値化画像の説明図である。 ＭＩＣＲ文字のテンプレート画像である。 得られた平均テンプレート画像の説明図である。 文字切り出しの処理フローチャートである。 相関分布グラフの説明図である。 ダミーピークの説明図である。 シグモイド関数の説明図である。 ダミーピークを抑えた後の相関分布の説明図である。 切り出した画像の一例を説明する図である。 サインのストローク部分を取り除く処理の処理フローチャートである。 細線化の説明図である。 連結点の調査の説明図である。 線分のグループ化の説明図である。 サインストロークの推定処理の処理フローチャートである。 サインストロークの線分に対応する画素の削除および文字の復元を説明する図である。 サインストローク削除処理の詳細説明図である。 サインストローク除去後のＭＩＣＲ文字の説明図である。 実施形態の変形例の説明図である。

次に本発明の好適な実施の形態について図面を参照して説明する。
図１は、印刷文字認識装置の概要ブロック図である。
本実施形態においては、印刷物として、背景模様、小切手番号などが印刷されている小切手の印刷文字（磁気インク文字）を認識するための印刷文字認識装置を例として説明する。
印刷文字認識装置１０は、当該印刷文字認識装置１０を中枢的に制御するコントロール部１１と、挿入された小切手を光学的に読み取るためのスキャナー部１２と、オペレータが各種操作を行うための操作部１３と、読取結果や操作手順等の各種情報を表示するための表示部１４と、ホストコンピューターなどの外部のホスト装置１６と通信ネットワークを介して接続するための通信インターフェース部１５と、を備えている。
この場合において、コントロール部１１は、領域特定部、文字切り出し部、連続ストローク抽出部、ストローク除去部、削除部、補間部、ラベリング部、ストローク群推定部、相関画像生成部、文字中心推定部、文字枠位置決定部、印刷文字領域抽出部、閾値設定部として機能している。
なお、本実施形態では理解の便宜のため具体的な画素数等を記載するが、これらの数値はあくまで一例に過ぎず、後述する解像度等の条件に応じて変更可能である。

まず、実施形態の概要動作について説明する。
図２は、実施形態の光学文字認識（ＯＣＲ）の概要処理フローチャートである。
印刷文字認識装置１のコントロール部１１は、スキャナー部１２に挿入された小切手を光学的にカラー画像として読み取る（ステップＳ１１）。この場合に、小切手をカラー画像で読み込むのは、小切手はその種類によって、背景の模様が様々であり、模様の色も様々であるからであり、グレースケール画像あるいは二値画像で読み込んだ場合には、ＭＩＣＲ文字と模様などとを識別することが困難だからである。
続いてコントロール部１１は、ステップＳ１１で読み込んだカラー画像に基づいて、二値化を行い、ＭＩＣＲ文字が印刷されているＭＩＣＲ文字印刷領域（行）を推定し、切り出しを行う（ステップＳ１２）。
ここで、ＭＩＣＲ文字の色を利用した背景除去では，印刷された文字色は必ずしも一様ではないことを考慮して，まず正確な文字色推定のために小切手のＭＩＣＲ文字印刷面におけるＭＩＣＲ文字印刷領域を推定する必要がある。

そこで、本実施形態では、ＭＩＣＲ文字の色を光の三原色ｒ、ｇ、ｂ（０≦ｒ、ｇ、ｂ≦２５５）で表した場合に黒（ｒ＝０；ｇ＝０；ｂ＝０）と仮定し，各画素を構成するｒ、ｇ、ｂの最小値が所定の閾値より小さい値であれば文字領域に属する画素、閾値以上であれば背景領域に属する画素であるとする。
得られた二値画像は、複数の画素が連結した画素連結領域に分割してラベリングを行い，文字部分と判断すべきではない画素連結領域を削除する。具体的には、ＭＩＣＲ文字が一つだけ含まれる領域、複数のＭＩＣＲ文字がサインによる手書き文字でつながれた画像が含まれる領域、背景パターン領域などがそれぞれ画素連結領域としてラベリングされ、ＭＩＣＲ文字が一つだけ含まれる領域がＭＩＣＲ文字印刷領域を構成するものと判断されることとなる。

ここで残る画素連結領域をＭＩＣＲ文字印刷領域（行）と考え、当該ＭＩＣＲ文字印刷領域（行）中のＭＩＣＲ文字の色を推定する。この結果として得られたＭＩＣＲ文字の色を用いて再度二値化を行うことでサインと背景パターンを除去する。
上記の処理で除去できない背景とサインの中には複数のＭＩＣＲ文字にまたがって重なる場合があり，このような場合には文字分割処理が必要となる。文字分割ではＭＩＣＲ文字テンプレートを重ね合わせて生成したフィルターを利用し、切り出したＭＩＣＲ文字印刷領域上で畳み込み処理を行うことで相関を求める。
この結果、得られた相関画像のピークから文字の中心位置を推定し、一文字ごとに文字の切出しを行う。具体的には、コントロール部１３は、切り出した行に含まれるＭＩＣＲ文字を所定の大きさを有する矩形状の文字枠に１文字ずつ含まれるように切り出す（ステップＳ１３）。

この場合において、後段のサイン除去の処理に備え、文字切出しに用いる矩形状の文字枠では切出対象のＭＩＣＲ文字の左右上下にある程度のマージンを持たせている。
最後に分割された文字枠内に残る手書のサインに対応する画素をストローク追跡により削除する（ステップＳ１４〜Ｓ１５）。
具体的には、全てのＭＩＣＲ文字の切り出しが完了すると、各ＭＩＣＲ文字毎に文字枠に接触する線が含まれているか否かを判別する（ステップＳ１４）。これは、サインなどの手書き文字は、ＭＩＣＲ文字印刷領域の外に記入されたものが文字枠を超えて書き込まれているからであり、このような場合には、文字枠に接触する線が存在するからである。
従って、ステップＳ１４の判別において、文字枠に接触する線が含まれている場合には、手書き文字のストロークまたは背景の一部が含まれているということであるので、コントロール部１１は、手書き文字のストロークまたは背景の一部を除去する処理を全ての切り出した文字について行うこととなる（ステップＳ１５）。

この際に、まず文字枠内の画素連結領域に対してラベリングを行い、各画素領域に対して面積やアスペクト比から明らかにＭＩＣＲ文字と判断されないものを削除する。次に文字枠内のＭＩＣＲ文字あるいは手書きのサインに対応する画素群に対して細線化を行い，領域の周囲に接しているストロークから追跡を行い，曲率を考慮してサインに対応するストロークの追跡を行う。このストローク追跡の結果得られたストローク全体を手書きされたサインの一部として除去し、除去する際に削除された文字部分は穴埋めを行い、元のＭＩＣＲ文字を復元する。
続いて、コントロール部１１は、手書きされたサインを除去したＭＩＣＲ文字について文字認識処理を行い（ステップＳ１６）、認識結果を表示部１４あるいは通信インターフェース部１５を介して外部のホスト装置１６に出力することとなる（ステップＳ１７）。
これらの結果、サインなどの手書き文字の影響を低減してより確実にＭＩＣＲ文字の認識が行え、ＯＣＲの認識率をよりいっそう向上させることが可能となる。

次により具体的な動作について説明する。
図３は、ステップＳ１２の二値化および行切り出し処理の詳細処理フローチャートである。
以下の説明においては、ＭＩＣＲ文字としてＥ１３Ｂのフォントを用いる場合について説明する。このＥ１３Ｂのフォントは、０〜９の１０個の数字フォントと、ｔｒａｎｓｉｔ、ｏｎ−ｕｓ、ａｍｏｕｎｔ、ｄａｓｈと呼ばれる４個の制御文字フォントの１４種のフォントで構成されている。
まず、コントロール部１１は、スキャナー部１２により小切手のカラー画像を取得すると（ステップＳ２１）、認識領域を大まかに切り出す処理を行う（ステップＳ２２）。

図４は、スキャナー部により読み込んだ小切手のカラー画像の切出処理の説明図である。
小切手ＣＨＫの下部には、図４（ａ）に示すように、小切手振出人のサイン欄に隣接して、小切手番号がＭＩＣＲ文字で印刷されたクリアバンドＣＢと呼ばれる領域が設けられている。
そこで、本実施形態のコントロール部１１は、スキャナー部１２により読み込んだ小切手のカラー画像から、図４（ｂ）に示すように、クリアバンドＣＢを認識領域ＣＢ０として切り出しを行うこととなる。
ところで、小切手ＣＨＫにおいて、クリアバンドＣＢは、小切手の下部から決められた大きさの領域であり、ＭＩＣＲ文字はこの領域内の一定の領域に印刷されることになっている。

しかしながら、小切手によっては所定の場所に印字されてない場合があり，ＭＩＣＲ文字印刷領域を正確に推定する必要がある。
まず、スキャナー部１２による取り込みの際に発生した、ディザによる色むらを抑えるために文字のエッジを保存しつつ平滑化を行う（ステップＳ２３）。
ここで、文字列は水平の線分、垂直の線分を多く含むと仮定し，水平・垂直方向に対して各列・行ごとに一次元ガウシアンフィルターＮ（σ＝１．０）（σは標準偏差）を施し、得られた二枚の平滑化画像の各画素においてｒ、ｇ、ｂ値ごとに小さい方の値を当該画素のｒ、ｇ、ｂ値として採用し、平滑化処理を完了する。

次に，文字色からの色距離が大きく離れる背景とサインを除去することとなるが、印刷条件により文字色が異なるため、初期段階において、文字色は不明である。
そこで、本実施形態においては、はじめに文字色を完全な黒色と仮定して二値化（第１回目の二値化）を行って文字領域を抽出し、抽出した文字領域内におけるｒ、ｇ、ｂ値に基づいておおよその文字色を推定した後，再度、背景とサイン除去のための二値化（第２回目の二値化）を行っている。
この結果、印刷条件の違いによる文字色の違いを吸収して、より確実に背景を除去することができる。
まず，文字色を黒色＝（ｒ＝０，ｇ＝０，ｂ＝０）と仮定し，画素値Ｉ（ｉ，ｊ）に対応する（ｒ，ｇ，ｂ）の三色のうち一色でも閾値τ_１よりも小さいものがあれば、文字候補領域であるとし、その値を“１”とする。同様に画素値Ｉ（ｉ，ｊ）に対応する（ｒ，ｇ，ｂ）の三色の全てが閾値τ_１よりも大きければ、文字候補領域ではないとし、その値を“０”とする第１回目の二値化を行う（ステップＳ２４）。
第１回目の二値化画像Ｂ（ｉ，ｊ）を式で表せば次式の通りとなる。

ここで、具体的に説明する。
図５は、文字色推定時の動作説明図である。
図５に示すように、抽出した文字領域内において、画素毎にｒ、ｇ、ｂの値を検出すると、様々な値が存在する。
例えば、ＭＩＣＲ文字上では、図５中左側に示すように、（ｒ＝０，ｇ＝０，ｂ＝０）であり、背景部分では、図５中右側に示すように、（ｒ＝１６７，ｇ＝１９５，ｂ＝２２１）である。したがって、閾値τ_１＝３８（＝０．１５×２５５）として、ｒｇｂ色空間上における距離が閾値τ_１よりも小さい場合に文字領域であると判断する場合には、ＭＩＣＲ文字上の画素は文字候補領域に属していると判断され、背景部分の画素は、非文字領域に属していると判断される。

また、この段階では背景等に対応する微小連結領域を多く含むため、矩形領域面積が８０画素未満または１０００画素以上の領域と、矩形領域のアスペクト比が所定のアスペクト比よりも横長の矩形領域を削除し、文字領域と推定される矩形領域のみを残した画像を作成する（ステップＳ２５）。
図６は、矩形領域の削除の説明図である。
図６（ａ）に示すように、ＭＩＣＲ文字が一つだけ含まれている矩形領域ＲＢ１、ＲＢ３、ＲＢ５は、矩形領域面積が８０画素以上、１０００画素未満であり、かつ、矩形領域のアスペクト比が所定のアスペクト比よりも縦長の領域となっている。
これに対して、矩形領域ＲＢ２は、矩形領域面積が８０画素未満または１０００画素以上であり、かつ、領域形領域のアスペクト比が所定のアスペクト比よりも横長の領域となっている。
また、矩形領域ＲＢ４は、矩形領域面積が１０００画素以上となっている。

これらの結果、矩形領域ＲＢ２および矩形領域ＲＢ４は、削除され、図６（ｂ）に示すように、領域ＣＢ１には、矩形領域ＲＢ１、ＲＢ３、ＲＢ５のみが残されることとなる。
この段階で矩形領域ＲＢ２、ＲＢ４のように文字部分も大幅に削除される可能性があるが，文字色の推定に必要な文字らしい部分だけ残ればよいので問題はない。
ここで抽出された矩形領域ＲＢ１、ＲＢ３、ＲＢ５（文字候補領域）に含まれる画素の平均文字色ｃ”を次式のように設定する（ステップＳ２６）。
ｃ”＝（ｒ”，ｇ”，ｂ”）
次に、平均文字色ｃ”として推定された文字色を用いて最終的な二値化を行い，背景とサインを除去する。
二値化の条件としては、式（１）に加え，更に範囲を狭める式を加えたものを用いる。

この場合において、例えば、式（１）においては閾値τ_１＝５１（０．２×２５５）とし、式（２）においては閾値τ_２＝１０２（＝０．４×２５５）として、二値化を行う（ステップＳ２７）。

図７は、二値化画像の説明図である。
図７（ａ）は、式（１）のみを用いて二値化を行った場合の画像であり、図７（ｂ）は、式（１）および式（２）を用いて二値化を行った場合の画像であり、図７（ｂ）に示すように、背景としての小切手の枠飾り部分が除去されて二値化が行われているのがわかる。

続いてコントロール部１１は、再び、文字領域と推定される矩形領域のみを残した画像を作成し（ステップＳ２８）、ＭＩＣＲ文字印刷領域（行）を推定し（ステップＳ２９）、ＭＩＣＲ文字印刷領域（行）を切り出すこととなる（ステップＳ３０）。
図８は、ＭＩＣＲ文字印刷領域の特定処理の説明図である。
次にコントロール部１１は、図８（ａ）に示す上述の処理によって得られたＭＩＣＲ文字印刷領域ＣＢ２Ａに対応する二値画像Ｂ（ｉ，ｊ）の水平方向（図８では、垂直方向）へのＭＩＣＲ文字の色を有する画素の頻度に対応する投影ヒストグラム（横軸は、画素位置）をとると、図８（ｂ）に示すようなものとなる。
図８（ｂ）に示すように、ＭＩＣＲ文字が含まれる場合には、投影ヒストグラムにおいて、ＭＩＣＲ文字印刷領域ＣＢ２Ａの中央部付近の値が増加するため，閾値処理によってＭＩＣＲ文字印刷領域を決定できることとなる。

図９は、除去しきれなかった背景や手書きのサインの影響による影響を低減するためのガウス型重み付け処理の説明図である。
しかしながら、実際の処理においては、除去しきれなかった背景や手書きのサインの影響により、投影ヒストグラムにおけるＭＩＣＲ文字印刷領域ＣＢ２Ａの両端部分における値が増加する傾向がある。このため，前述の最終的な二値化の後にも微小領域の削除を行い，更に図９（ａ）に示すガウス型の重みＮ（σ＝３０）を加えることで投影ヒストグラム両端の値を抑えることを行った。
図９（ｂ）は、除去しきれなかった背景や手書きのサインの影響による影響を低減するためのガウス型重み付け処理適用後の投影ヒストグラムである。

図１０は、ＭＩＣＲ文字印刷領域の決定の説明図である。
ＭＩＣＲ文字印刷領域Ｐ（ｉ，ｊ）は、図１０（ａ）に示すように、この投影ヒストグラムの最大値Ｖｍａｘを与える位置から上下に４０画素（ピクセル）の範囲において，閾値ＴＨ＝Ｖｍａｘ／３を超える区間を上下限として推定される。すなわち、図１０（ｂ）に示すように、閾値ＴＨ＝Ｖｍａｘ／３以下のヒストグラムの正規化を行い、投影ヒストグラムの最大値Ｖｍａｘを与える位置から上下に４０画素（ピクセル）の範囲において，閾値ＴＨ＝Ｖｍａｘ／３を超える両端の画素位置ＡＲ１、ＡＲ２の間の画素範囲をＭＩＣＲ文字印刷領域Ｐ（ｉ、ｊ）としている。ただし、文字の垂直方向位置のばらつき程度によっては、この範囲からはみ出す文字も存在するため、上下方向にマージンをとる。本実施の形態では、上方向のマージンは３５画素とし、下方向のマージンは４０画素としている。

図１１は、ＭＩＣＲ文字印刷領域に対応する切り出し画像の説明図である。
この結果、切り出されたＭＩＣＲ文字印刷領域Ｐ（ｉ，ｊ）に対応する画像は、図１１に示すようなものとなる。
図１２は、ＭＩＣＲ文字印刷領域に対応する切り出し画像の二値化画像の説明図である。
図７（ａ）の二値化画像ＣＢ２と比較して、ＭＩＣＲ文字印刷領域に対応する切り出し画像の二値化画像ＣＢ３Ａは、図１２に示すように、ＭＩＣＲ文字以外の背景、手書きサインなどができる限り除去された状態となっている。
次にこの二値化画像ＣＢ３ＡからＭＩＣＲ文字を切り出すためのフィルターについて説明する。

図１３は、ＭＩＣＲ文字のテンプレート画像である。
上述したようにＥ−１３Ｂのフォントには、図１３（ａ）〜（ｊ）に示すように、０〜９の１０個の数字フォントと、図１３（ｋ）〜（ｎ）に示すように、４個の制御文字フォントとがある。
図１３に示すフォントの画像は、印字品質が比較的良好と思われる画像から切出したものである。
これらのそれぞれをテンプレートとして、二値化画像とのマッチングを行い，相関値の最大値や平均値によって，相関画像を得る方法が考えられるが、本実施形態では、処理の高速化を図るために、これらのテンプレート画像をあらかじめ足し込み正規化しておくことで，一回のフィルタリングで相関画像を取得するように構成している。

この場合において、テンプレート画像によっては，得られる相関値が他の画像よりも小さくなる場合があるため、得られる相関値がほぼ等しくなるように、得られる相関値が他の画像よりも小さくなるテンプレート画像、すなわち、数字「０」の重みｗ＝２、数字「４」の重みｗ＝２、数字「７」の重みｗ＝３としている。他の数字フォントおよび制御文字フォントについては、それぞれ重みｗ＝１としている。
そして、これらの各テンプレート画像を構成する画素の値（黒＝１、白＝０）について、同一画素位置における重みを乗じた画素の値を積算して一つのテンプレート画像を生成し、得られたテンプレート画像の値の正規化を行って平均テンプレート画像を生成する。
この平均テンプレート画像を表す式をＴ”で表すと、次式（３）のようになる。

ここで、Ωは、テンプレート画像領域である。

図１４は、得られた平均テンプレート画像の説明図である。
図１４に示すように平均テンプレート画像ＦＴは、色が濃い側（黒側）ほど、ＭＩＣＲ文字を構成する画素が存在する確率が高い領域を表し、色が薄い側（白側）ほど、ＭＩＣＲ文字を構成する画素が存在する確率が低い領域を表しており、１回のマッチングで、１４文字全てのフィルタリングを行って相関画像を算出することができるため、１４文字をそれぞれ別個のテンプレート画像を用いて判別を行う場合と比較して、高速に処理が可能となっている。
平均テンプレート画像ＦＴの特性をＴ”で表した場合、フィルタリングにより得られる相関画像Ｃは次のように求まる。

ここで＊は、畳込みを表している。
図１５は、文字切り出しの処理フローチャートである。
コントロール部１１は、ＭＩＣＲ文字印刷領域（行）を切り出した二値化画像を取得すると（ステップＳ４１）、平均テンプレート画像ＦＴによる図示しない相関画像Ｃを取得する（ステップＳ４２）。

図１６は、相関分布グラフの説明図である。
この場合に、得られる相関画像Ｃは２次元で処理すると時間がかかるので，各列ごとに最大値をとり、図１６（ａ）に示すように、１次元の相関分布Ｃｏ（ｘ）グラフを生成する（ステップＳ４３）。
この１次元の相関分布Ｃｏ（ｘ）を実際のＭＩＣＲ文字上に重ね合わせてみると、図１６（ｂ）に示すような状態となり、ＭＩＣＲ文字との相関があることが把握できる。
次に、この相関分布を用いたＭＩＣＲ文字の切り分け処理について説明する。
通常の文字抽出であればラベリングでラベルごとに文字を抽出できる。しかし，前述した処理で削除できない背景や手書きのサインの影響により、複数のＭＩＣＲ文字が結合した文字列として切り出される可能性がある。

また、印刷文字であるＭＩＣＲ文字の文字ピッチは比較的一定であるが，数ピクセルの誤差を含む場合がある。したがって、固定ピッチで文字の切り分けを行う場合、数ピクセルのずれがある文字の切り分けを繰り返すと、誤差が累積し、徐々に切出し位置がずれていく可能性も生じる。
そこで、本実施形態では、ＭＩＣＲ文字の仕様で定められている文字ピッチを利用し、文字の大まかな存在位置を知るために、ＭＩＣＲ文字テンプレート画像とＭＩＣＲ文字印刷領域Ｐ（ｉ，ｊ）のマッチングを行い、次にピーク位置の尤度推定を行う（ステップＳ４４）。

図１６（ｂ）に示したように，相関分布Ｃｏ（ｘ）のピークはおおむね文字位置に対応するが，文字位置ではない位置にもピークは表れる。また、個々のピークを与えている分布の大きさも一様でないため，閾値処理でピーク位置を割り出すことは困難である。
そこで、本実施形態では、ＭＩＣＲ文字が一定ピッチｄで印刷されていることを考慮し，ピーク同士が間隔ｄで現れる場合には、当該ピークを強調することにより、文字位置をより正確に求めることとした。

以下、具体的に説明する。
ＭＩＣＲ文字が配置されている行方向のある位置ｘで文字が存在するかどうかを調べる際に，その位置での相関値に加え、ピーク検出位置に対してピッチｄだけ離れた位置ｘｄ近傍における相関分布を考慮し、検出したピークを強調する。ここでは位置ｘｄの前後に最大距離Ｌだけ離れた範囲内、すなわち、位置ｘｄの近傍［−Ｌ、＋Ｌ］の範囲の相関分布を重みつきで累積するピーク尤度関数を以下のように定義する。

ここで重みつき関数Ｎ（μ＝ｘｄ、σ） は位置ｘｄに中心を持つ標準偏差σの正規分布を表している。そして，上式の尤度関数を元の相関値にかけあわせることで，ピーク位置の強調された次式で表された相関分布を得ることとなる。

なお，式（５）のピーク尤度関数であるが，位置ｘに対して、左右両方向に対して別々に計算を行い大きいほうの尤度を用いているが，文字列端では、文字が隣接している片側のみで尤度を求めている。
図１７は、ダミーピークの説明図である。
上述した処理により、ピッチｄだけ離れたピーク同士のピークは強調されることとなるが、図１７（ａ）に丸印で示すように、強調されたピークの中間位置に別のピークが観測される傾向があった。これは、図１７（ｂ）に示すように抽出対象となるＭＩＣＲ文字には、縦方向の線分が多く含まれるため（例えば、図１７（ｂ）では、数字の「０」）、文字と文字の中間にも縦方向の線分が並ぶパターンが生じ、図１７（ｃ）に示すように、相関値が高くなり、ダミーピークとして検出されているためである。

一方、ダミーピークは、１７（ａ）に示すように、ＭＩＣＲ文字に起因する隣接する正規のピークに比べて小さく，正規のピークから半ピッチ（＝ｄ／２）の位置に現れる傾向がある。

このため，ここではあるピーク検出位置ｘと、ピーク検出位置ｘから半ピッチ（＝ｄ／２）離れた位置ｘｄ／２の近傍の相関値を比べ，相関値の大きい方を強調し，小さいほうを抑制することにより、ダミーピークの影響を抑制することを考える。
図１８は、シグモイド関数の説明図である。
そこで、式（５）においてｘｄ の代わりにｘｄ／２を用い，尤度関数として、式（７）および図１８に示すようなシグモイド関数を定義した。

式（７）においてピーク検出位置ｘにおける相関分布値Ｃｏ”（ｘ）が、ピーク検出位置ｘ＋ｄ／２における相関分布値Ｃｏ”（ｘｄ／２）よりも大きければ、Δｃ＞０となり，シグモイド関数の値が０．５以上となるため、ピーク検出位置ｘにおける相関分布値Ｃｏ”（ｘ）が強調され、逆の場合はΔｃ＜０となり，シグモイド関数の値が０．５以下となり、ピーク検出位置ｘにおける相関分布値Ｃｏ”（ｘ）が抑制される。

図１９は、ダミーピークを抑えた後の相関分布の説明図である。
図１９に丸印で示すように、文字間ピッチｄ毎にピークがきれいに現れ、ダミーピークが抑制された相関分布が得られる。
次にＭＩＣＲ文字領域の中心位置に相当するピーク位置の特定について説明する。
コントロール部１１は、最終的なピーク位置を特定するために動的閾値を用いて文字領域中心のピークのみを検出する。本実施形態では、動的閾値ＴＨｄｙとして、図１９の相関値をガウスフィルターＮ（μ＝０，σ＝１）で平滑化した値を用いる。閾値処理により検出された領域ごとに相関の最大値を与える点を求める。そして，ある点ｐｉとその半ピッチ（＝ｄ／２）右隣の点ｐｊの値を比較したときに，右隣の点ｐｊが小さければｐｊをダミーピークと判断して削除し、逆に点ｐｊが大きければ点ｐｉを削除する。特定したピーク位置から、解像度や小切手の用紙種類に応じた画素範囲、たとえば、解像度が３００ｄｐｉの場合、左右に２０画素の範囲を文字領域として切出しを行う。
このように、コントロール部１１は、ダミーピークを抑制し（ステップＳ４５）、続いて、ピーク位置を特定する処理を行う（ステップＳ４６）。さらに、コントロール部１１は、特定したピーク位置に基づいて文字を切り出し（ステップＳ４７）、文字切り出し画像を生成する（ステップＳ４８）。

図２０は、切り出した画像の一例を説明する図である。
図２０において、上３段は、手書きのサインが含まれずに切り出された画像であり、最下段が手書きのサインが含まれた状態で切り出された画像である。
次に、切出した文字に残るサインのストローク部分を取り除く処理について説明する。
図２１は、サインのストローク部分を取り除く処理の処理フローチャートである。
この時点において、文字切り出し画像は、ＭＩＣＲ文字と背景やサインストロークの一部を残すのみであるが、更に細線化を施して中心線のみを残すことで，ストローク追跡を行いやすくする。

この場合において、この文字切り出し画像には、ＭＩＣＲ文字に重ならない背景やサインの一部が微小領域として含まれることがあるため、コントロール部１１は、文字切り出し画像を取得すると（ステップＳ５１）、まず文字切り出し画像からラベリングを行い、ＭＩＣＲ文字と判断されないものを削除する（ステップ５２）。
その後，コントロール部１１は、細線化を行うが，細線化を行う前により形状の滑らかな中心線を得るため、文字切り出し画像をメディアンフィルターを用いて平滑化する（ステップＳ５３）。これにより、ピーク的なノイズ成分を除去することが可能となる。
続いてコントロール部１１は、手書きのサインのストロークの追跡を行う準備として細線化を行う（ステップＳ５４）。

図２２は、細線化の説明図である。
図２２において、図２２（ａ１）〜（ａ７）は、細線化前の切り出し画像であり、図２２（ｂ１）〜（ｂ７）は細線化後の切り出し画像である。
図２２（ｂ１）〜（ｂ７）に示すように、細線化後には、各ストロークが１ドット幅となるようにされている。
そして、コントロール部１１は、得られた線画像の構造に基づいて連結数（１：端点、２：連結点、３：分岐点、４：交差点）を調査する（ステップＳ５５）。

図２３は、連結数の調査の説明図である。
図２３（ｂ）は、図２３（ａ）に示す細線化後の切り出し画像の一部を拡大し、各画素の連結状態を調査した結果を表す図である。
図２３（ｂ）において、数字「０」とラベリングされた画素は、文字を構成する画素としては検出されていない領域であり、数字「２」とラベリングされた画素は、文字を構成する画素であって、当該画素に上下左右斜め方向のいずれかに隣接する画素の個数が２個である線分要素であることを表し、数字「３」とラベリングされた画素は、文字を構成する画素であって、当該が画素に上下左右斜め方向のいずれかに隣接する画素の個数が３個以上である分岐点（あるいは交差点）であることを表している。また、図２３（ｂ）において数字「１」とラベリングされた画素は、文字を構成する画素であって、当該画素に上下左右斜め方向のいずれかに隣接する画素の個数が１個である端点であることを表している。

この場合において、図２３（ｂ）に示すように、端点または分岐点（数字「１」あるいは数字「３」で表された画素）に挟まれた画素は線分を構成する画素であり、数字「２」で表されている。
図２４は、線分のグループ化の説明図である。
したがって、端点または分岐点であるとラベリングされた画素に挟まれた数字「２」とラベリングされた画素については、一つのグループ、すなわち、一つの線分に属する画素であるとしてグループ化し、グループ毎に共通のラベルを付与する（ステップＳ５５）。具体的には、図２４に示すように、端点または分岐点（連結数として数字「１」あるいは数字「３」で表された画素）で挟まれた画素群については、同一の数字で線分としてのラベリングを行う。図２４中では、例えば、数字「１１２」とラベリングされた画素が一つのグループである線分を構成し、数字「１１３」とラベリングされた画素が他のグループである他の線分を構成している。

これにより、各グループは、切り出し画像に含まれる文字を構成する線分（あるいはサインのストローク）となっている。
続いてコントロール部１１は、サインストロークの推定処理に移行することとなる（ステップＳ５６）。

図２５は、サインストロークの推定処理の処理フローチャートである。
サインストロークが上書きされた文字画像において，ストロークはＭＩＣＲ文字の印刷領域外から続いているため、文字領域枠に接している可能性が非常に高い。
そこで、コントロール部１１は、文字領域枠に接している端点をストローク推定の追跡開始位置として、追跡を開始する（ステップＳ７１）。
続いて、コントロール部１１は、線分上を移動して追跡を行う（ステップＳ７２）。すなわち、第１回目は、文字領域枠に接している端点から当該端点に続く線分上を移動して追跡を行うこととなる。具体的には、図２４において、右端の数字「１」がラベリングされた端点から数字「１１２」がラベリングされた線分上を移動していくこととなる。

次にコントロール部１１は、ラベリングされた数字を参照して現在の追跡点が分岐点または交差点、すなわち、数字「３」または数字「４」がラベリングされている画素に至ったか否かを判別する（ステップＳ７３）。
ステップＳ７３の判別において、未だに分岐点または交差点としてラベリングされている画素に至っていない場合には（ステップＳ７３；Ｎｏ）、処理をステップＳ７２に移行して、当該線分上の追跡を続行する。

ステップＳ７３の判別において、分岐点または交差点としてラベリングされている画素に至った場合には、コントロール部１１は、他の線分を検索し（ステップＳ７４）、現在たどってきた線分と見つかったすべて線分の組み合わせで、曲率を計算し、最も曲率の小さい線分を現在たどってきた線分と同一ストロークであると判断してグループ化する（ステップＳ７５）。これは、手書きのサインストロークについては、急激な曲率変化が起こることは考えにくいので、一体のサインストロークとして取り扱うためである。なお、この場合において、曲率を求めるのに十分な長さがない線分が存在しているため、このような場合には、曲率を計算するのに十分な長さとなるまで線分の探索を行い，もっとも曲率の少ない経路を同一ストロークとみなすように処理を行っている。

続いて、コントロール部１１は、現在の追跡点が端点かあるいは既に通った線分であるか否かを判別する（ステップＳ７６）。
ステップＳ７６の判別において、現在の追跡点が端点および既に通った線分のいずれでもない場合には（ステップＳ７６；Ｎｏ）、コントロール部１１は、処理を再びステップＳ７２に移行して、当該線分上の追跡を続行する。
ステップＳ７６の判別において、現在の追跡点が端点かあるいは既に通った線分である場合には（ステップＳ７６；Ｙｅｓ）、コントロール部１１は、処理をステップＳ６２に移行する。

図２６は、サインストロークの線分に対応する画素の削除および文字の復元を説明する図である。
続いてコントロール部１１は、推定されたサインストロークの線分に対応する画素を削除する（ステップＳ５７）。
具体的には、図２６（ａ）に示すように、推定されたサインストロークＳＳ１、ＳＳ２が存在する場合に、図２６（ｂ）に示すように、サインストロークＳＳ１、ＳＳ２を画素数的に膨張させた膨張ストロークＳＤ１、ＳＤ２を生成し、文字領域画像の同一座標から削除する。

図２７は、サインストローク削除処理の詳細説明図である。
図２７（ａ）に示す文字切り出し画像があった場合に、上述した処理により算出したサインストロークＳＳ１０を、例えば、１×１のサイズを有する画素を３×３のサイズを有する画素で置き換えることにより、図２７（ｃ）に示すような膨張ストロークＳＤ１１を生成する。
そして、図２７（ａ）に示した元の文字切り出し画像と座標を合わせて、膨張ストロークＳＤ１１１を差し引く処理を行うと、得られる結果は図２７（ｄ）に示すようにサインストロークが完全に除去された状態となる。

図２７（ｃ）に示すように、サインストロークを除去するだけの処理では文字の一部に欠損が生じるため画素の補間を行い高品質な文字画像を取得する（ステップＳ５８）。
より詳細には、図２６（ｃ）に示すように、推定されたサインストロークＳＳ１、ＳＳ２には、文字画像との間で数字「３」にラベリングされた分岐点（あるいは交差点）が存在したはずであるので、当該分岐点（あるいは当該交差点）の画素を、膨張ストロークＳＤ１、ＳＤ２の生成時と同様に膨張させ、補間画素群ＡＤ１、ＡＤ２、ＡＤ３を生成して、ＭＩＣＲ文字の復元を行う。

図２８は、サインストローク除去後のＭＩＣＲ文字の説明図である。
図２８（ａ１）〜（ａ５）は、サインストローク除去前の文字切り出し画像であり、これらに対してサインストローク除去後の文字切り出し画像が図２８（ｂ１）〜（ｂ５）である。
以上の説明は、原理的なものであったが、発明者らは、実用性を検証するため，様々な小切手画像に対して背景除去、ＭＩＣＲ文字の切出し及びサインストローク削除の実験を行った。

これによれば、小切手の背景に複雑な色と模様が使われ，サインが上書きされている場合にも，概ね良好にこれらを削除することができた。
以上の説明のように、本実施形態によれば、高品位のＭＩＣＲ文字を抽出することが可能となる。したがって、ＭＩＣＲ文字部分に手書きのサインストロークが接触している状態においても、光学的手段により良好に文字認識が行える。
図２９は、実施形態の変形例の説明図である。

以上の図３の説明においては、信頼性の向上のため、閾値の決定後（ステップＳ２６）、二値化を行い（ステップＳ２７）、文字領域と推定される矩形領域のみを残した画像を作成し（ステップＳ２８）、ＭＩＣＲ文字印刷領域（行）を推定し（ステップＳ２９）、ＭＩＣＲ文字印刷領域（行）を切り出していたが（ステップＳ３０）、図３のステップ群Ｆ１に代えて、図２９に示すステップ群Ｆ２を採用し、文字以外の領域を削除した画像を作成し（ステップＳ８１）、閾値を決定し、ＭＩＣＲ文字印刷領域（行）を推定してから（ステップＳ８３）、二値化をおこなって（ステップＳ８４）、ＭＩＣＲ文字印刷領域（行）を切り出すように構成すれば、信頼性は多少低下するものの、処理速度の向上が図れる。

以上の説明においては、印刷文字として磁気読み取りおよび光学読み取りの双方が行えるＭＩＣＲ文字の場合について説明したが、光学読み取りのみが可能な印刷文字についても同様に適用が可能である。

１０…印刷文字認識装置、１１…コントロール部、１２…スキャナー部、１３…操作部、１４…表示部、１５…通信インターフェース部、１６…ホスト装置。

Claims (7)

1. 入力画像から印刷文字の認識に先だって画像前処理を行う画像処理装置において、
   前記入力画像から前記印刷文字の文字列が含まれる画像領域を特定する領域特定部と、
   一つの印刷文字の周囲に余白を形成可能な大きさの文字枠を用いて、前記特定した画像領域から前記一つの印刷文字が含まれると推定される領域を切り出す文字切り出し部と、
   前記文字枠に接触するストロークを検出し、当該ストロークと一連とみなせるストローク群を抽出する連続ストローク抽出部と、
   前記ストローク群のうち前記印刷文字と重なっていると推定される部分を残して、前記文字枠に含まれる画像から前記ストローク群を除去するストローク除去部と、
   を備えたことを特徴とする画像処理装置。
2. 請求項１記載の画像処理装置において、
   前記ストローク除去部は、前記文字枠に含まれる画像から前記ストローク群を削除する削除部と、
   前記ストローク群のうち前記印刷文字と重なっていると推定される部分を補間する補間部と、
   を備えたことを特徴とする画像処理装置。
3. 請求項１または請求項２記載の画像処理装置において、
   前記連続ストローク抽出部は、前記文字枠に接触するストロークを追跡し、複数のストロークに分岐する場合は、最も曲率が小さいストロークを前記ストローク群を構成する一連のストロークとすることを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれかに記載の画像処理装置において、
   前記連続ストローク抽出部は、前記文字枠内の画像を線分と連結点とに分割するラベリング部と、
   前記分割された線分と前記連結点との配置関係に基づいて前記ストローク群を構成するストロークを推定するストローク群推定部と、
   を備えたことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれかに記載の画像処理装置において、
   前記文字切り出し部は、前記入力画像中の前記印刷文字の存在確率を表す相関画像を生成する相関画像生成部と、
   前記相関画像から前記印刷文字の所定の文字間ピッチに基づいて、前記印刷文字の中心位置を推定する文字中心推定部と、
   前記中心位置に基づいて、前記文字枠の配置位置を決定する文字枠位置決定部と、
   を備えたことを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれかに記載の画像処理装置において、
   前記印刷文字のみが含まれていると推定できる印刷文字画像領域を抽出する印刷文字領域抽出部と、
   前記印刷文字画像領域における文字色の色平均値に基づいて、前記印刷文字の印刷領域とそれ以外の領域とを識別するための閾値を設定する閾値設定部と、前記入力画像から文字色のみの画像を抽出する文字画像抽出部と、を備え、
   前記領域特定部は、前記抽出された文字色のみの画像から、文字列の配置を推定して、前記印刷文字の文字列が含まれる画像領域を特定する、
   ことを特徴とする画像処理装置。
7. 入力画像から印刷文字の認識に先だって画像前処理を行う画像処理装置をコンピューターにより制御するための制御プログラムにおいて、
   前記コンピューターに、
   前記入力画像から前記印刷文字の文字列が含まれる画像領域を特定させる領域特定機能と、
   一つの印刷文字の周囲に余白を形成可能な大きさの文字枠を用いて、前記特定した画像領域から前記一つの印刷文字が含まれると推定される領域を切り出させる文字切り出し機能と、
   前記文字枠に接触するストロークを検出させ、当該ストロークと一連とみなせるストローク群を抽出させる連続ストローク抽出機能と、
   前記ストローク群のうち前記印刷文字と重なっていると推定される部分を残して、前記文字枠に含まれる画像から前記ストローク群を除去するストローク除去機能と、
   を実現させることを特徴とする制御プログラム。