JP2021044803A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】縦線抜け領域を含む文字（印字不良により印字されなかった縦線状に欠けた部分を含む文字）の補正を行うとともに、縦線抜け領域以外の領域は黒潰れしないようにする。【解決手段】本発明では、第１の二値画像に対して第１のモルフォロジーを実行することにより第２の二値画像を生成し、前記第２の二値画像に基づいて縦線抜け領域を特定し、前記第２の二値画像に対して前記第１のモルフォロジーとは異なる条件で第２のモルフォロジーを実行することにより第３の二値画像を生成し、前記第３の二値画像における前記縦線抜け領域に対応する領域の画素情報を取得し、前記取得した画素情報を用いて、前記第１の二値画像における前記縦線抜け領域に対応する領域を補正することにより、第４の二値画像を生成する。【選択図】図２

Description

本発明は、画像を補正する画像処理装置、画像処理方法、及びプログラムに関する。

帳票やレシートなどの文書をスキャンして得られたスキャン画像から、日付、会社名、金額、電話番号などの情報（以下、「文書情報」という）を抽出する画像処理技術が一般的に知られている。文書情報の抽出方法の一例としては、以下のような方法がある。この方法によれば、まず、文書をスキャンしてスキャン画像を取得し、ＯＣＲ（Optical Character Recognition。光学文字認識）によりスキャン画像内の文字を認識する。更に、認識した文字の文字列、位置関係、文字種、形式などの情報から、日付、会社名、金額などの項目の種別や、それらの項目に対応した文字の位置を推定することで、文書情報を抽出する。
上記の画像処理技術により、帳票、レシートなどの文書内の日付、会社名、金額などの項目に対応する文書情報を自動で取得することができるため、経理などの事務作業の生産性を向上させることができる。

帳票やレシートなど文書のスキャン画像からより高精度に文書情報を抽出するためには、ＯＣＲによる文字認識精度を高めることが重要である。一般的に、文字認識精度を高めるために、スキャン画像に対して画像処理（二値化、ノイズ除去など）を行い、文字を認識しやすい画像に加工する方法が用いられている。

しかし、従来の画像処理技術を用いても文字認識精度を向上させることが困難な場合がある。例えば、レシートプリンタを用いて文字を印字したレシートにおいて、紙の搬送方向に対して垂直に白い筋が入り、文字や画像が欠ける現象（縦線抜け）が発生することがある。縦線抜けは、レシートプリンタの印字部への異物の付着（融着）による印字不良が主な原因である。一般的なレシートプリンタでは、印字部に発生させた熱を感熱紙（レシート用紙）に伝えることで文字が描画されるが、異物の混入により感熱紙への熱伝導が阻害されることがある。このため、異物直下の感熱紙に文字を描画することができなくなり、縦線抜けによる印字不良が発生する。縦線抜けにより欠けた文字を認識することは非常に困難であるため、これを文字認識するためには、欠けた文字を補正する必要がある。

特許文献１には、縦線抜け領域に隣接する画素情報に基づいて補正を加える手法が記載されている。例えば、縦線抜け領域の両隣が黒画素であれば、領域内を黒画素に変更し、両隣が白画素であれば変更しないことで、一部の欠けた文字を補正することができる。
しかし、特許文献１の手法によれば、縦線抜け領域の幅を一定値とみなして補正を行うが、実際の縦線抜け領域の幅は位置によって数画素程度変動することが多い。そのため、欠けた文字の補正が十分でない場合があるという問題がある。これは、印字部への異物の混入によって印字部の圧力や接触面積が不安定になり、感熱紙への熱伝導が変動するためであり、およそ数十〜数百ミクロン程度（３００ｄｐｉのスキャン画像で２〜３画素分）変動する。

また、特許文献２には、二値化したスキャン画像に対してモルフォロジーの膨張処理及び収縮処理を組み合わせて複数回実行することにより欠けた文字を補正する手法が記載されている。
しかし、特許文献２の手法では、漢字などの黒画素密度の高い文字が黒潰れしたり、縦線抜け領域の幅よりも間隔の狭い画素塊が結合したりするため、他の文字や文字列の認識精度を低下させる場合があるという問題がある。

特開２０１０−１１４５６７号公報 特開平１−２６６６８２号公報

本発明は、上記のような問題を解決することを目的とする発明である。

本発明の画像処理装置は、第１の二値画像を取得する第１の画像取得手段と、前記第１の二値画像に対して第１のモルフォロジーを実行することにより、第２の二値画像を生成する第２の画像生成手段と、前記第２の二値画像に基づいて縦線抜け領域を特定する特定手段と、前記第２の二値画像に対して前記第１のモルフォロジーとは異なる条件で第２のモルフォロジーを実行することにより、第３の二値画像を生成する第３の画像生成手段と、前記第３の二値画像における前記縦線抜け領域に対応する領域の画素情報を取得する取得手段と、前記取得した画素情報を用いて、前記第１の二値画像における前記縦線抜け領域に対応する領域を補正することにより、第４の二値画像を生成する第４の画像生成手段と、を有することを特徴とする。

本発明によれば、縦線抜け領域を含む文字（印字不良により印字されなかった縦線状に欠けた部分を含む文字）の補正を実現できるとともに、縦線抜け領域以外の領域は黒潰れしないようにすることができる。

本発明の実施形態に係る情報処理システムを示す図である。 第１の実施形態に係る縦線抜け画像の補正処理を示すフローチャートである。 第１の実施形態において生成される傾き補正した二値画像の例である。 第１の実施形態に係る縦線抜け領域特定処理を示すフローチャートである。 第１の実施形態において生成される縦線抜け領域特定用画像の例である。 第１の実施形態に係る修正用二次画像生成処理を示すフローチャートである。 第１の実施形態において生成される修正用二値画像の例である。 第１の実施形態に係る縦線抜け領域合成処理を示すフローチャートである。 第１の実施形態において生成される合成二値画像の例である。 第２の実施形態に係る縦線抜け画像の補正処理を示すフローチャートである。 第３の実施形態に係る縦線抜け画像の補正処理を示すフローチャートである。 第３の実施形態に係る縦線抜け領域合成処理を示すフローチャートである。 第３の実施形態において生成される傾き補正した二値画像の例である。

以下に、図面を参照して、本発明を実施するための実施形態を説明する。ただし、以下に説明する実施形態はあくまで本発明の例示であり、本発明の範囲をそれらに限定する趣旨のものではない。また、以下の実施形態で説明されている特徴の組み合わせのすべてが本発明の解決手段として必須のものとは限らない。

＜第１の実施形態＞
図１は、本発明の実施形態に係る情報処理システムを示す図である。
情報処理システムは、複写機１００と、情報処理装置１１０とを有している。
複写機１００は、スキャナ１０１と、プリンタ１０２と、複写機側の通信部１０３とを有している。スキャナ１０１は、文書のスキャンを行い、スキャン画像を生成する。プリンタ１０２は、画像を形成する。複写機側の通信部１０３は、ネットワークを介して外部装置と通信を行う。

情報処理装置１１０は、ＣＰＵ１１１と、ＲＯＭ１１２と、ＲＡＭ１１３と、ＨＤＤ１１４と、表示部１１５と、入力部１１６と、情報処理装置側の通信部１１７とを有している。ＣＰＵ１１１は、ＲＯＭ１１２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１１３は、ＣＰＵ１１１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ１１４は、各種データや各種プログラム等を記憶する。
なお、後述する情報処理装置１１０の機能や処理は、ＣＰＵ１１１がＲＯＭ１１２又はＨＤＤ１１４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。

情報処理装置側に通信部１１７は、ネットワークを介して外部装置との通信処理を行う。表示部１１５は、各種情報を表示する。入力部１１６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。
なお、表示部１１５と入力部１１６は、タッチパネルのように一体に設けられていてもよい。また、表示部１１５は、プロジェクタによる投影を行うものであってもよく、入力部１１６は、投影された画像に対する指先の位置を、カメラで認識するものであってもよい。

本実施形態においては、複写機１００のスキャナ１０１がレシート等の文書をスキャンし、スキャンされた原画像（スキャン画像）を生成する。そして、スキャン画像は、複写機側の通信部１０３により情報処理装置１１０に送信される。情報処理装置１１０においては、情報処理装置側の通信部１１７がスキャン画像を受信し、これをＨＤＤ１１４等の記憶部に記憶する。なお、本実施形態において、縦線抜け領域とは、プリンタの印字不良により、印字が為されなかった縦線状の領域のことを指す。

図２は、第１の実施形態に係る縦線抜け画像の補正処理を示すフローチャートである。
Ｓ２０１において、ＣＰＵ１１１は、複写機１００のスキャナ１０１によりスキャンされ、ＣＰＵ１１１によりＨＤＤ１１４に格納されたスキャン画像を二値化し、二値画像Ａを生成する（二値化処理）。ここで、二値化処理とは、画像を白と黒の２階調に変換する処理のことである。すなわち、閾値より濃い色の画素は黒画素となり、閾値より薄い色の画素は白画素となる。本実施形態では、二値画像を生成する手法として、スキャン画像全体のヒストグラムから閾値を決定する手法を用いる。ただし、その後の文字認識が可能な精度で白と黒の二値に変換されるのであれば、二値化処理の具体的な手法は問わない。

次に、Ｓ２０２において、ＣＰＵ１１１は、二値画像Ａの傾きを補正して、傾き補正した二値画像Ｂを生成する（傾き補正処理）。縦線抜け領域を正確に検出するためには、傾斜のない画像が必要である。しかし、実際はスキャン時に画像が数度傾いてしまうことが多いため、画像の傾き補正処理を行う必要がある。本実施形態では、二値画像Ａから文字の位置を特定し、各文字の位置関係に基づいて傾きを検出して補正し、傾き補正した二値画像Ｂを生成する。ただし、正しい傾き補正が可能であれば、傾き補正処理の手法は問わない。そして、ＣＰＵ１１１は、傾き補正した二値画像ＢをＲＡＭ１１３に格納する。

図３（ａ）に、本実施形態において生成される二値画像Ｂの例を示す。また、図３（ｂ）及び（ｃ）に、それぞれ、二値画像Ｂ内の文字である「マイショップ」及び「合計」を拡大した画像を示す。
図３（ｂ）に示されるように、文字「プ」において文字欠けが発生していることが分かる。また、図３（ｃ）に示されるように、文字「合」と「計」においても文字欠けが発生していることが分かる。さらに、図３（ａ）に示されるように、スキャン画像３０１には、縦方向の同じ列に同様の文字欠け（縦線抜け）が発生していることが分かる。このように、縦線抜けが発生する位置（縦線抜け領域）は不定であるが、同じ列に発生するという特徴がある。

次に、Ｓ２０３において、ＣＰＵ１１１は、二値画像Ｂから縦線抜け領域を特定する（縦線抜け領域特定処理）。図４は、Ｓ２０３において実行される縦線抜け領域特定処理の詳細を示すフローチャートである。
Ｓ４０１において、ＣＰＵ１１１は、二値画像Ｂに対して第１のモルフォロジー処理をし、縦線抜け領域特定用画像Ｃを生成する。そして、ＣＰＵ１１１は、縦線抜け領域特定用画像ＣをＲＡＭ１１３に格納する。なお、縦線抜け領域特定用画像Ｃが格納されるＲＡＭ１１３の領域は、二値画像Ｂが格納されているＲＡＭ１１３の領域とは異なる。

ここで、本実施形態では、第１のモルフォロジー処理として、上述のような縦線抜け領域幅の変動を考慮して、縦線抜け領域幅を広めに取得するために、モルフォロジー処理による白画素の膨張処理（白画素領域を広げる膨張処理）を行う。例えば、二値画像Ｂ内の白画素を検知して、その周りの８画素を白画素にする、という処理を行うことで、白画素領域を膨張させることができる。なお、白画素を何画素分膨張させるか（または何回膨張させるか）は任意であるが、文字のストロークが完全に消えてしまわないような膨張回数とするのが望ましい。ノイズ等の影響で縦線抜け領域の位置が原稿の上部と下部でずれていたとしても、第１のモルフォロジー処理により、縦線抜け領域が広がるので、縦線抜け領域を特定しやすくなる。なお、第１のモルフォロジー処理として、孤立点ノイズ除去も同時に行えるように、白画素の膨張処理を数回行った後に白画素の収縮処理を更に行うなどの他の画像処理を組み合わせて用いてもよい。例えば、白画素の膨張処理を２回行うと、小さい黒画素塊のノイズは削除されるが、文字のストロークの線幅も細くなってしまうので、その後、白画素の収縮処理（すなわち黒画素の膨張処理）を行うことで文字の線幅を太らせることができる。
図５（ａ）は、第１のモルフォロジー処理により生成される縦線抜け領域特定用画像Ｃの例である。縦線抜け領域５０１〜５０９の位置は、白画素となっている。

Ｓ４０２において、ＣＰＵ１１１は、縦線抜け領域特定用画像Ｃに対して縦方向の射影（すなわち、黒画素数のカウント）を行い、射影ヒストグラムＤを生成する。
図５（ｂ）は、射影ヒストグラムＤの例である。

Ｓ４０３において、ＣＰＵ１１１は、射影ヒストグラムＤにおける黒画素数が閾値以下の領域となる位置に基づいて、縦線抜け位置５１１〜５１９を特定する。そして、射影ヒストグラムの縦線抜け位置５１１〜５１９に対応する、縦線抜け領域特定用画像Ｃの縦線抜け領域５０１〜５０９の位置情報（Ｘ）を取得する。
本実施形態では、射影ヒストグラムＤの縦線抜け位置を特定するための黒画素数の閾値を０とする。ただし、縦線抜け領域を特定することができるのであれば、他の閾値を用いてもよい。

次に、Ｓ４０４において、ＣＰＵ１１１は縦線抜け領域５０１〜５０９の位置情報ＸをＲＡＭ１１３に保存する。なお、本実施形態では、領域５０１及び５０９も縦線抜け領域として扱っているが、画像の左右両端に存在する領域であるので、余白領域であると判断して縦線抜け領域から除外しておいてもよい。

次に、図２のフローチャートに戻り、Ｓ２０４において、ＣＰＵ１１１は、二値画像Ｂを用いて修正用二値画像Ｅを生成する（修正用二値画像生成処理）。図６は、Ｓ２０４において実行される修正用二値画像生成処理の詳細を示すフローチャートである。
Ｓ６０１において、ＣＰＵ１１１は、二値画像Ｂに対してＳ４０１で行った第１のモルフォロジー処理とは異なる条件で第２のモルフォロジー処理を行い、修正用二値画像Ｅを生成する。

ここで、本実施形態では、第２のモルフォロジー処理として、縦線抜け領域５０１〜５０９に対応する二値画像Ｂの領域に含まれる文字欠け部分を埋めるために、モルフォロジー処理による白画素の収縮処理（黒画素領域を広げる処理）を行う。ただし、縦線抜け領域における文字欠け部分を埋めることができるのであれば、第２のモルフォロジー処理として、モルフォロジーの膨張処理と収縮処理を組み合わせてもよく、また、その他の画像処理を併用してもよい。

図７（ａ）は、二値画像Ｂに第２のモルフォロジー処理を行うことにより生成された修正用二値画像Ｅの例である。修正用二値画像Ｅでは、縦線抜け領域５０１〜５０９に対応する位置の領域７０１〜７０９において、欠けていた文字部分が埋められているが、同時に、第２のモルフォロジー処理を二値画像Ｂ全体に対して実行するので、縦線抜け領域以外の箇所で白画素の収縮処理による画像不良も発生しうる。

図７（ｂ）及び（ｃ）は、それぞれ、修正用二値画像Ｅの一部を拡大した画像である。例えば、図７（ｂ）に示される文字「プ」のように、図３（ｂ）で見られたような縦線抜け領域における文字欠け部分が埋められて、繋がるように補正されている箇所もある。図７（ｃ）でも縦線抜け領域における文字欠け部分が補正されているが、それと同時に、本来結合すべきでない箇所の黒画素同士が繋がってしまうことがある。例えば、図７（ｃ）の文字「計」のように、「言」と「十」の間が結合してしまっている。すなわち、白画素の収縮処理（黒画素の膨張処理）によって、本来繋がるべきでない箇所の黒画素同士が繋がってしまっており、画素不良が発生している。このような画像不良が発生すると、文字認識精度が低下するため、画像不良を発生させることなく、縦線抜け領域の文字を補正する必要がある。

次に、Ｓ６０２において、ＣＰＵ１１１はＲＡＭ１１３に、Ｓ６０１で生成された修正用二値画像Ｅを格納する。なお、修正用二値画像Ｅが格納されるＲＡＭ１１３の領域は、二値画像Ｂなどが格納されているＲＡＭ１１３の領域とは異なる。

次に、再び図２のフローチャートに戻り、Ｓ２０５において、ＣＰＵ１１１は、修正用二値画像Ｅにおける、縦線抜け領域５０１〜５０９に対応する位置の領域７０１〜７０９の画素情報Ｙを、二値画像Ｂに合成する。これにより、二値画像Ｂにおける文字欠けを補正する（縦線抜け領域合成処理）。
図８は、Ｓ２０５において実行される縦線抜け領域合成処理の詳細な処理を示すフローチャートである。

Ｓ８０１において、ＣＰＵ１１１は、ＲＡＭ１１３に格納した縦線抜け領域５０１〜５０９の位置情報Ｘと、二値画像Ｂと、修正用二値画像Ｅのデータを取得し、レジスタに格納する。
次に、Ｓ８０２において、ＣＰＵ１１１は、上記データを用いて、修正用二値画像Ｅから、縦線抜け領域５０１〜５０９の位置情報Ｘに対応する位置の領域７０１〜７０９の画素情報Ｙを抽出する。

次に、Ｓ８０３において、ＣＰＵ１１１は、修正用二値画像Ｅから抽出した領域７０１〜７０９の画素情報Ｙで、縦線抜け領域５０１〜５０９の位置情報Ｘに対応する二値画像Ｂ内の位置の画素情報を上書きして、合成二値画像Ｆを生成する。なお、合成二値画像Ｆを生成するにあたっては、画素値の上書き処理に限るものではなく、ビット演算や合成などの処理を用いてもよい。

図９（ａ）は、縦線埋め領域７０１〜７０９の画素情報Ｙで上書きした合成二値画像Ｆの例である。また、図９（ｂ）及び（ｃ）は、それぞれ、合成二値画像Ｆの一部を拡大した画像である。
図９（ｂ）及び（ｃ）では、図３（ｂ）及び（ｃ）で見られたような二値画像Ｂに存在した縦線抜けが補正されていることが分かる。また、図９（ｃ）では、図７（ｃ）で見られたような文字の結合や黒潰れが発生していないことも分かる。

以上のとおり、本実施形態によれば、縦線抜けにより欠けた文字の補正を実現できるとともに、縦線抜け領域以外の領域は黒潰れしないようにすることができる。

＜第２の実施形態＞
上述したように、縦線抜け領域の幅は、一定でなく、位置によって異なるが、スキャン画像によってはかなり広い領域が抜けることがある。そのため、スキャン画像に縦線抜け領域の幅が極端に広い領域が存在する場合、第１の実施形態による方法では、その領域の文字欠けが十分に補正されないおそれがある。
そこで、本実施形態では、縦線抜け領域の最大幅を算出し、最大幅においても十分な補正ができるように第２のモルフォロジー処理の条件を決定することにより、すべての縦線抜け領域において十分な補正を実現するようにする。
なお、以下においては、第１の実施形態との差分について主に説明する。特に説明しない部分については、第１の実施形態と同じ構成や処理である。

図１０は、第２の実施形態に係る縦線抜け画像の補正処理のフローチャートである。
Ｓ１００１からＳ１００３までの処理は、図２のフローチャートに示した第１の実施形態におけるＳ２０１からＳ２０３までの処理と同様である。
本実施形態では、Ｓ１００４において、ＣＰＵ１１１は、Ｓ１００３で特定した各縦線抜け領域の幅を算出する。
次に、Ｓ１００５において、ＣＰＵ１１１は、Ｓ１００４で算出した各縦線抜け領域の幅の中から、その最大値を特定し、レジスタに格納する。なお、図５Ａの例では、領域５０１，５０９は、画像の左右両端に存在する領域であるので、余白と判断して対象外とする。すなわち、領域５０２〜５０８の中から最大幅を特定する。

次に、Ｓ１００６において、ＣＰＵ１１１は、修正用画像生成処理を行う。ここで、本実施形態の修正用画像生成処理では、第１の実施形態と同様に、縦線抜け領域を埋めるために、第２のモルフォロジー処理として、モルフォロジーの収縮処理（黒画素領域を広げる処理）を行う。ただし、本実施形態において行うモルフォロジーの収縮処理は、Ｓ１００５において特定された縦線抜け領域の最大幅においても十分な補正ができるような条件で行う。
また、縦線抜け領域ごとに縦線抜け領域の幅に基づいて適切なモルフォロジーの条件を決定し、各々の修正画像を生成することにより、より正確な縦線抜け領域の補正を行うこともできる。

以上のとおり、本実施形態によれば、スキャン画像に縦線抜け幅が極端に広い領域が存在した場合であっても、正確な縦線抜け領域の補正を実現することができる。

＜第３の実施形態＞
上述の実施形態においては、文字が比較的多く存在するスキャン画像を前提にして説明したが、スキャン画像の種類によっては、スキャン画像内の文字数が極めて少ない場合もある。文字数の少ないスキャン画像では、特に縦線方向に文字数が少ない場合、文字間の白画素領域が縦線抜け領域として認識されることがある。
このように文字数の少ないスキャン画像に対しても、通常は、文字間を縦線抜け領域として認識して、補正処理を行っても問題はない。しかし、文字間の間隔が極めて狭い場合は、縦線抜け領域の両側にある各文字を結合してしまう場合がある。

図１３（ａ）に、本実施形態で用いられる傾き補正後の二値画像Ｂの例を示す。
図１３（ｂ）及び（ｃ）は、図１３（ａ）内の一部を拡大表示したものである。図１３（ｂ）の「３」と「５」の間と、図１３（ｃ）の「０」と「０」の間の領域１３０１は、縦方向の全体にわたって文字が存在しないため、縦線抜け領域として誤認識される。そして、誤認識された縦線抜け領域１３０１の間隔が狭いため、第１や第２の実施形態による補正処理を行うと、「３」と「５」の２文字及び「０」と「０」の２文字を、それぞれ、結合してしまうおそれがある。

そこで、本実施形態においては、縦線抜け領域と判断した領域に隣接する両側の画素塊を個別に評価し、各画素塊が文字として認識できるかどうかを判断する。そして、両側の画素塊がそれぞれ文字として認識できた場合は、当該両側の画素塊は別々の文字であると判断できる。すなわち、その縦線抜け領域は通常の文字間の領域であり、補正処理を行う必要はないと判断する。それにより、補正処理により、誤って縦線抜け領域の両側の文字が結合されることを防止する。なお、ここで、文字とは、帳票などの文書に描画された、日付、会社名、金額、電話番号などの項目を表す要素であり、数字や記号なども含むものである。
なお、以下においては、第１の実施形態との差分について主に説明する。特に説明しない部分については、第１の実施形態と同様の構成や処理である。

図１１は、本実施形態に係る縦線抜け画像補正処理のフローチャートである。
Ｓ１１０１からＳ１１０３までの処理は、図２に示した第１の実施形態におけるＳ２０１からＳ２０３までの処理と同様である。

Ｓ１１０３で縦線抜け領域特定処理を行うと、Ｓ１１０４において、ＣＰＵ１１１は、二値画像Ｂ′からスキャン画像内の文字数に関連する情報である文字情報を算出する。ここで、文字情報とは、スキャン画像内の文字数が極めて少ないか否かを判断するための判断基準となる情報のことであり、例えば、二値画像内の総黒画素数、総文字数、総行数、文字間隔などである。本実施形態では、算出された総黒画素数が予め定めた閾値より少ないか否かにより、文字数が極めて少ないか否かを判断するものとする。ただし、スキャン画像内の文字数が極めて少ないか否かを判断することができれば、上記に例示した文字情報などの総黒画素数以外を判断基準として用いてもよく、また、これらの判断基準を組み合わせて用いてもよい。

次に、Ｓ１１０５において、ＣＰＵ１１１は、スキャン画像内の文字数に関連する情報が所定の条件を満たしているか否か（本実施形態では、総黒画素数が予め定めた閾値以上であるか否か）を判断する。
総黒画素数が閾値以上である場合、つまり、二値画像Ｂ′内に十分な文字が存在する場合（Ｓ１１０５でＹｅｓ）、Ｓ１１０６へ進み、第１の実施形態と同様の処理を実行する。総黒画素数が閾値より少なければ（Ｓ１１０５でＮｏ）、Ｓ１１０８へ進む。

Ｓ１１０８において、ＣＰＵ１１１は、二値画像Ｂ′から文字領域を抽出し、ＲＡＭ１１３へ格納する。
次に、Ｓ１１０９において、ＣＰＵ１１１は、抽出した各文字領域に対して文字認識処理を実行し、信頼度を算出する。ここで、本実施形態における信頼度とは、文字認識処理の対象である文字の特徴量と、ＯＣＲ結果の文字の特徴量との一致度を数値化（０〜２５５）したものである。この数値が低いほど、文字認識処理の結果がより信頼できることを示す。なお、信頼度は、各文字についての文字認識処理の結果の確からしさを客観的に比較することができるものであれば、その表現方法は問わない。

Ｓ１１１０において、ＣＰＵ１１１は、二値画像Ｂ′を用いて縦線抜け領域を修正した修正用二値画像Ｅ′を生成する（修正用画像生成処理）。なお、この処理は、図２に示した第１の実施形態におけるＳ２０４の処理と同様である。
Ｓ１１１１において、ＣＰＵ１１１は、修正用二値画像Ｅにおける、縦線抜け領域に対応する位置の領域の画素情報Ｙを抽出し、当該抽出した画素情報を二値画像Ｂに合成する（縦線抜け領域合成処理）。ただし、縦線抜け領域に隣接する両側の画素塊が個別の文字であると判定された場合は、その縦線抜け領域については合成処理の対象外とする。

図１２は、Ｓ１１１１において実行される縦線抜け領域合成処理の詳細を示すフローチャートである。
Ｓ１２０１において、ＣＰＵ１１１は、ＲＡＭ１１３に格納した縦線抜け領域の位置情報Ｘと、二値画像Ｂと、修正用二値画像Ｅのデータを取得し、レジスタに格納する。なお、この処理は、図８に示した第１の実施形態におけるＳ８０１の処理と同様である。

次に、Ｓ１２０２からＳ１２０９までのループにおいて、ＣＰＵ１１１は、各縦線抜け領域について、所定の条件に合致する場合に上書きをする。各縦線抜け領域について、所定の条件に合致するか否かは、Ｓ１２０３からＳ１２０６までの各項目に基づいて判断する。
そして、上書きすると判断した場合、ＣＰＵ１１１は、Ｓ１２０７及びＳ１２０８において、修正用二値画像Ｅにおける縦線埋め領域に対応する位置の画素情報Ｙを抽出して、二値画像Ｂの対応する位置に上書き合成する。なお、Ｓ１２０７及びＳ１２０８の処理は、図８に示した第１の実施形態におけるＳ８０２及びＳ８０３の処理と同様である。

まず、Ｓ１２０３において、ＣＰＵ１１１は、縦線抜け領域に隣接する両側の画素塊が、それぞれ単独の文字である可能性が高いか否かを判断する。ここで、文字とは、一般的な文字の他、数字や記号なども含むものである。
文字であると判断された場合は（Ｓ１２０３のＹｅｓ）、Ｓ１２０４へ進む。文字でないと判断された場合は（Ｓ１２０３のＮｏ）、Ｓ１２０７へ進む。

例えば、図１３（ａ）の二値画像Ｂの場合、図１３（ｂ）の縦線抜け領域１３０１に隣接する両側の黒画素塊１３１１及び１３１２に対して文字認識処理を行う。そして、文字認識結果として、それぞれ、文字「３」及び「５」が候補として得られたものとする。また、図１３（ｃ）の縦線抜け領域１３０１に隣接する両側の黒画素塊１３２１及び１３２２に対して文字認識処理を行った結果、それぞれ、文字「０」及び「０」が候補として得られたものとする。文字認識結果として候補文字が得られた場合は、文字であると判断する。

次に、ＣＰＵ１１１は、Ｓ１２０４からＳ１２０６までの各条件に基づいて、Ｓ１２０３で判断された文字が、独立した文字である可能性が高いかどうか判断する。
まず、Ｓ１２０４において、ＣＰＵ１１１は、縦線抜け領域に隣接する両側の画素塊の文字認識結果の信頼度が予め定めた閾値より低いか否かを評価する。信頼度が閾値より低い場合は（Ｓ１２０４のＹｅｓ）、Ｓ１２０５へ進む。信頼度が閾値以上の場合は（Ｓ１２０４のＮｏ）、各画素塊は単独の文字である可能性が高いので、Ｓ１２０２へ戻り、当該縦線抜け領域では上書きを行わない。そして、次の縦線抜け領域について処理をする。

Ｓ１２０５において、ＣＰＵ１１１は、縦線抜け領域に隣接する各黒画素塊について、サイズが一般的な文書の文字サイズの範囲外であるか否かを評価する。一般的な文字サイズの範囲外であれば（Ｓ１２０５のＹｅｓ）、Ｓ１２０６へ進む。文字サイズが一般的なサイズの範囲内であれば（Ｓ１２０５のＮｏ）、Ｓ１２０２へ戻り、当該縦線抜け領域では上書きを行わない。そして、次の縦線抜け領域について処理をする。なお、本実施形態では、一般的な文字サイズを２０〜１００ピクセルとして評価する。ただし、ユーザが文字サイズの範囲を指定してもよい。

Ｓ１２０６において、ＣＰＵ１１１は、縦線抜け領域に隣接する文字について、縦横比が一般的な文字の範囲外か否かを評価する。
一般的な文字の縦横比の範囲外であれば（Ｓ１２０６のＹｅｓ）、Ｓ１２０７へ進む。一般的な文字の縦横比の範囲内であれば（Ｓ１２０６のＮｏ）、Ｓ１２０２へ戻り、当該縦線抜け領域では上書きを行わない。そして、次の縦線抜け領域について処理をする。なお、本実施形態では、文字の縦横比を文字高さ／文字幅と定義し、一般的な文字の縦横比の範囲を０．７〜１．５として評価する。ただし、ユーザが文字の縦横比の範囲を指定してもよい。

以上のとおり、本実施形態によれば、スキャン画像内の文字が少なく、かつ、文字間が極めて狭い場合であっても、正確な縦線抜け領域の補正を実現することができる。

＜その他の実施例＞
本発明は、前述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。また、本発明は、複数の機器から構成されるシステムに適用しても、１つの機器からなる装置に適用してもよい。
本発明は前述の実施例に限定されるものではなく、本発明の趣旨に基づき種々の変形が可能であり、それらを本発明の範囲から除外するものではない。すなわち、前述した実施例及びその変形例を組み合わせた構成もすべて本発明に含まれるものである。

１００ 複写機
１０１ スキャナ
１１０ 情報処理装置

Claims (15)

1. 第１の二値画像を取得する第１の画像取得手段と、
   前記第１の二値画像に対して第１のモルフォロジーを実行することにより、第２の二値画像を生成する第２の画像生成手段と、
   前記第２の二値画像に基づいて縦線抜け領域を特定する特定手段と、
   前記第２の二値画像に対して前記第１のモルフォロジーとは異なる条件で第２のモルフォロジーを実行することにより、第３の二値画像を生成する第３の画像生成手段と、
   前記第３の二値画像における前記縦線抜け領域に対応する領域の画素情報を取得する取得手段と、
   前記取得した画素情報を用いて、前記第１の二値画像における前記縦線抜け領域に対応する領域を補正することにより、第４の二値画像を生成する第４の画像生成手段と、を有する
   ことを特徴とする画像処理装置。
2. 前記第４の二値画像は、前記第１の二値画像における前記縦線抜け領域に対応する領域に、前記第３の二値画像から取得した画素情報を合成することによって生成される
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の二値画像は、傾き補正された二値画像である
   ことを特徴とする請求項１又は２に記載の画像処理装置。
4. 前記第１のモルフォロジーとして、モルフォロジーの膨張処理を含む
   ことを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
5. 前記第２のモルフォロジーは、白画素の収縮処理を含む
   ことを特徴とする請求項１乃至４のいずれか１項に記載の画像処理装置。
6. 前記縦線抜け領域は、前記第２の二値画像の垂直方向のヒストグラムにおいて黒画素数が閾値以下である位置に基づいて特定される
   ことを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記第２のモルフォロジーの処理内容は、前記縦線抜け領域の幅に基づいて決定される
   ことを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 複数の縦線抜け領域が特定された場合、前記第２のモルフォロジーの処理内容は、前記複数の縦線抜け領域の幅の最大値に基づいて決定される
   ことを特徴とする請求項７に記載の画像処理装置。
9. 複数の縦線抜け領域が特定された場合、前記第２のモルフォロジーの処理内容は、前記複数の縦線抜け領域それぞれの幅に基づいて決定される
   ことを特徴とする請求項７に記載の画像処理装置。
10. 前記第４の画像生成手段は、隣接する両側の黒画素塊がそれぞれ個別の文字である縦線抜け領域に対しては前記補正を行わない
    ことを特徴とする請求項１乃至９のいずれか１項に記載の画像処理装置。
11. 前記第４の画像生成手段は、前記隣接する両側の黒画素塊それぞれの文字認識結果の信頼度が高い場合に、前記隣接する両側の黒画素塊がそれぞれ個別の文字であると判断する
    ことを特徴とする請求項１０に記載の画像処理装置。
12. 前記第４の画像生成手段は、前記隣接する両側の黒画素塊それぞれの文字認識結果の信頼度と、前記隣接する両側の黒画素塊それぞれのサイズと、前記隣接する両側の黒画素塊それぞれの縦横比と、の少なくともいずれかに基づいて、前記補正を行う縦線抜け領域であるか否かを判定する
    ことを特徴とする請求項１０に記載の画像処理装置。
13. 前記第１の二値画像は、文書をスキャンして得られたスキャン画像を二値化することにより得た画像である
    ことを特徴とする請求項１乃至１２のいずれか１項に記載の画像処理装置。
14. 第１の二値画像を取得する第１の画像取得工程と、
    前記第１の二値画像に対して第１のモルフォロジーを実行することにより、第２の二値画像を生成する第２の画像生成工程と、
    前記第２の二値画像に基づいて縦線抜け領域を特定する特定工程と、
    前記第２の二値画像に対して前記第１のモルフォロジーとは異なる条件で第２のモルフォロジーを実行することにより、第３の二値画像を生成する第３の画像生成工程と、
    前記第３の二値画像における前記縦線抜け領域に対応する領域の画素情報を取得する取得工程と、
    前記取得した画素情報を用いて、前記第１の二値画像における前記縦線抜け領域に対応する領域を補正することにより、第４の二値画像を生成する第４の画像生成工程と、を有する
    ことを特徴とする画像処理方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images