JP6303671B2 - 画像処理装置及び画像処理プログラム - Google Patents

Description

本発明は、画像処理装置及び画像処理プログラムに関する。

特許文献１には、屋外や工場内などの現場での文字認識に汎用的に適用できる文字認識方法及び装置を提供することを課題とし、認識対象文字の撮影画像を複数の閾値で２値化した複数の文字パターンを取得し、この複数の文字パターンをＸ方向、Ｙ方向に射影加算することによって文字領域を切り出し、得られた文字をニューラルネットワークに入力して、設定基準値を越える出力値が最大値をとるものを最終認識結果として出力することが開示されている。

特許文献２には、未知の照明条件に対し頑健な文字認識の実現を課題とし、複数の異なる二値化手段と、それらから得られる文字パターン候補を統合する手段と、文字パターン候補を解析して文字列として認識することが開示されている。

特開２００３−０１６３８６号公報 特開２００６−０５９１２４号公報

本発明は、画像内から文字列を抽出する場合にあって、背景がある画像からも文字列を抽出するようにした画像処理装置及び画像処理プログラムを提供することを目的としている。

かかる目的を達成するための本発明の要旨とするところは、次の各項の発明に存する。
請求項１の発明は、画像を２値化する複数の２値化手段と、前記２値化手段によって２値化された各２値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、前記抽出手段によって抽出された文字列を合成する合成手段を具備し、前記抽出手段は、前記選択手段によって選択された第１の画素塊の外接矩形の大きさに応じた第１の矩形を設定し、該外接矩形の周辺にある各２値化画像の該第１の矩形内を文字認識し、該文字認識した結果の確信度が閾値より高い又は以上である画素塊の組み合わせを、第１の文字の隣にある第２の文字とし、次に該第２の文字を第１の文字に設定して文字列を抽出することを特徴とする画像処理装置である。

請求項２の発明は、前記選択手段は、前記各２値化画像を文字認識した結果の文字の確信度が予め定められた第１の閾値より高い又は以上であって、該文字の複雑度が第２の閾値より高い又は以上である画素塊を選択することを特徴とする請求項１に記載の画像処理装置である。

請求項３の発明は、前記複雑度は、前記画素塊の外接矩形内での交番数、文字認識結果である文字の字画数のいずれか、又はこれらの組み合わせであることを特徴とする請求項２に記載の画像処理装置である。

請求項４の発明は、前記選択手段は、前記各２値化画像を文字認識した結果の文字の確信度が予め定められた第１の閾値より高い又は以上であって、該文字が予め定められた文字ではない画素塊を選択することを特徴とする請求項１に記載の画像処理装置である。

請求項５の発明は、前記抽出手段は、予め定められた条件に合致する画素塊の組み合わせを除外して前記文字認識を行うことを特徴とする請求項１に記載の画像処理装置である。

請求項６の発明は、前記予め定められた条件として、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、前記第１の画素塊における文字のストローク幅と異なるストローク幅を含む組み合わせであることのいずれか、又はこれらの組み合わせであることを特徴とする請求項５に記載の画像処理装置である。

請求項７の発明は、前記合成手段は、前記各２値化画像における文字列画像を論理和合成して文字列画像を生成すること、又は、前記各２値化画像における文字列画像に対応する各文字の文字コード毎に計数し、該計数の結果に基づいて文字列画像を生成することを特徴とする請求項１から６のいずれか一項に記載の画像処理装置である。

請求項８の発明は、前記２値化手段は、複数の異なる閾値による２値化、前記画像を反転後に複数の異なる閾値による２値化、又はこれらの組み合わせの２値化を行うことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置である。

請求項９の発明は、コンピュータを、画像を２値化する複数の２値化手段と、前記２値化手段によって２値化された各２値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、前記抽出手段によって抽出された文字列を合成する合成手段として機能させ、前記抽出手段は、前記選択手段によって選択された第１の画素塊の外接矩形の大きさに応じた第１の矩形を設定し、該外接矩形の周辺にある各２値化画像の該第１の矩形内を文字認識し、該文字認識した結果の確信度が閾値より高い又は以上である画素塊の組み合わせを、第１の文字の隣にある第２の文字とし、次に該第２の文字を第１の文字に設定して文字列を抽出することを特徴とする画像処理プログラムである。

請求項１の画像処理装置によれば、画像内から文字列を抽出する場合にあって、背景がある画像からも文字列を抽出することができる。また、第１の画素塊の外接矩形の周辺にある文字を抽出することができる。

請求項２の画像処理装置によれば、文字認識した結果の文字の確信度と文字の複雑度を用いて、文字である画素塊を選択することができる。

請求項３の画像処理装置によれば、複雑度として、交番数又は字画数を用いることができる。

請求項４の画像処理装置によれば、文字認識した結果の文字の確信度と予め定められた文字を用いて、文字である画素塊を選択することができる。

請求項５の画像処理装置によれば、予め定められた条件に合致する画素塊の組み合わせを除外して文字認識を行うことができる。

請求項６の画像処理装置によれば、予め定められた条件として、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、又は第１の画素塊における文字のストローク幅と異なるストローク幅を含む組み合わせであることを用いることができる。

請求項７の画像処理装置によれば、論理和合成、又は文字コードの計数結果に基づいて文字列画像を生成することができる。

請求項８の画像処理装置によれば、複数の異なる閾値を用いて２値化を行うことができる。

請求項９の画像処理プログラムによれば、画像内から文字列を抽出する場合にあって、背景がある画像からも文字列を抽出することができる。また、第１の画素塊の外接矩形の周辺にある文字を抽出することができる。

本実施の形態の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態の起点文字探索モジュール内の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態の文字列探索モジュール内の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態の文字列探索モジュール内の構成例についての概念的なモジュール構成図である。 本実施の形態による処理例を示すフローチャートである。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態による処理例を示す説明図である。 本実施の形態を実現するコンピュータのハードウェア構成例を示すブロック図である。

以下、図面に基づき本発明を実現するにあたっての好適な一実施の形態の例を説明する。
図１は、本実施の形態の構成例についての概念的なモジュール構成図を示している。
なお、モジュールとは、一般的に論理的に分離可能なソフトウェア（コンピュータ・プログラム）、ハードウェア等の部品を指す。したがって、本実施の形態におけるモジュールはコンピュータ・プログラムにおけるモジュールのことだけでなく、ハードウェア構成におけるモジュールも指す。それゆえ、本実施の形態は、それらのモジュールとして機能させるためのコンピュータ・プログラム（コンピュータにそれぞれの手順を実行させるためのプログラム、コンピュータをそれぞれの手段として機能させるためのプログラム、コンピュータにそれぞれの機能を実現させるためのプログラム）、システム及び方法の説明をも兼ねている。ただし、説明の都合上、「記憶する」、「記憶させる」、これらと同等の文言を用いるが、これらの文言は、実施の形態がコンピュータ・プログラムの場合は、記憶装置に記憶させる、又は記憶装置に記憶させるように制御するの意である。また、モジュールは機能に一対一に対応していてもよいが、実装においては、１モジュールを１プログラムで構成してもよいし、複数モジュールを１プログラムで構成してもよく、逆に１モジュールを複数プログラムで構成してもよい。また、複数モジュールは１コンピュータによって実行されてもよいし、分散又は並列環境におけるコンピュータによって１モジュールが複数コンピュータで実行されてもよい。なお、１つのモジュールに他のモジュールが含まれていてもよい。また、以下、「接続」とは物理的な接続の他、論理的な接続（データの授受、指示、データ間の参照関係等）の場合にも用いる。「予め定められた」とは、対象としている処理の前に定まっていることをいい、本実施の形態による処理が始まる前はもちろんのこと、本実施の形態による処理が始まった後であっても、対象としている処理の前であれば、そのときの状況・状態に応じて、又はそれまでの状況・状態に応じて定まることの意を含めて用いる。「予め定められた値」が複数ある場合は、それぞれ異なった値であってもよいし、２以上の値（もちろんのことながら、全ての値も含む）が同じであってもよい。また、「Ａである場合、Ｂをする」という意味を有する記載は、「Ａであるか否かを判断し、Ａであると判断した場合はＢをする」の意味で用いる。ただし、Ａであるか否かの判断が不要である場合を除く。
また、システム又は装置とは、複数のコンピュータ、ハードウェア、装置等がネットワーク（一対一対応の通信接続を含む）等の通信手段で接続されて構成されるほか、１つのコンピュータ、ハードウェア、装置等によって実現される場合も含まれる。「装置」と「システム」とは、互いに同義の用語として用いる。もちろんのことながら、「システム」には、人為的な取り決めである社会的な「仕組み」（社会システム）にすぎないものは含まない。
また、各モジュールによる処理毎に又はモジュール内で複数の処理を行う場合はその処理毎に、対象となる情報を記憶装置から読み込み、その処理を行った後に、処理結果を記憶装置に書き出すものである。したがって、処理前の記憶装置からの読み込み、処理後の記憶装置への書き出しについては、説明を省略する場合がある。なお、ここでの記憶装置としては、ハードディスク、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、外部記憶媒体、通信回線を介した記憶装置、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）内のレジスタ等を含んでいてもよい。

本実施の形態である画像処理装置１００は、画像内から文字列を抽出するものであって、図１の例に示すように、画像受付モジュール１１０、２値化（１）モジュール１２０Ａ、２値化（２）モジュール１２０Ｂ、・・・、２値化（Ｎ）モジュール１２０Ｚ、起点文字探索モジュール１３０Ａ、起点文字探索モジュール１３０Ｂ、・・・、起点文字探索モジュール１３０Ｚ、文字列探索モジュール１４０Ａ、文字列探索モジュール１４０Ｂ、・・・、文字列探索モジュール１４０Ｚ、文字列合成モジュール１５０を有している。

画像受付モジュール１１０は、２値化（１）モジュール１２０Ａ、２値化（２）モジュール１２０Ｂ、２値化（Ｎ）モジュール１２０Ｚ、文字列探索モジュール１４０Ｚと接続されている。画像受付モジュール１１０は、対象となる画像を受け付ける。画像を受け付けるとは、例えば、カメラ等で画像を撮影すること、動画像から画像を抽出すること、スキャナ等で画像を読み込むこと、ファックス等で通信回線を介して外部機器から画像を受信すること、ハードディスク（コンピュータに内蔵されているものの他に、ネットワークを介して接続されているもの等を含む）等に記憶されている画像を読み出すこと等が含まれる。画像は、多値画像（カラー画像を含む）である。受け付ける画像は、１枚であってもよいし、複数枚であってもよい。また、画像の内容として、広告宣伝用のパンフレット等におけるデザイン文字列、風景画像における看板等に記載された文字列、動画像におけるテロップ等のような文字列が含まれている。また、その文字列には背景があってもよい。また、文字の位置、サイズ、色等は未知であり、文字列の並びも直線と仮定できなくてもよい。具体的には、カメラで撮影した風景画像、教室において講義を撮影した動画像、自動車のドライブレコーダーで撮影した動画像等から抽出した画像（情景画像ともいわれる）が該当する。

２値化モジュール１２０、起点文字探索モジュール１３０、文字列探索モジュール１４０は、それぞれ複数ある。それぞれのモジュールは、同等の処理を行うので、それぞれ２値化（１）モジュール１２０Ａ、起点文字探索モジュール１３０Ａ、文字列探索モジュール１４０Ａを代表して説明する。
２値化（１）モジュール１２０Ａは、画像受付モジュール１１０、起点文字探索モジュール１３０Ａと接続されている。２値化（１）モジュール１２０Ａは、起点文字探索モジュール１３０Ａに２値化画像層（１）１２２Ａを渡す。２値化（１）モジュール１２０Ａは、画像受付モジュール１１０が受け付けた画像を２値化する。それぞれの２値化モジュール１２０は、異なる２値化処理を行う。「異なる２値化処理」として、例えば、手法そのものが異なる２値化であってもよい。例えば、２値化（１）モジュール１２０Ａはｐ−タイル法、２値化（２）モジュール１２０Ｂはモード法、２値化（Ｎ）モジュール１２０Ｚは判別分析法等のようにしてもよい。それぞれが異なる２値化画像を出力するものであればよい。また、「異なる２値化処理」として、複数の異なる閾値による２値化、対象となっている画像を反転後に複数の異なる閾値による２値化、又はこれらの組み合わせの２値化であってもよい。なお、「対象となっている画像を反転」するのは、白抜き文字等に対応するためである。

図９の例に示す２値化画像９００は、「なかた商店」という文字が記載された看板が含まれている情景画像を２値化モジュール１２０のいずれかが２値化処理した結果である。２値化画像９００内には、「なかた商店」という文字の画像の他に、文字「た」の近傍に、ノイズ（非文字）９１０、ノイズ（非文字）９２０、ノイズ（非文字）９３０が含まれることがある。従来の技術では、１文字の画像を切り出すのに、これらのノイズに影響を受けてしまい、１文字の画像として、図１０の例に示すように連結方向１０１０として、「た」の画像以外にノイズ（非文字）９１０、ノイズ（非文字）９２０等も含めて文字画像としてしまうことがある。

起点文字探索モジュール１３０Ａは、２値化（１）モジュール１２０Ａ、文字列探索モジュール１４０Ａ、文字列探索モジュール１４０Ｂ、文字列探索モジュール１４０Ｚと接続されている。起点文字探索モジュール１３０Ａは、２値化（１）モジュール１２０Ａによって２値化された２値化画像層（１）１２２Ａ内の画素塊が文字である可能性に基づいて、画素塊を選択する。ここで選択する画素塊は、文字である可能性が高い画素塊である。また、画素塊とは、４連結又は８連結で連続する画素領域を少なくとも含み、これらの画素領域の集合をも含む。これらの画素領域の集合とは、４連結等で連続した画素領域が複数あり、その複数の画素領域は近傍にあるものをいう。ここで、近傍にあるものとは、例えば、互いの画素領域が距離的に近いもの（互いの画素塊が予め定められた距離内にあること）等がある。なお、１つの画素塊として、１文字の画像となる場合が多い。ただし、実際に人間が文字として認識できる画素領域である必要はない。文字の一部分、文字を形成しない画素領域等もあり、何らかの画素の塊であればよい。起点文字探索モジュール１３０Ａによって選択された文字画像が、文字列を探索する場合の起点文字となる。
「文字である可能性に基づいて選択」とは、文字である可能性が高い画素塊を選択することである。そして、ここでの「文字である可能性が高い」とは、文字である可能性を示す値が、予め定められた閾値以上であること、又は、文字である可能性を示す値で降順に並べ、予め定められた順位より上位であること（例えば、文字である可能性を示す値がもっとも高いものであること）等がある。したがって、２値化画像において、文字である可能性が高い画素塊がない場合は、画素塊は選択されないことになり、その２値化画像においては文字列は抽出できないことになる。ただし、他の２値化画像で画素塊が選択されれば、文字列は抽出できることになる。

起点文字探索モジュール１３０Ａは、２値化画像層（１）１２２Ａを文字認識した結果の文字の確信度（例えば、文字認識用の特徴空間において、対象としている文字画像と辞書内の文字との距離の逆数等）が予め定められた第１の閾値より高い又は以上であって、その文字の複雑度が第２の閾値より高い又は以上である画素塊を選択するようにしてもよい。ここでの「複雑度」は、画素塊の外接矩形内での交番数（黒から白へ、白から黒への切り替わり回数）、文字認識結果である文字の字画数のいずれか、又はこれらの組み合わせとしてもよい。
また、起点文字探索モジュール１３０Ａは、２値化画像層（１）１２２Ａを文字認識した結果の文字の確信度が予め定められた第１の閾値より高い又は以上であって、該文字が予め定められた文字ではない画素塊を選択するようにしてもよい。

より具体的には、起点文字探索モジュール１３０Ａは、各々の２値化画像から既に知られているラベリング処理などにより、連結した画素領域を画素塊として認識し、それを外接矩形の画像として切り出して、文字認識することにより文字候補の文字コードと、その確信度（確度）を得る。外接矩形の領域に、他の画素塊も含まれる場合（外接矩形が重なる場合）は、それら複数の画素塊を含めた外接矩形の画像として切り出して、それを文字認識してもよい。
また、文字認識の出力として、文字コード、その文字の確信度の他に、字画数を加えてもよい。文字候補の複雑度は、その字画数を用いてもよいし、切り出した外接矩形の交番数を計測して用いてもよい。交番数は、外接矩形に対して、数本の平行線や垂線に沿って、白黒の反転回数を計測し、そのうちの最大数を交番数とすればよい。
また、複雑度の代わりに、予め定められた文字のリストを用いてもいい。つまり、そのリストに含まれている文字は、起点文字探索モジュール１３０Ａによって選択されない。そのリストに含まれている文字として、例えば、「１」、「ｌ」、「｜」、「一」、「□」、「Ｌ」、「○」等の文字がある。情景画像の２値化後の画像には、文字ではないが文字に類似した非文字画像が含まれており、文字認識結果を利用する場合、情景画像中には、前述した文字（「１」等）と間違えやすい自然物や構造物等があるため、単純な形状の文字は起点文字から除外する。また、これらの形状の文字は、文字認識を行うと高い確信度を出力してしまうことが多く、確信度だけで起点文字を判断することはできない。なお、起点文字は複数個あってもよい。

文字列探索モジュール１４０Ａは、起点文字探索モジュール１３０Ａ、起点文字探索モジュール１３０Ｂ、起点文字探索モジュール１３０Ｚ、文字列合成モジュール１５０と接続されている。文字列探索モジュール１４０Ａは、起点文字探索モジュール１３０によって選択された画素塊から隣接する文字を探索して文字列を抽出する。起点文字探索モジュール１３０によって選択された第１の画素塊（以下、起点文字ともいう）の外接矩形の大きさに応じた矩形（以下、ウィンドウともいう）を設定し、その外接矩形の周辺にある各２値化画像のその矩形内を文字認識し、その文字認識した結果の確信度が第３の閾値より高い又は以上である画素塊の組み合わせを、その第１の文字の隣にある第２の文字とし、次にその第２の文字を第１の文字に設定して文字列を抽出する。概略として、起点文字の周辺文字を抽出して、その周辺文字を起点文字にして次々と文字列を辿っていくことによって文字列を抽出する。より具体的には、起点文字の外接矩形の大きさに応じたウィンドウを設定し、その外接矩形の周辺を全ての２値化画像に対して１周させた際に、ウィンドウ内に入る全画素塊の組み合わせを文字認識し、その中で第３の閾値より高い又は以上となった画素塊の組み合わせを隣の文字の候補とし、次に隣の文字候補を起点文字に設定し、同様の方法で文字列を探索していく。

また、文字列探索モジュール１４０Ａは、予め定められた条件に合致する画素塊の組み合わせを除外して前記文字認識を行うようにしてもよい。この予め定められた条件は、異質な画素塊を含む組み合わせを除外するための条件であり、具体的には、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、前記第１の画素塊における文字のストローク幅と異なるストローク幅を含む組み合わせであることのいずれか、又はこれらの組み合わせとしてもよい。なお、ここでのストローク幅として、文字幅としてもよい。

より具体的には、文字列探索モジュール１４０Ａによる隣接文字の探索は、起点文字の大きさに基づいたサイズのウィンドウを全ての２値化画像上で起点文字周辺でスライディングさせ、その中の画素塊の組み合わせを文字認識し、その確信度が第３の閾値より高い又は以上である画素塊の組み合わせを隣の文字とし、再帰的に隣の文字の探索を行う。この場合、ウィンドウ内で色の異なる画素塊の組み合わせやストローク幅（文字幅）の異なる組み合わせは除外する。
また、組み合わせた画素塊の外接矩形の横幅又は縦幅が起点文字のサイズにより決定される値の範囲を超えている組み合わせを除外してもよい。
隣の文字候補をウィンドウ内の画素塊に限定している。そして、１つの文字は同じ色で構成されていることと仮定し、異なる色の組み合わせを除外してもよい。起点文字とストローク幅の違う画素塊はノイズの可能性が大きいので除外してもよい。
また、画素塊の組み合わせでその外接矩形の横幅、縦幅が大きい場合（例えば、起点文字の外接矩形の横幅又は縦幅と比較して、対象としている外接矩形の横幅又は縦幅が予め定められた倍数より大きい又は以上である場合、対象としている外接矩形の横幅と縦幅の比率が予め定められた値より大きい又は以上である場合等）は、その外接矩形内の画素塊の組み合わせはノイズを含んでる可能性が大きいので除外してもよい。
また、文字列が同じ色で描かれてると想定できる場合は、ウィンドウ内の画素塊は起点文字と同じ色に限定してもよい。
文字列探索モジュール１４０によって、任意の文字列方向（曲線も含む）に対応し、また、縦横混在の文字列にも対応する。

文字列合成モジュール１５０は、文字列探索モジュール１４０Ａ、文字列探索モジュール１４０Ｂ、文字列探索モジュール１４０Ｚと接続されている。文字列合成モジュール１５０は、各文字列探索モジュール１４０によって抽出された文字列を合成する。文字列合成モジュール１５０は、各２値化画像における文字列画像を論理和合成して文字列画像を生成すること、又は、各２値化画像における文字列画像に対応する各文字の文字コード毎に計数し、その計数の結果に基づいて文字列画像を生成するようにしてもよい。

図２は、本実施の形態による処理例を示すフローチャートである。
ステップＳ２０２では、画像受付モジュール１１０が、画像を受け付ける。
ステップＳ２０４では、各２値化モジュール１２０が、画像を２値化処理して、複数の２値化画像を生成する。
ステップＳ２０６では、各起点文字探索モジュール１３０が、各２値化画像から文字である可能性の高い画素塊（起点文字）を選択する。
ステップＳ２０８では、各文字列探索モジュール１４０が、選択された画素塊（起点文字）に隣接する文字を探索して、文字列を抽出する。
ステップＳ２１０では、文字列合成モジュール１５０が、抽出した文字列を合成する。
ステップＳ２１２では、文字列合成モジュール１５０が、文字列を出力する。

図３は、本実施の形態の起点文字探索モジュール１３０内の構成例についての概念的なモジュール構成図である。起点文字探索モジュール１３０は、文字認識モジュール３１０、複雑度算出モジュール３２０、起点文字探索処理モジュール３３０を有している。
文字認識モジュール３１０は、起点文字探索処理モジュール３３０と接続されている。文字認識モジュール３１０は、文字認識処理を行う。文字認識結果として、文字コード、その文字の確信度を出力する。
複雑度算出モジュール３２０は、起点文字探索処理モジュール３３０と接続されている。複雑度算出モジュール３２０は、前述の交番数を計測する。また、文字認識モジュール３１０によって文字認識された文字の字画数を出力する。例えば、文字コードと字画数を対応させて記憶しているテーブルを予め用意しておき、そのテーブルから文字コードを検索して、対応する字画数を出力すればよい。
起点文字探索処理モジュール３３０は、文字認識モジュール３１０、複雑度算出モジュール３２０と接続されている。起点文字探索処理モジュール３３０は、２値化画像内の画素塊が文字である可能性である文字認識モジュール３１０と複雑度算出モジュール３２０から出力した情報に基づいて、起点文字の画素塊を選択する。

図４は、本実施の形態（起点文字探索モジュール１３０）による処理例を示すフローチャートである。
ステップＳ４０２では、文字認識モジュール３１０が、２値化画像に対して文字認識処理を行う。
ステップＳ４０４では、複雑度算出モジュール３２０が、その文字の複雑度を算出する。
ステップＳ４０６では、起点文字探索処理モジュール３３０が、文字列内の起点となる文字を選択する。

図５は、本実施の形態の文字列探索モジュール１４０内の構成例についての概念的なモジュール構成図である。
文字列探索モジュール１４０は、ウィンドウ設定モジュール５１０、文字認識モジュール５２０、選択モジュール５３０、制御モジュール５４０を有している。
ウィンドウ設定モジュール５１０は、制御モジュール５４０と接続されている。ウィンドウ設定モジュール５１０は、起点文字探索モジュール１３０によって選択された起点文字の外接矩形の大きさに応じたウィンドウを設定する。起点文字の外接矩形の大きさと同じ大きさにしてもよいし、起点文字の外接矩形の縦長、横長に、予め定められた倍率を乗算して得た大きさにしてもよい。図１１の例を用いて説明する。起点文字探索モジュール１３０によって、図９の例に示した２値化画像９００内から「商」の文字画像が起点文字１１１０として選択されたとする。２値化画像９００の中でこの文字は複雑度が高い文字であるからである。ウィンドウ設定モジュール５１０は、起点文字１１１０の外接矩形の大きさに予め定められた倍率を乗算して得た大きさのウィンドウを設定する。例えば、検索窓１１３０であり、これは起点文字１１１０よりも大きい。具体的には、起点文字１１１０の外接矩形がＮ×Ｎの場合、検索窓１１３０をｔＮ×ｔＮに設定する。起点文字１１１０の外接矩形の周囲を１周するように、検索窓１１３０を走査する。走査として、例えば、起点文字１１１０の外接矩形の左上（検索範囲１１２０の左上角）、上、右上（検索範囲１１２０の右上角）、右、右下（検索範囲１１２０の右下角）、下、左下（検索範囲１１２０の左下角）、左の８個の検索窓１１３０を設定するようにしてもよいし、起点文字１１１０の外接矩形の左上（検索範囲１１２０の左上角）から予め定めた画素（例えば１画素）ずつ移動させて、起点文字１１１０の外接矩形を１周するように、検索窓１１３０を設定するようにしてもよい。したがって、探索範囲１１２０は、起点文字１１１０を中心とした「（２ｔ＋１）Ｎ×（２ｔ＋１）Ｎ」の矩形となる。なお、ｔは１以上が望ましい。さらには、１以上２未満が望ましい。

文字認識モジュール５２０は、制御モジュール５４０と接続されている。文字認識モジュール５２０は、前述の文字認識モジュール３１０と同等のものであり、１つの文字認識モジュールを起点文字探索モジュール１３０、文字列探索モジュール１４０が用いるようにしてもよい。文字認識モジュール５２０は、ウィンドウ設定モジュール５１０によって設定されたウィンドウ（例えば、検索窓１１３０）内の画像を文字認識する。
制御モジュール５４０は、ウィンドウ設定モジュール５１０、文字認識モジュール５２０、選択モジュール５３０と接続されている。制御モジュール５４０は、検索窓１１３０を起点文字１１１０の周りに１周させ（例えば、探索方向１１４２、探索方向１１４４、探索方向１１４６、探索方向１１４８）、その過程で検索窓１１３０内に入った画素塊の組み合わせを算出する。

なお、検索窓１１３０の移動量は、画素塊毎に移動するようにしてもよいし、予め定められた画素毎（例えば、検索窓１１３０の大きさ毎、１画素毎等）移動するようにしてもよい。
また、図１２の例に示すように、探索範囲１１２０は、他の２値化画像（例えば、全ての２値化画像）に設定してもよい。つまり、起点文字１１１０Ｂを選択した２値化画像９００Ｂに対してだけ探索範囲１１２０を設定するのではなく、２値化画像９００Ａ、２値化画像９００Ｚにも探索範囲１１２０を設置し、２値化画像９００Ａでは起点画像（起点文字１１１０Ｂに対応する位置の画像）の周囲を検索窓１１３０Ａでスキャンし、２値化画像９００Ｂでは起点文字１１１０Ｂの周囲を検索窓１１３０Ｂでスキャンし、２値化画像９００Ｚでは起点画像（起点文字１１１０Ｂに対応する位置の画像）の周囲を検索窓１１３０Ｚでスキャンする。

検索窓１１３０を移動させ、図１３の例に示すように「た」を含むところでは、検索窓１３３０内にはノイズ（非文字）９３０も含めて画素塊（連結領域）の数は４つある。具体的には、図１４（ａ）の例に示す検索窓１３３０では、図１４（ｂ）の例に示すように、認識対象１４１０、認識対象１４２０、認識対象１４３０、認識対象１４４０の４つとなる。したがって、全部で２^４−１個の組み合わせができる。なお、この式内の「−１」は、何もない場合（検索窓１３３０が空白の場合）は、対象外としたものである。これらの１つ１つの組み合わせの画像を、文字認識モジュール５２０で文字認識させる。

選択モジュール５３０は、制御モジュール５４０と接続されている。選択モジュール５３０は、文字認識モジュール５２０によって文字認識した結果の確信度が第３の閾値より高い又は以上である検索窓１１３０内の画素塊の組み合わせを、起点文字の隣にある第２の文字として選択する。ただし、複数の２値化画像において、同じ検索窓の位置で閾値を超える複数の文字候補があった場合は、もっとも確信度の高い文字を選択する。

制御モジュール５４０が行う隣接する文字の探索について、図１５の例を用いて説明する。図１５は、本実施の形態（文字列探索モジュール１４０）による処理例を示す説明図である。この探索は、再帰的な繰り返しを用いている。この例では、起点文字を選択するために用いる第１の閾値と、隣接する文字を選択するために用いる第３の閾値は異なる。第１の閾値を第３の閾値よりも高くすることが望ましい。図１５の例では、第１の閾値を０．９９９とし、第３の閾値を０．９９０とする。なお、確信度は、０〜１までの値をとり、１に近いほど確信度が高い（その文字である可能性が高い）ことを示している。文字認識結果（商）１５１０は、確信度が０．９９９７であったので、起点文字として選択された。もちろんのことながら、他の条件（複雑度、予め定められた文字のリストにない）も合致しているものである。そして、文字認識結果（商）１５１０の周囲をスキャンした結果、文字認識結果（た）１５２０の確信度が０．９９５３であり、文字認識結果（店）１５５０の確信度が０．９９２１であった。つまり、第３の閾値よりも高いので、起点文字の次の文字として、文字認識結果（た）１５２０、文字認識結果（店）１５５０が選択される。ここでは、深さ優先（確信度が高いものを優先）で、探索を行う。したがって、文字認識結果（た）１５２０を起点文字として、文字認識結果（た）１５２０の周囲をスキャンした結果（なお、文字認識結果（商）１５１０は対象から外す）、文字認識結果（か）１５３０の確信度が０．９９３６であり、第３の閾値よりも高いので、文字認識結果（た）１５２０の次の文字として、文字認識結果（か）１５３０が選択される。次に、文字認識結果（か）１５３０を起点文字として、文字認識結果（か）１５３０の周囲をスキャンした結果（なお、文字認識結果（た）１５２０は対象から外す）、文字認識結果（な）１５４０の確信度が０．９９７４であり、第３の閾値よりも高いので、文字認識結果（か）１５３０の次の文字として、文字認識結果（な）１５４０が選択される。文字認識結果（な）１５４０の周囲をスキャンした結果（なお、文字認識結果（か）１５３０は対象から外す）、第３の閾値よりも高いものはなかったので、順に戻る（文字認識結果（な）１５４０、文字認識結果（か）１５３０、文字認識結果（た）１５２０、文字認識結果（商）１５１０の順）。次に、文字認識結果（店）１５５０の周囲をスキャンした結果（なお、文字認識結果（商）１５１０は対象から外す）、第３の閾値よりも高いものはなかったので終了する。この結果、探索順は、「商→た→か→な→店」となる。もちろんのことながら、文字の位置に基づいて並べると「なかた商店」となる。

図６は、本実施の形態（文字列探索モジュール１４０）による処理例を示すフローチャートである。
ステップＳ６０２では、ウィンドウ設定モジュール５１０が、起点文字に応じて検索窓を設定する。
ステップＳ６０４では、文字認識モジュール５２０が、各検索窓内の画像に対して文字認識処理を行う。
ステップＳ６０６では、選択モジュール５３０が、起点文字の隣にある文字を文字認識結果内から選択する。
ステップＳ６０８では、制御モジュール５４０が、終了したか否かを判断し、終了した場合は処理を終了し（ステップＳ６９９）、それ以外の場合はステップＳ６１０へ進む。
ステップＳ６１０では、選択した文字を起点文字とし、ステップＳ６０２へ戻る。

図７は、本実施の形態の文字列探索モジュール１４０内の構成例についての概念的なモジュール構成図である。文字列探索モジュール１４０は、ウィンドウ設定モジュール５１０、除外モジュール７１０、文字認識モジュール５２０、選択モジュール５３０、制御モジュール５４０を有している。図５の例で示した文字列探索モジュール１４０に除外モジュール７１０を付加したものである。
除外モジュール７１０は、制御モジュール５４０と接続されている。除外モジュール７１０は、予め定められた条件に合致する画素塊の組み合わせを、文字認識モジュール５２０の処理対象から除外する。予め定められた条件として、例えば、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、起点文字のストローク幅と異なるストローク幅を含む組み合わせであることのいずれか、又はこれらの組み合わせがある。画素塊の色は、画像受付モジュール１１０が受け付けた画像（カラー画像）から、その画素塊の位置に対応する画素の色を抽出すればよい。「異なる色の画素塊を含む組み合わせ」の条件は、１文字内で色が異なるものを除外するものである。「異なるストローク幅」とは、画素塊の組み合わせの中で、各画素塊の幅が異なることをいう。「起点文字のストローク幅と異なるストローク幅」とは、起点文字の外接矩形の幅と画素塊の組み合わせを囲む外接矩形の幅とが異なることをいう。ここで異なるとは、完全一致以外の場合だけでなく、画素塊の幅の最小と最大の差が予め定められた範囲に収まっていない場合としてもよい。したがって、その範囲に収まっている場合は異なってはいないと判断することになる。

図８は、本実施の形態による処理例を示すフローチャートである。
ステップＳ８０２では、ウィンドウ設定モジュール５１０が、起点文字に応じて検索窓を設定する。
ステップＳ８０４では、除外モジュール７１０が、異質な検索窓の画像は文字認識対象から除外する。
ステップＳ８０６では、文字認識モジュール５２０が、検索窓内の画像に対して文字認識処理を行う。
ステップＳ８０８では、選択モジュール５３０が、起点文字の隣にある文字を文字認識結果内から選択する。
ステップＳ８１０では、制御モジュール５４０が、終了したか否かを判断し、終了した場合は処理を終了し（ステップＳ８９９）、それ以外の場合はステップＳ８１２へ進む。
ステップＳ８１２では、選択した文字を起点文字とし、ステップＳ８０２へ戻る。
ステップＳ８０６では、全ての検索窓内の画像に対して文字認識処理を行うわけではなく、ステップＳ８０４で除外された検索窓以外の検索窓内の画像に対して文字認識処理を行う。

図１６は、本実施の形態（文字列合成モジュール１５０）による処理例を示す説明図である。各２値化画像における文字列画像である文字列探索結果１６１０、文字列探索結果１６２０を合成して、文字列合成結果１６９０を生成している。図１６の例では、論理和（ＯＲ）合成した結果を示している。なお、文字列探索結果１６１０、文字列探索結果１６２０と２つの文字列の結果だけを示しているが、起点文字の数だけ発生することになる。また、各２値化画像における文字列画像に対応する各文字の文字コード毎に計数し、その計数の結果に基づいて文字列画像を生成するようにしてもよい。つまり、各文字の文字コードの多数決の結果、もっとも数の多かった文字コードに対応する画像を選択して文字列画像を生成している。

図１７を参照して、本実施の形態の画像処理装置のハードウェア構成例について説明する。図１７に示す構成は、例えばパーソナルコンピュータ（ＰＣ）などによって構成されるものであり、スキャナ等のデータ読み取り部１７１７と、プリンタなどのデータ出力部１７１８を備えたハードウェア構成例を示している。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１７０１は、前述の実施の形態において説明した各種のモジュール、すなわち、画像受付モジュール１１０、２値化モジュール１２０、起点文字探索モジュール１３０、文字列探索モジュール１４０、文字列合成モジュール１５０、文字認識モジュール３１０、複雑度算出モジュール３２０、起点文字探索処理モジュール３３０、ウィンドウ設定モジュール５１０、文字認識モジュール５２０、選択モジュール５３０、制御モジュール５４０、除外モジュール７１０等の各モジュールの実行シーケンスを記述したコンピュータ・プログラムにしたがった処理を実行する制御部である。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１７０２は、ＣＰＵ１７０１が使用するプログラムや演算パラメータ等を格納する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１７０３は、ＣＰＵ１７０１の実行において使用するプログラムや、その実行において適宜変化するパラメータ等を格納する。これらはＣＰＵバスなどから構成されるホストバス１７０４により相互に接続されている。

ホストバス１７０４は、ブリッジ１７０５を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス１７０６に接続されている。

キーボード１７０８、マウス等のポインティングデバイス１７０９は、操作者により操作される入力デバイスである。ディスプレイ１７１０は、液晶表示装置又はＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）などがあり、各種情報をテキストやイメージ情報として表示する。

ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）１７１１は、ハードディスクを内蔵し、ハードディスクを駆動し、ＣＰＵ１７０１によって実行するプログラムや情報を記録又は再生させる。ハードディスクには、画像受付モジュール１１０が受け付けた画像、２値化画像層１２２、起点文字に関する情報、文字認識結果、最終的な処理結果である文字列（文字列画像）などが格納される。さらに、その他の各種のデータ処理プログラム等、各種コンピュータ・プログラムが格納される。

ドライブ１７１２は、装着されている磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体１７１３に記録されているデータ又はプログラムを読み出して、そのデータ又はプログラムを、インタフェース１７０７、外部バス１７０６、ブリッジ１７０５、及びホストバス１７０４を介して接続されているＲＡＭ１７０３に供給する。リムーバブル記録媒体１７１３も、ハードディスクと同様のデータ記録領域として利用可能である。

接続ポート１７１４は、外部接続機器１７１５を接続するポートであり、ＵＳＢ、ＩＥＥＥ１３９４等の接続部を持つ。接続ポート１７１４は、インタフェース１７０７、及び外部バス１７０６、ブリッジ１７０５、ホストバス１７０４等を介してＣＰＵ１７０１等に接続されている。通信部１７１６は、通信回線に接続され、外部とのデータ通信処理を実行する。データ読み取り部１７１７は、例えばスキャナであり、ドキュメントの読み取り処理を実行する。データ出力部１７１８は、例えばプリンタであり、ドキュメントデータの出力処理を実行する。

なお、図１７に示す画像処理装置のハードウェア構成は、１つの構成例を示すものであり、本実施の形態は、図１７に示す構成に限らず、本実施の形態において説明したモジュールを実行可能な構成であればよい。例えば、一部のモジュールを専用のハードウェア（例えば特定用途向け集積回路（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ：ＡＳＩＣ）等）で構成してもよく、一部のモジュールは外部のシステム内にあり通信回線で接続しているような形態でもよく、さらに図１７に示すシステムが複数互いに通信回線によって接続されていて互いに協調動作するようにしてもよい。また、複写機、ファックス、スキャナ、プリンタ、複合機（スキャナ、プリンタ、複写機、ファックス等のいずれか２つ以上の機能を有している画像処理装置）などに組み込まれていてもよい。

また、前述の実施の形態の説明において、予め定められた値との比較において、「以上」、「以下」、「より大きい」、「より小さい（未満）」としたものは、その組み合わせに矛盾が生じない限り、それぞれ「より大きい」、「より小さい（未満）」、「以上」、「以下」としてもよい。

なお、説明したプログラムについては、記録媒体に格納して提供してもよく、また、そのプログラムを通信手段によって提供してもよい。その場合、例えば、前記説明したプログラムについて、「プログラムを記録したコンピュータ読み取り可能な記録媒体」の発明として捉えてもよい。
「プログラムを記録したコンピュータ読み取り可能な記録媒体」とは、プログラムのインストール、実行、プログラムの流通などのために用いられる、プログラムが記録されたコンピュータで読み取り可能な記録媒体をいう。
なお、記録媒体としては、例えば、デジタル・バーサタイル・ディスク（ＤＶＤ）であって、ＤＶＤフォーラムで策定された規格である「ＤＶＤ−Ｒ、ＤＶＤ−ＲＷ、ＤＶＤ−ＲＡＭ等」、ＤＶＤ＋ＲＷで策定された規格である「ＤＶＤ＋Ｒ、ＤＶＤ＋ＲＷ等」、コンパクトディスク（ＣＤ）であって、読出し専用メモリ（ＣＤ−ＲＯＭ）、ＣＤレコーダブル（ＣＤ−Ｒ）、ＣＤリライタブル（ＣＤ−ＲＷ）等、ブルーレイ・ディスク（Ｂｌｕ−ｒａｙ（登録商標） Ｄｉｓｃ）、光磁気ディスク（ＭＯ）、フレキシブルディスク（ＦＤ）、磁気テープ、ハードディスク、読出し専用メモリ（ＲＯＭ）、電気的消去及び書換可能な読出し専用メモリ（ＥＥＰＲＯＭ（登録商標））、フラッシュ・メモリ、ランダム・アクセス・メモリ（ＲＡＭ）、ＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリーカード等が含まれる。
そして、前記のプログラム又はその一部は、前記記録媒体に記録して保存や流通等させてもよい。また、通信によって、例えば、ローカル・エリア・ネットワーク（ＬＡＮ）、メトロポリタン・エリア・ネットワーク（ＭＡＮ）、ワイド・エリア・ネットワーク（ＷＡＮ）、インターネット、イントラネット、エクストラネット等に用いられる有線ネットワーク、あるいは無線通信ネットワーク、さらにこれらの組み合わせ等の伝送媒体を用いて伝送させてもよく、また、搬送波に乗せて搬送させてもよい。
さらに、前記のプログラムは、他のプログラムの一部分であってもよく、あるいは別個のプログラムと共に記録媒体に記録されていてもよい。また、複数の記録媒体に分割して
記録されていてもよい。また、圧縮や暗号化など、復元可能であればどのような態様で記録されていてもよい。

１００…画像処理装置
１１０…画像受付モジュール
１２０…２値化モジュール
１２２…２値化画像層
１３０…起点文字探索モジュール
１４０…文字列探索モジュール
１５０…文字列合成モジュール

Claims (9)

1. 画像を２値化する複数の２値化手段と、
   前記２値化手段によって２値化された各２値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、
   前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、
   前記抽出手段によって抽出された文字列を合成する合成手段
   を具備し、
   前記抽出手段は、前記選択手段によって選択された第１の画素塊の外接矩形の大きさに応じた第１の矩形を設定し、該外接矩形の周辺にある各２値化画像の該第１の矩形内を文字認識し、該文字認識した結果の確信度が閾値より高い又は以上である画素塊の組み合わせを、第１の文字の隣にある第２の文字とし、次に該第２の文字を第１の文字に設定して文字列を抽出する
   ことを特徴とする画像処理装置。
2. 前記選択手段は、前記各２値化画像を文字認識した結果の文字の確信度が予め定められた第１の閾値より高い又は以上であって、該文字の複雑度が第２の閾値より高い又は以上である画素塊を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記複雑度は、前記画素塊の外接矩形内での交番数、文字認識結果である文字の字画数のいずれか、又はこれらの組み合わせである
   ことを特徴とする請求項２に記載の画像処理装置。
4. 前記選択手段は、前記各２値化画像を文字認識した結果の文字の確信度が予め定められた第１の閾値より高い又は以上であって、該文字が予め定められた文字ではない画素塊を選択する
   ことを特徴とする請求項１に記載の画像処理装置。
5. 前記抽出手段は、予め定められた条件に合致する画素塊の組み合わせを除外して前記文字認識を行う
   ことを特徴とする請求項１に記載の画像処理装置。
6. 前記予め定められた条件として、異なる色の画素塊を含む組み合わせであること、異なるストローク幅を含む組み合わせであること、前記第１の画素塊における文字のストローク幅と異なるストローク幅を含む組み合わせであることのいずれか、又はこれらの組み合わせである
   ことを特徴とする請求項５に記載の画像処理装置。
7. 前記合成手段は、前記各２値化画像における文字列画像を論理和合成して文字列画像を生成すること、又は、前記各２値化画像における文字列画像に対応する各文字の文字コード毎に計数し、該計数の結果に基づいて文字列画像を生成する
   ことを特徴とする請求項１から６のいずれか一項に記載の画像処理装置。
8. 前記２値化手段は、複数の異なる閾値による２値化、前記画像を反転後に複数の異なる閾値による２値化、又はこれらの組み合わせの２値化を行う
   ことを特徴とする請求項１から７のいずれか一項に記載の画像処理装置。
9. コンピュータを、
   画像を２値化する複数の２値化手段と、
   前記２値化手段によって２値化された各２値化画像内の画素塊が文字である可能性に基づいて、画素塊を選択する選択手段と、
   前記選択手段によって選択された画素塊から隣接する文字を探索して文字列を抽出する抽出手段と、
   前記抽出手段によって抽出された文字列を合成する合成手段
   として機能させ、
   前記抽出手段は、前記選択手段によって選択された第１の画素塊の外接矩形の大きさに応じた第１の矩形を設定し、該外接矩形の周辺にある各２値化画像の該第１の矩形内を文字認識し、該文字認識した結果の確信度が閾値より高い又は以上である画素塊の組み合わせを、第１の文字の隣にある第２の文字とし、次に該第２の文字を第１の文字に設定して文字列を抽出する
   ことを特徴とする画像処理プログラム。

Images