JP4231375B2 - パターン認識装置、パターン認識方法、パターン認識プログラムおよびパターン認識プログラムを記録した記録媒体。 - Google Patents

Description

本発明は、自然画像中に含まれる２次元パターンを精度良く識別するためのパターン認識技術に関するものである。

近年、携帯電話にカメラ機能が搭載され、いつでも手軽に写真データを取得、保存することができるようになった。この機能をさらに活用する手段として、写真データから文字情報を抽出し、その情報に関連したデータを提供するというサービスが考えられる。このとき、問題になるのが、パターン認識の代表的問題の一つ、文字認識である。文字認識は印刷活字ＯＣＲや手書き文字入力インタフェース等を目的として古くから研究されてきた。そのような用途では、入力されるデータは文字データであると限定しても、まず問題ない。ところが、上記のようなサービスでは、文字以外にもあらゆるテクスチャ、パターン等が入力される可能性がある。そのため、文字でないものを文字として認識してしまう誤りを無くすよう、認識方法を改良する必要がある。

文字認識の処理手順は、「前処理部」「特徴抽出部」「識別部」の３ステップに大別される。中でも特徴抽出部は、認識性能を左右する重要なプロセスである。従来の文字認識における特徴抽出手法として「局所方向ヒストグラム特徴」がある(例えば、非特許文献1参照。)。これは、画像データを幾つかの局所的なブロックに分割し、各ブロック内においてエッジの方向成分を算出して、４方向に量子化されたエッジの頻度分布を作成することで特徴量を算出する方法である。主に手書き文字認識において精度良い識別が可能であることが確認されている。
若林哲史、鶴岡信治、木村文隆、三宅康二、「特徴量の次元数増加による手書き数字認識の高精度化」、信学論Ｄ−II，Ｖｏ１．Ｊ７７−Ｄ−II，Ｎｏ．１０，ｐｐ．２０４６−２０５３、１９９４

ところが、文字以外のデータとして例えば複雑なテクスチャが入力された場合、それを複雑な文字と誤認識してしまう問題があった。誤認識の一例を図１０に示す。これは、各ブロックで方向成分のヒストグラムをとるために、ブロック内でのエッジの相対的位置情報が潰されてしまうことに起因していると考えられる。つまり、自然画像中の文字認識を実現するには、文字とそうでないものとの相違がはっきり現れるような特徴抽出法が不可欠であると言える。ここまでは文字認識に限定して話をしたが、これは自然画像中のあらゆるパターン、オブジェクトの認識において共通の問題である。

本発明は上記の問題点に鑑みてなされたものであり、前記問題を解決して、より高精度な認識を可能とするパターン認識装置、パターン認識方法、パターン認識プログラムおよびパターン認識プログラムを記録した記録媒体を提供することを目的とする。

上記目的を達成するために、本発明では、新たな特徴抽出方法を導入する。文字に代表される、人問の認識対象としてのパターンは、エッジ成分が長く連結している場合がほとんどである。図１０で示した例をエッジ抽出したものを図１１に示す。このエッジ抽出によれば図１０のような誤認識は起こらないと考えられる。そこで、エッジの連結性を特徴量に加味することで、リジェクトすべき入力データを認識対象パターンデータから隔離することが可能になると思われる。

そこで、請求項１に記載のパターン認識装置は、画像データに含まれる２次元パターンを識別するパターン認識装置であって、画像データを入力する入力手段と、前記画像データの前処理を行う前処理手段と、前記前処理を行った画像データからエッジの連結性を考慮した特徴量を抽出する特徴抽出手段と、予め学習したパターンの特徴量を格納する学習パターン記憶手段と、前記予め学習したパターンの特徴量と前記抽出した特徴量とを比較し、予め学習したパターンの中から識別結果を決定する識別手段と、前記識別結果を出力する出力手段と、を有し、前記特徴抽出手段は、前記前処理を行った画像データの各画素からエッジ強度とエッジの方向成分とを抽出する濃度値勾配計算手段と、前記方向成分を量子化する方向成分量子化手段と、各画素についてエッジ加算値を算出するエッジ探索手段と、前記前処理を行った画像データを複数の領域に分割し、各領域内でエッジの方向成分に対するエッジ加算値のヒストグラムを作成し、このヒストグラムから特徴ベクトルを前記特徴量として算出する局所方向頻度分布作成手段と、を備え、前記エッジ探索手段は、一の画素を注目画素とし、この注目画素の量子化されたエッジの方向成分に基づいて該注目画素に隣接する画素から連結エッジ候補画素を決定し、この連結エッジ候補画素の中から濃度勾配値の値が前記注目画素に最も近いものを連結エッジ画素に決定し、決定した連結エッジ画素に対して連結を行い、この連結エッジ画素を連結注目画素として前記と同様に連結エッジ候補画素の決定と連結エッジ画素への連結とを規定した連結数に到達するまで連続的に行い、注目画素に連結した全ての連結エッジ画素のエッジ強度の総和を前記エッジ加算値として各画素について算出することを特徴とする。

請求項２に記載のパターン認識装置は、請求項1に記載のパターン認識装置において、前記局所方向頻度分布作成手段は、画像データを複数の領域に分割し、各領域において、量子化した方向ごとにエッジ加算値の総和を求め、量子化した方向数に領域数を積算して算出される数の次元を有する特徴ベクトルを得ることを特徴とする。

請求項３に記載のパターン認識方法は、画像データに含まれる２次元パターンを識別するパターン認識方法であって、画像データを入力する入力ステップと、前記画像データの前処理を行う前処理ステップと、前記前処理を行った画像データからエッジの連結性を考慮した特徴量を抽出する特徴抽出ステップと、予め学習したパターンの特徴量を格納する学習パターン記憶ステップと、前記予め学習したパターンの特徴量と前記抽出した特徴量とを比較し、予め学習したパターンの中から識別結果を決定する識別ステップと、前記識別結果を出力する出力ステップと、を有し、前記特徴抽出ステップは、前記前処理を行った画像データの各画素からエッジ強度とエッジの方向成分とを抽出する濃度値勾配計算ステップと、前記方向成分を量子化する方向成分量子化ステップと、各画素についてエッジ加算値を算出するエッジ探索ステップと、前記前処理を行った画像データを複数の領域に分割し、各領域内でエッジの方向成分に対するエッジ加算値のヒストグラムを作成し、このヒストグラムから特徴ベクトルを前記特徴量として算出する局所方向頻度分布作成ステップと、を備え、前記エッジ探索ステップは、一の画素を注目画素とし、量子化したエッジの方向成分に基づいて注目画素に隣接する画素から連結エッジ候補画素を決定し、この連結エッジ候補画素の中から濃度勾配値の値が注目画素に最も近いものを連結エッジ画素に決定し、決定した連結エッジ画素に対して連結を行い、この連結エッジ画素を連結注目画素として前記と同様に連結エッジ候補画素の決定と連結エッジ画素への連結とを規定した連結数に到達するまで連続的に行い、注目画素に連結した全ての連結エッジ画素のエッジ強度の総和を前記エッジ加算値として各画素について算出することを特徴とする。

請求項４に記載のパターン認識方法は、請求項３に記載のパターン認識方法において、前記局所方向頻度分布作成ステップは、画像データを複数の領域に分割し、各領域において、量子化した方向ごとにエッジ加算値の総和を求め、量子化した方向数に領域数を積算して算出される数の次元を有する特徴ベクトルを得ることを特徴とする。

請求項５に記載のパターン認識プログラムは、上記の請求項１〜４のいずれか１項に記載のパターン認識装置またはパターン認識方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とする。

請求項６に記載の記録媒体は、上記の請求項１〜４のいずれか１項に記載のパターン認識装置またはパターン認識方法を、コンピュータで実行可能に記載したパターン認識プログラムを記録したことを特徴とする。

上記の手段を実現することによって、エッジの連結性を表す評価値が特徴量に加味され、リジェクトすべき入力データは、認識対象パターンのデータと大きく異なる特徴量を持つようになり、結果として、自然画像を対象としたパターン認識を精度良く行うことが可能となる。

本発明によれば、エッジの強度にエッジ連結性評価値を加味した特徴量を用いることで、認識対象パターンデータとそれ以外の入力データとの差異を大きくすることができるため、自然画像中に含まれる２次元パターンを精度良く識別するためのパターン認識装置、パターン認識方法、パターン認識プログラムおよびパターン認識プログラムを記録した記録媒体を提供できる。

以下、本発明の実施の形態について図面を用いて詳細に説明する。

図１は本発明に係る実施形態のパターン認識装置の構成を示すブロック図、図２は本発明に係る実施形態のパターン認識方法のフローチャートである。

図１および図２において、まず、Ｓ１で画像データ入力部１１がデジタルカメラ等で撮像された自然画像等の画像データを入力し、前処理部１２に伝送する。

Ｓ２では、前処理部１２が前処理を行う。例えば、入力されたデジタル画像データから、文字が存在すると思われる部分領域を幾つか適当な大きさ、位置で切り出し、濃度値の正規化（例えば、濃度値の平均を０、分散を１に正規化する）、またはノイズ除去等の処理を行い、処理後のデータを特徴抽出部１３へ伝送する。

Ｓ３では、特徴抽出部１３が入力されたデジタル画像データからエッジの連結性を考慮した特徴量を抽出し、この特徴量を識別部１４に伝送する。

Ｓ４では、識別部１４が学習パターン記憶部１５に記憶されている幾つかのパターンの特徴量と伝送された特徴量とを比較して、その比較結果をもとに記憶されているパターンから識別結果を決定し、識別結果を出力部１６に伝送する。

Ｓ５では、出力部１６が、識別部１４で演算された識別結果を出力して操作を終了する。

次に、特徴抽出部１３における演算処理装置構成および処理の実行方法を図３および図４により詳しく説明する。図３は演算処理装置構成を示すブロック図、図４は処理の実行方法のフローチャートである。

図３および図４において、まず、Ｓ６で、濃度値勾配計算部２１が入力画像データの各画素点における濃度値勾配（エッジ）を計算する。この結果、濃度値勾配の大きさ(エッジ強度)と方向成分とが算出される。実際の計算は、例えば、Ｓｏｂｅｌ ｆｉｌｔｅｒやＲｏｂｅｒｔｓ ｆｉｌｔｅｒ等を用いて算出することができる。この濃度値勾配の大きさを計算した例を図５に示す。図５において、濃度が濃い（黒い）ほど濃度値勾配が大きい(エッジ強度が大きい)ことを表す。

Ｓ７では、方向成分量子化部２２が濃度値勾配の方向成分を上一下方向、左下一右上方向、左一右方向、左上一右下方向の４方向に量子化する。

Ｓ８では、エッジ探索部２３が各画素点に対して自画素の勾配の大きさと最も近い画素を逐次的に探索していく。その概念図を図６に示す。図６において、注目画素の勾配方向は左下一右上方向に量子化されており、２つの方向に自画素の勾配の大きさと最も近い画素の探索を行っている。

ここで、探索方法を、図７のフローチャートに基づいて詳しく説明する。まず、Ｓ１０で、画素の位置を表す変数i(画像の幅)、j(画像の高さ)を１で初期化する。

Ｓ１１では、位置が(i、j)の画素を注目画素とする。

Ｓ１２では、注目画素の濃度値勾配の大きさＰを記録する。

Ｓ１３では、連結の回数を表す変数である連結数ｎを１で初期化する。

Ｓ１４では、逐次的に連結処理を実行するために「連結注目画素」を定義する。この「連結注目画素」は、注目画素を出発点として、連結先の画素の位置を記録するためのもので、２方向に探索するために２画素分用意する。

Ｓ１５では、連結注目画素の近傍８画素のうち、次に連結しようとする連結エッジ候補画素を決定する。決定方法は、例えば注目画素の濃度値勾配方向をもとに図８のように濃度値勾配方向以外の方向に設定する。図８において、白丸が連結注目画素、黒丸が連結エッジ候補画素を表す。それぞれ２種類存在するのは、２方向に探索を進めるためである。

Ｓ１６では、連結エッジ候補画素のうち、濃度値勾配の大きさがＰと最も近いものを連結エッジ画素に決定し、これに連結する。

Ｓ１７では、連結エッジ画素を新たな連結注目画素とする。

Ｓ１８では、連結数ｎが、予め規定した最大連結数Ｎになったかどうかを判断し、Ｎに達していないと判断したときは、Ｓ２３で連結数ｎをｎ＋１にしてから、Ｓ１５に戻り、再び連結エッジ候補画素を決定して、Ｓ１５〜Ｓ１８の操作を繰り返す。なお、最大連結数Ｎは、あらかじめ適当な値を設定しておくものとする。また、Ｓ１８で連結数ｎが最大連結数Ｎに達したと判断したときは後段のＳ１９に進む。

Ｓ１９では、iが規定値に達したかを判断して、規定値に達していないと判断したときは、Ｓ２２でiをi＋１にしてから、Ｓ１１に戻り、再びＳ１１〜Ｓ１９の操作を繰り返す。また、Ｓ１９でiが規定値に達したと判断したときは後段のＳ２０に進む。

Ｓ２０では、jが規定値に達したかを判断して、規定値に達していないと判断したときは、Ｓ２１でjをj＋１にしてから、Ｓ１１に戻り、再びＳ１１〜Ｓ２０の操作を繰り返す。また、Ｓ２０でjが規定値に達したと判断したときは操作を終了する。

以上のエッジ探索処理により、注目画素に連結した画素の組を求めることができ、注目画素に連結した全ての画素の濃度値勾配の大きさ値を加算したエッジ加算値を算出する。そして、全ての画素点についてエッジ加算値を算出する。

図３および図４において、Ｓ９では、局所方向頻度分布作成部２４がエッジ加算値をもとに、局所的な勾配方向成分のヒストグラムを作成する。具体的には、図９のように、画像を幾つかの部分領域に分割し、各領域ブロックにおいて４方向別にエッジ加算値の総和を求める。以上の処理により、４×（領域ブロック数）次元の特徴ベクトルが算出される。

上述では、方向成分量子化数を４方向として説明したが、エッジ探索部２３の連結エッジ候補画素決定方法を変更することで８方向や１６方向に拡張することも可能である。

次に、識別部１４における処理について説明する。識別部１４では、部分空間法を用いて処理を行う。

この部分空間法は、類別すべきカテゴリを特徴ベクトル成分の分布から形成される部分空間への射影を通して判定する統計的手法の一種である。この場合の、変換するベクトル成分の固有ベクトル計算には、例えば、量子化アルゴリズムであるカルーネン・レーベ変換によるＫＬ解析が採用される。部分空間法における代表的な手法には、ＣＬＡＦＩＣ法や、平均学習部分空間法が知られている。また、ＡＬＳＭは、対抗するカテゴリをも考慮した適応的な学習アプローチに属し、所定の訓練パターンに対する誤認識が最小となるように空間を反復的に張り直してカテゴリ境界の学習が進められる。

まずは、識別したいパターンのサンプルデータを予め入力し、そのパターンを表す部分空間を算出しておき、学習パターン記憶部１５に蓄積する。部分空間は、識別パターンから得られる特徴ベクトルの共分散行列の固有値および固有ベクトルを算出することにより、求めることができる。

識別の際には、学習パターン記憶部１５から全てのパターンの部分空間データを呼び出し、それらの部分空間との距離をもとにパターンの識別を行う。距離は、特徴空間内での単純ユークリッド距離にて計測し、距離が最も近い部分空間のパターンを識別結果とする。

なお、部分空間法の基本原理は、石井健一郎、上田修功、前田英作、村瀬洋共著、“わかりやすいパターン認識”、オーム社（１９９８）等に詳しく掲載されている。なお、部分空間法以外にも例えば最近傍法、フィッシャーの線形判別法、サポートベクトルマシン、ニューラルネットワーク、カーネル非線形部分空間法等を用いても良い。

また、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システムあるいは装置に供給し、そのシステムあるいは装置のＣＰＵ（ＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、実現できる。その場合、記憶媒体から読み出されたプログラムコード自体が上述した実施の形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体、例えばＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ、ＣＤ−ＲＷ、ＭＯ、ＨＤＤ等は本発明を構成する。

パターン認識装置の構成を示すブロック図。 パターン認識方法のフローチャート。 特徴抽出部１３の演算処理装置構成を示すブロック図。 特徴抽出部１３の処理の実行方法のフローチャート。 濃度値勾配の大きさを計算した例を示す図。 画素を逐次的に探索する概念図。 画素を逐次的に探索するフローチャート。 次の連結エッジ候補画素の決定方法の例を示す図。 局所的な勾配方向成分のヒストグラムの作成の例を示す図。 複雑なテクスチャが入力された場合に、複雑な文字と誤認識する例を示す図。 図１０をエッジ抽出処理した例を示す図。

符号の説明

１１…画像データ入力部
１２…前処理部
１３…特徴抽出部
１４…識別部
１５…学習パターン記憶部
１６…出力部
２１…濃度値勾配計算部
２２…方向成分量子化部
２３…エッジ探索部
２４…局所方向頻度分布作成部

Claims (6)

1. 画像データに含まれる２次元パターンを識別するパターン認識装置であって、
   画像データを入力する入力手段と、
   前記画像データの前処理を行う前処理手段と、
   前記前処理を行った画像データからエッジの連結性を考慮した特徴量を抽出する特徴抽出手段と、
   予め学習したパターンの特徴量を格納する学習パターン記憶手段と、
   前記予め学習したパターンの特徴量と前記抽出した特徴量とを比較し、予め学習したパターンの中から識別結果を決定する識別手段と、
   前記識別結果を出力する出力手段と、を有し、
   前記特徴抽出手段は、
   前記前処理を行った画像データの各画素からエッジ強度とエッジの方向成分とを抽出する濃度値勾配計算手段と、
   前記方向成分を量子化する方向成分量子化手段と、
   各画素についてエッジ加算値を算出するエッジ探索手段と、
   前記前処理を行った画像データを複数の領域に分割し、各領域内でエッジの方向成分に対するエッジ加算値のヒストグラムを作成し、このヒストグラムから特徴ベクトルを前記特徴量として算出する局所方向頻度分布作成手段と、を備え、
   前記エッジ探索手段は、一の画素を注目画素とし、この注目画素の量子化されたエッジの方向成分に基づいて該注目画素に隣接する画素から連結エッジ候補画素を決定し、
   この連結エッジ候補画素の中から濃度勾配値の値が前記注目画素に最も近いものを連結エッジ画素に決定し、
   決定した連結エッジ画素に対して連結を行い、この連結エッジ画素を連結注目画素として前記と同様に連結エッジ候補画素の決定と連結エッジ画素への連結とを規定した連結数に到達するまで連続的に行い、
   注目画素に連結した全ての連結エッジ画素のエッジ強度の総和を前記エッジ加算値として各画素について算出する
   ことを特徴とするパターン認識装置。
2. 前記局所方向頻度分布作成手段は、画像データを複数の領域に分割し、
   各領域において、量子化した方向ごとにエッジ加算値の総和を求め、
   量子化した方向数に領域数を積算して算出される数の次元を有する特徴ベクトルを得る
   ことを特徴とする請求項１記載のパターン認識装置。
3. 画像データに含まれる２次元パターンを識別するパターン認識方法であって、
   画像データを入力する入力ステップと、
   前記画像データの前処理を行う前処理ステップと、
   前記前処理を行った画像データからエッジの連結性を考慮した特徴量を抽出する特徴抽出ステップと、
   予め学習したパターンの特徴量を格納する学習パターン記憶ステップと、
   前記予め学習したパターンの特徴量と前記抽出した特徴量とを比較し、予め学習したパターンの中から識別結果を決定する識別ステップと、
   前記識別結果を出力する出力ステップと、を有し、
   前記特徴抽出ステップは、
   前記前処理を行った画像データの各画素からエッジ強度とエッジの方向成分とを抽出する濃度値勾配計算ステップと、
   前記方向成分を量子化する方向成分量子化ステップと、
   各画素についてエッジ加算値を算出するエッジ探索ステップと、
   前記前処理を行った画像データを複数の領域に分割し、各領域内でエッジの方向成分に対するエッジ加算値のヒストグラムを作成し、このヒストグラムから特徴ベクトルを前記特徴量として算出する局所方向頻度分布作成ステップと、を備え、
   前記エッジ探索ステップは、一の画素を注目画素とし、量子化したエッジの方向成分に基づいて注目画素に隣接する画素から連結エッジ候補画素を決定し、
   この連結エッジ候補画素の中から濃度勾配値の値が注目画素に最も近いものを連結エッジ画素に決定し、
   決定した連結エッジ画素に対して連結を行い、この連結エッジ画素を連結注目画素として前記と同様に連結エッジ候補画素の決定と連結エッジ画素への連結とを規定した連結数に到達するまで連続的に行い、
   注目画素に連結した全ての連結エッジ画素のエッジ強度の総和を前記エッジ加算値として各画素について算出する
   ことを特徴とするパターン認識方法。
4. 前記局所方向頻度分布作成ステップは、画像データを複数の領域に分割し、
   各領域において、量子化した方向ごとにエッジ加算値の総和を求め、
   量子化した方向数に領域数を積算して算出される数の次元を有する特徴ベクトルを得る
   ことを特徴とする請求項３に記載のパターン認識方法。
5. 上記の請求項１〜４のいずれか１項に記載のパターン認識装置またはパターン認識方法を、コンピュータプログラムで記載してそれを実行可能にしたことを特徴とするパターン認識プログラム。
6. 上記の請求項１〜４のいずれか１項に記載のパターン認識装置またはパターン認識方法を、コンピュータで実行可能に記載したパターン認識プログラムを記録したことを特徴とする記録媒体。