JP4970381B2 - 特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラム - Google Patents

Description

本発明は、特徴抽出装置、特徴抽出方法、画像処理装置、及び、プログラムに関する。

従来から、画像の特徴を抽出して物体の認識等に用いる技術がある。例えば、特許第３２４７３０５号公報（特許文献１参照。）に記載の特徴領域抽出方法等は、異なる画像間で濃度値の相互相関演算を行い、相互相関値の分布を計算することで特徴領域を抽出している。また、例えば、非特許文献１は、輝度勾配方向の共起行列を用い、照明などの変動に頑健な特徴を抽出する技術が記載されている。非特許文献１には、さらに、その技術が模様の識別に対して有効な特徴であることが示されている。なお、共起行列は、共起ヒストグラムの一種である。

特許第３２４７３０５号公報 Ｒａｍｉ Ｒａｕｔｋｏｒｐｉ ａｎｄ Ｊｕｋｋａ Ｉｉｖａｒｉｎｅｎ． Ａ Ｎｏｖｅｌ Ｓｈａｐｅ Ｆｅａｔｕｒｅ ｆｏｒ Ｉｍａｇｅ Ｃｌａｓｓｉｆｉｃａｔｉｏｎ ａｎｄ Ｒｅｔｒｉｅｖａｌ． Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｉｍａｇｅ Ａｎａｌｙｓｉｓ ａｎｄ Ｒｅｃｏｇｎｉｔｉｏｎ， ＬＮＣＳ ３２１１， Ｐａｒｔ Ｉ， ｐａｇｅｓ ７５３−７６０， Ｐｏｒｔｏ， Ｐｏｒｔｕｇａｌ， Ｓｅｐｔｅｍｂｅｒ ２９−Ｏｃｔｏｂｅｒ １， ２００４． Ｊ． Ｓｈｏｔｔｏｎ ｅｔ ａｌ．， "ＴｅｘｔｏｎＢｏｏｓｔ： Ｊｏｉｎｔ Ａｐｐｅａｒａｎｃｅ， Ｓｈａｐｅ ａｎｄ Ｃｏｎｔｅｘｔ Ｍｏｄｅｌｉｎｇ ｆｏｒ Ｍｕｌｔｉ−Ｃｌａｓｓ Ｏｂｊｅｃｔ Ｒｅｃｏｇｎｉｔｉｏｎ ａｎｄ Ｓｅｇｍｅｎｔａｔｉｏｎ"， Ｉｎ Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ Ｅｕｒｏｐｅａｎ Ｃｏｎｆｅｒｅｎｃｅ ｏｎ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ （２００６）， ｐｐ． １−１５．

しかしながら、ある特定の対象物体を検出したり認識したりする際には、異なる画像間の情報を利用することが望ましいが、特許文献１に開示の技術は、特徴領域の抽出を目的としており、異なる画像間の情報は考慮しているけれども、認識を目的としていないために認識に用いると性能が低いという問題がある。また、非特許文献１に開示の技術は、単一の画像を対象としているため、例えば、歩行動作のように時間的に変化のある画像など複数枚の画像を扱うことが考慮されていない。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、対象物体の検出又は認識を好適に行うことを目的としている。

上記目的を達成するために、本発明の特徴抽出装置は次の如き構成を採用した。
本発明の特徴抽出装置は、複数の画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、前記共起頻度を出力する共起頻度出力部と、を有する構成とすることができる。

なお、上記課題を解決するため、本発明は、上記特徴抽出装置における特徴抽出方法、又は、その特徴抽出方法をコンピュータに実行させるためのプログラムとしてもよい。

本発明によれば、対象物体の検出又は認識を好適に行うことが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。
〔本発明の実施の形態〕

図１は、本発明の実施の形態に係る特徴抽出装置を示す図である。特徴抽出装置１００は、画素特徴量算出部１０３、共起ヒストグラム算出部１０４、及び、共起ヒストグラム出力部１０５を有する。特徴抽出装置１００はまた、後述するように画像入力部１０１、記憶部１０２、及び、特徴量出力部１０６に接続されうる。

画像入力部１０１は、イメージセンサなどの撮像手段等を含み、互いに異なる複数の画像データを取得する。画像入力部１０１は、例えば、それぞれ異なる撮像手段に接続された画像データ入力部１０１ａ及び画像データ入力部１０１ｂを有する。なお、画像データ入力部の個数は２つに限定されない。

記憶部１０２は、画像入力部１０１で取得された画像データを記憶する。記憶部１０２は、例えば、画像データ記憶部１０２ａ及び画像データ記憶部１０２ｂを有する。画像データ記憶部１０２ａは、画像データ入力部１０１ａから入力された画像データを保持し、画像データ記憶部１０２ｂは、画像データ入力部１０１ｂから入力された画像データを保持する。なお、画像データ記憶部の個数は２つに限定されない。

画素特徴量算出部１０３は、記憶部１０２に記憶されている画像データ毎に、画素特徴量を算出する。画素特徴量算出部１０３は、異なる複数の画素特徴について、それぞれ一以上の値を算出してもよく、また、一の画素特徴について、複数の値を算出してもよい。なお、画素特徴とは、例えば、画素の濃度値、又は、輝度勾配方向である。

共起ヒストグラム算出部１０４は、複数の画像データ間における対応する画素毎に、画素特徴量の共起頻度を算出する。例えば、異なる画像データ間で、座標が同一の画素、又は、第１の画像データが有する第１の画素と座標が同一の第２の画像データが有する画素から、予め設定された距離だけ離れた第２の画素がある場合に、この第１の画素と第２の画素を対応する画素とするとよい。予め設定された距離は、例えば、異なる画像データの関係に応じて定められるとよい。
共起ヒストグラム出力部１０５は、算出された共起頻度を、共起ヒストグラムとして特徴量出力部１０６に対して出力する。

図２は、共起ヒストグラムを出力する処理を説明するフロー図である。ステップＳ１０１では、N個（ただし、N≧２）の画像データ入力部１０１a、ｂ、…に対し、N枚の画像データI１（ｒ）、…、IN（ｒ）（ｒは画像座標を表す変数）を取得する。より詳細には、一の画像データ入力部毎に１枚の画像データを取得する。なお、一の画像データ入力部で連続して複数の画像データを取得してもよい。取得された画像データは、記憶部１０２に格納される。

図３から図５は、取得される画像データの例である。図３は、撮像の際の視点が異なる画像の例である。視点が異なる画像に対して、例えば、ステレオマッチングの技術を用いて画像間の対応関係を計算することにより、同一対象物体が含まれると判断される領域を切り出し、画像入力部１０１により取得してもよい。

図４は、時系列画像の例である。時系列画像とは、例えば、動画像のように予め設定された時間間隔で連続して撮影された複数毎の画像をいう。例えば、時系列画像の画像に含まれる物体の画像を追跡し、追跡した物体の領域を切り出した画像を、画像入力部１０１により取得してもよい。

図５は、特性の異なる複数の撮像手段によって取得された画像の例である。撮像手段によって取得される画像は、例えば、可視光画像、赤外線画像、X線画像、超音波画像、距離画像等がある。また、触覚センサ等のセンサの出力値を画像化したもの等を画像として取得してもよい。

画像入力部１０１が取得する画像は、また、予めフィルタ処理が適用された画像でもよい。フィルタ処理は、複数の画像データに対して同一でもよく、互いに異なるフィルタ処理でもよい。フィルタ処理は、例えば、エッジ抽出処理、左右反転処理、平滑化処理、アフィン変換処理等であり、処理前の画像に対し処理を行って異なる画像を出力する変換であればよい。なお、取得される複数毎の画像において、互いに画像サイズが異なるときは、正規化処理を施すことによって同じサイズにしてもよい。

ステップＳ１０２では、画素特徴量算出部１０３が、ステップＳ１０１で取得されたN枚の画像データI１（ｒ）、…、IN（ｒ）に対し、画素毎の画素特徴量ｆ１（ｒ）、…、ｆＮ（ｒ）を算出する。

画素特徴量算出部１０３が算出する画素特徴量は、離散値であるとよい。これにより、共起ヒストグラム算出部１０４が、共起頻度を算出する際に、より容易に共起頻度を算出することのできる画素特徴量を得ることができる。なお、画素特徴量算出部１０３は、画素特徴量が連続値の場合には、量子化して離散値にする。

画素特徴量は、例えば、画素の濃淡値、又は、輝度勾配方向の値である。画素特徴量は、また、濃淡値に対してｋ平均法等を用いてクラスタリングして得られた画素の属するクラスタ番号でもよい。濃淡値に対するクラスタリングの他に、例えば、画素の近傍を含めた濃淡パターンに対するクラスタリングでもよい。画素特徴量は、またさらに、非特許文献２に記載の識別手法により識別された画素の属するカテゴリ番号でもよい。

なお、画像データＩｉ（ｒ）は、濃淡画像以外にも、カラー画像などの多チャンネル画像でもよい。また、画像データＩｉ（ｒ）に対応する画素特徴量ｆｉ（ｒ）は、必ずしもＩｉ（ｒ）のみを用いて算出されなくてもよい。例えば、Ｉ１（ｒ）、…、ＩＮ（ｒ）の全てを用いてもよい。より詳細には、例えば、２枚の画像データの差分を画素特徴量としてもよく、また例えば、複数枚の画像データの平均値である画像を画素特徴量としてもよい。

また、画素特徴量ｆ１（ｒ）、…、ｆＮ（ｒ）は同じ種類の画素特徴量でなくてもよい。より詳細には、例えば、ｆ１（ｒ）が濃淡値であり、ｆ２（ｒ）が輝度勾配方向の値であってもよい。

ステップＳ１０３では、共起ヒストグラム算出部１０４が、ステップＳ１０２において算出された画素特徴量ｆ１（ｒ）、…、ｆＮ（ｒ）から共起ヒストグラムｈ（ａ１，…，ａＭ；ｉ１，…，ｉＭ，ｄ１，…，ｄＭ）を算出する。ここで、ｉ１，…，ｉＭ，ｄ１，…，ｄＭは固定パラメータ、Ｍは２以上の自然数である。

なお、固定パラメータｉ１，…，ｉＭは、用いる画素特徴量の番号、すなわち画素特徴量ｆｉ１（ｒ），…，ｆｉＭ（ｒ）を用いることを表し、ｄ１，…，ｄＭは、それぞれ注目画素ｒからの変位を表す。

すなわち、共起ヒストグラムｈ（ａ１，…，ａＭ；ｉ１，…，ｉＭ，ｄ１，…，ｄＭ）はＭ階のテンソルであり、画素特徴量の組み合わせの共起頻度を表す。画素特徴量ｆｉが０からＬｉ−１までのＬｉ個の整数値をとるとすると、共起ヒストグラムｈ（ａ１，…，ａＭ；ｉ１，…，ｉＭ，ｄ１，…，ｄＭ）は次式（１）で与えられ、合計Ｌｉ１×Ｌｉ２×…×ＬｉＭ個の値を持つことになる。

但し、Ｄは画像上の領域、
Ｚは整数の集合、
である。
また、関数ｇは次式（２）で表される。

式（１）で表される共起ヒストグラムと従来技術との違いについて、以下説明する。
図６は、従来技術による画像データの画素特徴量を説明する図であって複数の画像データ間の相関を用いる例を説明する図である。特許文献１に記載の特徴領域抽出方法等の技術では、図６に示す画素特徴量が取得されている。図６の例では、２枚の画像データ間の関係を考慮した相関値を算出するが、画素ｒからの変位ｄ１つあたりに対して１つの評価値のみを算出するため、対象の情報を十分に表現できない。

図７は、従来技術による画像データの特徴量を説明する図であって一の画像データ内で特徴量を取得する例を説明する図である。非特許文献１に記載の技術は、図７に示す特徴量が取得されている。図７では、１つの変位ｄに対して複数の評価値を算出している。より詳細には、８×８＝６４個の評価値を算出している。これにより、対象の情報を十分に表現した特徴量を取得することができる。

しかしながら、図７に記載の方法では、一枚の画像データに対して適用しており、複数枚の画像データが与えられた場合に、画像間の関係を考慮した特徴を抽出することについては、考慮されていない。

図８は、本実施の形態に係る特徴抽出装置により抽出される画像の特徴量を説明する図である。図８の処理は、画素特徴量算出部１０３及び共起ヒストグラム算出部１０４により行われる。

図８の例では、画像１及び画像２の間の対応する画素毎に、画素特徴量の組み合わせの共起頻度を算出している。したがって、図８の例では、図６及び図７の例における良い点を継承しつつ、双方の問題点を解消している。すなわち、複数枚の画像間の関係を考慮し、かつ、対象の情報を十分に表現している。

なお、図８の例では、共起関係を判断する画素特徴量は、互いに異なってもよい。そこで、画素ｒからの変位ｄ１つあたりの評価値が、平方数でなくてもよい。例えば、図８の例では８×１６＝１２８個の評価値が取得されている。

式（１）において、ｄｊは画像上の位置ｒに対する相対的な変位を表すベクトルであるから、ｄ１，…，ｄＭのうち１つは零ベクトルでもよく、２つ以上が零ベクトルになってもよい。また、ｒ＋ｄｊは必ずしも領域Dに含まれていなくてもよい。

さらに、固定パラメータｉ１，…，ｉＭ，ｄ１，…，ｄＭを変えて、複数の共起ヒストグラムを算出してもよい。図９は、複数の共起ヒストグラムを算出する処理を説明する図である。図９の例では、ｄ１，…，ｄＭを原点からのチェビシェフ距離が一定値以下の範囲で変動させて、複数の共起ヒストグラムを算出している。なお、チェビシェフ距離の代わりに、マンハッタン距離やユークリッド距離を用いてもよい。また、ｄ１，…，ｄＭに任意のベクトルを設定してもよい。

パラメータｉ１，…，ｉＭについては、例えば、Ｎ＝４、Ｍ＝３の場合、（ｉ１，ｉ２，ｉ３）＝（１，２，３），（２，３，４），（３，４，１），（４，１，２）のように全ての組み合わせを用いてもよい。またさらに、重複を許して、（ｉ１，ｉ２，ｉ３）＝（１，１，１），（１，１，２），（１，１，３），（１，１，４），（２，２，１），（２，２，２），（２，２，３），（２，２，４），（３，３，１），（３，３，２），（３，３，３），（３，３，４），（４，４，１），（４，４，２），（４，４，３），（４，４，４）を加えてもよい。

ステップＳ１０４では、共起ヒストグラム出力部１０５が、ステップＳ１０３で算出された共起ヒストグラムを、取得された画像データの特徴量として特徴量出力部１０６に出力する。

本実施形態に係る特徴抽出装置によれば、複数の画像データに対して複数の画素特徴量を算出し、算出された複数の画素特徴量の組み合わせの共起頻度を算出することで、複数の画像間の関係を十分に利用した特徴量を抽出することが可能となる。この特徴量を用いることで、1枚の画像のみから抽出した特徴量を用いたときよりも、高精度な物体検出や物体認識が可能となる。

図１０は、本発明の実施の形態に係る特徴抽出装置１００の各機能を実現するコンピュータなどの画像処理装置の構成を例示的に説明する図である。図１０のコンピュータは、例えば、主処理部４００、入力部４１０、表示部４２０、記憶部４９０、入力Ｉ／Ｆ４１９、表示Ｉ／Ｆ４２９、画像入力Ｉ／Ｆ４８９、及び、メモリＩ／Ｆ４９９を有する。

主処理部４００は、図２の各手順を実行するプログラムを実行させて特徴抽出装置１００の各機能を実現する。主処理部４００は、例えば、ＣＰＵ４０１、ＲＯＭ４０８、及び、ＲＡＭ４０９を有する。ＣＰＵ４０１は、プログラムを実行することにより、コンピュータが有する各デバイス等の制御を行う。ＲＯＭ４０８は、例えば、プログラムやパラメータ等が格納され、ＣＰＵ４０１にそれらが供せられる。ＲＡＭ４０９は、例えば、ＣＰＵ４０１がプログラムを実行する際のワークメモリとして供せられ、図１の記憶部１０２としても機能しうる。

入力部４１０は、例えば、キーボードやマウス等の入力手段であり、コンピュータに対する指示が入力される。表示部４２０は、ＣＰＵ４０１の処理結果等を表示する。

入力Ｉ／Ｆ４１９、表示Ｉ／Ｆ４２９、メモリＩ／Ｆ４９９、及び、画像入力Ｉ／Ｆ４８９は、それぞれ、入力部４１０、表示部４２０、記憶部４９０、画像入力部１０１がバスを介して主処理部４００と接続される際のインタフェースである。

本実施の形態に係る特徴抽出装置１００によって処理される画像データは、例えば、画像入力部１０１で取得するか、又は、ネットワークを経由して外部から入力される。従って、本実施の形態に係る画像処理装置は、画像入力部１０１を内部に備えてもよいし、外部の画像データ入力部と通信可能に接続されてもよい。本実施の形態に係る特徴抽出装置１００によって処理される画像データはまた、例えば、不図示の駆動装置に挿入された記録媒体から読み出されてもよい。

本実施の形態に係る特徴抽出装置１００によって抽出される画像データの特徴量は、例えば、表示部４２０、又は、ネットワークから出力される。本実施の形態に係る特徴抽出装置１００によって抽出される画像データの特徴量はまた、例えば、駆動部に挿入された記録媒体、又は、記録部４９０に記録されてもよい。

図１の特徴抽出装置１００のプログラムは、ＲＯＭ４０８、及び、記憶部４９０等の不揮発性の記憶装置に格納される他に、ＣＤ，ＤＶＤ等の記録媒体に記録され、駆動部に挿入されることにより、コンピュータがそのプログラムを読み取って実行されてもよい。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で変更することが可能である。

例えば、共起ヒストグラムを算出する画像上の領域Ｄを１つだけでなく複数設定して、それぞれの領域で共起ヒストグラムを算出してもよい。より詳細には、例えば、対象画像が歩行者である場合、図１１に示すように脚部、胴体部、腕部、頭部といったように領域を設定することで、より詳細な特徴を抽出することができる。

取得されるN枚の画像データＩ１（ｒ）、…、ＩＮ（ｒ）からＴ（Ｔ≠Ｎ）個の画素特徴量ｆ１（ｒ）、…、ｆＴ（ｒ）を算出してもよい。例えば、前記画像データＩ１（ｒ）、…、ＩＮ（ｒ）が時系列画像であり、時間的に隣合う画像の差分画像を画素特徴量とする場合、Ｎ−１枚の差分画像が生成できることから算出される画素特徴量の個数はＴ＝Ｎ−１となる。

また、複数の画素特徴量を用いることで、Ｔ（＞Ｎ）個の画素特徴量を算出することができる。例えば、画素特徴量として輝度値の１階微分の方向（輝度勾配方向）と輝度値の２階微分の方向の２つを用いる場合には、算出される画素特徴量の個数はＴ＝２Ｎである。これに合わせて、共起ヒストグラム算出部１０４において算出する共起ヒストグラムは式（１）のＮをＴで置換したもの、すなわち式（３）のようになる。

本発明の実施の形態に係る特徴抽出装置を示す図である。 共起行列を出力する処理を説明するフロー図である。 撮像の際の視点が異なる画像の例である。 時系列画像の例である。 特性の異なる複数の撮像手段によって取得された画像の例である。 複数の画像データ間の相関を用いて画素特徴量を算出する例を説明する図である。 一の画像データ内で画素特徴量を取得する例を説明する図である。 本実施の形態に係る特徴抽出装置により抽出される画像の特徴量を説明する図である。 複数の共起ヒストグラムを算出する処理を説明する図である。 本発明の実施の形態に係る特徴抽出装置を実現するコンピュータの構成を説明する図である。 一の画像データに複数の領域を設定する例を説明する図である。

符号の説明

１００ 特徴抽出装置
１０１ 画像入力部
１０２ 記憶部
１０３ 画素特徴量算出部
１０４ 共起ヒストグラム算出部
１０５ 共起ヒストグラム出力部
１０６ 特徴量出力部

Claims (13)

1. 複数の画像データのそれぞれに対し、該画像データが有する画素毎に複数の画素特徴量を算出する画素特徴量算出部と、
   前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記複数の画素特徴量の共起頻度を算出する共起頻度算出部と、
   前記共起頻度を出力する共起頻度出力部と、
   を有する特徴抽出装置。
2. 前記共起頻度は、共起ヒストグラムである請求項１に記載の特徴抽出装置。
3. 前記複数の画像データは、撮像の視点が異なるようにそれぞれ撮像され、
   前記共起頻度算出部は、前記互いの撮像の視点が異なる複数の画像データから算出された画素特徴量の共起頻度を算出する請求項１又は請求項２に記載の特徴抽出装置。
4. 前記複数の画像データは、撮像時刻が異なるようにそれぞれ撮像され、
   前記共起頻度算出部は、前記互いの撮像時刻が異なる複数の画像データから算出された画素特徴量の共起頻度を算出する請求項１乃至請求項３の何れか１項に記載の特徴抽出装置。
5. 前記共起頻度算出部は、互いに特性の異なる撮像手段により取得された複数の画像データから算出された画素特徴量の共起頻度を算出する請求項１乃至請求項４の何れか１項に記載の特徴抽出装置。
6. 前記共起頻度算出部は、前記複数の画像データのうちの第1の画像データが有する第1の画素と、前記複数の画像データのうちの第２の画像データにおいて前記第１の画素と同一の座標を有する画素から予め設定された距離だけ離れた第２の画素と、を対応づける請求項１乃至請求項５の何れか１項に記載の特徴抽出装置。
7. 前記共起頻度算出部は、前記複数の画像データにおいて、複数の前記予め設定された距離毎に、前記第１の画素と前記第２の画素とを対応づける請求項６に記載の特徴抽出装置。
8. 前記共起頻度算出部は、前記複数の画像データの各々の画像データ内に領域を設定し、前記複数の画像データにおいて、対応する前記領域における前記共起頻度を算出する請求項１乃至請求項７の何れか１項に記載の特徴抽出装置。
9. 前記共起頻度算出部は、前記複数の画像データのうちの一の画像データ内に複数の前記領域を設定し、前記複数の画像データにおいて、対応する前記領域毎に前記共起頻度を算出する請求項８に記載の特徴抽出装置。
10. 前記画素特徴量は、輝度勾配方向の値及び画素の濃度値の少なくとも一方である請求項１乃至請求項９の何れか１項に記載の特徴抽出装置。
11. 前記画像データを取得するための画像入力部と、
    請求項１乃至請求項１０のいずれか１項に記載の特徴抽出装置と、
    を有する画像処理装置。
12. 複数の画像データのそれぞれに対し、該画像データが有する画素毎の画素特徴量を算出する画素特徴量算出ステップと、
    前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記画素特徴量の共起頻度を算出する共起頻度算出ステップと、
    前記共起頻度を出力する共起頻度出力ステップと、
    を有する特徴抽出方法。
13. 複数の画像データのそれぞれに対し、該画像データが有する画素毎の画素特徴量を算出する画素特徴量算出ステップと、
    前記複数の画像データにおいて、対応する画素の間の前記画素特徴量を比較することにより、前記画素特徴量の共起頻度を算出する共起頻度算出ステップと、
    前記共起頻度を出力する共起頻度出力ステップと、
    をコンピュータに実行させるためのプログラム。

Images