JP5214367B2 - 特徴量抽出装置、特徴量抽出方法、画像処理装置、及び、プログラム - Google Patents

Description

本発明は、特徴量抽出装置、特徴量抽出方法、画像処理装置、及び、プログラムに関する。

従来から、画像の特徴量を抽出する技術がある。例えば、画像に撮像された物体の識別は、画像からの特徴抽出処理と、抽出された特徴を用いた識別処理の２つの段階で構成される。前段の特徴抽出処理の際に失われてしまった情報を、後段の識別処理の際に復元することは困難であるため、正しい識別を行うためには、前段の特徴抽出が重要である。

特徴抽出処理の例として、例えば、非特許文献１には、画像から人物とそれ以外を識別するための特徴量抽出手法が記載されている。より詳細には、画像を複数の格子状の領域に区切り、領域毎に算出した輝度勾配方向ヒストグラムのビンの値を特徴量としている。

また、特許文献１及び非特許文献２には、テクスチャ画像の種類を分類するための特徴量抽出手法が記載されている。特許文献１に記載の技術は、画像の濃度iの点から一定の距離と方向に平行移動した点の濃度がjである組合せの数P(i,j)を要素とする行列(同時生起行列)を特徴量としている。テクスチャ画像では等距離毎に類似した模様が繰り返し現れるため、等距離離れた２点における濃度値の同時生起を表す特徴量はテクスチャの識別に有効である。非特許文献２に記載の技術は、画像の濃度値の代わりに、輝度勾配方向の同時生起行列を用いることで、照明変動などにロバストな特徴量を抽出している。

特開２０００−２０７５６６号公報 Navneet Dalal, and Bill Triggs, "Histograms of oriented gradients for human detection," CVPR 2005, vol. 1, pp. 886-893, 2005. Rami Rautkorpi and Jukka Iivarinen, "A Novel Shape Feature for Image Classification and Retrieval," Proceedings of the International Conference on Image Analysis and Recognition, LNCS 3211, Part I, pages 753-760, Porto, Portugal, September 29-October 1, 2004.

しかしながら、非特許文献１に記載の技術では、格子状に区切った領域ごとに特徴量抽出を行うため、それらの特徴量に領域内の情報しか反映されない。正しい識別を行うためには局所的な情報だけでなく離れた領域との関係を表す大局的な情報も必要である。

また、特許文献１および非特許文献２に記載の技術では、テクスチャ画像を対象としているため、人物等、繰り返し模様が乏しい物体に対する識別については、考慮されていない。

本発明は、上記の点に鑑みて、これらの問題を解消するために発明されたものであり、画像データから、繰り返し模様が乏しい物体の識別に有効な画素特徴量を抽出することを目的としている。

上記目的を達成するために、本発明の特徴量抽出装置は次の如き構成を採用した。
本発明の特徴量抽出装置は、画像データが有する画素毎に、画素特徴量を算出する画素特徴算出部と、前記画像データ内に複数の領域を設定する領域設定部と、前記複数の領域のうちの一の前記領域内の座標を、前記複数の領域のうちの他の少なくとも一の前記領域内の座標に写像する座標写像部と、前記一の領域内の座標と前記他の少なくとも一の領域内の座標とにおける、前記画素特徴量の組合せの頻度である共起行列を、前記領域ごとに算出する共起行列算出部と、を有する。

なお、上記課題を解決するため、本発明は、上記特徴量抽出装置における特徴量抽出方法、及び、その特徴量抽出方法をコンピュータに実行させるためのプログラムとしてもよい。

本発明によれば、画像データから、繰り返し模様が乏しい物体の識別に有効な特徴量を抽出することが可能になる。

以下、本発明の実施の形態を図面を参照して説明する。
〔本発明の実施の形態〕
まず、本発明による特徴量抽出装置の構成について説明する。

図１は、本実施形態に係る特徴量抽出装置１００の構成を示す図である。
特徴量抽出装置１００は、領域設定部１０３、座標写像部１０８、画素特徴算出部１０４、共起行列算出部１０５、行列値出力部１０６、及び、特徴量出力部１０７を有する。特徴量抽出装置１００はまた、後述するように画像データ入力部１０１、及び、画像データ記憶部１０２に接続されうる。
画像データ入力部１０１は、イメージセンサなどの撮像手段を含み、画像データ入力部１０１により画像データを取得する。画像データ記憶部１０２は、画像データ入力部１０１で取得された画像データなどを記憶する。

領域設定部１０３は、画像データ内に一以上の領域を設定する。各領域の配置は、例えば、複数の画像データの間で同一にするとよい。また、各領域は、互いに重なるように配置されてもよい。

座標写像部１０８は、領域設定部１０３により設定された領域が有する座標を、画像データ上の他の座標に写像する。座標写像部１０８は、例えば、アフィン変換による写像を行う。アフィン変換は、平行移動、回転、反転、拡大縮小、せん断などを組み合わせた線形写像である。

画素特徴算出部１０４は、画像データ記憶部１０２に記憶された画像データから、画素毎に画素特徴量を算出する。画素特徴算出部１０４は、例えば、輝度勾配方向等の値を算出する。

共起行列算出部１０５は、座標写像部１０８により写像された座標の画素と、写像前の座標の画素との間における、画素特徴量の共起行列を算出する。行列値出力部１０６は、共起行列算出部１０５において算出された共起行列の要素の値を、入力された画像データの特徴量として特徴量出力部１０７から出力する。

図２は、領域の配置の例である。図２（ａ）は、画像２０１において、領域が等間隔に格子状に設定されることを示している。図２（ｂ）は、画像２０２において、識別対象の形状の事前知識を用いて設定されることを示している。なお、事前知識とは、例えば、物体が人物の場合に、頭、胴、腕、脚部等の部分を有する等の情報である。領域は、また、矩形でなくてもよく、円等、任意の形状でよい。

図３は、写像の例を説明する図である。図３（ａ）は、平行移動による写像を説明する図である。図３（ａ）において、領域７０１の内部の座標は、矢印７０３で表わされる変位によって点線矩形７０４で示す領域の内部に写像される。なお、図３において、黒丸７０２と白丸７０５とは、写像の前と後との代表的な座標の例を表す。

図３（ｂ）は、対称変換による写像を説明する図である。線分７１１は、対称変換の軸となる直線の一部である。対称変換による写像を行って共起行列を取得することにより、物体の線分に対する対称性の有無を表す画素特徴量を取得することができる。図３（ｃ）は、回転変換による写像を説明する図である。点７２１は、回転変換の中心となる点である。回転変換による写像を行って共起行列を取得することにより、物体の回転に対する不変性の有無を表す画素特徴量を取得することができる。

図４は、画像に対して写像を適用したことを説明する図である。図４（ａ）は、平行移動の距離が短い写像の例を説明する図である。平行移動の距離が短い写像では、共起行列の算出により、例えば、連続したエッジ形状等の局所的な特徴を表すことができる。

図４（ｂ）は、平行移動の距離が長い写像の例を説明する図である。平行移動の距離が長い写像では、共起行列の算出により、例えば、自動車の２つのタイヤ等、物体内における形状の類似性などの大局的な特徴を表すことができる。

図４（ｃ）は、対称変換による写像が適用されたことを説明する図である。なお、対称変換を「反転」ともいう。図４（ｃ）では、図３（ｂ）で説明した対称変換により、人物８２０が有する対称性の有無を表すことができる。

図４（ｄ）は、非線形写像が適用されたことを説明する図である。非線形写像とは、例えば、平面、球、円筒等への射影変換による写像である。図４（ｄ）の非線形写像により、類似した領域に写像を行うことができる。
図３及び図４で説明した写像は、単独で用いるだけでなく、平行移動と回転変換をあわせて行う等、複数の写像を組み合わせて用いてもよい。

なお、写像のための関数の計算コストが大きい場合は、写像の度に関数計算を行う代わりに、写像前後の座標又は座標の差分を表すテーブルにより写像を行っても良い。

画素特徴算出部１０４により算出される画素特徴量は、例えば、輝度勾配の大きさ又は方向、輝度値、フィルタの出力値、及び、テクストンによる分類のID等である。なお、フィルタには、例えば、ガウシアンフィルタ、ソーベルフィルタ、ラプラシアンフィルタ、メディアンフィルタ等がある。

画素特徴量は、１画素毎または数画素毎に１つ以上の値が得られるとよい。画素特徴量は、また、一の画素につきＲＧＢの３つの値を持つカラー画像等、入力画像データが多チャンネル画像である場合には、一のチャンネルの値から算出されてもよい。画素特徴量は、また、全てのチャンネルの値から算出されてもよい。画素特徴量の算出には、例えば、チャンネルの１つとして赤外線画像等、可視光による画像ではない画像が用いられてもよい。

画素特徴算出部１０４は、例えば、複数の段階により画素特徴量を算出してもよい。より詳細には、例えば、ガウシアンフィルタを適用した後の画像から輝度勾配の方向を算出してもよい。

共起行列算出部１０５によって算出される共起行列は、領域設定部１０３により設定された領域に算出される。
共起行列とは、画素特徴算出部１０４により算出された画素特徴量がｉの画素に対して、座標写像部１０８による写像ｆで対応付けられる座標の画素特徴量がｊである組合せの数Ｐｆ（ｉ，ｊ）を要素とする行列である。共起行列の例を次式（１）に示す。

図５は、座標写像部１０８により、一の領域に対して、異なる複数の写像が行われたことを説明する図である。図５の写像が行われた場合には、例えば、共起行列は、写像前の領域の画素と、写像後の２つの領域の画素と、からなる３画素の間の共起を表すものとなる。

例えば、２種類の写像Ｆが、Ｆ＝｛ｆ１、ｆ２｝の場合について、以下説明する。ここで、ｆ１とｆ２とは、それぞれ、写像前の画素から写像後の画素への互いに異なる写像を表し、それぞれ、第１の写像、及び、第２の写像とする。この場合には、共起行列算出部１０５により算出される共起行列は、ＰＦ (ｉ，ｊ，ｋ)を要素とする３次元の行列となる。なお、ｉ，ｊ，ｋはそれぞれ写像前の画素の画素特徴量、第１の写像による写像後の画素の画素特徴量、第２の写像による写像後の画素の画素特徴量、である。なお、３次元の行列とは３次元のテンソルである。

図６は、異なる複数の画素特徴量から、共起行列を算出する処理を説明する図である。図６では、画素特徴算出部１０４により、入力画像６００から、異なる２つの画素特徴量が算出されている。データ６０１は、各画素に対応する画素特徴量が画素特徴量Ａであるデータであり、データ６０２は、各画素に対応する画素特徴量が画素特徴量Ｂであるデータである。

そこで、共起行列算出部１０５は、入力画像６００と画素特徴量Ａ又は画素特徴量Ｂとの間の共起行列を計算してもよく、また例えば、画素特徴量Ａと画素特徴量Ｂとの間の共起行列を計算してもよい。

画素特徴量Ａと画素特徴量Ｂとの２つの画素特徴量より得られる共起行列の各要素Ｐｆ(ｉ，ｊ)において、ｉは画素特徴量Ａの値、ｊは画素特徴量Ｂの値となる。共起行列算出部１０５は、また例えば、画素毎の複数の画素特徴量をベクトルとして表し、ベクトルの共起を算出してもよい。この場合には、Ｐｆ(ｉ，ｊ)のｉ，ｊは、それぞれ、画素特徴量Ａの値を要素とするベクトル、及び、画素特徴量Ｂの値を要素とするベクトルとなる。

なお、画素特徴量として得られた共起行列から、物体を識別する処理には、例えば、サポートベクターマシン、ブースティング、ｋ近傍識別、ベイズ分類、ニューラルネットワーク等の識別器を用いるとよい。

図７は、本実施の形態に係る画像の画素特徴量を算出する処理を説明するフロー図である。図７では、入力された画像データに対して領域を設定し、領域毎の画素特徴量による共起行列が入力された画像データの画素特徴量として算出される。

ステップＳ１０１では、画像データ入力部１０１で画像データを取得する。取得された画像データは、画像データ記憶部１０２に格納されるとよい。

ステップＳ１０２では、画素特徴算出部１０４が、画像データが有する画素毎に、画素特徴量を算出する。

ステップＳ１０３では、領域設定部１０３が、画像データ内に複数の領域を設定する。

ステップＳ１０４では、座標写像部１０８が、ステップＳ１０３で設定された複数の領域のうちの一の領域内の座標を、予め設定された写像により、複数の領域のうちの他の領域内の座標に写像する。

ステップＳ１０５では、共起行列算出部１０５が、共起行列を算出する。共起行列は、ステップＳ１０３で設定された領域が有する画素の画素特徴量と、ステップＳ１０４でその画素が写像された座標の画素の画素特徴量との間で算出される。共起行列は、また例えば、ステップＳ１０４で複数の写像が行われた場合には、異なる複数の写像後の画素間で算出されてもよい。共起行列は、また例えば、ステップＳ１０２で複数の画素特徴量が算出された場合には、異なる複数の画素特徴量の間で算出されてもよい。

ステップＳ１０６では、行列値出力部１０６が、ステップＳ１０５で算出された共起行列の行列値を算出する。この行列値が、画像データの画素特徴量として、特徴量出力部１０７に出力される。

図８は、本発明の実施の形態に係る特徴量抽出装置１００の各機能を実現するコンピュータなどの画像処理装置の構成を例示的に説明する図である。図８のコンピュータは、例えば、主処理部４００、入力部４１０、表示部４２０、識別部４３０、記憶部４９０、画像データ入力部１０１、入力Ｉ／Ｆ４１９、表示Ｉ／Ｆ４２９、識別Ｉ／Ｆ４３９、メモリＩ／Ｆ４９９、及び、画像データ入力Ｉ／Ｆ４８９を有する。

主処理部４００は、図７の各手順を実行するプログラムを実行させて特徴量抽出装置１００の各機能を実現する。主処理部４００は、例えば、ＣＰＵ４０１、ＲＯＭ４０８、及び、ＲＡＭ４０９を有する。ＣＰＵ４０１は、プログラムを実行することにより、コンピュータが有する各デバイス等の制御を行う。ＲＯＭ４０８は、例えば、プログラムやパラメータ等が格納され、ＣＰＵ４０１にそれらが供せられる。ＲＡＭ４０９は、例えば、ＣＰＵ４０１がプログラムを実行する際のワークメモリとして供せられ、図１の画像データ記憶部１０２としても機能しうる。

入力部４１０は、例えば、キーボードやマウス等の入力手段であり、コンピュータに対する指示が入力される。表示部４２０は、ＣＰＵ４０１の処理結果等を表示する。

識別部４３０は、本実施の形態に係る特徴量抽出装置１００によって抽出される画像データの特徴量に基づいて、例えば、画像に含まれる物体の有無や物体の種類などの識別結果を出力する。

入力Ｉ／Ｆ４１９は、表示Ｉ／Ｆ４２９、識別Ｉ／Ｆ４３９、画像データ入力Ｉ／Ｆ４８９、及び、メモリＩ／Ｆ４９９は、それぞれ、入力部４１０、表示部４２０、識別部４３０、画像データ入力部１０１、及び、記憶部４９０がバスを介して主処理部４００と接続される際のインタフェースである。

本実施の形態に係る特徴量抽出装置１００によって処理される画像データは、例えば、画像データ入力部１０１、又は、ネットワークを経由して外部から入力される。従って、本実施の形態に係る画像処理装置は、画像データ入力部１０１を内部に備えてもよいし、外部の画像データ入力部と通信可能に接続されてもよい。本実施の形態に係る特徴量抽出装置１００によって処理される画像データは、また例えば、不図示の駆動部に挿入された記録媒体、又は、記憶部４９０から読み出されてもよい。

本実施の形態に係る特徴量抽出装置１００によって抽出される画像データの特徴量は、例えば、表示部４２０、又は、ネットワークから出力される。本実施の形態に係る特徴量抽出装置１００によって抽出される画像データの特徴量は、また例えば、駆動部に挿入された記録媒体、又は、記憶部４９０に記録されてもよい。

本実施の形態に係る特徴量抽出装置１００によって抽出される画像データの特徴量はまた、例えば、識別部４３０に入力されてもよい。識別部４３０の出力は、例えば、表示部４２０、又は、ネットワークを通して出力される。識別部４３０の出力はまた、例えば、駆動部に挿入された記録媒体に記録されてもよい。

図１の特徴量抽出装置１００のプログラムは、ＲＯＭ４０８、及び、記憶部４９０等の記憶装置に格納される他に、ＣＤ、ＤＶＤ等の記録媒体に記録され、駆動部に挿入されることにより、コンピュータがそのプログラムを読み取って実行されてもよい。

本実施の形態によれば、共起行列を計算する際の写像として、アフィン変換を用いることにより、平行移動だけでなく左右反転や回転や拡大縮小などあらゆる線形写像を表すことができ、平行移動で表現できない特徴をもつ物体について識別性能が向上する。平行移動により表現できない特徴とは、例えば、人物の左右対称性、自動車のタイヤの回転に対する同一性等である。なお、局所的に平行移動で表現できる物体についても、同様に識別性能が向上する。

本実施の形態によれば、また、画像に領域を設定し、領域毎に共起行列を算出することにより、共起性が部分的であっても画素特徴量を抽出することができる。これにより、画像の一部の領域で写像に対する共起性が存在しているにも関わらず、その領域の面積が画像に対して小さいために、画像全体で共起性を算出する場合に埋もれてしまう可能性がある部分的な共起性を、抽出することができる。

本実施の形態によれば、また、複数の領域および複数の写像の組み合わせにより、領域内のみでは表現できない領域の外との関係や、単一の写像では表現できない複数の座標との関係を画素特徴量として抽出できるため、物体の形状を詳細に表現できる。
このようにして抽出された画素特徴量を用いて画像の識別を行うことで、画像をより正しく識別することができる。

以上、発明を実施するための最良の形態について説明を行ったが、本発明は、この最良の形態で述べた実施の形態に限定されるものではない。本発明の主旨を逸脱しない範囲で変更することが可能である。

本発明の実施の形態に係る特徴量抽出装置の構成を示す図である。 領域の設定方法の例を示す図である。 写像の例を説明する図である。 写像が適用された画像を説明する図である。 一の領域から異なる複数の写像が行われる例を示す図である。 ２つの画素特徴量を用いて共起行列を計算する例を示す図である。 本発明の実施の形態に係る特徴量抽出方法を示すフロー図である。 本実施の形態に係るプログラムを実行するコンピュータを説明する図である。

符号の説明

１００ 特徴量抽出装置
１０１ 画像データ入力部
１０２ 画像データ記憶部
１０３ 領域設定部
１０４ 画素特徴算出部
１０５ 共起行列算出部
１０６ 行列値出力部
１０７ 特徴量出力部
１０８ 座標写像部

Claims (8)

1. 画像データが有する画素毎に、画素特徴量を算出する画素特徴算出部と、
   前記画像データ内に複数の領域を設定する領域設定部と、
   前記複数の領域のうちの一の前記領域内の座標を、前記複数の領域のうちの他の少なくとも一の前記領域内の座標に写像する座標写像部と、
   前記一の領域内の座標と前記他の少なくとも一の領域内の座標とにおける、前記画素特徴量の組合せの頻度である共起行列を、前記領域ごとに算出する共起行列算出部と、
   を有する特徴量抽出装置。
2. 前記座標写像部は、前記一の領域内の座標を、前記複数の領域のうちの二以上の領域内の各々の座標にそれぞれ写像し、
   前記共起行列算出部は、前記一の領域内の座標及び前記他の少なくとも一の領域内の座標における、前記画素特徴量の組合せの頻度である共起行列を算出する請求項１に記載の特徴量抽出装置。
3. 前記画素特徴算出部は、異なる複数の前記画素特徴量を算出し、
   前記共起行列算出部は、前記複数の画素特徴量を用いて、前記共起行列を算出する請求項１又は請求項２に記載の特徴量抽出装置。
4. 前記座標写像部による写像は、平行移動、回転及び対称変換のいずれか１つ又は２つ以上の組み合わせ並びにアフィン変換を含む請求項１乃至請求項３の何れか１項に記載の特徴量抽出装置。
5. 前記画素特徴算出部は、前記画素毎の輝度勾配方向を、前記画素特徴量として出力する請求項１乃至請求項４の何れか１項に記載の特徴量抽出装置。
6. 前記画像データを入力するための入力部と、
   請求項１乃至請求項５のいずれか１項に記載の特徴量抽出装置と、
   を有する画像処理装置。
7. 画像データが有する画素毎に、画素特徴量を算出する画素特徴算出ステップと、
   前記画像データ内に複数の領域を設定する領域設定ステップと、
   前記複数の領域のうちの一の前記領域内の座標を、前記複数の領域のうちの他の少なくとも一の前記領域内の座標に写像する座標写像ステップと、
   前記一の領域内の座標と前記他の少なくとも一の領域内の座標とにおける、前記画素特徴量の組合せの頻度である共起行列を、前記領域ごとに算出する共起行列算出ステップと、
   を有する特徴量抽出方法。
8. 画像データが有する画素毎に、画素特徴量を算出する画素特徴算出ステップと、
   前記画像データ内に複数の領域を設定する領域設定ステップと、
   前記複数の領域のうちの一の前記領域内の座標を、前記複数の領域のうちの他の少なくとも一の前記領域内の座標に写像する座標写像ステップと、
   前記一の領域内の座標と前記他の少なくとも一の領域内の座標とにおける、前記画素特徴量の組合せの頻度である共起行列を、前記領域ごとに算出する共起行列算出ステップと、
   をコンピュータに実行させるためのプログラム。

Images