JP4894747B2 - 部分領域検出装置、対象物識別装置、及びプログラム - Google Patents

Description

本発明は、部分領域検出装置、対象物識別装置、及びプログラムに係り、特に、識別対象物を識別するための部分領域を検出する部分領域検出装置、識別対象画像が識別対象物を撮像した画像であるか否かを判定する対象物識別装置、及びプログラムに関する。

従来より、物体が存在する領域を特定し、領域内のエッジ方向または強度の分布を特徴量として、物体の種別を判定する物体種別判定装置が知られている（特許文献１）。

また、入力パターン画像を格子状に区切って小領域を設定し、小領域ごとにエッジ方向のヒストグラムを計算して、それを特徴として人の識別を行う方法が知られている（非特許文献１）。
特開２００７−１５６６２６号公報 "Ｈｉｓｔｏｇｒａｍ ｏｆ ｏｒｉｅｎｔｅｄ ｇｒａｄｉｅｎｔｓ ｆｏｒ ｈｕｍａｎ ｄｅｔｅｃｔｉｏｎ" , ＩＥＥＥ ＣＶＰＲ２００５

しかしながら、上記の特許文献１に記載の技術では、特徴量としてエッジ方向及び強度の分布を対象領域について計算し、対象領域内での位置の情報は特徴量に反映されないため、識別性能が劣化してしまう、という問題がある。

また、上記の非特許文献１に記載の技術では、小領域の区切り方が規則的であるため、対象物の部分的な変動が起こると、特徴量が変化してしまい、識別性能が劣化してしまう、という問題がある。

本発明は、上記の問題点を解決するためになされたもので、識別対象画像が、識別対象物を撮像した画像であるか否かを高精度に識別することができる部分領域検出装置、対象物識別装置、及びプログラムを提供することを目的とする。

上記の目的を達成するために第１の発明に係る部分領域検出装置は、識別対象物を撮像することにより得られた複数の画像の各々について、前記画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の濃度差に基づいて求められ、かつ、前記注目画素及び前記周辺画素を含む所定領域内の濃度の変化度合いを示す特徴量を算出する特徴量算出手段と、前記特徴量算出手段によって算出された前記複数の画像の各々の前記特徴量に基づいて、前記注目画素毎に、前記特徴量の平均値又は前記特徴量の総和を算出する平均合計算出手段と、前記平均合計算出手段によって算出された前記平均値又は前記総和が極大となる画素を含む部分領域を、前記識別対象物を識別するための部分領域として検出する部分領域検出手段とを含んで構成されている。

第２の発明に係るプログラムは、コンピュータを、識別対象物を撮像することにより得られた複数の画像の各々について、前記画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の濃度差に基づいて求められ、かつ、前記注目画素及び前記周辺画素を含む所定領域内の濃度の変化度合いを示す特徴量を算出する特徴量算出手段、前記特徴量算出手段によって算出された前記複数の画像の各々の前記特徴量に基づいて、前記注目画素毎に、前記特徴量の平均値又は前記特徴量の総和を算出する平均合計算出手段、及び前記平均合計算出手段によって算出された前記平均値又は前記総和が極大となる画素を含む部分領域を、前記識別対象物を識別するための部分領域として検出する部分領域検出手段として機能させるためのプログラムである。

第１の発明及び第２の発明によれば、特徴量算出手段によって、識別対象物を撮像することにより得られた複数の画像の各々について、画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の濃度差に基づいて求められ、かつ、注目画素及び周辺画素を含む所定領域内の濃度の変化度合いを示す特徴量を算出する。平均合計算出手段によって、特徴量算出手段によって算出された複数の画像の各々の特徴量に基づいて、注目画素毎に、特徴量の平均値又は特徴量の総和を算出する。

そして、部分領域検出手段によって、平均合計算出手段によって算出された平均値又は総和が極大となる画素を含む部分領域を、識別対象物を識別するための部分領域として検出する。

このように、濃度の変化度合いを示す特徴量の平均値又は総和が極大となる画素を含む部分領域を、識別対象物を識別するための部分領域として検出することにより、撮像される識別対象物の変化が画像の特徴量へ与える影響を低減できる部分領域を検出することができ、検出される部分領域を用いて、識別対象画像が、識別対象物を撮像した画像であるか否かを高精度に識別することができる。

第１の発明に係る部分領域検出手段は、平均値又は総和が極大となる画素を中心とする部分領域を、識別するための部分領域として検出することができる。これによって、撮像される識別対象物の変化が画像の特徴量へ与える影響をさらに低減できる部分領域を検出することができる。

第１の発明に係る平均合計算出手段は、特徴量算出手段によって算出された複数の画像の各々の特徴量に基づいて、注目画素毎に、特徴量の平均値又は特徴量の総和を算出し、平均値又は総和を画素値とする特徴量画像を生成し、部分領域検出手段は、特徴量画像の画素値が極大となる画素又は極大となる画素の周辺の画素を注目画素としたときの特徴量を算出し、特徴量画像の画素値が極大となる画素を含む部分領域であって、かつ、算出した特徴量の大きさが大きいほど小さい部分領域を、識別対象物を識別するための部分領域として検出することができる。これによって、識別対象物の変化の大きさに応じた大きさの部分領域を検出することができる。

上記の部分領域検出手段は、識別するための部分領域を複数検出することができる。これによって、画素値が極大となる画素が複数存在する場合には、複数の部分領域を検出することができる。

上記の特徴量を、勾配の大きさとすることができる。勾配の大きさによって、注目画素及び周辺画素を含む所定領域内の濃度の変化度合いを示すことができる。

上記の識別対象物を、部位の位置又は大きさが変動する物体とすることができる。これによって、識別対象物の部位の位置又は大きさが変動しても、識別対象物の変動が画像の特徴量へ与える影響を低減できる部分領域を検出することができる。

上記の識別対象物を、種類によって部位の位置又は大きさが異なる物体とすることができる。これによって、種類によって識別対象物の部位の位置又は大きさが異なっていても、識別対象物の部位の相違が画像の特徴量へ与える影響を低減できる部分領域を検出することができる。

第３の発明に係る対象物識別装置は、上記の部分領域検出装置によって検出された前記部分領域の位置及び大きさを記憶した記憶手段と、識別対象画像に対して、前記記憶手段に記憶された前記部分領域の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を設定する部分領域設定手段と、前記部分領域設定手段によって設定された前記識別対象画像の前記部分領域の前記特徴量を算出する特徴量算出手段と、予め求められた前記識別対象物を撮像することにより得られた画像の前記検出された前記部分領域の前記特徴量と、前記特徴量算出手段によって算出された前記部分領域の前記特徴量とを比較し、比較結果に基づいて、前記識別対象画像が前記識別対象物を撮像した画像であるか否かを判定する判定手段とを含んで構成されている。

第４の発明に係るプログラムは、コンピュータを、第２の発明に係るプログラムによって検出された前記部分領域の位置及び大きさを記憶した記憶手段、識別対象画像に対して、前記記憶手段に記憶された前記部分領域の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を設定する部分領域設定手段、前記部分領域設定手段によって設定された前記識別対象画像の前記部分領域の前記特徴量を算出する特徴量算出手段、及び予め求められた前記識別対象物を撮像することにより得られた画像の前記検出された前記部分領域の前記特徴量と、前記特徴量算出手段によって算出された前記部分領域の前記特徴量とを比較し、比較結果に基づいて、前記識別対象画像が前記識別対象物を撮像した画像であるか否かを判定する判定手段として機能させるためのプログラムである。

第３の発明及び第４の発明によれば、検出された識別対象物を識別するための部分領域の位置及び大きさを記憶手段に記憶し、部分領域設定手段によって、識別対象画像に対して、記憶手段に記憶された部分領域の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を設定する。

そして、特徴量算出手段によって、部分領域設定手段によって設定された識別対象画像の部分領域の特徴量を算出する。判定手段によって、予め求められた識別対象物を撮像することにより得られた画像の検出された部分領域の特徴量と、特徴量算出手段によって算出された部分領域の特徴量とを比較し、比較結果に基づいて、識別対象画像が識別対象物を撮像した画像であるか否かを判定する。

このように、識別対象画像に対して、撮像される識別対象物の変化が画像の特徴量へ与える影響を低減できる部分領域を設定し、部分領域の特徴量を用いて、識別対象画像が、識別対象物を撮像した画像であるか否かを高精度に識別することができる。

以上説明したように、本発明の部分領域検出装置及びプログラムによれば、濃度の変化度合いを示す特徴量の平均値又は総和が極大となる画素を含む部分領域を、識別対象物を識別するための部分領域として検出することにより、撮像される識別対象物の変化が画像の特徴量へ与える影響を低減できる部分領域を検出することができ、検出される部分領域を用いて、識別対象画像が、識別対象物を撮像した画像であるか否かを高精度に識別することができる、という効果が得られる。

本発明の対象物識別装置及びプログラムによれば、識別対象画像に対して、撮像される識別対象物の変化が画像の特徴量へ与える影響を低減できる部分領域を設定し、部分領域の特徴量を用いて、識別対象画像が、識別対象物を撮像した画像であるか否かを高精度に識別することができる、という効果が得られる。

以下、図面を参照して本発明の実施の形態を詳細に説明する。なお、撮像画像が、識別対象物としての人物を撮像した画像であるか否かを識別する対象物識別装置に本発明を適用した場合を例に説明する。

図１に示すように、本実施の形態に係る対象物識別装置１０は、車両（図示省略）に取り付けられ、かつ、車両の前方を撮像して画像を生成する撮像装置１２と、撮像装置１２から得られる撮像画像が人物を撮像した画像であるか否かを識別するコンピュータ１４と、コンピュータ１４の識別結果を表示する表示装置１６とを備えている。なお、対象物識別装置１０は、本発明の部分領域検出装置及び対象物識別装置に対応する。

撮像装置１２は、車両の前方を撮像し、画像の画像信号を生成する撮像部（図示省略）と、撮像部で生成された画像信号をＡ／Ｄ変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１４は、ＣＰＵと、ＲＡＭと、後述する学習処理ルーチン及び対象物識別処理ルーチンの各々を実行するためのプログラムを記憶したＲＯＭとを備え、機能的には次に示すように構成されている。コンピュータ１４は、人物を撮像した学習画像を複数記憶した学習画像データベース２０と、学習画像の各画素について勾配の大きさを算出する勾配算出部２２と、学習画像の各画素の勾配の大きさを画素毎に平均して、勾配の大きさの平均値を画素値とした勾配画像を生成する勾配画像生成部２４と、勾配画像において画素値が極大値となる点を各々検出し、その極大点をそれぞれ中心位置とし、勾配画像における極大点の勾配の大きさに応じた大きさである部分領域を各々決定する部分領域決定部２６と、部分領域決定部２６によって決定された各部分領域の位置及び大きさを示す情報を記憶する部分領域情報記憶部２８と、各学習画像について、学習画像における決定された各部分領域から、各勾配方向のヒストグラム（以下、勾配ヒストグラムと称する。）を算出して、各部分領域について、勾配ヒストグラムを示す特徴ベクトルを生成し、各部分領域の特徴ベクトルを複数の学習画像について平均したデータを基準特徴量として算出する基準特徴量算出部３０と、算出された基準特徴量である勾配ヒストグラムを示す特徴ベクトルを各部分領域について記憶する基準特徴量記憶部３２とを備えている。

学習画像データベース２０は、人物を撮像した画像から人物を表している領域を切り出した様々な大きさのｎ枚の画像｛ｘ１，・・・，ｘｎ｝を、学習画像として記憶している。なお、学習画像は、全て同じ縦横比であり、人物の縦横比に応じた縦横比となっている。

勾配算出部２２は、複数の学習画像の各々について、以下に説明するように、各画素の勾配の大きさを算出する。まず、学習画像データベース２０から取得された学習画像を、予め規定された大きさに正規化し、正規化画像｛ｘ１のバー，・・・，ｘｎのバー｝を生成する。次に、各正規化画像の各画素について、以下の（１）式に従って勾配の大きさを算出する。

ただし、ｍ（ｕ,ｖ）は画像座標（ｕ,ｖ）での勾配の大きさを表わし、ｘのバー（ｕ，ｖ）は、正規化画像ｘのバーの画像座標（ｕ,ｖ）の画素値を表わす。

ここで、勾配の大きさは、上記（１）式に示すように、画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の濃度差に基づいて求められ、注目画素及び周辺画素を含む所定領域内の濃度の変化度合いを示している。

勾配画像生成部２４は、図２（Ａ）に示すように、勾配算出部２２により算出された勾配の大きさを画素値とする勾配画像｛ｇ１，・・・，ｇｎ｝を生成し、以下の（２）式に従って、生成されたｎ枚の勾配画像の画素毎の画素値の平均を算出して、図２（Ｂ）に示すような、勾配画像の画素値の平均値を画素値とする勾配平均画像Ｇを生成する。

ただし、Ｇ（ｕ,ｖ）は、勾配平均画像Ｇの画像座標（ｕ,ｖ）での画素値を表わし、ｇｋ（ｕ，ｖ）は、ｋ番目の勾配画像ｇｋの画像座標（ｕ,ｖ）での画素値を表している。

部分領域決定部２６は、生成された勾配平均画像Ｇから、以下に説明するように、人物を撮像した画像であるか否かを識別するための部分領域を決定する。まず、勾配平均画像Ｇの各画素の勾配の大きさを計算し、勾配平均画像Ｇから算出される各画素の勾配の大きさを画素値とした勾配画像Ｇｇを生成する。なお、勾配の大きさの計算方法は、勾配画像を生成する時と同様の方法を用いればよい。

そして、図３（Ａ）に示すように、勾配平均画像Ｇにおいて画素値が極大値となる画素を各々抽出する。画素値が極大値であるか否かは、注目画素を中心とする所定のウィンドウ（たとえば５×５のウィンドウ）内で、注目画素の画素値が最大であるか否かによって判定する。最後に、抽出された各極大点について、画素値の極大点の位置、及び勾配平均画像Ｇの勾配画像Ｇｇの画素値に基づいて、識別するための部分領域の位置及び大きさを決定する。例えば、図３（Ｂ）に示すように、部分領域の位置については、極大点の位置を中心とし、部分領域の大きさについては、極大点付近の画素に対応する勾配画像Ｇｇの画素の画素値が大きいほど、部分領域の大きさを小さく決定し、極大点付近の画素に対応する勾配画像Ｇｇの画素の画素値が小さいほど、部分領域の大きさを大きく決定する（例えば、図３（Ｂ）の例では、部分領域１の方が、勾配画像Ｇｇの画素の画素値が小さいため、部分領域１の大きさを大きく決定し、部分領域２の方が、勾配画像Ｇｇの画素の画素値が大きいため、部分領域２の大きさを小さく決定する。）。

上記のように、勾配平均画像Ｇの画素値の極大点の各々について、部分領域の位置及び大きさが決定され、各部分領域の位置及び大きさを示す情報が、部分領域情報記憶部２８に記憶される。

基準特徴量算出部２０は、学習画像を規定の大きさに正規化して、正規化された学習画像に対して、上記のように決定された位置及び大きさの部分領域を設定し、正規化された学習画像における設定された部分領域について、図４に示すように、各画素の勾配の大きさ及び勾配の方向を算出する。勾配の大きさは、上記（１）式に従って算出され、勾配の方向は、以下の（３）式に従って算出される。

ただし、θ（ｕ,ｖ）は、画素座標（ｕ,ｖ）での勾配の方向を表わし、ｘのバー（ｕ，ｖ）は、正規化した学習画像ｘのバーの画像座標（ｕ,ｖ）の画素値を表す。

そして、算出された各画素の勾配の大きさ及び勾配の方向に基づいて、図５に示すように、部分領域に対する勾配ヒストグラムを算出する。なお、ヒストグラムの投票時には、勾配の大きさをかけて投票することによって、勾配ヒストグラムを算出する。

上記のように、各部分領域に対する勾配ヒストグラムを、正規化した学習画像の各々について算出して、各部分領域について、勾配ヒストグラムを示す特徴ベクトルを生成し、各部分領域に対する特徴ベクトルを複数の学習画像について平均したデータを基準特徴量として算出して、基準特徴量を部分領域毎に基準特徴量記憶部３２に記憶する。

次に、本実施の形態の原理について説明する。従来より、学習型識別を用いて画像パターンから識別対象物を検出するとき、画像全体の形状情報を保持しながら微小な位置ずれに対応するために、格子状に画像を分割した小領域毎に、エッジ方向ヒストグラムなどの特徴量を計算して、特徴ベクトルを生成している。しかし、人のように部分的に変形し、各部位の位置又は大きさが変動するような対象物を検出する場合、分割した小領域の大きさに比べて、対象物の各部位の位置変化が大きいと、特徴ベクトルが大きく異なってくるため、対象物の検出が困難となる。そこで、本実施の形態では、学習画像から、各部位の変動中心位置として、勾配平均画像の画素値の極大点を求めると共に、各部位の変動の大きさを示す指標として、画素値の極大点周辺の勾配平均画像における勾配の大きさを求めて、部分領域の位置及び大きさを決定する。これによって、対象物の部分的な位置変動が特徴量へ与える影響を低減することができ、頑健な対象物の検出を実現することができる。

また、対象物識別装置１０のコンピュータ１４は、撮像装置１２から撮像された画像を取得する画像取得部４０と、画像取得部４０により取得した撮像画像から、撮像画像の各位置に各大きさで識別対象領域を設定し、各識別対象領域の画像を識別対象画像として抽出する識別対象画像抽出部４２と、部分領域情報記憶部２８に記憶された各部分領域の大きさ及び位置を示す情報に基づいて、抽出された識別対象画像において、学習により決定された部分領域を各々設定する部分領域設定部４４と、設定された部分領域の各々について、勾配ヒストグラムを算出して、勾配ヒストグラムを示す特徴ベクトルを生成する勾配ヒストグラム算出部４６と、識別対象画像の部分領域について算出された勾配ヒストグラムを示す特徴ベクトルと、基準特徴量記憶部３２に記憶された同じ部分領域の基準特徴量としての勾配ヒストグラムを示す特徴ベクトルとを比較して、識別対象画像が人物を撮像した画像であるか否かを判定し、識別対象画像を識別する識別部４８とを備えている。

識別対象画像抽出部４２は、撮像画像に対して、学習画像と同じ縦横比の様々な大きさで、かつ、撮像画像内の各位置に、識別対象領域を設定し、識別対象領域の画像を識別対象画像として抽出する。例えば、図６（Ａ）、（Ｂ）に示すように、１枚の撮像画像に対して、異なる大きさの領域を画像の各位置で設定し、設定された各領域から識別対象画像を抽出する。

部分領域設定部４４は、撮像画像から抽出された識別対象画像を規定の大きさに変更して、大きさを正規化し、正規化された識別対象画像に対して、部分領域情報記憶部２８に記憶された学習により決定された各部分領域の位置及び大きさに基づいて、部分領域を各々設定する。このように、正規化された識別対象画像に対して部分領域を設定することにより、学習により決定された複数の部分領域の各々の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を、識別対象画像に対して設定することができる。

勾配ヒストグラム算出部４６は、正規化された識別対象画像における設定された部分領域について、上述した基準特徴量算出部３０と同様に、各画素の勾配の大きさ及び勾配の方向を算出し、算出された各画素の勾配の大きさ及び勾配の方向に基づいて、当該部分領域の勾配ヒストグラムを算出する。また、算出された勾配ヒストグラムを示す特徴ベクトルを生成する。なお、勾配ヒストグラムは、各部分領域について算出され、勾配ヒストグラムを示す特徴ベクトルが各部分領域について生成される。

識別部４８は、基準特徴量記憶部３２に記憶された学習により得られた基準特徴量としての勾配ヒストグラムを示す特徴ベクトルと、勾配ヒストグラム算出部４６により算出された勾配ヒストグラムを示す特徴ベクトルとを、部分領域毎に比較して、算出された勾配ヒストグラムを示す特徴ベクトルが基準特徴量と類似しているか否かを判定し、各部分領域の比較判定結果に基づいて、識別対象画像が人物を撮像した画像であるか否かを判定し、識別対象画像を識別する。

次に、本実施の形態に係る対象物識別装置１０の作用について説明する。まず、人物を撮像することにより得られた複数の画像の各々について、人物を表している領域を、人物の縦横比に応じて定められた縦横比で切り出し、切り出した様々な大きさのｎ枚の画像を学習画像として学習画像データベース２０に記憶する。

そして、コンピュータ１４において、図７に示す学習処理ルーチンが実行される。まず、ステップ１００において、学習画像データベース２０から、人物を表している複数の学習画像を取得し、ステップ１０２において、上記ステップ１００で取得した学習画像の各々について、大きさを正規化し、複数の正規化画像を生成する。

そして、ステップ１０４において、上記ステップ１０２で生成された各正規化画像について、上記（１）式に従って、各画素の勾配の大きさを算出し、各画素の勾配の大きさを画素値とした勾配画像を複数生成する。次のステップ１０６では、上記ステップ１０４で生成された複数の勾配画像について、各画素の画素値を平均して、勾配平均画像を生成し、ステップ１０８において、上記ステップ１０６で生成された勾配平均画像の各画素について、上記（１）式に従って、勾配の大きさを算出し、算出した勾配の大きさを画素値とした勾配画像を生成する。

そして、ステップ１１０において、上記ステップ１０６で生成された勾配平均画像から、画素値が極大となる極大点を１つ又は複数抽出し、ステップ１１２において、上記ステップ１１０で抽出された極大点の各々について、極大点の位置、及び上記ステップ１０８で生成された勾配平均画素の勾配画像における、抽出された極大点に対応する画素の画素値の大きさに基づいて、部分領域の位置及び大きさを決定する。そして、ステップ１１４で、上記ステップ１１２で決定された各部分領域の位置及び大きさを示す情報を、部分領域情報記憶部２８に記憶する。

そして、ステップ１１６において、上記ステップ１０２で生成された複数の正規化画像の各々に対して、上記ステップ１１２で決定された部分領域を各々設定し、ステップ１１８で、各正規化画像について、上記ステップ１１６で設定された各部分領域に対する勾配ヒストグラムを算出し、算出した各部分領域に対する勾配ヒストグラムを示す特徴ベクトルを生成する。そして、次のステップ１２０において、上記ステップ１１８で算出された各部分領域に対する勾配ヒストグラムを示す特徴ベクトルを、複数の正規化画像について平均して、各部分領域について、基準特徴量として、勾配ヒストグラムを示す特徴ベクトルの平均データを算出し、基準特徴量記憶部３２に、部分領域毎に基準特徴量を記憶して、学習処理ルーチンを終了する。

そして、対象物識別装置１０を搭載した車両の走行中に、撮像装置１２によって車両の前方の所定領域が撮像されると、コンピュータ１４において、図８に示す対象物識別処理ルーチンが実行される。

まず、ステップ１３０において、撮像装置１２から撮像画像を取得し、ステップ１３２において、上記図６（Ａ）、（Ｂ）に示すように、上記ステップ１３０で取得した撮像画像の各位置から各大きさの画像を、識別対象画像として抽出する。そして、ステップ１３４において、上記ステップ１３２で抽出された識別対象画像の各々を、規定の大きさに正規化し、次のステップ１３６では、部分領域情報記憶部２８から、各部分領域の位置及び大きさに関する情報を取得する。

そして、ステップ１３８では、識別対象画像を識別するための変数ｎを初期値である１に設定し、ステップ１４０において、上記ステップ１３４で正規化された識別対象画像ｎに対して、上記ステップ１３６で取得した各部分領域に関する情報に基づいて、各部分領域を設定する。

そして、ステップ１４２において、部分領域を識別するための変数ｓを初期値である１に設定し、次のステップ１４４で、正規化された識別対象画像ｎの上記ステップ１４０で設定された部分領域ｓ内の各画素について、上記（１）式及び（３）式に従って、勾配の大きさ及び方向を算出する。

そして、ステップ１４６において、上記ステップ１４４で算出された勾配の大きさ及び方向に基づいて、部分領域ｓについて、勾配ヒストグラムを算出し、算出した勾配ヒストグラムを示す特徴ベクトルを生成し、ステップ１４８において、部分領域ｓの基準特徴量としての勾配ヒストグラムを示す特徴ベクトルと、上記ステップ１４６で算出された勾配ヒストグラムを示す特徴ベクトルとを比較して、算出された勾配ヒストグラムを示す特徴ベクトルが部分領域ｓの基準特徴量と類似するか否かを判定する。

次のステップ１５０では、変数ｓが、部分領域の数を示す定数Ｓ未満であるか否かを判定し、変数ｓが定数Ｓ未満であり、上記の勾配ヒストグラムの比較判定を行なっていない部分領域がある場合には、ステップ１５２で、変数ｓをインクリメントして、ステップ１４４へ戻る。一方、上記ステップ１５０で、変数ｓが定数Ｓ以上であり、全ての部分領域について、上記の勾配ヒストグラムの比較判定を行なった場合には、ステップ１５４において、上記ステップ１４８の全ての比較判定結果に基づいて、識別対象画像ｎが人物を撮像した画像であるか否かを識別する。上記ステップ１５４では、例えば、所定割合以上の比較判定結果で、特徴ベクトルが基準特徴量と類似していると判断された場合、識別対象画像ｎが人物を撮像した画像であると識別する。

そして、ステップ１５６において、識別対象画像ｎについて、上記ステップ１５４で人物を撮像した画像であると識別されたか否かを判定し、人物を撮像した画像であると識別された場合には、ステップ１５８において、撮像画像が人物を撮像した画像であるとの識別結果を表示装置１６に表示させて、対象物識別処理ルーチンを終了する。

一方、上記ステップ１５６で、人物を撮像した画像でないと識別された場合には、ステップ１６０において、変数ｎが、上記ステップ１３２で抽出された識別対象画像の数を示す定数Ｎ未満であるか否かを判定し、変数ｎが定数Ｎ未満であり、上記の識別処理を行っていない識別対象画像がある場合には、ステップ１６２において、変数ｎをインクリメントして、ステップ１４０へ戻る。一方、上記ステップ１６０において、変数ｎが定数Ｎ以上であり、全ての識別対象画像について、上記の識別処理を行った場合には、ステップ１６４において、撮像画像が人物を撮像した画像ではないとの識別結果を表示装置１６に表示させて、対象物識別処理ルーチンを終了する。

以上説明したように、本実施の形態に係る対象物識別装置によれば、人物を撮像した複数の学習画像における勾配の大きさの平均値が極大となる画素を中心とする部分領域を、人物を撮像した画像であるか否かを識別するための部分領域として検出することにより、撮像される人物の部位の位置又は大きさが変動しても、人物の変動が画像の特徴量へ与える影響を低減できる部分領域を検出することができる。

また、人物の変動の大きさを示す指標として、勾配平均画像における極大点の勾配の大きさを求め、極大点の勾配の大きさに応じた大きさの部分領域を検出することにより、部分領域内での人物の変動の大きさに応じた大きさの部分領域を検出することができる。

また、識別対象画像に対して、撮像される人物の変動が画像の特徴量へ与える影響を低減できる部分領域を設定し、部分領域の特徴量ベクトルを用いて、識別対象画像が、識別対象物としての人物を撮像した画像であるか否かを高精度に識別することができる。また、部位の位置又は大きさが変動する識別対象物としての人物を、頑健に検出することができる。

なお、上記の実施の形態では、対象物識別装置によって、学習により、人物を識別するための部分領域を検出すると共に、識別対象画像が人物を撮像した画像であるか否かを識別する場合を例に説明したが、これに限定されるものではなく、学習により人物を識別するための部分領域を検出する部分領域検出装置と、識別対象画像が人物を撮像した画像であるか否かを識別する対象物識別装置とを別々に構成してもよい。この場合には、部分領域検出装置によって部分領域に関する情報や基準特徴量を求め、対象物識別装置のメモリに部分領域に関する情報や基準特徴量を記憶すればよい。

また、複数の学習画像について勾配の大きさを平均して極大点を抽出する場合を例に説明したが、これに限定されるものではなく、複数の学習画像について勾配の大きさを総和して極大点を抽出するようにしてもよい。この場合には、複数の学習画像について、画素毎に勾配の大きさの総和を算出し、算出した勾配の大きさの総和を画素値とした勾配総和画像を生成し、勾配総和画像において画素値が極大となる点を抽出するようにすればよい。

また、識別対象物が人物である場合を例に説明したが、これに限定されるものではなく、部位の位置又は大きさが変動する、人物以外の物体を識別対象物としてもよい。また、人物のように部分的に変動が起こる物体のみでなく、種類によって部位の位置や大きさが異なる物体を識別対象物としてもよい。例えば、車両を識別対象物とした場合、図９（Ａ）、（Ｂ）に示すように、車種によってランプなどの部位の大きさや位置が異なっても、部位の異なり方に応じて部分領域を設定することで、識別対象物を頑健に識別することができる。

また、大きさを正規化した識別対象画像に対して部分領域を設定する場合を例に説明したが、これに限定されるものではなく、学習により決定された複数の部分領域の各々の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を、識別対象画像に設定するようにすればよい。

また、濃度変化の度合いを示す特徴量として、上記（１）式で算出される勾配の大きさを用いた場合を例に説明したが、これに限定されるものではなく、画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の濃度差に基づいて求められる特徴量であって、かつ、注目画素及び周辺画素を含む所定領域内の濃度の変化度合いを示す特徴量を用いてもよい。

また、学習画像から各部分領域について基準特徴量として特徴ベクトルを求め、識別対象画像の各部分領域の特徴ベクトルと各部分領域の基準特徴量とを比較して、識別対象画像が人物を撮像した画像であるか否かを識別する場合を例に説明したが、これに限定されるものではなく、人物を撮像した学習画像及び人物を撮像していない学習画像の各々から得られる特徴ベクトルの分布と、識別対象画像から得られる特徴ベクトルとを比較して、識別対象画像が人物を撮像した画像であるか否かを識別するようにしてもよい。この場合には、人物を撮像した学習画像（人物学習画像）から部分領域を決定した後、学習画像の各部分領域で、勾配ヒストグラムを計算する。そして、各人物学習画像について、計算された各部分領域の勾配ヒストグラムを全て使って、特徴ベクトルを生成する（例えば、全ての部分領域の勾配ヒストグラムの値を順に並べた特徴ベクトルを生成する）。また、非人物（人物でない物）を撮像した学習画像（非人物学習画像）も用意し、非人物学習画像に対しても同様に各部分領域の勾配ヒストグラムを計算する。そして、各非人物学習画像について、計算された各部分領域の勾配ヒストグラムを全て使って、特徴ベクトルを生成する。そして、全ての人物学習画像の特徴ベクトルから、特徴ベクトルの分布を学習して記憶し、全ての非人物学習画像の特徴ベクトルから特徴ベクトルの分布を学習して記憶する。識別処理時には、識別対象画像に対して同様に計算した特徴ベクトルが、人物学習画像の特徴ベクトルの分布及び非人物学習画像の特徴ベクトルの分布の何れに属するかを判断して、識別対象画像が人物を表わしているか否かを識別する。なお、特徴ベクトルの分布の学習や識別方法として、最近傍識別、線形判別、サポートベクターマシンなどを用いればよい。

本発明の実施の形態に係る対象物識別装置の構成を示す概略図である。 （Ａ）学習画像について算出された勾配の大きさを示すイメージ図、及び（Ｂ）勾配平均画像を示すイメージ図である。 （Ａ）勾配平均画像から抽出された極大点を示すイメージ図、及び（Ｂ）決定された部分領域を示すイメージ図である。 部分領域内の各画素について勾配の大きさ及び位置を算出した様子を示すイメージ図である。 勾配ヒストグラムを示すグラフである。 撮像画像から各位置及び各大きさで識別対象画像を抽出する様子を示すイメージ図である。 本発明の実施の形態に係る対象物識別装置のコンピュータにおける学習処理ルーチンの内容を示すフローチャートである。 本発明の実施の形態に係る対象物識別装置のコンピュータにおける対象物識別処理ルーチンの内容を示すフローチャートである。 識別対象物としての車両について、車種によってランプなどの部位の大きさや位置が異なる様子を示すイメージ図である。

符号の説明

１０ 対象物識別装置
１２ 撮像装置
１４ コンピュータ
２０ 学習画像データベース
２０ 基準特徴量算出部
２２ 勾配算出部
２４ 勾配画像生成部
２６ 部分領域決定部
２８ 部分領域情報記憶部
３０ 基準特徴量算出部
３２ 基準特徴量記憶部
４２ 識別対象画像抽出部
４４ 部分領域設定部
４６ 勾配ヒストグラム算出部
４８ 識別部

Claims (12)

1. 識別対象物を撮像することにより得られた複数の画像の各々について、前記画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の濃度差に基づいて求められ、かつ、前記注目画素及び前記周辺画素を含む所定領域内の濃度の変化度合いを示す特徴量を算出する特徴量算出手段と、
   前記特徴量算出手段によって算出された前記複数の画像の各々の前記特徴量に基づいて、前記注目画素毎に、前記特徴量の平均値又は前記特徴量の総和を算出する平均合計算出手段と、
   前記平均合計算出手段によって算出された前記平均値又は前記総和が極大となる画素を含む部分領域を、前記識別対象物を識別するための部分領域として検出する部分領域検出手段と、
   を含む部分領域検出装置。
2. 前記部分領域検出手段は、前記平均値又は前記総和が極大となる画素を中心とする部分領域を、前記識別するための部分領域として検出する請求項１記載の部分領域検出装置。
3. 前記平均合計算出手段は、前記特徴量算出手段によって算出された前記複数の画像の各々の前記特徴量に基づいて、前記注目画素毎に、前記特徴量の平均値又は前記特徴量の総和を算出し、前記平均値又は前記総和を画素値とする特徴量画像を生成し、
   前記部分領域検出手段は、前記特徴量画像の画素値が極大となる画素又は前記極大となる画素の周辺の画素を注目画素としたときの前記特徴量を算出し、前記特徴量画像の画素値が極大となる画素を含む部分領域であって、かつ、前記算出した前記特徴量の大きさが大きいほど小さい部分領域を、前記識別対象物を識別するための部分領域として検出する請求項１又は２記載の部分領域検出装置。
4. 前記部分領域検出手段は、前記識別するための部分領域を複数検出する請求項１〜請求項３の何れか１項記載の部分領域検出装置。
5. 前記特徴量を、勾配の大きさとした請求項１〜請求項４の何れか１項記載の部分領域検出装置。
6. 前記識別対象物を、部位の位置又は大きさが変動する物体とした請求項１〜請求項５の何れか１項記載の部分領域検出装置。
7. 前記識別対象物を、種類によって部位の位置又は大きさが異なる物体とした請求項１〜請求項５の何れか１項記載の部分領域検出装置。
8. 請求項１〜請求項７の何れか１項に記載の部分領域検出装置によって検出された前記部分領域の位置及び大きさを記憶した記憶手段と、
   識別対象画像に対して、前記記憶手段に記憶された前記部分領域の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を設定する部分領域設定手段と、
   前記部分領域設定手段によって設定された前記識別対象画像の前記部分領域の前記特徴量を算出する特徴量算出手段と、
   予め求められた前記識別対象物を撮像することにより得られた画像の前記検出された前記部分領域の前記特徴量と、前記特徴量算出手段によって算出された前記部分領域の前記特徴量とを比較し、比較結果に基づいて、前記識別対象画像が前記識別対象物を撮像した画像であるか否かを判定する判定手段と、
   を含む対象物識別装置。
9. 前記特徴量算出手段は、前記識別対象画像の前記部分領域における複数の方向の各々の濃度変化に関する前記特徴量のヒストグラムを算出し、
   前記判定手段は、予め求められた前記検出された前記部分領域における前記複数の方向の各々の濃度変化に関する前記特徴量のヒストグラムと、前記特徴量算出手段によって算出された前記部分領域における前記特徴量のヒストグラムとを比較し、比較結果に基づいて、前記識別対象画像が前記識別対象物を撮像した画像であるか否かを判定する請求項８記載の対象物識別装置。
10. 前記記憶手段は、前記検出された複数の部分領域の各々の位置及び大きさを記憶し、
    前記部分領域設定手段は、前記識別対象画像に対して、前記記憶手段に記憶された前記複数の部分領域の各々の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を各々設定し、
    前記特徴量算出手段は、前記部分領域設定手段によって設定された前記識別対象画像の前記複数の部分領域の各々の前記特徴量を算出し、
    前記判定手段は、前記複数の部分領域の各々について、前記予め求められた前記検出された前記部分領域の前記特徴量と、前記特徴量算出手段によって算出された前記部分領域の前記特徴量とを比較し、前記複数の部分領域の各々に対する比較結果に基づいて、前記識別対象画像が前記識別対象物を撮像した画像であるか否かを判定する請求項８又は９記載の対象物識別装置。
11. コンピュータを、
    識別対象物を撮像することにより得られた複数の画像の各々について、前記画像の各画素を注目画素としたときの注目画素の周辺に存在する周辺画素の濃度差に基づいて求められ、かつ、前記注目画素及び前記周辺画素を含む所定領域内の濃度の変化度合いを示す特徴量を算出する特徴量算出手段、
    前記特徴量算出手段によって算出された前記複数の画像の各々の前記特徴量に基づいて、前記注目画素毎に、前記特徴量の平均値又は前記特徴量の総和を算出する平均合計算出手段、及び
    前記平均合計算出手段によって算出された前記平均値又は前記総和が極大となる画素を含む部分領域を、前記識別対象物を識別するための部分領域として検出する部分領域検出手段
    として機能させるためのプログラム。
12. コンピュータを、
    請求項１１に記載のプログラムによって検出された前記部分領域の位置及び大きさを記憶した記憶手段、
    識別対象画像に対して、前記記憶手段に記憶された前記部分領域の位置及び大きさと相対的に同じ位置及び大きさとなる部分領域を設定する部分領域設定手段、
    前記部分領域設定手段によって設定された前記識別対象画像の前記部分領域の前記特徴量を算出する特徴量算出手段、及び
    予め求められた前記識別対象物を撮像することにより得られた画像の前記検出された前記部分領域の前記特徴量と、前記特徴量算出手段によって算出された前記部分領域の前記特徴量とを比較し、比較結果に基づいて、前記識別対象画像が前記識別対象物を撮像した画像であるか否かを判定する判定手段
    として機能させるためのプログラム。

Images