JP2010262576A - 対象物検出装置及びプログラム - Google Patents

Abstract

【課題】入力画像における対象物の大きさ及び位置の相違により対象物の見え方が相違する場合でも、対象物検出の精度を向上させる。
【解決手段】ウインドウ画像抽出部２０により、入力画像からウインドウ画像を抽出し、信頼度取得部２２により、予め学習用画像から抽出した対象物画像のサイズ及び位置に基づいて算出された、ウインドウ画像のサイズ及び位置における検出対象物の存在確率に対応した信頼度を信頼度記憶部５８から取得し、特徴量算出部２４により、ウインドウ画像の特徴量を算出し、評価値算出部２６により、ウインドウ画像の特徴量と識別モデル記憶部７４に記憶された識別モデルの特徴量とを比較して、ウインドウ画像内の対象物の検出対象物らしさを表す評価値を算出し、判定部２８により、信頼度及び評価値に基づいて、ウインドウ画像が検出対象物であるか否かを判定する。
【選択図】図１

Description

本発明は、対象物検出装置及びプログラムに関し、特に、撮像した画像から対象物を検出する対象物検出装置及びプログラムに関する。

近年、車載カメラで撮像した車両周辺の映像を画像処理し、周辺車両などの対象物を検出してドライバに検出結果を提示する対象物検出装置を搭載する車両が増加している。

例えば、カメラで撮影した画像において物体が存在する可能性がある領域を処理対象領域として特定し、この処理対象領域内の各エッジ成分のエッジ方向やエッジ強度の分布を求め、物体の種別に応じて分布に現れる特徴に基づいて、求めた分布から物体の種別を判定する物体種別判定装置が提案されている（特許文献１参照）。

また、入力された識別対象画像を複数の部分領域に分割し、予め学習により算出された対象画像と非対象画像とを区別するための閾値を用いて、部分領域が人物の部分領域であるか否かを識別し、入力画像が撮像された環境から入力画像が撮像された環境の領域種別を決定し、領域種別に基づいて対象物体の部分領域の重みを変更し、部分領域毎の識別結果を統合して最終的に入力画像が人物か否かを識別する物体認識装置が提案されている（特許文献２参照）。

特開２００７−１５６６２６号公報 特開２００７−３１０８０５号公報

しかしながら、特許文献１の物体種別判定装置では、入力画像上で対象物が存在する位置が異なることにより、対象物の形状や向きなどの見え方が変化するような場合では、対象物が存在する位置によりエッジ情報も変化してしまうため、識別精度を高めることが困難である、という問題がある。

また、特許文献２の物体認識装置では、部分的な隠れや部分的な形状変化にはある程度対応できるが、対象物全体の形状や向きなどの見え方が変化するような場合では、対応することが困難である、という問題がある。

本発明は、上述した問題を解決するために成されたものであり、入力画像における対象物の大きさ及び位置の相違により対象物の見え方が相違する場合でも、対象物検出の精度を向上させることができる対象物検出装置及びプログラムを提供することを目的とする。

上記目的を達成するために、第１の発明の対象物検出装置は、入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、検出対象物を検出するために予め生成された識別モデルと前記ウインドウ画像の各々とを比較することにより、前記ウインドウ画像の各々について検出対象物らしさを表す評価値を算出する評価値算出手段と、予め用意された検出対象物を含む複数の学習用画像における検出対象物の各々のサイズ及び位置に基づいて求まる前記入力画像における前記ウインドウ画像のサイズ及び位置での検出対象物の存在確率に応じた前記ウインドウ画像が検出対象物であることを表す信頼度と、前記評価値とに基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段とを含んで構成されている。

また、第２の発明の対象物検出プログラムは、コンピュータを、入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、検出対象物を検出するために予め生成された識別モデルと前記ウインドウ画像の各々とを比較することにより、前記ウインドウ画像の各々について検出対象物らしさを表す評価値を算出する評価値算出手段と、予め用意された検出対象物を含む複数の学習用画像における検出対象物の各々のサイズ及び位置に基づいて求まる前記入力画像における前記ウインドウ画像のサイズ及び位置での検出対象物の存在確率に応じた前記ウインドウ画像が検出対象物であることを表す信頼度と、前記評価値とに基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段として機能させるためのプログラムである。

第１の発明の対象物検出装置及び第２の発明の対象物検出プログラムによれば、抽出手段が、入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら入力画像から各々のウインドウ枠内の画像をウインドウ画像として抽出する。そして、評価値算出手段が、検出対象物を検出するために予め生成された識別モデルとウインドウ画像の各々とを比較することにより、ウインドウ画像の各々について検出対象物らしさを表す評価値を算出する。ここで用いられる識別モデルは、あらゆるサイズ及び位置のウインドウ画像に対応するように生成されているため、ウインドウ画像のサイズ及び位置の相違による検出対象物の見え方の相違への対応が困難で、特定のサイズ及び位置のウインドウ画像に対しては、識別性能が低くなる場合がある。

そこで、判定手段が、予め用意された検出対象物を含む複数の学習用画像における検出対象物の各々のサイズ及び位置に基づいて求まる入力画像におけるウインドウ画像のサイズ及び位置での検出対象物の存在確率に応じたウインドウ画像が検出対象物であることを表す信頼度と、評価値とに基づいて、ウインドウ画像が検出対象物か否かを判定する。

このように、識別モデルとの比較により算出される評価値と共に、入力画像におけるウインドウ画像のサイズ及び位置での検出対象物の存在確率に応じた、ウインドウ画像が検出対象物であることを表す信頼度を合わせて判定に用いることで、識別モデルとの比較では対応が困難なウインドウ画像のサイズ及び位置の相違による検出対象物の見え方の相違も判定に反映させることができ、対象物検出の精度を向上させることができる。

また、第１の発明の対象物検出装置及び第２の発明の対象物検出プログラムにおいて、前記信頼度を、前記検出対象物を含む複数の学習用画像から検出対象物のサイズに応じて抽出された複数の対象物画像の各々のサイズ、及び前記学習用画像における前記対象物画像の位置に基づいて、前記ウインドウ画像のサイズと略同一サイズの複数の対象物画像の各々の位置と前記ウインドウ画像の位置との距離の平均値が小さいほど値が大きくなるように定めることができる。これにより、簡易な計算で、ウインドウ画像のサイズ及び位置の相違による検出対象物の見え方の相違を判定に反映させることができる。

第３の発明の対象物検出装置は、入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、前記ウインドウ画像の特徴量を算出する特徴量算出手段と、予め用意された検出対象物を含む複数の学習用画像から検出対象物のサイズに応じて、かつ前記入力画像における前記ウインドウ画像のサイズ及び位置に対応したサイズ及び位置で抽出された複数の対象物画像の特徴量と、前記ウインドウ画像の特徴量との距離に応じた前記ウインドウ画像が検出対象物であることを表す信頼度を算出する信頼度算出手段と、検出対象物を検出するために予め生成された識別モデルの特徴量と前記ウインドウ画像の特徴量とを比較することにより、前記ウインドウ画像の検出対象物らしさを表す評価値を算出する評価値算出手段と、前記評価値及び前記信頼度に基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段とを含んで構成されている。

また、第４の発明の対象物検出プログラムは、コンピュータを、入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、前記ウインドウ画像の特徴量を算出する特徴量算出手段と、予め用意された検出対象物を含む複数の学習用画像から検出対象物のサイズに応じて、かつ前記入力画像における前記ウインドウ画像のサイズ及び位置に対応したサイズ及び位置で抽出された複数の対象物画像の特徴量と、前記ウインドウ画像の特徴量との距離に応じた前記ウインドウ画像が検出対象物であることを表す信頼度を算出する信頼度算出手段と、検出対象物を検出するために予め生成された識別モデルの特徴量と前記ウインドウ画像の特徴量とを比較することにより、前記ウインドウ画像の検出対象物らしさを表す評価値を算出する評価値算出手段と、前記評価値及び前記信頼度に基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段として機能させるためのプログラムである。

第３の発明の対象物検出装置及び第４の発明の対象物検出プログラムによれば、抽出手段が、入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら入力画像から各々のウインドウ枠内の画像をウインドウ画像として抽出し、特徴量算出手段が、ウインドウ画像の特徴量を算出する。そして、信頼度算出手段が、予め用意された検出対象物を含む複数の学習用画像から検出対象物のサイズに応じて、かつ入力画像におけるウインドウ画像のサイズ及び位置に対応したサイズ及び位置で抽出された複数の対象物画像の特徴量と、ウインドウ画像の特徴量との距離に応じたウインドウ画像が検出対象物であることを表す信頼度を算出する。

また、評価値算出手段が、検出対象物を検出するために予め生成された識別モデルの特徴量とウインドウ画像の特徴量とを比較することにより、ウインドウ画像の検出対象物らしさを表す評価値を算出する。ここで用いられる識別モデルは、あらゆるサイズ及び位置のウインドウ画像に対応するように生成されているため、ウインドウ画像のサイズ及び位置の相違による検出対象物の見え方の相違への対応が困難で、特定のサイズ及び位置のウインドウ画像に対しては、識別性能が低くなる場合がある。そこで、判定手段が、評価値及び信頼度に基づいて、ウインドウ画像が検出対象物か否かを判定する。

このように、識別モデルとの比較により算出される評価値と共に、入力画像におけるウインドウ画像のサイズ及び位置に対応したサイズ及び位置の対象物画像の特徴量とウインドウ画像の特徴量との距離に応じた、ウインドウ画像が検出対象物であることを表す信頼度を合わせて判定に用いることで、識別モデルとの比較では対応が困難なウインドウ画像のサイズ及び位置の相違による検出対象物の見え方の相違も判定に反映させることができ、対象物検出の精度を向上させることができる。

また、第３の発明の対象物検出装置及び第４の発明の対象物検出プログラムにおいて、前記信頼度算出手段は、前記複数の対象物画像の各々のサイズ、前記学習用画像における前記対象物画像の位置、及び前記対象物画像の特徴量に基づいて、前記ウインドウ画像のサイズと略同一サイズで、かつ前記学習用画像における前記対象物画像の位置と前記入力画像における前記ウインドウ画像の位置との距離が所定範囲内の複数の対象物画像の各々の特徴量と、前記ウインドウ画像の特徴量との距離の平均値が小さいほど値が大きくなるように信頼度を算出するようにすることができる。これにより、簡易な計算で、ウインドウ画像のサイズ及び位置の相違による検出対象物の見え方の相違を判定に反映させることができる。

また、上記対象物検出装置及びプログラムにおいて、前記入力画像及び前記学習用画像を、車両の前方または後方の所定領域を撮影する車載カメラで撮影した画像を用いることができる。

以上説明したように、本発明によれば、入力画像における対象物の大きさ及び位置が相違することにより、対象物の見え方が相違する場合でも、入力画像におけるウインドウ画像のサイズ及び位置での検出対象物の存在確率に応じた、ウインドウ画像が検出対象物であることを表す信頼度を合わせて判定に用いることで、対象物検出の精度を向上させることができる、という効果が得られる。

第１の実施の形態に係る対象物検出装置の概略構成を示すブロック図である。 本実施の形態における探索ウインドウの一例を示す図である。 ウインドウ画像の特徴量の算出について説明するための図である。 第１の実施の形態における信頼度を説明するための図である。 第１の実施の形態における信頼度情報生成処理ルーチンの内容を示すフローチャートである。 第１の実施の形態における対象物情報の一例を示す図である。 第１の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。 第２の実施の形態に係る対象物検出装置の概略構成を示すブロック図である。 第２の実施の形態における信頼度を説明するための図である。 第２の実施の形態における対象物情報生成処理ルーチンの内容を示すフローチャートである。 第２の実施の形態の対象物検出装置における対象物検出処理ルーチンの内容を示すフローチャートである。

以下、図面を参照して本発明の実施の形態を詳細に説明する。本実施の形態では、検出対象物として周辺車両を検出する対象物検出装置に本発明を適用した場合について説明する。

図１に示すように、第１の実施の形態に係る対象物検出装置１０は、識別対象領域を含む範囲を撮像する撮像装置１２と、撮像装置１２から出力される撮像画像に基づいて対象物を検出する対象物検出処理ルーチンを実行するコンピュータ１６と、コンピュータ１６での処理結果を表示するための表示装置１８とを備えている。

撮像装置１２は、識別対象領域を含む範囲を撮像し、画像信号を生成する撮像部（図示省略）と、撮像部で生成されたアナログ信号である画像信号をデジタル信号に変換するＡ／Ｄ変換部（図示省略）と、Ａ／Ｄ変換された画像信号を一時的に格納するための画像メモリ（図示省略）とを備えている。

コンピュータ１６は、対象物検出装置１０全体の制御を司るＣＰＵ、後述する対象物検出プログラム等各種プログラムを記憶した記憶媒体としてのＲＯＭ、ワークエリアとしてデータを一時格納するＲＡＭ、及びこれらを接続するバスを含んで構成されている。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。

このコンピュータ１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、撮像装置１２で撮像されコンピュータ１６へ入力された入力画像から所定領域の画像、すなわちウインドウで囲まれた領域内のウインドウ画像を抽出するウインドウ画像抽出部２０と、ウインドウ画像抽出部２０により抽出されたウインドウ画像が検出対象物であることを表す信頼度を信頼度記憶部５８から取得する信頼度取得部２２と、ウインドウ画像抽出部２０により抽出されたウインドウ画像の特徴量を算出する特徴量算出部２４と、特徴量算出部２４により算出された特徴量と識別モデル記憶部７４に記憶された識別モデルの特徴量とを比較して、ウインドウ画像内の対象物の検出対象物らしさを表す評価値を算出する評価値算出部２６と、信頼度取得部２２により取得された信頼度及び評価値算出部２６で算出された評価値に基づいて、ウインドウ画像内の対象物が検出対象物であるか否かを判定する判定部２８と、撮像装置１２によって撮像された撮像画像に、判定部２８による判定結果を重畳させて表示装置１８に表示するよう制御する表示制御部３０とを含んだ構成で表すことができる。

ウインドウ画像抽出部２０は、入力画像から予め定められたサイズのウインドウ（探索ウインドウと呼称）を１ステップにつき、予め定められた移動量（探索ステップと呼称）だけ移動させながら各ステップ毎に画像を切り取る。ここでは、切り取った画像をウインドウ画像と呼称する。ウインドウ画像のサイズ（すなわち探索ウインドウのサイズ）は、入力画像上に様々なサイズで表れる周辺車両を検出するために、複数種類の大きさ及び形状の少なくとも一方が異なるサイズが設定されており、ウインドウ画像抽出部２０は、設定されている全てのサイズの探索ウインドウを用いてウインドウ画像を抽出する。ここでは、例えば、図２に示すように、（Ａ）１６画素×１６画素（Ｂ）２４画素×１６画素、及び（Ｃ）６４画素×６４画素のサイズの探索ウインドウが用意されている。（Ａ）及び（Ｃ）は形状が同一で大きさが異なるウインドウであり、（Ｂ）は（Ａ）及び（Ｃ）に対して形状及び大きさが異なるウインドウである。

また、ウインドウ画像抽出部２０は、抽出したウインドウ画像を予め設定された画素数の画像に正規化する。

信頼度取得部２２は、抽出されたウインドウ画像のサイズ及び入力画像における位置に対応した信頼度を、後述する信頼度情報生成装置５０で生成された信頼度が記憶された信頼度記憶部５８から取得する。

特徴量算出部２４は、ウインドウ画像の特徴量を算出する。ここでは、特徴量として、エッジ方向のヒストグラムを用いる。図３（Ａ）に示すように、ウインドウ画像抽出部２０により抽出されて、所定サイズに正規化された画像を小領域に分割する。そして、下記（１）及び（２）に従って、画素毎にエッジの大きさ及び方向を算出する。

ただし、ｍ（ｕ，ｖ）は画像座標（ｕ，ｖ）でのエッジの大きさ、θ（ｕ，ｖ）は画像座標（ｕ，ｖ）でのエッジの方向、Ｘ（ｕ，ｖ）は正規化されたウインドウ画像Ｘの画像座標（ｕ，ｖ）の画素値である。なお、画像座標は、正規化されたウインドウ画像Ｘの左上端の画素を画像座標（１，１）とし、横方向をｕ、縦方向ｖで表している。

このように算出された画素毎のエッジの大きさｍ（ｕ，ｖ）及び方向θ（ｕ，ｖ）を用いて、図３（Ｂ）に示すように、小領域毎にエッジ方向のヒストグラムを生成する。ヒストグラムの投票では、０〜１８０°までの角度を所定の階級に区分（例えば、２０°未満、２０°以上４０°未満、４０°以上６０°未満・・・のように２０°毎に１階級となるように区分）し、エッジの方向θ（ｕ，ｖ）の該当する階級に、エッジの大きさ（ｕ，ｖ）を乗算したうえで投票する。小領域毎に生成されたエッジ方向のヒストグラムを連結して作成したベクトルを、ウインドウ画像の特徴量とする。

評価値算出部２６は、識別モデル記憶部７４に記憶された識別モデルを参照して、ウインドウ画像の対象物らしさを表す評価値を算出する。識別モデルは、予め識別モデル生成装置７０の識別モデル生成部７２で、検出対象物を含む学習用画像（ポジティブデータ）及び非検出対象物を含む学習用画像（ネガティブデータ）を用いて学習することにより、特徴空間における対象物と非対象物との境界面として生成され、識別モデル記憶部７４に記憶されている。学習の手法としては、ＳＶＭ（Ｓｕｐｐｏｒｔ Ｖｅｃｔｏｒ Ｍａｃｈｉｎｅ）を用いることができる。評価値は、特徴量算出部２４で算出されたウインドウ画像の特徴量と識別モデルである境界面との距離に応じて、ウインドウ画像の特徴量が特徴空間において境界面から対象物（ポジティブ）側に離れるほど評価値は大きくなり、境界面から非対象物（ネガティブ）側に離れるほど評価値は小さくなる。

判定部２８は、信頼度取得部２２で取得された信頼度ｐ、及び評価値算出部２６で算出された評価値Ｅを用いて、下記（３）式に従って、ウインドウ画像が検出対象物であるか否かを判定する。

Ｅ＋α×ｐ＞Ｔｈ ・・・（３）

ただし、αは信頼度の重み係数で、信頼度を判定にどの程度反映させるかによって、予め定めておく。また、Ｔｈは判定閾値であり、（３）式が成立する場合に、ウインドウ画像が検出対象物であると判定する。

信頼度情報生成装置５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及び内蔵ＨＤＤ等を含んで構成されたコンピュータで構成することができる。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。また、信頼度情報生成装置５０を対象物検出装置１０と互いに独立したマイクロコンピュータで構成してもよいし、同一コンピュータ上で構成することも可能である。また、上述した識別モデル生成装置７０についても、信頼度情報生成装置５０と同様の構成とすることができる。

信頼度情報生成装置５０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図１に示すように、入力された検出対象物を含む学習用画像から検出対象物の大きさに応じたサイズの対象物領域の画像（対象物画像）を抽出する対象物画像抽出部５２と、対象物画像抽出部５２で抽出された対象物画像のサイズ及び学習用画像における位置を対象物情報として生成する対象物情報生成部５４と、対象物情報生成部５４で生成された対象物情報に基づいて、ウインドウ画像のサイズ及び位置毎の信頼度を算出する信頼度算出部５６と、信頼度算出部５６で算出された信頼度が記憶される信頼度記憶部５８とを含んだ構成で表すことができる。

対象物画像抽出部５２は、検出対象物である車両を含む学習用画像の検出対象物が含まれる対象物領域から、検出対象物の大きさに応じたサイズの対象物画像を抽出する。検出対象物を含む学習用画像は、上述した識別モデル生成装置７０で識別モデルを生成する際に用いられるポジティブデータとしての学習用画像と同一の学習用画像を用いることができる。

対象物情報生成部５４は、対象物画像抽出部５２で抽出された対象物画像毎に、対象物画像のサイズ、及び学習用画像における対象物画像の位置を表す中心位置を対象物情報として生成し、所定の記憶領域に記憶する。

信頼度算出部５６は、入力画像と縦横の画素数が同一の画像座標（以下、入力画像座標という）をウインドウ画像の中心位置を算出するために想定し、想定した入力画像座標に、対象物検出処理で使用される探索ウインドウを設定したときの探索ウインドウの中心位置を、探索ウインドウが設定された位置に対応する入力画像から抽出されるウインドウ画像の中心位置として算出する。そして、所定領域に記憶された対象物情報を参照して、探索ウインドウのサイズと略同一サイズで、かつウインドウ画像の中心位置との距離が近い中心位置を示す対象物情報に基づいて、ウインドウ画像の中心位置と対象物情報が示す中心位置との距離の平均値に応じた信頼度を算出する。なお、略同一サイズとは、選択されたサイズの探索ウインドウで抽出されるウインドウ画像のサイズと対象物情報が示すサイズとの幅及び高さの比が所定範囲内であり、かつウインドウ画像の幅及び高さの比と対象物情報が示すサイズの幅及び高さの比との差が所定範囲内の場合とする。

例えば、図４（Ａ）に示すように、２４画素×１６画素の探索ウインドウを使用して、ウインドウ画像ａ及びウインドウ画像ｂが抽出されたとする。また、所定の記憶領域に記憶された対象物情報のうち、サイズが２４画素×１６画素と略同一サイズの対象物情報が示す中心位置を入力画像座標上にプロット（○印）した例を、同図（Ｂ）に示す。この入力画像座標上に、ウインドウ画像ａ及びウインドウ画像ｂの中心位置をプロット（×印）すると、ウインドウ画像ａの中心位置については、対象物情報の中心位置との距離が大きく、ウインドウ画像ｂの中心位置については、対象物情報の中心位置との距離が小さくなっている。これは、ウインドウ画像ｂの方が、対象物の存在確率が高い位置から抽出されていることを示しているため、対象物情報の中心位置との距離が小さいほど信頼度の値を大きくする。これにより、仮に識別モデルとの比較で算出される評価値が、ウインドウ画像ａとウインドウ画像ｂとで同じような値であったとしても、信頼度も合わせて判定することで、検出対象物の位置による存在確率を反映させることができ、検出精度が向上する。

信頼度記憶部５８は、ハードディスクドライブ（ＨＤＤ）やＣＤ−ＲＯＭ等のように、内蔵または外付けの記憶手段であって、信頼度情報を記憶できる媒体により構成されている。信頼度記憶部５８に記憶された信頼度情報は、対象物検出処理においてウインドウ画像の信頼度として参照される。

ここで、図５を参照して、信頼度情報生成処理ルーチンについて説明する。

ステップ１００で、予め用意された、様々なサイズの検出対象物である車両が様々な位置に含まれた所定枚数（例えば、１０００枚）の学習用画像から１枚の学習用画像を取得する。

次に、ステップ１０２で、学習用画像の検出対象物が含まれる対象物領域から、検出対象物の大きさに応じたサイズの対象物画像を抽出する。次に、ステップ１０４で、抽出された対象物画像のサイズ、及び学習用画像における対象物画像の位置を表す中心位置を対象物情報として所定の記憶領域に一旦記憶する。次に、ステップ１０６で、用意しておいたすべての学習用画像について、上記ステップ１０２及びステップ１０４の処理が終了したか否かを判定する。終了した場合には、ステップ１０８へ進み、終了していない場合には、ステップ１００へ戻り、次の学習用画像を取得して、処理を繰り返す。全ての学習用画像について処理が終了した場合には、図６に示すように、所定の記憶領域に用意した学習用画像の枚数分の対象物情報が記憶された状態となる。

ステップ１０８では、対象物検出処理で入力画像からウインドウ画像を抽出する際に使用する探索ウインドウから１つのサイズ（例えば、１６画素×１６画素）を選択し、想定した入力画像座標の左上角部に選択した探索ウインドウを設定する。次に、ステップ１１０で、探索ウインドウの中心位置を、探索ウインドウが設定された位置に対応する入力画像から抽出されるウインドウ画像の中心位置として算出する。

次に、ステップ１１２で、所定領域に記憶された対象物情報（図６）を参照して、上記ステップ１０８で選択した探索ウインドウのサイズと略同一サイズを示す対象物情報を抽出し、抽出された対象物情報の中から、上記ステップ１１０で算出された中心位置との距離が近い中心位置を示す対象物情報をＫ個選択する。

次に、ステップ１１４で、選択されたＫ個の対象物情報の各々が示す中心位置と上記ステップ１１０で算出された中心位置との距離の平均値を算出し、算出した中心位置の距離の平均値を信頼度に変換する。中心位置の距離の平均値から信頼度への変換は、中心位置の距離の平均値が小さいほど信頼度が大きくなるような係数を中心位置の距離の平均値へ乗算して変換したり、予め定めた変換テーブルに基づいて変換したりすることができる。

次に、ステップ１１６で、上記ステップ１１４で変換された信頼度を、上記ステップ１０８で選択した探索ウインドウのサイズ、及び入力画像座標に設定された探索ウインドウの中心位置、すなわち該探索ウインドウで入力画像から抽出されるウインドウ画像のサイズ及び中心位置に対応した信頼度情報として生成し、信頼度記憶部５８に記憶する。

次に、ステップ１１８で、上記ステップ１０８で選択した探索ウインドウを用いて入力画像座標の全位置について、信頼度を算出する処理が終了したか否かを判定する。まだ終了していない場合には、ステップ１２０へ進んで、探索ウインドウを想定した入力画像座標において１ステップ移動させた位置に設定して、ステップ１１０へ戻って処理を繰り返す。一方、入力画像座標の全位置について、信頼度を算出する処理が終了した場合には、ステップ１２２へ進んで、用意されている全てのサイズの探索ウインドウについて処理が終了したか否かを判定し、未処理のサイズの探索ウインドウがある場合には、ステップ１０８へ戻って、次のサイズの探索ウインドウについて処理を繰り返す。全てのサイズの探索ウインドウについて処理が終了した場合には、本ルーチンを終了する。

これにより、対象物検出処理において抽出されるウインドウ画像の全てについて、予め信頼度が算出される。

次に、図７を参照して、第１の実施の形態の対象物検出装置１０における対象物検出処理ルーチンについて説明する。本ルーチンは、撮像装置１２により対象領域の撮像が開始された場合に、ＲＯＭに記憶された対象物検出プログラムをＣＰＵが実行することにより行われる。

ステップ１３０で、撮像装置１２で撮像された画像を取得し、次に、ステップ１３２で、入力画像に対して例えば１６画素×１６画素の探索ウインドウを入力画像の所定領域（例えば、左上角の領域）に設定し、設定した探索ウインドウを用いて、入力画像から１６×１６画素のウインドウ画像を抽出し、所定サイズに正規化する。

次に、ステップ１３４で、信頼度記憶部５８に記憶された信頼度情報を参照して、ウインドウ画像のサイズ及び中心位置に対応した信頼度ｐを取得する。

次に、ステップ１３６で、正規化されたウインドウ画像を小領域に分割し、上記（１）及び（２）に従って、画素毎にエッジの大きさ及び方向を算出し、小領域毎にエッジ方向のヒストグラムを生成し、小領域毎に生成されたエッジ方向のヒストグラムを連結して作成したベクトルを、ウインドウ画像の特徴量として算出する。

次に、ステップ１３８で、特徴空間における対象物と非対象物との境界面として生成され、識別モデル記憶部７４に記憶された識別モデルを参照して、上記ステップ１３６で算出されたウインドウ画像の特徴量と識別モデルである境界面との距離に応じた評価値Ｅを算出する。

次に、ステップ１４０で、上記ステップ１３４で取得された信頼度ｐ、及び上記ステップ１３８で算出された評価値Ｅを用いて、上記（３）式に従って、ウインドウ画像が検出対象物であるか否かを判定する。（３）式を満たす場合には、ウインドウ画像が検出対象物であると判定して、ステップ１４２へ進み、探索ウインドウの位置及び大きさ等の情報をリストとしてＲＡＭに保存して、次のステップ１４４へ進む。一方、（３）式を満たさない場合は、ウインドウ画像が検出対象物ではないと判定して、ステップ１４２をスキップして、ステップ１４４へ進む。

ステップ１４４で、入力画像全体について探索ウインドウをスキャンして探索が終了したか否かを判定する。終了していない場合は、ステップ１４６へ進み、探索ウインドウの位置を予め定められた探索ステップだけ移動させて、ステップ１３２に戻り、ステップ１３２〜ステップ１４４の処理を繰り返す。現サイズの探索ウインドウでの入力画像全体の探索が終了すると、ステップ１４８へ進む。

ステップ１４８で、全てのサイズの探索ウインドウでの探索が終了したか否かを判定する。終了していない場合は、ステップ１５０へ進み、探索ウインドウのサイズを別のサイズ（例えば、２４画素×１６画素）に変更して、ステップ１３２へ戻り、ステップ１３２〜ステップ１４８の処理を繰り返す。全てのサイズの探索ウインドウでの探索が終了すると、ステップ１５２へ進む。

ステップ１５２で、リストに保存した情報に基づいて、入力画像に対して、検出された対象物がウインドウで囲まれて表示されるように表示装置１８を制御する。

以上説明したように、第１の実施の形態の対象物検出装置によれば、入力画像から抽出されたウインドウ画像の特徴量と予め生成した識別モデルとの比較により算出される評価値だけでなく、予め学習用画像から抽出した対象物画像のサイズ及び位置に基づいて算出された、ウインドウ画像のサイズ及び位置における検出対象物の存在確率に対応した信頼度を併せて判定に用いるため、識別モデルでは対応が困難な入力画像における検出対象物の大きさ及び位置の相違による検出対象物の見え方の相違にも対応して、検出精度を向上させることができる。

また、信頼度の算出は、ウインドウ画像のサイズ及び位置における検出対象物の存在確率として簡易に算出することができるため、入力画像における検出対象物の大きさ及び位置毎に識別モデルを生成するような場合に比べ、計算時間を削減できる。

なお、第１の実施の形態では、予め信頼度情報生成装置で信頼度情報を生成しておく場合について説明したが、対象物情報生成部で生成された対象物情報を記憶しておき、対象物検出装置において、ウインドウ画像のサイズ及び位置に対応した対象物情報を取得して、信頼度を算出するようにしてもよい。

次に、第２の実施の形態について説明する。第２の実施の形態の対象物検出装置では、信頼度の算出にウインドウ画像の特徴量も用いる点が第１の実施の形態の対象物検出装置とは異なっている。なお、第１の実施の形態と同一の構成及び処理については、同一の符号を付して説明を省略する。

図８に示すように、第２の実施の形態に係る対象物検出装置２１０は、撮像装置１２と、コンピュータ２１６と、表示装置１８とを備えている。

コンピュータ２１６をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図８に示すように、ウインドウ画像抽出部２０と、特徴量算出部２４と、ウインドウ画像抽出部２０により抽出されたウインドウ画像が検出対象物であることを表す信頼度を算出する信頼度算出部３２と、評価値算出部２６と、信頼度算出部３２により算出された信頼度及び評価値算出部２６で算出された評価値に基づいて、ウインドウ画像が検出対象物であるか否かを判定する判定部２８と、表示制御部３０とを含んだ構成で表すことができる。

信頼度算出部３２は、後述する対象物情報生成装置２５０の対象物情報記憶部６２に記憶された対象物情報を参照して、ウインドウ画像抽出部２０で抽出されたウインドウ画像のサイズと略同一サイズで、かつウインドウ画像の中心位置との距離が近い中心位置を示す対象物情報を取得する。そして、特徴量算出部２４で算出されたウインドウ画像の特徴量と、取得した対象物情報の各々が示す対象物画像の特徴量との距離の平均を算出し、算出した距離の平均に応じた信頼度を算出する。

例えば、図９（Ａ）に示すように、２４画素×１６画素の探索ウインドウを使用して、ウインドウ画像ａが抽出されたとする。また、ウインドウ画像ａのサイズ及び中心位置と近い対象物情報を取得し、取得した対象物情報に対応する対象物画像を含む学習用画像が、同図（Ｂ）に示すようなものであったとする。この場合、ウインドウ画像ａも対象物画像も入力画像の右側領域の対向車の画像となっているため、画像上での見た目が類似し、特徴量間の距離も近い。一方、同図（Ｃ）に示すようなウインドウ画像ｂが抽出され、同図（Ｄ）に示すような対象物画像を含む学習画像に対応する対象物情報が取得された場合には、ウインドウ画像の特徴量と対象物画像の特徴量との距離は大きくなっている。これは、ウインドウ画像のサイズ及び位置によって、ウインドウ画像が示す特徴量が異なることを示しているため、ウインドウ画像の特徴量と対象物画像の特徴量との距離が小さいほど信頼度の値を大きくする。識別モデルはあらゆるサイズ及び位置で抽出された対象物画像及び非対象物画像を用いて生成されている。そのため、例えば、ウインドウ画像ａ及びウインドウ画像ｂの特徴量が、同図（Ａ）及び（Ｃ）のヒストグラムで示されるように近似している場合には、いずれも同じような値で評価値が算出されてしまう。しかし、信頼度も合わせて判定することで、検出対象物の位置による見え方の相違を反映させることができ、検出精度が向上する。

対象物情報生成装置２５０は、ＣＰＵ、ＲＯＭ、ＲＡＭ、及び内蔵ＨＤＤ等を含んで構成されたコンピュータで構成することができる。このような構成の場合には、各構成要素の機能を実現するためのプログラムをＲＯＭやＨＤＤ等の記憶媒体に記憶しておき、これをＣＰＵが実行することによって、各機能が実現されるようにする。また、対象物情報生成装置２５０を対象物検出装置２１０と互いに独立したマイクロコンピュータで構成してもよいし、同一コンピュータ上で構成することも可能である。

対象物情報生成装置２５０をハードウエアとソフトウエアとに基づいて定まる機能実現手段毎に分割した機能ブロックで説明すると、図８に示すように、対象物画像抽出部５２と、特徴量算出部６０と、対象物画像抽出部５２で抽出された対象物画像のサイズ、学習用画像における位置、及び特徴量算出部６０で算出された特徴量を対象物情報として生成する対象物情報生成部２５４と、対象物情報生成部２５４で生成された対象物情報を記憶する対象物情報記憶部６２とを含んだ構成で表すことができる。

特徴量算出部６０は、対象物検出装置２１０における特徴量算出部２４と同様の手法により、学習用画像から抽出された対象物画像の特徴量を算出する。

ここで、図１０を参照して、対象物情報生成処理ルーチンについて説明する。

ステップ１００で、検出対象物が含まれた所定枚数（例えば、１０００枚）の学習用画像から１枚の学習用画像を取得する。次に、ステップ１０２で、学習用画像から対象物画像を抽出する。次に、ステップ２００で、上記ステップ１０２で抽出された対象物画像の特徴量としてエッジ方向のヒストグラムを算出する。

次に、ステップ２０２で、抽出された対象物画像のサイズ、学習用画像における対象物画像の位置を表す中心位置、及び上記ステップ２００で算出された特徴量を対象物情報として生成し、対象物情報記憶部６２に記憶する。

次に、ステップ１０６で、用意しておいたすべての学習用画像について、上記ステップ１０２、ステップ２００及びステップ２０２の処理が終了したか否かを判定する。終了していない場合には、ステップ１００へ戻り、次の学習用画像を取得して、処理を繰り返す。全ての学習用画像について処理が終了した場合には、本ルーチンを終了する。

次に、図１１を参照して、第２の実施の形態における対象物検出処理ルーチンについて説明する。本ルーチンは、撮像装置１２により対象領域の撮像が開始された場合に、ＲＯＭに記憶された対象物検出プログラムをＣＰＵが実行することにより行われる。

ステップ１３０で、入力画像を取得し、次に、ステップ１３２で、入力画像からウインドウ画像を抽出し、所定サイズに正規化する。次に、ステップ１３６で、上記ステップ１３２で抽出されたウインドウ画像の特徴量を算出する。

次に、ステップ２２０で、対象物情報生成装置２５０の対象物情報記憶部６２に記憶された対象物情報を参照して、上記ステップ１３２で抽出されたウインドウ画像のサイズと略同一サイズを示す対象物情報を抽出し、抽出された対象物情報の中から、ウインドウ画像の中心位置との距離が近い中心位置を示す対象物情報をＫ個取得する。

次に、ステップ２２２で、取得されたＫ個の対象物情報の各々が示す特徴量とウインドウ画像の特徴量との距離の平均値を算出し、算出した特徴量の距離の平均値を信頼度に変換する。特徴量の距離は、特徴量間の相違を表すものであり、例えば特徴ベクトル間のユークリッド距離を用いることができる。また、特徴量の距離の平均値から信頼度への変換は、特徴量の距離の平均値が小さいほど信頼度が大きくなるような係数を特徴量の距離の平均値へ乗算して変換したり、予め定めた変換テーブルに基づいて変換したりすることができる。

次に、ステップ１３８で、上記ステップ１３６で算出されたウインドウ画像の特徴量と識別モデルである境界面との距離に応じた評価値Ｅを算出し、次に、ステップ１４０で、上記ステップ２２２で算出された信頼度ｐ及び上記ステップ１３８で算出された評価値Ｅに基づいて、ウインドウ画像が検出対象物か否かを判定する。以降、第１の実施の形態と同様に、ステップ１４２〜ステップ１５２を実行する。

以上説明したように、第２の実施の形態の対象物検出装置によれば、入力画像から抽出されたウインドウ画像の特徴量と予め生成した識別モデルとの比較により算出される評価値だけでなく、予め学習用画像から抽出した対象物画像のうち、ウインドウ画像のサイズ及び位置と近い対象物画像の特徴量とウインドウ画像の特徴量との距離に対応して算出された、ウインドウ画像のサイズ及び位置の相違による検出対象物の見え方の相違に対応した信頼度を併せて判定に用いるため、識別モデルでは対応が困難な入力画像における検出対象物の大きさ及び位置の相違による検出対象物の見え方の相違にも対応して、検出精度を向上させることができる。

また、信頼度の算出は、ウインドウ画像の特徴量と、対応する対象物画像の特徴量とに基づいて簡易に算出することができるため、入力画像における検出対象物の大きさ及び位置毎に識別モデルを生成するような場合に比べ、計算時間を削減できる。

なお、第１及び第２の実施の形態では、ＳＶＭの手法を用いて識別モデルを生成する場合について説明したが、例えば、ブースティングアルゴリズムを用いたカスケード型識別器など他の識別モデルを生成するようにしてもよい。

また、第１及び第２の実施の形態では、ウインドウ画像及び対象物画像の特徴量として、エッジ方向のヒストグラムを用いる場合について説明したが、例えば、輝度のヒストグラムなど他の特徴量を用いてもよい。

また、第１の実施の形態における信頼度及び第２の実施の形態における信頼度の両方を併せて判定に用いるようにしてもよい。例えば、第１の実施の形態におけるウインドウ画像のサイズ及び位置に基づく信頼度をｐ１、第２の実施の形態におけるウインドウ画像のサイズ、位置及び特徴量に基づく信頼度ｐ２として、信頼度の重み係数α及びβ、並びに判定閾値Ｔｈを用いて表される下式を満たす場合に、ウインドウ画像が検出対象物であると判定するようにすることができる。

Ｅ＋α×ｐ１＋β×ｐ２＞Ｔｈ

また、入力画像が撮像される撮像装置と、学習用画像を撮像した撮像装置との間に、取付位置や取付角度の相違が生じている場合でも、この差分を画像処理などによって補正して、ウインドウ画像のサイズ及び入力画像における位置と、対象物画像のサイズ及び学習用画像における位置との対応をとることにより、本発明を適用することができる。

１０、２１０ 対象物検出装置
１２ 撮像装置
１６、２１６ コンピュータ
２０ ウインドウ画像抽出部
２２ 信頼度取得部
２４ 特徴量算出部（ウインドウ画像）
２６ 評価値算出部
２８ 判定部
３２ 信頼度算出部
５０ 信頼度情報生成装置
５２ 対象物画像抽出部
５４ 対象物情報生成部
５６ 信頼度算出部
５８ 信頼度記憶部
６０ 特徴量算出部（対象物画像）
６２ 対象物情報記憶部
７０ 識別モデル生成装置
２５０ 対象物情報生成装置

Claims (8)

1. 入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、
   検出対象物を検出するために予め生成された識別モデルと前記ウインドウ画像の各々とを比較することにより、前記ウインドウ画像の各々について検出対象物らしさを表す評価値を算出する評価値算出手段と、
   予め用意された検出対象物を含む複数の学習用画像における検出対象物の各々のサイズ及び位置に基づいて求まる前記入力画像における前記ウインドウ画像のサイズ及び位置での検出対象物の存在確率に応じた前記ウインドウ画像が検出対象物であることを表す信頼度と、前記評価値とに基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段と、
   を含む対象物検出装置。
2. 前記信頼度を、前記検出対象物を含む複数の学習用画像から検出対象物のサイズに応じて抽出された複数の対象物画像の各々のサイズ、及び前記学習用画像における前記対象物画像の位置に基づいて、前記ウインドウ画像のサイズと略同一サイズの複数の対象物画像の各々の位置と前記ウインドウ画像の位置との距離の平均値が小さいほど値が大きくなるように定めた請求項１記載の対象物検出装置。
3. 入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、
   前記ウインドウ画像の特徴量を算出する特徴量算出手段と、
   予め用意された検出対象物を含む複数の学習用画像から検出対象物のサイズに応じて、かつ前記入力画像における前記ウインドウ画像のサイズ及び位置に対応したサイズ及び位置で抽出された複数の対象物画像の特徴量と、前記ウインドウ画像の特徴量との距離に応じた前記ウインドウ画像が検出対象物であることを表す信頼度を算出する信頼度算出手段と、
   検出対象物を検出するために予め生成された識別モデルの特徴量と前記ウインドウ画像の特徴量とを比較することにより、前記ウインドウ画像の検出対象物らしさを表す評価値を算出する評価値算出手段と、
   前記評価値及び前記信頼度に基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段と、
   を含む対象物検出装置。
4. 前記信頼度算出手段は、前記複数の対象物画像の各々のサイズ、前記学習用画像における前記対象物画像の位置、及び前記対象物画像の特徴量に基づいて、前記ウインドウ画像のサイズと略同一サイズで、かつ前記学習用画像における前記対象物画像の位置と前記入力画像における前記ウインドウ画像の位置との距離が所定範囲内の複数の対象物画像の各々の特徴量と、前記ウインドウ画像の特徴量との距離の平均値が小さいほど値が大きくなるように信頼度を算出する請求項３記載の対象物検出装置。
5. 前記入力画像及び前記学習用画像を、車両の前方または後方の所定領域を撮影する車載カメラで撮影した請求項１〜請求項４のいずれか１項記載の対象物検出装置。
6. コンピュータを、
   入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、
   検出対象物を検出するために予め生成された識別モデルと前記ウインドウ画像の各々とを比較することにより、前記ウインドウ画像の各々について検出対象物らしさを表す評価値を算出する評価値算出手段と、
   予め用意された検出対象物を含む複数の学習用画像における検出対象物の各々のサイズ及び位置に基づいて求まる前記入力画像における前記ウインドウ画像のサイズ及び位置での検出対象物の存在確率に応じた前記ウインドウ画像が検出対象物であることを表す信頼度と、前記評価値とに基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段と、
   して機能させるための対象物検出プログラム。
7. コンピュータを、
   入力画像に対してサイズが異なる複数のウインドウ枠の各々を所定量ずつ移動させながら前記入力画像から各々の前記ウインドウ枠内の画像をウインドウ画像として抽出する抽出手段と、
   前記ウインドウ画像の特徴量を算出する特徴量算出手段と、
   予め用意された検出対象物を含む複数の学習用画像から検出対象物のサイズに応じて、かつ前記入力画像における前記ウインドウ画像のサイズ及び位置に対応したサイズ及び位置で抽出された複数の対象物画像の特徴量と、前記ウインドウ画像の特徴量との距離に応じた前記ウインドウ画像が検出対象物であることを表す信頼度を算出する信頼度算出手段と、
   検出対象物を検出するために予め生成された識別モデルの特徴量と前記ウインドウ画像の特徴量とを比較することにより、前記ウインドウ画像の検出対象物らしさを表す評価値を算出する評価値算出手段と、
   前記評価値及び前記信頼度に基づいて、前記ウインドウ画像が検出対象物か否かを判定する判定手段と、
   して機能させるための対象物検出プログラム。
8. コンピュータを、請求項１〜請求項５のいずれか１項記載の対象物検出装置を構成する各手段として機能させるための対象物検出プログラム。

Images