JPWO2017158958A1

JPWO2017158958A1 - 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム

Info

Publication number: JPWO2017158958A1
Application number: JP2018505252A
Authority: JP
Inventors: 聖也天野; 洋義関口; 横田　聡一郎; 聡一郎横田
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2016-03-15
Filing date: 2016-12-08
Publication date: 2018-10-04
Anticipated expiration: 2036-12-08
Also published as: US10937181B2; EP3432291A4; WO2017158958A1; US20190012798A1; JP6795027B2; EP3432291A1

Abstract

本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムに関し、物体の距離情報に基づいて検出された２つの物体の検出領域における該物体間の奥行き方向の距離を算出する第１算出手段と、前記第１算出手段により算出された前記距離に応じた方法により、２つの前記検出領域に関する重なりの部分の面積である重なり面積を算出する第２算出手段と、前記重なり面積の大きさに基づいて、２つの前記検出領域の物体それぞれについて棄却の要否を決定する棄却手段と、を備える。

Description

本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムに関する。

従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに開発されている。自動車の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。

物体を認識する技術としてステレオカメラを使う場合、撮像した左右２つの輝度画像に写り込んでいる各物体の視差を導出して視差画像を生成し、同程度の視差値を持った画素を一つにまとめることで物体を認識する。このとき、視差画像の視差塊を抽出することにより、物体の高さ、横幅、および奥行きならびに、物体の三次元での位置を検出できる。

このような、物体を認識する技術として、画像データにおいて歩行者が存在すると認識された歩行者認識領域を特定し、歩行者であることの確度を示す歩行者スコアの算出を行う技術が開示されている（特許文献１参照）。

特開２０１４−１４６２６７号公報

通常、撮像画像上の物体が重なっている場合、奥の物体は制御対象（トラッキング対象）から外す（棄却する）処理を行うが、例えば、前方にいる他車両の奥側から飛び出してくる歩行者等は棄却せずに制御対象とすることが望ましい。しかしながら、特許文献１に開示された技術では、他車両の奥等に歩行者がいて急に飛び出してきた場合等で、確実にその歩行者を棄却せずに検出して制御対象とすることができないという問題がある。

本発明は、上記に鑑みてなされたものであって、棄却処理を適切に行う画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、物体の距離情報に基づいて検出された２つの物体の検出領域における該物体間の奥行き方向の距離を算出する第１算出手段と、前記第１算出手段により算出された前記距離に応じた方法により、２つの前記検出領域に関する重なりの部分の面積である重なり面積を算出する第２算出手段と、前記重なり面積の大きさに基づいて、２つの前記検出領域の物体それぞれについて棄却の要否を決定する棄却手段と、を備えたことを特徴とする。

本発明によれば、棄却処理を適切に行うことができる。

図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図２は、実施の形態に係る物体認識装置の外観の一例を示す図である。図３は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図４は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。図５は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。図６は、撮像部から物体までの距離を導き出す原理を説明する図である。図７は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図８は、ブロックマッチング処理の結果のグラフの一例を示す図である。図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。図１０は、視差画像から生成されるＶマップの例を示す図である。図１１は、視差画像から生成されるＵマップの例を示す図である。図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。図１３は、リアルＵマップから孤立領域を抽出する処理を説明する図である。図１４は、検出枠を作成する処理を説明する図である。図１５は、枠間距離が近距離である場合を説明する図である。図１６は、枠間距離が遠距離である場合を説明する図である。図１７は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図１８は、実施の形態に係る認識処理部の物体認識処理の動作の一例を示すフローチャートである。図１９は、実施の形態に係る認識処理部のオーバーラップ処理の動作の一例を示すフローチャートである。図２０は、枠間距離が近距離である場合の重なり面積を説明する図である。図２１は、枠間距離が近距離である場合に検出物体を棄却する動作を説明する図である。図２２は、枠間距離が遠距離である場合の重なり面積を説明する図である。図２３は、枠間距離が遠距離である場合に重なり面積が生じない場合を説明する図である。図２４は、枠間距離が遠距離である場合に検出物体を棄却しない場合を説明する図である。

以下に、図１〜２４を参照しながら、本発明に係る画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［物体認識装置を備えた車両の概略構成］
図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図１を参照しながら、本実施の形態の機器制御システム６０が車両７０に搭載される場合を例に説明する。

図１のうち、図１（ａ）は、機器制御システム６０を搭載した車両７０の側面図であり、図１（ｂ）は、その車両７０の正面図である。

図１に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６（制御装置）と、ステアリングホイール７と、ブレーキペダル８と、を備えている。

物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、構成および動作の詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。

車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、各種車両制御を実行するＥＣＵ（ＥｌｅｃｔｒｏｎｉｃＣｏｎｔｒｏｌＵｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。

このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。

なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

［物体認識装置の構成］
図２は、実施の形態に係る物体認識装置の外観の一例を示す図である。図２に示すように、物体認識装置１は、上述のように、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図２に示す撮像部１０ａを右のカメラと称し、撮像部１０ｂを左のカメラと称する場合がある。

（物体認識装置のハードウェア構成）
図３は、実施の形態に係る物体認識装置にハードウェア構成の一例を示す図である。図３を参照しながら、物体認識装置１のハードウェア構成について説明する。

図３に示すように、物体認識装置１は、本体部２内に視差値導出部３および認識処理部５を備えている。

視差値導出部３は、物体を撮像して得られた複数の画像から、物体に対する視差を示す視差値ｄｐを導出し、各画素における視差値ｄｐを示す視差画像（距離情報の一例）を出力する装置である。認識処理部５は、視差値導出部３から出力された視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体に対する物体認識処理等を行い、物体認識処理の結果を示す情報である認識情報を、車両制御装置６に出力する装置である。

図３に示すように、視差値導出部３は、撮像部１０ａと、撮像部１０ｂと、信号変換部２０ａと、信号変換部２０ｂと、画像処理部３０と、を備えている。

撮像部１０ａは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、絞り１２ａと、画像センサ１３ａと、を備えている。

撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１３ａに結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、画像センサ１３ａに入力する光の量を調整する部材である。画像センサ１３ａは、撮像レンズ１１ａに入射し、絞り１２ａを通過した光を電気的なアナログの画像信号に変換する半導体素子である。画像センサ１３ａは、例えば、ＣＣＤ（ＣｈａｒｇｅＣｏｕｐｌｅｄＤｅｖｉｃｅｓ）またはＣＭＯＳ（ＣｏｍｐｌｅｍｅｎｔａｒｙＭｅｔａｌＯｘｉｄｅＳｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。

撮像部１０ｂは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、絞り１２ｂと、画像センサ１３ｂと、を備えている。なお、撮像レンズ１１ｂ、絞り１２ｂおよび画像センサ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、絞り１２ａおよび画像センサ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右のカメラが同一の条件で撮像されるように、それぞれの主面が互いに同一平面上にあるように設置されている。

信号変換部２０ａは、撮像部１０ａにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ａは、ＣＤＳ（ＣｏｒｒｅｌａｔｅｄＤｏｕｂｌｅＳａｍｐｌｉｎｇ）２１ａと、ＡＧＣ（ＡｕｔｏＧａｉｎＣｏｎｔｒｏｌ）２２ａと、ＡＤＣ（ＡｎａｌｏｇＤｉｇｉｔａｌＣｏｎｖｅｒｔｅｒ）２３ａと、フレームメモリ２４ａと、を備えている。

ＣＤＳ２１ａは、画像センサ１３ａにより生成されたアナログの画像信号に対して、相関二重サンプリング、横方向の微分フィルタ、または縦方向の平滑フィルタ等によりノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

信号変換部２０ｂは、撮像部１０ｂにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ｂは、ＣＤＳ２１ｂと、ＡＧＣ２２ｂと、ＡＤＣ２３ｂと、フレームメモリ２４ｂと、を備えている。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂおよびフレームメモリ２４ｂの機能は、それぞれ上述したＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａおよびフレームメモリ２４ａの機能と同様である。

画像処理部３０は、信号変換部２０ａおよび信号変換部２０ｂによって変換された画像データに対して画像処理を行う装置である。画像処理部３０は、ＦＰＧＡ（ＦｉｅｌｄＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ）３１と、ＣＰＵ（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）３２と、ＲＯＭ（ＲｅａｄＯｎｌｙＭｅｍｏｒｙ）３３と、ＲＡＭ（ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）３４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、バスライン３９と、を備えている。

ＦＰＧＡ３１は、集積回路であり、ここでは、画像データに基づく画像における視差値ｄｐを導出する処理を行う。ＣＰＵ３２は、視差値導出部３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出部３の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、認識処理部５におけるＩ／Ｆ５５と、通信線４とを介して通信するためのインターフェースである。バスライン３９は、図３に示すように、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４およびＩ／Ｆ３５が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

なお、画像処理部３０は、視差値ｄｐを導出する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ）等の集積回路であってもよい。

図３に示すように、認識処理部５は、ＦＰＧＡ５１と、ＣＰＵ５２と、ＲＯＭ５３と、ＲＡＭ５４と、Ｉ／Ｆ５５と、ＣＡＮ（ＣｏｎｔｒｏｌｌｅｒＡｒｅａＮｅｔｗｏｒｋ）Ｉ／Ｆ５８と、バスライン５９と、を備えている。

ＦＰＧＡ５１は、集積回路であり、ここでは、画像処理部３０から受信した視差画像等に基づいて、物体に対する物体認識処理を行う。ＣＰＵ５２は、認識処理部５の各機能を制御する。ＲＯＭ５３は、ＣＰＵ５２が認識処理部５の物体認識処理を実行する物体認識処理用プログラムを記憶している。ＲＡＭ５４は、ＣＰＵ５２のワークエリアとして使用される。Ｉ／Ｆ５５は、画像処理部３０のＩ／Ｆ３５と、通信線４とを介してデータ通信するためのインターフェースである。ＣＡＮＩ／Ｆ５８は、外部コントローラ（例えば、図３に示す車両制御装置６）と通信するためのインターフェースであり、例えば、自動車のＣＡＮ等に接続されるバスライン５９は、図３に示すように、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５およびＣＡＮＩ／Ｆ５８が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

このような構成により、画像処理部３０のＩ／Ｆ３５から通信線４を介して認識処理部５に視差画像が送信されると、認識処理部５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体の物体認識処理等を実行する。

なお、上述の各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ（ＣｏｍｐａｃｔＤｉｓｃＲｅａｄＯｎｌｙＭｅｍｏｒｙ）またはＳＤ（ＳｅｃｕｒｅＤｉｇｉｔａｌ）メモリカード等である。

また、図３に示すように、視差値導出部３の画像処理部３０と、認識処理部５とは別体の装置としているが、これに限定されるものではなく、例えば、画像処理部３０と認識処理部５とを同一の装置として、視差画像の生成、および物体認識処理を行うものとしてもよい。

（物体認識装置の機能ブロックの構成および動作）
図４は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。まず、図４を参照しながら、物体認識装置１の要部の機能ブロックの構成および動作について説明する。

図３でも上述したが、図４に示すように、物体認識装置１は、視差値導出部３と、認識処理部５と、を備えている。このうち、視差値導出部３は、画像取得部１００ａ（第１撮像手段）と、画像取得部１００ｂ（第２撮像手段）と、変換部２００ａ、２００ｂと、視差値演算処理部３００（生成手段）と、を有する。

画像取得部１００ａは、右のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ａは、図３に示す撮像部１０ａによって実現される。

画像取得部１００ｂは、左のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ｂは、図３に示す撮像部１０ｂによって実現される。

変換部２００ａは、画像取得部１００ａにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ａは、図３に示す信号変換部２０ａによって実現される。

変換部２００ｂは、画像取得部１００ｂにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ｂは、図３に示す信号変換部２０ｂによって実現される。

ここで、変換部２００ａ、２００ｂが出力する２つの輝度画像の画像データ（以下、単に、輝度画像と称する）のうち、右のカメラ（撮像部１０ａ）である画像取得部１００ａにより撮像された輝度画像を基準画像Ｉａの画像データ（以下、単に、基準画像Ｉａと称する）（第１撮像画像）とし、左のカメラ（撮像部１０ｂ）である画像取得部１００ｂにより撮像された輝度画像を比較画像Ｉｂの画像データ（以下、単に、比較画像Ｉｂと称する）（第２撮像画像）とする。すなわち、変換部２００ａ、２００ｂは、画像取得部１００ａ、１００ｂそれぞれから出力された２つの輝度画像に基づいて、それぞれ基準画像Ｉａおよび比較画像Ｉｂを出力する。

視差値演算処理部３００は、変換部２００ａ、２００ｂそれぞれから受信した基準画像Ｉａおよび比較画像Ｉｂに基づいて、基準画像Ｉａの各画素についての視差値ｄｐを導出し、基準画像Ｉａの各画素に視差値ｄｐを対応させた視差画像を生成する機能部である。視差値演算処理部３００は、生成した視差画像を、認識処理部５に出力する。

認識処理部５は、視差値導出部３から受信した基準画像Ｉａおよび視差画像に基づいて、物体を認識（検出）し、かつ、認識した物体に対して追跡（トラッキング）処理を行う機能部である。

＜視差値演算処理部の機能ブロックの構成および動作＞
図５は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。図６は、撮像部から物体までの距離を導き出す原理を説明する図である。図７は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図８は、ブロックマッチング処理の結果のグラフの一例を示す図である。

まず、図６〜８を用いて、ブロックマッチング処理による測距方法の概略について説明する。

＜＜測距の原理＞＞
図６を参照しながら、ステレオマッチング処理により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。

図６に示す撮像システムは、平行等位に配置された撮像部１０ａと撮像部１０ｂとを有するものとする。撮像部１０ａ、１０ｂは、それぞれ、入射する光を屈折させて物体の像を固体撮像素子である画像センサに結像させる撮像レンズ１１ａ、１１ｂを有する。撮像部１０ａおよび撮像部１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。図６において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、撮像レンズ１１ａと撮像レンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、基準画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、基準画像Ｉａ上の座標における点Ｓａ（ｘ，ｙ）と比較画像Ｉｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、以下の（式１）のように表される。

ｄｐ＝Ｘ−ｘ（式１）

また、図６において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。

次に、視差値ｄｐを用いることにより、撮像部１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図６に示すように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記の（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／ｄｐ（式２）

この（式２）により、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなることがわかる。

＜＜ブロックマッチング処理＞＞
次に、図７および８を用いて、ブロックマッチング処理による測距方法について説明する。

図７および８を参照しながら、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図７のうち、図７（ａ）は、基準画像Ｉａにおける基準画素ｐおよび基準領域ｐｂを示す概念図を示し、図７（ｂ）は、図７（ａ）に示す基準画素ｐに対応する比較画像Ｉｂにおける対応画素の候補を順次シフトしながら（ずらしながら）、コスト値Ｃを算出する際の概念図である。ここで、対応画素とは、基準画像Ｉａにおける基準画素ｐに最も類似する比較画像Ｉｂにおける画素を示す。また、コスト値Ｃとは、基準画像Ｉａにおける基準画素ｐに対する、比較画像Ｉｂにおける各画素の類似度または非類似度を表す評価値（一致度）である。以下に示すコスト値Ｃは、値が小さいほど、比較画像Ｉｂにおける画素が基準画素ｐと類似していることを示す非類似度を表す評価値であるものとして説明する。

図７（ａ）に示すように、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂにおけるエピポーラ線ＥＬ上の対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。また、基準画素ｐの対応画素を求めるためステレオマッチング処理として、本実施の形態ではブロックマッチング処理を行う。ブロックマッチング処理では、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度を求める。基準領域ｐｂと候補領域ｑｂとの非類似度を示すコスト値Ｃとしては、ＳＡＤ（ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）、または、ＳＳＤの値から各ブロックの平均値を減算したＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ−ＳｕｍｏｆＳｑｕａｒｅｄＤｉｆｆｅｒｅｎｃｅ）等が用いられる。これらの評価値は、相関が高い（類似の度合いが高い）ほど、値が小さくなるので非類似度を示す。

なお、上述のように、撮像部１０ａ、１０ｂは、それぞれ平行等位に配置されるため、基準画像Ｉａおよび比較画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図７に紙面視横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂのエピポーラ線ＥＬ上の画素を探索すればよい。

このようなブロックマッチング処理で算出されたコスト値Ｃ（ｐ，ｄ）は、シフト量ｄとの関係で、例えば、図８に示すグラフにより表される。図８の例では、コスト値Ｃは、シフト量ｄ＝７の場合が最小値となるため、視差値ｄｐ＝７として導出される。

＜＜視差値演算処理部の機能ブロックの具体的な構成および動作＞＞
図５を参照しながら、視差値演算処理部３００の機能ブロックの具体的な構成および動作について説明する。

図５に示すように、視差値演算処理部３００は、コスト算出部３０１と、決定部３０２と、第１生成部３０３と、を有する。

コスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する機能部である。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。

決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する機能部である。

第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の画素値を、その画素に対応する視差値ｄｐで置き換えた画像である視差画像を生成する機能部である。

図５に示すコスト算出部３０１、決定部３０２および第１生成部３０３は、それぞれ図３に示すＦＰＧＡ３１によって実現される。なお、コスト算出部３０１、決定部３０２および第１生成部３０３の一部または全部は、ハードウェア回路であるＦＰＧＡ３１ではなく、ＲＯＭ３３に記憶されているプログラムがＣＰＵ３２によって実行されることによって実現されるものとしてもよい。

なお、図５に示す視差値演算処理部３００のコスト算出部３０１、決定部３０２および第１生成部３０３は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図５に示す視差値演算処理部３００で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図５に示す視差値演算処理部３００で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

＜認識処理部の機能ブロックの構成および動作＞
図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。図１０は、視差画像から生成されるＶマップの例を示す図である。図１１は、視差画像から生成されるＵマップの例を示す図である。図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。図１３は、リアルＵマップから孤立領域を抽出する処理を説明する図である。図１４は、検出枠を作成する処理を説明する図である。図１５は、枠間距離が近距離である場合を説明する図である。図１６は、枠間距離が遠距離である場合を説明する図である。図９〜１６を参照しながら、認識処理部５の機能ブロックの構成および動作について説明する。

図９に示すように、認識処理部５は、第２生成部５０１と、クラスタリング処理部５０２と、トラッキング部５０３と、を有する。

第２生成部５０１は、視差値演算処理部３００から視差画像を入力し、かつ、視差値導出部３から基準画像Ｉａを入力し、Ｖ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌＵ−Ｄｉｓｐａｒｉｔｙマップ等を生成する機能部である。具体的には、第２生成部５０１は、視差値演算処理部３００から入力した視差画像から路面を検出するために、図１０（ｂ）に示すＶ−ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを生成する。ここで、Ｖ−Ｄｉｓｐａｒｉｔｙマップとは、縦軸を基準画像Ｉａのｙ軸とし、横軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１０（ａ）に示す基準画像Ｉａには、例えば、路面６００と、電柱６０１と、車６０２とが写り込んでいる。この基準画像Ｉａの路面６００は、ＶマップＶＭにおいては路面部６００ａに対応し、電柱６０１は、電柱部６０１ａに対応し、車６０２は、車部６０２ａに対応する。

また、第２生成部５０１は、生成したＶマップＶＭから、路面と推定される位置を直線近似する。路面が平坦な場合は、１本の直線で近似可能であるが、勾配が変わる路面の場合は、ＶマップＶＭの区間を分割して精度よく直線近似する必要がある。直線近似としては、公知技術であるハフ変換または最小二乗法等が利用できる。ＶマップＶＭにおいて、検出された路面部６００ａより上方に位置する塊である電柱部６０１ａおよび車部６０２ａは、それぞれ路面６００上の物体である電柱６０１および車６０２に相当する。後述する第２生成部５０１によりＵ−Ｄｉｓｐａｒｉｔｙマップが生成される際に、ノイズ除去のため路面より上方の情報のみが用いられる。

また、第２生成部５０１は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１１（ａ）に示す基準画像Ｉａでは左ガードレール６１１、右ガードレール６１２、車６１３および車６１４に対応する視差画像上の情報を利用して、物体を認識するために、図１１（ｂ）に示すＵ−ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭを生成する。ここで、ＵマップＵＭは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１１（ａ）に示す基準画像Ｉａの左ガードレール６１１は、ＵマップＵＭにおいては左ガードレール部６１１ａに対応し、右ガードレール６１２は、右ガードレール部６１２ａに対応し、車６１３は、車部６１３ａに対応し、車６１４は、車部６１４ａに対応する。

また、第２生成部５０１は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１１（ａ）に示す基準画像Ｉａでは左ガードレール６１１、右ガードレール６１２、車６１３および車６１４に対応する視差画像上の情報を利用して、図１１（ｃ）に示すＵ−Ｄｉｓｐａｒｉｔｙマップの一例であるＵマップＵＭ＿Ｈを生成する。ここで、Ｕ−Ｄｉｓｐａｒｉｔｙマップの一例であるＵマップＵＭ＿Ｈは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐとし、画素値を物体の高さとした画像である。図１１（ａ）に示す基準画像Ｉａの左ガードレール６１１は、ＵマップＵＭ＿Ｈにおいては左ガードレール部６１１ｂに対応し、右ガードレール６１２は、右ガードレール部６１２ｂに対応し、車６１３は、車部６１３ｂに対応し、車６１４は、車部６１４ｂに対応する。

また、第２生成部５０１は、生成した図１２（ａ）に示すＵマップＵＭから、横軸を実際の距離に変換した図１２（ｂ）に示すＲｅａｌＵ−ＤｉｓｐａｒｉｔｙマップであるリアルＵマップＲＭを生成する。ここで、リアルＵマップＲＭは、横軸を、撮像部１０ｂ（左のカメラ）から撮像部１０ａ（右のカメラ）へ向かう方向の実距離とし、縦軸を、視差画像の視差値ｄｐ（またはその視差値ｄｐから変換した奥行き方向の距離）とした二次元ヒストグラムである。図１２（ａ）に示すＵマップＵＭの左ガードレール部６１１ａは、リアルＵマップＲＭにおいては左ガードレール部６１１ｃに対応し、右ガードレール部６１２ａは、右ガードレール部６１２ｃに対応し、車部６１３ａは、車部６１３ｃに対応し、車部６１４ａは、車部６１４ｃに対応する。具体的には、第２生成部５０１は、ＵマップＵＭでは、遠方（視差値ｄｐが小さい）では物体が小さいため、視差情報が少なく、距離の分解能も小さいので間引きせず、近距離の場合は物体が大きく写るため、視差情報が多く、距離の分解能も大きいので画素を大きく間引くことによって、俯瞰図に相当するリアルＵマップＲＭを生成する。後述するように、リアルＵマップＲＭから画素値の塊（物体）（後述する「孤立領域」）を抽出することにより、物体を検出することができる。この場合、塊を囲む矩形の幅は、抽出した物体の幅に相当し、高さは、抽出した物体の奥行きに相当する。なお、第２生成部５０１は、ＵマップＵＭからリアルＵマップＲＭを生成することに限定されるものではなく、視差画像から、直接、リアルＵマップＲＭを生成することも可能である。

なお、視差値導出部３から第２生成部５０１に入力される画像は基準画像Ｉａに限定されるものではなく、比較画像Ｉｂを対象とするものとしてもよい。

第２生成部５０１は、図３に示すＦＰＧＡ５１によって実現される。なお、第２生成部５０１は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

クラスタリング処理部５０２は、第２生成部５０１から出力された各マップに基づいて、視差画像に写っている物体を検出するクラスタリング処理を行う機能部である。図９に示すように、クラスタリング処理部５０２は、領域抽出部５１１（抽出手段）と、枠作成部５１２（決定手段）と、第１棄却部５１３と、オーバーラップ処理部５１４と、を有する。

領域抽出部５１１は、第２生成部５０１から出力された各マップ（画像）のうちリアルＵマップＲＭから、画素値の塊である孤立領域を抽出する機能部である。具体的には、領域抽出部５１１は、リアルＵマップＲＭに対して二値化処理およびラベリング処理等を行い、ラベリング処理の識別情報ごとに孤立領域を抽出する。例えば、リアルＵマップＲＭにおいて孤立領域が抽出された状態を、図１３に示す。図１３に示すリアルＵマップＲＭの例では、領域抽出部５１１によって、孤立領域として、孤立領域６２１〜６２４が抽出された場合を示している。領域抽出部５１１により抽出された孤立領域は、基準画像Ｉａに写っている物体に対応するものであり、基準画像Ｉａにおける物体の認識領域を示すものである。

また、領域抽出部５１１は、第２生成部５０１により生成されたＵマップＵＭまたはリアルＵマップＲＭから、孤立領域の物体の視差画像および基準画像Ｉａにおけるｘ軸方向の位置および幅（ｘｍｉｎ，ｘｍａｘ）を特定できる。また、領域抽出部５１１は、ＵマップＵＭまたはリアルＵマップＲＭでの物体の高さの情報（ｄｍｉｎ，ｄｍａｘ）から物体の実際の奥行きを特定できる。また、領域抽出部５１１は、第２生成部５０１により生成されたＶマップＶＭから、物体の視差画像および基準画像Ｉａにおけるｙ軸方向の位置および高さ（ｙｍｉｎ＝「最大視差値の路面からの最大高さに相当するｙ座標」，ｙｍａｘ＝「最大視差値から得られる路面の高さを示すｙ座標」）を特定できる。また、領域抽出部５１１は、視差画像において特定した物体のｘ軸方向の幅（ｘｍｉｎ，ｘｍａｘ）、ｙ軸方向の高さ（ｙｍｉｎ，ｙｍａｘ）およびそれぞれに対応する視差値ｄｐから、物体の実際のｘ軸方向およびｙ軸方向のサイズが特定できる。以上のように、領域抽出部５１１は、ＶマップＶＭ、ＵマップＵＭおよびリアルＵマップＲＭを利用して、基準画像Ｉａにおいて、孤立領域の物体の位置、ならびに実際の幅、高さおよび奥行きの特定することができる。また、領域抽出部５１１は、基準画像Ｉａでの物体の位置が特定されるので、視差画像における位置も定まり、物体までの距離も特定できる。

領域抽出部５１１は、抽出した孤立領域ごとに、その孤立領域に関する情報である認識領域情報を生成し、ここでは、例えば、ラベリング処理の識別情報、ならびに、基準画像Ｉａ、ＶマップＶＭ、ＵマップＵＭおよびリアルＵマップＲＭ上における孤立領域の位置および大きさの情報を認識領域情報に含める。領域抽出部５１１は、生成した認識領域情報を、枠作成部５１２に送る。

なお、領域抽出部５１１は、抽出した孤立領域に対して、リアルＵマップＲＭ上に存在するノイズおよび視差分散等を緩和する平滑化、孤立領域の物体の面検出、または、不要な領域の削除等の処理を行うものとしてもよい。

枠作成部５１２は、領域抽出部５１１により抽出されたリアルＵマップＲＭ上の物体の孤立領域について、視差画像Ｉｐ（または基準画像Ｉａ）における孤立領域に対応する物体の領域（以下、検出領域という場合がある）に枠を作成する機能部である。具体的には、枠作成部５１２は、図１４（ａ）に示すように、リアルＵマップＲＭ上で領域抽出部５１１により抽出された孤立領域６２１〜６２４にそれぞれ対応する検出領域６３１〜６３４に対応するように、図１４（ｂ）に示すように視差画像Ｉｐまたは基準画像Ｉａ上にそれぞれ検出枠６３１ａ〜６３４ａを作成する。枠作成部５１２は、視差画像Ｉｐまたは基準画像Ｉａで作成した枠の情報を認識領域情報に含めて、第１棄却部５１３に送る。

第１棄却部５１３は、枠作成部５１２により枠で示される検出領域の大きさから、検出領域の物体（以下、検出物体という場合がある）についての実際のサイズ（幅、高さ、奥行き）から物体が何であるかを特定し、物体の種類に応じて棄却する機能部である。第１棄却部５１３は、例えば、下記の（表１）を用いて、検出物体が何であるかを特定する。例えば、物体の幅が１３００［ｍｍ］、高さが１８００［ｍｍ］、奥行きが２０００［ｍｍ］である場合、物体は「普通車」の車両であると特定できる。なお、（表１）のような幅、高さおよび奥行きと、物体の種類（物体タイプ）とを関連付ける情報をテーブルとして、ＲＡＭ５４等に記憶させておくものとすればよい。また、（表１）に示すサイズと、物体の種類（物体タイプ）との関係は一例を示すものであり、その他のサイズと物体の種類との関係で規定するものとしてもよい。

第１棄却部５１３は、特定した検出物体の種類に応じて、後段の処理（後述するオーバーラップ処理およびトラッキング処理等）の対象から除外するものと判断した物体を棄却する。例えば、第１棄却部５１３は、歩行者（人）および車両を後段の処理の対象とする場合、図１４（ｂ）に示す検出枠６３１ａ、６３２ａが示す検出物体は側壁物（ガードレール）であるため、これらを棄却する。第１棄却部５１３は、検出物体を棄却する場合は、例えば、その検出物体の認識領域情報に棄却する旨のフラグ（棄却フラグ）を含める。なお、第１棄却部５１３は、特定した検出物体の種類に応じて、その検出物体を棄却するか否かを判断しているが、これに限定されるものではなく、検出領域の大きさに基づいて、その検出領域の物体を棄却するか否かを判断するものとしてもよい。第１棄却部５１３は、検出物体を棄却するか否かを示す棄却フラグを認識領域情報に含めて、オーバーラップ処理部５１４に送る。なお、以下のオーバーラップ処理およびトラッキング処理の説明における検出物体について、その認識領域情報に含まれる棄却フラグがＯＦＦである、すなわち、棄却されていないことを前提に説明する。

オーバーラップ処理部５１４は、検出領域が重なっている場合に、これらの検出領域が重なっている面積に基づいて、これらの検出領域の物体を棄却するか否かを決定するオーバーラップ処理を行う機能部である。オーバーラップ処理部５１４は、第１判定部５２１と、距離算出部５２２（第１算出手段）と、第２判定部５２３（判定手段）と、重なり面積算出部５２４（第２算出手段）と、第３判定部５２５と、第２棄却部５２６（棄却手段）と、を有する。

第１判定部５２１は、２つの検出領域が重なっているか否かを判定する機能部である。

距離算出部５２２は、第１判定部５２１により検出領域が重なっていると判定された場合、重なっている検出領域の物体間の奥行き方向の距離（以下、枠間距離という場合がある）を算出する機能部である。

第２判定部５２３は、距離算出部５２２により算出された枠間距離が所定の閾値未満か否かを判定する機能部である。以下の説明では、所定の閾値より大きい距離を「遠距離」（第２距離域）といい、所定の閾値未満の距離を「近距離」（第１距離域）というものとする。ここで、第２判定部５２３は、２つの検出物体のうち近い物体までの距離に応じて、枠間距離と比較する所定の閾値を、例えば、下記の（表２）に示すように切り替える。例えば、第２判定部５２３は、（表２）に示すように、２つの検出物体のうち近い物体までの距離が１５［ｍ］以上３５［ｍ］未満である場合、枠間距離と比較する所定の閾値を４．５［ｍ］とする。なお、（表２）に示す検出物体の距離と、枠間距離と比較する閾値との関係は一例を示すものであり、その他の関係で規定するものとしてもよい。第２判定部５２３による判定処理の詳細は、図１９で後述する。

ここで、図１５に枠間距離が近距離である場合の例を示す。図１５に示す視差画像Ｉｐ１において、検出物体が歩行者である検出領域６４１と、検出物体が車両である検出領域６４２とが近距離であり、かつ、検出領域６４１、６４２のそれぞれの一部が重なっていることが示されている。一方、図１６に枠間距離が遠距離である場合の例を示す。図１６に示す視差画像Ｉｐ２において、検出物体が歩行者である検出領域６５１と、検出物体が車両である検出領域６５２とが遠距離であり、かつ、検出領域６５１、６５２のそれぞれの一部が重なっていることが示されている。

重なり面積算出部５２４は、２つの検出領域が重なっている部分の面積（以下、重なり面積という場合がある）を算出する機能部である。重なり面積算出部５２４による重なり面積の算出処理の詳細は、図１９、２０、２２および２３で後述する。

第３判定部５２５は、重なり面積算出部５２４により算出された重なり面積が、２つの検出領域のうちいずれか一方の面積の所定の割合（検出領域の重なり率についての閾値）よりも大きいか否かを判定する機能部である。ここで、第３判定部５２５は、２つの検出領域の枠間距離が近距離か遠距離かに応じて、所定の割合（閾値）を、例えば、下記の（表３）に示すように切り替える。例えば、第３判定部５２５は、（表３）に示すように、２つの検出領域の枠間距離が遠距離である場合、検出領域の重なり率についての閾値は、２つの検出領域のうちいずれか一方の面積の１５［％］とする。なお、（表３）に示す枠間距離と、検出領域の重なり率についての閾値との関係は一例を示すものであり、その他の関係で規定するものとしてもよい。第３判定部５２５による判定処理の詳細は、図１９で後述する。

第２棄却部５２６は、第３判定部５２５による重なり面積の大きさに対する判定結果に応じて、２つの検出領域の物体を棄却するか否かを決定する機能部である。第２棄却部５２６は、検出物体を棄却するか否かを示す棄却フラグを認識領域情報に含めて、トラッキング部５０３に送る。第２棄却部５２６による棄却処理の詳細は、図１９で後述する。

図９に示すクラスタリング処理部５０２の領域抽出部５１１、枠作成部５１２、第１棄却部５１３、ならびにオーバーラップ処理部５１４の第１判定部５２１、距離算出部５２２、第２判定部５２３、重なり面積算出部５２４、第３判定部５２５および第２棄却部５２６は、それぞれ図３に示すＦＰＧＡ５１によって実現される。なお、クラスタリング処理部５０２の領域抽出部５１１、枠作成部５１２、第１棄却部５１３、ならびにオーバーラップ処理部５１４の第１判定部５２１、距離算出部５２２、第２判定部５２３、重なり面積算出部５２４、第３判定部５２５および第２棄却部５２６の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

トラッキング部５０３は、クラスタリング処理部５０２により検出された物体に関する情報である認識領域情報に基づいて、棄却フラグがＯＦＦとなっている検出物体に対する追跡処理をするトラッキング処理を実行する機能部である。トラッキング部５０３は、トラッキング処理の結果を含む認識領域情報を、認識情報として車両制御装置６（図３参照）に出力する。トラッキング部５０３は、図３に示すＦＰＧＡ５１によって実現される。なお、トラッキング部５０３は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、本発明に係る「画像処理装置」は、クラスタリング処理部５０２であってもよく、クラスタリング処理部５０２を含む認識処理部５であってもよい。

また、図９に示す認識処理部５の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図９に示す認識処理部５で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図９に示す認識処理部５で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

［物体認識装置の動作］
次に、図１７〜２４を参照しながら、物体認識装置１の具体的な動作について説明する。

（視差値導出部のブロックマッチング処理）
図１７は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図１７を参照しながら、物体認識装置１の視差値導出部３のブロックマッチング処理の動作の流れについて説明する。

＜ステップＳ１−１＞
視差値導出部３の画像取得部１００ｂは、左のカメラ（撮像部１０ｂ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−１へ移行する。

＜ステップＳ１−２＞
視差値導出部３の画像取得部１００ａは、右のカメラ（撮像部１０ａ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−２へ移行する。

＜ステップＳ２−１＞
視差値導出部３の変換部２００ｂは、撮像部１０ｂにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−１へ移行する。

＜ステップＳ２−２＞
視差値導出部３の変換部２００ａは、撮像部１０ａにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−２へ移行する。

＜ステップＳ３−１＞
変換部２００ｂは、ステップＳ２−１において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における比較画像Ｉｂとして出力する。これによって、ブロックマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ３−２＞
変換部２００ａは、ステップＳ２−２において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における基準画像Ｉａとして出力する。これによって、ブロックマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ４＞
視差値導出部３の視差値演算処理部３００のコスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出することにより取得する。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。そして、ステップＳ５へ進む。

＜ステップＳ５＞
視差値導出部３の視差値演算処理部３００の決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する。そして、視差値導出部３の視差値演算処理部３００の第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像を生成する。第１生成部３０３は、生成した視差画像を、認識処理部５に出力する。

なお、上述のステレオマッチング処理は、ブロックマッチング処理を例として説明したが、これに限定されるものではなく、ＳＧＭ（Ｓｅｍｉ−ＧｌｏｂａｌＭａｔｃｈｉｎｇ）法を用いた処理であってもよい。

（認識処理部の物体認識処理）
図１８は、実施の形態に係る認識処理部の物体認識処理の動作の一例を示すフローチャートである。図１９は、実施の形態に係る認識処理部のオーバーラップ処理の動作の一例を示すフローチャートである。図２０は、枠間距離が近距離である場合の重なり面積を説明する図である。図２１は、枠間距離が近距離である場合に検出物体を棄却する動作を説明する図である。図２２は、枠間距離が遠距離である場合の重なり面積を説明する図である。図２３は、枠間距離が遠距離である場合に重なり面積が生じない場合を説明する図である。図２４は、枠間距離が遠距離である場合に検出物体を棄却しない場合を説明する図である。図１８〜２４を参照しながら、物体認識装置１の認識処理部５の物体認識処理の動作の流れについて説明する。

＜ステップＳ１１＞
第２生成部５０１は、視差値演算処理部３００から視差画像Ｉｐを入力し、かつ、視差値導出部３から基準画像Ｉａを入力し、ＶマップＶＭ、ＵマップＵＭ、ＵマップＵＭ＿Ｈ、およびリアルＵマップＲＭの各種画像を生成する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
クラスタリング処理部５０２の領域抽出部５１１は、第２生成部５０１から出力された各マップ（画像）のうちリアルＵマップＲＭから、画素値の塊である孤立領域を抽出する。また、領域抽出部５１１は、ＶマップＶＭ、ＵマップＵＭおよびリアルＵマップＲＭを利用して、基準画像Ｉａまたは視差画像Ｉｐにおいて、孤立領域の物体の位置、ならびに実際の幅、高さおよび奥行きの特定する。そして、領域抽出部５１１は、抽出した孤立領域ごとに、その孤立領域に関する情報である認識領域情報を生成し、ここでは、例えば、ラベリング処理の識別情報、ならびに、基準画像Ｉａ、ＶマップＶＭ、ＵマップＵＭおよびリアルＵマップＲＭ上における孤立領域の位置および大きさの情報を認識領域情報に含める。領域抽出部５１１は、生成した認識領域情報を、枠作成部５１２に送る。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
クラスタリング処理部５０２の枠作成部５１２は、領域抽出部５１１により抽出されたリアルＵマップＲＭ上の物体の孤立領域について、視差画像Ｉｐ（または基準画像Ｉａ）における孤立領域に対応する物体の検出領域に枠を作成する機能部である。枠作成部５１２は、視差画像Ｉｐまたは基準画像Ｉａで作成した枠の情報を認識領域情報に含めて、第１棄却部５１３に送る。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
クラスタリング処理部５０２の第１棄却部５１３は、枠作成部５１２により枠で示される検出領域の大きさから、検出領域の検出物体についての実際のサイズ（幅、高さ、奥行き）から物体が何であるかを特定し、物体の種類に応じて棄却する。第１棄却部５１３は、検出物体を棄却する場合は、例えば、その検出物体の認識領域情報に棄却する旨のフラグ（棄却フラグ）を含める。第１棄却部５１３は、検出物体を棄却するか否かを示す棄却フラグを認識領域情報に含めて、オーバーラップ処理部５１４に送る。そして、ステップＳ１５へ移行する。

＜ステップＳ１５＞
オーバーラップ処理部５１４は、検出領域が重なっている場合に、これらの検出領域が重なっている面積に基づいて、これらの検出領域の物体を棄却するか否かを決定するオーバーラップ処理を行う。オーバーラップ処理部５１４によるオーバーラップ処理について、図１９を参照しながら説明する。

＜＜ステップＳ１５１＞＞
オーバーラップ処理部５１４の第１判定部５２１は、第１棄却部５１３から受け取った認識領域情報に対応する検出物体のうち、任意の２つの検出物体を特定する。そして、ステップＳ１５２へ移行する。

＜＜ステップＳ１５２＞＞
第１判定部５２１は、特定した２つの検出物体の検出領域が重なっているか否かを判定する。２つの検出領域が重なっている場合（ステップＳ１５２：Ｙｅｓ）、ステップＳ１５３へ移行し、重なっていない場合（ステップＳ１５２：Ｎｏ）、ステップＳ１５１へ戻り、第１判定部５２１は、異なる２つの検出物体を特定する。

＜＜ステップＳ１５３＞＞
オーバーラップ処理部５１４の距離算出部５２２は、第１判定部５２１により検出領域が重なっていると判定された場合、重なっている検出領域の物体間の奥行き方向の枠間距離を算出する。そして、ステップＳ１５４へ移行する。

＜＜ステップＳ１５４＞＞
オーバーラップ処理部５１４の第２判定部５２３は、距離算出部５２２により算出された枠間距離が所定の閾値未満か否かを判定する。枠間距離が所定の閾値未満である場合、すなわち枠間距離が近距離である場合（ステップＳ１５４：Ｙｅｓ）、ステップＳ１５５へ移行し、所定の閾値よりも大きい場合、すなわち枠間距離が遠距離である場合（ステップＳ１５４：Ｎｏ）、ステップＳ１５９へ移行する。

＜＜ステップＳ１５５＞＞
オーバーラップ処理部５１４の重なり面積算出部５２４は、第２判定部５２３により枠間距離が近距離であると判定された場合、２つの検出領域が重なっている部分の重なり面積を算出する。例えば、図２０に示すように、検出領域６６１および検出領域６６２が重なり合っている場合、重なり面積算出部５２４は、重なり合っている領域である重なり領域６６３の面積を、（高さＯＬ＿Ｈ）×（幅ＯＬ＿Ｗ）により算出する。そして、ステップＳ１５６へ移行する。

＜＜ステップＳ１５６＞＞
オーバーラップ処理部５１４の第３判定部５２５は、重なり面積算出部５２４により算出された重なり面積が、２つの検出領域のうちいずれか一方の面積の所定の割合（検出領域の重なり率についての閾値）よりも大きいか否かを判定する。重なり面積が２つの検出領域のうちいずれか一方の面積の所定の割合よりも大きい場合（ステップＳ１５６：Ｙｅｓ）、ステップＳ１５７へ移行し、所定の割合もよりも小さい場合（ステップＳ１５６：Ｎｏ）、ステップＳ１５８へ移行する。

＜＜ステップＳ１５７＞＞
オーバーラップ処理部５１４の第２棄却部５２６は、２つの検出物体が共に車両である場合、トラッキング処理の対象として重要度の高い距離が近い方の検出物体を棄却せず、距離が遠い方の検出物体を棄却する。第２棄却部５２６は、距離が近い方の検出物体の認識領域情報に、棄却しない旨を示す棄却フラグを含め、距離が遠い方の検出物体の認識領域情報に、棄却する旨を示す棄却フラグを含めて、トラッキング部５０３に送る。

一方、第２棄却部５２６は、２つの検出物体のうち一方が車両であり、他方が車両ではなく、かつ車両よりもサイズの小さい物体である場合、車両である検出物体を棄却せず、車両ではなく、かつ車両よりもサイズの小さい検出物体を棄却する。車両ではなく、かつ車両よりもサイズの小さい検出物体は、例えば、車両の一部を歩行者と誤検出した可能性が高いため、棄却するものとしている。例えば、第２棄却部５２６は、図２１に示すように、検出枠６７１が示す検出領域と、検出枠６７２が示す検出領域との枠間距離が近距離であり、検出枠６７１が示す検出物体が車両であり、検出枠６７２が示す検出物体が車両ではない物体（図２１では車両に乗車している人）である場合、検出枠６７１が示す車両を棄却せず、検出枠６７２が示す検出物体を棄却する。第２棄却部５２６は、車両である検出物体の認識領域情報に、棄却しない旨を示す棄却フラグを含め、車両でない検出物体の認識領域情報に、棄却する旨を示す棄却フラグを含めて、トラッキング部５０３に送る。

＜＜ステップＳ１５８＞＞
第２棄却部５２６は、第３判定部５２５により重なり面積が、２つの検出領域のうちいずれか一方の面積の所定の割合よりも小さいと判定された場合、いずれの検出領域の物体もトラッキング処理の対象として重要度が高いと判断し、いずれの検出物体も棄却しない。第２棄却部５２６は、２つの検出物体のそれぞれの認識領域情報に、棄却しない旨を示す棄却フラグを含め、トラッキング部５０３に送る。

＜＜ステップＳ１５９＞＞
重なり面積算出部５２４は、第２判定部５２３により枠間距離が遠距離であると判定された場合、２つの検出領域のうち、検出物体が近い方の検出領域の中央領域（部分領域の一例）を算出する。具体的には、図２２に示すように、重なり面積算出部５２４は、２つの検出領域６８１、６８２のうち検出物体が近い検出領域６８１について、例えば、左右方向における中央の領域（例えば、左右方向の幅の８０［％］の領域）の面積である中央領域６８１ａを算出する。なお、重なり面積算出部５２４は、検出物体が近い方の検出領域の中央領域を算出するものとしたが、これに限定されるものではなく、例えば、検出領域の右端から所定割合（例えば、８５［％］）の領域を算出するものとしてもよい。そして、ステップＳ１６０へ移行する。

＜＜ステップＳ１６０＞＞
重なり面積算出部５２４は、２つの検出領域のうち、検出物体が近い方の検出領域の中央領域と、検出物体が遠い方の検出領域とが重なっている部分の重なり面積を算出する。例えば、図２２に示すように、検出領域６８１の中央領域６８１ａと、検出領域６８２とが重なり合っている場合、重なり面積算出部５２４は、重なり合っている領域である重なり領域６８３の面積を、（高さＯＬ＿Ｈ１）×（幅ＯＬ＿Ｗ１）により算出する。そして、ステップＳ１６１へ移行する。

＜＜ステップＳ１６１＞＞
第３判定部５２５は、重なり面積算出部５２４により算出された重なり面積が、検出物体が近い方の検出領域の中央領域、および検出物体が遠い方の検出領域のうちいずれか一方の面積の所定の割合（重なり率についての閾値）よりも大きいか否かを判定する。重なり面積がいずれか一方の面積の所定の割合よりも大きい場合（ステップＳ１６１：Ｙｅｓ）、ステップＳ１６２へ移行し、所定の割合もよりも小さい場合（ステップＳ１６１：Ｎｏ）、ステップＳ１６３へ移行する。

＜＜ステップＳ１６２＞＞
第２棄却部５２６は、２つの検出物体のうち、トラッキング処理の対象として重要度の高い距離が近い方の検出物体を棄却せず、距離が遠い方の検出物体を棄却する。図２２に示す例で、第２棄却部５２６は、重なり領域６８３の面積（重なり面積）が、中央領域６８１ａまたは検出領域６８２の面積の所定の割合よりも大きい場合、距離が近い方の検出領域６８１の検出物体を棄却せず、距離が遠い方の検出領域６８２の検出物体を棄却する。第２棄却部５２６は、距離が近い方の検出物体の認識領域情報に、棄却しない旨を示す棄却フラグを含め、距離が遠い方の検出物体の認識領域情報に、棄却する旨を示す棄却フラグを含めて、トラッキング部５０３に送る。

＜＜ステップＳ１６３＞＞
第２棄却部５２６は、第３判定部５２５により重なり面積が、検出物体が近い方の検出領域の中央領域、および検出物体が遠い方の検出領域のうちいずれか一方の面積の所定の割合よりも小さいと判定された場合、いずれの検出領域の物体もトラッキング処理の対象として重要度が高いと判断し、いずれの検出物体も棄却しない。すなわち、単純に、２つの検出領域の重なり面積が、２つの検出領域の面積のうちいずれか一方の面積の所定の割合よりも大きいと判定された場合、距離が遠い方の検出物体は棄却される可能性があるが、距離が近い方の検出領域の中央領域についての重なり面積を求めているので、検出領域同士としては端の方で重なっている距離が遠い方の棄却すべきではない検出物体（例えば、歩行者）が棄却されることを抑制することができる。第２棄却部５２６は、２つの検出物体のそれぞれの認識領域情報に、棄却しない旨を示す棄却フラグを含め、トラッキング部５０３に送る。

例えば、図２３に示す例では、２つの検出領域６８１、６８２ａはそれぞれ重なっているが、検出領域６８１の中央領域６８１ａと、検出領域６８２ａとは重なっていないため、第３判定部５２５により、重なり面積が、検出物体が近い方の検出領域の中央領域、および検出物体が遠い方の検出領域のうちいずれか一方の面積の所定の割合よりも小さいと判定される。この場合、第２棄却部５２６は、検出領域６８１、６８２ａのいずれの検出物体もトラッキング処理の対象として重要度が高いと判断し、いずれの検出物体も棄却しない。

さらに、第２棄却部５２６は、例えば、図２４に示すように、検出枠６９１が示す検出領域と、検出枠６９２が示す検出領域との枠間距離が遠距離であり、第３判定部５２５によって重なり面積が、検出物体が近い方の検出枠６９１の検出領域の中央領域、および検出物体が遠い方の検出枠６９２の検出領域のうちいずれか一方の面積の所定の割合よりも小さいと判定された場合、検出枠６９１、６９２の双方が示す検出物体を棄却しない。

ステップＳ１５７、Ｓ１５８、Ｓ１６２またはＳ１６３の処理が終了後、ステップＳ１６へ移行する。

＜ステップＳ１６＞
トラッキング部５０３は、クラスタリング処理部５０２により検出された物体に関する情報である認識領域情報に基づいて、棄却フラグがＯＦＦとなっている検出物体に対する追跡処理をするトラッキング処理を実行する。トラッキング部５０３は、トラッキング処理の結果を含む認識領域情報を、認識情報として車両制御装置６（図３参照）に出力する。

以上のように、図１８に示すステップＳ１１〜Ｓ１６の処理により物体認識処理が行われ、そのうちステップＳ１５においては図１９に示すステップＳ１５１〜Ｓ１６３の処理によりオーバーラップ処理が行われる。

以上のように、検出された２つの物体の検出領域の枠間距離を算出し、枠間距離に応じて２つの物体の検出領域についての重なり部分の面積を算出する方法を切り替え、その面積に応じて検出物体を棄却するか否かを決定するものとしている。これによって、棄却処理を適切に行うことができる。すなわち、本実施の形態において、棄却すべき物体は棄却し、車両以外の棄却すべきではない物体の棄却を抑制することができる。

また、枠間距離が遠距離の場合、２つの検出領域のうち、検出物体が近い方の検出領域の中央領域を算出し、中央領域と、検出物体が遠い方の検出領域とが重なっている部分の重なり面積を算出し、中央領域、および検出物体が遠い方の検出領域のうちいずれか一方の面積の所定の割合よりも大きいか否かを判定して、小さい場合は、双方の検出物体を棄却しないものとしている。これによって、単純に、２つの検出領域の重なり面積が、２つの検出領域の面積のうちいずれか一方の面積の所定の割合よりも大きい否かを判定された場合、距離が遠い方の検出物体は棄却される可能性があるが、距離が近い方の検出領域の中央領域についての重なり面積を求めているので、検出領域同士としては端の方で重なっている距離が遠い方の棄却すべきではない検出物体（例えば、歩行者）が棄却されることを抑制することができる。

また、枠間距離が近距離の場合、２つの検出領域の重なり部分の面積を算出し、２つの検出領域のうちいずれか一方の面積の所定の割合よりも大きいか否かを判定し、大きい場合であって、かつ、２つの検出物体のうち一方が車両であり、他方が車両ではなく、かつ車両よりもサイズの小さい物体である場合、車両である検出物体を棄却せず、車両ではなく、かつ車両よりもサイズの小さい検出物体を棄却するものとしている。これによって、車両でない物体を、誤検出の可能性が高いものとして精度よく棄却することができる。

なお、上述の実施の形態では、コスト値Ｃは非類似度を表す評価値としているが、類似度を表す評価値であってもよい。この場合、類似度であるコスト値Ｃが最大（極値）となるシフト量ｄが視差値ｄｐとなる。

また、上述の実施の形態では、車両７０としての自動車に搭載される物体認識装置１について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。

また、上述の実施の形態において、物体認識装置１の視差値導出部３および認識処理部５の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態に係る物体認識装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（ＣｏｍｐａｃｔＤｉｓｋ―Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５２（ＣＰＵ３２）が上述のＲＯＭ５３（ＲＯＭ３３）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ５４（ＲＡＭ３４）等）上にロードされて生成されるようになっている。

１物体認識装置
２本体部
３視差値導出部
４通信線
５認識処理部
６車両制御装置
７ステアリングホイール
８ブレーキペダル
１０ａ、１０ｂ撮像部
１１ａ、１１ｂ撮像レンズ
１２ａ、１２ｂ絞り
１３ａ、１３ｂ画像センサ
２０ａ、２０ｂ信号変換部
２１ａ、２１ｂＣＤＳ
２２ａ、２２ｂＡＧＣ
２３ａ、２３ｂＡＤＣ
２４ａ、２４ｂフレームメモリ
３０画像処理部
３１ＦＰＧＡ
３２ＣＰＵ
３３ＲＯＭ
３４ＲＡＭ
３５Ｉ／Ｆ
３９バスライン
５１ＦＰＧＡ
５２ＣＰＵ
５３ＲＯＭ
５４ＲＡＭ
５５Ｉ／Ｆ
５８ＣＡＮＩ／Ｆ
５９バスライン
６０機器制御システム
７０車両
１００ａ、１００ｂ画像取得部
２００ａ、２００ｂ変換部
３００視差値演算処理部
３０１コスト算出部
３０２決定部
３０３第１生成部
５０１第２生成部
５０２クラスタリング処理部
５０３トラッキング部
５１１領域抽出部
５１２枠作成部
５１３第１棄却部
５１４オーバーラップ処理部
５２１第１判定部
５２２距離算出部
５２３第２判定部
５２４重なり面積算出部
５２５第３判定部
５２６第２棄却部
６００路面
６００ａ路面部
６０１電柱
６０１ａ電柱部
６０２車
６０２ａ車部
６１１左ガードレール
６１１ａ〜６１１ｃ左ガードレール部
６１２右ガードレール
６１２ａ〜６１２ｃ右ガードレール部
６１３車
６１３ａ〜６１３ｃ車部
６１４車
６１４ａ〜６１４ｃ車部
６２１〜６２４孤立領域
６３１〜６３４検出領域
６３１ａ〜６３４ａ検出枠
６４１、６４２、６５１、６５２検出領域
６６１、６６２検出領域
６６３重なり領域
６７１、６７２検出枠
６８１検出領域
６８１ａ中央領域
６８２、６８２ａ検出領域
６８３重なり領域
６９１、６９２検出枠
Ｂ基線長
Ｃコスト値
ｄシフト量
ｄｐ視差値
Ｅ物体
ＥＬエピポーラ線
ｆ焦点距離
Ｉａ基準画像
Ｉｂ比較画像
Ｉｐ、Ｉｐ１、Ｉｐ２視差画像
ＯＬ＿Ｈ、ＯＬ＿Ｈ１高さ
ＯＬ＿Ｗ、ＯＬ＿Ｗ１幅
ｐ基準画素
ｐｂ基準領域
ｑ候補画素
ｑｂ候補領域
ＲＭリアルＵマップ
Ｓ、Ｓａ、Ｓｂ点
ＵＭＵマップ
ＵＭ＿ＨＵマップ
ＶＭＶマップ
Ｚ距離

Claims

物体の距離情報に基づいて検出された２つの物体の検出領域における該物体間の奥行き方向の距離を算出する第１算出手段と、
前記第１算出手段により算出された前記距離に応じた方法により、２つの前記検出領域に関する重なりの部分の面積である重なり面積を算出する第２算出手段と、
前記重なり面積の大きさに基づいて、２つの前記検出領域の物体それぞれについて棄却の要否を決定する棄却手段と、
を備えた画像処理装置。
前記第１算出手段により算出された前記距離が、第１距離域に含まれるか、前記第１距離域よりも遠い第２距離域に含まれるかを判定する判定手段を、さらに備え、
前記第２算出手段は、前記判定手段により前記距離が前記第２距離域に含まれる場合、２つの前記検出領域のうち、近い物体の前記検出領域の部分領域と、遠い物体の前記検出領域とが重なった部分の面積を前記重なり面積として算出し、
前記棄却手段は、前記重なり面積が、前記部分領域、および前記遠い物体の前記検出領域のうちいずれか一方の面積の所定の割合よりも小さい場合、前記近い物体および前記遠い物体のいずれも棄却をしない請求項１に記載の画像処理装置。
前記第２算出手段は、前記判定手段により前記距離が前記第２距離域に含まれる場合、前記部分領域として、前記近い物体の前記検出領域の左右方向における所定の中央領域を求め、前記中央領域と、前記遠い物体の前記検出領域とが重なった部分の面積を前記重なり面積として算出する請求項２に記載の画像処理装置。
前記棄却手段は、前記重なり面積が、前記部分領域、および前記遠い物体の前記検出領域のうちいずれか一方の面積の前記所定の割合よりも大きい場合、前記近い物体を棄却せず、かつ、前記遠い物体を棄却する請求項２または３に記載の画像処理装置。
前記第２算出手段は、前記判定手段により前記距離が前記第１距離域に含まれる場合、２つの前記検出領域が重なった部分の面積を前記重なり面積として算出し、
前記棄却手段は、前記重なり面積が２つの前記検出領域のうちいずれか一方の面積の所定の割合よりも大きい場合、かつ、２つの前記検出領域のうち一方が車両を示し、他方が車両以外の物体を示す場合、車両である物体を棄却せず、かつ、車両以外の物体を棄却する請求項２〜４のいずれか一項に記載の画像処理装置。
前記棄却手段は、前記重なり面積が２つの前記検出領域のうちいずれか一方の面積の所定の割合よりも大きい場合、かつ、２つの前記検出領域の双方が車両を示す場合、２つの前記検出領域が示す物体のうち、近い物体を棄却せず、かつ、遠い物体を棄却する請求項５に記載の画像処理装置。
前記棄却手段は、前記重なり面積が２つの前記検出領域のうちいずれか一方の面積の所定の割合よりも小さい場合、２つの前記検出領域が示す物体のうち、近い物体および遠い物体のいずれも棄却をしない請求項５または６に記載の画像処理装置。
前記距離情報に基づいて、物体を示す孤立領域を抽出する抽出手段と、
前記孤立領域に対して枠を作成することにより前記検出領域を決定する決定手段と、
をさらに備えた請求項１〜７のいずれか一項に記載の画像処理装置。
被写体を撮像することにより第１撮像画像を得る第１撮像手段と、
前記第１撮像手段の位置とは異なる位置に配置され、前記被写体を撮像することにより第２撮像画像を得る第２撮像手段と、
前記第１撮像画像および前記第２撮像画像から前記被写体に対して求めた視差値に基づいて、前記距離情報を生成する生成手段と、
請求項１〜８のいずれか一項に記載の画像処理装置と、
を備えた物体認識装置。
請求項９に記載の物体認識装置と、
前記物体認識装置により検出された物体の情報に基づいて、制御対象を制御する制御装置と、
を備えた機器制御システム。
物体の距離情報に基づいて検出された２つの物体の検出領域における該物体間の奥行き方向の距離を算出する第１算出ステップと、
算出した前記距離に応じた方法により、２つの前記検出領域に関する重なりの部分の面積である重なり面積を算出する第２算出ステップと、
前記重なり面積の大きさに基づいて、２つの前記検出領域の物体それぞれについて棄却の要否を決定する棄却ステップと、
を有する画像処理方法。
コンピュータを、
物体の距離情報に基づいて検出された２つの物体の検出領域における該物体間の奥行き方向の距離を算出する第１算出手段と、
前記第１算出手段により算出された前記距離に応じた方法により、２つの前記検出領域に関する重なりの部分の面積である重なり面積を算出する第２算出手段と、
前記重なり面積の大きさに基づいて、２つの前記検出領域の物体それぞれについて棄却の要否を決定する棄却手段と、
して機能させるためのプログラム。