JP6992356B2 - 情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラム - Google Patents

Description

本発明は、情報処理装置、撮像装置、機器制御システム、移動体、情報処理方法およびプログラムに関する。

従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに開発されている。自動車の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。

物体を認識する技術としてステレオカメラを使う場合、撮像した輝度画像に写り込んでいる各物体の視差に基づいて視差画像を生成し、同程度の視差値を持った画素を一つにまとめることで物体を認識する。この場合、まず、輝度画像に写り込んでいる路面の視差を検出し、ステレオカメラが搭載された自車両からの距離に応じた路面の高さを算出する。そして、路面の高さよりも高い位置に存在する、車両や歩行者等の物体を検出する（例えば、特許文献１参照）。

しかしながら、ステレオカメラによる視差画像から車両や歩行者等の物体を検出する従来技術では、例えば現在位置が急な下り坂で、前方に平坦な路面がある場合等において、自車両からの距離に応じた路面の高さを誤推定すると、前方の路面を路面以外の障害物等の物体として誤検出する場合があるという問題がある。

そこで、例えば路面のような、移動体が移動する移動面を、移動面以外の物体として誤検出することを防ぐことができる技術を提供することを目的とする。

情報処理装置は、物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報に基づき、物体の候補を検出する検出部と、前記検出部により検出された前記物体の候補の形状に基づいて、前記物体の候補が移動面であるか否かを判定する判定部と、を備え、前記判定部は、前記物体の候補の形状がＵ字形状である場合、第１の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定し、前記物体の候補の形状がＵ字形状でない場合、前記第１の種別の閾値よりも移動面であると判定されにくい第２の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定する。

開示の技術によれば、移動面を移動面以外の物体として誤検出することを防ぐことができる。

実施の形態に係る機器制御システムを車両に搭載した例を示す図である。 実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。 実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。 実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。 視差画像から生成されるＶマップの例を示す図である。 視差画像から生成されるＵマップの例を示す図である。 Ｕマップから生成されるリアルＵマップの例を示す図である。 物体の種別の分類方法について説明する図である。 クラスタリング処理部の処理の一例を示すフローチャートである。 検出枠を作成する処理を説明する図である。 路面領域推定処理の一例を示すフローチャートである。 ラベリング処理について説明する図である。 処理対象とするか否かの閾値の一例を示す図である。 左右に分離された視差点群の幅を算出する処理について説明する図である。 処理種別を決定するための閾値の一例を示す図である。 処理種別を決定する方法の一例を示す図である。 処理種別を再決定する方法の一例を示す図である。 物体領域検出処理の一例を示すフローチャートである。 路面領域棄却処理の一例を示すフローチャートである。 矩形が重なる面積の算出方法について説明する図である。 路面領域棄却処理の結果について説明する図である。

以下、図を用いて、本実施の形態の具体的な説明をする。ここでは、物体認識装置１が自動車に搭載される場合を例に説明する。
（物体認識装置を備えた車両の概略構成）
図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図１を参照しながら、本実施の形態の機器制御システム６０を搭載した車両７０について説明する。図１のうち、図１（ａ）は、機器制御システム６０を搭載した車両７０の側面図であり、図１（ｂ）は、車両７０の正面図である。

図１に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６（制御装置）と、ステアリングホイール７と、ブレーキペダル８と、を備えている。

物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、構成および動作の詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。

車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、各種車両制御を実行するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。

このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。

なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。
＜物体認識装置のハードウェア構成＞
図２は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図２を参照しながら、物体認識装置１のハードウェア構成について説明する。

図２に示すように、物体認識装置１は、本体部２内に視差値導出部３および認識処理部５を備えている。

視差値導出部３は、物体Ｅを撮像して得られた複数の画像から、物体Ｅに対する視差を示す視差値ｄｐを導出し、各画素における視差値ｄｐを示す視差画像（「縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた第１の情報」の一例）を出力する。認識処理部５は、視差値導出部３から出力された視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体に対する物体認識処理等を行い、物体認識処理の結果を示す情報である認識情報を、車両制御装置６に出力する。なお、以下、本実施形態において「画像」の語を用いる場合は、必ずしもディスプレイ等への表示を要するものではなく、単なる情報群を意味するものとする。

図２に示すように、視差値導出部３は、撮像部１０ａと、撮像部１０ｂと、信号変換部２０ａと、信号変換部２０ｂと、画像処理部３０と、を備えている。

撮像部１０ａは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、絞り１２ａと、画像センサ１３ａと、備えている。

撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１３ａに結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、画像センサ１３ａに入力する光の量を調整する部材である。画像センサ１３ａは、撮像レンズ１１ａに入射し、絞り１２ａを通過した光を電気的なアナログの画像信号に変換する半導体素子である。画像センサ１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。

撮像部１０ｂは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、絞り１２ｂと、画像センサ１３ｂと、備えている。なお、撮像レンズ１１ｂ、絞り１２ｂおよび画像センサ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、絞り１２ａおよび画像センサ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右のカメラが同一の条件で撮像されるように、それぞれのレンズ面が互いに同一平面上にあるように設置されている。

信号変換部２０ａは、撮像部１０ａにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ａは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａと、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａと、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａと、フレームメモリ２４ａと、を備えている。

ＣＤＳ２１ａは、画像センサ１３ａにより生成されたアナログの画像信号に対して、相関二重サンプリング、横方向の微分フィルタ、または縦方向の平滑フィルタ等によりノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

信号変換部２０ｂは、撮像部１０ｂにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ｂは、ＣＤＳ２１ｂと、ＡＧＣ２２ｂと、ＡＤＣ２３ｂと、フレームメモリ２４ｂと、を備えている。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂおよびフレームメモリ２４ｂの機能は、それぞれ上述したＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａおよびフレームメモリ２４ａの機能と同様である。

画像処理部３０は、信号変換部２０ａおよび信号変換部２０ｂによって変換された画像データに対して画像処理をする装置である。画像処理部３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、バスライン３９と、を備えている。

ＦＰＧＡ３１は、集積回路であり、ここでは、画像データに基づく画像における視差値ｄｐを導出する処理を行う。ＣＰＵ３２は、視差値導出部３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出部３の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、認識処理部５におけるＩ／Ｆ５５と、通信線４とを介して通信するためのインターフェースである。バスライン３９は、図２に示すように、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４およびＩ／Ｆ３５が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

なお、画像処理部３０は、視差値ｄｐを導出する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の集積回路であってもよい。

図２に示すように、認識処理部５は、ＦＰＧＡ５１と、ＣＰＵ５２と、ＲＯＭ５３と、ＲＡＭ５４と、Ｉ／Ｆ５５と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）Ｉ／Ｆ５８と、バスライン５９と、を備えている。

ＦＰＧＡ５１は、集積回路であり、ここでは、画像処理部３０から受信した視差画像に基づいて、物体に対する物体認識処理を行う。ＣＰＵ５２は、認識処理部５の各機能を制御する。ＲＯＭ５３は、ＣＰＵ５２が認識処理部５の物体認識処理を実行する物体認識処理用プログラムを記憶している。ＲＡＭ５４は、ＣＰＵ５２のワークエリアとして使用される。Ｉ／Ｆ５５は、画像処理部３０のＩ／Ｆ３５と、通信線４とを介してデータ通信するためのインターフェースである。ＣＡＮＩ／Ｆ５８は、外部コントローラ（例えば、図２に示す車両制御装置６）と通信するためのインターフェースであり、例えば、自動車のＣＡＮ等に接続されるバスライン５９は、図２に示すように、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５およびＣＡＮＩ／Ｆ５８が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

このような構成により、画像処理部３０のＩ／Ｆ３５から通信線４を介して認識処理部５に視差画像が送信されると、認識処理部５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体の物体認識処理等を実行する。

なお、上述の各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード等である。
＜物体認識装置の機能ブロックの構成および動作＞
図３は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。まず、図３を参照しながら、物体認識装置１の機能ブロックの構成および動作について説明する。

図２でも上述したが、図３に示すように、物体認識装置１は、視差値導出部３と、認識処理部５と、を備えている。このうち、視差値導出部３は、画像取得部１００ａ（第１撮像手段）と、画像取得部１００ｂ（第２撮像手段）と、変換部２００ａ、２００ｂと、視差値演算処理部３００と、を有する。

物体認識装置の各機能部の少なくとも一部は、ＦＰＧＡ３１やＦＰＧＡ５１により実現されてもよいし、プログラムがＣＰＵ３２やＣＰＵ５２によって実行されることによって実現されてもよい。

画像取得部１００ａおよび画像取得部１００ｂは、それぞれ、右のカメラ（撮像部１０ａ）および左のカメラ（撮像部１０ｂ）により撮像された画像から、輝度画像を得る機能部である。

変換部２００ａは、画像取得部１００ａにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ａは、図２に示す信号変換部２０ａによって実現されてもよい。

変換部２００ｂは、画像取得部１００ｂにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ｂは、図２に示す信号変換部２０ｂによって実現されてもよい。

ここで、変換部２００ａ、２００ｂが出力する２つの輝度画像の画像データ（以下、単に、輝度画像と称する）のうち、右のカメラ（撮像部１０ａ）である画像取得部１００ａにより撮像された輝度画像を基準画像Ｉａの画像データ（以下、単に、基準画像Ｉａと称する）とし、左のカメラ（撮像部１０ｂ）である画像取得部１００ｂにより撮像された輝度画像を比較画像Ｉｂの画像データ（以下、単に、比較画像Ｉｂと称する）とする。すなわち、変換部２００ａ、２００ｂは、画像取得部１００ａ、１００ｂそれぞれから出力された２つの輝度画像に基づいて、それぞれ基準画像Ｉａおよび比較画像Ｉｂを出力する。

視差値演算処理部３００は、変換部２００ａ、２００ｂそれぞれから受信した基準画像Ｉａおよび比較画像Ｉｂに基づいて、基準画像Ｉａの各画素についての視差値を導出し、基準画像Ｉａの各画素に視差値を対応させた視差画像を生成する。

図４は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。図４を参照しながら、認識処理部５の機能ブロックの構成および動作について説明する。

図４に示すように、認識処理部５は、第２生成部５００と、クラスタリング処理部５１０と、トラッキング部５３０と、を有する。

≪第２生成部５００≫ 第２生成部５００は、視差値演算処理部３００から視差画像を入力し、視差値導出部３から基準画像Ｉａを入力し、Ｖ－Ｄｉｓｐａｒｉｔｙマップ、Ｕ－Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップ等を生成する機能部である。なお、Ｖ－Ｄｉｓｐａｒｉｔｙマップは、「縦方向の位置と、奥行方向の位置とが対応づけられた情報」の一例である。Ｕ－Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップは、「横方向の位置と、奥行方向の位置とが対応づけられた情報」の一例である。

図４に示すように、第２生成部５００は、第３生成部５０１と、第４生成部５０２と、第５生成部５０３と、を有する。図４～７を参照しながら、認識処理部５の第２生成部５００の構成および動作について説明する。

図５は、視差画像から生成されるＶマップの例を示す図である。図６は、視差画像から生成されるＵマップの例を示す図である。図７は、Ｕマップから生成されるリアルＵマップの例を示す図である。

第３生成部５０１は、視差値演算処理部３００から入力した視差画像から路面（移動面）を検出するために、図５（ｂ）に示すＶ－ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを生成する機能部である。ここで、Ｖ－Ｄｉｓｐａｒｉｔｙマップとは、縦軸を基準画像Ｉａのｙ軸（縦方向）とし、横軸を視差画像の視差値ｄｐまたは奥行方向の距離とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図５（ａ）に示す基準画像Ｉａには、例えば、路面６００と、電柱６０１と、車６０２とが写り込んでいる。この基準画像Ｉａの路面６００は、ＶマップＶＭにおいては路面部６００ａに対応し、電柱６０１は、電柱部６０１ａに対応し、車６０２は、車部６０２ａに対応する。

第３生成部５０１は、生成したＶマップＶＭから、路面と推定される位置を直線近似する。路面が平坦な場合は、１本の直線で近似可能であるが、勾配が変わる路面の場合は、ＶマップＶＭの区間を分割して精度よく直線近似する必要がある。直線近似としては、公知技術であるハフ変換または最小二乗法等が利用できる。ＶマップＶＭにおいて、検出された路面部６００ａより上方に位置する塊である電柱部６０１ａおよび車部６０２ａは、それぞれ路面６００上の物体である電柱６０１および車６０２に相当する。後述する第４生成部５０２によりＵ－Ｄｉｓｐａｒｉｔｙマップが生成される際に、ノイズ除去のため路面より上方の情報のみが用いられる。なお、路面の推定により路面の高さが求められるため、当該路面上の物体の高さを求めることができる。これは、公知の方法により算出できる。例えば、推定した路面を表す直線式を求め、視差値ｄ＝０のときの対応するｙ座標ｙ０を路面の高さとする。そして、例えば、視差値がｄでｙ座標がｙ'である場合、ｙ'－ｙ０が視差値ｄのときの路面からの高さを示す。上述の座標（ｄ，ｙ'）の路面からの高さＨは、Ｈ＝（ｚ×（ｙ'－ｙ０））／ｆという演算式で求めることができる。なお、この演算式における「ｚ」は、視差値ｄから計算される距離（ｚ＝ＢＦ／（ｄ－ｏｆｆｓｅｔ））、「ｆ」は撮像部１０ａ、１０ｂの焦点距離を（ｙ'－ｙ０）の単位と同じ単位に変換した値である。ここで、ＢＦは、撮像部１０ａ、１０ｂの基線長Ｂと焦点距離ｆを乗じた値、ｏｆｆｓｅｔは無限遠のオブジェクトを撮影したときの視差である。

第４生成部５０２は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図６（ａ）に示す基準画像Ｉａでは左ガードレール６１１、右ガードレール６１２、車６１３および車６１４に対応する視差画像上の情報を利用して、物体を認識するために、図６（ｂ）に示すＵ－ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭ（第２頻度画像）を生成する機能部である。ここで、ＵマップＵＭは、横軸を基準画像Ｉａのｘ軸（横方向）とし、縦軸を視差画像の視差値ｄｐまたは奥行方向の距離とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図６（ａ）に示す基準画像Ｉａの左ガードレール６１１は、ＵマップＵＭにおいては左ガードレール部６１１ａに対応し、右ガードレール６１２は、右ガードレール部６１２ａに対応し、車６１３は、車部６１３ａに対応し、車６１４は、車部６１４ａに対応する。

また、第４生成部５０２は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図６（ａ）に示す基準画像Ｉａでは左ガードレール６１１、右ガードレール６１２、車６１３および車６１４に対応する視差画像上の情報を利用して、図６（ｃ）に示すＵ－Ｄｉｓｐａｒｉｔｙマップの一例である高さＵマップＵＭ＿Ｈを生成する。ここで、Ｕ－Ｄｉｓｐａｒｉｔｙマップの一例である高さＵマップＵＭ＿Ｈは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐとし、画素値を物体の高さとした画像である。なお、このときの物体の高さの値は、路面からの高さが最も高い値である。図６（ａ）に示す基準画像Ｉａの左ガードレール６１１は、高さＵマップＵＭ＿Ｈにおいては左ガードレール部６１１ｂに対応し、右ガードレール６１２は、右ガードレール部６１２ｂに対応し、車６１３は、車部６１３ｂに対応し、車６１４は、車部６１４ｂに対応する。

第５生成部５０３は、第４生成部５０２により生成された高さＵマップＵＭ＿Ｈから、横軸を実際の距離に変換した図７（Ａ）に示すＲｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップの一例であるリアル高さＵマップＲＭ＿Ｈを生成する。

また、第５生成部５０３は、上記の処理と同様の処理によって、第４生成部５０２により生成されたＵマップＵＭから、横軸を実際の距離に変換したＲｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップの一例であるリアルＵマップＲＭを生成する。なお、本処理は物体を検出しやすくするために俯瞰的なマップ（鳥瞰画像、俯瞰画像）を生成するものであるため、横軸は実距離でなくとも実距離に相当するものであればよい。

ここで、リアル高さＵマップＲＭ＿Ｈ、及びリアルＵマップＲＭは、横軸を、撮像部１０ｂ（左のカメラ）から撮像部１０ａ（右のカメラ）へ向かう方向（水平方向）の実距離とし、縦軸を、視差画像の視差値ｄｐ（またはその視差値ｄｐから変換した奥行き方向の距離）とした二次元ヒストグラムである。図７（Ａ）に示す高さＵマップＵＭ＿Ｈの左ガードレール部６１１ｂは、リアルＵマップＲＭにおいては左ガードレール部６１１ｃに対応し、右ガードレール部６１２ｂは、右ガードレール部６１２ｃに対応し、車部６１３ｂは、車部６１３ｃに対応し、車部６１４ｂは、車部６１４ｃに対応する。

具体的には、第５生成部５０３は、高さＵマップＵＭ＿Ｈ、及びＵマップＵＭでは、遠方（視差値ｄｐが小さい）では物体が小さいため、視差情報が少なく、距離の分解能も小さいので間引きせず、近距離の場合は物体が大きく写るため、視差情報が多く、距離の分解能も大きいので画素を大きく間引くことによって、俯瞰図に相当するリアル高さＵマップＲＭ＿Ｈ、及びリアルＵマップＲＭを生成する。後述するように、リアル高さＵマップＲＭ＿ＨまたはリアルＵマップＲＭから画素値の塊（物体領域）を抽出することができる。この場合、塊を囲む矩形の幅は、抽出した物体の幅に相当し、高さは、抽出した物体の奥行きに相当する。なお、第５生成部５０３は、高さＵマップＵＭ＿Ｈからリアル高さＵマップＲＭ＿Ｈを生成することに限定されるものではなく、視差画像から、直接、リアル高さＵマップＲＭ＿Ｈを生成することも可能である。

また、第２生成部５００は、生成した高さＵマップＵＭ＿Ｈまたはリアル高さＵマップＲＭ＿Ｈから、物体の視差画像および基準画像Ｉａにおけるｘ軸方向の位置および幅（ｘｍｉｎ，ｘｍａｘ）を特定できる。また、第２生成部５００は、生成した高さＵマップＵＭ＿Ｈまたはリアル高さＵマップＲＭ＿Ｈでの物体の高さの情報（ｄｍｉｎ，ｄｍａｘ）から物体の実際の奥行きを特定できる。また、第２生成部５００は、生成したＶマップＶＭから、物体の視差画像および基準画像Ｉａにおけるｙ軸方向の位置および高さ（ｙｍｉｎ＝「最大視差値の路面からの最大高さに相当するｙ座標」，ｙｍａｘ＝「最大視差値から得られる路面の高さを示すｙ座標」）を特定できる。また、第２生成部５００は、視差画像において特定した物体のｘ軸方向の幅（ｘｍｉｎ，ｘｍａｘ）、ｙ軸方向の高さ（ｙｍｉｎ，ｙｍａｘ）およびそれぞれに対応する視差値ｄｐから、物体の実際のｘ軸方向およびｙ軸方向のサイズが特定できる。以上のように、第２生成部５００は、ＶマップＶＭ、高さＵマップＵＭ＿Ｈ、リアル高さＵマップＲＭ＿Ｈを利用して、基準画像Ｉａでの物体の位置、ならびに実際の幅、高さおよび奥行きを特定することができる。また、第２生成部５００は、基準画像Ｉａでの物体の位置が特定されるので、視差画像における位置も定まり、物体までの距離も特定できる。

図８は、物体の種別の分類方法について説明する図である。第２生成部５００は、物体について特定した実際のサイズ（幅、高さ、奥行き）から、図８に示すようなテーブルを用いて、物体の種別（物体タイプ）を特定することができる。例えば、物体の幅が１３００［ｍｍ］、高さが１８００［ｍｍ］、奥行きが２０００［ｍｍ］である場合、物体は「普通車」であると特定できる。なお、図８のような幅、高さおよび奥行きと、物体の種別（物体タイプ）とを関連付ける情報をテーブルとして、ＲＡＭ５４等に記憶させておくものとすればよい。

≪クラスタリング処理部５１０≫ 図４に示すクラスタリング処理部５１０は、第２生成部５００から入力された各マップに基づいて、車両等の物体を検出する機能部である。図４に示すように、クラスタリング処理部５１０は、推定部５１１、物体領域検出部５１２、判定部５１３、及び枠作成部５１４を有する。

推定部５１１は、Ｕ－Ｄｉｓｐａｒｉｔｙマップ、またはＲｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップから、路面による視差が存在する領域を推定する。なお、推定部５１１による推定を行うのは、第３生成部５０１によりＶマップＶＭに基づく路面の検出精度が十分でない場合があるためである。なお、以下では、推定部５１１が、Ｒｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップを、例えば画素を間引くことにより縮小したスモールリアルＵマップを用いて推定する例について説明するが、推定部５１１は、Ｒｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップを用いて推定してもよい。

また、Ｒｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップは、Ｕ－Ｄｉｓｐａｒｉｔｙマップのｘ座標を、横方向（水平方向）の実距離等に変換したものであるため、推定部５１１は、Ｕ－Ｄｉｓｐａｒｉｔｙマップを用いて推定することもできる。この場合、例えばＵ－Ｄｉｓｐａｒｉｔｙマップのｘ座標を横方向（水平方向）の実距離等に変換する処理を推定部５１１が行えばよい。

物体領域検出部５１２は、Ｕ－Ｄｉｓｐａｒｉｔｙマップ、またはＲｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップに基づき、第３生成部５０１によりＶマップＶＭに基づいて検出された路面より上方に位置する車両等の物体の奥行きや幅等を検出する。なお、以下では、物体領域検出部５１２が、Ｒｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップを用いて検出する例について説明するが、物体領域検出部５１２は、Ｕ－Ｄｉｓｐａｒｉｔｙマップを用いて検出してもよい。この場合、例えばＵ－Ｄｉｓｐａｒｉｔｙマップのｘ座標を横方向（水平方向）の実距離等に変換する処理を物体領域検出部５１２が行えばよい。

判定部５１３は、推定部５１１による推定結果を用いて、物体領域検出部５１２により検出された物体のうち、路面である物体を判定する。そして、判定部５１３は、物体領域検出部５１２により検出された物体のうち、路面であると判定した物体を棄却する。ここで、棄却とは、その物体を後段の処理（追跡処理等）の対象外とする処理を示す。

枠作成部５１４は、物体領域検出部５１２により検出された物体領域のうち、判定部５１３により路面を示す領域であると判定されていない領域に対応する視差画像Ｉｐ（または基準画像Ｉａ）における領域（認識領域）に枠を作成する。なお、ここでいう枠とは、認識された物体の位置と大きさを示すものであり、例えば当該物体を囲む矩形の角の座標と高さおよび幅が対応づけられた情報である。

≪トラッキング部５３０≫ トラッキング部５３０は、クラスタリング処理部５１０により認識された物体に関する情報である認識領域情報に基づいて、その物体を追跡する処理であるトラッキング処理を実行する機能部である。ここで、認識領域情報とは、クラスタリング処理部５１０により認識された物体に関する情報を示し、例えば、認識した物体のＶ－Ｄｉｓｐａｒｉｔｙマップ、Ｕ－Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ－Ｄｉｓｐａｒｉｔｙマップ等における位置および大きさ、後述するラベリング処理の識別番号、ならびに、上述の棄却フラグ等の情報を含む。

＜処理＞
次に、図９を参照し、クラスタリング処理部５１０の処理について説明する。図９は、クラスタリング処理部５１０の処理の一例を示すフローチャートである。

ステップＳ１１において、クラスタリング処理部５１０の推定部５１１は、路面領域推定処理を行う。なお、路面領域推定処理の詳細は後述する。

続いて、クラスタリング処理部５１０の物体領域検出部５１２は、物体領域検出処理を行う（ステップＳ１２）。なお、「路面領域推定処理」と「物体領域検出処理」は、並行して実行されてもよいし、いずれを先に実行されてもよい。なお、物体領域検出処理の詳細は後述する。

続いて、クラスタリング処理部５１０の判定部５１３は、路面領域棄却処理を行う（ステップＳ１３）。なお、路面領域棄却処理の詳細は後述する。

続いて、クラスタリング処理部５１０の枠作成部５１４は、検出枠を作成する（ステップＳ１４）。図１０は、検出枠を作成する処理を説明する図である。物体領域検出処理により検出され、路面領域棄却処理により棄却されていない物体領域を用いて、図１０に示すように、視差画像Ｉｐ（または基準画像Ｉａ）における物体領域に対応する領域（認識領域）に枠を作成する。

続いて、クラスタリング処理部５１０の判定部５１３は、棄却処理を行う（ステップＳ１５）。例えば、図８に示す物体の種別の分類方法において、「その他」に分類された物体の検出結果を棄却してもよい。

≪路面領域推定処理≫ 次に、図１１を参照し、推定部５１１によるステップＳ１１の路面領域推定処理について説明する。図１１は、路面領域推定処理の一例を示すフローチャートである。

ステップＳ１０１において、推定部５１１は、第５生成部５０３により生成されたリアルＵマップＲＭから、画素を間引いた画像であるスモールリアルＵマップを生成する。なお、スモールリアルＵマップは、第５生成部５０３により生成されてもよい。

図１２を参照し、スモールリアルＵマップについて説明する。図１２は、ラベリング処理について説明する図である。図１２（Ａ）は、基準画像Ｉａの一例を示す図である。図１２（Ｂ）は、基準画像Ｉａが図１２（Ａ）の場合のスモールリアルＵマップの一例を示す図である。リアルＵマップＲＭから、１画素の幅が例えば１０ｃｍ程度に対応するように画素を間引くことにより、スモールリアルＵマップが作成されてもよい。リアルＵマップＲＭよりも画素数が少ないスモールリアルＵマップを用いることにより、自車両の前方の物体を比較的大まかに捉える処理を高速に実行することができる。

続いて、推定部５１１は、スモールリアルＵマップにおいて、画素値（視差の頻度）が所定値（例えば１）以上である画素である視差点について、当該マップにおける縦方向（奥行き方向）または横方向（水平方向）に連続している視差点に同一のＩＤを付与する４近傍ラベリング処理を行う（ステップＳ１０２）。ラベリング処理としては公知のものが利用できる。図１２（Ｃ）は、スモールリアルＵマップ上の視差点にＩＤが付与された例を説明する図である。図１２（Ｃ）では、図１２（Ｂ）のスモールリアルＵマップにおいて縦または横方向に連続している視差点に同一のＩＤ（「１」、「２」）が付与されている。なお、同一のＩＤが付与された視差点群の各画素が位置するエリアを、「孤立領域（物体候補）」とも称する。

続いて、推定部５１１は、今回撮影された画像が、カーブの環境下であるか否かを判定する（ステップＳ１０３）。例えば、推定部５１１は、スモールリアルＵマップ上で、ステップＳ１０２の処理により同一のＩＤが付与された各視差点群（各孤立領域）について、左右の端、および左右の端の中点を各行ごとに検出し、近方と遠方で中点の平均位置の差が閾値以上であり、かつ左端と右端の変化方向が同一である場合、カーブの環境下であると判定してもよい。または、今回撮影された画像から、車線の白線等を画像認識し、車線の白線の曲がり具合が所定の閾値以上の場合に、カーブの環境下であると判定してもよい。または、ＥＣＵから取得したハンドルの操舵角に基づいて、カーブの環境下であるか否か判定してもよい。

カーブの環境下であれば（ステップＳ１０３でＹＥＳ）、処理を終了する。これは、カーブの環境下では後述する処理が不適当となる場合があるためである。

カーブの環境下でなければ（ステップＳ１０３でＮＯ）、推定部５１１は、同一のＩＤが付与された各視差点群のうち、視差点群の幅、及び奥行きに基づき、処理対象とする１以上の視差点群を抽出する（ステップＳ１０４）。なお、ステップＳ１０４乃至ステップＳ１１０の処理は、各孤立領域について行われる。図１３は、処理対象とするか否かの閾値の一例を示す図である。図１３のように、例えば幅（横方向の長さ）が１車線分（例えば３ｍ）以上であり、奥行きが所定値（例えば１０ｍ）以上である視差点群が処理対象とされる。なお、この処理対象となった視差点群は、後述する処理により、路面の視差であるか否かを判定する処理の対象とされる。これは、幅が例えば３ｍ以上であり、奥行きが例えば１０ｍ以上である視差点群は、車両等の物体としては大きすぎるため、車両等の物体による視差点群ではなく、路面等による視差点群であると推定できるためである。これは、例えば奥行きが１０ｍ以上ある車両等が自車両の前方に存在している場合であっても、車両等は路面に対して垂直に近い背面や側面を有しており、当該背面や側面よりも奥側は撮影されないため、スモールリアルＵマップ等の視差情報に基づく俯瞰画像において、そのような奥行きが検出される可能性が低いためである。

続いて、推定部５１１は、今回撮影された画像が、狭路の環境下であるか否かを判定する（ステップＳ１０５）。例えば、推定部５１１は、同一のＩＤが付与された各視差点群について、各視差点群に外接する矩形内を、当該矩形における左右の中心で分割し、分割された２つの領域における奥行きが共に所定値以上である場合に、狭路の環境下であると判定してもよい。これは、狭路の場合、自車両の両脇にある例えば植物等の側物による視差点と、自車両の前方で自車両に対して上向きに傾斜している路面による視差点が、スモールリアルＵマップ等の俯瞰画像上で結合される（同一のＩＤが付与される）場合が実際に多いことを利用している。すなわち、ここでいう狭路のように前方の路面を路面以外の障害物等の物体として誤検出しやすい場面においては、スモールリアルＵマップ等の俯瞰画像において図１２（Ｂ）に示すような馬蹄形状（Ｕ字形状）が現れる。そこで、このような馬蹄形状（Ｕ字形状）を検出するために、前述のように各視差点群に外接する矩形における左右の中心で分割し、分割された２つの領域における奥行きの長さを判定に用いるのが有効となる。なお、ここでいう「狭路」とはあくまで一例であり、車両が通行する幅が狭くかつ側物に囲まれているような環境等を広く対象とする。

続いて、推定部５１１は、各視差点群が路面候補であるか（路面候補が存在するか）否かを判定する。具体的には、同一のＩＤが付与された各視差点群において、横方向に連続する長さ（連続している領域の幅）が所定値以上である視差点群の幅を算出し、当該幅が大きい視差点群を路面候補と判定する（ステップＳ１０６）。なぜならば、路面による視差がリアルＵマップ上に存在する場合は、一定程度の幅をもつ領域が奥行き方向に連続している、または、幅が異常に広い領域として現れると考えられるからである。そのため、ステップＳ１０６の処理により、横方向に一定程度連続する視差点群（奥行方向に長い形状）のみを抽出し、これを路面候補の判定基準として用いる。

図１４は、左右に分離された視差点群の幅を算出する処理について説明する図である。例えば、まず、推定部５１１は、図１４（Ａ）のように、スモールリアルＵマップ上の各視差点群について、各行において横方向に最も長く連続する視差点群を抽出する。なお、この際、所定値（例えば１画素分）以下の視差点の途切れは、ノイズによるものである可能性があるため、連続していると見なしてもよい。

続いて、推定部５１１は、図１４（Ｂ）のように、各行において抽出された視差点群のうち、幅（横方向の長さ）が所定値以下（例えば２画素分）の視差点群を除外し、除外されていない視差点群について、他の視差点群と縦方向に連続している場合は、各視差点群を連結する。続いて、各視差点群７０１、７０２、７０３に同一のＩＤを付与する。続いて、各視差点群７０１、７０２、７０３で、幅の平均値を算出する。

続いて、推定部５１１は、狭路の環境下であるか否か、路面候補が存在するか否かの判定結果に基づいて、処理種別を決定する（ステップＳ１０７）。このように、物体候補として検出された孤立領域の形状に基づいた棄却処理を行うため、路面を路面以外の物体として誤検出することを防ぐことができる。

なお、ステップＳ１０７にいう判定結果に基づく処理種別の決定は、処理種別を決定するための閾値の決定（ステップＳ１０７Ａ）、決定した閾値に基づく各孤立領域における処理種別の決定（ステップＳ１０７Ｂ）からなる。図１５は、処理種別を決定するための閾値の一例を示す図である。狭路の環境下の場合、及び路面候補が存在すると判定された場合、比較的緩い奥行きの閾値（「第１の種別の閾値」。例えば、第１閾値（以下で「第１の閾値」とも称する。）として１０ｍ、第２閾値（以下で「第２の閾値」とも称する。）として５ｍ）を設定する。それ以外の場合、比較的厳しい（比較的路面であると判定されにくい）奥行きの閾値（「第２の種別の閾値」。例えば、第１閾値として２０ｍ、第２閾値として１０ｍ）を設定する。

狭路の環境下の場合、及び路面候補が存在する場合は、路面による視差がリアルＵマップ上に存在する可能性が高いため、比較的緩い奥行きの閾値を用いることにより、「物体領域検出処理」の処理結果が棄却され易い処理種別とされる。

このように、奥行方向に凸となるＵ字形状が存在する場合は、狭路であるとして比較的緩い（小さい）閾値を用いるため、路面が誤って抽出されるケースを発見して棄却することができる。

また、一定以上の幅が連続する形状が存在する場合は、路面が誤って物体として検出された可能性が高いことから比較的緩い（小さい）閾値を用いるため、路面が誤って抽出されるケースを発見して棄却することができる。

一方、上記以外の場合は、検出された物体が路面でない可能性が高いことから、比較的厳しい（大きい）閾値を用いることとしているため、奥行方向に比較的長く連続する物体のみを路面であると推定して誤った判定を防ぐことができる。

なお、本実施形態においては、路面が誤って検出されやすいケースの判断に狭路と路面候補の両方の判定基準を用いたが、いずれか一方のみを判定基準として用いてもよい。

続いて、推定部５１１は、決定した閾値に基づいて、各孤立領域における処理種別を決定する（ステップＳ１０７Ｂ）。図１６は、処理種別を決定する方法の一例を示す図である。推定部５１１は、図１６に示すように、ステップＳ１０３で同一のＩＤが付与された視差点群の奥行きが、上述した第１の閾値よりも大きい場合、奥行方向に非常に長いものが検出されており路面である可能性が高いので、当該視差点群のエリアにおいては後述する「物体領域検出処理」の処理結果を、チェックなしに棄却する処理（以下「処理Ａ」と称する。）種別と決定する。チェックなしに棄却処理を行うことにより高速で処理を行うことができる。同様に、推定部５１１は、当該奥行きが、上述した第２の閾値よりも大きいが第１の閾値以下である場合、奥行方向にある程度長いが路面でないものが検出されている可能性があるので、当該視差点群のエリアにおいて、後述する「物体領域検出処理」の処理結果をチェックする処理（以下「処理Ｂ」と称する。）種別と決定する。処理Ａよりは処理速度がかかるものの、精度の高い棄却処理を行うことができる。

このように第１、第２の２つの閾値を用いて処理を違えることにより、路面が検出されている可能性に応じて適切な処理を選択することができる。なお、処理Ａ、及び処理Ｂを選択的に行うことが望ましいが、目的に応じて、処理Ａ、及び処理Ｂのいずれか一方のみを行うようにしてもよい。

≪物体領域検出処理≫
次に、図１８を参照し、物体領域検出部５１２によるステップＳ１２の物体領域検出処理について説明する。図１８は、物体領域検出処理の一例を示すフローチャートである。なお、以下では、リアル高さＵマップＲＭ＿Ｈから物体領域を抽出する例について説明するが、以下と同様の処理により、リアルＵマップＲＭから物体領域を抽出してもよい。この場合、リアルＵマップＲＭに含まれる視差点のうち、路面からの高さが所定値以上である視差点を用いて、物体領域を抽出してもよい。また、横方向位置と奥行方向位置が対応づけられた情報（俯瞰画像）であれば、同様の処理が可能である。

ステップＳ２０１において、物体領域検出部５１２は、リアル高さＵマップＲＭ＿Ｈにおいて、画素値が所定値以上である画素について、縦、横、または斜め方向に連続している画素に同一のＩＤを付与する８近傍ラベリング処理を行う。このラベリング処理としては公知のものを用いることができる。

続いて、物体領域検出部５１２は、同一のＩＤが付与された各画素群（各孤立領域）に外接する矩形をそれぞれ設定する（ステップＳ２０２）。

続いて、物体領域検出部５１２は、当該各矩形のサイズが所定値以下のものを棄却する（ステップＳ２０３）。矩形のサイズが所定値以下のものは、ノイズと判断できるためである。また、当該各矩形のエリアに対するリアルＵマップＲＭのエリアにおける画素値（視差の頻度）の例えば平均値が所定値よりも小さい矩形についても棄却してもよい。

なお、物体領域検出処理は、視差画像に基づいて物体を示す領域が検出できればよく、公知技術を用いて実行されてもよい。

≪路面領域棄却処理≫
次に、図１９を参照し、判定部５１３によるステップＳ１３の路面領域棄却処理について説明する。図１９は、路面領域棄却処理の一例を示すフローチャートである。なお、以下の処理は、「物体領域検出処理」で検出された各孤立領域について実行される。以下で、当該各孤立領域のうち、処理対象の孤立領域を「対象領域」と称する。

ステップＳ３０１において、判定部５１３は、対象領域に外接する矩形と、「路面領域推定処理」で検出されたスモールリアルＵマップ上の各孤立領域に対応するリアルＵマップＲＭ上の各領域に外接する各矩形（以下で「各路面推定領域」とも称する。）とが重なる面積（オーバーラップ面積）を算出する。

図２０は、矩形が重なる面積の算出方法について説明する図である。判定部５１３は、図２０に示すように、対象領域に外接する矩形７１１と、「路面領域推定処理」で検出されたスモールリアルＵマップ上の各孤立領域に対応するリアルＵマップＲＭ上の各領域に外接する各矩形７１２が重なる画素数を算出する。例えば、重なる領域７１３の横方向の画素数７１４と、縦方向の画素数７１５とを乗算することにより、重なる面積が算出される。当該各矩形７１２のうち、最もオーバーラップ面積が大きい値が、対象領域に対するオーバーラップ面積として算出される。

続いて、判定部５１３は、「路面領域推定処理」で検出された各孤立領域のうち、最もオーバーラップ面積が大きい孤立領域に対応付けられた処理種別を判定する（ステップＳ３０２）。

処理種別が「処理Ａ」の場合（ステップＳ３０２で「処理Ａ」）、判定部５１３は、対象領域の面積と、オーバーラップ面積が、所定の条件を満たすか否かを判定する（ステップＳ３０３）。例えば、オーバーラップ面積が、対象領域の面積の所定の割合以上であるか否かを判定する。

対象領域の面積と、オーバーラップ面積が、所定の条件を満たす場合（例えば、オーバーラップ面積が対象領域の面積の所定の割合以上である場合）（ステップＳ３０３でＹＥＳ）、判定部５１３は、対象領域を棄却し（ステップＳ３０４）、処理を終了する。

対象領域の面積と、オーバーラップ面積が、所定の条件を満たさない場合（例えば、オーバーラップ面積が対象領域の面積の所定の割合未満である場合）（ステップＳ３０３でＮＯ）、処理を終了する。

なお、処理Ａの場合は、対象領域の面積とオーバーラップ面積との関係による棄却判断を行わなくともよい。いずれにしても、処理Ｂのように、「物体領域検出処理」の処理結果をチェックする（例えば、車両等の所定の種別の物体に該当しないか判定する）処理（棄却判定処理）を行わずに棄却処理することが要点となる。

なお、上述のように対象領域の面積とオーバーラップ面積との関係による棄却判断を行うことで、より精度のよい棄却処理が実現できる。

処理種別が「処理Ｂ」の場合（ステップＳ３０２で「処理Ｂ」）、判定部５１３は、まず、対象領域が車両等でないか否かをチェックする。具体的には、対象領域のサイズ、及び対象領域の周辺の視差点の分布が、所定の条件を満たすか否かを判定する（ステップＳ３０５）。例えば、対象領域のサイズが車両等のサイズと同等でない場合、所定の条件を満たすと判定されてもよい。また、対象領域の自車両から近方の周辺の各行において横方向に所定長以上連続する視差点群の数が当該周辺の各行の総数に対し所定の割合以下である場合、所定の条件を満たすと判定されてもよい。また、対象領域の自車両から近方の周辺の所定範囲及び遠方の周辺の所定範囲の各々で、視差点の数が、所定範囲の画素数の総数に対し所定の割合以下である場合に、所定の条件を満たすと判定されてもよい。

対象領域のサイズ、及び対象領域の周辺の視差点の分布が、所定の条件を満たす場合（ステップＳ３０５でＹＥＳ）、ステップＳ３０４の処理に進む。

対象領域のサイズ、及び対象領域の周辺の視差点の分布が、所定の条件を満たさない場合（ステップＳ３０５でＮＯ）、処理を終了する。

図２１は、路面領域棄却処理の結果について説明する図である。図２１では、図１２（Ａ）のような基準画像Ｉａの場合に、枠作成部５１４により、物体領域検出部５１２により検出された物体領域に対応する視差画像Ｉｐ（または基準画像Ｉａ）における領域（認識領域）に枠７２１、７２２が作成された例が示されている。本実施形態によれば、物体領域検出部５１２により検出された物体領域のうち、判定部５１３により路面を示す領域であると判定された領域に対応する枠７２１は作成されない。これにより、前方の路面の視差による枠７２１についての認識領域情報は、トラッキング部５３０に出力されないため、物体を追跡する処理であるトラッキング処理の対象とされない。

＜まとめ＞
例えば、自車両が現在走行している位置が急な下り坂で、前方に平坦な路面がある場合や、自車両が現在走行している位置が平坦な路面で、前方に急な上り坂がある場合等であるとする。この場合、第３生成部５０１が、ＶマップＶＭから直線近似等により路面の高さを推定した結果の誤りにより、ＵマップＵＭ上に路面による視差点が存在する場合がある。

上述した実施形態によれば、スモールリアルＵマップ等の俯瞰画像のような分布データ上で、物体を示す領域の奥行きが第１の閾値以上の場合、当該物体を路面と判定する。これにより、路面を路面以外の物体として誤検出することを防ぐことができる。

なお、距離の値（距離値）と視差値は等価に扱えることから、本実施形態においては距離画像の一例として視差画像を用いて説明しているが、これに限られない。例えば、ステレオカメラを用いて生成した視差画像に対して、ミリ波レーダやレーザレーダ等の検出装置を用いて生成した距離情報を統合して、距離画像を生成してもよい。また、ステレオカメラと、ミリ波レーダやレーザレーダ等の検出装置を併用し、上述したステレオカメラによる物体の検出結果と組み合わせることにより、検出の精度をさらに高める構成としてもよい。

上述した実施形態におけるシステム構成は一例であり、用途や目的に応じて様々なシステム構成例があることは言うまでもない。また、上述した各実施形態の一部又は全部を組み合わせることも可能である。

例えば、物体認識装置１の視差値演算処理部３００、第２生成部５００、クラスタリング処理部５１０、トラッキング部５３０等の各機能部の少なくとも一部の処理を行う機能部は、１以上のコンピュータにより構成されるクラウドコンピューティングにより実現されていてもよい。

また、上述の実施の形態では、物体認識装置が車両７０としての自動車に搭載される例について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体に搭載されるものとしてもよい。

また、上述の実施の形態において、物体認識装置１の視差値導出部３および認識処理部５の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態に係る物体認識装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ－ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ－Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５２（ＣＰＵ３２）が上述のＲＯＭ５３（ＲＯＭ３３）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ５４（ＲＡＭ３４）等）上にロードされて生成されるようになっている。

１ 物体認識装置（「情報処理装置」の一例）
２ 本体部（「撮像装置」の一例）
３ 視差値導出部
４ 通信線
５ 認識処理部
６ 車両制御装置（「制御部」の一例）
６０ 機器制御システム
７０ 車両
１００ａ、１００ｂ 画像取得部
２００ａ、２００ｂ 変換部
３００ 視差値演算処理部（「生成部」の一例）
５００ 第２生成部
５０１ 第３生成部（「移動面推定部」の一例）
５０２ 第４生成部
５０３ 第５生成部
５１０ クラスタリング処理部
５１１ 推定部
５１２ 物体領域検出部（「検出部」の一例）
５１３ 判定部
５１４ 枠作成部
５３０ トラッキング部

特開２０１６－０６２３５６号公報

Claims (11)

1. 物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報に基づき、物体の候補を検出する検出部と、
   前記検出部により検出された前記物体の候補の形状に基づいて、前記物体の候補が移動面であるか否かを判定する判定部と、
   を備え、
   前記判定部は、
   前記物体の候補の形状がＵ字形状である場合、第１の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定し、
   前記物体の候補の形状がＵ字形状でない場合、前記第１の種別の閾値よりも移動面であると判定されにくい第２の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定する、
   情報処理装置。
2. 前記判定部は、前記物体の候補の形状が奥行方向に延びる形状である場合、前記第１の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定し、
   前記物体の候補の形状が奥行方向に延びる形状でない場合、前記第２の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定する、
   請求項１に記載の情報処理装置。
3. 前記判定部は、前記移動面がカーブしている場合、前記判定を行わない
   請求項１または２に記載の情報処理装置。
4. 前記判定部は、前記物体の候補が移動面である場合、前記物体の候補を棄却する、
   請求項１乃至３のいずれか一項に記載の情報処理装置。
5. 前記判定部は、
   前記物体の候補の奥行方向の長さが、前記第１の種別の閾値または前記第２の種別の閾値に含まれる第１の閾値より長い場合、前記物体の候補の領域に基づいて棄却するか否かを判定する棄却判定処理を行わずに棄却し、
   前記物体の候補の奥行方向の長さが前記第１の閾値以下であり、かつ前記第１の種別の閾値または前記第２の種別の閾値に含まれる第２の閾値より長い場合は前記棄却判定処理を行う、
   請求項１または２に記載の情報処理装置。
6. 前記棄却判定処理は、前記物体の候補が、所定の種別の物体である場合に、前記物体の候補を棄却する処理である、
   請求項５に記載の情報処理装置。
7. 複数の撮像部と、
   前記複数の撮像部で各々撮影された複数の画像に基づき、前記情報を生成する生成部と、
   請求項１乃至６のいずれか一項に記載の情報処理装置と、
   を備える撮像装置。
8. 請求項７に記載の撮像装置と、
   前記判定部による判定結果に基づいて、移動体の制御を行う制御部と、
   を備え、
   前記複数の撮像部は、前記移動体に搭載され、前記移動体の前方を撮像する、機器制御システム。
9. 前記請求項８に記載の機器制御システムを備え、
   前記制御部により制御される移動体。
10. コンピュータが、
    物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報に基づき、物体の候補を検出するステップと、
    判定部により、検出された前記物体の候補の形状に基づいて、前記物体の候補が移動面であるか否かを判定するステップと、
    を実行し、
    前記判定部は、
    前記物体の候補の形状がＵ字形状である場合、第１の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定し、
    前記物体の候補の形状がＵ字形状でない場合、前記第１の種別の閾値よりも移動面であると判定されにくい第２の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定する、
    情報処理方法。
11. コンピュータに、
    物体の縦方向の位置と、横方向の位置と、奥行方向の位置とが対応づけられた情報に基づき、物体の候補を検出するステップと、
    判定部により、検出された前記物体の候補の形状に基づいて、前記物体の候補が移動面であるか否かを判定するステップと、
    を実行させ、
    前記判定部は、
    前記物体の候補の形状がＵ字形状である場合、第１の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定し、
    前記物体の候補の形状がＵ字形状でない場合、前記第１の種別の閾値よりも移動面であると判定されにくい第２の種別の閾値を用いて、前記物体の候補が移動面であるか否かを判定する、
    プログラム。

Images