JP6547841B2 - 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムに関する。

従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに開発されている。自動車の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。

物体を認識する技術としてステレオカメラを使う場合、撮像した輝度画像に写り込んでいる各物体の視差を導出して視差画像を生成し、同程度の視差値を持った画素を一つにまとめることで物体を認識する。このとき、視差画像の視差塊を抽出することにより、物体の高さ、横幅、および奥行きならびに、物体の三次元での位置を検出できる。このように認識した物体の大きさに基づいて、物体のタイプ（車両、ガードレール、および歩行者等）を決定することができるが、物体の姿勢によっては、同じタイプの物体でも様々な大きさとなり、後段での処理が困難になる。例えば、通常の乗用車の大きさの物体でも、姿勢によっては大型車の大きさとして認識される場合があり得る。したがって、物体を認識する場合において、物体の大きさだけではなく姿勢（特に車両の姿勢）を把握することが重要であり、その姿勢を把握するために、その物体の面を検出する方法がある。例えば、認識する物体が車両である場合は、後方の面である背面および側面等を検出する。以上のような物体の認識、および認識した物体の面の検出を行うために、視差画像から縦軸をステレオカメラからの距離（または視差値）としたＵ−Ｄｉｓｐａｒｉｔｙマップを利用する技術が知られている。

このようなＵ−Ｄｉｓｐａｒｉｔｙマップに関する技術として、視差画像から擬似視差マップに変換する技術が知られている（特許文献１）。

特開２０１２−２５３６６６号公報

しかしながら、特許文献１に記載された技術は、視差画像から擬似視差マップに変換するものであり、この擬似視差マップは、様々な画像処理に使用されるが、上述のような物体（特に車両）を認識する画像処理、およびその物体の面を検出する画像処理等の各種画像処理に対し、１種類のＵ−Ｄｉｓｐａｒｉｔｙマップのみを利用することは、画像処理の目的によっては無駄な処理時間を要したり、目的物が適切に検出できないことがあるという問題がある。

本発明は、上記に鑑みてなされたものであって、画像処理の目的に応じて異なるＵ−Ｄｉｓｐａｒｉｔｙマップを用いて、画像処理の精度および処理速度を向上させる画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、画像処理装置であって、前記画像処理装置の移動方向に直交する方向の実距離と、前記移動方向に対応する距離値とを関連付けた前記距離値の頻度分布を示す第１画像から、物体を示す第１領域を抽出する第１抽出手段と、少なくとも前記第１画像を用いて、前記第１領域で示される前記物体の面を検出する第１処理を行う第１処理手段と、前記距離値により構成された距離画像の横方向と、前記画像処理装置の移動方向に対応する前記距離値とを関連付けた前記距離値の頻度分布を示す第２画像を少なくとも用いて、前記第１領域で示される前記物体の面の種類を特定する第２処理を行う第２処理手段と、を備えたことを特徴とする。

本発明によれば、画像処理の目的に応じて異なるＵ−Ｄｉｓｐａｒｉｔｙマップを用いて、画像処理の精度および処理速度を向上させることができる。

図１は、撮像部から物体までの距離を導き出す原理を説明する図である。 図２は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。 図３は、ブロックマッチング処理の結果のグラフの一例を示す図である。 図４は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。 図５は、実施の形態に係る物体認識装置の外観の一例を示す図である。 図６は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。 図７は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。 図８は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。 図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。 図１０は、視差画像から生成されるＶマップの例を示す図である。 図１１は、視差画像から生成されるＵマップの例を示す図である。 図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。 図１３は、リアルＵマップから孤立領域を抽出する処理を説明する図である。 図１４は、抽出された孤立領域に対応する物体の認識領域の例を示す図である。 図１５は、孤立領域に対して平滑化する処理を説明する図である。 図１６は、孤立領域に対して輪郭抽出する処理の概要を説明する図である。 図１７は、孤立領域に対して輪郭抽出する処理の詳細を説明する図である。 図１８は、孤立領域に対して背面および側面を検出する処理を説明する図である。 図１９は、検出した背面が妥当であるか否かを判定する処理を説明する図である。 図２０は、孤立領域のカット領域をカットする処理を説明する図である。 図２１は、検出枠を作成する処理を説明する図である。 図２２は、側面のいずれかを選択する処理および背面領域を判定する処理を説明する図である。 図２３は、側面物体であるか否かを判定する処理を説明する図である。 図２４は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。 図２５は、実施の形態に係る認識処理部の物体認識処理の動作の一例を示すフローチャートである。

［ブロックマッチング処理を用いた測距方法の概略］
まず、図１〜３を用いて、ブロックマッチング処理による測距方法の概略について説明する。

（測距の原理）
図１は、撮像部から物体までの距離を導き出す原理を説明する図である。図１を参照しながら、ステレオマッチング処理により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。

図１に示す撮像システムは、平行等位に配置された撮像部１０ａと撮像部１０ｂとを有するものとする。撮像部１０ａ、１０ｂは、それぞれ、入射する光を屈折させて物体の像を固体撮像素子である画像センサに結像させる撮像レンズ１１ａ、１１ｂを有する。撮像部１０ａおよび撮像部１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａ（第１撮像画像）および比較画像Ｉｂ（第２撮像画像）とする。図１において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、撮像レンズ１１ａと撮像レンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、基準画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、基準画像Ｉａ上の座標における点Ｓａ（ｘ，ｙ）と比較画像Ｉｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、以下の（式１）のように表される。

ｄｐ＝Ｘ−ｘ （式１）

また、図１において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂにすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。

次に、視差値ｄｐを用いることにより、撮像部１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図１に示すように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記の（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／ｄｐ （式２）

この（式２）により、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなることがわかる。

（ブロックマッチング処理）
次に、図２および３を用いて、ブロックマッチング処理による測距方法について説明する。

図２は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図３は、ブロックマッチング処理の結果のグラフの一例を示す図である。

図２および３を参照しながら、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図２のうち、図２（ａ）は、基準画像Ｉａにおける基準画素ｐおよび基準領域ｐｂを示す概念図を示し、図２（ｂ）は、図２（ａ）に示す基準画素ｐに対応する比較画像Ｉｂにおける対応画素の候補を順次シフトしながら（ずらしながら）、コスト値Ｃを算出する際の概念図である。ここで、対応画素とは、基準画像Ｉａにおける基準画素ｐに最も類似する比較画像Ｉｂにおける画素を示す。また、コスト値Ｃとは、基準画像Ｉａにおける基準画素ｐに対する、比較画像Ｉｂにおける各画素の類似度または非類似度を表す評価値（一致度）である。以下に示すコスト値Ｃは、値が小さいほど、比較画像Ｉｂにおける画素が基準画素ｐと類似していることを示す非類似度を表す評価値であるものとして説明する。

図２（ａ）に示すように、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂにおけるエピポーラ線ＥＬ上の対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。また、基準画素ｐの対応画素を求めるためステレオマッチング処理として、本実施の形態ではブロックマッチング（テンプレートマッチング）処理を行う。ブロックマッチング処理では、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度を求める。基準領域ｐｂと候補領域ｑｂとの非類似度を示すコスト値Ｃとしては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、または、ＳＳＤの値から各ブロックの平均値を減算したＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ−Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等が用いられる。これらの評価値は、相関が高い（類似の度合いが高い）ほど、値が小さくなるので非類似度を示す。

なお、上述のように、撮像部１０ａ、１０ｂは、それぞれ平行等位に配置されるため、基準画像Ｉａおよび比較画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図２に紙面視横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂのエピポーラ線ＥＬ上の画素を探索すればよい。

このようなブロックマッチング処理で算出されたコスト値Ｃ（ｐ，ｄ）は、シフト量ｄとの関係で、例えば、図３に示すグラフにより表される。図３の例では、コスト値Ｃは、シフト量ｄ＝７の場合が最小値となるため、視差値ｄｐ＝７として導出される。

以下に、図４〜２５を参照しながら、本発明に係る画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［実施の形態］
以下、図４〜２５を用いて、本実施の形態の具体的な説明をする。ここでは、ブロックマッチング処理を行う物体認識装置１が自動車に搭載される場合を例に説明する。

（物体認識装置を備えた車両の概略構成）
図４は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図４を参照しながら、本実施の形態の機器制御システム６０を搭載した車両７０について説明する。図４のうち、図４（ａ）は、機器制御システム６０を搭載した車両７０の側面図であり、図４（ｂ）は、車両７０の正面図である。

図４に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６（制御装置）と、ステアリングホイール７と、ブレーキペダル８と、を備えている。

物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、構成および動作の詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。

車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、各種車両制御を実行するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。

このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。

なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

（物体認識装置の構成）
図５は、実施の形態に係る物体認識装置の外観の一例を示す図である。図５に示すように、物体認識装置１は、上述のように、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図５に示す撮像部１０ａを「右」のカメラと称し、撮像部１０ｂを「左」のカメラと称する場合がある。

＜物体認識装置のハードウェア構成＞
図６は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図６を参照しながら、物体認識装置１のハードウェア構成について説明する。

図６に示すように、物体認識装置１は、本体部２内に視差値導出部３および認識処理部５を備えている。

視差値導出部３は、物体Ｅを撮像して得られた複数の画像から、物体Ｅに対する視差を示す視差値ｄｐ（距離値の一例）を導出し、各画素における視差値ｄｐを示す視差画像を出力する。認識処理部５は、視差値導出部３から出力された視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体に対する物体認識処理等を行い、物体認識処理の結果を示す情報である認識情報を、車両制御装置６に出力する。

図６に示すように、視差値導出部３は、撮像部１０ａと、撮像部１０ｂと、信号変換部２０ａと、信号変換部２０ｂと、画像処理部３０と、を備えている。

撮像部１０ａは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、絞り１２ａと、画像センサ１３ａと、備えている。

撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１３ａに結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、画像センサ１３ａに入力する光の量を調整する部材である。画像センサ１３ａは、撮像レンズ１１ａに入射し、絞り１２ａを通過した光を電気的なアナログの画像信号に変換する半導体素子である。画像センサ１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。

撮像部１０ｂは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、絞り１２ｂと、画像センサ１３ｂと、備えている。なお、撮像レンズ１１ｂ、絞り１２ｂおよび画像センサ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、絞り１２ａおよび画像センサ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右のカメラが同一の条件で撮像されるように、それぞれのレンズ面が互いに同一平面上にあるように設置されている。

信号変換部２０ａは、撮像部１０ａにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ａは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａと、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａと、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａと、フレームメモリ２４ａと、を備えている。

ＣＤＳ２１ａは、画像センサ１３ａにより生成されたアナログの画像信号に対して、相関二重サンプリング、横方向の微分フィルタ、または縦方向の平滑フィルタ等によりノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

信号変換部２０ｂは、撮像部１０ｂにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ｂは、ＣＤＳ２１ｂと、ＡＧＣ２２ｂと、ＡＤＣ２３ｂと、フレームメモリ２４ｂと、を備えている。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂおよびフレームメモリ２４ｂの機能は、それぞれ上述したＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａおよびフレームメモリ２４ａの機能と同様である。

画像処理部３０は、信号変換部２０ａおよび信号変換部２０ｂによって変換された画像データに対して画像処理をする装置である。画像処理部３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、バスライン３９と、を備えている。

ＦＰＧＡ３１は、集積回路であり、ここでは、画像データに基づく画像における視差値ｄｐを導出する処理を行う。ＣＰＵ３２は、視差値導出部３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出部３の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、認識処理部５におけるＩ／Ｆ５５と、通信線４とを介して通信するためのインターフェースである。バスライン３９は、図６に示すように、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４およびＩ／Ｆ３５が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

なお、画像処理部３０は、視差値ｄｐを導出する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の集積回路であってもよい。

図６に示すように、認識処理部５は、ＦＰＧＡ５１と、ＣＰＵ５２と、ＲＯＭ５３と、ＲＡＭ５４と、Ｉ／Ｆ５５と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）Ｉ／Ｆ５８と、バスライン５９と、を備えている。

ＦＰＧＡ５１は、集積回路であり、ここでは、画像処理部３０から受信した視差画像に基づいて、物体に対する物体認識処理を行う。ＣＰＵ５２は、認識処理部５の各機能を制御する。ＲＯＭ５３は、ＣＰＵ５２が認識処理部５の物体認識処理を実行する物体認識処理用プログラムを記憶している。ＲＡＭ５４は、ＣＰＵ５２のワークエリアとして使用される。Ｉ／Ｆ５５は、画像処理部３０のＩ／Ｆ３５と、通信線４とを介してデータ通信するためのインターフェースである。ＣＡＮＩ／Ｆ５８は、外部コントローラ（例えば、図６に示す車両制御装置６）と通信するためのインターフェースであり、例えば、自動車のＣＡＮ等に接続されるバスライン５９は、図６に示すように、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５およびＣＡＮＩ／Ｆ５８が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

このような構成により、画像処理部３０のＩ／Ｆ３５から通信線４を介して認識処理部５に視差画像が送信されると、認識処理部５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体の物体認識処理等を実行する。

なお、上述の各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード等である。

＜物体認識装置の機能ブロックの構成および動作＞
図７は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。まず、図７を参照しながら、物体認識装置１の要部の機能ブロックの構成および動作について説明する。

図６でも上述したが、図７に示すように、物体認識装置１は、視差値導出部３と、認識処理部５と、を備えている。このうち、視差値導出部３は、画像取得部１００ａ（第１撮像手段）と、画像取得部１００ｂ（第２撮像手段）と、変換部２００ａ、２００ｂと、視差値演算処理部３００と、を有する。

画像取得部１００ａは、右のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ａは、図６に示す撮像部１０ａによって実現される。

画像取得部１００ｂは、左のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ｂは、図６に示す撮像部１０ｂによって実現される。

変換部２００ａは、画像取得部１００ａにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ａは、図６に示す信号変換部２０ａによって実現される。

変換部２００ｂは、画像取得部１００ｂにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ｂは、図６に示す信号変換部２０ｂによって実現される。

ここで、変換部２００ａ、２００ｂが出力する２つの輝度画像の画像データ（以下、単に、輝度画像と称する）のうち、右のカメラ（撮像部１０ａ）である画像取得部１００ａにより撮像された輝度画像を基準画像Ｉａの画像データ（以下、単に、基準画像Ｉａと称する）とし、左のカメラ（撮像部１０ｂ）である画像取得部１００ｂにより撮像された輝度画像を比較画像Ｉｂの画像データ（以下、単に、比較画像Ｉｂと称する）とする。すなわち、変換部２００ａ、２００ｂは、画像取得部１００ａ、１００ｂそれぞれから出力された２つの輝度画像に基づいて、それぞれ基準画像Ｉａおよび比較画像Ｉｂを出力する。

図８は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。図８を参照しながら、視差値演算処理部３００の機能ブロックの構成および動作について説明する。

視差値演算処理部３００は、変換部２００ａ、２００ｂそれぞれから受信した基準画像Ｉａおよび比較画像Ｉｂに基づいて、基準画像Ｉａの各画素についての視差値を導出し、基準画像Ｉａの各画素に視差値を対応させた視差画像を生成する機能部である。視差値演算処理部３００は、生成した視差画像を、認識処理部５に出力する。図８に示すように、視差値演算処理部３００は、コスト算出部３０１と、決定部３０２と、第１生成部３０３（第３生成手段）と、を有する。

コスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する機能部である。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。

決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する機能部である。

第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の画素値を、その画素に対応する視差値ｄｐで置き換えた画像である視差画像を生成する機能部である。

図８に示すコスト算出部３０１、決定部３０２および第１生成部３０３は、それぞれ図６に示すＦＰＧＡ３１によって実現される。なお、コスト算出部３０１、決定部３０２および第１生成部３０３の一部または全部は、ハードウェア回路であるＦＰＧＡ３１ではなく、ＲＯＭ３３に記憶されているプログラムがＣＰＵ３２によって実行されることによって実現されるものとしてもよい。

なお、図８に示す視差値演算処理部３００のコスト算出部３０１、決定部３０２および第１生成部３０３は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図８に示す視差値演算処理部３００で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図８に示す視差値演算処理部３００で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。図９を参照しながら、認識処理部５の機能ブロックの構成および動作について説明する。

図９に示すように、認識処理部５は、第２生成部５００と、クラスタリング処理部５１０と、トラッキング部５３０と、を有する。

第２生成部５００は、視差値演算処理部３００から視差画像を入力し、視差値導出部３から基準画像Ｉａを入力し、Ｖ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ−Ｄｉｓｐａｒｉｔｙマップ等を生成する機能部である。各マップの詳細については、後述する。また、第２生成部５００の具体的な構成および動作については、後述する。なお、視差値導出部３から入力される画像は基準画像Ｉａに限定されるものではなく、比較画像Ｉｂを対象とするものとしてもよい。

クラスタリング処理部５１０は、第２生成部５００から入力された各マップに基づいて、視差画像に写っている物体を認識し、物体（特に車両）の面を検出する機能部である。図９に示すように、クラスタリング処理部５１０は、入力部５１１と、第１面検出部５１２と、枠作成部５１９と、第２面検出部５２０（第２処理手段）と、出力部５２４と、を有する。また、クラスタリング処理部５１０の具体的な動作については、後述する。

トラッキング部５３０は、クラスタリング処理部５１０により認識された物体に関する情報である認識領域情報に基づいて、その物体を棄却したり、追跡処理をしたりするトラッキング処理を実行する機能部である。ここで、棄却とは、その物体を後段の処理（追跡処理等）の対象外とする処理を示す。また。認識領域情報とは、クラスタリング処理部５１０により認識された物体に関する情報を示し、例えば、認識した物体のＶ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ−Ｄｉｓｐａｒｉｔｙマップ等における位置および大きさ、後述するラベリング処理の識別番号、ならびに、上述の棄却フラグ等の情報を含む。例えば、トラッキング部５３０は、クラスタリング処理部５１０により認識された物体の棄却の結果（棄却フラグ）を、認識領域情報に含める。

なお、本発明に係る「画像処理装置」は、クラスタリング処理部５１０であってもよく、クラスタリング処理部５１０を含む認識処理部５であってもよい。

図１０は、視差画像から生成されるＶマップの例を示す図である。図１１は、視差画像から生成されるＵマップの例を示す図である。図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。図９〜１２を参照しながら、認識処理部５の第２生成部５００の構成および動作について説明する。

図９に示すように、第２生成部５００は、第３生成部５０１と、第４生成部５０２（第２生成手段）と、第５生成部５０３（第１生成手段）と、を有する。

第３生成部５０１は、視差値演算処理部３００から入力した視差画像から路面を検出するために、図１０（ｂ）に示すＶ−ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを生成する機能部である。ここで、Ｖ−Ｄｉｓｐａｒｉｔｙマップとは、縦軸を基準画像Ｉａのｙ軸とし、横軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１０（ａ）に示す基準画像Ｉａには、例えば、路面６００と、電柱６０１と、車６０２とが写り込んでいる。この基準画像Ｉａの路面６００は、ＶマップＶＭにおいては路面部６００ａに対応し、電柱６０１は、電柱部６０１ａに対応し、車６０２は、車部６０２ａに対応する。

第３生成部５０１は、生成したＶマップＶＭから、路面と推定される位置を直線近似する。路面が平坦な場合は、１本の直線で近似可能であるが、勾配が変わる路面の場合は、ＶマップＶＭの区間を分割して精度よく直線近似する必要がある。直線近似としては、公知技術であるハフ変換または最小二乗法等が利用できる。ＶマップＶＭにおいて、検出された路面部６００ａより上方に位置する塊である電柱部６０１ａおよび車部６０２ａは、それぞれ路面６００上の物体である電柱６０１および車６０２に相当する。後述する第４生成部５０２によりＵ−Ｄｉｓｐａｒｉｔｙマップが生成される際に、ノイズ除去のため路面より上方の情報のみが用いられる。

第４生成部５０２は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１１（ａ）に示す基準画像Ｉａでは左ガードレール６１１、右ガードレール６１２、車６１３および車６１４に対応する視差画像上の情報を利用して、物体を認識するために、図１１（ｂ）に示すＵ−ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭ（第２頻度画像）を生成する機能部である。ここで、ＵマップＵＭは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１１（ａ）に示す基準画像Ｉａの左ガードレール６１１は、ＵマップＵＭにおいては左ガードレール部６１１ａに対応し、右ガードレール６１２は、右ガードレール部６１２ａに対応し、車６１３は、車部６１３ａに対応し、車６１４は、車部６１４ａに対応する。

また、第４生成部５０２は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１１（ａ）に示す基準画像Ｉａでは左ガードレール６１１、右ガードレール６１２、車６１３および車６１４に対応する視差画像上の情報を利用して、図１１（ｃ）に示すＵ−Ｄｉｓｐａｒｉｔｙマップの一例であるＵマップＵＭ＿Ｈを生成する。ここで、Ｕ−Ｄｉｓｐａｒｉｔｙマップの一例であるＵマップＵＭ＿Ｈは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐとし、画素値を物体の高さとした画像である。図１１（ａ）に示す基準画像Ｉａの左ガードレール６１１は、ＵマップＵＭ＿Ｈにおいては左ガードレール部６１１ｂに対応し、右ガードレール６１２は、右ガードレール部６１２ｂに対応し、車６１３は、車部６１３ｂに対応し、車６１４は、車部６１４ｂに対応する。

第５生成部５０３は、図１２（ａ）に示す第４生成部５０２により生成されたＵマップＵＭから、横軸を実際の距離に変換した図１２（ｂ）に示すＲｅａｌ Ｕ−ＤｉｓｐａｒｉｔｙマップであるリアルＵマップＲＭ（第１画像）を生成する機能部である。ここで、リアルＵマップＲＭは、横軸を、撮像部１０ｂ（左のカメラ）から撮像部１０ａ（右のカメラ）へ向かう方向の実距離とし、縦軸を、視差画像の視差値ｄｐ（またはその視差値ｄｐから変換した奥行き方向の距離）とした二次元ヒストグラムである。図１２（ａ）に示すＵマップＵＭの左ガードレール部６１１ａは、リアルＵマップＲＭにおいては左ガードレール部６１１ｃに対応し、右ガードレール部６１２ａは、右ガードレール部６１２ｃに対応し、車部６１３ａは、車部６１３ｃに対応し、車部６１４ａは、車部６１４ｃに対応する。

具体的には、第５生成部５０３は、ＵマップＵＭでは、遠方（視差値ｄｐが小さい）では物体が小さいため、視差情報が少なく、距離の分解能も小さいので間引きせず、近距離の場合は物体が大きく写るため、視差情報が多く、距離の分解能も大きいので画素を大きく間引くことによって、俯瞰図に相当するリアルＵマップＲＭを生成する。後述するように、リアルＵマップＲＭから画素値の塊（物体）（後述する「孤立領域」）を抽出することができる。この場合、塊を囲む矩形の幅は、抽出した物体の幅に相当し、高さは、抽出した物体の奥行きに相当する。なお、第５生成部５０３は、ＵマップＵＭからリアルＵマップＲＭを生成することに限定されるものではなく、視差画像から、直接、リアルＵマップＲＭを生成することも可能である。

また、第２生成部５００は、生成したＵマップＵＭまたはリアルＵマップＲＭから、物体の視差画像および基準画像Ｉａにおけるｘ軸方向の位置および幅（ｘｍｉｎ，ｘｍａｘ）を特定できる。また、第２生成部５００は、生成したＵマップＵＭまたはリアルＵマップＲＭでの物体の高さの情報（ｄｍｉｎ，ｄｍａｘ）から物体の実際の奥行きを特定できる。また、第２生成部５００は、生成したＶマップＶＭから、物体の視差画像および基準画像Ｉａにおけるｙ軸方向の位置および高さ（ｙｍｉｎ＝「最大視差値の路面からの最大高さに相当するｙ座標」，ｙｍａｘ＝「最大視差値から得られる路面の高さを示すｙ座標」）を特定できる。また、第２生成部５００は、視差画像において特定した物体のｘ軸方向の幅（ｘｍｉｎ，ｘｍａｘ）、ｙ軸方向の高さ（ｙｍｉｎ，ｙｍａｘ）およびそれぞれに対応する視差値ｄｐから、物体の実際のｘ軸方向およびｙ軸方向のサイズが特定できる。以上のように、第２生成部５００は、ＶマップＶＭ、ＵマップＵＭおよびリアルＵマップＲＭを利用して、基準画像Ｉａでの物体の位置、ならびに実際の幅、高さおよび奥行きを特定することができる。また、第２生成部５００は、基準画像Ｉａでの物体の位置が特定されるので、視差画像における位置も定まり、物体までの距離も特定できる。

そして、第２生成部５００は、物体について特定した実際のサイズ（幅、高さ、奥行き）から、下記の（表１）を用いて、物体が何であるかを特定することができる。例えば、物体の幅が１３００［ｍｍ］、高さが１８００［ｍｍ］、奥行きが２０００［ｍｍ］である場合、物体は「普通車」であると特定できる。なお、（表１）のような幅、高さおよび奥行きと、物体の種類（物体タイプ）とを関連付ける情報をテーブルとして、ＲＡＭ５４等に記憶させておくものとすればよい。

図９に示す第２生成部５００の第３生成部５０１、第４生成部５０２および第５生成部５０３は、それぞれ図６に示すＦＰＧＡ５１によって実現される。なお、第３生成部５０１、第４生成部５０２および第５生成部５０３の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

また、上述のように、第５生成部５０３によりＵマップＵＭまたは視差画像からリアルＵマップＲＭが生成され、第４生成部５０２により視差画像からＵマップＵＭが生成されるが、このリアルＵマップＲＭおよびＵマップＵＭのそれぞれの画像処理における利点を説明する。まず、リアルＵマップＲＭの利点としては、例えば、以下の（１）および（２）が挙げられる。

（１）物体を認識（検出）する処理については、横軸を実距離としているので、どの距離に対しても安定して高速に検出することができる。
（２）物体の面を検出する処理については、画角（物体認識装置１に対する物体までの角度）によって物体の形状が変わることがなく、どの距離でも同じ特徴を有するので同じアルゴリズムで画像処理が可能となる。

次に、ＵマップＵＭの利点としては、例えば、以下の（３）および（４）が挙げられる。

（３）物体を認識（検出）する処理については、距離の近い物体に対して、画素値の塊（物体）がつながりにくく個々の物体として検出しやすい。
（４）物体の面を検出する処理については、横軸を基準画像Ｉａのｘ軸としているで、斜めの部分の特徴を検出しやすい。

図１３は、リアルＵマップから孤立領域を抽出する処理を説明する図である。図１４は、抽出された孤立領域に対応する物体の認識領域の例を示す図である。図１５は、孤立領域に対して平滑化する処理を説明する図である。図１６は、孤立領域に対して輪郭抽出する処理の概要を説明する図である。図１７は、孤立領域に対して輪郭抽出する処理の詳細を説明する図である。図１８は、孤立領域に対して背面および側面を検出する処理を説明する図である。図１９は、検出した背面が妥当であるか否かを判定する処理を説明する図である。図２０は、孤立領域のカット領域をカットする処理を説明する図である。図９および１３〜２０を参照しながら、認識処理部５のクラスタリング処理部５１０の入力部５１１および第１面検出部５１２の構成および動作について説明する。

入力部５１１は、第２生成部５００により入力された基準画像Ｉａおよび視差画像、ならびに、第２生成部５００により生成されたＶマップＶＭ、ＵマップＵＭ、ＵマップＵＭ＿Ｈ、およびリアルＵマップＲＭを入力する機能部である。入力部５１１は、これらの基準画像Ｉａ、視差画像、ＶマップＶＭ、ＵマップＵＭ、ＵマップＵＭ＿ＨおよびリアルＵマップＲＭを入力情報として、第１面検出部５１２に送る。なお、入力部５１１は、第２生成部５００からこれらの画像を入力することに限定されず、例えば、図６に示すＲＡＭ３４、ＲＡＭ５４、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）もしくはＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の記憶メディア、またはネットワークストレージに記憶されている画像を読み出して入力するものとしてもよい。

第１面検出部５１２は、入力部５１１から受け取った入力情報に基づいて、物体を認識し、その物体の背面および側面を検出する第１面検出処理を実行する機能部である。第１面検出部５１２は、特に、認識する物体として車両を対象とし、下記の（表２）で示される距離、幅、および奥行きを有する物体（車両）を第１面検出処理の対象とする。この場合、例えば、後述する領域抽出部５１３により抽出される孤立領域（物体）が（表２）の条件を満たす場合のみ第１面検出処理の対象とするものとすればよい。

第１面検出部５１２は、領域抽出部５１３（第１抽出手段）と、平滑化部５１４と、輪郭抽出部５１５（第２抽出手段）と、背面検出部５１６（検出手段）と、第１判定部５１７と、カット部５１８（削除手段）と、を有する。

領域抽出部５１３は、入力部５１１から出力された入力情報のうちリアルＵマップＲＭから、画素値の塊である孤立領域（第１領域）を抽出する機能部である。具体的には、領域抽出部５１３は、リアルＵマップＲＭに対して二値化処理およびラベリング処理等を行い、ラベリング処理の識別情報ごとに孤立領域を抽出する。例えば、リアルＵマップＲＭにおいて孤立領域が抽出された状態を、図１３に示す。図１３に示すリアルＵマップＲＭの例では、領域抽出部５１３によって、孤立領域として、孤立領域６２１〜６２４が抽出された場合を示している。領域抽出部５１３により抽出された孤立領域は、基準画像Ｉａに写っている物体に対応するものであり、基準画像Ｉａにおける物体の認識領域を示すものである。例えば、図１４に、領域抽出部５１３により抽出された孤立領域に対応する基準画像Ｉａでの物体の認識領域の例を示す。図１４（ａ）は、車両の認識領域の例であり、図１４（ｂ）は、人の認識領域の例であり、図１４（ｃ）は、道路の脇に沿って設置されたガードレール（側面物体の一例）の認識領域の例である。

このように、領域抽出部５１３による孤立領域の抽出処理において、リアルＵマップＲＭを利用することにより、どの距離に存在する物体（孤立領域）でも安定して抽出することができる。

領域抽出部５１３は、抽出した孤立領域ごとに、その孤立領域に関する情報である認識領域情報を生成し、ここでは、例えば、ラベリング処理の識別情報、およびリアルＵマップＲＭ上における孤立領域の位置および大きさの情報を認識領域情報に含める。領域抽出部５１３は、生成した認識領域情報を、平滑化部５１４に送る。

平滑化部５１４は、領域抽出部５１３により抽出された孤立領域に対して、リアルＵマップＲＭ上に存在するノイズおよび視差分散等を緩和するための平滑化を行う機能部である。具体的には、平滑化部５１４は、図１５（ａ）に示すように、３×３のマスクを用意して孤立領域に対してラスタスキャンを行い、図１５（ｂ）に示すように、マスクのいずれかに孤立領域の画素が重なった場合におけるマスクの中央部に画素値が存在しない場合、その中央部に画素値を埋めることによって平滑化を行う。埋める画素値としては、例えば、孤立領域の画素のうちマスクが重なった画素の画素値（頻度）、またはその孤立領域に割り当てられたラベリング処理の識別情報等とすればよい。このように、平滑化部５１４による孤立領域に対する画素値の埋め込みによって、図１５（ｃ）に示すように、元々の孤立領域の１画素分の周囲の画素に画素値が埋め込まれた状態となる。以降、元々の孤立領域に対して画素値が埋め込まれた領域を併せた領域を新たな孤立領域として扱う。平滑化部５１４は、リアルＵマップＲＭ上における、この新たな孤立領域の位置および大きさの情報を認識領域情報に含めて、輪郭抽出部５１５に送る。

輪郭抽出部５１５は、リアルＵマップＲＭにおいて、平滑化部５１４により平滑化された孤立領域の輪郭を形成する画素について、隣接する画素同士の方向ベクトル（輪郭ベクトル）を特定することにより輪郭を抽出する機能部である。輪郭の抽出の概要としては、輪郭抽出部５１５は、図１６（ａ）に示す特定の孤立領域に対して、その輪郭を形成する画素について、図１６（ｂ）に示すように隣接する画素同士の方向ベクトルを特定する。具体的には、まず、図１７（ｂ）に示す３×３のマスクであって、中央画素である注目画素の周りに、「０」〜「７」の番号が振られたマスクを用意する。そして、輪郭抽出部５１５は、このマスクを図１７（ａ）に示すように、孤立領域に対して下から、かつ、左から右にスキャンさせていき、図１７（ｃ）に示すようにマスクの注目画素が、孤立領域の画素と重なるまでスキャンさせる。輪郭抽出部５１５は、マスクの注目画素に対応する画素を中心に、マスクの「３」の画素から反時計回り（すなわち、「３、４、５、６、７、０、１、２」の順）に、孤立領域に含まれる画素を探索する。図１７（ｃ）の場合、輪郭抽出部５１５は、注目画素に対応する画素の右側の画素が見つかるので、図１７（ｄ）に示すように、この右側の画素に対応する「３」という番号を、注目画素に対応する画素の輪郭ベクトルを示す情報として割り当てる。すなわち、「３」が割り当てられた孤立領域の画素（注目画素に対応する画素）は、マスクの注目画素を基準として「３」の画素の方向に、隣接する画素が存在することが特定される。

次に、輪郭抽出部５１５は、輪郭ベクトルにより特定される隣接画素（図１７（ｅ）の例では、「３」が割り当てられた画素の右側の画素）に対して、注目画素が重なるようにマスクをあてがう。この場合、輪郭抽出部５１５は、注目画素に対応する画素を中心として、前回輪郭ベクトルが特定された画素（図１７（ｄ）の「３」が割り当てられた画素）から反時計周りに１画素進ませた位置（「０」に対応する位置）から反時計回り（すなわち、「０、１、２、３、４、５、６、７」の順）に、孤立領域に含まれる画素を探索する。図１７（ｅ）の場合、輪郭抽出部５１５は、注目画素に対応する画素の右上側の画素が見つかるので、この右上側の画素に対応する「４」という番号を、注目画素に対応する画素の輪郭ベクトルを示す情報として割り当てる。以上のように輪郭ベクトルを特定した結果、図１７（ｆ）に示すように、孤立領域の輪郭を形成する画素に対して、輪郭ベクトルを示す番号（情報）が割り当てられる。

このように、輪郭抽出部５１５による輪郭の抽出処理において、リアルＵマップＲＭを利用することにより、画角によって物体の形状が変わることがないので、孤立領域の輪郭を構成する画素間の方向に基づく輪郭を、どの距離でも上述の同じアルゴリズムによって抽出することが可能となり、抽出した輪郭に基づく面の検出の精度を向上させることができる。

輪郭抽出部５１５は、孤立領域の輪郭を形成する画素に割り当てられた輪郭ベクトルを示す情報を認識領域情報に含めて、背面検出部５１６に送る。なお、孤立領域の画素を探索する場合、注目画素に対応する画素を中心として反時計回りに探索するものとしたが、これは、スキャン方向が、下から、かつ、左から右にスキャンする場合であり、スキャン方向が、下から、かつ、右から左にスキャンする場合は、注目画素を中心として時計周りに探索する必要がある。また、上述のようにマスクを下からスキャンするのは、リアルＵマップＲＭにおいて下側にある孤立領域ほど近い物体であり、遠い物体よりも近い物体を優先的に後段の制御の対象とすることを意図するためである。

背面検出部５１６は、リアルＵマップＲＭにおいて、輪郭抽出部５１５により輪郭が抽出された孤立領域の背面（第１面）および側面（第２面）の位置を検出する機能部である。具体的には、背面検出部５１６は、孤立領域の背面の位置の検出方法として２通りの方法で検出する。以下、この２通りの方法をそれぞれ、「第１検出方法」および「第２検出方法」と称する。

まず、第１検出方法による背面の位置の検出について説明する。背面検出部５１６は、孤立領域について輪郭抽出部５１５により特定された輪郭ベクトルを示す情報が「２」、「３」または「４」である画素、すなわち、左から右へ向く輪郭ベクトルを最も多く有する画素の視差値ｄｐ方向の位置を特定する。例えば、図１８（ａ）に示すように、背面検出部５１６は、孤立領域が、縦方向（視差値ｄｐ方向）で背面位置ｄｐ１の位置で、輪郭ベクトルを示す情報が「２」、「３」または「４」である画素を最も多く有すると判定した場合、この孤立領域の背面の位置（視差値ｄｐ方向の位置）が背面位置ｄｐ１であると検出する。

次に、第２検出方法による背面の位置の検出について説明する。まず、背面検出部５１６は、孤立領域について輪郭抽出部５１５により特定された輪郭ベクトルを示す情報が「０」、「１」または「２」である画素、すなわち、上から下へ向く輪郭ベクトルを最も多く有する画素のｘ方向の位置を、図１８（ｂ）に示すように、左位置ｘａ１として特定する。次に、背面検出部５１６は、孤立領域について輪郭抽出部５１５により特定された輪郭ベクトルを示す情報が「４」、「５」または「６」である画素、すなわち、下から上へ向く輪郭ベクトルを最も多く有する画素のｘ方向の位置を、図１８（ｂ）に示すように、右位置ｘｂ１として特定する。そして、背面検出部５１６は、孤立領域のうち左位置ｘａ１から右位置ｘｂ１までの範囲で、輪郭ベクトルを示す情報が「２」、「３」または「４」である画素、すなわち、左から右へ向く輪郭ベクトルを最も多く有する画素の視差値ｄｐ方向の位置を特定する。図１８（ｂ）に示すように、背面検出部５１６は、左位置ｘａ１から右位置ｘｂ１までの範囲の孤立領域において、縦方向（視差値ｄｐ方向）で背面位置ｄｐ２の位置で、輪郭ベクトルを示す情報が「２」、「３」または「４」である画素を最も多く有すると判定した場合、この孤立領域の背面の位置（視差値ｄｐ方向の位置）が背面位置ｄｐ２であると検出する。

ただし、上述の第１検出方法および第２検出方法によって検出された孤立領域の背面の位置が異なる場合がある。例えば、図１８（ｃ）に示す孤立領域の場合、左から右へ向く輪郭ベクトルを最も多く有する画素の視差値ｄｐ方向の位置、すなわち、第１検出方法で特定される孤立領域の背面の位置は、背面位置ｄｐ３となる。一方、上から下へ向く輪郭ベクトルを最も多く有する画素のｘ方向の位置は、左位置ｘａ２であり、下から上へ向く輪郭ベクトルを最も多く有する画素のｘ方向の位置は、右位置ｘｂ２である場合、孤立領域のうち左位置ｘａ１から右位置ｘｂ１までの範囲で、左から右へ向く輪郭ベクトルを最も多く有する画素の視差値ｄｐ方向の位置、すなわち、第２検出方法で特定される孤立領域の背面の位置は、背面位置ｄｐ４となる。このように、孤立領域の背面の位置としては、第１検出方法の場合、背面位置ｄｐ３が検出され、第２検出方法の場合、背面位置ｄｐ４が検出され、異なる背面の位置が検出される場合がある。このような場合、例えば、後述する第１判定部５１７の背面の妥当性の判定により、背面として妥当性があると判定された背面の位置を選択するものとすればよい。

なお、背面検出部５１６は、第１検出方法および第２検出方法の双方によって、背面の位置を検出することに限定されるものではなく、いずれかの検出方法によって背面の位置を検出するものとしてもよい。

次に、背面検出部５１６は、孤立領域の側面の位置を検出する。具体的には、背面検出部５１６は、図１８（ｄ）に示すように、検出した背面の位置の視差値ｄｐから、背面までの距離を算出する。そして、背面検出部５１６は、検出した背面の位置から奥側の所定の位置（探索領域境界位置）を特定する。例えば、図１８（ｅ）に示すように、背面検出部５１６は、例えば、背面の位置から、背面までの距離の１１０［％］の距離までの位置を探索領域境界位置とする。そして、背面検出部５１６は、孤立領域のうち視差値ｄｐ方向で背面の位置から探索領域境界位置までの範囲で、輪郭ベクトルを示す情報が「０」、「１」または「２」である画素、すなわち、上から下へ向く輪郭ベクトルを最も多く有する画素のｘ方向の位置を、孤立領域の左側面の位置（図１８（ｅ）の「背面左境界」）として検出する。また、背面検出部５１６は、孤立領域のうち視差値ｄｐ方向で背面の位置から探索領域境界位置までの範囲で、輪郭ベクトルを示す情報が「４」、「５」または「６」である画素、すなわち、下から上へ向く輪郭ベクトルを最も多く有する画素のｘ方向の位置を、孤立領域の右側面の位置（図１８（ｅ）の「背面右境界」）として検出する。

このように、背面検出部５１６による孤立領域の背面および側面の位置の検出処理において、リアルＵマップＲＭを利用することにより、画角によって物体の形状が変わることがないので、どの距離でも安定的に背面および側面の位置を検出することができる。

背面検出部５１６は、孤立領域について検出した背面および側面（左側面および右側面）の位置の情報を認識領域情報に含めて、第１判定部５１７に送る。

第１判定部５１７は、リアルＵマップＲＭにおいて、背面検出部５１６により検出された背面が正しく検出されているか否か、すなわち、背面の妥当性の判定を行う機能部である。具体的には、第１判定部５１７は、背面検出部５１６により検出された背面が、下記の（表３）に例として示す条件をすべて満たすか否かを判定し、条件をすべて満たす場合、その背面は正しく検出されたものと判定する。

例えば、背面検出部５１６は、図１９（ａ）に示す孤立領域の太線で描画された部分を背面として検出したものとする。また、図１９（ａ）に示す左位置ｘａ３は、背面検出部５１６により検出された孤立領域の左側面の位置であり、右位置ｘｂ３は、背面検出部５１６により検出された孤立領域の右側面の位置である。第１判定部５１７は、左位置ｘａ３および右位置ｘｂ３から、孤立領域の背面の幅ｗ＿ｂを算出する。そして、第１判定部５１７は、幅ｗ＿ｂが所定の条件を満たすか否かを判定する。上述の（表３）の例では、第１判定部５１７は、幅ｗ＿ｂが１１００［ｍｍ］以上であるか否かを判定する。

また、第１判定部５１７は、背面検出部５１６により検出された背面の左端（ｘ方向の左位置ｘａ３）の視差値で求まる距離と、背面の右端（ｘ方向の右位置ｘｂ３）の視差値で定まる距離との差ｄｉｆｆが所定の条件を満たすか否かを判定する。上述の（表３）の例では、第１判定部５１７は、差ｄｉｆｆが、背面のうち最も近い部分の距離の２５［％］未満であるか否かを判定する。なお、最も近い部分の距離の２５［％］未満であるか否かを判定することに限定されるものではなく、視差誤差成分を考慮した距離についての値との判定を行うものとしてもよい。

さらに、第１判定部５１７は、図１９（ｂ）に示すように、孤立領域の奥行きｌｅｎを算出する。そして、第１判定部５１７は、奥行きｌｅｎが所定の条件を満たすか否かを判定する。上述の（表３）の例では、第１判定部５１７は、奥行きｌｅｎが、１０００［ｍｍ］より大きいか否かを判定する。

例えば、上述の（表３）の条件を適用する場合、物体の背面までの距離が８［ｍ］先の車両の背面の幅が１２００［ｍｍ］とすると、距離８［ｍ］の２５［％］は、２０００［ｍｍ］となり、図１９（ｃ）に示すように、背面が約６０［度］までの傾きを限度に、背面として妥当性があると判定されることになる。

このように、背面検出部５１６による背面の妥当性の判定処理において、リアルＵマップＲＭを利用することにより、画角によって物体の形状が変わることがないので、どの距離の物体の背面についてもその妥当性を安定して判定することができる。

第１判定部５１７は、背面検出部５１６により検出された背面が正しく検出されているか否か、すなわち、背面の妥当性の判定の結果を認識領域情報に含める。第１判定部５１７は、背面が正しく検出されていると判定した場合、認識領域情報をカット部５１８に送る。一方、第１判定部５１７は、背面が正しく検出されていないと判定した場合、認識領域情報を枠作成部５１９に送る。

カット部５１８は、第１判定部５１７により背面に妥当性があると判定された場合に、リアルＵマップＲＭにおいて、第１判定部５１７から受け取った認識領域情報が示す孤立領域のうち、不要と考えられる領域（カット領域）をカット（削除）する機能部である。具体的には、まず、カット部５１８は、例えば、下記の（表４）に示す条件を満たすか否かを判定することによって、孤立領域が、カット領域をカットする対象であるか否かを判定する。例えば、カット部５１８は、図２０（ａ）に示すように、孤立領域の背面位置から手前にある領域の幅（カット幅ｃｗ）および奥行き（カット高さｃｈ）について、比ｃｈ／ｃｗが２以上、かつ、カット高さｃｈが孤立領域までの距離の４０［％］以上である場合、その孤立領域は、カット領域をカットする対象であると判定する。なお、カット高さｃｈが孤立領域までの距離の４０［％］以上であるか否かを判定することに限定されるものではなく、視差誤差成分またはノイズを考慮した距離についての値との判定を行うものとしてもよい。

カット部５１８は、孤立領域についてカット領域をカットする対象であると判定した場合、孤立領域の背面位置の手前側の領域から出っ張り領域を特定する。具体的には、カット部５１８は、図２０（ｂ）に示すように、孤立領域の背面位置より手前側にある領域の画素を用いて、図２０（ｃ）に示すようなヒストグラムを作成する。このヒストグラムは、例えば、縦軸の頻度が、対応するｘ軸の位置の画素のカウント数とすればよい。カット部５１８は、このヒストグラムにおいて、最も高いグラフのｘ位置を特定する。図２０（ｃ）の例では、ｘ方向で左から２〜４番目のグラフが該当する。カット部５１８は、この最も高いグラフのｘ位置から、連続して、このグラフの高さの例えば８０［％］以上となる高さのグラフを特定する。図２０（ｃ）の例では、最も高いグラフである左から２番目のグラフに隣接する１番目のグラフが、最も高いグラフの高さの８０［％］以上の高さのグラフであることが特定される。カット部５１８は、特定した最も高いグラフ（ｘ方向で左から２〜４番目のグラフ）、および連続する高さが８０［％］以上のグラフ（ｘ方向で左から１番目のグラフ）に対応する孤立領域での背面位置より手前側の領域（図２０（ｄ）に示す出っ張り領域ＰＡ１）を、出っ張り領域として特定する。

また、図２０（ｅ）の例では、カット部５１８は、孤立領域の背面位置より手前側にある領域の画素を用いて、図２０（ｆ）に示すようなヒストグラムを作成する。カット部５１８は、このヒストグラムにおいて、最も高いグラフのｘ位置を特定する。図２０（ｆ）の例では、ｘ方向で左から２番目のグラフが該当する。カット部５１８は、この最も高いグラフのｘ位置から、連続して、このグラフの高さの例えば８０［％］以上となる高さのグラフを特定する。図２０（ｆ）の例では、最も高いグラフである左から２番目のグラフに隣接する１番目のグラフが、最も高いグラフの高さの８０［％］以上の高さのグラフであることが特定される。また、最も高いグラフである左から２番目のグラフに隣接する３番目のグラフは、最も高いグラフの高さの８０［％］以上の高さはないので無視する。カット部５１８は、特定した最も高いグラフ（ｘ方向で左から２番目のグラフ）、および連続する高さが８０［％］以上のグラフ（ｘ方向で左から１番目のグラフ）に対応する孤立領域での背面位置より手前側の領域（図２０（ｇ）に示す出っ張り領域ＰＡ２）を、出っ張り領域として特定する。

そして、カット部５１８は、特定した出っ張り領域のｘ方向の幅が、孤立領域全体の幅の半分以上であるか否かを判定する。カット部５１８は、図２０（ｄ）に示すように、出っ張り領域ＰＡ１の幅が孤立領域全体の幅の半分以上である場合、孤立領域のうち、出っ張り領域ＰＡ１を含む背面位置より手前側の領域（第２領域）をカット（削除）し、カット後の領域を新たな孤立領域とする。ここで、出っ張り領域ＰＡ１を含む背面位置より手前側の領域のみをカットするのは、出っ張り領域ＰＡ１の幅が孤立領域全体の幅の半分以上である場合、出っ張り部分に車両が含まれる可能性があるためである。また、カット部５１８は、図２０（ｇ）に示すように、出っ張り領域ＰＡ２の幅が孤立領域の幅の半分未満である場合、孤立領域のうち、出っ張り領域ＰＡ２を含む背面位置より手前側の領域、および、出っ張り領域ＰＡ２に対応する背面位置から奥側の領域をカット（削除）し、カット後の領域を新たな孤立領域とする。ここで、出っ張り領域ＰＡ２を含む背面位置より手前側の領域だけでなく、出っ張り領域ＰＡ２に対応する背面位置から奥側の領域をカットするのは、出っ張り部分は側面物体である可能性が高く、奥側の領域までカットしても影響が少ないと考えられるからである。

ここで、出っ張り領域の特定において、ヒストグラムの最大高さの８０［％］以上の領域とすることによって、ノイズの影響を抑制した状態で特定することができる。なお、カット部５１８は、出っ張り領域の幅が孤立領域全体の幅の半分以上であるか否かを判定するものとしたが、半分であることに限定されるものではなく、例えば、出っ張り領域の幅が孤立領域全体の１／３以上であるか否か等を判定するものとしてもよい。

このように、カット部５１８による孤立領域のカット領域のカット処理において、リアルＵマップＲＭを利用することにより、画角によって物体の形状が変わることがないので、どの距離の孤立領域でも安定してカット領域を決定することができる。

カット部５１８は、リアルＵマップＲＭ上における、カット後の新たな孤立領域の位置および大きさの情報を認識領域情報に含めて、枠作成部５１９に送る。

図９に示す入力部５１１、ならびに、第１面検出部５１２の領域抽出部５１３、平滑化部５１４、輪郭抽出部５１５、背面検出部５１６、第１判定部５１７およびカット部５１８は、それぞれ図６に示すＦＰＧＡ５１によって実現される。なお、入力部５１１、ならびに、第１面検出部５１２の領域抽出部５１３、平滑化部５１４、輪郭抽出部５１５、背面検出部５１６、第１判定部５１７およびカット部５１８の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、第１面検出部５１２における平滑化部５１４、第１判定部５１７およびカット部５１８による処理は、必ずしも必須の処理ではなく、これらの平滑化部５１４、第１判定部５１７およびカット部５１８のうち少なくともいずれかを有さない構成としてもよい。

また、本発明に係る「第１処理手段」は、第１面検出部５１２のうち、領域抽出部５１３を除いた部分に相当し、「第１処理」は、第１面検出部５１２の第１面検出処理のうち、領域抽出部５１３の孤立領域の抽出処理を除いた処理に相当する。

図２１は、検出枠を作成する処理を説明する図である。図９および２１を参照しながら、認識処理部５のクラスタリング処理部５１０の枠作成部５１９の動作について説明する。

枠作成部５１９は、領域抽出部５１３により抽出され、平滑化部５１４、輪郭抽出部５１５、背面検出部５１６、およびカット部５１８によりそれぞれ平滑化され、輪郭が抽出され、背面および側面が検出され、不要な部分がカット（削除）されたリアルＵマップＲＭ上の孤立領域を用いて、図２１に示すように、視差画像Ｉｐ（または基準画像Ｉａ）における孤立領域に対応する物体の領域（認識領域）に枠を作成する機能部である。枠作成部５１９は、視差画像Ｉｐ（または基準画像Ｉａ）で作成した枠の情報を認識領域情報に含めて、第２面検出部５２０に送る。

枠作成部５１９は、図６に示すＦＰＧＡ５１によって実現される。なお、枠作成部５１９は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

図２２は、側面のいずれかを選択する処理および背面領域を判定する処理を説明する図である。図２３は、側面物体であるか否かを判定する処理を説明する図である。図９、２２および２３を参照しながら、認識処理部５のクラスタリング処理部５１０の第２面検出部５２０および出力部５２４の構成および動作について説明する。

第２面検出部５２０は、入力部５１１により入力された入力情報、および、枠作成部５１９から受け取った認識領域情報に基づいて、認識領域情報で示される物体の背面および側面の領域を具体的に特定し、物体がどのような面を有するかを特定する第２面検出処理（第２処理）を実行する機能部である。第２面検出部５２０は、選択部５２１と、第２判定部５２２と、第３判定部５２３（判定手段）と、を有する。

選択部５２１は、第１判定部５１７により、孤立領域の背面が正しく検出されていると判定された場合、背面検出部５１６により検出された２つの側面のうちどちらを側面として採用するかを選択する機能部である。具体的には、図２２に示すように、選択部５２１は、認識領域情報で示される孤立領域に対応する視差画像Ｉｐ上の認識領域において、２つの側面のｘ位置（図２２に示す左側面位置ｘ１、右側面位置ｘ２）のうち、視差画像Ｉｐの中央に近い位置にある側面（図２２の例では右側面位置ｘ２の側面）を採用する。選択部５２１は、決定した側面の情報を認識領域情報に含めて、第２判定部５２２に送る。

第２判定部５２２は、選択部５２１により選択された側面以外の領域の幅（図２２に示す幅Ｗ２）が、認識領域全体の幅（図２２に示す幅Ｗ１）の例えば９０［％］以下であるか否かを判定する機能部である。第２判定部５２２は、幅Ｗ２が幅Ｗ１の９０［％］以下であると判定した場合、認識領域の物体は、背面および側面を認識できる物体（車両）であると判定する。一方、第２判定部５２２は、幅Ｗ２が幅Ｗ１の９０［％］より大きいと判定した場合、認識領域の物体は、背面のみが認識できる物体（車両）であると判定する。第２判定部５２２は、判定結果を認識領域情報に含めて、出力部５２４に送る。

第３判定部５２３は、第１判定部５１７により、孤立領域の背面が正しく検出されていないと判定された場合、孤立領域が示す物体が側面物体であるか否かを判定する機能部である。ここで、側面物体とは、道路脇等に設置された壁、ガードレール、または高速道路の防音壁のように、車両の進行方向に延びる物体を示し、撮像画像および視差画像上では通常、側面のみが視認できる物体を示す。

具体的には、第３判定部５２３は、孤立領域（認識領域）が、下記の（表５）に例として示す条件をすべて満たすか否かを判定し、条件をすべて満たす場合、その孤立領域（認識領域）が示す物体は側面物体であると判定する。

第３判定部５２３は、図２３（ａ）に示すように、リアルＵマップの孤立領域の奥行きｌｅｎが所定の条件を満たすか否かを判定する。上述の（表５）の例では、第３判定部５２３は、奥行きｌｅｎが「１０００［ｍｍ］＋誤差成分」より大きいか否かを判定する。

また、第３判定部５２３は、枠作成部５１９により作成された視差画像上における認識領域を示す枠（図２３（ｂ）に示す視差画像Ｉｐ１の検出枠ＤＦ１〜ＤＦ４）を、Ｕマップ上の枠（図２３（ｃ）に示すＵマップＵＭ１の検出枠ＤＦ１ａ、ＤＦ４ａ）（第３領域）に変換する。なお、図２３（ｃ）では、視差画像Ｉｐ１の検出枠ＤＦ２、ＤＦ３に対応する検出枠は説明の便宜上図示していない。そして、第３判定部５２３は、図２３（ｃ）に示すように、ＵマップＵＭ１の検出枠をｘ方向に２分割し、視差値ｄｐ方向に２分割して、左上領域、左下領域、右上領域および右下領域の４領域に分割する。そして、第３判定部５２３は、各分割領域に含まれる頻度の積算値を算出し、算出される４つの積算値のうち、最も大きい積算値、および次に大きい積算値を有する分割領域が、左上領域および右下領域、または、左下領域または右上領域となるか否かを判定する。すなわち、上述の（表５）に示すように、第３判定部５２３は、頻度の高い分割領域が斜めの関係を持つか否かを判定する。例えば、図２３（ｃ）に示すＵマップＵＭ１の検出枠ＤＦ４ａを例にすると、第３判定部５２３は、４分割した分割領域のうち、左上領域および右下領域が頻度の積算値が大きいと判断し、斜めの関係を持つと判定する。

さらに、第３判定部５２３は、図２３（ｃ）に示すように、ＵマップＵＭ１の検出枠をｘ方向に４分割する。そして、第３判定部５２３は、最も左側の分割領域および最も右側の分割領域に含まれる視差値の平均値を算出し、それぞれの平均値から変換される距離の差（距離差ｄｓｐ＿ｄｉｆｆ）が、物体のうち最も近い部分までの距離の２５［％］以上であるか否かを判定する。例えば、図２３（ｃ）に示すＵマップＵＭ１の検出枠ＤＦ１ａを例にすると、最も右側の分割領域の視差値の平均値は、最も左側の分割領域の視差値の平均値よりも大きく、その差である距離差ｄｓｐ＿ｄｉｆｆが、検出枠ＤＦ１ａで示される物体のうち最も近い部分までの距離の２５［％］以上であるか否かを判定する。なお、最も近い部分までの距離の２５［％］以上であるか否かを判定することに限定されるものではなく、視差誤差成分を考慮した距離についての値との判定を行うものとしてもよい。

第３判定部５２３は、孤立領域（認識領域）が、上述の（表５）に示す条件をすべて満たす場合、その孤立領域（認識領域）が示す物体は側面物体であると判定する。一方、第３判定部５２３は、孤立領域（認識領域）が、上述の（表５）に示す条件のうち少なくともいずれかを満たさない場合、その孤立領域（認識領域）が示す物体は側面物体ではないと判定する。第３判定部５２３は、判定結果を認識領域情報に含めて、出力部５２４に送る。

このように、第３判定部５２３による孤立領域が示す物体が側面物体であるか否かを判定する処理において、ＵマップＵＭ１を利用することにより、横軸を基準画像Ｉａのｘ軸としているので、斜めの部分の特徴がとりやすいため、物体が側面物体であるか否かを精度よく判定することができる。

出力部５２４は、第２面検出部５２０により第２面検出処理が行われた結果を含む認識領域情報を、トラッキング部５３０に出力する機能部である。

図９に示す第２面検出部５２０の選択部５２１、第２判定部５２２および第３判定部５２３、ならびに、出力部５２４は、それぞれ図６に示すＦＰＧＡ５１によって実現される。なお、第２面検出部５２０の選択部５２１、第２判定部５２２および第３判定部５２３、ならびに、出力部５２４の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、図９に示す認識処理部５の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図９に示す認識処理部５で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図９に示す認識処理部５で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

なお、上述の図７〜２３では、視差値が距離値と等価に扱えることから、距離画像の一例として視差画像に基づく動作を説明したが、これに限定されるものではない。例えば、ミリ波レーダもしくはレーザレーダの距離情報に基づく距離画像、または、この距離情報と、視差値導出部３で求められる視差画像とを融合させて生成した距離画像に基づく動作としてもよい。以下の説明でも同様である。

（視差値導出部のブロックマッチング処理）
図２４は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図２４を参照しながら、物体認識装置１の視差値導出部３のブロックマッチング処理の動作の流れについて説明する。

＜ステップＳ１−１＞
視差値導出部３の画像取得部１００ｂは、左のカメラ（撮像部１０ｂ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−１へ移行する。

＜ステップＳ１−２＞
視差値導出部３の画像取得部１００ａは、右のカメラ（撮像部１０ａ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−２へ移行する。

＜ステップＳ２−１＞
視差値導出部３の変換部２００ｂは、撮像部１０ｂにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−１へ移行する。

＜ステップＳ２−２＞
視差値導出部３の変換部２００ａは、撮像部１０ａにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−２へ移行する。

＜ステップＳ３−１＞
変換部２００ｂは、ステップＳ２−１において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における比較画像Ｉｂとして出力する。これによって、ブロックマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ３−２＞
変換部２００ａは、ステップＳ２−２において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における基準画像Ｉａとして出力する。これによって、ブロックマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ４＞
視差値導出部３の視差値演算処理部３００のコスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出することにより取得する。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。そして、ステップＳ５へ進む。

＜ステップＳ５＞
視差値導出部３の視差値演算処理部３００の決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する。そして、視差値導出部３の視差値演算処理部３００の第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像を生成する。第１生成部３０３は、生成した視差画像を、認識処理部５に出力する。

なお、上述のステレオマッチング処理は、ブロックマッチング処理を例として説明したが、これに限定されるものではなく、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を用いた処理であってもよい。

（認識処理部の物体認識処理）
図２５は、実施の形態に係る認識処理部の物体認識処理の動作の一例を示すフローチャートである。図２５を参照しながら、物体認識装置１の認識処理部５の物体認識処理の動作の流れについて説明する。

＜ステップＳ１１＞
第２生成部５００は、視差値演算処理部３００から視差画像を入力し、視差値導出部３から基準画像Ｉａを入力し、Ｖ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ−Ｄｉｓｐａｒｉｔｙマップ等を生成する。第２生成部５００の第３生成部５０１は、視差値演算処理部３００から入力した視差画像から路面を検出するために、Ｖ−ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを生成する。第２生成部５００の第４生成部５０２は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用して、物体を認識するために、Ｕ−ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭを生成する。第２生成部５００の第５生成部５０３は、第４生成部５０２により生成されたＵマップＵＭから、横軸を実際の距離に変換したＲｅａｌ Ｕ−ＤｉｓｐａｒｉｔｙマップであるリアルＵマップＲＭを生成する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
入力部５１１は、第２生成部５００により入力された基準画像Ｉａおよび視差画像、ならびに、第２生成部５００により生成されたＶマップＶＭ、ＵマップＵＭ、ＵマップＵＭ＿Ｈ、およびリアルＵマップＲＭを入力する。領域抽出部５１３は、入力部５１１から出力された入力情報のうちリアルＵマップＲＭから、画素値の塊である孤立領域を抽出する。領域抽出部５１３は、抽出した孤立領域ごとに、その孤立領域に関する情報である認識領域情報を生成し、ここでは、例えば、ラベリング処理の識別情報、およびリアルＵマップＲＭ上における孤立領域の位置および大きさの情報を認識領域情報に含める。領域抽出部５１３は、生成した認識領域情報を、平滑化部５１４に送る。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
平滑化部５１４は、領域抽出部５１３により抽出された孤立領域に対して、リアルＵマップＲＭ上に存在するノイズおよび視差分散等を緩和するための平滑化を行う。平滑化部５１４による孤立領域に対する画素値の埋め込みによって、元々の孤立領域の１画素分の周囲の画素に画素値が埋め込まれた状態となる。以降、元々の孤立領域に対して画素値が埋め込まれた領域を併せた領域を新たな孤立領域として扱う。平滑化部５１４は、リアルＵマップＲＭ上における、この新たな孤立領域の位置および大きさの情報を認識領域情報に含めて、輪郭抽出部５１５に送る。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
輪郭抽出部５１５は、平滑化部５１４により平滑化された孤立領域の輪郭を形成する画素について、隣接する画素同士の方向ベクトル（輪郭ベクトル）を特定することにより輪郭を抽出する。輪郭ベクトルが特定された結果、孤立領域の輪郭を形成する画素に対して、輪郭ベクトルを示す番号（情報）が割り当てられる。輪郭抽出部５１５は、孤立領域の輪郭を形成する画素に割り当てられた輪郭ベクトルを示す情報を認識領域情報に含めて、背面検出部５１６に送る。そして、ステップＳ１５へ移行する。

＜ステップＳ１５＞
背面検出部５１６は、輪郭抽出部５１５により輪郭が抽出された孤立領域の背面および側面の位置を検出する。背面検出部５１６は、孤立領域について検出した背面および側面（左側面および右側面）の位置の情報を認識領域情報に含めて、第１判定部５１７に送る。そして、ステップＳ１６へ移行する。

＜ステップＳ１６＞
第１判定部５１７は、背面検出部５１６により検出された背面が正しく検出されているか否か、すなわち、背面の妥当性の判定を行う。そして、ステップＳ１７へ移行する。

＜ステップＳ１７＞
第１判定部５１７は、背面検出部５１６により検出された背面が正しく検出されているか否か、すなわち、背面の妥当性の判定の結果を認識領域情報に含める。第１判定部５１７は、背面が正しく検出されていると判定した場合（ステップＳ１７：Ｙｅｓ）、認識領域情報をカット部５１８に送り、ステップＳ１８へ移行する。一方、第１判定部５１７は、背面が正しく検出されていないと判定した場合（ステップＳ１７：Ｎｏ）、認識領域情報を枠作成部５１９に送り、ステップＳ２５へ移行する。

＜ステップＳ１８＞
カット部５１８は、第１判定部５１７により背面に妥当性があると判定された場合に、第１判定部５１７から受け取った認識領域情報が示す孤立領域のうち、不要と考えられる領域（カット領域）をカット（削除）する。カット部５１８は、リアルＵマップＲＭ上における、カット後の新たな孤立領域の位置および大きさの情報を認識領域情報に含めて、枠作成部５１９に送る。そして、ステップＳ１９へ移行する。

＜ステップＳ１９＞
枠作成部５１９は、領域抽出部５１３により抽出され、平滑化部５１４、輪郭抽出部５１５、背面検出部５１６、およびカット部５１８によりそれぞれ平滑化され、輪郭が抽出され、背面および側面が検出され、不要な部分がカット（削除）されたリアルＵマップＲＭ上の孤立領域を用いて、視差画像（または基準画像Ｉａ）における孤立領域に対応する物体の領域（認識領域）に枠を作成する。枠作成部５１９は、視差画像（または基準画像Ｉａ）で作成した枠の情報を認識領域情報に含めて、第２面検出部５２０に送る。そして、ステップＳ２０へ移行する。

＜ステップＳ２０＞
選択部５２１は、第１判定部５１７により、孤立領域の背面が正しく検出されていると判定された場合、背面検出部５１６により検出された２つの側面のうちどちらを側面として採用するかを選択する。選択部５２１は、決定した側面の情報を認識領域情報に含めて、第２判定部５２２に送る。そして、ステップＳ２１へ移行する。

＜ステップＳ２１＞
第２判定部５２２は、選択部５２１により選択された側面以外の領域の幅（図２２に示す幅Ｗ２）が、認識領域全体の幅（図２２に示す幅Ｗ１）の例えば９０［％］以下であるか否かを判定する。そして、ステップＳ２２へ移行する。

＜ステップＳ２２＞
幅Ｗ２が幅Ｗ１の９０［％］以下である場合（ステップＳ２２：Ｙｅｓ）、ステップＳ２３へ移行し、幅Ｗ２が幅Ｗ１の９０［％］より大きい場合（ステップＳ２２：Ｎｏ）、ステップＳ２４へ移行する。

＜ステップＳ２３＞
第２判定部５２２は、幅Ｗ２が幅Ｗ１の９０［％］以下であると判定した場合、認識領域の物体は、背面および側面を認識できる物体（車両）であると判定する。第２判定部５２２は、判定結果を認識領域情報に含めて、出力部５２４に送る。そして、ステップＳ３０へ移行する。

＜ステップＳ２４＞
第２判定部５２２は、幅Ｗ２が幅Ｗ１の９０［％］より大きいと判定した場合、認識領域の物体は、背面のみが認識できる物体（車両）であると判定する。第２判定部５２２は、判定結果を認識領域情報に含めて、出力部５２４に送る。そして、ステップＳ３０へ移行する。

＜ステップＳ２５＞
枠作成部５１９は、領域抽出部５１３により抽出され、平滑化部５１４、輪郭抽出部５１５、および背面検出部５１６によりそれぞれ平滑化され、輪郭が抽出され、背面および側面が検出されたリアルＵマップＲＭ上の孤立領域を用いて、視差画像（または基準画像Ｉａ）における孤立領域に対応する物体の領域（認識領域）に枠を作成する機能部である。枠作成部５１９は、視差画像（または基準画像Ｉａ）で作成した枠の情報を認識領域情報に含めて、第２面検出部５２０に送る。そして、ステップＳ２６へ移行する。

＜ステップＳ２６＞
第３判定部５２３は、第１判定部５１７により、孤立領域の背面が正しく検出されていないと判定された場合、孤立領域が示す物体が側面物体であるか否かを判定する。具体的には、第３判定部５２３は、孤立領域（認識領域）が、上述の（表５）に例として示す条件をすべて満たすか否かを判定する。そして、ステップＳ２７へ移行する。

＜ステップＳ２７＞
孤立領域（認識領域）が、上述の（表５）に示す条件をすべて満たす（側面が検出された）場合（ステップＳ２７：Ｙｅｓ）、ステップＳ２８へ移行し、上述の（表５）に示す条件のうち少なくともいずれかを満たさない（側面が検出されない）場合（ステップＳ２７：Ｎｏ）、ステップＳ２９へ移行する。

＜ステップＳ２８＞
第３判定部５２３は、孤立領域（認識領域）が、上述の（表５）に示す条件をすべて満たす場合、その孤立領域（認識領域）が示す物体は側面物体であると判定する。第３判定部５２３は、判定結果を認識領域情報に含めて、出力部５２４に送る。そして、ステップＳ３０へ移行する。

＜ステップＳ２９＞
第３判定部５２３は、孤立領域（認識領域）が、上述の（表５）に示す条件のうち少なくともいずれかを満たさない場合、その孤立領域（認識領域）が示す物体は側面物体ではない物体（その他の物体）であると判定する。第３判定部５２３は、判定結果を認識領域情報に含めて、出力部５２４に送る。そして、ステップＳ３０へ移行する。

＜ステップＳ３０＞
トラッキング部５３０は、クラスタリング処理部５１０により認識された物体に関する情報である認識領域情報に基づいて、その物体を棄却したり、追跡処理をしたりするトラッキング処理を実行する。

以上のステップＳ１１〜Ｓ３０の処理により、物体認識処理が行われる。なお、ステップＳ１３〜Ｓ３０の処理は、ステップＳ１２で抽出された孤立領域ごとに実行される。

以上のように、認識処理部５の物体認識処理において、各画像処理の目的に応じて異なるＵ−ＤｉｓｐａｒｉｔｙマップであるリアルＵマップ（例えば、上述のリアルＵマップＲＭ）またはＵマップ（例えば、上述のＵマップＵＭ、ＵマップＵＭ１）のいずれかを用いるものとしている。これによって、物体認識処理における各画像処理の精度および処理速度を向上させることができる。例えば、物体を認識し、その物体の背面および側面を検出する第１面検出処理において、リアルＵマップを利用することにより、横軸を実距離とし、画角によって物体の形状が変わることがなく、どの距離でも同じ特徴を有するので、どの距離においても安定した物体の認識、および物体の面の検出を行うことができるので、画像処理の精度および処理速度を向上させることができる。また、物体の背面および側面の領域を具体的に特定し、物体がどのような面を有するかを特定する第２面検出処理のうち、特に孤立領域が示す物体が側面物体であるか否かを判定する処理においては、Ｕマップを利用することにより、横軸を基準画像Ｉａのｘ軸としているので、斜めの部分の特徴がとりやすいため、物体が側面物体であるか否かを精度よく判定することができるので、画像処理の精度および処理速度を向上させることができる。

なお、上述の実施の形態では、コスト値Ｃは非類似度を表す評価値としているが、類似度を表す評価値であってもよい。この場合、類似度であるコスト値Ｃが最大（極値）となるシフト量ｄが視差値ｄｐとなる。

また、上述の実施の形態では、車両７０としての自動車に搭載される物体認識装置１について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。

また、上述の実施の形態において、物体認識装置１の視差値導出部３および認識処理部５の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態に係る物体認識装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５２（ＣＰＵ３２）が上述のＲＯＭ５３（ＲＯＭ３３）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ５４（ＲＡＭ３４）等）上にロードされて生成されるようになっている。

１ 物体認識装置
２ 本体部
３ 視差値導出部
４ 通信線
５ 認識処理部
６ 車両制御装置
７ ステアリングホイール
８ ブレーキペダル
１０ａ、１０ｂ 撮像部
１１ａ、１１ｂ 撮像レンズ
１２ａ、１２ｂ 絞り
１３ａ、１３ｂ 画像センサ
２０ａ、２０ｂ 信号変換部
２１ａ、２１ｂ ＣＤＳ
２２ａ、２２ｂ ＡＧＣ
２３ａ、２３ｂ ＡＤＣ
２４ａ、２４ｂ フレームメモリ
３０ 画像処理部
３１ ＦＰＧＡ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ Ｉ／Ｆ
３９ バスライン
５１ ＦＰＧＡ
５２ ＣＰＵ
５３ ＲＯＭ
５４ ＲＡＭ
５５ Ｉ／Ｆ
５８ ＣＡＮＩ／Ｆ
５９ バスライン
６０ 機器制御システム
７０ 車両
１００ａ、１００ｂ 画像取得部
２００ａ、２００ｂ 変換部
３００ 視差値演算処理部
３０１ コスト算出部
３０２ 決定部
３０３ 第１生成部
５００ 第２生成部
５０１ 第３生成部
５０２ 第４生成部
５０３ 第５生成部
５１０ クラスタリング処理部
５１１ 入力部
５１２ 第１面検出部
５１３ 領域抽出部
５１４ 平滑化部
５１５ 輪郭抽出部
５１６ 背面検出部
５１７ 第１判定部
５１８ カット部
５１９ 枠作成部
５２０ 第２面検出部
５２１ 選択部
５２２ 第２判定部
５２３ 第３判定部
５２４ 出力部
５３０ トラッキング部
６００ 路面
６００ａ 路面部
６０１ 電柱
６０１ａ 電柱部
６０２ 車
６０２ａ 車部
６１１ 左ガードレール
６１１ａ〜６１１ｃ 左ガードレール部
６１２ 右ガードレール
６１２ａ〜６１２ｃ 右ガードレール部
６１３ 車
６１３ａ〜６１３ｃ 車部
６１４ 車
６１４ａ〜６１４ｃ 車部
６２１〜６２４ 孤立領域
Ｂ 基線長
Ｃ コスト値
ｃｈ カット高さ
ｃｗ カット幅
ｄ シフト量
ＤＦ１〜ＤＦ４ 検出枠
ＤＦ１ａ、ＤＦ４ａ 検出枠
ｄｉｆｆ 差
ｄｓｐ＿ｄｉｆｆ 距離差
ｄｐ 視差値
ｄｐ１〜ｄｐ４ 背面位置
Ｅ 物体
ＥＬ エピポーラ線
ｆ 焦点距離
Ｉａ 基準画像
Ｉｂ 比較画像
Ｉｐ、Ｉｐ１ 視差画像
ｌｅｎ 奥行き
ｐ 基準画素
ＰＡ１、ＰＡ２ 出っ張り領域
ｐｂ 基準領域
ｑ 候補画素
ｑｂ 候補領域
ＲＭ リアルＵマップ
Ｓ、Ｓａ、Ｓｂ 点
ＵＭ、ＵＭ１ Ｕマップ
ＵＭ＿Ｈ Ｕマップ
ＶＭ Ｖマップ
ｗ＿ｂ 幅
Ｗ１、Ｗ２ 幅
ｘａ１〜ｘａ３ 左位置
ｘｂ１〜ｘｂ３ 右位置
ｘ１ 左側面位置
ｘ２ 右側面位置
Ｚ 距離

Claims (12)

1. 移動体の移動方向を撮像する複数の撮像手段によりそれぞれ撮像された複数の撮像画像を処理する画像処理装置であって、
   前記複数の撮像画像から生成される、距離値により構成された距離画像に基づいて、前記移動体の移動方向に直交する方向の実距離と、前記移動方向に対応する前記距離値とを関連付けた前記距離値の頻度分布を示す第１画像を生成する第１生成手段と、
   前記距離画像に基づいて、該距離画像の横方向と、前記移動体の移動方向に対応する前記距離値とを関連付けた前記距離値の頻度分布を示す第２画像を生成する第２生成手段と、
   前記第１画像から、物体を示す第１領域を抽出する第１抽出手段と、
   少なくとも前記第１画像を用いて、前記第１領域で示される前記物体の面を検出する第１処理を行う第１処理手段と、
   少なくとも前記第２画像を用いて、前記第１領域で示される前記物体の面の種類を特定する第２処理を行う第２処理手段と、
   を備えた画像処理装置。
2. 前記第１処理手段は、前記第１処理の一部として、前記第１画像での前記第１領域の輪郭の輪郭方向を抽出する第２抽出手段を含む請求項１に記載の画像処理装置。
3. 前記第２抽出手段は、前記第１画像における前記第１領域の輪郭を形成する画素について、隣接する画素同士の方向を特定し、該方向を前記輪郭方向として抽出する請求項３に記載の画像処理装置。
4. 前記第２抽出手段は、前記第１画像における前記第１領域をスキャンする方向に基づいて、該第１領域の前記輪郭方向を抽出する順番を変える請求項３または４に記載の画像処理装置。
5. 前記第１処理手段は、
   前記第１処理の一部として、前記第２抽出手段により抽出された前記輪郭方向に基づいて、前記第１画像での前記第１領域における前記画像処理装置に対向する第１面を検出する検出手段と、
   前記第１処理の一部として、前記第１画像での前記第１領域のうち、少なくとも前記第１面より手前側にある第２領域を削除して新たな第１領域とする削除手段と、
   をさらに含む請求項３〜５のいずれか一項に記載の画像処理装置。
6. 前記検出手段は、前記第１処理の一部としてさらに、前記第１画像での前記第１領域における前記第１面から前記画像処理装置から遠ざかる方向の所定位置までの領域における前記輪郭方向に基づいて、前記第１面の両端に接続する２つの第２面を検出する請求項６に記載の画像処理装置。
7. 前記第２処理手段は、前記第２処理の一部として、前記第２画像における前記第１領域に対応する第３領域に含まれる距離値に基づいて、該第１領域が示す物体が側面物体であるか否かを判定する判定手段を含む請求項１、３〜７のいずれか一項に記載の画像処理装置。
8. 被写体を撮像することにより第１撮像画像を得る第１撮像手段と、
   前記第１撮像手段の位置とは異なる位置に配置され、前記被写体を撮像することにより第２撮像画像を得る第２撮像手段と、
   前記第１撮像画像および前記第２撮像画像から前記被写体に対して求めた距離値に基づいて、前記距離画像を生成する第３生成手段と、
   請求項１、３〜８のいずれか一項に記載の画像処理装置と、
   を備えた物体認識装置。
9. 請求項９に記載の物体認識装置と、
   前記第１抽出手段により抽出された前記第１領域についての、少なくとも前記第１処理手段により検出された前記面に基づいて、制御対象を制御する制御装置と、
   を備えた機器制御システム。
10. 移動体の移動方向を撮像する複数の撮像手段によりそれぞれ撮像された複数の撮像画像を処理する画像処理装置の画像処理方法であって、
    前記複数の撮像画像から生成される、距離値により構成された距離画像に基づいて、前記移動体の移動方向に直交する方向の実距離と、前記移動方向に対応する前記距離値とを関連付けた前記距離値の頻度分布を示す第１画像を生成する第１生成ステップと、
    前記距離画像に基づいて、該距離画像の横方向と、前記移動体の移動方向に対応する前記距離値とを関連付けた前記距離値の頻度分布を示す第２画像を生成する第２生成ステップと、
    前記第１画像から、物体を示す第１領域を抽出する第１抽出ステップと、
    少なくとも前記第１画像を用いて、前記第１領域で示される前記物体の面を検出する第１処理を行う第１処理ステップと、
    少なくとも前記第２画像を用いて、前記第１領域で示される前記物体の面の種類を特定する第２処理を行う第２処理ステップと、
    を有する画像処理方法。
11. コンピュータを、
    移動体の移動方向を撮像する複数の撮像手段によりそれぞれ撮像された複数の撮像画像から生成される、距離値により構成された距離画像に基づいて、前記移動体の移動方向に直交する方向の実距離と、前記移動方向に対応する前記距離値とを関連付けた前記距離値の頻度分布を示す第１画像を生成する第１生成手段と、
    前記距離画像に基づいて、該距離画像の横方向と、前記移動体の移動方向に対応する前記距離値とを関連付けた前記距離値の頻度分布を示す第２画像を生成する第２生成手段と、
    前記第１画像から、物体を示す第１領域を抽出する第１抽出手段と、
    少なくとも前記第１画像を用いて、前記第１領域で示される前記物体の面を検出する第１処理を行う第１処理手段と、
    少なくとも前記第２画像を用いて、前記第１領域で示される前記物体の面の種類を特定する第２処理を行う第２処理手段と、
    して機能させるためのプログラム。
12. 請求項１０に記載の機器制御システムを備え、
    前記制御装置により制御される移動体。

Images