JP2017167970A - 画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラム - Google Patents

Abstract

【課題】物体に対して精度よく追従処理を行うことができる画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供する。【解決手段】現在のフレームに対応する距離画像において、物体の上側から下方向に向かって探索した場合に、物体の距離情報の画素に行き当たる各画素を結ぶことによって物体の輪郭を取得し、輪郭に対して、輪郭テンプレートを用いたテンプレートマッチングによって輪郭が検出対象の物体に相当する場合、物体の横方向の候補位置を特定する第１マッチング手段と、距離画像において、候補位置からの縦方向において画像テンプレートを用いたテンプレートマッチングを行い、物体の横方向の位置、および、縦方向の第１位置を決定する第２マッチング手段と、を備える。【選択図】図１４

Description

本発明は、画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムに関する。

従来、自動車の安全性において、歩行者と自動車とが衝突したときに、いかに歩行者を守れるか、および、乗員を保護できるかの観点から、自動車のボディー構造等の開発が行われてきた。しかしながら、近年、情報処理技術および画像処理技術の発達により、高速に人および自動車を検出する技術が開発されてきている。これらの技術を応用して、自動車が物体に衝突する前に自動的にブレーキをかけ、衝突を未然に防ぐという自動車もすでに開発されている。自動車の自動制御には、人または他車等の物体までの距離を正確に測定する必要があり、そのためには、ミリ波レーダおよびレーザレーダによる測距、ならびに、ステレオカメラによる測距等が実用化されている。

ステレオカメラによる物体認識処理では、大きくクラスタリング処理と、トラッキング処理とに分けることができる。クラスタリング処理は、特にリアルタイムに撮像された輝度画像、およびステレオカメラから導出された視差画像を用いて物体を新規に検出する処理である。また、トラッキング処理は、複数のフレームの情報を用いてクラスタリング処理で検出された物体を追従する処理である。トラッキング処理では、基本的に、二次元画像上の視差値または輝度値のパターンに基づいて、前フレームで検出された物体と類似している領域を、テンプレートマッチングにより現在のフレーム内から検出する。

このようなトラッキング処理の技術として、歩行者が存在すると認識された歩行者認識領域の特定および歩行者であることの確度を示す歩行者スコアを行い、歩行者スコアに基づいて、歩行者が存在するという認識結果の採否を決定する技術が提案されている（特許文献１参照）。

しかし、特許文献１には、フレーム間で刻々と異なっていく特徴量に対応する処理が記載されておらず、非剛体である歩行者のように、個体ごとに様々な特徴があり、時間経過により特徴量も異なっていく物体を、精度よく追従（トラッキング）する処理を実行するのが困難であるという問題がある。

本発明は、上記に鑑みてなされたものであって、物体に対して精度よく追従処理を行うことができる画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムを提供することを目的とする。

上述した課題を解決し、目的を達成するために、本発明は、現在のフレームに対応する距離画像において、物体の上側から下方向に向かって探索した場合に、物体の距離情報の画素に行き当たる各画素を結ぶことによって物体の輪郭を取得し、輪郭に対して、輪郭テンプレートを用いたテンプレートマッチングによって輪郭が検出対象の物体に相当する場合、物体の横方向の候補位置を特定する第１マッチング手段と、距離画像において、候補位置からの縦方向において画像テンプレートを用いたテンプレートマッチングを行い、物体の横方向の位置、および、縦方向の第１位置を決定する第２マッチング手段と、を備えたことを特徴とする。

本発明によれば、物体に対して精度よく追従処理を行うことができる。

図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。 図２は、実施の形態に係る物体認識装置の外観の一例を示す図である。 図３は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。 図４は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。 図５は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。 図６は、撮像部から物体までの距離を導き出す原理を説明する図である。 図７は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。 図８は、ブロックマッチング処理の結果のグラフの一例を示す図である。 図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。 図１０は、視差画像から生成されるＶマップの例を示す図である。 図１１は、視差画像から生成されるＵマップの例を示す図である。 図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。 図１３は、検出枠を作成する処理を説明する図である。 図１４は、実施の形態に係る物体認識装置の認識処理部のトラッキング処理部の機能ブロック構成の一例を示す図である。 図１５は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。 図１６は、実施の形態に係る認識処理部のトラッキング処理部のトラッキング処理の動作の一例を示すフローチャートである。 図１７は、移動予測の動作を説明する図である。 図１８は、実施の形態のトラッキング処理部の判定部の分岐処理の動作の一例を示すフローチャートである。 図１９は、実施の形態のトラッキング処理部のマッチング部の歩行者用マッチング処理の動作の一例を示すフローチャートである。 図２０は、歩行者用マッチング処理における形状マッチング処理のうち輪郭を検出する動作を説明する図である。 図２１は、形状マッチング処理において検出された輪郭の一例を示す図である。 図２２は、前フレームに対応する視差画像で検出された輪郭テンプレートの一例を示す図である。 図２３は、実施の形態のマッチング部の歩行者用マッチング処理における形状マッチング処理の動作を説明する図である。 図２４は、歩行者用マッチング処理における画像マッチング処理で使用する画像テンプレートの一例を示す図である。 図２５は、実施の形態のマッチング部の歩行者用マッチング処理における画像マッチング処理の動作を説明する図である。 図２６は、実施の形態のマッチング部の歩行者用マッチング処理における境界決定処理の動作を説明する図である。 図２７は、実施の形態のマッチング部の歩行者用マッチング処理における枠補正処理の動作を説明する図である。

以下に、図１〜２７を参照しながら、本発明に係る画像処理装置、物体認識装置、機器制御システム、画像処理方法およびプログラムの実施の形態を詳細に説明する。また、以下の実施の形態によって本発明が限定されるものではなく、以下の実施の形態における構成要素には、当業者が容易に想到できるもの、実質的に同一のもの、およびいわゆる均等の範囲のものが含まれる。さらに、以下の実施の形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換、変更および組み合わせを行うことができる。

［物体認識装置を備えた車両の概略構成］
図１は、実施の形態に係る機器制御システムを車両に搭載した例を示す図である。図１を参照しながら、本実施の形態の機器制御システム６０が車両７０に搭載される場合を例に説明する。

図１のうち、図１（ａ）は、機器制御システム６０を搭載した車両７０の側面図であり、図１（ｂ）は、車両７０の正面図である。

図１に示すように、自動車である車両７０は、機器制御システム６０を搭載している。機器制御システム６０は、車両７０の居室空間である車室に設置された物体認識装置１と、車両制御装置６（制御装置）と、ステアリングホイール７と、ブレーキペダル８と、を備えている。

物体認識装置１は、車両７０の進行方向を撮像する撮像機能を有し、例えば、車両７０のフロントウィンドウ内側のバックミラー近傍に設置される。物体認識装置１は、構成および動作の詳細は後述するが、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、車両７０の進行方向の被写体を撮像できるように本体部２に固定されている。

車両制御装置６は、物体認識装置１から受信した認識情報に基づいて、各種車両制御を実行するＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）である。車両制御装置６は、車両制御の例として、物体認識装置１から受信した認識情報に基づいて、ステアリングホイール７を含むステアリング系統（制御対象の一例）を制御して障害物を回避するステアリング制御、または、ブレーキペダル８（制御対象の一例）を制御して車両７０を減速および停止させるブレーキ制御等を実行する。

このような物体認識装置１および車両制御装置６を含む機器制御システム６０のように、ステアリング制御またはブレーキ制御等の車両制御が実行されることによって、車両７０の運転の安全性を向上することができる。

なお、上述のように、物体認識装置１は、車両７０の前方を撮像するものとしたが、これに限定されるものではない。すなわち、物体認識装置１は、車両７０の後方または側方を撮像するように設置されるものとしてもよい。この場合、物体認識装置１は、車両７０の後方の後続車および人、または側方の他の車両および人等の位置を検出することができる。そして、車両制御装置６は、車両７０の車線変更時または車線合流時等における危険を検知して、上述の車両制御を実行することができる。また、車両制御装置６は、車両７０の駐車時等におけるバック動作において、物体認識装置１によって出力された車両７０の後方の障害物についての認識情報に基づいて、衝突の危険があると判断した場合に、上述の車両制御を実行することができる。

［物体認識装置の構成］
図２は、実施の形態に係る物体認識装置の外観の一例を示す図である。図２に示すように、物体認識装置１は、上述のように、本体部２と、本体部２に固定された撮像部１０ａと、撮像部１０ｂとを備えている。撮像部１０ａ、１０ｂは、本体部２に対して平行等位に配置された一対の円筒形状のカメラで構成されている。また、説明の便宜上、図２に示す撮像部１０ａを右のカメラと称し、撮像部１０ｂを左のカメラと称する場合がある。

（物体認識装置のハードウェア構成）
図３は、実施の形態に係る物体認識装置のハードウェア構成の一例を示す図である。図３を参照しながら、物体認識装置１のハードウェア構成について説明する。

図３に示すように、物体認識装置１は、本体部２内に視差値導出部３および認識処理部５を備えている。

視差値導出部３は、物体を撮像して得られた複数の画像から、物体に対する視差を示す視差値ｄｐを導出し、各画素における視差値ｄｐを示す視差画像を出力する装置である。認識処理部５は、視差値導出部３から出力された視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体に対する物体認識処理等を行い、物体認識処理の結果を示す情報である認識情報を、車両制御装置６に出力する装置である。

図３に示すように、視差値導出部３は、撮像部１０ａと、撮像部１０ｂと、信号変換部２０ａと、信号変換部２０ｂと、画像処理部３０と、を備えている。

撮像部１０ａは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ａは、撮像レンズ１１ａと、絞り１２ａと、画像センサ１３ａと、を備えている。

撮像レンズ１１ａは、入射する光を屈折させて物体の像を画像センサ１３ａに結像させるための光学素子である。絞り１２ａは、撮像レンズ１１ａを通過した光の一部を遮ることによって、画像センサ１３ａに入力する光の量を調整する部材である。画像センサ１３ａは、撮像レンズ１１ａに入射し、絞り１２ａを通過した光を電気的なアナログの画像信号に変換する半導体素子である。画像センサ１３ａは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅｓ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等の固体撮像素子によって実現される。

撮像部１０ｂは、前方の被写体を撮像してアナログの画像信号を生成する処理部である。撮像部１０ｂは、撮像レンズ１１ｂと、絞り１２ｂと、画像センサ１３ｂと、を備えている。なお、撮像レンズ１１ｂ、絞り１２ｂおよび画像センサ１３ｂの機能は、それぞれ上述した撮像レンズ１１ａ、絞り１２ａおよび画像センサ１３ａの機能と同様である。また、撮像レンズ１１ａおよび撮像レンズ１１ｂは、左右のカメラが同一の条件で撮像されるように、それぞれのレンズ面が互いに同一平面上にあるように設置されている。

信号変換部２０ａは、撮像部１０ａにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ａは、ＣＤＳ（Ｃｏｒｒｅｌａｔｅｄ Ｄｏｕｂｌｅ Ｓａｍｐｌｉｎｇ）２１ａと、ＡＧＣ（Ａｕｔｏ Ｇａｉｎ Ｃｏｎｔｒｏｌ）２２ａと、ＡＤＣ（Ａｎａｌｏｇ Ｄｉｇｉｔａｌ Ｃｏｎｖｅｒｔｅｒ）２３ａと、フレームメモリ２４ａと、を備えている。

ＣＤＳ２１ａは、画像センサ１３ａにより生成されたアナログの画像信号に対して、相関二重サンプリング、横方向の微分フィルタ、または縦方向の平滑フィルタ等によりノイズを除去する。ＡＧＣ２２ａは、ＣＤＳ２１ａによってノイズが除去されたアナログの画像信号の強度を制御する利得制御を行う。ＡＤＣ２３ａは、ＡＧＣ２２ａによって利得制御されたアナログの画像信号をデジタル形式の画像データに変換する。フレームメモリ２４ａは、ＡＤＣ２３ａによって変換された画像データを記憶する。

信号変換部２０ｂは、撮像部１０ｂにより生成されたアナログの画像信号を、デジタル形式の画像データに変換する処理部である。信号変換部２０ｂは、ＣＤＳ２１ｂと、ＡＧＣ２２ｂと、ＡＤＣ２３ｂと、フレームメモリ２４ｂと、を備えている。なお、ＣＤＳ２１ｂ、ＡＧＣ２２ｂ、ＡＤＣ２３ｂおよびフレームメモリ２４ｂの機能は、それぞれ上述したＣＤＳ２１ａ、ＡＧＣ２２ａ、ＡＤＣ２３ａおよびフレームメモリ２４ａの機能と同様である。

画像処理部３０は、信号変換部２０ａおよび信号変換部２０ｂによって変換された画像データに対して画像処理をする装置である。画像処理部３０は、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）３１と、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３２と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３３と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３４と、Ｉ／Ｆ（Ｉｎｔｅｒｆａｃｅ）３５と、バスライン３９と、を備えている。

ＦＰＧＡ３１は、集積回路であり、ここでは、画像データに基づく画像における視差値ｄｐを導出する処理を行う。ＣＰＵ３２は、視差値導出部３の各機能を制御する。ＲＯＭ３３は、ＣＰＵ３２が視差値導出部３の各機能を制御するために実行する画像処理用プログラムを記憶している。ＲＡＭ３４は、ＣＰＵ３２のワークエリアとして使用される。Ｉ／Ｆ３５は、認識処理部５におけるＩ／Ｆ５５と、通信線４を介して通信するためのインターフェースである。バスライン３９は、図３に示すように、ＦＰＧＡ３１、ＣＰＵ３２、ＲＯＭ３３、ＲＡＭ３４およびＩ／Ｆ３５が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

なお、画像処理部３０は、視差値ｄｐを導出する集積回路としてＦＰＧＡ３１を備えるものとしているが、これに限定されるものではなく、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）等の集積回路であってもよい。

図３に示すように、認識処理部５は、ＦＰＧＡ５１と、ＣＰＵ５２と、ＲＯＭ５３と、ＲＡＭ５４と、Ｉ／Ｆ５５と、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ Ａｒｅａ Ｎｅｔｗｏｒｋ）Ｉ／Ｆ５８と、バスライン５９と、を備えている。

ＦＰＧＡ５１は、集積回路であり、ここでは、画像処理部３０から受信した視差画像に基づいて、物体に対する物体認識処理を行う。ＣＰＵ５２は、認識処理部５の各機能を制御する。ＲＯＭ５３は、ＣＰＵ５２が認識処理部５の物体認識処理を実行する物体認識処理用プログラムを記憶している。ＲＡＭ５４は、ＣＰＵ５２のワークエリアとして使用される。Ｉ／Ｆ５５は、画像処理部３０のＩ／Ｆ３５と、通信線４を介してデータ通信するためのインターフェースである。ＣＡＮＩ／Ｆ５８は、外部コントローラ（例えば、図６に示す車両制御装置６）と通信するためのインターフェースであり、例えば、自動車のＣＡＮ等に接続されるバスライン５９は、図３に示すように、ＦＰＧＡ５１、ＣＰＵ５２、ＲＯＭ５３、ＲＡＭ５４、Ｉ／Ｆ５５およびＣＡＮＩ／Ｆ５８が互いに通信可能となるように接続するアドレスバスおよびデータバス等である。

このような構成により、画像処理部３０のＩ／Ｆ３５から通信線４を介して認識処理部５に視差画像が送信されると、認識処理部５におけるＣＰＵ５２の命令によって、ＦＰＧＡ５１が、視差画像に基づいて、撮像画像に写り込んでいる人および車等の物体の物体認識処理等を実行する。

なお、上述の各プログラムは、インストール可能な形式または実行可能な形式のファイルで、コンピュータで読み取り可能な記録媒体に記録して流通させてもよい。この記録媒体は、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）またはＳＤ（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ）メモリカード等である。

また、図３に示すように、視差値導出部３の画像処理部３０と、認識処理部５とは別体の装置としているが、これに限定されるものではなく、例えば、画像処理部３０と認識処理部５とを同一の装置として、視差画像の生成、および物体認識処理を行うものとしてもよい。

（物体認識装置の機能ブロックの構成および動作）
図４は、実施の形態に係る物体認識装置の機能ブロック構成の一例を示す図である。まず、図４を参照しながら、物体認識装置１の要部の機能ブロックの構成および動作について説明する。

図３でも上述したが、図４に示すように、物体認識装置１は、視差値導出部３と、認識処理部５と、を備えている。このうち、視差値導出部３は、画像取得部１００ａ（第１撮像手段）と、画像取得部１００ｂ（第２撮像手段）と、変換部２００ａ、２００ｂと、視差値演算処理部３００（生成手段）と、を有する。

画像取得部１００ａは、右のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ａは、図３に示す撮像部１０ａによって実現される。

画像取得部１００ｂは、左のカメラにより前方の被写体を撮像して、アナログの画像信号を生成し、画像信号に基づく画像である輝度画像を得る機能部である。画像取得部１００ｂは、図３に示す撮像部１０ｂによって実現される。

変換部２００ａは、画像取得部１００ａにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ａは、図３に示す信号変換部２０ａによって実現される。

変換部２００ｂは、画像取得部１００ｂにより得られた輝度画像の画像データに対して、ノイズを除去し、デジタル形式の画像データに変換して出力する機能部である。変換部２００ｂは、図３に示す信号変換部２０ｂによって実現される。

ここで、変換部２００ａ、２００ｂが出力する２つの輝度画像の画像データ（以下、単に、輝度画像と称する）のうち、右のカメラ（撮像部１０ａ）である画像取得部１００ａにより撮像された輝度画像を基準画像Ｉａの画像データ（以下、単に、基準画像Ｉａと称する）（第１撮像画像）とし、左のカメラ（撮像部１０ｂ）である画像取得部１００ｂにより撮像された輝度画像を比較画像Ｉｂの画像データ（以下、単に、比較画像Ｉｂと称する）（第２撮像画像）とする。すなわち、変換部２００ａ、２００ｂは、画像取得部１００ａ、１００ｂそれぞれから出力された２つの輝度画像に基づいて、それぞれ基準画像Ｉａおよび比較画像Ｉｂを出力する。

視差値演算処理部３００は、変換部２００ａ、２００ｂそれぞれから受信した基準画像Ｉａおよび比較画像Ｉｂに基づいて、基準画像Ｉａの各画素についての視差値を導出し、基準画像Ｉａの各画素に視差値を対応させた視差画像（距離画像の一例）を生成する機能部である。視差値演算処理部３００は、生成した視差画像を、認識処理部５に出力する。なお、視差値演算処理部３００が生成する画像は視差画像に限定されるものではなく、視差値と同様に物体までの距離を示す情報を画素値とする画像（距離画像）であればよい。

認識処理部５は、視差値導出部３から受信した基準画像Ｉａおよび視差画像に基づいて、物体を認識（検出）し、かつ、認識した物体を追跡（トラッキング）する物体認識処理を行う機能部である。

＜視差値演算処理部の機能ブロックの構成および動作＞
図５は、実施の形態に係る物体認識装置の視差値演算処理部の機能ブロック構成の一例を示す図である。図６は、撮像部から物体までの距離を導き出す原理を説明する図である。図７は、基準画像における基準画素に対応する比較画像における対応画素を求める場合の説明図である。図８は、ブロックマッチング処理の結果のグラフの一例を示す図である。

まず、図６〜８を用いて、ブロックマッチング処理による測距方法の概略について説明する。

＜＜測距の原理＞＞
図６を参照しながら、ステレオマッチング処理により、ステレオカメラから物体に対する視差を導出し、この視差を示す視差値によって、ステレオカメラから物体までの距離を測定する原理について説明する。

図６に示す撮像システムは、平行等位に配置された撮像部１０ａと撮像部１０ｂとを有するものとする。撮像部１０ａ、１０ｂは、それぞれ、入射する光を屈折させて物体の像を固体撮像素子である画像センサに結像させる撮像レンズ１１ａ、１１ｂを有する。撮像部１０ａおよび撮像部１０ｂによって撮像された各画像を、それぞれ基準画像Ｉａおよび比較画像Ｉｂとする。図６において、３次元空間内の物体Ｅ上の点Ｓは、基準画像Ｉａおよび比較画像Ｉｂそれぞれにおいて、撮像レンズ１１ａと撮像レンズ１１ｂとを結ぶ直線と平行な直線上の位置に写像される。ここで、各画像に写像された点Ｓを、基準画像Ｉａにおいて点Ｓａ（ｘ，ｙ）とし、比較画像Ｉｂにおいて点Ｓｂ（Ｘ，ｙ）とする。このとき、視差値ｄｐは、基準画像Ｉａ上の座標における点Ｓａ（ｘ，ｙ）と比較画像Ｉｂ上の座標における点Ｓｂ（Ｘ，ｙ）とを用いて、以下の（式１）のように表される。

ｄｐ＝Ｘ−ｘ （式１）

また、図６において、基準画像Ｉａにおける点Ｓａ（ｘ，ｙ）と撮像レンズ１１ａから撮像面上におろした垂線の交点との距離をΔａとし、比較画像Ｉｂにおける点Ｓｂ（Ｘ，ｙ）と撮像レンズ１１ｂから撮像面上におろした垂線の交点との距離をΔｂとすると、視差値ｄｐは、ｄｐ＝Δａ＋Δｂと表すこともできる。

次に、視差値ｄｐを用いることにより、撮像部１０ａ、１０ｂと物体Ｅとの間の距離Ｚを導出する。ここで、距離Ｚは、撮像レンズ１１ａの焦点位置と撮像レンズ１１ｂの焦点位置とを結ぶ直線から物体Ｅ上の点Ｓまでの距離である。図６に示すように、撮像レンズ１１ａおよび撮像レンズ１１ｂの焦点距離ｆ、撮像レンズ１１ａと撮像レンズ１１ｂとの間の長さである基線長Ｂ、および視差値ｄｐを用いて、下記の（式２）により、距離Ｚを算出することができる。

Ｚ＝（Ｂ×ｆ）／ｄｐ （式２）

この（式２）により、視差値ｄｐが大きいほど距離Ｚは小さく、視差値ｄｐが小さいほど距離Ｚは大きくなることがわかる。

＜＜ブロックマッチング処理＞＞
次に、図７および８を用いて、ブロックマッチング処理による測距方法について説明する。

図７および８を参照しながら、コスト値Ｃ（ｐ，ｄ）の算出方法について説明する。なお、以降、Ｃ（ｐ，ｄ）は、Ｃ（ｘ，ｙ，ｄ）を表すものとして説明する。

図７のうち、図７（ａ）は、基準画像Ｉａにおける基準画素ｐおよび基準領域ｐｂを示す概念図を示し、図７（ｂ）は、図７（ａ）に示す基準画素ｐに対応する比較画像Ｉｂにおける対応画素の候補を順次シフトしながら（ずらしながら）、コスト値Ｃを算出する際の概念図である。ここで、対応画素とは、基準画像Ｉａにおける基準画素ｐに最も類似する比較画像Ｉｂにおける画素を示す。また、コスト値Ｃとは、基準画像Ｉａにおける基準画素ｐに対する、比較画像Ｉｂにおける各画素の類似度または非類似度を表す評価値（一致度）である。以下に示すコスト値Ｃは、値が小さいほど、比較画像Ｉｂにおける画素が基準画素ｐと類似していることを示す非類似度を表す評価値であるものとして説明する。

図７（ａ）に示すように、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）、および、基準画素ｐ（ｘ，ｙ）に対する比較画像Ｉｂにおけるエピポーラ線ＥＬ上の対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値（画素値）に基づいて、基準画素ｐ（ｘ，ｙ）に対する対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）が算出される。ｄは、基準画素ｐと候補画素ｑとのシフト量（ずれ量）であり、シフト量ｄは、画素単位でシフトされる。すなわち、候補画素ｑ（ｘ＋ｄ，ｙ）を予め指定された範囲（例えば、０＜ｄ＜２５）において順次一画素分シフトしながら、候補画素ｑ（ｘ＋ｄ，ｙ）と基準画素ｐ（ｘ，ｙ）との輝度値の非類似度であるコスト値Ｃ（ｐ，ｄ）が算出される。また、基準画素ｐの対応画素を求めるためステレオマッチング処理として、本実施の形態ではブロックマッチング処理を行う。ブロックマッチング処理では、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度を求める。基準領域ｐｂと候補領域ｑｂとの非類似度を示すコスト値Ｃとしては、ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）、ＳＳＤ（Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）、または、ＳＳＤの値から各ブロックの平均値を減算したＺＳＳＤ（Ｚｅｒｏ−ｍｅａｎ−Ｓｕｍ ｏｆ Ｓｑｕａｒｅｄ Ｄｉｆｆｅｒｅｎｃｅ）等が用いられる。これらの評価値は、相関が高い（類似の度合いが高い）ほど、値が小さくなるので非類似度を示す。

なお、上述のように、撮像部１０ａ、１０ｂは、それぞれ平行等位に配置されるため、基準画像Ｉａおよび比較画像Ｉｂも、それぞれ平行等位の関係にある。したがって、基準画像Ｉａにおける基準画素ｐに対応する比較画像Ｉｂにおける対応画素は、図７に紙面視横方向の線として示されるエピポーラ線ＥＬ上に存在することになり、比較画像Ｉｂにおける対応画素を求めるためには、比較画像Ｉｂのエピポーラ線ＥＬ上の画素を探索すればよい。

このようなブロックマッチング処理で算出されたコスト値Ｃ（ｐ，ｄ）は、シフト量ｄとの関係で、例えば、図８に示すグラフにより表される。図８の例では、コスト値Ｃは、シフト量ｄ＝７の場合が最小値となるため、視差値ｄｐ＝７として導出される。

＜＜視差値演算処理部の機能ブロックの具体的な構成および動作＞＞
図５を参照しながら、視差値演算処理部３００の機能ブロックの具体的な構成および動作について説明する。

図５に示すように、視差値演算処理部３００は、コスト算出部３０１と、決定部３０２と、第１生成部３０３と、を有する。

コスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補である候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する機能部である。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。

決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する機能部である。

第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の画素値を、その画素に対応する視差値ｄｐで置き換えた画像である視差画像を生成する機能部である。

図５に示すコスト算出部３０１、決定部３０２および第１生成部３０３は、それぞれ図３に示すＦＰＧＡ３１によって実現される。なお、コスト算出部３０１、決定部３０２および第１生成部３０３の一部または全部は、ハードウェア回路であるＦＰＧＡ３１ではなく、ＲＯＭ３３に記憶されているプログラムがＣＰＵ３２によって実行されることによって実現されるものとしてもよい。

なお、図５に示す視差値演算処理部３００のコスト算出部３０１、決定部３０２および第１生成部３０３は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図５に示す視差値演算処理部３００で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図５に示す視差値演算処理部３００で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

＜認識処理部の機能ブロックの構成および動作＞
図９は、実施の形態に係る物体認識装置の認識処理部の機能ブロック構成の一例を示す図である。図１０は、視差画像から生成されるＶマップの例を示す図である。図１１は、視差画像から生成されるＵマップの例を示す図である。図１２は、Ｕマップから生成されるリアルＵマップの例を示す図である。図１３は、検出枠を作成する処理を説明する図である。図９〜１３を参照しながら、認識処理部５の機能ブロックの構成および動作について説明する。

図９に示すように、認識処理部５は、第２生成部５００と、クラスタリング処理部５１０（検出手段）と、トラッキング処理部５２０と、を有する。

第２生成部５００は、視差値演算処理部３００から視差画像を入力し、かつ、視差値導出部３から基準画像Ｉａを入力し、Ｖ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ−Ｄｉｓｐａｒｉｔｙマップ等を生成する機能部である。具体的には、第２生成部５００は、視差値演算処理部３００から入力した視差画像から路面を検出するために、図１０（ｂ）に示すＶ−ＤｉｓｐａｒｉｔｙマップであるＶマップＶＭを生成する。ここで、Ｖ−Ｄｉｓｐａｒｉｔｙマップとは、縦軸を基準画像Ｉａのｙ軸とし、横軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１０（ａ）に示す基準画像Ｉａには、例えば、路面７００と、電柱７０１と、車７０２とが写り込んでいる。この基準画像Ｉａの路面７００は、ＶマップＶＭにおいては路面部７００ａに対応し、電柱７０１は、電柱部７０１ａに対応し、車７０２は、車部７０２ａに対応する。

また、第２生成部５００は、生成したＶマップＶＭから、路面と推定される位置を直線近似する。路面が平坦な場合は、１本の直線で近似可能であるが、勾配が変わる路面の場合は、ＶマップＶＭの区間を分割して精度よく直線近似する必要がある。直線近似としては、公知技術であるハフ変換または最小二乗法等が利用できる。ＶマップＶＭにおいて、検出された路面部７００ａより上方に位置する塊である電柱部７０１ａおよび車部７０２ａは、それぞれ路面上の物体である電柱７０１および車７０２に相当する。後述する第２生成部５００によりＵ−Ｄｉｓｐａｒｉｔｙマップが生成される際に、ノイズ除去のため路面より上方の情報のみが用いられる。

また、第２生成部５００は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１１（ａ）に示す基準画像Ｉａでは左ガードレール７１１、右ガードレール７１２、車７１３および車７１４に対応する視差画像上の情報を利用して、物体を認識するために、図１１（ｂ）に示すＵ−ＤｉｓｐａｒｉｔｙマップであるＵマップＵＭを生成する。ここで、ＵマップＵＭは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐ（または距離）とした、視差値ｄｐの頻度分布を示す二次元ヒストグラムである。図１１（ａ）に示す基準画像Ｉａの左ガードレール７１１は、ＵマップＵＭにおいては左ガードレール部７１１ａに対応し、右ガードレール７１２は、右ガードレール部７１２ａに対応し、車７１３は、車部７１３ａに対応し、車７１４は、車部７１４ａに対応する。

また、第２生成部５００は、ＶマップＶＭで検出された路面より上方に位置する情報のみを利用、すなわち、図１１（ａ）に示す基準画像Ｉａでは左ガードレール７１１、右ガードレール７１２、車７１３および車７１４に対応する視差画像上の情報を利用して、図１１（ｃ）に示すＵ−Ｄｉｓｐａｒｉｔｙマップの一例であるＵマップＵＭ＿Ｈを生成する。ここで、Ｕ−Ｄｉｓｐａｒｉｔｙマップの一例であるＵマップＵＭ＿Ｈは、横軸を基準画像Ｉａのｘ軸とし、縦軸を視差画像の視差値ｄｐとし、画素値を物体の高さとした画像である。図１１（ａ）に示す基準画像Ｉａの左ガードレール７１１は、ＵマップＵＭ＿Ｈにおいては左ガードレール部７１１ｂに対応し、右ガードレール７１２は、右ガードレール部７１２ｂに対応し、車７１３は、車部７１３ｂに対応し、車７１４は、車部７１４ｂに対応する。

また、第２生成部５００は、生成した図１２（ａ）に示すＵマップＵＭから、横軸を実際の距離に変換した図１２（ｂ）に示すＲｅａｌ Ｕ−ＤｉｓｐａｒｉｔｙマップであるリアルＵマップＲＭを生成する。ここで、リアルＵマップＲＭは、横軸を、撮像部１０ｂ（右のカメラ）から撮像部１０ａ（左のカメラ）へ向かう方向の実距離とし、縦軸を、視差画像の視差値ｄｐ（またはその視差値ｄｐから変換した奥行き方向の距離）とした二次元ヒストグラムである。図１２（ａ）に示すＵマップＵＭの左ガードレール部７１１ａは、リアルＵマップＲＭにおいては左ガードレール部７１１ｃに対応し、右ガードレール部７１２ａは、右ガードレール部７１２ｃに対応し、車部７１３ａは、車部７１３ｃに対応し、車部７１４ａは、車部７１４ｃに対応する。具体的には、第２生成部５００は、ＵマップＵＭでは、遠方（視差値ｄｐが小さい）では物体が小さいため、視差情報が少なく、距離の分解能も小さいので間引きせず、近距離の場合は物体が大きく写るため、視差情報が多く、距離の分解能も大きいので画素を大きく間引くことによって、リアルＵマップＲＭを生成する。後述するように、クラスタリング処理部５１０により、リアルＵマップＲＭから画素値の塊（物体）を抽出して物体を検出することができる。なお、第２生成部５００は、ＵマップＵＭからリアルＵマップＲＭを生成することに限定されるものではなく、視差画像から、直接、リアルＵマップＲＭを生成することも可能である。

なお、視差値導出部３から第２生成部５００に入力される画像は基準画像Ｉａに限定されるものではなく、比較画像Ｉｂを対象とするものとしてもよい。

クラスタリング処理部５１０は、第２生成部５００から入力された各マップに基づいて、視差画像に写っている物体を検出する機能部である。クラスタリング処理部５１０は、生成したＵマップＵＭまたはリアルＵマップＲＭから、物体の視差画像および基準画像Ｉａにおけるｘ軸方向の位置および幅（ｘｍｉｎ，ｘｍａｘ）を特定できる。また、クラスタリング処理部５１０は、生成したＵマップＵＭまたはリアルＵマップＲＭでの物体の高さの情報（ｄｍｉｎ，ｄｍａｘ）から物体の実際の奥行きを特定できる。また、クラスタリング処理部５１０は、生成したＶマップＶＭから、物体の視差画像および基準画像Ｉａにおけるｙ軸方向の位置および高さ（ｙｍｉｎ＝「最大視差値の路面からの最大高さに相当するｙ座標」，ｙｍａｘ＝「最大視差値から得られる路面の高さを示すｙ座標」）を特定できる。また、クラスタリング処理部５１０は、視差画像において特定した物体のｘ軸方向の幅（ｘｍｉｎ，ｘｍａｘ）、ｙ軸方向の高さ（ｙｍｉｎ，ｙｍａｘ）およびそれぞれに対応する視差値ｄｐから、物体の実際のｘ軸方向およびｙ軸方向のサイズが特定できる。以上のように、クラスタリング処理部５１０は、ＶマップＶＭ、ＵマップＵＭおよびリアルＵマップＲＭを利用して、基準画像Ｉａでの物体の位置、ならびに実際の幅、高さおよび奥行きを特定することができる。また、クラスタリング処理部５１０は、基準画像Ｉａでの物体の位置が特定されるので、視差画像における位置も定まり、物体までの距離も特定できる。

そして、クラスタリング処理部５１０は、最終的に、図１３（ａ）に示すように、リアルＵマップＲＭ上で特定（検出）した物体の検出領域７２１〜７２４にそれぞれ対応するように、図１３（ｂ）に示す基準画像Ｉａまたは視差画像Ｉｐ上の検出枠７２１ａ〜７２４ａを作成する。

また、クラスタリング処理部５１０は、物体について特定した実際のサイズ（幅、高さ、奥行き）から、下記の（表１）を用いて、物体が何であるかを特定することができる。例えば、物体の幅が１３００［ｍｍ］、高さが１８００［ｍｍ］、奥行きが２０００［ｍｍ］である場合、物体は「普通車」であると特定できる。なお、（表１）のような幅、高さおよび奥行きと、物体の種類（物体タイプ）とを関連付ける情報をテーブルとして、ＲＡＭ５４等に記憶させておくものとすればよい。

クラスタリング処理部５１０は、検出（認識）された物体に関する情報を認識領域情報として生成する。ここで、認識領域情報とは、クラスタリング処理部５１０により検出された物体に関する情報を示し、例えば、検出した物体の基準画像Ｉａ、Ｖ−Ｄｉｓｐａｒｉｔｙマップ、Ｕ−Ｄｉｓｐａｒｉｔｙマップ、およびＲｅａｌ Ｕ−Ｄｉｓｐａｒｉｔｙマップ等における位置および大きさ、検出した物体の種類ならびに、後述する棄却フラグ等の情報を含む。

図９に示す認識処理部５の第２生成部５００およびクラスタリング処理部５１０は、それぞれ図３に示すＦＰＧＡ５１によって実現される。なお、第２生成部５００およびクラスタリング処理部５１０の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

トラッキング処理部５２０は、クラスタリング処理部５１０により検出（認識）された物体に関する情報である認識領域情報に基づいて、その物体を棄却したり、追跡処理をしたりするトラッキング処理を実行する機能部である。トラッキング処理部５２０の具体的な構成は、後述する図１４で説明する。ここで、棄却とは、その物体を後段の処理（例えば、車両制御装置６における制御処理等）の対象外とすることを示す。

なお、本発明に係る「画像処理装置」は、トラッキング処理部５２０であってもよく、トラッキング処理部５２０を含む認識処理部５であってもよい。

＜＜トラッキング処理部の機能ブロックの構成および動作＞＞
図１４は、実施の形態に係る物体認識装置の認識処理部のトラッキング処理部の機能ブロック構成の一例を示す図である。図１４を参照しながら、認識処理部５のトラッキング処理部５２０の機能ブロックの構成および動作について説明する。

図１４に示すように、トラッキング処理部５２０は、移動予測部６００（予測手段）と、マッチング部６１０と、チェック部６２０と、特徴更新部６３０（更新手段）と、状態遷移部６４０と、を有する。

移動予測部６００は、クラスタリング処理部５１０により新規検出された物体のこれまでの移動および動作状態の履歴、ならびに車両情報を用いて、これまで追従（トラッキング）してきた物体ごとに、現在の輝度画像（以下、単に「フレーム」という場合がある）（または、それに対応する視差画像）上で物体が存在する確率が高い予測領域を予測する機能部である。移動予測部６００は、前回のフレーム（以下、単に「前フレーム」という場合がある）までの移動情報（例えば、重心の相対位置履歴および相対速度履歴等)、および車両情報を用いて、ｘｚ平面（ｘ：フレーム横位置、z：距離）で物体の動きを予測する。なお、移動予測部６００は、予測以上の動きを持つ物体に対応するために、前回予測した予測領域よりも拡大する処理を行ってもよい。また、上述の移動情報は、各検出された物体ごとの認識領域情報に含まれるものとしてもよい。以下の説明では、認識領域情報は上述の移動情報を含むものとして説明する。

マッチング部６１０は、移動予測部６００により予測された予測領域内における前フレームで求めた特徴量（テンプレート）との類似度に基づくテンプレートマッチングを行い、現在のフレーム（以下、単に「現在フレーム」という）における物体（特に、車両および歩行者）の位置を求めるマッチング処理を行う機能部である。ここで、歩行者とは、撮像手段等により撮像された撮像画像に含まれる人物を示すものとし、歩いている者、走っている者、および止まっている者等すべての者を示すものとする。マッチング部６１０は、判定部６１１と、形状マッチング部６１２（第１マッチング手段）と、画像マッチング部６１３（第２マッチング手段）と、境界決定部６１４（決定手段）と、補正処理部６１５と、を有する。

判定部６１１は、物体の認識領域情報に基づいて、その物体が車両であるか歩行者であるかを判定し、物体が車両である場合は、後段の処理で、車両を追跡するための車両用マッチング処理を実行させ、歩行者である場合は、後段の処理で、歩行者を追跡するための歩行者用マッチング処理を実行させる分岐処理を行う機能部である。

形状マッチング部６１２は、歩行者用マッチング処理において、視差画像において歩行者の頭部を主とする輪郭を検出し、前フレームに対応する視差画像で検出された歩行者の輪郭をテンプレート（輪郭テンプレート）としてテンプレートマッチングを行う形状マッチング処理を行う機能部である。

画像マッチング部６１３は、歩行者用マッチング処理において、現在フレームである輝度画像において、前フレームに対応する視差画像で検出された輪郭テンプレートに基づいた画像テンプレートによりテンプレートマッチングを行う画像マッチング処理を行う機能部である。

境界決定部６１４は、歩行者用マッチング処理において、現在フレームで複数の歩行者の輪郭が検出された場合、画像マッチング部６１３によって検出（位置が決定）された歩行者以外の歩行者との境界を決定する境界決定処理を行う機能部である。

補正処理部６１５は、画像マッチング部６１３により検出された歩行者の検出領域の枠（検出枠）について枠補正処理を行う機能部である。すなわち、補正処理部６１５により歩行者の検出枠について枠補正処理が行われた後の検出枠の画像が、現在フレーム（または現在フレームに対応する視差画像）でのその歩行者の検出領域となる。

チェック部６２０は、マッチング部６１０により検出された物体の検出領域の大きさに基づいて、トラッキングの目的とする物体（例えば、歩行者または車両）の大きさに対応するか否かを判断する機能である。

特徴更新部６３０は、現在フレームで検出された物体の検出領域の画像から、次のフレームにおいて、形状マッチング部６１２および画像マッチング部６１３のテンプレートマッチングで用いる特徴量（輪郭テンプレートおよび画像テンプレート）を更新する機能部である。

状態遷移部６４０は、補正処理部６１５により最終的に定まった物体の認識領域情報に基づいて、物体の状態を遷移させる機能部である。例えば、状態遷移部６４０は、チェック部６２０によりトラッキングの目的とする物体と判断されなかった物体、および、形状マッチング部６１２および画像マッチング部６１３によるマッチングにより物体を検出（追跡）できなかった物体を棄却する旨を示す棄却フラグを、その物体の認識領域情報に含めることによって物体の状態を遷移させる。状態遷移部６４０は、遷移させた物体の状態を反映させた認識領域情報を、認識情報として車両制御装置６（図４参照）に出力する。

図１４に示す移動予測部６００、マッチング部６１０の判定部６１１、形状マッチング部６１２、画像マッチング部６１３、境界決定部６１４および補正処理部６１５、チェック部６２０、特徴更新部６３０、ならびに状態遷移部６４０は、それぞれ図３に示すＦＰＧＡ５１によって実現される。なお、これらの機能部の一部または全部は、ハードウェア回路であるＦＰＧＡ５１ではなく、ＲＯＭ５３に記憶されているプログラムがＣＰＵ５２によって実行されることによって実現されるものとしてもよい。

なお、図１４に示すトラッキング処理部５２０の各機能部は、機能を概念的に示したものであって、このような構成に限定されるものではない。例えば、図１４に示すトラッキング処理部５２０で独立した機能部として図示した複数の機能部を、１つの機能部として構成してもよい。一方、図１４に示すトラッキング処理部５２０で１つの機能部が有する機能を複数に分割し、複数の機能部として構成するものとしてもよい。

［物体認識装置の動作］
次に、図１５〜２７を参照しながら、物体認識装置１の具体的な動作について説明する。

（視差値導出部のブロックマッチング処理）
図１５は、実施の形態に係る視差値導出部のブロックマッチング処理の動作の一例を示すフローチャートである。図１５を参照しながら、物体認識装置１の視差値導出部３のブロックマッチング処理の動作の流れについて説明する。

＜ステップＳ１−１＞
視差値導出部３の画像取得部１００ｂは、左のカメラ（撮像部１０ｂ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−１へ移行する。

＜ステップＳ１−２＞
視差値導出部３の画像取得部１００ａは、右のカメラ（撮像部１０ａ）により前方の被写体を撮像して、それぞれアナログの画像信号を生成し、その画像信号に基づく画像である輝度画像を得る。これによって、後段の画像処理の対象となる画像信号が得られることになる。そして、ステップＳ２−２へ移行する。

＜ステップＳ２−１＞
視差値導出部３の変換部２００ｂは、撮像部１０ｂにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−１へ移行する。

＜ステップＳ２−２＞
視差値導出部３の変換部２００ａは、撮像部１０ａにより撮像されて得られたアナログの画像信号に対して、ノイズを除去し、デジタル形式の画像データに変換する。このように、デジタル形式の画像データに変換することによって、その画像データに基づく画像に対して画素ごとの画像処理が可能となる。そして、ステップＳ３−２へ移行する。

＜ステップＳ３−１＞
変換部２００ｂは、ステップＳ２−１において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における比較画像Ｉｂとして出力する。これによって、ブロックマッチング処理において視差値を求めるための比較対象となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ３−２＞
変換部２００ａは、ステップＳ２−２において変換したデジタル形式の画像データに基づく画像をブロックマッチング処理における基準画像Ｉａとして出力する。これによって、ブロックマッチング処理において視差値を求めるための基準となる画像を得る。そして、ステップＳ４へ移行する。

＜ステップＳ４＞
視差値導出部３の視差値演算処理部３００のコスト算出部３０１は、基準画像Ｉａにおける基準画素ｐ（ｘ，ｙ）の輝度値、および、基準画素ｐ（ｘ，ｙ）に基づく比較画像Ｉｂにおけるエピポーラ線ＥＬ上で、基準画素ｐ（ｘ，ｙ）の位置に相当する画素からシフト量ｄでシフトすることにより特定される、対応画素の候補画素ｑ（ｘ＋ｄ，ｙ）の各輝度値に基づいて、各候補画素ｑ（ｘ＋ｄ，ｙ）のコスト値Ｃ（ｐ，ｄ）を算出する。具体的には、コスト算出部３０１は、ブロックマッチング処理により、基準画像Ｉａの基準画素ｐを中心とする所定領域である基準領域ｐｂと、比較画像Ｉｂの候補画素ｑを中心とする候補領域ｑｂ（大きさは基準領域ｐｂと同一）との非類似度をコスト値Ｃとして算出する。そして、ステップＳ５へ進む。

＜ステップＳ５＞
視差値導出部３の視差値演算処理部３００の決定部３０２は、コスト算出部３０１により算出されたコスト値Ｃの最小値に対応するシフト量ｄを、コスト値Ｃの算出の対象となった基準画像Ｉａの画素についての視差値ｄｐとして決定する。そして、視差値導出部３の視差値演算処理部３００の第１生成部３０３は、決定部３０２により決定された視差値ｄｐに基づいて、基準画像Ｉａの各画素の輝度値を、その画素に対応する視差値ｄｐで表した画像である視差画像を生成する。第１生成部３０３は、生成した視差画像を、認識処理部５に出力する。

なお、上述のステレオマッチング処理は、ブロックマッチング処理を例として説明したが、これに限定されるものではなく、ＳＧＭ（Ｓｅｍｉ−Ｇｌｏｂａｌ Ｍａｔｃｈｉｎｇ）法を用いた処理であってもよい。

（認識処理部のトラッキング処理部のトラッキング処理）
図１６は、実施の形態に係る認識処理部のトラッキング処理部のトラッキング処理の動作の一例を示すフローチャートである。図１７は、移動予測の動作を説明する図である。図１６および１７を参照しながら、認識処理部５のトラッキング処理部５２０のトラッキング処理の動作の流れについて説明する。

＜ステップＳ１１＞
トラッキング処理部５２０の移動予測部６００は、前段のクラスタリング処理部５１０により新規検出された物体のこれまでの移動および動作状態の履歴、ならびに車両情報を含む認識領域情報を用いて、これまで追従（トラッキング）してきた物体ごとに、図１７に示すように、現在フレーム（基準画像Ｉａ）（またはそれに対応する視差画像）上で物体が存在する確率が高い予測領域８００を予測する。そして、ステップＳ１２へ移行する。

＜ステップＳ１２＞
トラッキング処理部５２０のマッチング部６１０は、予測領域８００内における前フレームで求めた特徴量（テンプレート）との類似度に基づくテンプレートマッチングを行い、現在フレームにおける物体（特に、車両および歩行者）の位置を求める。マッチング部６１０によるマッチング処理の詳細は、図１８および１９で後述する。そして、ステップＳ１３へ移行する。

＜ステップＳ１３＞
トラッキング処理部５２０のチェック部６２０は、マッチング部６１０により検出された物体の検出領域の大きさに基づいて、トラッキングの目的とする物体（例えば、歩行者または車両）の大きさに対応するか否かを判断する。そして、ステップＳ１４へ移行する。

＜ステップＳ１４＞
トラッキング処理部５２０の特徴更新部６３０は、現在フレームで検出された物体の検出領域の画像から、次のフレームにおいて、形状マッチング部６１２および画像マッチング部６１３のテンプレートマッチングで用いる特徴量（輪郭テンプレートおよび画像テンプレート）を更新する。そして、ステップＳ１５へ移行する。

＜ステップＳ１５＞
トラッキング処理部５２０の状態遷移部６４０は、補正処理部６１５により最終的に定まった物体の認識領域情報に基づいて、物体の状態を遷移させる。状態遷移部６４０は、遷移させた物体の状態を反映させた認識領域情報を、認識情報として車両制御装置６に出力する。

以上のステップＳ１１〜Ｓ１５の処理により、トラッキング処理部５２０によるトラッキング処理が行われる。なお、ステップＳ１１〜Ｓ１５の処理は、クラスタリング処理部５１０により新規検出された物体の検出領域ごとに実行される。

（トラッキング処理における分岐処理）
図１８は、実施の形態のトラッキング処理部の判定部の分岐処理の動作の一例を示すフローチャートである。図１８を参照しながら、トラッキング処理部５２０のマッチング部６１０の分岐処理の動作の流れについて説明する。

＜ステップＳ１２１＞
マッチング部６１０の判定部６１１は、物体の認識領域情報に基づいて、追跡対象となる物体（追跡物体）の種類を判定する。物体が車両である場合（ステップＳ１２１：車両）、ステップＳ１２２へ移行し、物体が歩行者である場合（ステップＳ１２１：歩行者）、ステップＳ１２３へ移行する。なお、トラッキング処理の対象となる物体が車両および歩行者に限られる場合、判定部６１１は、物体の種類の判定の結果、車両および歩行者でないと判定した場合、その物体の認識領域情報に、その物体を棄却する旨を示す棄却フラグを含めるものとしてもよい。

＜ステップＳ１２２＞
判定部６１１は、物体が車両であると判定した場合、車両を追跡するための車両用マッチング処理を実行させる。そして、分岐処理を終了する。

＜ステップＳ１２３＞
判定部６１１は、物体が歩行者であると判定した場合、歩行者を追跡するための歩行者用マッチング処理を実行させる。歩行者用マッチング処理の詳細は、図１９で後述する。そして、分岐処理を終了する。

以上のステップＳ１２１〜Ｓ１２３の処理により、トラッキング処理部５２０のマッチング部６１０による分岐処理が行われる。

（トラッキング処理における歩行者用マッチング処理）
図１９は、実施の形態のトラッキング処理部のマッチング部の歩行者用マッチング処理の動作の一例を示すフローチャートである。図２０は、歩行者用マッチング処理における形状マッチング処理のうち輪郭を検出する動作を説明する図である。図２１は、形状マッチング処理において検出された輪郭の一例を示す図である。図２２は、前フレームに対応する視差画像で検出された輪郭テンプレートの一例を示す図である。図２３は、実施の形態のマッチング部の歩行者用マッチング処理における形状マッチング処理の動作を説明する図である。図２４は、歩行者用マッチング処理における画像マッチング処理で使用する画像テンプレートの一例を示す図である。図２５は、実施の形態のマッチング部の歩行者用マッチング処理における画像マッチング処理の動作を説明する図である。図２６は、実施の形態のマッチング部の歩行者用マッチング処理における境界決定処理の動作を説明する図である。図２７は、実施の形態のマッチング部の歩行者用マッチング処理における枠補正処理の動作を説明する図である。図１９〜２７を参照しながら、トラッキング処理部５２０のマッチング部６１０の歩行者用マッチング処理の動作の流れについて説明する。

＜ステップＳ１２３１＞
マッチング部６１０の形状マッチング部６１２は、視差画像において歩行者の頭部を主とする輪郭を検出し、前フレームに対応する視差画像で検出された歩行者の輪郭をテンプレート（輪郭テンプレート）としてテンプレートマッチングを行う形状マッチング処理を行う。具体的には、形状マッチング部６１２は、まず、図２０に示すように、現フレームに対応する視差画像における、移動予測部６００により予測された予測領域８０１において、各ｘ座標で上端から下方向へ向かって探索し、歩行者の視差値に行き当たる位置（Ｙ座標）を特定していく。次に、形状マッチング部６１２は、特定した位置を結ぶことによって、図２１に示すように、予測領域８０１において、歩行者の頭部から肩近傍にかけての輪郭である輪郭９０１を取得する。ただし、取得された輪郭は、本来この時点では歩行者の輪郭か、歩行者以外の物体の輪郭かについては判別されていないが、ここでは、図２０に示す歩行者を例にして説明するものとする。図２１の例では、２人の歩行者の輪郭が抽出された場合の例を示している。次に、形状マッチング部６１２は、前フレームに対応する視差画像の予測領域８０２で検出された歩行者の輪郭をテンプレート（図２２に示す輪郭テンプレート９０２）を、予測領域８０１において横方向（Ｘ方向）にずらしながら、輪郭９０１に対するテンプレートマッチングを行う。なお、テンプレートマッチングに用いる類似度を示すコスト値としては、例えば、ＳＡＤ、ＳＳＤまたはＺＳＳＤ等を用いるものとすればよい。図２３に示す例では、ＳＡＤを用いた場合を示す。

形状マッチング部６１２は、予測領域８０１において、輪郭テンプレート９０２を横方向にずらしながらＳＡＤを算出し、ＳＡＤの値が極小となるＸ方向の位置（すなわち、類似度が高い位置）を特定する。図２３の例では、形状マッチング部６１２は、ＳＡＤの値が極小となるＸ方向の位置、すなわち、追跡対象の歩行者が存在する候補となるＸ方向の位置である候補位置Ｐ１、Ｐ２を特定する。ここで、形状マッチング部６１２は、追跡対象となる歩行者のＸ方向の位置として判定した位置は、例えば、ＳＡＤが最も小さくなった場合に位置する輪郭テンプレート９０２の最も上側に存在する画素のＸ方向の位置とすればよい。形状マッチング部６１２は、特定した候補位置Ｐ１、Ｐ２の情報を、画像マッチング部６１３に送る。そして、ステップＳ１２３２へ移行する。

＜ステップＳ１２３２＞
マッチング部６１０の画像マッチング部６１３は、現在フレームである輝度画像（基準画像Ｉａ）において、前フレームに対応する視差画像で検出された輪郭テンプレートに基づいた画像テンプレートによりテンプレートマッチングを行う画像マッチング処理を行う。具体的には、図２４（ａ）に示すように、前フレームに対応する視差画像で検出されている輪郭テンプレート９０２の位置に対応する輝度画像（基準画像Ｉａ）上の位置において、輪郭を構成する各画素から下方向のＮ画素分で構成される画像テンプレート９０２ａが、予め、前フレームに対する特徴更新部６３０の処理により作成されている。画像マッチング部６１３は、まず、図２５に示すように、視差画像上の予測領域８０１に対応する輝度画像（基準画像Ｉａ）上の予測領域８１１において、形状マッチング部６１２により特定されたＸ方向の候補の位置である候補位置Ｐ１、Ｐ２のそれぞれにおいて、画像テンプレート９０２ａを予測領域８１１の上端から下方向にずらしながら、テンプレートマッチングを行う。なお、テンプレートマッチングに用いる類似度を示すコスト値としては、例えば、ＳＡＤ、ＳＳＤまたはＺＳＳＤ等を用いるものとすればよい。図２５に示す例では、ＳＡＤを用いた場合を示す。

画像マッチング部６１３は、予測領域８１１において、画像テンプレート９０２ａをＹ方向にずらしながらＳＡＤを算出し、ＳＡＤの値が最も小さくなるＹ方向の位置（すなわち、最も類似度が高い位置）を特定する。図２５の例では、画像テンプレート９０２ａによるテンプレートマッチングを候補位置Ｐ１、Ｐ２双方で行うので、画像マッチング部６１３は、それぞれの候補位置で最も値が小さいＳＡＤのうち小さい方の候補位置を、歩行者のＸ方向の位置であると決定する。また、画像マッチング部６１３は、決定した歩行者のＸ方向の位置に対応する候補位置でＳＡＤが最も小さくなるＹ方向の位置を、歩行者のＹ方向の位置（第１位置）であると決定する。ここで、画像マッチング部６１３は、追跡対象となる歩行者のＹ方向の位置として決定した位置は、例えば、ＳＡＤが最も小さくなった場合に位置する画像テンプレート９０２ａの最も上側に存在する画素のＹ方向の位置とすればよい。これによって、追跡対象となる歩行者の視差画像（または輝度画像）の位置が検出される。

ここで、例えば、現在フレームで位置が検出された歩行者の検出領域を示す検出枠は、例えば、検出領域の面積、すなわち検出枠内の面積が同一であるものとし、かつ、前フレームにおける歩行者の位置に対する、その歩行者を囲む検出枠の相対位置が同一となるように、現在フレームにおける検出枠の位置を決定するものとすればよい。なお、このように決定された検出枠の位置および大きさは、後述の補正処理部６１５による枠補正処理によって補正される。

なお、画像マッチング部６１３による画像マッチング処理は、上述のように画像テンプレート９０２ａを候補位置（例えば、図２５に示す候補位置Ｐ１、Ｐ２）において上端から下方向にずらしながらＳＡＤを求めるという方法に限定されるものではない。図２４（ｂ）に示す矩形テンプレート９０２ｂは、特徴更新部６３０により作成された図２４（ａ）に示す画像テンプレート９０２ａにおける各Ｘ座標においてＹ方向に延びる各Ｎ画素を、Ｙ方向（高さ方向）でそろえて矩形状にしたものである。画像マッチング部６１３は、形状マッチング部６１２により特定された候補位置Ｐ１、Ｐ２において、矩形テンプレート９０２ｂを構成する各Ｘ座標のＮ画素を、輪郭９０１に向かって下ろし、Ｎ画素の各列を、その列の最上の画素が、輪郭９０１の各画素に重なるように配置させる。画像マッチング部６１３は、この場合に、矩形テンプレート９０２ｂの各画素値と、予測領域８１１において、Ｎ画素の各列が重なった部分の各画素値とを用いてＳＡＤ等を算出し、算出したＳＡＤ等の値が所定の閾値未満である場合、算出したＳＡＤ等に対応する輪郭９０１における輪郭部分で定まる位置を、追跡対象となる歩行者の視差画像（または輝度画像）の位置として検出するものとしてもよい。これによって、画像テンプレート９０２ａをＹ方向にずらしながら各位置でＳＡＤ等を算出する必要がないため、追跡対象となる歩行者の位置を検出するための処理速度を向上させることができる。

画像マッチング部６１３は、決定した歩行者の位置、ならびに検出枠の位置および大きさの情報を境界決定部６１４に送る。そして、ステップＳ１２３３へ移行する。

＜ステップＳ１２３３＞
マッチング部６１０の境界決定部６１４は、現在フレームで複数の歩行者の輪郭が検出された場合、画像マッチング部６１３によって検出（位置が決定）された歩行者以外の歩行者との境界を決定する境界決定処理を行う。具体的には、境界決定部６１４は、まず、図２６に示すように、現フレームに対する視差画像における予測領域８０１において、上端から下方向に向かって、Ｘ方向に延びる基準線ＢＬを下ろしていく。そして、境界決定部６１４は、画像マッチング部６１３により位置が決定された物体（歩行者）の視差値の塊（孤立領域）と基準線ＢＬとが重なり始めてから、さらに基準線ＢＬを下ろしていき、基準線ＢＬと重なり始めた位置から基準線ＢＬの現位置までの領域について、Ｙ方向に視差値が連続する領域であり、かつ、その領域のＹ方向の長さが所定の長さ（例えば、２０［ｃｍ］）以上となったか否かを判定する。

また、同時に、境界決定部６１４は、図２１に示した輪郭９０１のように、複数の歩行者の輪郭が抽出された場合、画像マッチング部６１３により位置が決定された追跡対象となる歩行者とは別の歩行者に対しても、上述の処理と同様に、別の歩行者の孤立領域と基準線ＢＬとが重なり始めた位置から基準線ＢＬの現位置までの領域について、Ｙ方向に視差値が連続する領域であり、かつ、その領域のＹ方向の長さが所定の長さ（例えば、２０［ｃｍ］）となったか否かを判定する。この場合、別の歩行者について、基準線ＢＬと重なり始めた位置から基準線ＢＬの現位置までの領域について、Ｙ方向に視差値が連続する領域であり、かつ、その領域のＹ方向の長さが所定の長さ（例えば、２０［ｃｍ］）以上となる領域が検出されなかった場合、境界決定部６１４は、これ以降の境界決定処理は行わない。

そして、境界決定部６１４は、画像マッチング部６１３により位置が決定された歩行者が、別の歩行者の右側にいる場合、歩行者および別の歩行者それぞれの孤立領域について、基準線ＢＬと重なり始めた位置から基準線ＢＬの現位置までの領域が、それぞれ、Ｙ方向に視差値が連続する領域であり、かつ、その領域のＹ方向の長さが所定の長さ（例えば、２０［ｃｍ］）以上となった時点における基準線ＢＬのＹ方向の位置（第２位置）での歩行者の領域の左端と、別の歩行者の領域の右端との中点を、Ｘ方向における歩行者と別の歩行者との境界位置とする。一方、境界決定部６１４は、画像マッチング部６１３により位置が決定された歩行者が、別の歩行者の左側にいる場合、歩行者および別の歩行者それぞれの孤立領域について、基準線ＢＬと重なり始めた位置から基準線ＢＬの現位置までの領域が、それぞれ、Ｙ方向に視差値が連続する領域であり、かつ、その領域のＹ方向の長さが所定の長さ（例えば、２０［ｃｍ］）以上となった時点における基準線ＢＬのＹ方向の位置（第２位置）での歩行者の領域の右端と、別の歩行者の左端との中点を、Ｘ方向における歩行者と別の歩行者との境界位置とする。例えば、図２６において、紙面視右側の歩行者が画像マッチング部６１３により位置が決定された歩行者であるものとした場合、境界決定部６１４は、歩行者および別の歩行者それぞれの孤立領域について、基準線ＢＬと重なり始めた位置から基準線ＢＬの現位置までの領域が、それぞれ、Ｙ方向に視差値が連続する領域であり、かつ、その領域のＹ方向の長さが所定の長さ（例えば、２０［ｃｍ］）以上となった時点における基準線ＢＬのＹ方向の位置での歩行者の領域の左端を検出位置Ｐ３とし、別の歩行者の領域の右端を検出位置Ｐ４として検出する。そして、境界決定部６１４は、検出位置Ｐ３と検出位置Ｐ４との中点を境界位置Ｐｂとして検出する。

境界決定部６１４は、歩行者の位置、歩行者の検出枠の位置および大きさ、ならびに境界位置の情報を補正処理部６１５に送る。そして、ステップＳ１２３４へ移行する。

＜ステップＳ１２３４＞
マッチング部６１０の補正処理部６１５は、現在フレームにおいて、位置が検出された歩行者の検出領域の枠（検出枠）について枠補正処理を行う。具体的には、補正処理部６１５は、まず、図２７に示すように、現フレームに対応する視差画像上の歩行者の検出枠８２０内の画像について、Ｘ方向で視差値を含む画素の頻度を示すヒストグラム９１０、および、Ｙ方向で視差値を含む画素の頻度を示すヒストグラム９１１を作成する。そして、補正処理部６１５は、図２７に示すように、ヒストグラム９１０において閾値Ｔｈを超えるＸ方向の位置を、それぞれ、補正後の検出枠８２１の左端および右端の位置とし、ヒストグラム９１１において閾値Ｔｈを超えるＹ方向の位置を、それぞれ、補正後の検出枠８２１の上端および下端の位置とする。閾値Ｔｈは、例えば、ヒストグラムの最大値に対して１０〜２０［％］の値とすればよい。この場合、図２７ではＸ方向およびＹ方向の閾値を、閾値Ｔｈとしているが、同一の閾値である必要はない。このようにして、補正処理部６１５により枠補正処理が行われた検出枠８２１の画像が、マッチング部６１０による歩行者用マッチング処理によって最終的に検出された検出領域となる。そして、補正処理部６１５は、検出した歩行者の検出領域の情報（位置および大きさ等）を、その歩行者の認識領域情報に含める。そして、歩行者用マッチング処理を終了する。

以上のステップＳ１２３１〜Ｓ１２３４の処理により、マッチング部６１０の歩行者用マッチング処理が行われる。また、マッチング部６１０の歩行者用マッチング処理の終了後、上述したように、特徴更新部６３０は、現フレームに対応する予測領域８０１において、画像マッチング部６１３により歩行者の位置が決定されることによって確定したその歩行者の輪郭を、次のフレームに対応する視差画像で使用する輪郭テンプレートとして、現在記憶している輪郭テンプレート９０２に代えて更新する。さらに、特徴更新部６３０は、現フレームの予測領域８１１において、画像マッチング部６１３により歩行者の位置が決定されることによって確定したその歩行者についての画像テンプレートを作成し、現在記憶している画像テンプレート９０２ａに代えて更新する。この場合、例えば、特徴更新部６３０は、現フレームにおいて、確定した歩行者の輪郭の各画素の位置から下方向のＮ画素分で構成される画像を、次のフレームで使用する画像テンプレートとすればよい。

以上のように、本実施の形態に係る物体認識装置１のトラッキング処理における歩行者用マッチング処理では、形状マッチング処理により、歩行者の頭部から肩近傍にかけての輪郭を検出して、輪郭についてのテンプレートマッチングにより、歩行者のＸ方向の位置の候補を特定し、画像マッチング処理により、頭部から肩近傍にかけての画像テンプレートを用いて、Ｘ方向の候補位置におけるＹ方向において、画像についてのテンプレートマッチングにより、歩行者のＹ方向の位置を特定することによって、最終的に歩行者の位置を特定するものとしている。このように、追跡対象とする歩行者の頭部から肩近傍にかけての輪郭を用いて、歩行者の位置を検出しているので、歩行者の手足等の姿勢変化が生じても、または、異なる服装を着用している等の別の歩行者が近傍にいたとしても、歩行者を個々に精度よく検出することができる。また、形状マッチング処理により、Ｘ方向における歩行者の位置の候補を先に特定しておき、そのＸ方向の候補位置においてＹ方向に画像テンプレートによるテンプレートマッチングをすればよいので、歩行者の検出の処理速度を向上させることができる。

また、歩行者の視差値の塊（孤立領域）に対して、頭部と想定される位置を決定して、別の歩行者との境界を求める境界決定処理により、視差値のヒストグラムまたは輪郭の形状をも用いて局所的な谷を見つける処理等に比べて、精度よく別の歩行者との境界を特定することができる。これによって、複数の歩行者の位置が接近していることにより、１つの物体として検出されやすい状態においても、個々の歩行者として検出することが可能となる。

また、形状マッチング処理、画像マッチングし処理、および境界決定処理はいずれも、画像（輝度画像または視差画像）全体に対してではなく、移動予測部６００により歩行者が存在すると予測された予測領域に対して行われるので、画像全体に対して処理するよりも処理速度を向上させることができる。

なお、上述の実施の形態では、コスト値Ｃは非類似度を表す評価値としているが、類似度を表す評価値であってもよい。この場合、類似度であるコスト値Ｃが最大（極値）となるシフト量ｄが視差値ｄｐとなる。

また、上述の実施の形態では、車両７０としての自動車に搭載される物体認識装置について説明したが、これに限定されるものではない。例えば、他の車両の一例としてバイク、自転車、車椅子または農業用の耕運機等の車両に搭載されるものとしてもよい。また、移動体の一例としての車両だけでなく、ロボット等の移動体であってもよい。

また、上述の実施の形態において、物体認識装置１の視差値導出部３および認識処理部５の各機能部の少なくともいずれかがプログラムの実行によって実現される場合、そのプログラムは、ＲＯＭ等に予め組み込まれて提供される。また、上述の実施の形態に係る物体認識装置１で実行されるプログラムは、インストール可能な形式または実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ（Ｃｏｍｐａｃｔ Ｄｉｓｋ Ｒｅｃｏｒｄａｂｌｅ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）等のコンピュータで読み取り可能な記録媒体に記録して提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムを、インターネット等のネットワーク経由で提供または配布するように構成してもよい。また、上述の実施の形態の物体認識装置１で実行されるプログラムは、上述した各機能部のうち少なくともいずれかを含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ５２（ＣＰＵ３２）が上述のＲＯＭ５３（ＲＯＭ３３）からプログラムを読み出して実行することにより、上述の各機能部が主記憶装置（ＲＡＭ５４（ＲＡＭ３４）等）上にロードされて生成されるようになっている。

１ 物体認識装置
２ 本体部
３ 視差値導出部
４ 通信線
５ 認識処理部
６ 車両制御装置
７ ステアリングホイール
８ ブレーキペダル
１０ａ、１０ｂ 撮像部
１１ａ、１１ｂ 撮像レンズ
１２ａ、１２ｂ 絞り
１３ａ、１３ｂ 画像センサ
２０ａ、２０ｂ 信号変換部
２１ａ、２１ｂ ＣＤＳ
２２ａ、２２ｂ ＡＧＣ
２３ａ、２３ｂ ＡＤＣ
２４ａ、２４ｂ フレームメモリ
３０ 画像処理部
３１ ＦＰＧＡ
３２ ＣＰＵ
３３ ＲＯＭ
３４ ＲＡＭ
３５ Ｉ／Ｆ
３９ バスライン
５１ ＦＰＧＡ
５２ ＣＰＵ
５３ ＲＯＭ
５４ ＲＡＭ
５５ Ｉ／Ｆ
５８ ＣＡＮＩ／Ｆ
５９ バスライン
６０ 機器制御システム
７０ 車両
１００ａ、１００ｂ 画像取得部
２００ａ、２００ｂ 変換部
３００ 視差値演算処理部
３０１ コスト算出部
３０２ 決定部
３０３ 第１生成部
５００ 第２生成部
５１０ クラスタリング処理部
５２０ トラッキング処理部
６００ 移動予測部
６１０ マッチング部
６１１ 判定部
６１２ 形状マッチング部
６１３ 画像マッチング部
６１４ 境界決定部
６１５ 補正処理部
６２０ チェック部
６３０ 特徴更新部
６４０ 状態遷移部
７００ 路面
７００ａ 路面部
７０１ 電柱
７０１ａ 電柱部
７０２ 車
７０２ａ 車部
７１１ 左ガードレール
７１１ａ〜７１１ｃ 左ガードレール部
７１２ 右ガードレール
７１２ａ〜７１２ｃ 右ガードレール部
７１３ 車
７１３ａ〜７１３ｃ 車部
７１４ 車
７１４ａ〜７１４ｃ 車部
７２１〜７２４ 検出領域
７２１ａ〜７２４ａ 検出枠
８００〜８０２ 予測領域
８１１ 予測領域
８２０、８２１ 検出枠
９０１ 輪郭
９０２ 輪郭テンプレート
９０２ａ 画像テンプレート
９０２ｂ 矩形テンプレート
９１０、９１１ ヒストグラム
Ｂ 基線長
ＢＬ 基準線
Ｃ コスト値
ｄ シフト量
ｄｐ 視差値
Ｅ 物体
ＥＬ エピポーラ線
ｆ 焦点距離
Ｉａ 基準画像
Ｉｂ 比較画像
Ｉｐ 視差画像
ｐ 基準画素
Ｐ１、Ｐ２ 候補位置
Ｐ３、Ｐ４ 検出位置
ｐｂ 基準領域
Ｐｂ 境界位置
ｑ 候補画素
ｑｂ 候補領域
ＲＭ リアルＵマップ
Ｓ、Ｓａ、Ｓｂ 点
Ｔｈ 閾値
ＵＭ、ＵＭ＿Ｈ Ｕマップ
ＶＭ Ｖマップ
Ｚ 距離

特開２０１４−１４６２６７号公報

Claims (10)

1. 現在のフレームに対応する距離画像において、物体の上側から下方向に向かって探索した場合に、前記物体の距離情報の画素に行き当たった該各画素を結ぶことによって該物体の輪郭を取得し、前記輪郭に対して、輪郭テンプレートを用いたテンプレートマッチングによって前記輪郭が検出対象の物体に相当する場合、前記物体の横方向の候補位置を特定する第１マッチング手段と、
   前記距離画像において、前記候補位置からの縦方向において画像テンプレートを用いたテンプレートマッチングを行い、前記物体の横方向の位置、および、縦方向の第１位置を決定する第２マッチング手段と、
   を備えた画像処理装置。
2. 前記第１マッチング手段は、人の少なくとも頭部の一部を含む前記輪郭テンプレートを用いて、前記輪郭に対してテンプレートマッチングを行う請求項１に記載の画像処理装置。
3. 前記第１マッチング手段により、前記検出対象の物体に相当する前記輪郭が複数特定された場合、前記距離画像において、前記各物体の上側から下方向に向かって探索した場合に、該各物体の縦方向の前記距離情報の画素が連続する長さが、それぞれ所定の長さに達したときの縦方向の第２位置を特定し、該第２位置に基づいて、該各物体の横方向の境界を決定する決定手段を、さらに備えた請求項１または２に記載の画像処理装置。
4. 前記決定手段は、前記各物体の前記第２位置の横方向の前記距離情報の画素列において、別の物体に近い方の端部の横方向の各位置の中点を前記境界として決定する請求項３に記載の画像処理装置。
5. 前記現在のフレームの前のフレームに対応する距離画像おいて、前記第２マッチング手段により位置が決定された物体の輪郭を前記輪郭テンプレートとして更新し、かつ、前記前のフレームにおける該輪郭に対応する各画素の位置から下方向の所定数の画素群により構成される画像を前記画像テンプレートとして更新する更新手段を、さらに備えた請求項１〜４のいずれか一項に記載の画像処理装置。
6. 前記現在のフレームに対応する距離画像内において前記物体が存在する予測領域を求める予測手段を、さらに備え、
   前記第１マッチング処理手段は、前記予測領域内で前記輪郭テンプレートを用いたテンプレートマッチングを行い、
   前記第２マッチング処理手段は、前記予測領域に対応する前記現在のフレームの領域で前記画像テンプレートを用いたテンプレートマッチングを行う請求項１〜５のいずれか一項に記載の画像処理装置。
7. 被写体を撮像することにより第１撮像画像を得る第１撮像手段と、
   前記第１撮像手段の位置とは異なる位置に配置され、前記被写体を撮像することにより第２撮像画像を得る第２撮像手段と、
   前記第１撮像画像および前記第２撮像画像から前記被写体に対して求めた距離情報に基づいて、前記距離画像を生成する生成手段と、
   前記第１撮像画像または前記第２撮像画像、および前記距離画像に基づいて、新規に物体を検出する検出手段と、
   請求項１〜６のいずれか一項に記載の画像処理装置と、
   を備えた物体認識装置。
8. 請求項７に記載の物体認識装置と、
   前記物体認識装置により検出された前記物体の情報に基づいて、制御対象を制御する制御装置と、
   を備えた機器制御システム。
9. 現在のフレームに対応する距離画像において、物体の上側から下方向に向かって探索した場合に、前記物体の距離情報の画素に行き当たった該各画素を結ぶことによって該物体の輪郭を取得する取得ステップと、
   前記輪郭に対して、輪郭テンプレートを用いたテンプレートマッチングによって前記輪郭が検出対象の物体に相当する場合、前記物体の横方向の候補位置を特定する第１マッチングステップと、
   前記距離画像において、前記候補位置からの縦方向において画像テンプレートを用いたテンプレートマッチングを行い、前記物体の横方向の位置、および、縦方向の第１位置を決定する第２マッチングステップと、
   を有する画像処理方法。
10. コンピュータを、
    現在のフレームに対応する距離画像において、物体の上側から下方向に向かって探索した場合に、前記物体の距離情報の画素に行き当たった該各画素を結ぶことによって該物体の輪郭を取得し、前記輪郭に対して、輪郭テンプレートを用いたテンプレートマッチングによって前記輪郭が検出対象の物体に相当する場合、前記物体の横方向の候補位置を特定する第１マッチング手段と、
    前記距離画像において、前記候補位置からの縦方向において画像テンプレートを用いたテンプレートマッチングを行い、前記物体の横方向の位置、および、縦方向の第１位置を決定する第２マッチング手段と、
    して機能させるためのプログラム。

Images