JP5663411B2

JP5663411B2 - 測距装置

Info

Publication number: JP5663411B2
Application number: JP2011132594A
Authority: JP
Inventors: 博李
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2011-06-14
Filing date: 2011-06-14
Publication date: 2015-02-04
Anticipated expiration: 2031-06-14
Also published as: JP2013002884A

Description

本発明は車載カメラの撮像画像を用いて車両周辺に存在する対象物と自車両との間の距離を測定する測距装置に関する。

車両の走行支援等を目的として、車両前部等に搭載される車載カメラによって車両周辺の撮像画像を取得し、その撮像画像を基に、車両周辺に存在する歩行者等の対象物と自車両との間の距離を測定する技術が従来より知られている。

その測距技術としては、例えば、特許文献１に見られる如く、ステレオカメラにより撮像したステレオ画像における対象物の視差を基に、対象物までの距離を測定する技術が一般に知られている。

また、単一のカメラを用いた測距技術としては、例えば特許文献２に見られる如く、対象物の画像の局所領域のサイズの時間的変化率に基づいて、対象物までの距離を測定する技術が本願出願人により提案されている。

特開２０００−２８３７５３号公報特開２００９−２６５８８２号公報

特許文献１に見られる如き、ステレオカメラを使用した測距技術では、複数のカメラを必要とするとすると共に、それらのカメラの光軸の向き等の高精度なキャリブレーションを必要とする。このため、ステレオカメラを使用した測距システムは、一般に高価なものとなり、コスト的に不利である。

また、特許文献２に見られる如き測距技術では、複数のカメラを必要とはしないものの、対象物の画像の局所領域のサイズの時間的変化率の計測の信頼性を高めるためには、そのサイズの変化が顕著に現れるような時間間隔で該サイズの時間的変化率を測定する必要がある。このため、その時間的変化率から推定される対象物までの距離が、実際の距離に対して遅れを生じやすい。さらに、上記サイズの時間的変化率を計測するために、互いに異なる時刻で撮像された撮像画像から抽出される対象物の画像の局所領域が、それらの撮像画像間でばらつきを生じやすい。このため、上記時間的変化率から推定される対象物までの距離の信頼性を高めることが困難である。

本発明はかかる背景に鑑みてなされたものであり、単一の車載カメラによる撮像画像を利用する安価なシステム構成で、該車載カメラにより撮像される対象物と自車両と対象物との間の距離を高い信頼性で行なうことができる測距装置を提供することを目的とする。

まず、本発明に関する基礎的な技術事項を説明しておく。

図１（ａ）に示すように、車載カメラ２を搭載した車両１が、平坦な路面５１上を走行している状況を想定する。この状況では、車両１の前方の路面５２上に、車両１（自車両１）からの距離Ｄを測定しようとする対象物５３（図示例では歩行者）が存在している。

この場合、対象物５３が存在する路面５２（対象物５３が接地している路面５２）は、車両１が存在する路面５１（車両１が接地している路面５１）と同じ平面上の路面（路面５１と面一の路面）となっている。以降、路面５１，５２をそれぞれ自車両存在路面５１、対象物存在路面５２ということがある。

また、図１（ｂ）は、図１（ａ）に示す状況において、車載カメラ２により撮像された撮像画像を概略的に示している。参照符号５１ａ，５２ａ，５３ａを付した部分が、それぞれ、自車両存在路面５１、対象物存在路面５２、対象物５３の画像を示している。

図１（ａ）に示す状況において、図示の如く、対象物５３の実空間でのサイズ（ここでは上下方向の全長（身長））をＨ53とする。また、この状況での撮像画像における対象物５３の全体の画像５３ａにより示される該撮像画像中での対象物５３のサイズ（上下方向の全長）をｈ53aとする。

このとき、これらのＨ53及びｈ53aと、自車両１からの対象物５３の距離Ｄ（自車両存在路面５１に平行な方向での距離）との間には、次式（１）の関係が成立する。なお、Ｆは車載カメラ２の焦点距離である。

Ｄ＝Ｆ・（Ｈ53／ｈ53a） …（１）

従って、実空間での対象物５３のサイズＨ53（以降、対象物サイズＨ53ということがある）の値を特定すれば、そのＨ53の値と、対象物５３の画像５３ａから得られる撮像画像中での対象物５３のサイズｈ53a（以降、画像中対象物サイズｈ53aということがある）と、車載カメラ２の焦点距離Ｆの値（これは一般に既知の値としてあらかじめ設定できる）とから、式（１）により、対象物５３と自車両１の距離Ｄを推定できる。

ここで、一般的な対象物サイズＨ53は、多くの場合、該対象物５３の種類に対応するある標準的なサイズの近辺の値となる。従って、対象物サイズＨ53の値として、対象物５３の標準的なサイズ値（以降、対象物標準サイズ値Ｈ53sということがある）を使用すれば、次式（１ａ）により、対象物５３と自車両１の距離Ｄを概略的に推定できることとなる。すなわち、実際の対象物サイズＨ53が、対象物標準サイズ値Ｈ53sにほぼ一致すると仮定することで、対象物標準サイズ値Ｈ53sと画像中対象物サイズｈ53aとの比率に基づいて、対象物５３と自車両１との間の距離Ｄを次式（１ａ）により概略的に推定できることとなる。

Ｄ＝Ｆ・（Ｈ53s／ｈ53a） …（１ａ）

この場合、対象物５３の対象物標準サイズ値Ｈ53sとしては、該対象物５３が属する対象物種類において、一般的に知られている対象物サイズＨ53の平均的な値を使用すればよい。

補足すると、上記の説明では、対象物サイズＨ53を対象物５３の上下方向での全長としたが、対象物５３の種類によっては、Ｈ53は、対象物５３の横方向の長さ、あるいは、斜め方向の長さであってもよい。例えば対象物５３が車両（他車両）である場合には、Ｈ53は対象物５３の幅方向の全長（車幅）であってもよい。対象物サイズＨ53は、基本的には、対象物５３が属する対象物種類において、その値の分散（ばらつき）が比較的小さく、また、撮像画像中での対象物５３の当該サイズ（画像中対象物サイズ）ｈ53aを容易に特定し得るような長さ（自車両１との距離Ｄを測定しようとする対象物５３の種類毎にあらかじめ定めた所定方向の長さ）であることが好ましい。

以降の説明では、上記の如く式（１ａ）により対象物５３と自車両１との間の距離Ｄを推定する手法を第１測距手法という。そして、この第１測距手法により推定される距離Ｄを第１距離推定値Ｄ１という。この第１測距手法は、それにより推定される第１距離推定値Ｄ１の誤差が、対象物標準サイズ値Ｈ53sに対する実際の対象物サイズＨ53の値の誤差に依存し、車両１の走行時の車載カメラ２の光軸Ｌcの向きの変動や、対象物存在路面５２と自車両存在路面５１との間の勾配の変化等の影響を受け難いという特性がある。

従って、第１距離推定値Ｄ１の誤差は一定の誤差範囲に収まる。より詳しくは、一般的な対象物サイズＨ53の既知の最大値をＨ53max、最小値をＨ53minとすると、第１距離推定値Ｄ１の誤差は、次式（２）で示す如く、（（Ｈ53s／Ｈ53max）−１）・１００［％］と（（Ｈ53s／Ｈ53min）−１）・１００［％］との間の範囲内に収まる。この場合、Ｈ53s／Ｈ53maxは、Ｈ53＝Ｈ53maxと仮定して前記式（１）により算出される距離Ｄの値に対する第１距離推定値Ｄ１の比率に一致するものである。同様に、Ｈ53s／Ｈ53minは、Ｈ53＝Ｈ53minと仮定して前記式（１）により算出される距離Ｄの値に対する第１距離推定値Ｄ１の比率に一致するものである。

なお、ここでは、第１距離推定値Ｄ１の誤差は、式（２）のただし書きで定義される誤差である。この場合、ただし書き中のＤｒは、対象物５３と自車両１との間の実際の距離Ｄ（距離Ｄの真値）を意味する。

（（Ｈ53s／Ｈ53max）−１）・１００［％］
≦第１距離推定値Ｄ１の誤差≦（（Ｈ53s／Ｈ53min）−１）・１００［％］
……（２）
ただし、
第１距離推定値Ｄ１の誤差≡（（Ｄ１／Ｄｒ）−１）・１００［％］

具体的な例を挙げると、対象物５３が日本の成人の歩行者であるとし、対象物サイズＨ53を対象物５３の上下方向の全長（身長）とした場合、一般的に知られている実際の対象物サイズＨ53の最大値Ｈ53maxと最小値Ｈ53minは、それぞれ２１０［cm］、１２０［cm］程度である。また、一般的に知られている日本の成人の平均身長は、１６４．７［cm］である。この場合、対象物標準サイズ値Ｈ53sとして日本の成人の平均身長（１６４．７［cm］）を用いると、上記第１距離推定誤差は、次式（２ａ）に示す如く、−２１．６［％］と３７．３［％］との間の範囲内の値となる。

−２１．６［％］≦第１距離推定値Ｄ１の誤差≦３７．３［％］ …（２ａ）

次に、図１（ａ）に示した状況において、図示の如く、車載カメラ２の光軸Ｌcが自車両存在路面５１に対してなす角度をα、車載カメラ２から対象物５３の接地点Ｐ53（対象物５３と対象物存在路面５２との接触点）に至る直線Ｌ１が車載カメラ２の光軸Ｌcに対してなす角度をγ、車載カメラ２の自車両存在路面５１からの高さをＨcとする。

ここで、車載カメラ２の高さＨc（以降、カメラ高Ｈcということがある）は、より詳しくは、車載カメラ２の光学中心Ｃの自車両存在路面５１からの高さである。また、角度γに係わる上記直線Ｌ１は、より詳しくは、車載カメラ２の光学中心Ｃから対象物５３の接地点Ｐ53に至る直線である。また、角度α，γは、より詳しくは、車載カメラ２の光軸Ｌcを含み、且つ、自車両存在路面５１に対して垂直に起立する平面の法線方向の軸周りでの角度である。その角度α，γは、図１（ａ）に示す状況では、車両１のピッチ方向での角度（すなわち車両１の車幅方向の軸周りの角度）に相当する。

そして、角度αは、車載カメラ２の光軸Ｌcが、車載カメラ２の光学中心Ｃを通って自車両存在路面５１に平行な平面に対して斜め下向きに延在する状況（図１（ａ）に示す状況）で正の角度とし、車載カメラ２の光軸Ｌcが当該平面に対して斜め上向きに延在する状況で負の角度とする。また、角度γは、上記直線Ｌ１が、車載カメラ２の光軸Ｌcに対して斜め下向きに延在する状況で正の角度とし、該直線Ｌ１が車載カメラ２の光軸Ｌcに対して斜め下向きに延在する状況で負の角度とする。

なお、図１（ａ）では、α≠０[deg]となっているが、α＝０[deg]であってもよい。

上記のように角度α，γを定義したとき、対象物５３の自車両１からの距離Ｄ（自車両存在路面５１に平行な方向での距離）と、角度α，γと、カメラ高Ｈcとの間には、次式（３）の関係が成立する。

Ｄ＝Ｈc／tan(α＋γ) ……（３）

さらに、図２（ａ）に示すように、車両１の前方の路面の勾配が変化し、対象物存在路面５２が、自車両存在路面５１に対して勾配を有する路面（傾斜した路面）となっている状況を想定する。この状況は、対象物存在路面５２の勾配状態だけが、図１（ａ）に示した状況と相違するものである。

なお、図２（ｂ）は、図２（ａ）に示す状況において、車載カメラ２により撮像された撮像画像を概略的に示している。そして、図１（ｂ）の場合と同様に、参照符号５１ａ，５２ａ，５３ａを付した部分が、それぞれ、自車両存在路面５１、対象物存在路面５２、対象物５３の画像を示している。

図２（ａ）に示す状況において、図中の角度α，γは、図１（ａ）の状況と同様に定義される角度である。加えて、この状況において、自車両存在路面５１のうちの車載カメラ２の下方に位置する点（詳しくは、車載カメラ２の光学中心Ｃから自車両存在路面５１に降ろした垂線が自車両存在路面５１と交わる点）から対象物５３の接地点Ｐ53に至る直線Ｌ２が自車両存在路面５１に対してなす角度をβ（＞０）とする。

なお、角度βは、角度α、γと同様に、車載カメラ２の光軸Ｌcを含み、且つ、自車両存在路面５１に対して垂直に起立する平面の法線方向の軸周りでの角度（図１（ｂ）に示す状況では、車両１のピッチ方向の角度）である。

上記のように角度α，γに加えて、角度βを定義したとき、対象物５３の自車両１からの距離Ｄと、角度α，γ，βと、カメラ高Ｈcとの間には、次式（４）の関係が成立する。

Ｄ＝Ｈc／（tan(α＋γ)＋tanβ） ……（４）

この場合、式（２）において、β＝０とすれば、式（４）は前記式（３）に一致する。そして、図１（ａ）に示した状況は、図２（ａ）におけるβを“０”とした状況に相当する。

従って、図１（ａ）及び図２（ａ）のいずれの状況であっても、車載カメラ２のカメラ高Ｈcの値と、角度α，γ，βの値（[rad]の単位での値）とが判れば、それらの値から上記式（２）の右辺の演算によって、対象物５３と自車両１との間の距離Ｄを特定できることとなる。

ここで、カメラ高Ｈcは、車両１の車体に対する車載カメラ２の取付位置によって規定されるので、一般には、その値は、既知の値として事前に設定しておくことができる。

また、角度γは、車載カメラ２の撮像画像を基に推定することができる。具体的には、図１（ｂ）又は図２（ｂ）に示すように、対象物５３の接地点Ｐ53を撮像画像に投影してなる点である画像上対象物接地点Ｐ53aと、撮像画像の画像中心Ｐca（車載カメラ２の撮像面と光軸Ｌcとの交点）との間の上下方向の位置偏差をΔｙとすると、次式（５）が成立する。なお、Ｆは前記した通り、車載カメラ２の焦点距離である。

tanγ＝Δｙ／Ｆ ……（５）

従って、撮像画像において、画像上対象物接地点Ｐ53aと画像中心Ｐcaとの間の上下方向の位置偏差Δｙを特定すれば、そのΔｙの値と焦点距離Ｆの値とから上記式（５）に基づいて角度γを推定できることとなる。

補足すると、対象物存在路面５２上で、車両１からの距離が対象物５３の接地点Ｐ53と同じになる任意の静止点（対象物存在路面５２に対して固定された点）を車載カメラ２の撮像画像に投影してなる点は、例えば図１（ｂ）又は図２（ｂ）に示す如く、画像上対象物接地点Ｐ53aを通って撮像画像の横方向（水平方向）に延在するラインＬ53a上の点（例えば図中の点Ｐ１）となる。

この場合、この点（例えばＰ１）と、画像中心Ｐcaとの上下方向の間隔は、画像上対象物接地点Ｐ53aと画像中心Ｐcaとの上下方向の間隔Δｙに一致する。従って、角度γは、上記静止点を撮像画像に投影してなる点（例えばＰ１）と画像中心Ｐcaとの間隔Δｙから上記式（５）に基づいて推定することもできる。

従って、角度α、βの値を適宜の手法によって推定し、あるいは、あらかじめ定めた値に設定しておけば、その角度α、βの推定値又は設定値と、車載カメラ２の撮像画像から上記の如く推定される角度γの値を用いて、前記式（３）又は（４）により、対象物５３と自車両１との間の距離Ｄを推定することができる。以降の説明では、このように角度γの推定値を用いて対象物５３と自車両１との間の距離Ｄを推定する手法を第２測距手法という。また、この第２測距手法による距離Ｄの推定値を第２距離推定値Ｄ２という。

この第２測距手法は、車両１が、勾配の変化が無いか、もしくは勾配の変化が十分に小さい平坦な路面を定常走行しているような状況では、対象物５３の種類や対象物サイズＨ53によらずに、対象物５３と自車両１との間の距離Ｄを比較的精度よく推定することが可能である。

ただし、この第２測距手法に基づく第２距離推定値Ｄ２は、前記式（３）又は（４）から判るように、車両１の走行時の車体の姿勢の変動（ひいては、自車両走行路面５１に対する車載カメラ２の光軸Ｌcの向きの上下変動）に伴う角度αの変動や、車両１が走行している路面の勾配の変化の影響を大きく受ける。従って、角度αや、路面の勾配の変化の推定値、あるいはそれらの設定値の誤差が、第２測距手法による第２距離推定値Ｄ２の精度に大きな影響を及ぼす。

より詳しくは、角度αの推定値もしくは設定値、あるいは、路面の勾配の変化の推定値（角度βもしくはこれを規定するパラメータの推定値）もしくは設定値の誤差が大きくなるに伴い、第２距離推定値Ｄ２の誤差の範囲が急激に拡大する傾向がある。

例えば、前記式（４）により第２距離推定値Ｄ２を算出するようにした場合、第２距離推定値Ｄ２の誤差の範囲は、図３に例示する如く、前記角度αとβとの合成角度（図２（ａ）に示す角度θ）の誤差のわずかな増加に伴い、急激に拡大する。

図３は、対象物５３と自車両１との間の実際の距離Ｄ（距離Ｄの真値）が、例えば３０［ｍ］である場合の例である。また、横軸の誤差（α＋βの誤差）は絶対値である。そして、図３の上側の曲線ａ１と下側の曲線ａ２とは、それぞれ、横軸の誤差の極性が正である場合、負である場合の第２距離推定誤差を示す曲線である。なお、この場合、第２距離推定値Ｄ２の誤差は、第１距離推定値Ｄ１の誤差と同様に定義される誤差（前記式（２）のただし書きにおけるＤ１をＤ２に置き換えた式により定義される誤差）である。

従って、角度αの推定値もしくは設定値、あるいは、路面の勾配の変化の推定値（角度βもしくはこれを規定するパラメータの推定値）もしくは設定値の誤差（以下、これらを総称的に角度αβ関連誤差という）がある程度大きくなると、第２距離推定値Ｄ２の誤差の範囲も大きくなる。ひいては、角度αβ関連誤差がある程度大きい状況では、前記第１距離推定値Ｄ１よりも第２距離推定値Ｄ２の誤差の範囲の方が大きくなり、第２距離推定値Ｄ２の信頼性が、第１距離推定値Ｄ１よりも低下することとなる。

例えば対象物５３が日本における成人の歩行者である場合、前記式（２ａ）により示した第１距離推定値Ｄ１の誤差の範囲は図３の破線ｂ１，ｂ２の間の範囲である。そして、第２距離推定値Ｄ２の誤差の範囲は、角度αとβとの合成角度θの誤差の絶対値が約０．８［deg］を超えると、第１距離推定値Ｄ１の誤差の範囲よりも大きくなる。

本発明は、以上の如き第１測距手法と第２測距手法との特性を考慮し、これらの第１測距手法と第２測距手法とを適切に利用して、対象物と自車両との間の距離を推定するようにしたものである。

以上説明した技術事項を前提として、以下に本発明を説明する。

本発明は、車載カメラによって撮像された路面上の対象物と前記車載カメラが搭載された自車両との間の距離を測定する測距装置であって、
前記車載カメラの撮像画像から、前記自車両との距離を測定しようとする対象物の画像を抽出する対象物抽出手段と、
前記撮像画像から抽出された対象物の画像を基に、該撮像画像中での該対象物のサイズである画像中対象物サイズを特定し、その特定した画像中対象物サイズと、前記車載カメラの光軸方向で見た前記対象物の実空間でのサイズである対象物サイズの標準値としてあらかじめ設定された対象物標準サイズ値との比率と、前記車載カメラの焦点距離の設定値とから、前記撮像画像の撮像時刻ｔ1での前記対象物と自車両との間の距離の第１推定値
である第１距離推定値を決定する第１距離推定手段と、
前記対象物が存在する路面である対象物存在路面上の静止点であって、自車両からの距離が前記撮像時刻ｔ1での前記対象物の接地点と同じになる静止点を該撮像時刻ｔ1で撮像された前記撮像画像に投影してなる特徴点を該撮像画像から抽出して、該撮像画像における該特徴点の位置を特定する測距用特徴点抽出手段と、
前記撮像画像において特定された前記特徴点の位置に基づき、前記車載カメラから前記静止点に至る直線が、該車載カメラの光軸に対してなす角度である第１参照角度の値を推定する第１参照角度推定手段と、
少なくとも前記第１参照角度の推定値と前記車載カメラの高さの設定値とを基に、前記対象物と自車両との間の距離の第２推定値である第２距離推定値を決定する第２距離推定手段と、
前記特定された画像中対象物サイズと前記対象物サイズの最大値としてあらかじめ設定された最大サイズ設定値との比率を基に推定される前記距離の値と、前記特定された画像中対象物サイズと前記対象物サイズの最小値としてあらかじめ設定された最小サイズ設定値との比率を基に推定される前記距離の値との間の範囲を、前記第２距離推定値の許容範囲として設定し、その設定した許容範囲に前記第２距離推定値が収まっているか否かを判断する第２距離推定値判断手段と、
前記第２距離推定値判断手段の判断結果が、肯定的である場合に、前記第２距離推定値を前記対象物と自車両との間の距離の推定値として確定し、該判断結果が否定的である場合に、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定する距離推定値確定手段とを備えることを基本構成とするものである。

なお、上記第１参照角度は、より詳しくは、車載カメラの光軸を含む平面であって、且つ、自車両存在路面に対して垂直に起立する平面の法線方向又はこれとほぼ同方向の軸周りでの角度である。このことは、後述する第２参照角度及び第３参照角度についても同様である。

また、対象物の実空間でのサイズ（対象物サイズ）は、自車両からの距離を測定しようとする対象物の種類に対応してあらかじめ定めた所定方向（上下方向、横方向、斜め方向等）での実際の対象物（実空間での対象物）の長さを意味する。そして、撮像画像中での対象物のサイズ（画像中対象物サイズ）は、該撮像画像中の該対象物の画像における上記所定方向での長さを意味する。

上記基本構成によれば、前記第１距離推定手段によって、前記車載カメラの撮像画像（撮像時刻ｔ1での撮像画像）から抽出された対象物（自車両との距離を測定しようとする
対象物）の画像を基に、画像中対象物サイズが特定される。この画像中対象物サイズは、前記した画像中対象物サイズｈ53aに相当するものである。

さらに、第１距離推定手段は、特定した画像中対象物サイズと対象物標準サイズ値との比率と、車載カメラの焦点距離の設定値とから第１距離推定値を決定する。この第１距離推定値は、前記第１測距手法による第１距離推定値Ｄ１に相当するものである。従って、特定した画像中対象物サイズと、対象物標準サイズ値とを用いて前記式（１ａ）の右辺の演算を行なうことで、第１距離推定値（Ｄ１）を決定することができる。

また、前記測距用特徴点抽出手段によって、自車両からの距離が前記撮像時刻ｔ1での前記対象物の接地点と同じになるような前記対象物存在路面上の静止点を該撮像時刻ｔ1で撮像された前記撮像画像に投影してなる特徴点が抽出される。そして、その特徴点の該撮像画像での位置が特定される。

なお、前記特徴点は、例えば、前記撮像時刻ｔ1での前記対象物の接地点を前記撮像画像に投影してなる点（図１（ｂ）又は図２（ｂ）示した例では、点Ｐ53ａ）を通る横方向のライン上で、輝度等の局所特徴を有する点として抽出することできる。このような特徴点としては、例えばハリスコーナ点や、最小固有値点等を利用することができる。該特徴点は、前記撮像時刻ｔ1での撮像画像における対象物の接地点（画像上対象物接地点）に一致する点であってもよい。

さらに、第１参照角度推定手段によって、前記撮像画像における前記特徴点の位置に基づき、前記第１参照角度の値が推定される。この第１参照角度は、図１（ａ）又は図２（ａ）における角度γを意味するものである。従って、前記撮像画像における前記特徴点の位置に基づいて、第１参照角度（γ）の値を推定することができる。より具体的には、前記式（５）に基づいて第１参照角度（γ）の値を推定することができる。

さらに、前記第２距離推定手段によって、少なくとも前記第１参照角度（γ）の推定値と前記車載カメラの高さの設定値とを基に、前記第２距離推定値が決定される。この第２距離推定値は、前記第２測距手法による第２距離推定値Ｄ２に相当するものである。従って、前記式（３）又は（４）に基づいて、第２距離推定値（Ｄ２）を決定できる。

この場合、式（３），（４）における角度αの値、あるいは、式（４）における角度βの値は、適宜の手法によって推定（ジャイロセンサ等を使用した計測でもよい）すればよい。あるいは、角度α又βがほぼ一定の値に維持されると予測されるような状況では、その値として、あらかじめ定めた設定値を用いるようにしてもよい。例えば、勾配の変化が微小であるような路面を車両が走行している場合には、角度βの値として“０”を用いてもよい。また、例えば、車載カメラが、その光軸が車両の車体の前後方向と同方向に向くように該車体に取り付けられている場合に、車両が平坦な路面を定常走行しているような状況では、角度αの値として“０”を用いてもよい。このように、角度αやβの値として既知の設定値を使用する場合には、角度αやβの値の推定（計測）は不要である。

次いで、前記第２距離推定値判断手段によって、前記第２距離推定値の許容範囲が設定される。この場合、この許容範囲は、前記特定された画像中対象物サイズと前記最大サイズ設定値との比率を基に推定される前記距離の値と、前記特定された画像中対象物サイズと前記最小サイズ設定値との比率を基に推定される前記距離の値との間の範囲とされる。

ここで、前記特定された画像中対象物サイズと前記最大サイズ設定値との比率を基に推定される前記距離の値というのは、対象物サイズが、最大サイズ設定値に一致すると仮定した場合に前記式（１）により推定されるＤの値を意味する。同様に、前記特定された画像中対象物サイズと前記最小サイズ設定値との比率を基に推定される前記距離の値というのは、対象物サイズが、最小サイズ設定値に一致すると仮定した場合に前記式（１）により推定されるＤの値を意味する。

そして、実際の対象物サイズは、一般には、上記最大サイズ設定値と最小サイズ設定値との間の範囲内に収まる。従って、第２距離推定値判断手段によって設定される許容範囲は、対象物と自車両との実際の距離の値が、高い確度で存在し得る範囲を意味する。このような範囲が、第２距離推定値（Ｄ２）の許容範囲として設定される。

このため、仮に前記第２距離推定手段により決定された第２距離推定値（Ｄ２）が、上記許容範囲を逸脱しているような場合には、その第２距離推定値（Ｄ２）は、実際の距離Ｄの推定値としての信頼性が第１距離推定値（Ｄ１）に比して乏しいものとなる。

また、第２距離推定値（Ｄ２）が、上記許容範囲内に収まっているような場合には、該第２距離推定値（Ｄ２）の信頼性が、第１距離推定値（Ｄ１）の誤差範囲内で確保されていると見なすことができる。そして、この場合、前記角度α，βのそれぞれの推定値又は設定値の誤差が十分に小さいとみなすことができるので、第２距離推定値（Ｄ２）の精度も比較的高い精度に確保されているものとみなすことができる。

そこで、本発明の基本構成では、前記距離推定値確定手段は、前記第２距離推定値判断手段の判断結果が肯定的である場合に、前記第２距離推定値を前記対象物と自車両との間の距離の推定値として確定し、該判断結果が否定的である場合に、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定する。

これにより、本発明の基本構成によれば、前記対象物と自車両との間の距離の推定値として決定（確定）される値が過大な誤差を有するようなことが発生しないようにしつつ、信頼性の高い距離の推定値を決定することができる。また、この場合、前記車載カメラは単一の車載カメラでよいので、第１発明の測距装置を安価なシステム構成とすることができる。

よって、本発明の基本構成によれば、単一の車載カメラによる撮像画像を利用する安価なシステム構成で、該車載カメラにより撮像される対象物と自車両と対象物との間の距離を高い信頼性で行なうことができる。

かかる本発明の基本構成では、前記第２距離推定手段の処理では、前記角度αの値をあらかじめ定めた値（例えば“０”）に設定しておいてもよいが、車載カメラの光軸の向きは、一般には、車両の車体の姿勢の変動に伴い変化する。従って、前記第２距離推定値（Ｄ２）の精度をより高める上では、角度αを逐次推定し、その角度αの推定値を用いて前記第２距離推定値（Ｄ２）を決定するようにしてもよい。

ここで、角度αは、種々様々な手法で推定することが可能であり、例えば車載カメラの撮像画像を利用して角度αの値を推定することができる。

この場合、前記基本構成において、例えば次のような構成を採用する。すなわち、互いに異なる撮像時刻で撮像された２つ以上の撮像画像を基に、前記車載カメラの並進移動方向を少なくとも含む該車載カメラの運動状態を逐次計測するカメラ運動計測手段と、前記車載カメラの計測された運動状態から、前記撮像時刻ｔ1において前記車載カメラの光軸が前記車両が存在する路面である自車両存在路面に対してなす角度である第２参照角度の値を推定する第２参照角度推定手段とをさらに備え、前記第２参照角度推定手段は、少なくとも前記第１参照角度の推定値と前記第２参照角度の推定値と前記車載カメラの高さの設定値とを基に、前記第２距離推定値を決定する。

ただし、この場合においては、前記距離推定値確定手段は、前記車両の車速が所定値以下の低車速である場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定する（第１発明）。

この第１発明によれば、前記カメラ運動計測手段によって、前記車載カメラの並進移動方向を少なくとも含む該車載カメラの運動状態が逐次計測される。この場合、該車載カメラの運動状態の計測は、互いに異なる撮像時刻で撮像された２つ以上の撮像画像を基に行なわれる。このような計測は、例えばStructure from Motion（以下ＳｆＭということがある）に基づく公知の画像処理手法によって行なうことができる。

そして、この計測された車載カメラの運動状態から、前記第２参照角度推定手段によって前記第２参照角度が推定される。この第２参照角度は、図１（ａ）又は図２（ａ）における角度αを意味するものである。

この場合、前記車載カメラの並進移動方向は、概ね前記自車両存在路面と平行な方向となるので、前記第２参照角度（α）は、基本的には、前記車載カメラの光軸に対する該車載カメラの並進移動方向に応じて規定される。従って、前記車載カメラの並進移動方向を少なくとも含む該車載カメラの運動状態に基づいて、前記第２参照角度（α）の値を推定することができる。

補足すると、前記カメラ運動計測手段により計測する車載カメラの運動状態は、該車載カメラの姿勢の角度変化量（互いに異なる撮像時刻間の角度変化量）を含んでいてもよい。そして、その場合、車載カメラの並進移動方向と、車載カメラの姿勢の運動変化量との両方を使用して、第２参照角度（α）の値を推定するようにすることもできる。

そして、第１発明では、第２参照角度推定手段は、少なくとも前記第１参照角度（γ）の推定値と前記第２参照角度（α）の推定値と前記車載カメラの高さの設定値とを基に、前記第２距離推定値（Ｄ２）を決定する。例えば前記式（３）により第２距離推定値（Ｄ２）が決定される。このように第２距離推定値（Ｄ２）を決定することで、車両の車体の姿勢の変動に伴う車載カメラの光軸の向きの変動分を反映させて、第２距離推定値（Ｄ２）を決定することができる。

ここで、車両の車速が低速である場合には、短い時間内で撮像される複数の撮像画像は、それらの間の差異が生じ難いものとなる。このため、このような状態では、前記カメラ運動計測手段は、一般に、該車載カメラの運動状態を精度よく計測することが困難となり、計測される車載カメラの運動状態の信頼性が低下する。ひいては、前記第２参照角度（α）の推定値や、これを用いて決定される前記第２距離推定値（Ｄ２）の信頼性も低下する。

そこで、第１発明では、前記距離推定値確定手段は、前記車両の車速が所定値以下の低車速である場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定する。

これにより、信頼性が低い第２距離推定値（Ｄ２）が、最終的に対象物と自車両との距離の推定値として確定されてしまうことを防止できる。

上記第１発明において、路面の勾配の変化が無いか、もしくは微小なものとなる路面を車両が走行している場合には、前記角度βの値を“０”にしておいてもよいが、撮像画像を用いて角度βの値を逐次推定するようにすることも可能である。

具体的には、例えば、次のような構成を採用することができる。すなわち、前記測距用特徴点抽出手段は、前記静止点を前記撮像時刻ｔ1で撮像された撮像画像に投影してなる特徴点と、該撮像時刻ｔ1と異なる撮像時刻ｔ2で撮像された撮像画像に投影してなる特徴点とを当該２つの撮像画像のそれぞれから抽出して、当該２つの撮像画像のそれぞれにおける各特徴点の位置を特定する手段であり、前記カメラ運動計測手段は、前記２つの撮像画像のそれぞれの撮像時刻ｔ1，ｔ2の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを逐次計測する手段であり、前記カメラ運動パラメータと、前記２つの撮像画像のそれぞれにおける前記特徴点の位置と、前記車載カメラの高さと、前記撮像時刻ｔ1において前記自車両存在路面のうちの前記車載カメラの下方に位置する点から前記静止点に至る直線が前記車載カメラの光軸に対してなす角度である第３参照角度との間の関係を表す演算式に基づいて、前記カメラ運動パラメータの計測値と、前記２つの撮像画像のそれぞれにおいて特定された前記特徴点の位置と、前記車載カメラの高さの設定値とから、該演算式における未知数としての前記第３参照角度の値を推定する第３参照角度推定手段をさらに備えており、前記第２距離推定手段は、前記第１参照角度の推定値と前記第２参照角度の推定値と前記第３参照角度の推定値と前記車載カメラの高さの設定値とを基に、前記第２距離推定値を決定する手段である（第２発明）。

この第２発明においては、前記第３参照角度推定手段が値を推定する前記第３参照角度は、第１撮像画像の撮像時刻ｔ1において自車両存在路面のうちの前記車載カメラの下方
に位置する点から前記静止点に至る直線が前記車載カメラの光軸に対してなす角度であるから、図２（ａ）に示した角度θ（車載カメラの光軸に対する後述の対象物存在仮想路面（Ｓａ）の傾斜角度θ）に相当するもの、すなわち、前記角度αと角度βとの合成角度（＝α＋β）に相当するものである。

ここで、第２発明における上記第３参照角度（θ）の推定手法の原理を以下に説明しておく。

まず、図４（ａ）に示すように、互いに異なる時刻ｔ1，ｔ2において、車載カメラ２の前方に存在する平坦な路面Ｓ（平面）を撮像した場合を想定する。そして、路面Ｓ上の任意の１つの静止点Ｐを、時刻ｔ1での撮像画像（以下、第１撮像画像ということがある）に投影してなる点をＰ１、時刻ｔ2での撮像画像（以下、第２撮像画像ということがある）に投影してなる点をＰ２とする。

この場合、第１撮像画像における投影点Ｐ１と、第２撮像画像における投影点Ｐ２とは、それぞれ各撮像画像における特徴点として抽出され、その点の各撮像画像での位置が特定されるものとする。

そして、第１撮像画像における投影点Ｐ１の位置を同次座標で表現してなる位置ベクトルを↑Ｐ１（≡[ｘ1,ｙ1，１]^T）、第２撮像画像における投影点Ｐ２の位置を同次座標で表現してなる位置ベクトルを↑Ｐ２（≡[ｘ2,ｙ2，１]^T）と表記する。

なお、ｘ1，ｙ1はそれぞれ第１撮像画像における投影点Ｐ１の横方向の座標位置、縦方向（上下方向）の座標位置である。同様に、ｘ2，ｙ2はそれぞれ第２撮像画像における投影点Ｐ２の横方向の座標位置、縦方向（上下方向）の座標位置である。また、添え字“Ｔ”は、転置を意味する。

また、時刻ｔ1と時刻ｔ2との間の期間での車載カメラ２の位置の空間的な並進変位を表す並進移動ベクトルを↑ｔ、時刻ｔ1と時刻ｔ2との間の期間での車載カメラ２の姿勢の空間的な回転変位を表す回転行列をＲとする。これらの並進移動ベクトル↑ｔ及び回転行列Ｒは、換言すれば、時刻ｔ1と時刻ｔ2との間の期間でのカメラ座標系の空間的な並進変位と回転変位とをそれぞれ表すものである。

なお、回転行列Ｒは直交行列である。また、上記カメラ座標系は、該車載カメラ２に対して固定された座標系である。より具体的には、カメラ座標系は、例えば、車載カメラ２の光学中心Ｃを原点として、車載カメラ２の撮像画像の横方向をＸ軸方向、縦方向（上下方向）をＹ軸方向、光軸Ｌcの方向をＺ軸方向とする３軸座標系である。

さらに、図４（ｂ）に示すように、路面Ｓの法線方向の単位ベクトル（以下、単に法線ベクトルという）を↑ｎ、時刻ｔ1，ｔ2のいずれか一方の時刻、例えば時刻ｔ1での車載カメラ２の光学中心Ｃと路面Ｓとの距離をｄとする。これらの↑ｎ，ｄは、それぞれ路面Ｓ（平面）の空間的な姿勢及び位置を規定する平面パラメータである。

なお、路面Ｓは、通常、車幅方向とほぼ平行であるので、車載カメラ２の撮像画像の横方向（カメラ座標系のＸ軸方向）にほぼ平行である。このため、時刻ｔ1における車載カメラ２の光軸Ｌcに対する路面Ｓの傾き角度を図４（ｂ）に示す如くθとした場合、路面Ｓの法線ベクトル↑ｎは、時刻ｔ1でのカメラ座標系における座標成分を用いて、↑ｎ＝[０，cosθ，sinθ]^Tと表記される。

ここで、第１撮像画像の投影点Ｐ１の位置ベクトル↑Ｐ１と、第２撮像画像の投影点Ｐ２の位置ベクトル↑Ｐ２との間の関係は、平面射影変換によって対応付けられる。具体的には、第１撮像画像の投影点Ｐ１の位置ベクトル↑Ｐ１を第２撮像画像の投影点Ｐ２の位置ベクトル↑Ｐ２に変換するためのホモグラフィ行列（平面射影変換行列）をＨとおくと、次式（６）に示す如く、↑Ｐ２は、Ｈ・↑Ｐ１に、ある比例定数ｋを乗じたベクトルとなる。

↑Ｐ２＝ｋ・Ｈ・↑Ｐ１ ……（６）

また、ホモグラフィ行列Ｈは、上記並進移動ベクトル↑ｔ、回転行列Ｒ、路面Ｓの平面パラメータ↑ｎ，ｄを用いて、次式（７）により与えられる。

Ｈ＝Ｒ^T−Ｒ^T・↑ｔ・(↑ｎ／ｄ)^T ……（７）

従って、式（７）を式（６）に適用することで、次式（８）が得られる。

↑Ｐ２＝ｋ・（Ｒ^T−Ｒ^T・↑ｔ・(↑ｎ／ｄ)^T）・↑Ｐ１ ……（８）

この式（８）において、↑Ｐ１、↑Ｐ２、Ｒ、↑ｔが既知であれば、↑ｎ／ｄの成分である(cosθ)／ｄ又は(sinθ)／ｄの値を次のように求めることができる。

すなわち、時刻ｔ1でのカメラ座標系で見た並進移動ベクトル↑ｔが座標成分を用いて↑ｔ＝[ｔ1，ｔ2，ｔ3]^Tと表記されるものとする。また、回転行列Ｒの転置行列Ｒ^Tの成分表示は、次式（９）により与えられるものとする。

さらに、変数ａ，ｂをそれぞれａ≡(cosθ)／ｄ、ｂ≡(sinθ)／ｄと定義し、↑ｎ／ｄ＝[０，ａ，ｂ]^Tとおく。このとき、式（８）は、↑Ｐ１，↑Ｐ２，Ｒ^T，↑ｔ，↑ｎ／ｄのそれぞれの成分を用いて、次式（１０）により表される。

そして、この式（１０）の第３行の式を用いて、第１行及び第２行からｋを消去すると、次式（１１ａ），（１１ｂ）が得られる。

なお、式（１１ａ），（１１ｂ）に関する変数ａ，ｂの係数行列（(ｅｆ)を第１行成分、(ｈｉ)を第２行成分とする２次の正方行列）の行列式は、“０”となるので、これらの式（１１ａ）、（１１ｂ）を連立方程式として、変数ａ，ｂの値を決定することはできない。

一方、ａ≡(cosθ)／ｄ、ｂ≡(sinθ)／ｄであるから、次式（１１ｃ）が成立する。

ａ²＋ｂ²＝１／ｄ² ……（１１ｃ）

従って、式（１１ａ）〜（１１ｃ）を連立方程式として用いることで、ａ，ｂの値を算出することができる。例えば、式（１１ａ），（１１ｂ）の両辺をそれぞれ加え合わせた式と、式（１１ｃ）とを用いてｂを消去すると、次式（１２）が得られる。

従って、変数ａの値は、式（１２）により示される二次方程式の解として求めることができる。この場合、式（１２）の解となるａの値は、一般には２つ存在することとなるものの、それらの２つの値のうち、式（１１ａ）、（１１ｂ）を満足し得るａの値を、最終的に、前記式（１１ａ）〜（１１ｃ）の全てを満たすａの値として選定すればよい。

なお、式（１１ａ）〜（１１ｃ）からａを消去して、上記と同様に、ｂの値を決定するようにすることもできることはもちろんである。また、ａ，ｂの一方の値から、式（１１ａ）又は（１１ｂ）により他方の値を決定することもできる。

このように↑Ｐ１、↑Ｐ２、Ｒ、↑ｔが既知であれば、前記式（１１ａ）〜（１１ｃ）に基づいて、変数ａ又はｂの値を算出することができることとなる。そして、ａ≡(cosθ)／ｄ、ｂ≡(sinθ)／ｄであるから、上記のように変数ａ又はｂの値を算出すれば、ｄの値を用いて次式（１３ａ）又は（１３ｂ）により、車載カメラ２の光軸Ｌcに対する路面Ｓの傾斜角度θを求めることができることとなる。

θ＝cos^-1(ａ・ｄ) ……（１３ａ）
θ＝sin^-1(ｂ・ｄ) ……（１３ｂ）

次に、時刻ｔ1で車載カメラ２により撮像された第１撮像画像が、前記した図２（ａ）の状況において撮像された画像であるとし、第２撮像画像の撮像時刻ｔ2が、時刻ｔ1の直後、又は直前の時刻であるとする。なお、時刻ｔ1，ｔ2の時間差は、その時間間隔内での対象物５３と自車両１との間の距離の変化が十分に微小なものとなるような短い時間差であるとする。

そして、時刻ｔ1、ｔ2において、それぞれ第１撮像画像、第２撮像画像に投影される前記静止点Ｐは、時刻ｔ1における自車両１からの距離が対象物５３の接地点Ｐ53と同一又はほぼ同一となるような前記対象物存在路面５２上の静止点であるとする。なお、該静止点Ｐは、時刻ｔ1での対象物５３の接地点Ｐ53と一致する静止点であってもよい。

さらに、図２（ａ）に示した状況で、車載カメラ２の光軸Ｌcを含んで自車両存在路面５１に対して垂直に起立する平面の法線方向（図２（ａ）の状況では車両１の車幅方向（紙面に垂直な方向））に平行で、且つ、直線Ｌ２を含むような仮想的な平面を、対象物５３が存在する仮想的な路面として想定し、以降、これを対象物存在仮想路面Ｓａという。そして、この対象物存在仮想路面Ｓａの法線ベクトルと、時刻ｔ1での車載カメラ２の光学中心Ｃから対象物存在仮想路面Ｓａまでの距離とをそれぞれ改めて↑ｎ、ｄとおく。

このとき、上記対象物存在仮想路面Ｓａの平面パラメータ↑ｎ、ｄを前記式（８）の右辺に適用した場合、第１撮像画像の投影点Ｐ１の位置ベクトル↑Ｐ１と、第２撮像画像の投影点Ｐ２の位置ベクトル↑Ｐ２との間には、式（８）により表される関係が近似的に成立すると考えられる。

従って、時刻ｔ1と時刻ｔ2との間の期間での車載カメラ２の位置及び姿勢の変化をそれぞれ表す移動並進ベクトル↑ｔ及び回転行列Ｒと、時刻ｔ1において自車両１からの距離が対象物５３の接地点Ｐ53と同一となるような対象物存在路面５２上の静止点Ｐを第１及び第２撮像画像にそれぞれ投影してなる投影点Ｐ１，Ｐ２の位置ベクトル↑Ｐ１，↑Ｐ２とを用いて、前記した如く変数ａ（≡(cosθ)／ｄ）又はｂ（≡(sinθ)／ｄ）値を算出した場合、その変数ａ又はｂの値は、近似的に、対象物存在仮想路面Ｓａに対応する↑ｎ／ｄの成分の値に相当するものとなる。

また、上記対象物存在仮想路面Ｓａと、時刻ｔ1での車載カメラ２の光学中心Ｃとの距離ｄは、近似的にカメラ高Ｈcに一致するものと考えられる。

従って、ｄの値として、カメラ高Ｈcを使用することで、そのｄの値（＝Ｈc）と、変数ａ又はｂの値とから前記式（１３ａ）又は式（１３ｂ）により、時刻ｔ1での車載カメラ２の光軸Ｌcに対する対象物存在仮想路面Ｓaの傾斜角度θ（換言すれば、図２（ａ）の直線Ｌ２の光軸Ｌcに対する傾斜角度）を推定することができることとなる。

一方、図２（ａ）を参照して判るように、車載カメラ２の光軸Ｌcに対する対象物存在仮想路面Ｓaの傾斜角度θは、θ＝α＋βとなる。従って、対象物５３の自車両１からの距離Ｄを前記式（２）に基づき測定するために必要となる前記角度βは、上記の如く推定した対象物存在仮想路面Ｓａの傾斜角度θと、前記角度αとから、次式（１４）により算出できることとなる。

β＝θ−α ……（１４）

以上のようにして、互いに異なる時刻ｔ1，ｔ2で車載カメラ２により撮像した２つの撮像画像を用いて、前記角度βの値を推定することが可能である。

そして、この角度βの値の推定値を用いることで、前記式（４）に基づいて、対象物５３と自車両１との距離Ｄを推定できることとなる。

以上説明した技術事項を前提として、前記第２発明を以下に説明する。

前記第２発明によれば、前記測距用特徴点抽出手段によって、自車両からの距離が前記２つの撮像画像のうちの第１撮像画像の撮像時刻ｔ1での前記対象物の接地点と同じにな
るような前記対象物存在路面上の静止点を前記２つの撮像画像にそれぞれ投影してなる特徴点が抽出される。そして、前記２つの撮像画像のそれぞれにおける該特徴点の位置が特定される。これにより、前記した位置ベクトル↑Ｐ１，↑Ｐ２が特定されることとなる。

なお、第１撮像画像における前記特徴点は、例えば、第１撮像画像の撮像時刻ｔ1での前記対象物の接地点を第１撮像画像に投影してなる点（図１（ｂ）又は図２（ｂ）示した例では、点Ｐ53ａ）を通る横方向のライン上で、輝度等の局所特徴を有する点として抽出することできる。そして、他方の撮像画像（撮像時刻ｔ2で撮像された第２撮像画像）における前記特徴点は、該第２撮像画像において、第１撮像画像の特徴点と同じような特徴を有する点として抽出することができる。このような特徴点としては、例えばハリスコーナ点や、最小固有値点等を利用することができる。

また、前記カメラ運動計測手段によって、２つの撮像画像（第１撮像画像及び第２撮像画像）のそれぞれの撮像時刻ｔ1，ｔ2の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータが計測される。該カメラ運動パラメータは、前記並進移動ベクトル↑ｔと回転行列Ｒとを規定し得るようなパラメータであり、並進移動ベクトル↑ｔ及び回転行列Ｒそのものであってもよい。

なお、上記並進移動ベクトル↑ｔや回転行列Ｒ等のカメラ運動パラメータは、例えばStructure from Motion（以下ＳｆＭということがある）に基づく公知の画像処理手法によって計測することができる。

さらに、前記第３参照角度推定手段によって、前記第３参照角度の値が推定される。この第３参照角度は、車載カメラの光軸に対する前記対象物存在仮想路面（Ｓａ）の傾斜角度θに相当するものである。

従って、前記カメラ運動パラメータと、前記２つの撮像画像のそれぞれにおける前記特徴点の位置と、前記車載カメラの高さと、第３参照角度との間には、前記式（１１ａ）〜（１１ｃ）により示される如き関係が近似的に成立する。そして、その関係を表す演算式に基づいて、前記カメラ運動パラメータの計測値と、前記２つの撮像画像のそれぞれにおいて特定された前記特徴点の位置と、前記車載カメラの高さの設定値とから、前記第３参照角度（θ）の値を推定することができる。

より具体的には、例えば、前記カメラ運動計測手段により、前記２つの撮像画像のそれぞれの撮像時刻の間の期間における前記車載カメラの位置の変位ベクトルである並進移動ベクトル↑ｔと、該車載カメラの姿勢の角度変化量を表す回転行列Ｒとを前記カメラ運動パラメータとして計測する場合、前記式（１１ａ）〜（１１ｃ）に基づいて、前記カメラ運動パラメータの計測値（前記並進移動ベクトル↑ｔの各成分の値、並びに回転行列Ｒの各成分の値）と、前記２つの撮像画像のそれぞれにおいて特定された前記特徴点の位置（位置ベクトル↑Ｐ１，↑Ｐ２のそれぞれの各成分の値）とから、前記した如く変数ａ又はｂの値を求めることができる。そして、この変数ａ又はｂの値と、ｄの値としての車載カメラの高さの設定値（Ｈc）とから、前記式（１１ａ）又は（１１ｂ）により第３参照角度（θ）の推定値を求めることができる。

そして、第２発明では、前記第２距離推定手段は、前記第１参照角度（γ）の推定値と前記第２参照角度の推定値（α）と前記第３参照角度（θ）の推定値と前記車載カメラの高さの設定値とを基に、前記第２距離推定値（Ｄ２）を決定する。この場合、前記第２参照角度の推定値（α）と前記第３参照角度（θ）の推定値とから、前記式（１４）により前記角度βの値を推定できるので、このβの値と、前記第１参照角度（γ）の推定値及び前記第２参照角度の推定値（α）とを用いて、式（４）に基づいて第２距離推定値（Ｄ２）を決定できる。

かかる第２発明によれば、第２距離推定値（Ｄ２）を、最終的に対象物と自車両との間の距離の推定値として確定する場合、すなわち、第２距離推定値（Ｄ２）の信頼性が確保されていると見なせる状況において、対象物と自車両との間の距離を精度よく推定することが可能となる。

また、前記基本構成又は第１発明においては、前記対象物存在路面が、前記車両が存在する路面である自車両存在路面に対して勾配を有するか否かを検知する勾配検知手段をさらに備えており、前記距離推定値確定手段は、前記勾配検知手段の検知結果が肯定的である場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定するようにしてもよい（第３発明）。

この第３発明によれば、前記対象物存在路面が、前記自車両存在路面に対して勾配を有することが前記勾配検知手段により検知された場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第１距離推定値が前記対象物と自車両との間の距離の推定値として確定される。このため、例えば、前記第２距離推定手段が路面の勾配の変化が無いか、もしくは微小であることを前提とした演算処理（例えば前記式（３）により）、第２距離推定値（Ｄ２）を決定するように構成された場合において、第２距離推定値（Ｄ２）の信頼性が乏しいものとなる状況で、該第２距離推定値（Ｄ２）が対象物と自車両との間の距離の推定値として確定されるのが防止される。

また、前記基本構成又は第１〜第３発明では、前記対象物抽出手段により抽出された対象物の画像に基づいて、該対象物が、該対象物の属する種類における前記対象物標準サイズ値から乖離する規格外のサイズ値を有する規格外対象物であるか否かを判断する規格外対象物判断手段をさらに備え、前記距離推定値確定手段は、前記対象物が規格外対象物であると判断された場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第２距離推定値を前記対象物と自車両との間の距離の推定値として確定するようにしてもよい（第４発明）。

この第４発明によれば、前記規格外対象物推定手段により前記対象物が規格外対象物であると判断された場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第２距離推定値が前記対象物と自車両との間の距離の推定値として確定される。これにより、規格外のサイズ値の対象物に対して、信頼性の乏しい第１距離推定値（Ｄ１）が、該対象物と自車両との間の距離の推定値として確定されるのが防止される。

図１（ａ）は車両と対象物との一例の状態を示す図、図１（ｂ）は図１（ａ）の状況で車載カメラにより撮像された撮像画像の概略を示す図。図２（ａ）は車両と対象物との他の例の状態を示す図、図２（ｂ）は図２（ａ）の状況で車載カメラにより撮像された撮像画像の概略を示す図。対象物と車両との間の距離の推定誤差の特性を示すグラフ。図４（ａ）車載カメラによる互いに異なる時刻ｔ1，ｔ2での撮像状態を示す図、図４（ｂ）は図４（ａ）の時刻ｔ1での撮像状態を示す図。本発明の第１実施形態における測距装置の構成を示すブロック図。図５に示す第２距離推定部の処理を示すブロック図。図７（ａ），（ｂ）は図６の第２参照角度第Ａ推定部の処理を説明するための図。本発明の第２実施形態における距離推定値確定部の処理を示すブロック図。本発明の第３実施形態における距離推定値確定部の処理を示すブロック図。

［第１実施形態］
本発明の第１実施形態を図１〜図７を参照して以下に説明する。

図５を参照して、本実施形態の測距装置１０は、先に図１（ａ）及び図２（ａ）に示した車両１に搭載されたものであり、前記車載カメラ２に接続された演算処理ユニット１１を備える。なお、図１（ａ）及び図２（ａ）では、車両１を模式的に図示したが、実際の車両１は例えば自動車である。

そして、本実施形態では、車載カメラ２は、車両１の前方を監視するために車両１の前部に搭載されており、車両１の前方の画像を撮像する。この場合、車載カメラ２は、その光軸Ｌcを車両１の前後方向に向けるようにして車両１の車体に取り付けられている。ただし、車載カメラ２の光軸Ｌcは、車両１の前後方向に対して多少の傾きを有していてもよい。

この車載カメラ２は、ＣＣＤカメラ又はＣＭＯＳカメラ等により構成され、撮像画像の画像信号を生成して出力する。その撮像画像は、カラー画像、モノトーン画像のいずれであってもよい。

なお、車載カメラ２は、車両１の後方又は側方の画像を撮像するように車両１に搭載されたカメラであってもよい。

演算処理ユニット１１は、図示を省略するＣＰＵ、ＲＡＭ、ＲＯＭ、インターフェース回路等を含む電子回路ユニットであり、車載カメラ２で生成された画像信号が入力される。

この演算処理ユニット１１は、実装されたプログラムを実行することによって実現される機能として、車載カメラ２の撮像画像を取得する画像取得部１２と、その撮像画像から自車両１からの距離Ｄを測定しようとする対象物５３の画像を抽出する対象物抽出部１３と、各対象物と自車両１との間の距離Ｄを前記第１測距手法及び第２測距手法によりそれぞれ推定する第１距離推定部１４及び第２距離推定部１５と、各対象物と自車両１との距離の推定値を確定して出力する距離推定値確定部１６とを備える。該演算処理ユニット１１は、所定の演算処理周期でこれらの各機能部の処理を逐次実行することによって、車両１の前方に存在する各対象物５３と自車両１との間の距離Ｄの推定値を逐次決定して出力する。

以下に、演算処理ユニット１１の各機能部の処理を含めて、該演算処理ユニット１１の全体処理の詳細を説明する。

車載カメラ２は、演算処理ユニット１１から所定の演算処理周期で指示されるタイミングで車両１の前方の画像を撮像する。そして、その撮像により生成された画像信号が、車載カメラ２から演算処理ユニット１１の画像取得部１２に逐次取り込まれる。この画像取得部１２は、車載カメラ２から入力されるアナログ信号である画像信号（各画素毎の画像信号）をデジタルデータに変換し、図示しない画像メモリに記憶保持する。

この場合、画像取得部１２は、車載カメラ２によって互いに異なる時刻（所定の演算処理周期の時間間隔毎の時刻）で撮像された複数の撮像画像、例えば２つの撮像画像の組を定期的に更新しつつ、画像メモリに記憶保持する。以降の説明では、画像メモリに記憶保持される２つの撮像画像の撮像時刻を時刻ｔ1、ｔ2とし、時刻ｔ1での撮像画像を第１撮像画像、時刻ｔ2での撮像画像を第２撮像画像ということがある。なお、時刻ｔ2は時刻ｔ1の後の時刻及び前の時刻のいずれであってもよい。

画像取得部１２の処理によって画像メモリに記憶保持された２つの撮像画像（第１撮像画像及び第２撮像画像）のうちの第１撮像画像は、対象物抽出部１３に与えられる。

この対象物抽出部１３は、第１撮像画像から、自車両１との距離Ｄを測定（推定）しようとする所定種類の対象物５３の画像部分を抽出し、各対象物に関する画像情報である対象物画像情報を決定して出力する。

本実施形態では、測距対象とする対象物５３の種類は、大別すると、歩行者（人）と、他車両との２種類である。さらに、歩行者は、成人の歩行者と、児童の歩行者とに分類される。従って、対象物抽出部１３は、測距対象の対象物５３として、成人の歩行者、児童の歩行者、及び他車両の画像部分を第１撮像画像から抽出する。

この場合、対象物抽出部１３は、第１撮像画像から、歩行者又は車両に特徴的な形状パターン等を有する画像部分を探索することで、該第１撮像画像に含まれる歩行者の画像部分と他車両の画像部分とを抽出する。例えば、図１（ａ）又は図２（ａ）に示した状況では、図１（ｂ）又は図２（ｂ）の参照符号５３ａの部分が、歩行者の画像部分として抽出される。

なお、撮像画像から、歩行者や他車両の画像部分を探索する手法は種々様々な手法が公知となっており、その公知の手法を用いて第１撮像画像から対象物５３としての歩行者又は他車両を抽出するようにすればよい。

そして、抽出した対象物５３が歩行者である場合には、対象物抽出部１３は、さらに、その歩行者が成人であるか、児童であるかを特定する。この特定は、例えば、歩行者の画像部分の縦方向（上下方向）の長さと、横方向の長さとの比率に基づいて行なわれる。

具体的には、児童は、一般に、その身長（上下方向の全長）に対する幅（横方向の全長）の比率が、成人に比して大きい。そこで、本実施形態では、対象物抽出部５３は、抽出した歩行者の画像部分の縦方向の長さに対する横方向の長さの比率を求め、その比率があらかじめ定めた所定の閾値以上であるか否かによって、該歩行者が児童であるか否かを特定する。これにより、抽出された歩行者が、成人と児童とに区別されることとなる。

そして、対象物抽出部１３は、第１撮像画像から抽出した各対象物毎の対象物画像情報を決定して出力する。具体的には、本実施形態では、対象物抽出部１３は、抽出した対象物５３の種類を示す属性情報と、第１撮像画像における各対象物５３のサイズである画像中対象物サイズと、各対象物５３の接地点（対象物５３と対象物存在路面５２との接触点）を第１撮像画像に投影してなる画像上対象物接地点の位置（第１撮像画像内での位置）とを対象物画像情報として出力する。

この場合、画像中対象物サイズは、対象物５３の種類毎にあらかじめ定められた方向での長さである。具体的には、対象物５３が歩行者（成人又は児童）である場合には、その対象物５３の画像中対象物サイズは、第１撮像画像における該対象物５３の上下方向（縦方向）の全長（図１（ｂ）又は図２（ｂ）に示したｈ53a）である。

また、対象物５３が他車両である場合には、その対象物５３の画像中対象物サイズは、第１撮像画像における該対象物５３の横方向（車幅方向）の全長である。

さらに、本実施形態では、対象物抽出部１３は、第１撮像画像中の各対象物５３の画像の最下点を、画像上対象物接地点として特定し、その画像上対象物接地点の位置（第１撮像画像における位置）を出力する。例えば図１（ａ）又は図２（ａ）に示した状況では、対象物５３（歩行者）の画像５３ａに関し、図１（ｂ）又は図２（ｂ）に示す点Ｐ53aが画像上対象物接地点として特定され、この点Ｐ53aの第１撮像画像での位置が出力される。

次いで、演算処理ユニット１１は、第１距離推定部１４及び第２距離推定部１５の処理を実行する。

第１距離推定部１４には、上記対象物画像情報が対象物抽出部１３から入力される。そして、第１距離推定部１４は、入力された対象物画像情報を用いて、各対象物５３毎に、前記第１測距手法に基づく第１距離推定値Ｄ１を決定する。

この第１距離推定部１４の処理では、まず、各対象物５３毎に、その種類に応じて、該対象物５３が属する種類の対象物のサイズ（所定方向での長さ）の標準値である対象物標準サイズ値を決定する。具体的には、対象物５３が成人の歩行者である場合には、国内に存在する成人の身長（上下方向の全長）の平均値として一般的に知られている値（既知の値）が、該対象物５３に対応する対象物標準サイズ値として決定される。

同様に、対象物５３が児童の歩行者である場合には、国内に存在する児童の身長の平均値として一般的に知られている値（既知の値）が、該対象物５３に対応する対象物標準サイズ値として決定される。

また、対象物５３が他車両である場合には、国内に存在する車両の車幅（横方向の全長）の平均値として一般的に知られている値（既知の値）が、該対象物５３に対応する対象物標準サイズ値として決定される。

なお、対象物５３の各種類毎の対象物標準サイズ値（本実施形態では各種類毎の対象物サイズの平均値）は、演算処理ユニット１１の記憶装置にあらかじめ記憶保持されている。

そして、第１距離推定部１４は、各対象物５３毎に、上記の如く決定した対象物標準サイズ値と、前記画像中対象物サイズとの比率に基づいて、該対象物５３の自車両１からの距離の推定値としての第１距離推定値Ｄ１を決定する。

具体的には、第１距離推定部１４は、各対象物５３毎に、対象物標準サイズ値と、画像中対象物サイズとをそれぞれ、前記式（１ａ）の右辺のＨ53s、ｈ53aに代入して、該右辺の演算を行なうことにより、第１距離推定値Ｄ１を算出する。

なお、この場合、車載カメラ２の焦点距離Ｆの値は演算処理ユニット１１の記憶装置にあらかじめ記憶保持されている。

以上の如く、第１距離推定部１４は、前記第１測距手法によって、各対象物５３と自車両１との間の距離の推定値（第１距離推定値Ｄ１）を決定する。

前記第２距離推定部１５には、第１撮像画像及び第２撮像画像が画像取得部１２から入力されると共に、対象物画像情報が対象物抽出部１３から入力される。そして、第２距離推定部１５は、各対象物５３毎に、前記第２測距手法に基づく第２距離推定値Ｄ２を決定する。この場合、本実施形態では、第２距離推定部１５は、前記角度γだけでなく、角度α、θの推定も行い、それらの角度γ、α、θの推定値を用いて、第２距離推定値Ｄ２を決定する。

この第２距離推定部１５は、その主要な機能部として、第１撮像画像及び第２撮像画像から各対象物５３と自車両１との間の距離を第２測距手法により推定するために使用する特徴点を抽出する測距用特徴点抽出部１７と、車載カメラ２の運動状態を推定（計測）するカメラ運動推定部１８と、第１〜第３参照角度をそれぞれ推定する第１参照角度推定部１９、第２参照角度推定部２０及び第３参照角度推定部２１と、各対象物５３と自車両１との間の第２距離推定値Ｄ２を求める第２距離推定値算出部２２とを備える。第１〜第３参照角度は、それぞれ、前記角度γ、α、θに相当するものである。

測距用特徴点抽出部１７は、各対象物毎に、第１撮像画像及び第２撮像画像と、対象物画像情報のうちの画像上対象物接地点Ｐ53aの位置（第１撮像画像での位置）とから、自車両１からの距離が該対象物５３の接地点Ｐ53と同一（又はほぼ同一）となるような対象物存在路面５２上の静止点Ｐを第１撮像画像及び第２撮像画像にそれぞれ投影してなる点を、該対象物５３の測距用の特徴点として各撮像画像から探索する。

本実施形態では、車載カメラ２は、その撮像画像の横方向（カメラ座標系のｘ軸方向）が自車両存在路面５１とほぼ平行になるように車両１に搭載されている。

このため、自車両１からの距離が対象物接地点Ｐ53と同一の距離となるような対象物存在路面５２上の静止点を第１撮像画像に投影してなる点は、基本的には、図１（ｂ）又は図２（ｂ）に示す如く、画像上対象物接地点Ｐ53aを通って横方向（カメラ座標系のｘ軸方向）に延在する直線Ｌ53a上に存在する。

そこで、測距用特徴点抽出部１７は、まず、第１撮像画像における対象物５３の画像５３ａの近辺の画像領域内において、上記直線Ｌ53a上で、対象物存在路面５２の画像５２ａ中に存在する特徴点を探索し、その点を対象物存在路面５２上の静止点（自車両１からの距離が対象物接地点Ｐ53と同じになる静止点）を第１撮像画像に投影してなる特徴点として抽出する。

このような特徴点は、一般的には、その点を含む局所領域における輝度、彩度、色相等の状態量が、特徴的な（他の局所領域と区別可能な）大きさもしくは変化を示すような点である。例えばハリスコーナ点や、最小固有値点等が上記特徴点して探索される。

これにより、例えば図１（ｂ）又は図２（ｂ）の点Ｐ１が、対象物５３に対応する第１撮像画像中の特徴点として抽出される。

このように第１撮像画像における特徴点を抽出した後、測距用特徴点抽出部１７は、次に第２撮像画像において、第１撮像画像の特徴点と同じ特徴を有する点を探索し、その探索した点を、上記静止点を第２撮像画像に投影してなる特徴点として抽出する。この第２撮像画像における探索処理は、例えばブロックマッチング等の公知の画像処理手法を用いて行なえばよい。

測距用特徴点抽出部１７の上記の処理によって、自車両１からの距離が対象物接地点Ｐ53と同じになる対象物存在路面５２上の静止点を第１撮像画像に投影してなる特徴点と、該静止点を第２撮像画像に投影してなる特徴点とが抽出されることとなる。このようにして、第１撮像画像及び第２撮像画像から抽出される特徴点の例が、図４（ａ）に示した特徴点Ｐ１，Ｐ２である。

そして、測距用特徴点抽出部１７は、このように抽出した特徴点Ｐ１，Ｐ２の各撮像画像での位置（前記位置ベクトル↑Ｐ１，↑Ｐ２の座標成分）を求めて出力する。

補足すると、本実施形態では、対象物５３（歩行者又は他車両）が移動体であるため、第１撮像画像の撮像時刻ｔ1と、第２撮像画像の撮像時刻ｔ2とでは、対象物接地点Ｐ53が一般には一致しない。このため、本実施形態では、対象物接地点Ｐ53とは別の静止点を各撮像画像に投影してなる点を、上記特徴点として各撮像画像から抽出するようにした。

ただし、距離を測定しようとする対象物５３は、歩行者等の移動体でなくてもよく、固定設置物（静止物）であってもよい。その場合には、対象物としての固定設置物の接地点を各撮像画像に投影してなる点を、上記特徴点として各撮像画像から抽出するようにしてもよい。

前記カメラ運動推定部１８には、第１撮像画像及び第２撮像画像が入力される。そして、カメラ運動推定部１８は、本実施形態では、与えられた２つの撮像画像（第１撮像画像及び第２撮像画像）と、車載カメラ２の単位時間当たりの撮像数を示すフレームレートと、図示しない車速センサにより検出された車両１の車速Ｖとから、ＳｆＭ（Structure from Motion）に基づく公知の画像処理手法を用いて、車載カメラ２の空間的な位置の変位ベクトルの推定値（計測値）としての前記並進移動ベクトル↑ｔと、２つの撮像画像の撮像時刻t1，t2の間の期間における車載カメラ２の空間的な姿勢の角度変化量の推定値（計測値）を示す前記回転行列Ｒとを、車載カメラ２の運動状態（時刻ｔ1での運動状態）を示すカメラ運動パラメータとして算出する。

これらの並進移動ベクトル↑ｔと回転行列Ｒとは、例えば、第１撮像画像及び第２撮像画像にそれぞれ投影されている静止物体（固定設置物）の画像の各撮像画像での特徴点から得られるオプティカルフローに関するＳｆＭに基づく公知の手法（例えば、「Structure from Motion without Correspondence」／Frank Dellaert, Steven M.Seitz, Charles E.Thorpe, Sebastian Thrun／Computer Sience Department & Robotics Institute Canegie Mellon University, Pittsborgh PA 15213を参照）によって算出される。

補足すると、ＳｆＭに基づいて算出される並進移動ベクトルは、スケールが不定なものとなるが、上記フレームレートと車速の検出値とを基に、並進移動ベクトル↑ｔのスケールが決定される。

第２距離推定部１５は、上記の如く測距用特徴点算出部１７及びカメラ運動推定部１８の処理を実行した後、次に、第１参照角度推定部１９、第２参照角度推定部２０、第３参照角度推定部２１の処理をそれぞれ実行する。なお、第１参照角度推定部１９の処理は、カメラ運動推定部１８の処理と並行して、又はその前に実行してもよい。また、第２参照角度推定部２０の処理は、測距用特徴点算出部１７の処理と並行して、又はその前に実行してもよい。

第１参照角度推定部１９には、各対象物５３毎に、測距用特徴点抽出部１７から第１撮像画像における前記特徴点Ｐ１の位置（又は前記位置ベクトル↑Ｐ１）が入力される。そして、第１参照角度推定部１９は、各対象物５３毎に、第１撮像画像の画像中心Ｐcaと、入力された特徴点Ｐ１との間の、上下方向（カメラ座標系のＹ軸方向）の位置偏差Δｙ（図１（ｂ）又は図２（ｂ）を参照）を算出する。そして、第１参照角度推定部１９は、各対象物５３毎に、この位置偏差Δｙと、記憶装置にあらかじめ記憶保持された車載カメラ２に焦点距離Ｆの値とから、前記式（５）に基づいて、第１参照角度としての角度γの推定値（＝tan^-1(Δｙ／Ｆ)）を算出する。

第３参照角度推定部２１には、測距用特徴点抽出部１７から第１撮像画像及び第２撮像画像のそれぞれにおける各対象物５３毎の前記特徴点Ｐ１，Ｐ２の位置（又は前記位置ベクトル↑Ｐ１，↑Ｐ２）が入力されると共に、カメラ運動推定部１８から並進移動ベクトル↑ｔ及び回転行列Ｒの各成分値が入力される。

そして、第３参照角度推定部２１は、測距用特徴点抽出部１７からの入力値により示される各対象物５３毎の前記特徴点Ｐ１，Ｐ２の位置ベクトル↑Ｐ１，↑Ｐ２の各成分値と、カメラ運動推定部１８から入力された並進移動ベクトル↑ｔ及び回転行列Ｒの各成分値と、前記式（１１ｃ）のｄ（前記対象物存在仮想路面Ｓａと時刻ｔ1での車載カメラ２の光学中心Ｃとの間の距離）の近似的な設定値として図示しない記憶装置にあらかじめ記憶保持されたカメラ高Ｈcの値とから、各対象物５３毎に、前記式（１１ａ）〜（１１ｃ）に基づいて、第３参照角度としての角度θの推定値を算出する。

具体的には、例えば前記式（１２）の二次方程式の係数ｒ，ｓ，ｔの値が、前記式（１１ａ）〜（１１ｃ）に関するただし書きの定義と、式（１２）に関するただし書きの定義とに従って、↑Ｐ１，↑Ｐ２，↑ｔ，Ｒの各成分値の値から算出される。そして、係数ｒ，ｓ，ｔの値を用いて、式（１２）の二次方程式の解の値が前記変数ａ（≡(cosθ)／ｄ）の値として算出される。

この場合、前記した如く、式（１２）の解となるａの値は、一般には２つ存在することとなるものの、それらの２つの値のうち、式（１１ａ）、（１１ｂ）を満足し得るａの値が選定される。

そして、この変数ａの値と、ｄの設定値（Ｈc）とから、前記式（１３ａ）により第３参照角度θの推定値が算出される。

なお、前記変数ａの代わりに、前記変数ｂ（≡(sinθ)／ｄ）の値を算出し、この変数ｂの値と、ｄの設定値（Ｈc）とから、前記式（１３ｂ）により第３参照角度θの推定値を算出するようにしてもよい。

第２参照角度推定部２０には、カメラ運動推定部１８から並進移動ベクトル↑ｔ及び回転行列Ｒの各成分値が入力される。

この第２参照角度推定部２０は、第２参照角度としての角度αの第Ａ暫定推定値αａと第Ｂ暫定推定値αｂとをそれぞれ算出する処理を実行する第２参照角度第Ａ暫定推定部２０ａ、第２参照角度第Ｂ暫定推定部２０ｂを備えている。

第２参照角度第Ａ暫定推定部２０ａは、入力された並進移動ベクトル↑ｔの向き（撮像時刻ｔ1での車載カメラ２の光軸Ｌcに対する向き）に基づいて、第２参照角度αの第Ａ暫定推定値αａを算出する。

この場合、並進移動ベクトル↑ｔは、車両１が時刻ｔ1で走行している自車両存在路面５１にほぼ平行（車両１の進行方向とほぼ平行）なベクトルと見なすことができる。

従って、車載カメラ２の光軸Ｌcに対する並進移動ベクトル↑ｔの向き（あるいは、並進移動ベクトル↑ｔに対する光軸Ｌcの向き）は、自車両存在路面５１に対して車載カメラ２の光軸Ｌcがなす角度、すなわち、第２参照角度αに応じたものとなる。

すなわち、図７（ａ），（ｂ）に示す如く、時刻ｔ1での車載カメラ２のカメラ座標系で見た並進移動ベクトル↑ｔが、車載カメラ２の光軸Ｌc（Ｚ軸）に対してなす角度αａが、第２参照角度αに相当するものとなる。

そこで、第２参照角度第Ａ暫定推定部２０ａは、本実施形態では、入力された並進移動ベクトル↑ｔが、時刻ｔ1における車載カメラ２のカメラ座標系のＸＺ平面に対してなす角度αａを、第２参照角度αの暫定推定値として算出する。

具体的には、第２参照角度第Ａ暫定推定部２０ａは、時刻ｔ1における車載カメラ２のカメラ座標系での並進移動ベクトル↑ｔ（＝[ｔ1，ｔ2，ｔ3]^T）の成分値から、次式（１５）により、第Ａ暫定推定値αａを算出する。

また、第２参照角度第Ｂ暫定推定部２０ｂは、入力された回転行列Ｒに基づいて、第２参照角度αの第Ｂ暫定推定値αｂを算出する。

具体的には、第２参照角度第Ｂ暫定推定部２０ｂは、入力された回転行列Ｒにより示される車載カメラ２の空間的な姿勢の角度変化量（２つの撮像画像の撮像時刻t1，t2の間の期間における角度変化量）のうちの車両１のピッチ方向（第２参照角度αの変化が生じる軸周り方向）の角度変化量を演算処理ユニット１１の演算処理周期で逐次積算（累積加算）することによって、第２参照角度αの第Ｂ暫定推定値αｂを算出する。

なお、第Ｂ暫定推定値αｂは、車両１の運転開始時等に初期化される。この場合、第Ｂ暫定推定値αｂの初期値としては、例えば、車両１が水平な路面上に停車した状態での第２参照角度αの値としてあらじめ定められた値（例えば“０”）、あるいは、前回の車両１の運転時に最終的に算出された第２参照角度αの値が設定される。

以上説明した第２参照角度第Ａ推定部２０ａ及び第２参照角度第Ｂ推定部２０ｂの処理によって、並進移動ベクトル↑ｔに基づく第２参照角度αの第Ａ暫定推定値αａと、回転行列Ｒに基づく第２参照角度αの第Ｂ暫定推定値αｂとが所定の演算処理周期で逐次算出される。

ここで、並進移動ベクトル↑ｔに基づく第Ａ暫定推定値αａは、車両１の車体の姿勢の瞬時的な変動の影響を直接的に受けるため、実際の第２参照角度に対して瞬時的なずれを生じやすいものの、実際の第２参照角度αに対する定常的なオフセットは一般には生じない。

一方、回転行列Ｒに基づく第Ｂ暫定推定値αｂの波形は、実際の第２参照角度αの波形に比較的精度よく合致するものの、実際の第２参照角度αに対して定常的なオフセットを生じやすい。このオフセットは、αｂの初期値の誤差、あるいは、瞬時的な誤差の累積に起因するものである。

そこで、本実施形態では、第Ａ暫定推定値αａ及び第Ｂ暫定推定値αｂの上記の性状を踏まえて、第２参照角度推定部２０は、以下に説明する如く第２参照角度αの推定値を逐次決定する。

すなわち、第２参照角度推定部２０は、現在時刻から所定時間前までの期間で算出された第Ａ暫定推定値αａと第Ｂ暫定推定値αｂとを時系列的に記憶保持する。この場合、記憶保持される第Ａ暫定推定値αａと第Ｂ暫定推定値αｂとは、新たな（最新の）αａ，αｂが算出される毎に更新される。

そして、第２参照角度推定部２０は、まず、記憶保持したαａ，αｂの時系列データのうち、所定の時間間隔の期間分の最新のデータ（現在時刻から所定の時間間隔前の過去時刻までの期間内のデータ）を抽出し、その抽出したαａ，αｂのそれぞれのデータの平均値を算出する。すなわち、第２参照角度推定部２０は、現在時刻から所定の時間間隔前の過去時刻までの期間内のαａの平均値αa_aveとαｂの平均値αb_aveとを算出する。なお、上記所定の時間間隔は、一定時間でもよいが、本実施形態では、例えば車両１の車速に応じて設定する（車速が大きいほど、上記所定の時間間隔を短い時間間隔に設定する）。

次いで、第２参照角度推定部２０は、第Ａ暫定推定値αａの平均値αa_aveと第Ｂ暫定推定値αｂの平均値αb_aveとの偏差（＝αa_ave−αb_ave）を算出する。そして、第２参照角度推定部２０は、この偏差によって、現在時刻での第Ｂ暫定推定値αｂ（αｂの最新値）を補正することによって、現在時刻での第２参照角度αの推定値を決定する。具体的には、第２参照角度推定部２０は、上記偏差を現在時刻での第Ｂ暫定推定値αｂに加算することによって、現在時刻での第２参照角度αの推定値を決定する。

以上の第２参照角度推定部２０の処理により、第２参照角度αの推定値が逐次決定される。このようにして決定される第２参照角度αの推定値は、各対象物５３に対して共通の推定値である。なお、現在時刻から所定の時間間隔前の過去時刻までの期間内における各時刻でのαａとαｂとの偏差を求め、その偏差の該期間内での平均値を求めることによって、第Ａ暫定推定値αａの平均値αa_aveと第Ｂ暫定推定値αｂの平均値αb_aveとの偏差（＝αa_ave−αb_ave）を算出するようにしてもよい。

また、前記第２参照角度αの第Ａ暫定推定値と、累積していない第Ｂ暫定推定値（すなわち、車載カメラ２の姿勢の単位時間当たりの角度変化量）とからカルマンフィルタを用いて第２参照角度αを推定するようにしてもよい。

第１〜第３参照角度推定部１９〜２１でそれぞれ上記の如く求められた第１参照角度γの推定値、第２参照角度αの推定値、第３参照角度θの推定値は、前記第２距離推定値算出部２２に入力れる。そして、該第２距離推定値算出部２２は、各対象物５３毎に、これらの入力値から対象物５３と自車両１との間の距離の推定値としての第２距離推定値Ｄ２を算出する。

具体的には、第２距離推定値算出部２２は、第３参照角度θの推定値から第２参照角度αの推定値を減算することにより（前記式（１４）により）、図２（ａ）に示した角度β、すなわち図中の直線Ｌ２（又は前記対象物存在仮想路面Ｓａ）が自車両存在路面５１に対してなす角度βの推定値を算出する。そして、第２距離推定値算出部２２は、この角度βの推定値と、第１参照角度γの推定値と、第２参照角度αの推定値と、カメラ高Ｈcの値とから、前記式（４）によって、前記第２測距手法に基づく第２距離推定値Ｄ２を算出する。

以上の如く、第１距離推定部１４及び第２距離推定部１５の処理を実行した後、演算処理ユニット１１は、次に、距離推定値確定部１６の処理を実行する。

この距離推定値確定部１６には、各対象物５３毎の第１距離推定値Ｄ１及び第２距離推定値Ｄ２が、それぞれ第１距離推定部１４及び第２距離推定部１５から入力されると共に、さらに、図示しない車速センサから自車両１の車速Ｖの検出値が入力される。

そして、距離推定値確定部１６は、図５中に示す如く、まず、Ｓ１６−１の判断処理を実行する。このＳ１６−１では、入力された車速Ｖの検出値（現在の検出値）が、所定の閾値ＶＬよりも大きいか否かが判断される。そして、この判断結果が否定的である場合、すなわち、車速Ｖの検出値が閾値ＶＬ以下の低車速（停車状態を含む）である場合には、距離推定値確定部１６は、各対象物５３に関して入力された第１距離推定値Ｄ１を、該対象物５３と自車両１との間の距離Ｄの推定値（時刻ｔ1での距離Ｄの推定値）として確定して出力する。

一方、車速Ｖの検出値が、所定の閾値ＶＬよりも大きい場合には、距離推定値確定部１６は、次に、Ｓ１６−２の判断処理を実行する。このＳ１６−２では、距離推定値確定部１６は、各対象物５３毎に、第２距離推定値Ｄ２の許容範囲（下限値と上限値との組）を、入力された第１距離推定値Ｄ１に応じて決定する。そして、距離推定値確定部１６は、各対象物５３毎に、入力された第２距離推定値Ｄ２が上記の許容範囲内に収まっているか否かを判断する。

この場合、距離推定値確定部１６は、第２距離推定値Ｄ２の許容範囲の下限値と、上限値とをそれぞれ次式（１６ａ），（１６ｂ）により決定する。

Ｄ２の許容範囲の下限値＝Ｄ１／（１＋Ｅmax） ……（１６ａ）
Ｄ２の許容範囲の上限値＝Ｄ１／（１＋Ｅmin） ……（１６ｂ）

ここで、Ｅmax，Ｅminは、それぞれ前記式（２）により与えられる第１距離推定値Ｄ１の誤差範囲（対象物５３の種類毎の誤差範囲）の最大値［％］（＞０）、最小値［％］（＜０）を“１００”で除算してなる値である。

従って、Ｅmaxは、各対象物５３毎に、その種類に対応する前記対象物標準サイズＨ53sと、その種類の対象物に関して一般的に知られている対象物サイズの最小値Ｈmin（＜Ｈ53s）とから、次式（１７ａ）により算出される値である。また、Ｅminは、各対象物５３毎に、その種類に対応する前記対象物標準サイズＨ53sと、その種類の対象物に関して一般的に知られている対象物サイズの最大値Ｈmax（＞Ｈ53s）から、次式（１７ｂ）により算出される値である。

Ｅmax＝(Ｈ53s／Ｈmin）−１ ……（１７ａ）
Ｅmin＝(Ｈ53s／Ｈmax）−１ ……（１７ｂ）

なお、対象物５３が、歩行者（成人又は児童）である場合には、Ｈ53s、Ｈmin、Ｈmaxはそれぞれ身長（上下方向の全長）に関する値である。対象物５３が他車両である場合には、Ｈ53s、Ｈmin、Ｈmaxはそれぞれ車幅（横方向の全長）に関する値である。また、Ｈmin、Ｈmaxの値は、対象物５３の種類別に（成人の歩行者、児童の歩行者、他車両のそれぞれ毎に）演算処理ユニット１１の記憶装置にあらかじめ記憶保持されている。

補足すると、第２距離推定値Ｄ２の許容範囲の下限値と上限値とはそれぞれ、次式（１８ａ），（１８ｂ）により設定してもよい。これらの式（１８ａ），（１８ｂ）により設定される許容範囲は、式（１７ａ），（１７ｂ）により設定される許容範囲と同じである。

Ｄ２の許容範囲の下限値＝Ｄ１・（Ｈmin／Ｈ53s）＝Ｆ・（Ｈmin／ｈ53a）
……（１８ａ）
Ｄ２の許容範囲の上限値＝Ｄ１・（Ｈmax／Ｈ53s）＝Ｆ・（Ｈmax／ｈ53a）
……（１８ｂ）

上記の如く設定される許容範囲は、各対象物５３の画像中対象物サイズｈ53aと該対象物５３が属する種類における対象物サイズの最大値の設定値（最大サイズ設定値）としてのＨmaxとの比率を基に推定される距離Ｄの値（前記式（１ａ）のＨ53sをＨmaxに置き換えた式により算出されるＤの値）と、該対象物５３の画像中対象物サイズｈ53aと該対象物５３が属する種類における対象物サイズの最小値の設定値（最小サイズ設定値）としてのＨminとの比率を基に推定される距離Ｄの値（前記式（１ａ）のＨ53sをＨminに置き換えた式により算出されるＤの値）との間の範囲となる。

従って、この許容範囲は、対象物５３の実際の対象物サイズＨ53と対象物標準サイズ値Ｈ53sとの差に起因する第１距離推定値Ｄ１の誤差範囲に対応するものである。

そして、距離推定値確定部１６は、各対象物５３毎に、入力された第２距離推定値Ｄ２が上記の如く設定した許容範囲内に収まっている場合（Ｓ１６−２の判断結果が肯定的である場合）には、該対象物５３の第２距離推定値Ｄ２を、該対象物５３と自車両１の間の距離Ｄの推定値（時刻ｔ1での距離Ｄの推定値）として確定して出力する。

また、距離推定値確定部１６は、各対象物５３毎に、入力された第２距離推定値Ｄ２が上記の如く設定した許容範囲内から逸脱している場合（Ｓ１６−２の判断結果が否定的である場合）には、該対象物５３の第１距離推定値Ｄ１を、該対象物５３と自車両１の間の距離Ｄの推定値（時刻ｔ1での距離Ｄの推定値）として確定して出力する。

従って、距離推定値確定部１６の処理では、車速Ｖの検出値が所定の閾値ＶＬ以下の低車速である場合には、いずれの対象物５３についても、各対象物５３の第１距離推定値Ｄ１が、距離Ｄの推定値として確定される。また、車速Ｖの検出値が所定の閾値ＶＬよりも大きい場合には、各対象物５３について、Ｓ１６−２の判断結果が肯定的である場合に、第２距離推定値Ｄ２が、該対象物５３の距離Ｄの推定値として確定される。また、Ｓ１６−２の判断結果が否定的である場合には、第１距離推定値Ｄ１が該対象物５３の距離Ｄの推定値として確定される。

以上が本実施形態における演算処理ユニット１１が実行する処理の詳細である。この処理によって、車両１の前方の路面に自車両１との間の距離を測定しようとする対象物５３（本実施形態では歩行者又は他車両）が存在する場合に、その各対象物５３と自車両１との間の距離Ｄが逐次、推定されることとなる。

ここで、本実施形態と本発明との対応関係について補足しておく。本実施形態では、前記対象物抽出部１３、第１距離推定部１４、第２距離推定部１５（又は第２距離推定値算出部２２）、距離推定値確定部１６によって、それぞれ、本発明における対象物抽出手段、第１距離推定手段、第２距離推定手段、距離推定値確定手段が実現される。

また、測距用特徴点抽出部１７、カメラ運動推定部１８、第１参照角度推定部１９、第２参照角度推定部２０、第３参照角度推定部２１によって、それぞれ、本発明における測距用特徴点抽出手段、第１参照角度推定手段、第２参照角度推定手段、第３参照角度推定手段が実現される。

さらに、距離推定値確定部１６のＳ１６−２の判断処理によって、本発明における第２距離推定値判断手段が実現される。

以上説明した実施形態によれば、車速Ｖの検出値が所定の閾値ＶＬ以下の低車速でない場合において、第２測距手法に基づく第２距離推定値Ｄ２が、前記式（１６ａ），（１６ｂ）（又は前記式（１８ａ），（１８ｂ））により設定した許容範囲内に収まっている場合には、各対象物５３の自車両１からの距離Ｄの推定値として、第２距離推定値Ｄ２が決定される。

ここで、前記許容範囲は、各対象物５３毎の第１測距手法に基づく第１距離推定値Ｄ１の誤差範囲に対応しており、前記第２参照角度αや、第３参照角度θの影響を受けない。このため、各対象物５３の自車両１からの実際の距離Ｄ（真値）は、十分に高い確度で上記許容範囲内に収まることとなる。

従って、第２距離推定値Ｄ２が、上記許容範囲内に収まっている場合には、第２参照角度αや第３参照角度θの推定値の誤差が十分に小さく、ひいては、第２測距手法に基づいて算出した第２距離推定値Ｄ２の信頼性が十分に確保されていると見なすことができる。そして、この場合には、第２距離推定値Ｄ２は、実際の対象物サイズの影響を受けないので、その誤差も十分に小さなものとなっていると考えられる。

このため、第２距離推定値Ｄ２が、上記許容範囲内に収まっている場合に、該第２距離推定値Ｄ２を、対象物５３の自車両１からの距離Ｄの推定値として確定することで、対象物５３の信頼性の高い距離推定値を得ることができる。

また、第２測距手法に基づく第２距離推定値Ｄ２が、前記式（１６ａ），（１６ｂ）（又は前記式（１８ａ），（１８ｂ））により設定した許容範囲から逸脱している場合、すなわち、Ｄ２の信頼性が低い場合には、対象物５３の自車両１からの距離Ｄの推定値として、第１測距手法に基づく第１距離推定値Ｄ１が決定される。これにより、対象部５３の自車両１からの距離Ｄの推定値として、実際の距離値から大きく乖離した値が決定されることが防止される。

また、車速Ｖの検出値が所定の閾値ＶＬ以下の低車速である場合には、各対象物５３の自車両１からの距離Ｄの推定値として、第１測距手法に基づく第１距離推定値Ｄ１が決定される。

ここで、本実施形態では、カメラ運動推定部１８は、互いに異なる撮像時刻ｔ1，ｔ2で撮像された第１撮像画像及び第２撮像画像を基に、車載カメラ２の運動状態を示す並進移動ベクトル↑ｔや回転行列Ｒを算出する。そして、この並進移動ベクトル↑ｔや回転行列Ｒを用いて第２参照角度αや第３参照角度θが推定される。さらに、この第２参照角度αや第３参照角度θを用いて、第２距離推定値Ｄ２が算出される。

一方、車速Ｖが低い場合には、第１撮像画像及び第２撮像画像間の差異が生じ難いため、それらの撮像画像を用いて推定される並進移動ベクトル↑ｔや回転行列Ｒの信頼性が低下し易い。ひいては、第２距離推定値Ｄ２の信頼性も低下し易い。

このため、本実施形態では、車速Ｖの検出値が所定の閾値ＶＬ以下の低車速である場合には、Ｓ１６−２の判断結果によらずに、各対象物５３の自車両１からの距離Ｄの推定値として、第１測距手法に基づく第１距離推定値Ｄ１を決定するようにしている。これにより、第２距離推定値Ｄ２の信頼性が低い状況で、該第２距離推定値Ｄ２が、対象物５３の自車両１からの距離Ｄの推定値として決定されるのを防止することができる。

さらに、本実施形態では、第１参照角度γの推定値に加えて、前記第２参照角度α及び第３参照角度θを推定し、それらの角度γ、α、θの推定値を用いて第２測距手法に基づく第２距離推定値Ｄ２を決定する。

このため、第２距離推定値Ｄ２が、対象物５３の自車両１からの距離Ｄの推定値として採用される状況（Ｄ２の信頼性が高いと考えられる状況）では、車両１が走行する路面の勾配の変化や、車両１の車体の姿勢の変動（特にピッチ方向の姿勢の変動）の影響を適切に補償してなる精度のよい（誤差の小さい）第２距離推定値Ｄ２を、対象物５３の自車両１からの距離Ｄの推定値として決定することができる。

また、第２距離推定値Ｄ２を決定するために用いる第２参照角度αの推定処理においては、所定の演算処理周期で算出される前記第Ｂ暫定推定値αｂを、現在時刻から所定の時間間隔前の過去時刻までの期間内における前記第Ａ暫定推定値αａの平均値αa_aveと第Ｂ暫定推定値αｂの平均値αb_aveとの偏差（＝αa_ave−αb_ave）の分だけ補正することによって、最終的な第２参照角度αの推定値が逐次決定される。

これにより、第２参照角度αの推定値の精度を高めることができる。

また、上記偏差（＝αa_ave−αb_ave）を求めるために使用するαａ、αｂのサンプリング期間を規定する前記所定の時間間隔が、車速が大きいほど、短い時間に設定される。このため、該所定の時間間隔の期間は、その期間内での自車両１の車体の姿勢（特にピッチ方向の姿勢）に大きな変動が生じ難い期間に設定される。

この結果、第Ａ暫定推定値αａ及び第Ｂ暫定推定値αｂの信頼性の高い（Ｓ／Ｎ比の高い）平均値αa_ave，αb_aveを使用して、上記偏差（＝αa_ave−αb_ave）を算出することができる。このため、第２参照角度αの推定値の精度を効果的に高めることができる。ひいては、第２測距手法に基づく第２距離推定値Ｄ２の精度を高めることができる。

以上のようにして、本実施形態によれば、第２測距手法に基づく第２距離推定値Ｄ２の信頼性が高いと考えられる状況では、その第２距離推定値Ｄ２を、対象物５３と自車両１との間の距離Ｄの推定値として確定するので、該距離Ｄを精度よく推定することができる。また、第２測距手法に基づく第２距離推定値Ｄ２の信頼性が低いと考えられる状況では、第１測距手法に基づく第１距離推定値Ｄ１を、対象物５３と自車両１との間の距離Ｄの推定値として確定するので、その距離Ｄの推定値が、実際の距離Ｄに対して過大な誤差を有するものとなるを防止することができる。

［第２実施形態］
次に、本発明の第２実施形態を図８を参照して説明する。なお、本実施形態は、前記第１実施形態と、演算処理ユニット１１の一部の処理のみが相違する。このため、本実施形態の説明では、その相違点を中心に説明し、第１実施形態と同一の事項については説明を省略する。

前記第１実施形態では、第２距離推定部１５の第１距離推定値算出部２２は、前記式（４）により、第２距離推定値Ｄ２を算出するようにした。これに対して、本実施形態では、第１距離推定値算出部２２は、第１参照角度γ及び第２参照角度αの推定値と、カメラ高Ｈcの設定値とから前記式（３）により第２距離推定値Ｄ２を算出する。そして、第２距離推定部１５は、この第２距離推定値Ｄ２を距離推定値確定部１６に出力すると共に、第２参照角度α及び第３参照角度θの推定値から前記式（１４）に算出した角度βの推定値を距離推定値確定部１６に出力する。

さらに、本実施形態では、距離推定値確定部１６は、各対象物５３毎に、図８に示す処理を実行することによって、各対象物５３と自車両１との間の距離Ｄの推定値を確定して出力する。

具体的には、距離推定値確定部１６は、まず、Ｓ１６−１の判断処理を実行する。このＳ１６−１の判断処理は、第１実施形態におけるＳ１６−１の判断処理と同じであり、車速Ｖの検出値が、所定の閾値ＶＬよりも大きいか否かを判断する。そして、この判断結果が、否定的である場合には、第１距離推定値Ｄ１が、対象物５３と自車両１との間の距離Ｄの推定値として確定される。

また、Ｓ１６−１の判断結果が肯定的である場合には、距離推定値確定部１６は、次に、Ｓ１６−３の判断処理を実行する。このＳ１６−３では、距離推定値確定部１６は、第２距離推定部１５から入力された角度βの推定値が所定の閾値βＬよりも大きいか否かを判断する。この判断結果が肯定的となる状況は、角度βがある程度大きい状況、すなわち、対象物存在路面５２が自車両存在路面５１に対して勾配を有する状況である。

ここで、本実施形態では、前記式（３）により第２距離推定値Ｄ２を算出するので、路面の勾配の変化があると、該第２距離推定値Ｄ２が、対象物５３の自車両１からの実際の距離Ｄに対して誤差を生じる。

そこで、本実施形態では、Ｓ１６−３の判断結果が肯定的となる場合には、第１距離推定値Ｄ１を、対象物５３と自車両１との間の距離Ｄの推定値として確定する。

一方、Ｓ１６−３の判断結果が否定的となる状況は、角度βが“０”もしくはそれに近い状況、すなわち、対象物存在路面５２が自車両存在路面５１に対してほとんど勾配を有さない状況である。この状況では、前記第２参照角度αが適切に推定されている限り、第２距離推定値Ｄ２の信頼性は高い。

そこで、Ｓ１６−３の判断結果が否定的となる場合には、距離推定値確定部１６は、次に、Ｓ１６−２の判断処理を実行する。このＳ１６−２の判断処理は、第１実施形態におけるＳ１６−２の判断処理と同じであり、第２距離推定値Ｄ２が許容範囲内に収まっているか否かを判断する。そして、この判断結果が、否定的である場合には、第１距離推定値Ｄ１が、対象物５３と自車両１との間の距離Ｄの推定値として確定される。また、この判断結果が肯定的である場合には、第２距離推定値Ｄ２が、対象物５３と自車両１との間の距離Ｄの推定値として確定される。

本実施形態は、以上説明した事項以外は、前記第１実施形態と同じである。

かかる本実施形態においても、第２測距手法に基づく第２距離推定値Ｄ２の信頼性が高いと考えられる状況では、その第２距離推定値Ｄ２を、対象物５３と自車両１との間の距離Ｄの推定値として確定するので、該距離Ｄを精度よく推定することができる。

また、対象物存在路面５２が自車両存在路面５１に対して勾配を有する状況を含めて、第２測距手法に基づく第２距離推定値Ｄ２の信頼性が低いと考えられる状況では、第１測距手法に基づく第１距離推定値Ｄ１を、対象物５３と自車両１との間の距離Ｄの推定値として確定するので、その距離Ｄの推定値が、実際の距離Ｄに対して過大な誤差を有するものとなるを防止することができる。

補足すると、本実施形態では、Ｓ１６−３の処理によって、本発明における勾配検知手段が実現される。

［第３実施形態］
次に、本発明の第３実施形態を図９を参照して説明する。なお、本実施形態は、前記第１実施形態と、演算処理ユニット１１の一部の処理のみが相違する。このため、本実施形態の説明では、その相違点を中心に説明し、第１実施形態と同一の事項については説明を省略する。

前記第１実施形態では、対象物５３としての歩行者を成人の歩行者と児童の歩行者とに区別して、それぞれ毎に、対象物５３と自車両１との間の距離Ｄを推定するようにした。これに対して、本実施形態では、対象物抽出部１３で対象物５３として歩行者が抽出された場合に、その歩行者が成人の歩行者であると仮定して、第１距離推定部１４の処理を実行する。すなわち、本実施形態では、第１距離推定部１４は、対象物５３が歩行者である場合に、成人の歩行者に関する対象物標準サイズＨ53s（成人の歩行者の身長の平均値）を用いて、前記式（１ａ）により第１距離推定値Ｄ１を算出する。

そして、本実施形態では、距離推定値確定部１６には、各対象物５３毎の第１距離推定値Ｄ１及び第２距離推定値Ｄ２に加えて、各対象物５３毎の対象物画像情報が対象物抽出部１３から与えられる。この対象物画像情報には、本実施形態では、第１撮像画像における各対象物５３の画像の縦方向の長さと横方向の長さとが含まれる。

さらに、本実施形態では、距離推定値確定部１６は、各対象物５３毎に、図９に示す処理を実行することによって、各対象物５３と自車両１との間の距離Ｄの推定値を確定して出力する。

また、Ｓ１６−１の判断結果が否定的である場合には、距離推定値確定部１６は、次に、Ｓ１６−４の判断処理を実行する。このＳ１６−４では、距離推定値確定部１６は、対象物抽出部１３から与えられる対象物画像情報に基づいて、対象物５３が、その実際の対象物サイズが対象物標準サイズ値から大きく乖離したものとなっている可能性が高い規格外の対象物であるか否かを判断する。

この場合、この判断は、第１撮像画像における対象物５３の画像の縦方向の長さと横方向の長さとの比率を、対象物５３の種類別にあらかじめ定めた所定値と比較することで行なわれる。例えば、対象物５３が歩行者である場合、その画像の縦方向の長さに対する横方向の長さの比率は、該歩行者が一般的な成人である場合に較べて、該歩行者が一般的な児童である場合の方が大きくなる。そこで、本実施形態では、は、対象物５３が歩行者である場合、その画像の縦方向の長さに対する横方向の長さの比率が、あらかじめ定めた所定値よりも大きい場合には、その対象物５３が規格外の対象物であると判断する。

また、対象物５３が他車両である場合には、例えば、その画像の縦方向の長さに対する横方向の長さの比率が、あらかじめ定めた所定範囲から逸脱している場合には、その対象物５３が、一般的な対象物サイズから逸脱する対象物サイズを有する特殊車両の如き規格外の対象物であると判断する。

そして、距離推定値確定部１６は、Ｓ１６−４の判断結果が肯定的である場合、すなわち、第１距離推定値Ｄ１の信頼性が低い場合には、第２距離推定値Ｄ２を、対象物５３と自車両１との間の距離Ｄの推定値として確定する。

一方、Ｓ１６−４の判断結果が否定的である場合には、距離推定値確定部１６は、次に、Ｓ１６−２の判断処理を実行する。このＳ１６−２の判断処理は、第１実施形態におけるＳ１６−２の判断処理と同じであり、第２距離推定値Ｄ２が許容範囲内に収まっているか否かを判断する。そして、この判断結果が、否定的である場合には、第１距離推定値Ｄ１が、対象物５３と自車両１との間の距離Ｄの推定値として確定される。また、この判断結果が肯定的である場合には、第２距離推定値Ｄ２が、対象物５３と自車両１との間の距離Ｄの推定値として確定される。

本実施形態は、以上説明した事項以外は、前記第１実施形態と同じである。なお、Ｓ１６−２では、対象物５３の画像の縦方向の長さと横方向の長さとの比率に限らず、例えば、対象物５３の画像の全体又は局所部分の形状的な特徴等に基づいて対象物５３が、規格外の対象物であるか否かを判断するようにしてもよい。

かかる本実施形態においては、第１測距手法に基づく第１距離推定値Ｄ１の信頼性が低いと考えられる状況では、その第１距離推定値Ｄ１を、対象物５３と自車両１との間の距離Ｄの推定値として確定するので、その推定値が、実際の値に対して過剰に乖離するのを防止することができる。

補足すると、本実施形態では、Ｓ１６−４の処理によって、本発明における規格外対象物判断手段が実現される。

なお、以上説明した各実施形態では、第２参照角度αを逐次推定するようにしたが、車両１が平坦な路面上を定常走行しているような状況では、第２参照角度αの値は、ほぼ一定に維持される。そして、その第２参照角度αの値は、車体に対する車載カメラ２の取付姿勢により規定される既知の値となる。従って、このような状況では、第２距離推定部１５の処理で、第２参照角度αを逐次推定せずとも、該αの値をあらかじめ定められた既定値として、前記式（３）又は（４）により第２距離推定値Ｄ２を決定するようにしてもよい。

また、前記各実施形態では、測距対象の対象物５３が歩行者又は他車両である場合を例にとって説明したが、対象物５３は歩行者以外の動物等であってもよい。あるいは、対象物５３は、固定接地物（静止物）であってもよい。対象物５３が固定接地物である場合には、測距用特徴点抽出部１７の処理では、前記した如く、対象物５３の接地点を各撮像画像に投影してなる点を前記特徴点Ｐ１，Ｐ２として使用してもよい。

また、前記各実施形態では、車載カメラ２の運動状態を表すカメラ運動パラメータ（詳しくは並進移動ベクトル↑ｔ及び回転行列Ｒ）を、撮像画像を用いて推定するようにしたが、車両１の車体の姿勢を検出するためのジャイロセンサ等の姿勢センサや、車体の加速度を検出するための加速度センサが車両１に搭載されている場合には、例えばそれらセンサの出力に基づいて、カメラ運動パラメータを計測するようにしてもよい。

また、前記１実施形態では、第２参照角度α及び第３参照角度θを推定し、それらの推定値を用いて第２距離推定値Ｄ２を決定するようにしたが、第２参照角度α、又は第３参照角度θの値をあらかじめ定めた所定値として、前記式（３）又は式（４）により第２距離推定値Ｄ２を算出するようにしてもよい。

また、前記第３実施形態では、前記第２参照角度推定部２０及び第３参照角度推定部２１でそれぞれ決定した第２参照角度α及び第３参照角度θから、前記式（１４）により算出した角度βに基づいて、前記Ｓ１６−４において、対象物存在路面５２が自車両存在路面５１に対して勾配を有するか否かを検知するようにしたが、例えばレーザレーダを車両１に搭載しているような場合には、そのレーザレーダの反射波の受信強度等を基に、勾配の有無を検知するようにしてもよい。

また、前記第３実施形態において、第２距離推定値Ｄ２を、前記式（３）により決定するようにしてもい。そして、その場合、距離推定値確定部１６の処理では、第２実施形態におけるＳ１６−３の判断処理を追加し、その判断結果が肯定的である場合には、第２実施形態と同様に第１距離推定値Ｄ１を、対象物５３と自車両１との間の距離Ｄの推定値として確定するようにしてもよい。

１…車両、２…車載カメラ、１０…測距装置、１３…対象物抽出部（対象物抽出手段）、１４…第１距離推定部（第１距離推定手段）、１５…第２距離推定部（第２距離推定手段）、１６…距離推定値確定部（距離推定値確定手段）、１７…測距用特徴点抽出部（測距用特徴点抽出手段）、１８…カメラ運動推定部（カメラ運動計測手段）、１９…第１参照角度推定部（第１参照角度推定手段）、２０…第２参照角度推定部（第２参照角度推定手段）、２１…第３参照角度推定部（第３参照角度推定手段）、Ｓ１６−２…第２距離推定値判断手段、Ｓ１６−３…勾配検知手段、Ｓ１６−４…規格外対象物判断手段。

Claims

車載カメラによって撮像された路面上の対象物と前記車載カメラが搭載された自車両との間の距離を測定する測距装置であって、
前記車載カメラの撮像画像から、前記自車両との距離を測定しようとする対象物の画像を抽出する対象物抽出手段と、
前記撮像画像から抽出された対象物の画像を基に、該撮像画像中での該対象物のサイズである画像中対象物サイズを特定し、その特定した画像中対象物サイズと、前記車載カメラの光軸方向で見た前記対象物の実空間でのサイズである対象物サイズの標準値としてあらかじめ設定された対象物標準サイズ値との比率と、前記車載カメラの焦点距離の設定値とから、前記撮像画像の撮像時刻ｔ1での前記対象物と自車両との間の距離の第１推定値
である第１距離推定値を決定する第１距離推定手段と、
前記対象物が存在する路面である対象物存在路面上の静止点であって、自車両からの距離が前記撮像時刻ｔ1での前記対象物の接地点と同じになる静止点を該撮像時刻ｔ1で撮像された前記撮像画像に投影してなる特徴点を該撮像画像から抽出して、該撮像画像における該特徴点の位置を特定する測距用特徴点抽出手段と、
前記撮像画像において特定された前記特徴点の位置に基づき、前記車載カメラから前記静止点に至る直線が、該車載カメラの光軸に対してなす角度である第１参照角度の値を推定する第１参照角度推定手段と、
少なくとも前記第１参照角度の推定値と前記車載カメラの高さの設定値とを基に、前記対象物と自車両との間の距離の第２推定値である第２距離推定値を決定する第２距離推定手段と、
前記特定された画像中対象物サイズと前記対象物サイズの最大値としてあらかじめ設定された最大サイズ設定値との比率を基に推定される前記距離の値と、前記特定された画像中対象物サイズと前記対象物サイズの最小値としてあらかじめ設定された最小サイズ設定値との比率を基に推定される前記距離の値との間の範囲を、前記第２距離推定値の許容範囲として設定し、その設定した許容範囲に前記第２距離推定値が収まっているか否かを判断する第２距離推定値判断手段と、
前記第２距離推定値判断手段の判断結果が、肯定的である場合に、前記第２距離推定値を前記対象物と自車両との間の距離の推定値として確定し、該判断結果が否定的である場合に、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定する距離推定値確定手段と、
互いに異なる撮像時刻で撮像された２つ以上の撮像画像を基に、前記車載カメラの並進移動方向を少なくとも含む該車載カメラの運動状態を逐次計測するカメラ運動計測手段と、
前記車載カメラの計測された運動状態から、前記撮像時刻ｔ1において前記車載カメラの光軸が前記車両が存在する路面である自車両存在路面に対してなす角度である第２参照角度の値を推定する第２参照角度推定手段とを備え、
前記第２参照角度推定手段は、少なくとも前記第１参照角度の推定値と前記第２参照角度の推定値と前記車載カメラの高さの設定値とを基に、前記第２距離推定値を決定する手段であり、
前記距離推定値確定手段は、前記車両の車速が所定値以下の低車速である場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定することを特徴とする測距装置。
請求項１記載の測距装置において、
前記測距用特徴点抽出手段は、前記静止点を前記撮像時刻ｔ1で撮像された撮像画像に投影してなる特徴点と、該撮像時刻ｔ1と異なる撮像時刻ｔ2で撮像された撮像画像に投影してなる特徴点とを当該２つの撮像画像のそれぞれから抽出して、当該２つの撮像画像のそれぞれにおける各特徴点の位置を特定する手段であり、
前記カメラ運動計測手段は、前記２つの撮像画像のそれぞれの撮像時刻ｔ1，ｔ2の間の期間における前記車載カメラの位置及び姿勢の変化を表すカメラ運動パラメータを逐次計測する手段であり、
前記カメラ運動パラメータと、前記２つの撮像画像のそれぞれにおける前記特徴点の位置と、前記車載カメラの高さと、前記撮像時刻ｔ1において前記自車両存在路面のうちの前記車載カメラの下方に位置する点から前記静止点に至る直線が前記車載カメラの光軸に対してなす角度である第３参照角度との間の関係を表す演算式に基づいて、前記カメラ運動パラメータの計測値と、前記２つの撮像画像のそれぞれにおいて特定された前記特徴点の位置と、前記車載カメラの高さの設定値とから、該演算式における未知数としての前記第３参照角度の値を推定する第３参照角度推定手段をさらに備えており、
前記第２距離推定手段は、前記第１参照角度の推定値と前記第２参照角度の推定値と前記第３参照角度の推定値と前記車載カメラの高さの設定値とを基に、前記第２距離推定値を決定する手段であることを特徴とする測距装置。
車載カメラによって撮像された路面上の対象物と前記車載カメラが搭載された自車両との間の距離を測定する測距装置であって、
前記車載カメラの撮像画像から、前記自車両との距離を測定しようとする対象物の画像を抽出する対象物抽出手段と、
前記撮像画像から抽出された対象物の画像を基に、該撮像画像中での該対象物のサイズである画像中対象物サイズを特定し、その特定した画像中対象物サイズと、前記車載カメラの光軸方向で見た前記対象物の実空間でのサイズである対象物サイズの標準値としてあらかじめ設定された対象物標準サイズ値との比率と、前記車載カメラの焦点距離の設定値とから、前記撮像画像の撮像時刻ｔ1での前記対象物と自車両との間の距離の第１推定値
である第１距離推定値を決定する第１距離推定手段と、
前記対象物が存在する路面である対象物存在路面上の静止点であって、自車両からの距離が前記撮像時刻ｔ1での前記対象物の接地点と同じになる静止点を該撮像時刻ｔ1で撮像された前記撮像画像に投影してなる特徴点を該撮像画像から抽出して、該撮像画像における該特徴点の位置を特定する測距用特徴点抽出手段と、
前記撮像画像において特定された前記特徴点の位置に基づき、前記車載カメラから前記静止点に至る直線が、該車載カメラの光軸に対してなす角度である第１参照角度の値を推定する第１参照角度推定手段と、
少なくとも前記第１参照角度の推定値と前記車載カメラの高さの設定値とを基に、前記対象物と自車両との間の距離の第２推定値である第２距離推定値を決定する第２距離推定手段と、
前記特定された画像中対象物サイズと前記対象物サイズの最大値としてあらかじめ設定された最大サイズ設定値との比率を基に推定される前記距離の値と、前記特定された画像中対象物サイズと前記対象物サイズの最小値としてあらかじめ設定された最小サイズ設定値との比率を基に推定される前記距離の値との間の範囲を、前記第２距離推定値の許容範囲として設定し、その設定した許容範囲に前記第２距離推定値が収まっているか否かを判断する第２距離推定値判断手段と、
前記第２距離推定値判断手段の判断結果が、肯定的である場合に、前記第２距離推定値を前記対象物と自車両との間の距離の推定値として確定し、該判断結果が否定的である場合に、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定する距離推定値確定手段と、
前記対象物存在路面が、前記車両が存在する路面である自車両存在路面に対して勾配を有するか否かを検知する勾配検知手段とを備え、
前記距離推定値確定手段は、前記勾配検知手段の検知結果が肯定的である場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第１距離推定値を前記対象物と自車両との間の距離の推定値として確定することを特徴とする測距装置。
請求項１〜３のいずれか１項に記載の測距装置において、
前記対象物抽出手段により抽出された対象物の画像に基づいて、該対象物が、該対象物の属する種類における前記対象物標準サイズ値から乖離する規格外のサイズ値を有する規格外対象物であるか否かを判断する規格外対象物判断手段をさらに備え、
前記距離推定値確定手段は、前記対象物が規格外対象物であると判断された場合には、前記第２距離推定値判断手段の判断結果によらずに、前記第２距離推定値を前記対象物と自車両との間の距離の推定値として確定することを特徴とする測距装置。