JP5295254B2

JP5295254B2 - 車両周囲監視装置

Info

Publication number: JP5295254B2
Application number: JP2010528535A
Authority: JP
Inventors: 雅之原田; 義広都丸; 洋平三木; 仁志藤本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2008-09-09
Filing date: 2008-09-09
Publication date: 2013-09-18
Anticipated expiration: 2028-09-09
Also published as: WO2010029592A1; JPWO2010029592A1

Description

この発明は、車両の周囲に存在している立体物を検出する車両周囲監視装置に関するものである。

従来の車両周囲監視装置は、車両の運転席から死角になる領域を撮影するカメラを設け、ユーザがカメラにより撮影された画像を見ることで、死角領域を視認できるようにしている。
その際、ユーザが、画像上に存在している物体が車両と接触するか否かを判断できることが重要であるが、単一の画像を見るだけでは、物体の高さを把握することが困難であるため、車両と接触するか否かの判断が難しい。

例えば、図１６（ｂ）に示すように、高さが異なる物体Ａ，Ｂ，Ｃのどれか１つが車両の周辺に存在しているとき、車両に取り付けられたカメラによって、その物体を撮影すると、カメラにより撮影された画像は、すべて図１６（ａ）のようになる。
実際の物体がＣである場合には、物体Ｃは路面上にあり、車両とは接触する可能性が少ないが、物体がＡである場合にはこのまま後進すると車両に接触してしまう。運転上では画像上の物体Ｄが車両と接触するか否かの判断が重要であるが、カメラにより撮影された画像上では、物体Ａ，Ｂ，Ｃが同じ長さの物体Ｄとして表示されてしまうため車両と接触するか否かの判断は困難である。

ただし、物体Ｄの高さを検出して、物体Ｄの実体が物体Ａ，Ｂ，Ｃのどれであるかを確認することができれば、物体Ｄが車両と接触するか否かを判断することができる。
例えば、以下の特許文献１には、車両の移動距離とカメラにより撮影された画像上の物体の移動距離とを比較して、画像上の物体が立体物であることを検出する手法が開示されている。

特開２００７−０８７２３６号公報（段落番号［００３０］から［００３４］、図１）

従来の車両周囲監視装置は以上のように構成されているので、画像上の物体が立体物であることを検出するには、車両の移動距離を用いる必要があり、車両が停止している状態では、画像上の物体が立体物であることを検出することができないなどの課題があった。

この発明は上記のような課題を解決するためになされたもので、車両が停止している状態でも、立体物を検出することができる車両周囲監視装置を得ることを目的とする。

この発明に係る車両周囲監視装置は、第１及び第２ランプが消灯している状態で、カメラにより撮影された第１の画像、第１ランプが点灯し第２ランプが消灯している状態で、カメラにより撮影された第２の画像、第１ランプが消灯し第２ランプが点灯している状態で、カメラにより撮影された第３の画像を取得する画像取得手段と、その画像取得手段により取得された第１の画像と第２の画像を比較して、第２の画像上に投影されている第１のランプによる立体物の影を検出するとともに、画像取得手段により取得された第１の画像と第３の画像を比較して、第３の画像上に投影されている上記第２のランプによる立体物の影を検出する影検出手段と、影検出手段により検出された第１のランプによる立体物の影を用いて、立体物を検出するとともに、影検出手段により検出された第２のランプによる立体物の影を用いて、立体物を検出する立体物検出手段と、立体物検出手段により第１のランプによる立体物の影を用いて検出された立体物と第２のランプによる立体物の影を用いて検出された立体物を照合して、立体物検出手段の検出結果の妥当性を評価する検出結果評価手段とを備え、この検出結果評価手段により、立体物検出手段により第１のランプによる立体物の影を用いて検出された立体物の座標と第２のランプによる立体物の影を用いて検出された立体物の座標が異なる場合、車両が存在している路面と立体物の影が存在している路面が一致していない旨の認定を行うように構成したものである。

このことによって、この発明は、車両が停止している状態でも、立体物を検出することができるとともに、車両が存在している路面と立体物の影が存在している路面が一致していないことが原因で、立体物の正確な３次元座標（ｘ ₀ ，ｙ ₀ ，ｚ ₀ ）を算出することができない場合に、ユーザに注意を喚起して、不意な接触を回避することができる効果がある。

この発明の実施の形態１による車両周囲監視装置を示す構成図である。この発明の実施の形態１による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。この発明の実施の形態１による車両周囲監視装置の処理内容を示すフローチャートである。ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。立体物Ａの高さｈの表示例を示す説明図である。この発明の実施の形態２による車両周囲監視装置を示す構成図である。この発明の実施の形態２による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。この発明の実施の形態２による車両周囲監視装置の処理内容を示すフローチャートである。ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。この発明の実施の形態３による車両周囲監視装置を示す構成図である。この発明の実施の形態３による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。この発明の実施の形態３による車両周囲監視装置の検出結果評価に用いる説明図である。この発明の実施の形態３による車両周囲監視装置の処理内容を示すフローチャートである。従来の車両周囲監視装置のカメラにより撮影された画像等を示す説明図である。

以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
図１はこの発明の実施の形態１による車両周囲監視装置を示す構成図である。
また、図２はこの発明の実施の形態１による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。

図１，２において、カメラ２は例えば車両１の後部に設置され、車両１の周囲を撮影する。
ランプ３は例えば車両１の後部に設置され、制御部７の指示の下、車両１の周囲に向けて光を照射する。

画像保持部４は制御部７の指示の下、ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１（第１の画像）を取得して保持するとともに、ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２（第２の画像）を取得して保持する処理を実施する。
なお、画像保持部４及び制御部７から画像取得手段が構成されている。

影検出部５は制御部７の指示の下、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３による立体物Ａの影Ｓを検出する処理を実施する。
なお、影検出部５及び制御部７から影検出手段が構成されている。

立体物検出部６は制御部７の指示の下、影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａを検出する処理を実施する。即ち、影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）を算出する処理を実施する。
なお、立体物検出部６及び制御部７から立体物検出手段が構成されている。

制御部７はランプ３、画像保持部４、影検出部５、立体物検出部６及び表示部８の動作を制御する処理部であり、制御部７は立体物検出部６により検出された立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）をユーザが必要な情報に変換して表示部８に表示する。
表示部８は液晶ディスプレイなどから構成されており、制御部７の指示の下、カメラ２により撮影された画像や、ユーザが必要な情報などを表示する。

図２において、座標（ｘ_l，ｙ_l，ｚ_l）はランプ３が設置されている位置を示す座標であり、座標（ｘ₀，ｙ₀，ｚ₀）は立体物Ａの頂点の座標である。
また、座標（ｘ_b，ｙ_b，ｚ_b）は立体物Ａが路面と交わっている点の座標であり、座標（ｘ_s，ｙ_s，ｚ_s）は立体物Ａの頂点に対応する影Ｓの端点の座標である。
図３はこの発明の実施の形態１による車両周囲監視装置の処理内容を示すフローチャートである。

次に動作について説明する。
まず、制御部７は、ランプ３が消灯している状態で、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部７から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ１を取得して保持する（ステップＳＴ１）。

ここで、図４はランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。
図４において、座標（ｕ₀，ｖ₀）は図２における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）に対応する点の画像Ｐ１上の座標である。
座標（ｕ_b，ｖ_b）は図２における立体物Ａと路面の交点の座標（ｘ_b，ｙ_b，ｚ_b）に対応する点の画像Ｐ１上の座標である。
ただし、ランプ３が消灯している状態で撮影されているので、ランプ３による立体物Ａの影Ｓは、図４の画像Ｐ１上には投影されていない。

次に、制御部７は、ランプ３を点灯して（ステップＳＴ２）、ランプ３による立体物Ａの影Ｓを路面上に生成してから、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部７から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ２を取得して保持する（ステップＳＴ３）。

ここで、図５はランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。
図５において、座標（ｕ₀，ｖ₀）は図２における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）に対応する点の画像Ｐ２上の座標である。
座標（ｕ_b，ｖ_b）は図２における立体物Ａと路面の交点の座標（ｘ_b，ｙ_b，ｚ_b）に対応する点の画像Ｐ２上の座標である。
座標（ｕ_s，ｖ_s）は図２における影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）に対応する点の画像Ｐ２上の座標である。

制御部７は、画像保持部４が画像Ｐ１，Ｐ２を取得すると、ランプ３による立体物Ａの影Ｓの検出指令を影検出部５に出力する。
影検出部５は、制御部７から影Ｓの検出指令を受けると、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３による立体物Ａの影Ｓを検出する（ステップＳＴ４）。

例えば、画像Ｐ１の各画素値から画像Ｐ２の各画素値を減算し、その減算値が所定の閾値以上である画素が存在する部分を立体物Ａの影Ｓとして検出する。
ただし、影Ｓの検出方法については、特に限定するものではなく、例えば、ユーザが画像Ｐ１と画像Ｐ２を見比べて、影Ｓが存在していると判断する位置を指定するようにしてもよい。
なお、影検出部５は、ランプ３による立体物Ａの影Ｓを検出すると、図２の影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）に対応する図５の点の座標（ｕ_s，ｖ_s）を取得する。

制御部７は、影検出部５がランプ３による立体物Ａの影Ｓを検出すると、立体物Ａの検出指令を立体物検出部６に出力する。
立体物検出部６は、制御部７から立体物Ａの検出指令を受けると、影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａを検出する。
即ち、立体物検出部６は、影検出部５により検出された立体物Ａの影Ｓを用いて、図２における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を算出する（ステップＳＴ５）。

以下、立体物検出部６における立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）の算出例を具体的に説明する。
まず、カメラ２の光学中心を座標原点として、座標軸であるＺ軸をカメラ２の視線方向、Ｙ軸をＺ軸と直交して上方に向かう方向、Ｘ軸をＹ軸及びＺ軸と直交する方向とする。
カメラ２とランプ３が車両１に固定されており、カメラ２とランプ３の位置関係が不変であるため、立体物検出部６は、予め、ランプ３が設置されている位置を測定することにより、ランプ３が設置されている位置の座標（ｘ_l，ｙ_l，ｚ_l）を求めておくようにする。

また、立体物検出部６は、立体物Ａが路面と交わっている点の座標（ｘ_b，ｙ_b，ｚ_b）と、立体物Ａの頂点に対応する影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）とが同じ平面（車両の路面）上に存在しているので、予め、カメラ２により撮影される画像上の点と、車両１の路面上の点との関係（以下、「カメラ画像／路面関係」と称する）を平面射影変換などで求めておくようにする。
立体物検出部６は、画像保持部４が画像Ｐ２を取得すると、カメラ画像／路面関係にしたがって、画像Ｐ２上の座標（ｕ_b，ｖ_b）から、図２における立体物Ａと路面の交点の座標（ｘ_b，ｙ_b，ｚ_b）を算出する。

また、立体物検出部６は、カメラ画像／路面関係にしたがって、画像Ｐ２上の座標（ｕ_s，ｖ_s）から、図２における影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）を算出する。
ただし、図２における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）は、車両１の路面上に存在しておらず、カメラ画像／路面関係にしたがって、画像Ｐ２上の座標（ｕ₀，ｖ₀）から算出することができないので、立体物検出部６は、以下のように算出する。

立体物検出部６は、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）が、既に算出している座標（ｘ_l，ｙ_l，ｚ_l）と座標（ｘ_s，ｙ_s，ｚ_s）の中間に位置しているので、座標（ｘ_l，ｙ_l，ｚ_l）と座標（ｘ_s，ｙ_s，ｚ_s）を用いて、下記の式（１）に示すように、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を定義する。

また、立体物検出部６は、座標ｘ₀，ｙ₀については、カメラ２の焦点距離ｆと座標（ｘ₀，ｙ₀，ｚ₀）に対応する画像Ｐ２上の座標（ｕ₀，ｖ₀）を用いて表すことができるので、下記の式（２）のように、座標ｘ₀，ｙ₀を定義する。

ただし、焦点距離ｆは、カメラ１の固有値であるため、予め測定して求めておくものとする。

立体物検出部６は、上記のようにして、式（１）と式（２）を定義すると、式（１）と式（２）から、下記の式（３）を導出する。

立体物検出部６は、式（３）を導出すると、式（３）における“ｓ”の値を求め、“ｓ”の値を式（１）に代入することにより、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を算出する。

制御部７は、立体物検出部６が立体物Ａを検出すると、立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）をユーザが必要な情報に変換して表示部８に表示する（ステップＳＴ６）。
例えば、立体物Ａの高さｈを表示する場合には、下記の式（４）に示すように、立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）から高さｈを算出して、表示部８に表示する。

図６は立体物Ａの高さｈの表示例を示す説明図である。図６では、立体物Ａの高さｈが２５ｃｍである例を示している。
図６では、立体物Ａの高さｈの具体的な高さを表示しているが、情報提示の手法については特に限定するものではない。
例えば、車両１に接触するか否かの情報を表示すれば足りる場合には、車両１が乗り越えられない高さｈ以上の立体物Ａを強調表示するようにしてもよい。

以上で明らかなように、この実施の形態１によれば、ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を取得して保持するとともに、ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を取得して保持する画像保持部４と、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３による立体物Ａの影Ｓを検出する影検出部５とを設け、立体物検出部６が影検出部５により検出された立体物Ａの影Ｓを用いて、立体物Ａを検出するように構成したので、車両１が停止している状態でも、立体物Ａを検出することができるなどの効果を奏する。

実施の形態２．
図７はこの発明の実施の形態２による車両周囲監視装置を示す構成図である。
また、図８はこの発明の実施の形態２による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。
図７及び図８において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。

影検出部１１は制御部１４の指示の下、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ１上に投影されている太陽による立体物Ａの影Ｓを検出する処理を実施する。
なお、影検出部１１及び制御部１４から影検出手段が構成されている。

太陽情報入力部１２は例えばＧＰＳを用いて車両１の位置を求め、車両１の位置と現在時刻から太陽の位置を計算し、太陽情報として、太陽光線の方向を示す単位ベクトルを立体物検出部１３に与える処理を実施する。
立体物検出部１３は制御部１４の指示の下、影検出部１１により検出された太陽による立体物Ａの影Ｓと太陽情報入力部１２から与えられる太陽情報とを用いて、立体物Ａを検出する処理を実施する。
なお、太陽情報入力部１２、立体物検出部１３及び制御部１４から立体物検出手段が構成されている。

制御部１４はランプ３、画像保持部４、影検出部１１、立体物検出部１３及び表示部８の動作を制御する処理部であり、制御部１４は立体物検出部１３により検出された立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）をユーザが必要な情報に変換して表示部８に表示する。

図８において、ベクトル（ｘ_v，ｙ_v，ｚ_v）は太陽光線の方向を示す単位ベクトルである。
図９はこの発明の実施の形態２による車両周囲監視装置の処理内容を示すフローチャートである。

上記実施の形態１では、影検出部５がランプ３による立体物Ａの影Ｓを検出し、立体物検出部６がランプ３による立体物Ａの影Ｓを用いて、立体物Ａを検出するものについて示したが、太陽によって立体物Ａの影Ｓが投影される場合には、影検出部１１が太陽による立体物Ａの影Ｓを検出し、立体物検出部１３が太陽による立体物Ａの影Ｓを用いて、立体物Ａを検出するようにしてもよい。

次に動作について説明する。
まず、制御部１４は、ランプ３が消灯している状態で、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部１４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ１を取得して保持する（ステップＳＴ１１）。

ここで、図１０はランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を示す説明図である。
図１０において、座標（ｕ₀，ｖ₀）は図８における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）に対応する点の画像Ｐ１上の座標である。
座標（ｕ_b，ｖ_b）は図８における立体物Ａと路面の交点の座標（ｘ_b，ｙ_b，ｚ_b）に対応する点の画像Ｐ１上の座標である。
ランプ３が消灯している状態では、ランプ３から立体物Ａに向けて光が照射されないので、ランプ３の影響を受けずに、太陽による立体物Ａの影Ｓが画像Ｐ１上に投影される。
座標（ｕ_s，ｖ_s）は図８における影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）に対応する点の画像Ｐ１上の座標である。

次に、制御部１４は、ランプ３を点灯して（ステップＳＴ１２）、画像の取得指令を画像保持部４に出力する。
画像保持部４は、制御部１４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ２を取得して保持する（ステップＳＴ１３）。
ランプ３を点灯している状態では、ランプ３から照射された光が立体物Ａに照らされるため、太陽による立体物Ａの影Ｓが目立たなくなる。

ここで、図１１はランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を示す説明図である。
図１１において、座標（ｕ₀，ｖ₀）は図８における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）に対応する点の画像Ｐ２上の座標である。
座標（ｕ_b，ｖ_b）は図８における立体物Ａと路面の交点の座標（ｘ_b，ｙ_b，ｚ_b）に対応する点の画像Ｐ２上の座標である。

制御部１４は、画像保持部４が画像Ｐ１，Ｐ２を取得すると、太陽による立体物Ａの影Ｓの検出指令を影検出部１１に出力する。
影検出部１１は、制御部１４から影Ｓの検出指令を受けると、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ１上に投影されている太陽による立体物Ａの影Ｓを検出する（ステップＳＴ１４）。

例えば、画像Ｐ１の各画素値から画像Ｐ２の各画素値を減算し、その減算値が所定の閾値以上である画素が存在する部分を立体物Ａの影Ｓとして検出する。
ただし、影Ｓの検出方法については、特に限定するものではなく、例えば、ユーザが画像Ｐ１と画像Ｐ２を見比べて、影Ｓが存在していると判断する位置を指定するようにしてもよい。
なお、影検出部１１は、太陽による立体物Ａの影Ｓを検出すると、図８の影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）に対応する図１０の点の座標（ｕ_s，ｖ_s）を取得する。

太陽情報入力部１２は、例えば、ＧＰＳを用いて車両１の位置（緯度経度）を求め、車両１の位置と現在時刻から太陽の位置を計算し、太陽情報として、太陽光線の方向を示す単位ベクトル（ｘ_v，ｙ_v，ｚ_v）を算出する（ステップＳＴ１５）。

制御部１４は、影検出部１１が太陽による立体物Ａの影Ｓを検出し、太陽情報入力部１２が太陽光線の方向を示す単位ベクトル（ｘ_v，ｙ_v，ｚ_v）を算出すると、立体物Ａの検出指令を立体物検出部１３に出力する。
立体物検出部１３は、制御部１４から立体物Ａの検出指令を受けると、影検出部１１により検出された立体物Ａの影Ｓと太陽情報入力部１２により算出された単位ベクトル（ｘ_v，ｙ_v，ｚ_v）を用いて、立体物Ａを検出する。
即ち、立体物検出部１３は、影検出部５により検出された立体物Ａの影Ｓと単位ベクトル（ｘ_v，ｙ_v，ｚ_v）を用いて、図８における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を算出する（ステップＳＴ１６）。

以下、立体物検出部１３における立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）の算出例を具体的に説明する。
まず、カメラ２の光学中心を座標原点として、座標軸であるＺ軸をカメラ２の視線方向、Ｙ軸をＺ軸と直交して上方に向かう方向、Ｘ軸をＹ軸及びＺ軸と直交する方向とする。

立体物検出部１３は、立体物Ａが路面と交わっている点の座標（ｘ_b，ｙ_b，ｚ_b）と、立体物Ａの頂点に対応する影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）とが同じ平面（車両の路面）上に存在しているので、予め、カメラ画像／路面関係を平面射影変換などで求めておくようにする。
立体物検出部１３は、画像保持部４が画像Ｐ１を取得すると、カメラ画像／路面関係にしたがって、画像Ｐ１上の座標（ｕ_b，ｖ_b）から、図８における立体物Ａと路面の交点の座標（ｘ_b，ｙ_b，ｚ_b）を算出する。

また、立体物検出部１３は、カメラ画像／路面関係にしたがって、画像Ｐ１上の座標（ｕ_s，ｖ_s）から、図８における影Ｓの端点の座標（ｘ_s，ｙ_s，ｚ_s）を算出する。
ただし、図８における立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）は、車両１の路面上に存在しておらず、カメラ画像／路面関係にしたがって、画像Ｐ１上の座標（ｕ₀，ｖ₀）から算出することができないので、立体物検出部１３は、以下のように算出する。

立体物検出部１３は、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）と既に算出している座標（ｘ_s，ｙ_s，ｚ_s）が同一の方向、即ち、太陽情報入力部１２により算出された単位ベクトル（ｘ_v，ｙ_v，ｚ_v）が示す方向に存在しているので、座標（ｘ_s，ｙ_s，ｚ_s）と単位ベクトル（ｘ_v，ｙ_v，ｚ_v）を用いて、下記の式（５）に示すように、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を定義する。

立体物検出部１３は、式（５）のように、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を定義すると、上記実施の形態１の立体物検出部６と同様にして、式（２）を定義し、式（５）と式（２）を用いて、式（５）における“ｔ”の値を求めることで、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を算出する。

制御部１４は、立体物検出部１３が立体物Ａを検出すると、上記実施の形態１の制御部７と同様に、立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）をユーザが必要な情報に変換して表示部８に表示する（ステップＳＴ１７）。
例えば、立体物Ａの高さｈを表示する場合には、上記の式（４）を用いて、立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）から高さｈを算出して表示する。

以上で明らかなように、この実施の形態２によれば、ランプ３が消灯している状態で、カメラ２により撮影された画像Ｐ１を取得して保持するとともに、ランプ３が点灯している状態で、カメラ２により撮影された画像Ｐ２を取得して保持する画像保持部４と、画像保持部４に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ１上に投影されている太陽による立体物Ａの影Ｓを検出する影検出部１１とを設け、立体物検出部１３が影検出部１１により検出された立体物Ａの影Ｓと太陽情報入力部１２により算出された単位ベクトル（ｘ_v，ｙ_v，ｚ_v）を用いて、立体物Ａを検出するように構成したので、車両１が停止している状態でも、立体物Ａを検出することができるなどの効果を奏する。

実施の形態３．
図１２はこの発明の実施の形態３による車両周囲監視装置を示す構成図である。
また、図１３はこの発明の実施の形態３による車両周囲監視装置により車両の周囲が監視される様子を示す説明図である。
図１２及び図１３において、図１及び図２と同一符号は同一または相当部分を示すので説明を省略する。

第１のランプであるランプ３ａは例えば車両１の後部に設置され、制御部２４の指示の下、車両１の周囲に向けて光を照射する。
第２のランプであるランプ３ｂは例えば車両１の後部において、ランプ３ａと異なる位置に設置され、制御部２４の指示の下、ランプ３ａと異なる位置から車両１の周囲に向けて光を照射する。

画像保持部２１は制御部２４の指示の下、ランプ３ａ，３ｂが消灯している状態で、カメラ２により撮影された画像Ｐ１（第１の画像）を取得して保持するとともに、ランプ３ａが点灯して、ランプ３ｂが消灯している状態で、カメラ２により撮影された画像Ｐ２（第２の画像）を取得して保持し、また、ランプ３ａが消灯して、ランプ３ｂが点灯している状態で、カメラ２により撮影された画像Ｐ３（第３の画像）を取得して保持する処理を実施する。
なお、画像保持部２１及び制御部２４から画像取得手段が構成されている。

影検出部２２は制御部２４の指示の下、画像保持部２１に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３ａによる立体物Ａの影Ｓａを検出するとともに、画像保持部２１に保持されている画像Ｐ１と画像Ｐ３を比較して、画像Ｐ３上に投影されているランプ３ｂによる立体物Ａの影Ｓｂを検出する処理を実施する。
なお、影検出部２２及び制御部２４から影検出手段が構成されている。

立体物検出部２３は制御部２４の指示の下、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａを検出するとともに、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａを検出する処理を実施する。
なお、立体物検出部２３及び制御部２４から立体物検出手段が構成されている。

制御部２４はランプ３ａ，３ｂ、画像保持部２１、影検出部２２、立体物検出部２３及び表示部２５の動作を制御する処理部であり、制御部２４は立体物検出部２３によりランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物を照合して、立体物検出部２３の検出結果の妥当性を評価する処理を実施する。即ち、ランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物の座標と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物の座標とが異なる場合、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していない旨の認定を実施する。
なお、制御部２４は検出結果評価手段を構成している。

表示部２５は液晶ディスプレイなどから構成されており、制御部２４の指示の下、カメラ２により撮影された画像や、ユーザが必要な情報を表示するほか、制御部２４により車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していない旨の認定がなされた場合、例えば、注意を喚起する情報を表示する。

上記実施の形態１，２において、立体物Ａの正確な３次元座標（ｘ₀，ｙ₀，ｚ₀）を検出するには、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致している必要がある。
例えば、図１３に示すように、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２とが同一平面でない場合、路面Ｒ２に投影される立体物Ａの影Ｓが、図２の立体物Ａの影Ｓより短くなるため、立体物Ａの正確な３次元座標（ｘ₀，ｙ₀，ｚ₀）を算出することができない。

立体物Ａの不正確な３次元座標（ｘ₀，ｙ₀，ｚ₀）をユーザに提示してしまうと、車両１が立体物Ａと接触しないはずなのに、接触してしまうなどの問題が発生するため、正確に立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）が算出されているか否かを検証できることが重要である。
そこで、この実施の形態３では、正確に立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）が算出されているか否かを検証できるようにしている。

図１４はこの発明の実施の形態３による車両周囲監視装置の検出結果評価に用いる説明図である。
図１４において、点Ｄ１は立体物Ａの影Ｓが仮に路面Ｒ１上に存在するとすれば、ランプ３ａにより投影される影Ｓａの端点である。
点Ｄ２はランプ３ａにより立体物Ａの影Ｓａが実際に路面Ｒ２上に投影される場合において、その立体物Ａの影Ｓａをもとにカメラ２により撮影される画像から算出される点である。
点Ｄ３はランプ３ａにより実際に路面Ｒ２上に投影される立体物Ａの影Ｓａの端点である。

点Ｄ４は立体物Ａの影Ｓが仮に路面Ｒ１上に存在するとすれば、ランプ３ｂにより路面に投影される影Ｓｂの端点である。
点Ｄ５はランプ３ｂにより実際に路面Ｒ２上に投影される場合の立体物Ａの影Ｓｂの端点である。

１つのカメラ２を用いて、立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）を求める場合に、上記実施の形態１で述べた手法で、カメラ２により撮影された画像上の点Ｄ３を３次元座標に変換すると、点Ｄ２の座標になる。
その理由は、上記実施の形態１では、車両１と立体物Ａの影Ｓが同じ路面Ｒ１上に存在していることを利用して求めているため、カメラ２から見て、点Ｄ３と同じ座標にある路面Ｒ１上の点Ｄ２に変換されてしまうからである。

この場合、式（１）では、正しくは立体物Ａの座標が、ランプ３ａと点Ｄ３の中間にあるとして求める必要があるが、実際には路面Ｒ１上の点Ｄ２とランプ３ａの中間にある座標として求めてしまうため、異なった座標が求められることになる。
また、もう１つのランプ３ｂを用いて、立体物Ａの座標を求める場合も、同様に、ランプ３ｂと点Ｄ５の中間にあるとして求める必要があるが、路面Ｒ１上の点Ｄ４とランプ３ｂの中間にある座標として求めてしまうため、異なった座標が求められることになる。

立体物Ａの影Ｓが路面Ｒ１上に存在している場合には、ランプ３ａによる影Ｓａから求めた立体物Ａの座標と、ランプ３ｂによる影Ｓｂから求めた立体物Ａの座標が一致する。
しかしながら、立体物Ａの影Ｓが路面Ｒ１上に存在していない場合には、上述したように、求めた座標が異なるため、車両１と影Ｓが同じ路面上に存在していないことを検出することができる。
図１５はこの発明の実施の形態３による車両周囲監視装置の処理内容を示すフローチャートである。

次に動作について説明する。
まず、制御部２４は、ランプ３ａ，３ｂが消灯している状態で、画像の取得指令を画像保持部２１に出力する。
画像保持部２１は、制御部２４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ１を取得して保持する（ステップＳＴ２１）。

次に、制御部２４は、ランプ３ａを点灯して（ステップＳＴ２２）、画像の取得指令を画像保持部２１に出力する。このとき、ランプ３ｂについては点灯せずに、消灯している状態を維持する。
画像保持部２１は、制御部２４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ２を取得して保持する（ステップＳＴ２３）。

次に、制御部２４は、ランプ３ａを消灯して、ランプ３ｂを点灯してから（ステップＳＴ２４）、画像の取得指令を画像保持部２１に出力する。
画像保持部２１は、制御部２４から画像の取得指令を受けると、カメラ２により撮影された画像Ｐ３を取得して保持する（ステップＳＴ２５）。

制御部２４は、画像保持部２１が画像Ｐ１，Ｐ２，Ｐ３を取得すると、ランプ３ａ，３ｂによる立体物Ａの影Ｓａ，Ｓｂの検出指令を影検出部２２に出力する。
影検出部２２は、制御部２４から影Ｓａ，Ｓｂの検出指令を受けると、画像保持部２１に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３ａによる立体物Ａの影Ｓａを検出する。
また、画像保持部２１に保持されている画像Ｐ１と画像Ｐ３を比較して、画像Ｐ３上に投影されているランプ３ｂによる立体物Ａの影Ｓｂを検出する（ステップＳＴ２６）。
影検出部２２による影の検出方法は、上記実施の形態１による影検出部５と同様であるため詳細な説明を省略する。

制御部２４は、影検出部２２がランプ３ａによる立体物Ａの影Ｓａと、ランプ３ｂによる立体物Ａの影Ｓｂとを検出すると、立体物Ａの検出指令を立体物検出部２３に出力する。
立体物検出部２３は、制御部２４から立体物Ａの検出指令を受けると、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａを検出する。
即ち、立体物検出部２３は、上記実施の形態１の立体物検出部６と同様に、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を算出する（ステップＳＴ２７）。

また、立体物検出部２３は、制御部２４から立体物Ａの検出指令を受けると、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａを検出する。
即ち、立体物検出部２３は、上記実施の形態１の立体物検出部６と同様に、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を算出する（ステップＳＴ２７）。

制御部２４は、立体物検出部２３が立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を算出すると、ランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物Ａの頂点の座標（ｘ₀，ｙ₀，ｚ₀）を比較する（ステップＳＴ２８）。
制御部２４は、２つの座標（ｘ₀，ｙ₀，ｚ₀）が同じであれば、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していると認定する。
一方、２つの座標（ｘ₀，ｙ₀，ｚ₀）が異なっていれば、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していないと認定する。

制御部２４は、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していると認定すると、上記実施の形態１の制御部７と同様に、立体物検出部２３により算出された立体物Ａの３次元座標（ｘ₀，ｙ₀，ｚ₀）をユーザが必要な情報に変換して表示部２５に表示する（ステップＳＴ２９）。
一方、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していないと認定すると、立体物Ａの正確な３次元座標（ｘ₀，ｙ₀，ｚ₀）を算出することができない旨の注意情報を表示部２５に表示する（ステップＳＴ３０）。

以上で明らかなように、この実施の形態３によれば、画像保持部２１に保持されている画像Ｐ１と画像Ｐ２を比較して、画像Ｐ２上に投影されているランプ３ａによる立体物Ａの影Ｓａを検出するとともに、画像保持部２１に保持されている画像Ｐ１と画像Ｐ３を比較して、画像Ｐ３上に投影されているランプ３ｂによる立体物Ａの影Ｓｂを検出する影検出部２２と、影検出部２２により検出された立体物Ａの影Ｓａを用いて、立体物Ａを検出するとともに、影検出部２２により検出された立体物Ａの影Ｓｂを用いて、立体物Ａを検出する立体物検出部２３とを設け、制御部２４が、ランプ３ａによる立体物Ａの影Ｓａを用いて検出された立体物の座標と、ランプ３ｂによる立体物Ａの影Ｓｂを用いて検出された立体物の座標とが異なる場合、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していない旨の認定を行うように構成したので、車両１が存在している路面Ｒ１と立体物Ａの影Ｓが存在している路面Ｒ２が一致していないことが原因で、立体物Ａの正確な３次元座標（ｘ₀，ｙ₀，ｚ₀）を算出することができない場合に、ユーザに注意を喚起して、不意な接触を回避することができる効果を奏する。

１車両、２カメラ、３ランプ、４画像保持部、５影検出部、６立体物検出部、７制御部、８表示部、Ｐ１，Ｐ２，Ｐ３画像。

Claims

車両の周囲を撮影するカメラと、上記車両の周囲に向けて光を照射する第１のランプと、上記第１のランプと異なる位置から上記車両の周囲に向けて光を照射する第２のランプと、上記第１及び第２のランプが消灯している状態で、上記カメラにより撮影された第１の画像、上記第１のランプが点灯して、上記第２のランプが消灯している状態で、上記カメラにより撮影された第２の画像、及び上記第１のランプが消灯して、上記第２のランプが点灯している状態で、上記カメラにより撮影された第３の画像を取得する画像取得手段と、上記画像取得手段により取得された第１の画像と第２の画像を比較して、上記第２の画像上に投影されている上記第１のランプによる立体物の影を検出するとともに、上記画像取得手段により取得された第１の画像と第３の画像を比較して、上記第３の画像上に投影されている上記第２のランプによる立体物の影を検出する影検出手段と、上記影検出手段により検出された第１のランプによる立体物の影を用いて、その立体物を検出するとともに、上記影検出手段により検出された第２のランプによる立体物の影を用いて、その立体物を検出する立体物検出手段と、上記立体物検出手段により第１のランプによる立体物の影を用いて検出された立体物と上記第２のランプによる立体物の影を用いて検出された立体物を照合して、上記立体物検出手段の検出結果の妥当性を評価する検出結果評価手段とを備え、上記検出結果評価手段は、上記立体物検出手段により上記第１のランプによる立体物の影を用いて検出された立体物の座標と上記第２のランプによる立体物の影を用いて検出された立体物の座標が異なる場合、上記車両が存在している路面と立体物の影が存在している路面が一致していない旨の認定を行うことを特徴とする車両周囲監視装置。