JP4986070B2 - 車両用周囲監視装置 - Google Patents

Description

本発明は、車両用周囲監視装置に係り、特に、ドライバーの死角領域を監視する車両用周囲監視装置に関する。

従来、車両前方側における左右方向の死角映像を撮像してモニタ表示する装置が知られている（特許文献１、特許文献２）

特開２００７−１７２４６２号公報 特開平１１−３３８０７４号公報

上述したような装置は、例えばモニタ上に左右方向の死角領域がそのまま表示されるだけのものであり、奥行き感を直感的に把握することが難しいものであった。そのような表示をドライバーが見て死角領域の状況を判断するのであるが、奥行き感が分からない故に、例えば左右方向から接近してくる車両までの距離感が直感的に分かりにくいものであった。特に、赤外線映像や高ダイナミックレンジカメラでは、コントラストが低く、そのような問題が顕著であった。

本発明は、上述した従来技術の問題点を解決するためになされたものであり、死角領域の画像内の奥行き感を直感的に把握し易い車両用周囲監視装置を提供することを目的とする。

上記の目的を達成するために本発明によれば、ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、実画像撮像手段により撮像された静止物及び／又は移動体に仮想の影を与えるよう仮想光源を設定する仮想光源設定手段と、この仮想光源設定手段により設定された仮想光源から静止物及び／又は移動体が光を受けたときの影を仮想影画像として生成する仮想影画像生成手段と、実画像撮像手段により撮像された死角領域の実画像内において、仮想影画像生成手段により生成された仮想影画像を静止物及び／又は移動体の路面接地位置から地面上に延びるよう上記実画像に重畳して表示する表示手段と、を有することを特徴としている。

このように構成された本発明においては、仮想光源から静止物や移動体が光を受けたときの仮想影画像が、静止物や移動体の路面接地位置から地面上に延びるように実画像に重畳して表示されるので、死角領域の画像内において、地面に表示されるそのような仮想影画像影をドライバーが見ることで、移動体や静止物までの距離感や奥行き感を直感的に把握することが出来る。

また、本発明において、好ましくは、さらに、仮想光源の位置及び移動体及び／又は静止物の形状に基づいて仮想影画像の影の向き及び大きさを規定する仮想影画像規定手段を有し、表示手段は、この仮想影画像規定手段により規定された影の向き及び大きさで静止物及び／又は移動体の仮想影画像をそれらの静止物及び／又は移動体の路面接地位置から延びるように上記実画像に重畳して表示する。
このように構成された本発明においては、仮想光源の位置及び移動体及び／又は静止物の形状に基づいて仮想影画像の影の向き及び大きさが規定されるので、ドライバーは、より精度よく、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本発明において、好ましくは、仮想光源の位置は、緯度、経度及び時刻から算出された太陽の位置である。
このように構成された本発明においては、より自然な仮想光源として太陽を設定しているので、ドライバーは、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本発明において、好ましくは、仮想光源の位置は、自車両が進入する交差点から所定距離離れた路面の位置の上空に設定される位置である。
このように構成された本発明においては、その仮想光源の位置を考慮しながら移動体や静止物の仮想影画像を見ることで、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本発明において、好ましくは、交差点からの所定距離は、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置までの距離である。
このように構成された本発明においては、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置を基準に、移動体や静止物の仮想影画像を見ることで、より安全に、自車両の発進又は停止の判断をすることが出来る。

また、本発明において、好ましくは、交差点からの所定距離は、ドライバーが任意に設定することが出来る。
このように構成された本発明においては、ドライバーが判断しやすい位置の上空に仮想光源を設定することが出来るので、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本発明において、好ましくは、表示手段は、他車両が交差点から離れた所定距離の位置の通過前及び通過後、及び／又は通過中で仮想影画像の表示形態を変更する。
このように構成された本発明においては、所定距離の通過前後で表示形態が変更されるので、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本発明において、好ましくは、仮想光源の位置は、街灯の位置である。
このように構成された本発明においては、例えば夜間において、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本発明において、好ましくは、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。
このように構成された本発明においては、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。

また、本発明において、好ましくは、さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、表示手段は、自車両が頭出し位置に達した後、仮想影画像の表示を中止する。
このように構成された本発明においては、仮想影画像の表示が中止されることで、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。

また、本発明において、好ましくは、さらに、実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、この移動体検出手段により移動体が検出されたとき、その移動体の種類及び／又は移動速度及び／又は移動方向を検出する移動体状態検出手段と、を有し、表示手段は、移動体の種類及び／又は移動速度及び／又は移動方向に応じて仮想影画像の表示を変更する。
このように構成された本発明においては、移動体の種類及び／又は移動速度及び／又は移動方向に応じて仮想影画像の表示が変更されるので、ドライバーは、移動体に関する情報（種類、速度、移動方向）を仮想影画像から得ることが出来るので、より精度良く、移動体までの距離感や奥行き感を把握すると共に移動体の状態を把握することが出来る。

また、本発明において、好ましくは、表示手段は、移動体が交差点を通過した後、その移動体の仮想影画像の表示を中止する。
このように構成された本発明においては、仮想影画像が表示されない移動体は自車両にとって安全な移動体であることを把握することが出来る。

また、本発明において、好ましくは、さらに、移動体検出手段により移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出する第２移動体状態検出手段を有し、表示手段は、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、他の移動体とは異なる色で影を表示する。
このように構成された本発明においては、ドライバーは、より注意すべき高速で接近し或いは蛇行して接近している移動体が存在することを容易に把握することが出来る。

また、本発明において、好ましくは、さらに、移動体検出手段により複数の縦列で接近してくる移動体の有無を検出する第３移動体状態検出手段と、を有し、表示手段は、この第３移動体状態検出手段により複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように点滅させ又は異なる色で表示する。
このように構成された本発明においては、移動体が縦列で接近してくる場合、移動体が縦列で接近してくることを容易に把握することが出来、また、後続の移動体についても距離感や奥行き感を把握することが出来る。

本発明の車両用周囲監視装置によれば、死角領域の画像内の奥行き感を直感的に把握し易い。

以下、添付図面を参照しながら本発明の好ましい実施の形態について説明する。
先ず、図１及び図２により、本発明の第１及び第２実施形態に共通の各実施形態による車両用周囲監視装置の基本構成を説明する。図１は、本発明の第１及び第２実施形態による車両用周囲監視装置が適用された車両の全体構成図であり、図２は、本発明の第１及び第２実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。

図１に示すように、車両１は、左方監視カメラ２、前方監視カメラ４及び右方監視カメラ６を有し、これらのカメラは、車両の前端部に取り付けられている。これらのカメラは、広角レンズ使用のＣＣＤカメラであり、例えば、図２（ａ）に示すような範囲を撮像し、図２（ｂ）に示すような画像を得ることが出来る。

また、車両１は、車速センサ１０、ジャイロ１１、ＧＰＳ装置１２、ナビゲーション装置１３及び画像表示モニタ１４を有している。モニタ１４は、運転席１６のドライバーが見ることが出来る位置に配置されている。さらに、車両１は、ＥＣＵ１８を有し、このＥＣＵ１８には、上述した各カメラ２、４、６、車速センサ１０、ジャイロ１１、ＧＰＳ装置１２からの信号が入力され、所定の画像をモニタ１４に表示する。

さらに、車両１は、他車両との距離を検出するためのレーザレーダ７を有する。なお、レーザレーダ７の代わりに、車車間通信により他車両との距離を把握するようにしたり、路車間通史により他車両との距離を把握するようにしても良い。

次に、図３により、ドライバーによる交差路進入時における運転行動を説明する。図３は、ドライバーによる交差路進入時における運転行動を説明するための図である。
まず、交差路手前では一時停止する。その後、徐行しながら鼻出し位置に進み、カメラ出し位置（図２（ａ）参照）に進み、そして、頭出し位置（図４参照）に進む。ここで、鼻出し位置、カメラ出し位置及び頭出し位置について説明する。図４は、自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。

先ず、鼻出し位置は、他車や歩行者に自車両の存在を知らせる位置である。カメラ出し位置は、図２（ａ）に示すように、車両の先端が交差路内に入った状態であり、ドライバーからは交差路を見通せないが、車両の前端部に取り付けられたカメラ２、４、６により、交差路内を見通せる位置である。頭出し位置は、図４に示すように、ドライバーが座る運転席が交差路内に入ったときの位置であり、ドライバーが直接に、自分の目で交差路内を見通せるようになった位置である。

本発明の実施形態による車両用周囲監視装置では、これらの一時停止から頭出し位置までの間に後述する仮想画像を表示するようにしている。そして、頭出し位置になると、仮想画像を点滅させ、そして、頭出し位置を通過後には、仮想画像の表示を中止する。

次に、図５により、本発明第１及び第２実施形態に共通の各実施形態による車両用周囲監視装置の仮想画像表示処理を行うか否かを決定するための制御フローを説明する。図５は、本発明の第１及び第２実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。
図５に示すように、Ｓ１において、ＧＰＳ１２からの信号及びナビゲーション装置１３からの信号に基づいて、自車両が交差点近傍にいるか否かを判定する。次に、Ｓ２において、車速センサ１０からの信号に基づいて、車速がＶ１より小さいか否かを判定する。車速Ｖ１は、自車両が交差点等に近づいて減速し、ドライバーがモニタ１４を見ても安全であると判断出来る値である。
車速がＶ１より小さく車両が減速した状態であれば、Ｓ３に進み、Ｓ３において、画像補正部２４からの画像信号に基づいて、まず、実画像を表示する。次に、Ｓ４に進み、仮想影画像表示処理を行う。

次に、図６により、本発明の第１実施形態による車両用周囲監視装置の構成を説明する。図６は、本発明の第１実施形態による車両用周囲監視装置の構成を示すブロック図である。
この第１実施形態では、仮想光源として太陽の位置を算出し、例えば曇りの日や、晴れていてもビル等の影に移動体（交差点に向かってくる他車両など）や静止物（標識や信号機など）が存在する場合、その算出された太陽の位置から得られるであろう移動体や静止物の影を仮想画像として重畳して表示するものである。ドライバーは、例えばその影の向きや影の長さを見て、移動体がどの程度の距離離れた位置にいるかを判断し、その結果、自車両を発進させて良いか否かの判断を助けることが出来る。

先ず、図５に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。

撮像画像保存部３０では、画像補正部２４で補正された画像を保存する。
移動体・静止物検出部３２では、画像補正部２４からの入力画像内に車両などの移動体及び標識などの静止物の存在を検出する。
移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。また、静止物の検出は、画像処理により行う。
静止物が存在する場合には、画像処理及びレーザレーダ７などにより静止物の位置及び形状を検出する。

移動体が存在する場合には、画像処理などにより移動体の形状や種類を検出する。また、移動体の状態として、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体検出部３０及び移動体状態検出部３２において、移動体の種類や、移動体の自車両からの距離、速度及び進行方向を検出するようにしても良い。

移動体・静止物検出部３２で検出された移動体や静止物の情報は、仮想画像作成部３４に送られる。仮想画像作成部３４では、その影位置・形状算出部３４ａにおいて、移動体・静止物検出部３２から入力された情報と、後述する仮想光源としての太陽の位置の情報とに基づいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出する。また、この作成された仮想影画像は、影補正部３４ｂにおいて、移動体などの状態に応じて後述するように補正される。

自車位置・進行方向検出部３６では、ジャイロ１１により進行方向の変化を検出し、ジャイロ１１及びＧＰＳ装置１２により自車両の位置及び進行方向を検出する。
仮想光源位置設定部３８では、ＧＰＳ装置１２からの緯度及び経度の情報と、ジャイロ１１からの車両の進行方向の情報と、現在時刻と、に基づいて、仮想光源である太陽の位置を算出する。この算出された太陽の位置に基づいて、上述したように、影位置・形状算出部３４ａにおいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出し、また、影補正部３４ｂにおいて、移動体などの状態に応じて後述するように補正される。

次に、ＥＣＵ１８内には、頭出し位置判定部４０が存在する。頭出し位置判定部４０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３４における仮想画像の作成を中止し、モニタ１４には実画像のみ表示するようにする。

また、ＥＣＵ１８には、仮想画像処理実施判定部４２が存在する。この仮想画像処理実施判定部４２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。

次に、図７及び図８により、本発明の第１実施形態による車両用周囲監視装置の制御内容を説明する。図７は、本発明の第１実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図８は、本発明の第１実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。図７において、Ｓは各ステップを示す。

図７に示すように、先ず、Ｓ１１において、画像取得部２２（図３参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ１２において、画像補正部２４により、取得された広角画像の歪み補正を行う。 次に、Ｓ１３において、撮影画像を保存する。

次に、Ｓ１４において、移動体・静止物検出部３２により、Ｓ１１及びＳ１２で取得された実画像から、移動体及び静止物を検出する。移動体及び静止物が検出されないときは、Ｓ１５に進み、Ｓ１１及びＳ１２で取得された実画像をそのまま表示する。

Ｓ１４において、移動体或いは静止物が検出されたときには、Ｓ１６に進み、仮想光源位置設定部３８（図６参照）により、上述したように仮想光源の太陽の位置を算出（推定）する。次に、Ｓ１７に進み、移動体・静止物検出部３２（図６参照）により、上述したように移動体の形状、位置、移動方向及び移動速度、及び、静止物の形状及び位置を検出する。

次に、Ｓ１８に進み、影位置・形状算出部３４ａ（図６参照）により、上述したように、Ｓ１６で推定された太陽の位置と、移動体或いは静止物の形状とから、移動体や静止物の仮想影画像の形状を算出する。

次に、Ｓ１９に進み、影補正部３４ｂ（図６参照）により、影の補正処理を行う。その補正の一つとして、移動体・静止物検出部３２（図６参照）により、高速で移動している車両や蛇行している車両が検出された場合、もとの仮想影画像の色は黒色であるが、その危険と思われる車両の仮想影画像を例えば赤く表示する。また、他の補正として、移動体・静止物検出部３２（図６参照）により検出された移動体や静止物の種類（例えば、車両、二輪車、歩行者、信号、標識など）に応じて、仮想影画像の色を黒色、緑、青などの異なる色で表示する。また、他の補正として、移動体・静止物検出部３２（図６参照）により複数の移動体が検出された場合、後続車の仮想影画像を点滅させたり、色を灰色にしたりする。また、移動体の移動速度及び移動方向に応じて、仮想影画像の表示形態を変更するようにしても良い。

次に、Ｓ２０において、自車両が交差点内の頭出し位置まで進行したか否かを判定する。頭出し位置（図４参照）を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、Ｓ１５に進み、モニタ１４にＳ１１及びＳ１２で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、Ｓ２１に進み、Ｓ１８で算出され、Ｓ１９で補正された仮想影画像を、Ｓ１１及びＳ１２で得られた実画像に重畳して表示する。
その例を図８に示す。図８（ａ）に示すように、自車両が進入しようとする道路に他車両Ｖや標識Ｓが存在する場合、図８（ｂ）に示すように、他車両Ｖ及び標識Ｓに仮想影画像Ｖ１、Ｓ１が重畳して表示される。

この第１実施形態では、太陽の位置に基づいて仮想影画像を生成した。これは、実際に太陽が見えている場合の太陽の影を強調するものであっても良い。同様に、例えば夜間などには、街灯の位置に基づいて、街灯の光に対する移動体等の影を仮想影画像として生成し、影を強調するようにしても良い。

なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。

次に、本発明の第１実施形態による作用効果を説明する。
本発明の第１実施形態による車両用周囲監視装置によれば、仮想光源としての太陽から静止物や移動体が光を受けたときの仮想影画像が、静止物や移動体の路面接地位置から地面上に延びるように実画像に重畳して表示されるので、死角領域の画像内において、地面に表示されるそのような仮想影画像影をドライバーが見ることで、移動体や静止物までの距離感や奥行き感を直感的に把握することが出来る。

また、本実施形態によれば、仮想光源としての太陽の位置及び移動体及び／又は静止物の形状に基づいて仮想壁画像の影の向き及び大きさが規定され、静止物及び／又は移動体の仮想影画像が、この規定された影の向き及び大きさで実画像に重畳して表示されるので、ドライバーは、より精度よく、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本実施形態によれば、仮想光源は太陽であるので、より自然な仮想光源として太陽を設定することが出来、その太陽の位置を緯度、経度及び時刻から算出するので、ドライバーは、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本実施形態によれば、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。従って、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。

また、本実施形態によれば、自車両が、交差点においてドライバーの見通しが良くなる頭出し位置に達した後、仮想影画像の表示が中止されるので、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。

また、本実施形態によれば、カメラ２、４、６により撮像された実画像内から移動体を検出し、さらに、その移動体の種類及び／又は移動速度及び／又は移動方向を検出し、その移動体の種類及び／又は移動速度及び／又は移動方向に応じて仮想影画像の表示が変更されるので、ドライバーは、移動体に関する情報（種類、速度、移動方向）を仮想影画像から得ることが出来、より精度良く、移動体までの距離感や奥行き感を把握すると共に移動体の状態を把握することが出来る。

また、本実施形態によれば、移動体が交差点を通過した後は、その移動体の仮想影画像の表示が中止されるので、ドライバーは、仮想影画像が表示されない移動体は自車両にとって安全な移動体であることを把握することが出来る。

また、本実施形態によれば、移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出し、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、そのような移動体を他の移動体とは異なる色で影を表示するので、ドライバーは、より注意すべき高速で接近し或いは蛇行して接近している移動体が存在することを容易に把握することが出来る。

また、本実施形態によれば、複数の縦列で接近してくる移動体の有無を検出し、複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように表示するので、移動体が縦列で接近してくることを容易に把握することが出来、また、後続の移動体についても距離感や奥行き感を把握することが出来る。

次に、図９により、本発明の第２実施形態による車両用周囲監視装置の構成を説明する。図９は、本発明の第２実施形態による車両用周囲監視装置の構成を示すブロック図である。
この第２実施形態では、仮想の光源を仮想の位置に設定し、移動体（交差点に向かってくる他車両など）や静止物（標識や信号機など）が存在する場合、その設定された光源の位置から得られるであろう移動体や静止物の影を仮想画像として重畳して表示するものである。ドライバーは、例えばその影の向きや影の長さを見て、移動体がどの程度の距離離れた位置にいるかを判断し、その結果、自車両を発進させて良いか否かの判断を助けることが出来る。この第２実施形態では、仮想光源の位置を、交差点において、前方の道路を他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面上の位置に設定している。この位置は、交差点から約３０〜５０ｍの位置である（仮想光源Ｌ１、図１１参照）。

先ず、図９に示すように、周辺監視センサ２０として構成される各カメラ２、４、６からの画像信号が、ＥＣＵ１８内の画像取得部２２に入力される。入力された画像信号は広角画像であり歪みが生じているので、その画像が画像補正部２４で補正される。この画像補正部２４からの画像信号は、合成画像作成部２６に実画像として入力される。

撮像画像保存部３０では、画像補正部２４で補正された画像を保存する。
移動体・静止物検出部３２では、画像補正部２４からの入力画像内に車両などの移動体及び標識などの静止物の存在を検出する。
移動体の検出は、オプティカルフロー処理にて行われる。なお、オプティカルフローの他に、背景差分、フレーム間差分処理、或いは、レーザーやミリ波などにより移動体を検出するようにしても良い。また、静止物の検出は、画像処理により行う。
静止物が存在する場合には、画像処理及びレーザレーダ７などにより静止物の位置及び形状を検出する。

移動体が存在する場合には、画像処理などにより移動体の形状を検出する。また、移動体の状態として、レーザレーダ７により、自車両に接近してくる移動体の自車両からの距離、速度及び進行方向を検出し、さらに、自車両までの到達時間を算出する。なお、レーザレーダ７の代わりに、車車間通信或いは路車間通信により、移動体検出部３０及び移動体状態検出部３２において、移動体の種類や、移動体の自車両からの距離、速度及び進行方向を検出するようにしても良い。また、移動体の移動速度及び移動方向に応じて、仮想影画像の表示形態を変更するようにしても良い。

移動体・静止物検出部３２で検出された移動体や静止物の情報は、仮想画像作成部３４に送られる。仮想画像作成部３４では、その影位置・形状算出部３４ａにおいて、移動体・静止物検出部３２から入力された情報と、後述する仮想光源の位置の情報とに基づいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出する。また、この作成された仮想影画像は、影補正部３４ｂにおいて、移動体などの状態に応じて後述するように補正される。

自車位置・進行方向検出部３６では、ジャイロ１１により進行方向の変化を検出し、ジャイロ１１及びＧＰＳ装置１２により自車両の位置及び進行方向を検出する。
仮想光源位置設定部３８では、仮想光源を所定の位置に設定する。この所定の位置は、交差点において、前方の道路を他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面上の位置（本実施形態では、３０〜５０ｍ）であり、且つ、自車両から見て他の移動体や静止物の影が見えるような、自車両から見てそれらの移動体等の向こう側の位置である（仮想光源Ｌ１、図１１参照）。

この仮想光源の位置に基づいて、上述したように、影位置・形状算出部３４ａにおいて、移動体や静止物の仮想影画像の形状及び仮想影画像の表示位置を算出し、また、影補正部３４ｂにおいて、移動体などの状態に応じて後述するように補正される。

次に、ＥＣＵ１８内には、頭出し位置判定部４０が存在する。頭出し位置判定部４０では、車両が交差路内に頭出しした（図４参照）ことを判定するものである。頭出しが行われていれば、既にドライバー自身で交差路を見通せることから、仮想画像作成部３４における仮想画像の作成を中止し、モニタ１４には実画像のみ表示するようにする。

また、ＥＣＵ１８には、仮想画像処理実施判定部４２が存在する。この仮想画像処理実施判定部４２は、ナビゲーション装置１３から得る地図データ、ＧＰＳ装置１２から得られる位置データ、及び、車速センサ１０から得られる車速データを基に、車両が交差点近傍に位置しているか否か及び一時停止しているか否かを判定するものである。後述するように、交差点近傍であり一時停止したときには、仮想画像を表示するために、合成画像作成部２６に所定の信号を送る。

次に、図１０及び図１１により、本発明の第２実施形態による車両用周囲監視装置の制御内容を説明する。図１０は、本発明の第２実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートであり、図１１は、本発明の第２実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。図１０において、Ｓは各ステップを示す。

図７に示すように、先ず、Ｓ３１において、画像取得部２２（図３参照）により、例えば交差路において、左方監視カメラ２、前方監視カメラ４、右方監視カメラ６の映像を取得し、Ｓ３２において、画像補正部２４により、取得された広角画像の歪み補正を行う。 次に、Ｓ３３において、撮影画像を保存する。

次に、Ｓ３４において、移動体・静止物検出部３２により、Ｓ３１及びＳ３２で取得された実画像から、移動体及び静止物を検出する。移動体及び静止物が検出されないときは、Ｓ３５に進み、Ｓ１１及びＳ１２で取得された実画像をそのまま表示する。

次に、Ｓ３４において、移動体或いは静止物が検出されたときには、Ｓ３６に進み、移動体・静止物検出部３２（図６参照）により、上述したように移動体の形状、位置、移動方向及び移動速度、及び、静止物の形状及び位置を検出する。次に、Ｓ３７に進み、仮想光源位置設定部３８（図６参照）により、上述したように仮想光源の位置を設定する。上述したように、この仮想光源の位置は、交差点から３０〜５０ｍで、自車両から見て他の移動体等の向こう側の位置である。

なお、変形例として、仮想光源の位置は、左方或いは右方から交差点に接近してくる移動体がある場合、その位置及び移動速度から計算して、自車両が存在する交差点までの到達時間が所定時間、例えば２秒となるような位置（自車両まで到達するのに２秒かかる位置）に設定しても良い。この場合、所定時間は、交差点において、前方の道路を他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な時間として設定される。なお、このような設定は、移動体が複数の場合は先頭の移動体について行う。また、この所定時間や、上述した交差点からの距離は、ドライバーが任意に設定しても良い。

次に、Ｓ３８に進み、影位置・形状算出部３４ａ（図９参照）により、上述したように、Ｓ３７で設定された仮想光源の位置と、移動体或いは静止物の形状とから、移動体や静止物の仮想影画像の形状を算出する。具体的には、図１１に示すように、交差点に最も近い他車両Ｖ１については、仮想光源Ｌ１より手前であるので、仮想影画像が手前に長く延びている。

後続の他車両Ｖ２については、仮想光源Ｌ１の近くであるので、仮想影画像が短く延びている。さらに後続の他車両Ｖ３については、仮想光源Ｌ１より遠くであるので、仮想影画像が道路の後方側に向けて長く延びるように算出される。なお、他車両Ｖ１〜Ｖ３の仮想影画像を見て分かるように、仮想影画像は、自車両の側に向けて延びている。他車両Ｖ４については、交差点を過ぎているので、仮想影画像は算出されない。
また、車両が仮想光源Ｌ１を通過する前、まさに通過している途中、及び、通過した後で、それぞれの仮想影画像の色を変更したり、点滅表示させたりするようにしても良い。

なお、左側の道路に対しては、仮想光源Ｌ２のように、左車線の中央部よりも自車両に対して向こう側に位置するのが良い。この場合も、移動体の交差点への到達時間を推定して上述したように２秒かかる位置に設定し、或いは、交差点からの距離が３０〜５０ｍの位置に設定するのが良い。

次に、Ｓ３９に進み、影補正部３４ｂ（図６参照）により、影の補正処理を行う。その補正の一つとして、移動体・静止物検出部３２（図６参照）により、高速で移動している車両や蛇行している車両が検出された場合、もとの仮想影画像の色は黒色であるが、その危険と思われる車両の仮想影画像を例えば赤く表示する。また、他の補正として、移動体・静止物検出部３２（図６参照）により検出された移動体や静止物の種類（例えば、車両、二輪車、歩行者、信号、標識など）に応じて、仮想影画像の色を黒色、緑、青などの異なる色で表示する。また、他の補正として、移動体・静止物検出部３２（図６参照）により複数の移動体が検出された場合、後続車の仮想影画像を点滅させたり、色を灰色にしたりする。また、移動体の移動速度及び移動方向に応じて、仮想影画像の表示形態を変更するようにしても良い。

次に、Ｓ４０において、自車両が交差点内の頭出し位置まで進行したか否かを判定する。頭出し位置（図４参照）を通過した場合には、ドライバーが周囲の状況を見渡せる状況であるので、Ｓ３５に進み、モニタ１４にＳ１１及びＳ１２で取得した実画像をそのまま表示する。頭出し位置を通過していない場合には、Ｓ４１に進み、Ｓ３８で算出され、Ｓ３９で補正された仮想影画像を、Ｓ３１及びＳ３２で得られた実画像に重畳して表示する。
その例を図８に示す。図８（ａ）に示すように、自車両が進入しようとする道路に他車両Ｖや標識Ｓが存在する場合、図８（ｂ）に示すように、他車両Ｖ及び標識Ｓに仮想影画像Ｖ１、Ｓ１が重畳して表示される。

第２実施形態では、仮想光源に基づいて仮想影画像を生成したが、例えば夜間などには、仮想光源を交差点から所定距離離れた場所にある街灯の位置に基づいて仮想影画像を生成するようにしても良い。

なお、上述した実施形態においては、移動体として主に車両を想定して説明をしてきたが、移動体としては、四輪車、二輪車、自転車、歩行者を含むようにしても良い。また、静止物としては、停止している四輪車、停止している二輪車、立ち止まっている歩行者や自転車、路側物、建物などが挙げられる。

次に、本発明の第２実施形態による作用効果を説明する。
本発明の第２実施形態による車両用周囲監視装置によれば、仮想光源としての太陽から静止物や移動体が光を受けたときの仮想影画像が、静止物や移動体の路面接地位置から地面上に延びるように実画像に重畳して表示されるので、死角領域の画像内において、地面に表示されるそのような仮想影画像影をドライバーが見ることで、移動体や静止物までの距離感や奥行き感を直感的に把握することが出来る。

また、本実施形態によれば、仮想光源としての太陽の位置及び移動体及び／又は静止物の形状に基づいて仮想壁画像の影の向き及び大きさが規定され、静止物及び／又は移動体の仮想影画像が、この規定された影の向き及び大きさで実画像に重畳して表示されるので、ドライバーは、より精度よく、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本実施形態によれば、仮想光源の位置は、自車両が進入する交差点から所定距離離れた路面の位置の上空に設定される位置であるので、ドライバーは、その仮想光源の位置を考慮しながら移動体や静止物の仮想影画像を見ることで、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本実施形態によれば、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置、即ち、交差点から所定距離（例えば、３０〜５０ｍ）離れた位置の上方に仮想光源を設定しているので、ドライバーは、そのような仮想光源に基づいて仮想影画像を見ることで、より安全に、自車両の発進又は停止の判断をすることが出来る。

また、本実施形態によれば、交差点からの所定距離は、ドライバーが任意に設定することが出来るので、ドライバーが判断しやすい位置の上空に仮想光源を設定することが出来、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本実施形態によれば、他車両が交差点から離れた所定距離の位置の通過前及び通過後、及び／又は通過中で仮想影画像の表示形態を変更するので、より精度良く、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本実施形態によれば、仮想光源の位置は、街灯の位置であるので、例えば夜間において、より直感的に、移動体や静止物までの距離感や奥行き感を把握することが出来る。

また、本実施形態によれば、ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する。従って、ドライバーは衝突事故の多発する交差点の左右交差路の情報を得ることが出来、より安全な走行が可能となる。

また、本実施形態によれば、自車両が、交差点においてドライバーの見通しが良くなる頭出し位置に達した後、仮想影画像の表示が中止されるので、ドライバーは、自車両が頭出し位置にあることを把握すると共に自らの目で道路状況を把握するようにすることが出来る。

また、本実施形態によれば、カメラ２、４、６により撮像された実画像内から移動体を検出し、さらに、その移動体の種類及び／又は移動速度及び／又は移動方向を検出し、その移動体の種類及び／又は移動速度及び／又は移動方向に応じて仮想影画像の表示が変更されるので、ドライバーは、移動体に関する情報（種類、速度、移動方向）を仮想影画像から得ることが出来、より精度良く、移動体までの距離感や奥行き感を把握すると共に移動体の状態を把握することが出来る。

また、本実施形態によれば、移動体が交差点を通過した後は、その移動体の仮想影画像の表示が中止されるので、ドライバーは、仮想影画像が表示されない移動体は自車両にとって安全な移動体であることを把握することが出来る。

また、本実施形態によれば、移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出し、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、そのような移動体を他の移動体とは異なる色で影を表示するので、ドライバーは、より注意すべき高速で接近し或いは蛇行して接近している移動体が存在することを容易に把握することが出来る。

また、本実施形態によれば、複数の縦列で接近してくる移動体の有無を検出し、複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように表示するので、移動体が縦列で接近してくることを容易に把握することが出来、また、後続の移動体についても距離感や奥行き感を把握することが出来る。

本発明の第１及び第２実施形態による車両用周囲監視装置が適用された車両の全体構成図である。 本発明の第１及び第２実施形態による車両用周囲監視装置のカメラによる撮像範囲の一例（ａ）及び撮像された映像の一例（ｂ）を示す図である。 ドライバーによる交差路進入時における運転行動を説明するための図である。 自車両の頭出し位置を説明するための道路及び車両の俯瞰図である。 本発明の第１及び第２実施形態による車両用周囲監視装置の距離把握用仮想画像を表示するか否かの処理を示すフローチャートである。 本発明の第１実施形態による車両用周囲監視装置の構成を示すブロック図である。 、本発明の第１実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。 本発明の第１実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。 本発明の第２実施形態による車両用周囲監視装置の構成を示すブロック図である。 本発明の第２実施形態による車両用周囲監視装置の距離把握用仮想画像の表示処理を示すフローチャートである。 本発明の第２実施形態による車両用周囲監視装置のカメラによる撮像範囲及び移動体の一例（ａ）及び仮想画像が実画像に重畳された映像の一例（ｂ）を示す図である。

符号の説明

１ 車両
２、４、６ 監視カメラ
７ レーザレーダ
１０ 車速センサ
１１ ジャイロ
１２ ＧＰＳ装置
１３ ナビゲーション装置
１４ 画像表示モニタ
１８ ＥＣＵ

Claims (14)

1. ドライバーから見て前方で左右に広がる領域内の死角領域を監視する車両用周囲監視装置であって、
   上記死角領域の実画像を撮像するように車両の前方部に設けられた実画像撮像手段と、
   上記実画像撮像手段により撮像された静止物及び／又は移動体に仮想の影を与えるよう仮想光源を設定する仮想光源設定手段と、
   この仮想光源設定手段により設定された仮想光源から上記静止物及び／又は移動体が光を受けたときの影を仮想影画像として生成する仮想影画像生成手段と、
   上記実画像撮像手段により撮像された上記死角領域の実画像内において、上記仮想影画像生成手段により生成された仮想影画像を上記静止物及び／又は移動体の路面接地位置から地面上に延びるよう上記実画像に重畳して表示する表示手段と、
   を有することを特徴とする車両用周囲監視装置。
2. さらに、上記仮想光源の位置及び上記移動体及び／又は静止物の形状に基づいて上記仮想影画像の影の向き及び大きさを規定する仮想影画像規定手段を有し、
   上記表示手段は、この仮想影画像規定手段により規定された影の向き及び大きさで上記静止物及び／又は移動体の仮想影画像をそれらの静止物及び／又は移動体の路面接地位置から延びるように上記実画像に重畳して表示する請求項１に記載の車両用周囲監視装置。
3. 上記仮想光源の位置は、緯度、経度及び時刻から算出された太陽の位置である請求項１又は請求項２に記載の車両用周囲監視装置。
4. 上記仮想光源の位置は、自車両が進入する交差点から所定距離離れた路面の位置の上空に設定される位置である請求項１又は請求項２に記載の車両用周囲監視装置。
5. 上記交差点からの所定距離は、他車両が接近してくるときに自車両の発進又は停止を判断するのに適当な路面の位置までの距離である請求項４に記載の車両用周囲監視装置。
6. 上記交差点からの所定距離は、ドライバーが任意に設定することが出来る請求項４に記載の車両用周囲監視装置。
7. 上記表示手段は、他車両が上記交差点から離れた所定距離の位置の通過前及び通過後、及び／又は通過中で上記仮想影画像の表示形態を変更する請求項４乃至６のいずれか１項に記載の車両用周囲監視装置。
8. 上記仮想光源の位置は、街灯の位置である請求項１又は請求項２に記載の車両用周囲監視装置。
9. 上記ドライバーの死角領域は車両の前方側の交差路の交差点の周辺の死角領域であり、 上記実画像撮像手段は、車両の前方端に設けられ、車両が交差路に差し掛かるとき、その車両の前方端から撮像可能な交差路の交差点周囲の実画像を撮像する請求項１乃至８のいずれか１項に記載の車両用周囲監視装置。
10. さらに、交差点においてドライバーの見通しが良くなる頭出し位置を算出する頭出し位置算出手段を有し、
    上記表示手段は、自車両が上記頭出し位置に達した後、上記仮想影画像の表示を中止する請求項９に記載の車両用周囲監視装置。
11. さらに、上記実画像撮像手段により撮像された実画像内から移動体を検出する移動体検出手段と、
    この移動体検出手段により移動体が検出されたとき、その移動体の種類及び／又は移動速度及び／又は移動方向を検出する移動体状態検出手段と、を有し、
    上記表示手段は、上記移動体の種類及び／又は移動速度及び／又は移動方向に応じて上記仮想影画像の表示を変更する請求項１乃至１０のいずれか１項に記載の車両用周囲監視装置。
12. 上記表示手段は、上記移動体が交差点を通過した後、その移動体の上記仮想影画像の表示を中止する請求項１１に記載の車両用周囲監視装置。
13. さらに、上記移動体検出手段により移動体が検出されたとき、その移動体が高速で接近し或いは蛇行して接近しているか否かを検出する第２移動体状態検出手段を有し、
    上記表示手段は、この高速で接近し或いは蛇行して接近している移動体が検出されたとき、他の移動体とは異なる色で影を表示する請求項１１又は請求項１２に記載の車両用周囲監視装置。
14. さらに、上記移動体検出手段により複数の縦列で接近してくる移動体の有無を検出する第３移動体状態検出手段と、を有し、
    上記表示手段は、この第３移動体状態検出手段により複数の縦列で接近してくる移動体が検出されたとき、それらの縦列で接近してくる移動体のうちの後続車の影を先頭車の影と異なるように点滅させ又は異なる色で表示する請求項１１乃至１３のいずれか１項に記載の車両用周囲監視装置。

Images