JP5088669B2 - 車両周辺監視装置 - Google Patents

Description

この発明は、車両周辺監視装置に関する。

再公表特許ＷＯ００／６４７１５公報 特開２００６−１６７３０９号公報 特開２００１−０５５１００号公報 特開２００５−２３２９４８号公報 特開２００６−１７３８８０号公報 特開２００６−２３１９６２号公報 特開２００６−３６７１００号公報

特許文献１には、自車両に搭載された複数のカメラにより当該自車両の周囲を種々のアングルにて画像撮影し、それら画像を視点変換しつつ合成して表示する装置が開示されている。また、特許文献２〜６には、撮影した周囲画像を、他車両存在状況などの注意対処物を強調表示しつつモニタリングできるようにした監視装置が開示されている。

上記特許文献２〜６に開示された監視装置では、車載カメラを介してその撮影画像を表示するだけなので、カメラ取付位置やアングルに係る情報を感覚的に十分に把握していないと、その画像に映し出される注意対象物が自車周囲のどのあたりに存在するのかを理解するのに時間を要する惧れがある。

本発明の課題は、撮影画像を用いつつも、自車周囲の注意対象物の存在状況をより迅速にかつ直感的に把握することができる車両周辺監視装置を提供することにある。

課題を解決するための手段及び発明の効果

本発明の車両周辺監視装置は、上記の課題を解決するために、
自車両に搭載され、当該自車両の周囲を撮影する自車両周囲撮影手段と、
車室内ミラーと、当該車室内ミラーに隣接する位置に該車室内ミラーと一体に結合され、前記自車両周囲撮影手段が撮影する自車両周囲画像を表示する表示装置とを有し、自車両の車室内にて運転席から視認可能な位置に取り付けられるミラー一体型表示ユニットと、を備え、
前記車室内ミラーがバックミラーであり、前記ミラー一体型表示ユニットは前記自車両のフロントグラスの中央上方に臨む位置に取り付けられ、
自車両周囲撮影手段が撮影する前記自車両周囲画像は、前記バックミラーによる車両後方の投影視野に対し車幅方向に偏った後側方視野画像を含むものであり、
前記ミラー一体型表示ユニットは、前記表示装置の当該後側方視野画像の表示画面が、前記バックミラーに対し車幅方向の対応する端縁側に隣接して配置され、
前記自車両のレーン変更方向を予測するレーン変更方向予測手段を備え、
前記後側方視野画像を、現在走行中のレーンからの車両位置からの視点による画像から、予測された方向にレーン変更した場合に想定される仮想的な車両位置からの視点による画像に変換し、当該視点変換後の画像を、当該視点変更する前の画像から当該視点変換後の画像へと視野が連続的に流れていくように前記表示画面にレーン変更前に表示する表示制御手段と、を備えたことを特徴とする。

上記本発明の構成によると、自車両周囲画像の表示装置を車室内ミラーと一体に結合してミラー一体型表示ユニットを構成したので、車室内ミラーに映し出される映像とともに、撮影手段による自車両周囲画像を一括して視認することができる。車室内ミラーに映し出される映像は、ミラーの取付位置から方向等を直感的に把握しやすく、これにそのミラーの死角等を補う撮影画像を組み合せ、同方向の視線にてそれらを一括視認することで、単にミラーのみあるいは撮影画像のみを用いる場合よりも多くの視覚情報により、自車周囲の注意対象物の存在状況をより詳細かつ迅速に把握することができるようになる。

上記のミラー一体型表示ユニットの表示装置は、該表示装置の画面位置に仮にミラーを配置したと考えた場合に、当該ミラーに投影不能な視野の画像を、自車両周囲撮影手段の撮影画像に基づいて表示するものとすることができる。つまり、表示装置の画面位置にまで車室内ミラーを単純に拡張すれば、その車室内ミラーにはより拡大された視野を映し出すことができるが、上記の構成では、その拡張代に相当する部分を表示装置の画面で置き換え、そこに別の視野の自車両周囲画像を表示することで、単に車室内ミラーを拡大しただけでは見ることのできない視野の画像を車室内ミラーの映像に補うことができ、周囲状況把握をより詳細かつ迅速に行なうことができる。

車室内ミラーがバックミラーである場合、ミラー一体型表示ユニットは自車両のフロントグラスの中央上方に臨む位置に取り付けることができる。バックミラーは、後方確認のために運転者が最も頻繁に確認するものであり、投影内容の直感的把握も容易なので、このバックミラーに一体化する形で自車両周囲画像を表示することで、バックミラー視認時に自車両周囲画像により別視野の視覚情報が大幅に補われ、より確実で迅速な後方把握が可能となる。

この場合、自車両周囲撮影手段が撮影する自車両周囲画像は、バックミラーによる車両後方の投影視野に対し車幅方向に偏った後側方視野画像を含むものとすることができる。ミラー一体型表示ユニットは、表示装置の当該後側方視野画像の表示画面が、バックミラーに対し車幅方向の対応する端縁側に隣接して配置されたものとして構成できる。一般的な自動車において後側方視野画像は、サイドミラーに映し出される実映像で把握するのが通常であり、該サイドミラーはバックミラーの死角を補うべく配置されている。しかし、両ミラーのカバーする視野の全体を確認したい場合は、当前のことであるが、まずバックミラーを見、次いで視線をサイドミラーに落として確認することになる（これは、運転免許検定の経験者には周知のごとく、右左折時やレーン変更時において法規に定められている運転行為である）。しかし、視認動作が２段階になるため、視線を変更する間の時間的遅れが不可避的に生ずるほか、例えばバックミラーだけを見てサイドミラーを見忘れる、などといったミスも生じやすい。しかし、上記の構成によると、後側方視野画像を映し出す表示画面をバックミラーの隣に一体化することで、バックミラーによる直後方視野と表示画面上の後側方視野画像とを視線を変えずとも一括視認できるので、上記のような問題をことごとく解決することが可能になる。これは、バックミラーを側方に延長拡大しただけでは決して達成できない効果であるともいえる。

この場合、自車両周囲撮影手段が撮影する自車両周囲画像は、バックミラーによる車両後方の投影視野に対し車幅方向右側に偏った右側方視野画像と、同じく車幅方向左側に偏った左側方視野画像とを含むものとすることができる。この場合、ミラー一体型表示ユニットは、表示装置の右側方視野画像表示画面と、同じく左側方視野画像表示画面とを、バックミラーに対し車幅方向における左右の端縁側に振り分けた形で配置することができる。このように構成すると、通常は左右のサイドミラーに投影される右側方視野画像及び左側方視野画像を、それぞれバックミラーの左右に隣接する表示画面に表示することで、両サイドミラーに映し出されるのと同様の視野をバックミラーの左右にて一括視認することができ、側方も含めた自車両後方の状況把握を一層確実に行なうことができる。この場合、自車両周囲撮影手段は、右側方視野画像を撮影する右側方視野画像撮影カメラと、左側方視野画像を撮影する左側方視野画像撮影カメラとを独立して備えたものとすることで、左右の後側方画像をより鮮明に取得することができる。

さらに、右側方視野画像表示画面と左側方視野画像表示画面とは、各々左サイドミラーと右サイドミラーとの枠体の擬似画像を表示するとともに、当該枠体擬似画像の内側領域に、右側方視野画像及び左側方視野画像をそれぞれ表示するものとすることで、バックミラー視線で画像を見ているにも拘わらず、表示される左右の後側方画像がサイドミラーと同様の視野の画像であることを直感的に把握しやすくなる。

バックミラーは、右側方視野画像表示画面と左側方視野画像表示画面との間に位置する中間領域とともに、それら右側方視野画像表示画面及び左側方視野画像表示画面とを一括して覆う横長形状のハーフミラーとして構成することができ、右側方視野画像及び左側方視野画像が各々当該ハーフミラーを介して透視可能に構成することができる。このように構成すると、右側方視野画像表示画面と左側方視野画像表示画面が非表示状態にあっては、上記の中間領域とともにこれら表示画面側にまで延長配置されたハーフミラーの全面をバックミラーとして使用することができ、バックミラーの投影視野を大幅に拡張することができる。右側方視野画像表示画面と左側方視野画像表示画面とは、それぞれバックライト付きの液晶ディスプレイにて構成でき、バックライトを点灯／消灯切替可能にしておくことで、バックライト消灯時に上記画面位置のハーフミラー領域をバックミラー投影領域として拡張活用することができる。また、上記の画面は、プラズマディスプレイやＥＬディスプレイなどの自発光型ディスプレイとして構成することができ、画面表示出力のオン／オフにより同様の効果を達成することができる。

また、右側方視野画像と左側方視野画像等の自車両周囲画像を敢えて撮影画像表示とすることで、画像処理特有の（つまり、サイドミラー等への投影では物理的に不可能な）強調表示処理も問題なく行なうことができる。該構成は、自車両の走行状況ないし車室内における操作状況を反映した状況把握情報を取得する状況把握情報取得手段と、取得された状況把握情報に基づいて、自車両周囲画像を当該状況把握情報の内容に適合した特定の強調表示状態にて表示装置に表示させる表示制御手段とを設けることで実現できる。

具体的には、自車両周囲画像上にて、該自車両よりも後方を走行する他車両画像を特定する他車両画像特定手段と、該他車両までの距離を特定する他車両距離特定手段とを設けることができる。表示制御手段は、自車両周囲画像上にて、特定された距離の情報を、対応する他車両画像が特定可能な状態で強調出力するものとして構成できる。これにより、自車両周囲画像上に他車両画像が存在する場合、当該の他車両までの距離を容易に把握することができ、自車両走行の参考にすることができる。

上記他車両までの距離は、自車両周囲画像上での自車両画像と他車両画像との相対距離にて特定してもよいが、他車両距離特定手段を、自車両周囲画像の作成に必要な画像取得手段とは別に自車両に設けられた、他車両までの距離を測定する距離測定手段とすることで、上記他車両までの距離をより正確にかつ迅速に特定することができる。距離測定手段は例えばレーダー測距装置にて構成することができ、他車両までの距離及び方向を高精度にて特定できる。

また、自車両の後方に位置する他車両の場合、高速で自車両に接近してくるものについてのみ、同一レーンの場合は上記他車両への進路の譲り渡し、隣接他レーンの場合は自車両の当該レーンへのレーン変更抑制について適切に配慮を促すことが望ましい。この場合、自車両の後方に位置する他車両の、該自車両への相対接近速度を特定する相対接近速度特定手段を設け、表示制御手段は、自車両周囲画像上にて、該相対接近速度が予め定められた正の警告接近速度を超える他車両が自車両周囲画像上に存在する場合に該他車両の画像を警告強調表示状態となすように構成できる。このようにすると、相対接近速度が正の警告接近速度を超える他車両への認識を運転者に促すための警告を適切に行なうことができる。

後続の他車両は、自車両と同程度の速度で追随走行してくるものは、多少距離が近くともそれほど危険性はないし、逆に猛スピードで距離を詰めてくる車については、距離が離れていても十分な注意を払わなければならない。このことは、つまるところ、自車両に追いつくまでの時間距離の小さい他車両ほど警戒の度合いを高めなければならないことを意味し、単純に距離のみあるいは速度のみでは正確な判断ができない場合がある。そこで、他車両距離特定手段が特定する距離と、相対接近速度特定手段が特定する相対接近速度とに基づいて、自車両の後方に位置する他車両が該自車両に到達するまでの時間を反映した到達時間距離情報を算出する到達時間距離情報算出手段を設け、表示制御手段は、自車両周囲画像上にて、到達時間距離が予め定められた警告時間距離未満となる他車両が自車両周囲画像上に存在する場合に該他車両の画像を警告強調表示状態となすよう構成することで、速度と距離との双方を加味した形で他車両への警告情報を適切に出力することができるようになる。なお、本明細書において単に「距離」と称する場合、上記の到達時間距離も広義にその概念に含まれるものとする。また、到達時間距離は、他車両と自車両との相対接近速度を反映したパラメータでもある。

警告強調表示は、自車両周囲画像上の警告対象となる他車両画像を、それ以外の他車両画像と識別可能となるようにマーキングすることにより行なうことができる。これにより、自車両周囲画像上の他車両画像のうち、警告対象となるものとそのマーキング状態により迅速かつ容易に識別することができる。具体的には、予め定められた警告色（例えば、赤や黄色）にて警告対象となる他車両画像をマーキングすることが有効である。また、警告情報を音声出力する警告情報音声出力手段を併用するとより効果的である。すなわち、運転者が前方視界を凝視している場合など、自車両周囲画像から目を離している状況下で警告対象となる他車両が現われた場合、警告情報の音声出力により直ちに注意を促すことができ、運転者に自車両周囲画像を用いて警告対象他車両の走行状況をいち早く把握することが可能となる。

自車両周囲画像として後側方視野画像を表示可能とする構成においては、自車両のレーン変更方向を予測するレーン変更方向予測手段を設け、表示制御手段は、後側方視野画像を、現在走行中のレーンからの車両位置からの視点による画像から、予測された方向にレーン変更した場合に想定される仮想的な車両位置からの視点による画像に変換し、強調表示状態として、当該視点変換後の画像を表示画面にレーン変更前に表示するものとして構成することができる。レーン変更方向を予測して、実際のレーン変更前に、その変更先のレーンでの視点に変換した後側方視野画像を表示することで、変更先レーンの現在の交通状況をより直感的に把握でき、安全なレーン変更を効果的に支援することができる。レーン変更方向予測手段は、例えばウィンカー操作など、レーン変更に先立って実施される運転操作を検出することにより、どの向きのレーン変更であるかを予測することが可能である。他方、表示制御手段は、予測されるレーン変更方向に対応する後側方視野画像上で、後続車両の画像に前述の警告用マーキングを施すこともでき、さらに、これと上記の視点変換処理とを組み合わせることも可能である。

また、本発明においては、運転席に着座した運転者の視点を検出する視点検出手段と、該視点検出手段が検出する視点情報に基づき運転者の前方注視方向を特定する運転注視方向特定手段とを設けることもできる。表示制御手段は、特定される運転者の前方注視方向が正面から左右いずれかにシフトした場合に、そのシフト方向に対応する側の後側方視野画像上にて、強調表示状態となすための画像表示制御を行なうものとして構成することができる。運転者の前方への視点から運転注視方向のシフト方向を特定することで、例えば運転者の隣接レーン等への関心を把握することができ、該シフト方向に対応する側の後側方視野画像に強調表示処理を施すことで、運転者の関心が集中している方向後方側への注意を効果的に促すことができる。この場合、表示制御手段は、後側方視野画像をシフト方向に視点移動させた画像に変換し、強調表示状態として、当該変換後の画像を表示画面に表示するものとすることができ、運転者の関心が向いている方向の後ろの交通状況をより直感的に把握できるようになる。他方、表示制御手段は、運転者の前方注視方向に対応する後側方視野画像上で、後続車両の画像に前述の警告用マーキングを施すこともでき、さらに、これと上記の視点変換処理とを組み合わせることも可能である。

以下、本発明の実施の形態を、図面を参照して説明する。
図１は、本発明の車両周辺監視装置の、その電気的構成の一例を示すブロック図である。車両周辺監視装置１００の制御主体はＥＣＵであり、本実施形態では互いにネットワーク接続された画像ＥＣＵ５０、運転行動推定ＥＣＵ７０及び出力制御ＥＣＵ９０にて構成されている。各ＥＣＵ５０，７０，９０は、いずれもＣＰＵと、該ＣＰＵが実行するソフトウェアを格納したＲＯＭ、ワークメモリをなすＲＡＭさらには入出力部などがバス接続された周知のマイコンハードウェアを主体とするものである。

画像ＥＣＵ５０には、車載カメラ群１１が接続されている。また、画像ＥＣＵ５０には画像変換合成部５１が、対応するソフトウェアによる機能実現手段として構築されている。車載カメラ群１１の画像データは画像変換合成部５１に受け渡され、これに基づいて後述の自車両周囲画像が作成される。

次に、車載カメラ群１１は、自車両１２の周囲を撮影する自車両周囲撮影手段を構成するものであり、自車両周囲直近の路上画像を、該自車両周囲に沿って互いに視野が連続する複数台のカメラにて撮影するものである。図２はその搭載例を示すものであり、カメラ１１ａ〜１１ｅを自動車（自車両）１２の車体に設けた構成としている。それぞれは、前方右側カメラ１１ａ、前方左側カメラ１１ｂ、後方右側カメラ１１ｃ、後方左側カメラ１１ｄ、後方中央カメラ１１ｅである。

例えば、前方右側カメラ１１ａは右サイドミラーに対応する位置に設けられ、自車両１２の車体右側後方を視野Ｖとして撮影するように配置されており、右後方を走行する他車両１３ｂなどを自車両１２の車体の一部を含んだ画像として撮影することができる。同様に、前方左側カメラ１１ｂは左サイドミラーに対応する位置に設けられ、自車両１２の車体左側後方を撮影するように配置されており、左後方を走行する他車両１３ｄなどを自車両１２の車体の一部を含んだ画像として撮影することができる。また、後方中央カメラ１１ｅは自車の真後を走行する他車両等を撮影するものであり、後方右側カメラ１１ｃ及び後方左側カメラ１１ｄは、上記前方右側カメラ１１ａ、前方左側カメラ１１ｂ及び後方中央カメラ１１ｅの視野をそれぞれ補う役割を果たす。これらカメラ１１ａ〜１１ｅにより撮影して得られた撮影画像は、自車ないしその周囲にある仮想視点から周囲後方を見渡した画像となるよう各々３次元的に視点変換されるとともに、隣接する路上撮影画像の重なりを考慮して、自車両周囲後方にて該周方向に切れ目なく統合され、自車両周囲画像とされる。その視点変換ないし統合方法に関しては、特許文献１を始めとする多数の文献に詳細に開示されており、周知であるため詳細な説明は省略する。なおカメラ１１の台数は上記以外のものであってもよい。

次に、図１のレーダー３は、レーザやミリ波を用いて前方車両との車間距離や前方車両の速度を測定するレーダーとして構成され、上記したカメラ１１ａ〜１１ｄに付随して設けられており、前方右側、前方左側、後方右側、後方左側のそれぞれの方向に対して測定対象物までの距離あるいは速度を測定する。また、車車間通信部７５は、自車両の周囲に存在する他車両と直接通信を行ない、周囲車両情報（車両サイズ、速度、ブレーキ、アクセル、位置座標、車種、型番）の送受信を行なうように構成されている。

図３は、本発明の車両周辺監視装置の要部をなすミラー一体型表示ユニット１Ｍの、車室内における取付形態の一例を模式的に示すものである。ミラー一体型表示ユニット１Ｍは、車室内ミラー２Ｍと、当該車室内ミラー２Ｍに隣接する位置に該車室内ミラー２Ｍと一体不可分に結合され、上記の車載カメラ群１１（自車両周囲撮影手段）が撮影する自車両周囲画像３０Ｒ，３０Ｌを表示する表示装置２Ｒ，２Ｌとを有し、自車両１２の車室内にて運転席ＤＳから視認可能な位置に取り付けられている。具体的には、ミラー一体型表示ユニット１Ｍにおいて車室内ミラーはバックミラー２Ｍであり、自車両１２のフロントグラスＦＧの中央上方に臨む位置に取り付けられている。

車載カメラ群１１が撮影する自車両周囲画像３０Ｒ，３０Ｌは、バックミラー２Ｍによる車両後方の投影視野に対し車幅方向右側に偏った右側方視野画像３０Ｒと、同じく車幅方向左側に偏った左側方視野画像３０Ｌとを含むものである。そして、表示装置２Ｒ，２Ｌは、右側方視野画像表示画面２Ｒと、同じく左側方視野画像表示画面２Ｌとが、バックミラー２Ｍに対し車幅方向における左右の端縁側に振り分けた形で配置されている。右側方視野画像３０Ｒと左側方視野画像３０Ｌとは、後方右側カメラ（右側方視野画像撮影カメラ）１１ａと後方左側カメラ（右側方視野画像撮影カメラ）１１ｂとがそれぞれ撮影した画像が主に用いられる形となる（正確には、複数台のカメラの画像を視点変換／合成して得られる自車後方周囲に連続した自車周囲画像からの切り出し画像となるので、一部、他のカメラからの画像も混ざることになる）。なお、本実施形態においては、右側方視野画像表示画面２Ｒと左側方視野画像表示画面２Ｌには、各々左サイドミラーと右サイドミラーとの枠体の擬似画像ＶＭＲ，ＶＭＬが表示され、当該枠体擬似画像ＶＭＲ，ＶＭＬの内側領域に、右側方視野画像３０Ｒ及び左側方視野画像３０Ｌがそれぞれ表示される。

図３に示すように、バックミラー２Ｍは、右側方視野画像表示画面２Ｒと左側方視野画像表示画面２Ｌとの間に位置する中間領域５１Ｍとともに、それら右側方視野画像表示画面２Ｒ及び左側方視野画像表示画面２Ｌとを一括して覆う横長形状のハーフミラー５０として構成されている。各画面２Ｒ，２Ｌに表示される画像は、各々ハーフミラー５０を介して透視される。右側方視野画像表示画面２Ｒと左側方視野画像表示画面２Ｌが非表示状態のときは、上記の中間領域５１Ｍとともにこれら表示画面２Ｒ，２Ｌ側にまで延長配置されたハーフミラー５０の全面をバックミラーとして使用することができる。

なお、図３において、右側方視野画像表示画面２Ｒと左側方視野画像表示画面２Ｌとは、それぞれバックライト５２を有する液晶ディスプレイ（液晶パネル）にて構成されている。バックライトを点灯／消灯切替可能にしておくことで、バックライト消灯時に上記画面位置のハーフミラー領域をバックミラー２Ｍ投影領域として拡張活用することができる。図中の断面図に示すごとく、ハーフミラー５０の背面側に液晶ディスプレイ５１Ｒ，５１Ｌ、バックライト５２及びそれらの制御基板５３がこの順で積層された状態で筐体枠５４内に配置され、その背面側開口部を塞ぐ背面蓋５５が筐体枠５４に対しビス５６を用いてねじ止めされている。なお、液晶ディスプレイ５１Ｒ，５１Ｌ、バックライト５２及び制御基板５３から延出する配線類５１Ｈ，５２Ｈ，５３Ｈは、図３において、ミラー一体型表示ユニット１Ｍを車両内部に取り付けるためのステー２Ｊ内を通されるようになっている。

図１に戻り、運転行動推定ＥＣＵ７０には、運転者の顔を撮影する車室内カメラ７３、レーダー３及び運転者の種々の生体情報を取得する生体センサ群（例えば、サーモグラフィー撮影装置、体温センサ、発汗センサ、皮膚抵抗センサ、心拍センサなど）７４が接続されている。また、他車両からの画像データや位置データ等を無線取得するための車々間通信部７５も通信インターフェースを介して接続されている。また、運転行動推定ＥＣＵ７０、強調個所判断エンジン７２と運転行動推定エンジン７１とが、それぞれ対応するソフトウェアによる機能実現手段として構築されている。これは運転者の生体状態（例えば、疲労や眠気など）により、警告判定するための他車両との閾距離を変更するなど、距離的な要素と、運転者状態の要素との双方を警告判定に考慮するためである。

そして、前述のレーダー３あるいは車々間通信部７５からの他車両の距離、方向及び速度の情報と、車速センサ７６による自車両の速度情報とが、強調個所判断エンジン７２に受け渡される。

また、車室内カメラ７３からの画像データと、生体センサ群７４からの生体状態検出情報とは運転行動推定エンジン７１に受け渡される。運転行動推定エンジン７１は、車室内カメラ７３が撮影する運転者の顔画像から瞳孔位置を抽出し、その瞳孔位置に基づいて運転者の視点を特定する。この視点特定に係る具体的な手法については特許文献７に詳細に開示されているので、説明は略する。また、運転行動推定エンジン７１にはウィンカー７７からのウィンカー信号も入力されるようになっており、該ウィンカー信号の内容から右左折ないしレーン変更の向きが判定される。

次に、出力制御ＥＣＵ９０には、画像ドライバ９２、音声ドライバ９３及び振動ドライバ９４がそれぞれ接続されている。また、出力内容決定部９１が対応するソフトウェアによる機能実現手段として構築されている。画像ＥＣＵ５０からの自車両周囲画像はこの出力内容決定部９１に受け渡される。また、運転行動推定ＥＣＵ７０からの運転行動推定エンジン７１からは、接近他車両に対する危険度推定結果も出力内容決定部９１に受け渡される。出力内容決定部９１は、その危険度推定結果を参照し、警告のための他車両画像のマーキング処理を行なうとともに、音声出力データないし振動出力の制御データを作成し、画像ドライバ９２、音声ドライバ９３及び振動ドライバ９４にそれぞれ受け渡す。また、警告マーキング等の施された自車両周囲画像３０からは、右側方視野画像３０Ｒと左側方視野画像３０Ｌとが切り出され、画像ドライバ９２に接続された前述の表示画面２Ｒ，２Ｌにそれぞれ出力される。

また、音声出力データによる警告音声は、音声ドライバ９３に接続されたスピーカ９６（ＡＶユニットのスピーカシステムを流用できる）から出力される。また、振動出力の制御データを受け取った振動ドライバ９４は、これに接続されている振動部９７を振動駆動する。振動部９７は、例えばハンドルＳＷやシート１１０（シートバック部あるいは座部）に組み込まれ、運転者に警告振動を直接伝達することで警告認知あるいは覚醒を促す働きをなす。

以下、図５を用いて、周囲車両の位置（距離、方向）を求める方法について説明する。まず、周囲車両との距離の測定においては、自車両１２の車車間通信部７５の送信電力を定期的に変更し、どの電力レベルで送信が行なえなくなったかを測定することで、対応する距離を概略的に測定することができる。このとき、正確な測定距離を測るために、例えば前方車両と通信を行なう場合は、車車間通信部７５を後方のランプの中央に設置する。このようにすると、レーザ方式のレーダー３の距離測定結果と車車間通信の結果をマッチングさせることが容易になる。レーダー３と車車間通信部７５とを比較すると、レーダー３の方が測定可能な距離が長いので、これを利用して、通常はレーダー３で車車間通信を行なう場合の距離と方向を設定して、目標を定めておいて車車間通信を行なうようにする。つまり、車車間通信部７５の送信電力と通信方向を設定することができる。

以下、車両周辺監視装置１の動作について説明する。図６は全体処理の流れを示すものである。まず、画像変換合成部５１では車載カメラ群１１の撮影画像が取得され、周知の視点変換処理と合成処理とを行なう。また、その視点変換された各撮影画像上で他車両の画像を周知の画像解析方法により抽出する。

一方、運転行動推定エンジン７１では、車室内カメラ７３の画像から運転者の視点を特定し、また、ウィンカー信号の内容からレーン変更（ないし右左折）方向を特定する。出力内容決定部９１では、画像生成部９１Ａにて、画像変換合成部５１から合成済みの自車両周囲画像を受け取り、さらに、運転行動推定エンジン７１から運転者の視点情報を受け取る。そして、運転者の視点が中央（つまり、自車両が走行中のレーンを注視）であるか、前方右側のレーンに偏っているか、あるいは左側のレーンに偏っているかを判定する。どちらかのレーンに視点が寄っている場合は、その寄っている側の側方視野画像３０Ｒないし３０Ｌ上にて、後述の手順に従い、警告対象となる後続他車両のマーキング出力を行なう。また、レーン変更を示すウィンカー信号が検出された場合、レーン変更が開始されると予測し、自車両周囲画像からの右側方視野画像３０Ｒと左側方視野画像３０Ｌとの切り出し位置を決定する。この場合、右側のレーンへの車線変更の場合は右方向に、左側のレーンへの車線変更の場合は左方向に、左右の画像の切り出し位置をそれぞれ所定量シフトさせる。

また、運転行動推定エンジン７１では、生体センサ群７４からの運転者の生体状態検出情報を取得する。この生体状態の検出結果からドライバの状態を推定する方法については周知であり、以下、概略を説明するに留める。生体センサとして利用できるのは、以下のようなものである。
・赤外線センサ：自動車に乗車した運転者の顔部分からの放射赤外線に基づき、サーモグラフィーを撮影する。体状態検出部である体温測定部として機能する。
・顔カメラ（車室内カメラ７３）：着座した運転者の顔の表情を撮影する。また、視線方向から運転者の注意力レベルを判定することができる。
・マイクロフォン：運転者の声を検出する。
・感圧センサ：自動車のハンドルやシフトレバーの、運転者による把握位置に取り付けられ、運転者の握り力や、握ったり放したりの繰り返し頻度などを検出する。
・脈拍センサ：脈拍を反映した血液流を反射検知する反射式光センサ等で構成され、自動車のハンドルの運転者把握位置に取り付けられる。
・体温センサ：自動車のハンドルの運転者把握位置に取り付けられた温度センサからなる。

例えば、顔カメラにより撮影した顔の全体（又は部分：例えば目や口）の画像を、種々の心理状態あるいは体調状態におけるマスター画像と比較することで、ユーザーが怒っているのか、平静であるのか、機嫌がよい（例えば楽しくウキウキしている）のか、機嫌が悪い（例えば落胆ないし悲嘆している）のか、あるいは不安ないし緊張にさらされているのか、などを判定することができる。また、ユーザーに固有のマスター画像を使用するのではなく、顔の輪郭、目（あるいはアイリス）、口及び鼻の位置や形状を、全てのユーザーに共通の顔面特徴量として抽出し、その特徴量を、種々の心理状態あるいは体調状態において予め測定・記憶されている標準特徴量と比較して、同様の判定を行なうことができる。

体の動作は、顔カメラにより撮影したユーザーの動画像（例えば、小刻みに動いたりする、顔をしかめたりするなど）や、感圧センサの検知状態（例えば頻繁にハンドルから手を離したりする）などの情報に基づき、例えば運転中のユーザーがいらいらしているのか、そうでないのかを判断することができる。

体温は、ハンドルに取り付けた体温センサや、赤外線センサで取得した顔のサーモグラフィーなどの体温検出部により検出・特定できる。気持ちが高揚しているとき、緊張しているとき、興奮あるいは怒っているとき、などは体温が高く表れ、逆に、落ち着いているときは、体温は低めに表れる。また、緊張や興奮は、脈拍センサが検出する心拍数が高くなることで検出できる。

なお、精神状態とは別に、病気のときや疲れている場合、あるいは注意力が散漫になっている場合など、体調状態によっても体温は高く表れる。高体温が精神状態及び体調状態のいずれによるものかを判別するには、顔の表情（顔カメラ）や、体の動き（顔カメラ、感圧センサ）など、体温以外の体状態情報と組み合わせることが有効である。また、体調不良の場合は定常的に体温が高いのに対し、緊張や興奮あるいは感情的になった場合の体温上昇は一時的なものなので、時間に応じた体温変化傾向を分析することで判別できる場合もある。なお、ユーザーの平熱を予め登録しておき、その平熱からの温度シフト（特に高温側）を体温検出部により測定することで、より微妙な体温変化ひいてはそれによる細かい感情の動き等も検出することが可能となる。

本実施形態では、体調及び精神の両状態の検出結果から、運転者の状態を複数段階、ここでは、図９のように通常、やや低下及び低下の３段階に区分して危険度推定し（Ｓ２５）、それぞれに適合した内容にて警告を行なうようにしている。具体的には、運転者の状態が「通常」であれば表示のみによる警告とし、「やや低下」であれば音声も併用し、「低下」であれば、さらに振動も併用するようにしている。また、他車両が追いつくまでの時間（つまり、到達時間距離情報）に関しては、「遠」「中」「近」の３段階に区分して危険度推定に反映させているが、区分の切れ目を与える時間距離の閾値は、運転者状態が悪化するほど（ここでは、「通常」「やや低下」「低下」の順で３段階に）長くなるように、つまり、運転者の反応が鈍くなると予想される場合ほど、より早い段階で警告がなされるようにしてある。

次に、強調個所判断エンジン７２では、レーダー３により、検出された他車両までの距離と速度の情報を取得し、自車両速度との差分から他車両の自車両に対する相対接近速度を算出する。そして、その相対接近速度が正であれば、上記の他車両までの距離（狭義には空間距離）と該相対接近速度とから、対象となる他車両が自車両に追いつくまでの推定時間（到達時間距離）を計算する。

図７は、警告内容の決定及出力処理の流れを示すものである（図８の工程説明図も参照）。ここでは、ドライバがレーン変更する場合を例にとる。まず、図８の状態１に示すように、特定されている視点が（１）であり、運転者は真っ直ぐ前方を見ているものとする。この視点では、車載カメラ群１１の画像のうち、現在走行中の車両位置ＭＣにおける左右のサイドミラーの投影範囲に対応した視野範囲ＢＲ，ＢＬにより画像の切り出しがなされ、各々、図８の各表示装置２Ｒ，２Ｌに右側方視野画像３０Ｒ及び左側方視野画像３０Ｌ（以下、レーン変更前視点画像という）として表示される。

Ｓ１では、図８に示すように、レーン変更予測として、特定されている視点（１）が隣のレーンに所定時間以上移っているかどうかを確認する。次に、Ｓ２では、自車両周囲画像３０上で自車両の後方に位置する他車両の存在を確認する。Ｓ３では、自車両よりも速い他車両が含まれているかどうかを探索する。そして、Ｓ１で、視点（１）が隣のレーンに移っているようであればＳ４からＳ５に進み、警告を含む情報提供処理となる。

すなわち、以下は、個々の他車両に係る前述の到達時間距離の閾値（Ａ秒超＝「遠」（Ｓ６→Ｓ８）：警告１、Ｂ秒超Ａ秒以内＝「中」（Ｓ７→Ｓ９）：警告２、Ｂ秒以内＝「近」（Ｓ７→Ｓ１０）：警告３）との比較により、到達時間距離レベルに応じた内容にて個別の警告処理を、自車両周囲画像３０（右側方視野画像３０Ｒと左側方視野画像３０Ｌ）上の表示にて行なう。具体的には、図６においては、画像強調処理部９１Ｂにて、切り出された右側方視野画像３０Ｒないし左側方視野画像３０Ｌに対し、警告内容に応じて予め定められた警告色のマーキング表示（強調表示）を、当該画像上の対象となる他車両画像ＢＣＲ（図８、レーン変更前視点画像の場合、右画像３０Ｒ上：レーン変更後視点画像の場合は左画像３０Ｌ上の他車両画像ＢＣＬ）に対して合成する。

具体的には、図８に示すように、他車両画像ＢＣＲを、その輪郭に沿って縁取りするマーキング枠２１３ｆを、到達時間距離に応じて互いに異なる状態となるように表示する内容としてある。すなわち、到達時間距離が「遠」の場合は、マーキング枠２１３ｆを黄色で表示し、到達時間距離が「中」の場合は、マーキング枠２１３ｆを赤色で表示する。さらに、到達時間距離が「近」の場合は、その赤色のマーキング枠２１３ｆを点滅状態で表示する。

また、運転者状態が低下した場合の音声による警告も合わせて行なうことができる。このとき、画像上で対象他車が強調表示されていれば、この音声警告により運転者ＤＶに、表示画面２Ｒ（２Ｌ）上の強調表示された他車画像ＭＢを見ることを促すことができる。音声警告は、単なるアラーム音としてもよいし、具体的な警告内容を言葉で出力する方式も可能である。例えば、
・「後方に危険車両が存在します」（あるいは、「後方から早い車が近づいてきます。ご注意ください」）；
・「車が近づいてきます。車線変更しないで下さい。」
などである。

なお、到達時間距離ではなく、単に、他車両との空間距離が大きいか小さいかにより警告を行なうようにしてもよいし、また、他車両の速度が大きいか小さいかにより警告を行なうようにしてもよい。また、警告ではなく、他車両の速度や該他車両までの空間距離を数値にて画面上に出力する方法も可能である。

その後、レーン変更のためのウィンカーレバー１５０の操作があったか否か（すなわち、ウィンカー信号の出力があるか否か）を確認する。操作があれば、レーン変更がなされると予測し、破線で示すように、車載カメラ群１１の位置が、その変更先となる隣のレーンに仮想的に移動したものとして視点変更を行ない、自車両周囲画像３０を当該変更後の視点による画像に変換する。そして、その変換後の画像から、その隣のレーンに仮想的に移動した車両位置ＭＣ’における左右のサイドミラーの投影範囲に対応した視野範囲ＢＲ’，ＢＬ’により画像の切り出しがなされる。その結果、図８の各表示装置２Ｒ，２Ｌには、実際のレーン変更前であるにも拘わらず、その移動後を想定した位置からの右側方視野画像３０Ｒ’及び左側方視野画像３０Ｌ’（以下、レーン変更後視点画像という）が表示される。

この場合の画像の表示切替は、変更先となる隣のレーンへの仮想的な車体移動に合わせて視点があたかも連続的に変更されたかのように、もとの右側方視野画像３０Ｒ及び左側方視野画像３０Ｌから、変更後の右側方視野画像３０Ｒ’及び左側方視野画像３０Ｌ’へと視野が連続的に流れてゆくように表示を行なうことができる。特に、視点変更をトリガとして表示切替を行なう場合は、その視点位置が移動するのに対応させて視野が連続的に流れてゆくように表示を行なうことができる。

この表示状態は、実際にレーン変更がなされた後は、そのレーン変更完了後も当該の視点を維持する形で継続することができる。一方、レーン変更がなされなかった場合は、例えば次のようにする。
（１）ウィンカーが解除されれば、レーン変更前視点画像に戻す。
（２）ウィンカーの解除に関係なく、視点が前方に戻ればレーン変更前視点画像に戻す。

本発明の車両周辺監視装置に係る電気的構成の一例を示すブロック図。 車載カメラ群の配置形態の一例を、その視野とともに示す斜視図。 ミラー一体型表示ユニットの取付形態の一例を模式的に示す図。 ミラー一体型表示ユニットの一例を、その断面構造とともに示す模式的な分解斜視図。 レーダーによる他車両検出の事例をいくつか示す図。 車両周辺監視装置の全体処理の流れを示すシーケンス図。 図６の処理における警告内容決定処理の流れを示すフローチャート。 車両周辺監視装置の動作説明図。 運転者状態に応じた複合警告形態の設定例を示す図。

符号の説明

１００ 車両周辺監視装置
１Ｍ ミラー一体型表示ユニット
２Ｒ 表示装置（右側方視野画像表示画面）
２Ｌ 表示装置（左側方視野画像表示画面）
３ レーダー（距離測定手段）
１１ 車載カメラ群（自車両周囲撮影手段）
１２ 自車両
１３ 他車両
３０Ｒ 右側方視野画像
３０Ｌ 左側方視野画像
５０ 画像ＥＣＵ（路上撮影画像取得手段）
７０ 運転行動推定ＥＣＵ（状況把握情報取得手段、他車両画像特定手段、レーン変更方向予測手段、視点検出手段、運転注視方向特定手段）
９０ 出力制御ＥＣＵ（表示制御手段）

Claims (14)

1. 自車両に搭載され、当該自車両の周囲を撮影する自車両周囲撮影手段と、
   車室内ミラーと、当該車室内ミラーに隣接する位置に該車室内ミラーと一体に結合され、前記自車両周囲撮影手段が撮影する自車両周囲画像を表示する表示装置とを有し、前記自車両の車室内にて運転席から視認可能な位置に取り付けられるミラー一体型表示ユニットと、を備え、
   前記車室内ミラーがバックミラーであり、前記ミラー一体型表示ユニットは前記自車両のフロントグラスの中央上方に臨む位置に取り付けられ、
   自車両周囲撮影手段が撮影する前記自車両周囲画像は、前記バックミラーによる車両後方の投影視野に対し車幅方向に偏った後側方視野画像を含むものであり、
   前記ミラー一体型表示ユニットは、前記表示装置の当該後側方視野画像の表示画面が、前記バックミラーに対し車幅方向の対応する端縁側に隣接して配置され、
   前記自車両のレーン変更方向を予測するレーン変更方向予測手段と、
   前記後側方視野画像を、現在走行中のレーンからの車両位置からの視点による画像から、予測された方向にレーン変更した場合に想定される仮想的な車両位置からの視点による画像に変換し、当該視点変換後の画像を、当該視点変更する前の画像から当該視点変換後の画像へと視野が連続的に流れていくように前記表示画面にレーン変更前に表示する表示制御手段と、を備えたことを特徴とする車両周辺監視装置。
2. 前記ミラー一体型表示ユニットの前記表示装置は、該表示装置の画面位置に仮にミラーを配置したと考えた場合に、当該ミラーに投影不能な視野の画像を、前記自車両周囲撮影手段の撮影画像に基づいて表示するものである請求項１記載の車両周辺監視装置。
3. 前記自車両周囲撮影手段が撮影する前記自車両周囲画像は、前記バックミラーによる車両後方の投影視野に対し車幅方向右側に偏った右側方視野画像と、同じく車幅方向左側に偏った左側方視野画像とを含むものであり、
   前記ミラー一体型表示ユニットは、前記表示装置の右側方視野画像表示画面と、同じく左側方視野画像表示画面とが、前記バックミラーに対し車幅方向における左右の端縁側に振り分けた形で配置されたものである請求項１又は請求項２に記載の車両周辺監視装置。
4. 前記自車両周囲撮影手段は、前記右側方視野画像を撮影する右側方視野画像撮影カメラと、前記左側方視野画像を撮影する左側方視野画像撮影カメラとを独立して備えたものである請求項３記載の車両周辺監視装置。
5. 前記右側方視野画像表示画面と前記左側方視野画像表示画面とは、各々左サイドミラーと右サイドミラーとの枠体の擬似画像を表示するとともに、当該枠体擬似画像の内側領域に、前記右側方視野画像及び前記左側方視野画像をそれぞれ表示するものである請求項４記載の車両周辺監視装置。
6. 前記バックミラーは、前記右側方視野画像表示画面と前記左側方視野画像表示画面との間に位置する中間領域とともに、それら右側方視野画像表示画面及び左側方視野画像表示画面とを一括して覆う横長形状のハーフミラーとして構成され、前記右側方視野画像及び前記左側方視野画像が各々当該ハーフミラーを介して透視可能とされてなる請求項５記載の車両周辺監視装置。
7. 前記自車両の走行状況ないし車室内における操作状況を反映した状況把握情報を取得する状況把握情報取得手段を備え、
   前記表示制御手段は、取得された状況把握情報に基づいて、前記自車両周囲画像を当該状況把握情報の内容に適合した特定の強調表示状態にて前記表示装置に表示させる請求項１ないし請求項６のいずれか１項に記載の車両周辺監視装置。
8. 前記自車両周囲画像上にて、該自車両よりも後方を走行する他車両画像を特定する他車両画像特定手段と、
   該他車両までの距離を特定する他車両距離特定手段とを有し、
   前記表示制御手段は、前記自車両周囲画像上にて、特定された前記距離の情報を、対応する他車両画像が特定可能な状態で強調出力する請求項７記載の車両周辺監視装置。
9. 前記他車両距離特定手段は、前記自車両周囲画像の作成に必要な画像取得手段とは別に前記自車両に設けられた、前記他車両までの距離を測定する距離測定手段である請求項８記載の車両周辺監視装置。
10. 前記距離測定手段がレーダー測距装置として構成されている請求項９記載の車両周辺監視装置。
11. 前記自車両の後方に位置する他車両の、該自車両への相対接近速度を特定する相対接近速度特定手段を備え、前記表示制御手段は、前記自車両周囲画像上にて、該相対接近速度が予め定められた正の警告接近速度を超える他車両が前記自車両周囲画像上に存在する場合に該他車両の画像を警告強調表示状態となす請求項７ないし請求項１０のいずれか１項に記載の車両周辺監視装置。
12. 前記他車両距離特定手段が特定する前記距離と、前記相対接近速度特定手段が特定する前記相対接近速度とに基づいて、前記自車両の後方に位置する他車両が該自車両に到達するまでの時間を反映した到達時間距離情報を算出する到達時間距離情報算出手段を備え、前記表示制御手段は、前記自車両周囲画像上にて、前記到達時間距離が予め定められた警告時間距離未満となる他車両が前記自車両周囲画像上に存在する場合に該他車両の画像を警告強調表示状態となす請求項１１記載の車両周辺監視装置。
13. 前記運転席に着座した運転者の視点を検出する視点検出手段と、
    該視点検出手段が検出する視点情報に基づき前記運転者の前方注視方向を特定する運転注視方向特定手段とを備え、
    前記表示制御手段は、特定される前記運転者の前方注視方向が正面から左右いずれかにシフトした場合に、そのシフト方向に対応する側の後側方視野画像上にて、前記強調表示状態となすための画像表示制御を行なう請求項７ないし請求項１２のいずれか１項に記載の車両周辺監視装置。
14. 前記表示制御手段は、前記後側方視野画像を前記シフト方向に視点移動させた画像に変換し、前記強調表示状態として、当該変換後の画像を前記表示画面に表示するものである請求項１３記載の車両周辺監視装置。