JP7151511B2 - 車両の周辺監視装置 - Google Patents

Description

本開示は、車両の操舵状態から車両の走行軌跡を推定して、車両が進行可能か否かを判定する、車両の周辺監視装置に関する。

車両の周辺監視装置として、特許文献１に記載のように、車両の操舵角から車両の走行軌跡を推定し、推定した走行軌跡に基づき障害物の検出エリアを設定するように構成されたものが知られている。

この周辺監視装置においては、超音波センサにて検出エリア内を探索し、検出エリア内に障害物が存在する場合には、現在の操舵角では車両の進行はできないと判断して、警報を発生し、車両がすり抜け可能な操舵角を報知するようにされている。

特開２００５－５６３３６号公報

上記周辺監視装置においては、車両の走行軌跡に応じて設定される検出エリア内での障害物の検出結果に基づき、車両を進行可能か否かが判断される。このため、検出エリア外に位置する移動体が車両に向かって移動していても、移動体が検出エリア内に入るまでは、車両は進行可能と判断されてしまう。

また、移動体が検出エリア内に入り、超音波センサにて検出されると、車両は進行できないと判断されて、警報が発せられるが、超音波センサによる障害物の検知距離は、例えば２ｍ程度と、極めて短い。

このため、上記周辺監視装置においては、検出エリア内に移動してきた移動体を検出して警報を発生することができたとしても、運転者は、移動体との衝突を回避するための車両操作を行うことができないことがある。

本開示の１つの局面は、車両の操舵状態から車両の走行軌跡を推定して、車両が進行可能か否かを判定する周辺監視装置において、進行可能か否かの判定精度を高め、車両をより安全に走行できるようにすることが望ましい。

本開示の一局面の車両の周辺監視装置は、車両周囲の画像を撮像するカメラ（１１～１４）と、路面認識部（４０，Ｓ１３０）と、軌跡推定部（４０，Ｓ２２０）と、走行可能度合い演算部（４０，Ｓ２３０）と、報知部（４０，Ｓ２６０～Ｓ３４０）とを備える。

路面認識部は、カメラによる撮像画像から車両が走行可能な路面を認識するよう構成され、軌跡推定部は、車両の操舵状態に基づき、車両の現在位置からの走行軌跡を推定するよう構成されている。

また、走行可能度合い演算部は、路面認識部による路面の認識結果と、軌跡推定部にて推定された走行軌跡とに基づき、車両が路面を走行可能な度合いを算出するよう構成されている。そして、報知部は、走行可能度合い演算部にて算出された走行可能度合いを、報知するよう構成されている。

このため、カメラによる撮像画像において、路面以外の領域が車両の走行軌跡と重なっている場合には、車両が路面以外の領域を通ることになるので、走行可能度合い演算部は、走行可能度合いが低いと設定し、報知部はその旨を報知することになる。

なお、カメラによる撮像画像において、路面認識部にて認識される路面以外の領域は、道路標識や建造物等の固定物体に限らず、歩行者や車両等の移動物体も含まれる。
また、カメラによる撮像可能距離は、カメラのレンズの焦点距離等によって決まるが、通常、１０ｍ以上であり、超音波センサによる障害物の検知距離よりも長くなる。

このため、カメラによる撮像画像で、路面以外の領域が車両の走行軌跡と重なっていて、走行軌跡内に移動物体等の障害物が存在する可能性がある場合には、障害物からより離れた位置でその旨を検知して、車両の走行可能度合いが低いことを報知することができる。

従って、運転者は、報知部からの報知に従い、移動物体を含む障害物に車両が衝突することのないよう、余裕を持って車両を操作し、車両が障害物に衝突するのを回避することができるようになる。よって、本開示の周辺監視装置によれば、従来装置に比べて、車両走行時の安全性を高めることができる。

なお、報知部は、必ずしも運転者に対し走行可能度合いを報知するよう構成する必要はなく、例えば、車両を自動走行させる走行制御装置を搭載した自動運転車両においては、走行制御装置に対し、走行可能度合いを報知するように構成されていてもよい。

実施形態の周辺監視装置全体の構成を表すブロック図である。 ＥＣＵにて実行される入力処理を表すフローチャートである。 ＥＣＵにて実行される監視処理の前半部分を表すフローチャートである。 ＥＣＵにて実行される監視処理の後半部分を表すフローチャートである。 カメラによる撮像画像と撮像画像からの路面認識結果を表す説明図である。 走行軌跡に基づく走行可能度合いの算出手順を説明する説明図である。 走行軌跡に基づく走行余裕度合いの算出手順を説明する説明図である。 駐車場からの発進時に表示されるトップビュー画像及び進行方向画像の一例を表す説明図である。 図７に比べ走行可能度合いが低い場合の進行方向画像を表す説明図である。 図７に比べ走行可能度合いが更に低い場合の進行方向画像を表す説明図である。 車両駐車時に表示されるトップビュー画像及び進行方向画像の一例を表す説明図である。

以下に、本開示の実施形態を図面と共に説明する。
［実施形態］
［構成］
図１に示すように、本実施形態の周辺監視装置１は、図５，図６に例示する車両５０に搭載され、周辺カメラ１０による周囲の撮像画像から表示用の画像を生成して、表示部としての表示装置４８に表示させることで、運転者に対する運転支援を行うものである。

このため、周辺監視装置１は、画像処理用の電子制御装置（以下、ＥＣＵ）３０を中心に構成されている。
ここで、周辺カメラ１０は、例えば、車両５０の前方、後方、左側方、右側方をそれぞれ撮像できるように、車両５０の前・後・左・右にそれぞれ取り付けられた４つのカメラ１１、１２、１３、１４にて構成されている。

なお、各カメラ１１～１４は、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等を用いて構成され得る。また、周辺カメラ１０の数は、必要に応じて、適宜変更できるが、各カメラは、車両５０の周囲の路面と障害物を撮像できるように配置される必要はある。

また、表示装置４８は、車両５０に搭載されたナビゲーション装置のディスプレイ、若しくは、車両５０のフロントガラスに画像を表示するヘッドアップディスプレイ、にて構成されている。

ＥＣＵ３０は、表示装置４８に表示するための表示画像を生成する画像処理部４０と、各カメラ１１～１４による撮像画像を画像処理部４０に入力する入力信号処理部３２と、表示画像を表示装置４８に出力する出力信号処理部３４と、を備える。

画像処理部４０は、ＣＰＵ、ＲＯＭ、ＲＡＭ等を含むマイクロコンピュータにて構成されており、不揮発性のメモリ３６に記憶された制御プログラムに従い動作する。つまり、画像処理部４０は、入力信号処理部３２から撮像画像を取得して、メモリ３６に記憶された内部パラメータに基づき画像処理を行うことで、表示画像を生成する。そして、その生成した表示画像を出力信号処理部３４に出力することで、表示装置４８に表示画像を表示させる。

また、画像処理部４０には、入力信号処理部３８を介して、車両５０の各種状態を検出する状態検出部２０からの検出信号が入力される。状態検出部２０には、変速機のシフト位置を検出するシフトセンサ、車速を検出する車速センサ、ステアリングの操舵角を検出する操舵角センサ、周囲の明るさを検出する照度センサ２４、…といった各種センサが備えられている。

そして、画像処理部４０は、表示装置４８への表示画像を生成する際、状態検出部２０を構成する各種センサからの検出信号に基づき、車両５０の走行状態や周囲環境を把握し、乗員に提示するのに適した表示画像を生成する。

なお、ＥＣＵ３０には、車両５０に搭載されたバッテリから電力供給を受けて、画像処理部４０を始めとする上記各部を動作させるための電源電圧（直流定電圧）を生成する電源部４２も備えられている。

次に、画像処理部４０において、メインルーチンの１つとしてそれぞれ実行される入力処理、及び、監視処理について説明する。
［入力処理］
図２に示すように、入力処理においては、Ｓ１１０にて、入力信号処理部３８を介して状態検出部２０の各種センサ２１～２４からシフト位置、車速、操舵角、照度、といった各種情報を取得する。なお、Ｓ１１０の「Ｓ」は、ステップを表す。

次に、Ｓ１２０では、入力信号処理部３２を介して周辺カメラ１０を構成する各カメラ１１～１４から、車両５０の前方、後方、左側方、右側方をそれぞれ撮像した撮像画像を取得する。

そして続くＳ１３０では、例えば、セマンティック・セグメンテーション（Semantic Segmentation）により、Ｓ１２０にて各カメラ１１～１４から取得した撮像画像の中から、それぞれ、車両５０が走行可能な路面を認識する路面認識処理を実行する。

画像処理部４０は、この路面認識処理を実行することにより本開示の路面認識部として機能する。そして、この路面認識処理では、図４に例示するように、カメラ１１～１４から取得した撮像画像の中から、図にハッチングで示す路面領域が認識されることになる。

なお、セマンティック・セグメンテーションは、機械学習データ等を利用して、画像を構成する各ピクセルがどのクラスのオブジェクトに属しているのかをラベリングする技術であり、例えば、特許第６３０９６６３号公報に記載のように知られている。このため、本明細書では、セマンティック・セグメンテーションにて路面認識を行う手順については、説明を省略する。

次に、Ｓ１３０にて、各カメラ１１～１４の撮像画像に対する路面認識処理が実行されると、Ｓ１４０に移行して、各カメラ１１～１４の撮像画像を、車両５０の上方から見た画像に視点変換して、合成する。つまり、Ｓ１４０では、図７、図１０に示すように、車両５０の周囲を上方から見たトップビュー画像を生成する。

そして、Ｓ１４０にてトップビュー画像を生成すると、当該入力処理は一旦終了され、所定時間経過後に再度開始される。このため、図２の入力処理は、所定時間毎に繰り返し実行されて、各センサ２１～２４からの情報、各カメラ１１～１４による撮像画像が取得され、撮像画像毎に車両５０が走行可能な路面が認識されると共に、トップビュー画像が生成されることになる。
［監視処理］
次に、図３Ａ，図３Ｂに示す監視処理は、駐停車中の車両５０を発進させるときや車両５０を駐車させるときに、ステアリングの操舵角に基づき走行軌跡を推定して、車両５０が障害物に衝突することのないよう、案内画像を表示するための処理である。

図３Ａに示すように、監視処理が開始されると、まずＳ２１０にて、監視処理の開始条件が成立しているか否かを判断する。この開始条件としては、例えば、下記Ａ１～Ａ３の条件が設定されている。

Ａ１：エンジン始動時に認識された走行路面の端部までの最短距離が、予め設定された閾値以下のとき。つまり、車両５０の周囲に障害物が存在し、走行路面端までの距離が短くなるとき。

Ａ２：エンジン始動後に変速機のシフト位置が、車両５０を後退走行させる「リバース」になったとき。
Ａ３：使用者が開始ボタンを押して開始指令を入力したとき。

そして、Ｓ２１０では、これら条件Ａ１～Ａ３の何れか１つが成立すると、開始条件が成立したと判断して、Ｓ２２０に移行する。また、これらの条件Ａ１～Ａ３が成立していない場合には、開始条件は成立していないので、Ｓ２１０の判定処理を再度実行することにより、開始条件が成立するのを待機する。

なお、上記３つの条件Ａ１～Ａ３のうち、条件Ａ１は、車両５０の駐車場からの発進時を想定した条件であり、条件Ａ２は、車両５０の駐車時を想定した条件であり、条件Ａ３は運転者の利便性を考慮した条件である。これらの開始条件Ａ１～Ａ３は一例であり、適宜追加変更することができる。

次に、Ｓ２２０では、Ｓ１１０にて取得したステアリングの操舵角と、変速機のシフト位置とに基づき、図５、図６に示すように、車両５０を現在のシフト位置にて走行させた際の車両５０の走行軌跡５２を算出する、走行軌跡推定部としての処理を実行する。

なお、Ｓ２２０において、シフト位置は、車両５０の進行方向が前方であるか後方であるかを識別するのに用いられる。また、走行軌跡５２は、車両５０を現在の操舵角にて進行方向に走行させたときに車両５０が通る道路上の領域であり、その領域を挟む左右の境界線である走行軌跡線５４として算出される。

このように、Ｓ２２０にて、車両５０の走行軌跡５２が推定されると、Ｓ２３０及びＳ２４０に移行し、走行可能度合い算出処理及び走行余裕度合い算出処理をそれぞれ実行する。なお、走行可能度合い算出処理及び走行余裕度合い算出処理は、図に示すように順次実行するようにされていてもよいし、同時に並列に実行するようにされていてもよい。

ここで、Ｓ２３０にて実行される走行可能度合い算出処理においては、まずＳ２３２にて、Ｓ２２０で推定された走行軌跡５２とＳ１３０での走行路面の認識結果とに基づき、車両５０を走行軌跡に沿って走行可能であるか否かを表す走行可能度合いを算出する。

具体的には、図５に例示するように、車両５０から伸びる左右の走行軌跡線５４にて挟まれる走行軌跡領域５６内に、Ｓ１３０にて認識された走行路面とは異なる非路面領域６０が存在するか否かを判断する。

そして、走行軌跡領域５６内に非路面領域６０が存在する場合には、車両５０から非路面領域６０までの距離を算出し、その距離が短いほど走行可能度合いが低くなるよう、走行可能度合いを設定する。

次に、Ｓ２３２にて、走行可能度合いが算出されると、Ｓ２３４に移行し、Ｓ２３２にて算出された走行可能度合いが、走行可能度合いを大、中、小の３領域に分離した領域のいずれに属するかを判断し、走行軌跡領域５６の表示色を設定する。

つまり、車両５０から非路面領域６０までの距離が第１閾値（例えば１ｍ）以内で、走行可能度合いが「小」の領域に属する場合、車両５０が非路面領域６０として認識された障害物に衝突する可能性が高いので、走行軌跡領域５６の表示色として赤色を設定する。

また、車両５０から非路面領域６０までの距離が第１閾値よりも長い第２閾値（例えば３ｍ）以内で、走行可能度合いが「中」の領域に属する場合には、車両５０が障害物に衝突する可能性は低いので、走行軌跡領域５６の表示色として黄色を設定する。

また、車両５０から非路面領域６０までの距離が第２閾値よりも長く、走行可能度合いが「大」の領域に属する場合には、車両５０が障害物に衝突する可能性はないものとして、走行軌跡領域５６の表示色として青色を設定する。

このため、本実施形態では、現在の操舵角で車両５０を走行させたときの走行可能度合いに応じて、走行軌跡領域５６の表示色が、赤、黄、青の三段階に分けて設定されることになる。

従って、このように走行軌跡領域５６の表示色が設定された走行軌跡５２を、進行方向前方の撮像画像（以下、進行方向画像）若しくはトップビュー画像に重畳させて、表示装置４８に表示すれば、運転者に対し、走行可能度合いを報知できるようになる。

そして、続くＳ２３６では、ステアリングを現在の操舵位置から左方向及び右方向に所定角度毎に段階的に操舵したときの走行軌跡をそれぞれ推定し、各操舵角での走行軌跡毎に、Ｓ２３２と同様の手順で、走行可能度合いを算出する。なお、Ｓ２３６の処理は、後述の処理にて、車両５０を走行させるのに最適な操舵角を求めるための処理である。

次に、Ｓ２４０にて実行される走行余裕度合い算出処理においては、まずＳ２４２にて、Ｓ２２０で推定された走行軌跡５２とＳ１３０での走行路面の認識結果とに基づき、車両５０を走行軌跡に沿って走行させる際の走行余裕度合いを算出する。

具体的には、図６に例示するように、車両５０の走行軌跡５２の外側に存在する非路面領域６０の中から、走行軌跡線５４に最も近い非路面領域６０を選択し、選択した非路面領域６０と走行軌跡線５４との距離Ｌを算出する。

なお、この距離Ｌは、例えば、図６に点線で示すように、走行軌跡線５４の接線に直交する直線を非路面領域６０まで引くことで算出される。そして、走行余裕度合いは、その算出した距離Ｌに応じて、距離Ｌが短いほど走行余裕度合いが低くなるように設定される。

また、Ｓ２４２にて、走行余裕度合いが算出されると、Ｓ２４４に移行し、Ｓ２４２にて算出された走行余裕度合いが、走行可能度合いを大、中、小の３領域に分離した領域のいずれに属するかを判断し、走行軌跡線５４の表示色を設定する。

つまり、走行軌跡線５４と非路面領域６０との間の距離Ｌが第１閾値（例えば０．５Ｍ以内で、走行余裕度合いが「小」の領域に属する場合には、走行軌跡線５４の表示色として赤色を設定する。

また、走行軌跡線５４と非路面領域６０との間の距離Ｌが第１閾値よりも長い第２閾値（例えば２ｍ）以内で、走行余裕度合いが「中」の領域に属する場合には、走行軌跡線５４の表示色として黄色を設定する。

また、走行軌跡線５４と非路面領域６０との間の距離Ｌが第２閾値よりも長く、走行余裕度合いが「大」の領域に属する場合には、走行軌跡線５４の表示色として青色を設定する。

このため、本実施形態では、現在の操舵角で車両５０を走行させたときの走行余裕度合いに応じて、走行軌跡線５４の表示色が、赤、黄、青の三段階に分けて設定されることになる。

従って、このように走行軌跡線５４の表示色が設定された走行軌跡５２を、進行方向画像若しくはトップビュー画像に重畳させて、表示装置４８に表示すれば、運転者に対し、走行余裕度合いを報知できるようになる。

そして、続くＳ２４６では、ステアリングを現在の操舵位置から左方向及び右方向に所定角度毎に段階的に操舵したときの走行軌跡をそれぞれ推定し、各操舵角での走行軌跡毎に、Ｓ２４２と同様の手順で、走行余裕度合いを算出する。

こうして、Ｓ２３０及びＳ２４０にて、走行可能度合い算出処理及び走行余裕度合い算出処理がそれぞれ実行されると、Ｓ２５０に移行する。そして、Ｓ２５０では、Ｓ２３０及びＳ２４０にて算出された、複数の走行可能度合い及び複数の走行余裕度合いに基づき、車両５０を走行させるのに最適な適正操舵角を算出する。

つまり、Ｓ２３０及びＳ２４０では、現在の操舵角での車両５０の走行可能度合い及び走行余裕度合いに加えて、ステアリングを左右の最大操舵角の間で所定角度毎に操舵したときの操舵角に対応した複数の走行可能度合い及び複数の走行余裕度合いが算出される。なお、ステアリングの左右の最大操舵角は、車両の操舵可能範囲を規定する操舵角である。

そこで、Ｓ２５０では、Ｓ２３０及びＳ２４０にて走行可能度合い及び走行余裕度合いを算出するのに用いられた、現在の操舵角を含む複数の操舵角の中から、操舵可能度合いが最大となる操舵角を抽出する。

また、Ｓ２５０では、その抽出した操舵角の中で、走行余裕度合いが最も大きくなる操舵角を選択することで、適正操舵角を設定する。なお、適正操舵角として選択可能な操舵角が複数存在する場合には、複数の操舵角の中から、現在の操舵角若しくは現在の操舵角に最も近い操舵角を選択し、適正操舵角として設定する。

そして、更に、Ｓ２５０では、ステアリングを、現在の操舵角から適正操舵角へ操舵するのに要する操舵量を算出し、図３Ｂに示すＳ２６０に移行する。
次に、Ｓ２６０では、現在の操舵角は、適正操舵角と一致しているか否かを判断する。そして、現在の操舵角が適正操舵角と一致していれば、Ｓ２６２にて、表示色フラグをオン状態にした後、Ｓ２７０に移行し、現在の操舵角が適正操舵角と一致していなければ、Ｓ２６４にて、表示色フラグをオフ状態にした後、Ｓ２７０に移行する。

表示色フラグは、オン状態であるとき、走行軌跡５２を表示する際の走行軌跡線５４及び走行軌跡領域５６の表示色を、Ｓ２３０及びＳ２４０で設定された表示色にかかわらず、青色に設定するためのフラグである。

このため、Ｓ２３２又はＳ２４２で算出された走行余裕度合い又は走行可能度合いが、「中」若しくは「小」であっても、現在の操舵角が適正操舵角である場合には、走行軌跡線５４又は走行軌跡領域５６の表示色は、青色に設定されることになる。

従って、現在の操舵角が適正操舵角である場合に、走行軌跡線５４又は走行軌跡領域５６が黄色若しくは赤色で表示されて、運転者が、その表示色から現在の操舵角では車両５０を発進若しくは駐車できないと判断してしまうのを抑制できる。

次に、Ｓ２７０では、Ｓ２３０及びＳ２４０にて走行可能度合い及び走行余裕度合いを算出するのに用いられた複数の操舵角では、車両５０の走行が不可能であるか否かを判断する。

つまり、Ｓ２７０では、複数の操舵角毎に算出された走行可能度合い及び走行余裕度合いに基づき、車両５０を安全に走行し得る走行軌跡が存在するかどうかを判断し、車両５０を安全に走行できる走行軌跡がない場合に、車両５０の走行が不可能であると判断する。

そして、Ｓ２７０にて、上記複数の操舵角では車両５０の走行は不可能であると判断されると、Ｓ２７２に移行し、運転者に対し車両５０を切り返し運転させるべく、切り返しフラグをオン状態にして、Ｓ２８０に移行する。また、Ｓ２７０にて、車両５０の走行は可能であると判断されると、Ｓ２７４に移行して、切り返しフラグをオフ状態にし、Ｓ２８０に移行する。

次に、Ｓ２８０では、監視処理の終了条件が成立しているか否かを判断する。この終了条件としては、例えば、下記Ｂ１～Ｂ３の条件が設定されている。
Ｂ１：車速が閾値以上になったとき。

Ｂ２：走行路面の端部までの最短距離が、予め設定された閾値以上であるとき。
Ｂ３：変速機のシフト位置がパーキングになったとき。
Ｂ４：使用者が終了ボタンを押して終了指令を入力したとき。

なお、上記条件Ｂ１～Ｂ４のうち、条件Ｂ１，Ｂ２は、車両５０の発進後、進行方向前方の障害物がなくなり、アンテナなったことを想定した条件である。また、条件Ｂ３は、車両５０の駐車が完了したことを想定した条件であり、条件Ｂ４は運転者の利便性を考慮した条件である。これらの終了条件Ｂ１～Ｂ４は一例であり、適宜追加変更することができる。

そして、Ｓ２８０では、これら条件Ｂ１～Ｂ４の何れか１つが成立すると、終了条件が成立したと判断して、Ｓ２９０に移行し、出力信号処理部３４を介して、表示装置４８へトップビュー画像及び進行方向画像を出力し、当該監視処理を終了する。

この結果、表示装置４８には、トップビュー画像及び進行方向画像の両方、若しくは、運転者により予め設定された一方の画像が表示される。
なお、Ｓ２９０の処理を実行して、当該監視処理を終了すると、その後、所定時間経過後に監視処理が再開されて、Ｓ２１０の判定処理が実行される。そして、Ｓ２１０の判定処理にて、開始条件が成立したと判断されるまでは、表示装置４８に出力されるトップビュー画像及び進行方向画像は、図２の入力処理にて生成若しくは取得された最新の画像に更新される。

次に、Ｓ２８０にて、終了条件は成立していないと判断されると、Ｓ３００に移行し、Ｓ１４０にて生成された最新のトップビュー画像、及び、Ｓ１２０にて取得した進行方向画像に、走行軌跡線を描画し、Ｓ３１０に移行する。

Ｓ３１０では、表示色フラグがオン状態であるか否かを判断する。そして、表示色フラグがオン状態であれば、Ｓ３２０にて、走行軌跡線５４及び走行軌跡領域５６の表示色を走行余裕度合い及び走行可能度合いが「大」の青色に設定して、Ｓ３３０に移行し、表示色フラグがオフ状態であれば、そのままＳ３３０に移行する。

Ｓ３３０では、図７，図１０に例示するように、Ｓ３００にて走行軌跡線を描画したトップビュー画像及び進行方向画像において、走行軌跡線５４及び走行軌跡線５４で挟まれる走行軌跡領域５６の色を、それぞれ、現在設定されている表示色に変更する。

なお、図７は、駐車中の車両５０を発進させる際のトップビュー画像及び進行方向画像と表し、図１０は、車両５０をバックさせて駐車する際のトップビュー画像及び進行方向画像を表している。

そして、例えば、走行軌跡領域５６内に障害物となる非路面領域がなく、走行軌跡５２の走行可能度合いが「大」である場合、或いは、表示色フラグがオン状態である場合には、図７に示すように、走行軌跡領域５６が青色で表示されることになる。

また、例えば、車両５０の発進時に、車両５０が進行方向前方の他の車両５０に接近して、走行可能度合いが「中」若しくは「小」となった場合には、図８又は図９に示すように、走行可能度合いに応じて、走行軌跡領域５６が、黄色若しくは赤色で表示されることになる。

また、走行軌跡線５４についても、トップビュー画像及び進行方向画像において、走行軌跡領域５６と同様に、走行余裕度合いに応じて表示色が変更されることになる。
このように、Ｓ３３０にて、走行軌跡５２が所定の表示色にて重畳されたトップビュー画像及び進行方向画像が生成されると、Ｓ３４０に移行して、切り返しフラグがオン状態であるか否かを判断する。

そして、Ｓ３４０にて、切り返しフラグがオン状態であると判断されると、Ｓ３５０に移行し、Ｓ３３０にて走行軌跡５２が重畳されたトップビュー画像及び進行方向画像と、運転者に対する切り返し要求とを表示装置４８へ出力する。

この結果、表示装置４８には、図９に例示するように、走行軌跡５２が所定の表示色にて重畳されたトップビュー画像及び進行方向画像の両方若しくは一方が、切り返し運転を要求するメッセージ５８と共に表示される。

従って、運転者は、表示装置４８への表示画像から、車両５０を発進又は駐車する際に、切り返し運転が必要であることを認識して、車両５０を安全に発進又は駐車することができるようになる。

なお、Ｓ３５０での切り返し運転の要求は、メッセージ５８の表示と音声との両方で行うようにしてもよいし、音声だけで行うようにしてもよい。
また、Ｓ３４０にて、切り返しフラグがオフ状態であると判断された場合には、Ｓ３６０に移行し、Ｓ３３０にて走行軌跡５２が重畳されたトップビュー画像及び進行方向画像と、ステアリングの現在の操舵角からの操舵量を表す情報を、表示装置４８へ出力する。

この結果、表示装置４８には、図８に例示するように、走行軌跡５２が所定の表示色にて重畳されたトップビュー画像及び進行方向画像の両方若しくは一方が、ステアリングの操舵量を表すメッセージ５９と共に表示される。

従って、運転者は、表示装置４８への表示画像から、車両５０を発進又は駐車するのにより最適な操舵量を把握して、スタリングを操舵することができるようになり、車両５０をより安全に発進又は駐車することができるようになる。

なお、操舵量を表すメッセージ５９は、例えば、ハンドルの回転角を、１／２回転、１回転、というように文字若しくは図形で表示するようにしてもよい。また、ハンドルの回転方向を矢印等で表示するだけでもよい。また、操舵量の通知は、メッセージ５９の表示と音声との両方で行うようにしてもよいし、音声だけで行うようにしてもよい。

そして、Ｓ３５０若しくはＳ３６０にて、走行軌跡５２が重畳されたトップビュー画像及び進行方向画像を出力すると、再度Ｓ２２０に移行し、その後、Ｓ２８０にて終了条件が成立したと判断されるまで、Ｓ２２０～Ｓ３６０の処理が繰り返し実行される。
［効果］
以上説明したように、画像処理部４０においては、監視処理を実行することで、車両５０の現在位置からの走行軌跡を推定し、推定した走行軌跡と、入力処理での走行路面の認識結果とに基づき、走行可能度合い及び走行余裕度合いを算出する。

そして、その算出した走行可能度合い及び走行余裕度合いは、表示装置４８に表示するトップビュー画像及び進行方向画像に走行軌跡５２を重畳させる際の、走行軌跡領域５６及び走行軌跡線５４の表示色を設定するのに用いられる。

このため、運転者は、表示装置４８に表示された走行軌跡５２の走行軌跡領域５６及び走行軌跡線５４の色から、車両５０を現在の操舵角で進行させた際の走行可能度合い及び走行余裕度合いを把握することができる。

従って、例えば、走行可能度合いや走行余裕度合いが低く、走行軌跡領域５６や走行軌跡線５４が赤色である場合、運転者は、このまま車両５０を進行させると障害物に衝突する可能性があることを認識して、衝突回避のためのハンドル操作を行うことができる。

また、走行可能度合い及び走行余裕度合いの算出には、カメラ１１～１４による撮像画像に基づく路面認識結果が利用される。そして、カメラ１１～１４による撮像可能距離は、超音波センサによる障害物の検知距離よりも長いことから、走行軌跡に対し障害物となる非路面領域は、従来装置に比べて、障害物からより離れた位置で認識されることになる。

このため、運転者は、車両が障害物から離れた位置で、走行可能度合い或いは走行余裕度合いが低いことを認識し、余裕を持って、衝突回避のためのハンドル操作を行うことができるようになる。よって、本実施形態の周辺監視装置によれば、従来装置に比べて、車両走行時、特に車両発進時や駐車時の走行安全性を高めることができる。

なお、本実施形態においては、画像処理部４０は、本開示の路面認識部、軌跡推定部、走行可能度合い演算部、走行余裕度合い演算部、操舵量算出部、報知部、表示制御部、及び、走行軌跡拡張部に相当する。

より詳しくは、画像処理部４０において実行される入力処理において、Ｓ１３０の処理は、本開示の路面認識部として機能する。また、監視処理において、Ｓ２２０は、本開示の軌跡推定部として機能し、Ｓ２３０の処理は、本開示の走行可能度合い演算部として機能し、Ｓ２４０の処理は、本開示の走行余裕度合い演算部として機能する。

また、Ｓ２５０の処理は、本開示の操舵量算出部として機能し、Ｓ２６０～Ｓ３４０の処理は、本開示の報知部として機能し、Ｓ３５０及びＳ３６０の処理は、本開示の表示制御部として機能し、Ｓ２３６及びＳ２４６の処理は、本開示の走行軌跡拡張部として機能する。
［他の実施形態］
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。

例えば、上記実施形態では、推定した走行軌跡５２における車両５０の走行可能度合いを、車両５０から走行軌跡領域５６内の非路面領域６０までの距離に基づき算出するものとして説明した。

これに対し、走行可能度合いは、距離に代えて、車両５０を走行軌跡領域５６内の非路面領域６０まで走行させるのに要する時間に基づき、時間が短いほど走行可能度合いが低くなるように算出するようにしてもよい。

また、上記実施形態では、走行軌跡と非路面領域との位置関係に基づき算出した走行可能度合い及び走行余裕度合いを、それぞれ「大」「中」「小」の３段階に分けて、走行軌跡領域５６及び走行軌跡線５４の色を「青」「黄」「赤」に設定する。

しかし、走行可能度合いや走行余裕度合いは、このように表示色を段階的に変化させることで、段階的に報知するのではなく、表示色を連続的に変化させることで、報知するようにしてもよい。また、走行軌跡領域５６及び走行軌跡線５４の色は、「青」「黄」「赤」に限定されるものではなく、他の色に設定してもよいし、グラデーションでもよい。

また、走行可能度合いは、表示装置４８に表示する走行軌跡５２の色ではなく、音によって通知するようにしてもよく、或いは、走行軌跡５２の表示形態と音の両方で通知するようにしてもよい。また、走行軌跡線５４については、車両５０からの長さ毎に区切って色を変化させてもよい。

また、上記実施形態では、画像処理部４０は、制御プログラムを実行することで、本開示の路面認識部、軌跡推定部、走行可能度合い演算部、走行余裕度合い演算部、操舵量算出部、報知部、表示制御部、及び、走行軌跡拡張部として機能するものとして説明した。

しかし、これら各部の機能は、ソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現するようにしてもよい。

また、上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。

また、本開示は、車両の周辺監視装置の他、コンピュータを周辺監視装置として機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、運転支援方法など、種々の形態で本開示を実現することもできる。

１…周辺監視装置、１１～１４…カメラ、２０…状態検出部、３０…ＥＣＵ、３２，３８…入力信号処理部、３４…出力信号処理部、３６…メモリ、４０…画像処理部、４８…表示装置、５０…車両。

Claims (4)

1. 車両周囲の画像を撮像するカメラ（１１～１４）と、
   前記カメラによる撮像画像から車両が走行可能な路面を認識するよう構成された路面認識部（４０，Ｓ１３０）と、
   車両の操舵状態に基づき車両の現在位置からの走行軌跡を推定するよう構成された軌跡推定部（４０，Ｓ２２０）と、
   前記軌跡推定部にて推定された前記走行軌跡と、前記路面認識部による前記路面の認識結果とに基づき、車両が前記路面を走行可能な度合いを算出するよう構成された走行可能度合い演算部（４０，Ｓ２３０）と、
   前記走行可能度合い演算部にて算出された走行可能度合いを報知するよう構成された報知部（４０，Ｓ２６０～Ｓ３４０）と、
   前記カメラによる前記撮像画像に基づき、車両周囲の画像を表示部に表示すると共に、該表示部への表示画像に前記走行軌跡を重畳して表示するよう構成された表示制御部（４０，Ｓ３５０，Ｓ３６０）と、
   を備え、前記報知部は、前記走行可能度合いに応じて前記表示制御部による前記走行軌跡の表示形態を変化させることで、前記走行可能度合いを段階的に報知するよう構成されている、車両の周辺監視装置であって、
   更に、
   前記軌跡推定部にて推定された前記走行軌跡と、前記路面認識部による前記路面の認識結果とに基づき、前記走行軌跡の外側に位置する非路面領域に対する車両の走行余裕度合いを算出するよう構成された走行余裕度合い演算部（４０，Ｓ２４０）と、
   車両の操舵可能範囲内で前記走行軌跡を変化させ、該変化させた走行軌跡毎に前記走行可能度合い及び前記走行余裕度合いを算出する、走行軌跡拡張部（４０，Ｓ２３６，Ｓ２４６）と、
   前記軌跡推定部にて車両の操舵状態に基づき推定された前記走行軌跡、及び、前記走行軌跡拡張部が車両の操舵可能範囲内で変化させた複数の前記走行軌跡の中から、前記走行可能度合いが最大となり、且つ、前記走行余裕度合いが大きい走行軌跡を選択し、該選択した走行軌跡で車両を走行させるのに要する操舵量を算出する、操舵量算出部（４０，Ｓ２５０）と、
   を備え、前記報知部は、前記表示制御部に対し、前記走行軌跡と周囲の撮像画像との境界線を、前記走行余裕度合い演算部にて算出された前記走行余裕度合いに応じた表示形態にて、前記表示部に表示させると共に、前記操舵量算出部にて算出された操舵量を報知するよう構成されている、車両の周辺監視装置。
2. 請求項１に記載の車両の周辺監視装置であって、
   前記報知部は、前記軌跡推定部にて車両の操舵状態に基づき推定された前記走行軌跡、及び、前記走行軌跡拡張部が車両の操舵可能範囲内で変化させた複数の前記走行軌跡の中に、車両の走行が可能な走行軌跡が存在しない場合に、車両の切り返し運転を要求するよう構成されている、車両の周辺監視装置。
3. 請求項１又は請求項２に記載の車両の周辺監視装置であって、
   前記走行可能度合い演算部は、
   前記軌跡推定部にて推定された前記走行軌跡の領域内に、前記路面認識部にて前記路面として認識されない非路面領域が存在する場合に、車両から該非路面領域までの距離若しくは時間に基づき、前記距離若しくは前記時間が短いほど前記走行可能度合いが低くなるよう前記走行可能度合いを算出する、ように構成されている、車両の周辺監視装置。
4. 請求項１～請求項３の何れか１項に記載の車両の周辺監視装置であって、
   前記走行余裕度合い演算部は、前記軌跡推定部にて推定された前記走行軌跡に最も近い非路面領域と、前記走行軌跡との間の距離に応じて、該距離が短いほど前記走行余裕度合いが低くなるよう前記走行余裕度合いを算出する、ように構成されている、車両の周辺監視装置。

Images