JP4930187B2

JP4930187B2 - 運転支援システム

Info

Publication number: JP4930187B2
Application number: JP2007135449A
Authority: JP
Inventors: 昶宇権; 一郎吉田
Original assignee: Denso Corp
Current assignee: Denso Corp
Priority date: 2007-05-22
Filing date: 2007-05-22
Publication date: 2012-05-16
Anticipated expiration: 2027-05-22
Also published as: JP2008293095A

Description

本発明は、運転者の運転を支援する運転支援システムに関する。

運転者の運転を支援する運転支援システムとして、自車両が他車両と擦れ違い走行する場合に、自車両において、自車両に搭載されている車載カメラが自車両の進行方向を撮影すると共に、自車両に向かって走行している他車両（対向車両）から当該他車両に搭載されている車載カメラが当該他車両の進行方向を撮影した画像を車々間通信により取得し、自車両に搭載されている車載カメラが撮影した画像と他車両から取得した画像とから共通物体を認識し、それらの位置関係を表示することにより、自車両が他車両と擦れ違い走行可能であるか否かを運転者に知らせるシステムがある（例えば特許文献１参照）。

また、自車両において、自車両に搭載されている車載カメラが撮影した自車両の進行方向の画像や自車両の進行方向を走行している他車両に搭載されている車載カメラが撮影した他車両の進行方向の画像を画像解析し、歩行者を検出して危険度を判定し、その判定した危険度に応じて走行制御を行うシステムもある（例えば特許文献２参照）。
特開２００５−３２７２５０号公報特開２００６−１５１１１４号公報

ところで、自車両が複数車線の道路を走行する場合には、運転者が例えば道路を横断する歩行者に対して注意を払わなければならない範囲は広角となるが、自車両が走行している車線に隣接する車線を他車両が走行しているような場合には、他車両の陰となる死角が発生し、運転者が歩行者に対して十分に注意を払うことができないという問題がある。このような問題に対して、特許文献１，２に記載されている技術では解決するには至らないものであり、上記した問題を解決する手段が要望されている。

本発明は、上記した事情に鑑みてなされたものであり、その目的は、自車両が複数車線の道路を走行する場合に、運転者が例えば道路を横断する歩行者に対して適切に注意を払うことができ、運転者の運転を適切に支援することができる運転支援システムを提供することにある。

請求項１に記載した発明によれば、制御手段は、自車両側撮影手段が撮影した自車両の進行方向の画像を取得すると共に、自車両が走行している車線とは異なる車線を走行している他車両に搭載されている他車両側通信手段との間で自車両側通信手段に車々間通信を行わせて当該他車両に搭載されている他車両側撮影手段が撮影した自車両の進行方向の画像を取得し、自車両側現在位置特定手段が取得した自車両の現在位置を取得すると共に、他車両に搭載されている他車両側通信手段との間で自車両側通信手段に車々間通信を行わせて当該他車両に搭載されている他車両側現在位置特定手段が特定した他車両の現在位置を取得し、それら取得した自車両の現在位置と他車両の現在位置との関係から自車両と他車両との相対位置を認識し、その認識結果にしたがって自車両の進行方向の複数の画像を縮尺または拡大して水平方向に連続的に合成してパノラマ画像を作成し、その作成したパノラマ画像を表示手段に表示させる。

これにより、自車両に搭載されている自車両側撮影手段が撮影した自車両の進行方向の画像を表示するのみでなく、自車両が走行している車線とは異なる車線（例えば隣接する車線）を走行している他車両に搭載されている他車両側撮影手段が撮影した自車両の進行方向の画像をも表示することにより、自車両の進行方向の画像を広角で表示することができる。その結果、自車両が複数車線の道路を走行する場合に、運転者が例えば道路を横断する歩行者に対して適切に注意を払うことができ、運転者の運転を適切に支援することができる。特に渋滞している場合では、歩行者が車両の他車両の陰から急に飛び出すことが予測されるという事情から、その効果は大きい。また、自車両側撮影手段が撮影した自車両の進行方向の画像と他車両側撮影手段が撮影した自車両の進行方向の画像とを例えば遠近感を調和するように縮小または拡大して表示することにより、それら複数の画像を適切な遠近感により違和感なく表示することができる。また、実際の状況に極めて近いパノラマ画像を表示することにより、運転者が例えば歩行者に対して適切に注意を払うことができる。また、画像解析手段は、制御手段が取得した自車両の進行方向の画像を解析し、制御手段は、自車両の進行方向の画像を画像解析手段に解析させて当該画像内に移動体が存在するか否かを判定し、移動体が存在する旨を判定すると、その移動体を表す移動体情報を表示手段に表示させる。これにより、単に撮影した画像を表示するのみでなく、移動体情報として移動体を強調して表示することにより、移動体の存在を運転者に把握させることができ、例えば歩行者の存在を運転者に確実に把握させることができる。

請求項２に記載した発明によれば、制御手段は、移動体の移動方向を特定し、その特定した移動体の移動方向を表す移動方向情報を表示手段に表示させる。これにより、例えば歩行者の移動方向をも運転者に把握させることができ、その歩行者が危険であるか否かを運転者に判断させることができる。

請求項３に記載した発明によれば、制御手段は、移動体の移動速度を特定し、その特定した移動体の移動速度を表す移動速度情報を表示手段に表示させる。これにより、例えば歩行者の移動速度をも運転者に把握させることができ、その歩行者が危険であるか否かを運転者に判断させることができる。

請求項４に記載した発明によれば、制御手段は、移動体の移動方向及び移動速度のうち少なくともいずれかを判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、当該移動体が自車両の走行にとって危険である旨を判定すると、報知手段から警告情報を報知させる。これにより、例えば歩行者が自車両の走行にとって危険である旨を運転者に把握させることができる。

請求項５に記載した発明によれば、制御手段は、移動体の移動方向及び移動速度のうち少なくともいずれかを判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、当該移動体が自車両の走行にとって危険である旨を判定すると、自車両と進行方向が同一の車線を走行している他車両に搭載されている他車両側通信手段との間で自車両側通信手段に車々間通信を行わせて危険通知信号を通知する。これにより、例えば歩行者が自車両の走行にとって危険である旨を例えば後続車両に通知することができ、自車両が当該危険を回避するために走行制御する旨を後続車両に通知することができる。

請求項６に記載した発明によれば、制御手段は、移動体の移動方向及び移動速度のうち少なくともいずれかを判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、当該移動体が自車両の走行にとって危険である旨を判定すると、その危険を回避するように走行制御手段により自車両の走行を制御させる。これにより、例えば制動したり加速や旋回を制限したりするなど自車両の走行を制御することにより、例えば歩行者が自車両の走行にとって危険である状況を回避することができる。

以下、本発明の一実施形態について、図面を参照して説明する。図１は、運転支援システムの全体構成を示している。運転支援システム１は、運転支援制御装置２、車載カメラ３（本発明でいう自車両側撮影手段）、車載ナビゲーション装置４（本発明でいう自車両側現在位置特定手段）、表示装置５（本発明でいう表示手段、報知手段）、走行制御装置６（本発明でいう走行制御手段）を備えて構成されている。

運転支援制御装置２は、システム全体を制御する制御部７（本発明でいう制御手段）、近距離無線通信を行う近距離無線通信部８（本発明でいう自車両側通信手段）、車載カメラ３が撮影した画像を入力する画像入力部９、車載ナビゲーション装置４が特定した現在位置を入力する現在位置入力部１０、表示装置５の表示動作を制御する表示制御部１１、走行制御装置６の走行制御動作を制御する走行制御部１２、画像を記憶する画像記憶部１３、画像を解析する画像解析部１４（本発明でいう画像解析手段）及びミリ波レーダ１５などを備えて構成されている。

車載カメラ３は、所定範囲の撮影視野角を実現する例えば魚眼レンズを有するカメラから構成されている。尚、単一のカメラに限らず、複数のカメラにより所定範囲の撮影視野角を実現する構成であっても良い。近距離無線通信部８は、近距離無線通信圏内を所定範囲に形成し、自車両の周囲を走行する他車両２１が近距離無線通信圏内に進入すると、他車両２１に搭載されている近距離無線通信部２２（本発明でいう他車両側通信手段）との間で近距離無線通信回線を接続する。尚、近距離無線通信部８は、混信を避けるために光や指向性の高い電磁波を使用するのが望ましい。

制御部７は、近距離無線通信部８が他車両２１に搭載されている近距離無線通信部２２との間で近距離無線通信回線を接続すると、送信要求信号を近距離無線通信部８から他車両２１に送信させ、他車両２１から当該他車両２１に搭載されている車載カメラ２３（本発明でいう他車両側撮影手段）が撮影した画像及び当該他車両２１に搭載されている車載ナビゲーション装置２４（本発明でいう他車両側現在位置特定手段）が特定した現在位置を近距離無線通信部８により受信させる。

表示装置５は、例えばセンターコンソールに設置されており、制御部７から表示制御部１２を介して表示制御信号を入力すると、表示画面を表示する。走行制御装置６は、エンジンを制御するエンジン制御装置１６、ブレーキを制御するブレーキ制御装置１７、パワーステアリングを制御するパワーステアリング制御装置１８、自動変速機を制御する自動変速機制御装置１９などを備えて構成されており、制御部７から走行制御部１２を介して走行制御信号を入力すると、いずれかの装置を制御して自車両の走行を制御する。

次に、上記した構成の作用について、図２ないし図８を参照して説明する。尚、ここでは、図２に示すように、上記した運転支援システムを搭載した自車両が片側３車線の右端車線（対向車線側の車線）を走行しており、他車両Ａ及び他車両Ｂが自車両の進行方向と同一方向の車線を走行しており、他車両Ｃが自車両の進行方向とは反対方向の車線を走行していることを前提として説明する。また、図３に示すように、他車両Ａ〜Ｃが自車両の近距離無線通信部８の近距離無線通信圏内を走行しており、自車両の近距離無線通信部８が他車両Ａ〜Ｃの近距離無線通信部との間で近距離無線通信を可能であることを前提として説明する。

尚、自車両に搭載されている当該自車両の進行方向を撮影する車載カメラ３の撮影視野角はｍ１，ｍ２に示す範囲であり、他車両Ａに搭載されている当該他車両Ａの進行方向を撮影する車載カメラの撮影視野角はａ１，ａ２に示す範囲であり、他車両Ｂに搭載されている当該他車両Ｂの進行方向を撮影する車載カメラの撮影視野角はｂ１，ｂ２に示す範囲であり、他車両Ｃに搭載されている当該他車両Ｃの進行方向とは反対方向を撮影する車載カメラの撮影視野角はｃ１，ｃ２に示す範囲である。また、制御部７は、車載カメラ３が撮影した画像を画像入力部９により定期的に入力していると共に、車載ナビゲーション装置４が特定した現在位置を現在位置入力部１０により定期的に入力している。図４は、運転支援制御装置２の制御部７が行う処理をフローチャートとして示している。

運転支援制御装置２において、制御部７は、ミリ波レーダ１５による検出結果に基づいて自車両の周辺を他車両２１（図２及び図３では、他車両Ａ〜Ｃ）が走行しているか否かを判定する（ステップＳ１）。ここで、制御部７は、自車両の周辺を他車両２１が走行している旨を判定すると（ステップＳ１にて「ＹＥＳ」）、それら他車両２１が近距離無線通信部８の近距離無線通信圏内であるか否かを判定し（ステップＳ２）、他車両２１が近距離無線通信部８の近距離無線通信圏内である旨を判定すると（ステップＳ２にて「ＹＥＳ」）、送信要求信号を近距離無線通信部８から他車両２１に送信させ（ステップＳ３）、計時を開始する（ステップＳ４）。

次いで、制御部７は、他車両２１から当該他車両２１に搭載されている車載カメラ２３が撮影した画像及び当該他車両２１に搭載されている車載ナビゲーション装置２４が特定した現在位置を所定時間が経過するまでに受信したか否かを判定する（待機する）（ステップＳ５，Ｓ６）。

ここで、制御部７は、他車両２１から画像及び現在位置を所定時間が経過するよりも先に受信した旨を判定すると（ステップＳ５にて「ＹＥＳ」）、その受信した画像を画像記憶部１３に記憶させる（ステップＳ７）。次いで、制御部７は、自車両の車載ナビゲーション装置４が特定した自車両の現在位置と他車両２１から受信した他車両２１の現在位置（他車両２１の車載ナビゲーション装置２４が特定した他車両２１の現在位置）との関係を計算して自車両と他車両２１との相対位置を計算し（ステップＳ８）、図５に示すように、自車両の車載カメラ３が撮影した画像と他車両２１から受信した画像（他車両２１の車載カメラ２３が撮影した画像）とを合成してパノラマ画像を作成する（ステップＳ９）。この場合、制御部７は、画像が重複する箇所では、該当する画像を自車両からの距離を基準として縮小または拡大することにより連続性を持たせる。

次いで、制御部７は、このようにして作成したパノラマ画像を画像解析部１４により画像解析し（ステップＳ１０）、パノラマ画像内に移動体（例えば歩行者）が存在するか否かを判定する（ステップＳ１１）。ここで、制御部７は、パノラマ画像内に移動体が存在体する旨を判定すると（ステップＳ１１にて「ＹＥＳ」）、その移動体の移動方向を特定し（ステップＳ１２）、その移動体の移動速度を特定する（ステップＳ１３）、この場合、制御部７は、パノラマ画像内で基準点に対する移動体の位置の変化（変位）を計算し、変位方向を計算することにより、移動体の移動方向を特定し、変位速度（単位時間あたりの変位量）を計算することにより、移動体の移動速度を特定する。

次いで、制御部７は、図６に示すように、パノラマ画像を表示装置５に表示させる（ステップＳ１３）。この場合、制御部７は、パノラマ画像内に移動体が存在している場合であれば、図６（ａ）に示すように、その移動体を表す移動体情報（本実施形態では歩行者Ｐ〜Ｒに相当する）を表示させる。また、その移動体の移動方向及び移動速度を特定しているときには、図６（ｂ）に示すように、その移動体に例えば当該移動体の移動方向を表す移動方向情報及び移動速度を表す移動速度情報となる矢印を付加して表示させる。この場合、矢印は、その向きが移動体の移動方向を表し、その長さが移動体の移動速度を表す。尚、重心の位置を傾けて移動体情報を表示させることにより、移動体の移動方向を表すようにしても良い。また、制御部７は、図６（ｃ）に示すように、運転者が指定した範囲（図６（ｃ）では例えばＺにて示す範囲）を拡大表示して表示させる。

このようにして、制御部７は、自車両の車載カメラ３が撮影した画像を表示させるのみならず、他車両Ａ〜Ｃの車載カメラ３が撮影した画像を表示させることができ、自車両の車載カメラ３が撮影することができない歩行者Ｐ〜Ｒを表示させることができる。

尚、上記した構成において、制御部７は、このように移動体の移動方向及び移動速度を特定したことにより、その特定した移動体の移動方向及び移動速度を判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、移動体が自車両の走行にとって危険である旨を判定したときに、警告メッセージ（本発明でいう警告情報）を表示装置５に表示させたり、危険通知信号を近距離無線通信部８から他車両２１に送信させたり、その危険を回避するように走行制御装置６を制御したりする。

また、制御部７は、図７に示すように、例えば他車両Ｂと他車両Ｄとが車々間通信することにより、他車両Ｄに搭載されている車載カメラが撮影した画像を他車両Ｂを介して受信したり、他車両Ｃと他車両Ｅとが車々間通信することにより、他車両Ｅに搭載されている車載カメラが撮影した画像を他車両Ｃを介して受信したりし、自車両に搭載されている車載カメラ３が撮影した画像と他車両Ａ〜Ｅに搭載されている車載カメラが撮影した画像とを合成してパノラマ画像を作成しても良い。さらに、表示装置５は、図８に示すように、実際の景色に重畳表示するウインドシールドディスプレイであっても良く、制御部７は、運転者の運転に支障を来たさない範囲に画像を表示させても良い。

以上に説明したように本実施形態によれば、運転支援システム１において、自車両の車載カメラ３が撮影した自車両の進行方向の画像を取得すると共に、自車両が走行している車線とは異なる車線を走行している他車両２１の車載カメラ２３が撮影した自車両の進行方向の画像を取得し、それら取得した自車両の進行方向の複数の画像を合成してパノラマ画像を作成し、その作成したパノラマ画像を表示するように構成したので、自車両の進行方向の画像を広角で表示することができ、その結果、自車両が複数車線の道路を走行する場合に、運転者が歩行者に対して適切に注意を払うことができ、運転者の運転を適切に支援することができる。

また、自車両の現在位置と他車両２１の現在位置とを認識し、その認識結果にしたがって自車両の進行方向の複数の画像を縮小または拡大して表示するように構成したので、自車両の車載カメラ３が撮影した自車両の進行方向の画像と他車両２１の車載カメラ２３が撮影した自車両の進行方向の画像とを例えば遠近感を調和するように縮小または拡大して表示することにより、それら画像を適切な遠近感により違和感なく表示することができる。

また、自車両の進行方向の画像を画像解析して当該画像内に移動体が存在する旨を判定すると、その移動体を表す移動体情報を表示するように構成したので、移動体の存在を運転者に把握させることができ、例えば歩行者の存在を運転者に確実に把握させることができる。また、移動体の移動方向を特定し、その特定した移動体の移動方向を表す移動方向情報をも表示するように構成したので、歩行者の移動方向をも運転者に把握させることができ、さらに、移動体の移動速度を特定し、その特定した移動体の移動速度を表す移動速度情報をも表示するように構成したので、歩行者の移動速度をも運転者に把握させることができる。

また、移動体の移動方向及び移動速度を判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、移動体が自車両の走行にとって危険である旨を判定すると、警告メッセージを表示したり、危険通知信号を近距離無線通信部８から他車両２１に送信したり、その危険を回避するように走行制御装置６を制御したりするように構成したので、歩行者が自車両の走行にとって危険である旨を運転者に把握させたり、歩行者が自車両の走行にとって危険である旨を例えば後続車両に通知して自車両が当該危険を回避するために走行制御する旨を後続車両に通知したり、例えば制動したり加速や旋回を制限したりするなど自車両の走行を制御して歩行者が自車両の走行にとって危険である状況を回避したりすることができる。

本発明は、上記した実施形態にのみ限定されるものではなく、以下のように変形または拡張することができる。
運転支援システムは、その機能が車載ナビゲーション装置に組込まれて構成されていても良い。
近距離無線通信部が路側に設置されている路側近距離無線通信装置との間で路車間通信することにより、他車両に搭載されている車載カメラが撮影した画像を受信すると共に路側に設置されている路側カメラが撮影した画像を受信し、それら画像を合成してパノラマ画像を作成する構成であっても良い。
移動体情報を表示する態様は、例えば点滅表示したり色付け表示したりするなどの態様であっても良い。

本発明の一実施形態を示す機能ブロック図各車両の走行位置及び撮影視野角を概略的に示す図自車両が他車両との間で近距離無線通信を行う態様を示す図制御部が行う処理を表すフローチャート各車両の撮影視野角と撮影画像との対応を概略的に示す図パノラマ画像の表示態様の一例を示す図図３相当図図６相当図

符号の説明

図面中、１は運転支援システム、３は車載カメラ（自車両側撮影手段）、４は車載ナビゲーション装置（自車両側現在位置特定手段）、５は表示装置（表示手段、報知手段）、６は走行制御装置（走行制御手段）、７は制御部（制御手段）、８は近距離無線通信部（自車両側通信手段）、１４は画像解析部（画像解析手段）、２２は近距離無線通信部（他車両側通信手段）、２３は車載カメラ（他車両側撮影手段）、２４は車載ナビゲーション装置（他車両側現在位置特定手段）である。

Claims

自車両の進行方向を撮影する自車両側撮影手段と、
他車両に搭載されている他車両側通信手段との間で車々間通信を行う自車両側通信手段と、
自車両の現在位置を特定する自車両側現在位置特定手段と、
前記自車両側撮影手段が撮影した自車両の進行方向の画像を取得すると共に、自車両が走行している車線とは異なる車線を走行している他車両に搭載されている他車両側通信手段との間で前記自車両側通信手段に車々間通信を行わせて当該他車両に搭載されている他車両側撮影手段が撮影した自車両の進行方向の画像を取得し、前記自車両側現在位置特定手段が取得した自車両の現在位置を取得すると共に、他車両に搭載されている他車両側通信手段との間で前記自車両側通信手段に車々間通信を行わせて当該他車両に搭載されている他車両側現在位置特定手段が特定した他車両の現在位置を取得し、それら取得した自車両の現在位置と他車両の現在位置との関係から自車両と他車両との相対位置を認識し、その認識結果にしたがって自車両の進行方向の複数の画像を縮小または拡大して水平方向に連続的に合成してパノラマ画像を作成し、その作成したパノラマ画像を表示手段に表示させる制御手段と、
前記制御手段が取得した自車両の進行方向の画像を解析する画像解析手段とを備え、
前記制御手段は、一の他車両が別の他車両の前方を走行している場合には、別の他車両に搭載されている別の他車両側通信手段との間で前記自車両側通信手段に車々間通信を行わせて当該別の他車両に搭載されている別の他車両側撮影手段が撮影した自車両の進行方向の画像を取得すると共に、別の他車両に搭載されている別の他車両側通信手段と一の他車両に搭載されている一の他車両側通信手段との間で車々間通信を行わせ且つ別の他車両側通信手段との間で前記自車両側通信手段に車々間通信を行わせて一の他車両に搭載されている一の他車両側撮影手段が撮影した自車両の進行方向の画像を取得し、自車両の現在位置と別の他車両の現在位置及び一の他車両の現在位置との関係から自車両と別の他車両及び一の他車両との相対位置を認識し、別の他車両から取得した画像と一の他車両から取得した画像とが重複する箇所では、その認識結果にしたがって自車両の進行方向の複数の画像を自車両からの距離を基準として縮小または拡大して水平方向に連続的に合成してパノラマ画像を作成し、その作成したパノラマ画像を前記表示手段に表示させ、自車両の進行方向の画像を前記画像解析手段に解析させて当該画像内に移動体が存在するか否かを判定し、移動体が存在する旨を判定したときに、その移動体を表す移動体情報を前記表示手段に表示させることを特徴とする運転支援システム。
請求項１に記載した運転支援システムにおいて、
前記制御手段は、移動体の移動方向を特定し、その特定した移動体の移動方向を表す移動方向情報を前記表示手段に表示させることを特徴とする運転支援システム。
請求項１または２に記載した運転支援システムにおいて、
前記制御手段は、移動体の移動速度を特定し、その特定した移動体の移動速度を表す移動速度情報を前記表示手段に表示させることを特徴とする運転支援システム。
請求項２または３に記載した運転支援システムにおいて、
警告情報を報知する報知手段を備え、
前記制御手段は、移動体の移動方向及び移動速度のうち少なくともいずれかを判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、当該移動体が自車両の走行にとって危険である旨を判定したときに、前記報知手段から警告情報を報知させることを特徴とする運転支援システム。
請求項２または３に記載した運転支援システムにおいて、
前記制御手段は、移動体の移動方向及び移動速度のうち少なくともいずれかを判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、当該移動体が自車両の走行にとって危険である旨を判定したときに、他車両に搭載されている他車両側通信手段との間で前記自車両側通信手段に車々間通信を行わせて危険通知信号を通知することを特徴とする運転支援システム。
請求項２または３に記載した運転支援システムにおいて、
自車両の走行を制御する走行制御手段を備え、
前記制御手段は、移動体の移動方向及び移動速度のうち少なくともいずれかを判定して当該移動体が自車両の走行にとって危険であるか否かを判定し、当該移動体が自車両の走行にとって危険である旨を判定したときに、その危険を回避するように前記走行制御手段により自車両の走行を制御させることを特徴とする運転支援システム。