JP6756135B2

JP6756135B2 - 運転支援方法及び運転支援装置

Info

Publication number: JP6756135B2
Application number: JP2016070378A
Authority: JP
Inventors: 草柳　佳紀; 佳紀草柳; 則政岸; 吉郎高松
Original assignee: Nissan Motor Co Ltd
Current assignee: Nissan Motor Co Ltd
Priority date: 2016-03-31
Filing date: 2016-03-31
Publication date: 2020-09-16
Anticipated expiration: 2036-03-31
Also published as: JP2017182543A

Description

本発明は、運転支援方法及び運転支援装置に関する。

従来より、自車両と後続車両の位置関係を乗員に通知する技術が知られている。例えば、特許文献１では、自車後方を撮影した画像上に所定間隔で並ぶアイコンを重畳し、合成した画像をモニタに表示している。

特開２００９−２９２０３号公報

しかしながら、特許文献１では、自車両と後続車両の位置関係を、アイコンを基準として把握する必要があり、乗員が自車両と後続車両の位置関係を直感的に把握することが難しかった。

本発明は、上記問題に鑑みて成されたものであり、その目的は、自車両と後続車両の位置関係を直感的に把握することができる運転支援方法及び運転支援装置を提供することである。

本発明の一態様に係る運転支援方法は、自車両の後方情報を取得し、取得した後方情報より後方画像を生成し、生成した後方画像上の自車両と後続車両との間に、自車両と後続車両の位置を示す仮想画像を重畳し、合成した画像をモニタに表示する。また、仮想画像上に記号を設定する。記号は、自車両の移動方向と反対の方向に移動するように設定され、自車両の車速が速いほど記号の移動速度が速くなる。

本発明によれば、自車両と後続車両との位置関係を直感的に把握することができる。

図１は、本発明の実施形態に係る運転支援装置の構成図である。図２は、本発明の実施形態に係る運転支援装置がモニタに表示する画像を説明する図である。図３は、本発明の実施形態に係る運転支援装置の動作例を説明するフローチャートである。図４（ａ）、（ｂ）、（ｃ）は、本発明の実施形態に係る運転支援装置がモニタに表示する他の画像を説明する図である。図５は、本発明の実施形態に係る運転支援装置がモニタに表示するさらに他の画像を説明する図である。

以下、本発明の実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

図１を参照して本実施形態に係る運転支援装置１について説明する。図１に示すように、運転支援装置１は、右カメラ１０と、左カメラ２０と、画像処理回路３０と、右ドアミラーモニタ４０と、左ドアミラーモニタ５０とを備える。

右カメラ１０は、自車右側の右ドアミラー設置位置の近傍に配置される。左カメラ２０は、自車左側の左ドアミラー設置位置の近傍に配置される。右ドアミラー設置位置とは、自車後方の路面を含む後方を鏡に映し出す従来の自車右側のドアミラーの設置位置である。左ドアミラー設置位置も同様に、従来の自車左側のドアミラーの設置位置である。

右カメラ１０及び左カメラ２０は、ＣＣＤ（ｃｈａｒｇｅ−ｃｏｕｐｌｅｄｄｅｖｉｃｅ）やＣＭＯＳ（ｃｏｍｐｌｅｍｅｎｔａｒｙｍｅｔａｌｏｘｉｄｅｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子を有したカメラである。右カメラ１０及び左カメラ２０は、それぞれ自車両の右後方、左後方を撮像することにより後方情報を取得し、取得した後方情報に関する電気信号を画像処理回路３０に出力する。

画像処理回路３０（コントローラ、制御部）は、右カメラ１０及び左カメラ２０から入力される電気信号を処理する回路であり、例えばＩＣ、ＬＳＩ等により構成される。画像処理回路３０は、これを機能的に捉えた場合、ミラー画像生成部３１と、後続車両検出部３２と、記憶部３３と、合成部３４とに分類することができる。

ミラー画像生成部３１（生成回路）は、右カメラ１０及び左カメラ２０から入力される電気信号から右ドアミラーモニタ４０及び左ドアミラーモニタ５０に表示するミラー画像（後方画像）を生成する。ミラー画像生成部３１は、生成したミラー画像を後続車両検出部３２に出力する。

後続車両検出部３２は、ミラー画像生成部３１によって生成されたミラー画像を用いて、自車後方に存在する後続車両を検出する。後続車両の検出方法については、車両の特徴を探索するパターンマッチングなどの周知の方法を用いることができる。後続車両検出部３２は、検出結果を合成部３４に出力する。また、後続車両検出部３２は、ミラー画像に複数の後続車両が写っている場合には、それら複数の後続車両を検出する。

記憶部３３には、ミラー画像に重畳するための仮想画像が各種記憶されている。

合成部３４は、記憶部３３に記憶されている仮想画像をミラー画像に重畳する。より詳しくは、合成部３４は、自車両及び後続車両の位置を示す仮想画像をミラー画像に重畳する。そして、合成部３４は、合成した画像を右ドアミラーモニタ４０及び左ドアミラーモニタ５０に出力する。

右ドアミラーモニタ４０及び左ドアミラーモニタ５０は、自車右側の右ドアミラー設置位置、及び自車左側の左ドアミラー設置位置に配置される。右ドアミラーモニタ４０及び左ドアミラーモニタ５０は、例えば、防水加工を施した液晶ディスプレイ等を採用できる。なお、右ドアミラーモニタ４０及び左ドアミラーモニタ５０の形状は、従来のドアミラーと同様にラウンドした曲面形状としてもよく、市販モニタと同様に四角形状としてもよい。

次に、図２を参照して運転支援装置１が右ドアミラーモニタ４０に表示するミラー画像の一例を説明する。

図２に示すように、合成部３４は、自車両Ｍ１の位置を示す仮想画像Ｐ１（第１仮想画像）と、自車両Ｍ１から見て右側を走行する後続車両Ｍ２の位置を示す仮想画像Ｐ２（第２仮想画像）をミラー画像上の自車両Ｍ１と後続車両Ｍ２との間に重畳する。また、仮想画像Ｐ１は、自車両Ｍ１が走行する車線から後続車両Ｍ２が走行する車線に向かって伸び、車線境界線を越える長さを有する。同様に、仮想画像Ｐ２は、後続車両Ｍ２が走行する車線から自車両Ｍ１が走行する車線に向かって伸び、車線境界線を越える長さを有する。このように仮想画像Ｐ１及びＰ２を、ミラー画像中の自車両Ｍ１と後続車両Ｍ２との間に重畳することにより、図２の矢印で示すように、乗員は、仮想画像Ｐ１から仮想画像Ｐ２までが車間距離であると一目で把握できる。すなわち、乗員は、自車両Ｍ１と後続車両Ｍ２との位置関係を直感的に把握できる。また、仮想画像Ｐ１と自車両Ｍ１は互いに離間した状態で表示されてもよく、互いに接した状態で表示されてもよい。仮想画像Ｐ２と後続車両Ｍ２も同様に、互いに離間してもよく、互いに接した状態で表示されてもよい。

また、図２に示すように、合成部３４は、仮想画像Ｐ１及びＰ２をミラー画像の路面に重畳するのが好ましい。これにより、仮想画像Ｐ１及びＰ２が浮いて見えなくなる。すなわち、仮想画像Ｐ１及びＰ２が路面に張り付いているように見えるため、乗員は、正確な車間距離を把握できる。

また、図２に示すように、合成部３４は、自車両Ｍ１の後端部から後続車両Ｍ２の走行車線に向かって伸びる仮想画像Ｐ１を重畳し、後続車両Ｍ２の先端部から自車両Ｍ１の走行車線に向かって伸びる仮想画像Ｐ２を重畳するのが好ましい。一般に車間距離とは、自車両Ｍ１の後端部から後続車両Ｍ２の先端部までの距離である。このため、合成部３４が、自車両Ｍ１の後端部及び後続車両Ｍ２の先端部から伸びるように仮想画像Ｐ１及びＰ２を重畳することにより、乗員は、自車両Ｍ１と後続車両Ｍ２との車間距離を正確に把握できる。なお、自車両Ｍ１の後端部とは、例えば自車両Ｍ１のリアバンパである。また、後続車両Ｍ２の先端部とは、例えば後続車両Ｍ２のフロントバンパである。

仮想画像Ｐ１及びＰ２は、形や色などが限定されるものではないが、自車両Ｍ１及び後続車両Ｍ２の影を示す画像であることが好ましい。一般に影は、路面に張り付いて映るため、合成部３４が、影を示す画像として仮想画像Ｐ１及びＰ２を重畳することにより、仮想画像Ｐ１及びＰ２が路面に張り付いているように見える。これにより、乗員は、自車両Ｍ１と後続車両Ｍ２との車間距離を正確に把握できる。さらに、仮想画像Ｐ１及びＰ２が影のように見えることになるため、乗員が仮想画像Ｐ１及びＰ２に対して感じる違和感を低減することができる。

また、合成部３４は、仮想画像Ｐ１及びＰ２を走行車線に対し９０度となるように重畳してもよく、自車両Ｍ１及び後続車両Ｍ２に対し９０度となるように重畳してもよい。好ましくは、図２に示すように、合成部３４は、仮想画像Ｐ１及びＰ２が平行となるように重畳する。このように仮想画像Ｐ１及びＰ２を重畳することにより、乗員は、車間距離の相対的な変化を直感的に把握できる。

次に、図３に示すフローチャートを参照して、本実施形態に係る運転支援装置１の一動作例について説明する。このフローチャートは、例えばイグニッションスイッチがオンされたときに開始する。

ステップＳ１０１において、右カメラ１０及び左カメラ２０は、自車後方を撮像し、撮像により取得した後方情報に関する電気信号を出力する。

ステップＳ１０２において、後続車両検出部３２は、電気信号から生成されたミラー画像を用いて後続車両Ｍ２を検出する。後続車両検出部３２が後続車両Ｍ２を検出した場合、ステップＳ１０３に処理が進む。後続車両検出部３２が後続車両Ｍ２を検出しない場合、後続車両検出部３２は待機する。

ステップＳ１０３において、合成部３４は、自車両Ｍ１及び後続車両Ｍ２の位置を示す仮想画像Ｐ１及びＰ２をミラー画像上に重畳する。

ステップＳ１０４において、合成部３４は、合成画像を右ドアミラーモニタ４０及び左ドアミラーモニタ５０に出力する。

以上説明したように、本実施形態に係る運転支援装置１によれば、以下の作用効果が得られる。

運転支援装置１は、右カメラ１０及び左カメラ２０が撮像により取得した電気信号からミラー画像を生成し、ミラー画像上の自車両Ｍ１と後続車両Ｍ２との間に、自車両Ｍ１と後続車両Ｍ２の位置を示す仮想画像Ｐ１及びＰ２を重畳する。これにより、乗員は、仮想画像Ｐ１から仮想画像Ｐ２までが車間距離であると一目で把握できる。すなわち、乗員は、自車両Ｍ１と後続車両Ｍ２との位置関係を直感的に把握できる。

また、運転支援装置１は、自車両Ｍ１及び後続車両Ｍ２の位置を示す仮想画像Ｐ１及び仮想画像Ｐ２をミラー画像の路面に重畳する。これにより、仮想画像Ｐ１及びＰ２が浮いて見えなくなる。すなわち、仮想画像Ｐ１及びＰ２が路面に張り付いているように見えるため、乗員は、正確な車間距離を把握できる。

仮想画像Ｐ１及びＰ２は、自車両Ｍ１及び後続車両Ｍ２の影を示す画像である。このように運転支援装置１が影を示す画像として仮想画像Ｐ１及びＰ２を重畳することにより、仮想画像Ｐ１及びＰ２が路面に張り付いているように見える。これにより、乗員は、自車両Ｍ１と後続車両Ｍ２との車間距離を正確に把握できる。さらに、仮想画像Ｐ１及びＰ２が影のように見えることになるため、乗員が仮想画像Ｐ１及びＰ２に対して感じる違和感を低減することができる。

また、運転支援装置１は、自車両Ｍ１の後端部から後続車両Ｍ２の走行車線に向かって伸びる仮想画像Ｐ１を重畳し、後続車両Ｍ２の先端部から自車両Ｍ１の走行車線に向かって伸びる仮想画像Ｐ２を重畳する。これにより、乗員は、正確な車間距離を把握できる。

また、運転支援装置１は、仮想画像Ｐ１及びＰ２が平行となるように重畳する。これにより、乗員は、車間距離の相対的な変化を直感的に把握できる。

上記のように、本発明の実施形態を記載したが、この開示の一部をなす論述及び図面はこの発明を限定するものであると理解すべきではない。この開示から当業者には様々な代替実施の形態、実施例及び運用技術が明らかとなろう。

本実施形態では、仮想画像Ｐ１及びＰ２について影を示す画像として説明したが、仮想画像Ｐ１及びＰ２は影を示す画像に限定されない。例えば、図４（ａ）に示すように、合成部３４は、仮想画像Ｐ２を線として重畳してもよい。同様に、図４（ｂ）に示すように、合成部３４は、仮想画像Ｐ１を線として重畳してもよい。また、図４（ｃ）に示すように、合成部３４は、仮想画像Ｐ１及びＰ２を線として重畳してもよい。また、線の代わりに楕円でもよい。このような各形状の仮想画像Ｐ１及びＰ２は、予め記憶部３３に記憶されていてもよく、画像処理回路３０が都度生成してもよい。なお、合成部３４は、仮想画像Ｐ１及びＰ２の形状に関わらず、仮想画像Ｐ１及びＰ２が平行になるように重畳するのが好ましい。

また、運転支援装置１は、自車両Ｍ１の周囲の環境を取得し、取得した周囲の環境に基づく仮想画像Ｐ１及びＰ２を重畳してもよい。周囲の環境とは、例えば、走行中の時間帯が昼間であるか夜間であるか、路面が雨で濡れているか雪が積もっているかなどの走行中の環境をいう。これらの周囲の環境は、周知のセンサなどで取得することができる。周囲の環境が夜間の場合、仮想画像Ｐ１及びＰ２を影により示す画像として重畳すると視認性が低下する。そこで、合成部３４は、仮想画像Ｐ１及びＰ２のコントラストや輝度などを変更し、夜間でも視認性が低下しない仮想画像Ｐ１及びＰ２を重畳する。また、周囲の環境に基づいて仮想画像Ｐ１及びＰ２を透視可能な透明性を有する画像としてもよい。このように、周囲の環境に基づく仮想画像Ｐ１及びＰ２を重畳することにより、乗員は、周囲の環境に関わらず自車両Ｍ１と後続車両Ｍ２との位置関係を直感的に把握できる。

また、仮想画像Ｐ１及びＰ２は車線境界線を越える長さを有する画像として説明したが、車線境界線がない道路の場合は、所定の長さを有する仮想画像Ｐ１及びＰ２を用いればよい。所定の長さについては、実験やシミュレーションを通じて求めることができる。

また、図５に示すように、合成部３４は、仮想画像Ｐ１及びＰ２に記号を設定してもよい。ここで、「記号」とは、走行中の車両周囲の流れを示すもので、模様（例えば、波模様、グラデーション、肌理、木目など）、マーク（例えば、三角マーク、四角マークなど）等により示される。また、記号は、必ずしも、模様やマークに限定される必要はなく、疎らに見えるものであれば何でもよい。この記号は、車両走行に併せて動かすことにより、後方画像に写る車両周囲の動きに同化させることができる。これにより、乗員は、後方画像に対する違和感を抑制することができる。本実施形態では、仮想画像Ｐ１及びＰ２はそれぞれ、自車両Ｍ１及び後続車両Ｍ２の位置を示すので、アスファルトの模様を記号として設定する。なお、記号は、アスファルトの模様に限定されるものではなく、道路上の白線や、路肩など、車両の走行に併せて動いて見えるものを対象物としてもよい。画像処理回路３０は、自車両Ｍ１の車速や移動方向に基づいて、記号の移動方向、及び記号の移動速度を設定する。また、画像処理回路３０は、自車両Ｍ１の移動方向の反対となる方向に記号が移動するように記号を設定する。これにより、自車両Ｍ１の車速が速いほど記号の移動速度も速くなり、自車両Ｍ１の移動方向に応じた方向に記号が移動する。これにより、自車両Ｍ１の動きに適合するように記号が移動するため、記号は路面に張り付いているように見える。このように仮想画像Ｐ１及びＰ２に記号を設定することにより、乗員は、正確な車間距離を把握できる。なお、自車両Ｍ１の車速や移動方向は、車速センサや舵角センサを用いて取得することができる。

また、仮想画像Ｐ１及びＰ２は、常に表示されていると乗員が煩わしく感じる場合があるため、所定の条件が満たされた場合に限り表示するようにしてもよい。例えば、合成部３４は、ウィンカースイッチの信号をトリガとして、仮想画像Ｐ１及びＰ２を重畳するようにしてもよい。詳しくは、合成部３４は、ウィンカースイッチの信号を受信するまでは、仮想画像Ｐ１及びＰ２を重畳する処理を実施しないで待機し、ウィンカースイッチの信号を受信すると、仮想画像Ｐ１及びＰ２を重畳する。乗員が後続車両Ｍ２との車間距離を確認するシーンの一つは、車線変更時である。そこで、合成部３４がウィンカースイッチの信号を受信した場合に仮想画像Ｐ１及びＰ２を重畳することにより、乗員が知りたい情報を、乗員が知りたいときに提供することができる。また、ウィンカースイッチの信号をトリガとして仮想画像Ｐ１及びＰ２を重畳する場合は、運転中常に仮想画像Ｐ１及びＰ２を重畳する場合と比較して、乗員が感じる煩わしさを低減でき、かつ画像処理に要するリソースを節約することができる。なお、車線変更が完了し、ウィンカースイッチの信号を受信しなくなった際には、合成部３４は仮想画像Ｐ１及びＰ２を消去する。

また、左右のドアミラー画像を表示する場所は、右ドアミラーモニタ４０及び左ドアミラーモニタ５０に限定されない。例えば、インストルメントパネルに設けたディスプレイ、ヘッドアップディスプレイ、カーナビゲーション装置のディスプレイ、ピラーディスプレイなどに表示してもよい。

また、合成部３４は、車両の属性に応じて仮想画像Ｐ１及びＰ２を重畳してもよい。例えば、自車両Ｍ１の後方にバイクが存在する場合、合成部３４はバイクの大きさに合わせて仮想画像Ｐ２を重畳してもよい。バイクはミラー画像上の大きさが他の車両と比較して小さいため、合成部３４が仮想画像Ｐ２を重畳することにより、車間距離だけでなく、バイクの存在を乗員に知らせることができる。

また、本実施形態では、ミラー画像に仮想画像Ｐ１及びＰ２を重畳したが、自車両Ｍ１の後方を写すミラー自体に仮想画像を重畳するようにしてもよい。自車両Ｍ１の後方をミラーで写す場合は、後続車両Ｍ２を画像から識別するのではなく、ソナー、カメラなど自車両周囲の状況を検出可能な各種センサにより、後続車両Ｍ２を認識するようにしてもよい。

なお、上述の実施形態の各機能は、１または複数の処理回路により実装され得る。処理回路は、電気回路を含む処理装置等のプログラムされた処理装置を含む。処理回路は、また、実施形態に記載された機能を実行するようにアレンジされた特定用途向け集積回路（ＡＳＩＣ）や従来型の回路部品のような装置を含む。

１０右カメラ
２０左カメラ
３０画像処理回路
３１ミラー画像生成部
３２後続車両検出部
３３記憶部
３４合成部
４０右ドアミラーモニタ
５０左ドアミラーモニタ

Claims

撮像により自車両の後方情報を取得する撮像素子と、前記後方情報より後方画像を生成するコントローラと、前記後方画像を表示するモニタと、を備える運転支援装置の運転支援方法において、
前記後方画像上の前記自車両と後続車両との間に、前記自車両と前記後続車両の位置を示す仮想画像を重畳し、
前記仮想画像上に記号を設定し、
前記記号は、前記自車両の移動方向と反対の方向に移動するように設定され、前記自車両の車速が速いほど前記記号の移動速度が速くなる
ことを特徴とする運転支援方法。
前記仮想画像を重畳することは、
前記仮想画像を路面に重畳することを含むことを特徴とする請求項１に記載の運転支援方法。
前記仮想画像を重畳することは、
前記自車両と前記後続車両の影を示す前記仮想画像を重畳することを含むことを特徴とする請求項１または２に記載の運転支援方法。
前記仮想画像を重畳することは、
前記自車両の後端部に第１仮想画像を重畳し、かつ前記後続車両の先端部に第２仮想画像を重畳することを含むことを特徴とする請求項１〜３のいずれか１項に記載の運転支援方法。
前記仮想画像を重畳することは、
前記第１仮想画像と、前記第２仮想画像とが平行になるように重畳することを含むことを特徴とする請求項４に記載の運転支援方法。
前記自車両の周囲の環境を検出することをさらに含み、
前記仮想画像を重畳することは、
検出された前記周囲の環境に応じて前記仮想画像を重畳することを含むことを特徴とする請求項１〜５のいずれか１項に記載の運転支援方法。
撮像により自車両の後方情報を取得する撮像素子と、
前記撮像素子によって取得された前記後方情報より後方画像を生成する生成回路と、
前記生成回路によって生成された前記後方画像を表示するモニタと、
前記自車両と後続車両の位置を示す仮想画像を前記後方画像上の前記自車両と前記後続車両との間に重畳する制御部と
を備え、
前記制御部は、前記仮想画像上に記号を設定し、
前記記号は、前記自車両の移動方向と反対の方向に移動するように設定され、前記自車両の車速が速いほど前記記号の移動速度が速くなる
ことを特徴とする運転支援装置。