JP2017126834A - 運転支援装置、運転支援方法 - Google Patents

Abstract

【課題】車両運転者にとって、より気の利いた運転支援画像を表示可能な技術を提供する。【解決手段】表示制御処理では、Ｓ１３０において、車両の周囲を撮像する車載カメラの撮像画像を予め設定された仮想視点から見た画像に変換する。Ｓ１５０において、撮像画像が変換された画像（以下、対象画像）に、自車両の位置及び形状を示す画像（以下、車両画像）を上位のレイヤーとして合成する。Ｓ１６０において、対象画像に合成される車両画像について、対象画像との重畳部分において下位のレイヤーである対象画像が見えるように画像の不透明度を調整する。その際、自車両の周囲の状況、及び、車両の走行状況、のうち少なくとも一つの状況に応じて、車両画像の不透明度を可変設定する。こうした調整を経て、車両画像が合成される対象画像は、Ｓ１７０において、運転支援画像として出力される。【選択図】図９

Description

本開示は、車両運転者に運転支援画像を提示するための表示制御技術に関する。

従来、複数の車載カメラにより車両の周囲を撮像し、各撮像画像を仮想視点から見た画像にそれぞれ変換して、各変換画像の一部を繋ぎ合わせた合成画像を運転支援画像としてディスプレイに表示する技術が知られている。

特許文献１には、車両の前方から車両の後方を含む周囲を見るような仮想視点による運転支援画像を生成する際に、例えばその仮想視点から見たような車両の位置及び形状を示す車両画像を合成画像に重畳する技術が開示されている。

特許第５０７７３０７号公報

しかしながら、従来技術では、運転支援画像において車両画像が合成画像に重畳されていることにより、その重畳部分において合成画像中に映し出されているはずの重要な要素が車両画像によって表示されない場合がある、という問題があった。

本開示は、こうした問題等に鑑みてなされたものであり、車両運転者にとって、より気の利いた運転支援画像を表示可能な技術を提供することを目的としている。

本開示の一局面である運転支援装置は、変換部（２２）と、合成部（２３）と、調整部（２５）と、出力部（２６）と、を備える。変換部は、車両の周囲を撮像する車載撮像装置の撮像画像を予め設定された仮想視点から見た画像に変換する。

合成部は、変換部により撮像画像が変換された画像（以下、対象画像）に、その対象画像において車両の位置及び形状を示す画像（即ち、車両画像）を上位のレイヤーとして合成する。調整部は、合成部により対象画像に合成される車両画像について、対象画像との重畳部分において下位のレイヤーである対象画像が見えるように画像の不透明度を調整する。

その際に、調整部は、車両の周囲の状況、及び、車両の走行状況、のうち少なくとも一つの状況に応じて、車両画像の不透明度を可変設定する。こうした調整を経て、合成部により車両画像が合成される対象画像は、運転支援画像として出力部によって出力される。

このような構成によれば、車両の周囲の状況、及び、車両の走行状況、のうち少なくとも一つの状況に応じて、車両画像の不透明度が可変設定される。このため、対象画像に重畳される部分において、各種シーンによって異なる不透明度で車両画像を重畳表示したり、場合によっては不透明度をゼロに設定することで車両画像の表示をなくしたりすることが可能となる。このように車両画像の表示態様が可変制御されることにより、車両運転者にとって、より気の利いた運転支援画像を表示することができる。

また、本開示の一局面である運転支援方法によれば、上記同様の理由により、本開示の一局面である運転支援装置において既に述べた効果と同様の効果を得ることができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

運転支援装置１の構成を示すブロック図である。 車載カメラ１０の各撮像領域を例示する説明図である。 表示制御ユニット２０の機能的構成を示すブロック図である。 自車両に対する前後方向の仮想視点を例示する説明図である。 自車両に対する左右方向及び上下方向の仮想視点を例示する説明図である。 対象画像において画像のない領域（即ち、非画像領域）を例示する説明図である。 車両画像の不透明度が低く設定された場合の運転支援画像を例示する説明図である。 車両画像の不透明度が高く設定された場合の運転支援画像を例示する説明図である。 表示制御処理のフローチャートである。 不透明度調整処理のフローチャートである。

以下、図面を参照しながら、発明を実施するための形態を説明する。
［１．第１実施形態］
［１−１．全体構成］
図１に示す運転支援装置１は、複数の車載カメラ１０と、表示制御ユニット２０と、ディスプレイ３０と、を備える。また、図示を省略しているが、運転支援装置１は、車内ローカルエリアネットワーク（以下、車内ＬＡＮ）に接続されており、車内ＬＡＮに接続された他の電子制御ユニット（以下、ＥＣＵ）との間で、各種センサの検出情報やＥＣＵ内の制御情報等の車両情報を共有するように構成されている。以下の説明では、これらの構成要素が搭載された車両を自車両という。

なお、車内ＬＡＮは、自車両の内部に配備されているローカルエリアネットワークであり、例えば、周知のＣＡＮやＦｌｅｘＲａｙ、ＬＩＮ、ＭＯＳＴ、ＡＶＣ−ＬＡＮ等の通信プロトコルを利用して各種情報を伝送するものである。運転支援装置１においては、表示制御ユニット２０が車内ＬＡＮに接続されており、車両情報として、シフトレバー位置、車速、加速度、操舵角、ヨーレート、照度、物標情報等を、他のＥＣＵから取得する。

照度は、自車両の周囲の明るさを示す情報であり、暗くなると自動的にヘッドライトを点灯させる、いわゆるオートライトの機能を実現するための制御等を行う他のＥＣＵから伝送される。この情報は、周知の照度センサにより検出される構成でも良いし、車載カメラ１０の撮像画像に基づいて推定される構成でも良いし、これらの組合せでも良い。

物標情報は、車両の周囲の対象物との距離や相対速度等を示す情報であり、車両の前方の対象物に関しては、いわゆる衝突被害軽減ブレーキやアダプティブクルーズコントロールの機能を実現するための制御等を行う他のＥＣＵから伝送される。この情報は、周知のミリ波レーダ等の車載レーダにより検出される構成でも良いし、車載カメラ１０の撮像画像に基づいて計測される構成でも良いし、これらの組合せでも良い。

また、車両の後方及び側方を含む周囲の対象物に関する物標情報は、周囲の駐車車両や障害物等に接触しないように駐車枠に自車両を駐車させるため、自動でステアリング操作等を行う、いわゆる駐車支援機能を実現するための制御等を行う他のＥＣＵから伝送される。この情報は、超音波センサ等の車載ソナーにより検出される構成でも良いし、車載カメラ１０の撮像画像に基づいて計測される構成でも良いし、これらの組合せでも良い。

各車載カメラ１０は、自車両の周囲を撮像するように自車両に搭載された車載撮像装置であり、本実施形態においては自車両の前後左右における各位置に設置される。車載カメラ１０による撮像画像は、表示制御ユニット２０に出力される他、自車両の周囲の対象物として予め設定された他車両や歩行者や障害物等、その他、車線や駐車枠等を認識するために、他のＥＣＵにも出力される。

本実施形態において、各車載カメラ１０は、自車両におけるそれぞれの設置位置及び撮像領域に応じて、前方カメラ２と、後方カメラ４と、右側方カメラ６と、左側方カメラ８と、に大別される。

図２に示すように、前方カメラ２は、自車両の前部（例えば、前部中央部）に搭載され、自車両の前方領域Ａ１を撮像する。後方カメラ４は、自車両の後部（例えば、後部中央部）に搭載され、自車両の後方領域Ａ２を撮像する。右側方カメラ６は、自車両の右側部（例えば、右側バックミラー部）に搭載され、自車両の右側方領域Ａ３を撮像する。左側方カメラ８は、自車両の左側部（例えば、左側バックミラー部）に搭載され、自車両の左側方領域Ａ４を撮像する。

また、各車載カメラ１０は、各撮像領域の一部が他の少なくとも１つの車載カメラ１０の撮像領域の一部と重複する領域（以下、重複領域）を有するように自車両に設置されている。例えば、図２に示すように、前方カメラ２の撮像領域である前方領域Ａ１は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右前重複領域ＯＡ１と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左前重複領域ＯＡ２と、を有している。後方カメラ４の撮像領域である後方領域Ａ２は、右側方カメラ６の撮像領域である右側方領域Ａ３と一部が重複する右後重複領域ＯＡ３と、左側方カメラ８の撮像領域である左側方領域Ａ４と一部が重複する左後重複領域ＯＡ４と、を有している。

つまり、撮像領域に重複領域を有するように車載カメラ１０を配備することにより、自車両の全周囲をより確実に撮像可能とされている。ただし、図２において太線で囲まれた領域に示すように、本実施形態においては、自車両の本体部分の領域（以下、本体領域）がいずれの車載カメラ１０からも撮像不可な領域とされている。

ディスプレイ３０は、自車両に搭載される表示装置として、車室内等に設置されるものである。例えば、ディスプレイ３０は、液晶ディスプレイ、ヘッドアップディスプレイ、又はこれらの組合せ等によって構成され、自車両の運転者が視認しやすい位置に設置される。

［１−２．表示制御ユニット２０の構成］
表示制御ユニット２０は、ＣＰＵ１２と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリに代表される非遷移的実体的記録媒体（以下、メモリ１４）と、を有する周知のマイクロコンピュータ、及び車内ＬＡＮ用の通信コントローラを中心に構成されたＥＣＵである。表示制御ユニット２０においては、メモリ１４に格納されているプログラムに基づいてＣＰＵ１２により各種処理が実行される。つまり、このプログラムが実行されることにより、プログラムに対応する方法が実行される。なお、マイクロコンピュータの数は１つでも複数でもよく、１ないし複数のマイクロコンピュータの各設置場所は車両内部の何れでもよい。

表示制御ユニット２０は、ＣＰＵ１２の各種処理の実行により実現される機能の構成として、図３に示すように、画像入力部２１と、視点変換部２２と、画像合成部２３と、情報入力部２４と、画像調整部２５と、画像出力部２６と、を備える。なお、表示制御ユニット２０が提供するこれら機能の一部又は全部を、一つあるいは複数の論理回路やＩＣ等の電子回路によりハードウェア的に構成しても良い。つまり、表示制御ユニット２０においては、ソフトウェアに限らず、ハードウェアあるいはそれらの組合せによっても上記機能を提供することができる。

画像入力部２１は、各車載カメラ１０から自車両の周囲を示す画像（以下、周囲画像）を取得する。本実施形態では、各車載カメラ１０から、前方領域Ａ１、後方領域Ａ２、右側方領域Ａ３、左側方領域Ａ４を撮像した各周囲画像を所定のフレームレートで取得し、これらの周囲画像を互いに識別可能な態様でメモリ１４に格納する。なお、メモリ１４には、各車載カメラ１０の位置及び姿勢を示す外部パラメータや、焦点距離や画像中心や画像サイズや歪収差係数等を示す内部パラメータ等を含む周知のカメラパラメータが格納されている。画像入力部２１は、これらのカメラパラメータのうち一部又は全部を各車載カメラ１０から取得しても良い。カメラパラメータは、以下で述べる視点変換画像や対象画像を生成する際等に用いられる。

視点変換部２２は、画像入力部２１により取得した各周囲画像を予め設定された仮想視点から見た画像（以下、視点変換画像）に変換する。視点変換画像は、車載カメラ１０の視点から見た周囲画像を、仮想カメラの視点（すなわち、仮想視点）から見ているかのように座標変換した画像である。例えば、カメラ座標系の光軸を基準とすると、撮像画像上のあらゆる点の座標位置を光軸からの角度と距離とによって求め、これらの座標位置を仮想カメラの光軸に基づいて回転及び並進させることにより、画像を視点変換することができる。つまり、仮想カメラの光軸として、仮想視点の位置及び向きを設定すれば、所望の視点変換画像を得ることが可能となる。なお、画像の視点変換に関する技術自体は当業者にとって周知のため、その詳細な説明については省略する。

視点変換部２２は、複数の周囲画像のうち１つの周囲画像に基づく視点変換画像を対象画像として後段の画像合成部２３に出力しても良い。あるいは、視点変換部２２は、複数の周囲画像のそれぞれを仮想視点から見た画像に変換して、各視点変換画像の一部を繋ぎ合わせた画像（以下、アラウンドビュー画像）を対象画像として画像合成部２３に出力しても良い。具体的には、アラウンドビュー画像においては、各視点変換画像の一部として、右前重複領域ＯＡ１、左前重複領域ＯＡ２、右後重複領域ＯＡ３、左後重複領域ＯＡ４等の重複領域に対応する画像領域が繋ぎ合わされる。こうした画像の繋ぎ合わせに関する技術自体は当業者にとって周知のため、その詳細な説明については省略する。

なお、アラウンドビュー画像の態様としては、フロントビュー画像やバックビュー画像、サイドビュー画像、鳥瞰画像等があり、これらの画像からユーザによる運転操作やスイッチ操作等の内容に応じた画像が選択される。

例えば、図４に示す仮想視点Ｅ１が設定された場合、視点変換部２２は、自車両の後側斜め上方の位置から自車両を含む前側斜め下方を所定角度で見たフロントビュー画像を対象画像として生成する。また例えば、図４に示す仮想視点Ｅ２が設定された場合、視点変換部２２は、自車両の前側斜め上方の位置から自車両を含む後側斜め下方を所定角度で見たバックビュー画像を対象画像として生成する。また例えば、図５に示す仮想視点Ｅ３が設定された場合、視点変換部２２は、自車両の左側方斜め上側の位置から自車両を含む右側方斜め下方を所定角度で見たサイドビュー画像を対象画像として生成する。また例えば、図５に示す仮想視点Ｅ４が設定された場合、視点変換部２２は、自車両の上方の位置から自車両を含む下方を見た鳥瞰画像を対象画像として生成する。

画像合成部２３は、視点変換部２２により生成された対象画像に、その対象画像において自車両の位置及び形状を示す画像（以下、車両画像）を上位のレイヤーとして合成する。例えば、対象画像がアラウンドビュー画像である場合、このアラウンドビュー画像においては、いずれの車載カメラ１０からも撮像不可な領域（すなわち、本体領域）に対応する画像領域が存在することになる。本実施形態では、画像合成部２３は、このように画像のない領域に、仮想視点の位置及び向きに応じた仮想的な素材画像としての車両画像を合成する。

車両画像は、仮想視点の位置及び向きに応じた複数パターンの形状を示す画像が予め用意されてメモリ１４に格納されている。この車両画像は、図６に示すように、サイドビュー画像やバックビュー画像等のアラウンドビュー画像において、画像のない領域がなるべく露出しないように重畳される。つまり、画像合成部２３は、対象画像において、視点変換画像が存在する画像領域と、視点変換画像が存在しない非画像領域と、を有する場合、非画像領域の大部分が隠れる位置及び大きさに設定した車両画像を対象画像に合成するようにされている。

情報入力部２４は、他のＥＣＵから車内ＬＡＮを介して、シフトレバー位置、車速、加速度、操舵角、ヨーレート、照度、物標情報等の車両情報を所定の周期で取得する。そして、この車両情報を、画像入力部２１により周囲画像を取得したタイミングと対応付けてメモリ１４に格納する。

画像調整部２５は、画像合成部２３により対象画像に合成される車両画像について、対象画像との重畳部分において下位のレイヤーである対象画像が見えるように画像の不透明度を調整する。また、この際に、車両の周囲の状況、及び、車両の走行状況、のうち少なくとも一つの状況に応じて、車両画像の不透明度を可変設定する。

不透明度は、対象画像との重畳部分において下位のレイヤーである対象画像がどの程度見えるか、換言すれば対象画像がシースルー表示される程度を数値化したものである。不透明度が高いほど、車両画像が濃くなることによって対象画像が見えにくくなり、不透明度が低いほど、車両画像が薄くなることによって対象画像が見えやすくなる。なお、不透明度がゼロに設定されると、車両画像が全く表示されないことになる。また、不透明度が最大値に設定される場合、すなわち不透明度が調整されない場合は、車両画像との重畳部分において対象画像が全く表示されないことになる。こうした重畳画像のシースルー表示に関する技術自体は当業者にとって周知のため、その詳細な説明については省略する。

また、車両画像の不透明度は、対象画像との重畳部分の全領域において一律に設定されても良いし、対象画像との重畳部分のうち、視点変換画像が存在する画像領域と、視点変換画像が存在しない非画像領域と、においてそれぞれ異なるように設定されても良い。つまり、画像調整部２５は、車両画像のうち、画像領域と重なる部分についての不透明度と、非画像領域と重なる部分についての不透明度と、を個別に設定することができる。例えば、画像調整部２５は、車両画像のうち、画像領域と重なる部分について不透明度を調整し、非画像領域と重なる部分については不透明度を調整しない、こととすることもできる。

車両の周囲の状況は、情報入力部２４により取得した車両情報のうち、照度や物標情報等から推測される情報である。例えば、昼間等、自車両の周囲が明るい場合には、対象画像の輝度が充分足りていることから、車両画像の不透明度を比較的高く設定しても、車両画像との重畳部分において対象画像が視認可能な状態で表示されることになる。逆に、夜間等、自車両の周囲が暗い場合には、車両画像の不透明度を比較的低く設定することにより、車両画像との重畳部分において対象画像を車両運転者に視認させやすくすることができる。

また、車両の周囲に他車両や歩行者や障害物等の対象物が存在している場合には、車両画像との重畳部分において対象画像中に対象物が存在している可能性があることから、車両画像の不透明度を比較的低く設定することにより、対象物を車両運転者に認知させやすくすることができる。例えば、図７に示すように、駐車場に停車中の自車両の後方に子供がいる場合には、車両画像の不透明度が低く設定されることにより、車両画像が透過されることから、バックビュー画像中において子供の存在を車両運転者に認知させやすくすることができる。逆に、車両の周囲に他車両や歩行者や障害物等の対象物が存在していない場合には、車両画像の不透明度を比較的高く設定することにより、自車両を車両運転者に認知させやすくすることができる。

車両の走行状況は、情報入力部２４により取得した車両情報のうち、シフトレバー位置、車速、加速度、操舵角、ヨーレート等に基づく情報である。車両の走行状況からは、例えば、車両運転者の運転負荷状況や、車両運転者がアラウンドビュー画像を見る蓋然性等が推測される。例えば、図８に示すように、車速や加速度や操舵角やヨーレートが大きい場合には、運転負荷状況が高いと推測されることから、車両画像の不透明度を比較的高く設定することにより、車両運転者に運転操作の方へ注力を向けさせやすくすることができる。逆に、車速や加速度や操舵角やヨーレートが小さい場合には、運転負荷状況が低いと推測されることから、車両画像の不透明度を比較的低く設定することにより、対象物等を車両運転者に認知させやすくすることができる。また例えば、シフトレバー位置がリバース位置である場合には、バックビュー画像を見る蓋然性が高いと推測されることから、車両画像の不透明度を比較的低く設定することにより、対象物等を車両運転者に認知させやすくすることができる。

画像出力部２６は、画像合成部２３により車両画像が合成された対象画像を運転支援画像として出力する。具体的には、画像出力部２６は、画像調整部２５により不透明度を調整した場合には、その不透明度を調整した車両画像が重畳された対象画像を運転支援画像としてディスプレイ３０に表示する。また、画像出力部２６は、画像調整部２５により車両画像の不透明度を調整しなかった場合には、視点変換部２２により生成された対象画像を運転支援画像としてディスプレイ３０に表示する。

このように運転支援画像は、視点変換部２２により生成された対象画像に基づく画像であり、本実施形態ではアラウンドビュー画像そのものである場合や、アラウンドビュー画像に車両画像が重畳された画像である場合や、さらに車両画像の不透明度が調整された画像である場合がある。

なお、視点変換部２２が変換部及び変換工程、画像合成部２３が合成部及び合成工程、画像調整部２５が調整部及び調整工程、画像出力部２６が出力部及び出力工程に相当する。

［１−３．処理］
［１−３−１．表示制御処理］
次に、表示制御ユニット２０のＣＰＵ１２が実行する処理（以下、表示制御処理）の一例について、図９のフローチャートを用いて説明する。なお、本処理は、例えば自車両のイグニッションスイッチがＯＮ状態であり、運転支援機能に係るスイッチがＯＮされている間、所定サイクル毎に繰り返し起動される。

本処理が起動すると、Ｓ１１０において画像入力部２１は、各車載カメラ１０から周囲画像を取得して周囲画像をメモリ１４に格納する。また、Ｓ１２０において情報入力部２４は、他のＥＣＵから車内ＬＡＮを介して車両情報を取得して、Ｓ１１０により周囲画像を取得したタイミングと対応付けて車両情報をメモリ１４に格納する。

続くＳ１３０において視点変換部２２は、画像入力部２１により取得した各周囲画像について、ユーザによる運転操作やスイッチ操作等の内容に応じた仮想視点から見た各視点変換画像に変換する。そして、Ｓ１４０において視点変換部２２は、Ｓ１３０により各周囲画像が変換された各視点変換画像について、各重複領域に対応する画像領域を繋ぎ合わせることによりアラウンドビュー画像を生成する。このアラウンドビュー画像においては、前述のとおり、視点変換画像が存在する画像領域と、視点変換画像が存在しない非画像領域とが含まれている。

そこで、続くＳ１５０において画像合成部２３は、Ｓ１４０により生成したアラウンドビュー画像のうち非画像領域を少なくとも含む画像中央の領域に、Ｓ１３０にて使用した仮想視点に応じた車両画像を重畳する。つまり、車両画像を上位のレイヤー、アラウンドビュー画像を下位のレイヤーとして、車両画像をアラウンドビュー画像に合成する。この合成画像では、前述のとおり、車両画像とアラウンドビュー画像とが重なる部分（すなわち、画像中央の領域）において、下位のレイヤー（すなわち、アラウンドビュー画像）の方に画像領域と非画像領域とが含まれている。

このため、続くＳ１６０において画像調整部２５は、Ｓ１５０によりアラウンドビュー画像に合成する車両画像のうち、アラウンドビュー画像の画像領域と重なる部分については不透明度を調整し、アラウンドビュー画像の非画像領域と重なる部分については透明度を調整しないようにすることができる。このうち不透明度の調整を行う処理（以下、不透明度調整処理）については後述する。

なお、アラウンドビュー画像の非画像領域については、過去に車載カメラ１０により撮像された周囲画像に基づく視点変換画像を履歴画像として、こうした履歴画像の少なくとも一部を埋め込むこともできる。例えば、この場合、不透明度調整処理については、アラウンドビュー画像の非画像領域と重なる部分だけでなく、車両画像全体の不透明度の調整を行うようにしても良い。履歴画像は、自車両の速度・加速度・操舵角・ヨーレート等を組み合せて使用し、視点変換画像の各画素に対する自車両の相対位置を推定する自己位置推定方法によって得られる公知のデッドレコニングの結果と対応づけてメモリ１４に格納されることで、上記のような埋め込みが可能なものとなる。

そして、Ｓ１７０において画像出力部２６は、Ｓ１６０により不透明度が調整された車両画像がＳ１５０によりアラウンドビュー画像（即ち、対象画像）に合成された画像を運転支援画像として、ディスプレイ３０に表示し、本処理を終了する。

［１−３−２．不透明度調整処理］
次に、Ｓ１６０において画像調整部２５が実行する不透明度調整処理の一例について、図１０のフローチャートを用いて説明する。

本処理が開始されると、Ｓ２１０において画像調整部２５は、Ｓ１２０により取得した車両情報に基づき、自車両の速度（すなわち、自車速）が予め定められたしきい値を上回っているか否かを判定する。このしきい値判定において、自車速がしきい値を上回っている場合には、Ｓ２６０に移行し、自車速がしきい値以下である場合には、Ｓ２２０に移行する。ここでのしきい値は、運転負荷状況が高いか否かを推測するためのしきい値速度を意味し、自車速がしきい値（例えば、時速５０ｋｍ）を上回っていると、運転負荷状況が高いと推測し、自車速がしきい値以下であると、運転負荷状況が低いと推測される。

ここでＳ２６０に移行した場合、画像調整部２５は、対象画像の不透明度を最大値に設定する、つまり不透明度を調整しないことによるオフ性能を働かせる。これにより、Ｓ１７０により出力される運転支援画像は、車両画像との重畳部分において下位のレイヤーである対象画像が見えない画像、つまり上位のレイヤーである車両画像が透過されない画像となる。

一方、Ｓ２２０に移行した場合、画像調整部２５は、Ｓ１１０により取得した周囲画像と、Ｓ１４０により生成したアラウンドビュー画像（すなわち、対象画像）と、に基づき、車両画像との重畳部分において対象画像中に対象物が存在しているか否かを判定する。この判定には、例えば周知のパターンマッチングの技術が用いられる。この判定において、対象物が存在している場合には、Ｓ２３０に移行し、対象物が存在していない場合には、Ｓ２６０に移行する。

ここでＳ２３０に移行した場合、画像調整部２５は、対象物が存在していない場合よりも車両画像の不透明度を低く設定することによるオン性能を働かせる。これにより、Ｓ１７０により出力される運転支援画像は、車両画像との重畳部分において下位のレイヤーである対象画像がより見えやすくなる画像、つまり上位のレイヤーである車両画像の透過度が高い画像となる。さらに、画像調整部２５は、Ｓ２４０に移行する。

一方、ここでＳ２６０に移行した場合、画像調整部２５は、対象物が存在している場合よりも車両画像の不透明度を高く設定することによるオフ性能を働かせる。これにより、Ｓ１７０により出力される運転支援画像は、車両画像との重畳部分において下位のレイヤーである対象画像がより見えにくくなる画像、つまり上位のレイヤーである車両画像の透過度が低い画像となる。

Ｓ２４０において画像調整部２５は、Ｓ１２０により取得した車両情報、具体的には物標情報に基づき、対象物と自車両との距離が予め定められたしきい値を下回っているか否かを判定する。このしきい値判定において、距離がしきい値を下回っている場合には、Ｓ２５０に移行し、距離がしきい値以上である場合には、Ｓ２６０に移行する。ここでのしきい値は、車両運転者に認知させる必要性が高いか否かを推測するためのしきい値距離を意味し、距離がしきい値を下回っていると、その必要性が高いと推測し、距離がしきい値以上であると、その必要性が低いと推測される。なお、このしきい値距離は、自車速に応じて可変設定することができる。

ここでＳ２５０に移行した場合、画像調整部２５は、距離がしきい値以上である場合よりも車両画像の不透明度を低く設定することによるオン性能を働かせる。これにより、Ｓ１７０により出力される運転支援画像は、車両画像との重畳部分において下位のレイヤーである対象画像がより見えやすくなる画像、つまり上位のレイヤーである車両画像の透過度が高い画像となる。なお、Ｓ２５０において画像調整部２５は、対象物と自車両との距離が第２のしきい値距離を下回る場合に、車両画像の不透明度をゼロに設定しても良い。

一方、ここでＳ２６０に移行した場合、画像調整部２５は、対象物が存在している場合よりも車両画像の不透明度を高く設定することによるオフ性能を働かせる。これにより、Ｓ１７０により出力される運転支援画像は、車両画像との重畳部分において下位のレイヤーである対象画像がより見えにくくなる画像、つまり上位のレイヤーである車両画像の透過度が低い画像となる。

［１−４．効果］
以上詳述した第１実施形態によれば、以下の効果が得られる。
（１ａ）車両の周囲の状況、及び、車両の走行状況、のうち少なくとも一つの状況に応じて、車両画像の不透明度が可変設定される。このため、対象画像に重畳される部分において、各種シーンによって異なる不透明度で車両画像を重畳表示したり、場合によっては不透明度をゼロに設定することで車両画像の表示をなくしたりすることが可能となる。このように車両画像の表示態様が可変制御されることにより、車両運転者にとって、より気の利いた運転支援画像を表示することができる。

（２ａ）運転負荷状況が高いと推測される場合に、車両運転者が運転支援画像を見る蓋然性が低いことから、自車速に応じて車両画像の不透明度を高く設定することにより、車両運転者に運転操作の方へ注力を向けさせやすくすることができる。特に、車両画像の不透明度を最大に設定することにより、不透明度の調整を省略可能となり、不要な処理をなくすことができる。

（３ａ）自車両の周囲に対象物が存在している場合は、対象物が存在しない場合よりも車両画像の不透明度を低く設定することにより、対象物を車両運転者に認知させやすくすることができる。

（４ａ）対象物と自車両との距離に応じて車両画像の不透明度を高く設定することにより、距離が大きい場合は、運転支援画像において自車両とその周囲との位置関係を車両運転者により認知させやすくすることができる。また、距離が小さい場合は、不透明度が低く設定されるので、例えば自車両の近傍に位置する歩行者等の対象物を車両運転者に認知させやすくすることができる。

（５ａ）車両画像のうち、対象画像の画像領域と重なる部分について不透明度を調整し、対象画像の非画像領域と重なる部分については不透明度を調整しない。これにより、対象物を車両運転者に認知させやすくすることと、自車両とその周囲との位置関係を車両運転者により認知させやすくすることと、を好適に両立させることができる。

［２．他の実施形態］
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（２Ａ）上記実施形態では、不透明度調整処理において、自車速がしきい値以下である場合に、自車両の周囲における対象物の有無を判定しているが、これに限定されるものではない。例えば、自車速がしきい値以下である場合に、対象物の有無にかかわらず、自車速がしきい値を上回っている場合よりも車両画像の不透明度を低く設定するオン性能を働かせても良い。

（２Ｂ）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。

（２Ｃ）上述した運転支援装置１の他、当該運転支援装置１を構成要素とするシステム、当該運転支援装置１としてコンピュータを機能させるための１ないし複数のプログラム、このプログラムの少なくとも一部を記録した１ないし複数の半導体メモリ等の非遷移的実体的記録媒体、運転支援方法など、種々の形態で本発明を実現することもできる。

１…運転支援装置、１０…車載カメラ、１２…ＣＰＵ、１４…メモリ、２０…表示制御ユニット、２１…画像入力部、２２…視点変換部、２３…画像合成部、２４…情報入力部、２５…画像調整部、２６…画像出力部、３０…ディスプレイ。

Claims (7)

1. 車両の周囲を撮像する車載撮像装置の撮像画像を予め設定された仮想視点から見た画像に変換する変換部（２２）と、
   前記変換部により前記撮像画像が変換された画像を対象画像とし、前記対象画像において前記車両の位置及び形状を示す車両画像を上位のレイヤーとして前記対象画像に合成する合成部（２３）と、
   前記合成部により前記対象画像に合成される車両画像について、前記対象画像との重畳部分において下位のレイヤーである前記対象画像が見えるように画像の不透明度を調整する際に、前記車両の周囲の状況、及び、前記車両の走行状況、のうち少なくとも一つの状況に応じて、前記車両画像の不透明度を可変設定する調整部（２５）と、
   前記合成部により前記車両画像が合成された対象画像を運転支援画像として出力する出力部（２６）と、
   を備える運転支援装置。
2. 請求項１に記載の運転支援装置であって、
   前記調整部は、前記車両の速度に応じて前記車両画像の不透明度を高く設定する、運転支援装置。
3. 請求項１又は請求項２に記載の運転支援装置であって、
   前記調整部は、前記車両の周囲に予め定められた対象物が存在している場合は、前記対象物が存在しない場合よりも前記車両画像の不透明度を低く設定する、運転支援装置。
4. 請求項３に記載の運転支援装置であって、
   前記調整部は、前記対象物と前記車両との距離に応じて前記車両画像の不透明度を高く設定する、運転支援装置。
5. 請求項１から請求項４までの何れか１項に記載の運転支援装置であって、
   前記変換部は、複数の前記車載撮像装置の各撮像画像を前記仮想視点から見た画像にそれぞれ変換して、各変換画像の一部を繋ぎ合わせた画像を前記対象画像として生成し、
   前記対象画像は、前記変換画像が存在する画像領域と、前記変換画像が存在しない非画像領域と、を有しており、
   前記調整部は、前記車両画像のうち、前記画像領域と重なる部分について前記不透明度を調整し、前記非画像領域と重なる部分については前記不透明度を調整しない、運転支援装置。
6. 車両の周囲を撮像する車載撮像装置の撮像画像を予め設定された仮想視点から見た画像に変換する変換工程（２２）と、
   前記変換工程により前記撮像画像が変換された画像を対象画像とし、前記対象画像において前記車両の位置及び形状を示す車両画像を上位のレイヤーとして前記対象画像に合成する合成工程（２３）と、
   前記合成工程により前記対象画像に合成される車両画像について、前記対象画像との重畳部分において下位のレイヤーである前記対象画像が見えるように画像の不透明度を調整する際に、前記車両の周囲の状況、及び、前記車両の走行状況、のうち少なくとも一つの状況に応じて、前記車両画像の不透明度を可変設定する調整工程（２５）と、
   前記合成工程により前記車両画像が合成された対象画像を運転支援画像として出力する出力工程（２６）と、
   を備える運転支援方法。
7. 車両の周囲を撮像する車載撮像装置の撮像画像を予め設定された仮想視点から見た画像に変換し、
   前記撮像画像が変換された画像を対象画像とし、前記対象画像において前記車両の位置及び形状を示す車両画像を上位のレイヤーとして前記対象画像に合成し、
   前記対象画像に合成される車両画像について、前記対象画像との重畳部分において下位のレイヤーである前記対象画像が見えるように画像の不透明度を調整する際に、前記車両の周囲の状況、及び、前記車両の走行状況、のうち少なくとも一つの状況に応じて、前記車両画像の不透明度を可変設定し、
   前記合成工程により前記車両画像が合成された対象画像を運転支援画像として出力する、運転支援方法。

Images