JP5321267B2 - 車両用画像表示装置及び俯瞰画像の表示方法 - Google Patents

Description

本発明は、複数の車載カメラで撮像された画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成して表示する車両用画像表示装置及び俯瞰画像の表示方法に関する。

従来、車両に搭載された複数の車載カメラで車両周囲の画像を各々撮像し、得られた複数の画像をそれぞれ視点変換するとともにこれらを繋ぎ合せ、車両周囲を車両上方から見下ろした俯瞰映像を生成してディスプレイに表示する技術が知られている（例えば、特許文献１参照。）。車両周囲を車両上方から見下ろした俯瞰画像は、路面上の白線等に対する車両の位置や距離感を客観的に把握しやすく、例えば車両の駐車動作を支援する際に用いる画像として非常に有効である。

特開２００８−３３９０１号公報

前記特許文献１にて開示される車両用画像表示システムをはじめとして、この種の俯瞰画像を表示する機能を持つ従来の表示装置では、ディスプレイの限られた表示サイズの中で車両周囲の全域をバランスよく表示できるようにするために、俯瞰画像としてディスプレイに表示させる車両周囲の表示対象領域を予め一定の領域に定めていた。このため、車両の動作に応じて特にドライバが俯瞰画像上で確認したいと考える領域の画像範囲が制限される場合があり、必ずしも最適な表示となっていないという問題点があった。

本発明は、以上のような従来技術の問題点に鑑みて創案されたものであって、車両の動作に応じた最適な俯瞰画像を効率よく表示することができる車両用画像表示装置及び俯瞰画像の表示方法を提供することを目的としている。

本発明は、複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成して表示手段に表示するに際し、車両信号を入力し、入力した車両信号に応じて俯瞰画像として表示手段に表示させる車両周囲の表示対象領域を変更することにより、上述した課題を解決する。

本発明によれば、車両信号に応じて車両周囲の表示対象領域が変更されるので、車両の動作に応じた最適な俯瞰画像を効率よく表示することができる。

本発明を適用した画像表示装置の概要を示す構成図である。 車載カメラの自車に対する取り付け位置を説明する図である。 コントローラにより生成されるトップビュー画像の概要を示す図である。 ディスプレイに表示される監視画像の一例を示す図である。 駐車時の車両挙動を説明する図であり、（ａ）は車庫入れ駐車を行う場合の自車の典型的な挙動を示す図、（ｂ）は縦列駐車を行う場合の自車の典型的な挙動を示す図である。 自車が駐車初期位置に停車した際にディスプレイに表示される監視画像の一例を示す図である。 図６の監視画像上で駐車支援開始スイッチがドライバにより押下されたときにディスプレイに表示される監視画像の一例を示す図である。 自車左右側方の表示対象領域の最適な大きさを求める方法の一例を説明する図である。 目標駐車位置が確定した後にディスプレイに表示される監視画像の一例を示す図である。 目標駐車位置までの誘導経路が確定して自車が移動を開始した後にディスプレイに表示される監視画像の一例を示す図である。 自車のギア位置及び舵角に応じたトップビュー画像の表示変化を説明する図である。 駐車種別及び駐車方向に応じたトップビュー画像の表示変化を説明する図である。 トップビュー画像の表示縮尺を変更することで自車周囲の表示対象領域を均等に拡大する例を示す図であり、（ａ）は駐車支援開始前にディスプレイに表示される監視画像の一例を示す図、（ｂ）は駐車支援開始後にディスプレイに表示される監視画像の一例を示す図である。

以下、本発明の実施形態として、駐車支援システムに用いられる画像表示装置に本発明を適用した例について、図面を参照しながら詳細に説明する。

［第１の実施形態］
図１は、本発明を適用した画像表示装置の概要を示す構成図である。この画像表示装置は、自車周囲の俯瞰画像を生成するプログラムを内蔵したコントローラ１０を備え、このコントローラ１０に対して、自車周囲の画像を撮像する４つの車載カメラ１ａ〜１ｄと、自車の車室内に設置されたディスプレイ２とが接続されている。

車載カメラ１ａ〜１ｄは、例えば１８０度程度の画角を有する広角のＣＣＤカメラ或いはＣＭＯＳカメラよりなり、これら４つの車載カメラ１ａ〜１ｄで自車を中心とした全周囲の画像を撮像できるように、自車の前後左右の適所に各々設置されている。具体的には、例えば図２に示すように、車載カメラ１ａはフロントグリルなどの自車前方の所定位置に設置され、例えば自車から５ｍ程度の範囲の前方の領域を斜めに見下ろした画像（以下、フロントビュー画像という。）を撮像する。また、車載カメラ１ｂは左ドアミラーなどの自車左側方の所定位置に設置され、例えば自車から５ｍ程度の範囲の左側方の領域を斜めに見下ろした画像（以下、左サイドビュー画像という。）を撮像する。また、車載カメラ１ｃはリアフィニッシャなどの自車後方の所定位置に設置され、例えば自車から５ｍ程度の範囲の後方の領域を斜めに見下ろした画像（以下、リアビュー画像という。）を撮像する。また、車載カメラ１ｄは右ドアミラーなどの自車右側方の所定位置に設置され、例えば自車から５ｍ程度の範囲の右側方の領域を斜めに見下ろした画像（以下、右サイドビュー画像という。）を撮像する。これら４つの車載カメラ１ａ〜１ｄは、撮像した画像のデータをコントローラ１０に対して随時供給している。

コントローラ１０は、制御プログラムに従った各種演算処理を実行するＣＰＵや、制御プログラムを格納するＲＯＭ、ＣＰＵの演算処理のワークエリアとして用いられるＲＡＭ、画像データを一時的に格納するフレームメモリ、入出力回路等を備えた電子制御ユニット（ＥＣＵ）として構成される。このコントローラ１０は、４つの車載カメラ１ａ〜１ｄで撮像された画像を用いて自車周囲を自車上方の仮想視点から見下ろした俯瞰画像（以下、トップビュー画像という。）を生成する機能を持つ。また、コントローラ１０は、生成したトップビュー画像をディスプレイ２に表示しながら自車の駐車動作を支援する支援機能を持つ。ここで、コントローラ１０が実行する駐車支援は、例えば、自車のドライバによりトップビュー画像上で目標駐車位置が指定されたときに、自車の現在位置（駐車開始位置）から後退開始位置まで一旦前進した後に後退して目標駐車位置に至る一連の誘導経路を算出し、この誘導経路に沿って自車を目標駐車位置へと誘導するものである。なお、自車を目標駐車位置へ誘導する方法としては、（１）ドライバの運転操作を補助するための各種ガイド線をトップビュー画像上に重畳してディスプレイ２に表示させる、（２）自車が誘導経路に沿って移動するようにステアリングを自動制御する、（３）ステアリング操作に加えてアクセル、ブレーキ操作も自動制御するなどが挙げられるが、本実施形態では（１）の方法で誘導を行う場合を例示する。勿論、上記の（２）、（３）の誘導を行う場合にも本発明は有効に適用できる。

図３は、コントローラ１０により生成されるトップビュー画像の概要を示す図である。コントローラ１０は、車載カメラ１ａで撮像されたフロントビュー画像、車載カメラ１ｂで撮像された左サイドビュー画像、車載カメラ１ｃで撮像されたリアビュー画像、車載カメラ１ｄで撮像された右サイドビュー画像をそれぞれ自車上方の仮想視点から見下ろした俯瞰画像に視点変換するとともに合成し、図３に示すようなトップビュー画像を生成する。ここで、視点変換前後の各画像における画素の位置関係は、各車載カメラ１ａ〜１ｄのレンズの特性及び取り付け角度により一意に決定するため、図３のようなトップビュー画像の生成は、視点変換前後の画素の配置を定義した変換マップ若しくは変換式を用いて各画像の画素を再配置することで容易に実現可能である。つまり、車載カメラ１ａ〜１ｄで撮像された各画像を画像入力用のフレームメモリに一時的に格納しておき、事前に定義された変換マップ若しくは変換式に従って、画像入力用のフレームメモリに格納された各画像から必要な画素を取り出して、トップビュー画像を出力するための画像出力用のフレームメモリ上の該当する画素アドレスに再配置することによって、図３のようなトップビュー画像を生成することができる。なお、図３に示すトップビュー画像において、画像エリアＡ１がフロントビュー画像を用いて生成された俯瞰画像、画像エリアＡ２が左サイドビュー画像を用いて生成された俯瞰画像、画像エリアＡ３がリアビュー画像を用いて生成された俯瞰画像、画像エリアＡ４が右サイドビュー画像を用いて生成された俯瞰画像である。また、画像の中央部は自車の位置であり、コンピュータグラフィックスで生成された仮想自車画像が重畳されている。

図４は、駐車支援の際にディスプレイ２に表示される画像の一例を示す図である。コントローラ１０は、例えば自車の車速が所定値未満となった場合などに、この図４に示すような監視画像をディスプレイ２に表示させる。この図４に示す監視画像は、ディスプレイ２の表示画面全体を左右に２分割して画面左側の表示エリアＳＡ１にはトップビュー画像を表示し、画面右側の表示エリアＳＡ２には通常はリアビュー画像を表示して、ドライバの操作に応じてリアビュー画像からフロントビュー画像、左サイドビュー画像、右サイドビューへと切り替えられるようにしたものである。なお、コントローラ１０による画像の入力及び出力は、車載カメラ１ａ〜１ｄの撮像周期と同期して行われるので、ディスプレイ４には以上のような監視画像が随時更新されながら動画として表示されることになる。

ディスプレイ２に監視画像として表示されるトップビュー画像は、上述したように自車を中心とした全周囲を自車上方の仮想視点から見下ろした画像であるため、自車のドライバはこのトップビュー画像を参照することで、路面上の白線等に対する自車の位置や距離感を的確に認識することが可能となる。ただし、この種のトップビュー画像を表示する機能を持つ従来の画像表示装置では、トップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまり、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域が予め定められた固定値とされており、例えば、画像エリアＡ１では自車前方の１．５ｍ〜２．５ｍ程度の領域、画像エリアＡ２では自車左側方の１．５ｍ〜２．５ｍ程度の領域、画像エリアＡ３では自車後方の２．５ｍ〜３．５ｍ程度の領域、画像エリアＡ４では自車右側方の１．５ｍ〜２．５ｍ程度の領域をそれぞれ表示対象としていた。このため、自車の動作状態によっては、ドライバが最も確認したいと考える領域の画像範囲が制限される場合があり、必ずしも最適な表示となっていなかった。

そこで、本実施形態の画像表示装置では、コントローラ１０が自車の動作状態を示す車両信号を入力して、入力した車両信号に応じてトップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまりトップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を変更することで、自車の動作に応じた最適なトップビュー画像をディスプレイ２に表示させるようにしている。具体的には、コントローラ１０には、図１に示すように、自車のシフトレバーの操作に連動してギア位置を検出するインヒビタースイッチ３や、自車のステアリング舵角を検出する舵角センサ４、自車の車速を検出する車速センサ５が接続されており、自車のギア位置信号や舵角信号、車速信号が車両信号としてコントローラ１０に入力される。また、本実施形態では、上述したようにコントローラ１０が駐車支援を行う機能を有しており、例えば、ディスプレイ２上に設けたタッチパネル６で構成される駐車支援開始ボタンを自車ドライバが押下するとコントローラ１０に駐車支援開始信号が入力されるが、この駐車支援開始信号も広義では自車の動作状態を示す信号であるので、車両信号として扱うものとする。コントローラ１０は、以上のギア位置信号、舵角信号、車速信号、駐車支援開始信号などの車両信号から自車の動作状態を把握し、現在の動作状態に応じて最適なトップビュー画像がディスプレイ２に表示されるように、トップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまり、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を変更する。

以下、具体的な駐車シーンを想定しながら、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を駐車支援と連動させて変更する方法について説明する。

図５（ａ）は車庫入れ駐車を行う場合の自車の典型的な挙動を示す図であり、図５（ｂ）は縦列駐車を行う場合の自車の典型的な挙動を示す図である。図中のＰ１は駐車初期位置、Ｐ２は目標駐車位置、Ｐ３は後退開始位置、Ｐ４は切り返し位置を示している。車庫入れ駐車を行う場合の自車の挙動としては、図５（ａ）に示すように、駐車初期位置Ｐ１から後退開始位置Ｐ３まで前進し、後退開始位置Ｐ３にて停止してギアをリバースに入れた後に、ステアリング操作しながら後退して目標駐車位置Ｐ２に到達するというのが一般的である。一方、縦列駐車を行う場合の自車の挙動としては、図５（ｂ）に示すように、駐車初期位置Ｐ１から後退開始位置Ｐ３まで前進し、後退開始位置Ｐ３にて停止してギアをリバースに入れた後に、ステアリング操作しながら後退し、切り返し位置Ｐ４にてステアリングの操作の方向を反転させ、ステアリングを操作しながら後退して目標駐車位置Ｐ２に到達するというのが一般的である。

以上のような車庫入れ駐車や縦列駐車を支援するため、コントローラ１０は、ディスプレイ２に上述した監視画像を表示しながら、ドライバの操作に応じた目標駐車位置Ｐ２及び後退開始位置Ｐ３の設定、駐車初期位置Ｐ１から目標駐車位置Ｐ２までの誘導経路の計算、目標駐車位置Ｐ２及び後退開始位置Ｐ３や誘導経路を明示するためのガイド線の重畳表示などを行う。

具体的には、自車が駐車初期位置Ｐ１に停車した状態では、まず、図６に示すような監視画像がディスプレイ２に表示されている。この図６の監視画像では、トップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲が従来の一般的なトップビュー画像と同等とされ、画像エリアＡ１には自車前方の１．５ｍ〜２．５ｍ程度の領域の俯瞰画像、画像エリアＡ２には自車左側方の１．５ｍ〜２．５ｍ程度の領域の俯瞰画像、画像エリアＡ３には自車後方の２．５ｍ〜３．５ｍ程度の領域の俯瞰画像、画像エリアＡ４には自車右側方の１．５ｍ〜２．５ｍ程度の領域の俯瞰画像がそれぞれ表示されている（以下、この初期状態における各画像エリアＡ１〜Ａ４の表示範囲を初期範囲という。）。また、画面右側の表示エリアＳＡ２にはリアビュー画像が表示され、リアビュー画像の下側の余白部分には、画面上のタッチパネル６で構成される駐車支援開始ボタン６ａが表示されている。

次に、図６の監視画像上で駐車支援開始ボタン６ａがドライバにより押下されると、コントローラ１０は駐車支援の開始を判断し、図７に示すように、トップビュー画像上に駐車枠Ｆ１を重畳して表示させる。この駐車枠Ｆ１は目標駐車位置Ｐ２を明示するためのガイド線であり、ドライバがトップビュー画像上でこの駐車枠Ｆ１の位置及び角度を調整することによって、ドライバの意図する所望の位置に目標駐車位置Ｐ２を設定できるようになっている。このとき、トップビュー画像として表示される自車の左右側方の表示対象領域（画像エリアＡ２，Ａ４の表示範囲）が図６のような初期範囲のままだと、目標駐車位置Ｐ２を設定したい左右側方の領域をトップビュー画像で確認することが困難となる。そこで、自車が停車した状態で駐車支援開始ボタン６ａが押下された場合には、図７に示すように、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を初期範囲よりも広い範囲に切り替えて、目標駐車位置Ｐ２の設定を適切且つ簡便に行えるようにする。また、トップビュー画像の画像エリアＡ２，Ａ４が拡大されることによってディスプレイ２の表示エリアＳＡ２が縮小されるため、この表示エリアＳＡ２には、例えばトップビュー画像上で駐車枠Ｆ１等を移動させるためのタッチキー６ｂなどをリアビュー画像に代えて表示する。なお、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域や、画像エリアＡ３で表示する自車後方の表示対象領域は初期範囲のままでよい。トップビュー画像の画像エリアＡ１，Ａ３の表示対象領域を初期範囲のままとすることで、トップビュー画像の仮想視点の位置が変化することなく図６の監視画像から図７の監視画像へと画面が遷移するので、違和感のない表示が可能となる。

ここで、以上のように駐車支援開始時にトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合の最適拡大範囲について説明する。駐車支援開始時におけるトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合、目標駐車位置Ｐ２を設定しやすくするとの観点からは、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域に目標駐車位置Ｐ２の全域が含まれることが望ましい。しかしながら、車庫入れ駐車時には、自車が駐車初期位置Ｐ１に停車しているときにディスプレイ２に表示されるトップビュー画像で車庫入れ駐車時の目標駐車位置Ｐ２の全域を表示するには、自車の左右側方の表示対象領域を大幅に拡大する必要が生じ、画質の劣化や立体物の歪みなどが無視できないレベルとなることが懸念される。そこで、駐車支援開始時にトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合には、最低限、縦列駐車時における目標駐車位置Ｐ２の全域がトップビュー画像の画像エリアＡ２，Ａ４で表示されるように自車の左右側方の表示対象領域を拡大するようにし、それ以上の拡大は、路面状況や画質劣化の度合いなどに応じて許容できる範囲で行うことが望ましい。具体的には、例えば画像エリアＡ２，Ａ４に対する画像認識などにより当該表示対象領域に立体物が含まれていないと判断される場合に限って、画素の拡大率が例えば４以上とならない範囲でさらに拡大できるようにする。

縦列駐車時における目標駐車位置Ｐ２の全域をトップビュー画像の画像エリアＡ２，Ａ４で表示することを考えた場合の自車左右側方の表示対象領域の最適な大きさは、図８に示すような駐車初期位置Ｐ１と目標駐車位置Ｐ２との標準的な位置関係に基づき、次式で求めることができる。
拡大後の自車左右側方の表示対象領域
＝（駐車初期位置Ｐ１と目標駐車位置Ｐ２との間隔Ｌ１）≒１ｍ
＋（目標駐車位置Ｐ２の全幅Ｌ２（＝自車の全幅×α（回転分））≒１．８ｍ
＋（目標駐車位置Ｐ２から縁石等の障害物までの距離Ｌ３）≒０．５ｍ
したがって、駐車支援開始時にトップビュー画像の画像エリアＡ２，Ａ４を拡大する場合は、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を初期範囲である１．５ｍ〜２．５ｍ程度から３．０ｍ〜３．５ｍ程度まで拡大するとよいことが分かる。なお、自車の左右側方の画像を撮像する車載カメラ１ｂ，１ｄでは、上述したように自車から５ｍ程度の広い範囲の画像を撮像しているので、拡大後のトップビュー画像に対応した変換マップ若しくは変換式を予め用意しておき、この変換マップ若しくは変換式に従って車載カメラ１ｂ，１ｄの撮像画像から切り出す範囲を変更することで、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域の拡大を容易に実現することができる。

次に、図７の監視画像上でドライバがタッチキー６ｂを操作して駐車枠Ｆ１を動かすし、所望の位置に目標駐車位置Ｐ２が設定されると、コントローラ１０は自車の現在位置（駐車初期位置Ｐ１）から後退開始位置Ｐ３を経由して目標駐車位置Ｐ２に至る一連の誘導経路を計算し、図９に示すように、トップビュー画像上に後退開始枠Ｆ２を重畳して表示させる。この後退開始枠Ｆ２は後退開始位置Ｐ３を明示するためのガイド線であり、ドライバがトップビュー画像上でこの後退開始枠Ｆ２の角度を調整することによって、ドライバの意図する所望の角度で後退開始位置Ｐ３を設定できるようになっている。なお、後退開始位置Ｐ３の位置は角度が設定されることで一意に特定され、ドライバの操作により後退開始位置Ｐ３の角度及び位置が変更されると、ドライバにより指定された後退開始位置Ｐ３を経由する誘導経路が新たに計算される。このとき、トップビュー画像として表示される自車前方の表示対象領域（画像エリアＡ１の表示範囲）が図６や図７のような初期範囲のままだと、後退開始枠Ｆ２が画像エリアＡ１の表示範囲から外れてしまって後退開始位置Ｐ３をトップビュー画像で確認することができない場合がある。そこで、駐車支援開始後、目標駐車位置Ｐ２が設定されて誘導経路が算出されるタイミングでは、図９に示すように、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域を初期範囲よりも広い範囲に切り替えて、後退開始位置Ｐ３を示す後退開始枠Ｆ２の少なくとも一部が画像エリアＡ１の表示範囲に含まれるようにする。なお、画像エリアＡ１で表示する自車前方の表示対象領域を拡大する場合には、それに合わせて画像エリアＡ３で表示する自車後方の表示対象領域を縮小する。これにより、トップビュー画像の仮想視点の位置が変化することなく図７の監視画像から図９の監視画像へと画面が遷移するので、違和感のない表示が可能となる。

このときの画像エリアＡ１の拡大範囲は、誘導経路とともに計算される駐車初期位置Ｐ１から後退開始位置Ｐ３までの距離に応じてその都度設定するようにしてもよいし、駐車初期位置Ｐ１と後退開始位置Ｐ３との一般的な位置関係から、例えば３．５ｍ〜４．０ｍといった固定値として予め定めておくようにしてもよい。なお、トップビュー画像の画像エリアＡ２，Ａ４を拡大する場合と同様に、自車前方の画像を撮像する車載カメラ１ａは十分に広い範囲の画像を撮像しているので、拡大後のトップビュー画像に対応した変換マップ若しくは変換式を予め用意しておき、この変換マップ若しくは変換式に従って車載カメラ１ａの撮像画像から切り出す範囲を変更することで、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域の拡大を容易に実現することができる。

次に、ドライバの操作に応じて誘導経路が確定し、自車が駐車初期位置Ｐ１に停止した状態から移動を開始すると、コントローラ１０は車速センサ５からの車速信号に基づいて自車が移動を開始したことを判断し、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を初期範囲に戻す。これにより、ディスプレイ２には、図１０のような監視画像が表示される。この図１０の監視画像では、ディスプレイ２の表示エリアＳＡ１と表示エリアＳＡ２とが通常サイズに戻るため、表示エリアＳＡ２にはリアビュー画像（ドライバ操作によってはフロントビュー画像や左右のサイドビュー画像も表示できる）が表示される。また、ディスプレイ２の表示エリアＳＡ１に表示されるトップビュー画像上に、ドライバの運転操作を補助するためのガイド線として、目標駐車位置Ｐ２を示す駐車枠Ｆ１や後退開始位置Ｐ３を示す後退開始枠Ｆ２のほか、誘導経路を表す経路ラインＬが重畳表示される。したがって、ドライバはトップビュー画像上に重畳表示される各種のガイド線を見ながら自車を後退開始位置Ｐ３まで前進させた後、目標駐車位置Ｐ２まで後退させるように運転操作を行うことで、目標駐車位置Ｐ２への駐車を適切に行うことができる。なお、図１０の監視画像の例では、駐車初期位置Ｐ１から後退開始位置Ｐ２までの誘導経路を表す経路ラインＬがトップビュー画像上に重畳表示されているが、自車が後退開始位置Ｐ３に到達した後にディスプレイ２に表示する監視画像では、後退開始位置Ｐ３から目標駐車位置Ｐ２までの誘導経路を表す経路ラインＬをトップビュー画像上に重畳表示すればよい。

ところで、以上のような監視画像をディスプレイ２に表示しながら自車を目標駐車位置Ｐ２へと誘導する場合、自車が移動している間はその移動方向の前方側の領域をトップビュー画像で広範囲に確認できるようにすれば、ドライバの運転操作をより効果的に支援することができる。このような観点から、自車が移動している間は、インヒビタースイッチ３からのギア位置信号や舵角センサ４からの舵角信号に応じて、トップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域（画像エリアＡ１〜Ａ４の表示範囲）を変更し、自車の移動方向の前方側をより広範囲に表示することが望ましい。以下、自車のギア位置や舵角に応じてトップビュー画像の各画像エリアＡ１〜Ａ４の表示範囲を変更する方法の具体例について説明する。

まず、ギア位置については、ギア位置がリバースの場合（自車が後退している場合）とリバース以外の場合（自車が前進している場合）とに分け、ギア位置がリバースの場合には、トップビュー画像の画像エリアＡ１で表示する自車前方の表示対象領域よりも画像エリアＡ３で表示する自車後方の表示対象領域を広くし、ギア位置がリバース以外の場合には、画像エリアＡ３で表示する自車後方の表示対象領域よりも画像エリアＡ１で表示する自車前方の表示対象領域を広くする。具体的には、上述したように画像エリアＡ１の初期範囲は自車前方の１．５ｍ〜２．５ｍ程度の領域、画像エリアＡ３の初期範囲は自車後方の２．５ｍ〜３．５ｍ程度の領域となっているので、ギア位置がリバースの場合に、画像エリアＡ１，Ａ２で表示する自車の前後の表示対象領域を初期範囲とする。そして、ギア位置がリバース以外に切り替えられたときに、画像エリアＡ１，Ａ２で表示する自車の前後の表示対象領域を初期範囲から変更し、自車前方の表示対象領域は１．５ｍ〜２．５ｍ程度から２．５ｍ〜３．５ｍ程度まで拡大し、自車後方の表示対象領域は２．５ｍ〜３．５ｍ程度から１．５ｍ〜２．５ｍ程度まで縮小する。

次に、舵角については、ステアリングが中立付近の場合と、左に回されている場合と、右に回されている場合とに分け、ステアリングが中立付近の場合には、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右の表示対象領域を均等とし、ステアリングが左に回されている場合には、画像エリアＡ４で表示する自車右側方の表示対象領域よりも画像エリアＡ２で表示する自車左側方の表示対象領域を広くし、ステアリングが右に回されている場合には、画像エリアＡ２で表示する自車左側方の表示対象領域よりも画像エリアＡ４で表示する自車右側方の表示対象領域を広くする。

具体的には、舵角信号から判定される自車の舵角θが左方向転舵時に正、右方向転舵時に負の値となるものとし、左フル転舵時のステアリング舵角をθｍａｘ（＞０）、右フル転舵時のステアリング舵角をθｍｉｎ（＜０）、中立付近かどうかを判定するための閾値となる微小なステアリング舵角をθ１（＞０），θ２（＜０）としたときに、画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を、舵角θの値に応じて以下のように変更する。
θ１≦θ≦θｍａｘ：自車の左側方の表示対象領域を２．５ｍ〜３．５ｍ程度、自車の右側方の表示対象領域を０．５ｍ〜１．５ｍ程度とする。
θ２≦θ≦θ１：自車の左側方の表示対象領域と右側方の表示領域をともに初期範囲とする。
θｍｉｎ≦θ≦θ２：自車の左側方の表示対象領域を０．５ｍ〜１．５ｍ程度、自車の右側方の表示対象領域を２．５ｍ〜３．５ｍ程度とする。

なお、ドライバの運転操作によっては、ステアリングが中立付近かどうかを判定するための閾値となるθ１，θ２付近で舵角θがふらつくことによってディスプレイ２に表示されるトップビュー画像が頻繁に切り替わり、画面が煩雑となる懸念がある。そこで、舵角θに応じた表示対象領域の変更にヒステリシスを持たせた構成としてもよい。具体的には、ステアリングが中立付近であるか左に回されている状態であるかを判定する閾値θ１として、ステアリングが左方向に変化しているとき（θの値が増加しているとき）の閾値θ１−１と、ステアリングが右方向に変化しているとき（θの値が減少しているとき）の閾値θ１−２とを設定しておき、ステアリングが左方向に変化して舵角θが閾値θ１−１を超えたら自車の左右側方の表示対象領域を変更する。そして、この状態からステアリングが右方向に戻されて舵角θが閾値θ１−１を下回っても表示対象領域の変更は行わず、ステアリングがさらに右方向に戻されて舵角θが閾値θ１−２を下回った段階で表示対象領域の変更を行う。同様に、ステアリングが中立付近であるか右に回されている状態であるかを判定する閾値θ２として、ステアリングが右方向に変化しているとき（θの値が減少しているとき）の閾値θ２−１と、ステアリングが左方向に変化しているとき（θの値が増加しているとき）の閾値θ２−２とを設定しておき、ステアリングが右方向に変化して舵角θが閾値θ２−１を下回ったら自車の左右側方の表示対象領域を変更する。そして、この状態からステアリングが左方向に戻されて舵角θが閾値θ２−１を超えても表示対象領域の変更は行わず、ステアリングがさらに右方向に戻されて舵角θが閾値θ２−２を超えた段階で表示対象領域の変更を行う。このように、舵角θに応じた表示対象領域の変更にヒステリシスを持たせた構成とすることで、舵角θがθ１，θ２付近でふらつく場合にトップビュー画像が頻繁に切り替わらないようにすることが可能となり、見やすい表示とすることができる。

以上説明したギア位置に応じた表示対象領域の変更と舵角に応じた表示対象領域の変更とを組み合わせると、ディスプレイ２に表示されるトップビュー画像は、自車のギア位置及び舵角に応じて図１１に示すように遷移する。すなわち、ギア位置がリバースで舵角が中立より左であれば、自車の後方と左側方の表示対象領域が広くなり、ギア位置がリバース以外で舵角が中立より左であれば、自車の前方と左側方の表示対象領域が広くなる。また、ギア位置がリバースで舵角が中立付近であれば、自車の左右側方の表示領域は均等で自車後方の表示対象領域が広くなり、ギア位置がリバース以外で舵角が中立であれば、自車の左右側方の表示領域は均等で自車前方の表示対象領域が広くなる。また、ギア位置がリバースで舵角が中立より右であれば、自車の後方と右側方の表示対象領域が広くなり、ギア位置がリバース以外で舵角が中立より左であれば、自車の前方と右側方の表示対象領域が広くなる。これにより、自車の移動方向の前方側の領域がトップビュー画像上で広く表示されることとなり、駐車時におけるドライバの運転操作をより効果的に支援することが可能となる。

なお、以上のような自車のギア位置及び舵角に応じた自車周囲の表示対象領域の変更は、駐車支援を行っている場合に限らず、通常の低速走行時など、ディスプレイ２にトップビュー画像を表示している状況では常に行うようにしてもよい。駐車支援を行っている場合以外であっても、自車の移動方向の前方側の領域をトップビュー画像上で広く表示することにより、トップビュー画像をより有益な表示とすることができる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の画像表示装置によれば、コントローラ１０が自車の動作状態を示す車両信号を入力して、入力した車両信号に応じてトップビュー画像を構成する各画像エリアＡ１〜Ａ４の表示範囲、つまりトップビュー画像としてディスプレイ２に表示する自車周囲の表示対象領域を変更するようにしているので、ディスプレイ２の限られた表示サイズの中で自車の動作に応じた最適なトップビュー画像を効率よく表示することができる。

［第２の実施形態］
次に、本発明を適用した画像表示装置の変形例（第２の実施形態）について説明する。本実施形態の画像表示装置は、駐車支援の開始時にトップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を拡大する手法が上述した第１の実施形態とは異なるものである。以下、第１の実施形態との相違点についてのみ説明する。

第１の実施形態の画像表示装置では、上述したように、駐車支援の開始時にトップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を均等に拡大していたが、本実施形態の画像表示装置は、駐車支援の開始時に自車の駐車動作の種別（車庫入れ駐車か縦列駐車か）及び駐車方向（自車位置に対する目標駐車位置Ｐ２の方向）を判定し、当該判定の結果に応じて自車の左右側方の表示対象領域の拡大する方向及び大きさを決定する。

具体的には、車庫入れ駐車の場合は縦列駐車の場合よりも自車の左右側方を広範囲に確認できるようにすることが望まれるため、車庫入れ駐車時には、トップビュー画像の画像エリアＡ２，Ａ４で表示する自車の左右側方の表示対象領域を、縦列駐車時よりも広い範囲に拡大する。また、目標駐車位置Ｐ２を自車の左側に設定する場合にはトップビュー画像の画像エリアＡ２で表示する自車の左側方の表示対象領域のみを拡大して画像エリアＡ４で表示する自車の右側方の表示対象領域は初期範囲のままとし、目標駐車位置Ｐ２を自車の右側に設定する場合にはトップビュー画像の画像エリアＡ４で表示する自車の右側方の表示対象領域のみを拡大して画像エリアＡ２で表示する自車の左側方の表示対象領域は初期範囲のままとする。

駐車支援の開始時に駐車種別及び駐車方向を判定する方法としては、ドライバに駐車種別及び駐車方向を指定させる方法と、画像から白線等を認識して駐車種別及び駐車方向を自動判定する方法とが考えられる。ドライバに駐車種別及び駐車方向を指定させる場合には、例えば図６に示したような監視画像上で駐車支援開始ボタン６ａがドライバによって押下された後に、車庫入れ駐車か縦列駐車かの選択と左側駐車か右側駐車かの選択を行う画面を表示し、この画面上でのドライバの操作に応じて、駐車種別及び駐車方向を判定すればよい。また、画像から白線等を認識して駐車種別及び駐車方向を自動判定する場合は、自車の車幅方向と略平行な白線の長さと、自車の車幅方向に略垂直な白線と自車間の距離とから駐車種別及び駐車方向を判定すればよい。すなわち、自車の車幅方向と略平行な白線を画像から検出し、その長さを自車全長と比較することで、白線長さが自車全長よりも長ければ車庫入れ駐車、短ければ縦列駐車と判定できる。また、自車の車幅方向に略垂直な白線を自車の左右側方からそれぞれ検出し、自車の左側方にて検出された白線までの距離と自車の右側方にて検出された白線までの距離とを比較することで、左側方にて検出された白線までの距離の方が短ければ左側駐車、右側方にて検出された白線までの距離の方が短かれば右側駐車と判定できる。

図１２は、本実施形態の画像表示装置において駐車支援の開始時に駐車種別及び駐車方向（自車位置に対する目標駐車位置Ｐ２の方向）に応じてディスプレイ２に表示されるトップビュー画像を纏めたものである。この図１２に示すように、駐車方向が左側であれば自車の左側方の表示対象領域が広くなり、駐車方向が右側であれば自車の右側方の表示対象領域が広くなる。また、駐車種別が縦列駐車の場合に比べて駐車種別が車庫入れ駐車の場合の方が、自車の左右側方の表示対象領域が広範囲に拡大される。これにより、ドライバにとって目標駐車位置Ｐ２の設定がしやすいトップビュー画像をディスプレイ２に表示することができる。また、表示範囲を必要な範囲に絞ることで画質の劣化や歪みが目立たなくなったり、トップビュー画像上で駐車枠Ｆ１等を移動させるためのタッチキー６ｂを表示するための領域が増えるなどのメリットがある。

［第３の実施形態］
次に、本発明を適用した画像表示装置の他の変形例（第３の実施形態）について説明する。本実施形態の画像表示装置は、駐車支援開始後にトップビュー画像として表示する自車周囲の表示対象領域を拡大する手法が、上述した第１の実施形態とは異なるものである。以下、第１の実施形態との相違点についてのみ説明する。

第１の実施形態の画像表示装置では、上述したように、仮想視点の位置は変えずに車載カメラ１ａ〜１ｄの撮像画像から切り出す範囲を広げることで、トップビュー画像として表示する自車周囲の表示対象領域を拡大するようにしていたが、本実施形態の画像表示装置は、トップビュー画像の表示縮尺を変更することで、トップビュー画像として表示する自車周囲の表示対象領域を均等に拡大する。

図１３は、本実施形態の画像表示装置においてディスプレイ２に表示される監視画像の画像例であり、（ａ）は駐車支援開始前の監視画像の例を示し、（ｂ）は駐車支援開始後の監視画像の例を示している。本実施形態の画像表示装置では、自車が低速走行中、若しくはドライバによって駐車支援開始ボタンが押下される前は、トップビュー画像として表示する自車周囲の表示対象領域が初期範囲とされ、図１３（ａ）のような監視画像がディスプレイ２に表示される。ここで、自車が駐車初期位置に停車してドライバによって駐車支援開始ボタンが押下されると、コントローラ１０が駐車支援の開始を判断し、トップビュー画像の表示縮尺を大きくして、図１３（ｂ）のような監視画像をディスプレイ２に表示させる。なお、図１３（ａ）中のＷ１及び図１３（ｂ）中のＷ２は、それぞれ自車の左右側方の１．５ｍ〜２．５ｍ程度の領域を表示するために必要な画面上の表示幅を示しているが、図１３（ａ）の画像例よりも図１３（ｂ）の画像例の方がトップビュー画像の縮尺が大きいため、Ｗ１＞Ｗ２となる。

トップビュー画像の表示縮尺の変更は、例えば、複数の縮尺に対応させてトップビュー画像を生成するための変換マップ若しくは変換式を複数用意しておき、目的とする表示縮尺に対応する変換マップ若しくは変換式を用いてトップビュー画像を生成することで容易に実現することができる。

以上のように、本実施形態の画像表示装置では、駐車支援開始後にトップビュー画像の表示縮尺を変更することで、トップビュー画像として表示する自車周囲の表示対象領域を均等に拡大するようにしているので、ユーザは目標駐車位置の設定だけでなく後退開始位置の角度の調整なども１つの画面上の操作で行うことができ、利便性が増す。なお、目標駐車位置や後退開始位置が確定した後に自車が移動を開始した場合は、第１の実施形態と同様に自車のギア位置及び舵角に応じて自車周囲の表示対象領域を変更するトップビュー画像をディスプレイ２に表示させるようにしてもよいし、図１３（ｂ）のような自車周囲の表示対象領域を均等に拡大したトップビュー画像を継続してディスプレイ２に表示させるようにしてもよい。

以上、第１乃至第３の実施形態の画像表示装置について具体的に説明したが、以上の各実施形態は本発明の適用例を例示的に示したものであり、本発明の技術的範囲は、以上の実施形態の説明で開示した内容に限定されるものではなく、これらの開示から容易に導き得る様々な代替技術も含まれることは勿論である。

１ａ〜１ｄ 車載カメラ
２ ディスプレイ
３ インヒビタースイッチ
４ 舵角センサ
５ 車速センサ
６ タッチパネル
１０ コントローラ

Claims (8)

1. 車両周囲を撮像する複数の車載カメラと、
   前記複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
   前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備え、
   前記俯瞰画像生成手段は、車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の左右の表示対象領域を予め設定した初期範囲よりも広い範囲に拡大し、
   前記俯瞰画像生成手段は、前記車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする車両用画像表示装置。
2. 車両周囲を撮像する複数の車載カメラと、
   前記複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
   前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備え、
   前記俯瞰画像生成手段は、車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域を、予め設定した初期範囲よりも広い範囲に切り替え、
   前記俯瞰画像生成手段は、車両の駐車動作の種別及び車両の現在位置に対する目標駐車位置の方向を判定し、当該判定の結果に応じて車両の左右の表示対象領域の拡大する方向及び大きさを決定し、
   前記俯瞰画像生成手段は、車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする車両用画像表示装置。
3. 車両周囲を撮像する複数の車載カメラと、
   前記複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成する俯瞰画像生成手段と、
   前記俯瞰画像生成手段により生成された俯瞰画像を表示する表示手段とを備え、
   前記俯瞰画像生成手段は、車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の前後の表示対象領域は予め設定した初期範囲と同等とし、車両の左右の表示対象領域のみを前記初期範囲よりも広い範囲に拡大することを特徴とする車両用画像表示装置。
4. 前記俯瞰画像生成手段は、車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、車両の前後の表示対象領域は前記初期範囲と同等とし、車両の左右の表示対象領域のみを拡大することを特徴とする請求項１に記載の車両用画像表示装置。
5. 前記駐車支援装置は、車両が現在位置から後退開始位置に移動した後に目標駐車位置に到達する一連の駐車動作を支援するものであり、
   前記俯瞰画像生成手段は、車両の左右の表示対象領域を拡大した後、前記目標駐車位置が確定した場合に、少なくとも前記後退開始位置の一部が表示対象領域に含まれるように、車両前方の表示対象領域を拡大することを特徴とする請求項１、３又は４に記載の車両用画像表示装置。
6. 複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成して表示手段に表示するに際し、
   車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の左右の表示対象領域を予め設定した初期範囲よりも広い範囲に拡大し、
   前記車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする俯瞰画像の表示方法。
7. 複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成して表示手段に表示するに際し、
   車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域を、予め設定した初期範囲よりも広い範囲に切り替え、
   車両の駐車動作の種別及び車両の現在位置に対する目標駐車位置の方向を判定し、当該判定の結果に応じて車両の左右の表示対象領域の拡大する方向及び大きさを決定し、
   車両の左右の表示対象領域を拡大した後、車両が移動を開始したと判断した場合に、車両の左右の表示対象領域を前記初期範囲に戻すことを特徴とする俯瞰画像の表示方法。
8. 複数の車載カメラで撮像された複数の画像を用いて車両周囲を車両上方から見下ろした俯瞰画像を生成して表示手段に表示するに際し、
   車両信号として車両の車速信号及び車両の駐車動作を支援する駐車支援装置の駐車支援開始信号を入力し、入力した車両信号に基づいて車両が停止中で且つ前記駐車支援装置による駐車支援が開始されたと判断した場合に、少なくとも縦列駐車時の目標駐車位置の全域が表示対象領域に含まれるように、前記俯瞰画像として前記表示手段に表示させる車両周囲の表示対象領域のうち、車両の前後の表示対象領域は予め設定した初期範囲と同等とし、車両の左右の表示対象領域のみを前記初期範囲よりも広い範囲に拡大することを特徴とする俯瞰画像の表示方法。