JP5136256B2 - 駐車支援装置および画像表示方法 - Google Patents

Description

本発明は、自車周囲の俯瞰画像を表示手段に表示して自車の駐車動作を支援する駐車支援装置および画像表示方法に関する。

従来、自車に搭載された複数のカメラで自車周辺の画像を撮像し、得られた画像を俯瞰画像に視点変換してディスプレイに表示する技術が知られている（例えば、特許文献１参照。）。俯瞰画像は、自車周辺を車両上方の仮想視点から見下ろした画像としてディスプレイに表示されるため、路面上の白線等に対する車両の位置や距離感を客観的に把握しやすく、例えば自車の駐車動作を支援する上で有効な画像である。
特開２００３−１６９３２３号公報

しかしながら、俯瞰画像は、カメラにより撮像された画像を、路面を投影面として視点変換して生成される画像であるため、高さのある立体物はカメラから離れる方向に倒れ込んだ画像として表示される。このため、俯瞰画像をディスプレイに表示して自車の駐車動作を支援する際、自車を駐車させる位置である目標駐車位置の近傍に立体物があると、自車の位置によっては当該立体物が目標駐車位置側に倒れ込んでディスプレイに表示され、目標駐車位置を画像上で認識しづらくなるという問題があった。

本発明は、以上のような従来の問題点に鑑みて創案されたものであって、目標駐車位置の近傍に立体物がある場合でも、目標駐車位置を的確に認識できる画像を表示して、自車の駐車動作を適切に支援することができる駐車支援装置および画像表示方法を提供することを目的としている。

本発明は、自車に搭載された撮像手段で撮像した自車周辺の画像を俯瞰画像に視点変換処理して表示手段に表示する際に、俯瞰画像上で車両を駐車させる位置である目標駐車位置を認識するとともに、当該目標駐車位置の近傍に存在する立体物を検知し、自車の位置と目標駐車位置及び立体物の位置との関係に基づいて、俯瞰画像上で立体物の画像が目標駐車位置側に倒れ込むか否かを判定し、立体物の画像が目標駐車位置側に倒れ込むと判定したときに、俯瞰画像上における立体物の画像を圧縮して表示手段に表示させることで、前記課題を解決する。

本発明によれば、俯瞰画像上で立体物の画像が目標駐車位置側に倒れ込む場合に、俯瞰画像上における立体物の画像が圧縮されて表示手段に表示されるので、目標駐車位置の近傍に立体物がある場合でも、車両の位置に関わらず目標駐車位置を俯瞰画像上で的確に認識させることができる。

以下、本発明の具体的な実施形態として、自車を中心にその全周囲を自車上方の仮想視点から見下ろした俯瞰画像（以下、全周囲俯瞰画像という。）を生成して表示する機能を持つ駐車支援装置に本発明を適用した例について、図面を参照しながら説明する。

図１は、本実施形態の駐車支援装置の概略構成を示すブロック図である。本実施形態の駐車支援装置は、自車に搭載されたフロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラで撮像した画像を用いて画像処理装置１０で全周囲俯瞰画像を生成し、この全周囲俯瞰画像を自車の車室内に設置されたディスプレイ５に表示して自車の駐車動作を支援するものであり、画像処理装置１０の入力側に４つの車載カメラ１〜４が接続され、画像処理装置１０の出力側にディスプレイ５が接続された構成とされる。また、画像処理装置１０には、自車のドライバの操作入力を受け付ける操作入力デバイス６が接続されている。

フロントカメラ１、リアカメラ２、右サイドカメラ３、左サイドカメラ４の４つの車載カメラは、例えば、１８０度程度の画角を有する広角のＣＣＤカメラ或いはＣＭＯＳカメラよりなり、これら４つの車載カメラ１〜４で自車周囲を囲む全ての領域の画像を撮像できるように、自車の前後左右に取り付けられている。具体的には、図２に示すように、フロントカメラ１は、例えば自車前方のフロントグリルなどに設置され、自車の前方の領域を路面に対して斜めに見下ろす方向で撮像する。また、リアカメラ２は、例えば自車後方のルーフスポイラなどに設置され、自車後方の領域を路面に対して斜めに見下ろす方向で撮像する。また、右サイドカメラ３は、例えば自車の右サイドミラーなどに設置され、自車右側方の領域を路面に対して斜めに見下ろす方向で撮像する。さらに、左サイドカメラ４は、例えば自車の左サイドミラーなどに設置され、自車左側方の領域を路面に対して斜めに見下ろす方向で撮像する。これら４つの車載カメラ１〜４は、所定の撮像周期（例えば１００ｍｓｅｃ）で自車周辺の各領域の画像を撮像する。これらの画像は、画像処理装置１０に随時入力される。

ディスプレイ５は、画像処理装置１０により生成された全周囲俯瞰画像を表示して自車のドライバに提示するものであり、例えば液晶表示装置などが用いられる。このディスプレイ５は、自車の車室内のセンターコンソールなど、自車のドライバにとって見易い位置に設置されており、画像処理装置１０から出力される画像信号に基づいて、画像処理装置１０で生成された全周囲俯瞰画像を表示する。

操作入力デバイス６は、自車のドライバによる操作入力を受け付けるものであり、例えば各種の操作ボタンやジョイスティックなどが用いられる。また、ディスプレイ５の表示画面にタッチパネルを設け、このタッチパネルを操作入力デバイス６として用いるようにしてもよい。この操作入力デバイス６を用いた自車のドライバによる操作入力は、画像処理装置１０に入力される。

画像処理装置１０は、所定の画像処理プログラムに従って動作するマイクロコンピュータやフレームメモリなどを備えて構成され、車載カメラ１〜４で撮像した画像を入力して全周囲俯瞰画像を生成し、その画像信号をディスプレイ５に出力する。この画像処理装置１０による処理は車載カメラ１〜４の画像の撮像周期に合わせて行われ、車載カメラ１〜４から新たな画像が入力されるたびに画像処理装置１０にて最新の全周囲俯瞰画像が生成され、その画像信号がディスプレイ５に出力される。したがって、ディスプレイ５には画像処理装置１０にて生成された全周囲俯瞰画像が随時更新されながら、動画として表示される。なお、画像処理装置１０は、マイクロコンピュータの代わりに各処理機能を回路として組み込んだＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programable Gate Array）などを用いて構成することも可能である。

画像処理装置１０は、その内部構成を機能的に捉えた場合、図３に示すように、視点変換部１１と、目標駐車位置認識部１２と、予測軌跡算出部１３と、立体物検知部１４と、画像記憶部１５と、表示制御部１６とを備えた構成とされる。

視点変換部１１は、フロントカメラ１から入力された自車前方の領域の画像、リアカメラ２から入力された自車後方の領域の画像、右サイドカメラ３から入力された自車右側方の領域の画像、左サイドカメラ４から入力された自車左側方の領域の画像に対してそれぞれ視点変換処理を行って、自車前方の路面を投影面とする俯瞰画像、自車後方の路面を投影面とする俯瞰画像、自車右側方の路面を投影面とする俯瞰画像、自車左側方の路面を投影面とする俯瞰画像の４つの俯瞰画像を生成する。この視点変換部１１による視点変換処理は、各車載カメラ１〜４のレンズ特性や取り付け位置、角度などから一意に特定される変換前後の画像における各画素の対応関係を変換テーブルとして保持しておくことで、この変換テーブルを用いた画像上の各画素の座標変換により実現可能である。

また、視点変換部１１は、以上のように４つの車載カメラ１〜４の撮像画像から生成した４つの俯瞰画像を繋ぎ合わせることで、図４に示すように、自車を中心としてその全周囲を自車上方の仮想視点から見下ろした全周囲俯瞰画像を生成する。この図４に示す全周囲俯瞰画像において、画像領域Ａ１がフロントカメラ１の撮像画像を視点変換して生成した俯瞰画像であり、画像領域Ａ２がリアカメラ２の撮像画像を視点変換して生成した俯瞰画像であり、画像領域Ａ３が右サイドカメラ３の撮像画像を視点変換して生成した俯瞰画像であり、画像領域Ａ４が左サイドカメラ４の撮像画像を視点変換して生成した俯瞰画像である。また、画像中央の車両形状の画像は自車位置を表す仮想自車画像であり、コンピュータグラフィックスなどで作成された画像を重畳したものである。

目標駐車位置認識部１２は、視点変換部１１が生成した全周囲俯瞰画像上で、自車を駐車させる位置である目標駐車位置を認識する。具体的には、目標駐車位置認識部１２は、例えば視点変換部１１が生成した全周囲俯瞰画像に対して既知の白線認識の処理を行い、自車周辺に車幅相当の間隔を空けて互いに平行に並ぶ一対の白線が認識された場合に、その一対の白線の間の領域を目標駐車位置として認識する。また、目標駐車位置認識部１２は、自車のドライバが操作入力デバイス６を用いて全周囲俯瞰画像上の任意の位置に駐車枠を設定した場合に、そのドライバの操作入力により設定された駐車枠で囲まれる領域を目標駐車位置として認識するようにしてもよい。

予測軌跡算出部１３は、目標駐車位置認識部１２が認識した目標駐車位置と自車の現在位置との位置関係に基づいて、自車が目標駐車位置に到達するまでの予測軌跡を算出する。具体的には、予測軌跡算出部１３は、例えば自車が目標駐車位置に後退走行しながら駐車するものと仮定して、目標駐車位置まで切り返しを行うことなく後退走行で到達できる位置に自車がいるときは、自車の現在位置と目標駐車位置とを結ぶ円弧または直線を予測軌跡として算出する。また、目標位置まで後退走行で到達するには切り返しが必要となる位置に自車がいるときは、自車の現在位置と切り返し位置とを結ぶ円弧または直線と、切り返し位置と目標駐車位置とを結ぶ円弧または直線とを予測軌跡として算出する。

立体物検知部１４は、目標駐車位置認識部１２が認識した目標駐車位置の近傍に存在する立体物を検知する。具体的には、立体物検知部１４は、例えば視点変換部１１が生成した全周囲俯瞰画像の中で目標駐車位置認識部１２が認識した目標駐車位置の近傍（例えば目標駐車位置を中心とする周囲５ｍ）の画像領域を対象として既知のパターン認識処理を行い、予め記憶しておいた車両形状パターンなどの立体物のパターンと一致若しくは類似するパターンが検出された場合に、目標駐車位置の近傍に立体物が存在することを検知する。また、一般的に俯瞰画像上における立体物は自車の移動に伴って形状が変化することが知られているため、立体物検知部１４は、例えば全周囲俯瞰画像の中の目標駐車位置近傍の画像領域内で検知される物体の形状が自車の移動に伴って大きく変化する場合に、目標駐車位置の近傍に立体物が存在することを検知するようにしてもよい。

画像記憶部１５は、視点変換部１１が生成した全周囲俯瞰画像の中の目標駐車位置の画像、特に立体物検知部１４が検知した立体物の画像が目標駐車位置側に倒れ込んでいないときの目標駐車位置の画像を記憶する。視点変換部１１が生成する全周囲俯瞰画像は、上述したように車載カメラ１〜４から新たな画像が入力されるたびに更新されるが、立体物検知部１４が検知した立体物の画像が目標駐車位置側に倒れ込んでいないときの目標駐車位置の画像については、この画像記憶部１５に格納されて保持される。

表示制御部１６は、視点変換部１１が生成した全周囲俯瞰画像上に、目標駐車位置認識部１２が認識した目標駐車位置を示す駐車枠や、予測軌跡算出部１３が算出した予測軌跡を示す軌跡ラインなどを描画してディスプレイ５に表示させる。また、表示制御部１６は、視点変換部１１が生成した全周囲俯瞰画像を、必要に応じて自車のドライバが見易い画像に調整してディスプレイ５に表示させる機能を有しており、特に、本発明に関わる特徴的な機能として、立体物検知部１４により目標駐車位置近傍の立体物が検知されたときに、視点変換部１１が生成した全周囲俯瞰画像上で立体物の画像が目標駐車位置側に倒れ込むかどうかを判定する機能（倒れ込み判定手段）と、全周囲俯瞰画像上で立体物の画像が目標駐車位置側に倒れ込むと判定した場合に、立体物の画像を目標駐車位置に重ならない程度の大きさに圧縮してディスプレイ５に表示させる機能（画像調整手段）とを有している。

以下、図５のような駐車シーンを例に挙げながら、この表示制御部１６による画像調整の処理の概要について具体的に説明する。

図５の例は、駐車車両ＶＰ１と駐車車両ＶＰ２との間の目標駐車位置Ｓに自車Ｖを駐車させる場合の例である。自車Ｖは、目標駐車位置Ｓに後退走行で駐車できるようにするために、前進しながら図５中の位置Ａ，Ｂを経由して切り返し位置Ｃに到達し、そこで方向転換して後退走行しながら目標駐車位置Ｓに移動する。この図５に示す駐車シーンにおいて、自車Ｖが位置Ａを通過する際に視点変換部１１により生成される全周囲俯瞰画像の画像例を図６（ａ）に、自車Ｖが位置Ｂを通過する際に視点変換部１１により生成される全周囲俯瞰画像の画像例を図６（ｂ）に、自車Ｖが位置Ｃに到達したときに視点変換部１１により生成される全周囲俯瞰画像の画像例を図６（ｃ）にそれぞれ示す。なお、図６（ａ）〜図６（ｃ）の画像例は、いずれも自車位置を中心として生成された全周囲俯瞰画像の目標駐車位置Ｓ近傍の一部を示したものである。

上述したように、視点変換部１１が生成する全周囲俯瞰画像は、４つの車載カメラ１〜４で撮像された画像をそれぞれ路面を投影面とする俯瞰画像に視点変換し、これら４つの俯瞰画像を繋ぎ合わせることで生成されるため、この全周囲俯瞰画像において高さのある立体物である駐車車両ＶＰ１，ＶＰ２の画像は、これら駐車車両ＶＰ１，ＶＰ２を撮像するカメラから離れる方向に倒れ込んだ画像となる。このため、カメラによる駐車車両ＶＰ１，ＶＰ２の撮像方向の延長線上に目標駐車位置Ｓがあると、全周囲俯瞰画像上では、駐車車両ＶＰ１，ＶＰ２の画像が目標駐車位置Ｓ側に倒れ込んだ画像となる。

ここで、自車Ｖが位置Ａを通過する際には、駐車車両ＶＰ１はフロントカメラ１（または左サイドカメラ４）で撮像され、駐車車両ＶＰ２はリアカメラ２（または左サイドカメラ４）で撮像されるが、これらのカメラによる駐車車両ＶＰ１，ＶＰ２の撮像方向の延長線上に目標駐車位置Ｓは存在しないので、図６（ａ）に示すように、視点変換部１１が生成する全周囲俯瞰画像上において、駐車車両ＶＰ１，ＶＰ２の画像の目標駐車位置Ｓ側への倒れ込みは発生しない。

一方、自車Ｖが位置Ｂを通過する際には、駐車車両ＶＰ１は左サイドカメラ４で撮像され、この左サイドカメラ４による駐車車両ＶＰ１の撮像方向の延長線上に目標駐車位置Ｓが存在するため、図６（ｂ）に示すように、駐車車両ＶＰ１の画像が目標駐車位置Ｓ側へと倒れ込むことになる。また、自車Ｖが位置Ｃに到達したときは、駐車車両ＶＰ１はリアカメラ２で撮像され、このリアカメラ２による駐車車両ＶＰ１の撮像方向の延長線上に目標駐車位置Ｓが存在するため、図６（ｃ）に示すように、駐車車両ＶＰ１の画像が目標駐車位置Ｓ側へと倒れ込むことになる。

したがって、図５に示した駐車シーンにおいて、視点変換部１１が生成する全周囲俯瞰画像をそのままディスプレイ５に表示したのでは、自車Ｖが位置Ｂを通過する場合や位置Ｃに到達したときなど、自車Ｖの位置によっては駐車車両ＶＰ１の画像の倒れ込みによって目標駐車位置Ｓが遮蔽されてしまい、自車Ｖのドライバがディスプレイ５に表示された全周囲俯瞰画像上で目標駐車位置Ｓを認識しづらくなる。そこで、本実施形態の駐車支援装置においては、画像処理装置１０の表示制御部１６が、自車Ｖの位置と目標駐車位置Ｓおよび立体物（例えば駐車車両ＶＰ１）の位置との関係に基づいて、視点変換部１１が生成した全周囲俯瞰画像上で立体物検知部１４が検知した立体物（例えば駐車車両ＶＰ１）が目標駐車位置Ｓ側に倒れ込むかどうかを判定する。そして、立体物（例えば駐車車両ＶＰ１）が目標駐車位置Ｓ側に倒れ込むと判定した場合に、立体物（例えば駐車車両ＶＰ１）の画像を目標駐車位置Ｓに重ならない程度の大きさに圧縮してディスプレイ５に表示させるようにすることで、目標駐車位置の近傍に立体物がある場合でも、自車の位置に関わらず常に目標駐車位置を的確に認識できる全周囲俯瞰画像をディスプレイ５に表示できるようにしている。

図７は、図５に示した駐車シーンにおいて自車Ｖが位置Ｂを通過する際に、画像処理装置１０の表示制御部１６が、立体物である駐車車両ＶＰ１の画像を圧縮してディスプレイ５に表示させる手法の具体的な一例を説明する図である。ここで、圧縮とは、画像データを実質的な性質を保ったまま、データ量を減らした（データを間引いた）別のデータに変換することをいう。

図７（ａ）に示すように、全周囲俯瞰画像上において、駐車車両ＶＰ１の目標駐車位置Ｓから離間した側の画像端縁に沿った方向をＸ軸とし、これと直交する方向をＹ軸とする。画像処理装置１０の表示制御部１６は、この全周囲俯瞰画像のＸ軸方向における各点において、駐車車両ＶＰ１の画像のＹ軸方向に沿った長さＤと、駐車車両ＶＰ１の目標駐車位置Ｓから離間した側の画像端縁から目標駐車位置Ｓまでの距離Ｄ’とをそれぞれ測定する。そして、駐車車両ＶＰ１の画像の圧縮率αを、α＝Ｄ’／Ｄにより計算し、この圧縮率αにて駐車車両ＶＰ１の画像を圧縮する。これにより、図７（ｂ）に示すように、駐車車両ＶＰ１の画像が目標駐車位置Ｓに重ならない大きさに圧縮されてディスプレイ５に表示されることになる。

なお、圧縮率αは、Ｘ軸方向における各点において計算されるが、その中で最大値となる値を用いて駐車車両ＶＰ１の画像を圧縮するようにしてもよいし、Ｘ軸方向における各点において異なる圧縮率で駐車車両ＶＰ１の画像を圧縮するようにしてもよい。また、駐車車両ＶＰ１の画像の圧縮は、駐車車両ＶＰ１の画像が駐車目標位置Ｓに重ならない大きさに圧縮することを前提とするが、駐車目標位置Ｓを全周囲画像に対する白線認識処理により認識している場合には、目標駐車位置Ｓの目安となる白線も含めてこの白線に重ならない大きさに駐車車両ＶＰ１の画像を圧縮するようにしてもよい。

以上のように、駐車車両ＶＰ１の画像を目標駐車位置Ｓに重ならない大きさに圧縮した場合、全周囲俯瞰画像上の目標駐車位置Ｓには、駐車車両ＶＰ１の画像の倒れ込みが生じていた部分に画像の欠落が生じることになる。そこで、表示制御部１６は、この画像圧縮により生じる全周囲俯瞰画像上の画像欠落部分を、過去の目標駐車位置Ｓの画像を用いて補完することで、画像としての違和感を緩和させるようにしている。すなわち、画像処理装置１０には画像記憶部１５が設けられており、この画像記憶部１５に、立体物の画像が目標駐車位置側に倒れ込んでいないときの目標駐車位置の画像が記憶されている。表示制御部１６は、この画像記憶部１５に記憶されている目標駐車位置の画像を用いて、画像圧縮により生じる全周囲俯瞰画像上の画像欠落部分を補完して、全周囲俯瞰画像を違和感のない画像に調整した上でディスプレイ５に表示させるようにしている。

ところで、以上の説明では、全周囲俯瞰画像上における駐車車両ＶＰ１の画像の大きさを測定して当該駐車車両ＶＰ１の画像の圧縮率αを求めるようにしているが、本実施形態の駐車支援装置では、上述したように、画像処理装置１０の予測軌跡算出部１３により自車が目標駐車位置に到達するまでの予測軌跡を算出しているので、この予測軌跡上の各位置における立体物の画像の目標駐車位置側への倒れ込み度合いを事前に推定することが可能である。したがって、この推定結果を用いて、予測軌跡上の各位置における立体物の画像の圧縮率を事前に求めておくようにすれば、自車の移動に合わせて立体物の画像の圧縮率を適切に変化させながら、最適な画像の圧縮を簡便に行うことができる。

図８は、自車の予測軌跡として図５に示した自車Ｖの移動軌跡、つまり前進しながら図５中の位置Ａ，Ｂを経由して切り返し位置Ｃに到達し、そこで方向転換して後退走行しながら目標駐車位置Ｓに移動する移動軌跡が算出された場合に、予測経路上の各位置における駐車車両ＶＰ１の画像の倒れ込み度合いを事前に推定して、駐車車両ＶＰ１の画像の圧縮率を自車Ｖの移動に合わせて変化させる手法を説明する図である。

画像処理装置１０の表示制御部１６は、まず、図８（ａ）に示すように、駐車車両ＶＰ１の画像が目標駐車位置Ｓ側へ倒れ込んでいない全周囲俯瞰画像（ここでは、自車Ｖが図５に示した位置Ａを通過する際の全周囲俯瞰画像）を用いて、駐車車両ＶＰ１の画像の目標駐車位置Ｓ側における側面の４隅の特徴点ｐ１〜ｐ４を検出する。この駐車車両ＶＰ１の画像の特徴点ｐ１〜ｐ４は、例えば、全周囲俯瞰画像に対して既知のエッジ検出処理や車両形状の推定などを行うことで検出可能である。なお、これら特徴点ｐ１〜ｐ４のうちの特徴点ｐ２と特徴点ｐ３は、駐車車両ＶＰ１の形状を直方体形状で近似して路面上の物体と捉えたときの路面に対する接地点であるが、これら特徴点ｐ２および特徴点ｐ３は、例えば以下のように検出すればよい。すなわち、エッジ検出により特定した車両フロア面の前後両端を特徴点ｐ２’および特徴点ｐ３’とし、特徴点ｐ１と特徴点ｐ２’を通る直線が路面と交わる点を特徴点ｐ２、特徴点ｐ４と特徴点ｐ３’を通る直線が路面と交わる点を特徴点ｐ３とすることで、路面上の接地点である特徴点ｐ２および特徴点ｐ３を検出できる。

以上のように、駐車車両ＶＰ１の画像の特徴点ｐ１〜ｐ４のうちの特徴点ｐ２と特徴点ｐ３は路面上の接地点であるため、自車Ｖの位置が変化したとしても、これら特徴点ｐ２および特徴点ｐ３の全周囲俯瞰画像上における位置は変化しない。一方、特徴点ｐ１および特徴点ｐ４は駐車車両ＶＰ１の高さ方向における上端点であるため、これら特徴点ｐ１および特徴点ｐ４の全周囲俯瞰画像上における位置は自車Ｖの位置に応じて変化することになるが、この全周囲俯瞰画像上における特徴点ｐ１および特徴点ｐ４の位置は、特徴点ｐ２および特徴点ｐ３と自車Ｖとの位置関係から推定できる。そして、駐車車両ＶＰ１の画像の特徴点ｐ１および特徴点ｐ４の位置が分かれば、図８（ｂ）に示すように、駐車車両ＶＰ１の画像のＹ軸方向に沿った長さＤを求めることができ、駐車車両ＶＰ１の画像を目標駐車位置Ｓに重ならない大きさに圧縮するための圧縮率α（α＝Ｄ’／Ｄ）を、自車Ｖの予測軌跡上の各位置ごとに事前に求めることができる。

したがって、自車の予測軌跡として図５に示した自車Ｖの移動軌跡が算出された場合、例えば、自車Ｖが位置Ｂを通過する際の駐車車両ＶＰ１の画像の圧縮率α１と、自車Ｖが位置Ｃに到達したときの駐車車両ＶＰ１の画像の圧縮率α２とを事前に求め、位置Ｂと位置Ｃとの間の自車Ｖの移動量をもとに、圧縮率α１と圧縮率α２の変化を図８（ｃ）に示すように線形変換し、自車Ｖの移動量と駐車車両ＶＰ１の画像の圧縮率αの変化の関係を求めるようにしておけば、自車Ｖの移動に合わせて駐車車両ＶＰ１の画像の圧縮率を適切に変化させながら、最適な画像の圧縮を簡便に行うことができる。また、このように自車Ｖの移動量に合わせて線形に変化する圧縮率で駐車車両ＶＰ１の画像を圧縮するようにすれば、ディスプレイ５に表示される全周囲俯瞰画像上の駐車車両ＶＰ１の画像の変化を滑らかにすることができる。なお、ここでは自車の移動量に合わせて駐車車両ＶＰ１（立体物）の画像の圧縮率αを線形に変化させる例を説明しているが、勿論、自車の移動量に対して非線形に変化する圧縮率αを求めて、自車の移動に合わせて立体物の画像を非線形に変化する圧縮率で圧縮するようにしてもよい。

また、全周囲俯瞰画像上において高さのある立体物の画像は、上述したように当該立体物を撮像するカメラから離れる方向に倒れ込むため、自車の予測経路上において、立体物の画像の目標駐車位置側への倒れ込みが始まる位置は、目標駐車位置と、立体物の位置と、当該立体物を撮像するカメラの位置との位置関係から特定することができる。例えば、図５に示した自車Ｖの移動軌跡が予測軌跡として算出されている場合、図９（ａ）に示すように、目標駐車位置Ｓの駐車車両ＶＰ１側における外周縁の一部と、駐車車両ＶＰ１の目標駐車位置Ｓ側における外周縁の一部と、自車Ｖに搭載されたカメラ（ここでは左サイドカメラ４）の位置とが、路面に対して垂直な方向に見下ろしたときに直線上に並ぶ予測軌跡上の位置を、立体物である駐車車両ＶＰ１の画像の目標駐車位置Ｓ側への倒れ込みが始まる倒れ込み開始位置として特定することができる。

また、立体物の目標駐車位置側への倒れ込み量は、自車が予測経路上で立体物および目標駐車位置から最も離れた位置（図５に示した自車Ｖの移動軌跡上では位置Ｃ）に到達したときに最大となるので、自車の予測軌跡上において立体物の目標駐車位置側への倒れ込み量が最大となる倒れ込み最大位置およびその位置での倒れ込み量についても、事前に特定することができる。

したがって、このような自車の予測経路上における倒れ込み開始位置と倒れ込み最大位置および倒れ込み量を事前に特定し、図９（ｂ）に示すように、倒れ込み開始位置から倒れ込み最大位置までの間で線形に変化する立体物の画像の圧縮率を事前に求めておけば、倒れ込み開始位置と倒れ込み最大位置との間における自車の移動に合わせて、線形に変化する圧縮率で立体物の画像を適切に圧縮することができ、ディスプレイ５に表示される全周囲俯瞰画像上の立体物の画像の変化をより滑らかにすることができる。

ところで、視点変換部１１が生成する全周囲俯瞰画像は、上述したように４つの車載カメラ１〜４の撮像画像を視点変換して得られる４つの俯瞰画像Ａ１〜Ａ４を繋ぎ合わせた画像であるため、目標駐車位置の近傍に存在する立体物を撮像している車載カメラが自車の移動に伴って切り替わる場合がある。例えば、目標駐車スペースＳの近傍に立体物である駐車車両ＶＰ１が存在する場合、自車が図１０（ａ）に示す位置を通過しているときは駐車車両ＶＰ１の位置が左サイドカメラ４の撮像範囲となり、全周囲俯瞰画像上における駐車車両ＶＰ１の画像は、左サイドカメラ４の撮像画像を視点変換して得られる画像である。一方、自車が図１０（ｂ）に示す位置まで移動すると、駐車車両ＶＰ１の位置はリアカメラ２の撮像範囲となり、全周囲俯瞰画像上における駐車車両ＶＰ１の画像は、リアカメラ２の撮像画像を視点変換して得られる画像となる。

このように目標駐車位置近傍の立体物を撮像する車載カメラが自車の移動に伴って切り替わる場合には、全周囲俯瞰画像上における立体物の画像の目標駐車位置側への倒れ込みの度合いが当該立体物を撮像する車載カメラごとに変化することになる。したがって、自車が予測軌跡に沿って移動する過程において目標駐車位置近傍の立体物を撮像する車載カメラが切り替わることが想定される場合には、図９（ｂ）に示したような自車の移動量と立体物の画像の圧縮率との関係を、立体物の画像を撮像する車載カメラごとに求めておくことが望ましい。

例えば、図１０に示した例のように、目標駐車スペースＳの近傍に存在する立体物である駐車車両ＶＰ１を撮像する車載カメラが、自車の予測軌跡に沿った移動に伴って左サイドカメラ４からリアカメラ２に切り替わる場合には、図１１に示すように、自車の予測軌跡上において、左サイドカメラ４で駐車車両ＶＰ１を撮像する区間と、リアカメラ２で駐車車両ＶＰ１を撮像する区間とを特定する。そして、左サイドカメラ４で駐車車両ＶＰ１を撮像する区間においては、駐車車両ＶＰ１を左サイドカメラ４で撮像する際の倒れ込み開始位置を上述した手法により特定するとともに、駐車車両ＶＰ１が左サイドカメラ４の撮像範囲から外れる境界位置を倒れ込み最大位置とし、これら倒れ込み開始位置から倒れ込み最大位置までの間で線形に変化する立体物の画像の圧縮率を求める。また、リアカメラ２で駐車車両ＶＰ１を撮像する区間においては、駐車車両ＶＰ１をリアカメラ２で撮像する際の倒れ込み開始位置と倒れ込み最大位置とを上述した手法により特定して、これら倒れ込み開始位置から倒れ込み最大位置までの間で線形に変化する立体物の画像の圧縮率を求める。

このように、自車が予測軌跡に沿って移動する過程において目標駐車位置近傍の立体物を撮像する車載カメラが切り替わることが想定される場合には、図１１に示したように、自車の移動量と立体物の画像の圧縮率との関係を当該立体物を撮像する車載カメラごとに求めておくことで、立体物を撮像する車載カメラが切り替わっても、当該立体物の画像を自車の移動量に合わせて適切に圧縮することができ、立体物の画像が目標駐車位置側に倒れ込まない見易い全周囲俯瞰画像をディスプレイ５に表示することができる。

以上、具体的な例を挙げながら詳細に説明したように、本実施形態の駐車支援装置によれば、表示制御部１６が、視点変換部１１が生成した全周囲俯瞰画像上で立体物検知部１４が検知した立体物の画像が目標駐車位置側に倒れ込むかどうかを判定し、倒れ込む場合には、当該立体物の画像を目標駐車位置に重ならない程度の大きさに圧縮してディスプレイ５に表示させるようにしているので、目標駐車位置の近傍に立体物がある場合でも、自車の位置に関わらず常に目標駐車位置を的確に認識できる画像をディスプレイ５に表示することができ、自車の駐車動作を適切に支援することができる。

また、本実施形態の駐車支援装置によれば、表示制御部１６が、全周囲俯瞰画像上において立体物の画像を圧縮したことで生じる画像欠落部分を、画像記憶部１５に記憶させておいた過去の画像で補完するようにしているので、違和感のない全周囲俯瞰画像をディスプレイ５に表示することができる。

また、本実施形態の駐車支援装置によれば、表示制御部１６が、自車が目標駐車位置に移動するまでの予測軌跡上の各位置における立体物の画像の倒れ込み度合いを事前に推定し、その推定結果に基づいて、立体物の画像の圧縮率を自車の移動に合わせて変化させることにより、立体物の画像を最適且つ簡便に圧縮して見易い画像をディスプレイ５に表示することができる。

また、本実施形態の駐車支援装置によれば、表示制御部１６が、自車の予測経路上において立体物の画像の目標駐車位置側への倒れ込みが始まる倒れ込み開始位置と、倒れ込み量が最大となる倒れ込み最大位置とを特定し、この倒れ込み開始位置と倒れ込み最大位置との間における自車の移動に伴って立体物の画像の圧縮率を線形に変化させることにより、ディスプレイ５に表示される全周囲俯瞰画像上の立体物の画像の変化をより滑らかにすることができる。

また、本実施形態の駐車支援装置によれば、立体物の画像を撮像する車載カメラが自車の移動に伴って切り替わる場合に、表示制御部１６が、全周囲俯瞰画像上における立体物の画像の圧縮率を、当該立体物の画像を撮像する車載カメラごとに変化させることにより、立体物を撮像する車載カメラが切り替わっても、当該立体物の画像を自車の移動量に合わせて適切に圧縮することができる。

なお、以上説明した実施形態は、本発明の一適用例を例示したものであり、本発明の技術的範囲が以上の実施形態で説明した内容に限定されることを意図するものではない。つまり、本発明の技術的範囲は、以上の実施形態で開示した具体的な技術事項に限らず、この開示から容易に導きうる様々な変形、変更、代替技術なども含むものである。

例えば、以上説明した実施形態は、４つの車載カメラ１〜４の撮像画像を視点変換して得られる俯瞰画像を繋ぎ合わせて生成した全周囲俯瞰画像をディスプレイ５に表示させる機能を持った駐車支援装置への適用例であるが、本発明は、単一の車載カメラで車両周辺の所定方向の画像を撮像し、その画像を視点変換することで俯瞰画像を生成して表示するものなど、車載カメラの撮像画像を俯瞰画像に視点変換して表示する機能を持つ駐車支援装置であれば、いずれのものにも適用可能である。

本発明を適用した駐車支援装置の概略構成を示すブロック図である。 ４つの車載カメラの設置位置を説明する模式図である。 画像処理装置内部の機能的な構成を示すブロック図である。 画像処理装置の視点変換部で生成される全周囲俯瞰画像の概要を示す図である。 駐車シーンの一例を示す模式図である。 図５に示す駐車シーンにおいて、画像処理装置の視点変換部で生成される全周囲俯瞰画像の画像例を示す図である。 立体物の画像を圧縮してディスプレイに表示させる手法の具体的な一例を説明する図である。 予測経路上の各位置における立体物の画像の倒れ込み度合いを事前に推定して、立体物の画像の圧縮率を自車の移動に合わせて変化させる手法の一例を説明する図である。 予測経路上の各位置における立体物の画像の倒れ込み度合いを事前に推定して、立体物の画像の圧縮率を自車の移動に合わせて変化させる手法の他の例を説明する図である。 目標駐車位置近傍の立体物を撮像する車載カメラが自車の移動に伴って切り替わる例を説明する図である。 自車の移動量と目標駐車位置近傍の立体物の圧縮率との関係を示す図であり、立体物の画像を撮像する車載カメラが自車の移動に伴って切り替わる場合に、当該立体物の画像の圧縮率を車載カメラごとに求めた例を示す図である。

符号の説明

１ フロントカメラ（車載カメラ）
２ リアカメラ（車載カメラ）
３ 右サイドカメラ（車載カメラ）
４ 左サイドカメラ（車載カメラ）
５ ディスプレイ
６ 操作入力デバイス
１０ 画像処理装置
１１ 視点変換部
１２ 目標駐車位置認識部
１３ 予測軌跡算出部
１４ 立体物検知部
１５ 画像記憶部
１６ 表示制御部

Claims (9)

1. 自車に搭載されて自車周辺の画像を撮像する撮像手段と、
   前記撮像手段が撮像した画像に対して視点変換処理を行って俯瞰画像を生成する視点変換手段と、
   前記視点変換手段が生成した俯瞰画像を表示する表示手段と、
   前記視点変換手段が生成した俯瞰画像上で、自車を駐車させる位置である目標駐車位置を認識する目標駐車位置認識手段と、
   前記目標駐車位置の近傍に存在する立体物を検知する立体物検知手段と、
   自車の位置と前記目標駐車位置及び前記立体物の位置との関係に基づいて、前記視点変換手段が生成した俯瞰画像上で、前記立体物の画像が前記目標駐車位置側に倒れ込むか否かを判定する倒れ込み判定手段と、
   前記倒れ込み判定手段により前記立体物の画像が前記目標駐車位置側に倒れ込むと判定されたときに、前記俯瞰画像上における立体物の画像を圧縮する画像調整手段と、を備えることを特徴とする駐車支援装置。
2. 自車が前記目標駐車位置に到達するまでの予測軌跡を算出する予測軌跡算出手段をさらに備え、
   前記倒れ込み判定手段は、前記予測軌跡算出手段が算出した予測軌跡上の各位置における前記立体物の画像の前記目標駐車位置側への倒れ込み度合いを推定し、
   前記画像調整手段は、前記倒れ込み判定手段による倒れ込み度合いの推定結果に基づいて、前記立体物の画像の圧縮率を自車の移動に合わせて変化させることを特徴とする請求項１に記載の駐車支援装置。
3. 前記倒れ込み判定手段は、前記予測軌跡算出手段が算出した予測軌跡上において、前記立体物の画像の前記目標駐車位置側への倒れ込みが始まる倒れ込み開始位置と、前記立体物の画像の前記目標駐車位置側への倒れ込み量が最大となる倒れ込み最大位置とを特定し、
   前記画像調整手段は、前記倒れ込み判定手段により特定された倒れ込み開始位置と倒れ込み最大位置との間における車両の移動に伴い、前記立体物の画像の圧縮率を線形に変化させることを特徴とする請求項２に記載の駐車支援装置。
4. 前記立体物の画像が前記目標駐車位置側に倒れ込んでいないときの前記目標駐車位置の画像を記憶する記憶手段をさらに備え、
   前記画像調整手段は、前記立体物の画像を圧縮することによって生じる前記俯瞰画像上の画像欠落部分を、前記記憶手段が記憶する画像で補完することを特徴とする請求項１乃至３のいずれか一項に記載の駐車支援装置。
5. 前記目標駐車位置認識手段は、前記視点変換手段が生成した俯瞰画像に対する白線認識処理により前記目標駐車位置を認識することを特徴とする請求項１乃至４のいずれか一項に記載の駐車支援装置。
6. 前記立体物検知手段は、前記視点変換手段が生成した俯瞰画像に対してパターン認識処理を行って前記目標駐車位置の近傍に存在する立体物を検知することを特徴とする請求項１乃至５のいずれか一項に記載の駐車支援装置。
7. 前記撮像手段は、車両周辺の異なる領域の画像を各々撮像する複数の撮像手段からなり、
   前記視点変換手段は、前記複数の撮像手段が撮像した画像に対してそれぞれ視点変換処理を行って複数の俯瞰画像を生成するとともに、これら複数の俯瞰画像を繋ぎ合わせて合成俯瞰画像を生成し、
   前記表示手段は、前記視点変換手段が生成した合成俯瞰画像を表示することを特徴とする請求項１乃至６のいずれか一項に記載の駐車支援装置。
8. 前記画像調整手段は、前記立体物検知手段が検知した立体物の画像を撮像する撮像手段が車両の移動に伴って切り替わる場合に、前記視点変換手段が生成した合成俯瞰画像上における前記立体物の画像の圧縮率を、当該立体物の画像を撮像する撮像手段ごとに変化させることを特徴とする請求項７に記載の駐車支援装置。
9. 自車に搭載された撮像手段で撮像した自車周辺の画像を俯瞰画像に視点変換処理して表示手段に表示する画像表示方法であって、
   前記俯瞰画像上で車両を駐車させる位置である目標駐車位置を認識するとともに、当該目標駐車位置の近傍に存在する立体物を検知し、
   自車の位置と前記目標駐車位置及び前記立体物の位置との関係に基づいて、前記俯瞰画像上で前記立体物の画像が前記目標駐車位置側に倒れ込むか否かを判定し、
   前記立体物の画像が前記目標駐車位置側に倒れ込むと判定したときに、前記俯瞰画像上における立体物の画像を圧縮して前記表示手段に表示させることを特徴とする画像表示方法。

Images