JP2012040883A - 車両周囲画像生成装置 - Google Patents

Abstract

【課題】 運転手が目標駐車枠内の状況をより明確に認識可能にする車両周囲画像生成装置を提供すること。
【解決手段】 車両周囲画像生成装置３は、車両に取り付けられる複数のカメラと接続可能であって、車両の目標駐車枠を特定する駐車枠特定部３３と、特定された目標駐車枠に基づき、複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択し、選択したカメラからの撮影画像を選択する撮影画像選択部３４と、選択されたカメラによる撮影画像を使って、特定された目標駐車枠の状況を表す表示用画像を生成する付加画像描画部３５とを備える。
【選択図】 図４

Description

本発明は、複数の車載カメラと接続可能に構成され、車両の運転手が車両周囲の状況を確認可能な画像を生成する車両周囲画像生成装置に関する。

上記のような車両周囲画像生成装置の例示として、以下のような駐車支援装置がある。この駐車支援装置は、車載カメラを用いて、車両上方から見下ろしたときの該車両周辺の状況、特に駐車枠の状況を示す俯瞰画像を作成する。より具体的には、駐車支援装置は、運転手が目標駐車枠、つまり、これから車両を駐車させようとする駐車枠の位置及び方向を運転手が指定する操作を直感的に行えるようにする為、枠図形を俯瞰画像における駐車枠位置に重畳表示する。これによって、目標駐車枠が運転手に教示される（例えば、特許文献１を参照）。
特開２００７−２３０３７１号公報（第５−７頁、第１図）

しかしながら、俯瞰画像では立体物が歪んで表示されるので、運転手は、表示された俯瞰画像を見ても、駐車枠内に存在する立体物をはっきりと認識できないという問題点がある。

それゆえに、本発明は、運転手が目標駐車枠内の状況をより明確に認識可能にする車両周囲画像生成装置を提供することを目的とする。

上記目的を達成するために、本発明は、車両に取り付けられる複数のカメラと接続可能な車両周囲画像生成装置であって、車両の目標駐車枠を特定する駐車枠特定部と、特定された目標駐車枠に基づき、複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択し、選択したカメラからの撮影画像を選択する選択部と、選択されたカメラによる撮影画像を使って、特定された目標駐車枠の状況を表す表示用画像を生成する描画部とを備える。

上記の通り、本発明は、特定された駐車枠に基づき選ばれたカメラからの画像を用いて、その駐車枠の状況を表す表示用画像を生成する。この表示用画像は、選択されたカメラからの画像を用いているので、特定された駐車枠内及び／又は駐車枠周辺に映り得る立体物の歪みを相対的に小さくすることができる。このように、本発明によれば、駐車枠内の立体物の歪みを小さくできる表示用画像を生成するので、これが表示された場合、運転手は目標駐車枠内及び／又は目標駐車枠周辺の状況をより明確に認識することができる。

以下、本発明を実施するための最良の形態に係る車両周囲画像表示システムについて、図面を用いて説明する。
（第１の実施形態）
図１は、本発明の第１の実施形態に係る車両周囲画像表示システム１の全体構成を示すブロック図である。図１において、車両周囲画像表示システム１は、例えば４個のカメラ２ａ，２ｂ，２ｃ，２ｄと、車両周囲画像生成装置３と、表示装置４とを備えている。

カメラ２ａ〜２ｄは、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）又はＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）のような固体撮像素子を有しており、カラー画像又はモノクロ画像を撮像可能なデジタルカメラである。また、これらカメラ２ａ〜２ｄは、さらに好ましくは、例えば魚眼レンズのような広視野角（広画角）のレンズを有しており、車両α（図２参照）の周囲を広範囲にわたって撮影できることが好ましい。

図２に示すように、カメラ２ａ〜２ｄは車両αの周囲に取り付けられる。具体例として、本実施形態では、車両の前方に向けられかつ路面に対しそれぞれの光軸が所定の俯角で交わるように、カメラ２ａは車両αの前端中央に取り付けられる。また、残りのカメラ２ｂ，２ｃ，２ｄは、車両αの左側、後端中央、右側に、車両の左側方、後方、右側方に向けて取り付けられる。カメラ２ｂ，２ｃ，２ｄもまた、それぞれの光軸が路面と所定の俯角で交わるように取り付けられる。

また、図２は、車両αの周辺領域において、カメラ２ａ〜２ｄが撮像する範囲を模式的に示している。カメラ２ａは車両αの前方の撮像範囲ＣＡＭａの状況を撮影して撮影画像ＣＰａを生成する。カメラ２ｂは、車両αの左側方の撮像範囲ＣＡＭａを撮影して撮影画像ＣＰｂを、カメラ２ｃは、車両αの後方の撮像範囲ＣＡＭｃを撮影して撮影画像ＣＰｃを、さらに、カメラ２ｄは、車両αの右側方の撮像範囲ＣＡＭｄを撮影して撮影画像ＣＰｄを生成する。これら撮影画像ＣＰａ〜ＣＰｄは、図３に例示され、車両周囲画像生成装置３（図１参照）に伝送路を介して送信される。

ここで、再度図２を参照する。カメラ２ａ〜２ｄにより、車両αの全周囲をカバーするために、撮像範囲ＣＡＭａは撮像範囲ＣＡＭｂと重なり合う。同様の観点から、撮像範囲ＣＡＭｂ及び撮像範囲ＣＡＭｃも、撮像範囲ＣＡＭｃ及び撮像範囲ＣＡＭｄも、撮像範囲ＣＡＭｄ及び撮像範囲ＣＡＭａも重なり合う。以降、撮像範囲ＣＡＭａ，ＣＡＭｂの重なり部分をオーバーラップ領域Ｆａと、撮像範囲ＣＡＭｂ，ＣＡＭｃの重なり部分をオーバーラップ領域Ｆｂと、撮像範囲ＣＡＭｃ，ＣＡＭｄの重なり部分をオーバーラップ領域Ｆｃと、撮像範囲ＣＡＭｄ，ＣＡＭａの重なり部分をオーバーラップ領域Ｆｄと呼ぶ。

ここで、車両周囲画像生成装置３が各種画像を生成する為に、各カメラ２ａ〜２ｄの位置及び姿勢（向き）と、各カメラ２ａ〜２ｄのレンズの歪みとを表すカメラパラメータとが、実測等により予め取得されており、車両周囲画像生成装置３に保持されていることが望ましい。また、これらカメラパラメータについては、キャリブレーション用のターゲット（マーク）を用いて算出されても構わない。

再度図１を参照する。車両周囲画像生成装置３は、例えばＥＣＵ（Ｅｌｅｃｔｒｏｎｉｃ Ｃｏｎｔｒｏｌ Ｕｎｉｔ）であり、プロセッサ、不揮発性メモリ等を含んでおり、図４に示すように、カメラの個数と同数の入力バッファ３１ａ，３１ｂ，３１ｃ，３１ｄと、俯瞰画像生成部３２と、駐車枠特定部３３と、撮影画像選択部３４と、付加画像描画部３５と、出力バッファ３６とを備えている。本実施形態では、俯瞰画像生成部３２と、駐車枠特定部３３と、撮影画像選択部３４と、付加画像描画部３５とは、上記不揮発性メモリに予め蓄積されたソフトウェアを実行するプロセッサにより実現されるとする。このような車両周囲画像生成装置３は、後段の表示装置４により出力される表示用画像ＤＰを生成する。

再度、図１を参照する。車両周囲画像生成装置３には、表示装置４も伝送路を介して接続されている。表示装置４は、例えば液晶ディスプレイであり、車両周囲画像生成装置３で生成された表示用画像ＤＰを表示する。

次に、図５を参照して、上記のような構成の車両周囲画像表示システム１の処理の流れを説明する。

図５において、まず、駐車枠特定部３３は、駐車枠検出の開始トリガーを受け付ける（図５；ステップＳ３０１）。このトリガーの例としては、特定のシフト位置情報及び操作情報が入力された場合がある。シフト位置情報は、車両のシフト位置を示す情報であり、例えばリバースレンジを示すシフト位置情報が入力された場合に、駐車枠特定部３３は開始トリガーを受け付けたと判断する。また、操作情報は、本車両周囲画像表示システム１に設けられた物理的なボタン（図示を省略）又はグラフィカルなボタン（図示を省略）が運転手により操作されたことを示す情報である。駐車枠特定部３３は、例えば、それらボタンの一つである駐車枠検出ボタンが押下されたことを示す操作情報が入力された場合に、開始トリガーを受け付けたと判断する。

カメラ２ａ〜２ｄは、図４に示すように、入力バッファ３１ａ〜３１ｄと接続される。カメラ２ａ〜２ｄによる撮影画像ＣＰａ〜ＣＰｄは、遅くとも駐車枠特定部３３が開始トリガーを受け付けると、入力バッファ３１ａ〜３１ｄに定期的に格納され始める。ステップＳ３０１の次に、駐車枠特定部３３は、入力バッファ３１ａ〜３１ｄに格納された撮影画像ＣＰａ〜ＣＰｄを取得する（ステップＳ３０２）。

次に、駐車枠特定部３３は、目標駐車枠の検出処理を行う（ステップＳ３０４）。目標駐車枠の検出処理の例示として、前述の特許文献１（特開２００７−２３０３７１号公報）で開示された手法がある。代替例としては、駐車枠特定部３３は、ステップＳ３０２で取得した撮影画像ＣＰａ〜ＣＰｄに対して周知の画像処理を実行して撮影画像ＣＰａ〜ＣＰｄの中から、路面上の白線を検出し、さらに白線で囲まれた領域又は白線で挟まれた領域を駐車領域（以下、駐車枠という）として検出する。さらなる代替例として、レーダー、又は近赤外線を照射する近赤外線カメラで白線領域を検出するなどのアクティブセンサーを用いて、駐車枠特定部３３は目標駐車枠を検出してもかまわない。

ステップＳ３０４の次に、駐車枠特定部３３は、目標駐車枠の検出が成功したか否かを判定する（ステップＳ３０５）。

ステップＳ３０５で否定判定を行った場合、駐車枠特定部３３は、ステップＳ３０２に戻り、更新された撮影画像ＣＰａ〜ＣＰｄを取得して、改めてステップＳ３０４を行う。

ステップＳ３０５で肯定判定を行った場合、駐車枠特定部３３は、自車両と目標駐車枠との相対的な位置関係を算出する（ステップＳ３０６）。具体的には、検出された目標駐車枠の世界座標と、自車両の世界座標とから、相対的な位置関係が算出される。例えば、前述のカメラパラメータに基づき、それぞれのカメラが撮影可能な撮像範囲ＣＡＭａ〜ＣＡＭｄ（図２を参照）が計算され、それぞれの計算値が前述の不揮発性メモリ等に格納される。この不揮発性メモリに格納された各撮像範囲ＣＡＭａ〜ＣＡＭｄを特定可能な世界座標値と、各カメラ２ａ〜２ｄの取り付け位置の世界座標値と、検出された目標駐車枠の世界座標値とから、自車両に対する目標駐車枠の相対的な位置関係が算出される。ここで、相対的な位置関係としては、自車両に対する目標駐車枠の距離・方向及び両者の世界座標値が典型的である。

ステップＳ３０６の次に、駐車枠特定部３３は、車両周囲画像生成装置３が今回生成するのが俯瞰画像が良いのか否かを判定する（ステップＳ３０７）。なお、本実施形態では、俯瞰画像か撮影画像が生成されるので、ステップＳ３０７で否定判定であれば、撮影画像が生成される。また、ステップＳ３０７の判定基準としては、自車両から目標駐車枠までの距離が用いられ、例えば、この距離が所定の閾値未満であれば、つまり相対的に近距離であれば、俯瞰画像が良いと判断されるように、また、この距離が同閾値以上であれば、つまり相対的に遠距離であれば、カメラ画像が良いと判断されるように、予めプログラミングされる。

ステップ３０７で肯定判定が行われると、駐車枠特定部３３は、ステップＳ３０８において、俯瞰画像生成部３２に対して、俯瞰画像を生成するよう指示を渡す。この指示に応答して、俯瞰画像生成部３２は、入力バッファ３１ａ〜３１ｄに格納された撮影画像ＣＰａ〜ＣＰｄを取得して、取得した撮影画像ＣＰａ〜ＣＰｄに対し幾何学変換などを行う。これによって、自車両の上方に予め設定される仮想視点から、自車両周辺を見下ろした時の状況を表す俯瞰画像が生成される（ステップＳ３０８）。この俯瞰画像を生成する処理については周知であるため、その詳説を省略する。

ここで、図６は、ステップＳ３０８で生成された俯瞰画像の一例を表す模式図である。図６において、俯瞰画像ＬＤＰは、予め定められた位置に自車両を模したモデル画像Ｍαが合成される。また、モデル画像Ｍαの周囲には、路面ＲＳ（ハッチングを付けた部分を参照）と、いくつかの駐車枠ＰＬを示す白線ＷＬとが描画される。なお、図６では代表的に、１つの駐車枠ＰＬが一点鎖線で仮想的に示され、また、１台の他車両Ｖａも示されている。以上のような俯瞰画像は、付加画像描画部３５に渡される。

再度、図５を参照する。前述のステップＳ３０７で否定判定が行われると、駐車枠特定部３３は、ステップＳ３０９において、自車両に対する目標駐車枠の相対的な位置関係（ステップＳ３０６で算出）に基づき、カメラ２ａ〜２ｄの中から、ステップＳ３０４で検出に成功した目標駐車枠に最も近いものを、最適カメラとして選択する。この後、駐車枠特定部３３は、最適カメラを示す情報を、撮影画像選択部３４に渡す。この情報に応答して、撮影画像選択部３４は、最適カメラ（カメラ２ａ〜２ｄのいずれか）と接続されている入力バッファ（入力バッファ３１ａ〜３１ｄのいずれか）から、そこに格納される撮影画像を、最適撮影画像として取得して、付加画像描画部３５に渡す（ステップＳ３０９）。

ここで、図７は、ステップＳ３０９で選択された最適撮影画像の一例を示す模式図である。図７の例では、最適撮影画像ＡＴＰは、最適カメラの視点で撮影された画像であり、
路面ＲＳ（ハッチングを付けた部分を参照）と、目標駐車枠ＴＰＬを示す白線ＷＬと、自車両の一部分αとが少なくとも描画される。なお、図７では、目標駐車枠ＴＰＬが一点鎖線で仮想的に描かれている。

以上のステップＳ３０８又はＳ３０９が終了すると、駐車枠特定部３３は、ステップＳ３１０において、付加画像描画部３５に対し、予め定められた各種付加画像を描画するよう指示を渡す。この指示には、目標駐車枠ＴＰＬの相対的位置関係も渡される。この指示に応答して、付加画像描画部３５は、図８の（ａ），（ｂ）に示すように、入力された俯瞰画像ＬＤＰ又は最適撮影画像ＡＴＰに、付加画像の一例として、目標駐車枠画像ＦＰ、マスク画像ＭＫＰ（斜線を付けた部分を参照）、アイコンＩＣＮ及びグラフィックの操作ボタンＧＢのうち、予め定められたものを重畳して、少なくとも目標駐車枠ＴＰＬの状況を表す表示用画像ＤＰを生成する（ステップＳ３１０）。

目標駐車枠画像ＦＰは、本実施形態では、目標駐車枠ＴＰＬを示すための、例えば四角形の枠状のグラフィックであり、その重畳位置は、駐車枠特定部３３から送られてくる相対的位置関係及び予め格納されているカメラパラメータにより特定される。マスク画像ＭＫＰは、本実施形態では、俯瞰画像又は最適撮影画像において不必要な箇所（例えば表示したく無い箇所）を覆い被せるための画像である。また、アイコンＩＣＮは、目標駐車枠ＴＰＬが自車両に対しどの方向にあるかを示す図形である。操作ボタンＧＢは、例えば、駐車枠の再検出用のボタンであり、運転手により操作され、各種機能が予め割り当てられている。マスク画像ＭＫＰ、アイコンＩＣＮ及び操作ボタンＧＢは、入力俯瞰画像又は入力最適撮影画像に対して予め定められた位置に重畳される。

各種付加画像が重畳された俯瞰画像又は最適撮影画像は、表示用画像ＤＰとして出力バッファ３６（図４参照）に出力される。表示装置４は、出力バッファ３６より表示用画像ＤＰを受け取り表示する（ステップＳ３１１）。

図１に示す車両周囲画像表示システム１の処理が繰り返し行われる。

ここで、図９及び図１０を参照して、ステップＳ３０７の詳細な処理について説明する。図９は、目標駐車枠と自車両との位置関係を示す模式図である。図９には、実際の目標駐車枠ＴＰＬと、自車両αと、俯瞰画像として描画される描画領域ＬＤＡ（二点鎖線で囲まれた領域を参照）が示されている。目標駐車枠ＴＰＬと、自車両αとの世界座標位置から、予め定められた広さを有する描画領域ＬＤＡが、車両周囲表示システム１では設定される。この描画領域ＬＤＡの中に、図９（ａ）に示すように、目標駐車枠ＴＰＬの一部又は全体が含まれる場合には、ステップＳ３０７において、俯瞰画像を生成すると、駐車枠特定部３３は判定する。逆に、この描画領域ＬＤＡの中に、図９（ｂ）に示すように、目標駐車枠ＴＰＬの一部又は全体が含まれない場合には、ステップＳ３０７において、最適撮影画像を選択すると、駐車枠特定部３３は判定する。

上記の理由として、一般的に俯瞰画像においては、そこに描かれる立体物が路面上に倒れ込んだように歪むことが知られている。図１０は、このような倒れ込みの一例として、カメラ２ｂからの距離に相関する、立体物ＭＭＳの倒れ込みを示す模式図である。図１０に示すように、俯瞰画像上では、この立体物ＭＭＳは路面ＲＳ上に投影された状態で描画される。また、カメラ２ｂの取り付け高さ自体には実質的に変化はない。従って、立体物ＭＭＳとカメラ２ｂとの位置関係により歪み方が変わってきて、両者の距離が大きくなればなるほど、立体物ＭＭＳの歪み（長さ）Ｌｆがより大きくなる。つまり、目標駐車枠ＴＰＬが近くにある場合、俯瞰画像が表示装置４で表示されたとしても、俯瞰画像に描画される、目標駐車枠ＴＰＬの周辺に存在しうる立体物には、小さな歪みしか生じない。以上の観点から、目標駐車枠ＴＰＬが近くに存在する場合には、図８（ａ）に示すように、俯瞰画像ＬＤＰが表示用画像ＤＰに用いられる。逆に、目標駐車枠ＴＰＬが遠くに存在する場合には、図８（ｂ）に示すように、最適撮影画像ＡＴＰが表示用画像ＤＰに用いられる。

次に、図１１を参照して、ステップＳ３０９における最適カメラの選択基準について説明する。図１１は、目標駐車枠ＴＰＬと各カメラ２ａ〜２ｄとの位置関係とに基づく、最適撮影画像の選択基準を示す模式図である。図１１（ａ）〜（ｄ）に示すように、どのカメラの撮影画像を用いるかの判定は、各カメラ２ａ〜２ｄの撮像範囲ＣＡＭａ〜ＣＡＭｄ（図２を参照）を規定する世界座標値を予めカメラパラメータの一種類として、駐車枠特定部３３は保持している。そして、目標駐車枠ＴＰＬの世界座標値がステップＳ３０５で得られるので、目標駐車枠ＴＰＬが、撮像範囲ＣＡＭａ〜ＣＡＭｄのうちどの撮像範囲に入っているかを駐車枠特定部３３は判定し、目標駐車枠ＴＰＬを含む撮像範囲を有するカメラを最適カメラとして選択する。

ここで、図２に示すように、本実施形態では、隣り合うカメラの撮像範囲がオーバーラップ領域Ｆａ〜Ｆｄにて重なり合うように、カメラ２ａ〜２ｄは車両αに対し設置されている。これらオーバーラップ領域Ｆａ〜Ｆｄに目標駐車枠ＴＰＬの一部又は全体が含まれる場合がある。このような場合、図１２に示すように、駐車枠特定部３３は最適カメラを選択する。なお、図１２では、目標駐車枠ＴＰＬ（ドットを付けた部分を参照）はオーバーラップ領域Ｆａ（格子状のハッチング部分を参照）にあるものと仮定する。この仮定下では、駐車枠特定部３３は、図１２に示すように、カメラ２ａ，２ｂのいずれか一方を最適カメラを選択する。選択手法としては、以下の２つが例示される。１つ目の手法では、図１２（ａ）に示すように、目標駐車枠ＴＰＬにおいて最も車両αに近い点と、カメラ２ａ〜２ｄのいずれか２つとの距離Ｄａ，Ｄｂが求めれられ、両距離Ｄａ，Ｄｂのうち小さな方を有するカメラが最適カメラとして選択される。２つ目の手法では、まず、目標駐車枠ＴＰＬにおいて最も車両αに近い点と、カメラ２ａ，２ｂを結んだ２つ線Ｌａ，Ｌｂが求められる。さらに、線Ｌａとカメラ２ａの光軸Ｘａとが成す角度θａと、線Ｌｂとカメラ２ｂの光軸Ｘｂとが成す角度θｂとが求められる。その後、両角度θａ，θｂのうち小さい方を有するものを最適カメラとして選択される。

以上で、本実施形態の説明を終了する。上記のように、本車両周囲画像表示システム１では、駐車枠特定部３３が、目標駐車枠ＴＰＬを特定した後、自車両αに対する目標駐車枠ＴＰＬの相対的な位置関係を求める。駐車枠特定部３３はさらに、目標駐車枠ＴＰＬが自車両αから相対的に遠い場合には、特定した目標駐車枠ＴＰＬを運転手に見せるのに最も適したカメラを選択し、これによって選択された最適カメラからの撮影画像を用いて表示画像を作成する。図１０を参照して前述したとおり、表示装置４に表示された撮影画像では、目標駐車枠ＴＰＬの周辺の立体物の歪みが俯瞰画像に比べて少ない。このように、本車両周囲画像表示システム１によれば、運転手は、目標駐車枠ＴＰＬとの位置関係に応じて最適カメラが選択されるので、運転手は目標駐車枠内及び／又はその周辺の状況をより明確に認識することが可能となる。

なお、以上の実施形態では、自車両αに対し目標駐車枠ＴＰＬが遠くに存在する場合、撮影画像そのものを用いて表示画像を作成していた。しかし、これに限らず、１つ又は複数の撮影画像を、例えば運転手の視点から目標駐車枠ＴＰＬを見た時の画像に視点変換した後に、表示画像に用いてもかまわない。

また、以上の実施形態では、自車両αに対し、目標駐車枠ＴＰＬが遠くに存在する場合には、表示用画像ＤＰに最適撮影画像ＡＴＰが用いられ、目標駐車枠ＴＰＬが近くに存在する場合には、表示用画像ＤＰに俯瞰画像ＬＤＰが用いられていた。しかし、これに限らず、目標駐車枠ＴＰＬが遠くに存在する場合に、図１３に示すように、表示用画像ＤＰとして、俯瞰画像ＬＤＰと最適撮影画像ＡＴＰの双方が合成されたものが作成されてもかまわない。
（第２の実施形態）
図１４は、本発明の第２の実施形態に係る車両周辺画像表示システム１ａの全体構成を示すブロック図である。図１４の車両周辺画像表示システム１ａは、図１に示す車両周辺画像表示システム１と比較すると、車両周囲画像生成装置３が車両周囲画像生成装置３ａに代わる点で相違する。それ以外の構成については同様であるため、以下では、図１の構成に相当するものには同一の参照符号を付け、それぞれの詳説を省略する。

また、図１５は、図１４に示す車両周囲画像生成装置３ａの詳細な構成を示すブロック図である。図１５の車両周囲画像生成装置３ａは、機能ブロックに関しては、図４に示すに車両周囲画像生成装置３と比較すると、障害物検出部３６が追加される点で相違する。それ以外の構成については同様であるため、以下では、図１５において、図４の構成に相当するものには同一の参照符号を付け、それぞれの詳説を省略する。

障害物検出部３６は、例えば、上記不揮発性メモリに予め蓄積されたソフトウェアを実行するプロセッサにより実現される。障害物検出部３６は、入力バッファ３１ａ〜３１ｄから撮影画像ＣＰａ〜ＣＰｄと、駐車枠特定部３３からの相対的位置関係とを受け取る。その後、障害物検出部３６は、目標駐車枠ＴＰＬ周辺に存在しうる障害物（立体物）を検出する。障害物の検出に成功すると、障害物検出部３６は、検出した障害物が存在する世界座標値を付加画像描画部３５に渡す。

次に、図１６を参照して、上記のような構成の車両周囲画像表示システム１ａの処理の流れを説明する。なお、図１６は、図５と比較すると、ステップＳ３１０の代わりに、ステップＳ６０１，Ｓ６０２及びＳ６０３が追加されている点で相違する。それ以外のステップについては同様であるため、以下では、図５のステップに相当するものには、同一のステップ番号を付け、それぞれの詳説を省略する。

ステップＳ３０８かＳ３０９が終わると、障害物検出部３７は障害物検出を行う（ステップＳ６０１）。障害物とは、駐車場に存在する壁、既に駐車されている他車両、又は柱といった静止物や、動いている人、他車両又は自転車といった移動物のことである。

例えば、障害物検出部３７は、各入力バッファ３１ａ〜３１ｄから得られる撮影画像ＣＰａ〜ＣＰｄを過去数フレーム分保持する。障害物検出部３７は、現在から過去数フレーム分の撮影画像ＣＰａを用いて、周知のオプティカルフローといった、動きを示すフローを検出することで移動物を検出したり、動きステレオといった時間差のある２フレーム分の撮影画像ＣＰａを用い、ステレオの原理を用いて静止物を検出する。他の撮影画像ＣＰｂ〜ＣＰｄについても同様にして、移動物及び静止物が検出される。

ここで、好ましくは、障害物検出部３７は、処理負荷軽減のために、駐車枠特定部３３で選択された最適カメラがどれかを得て、その最適カメラから得られる最適撮影画像に対し障害物検出を行うことが好ましい。

次に、障害物検出部３７は、ステップＳ６０１で障害物の検出に成功すると、検出された障害物の位置を特定する世界座標値を求める。また、障害物が移動物であれば、障害物検出部３７は、求めた世界座標値と、移動物の移動方向の情報とから、ステップＳ３０４で検出された目標駐車枠ＴＰＬに移動物が接近しているのか、あるいは、自車両αがこれから動く方向に接近しているのか、を判定する。なお、この判定手法に関しては、後で詳説する。さらに、障害物検出部３７は、移動物の移動速度も求める。

障害物検出部３７は、以上のようにして得られた障害物の世界座標値と、移動方向及び移動速度を付加画像描画部３５に渡す。以上でステップＳ６０２の判定処理が終了する。

付加画像描画部３５は、前述のステップＳ３１０の処理に加え、障害物検出部３７から受け取った情報に基づき、静止物が目標駐車枠ＴＰＬの近くに存在すること、移動体が目標駐車物ＴＰＬ又は自車両αのこれからの進路に接近していることを示す障害物アイコンを、表示用画像ＤＰにおける俯瞰画像ＬＤＰ又は最適撮影画像ＡＴＰにおいて対応する位置に重畳する（ステップＳ６０３）。

ここで、図１７（ａ）は、俯瞰画像ＬＤＰを用い、さらに障害物アイコンＯＢＳが重畳された表示用画像ＤＰの一例を示す模式図であり、図１７（ｂ）は、最適撮影画像ＡＴＰを用い、さらに障害物アイコンＯＢＳが重畳された表示用画像ＤＰの一例を示す模式図である。図１７（ａ），（ｂ）は、図８（ａ），（ｂ）に示す表示用画像ＤＰと比較すると、障害物アイコンＯＢＳが重畳されている点で相違するため、その説明を省略する。なお、本実施形態では、俯瞰画像ＬＤＰには、目標駐車枠ＴＰＬの周辺領域において車両αから近距離の部分が描かれる。しかし、目標駐車枠ＴＰＬの周辺領域であっても障害物が車両αから遠距離にある場合であっても、障害物アイコンＯＢＳは何らかの形で表示用画像ＤＰに描かれることが好ましい。これを考慮して、本実施形態では、障害物アイコンＯＢＳは、図１７（ａ）に示すように、マスク画像ＭＫＰ上にも描画可能である。

ここで、付加画像描画部３５は、図１８に示すようなテーブル３５１を、前述の不揮発性メモリに保持していても良い。図１８において、テーブル３５１には、接近度毎に、アイコンＯＢＳの色、障害物の移動速度の範囲、及び自車両αから障害物までの距離範囲の情報セットが記述される。図示した例では、接近度がレベル１の場合、アイコンＯＢＳの色は、運転手に最も注意喚起できるように赤色と記述され、移動速度範囲は、Ｖ２＜Ｖｔｈ≦Ｖ３と記述され、距離範囲は、０＜Ｄｔｈ≦Ｄ１と記述される。また、接近度がレベル２の場合、アイコンＯＢＳの色は、運転手に中程度に注意喚起できるように黄色と記述され、移動速度範囲は、Ｖ１＜Ｖｔｈ≦Ｖ２と記述され、距離範囲は、Ｄ１＜Ｄｔｈ≦Ｄ２と記述される。また、接近度がレベル３の場合、アイコンＯＢＳの色は、運転手に最も緩やかに注意喚起できるように青色と記述され、移動速度範囲は、０＜Ｖｔｈ≦Ｖ１と記述され、距離範囲は、Ｄ２＜Ｄｔｈ≦Ｄ３と記述される。

このようなテーブル３５１を参照して、付加画像描画部３５は、障害物検出部３７から受け取った情報に基づき、前述の障害物アイコンＯＢＳの色を変えることが好ましい。また、障害物アイコンＯＢＳと同じ色に、目標駐車枠画像ＦＰの色を変えてもかまわない。

次に、図１９を参照して、上記の接近度の判定方法について詳細に説明する。図１９は、目標駐車枠ＴＰＬの近くに移動する障害物Ｘが存在する場合における接近度の判定手法を示す模式図である。図１９には、目標駐車枠ＴＰＬ及び障害物Ｘのほかにも、自車両αと、障害物Ｘの移動速度を示すベクトルＶが示されている。前述のように、目標駐車枠ＴＰＬの世界座標値が分っており、かつ障害物Ｘの移動速度と移動方向とを示すベクトルＶも障害物検出部３７により算出されているため、これら情報から、障害物Ｘが目標駐車枠ＴＰＬへ接近しているか、接近していないのかを、まず、付加画像描画部３５は判定することができる。

障害物Ｘが目標駐車枠ＴＰＬに接近していると判定されれば、次に、付加画像描画部３５は、障害物Ｘの現在の移動速度が、図１８に示すレベル１の移動速度範囲に入るならば、障害物アイコンＯＢＳの色を赤色と決定し、レベル２の移動速度範囲に入るならば、障害物アイコンＯＢＳの色を黄色と決定し、また、レベル３の移動速度範囲に入るならば、障害物アイコンＯＢＳの色を青色と決定する。この決定された色を用いて、例えば、図１７（ａ），（ｂ）のような表示用画像ＤＰを作成する。

上記の説明では、障害物としての移動物を例に説明したが、付加画像描画部３５は、静止物も同様で、検出された静止物の位置と目標駐車枠ＴＰＬとの距離を求め、図１８のテーブル３５１に従って、障害物アイコンＯＢＳの色を判定して、表示用画像ＤＰにおける俯瞰画像ＬＤＰ又は最適撮影画像ＡＴＰにおいて対応する位置に重畳する。この場合も、目標駐車枠ＴＰＬの色は、障害物アイコンＯＢＳと同色に描画されてもかまわない。

なお、レーダー、又は近赤外線を照射して近赤外線カメラなどのアクティブセンサーを用いて、障害物が検出されてもかまわない。

本発明に係る車両周囲画像生成装置は、運転手が目標駐車枠内の状況をより明確に認識可能にすることが求められる、駐車支援装置、運転支援装置等に有用である。

本発明の第１の実施形態に係る車両周囲画像表示システム１の全体構成を示すブロック図 図１に示すカメラ２ａ〜２ｄは車両αへの取り付け例を示す模式図 図１に示すカメラ２ａ〜２ｄからの撮影画像ＣＰａ〜ＣＰｄの一例を示す模式図 図１に示す車両周囲画像生成装置３の詳細な構成を示すブロック図 図１に示す車両周囲画像表示システム１の処理の流れを示すフローチャート 図５のステップＳ３０８で生成された俯瞰画像ＬＤＰの一例を表す模式図 図５のステップＳ３０９で得られた最適撮影画像ＡＴＰの一例を示す模式図 図５のステップＳ３１０で生成された表示用画像ＤＰの一例を示す模式図 目標駐車枠ＴＰＬと自車両αとの位置関係を示す模式図 カメラ２ｂからの距離に相関する、立体物ＭＭＳの倒れ込みを示す模式図 ステップＳ３０９における最適カメラの選択基準を示す模式図 目標駐車枠ＴＰＬがオーバーラップ領域に存在する場合における最適カメラの選択手法を例示する模式図 図５のステップＳ３１０で生成された表示用画像ＤＰの代替例を示す模式図 本発明の第２の実施形態に係る車両周辺画像表示システム１ａの全体構成を示すブロック図 図１４に示す車両周囲画像生成装置３ａの詳細な構成を示すブロック図 図１４に示す車両周囲画像表示システム１ａの処理の流れを示すフローチャート 障害物アイコンＯＢＳが重畳された表示用画像ＤＰの一例を示す模式図 図１５に示す付加画像描画部３５が保持するテーブル３５１を示す模式図 目標駐車枠ＴＰＬの近くに移動する障害物Ｘが存在する場合における接近度の判定手法を示す模式図

符号の説明

１，１ａ 車両周囲画像表示システム
２ａ，２ｂ，２ｃ，２ｄ カメラ
３，３ａ 車両周囲画像生成装置
３１ａ，３１ｂ，３１ｃ，３１ｄ 入力バッファ
３２ 俯瞰画像生成部
３３ 駐車枠特定部
３４ 撮影画像選択部
３５ 付加画像描画部
３６ 出力バッファ
３７ 障害物検出部
４ 表示装置

Claims (10)

1. 車両に取り付けられる複数のカメラと接続可能な車両周囲画像生成装置であって、
   前記車両の目標駐車枠を特定する駐車枠特定部と、
   前記特定された目標駐車枠に基づき、前記複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択し、選択したカメラからの撮影画像を選択する選択部と、
   前記選択されたカメラによる撮影画像を使って、前記特定された目標駐車枠の状況を表す表示用画像を生成する描画部と、
   を備える、車両周囲画像生成装置。
2. 前記車両周囲画像生成装置は、前記複数のカメラによる撮影画像を使って、所定の仮想視点から車両の車両周囲を見た時の状況を表す俯瞰画像を生成する俯瞰画像生成部をさらに備え、
   前記駐車枠特定部は、前記目標駐車枠を特定した後、前記描画部が俯瞰画像を用いて表示用画像を生成するのか、前記選択されたカメラによる撮影画像を用いて表示用画像を生成するのかを判断し、
   前記描画部は、前記駐車枠特定部の判断結果に従って、前記表示用画像を生成する、
   請求項１に記載の車両周囲画像生成装置。
3. 前記駐車枠特定部は、前記車両と前記目標駐車枠との相対的な位置関係に基づき、前記描画部が俯瞰画像を用いて表示用画像を生成するのか、前記選択されたカメラによる撮影画像を用いて表示用画像を生成するのかを判断する、
   請求項２に記載の車両周囲画像生成装置。
4. 前記相対的な位置関係とは、前記車両と前記目標駐車枠との間の距離であって、
   前記駐車枠特定部は、前記距離が所定閾値未満の場合、前記描画部が俯瞰画像を用いて表示用画像を生成すると判断し、前記距離が所定閾値以上の場合、前記選択されたカメラによる撮影画像を用いて表示用画像を生成すると判断する、
   請求項３に記載の車両周囲画像生成装置。
5. 前記描画部は、前記選択されたカメラによる撮影画像を視点変換することなく用いて、前記特定された目標駐車枠の状況を表す表示用画像を生成する、
   請求項１に記載の車両周囲画像生成装置。
6. 前記描画部は、前記選択されたカメラによる撮影画像を視点変換して用いて、前記特定された目標駐車枠の状況を表す表示用画像を生成する、
   請求項１に記載の車両周囲画像生成装置。
7. 前記描画部は、前記選択されたカメラの撮影画像の周囲に、マスク画像、アイコン及びグラフィックの操作ボタンのうち、予め定められたものを重畳し、
   前記マスク画像は、前記撮影画像のマスクに用いられ、前記アイコンは、前記目標駐車枠が前記車両に対しどの方向にあるかを示し、前記操作ボタンは、前記車両の運転手により操作される、
   請求項１に記載の車両周囲画像生成装置。
8. 前記車両周囲画像生成装置は、前記特定された目標駐車枠内又はその周辺に存在する障害物を検出する立体物検出部をさらに備え、
   前記描画部は、
   前記特定された目標駐車枠内又はその周辺に障害物が前記立体物検出部で検出された場合、そのことを示す障害物アイコンを、前記表示用画像に重畳する、
   請求項１に記載の車両周囲画像生成装置。
9. 前記車両周囲画像生成装置には、前記表示用画像を出力する表示装置が接続される、
   請求項１に記載の車両周囲画像生成装置。
10. 車両周囲画像表示システムであって、
    車両に取り付けられる複数のカメラと、
    前記車両の目標駐車枠を特定する駐車枠特定部と、
    前記特定された駐車枠に基づき、前記複数のカメラから、該目標駐車枠の撮影に適した少なくとも１つのカメラを選択する選択部と、
    前記選択されたカメラによる撮影画像を使って、前記特定された目標駐車枠の状況を表す表示用画像を生成する描画部と、
    前記生成された表示用画像を出力する表示装置と、
    を備える、車両周囲画像表示システム。