JP5178454B2 - 車両周囲監視装置及び車両周囲監視方法 - Google Patents

Description

本発明は、車両周囲を撮影する複数のカメラの撮影画像から車両周囲を俯瞰可能な俯瞰画像を合成する車両周囲監視装置及び車両周囲監視方法に関する。

近年、車両の上方の仮想視点から車両の周囲を見下ろした俯瞰画像をモニタに表示する車両周囲監視装置の普及が進んでいる。多くの車両周囲監視装置は、車両周囲を広範囲に映し出せるように、複数のカメラを利用して俯瞰画像を生成する（例えば特許文献１，２参照）。

図３３は、特許文献１，２に記載の車両周囲監視装置（以下「従来装置」という）におけるカメラ配置及び各カメラの撮影画像から得られる俯瞰画像の一例を示す図である。

図３３に示すように、車両１０には、第１〜第４のカメラ２０−１〜２０−４が取り付けられる。第１〜第４のカメラ２０−１〜２０−４は、車両１０の前方、後方、左側方、及び右側方の路面を、斜めに見下ろす向きでそれぞれ撮影する。第１〜第４のカメラ２０−１〜２０−４の撮影画像からは、車両の上方の仮想視点から見下ろしたときの画像に近似した第１〜第４のカメラ俯瞰画像３０−１〜３０−４を得ることができる。

表示される俯瞰画像は、できるだけ広い範囲で連続した画像であることが望ましい。そこで、従来装置は、複数のカメラの撮影画像から１つの俯瞰画像を合成するようにしている。以下、複数のカメラの撮影画像から合成された俯瞰画像を、「合成俯瞰画像」という。

従来装置は、第１〜第４のカメラ２０−１〜２０−４の撮影画像を、路面を基準として合成し、車両１０の全周で連続した合成俯瞰画像を生成する。また、従来装置では、合成俯瞰画像に抜けを生じさせないために、隣り合うカメラ２０の撮影範囲が重複している。以下、撮影範囲が重複する領域を、「重複エリア」という。

重複エリアの路面標示や木陰など、実質的に高さが無い物体（非立体物）の位置は、両方のカメラ２０のカメラ俯瞰画像３０において一致する。ところが、重複エリアに位置し高さがある立体物の位置は、カメラ俯瞰画像ごとに異なる。これは、カメラ２０から見たときの立体物の射影方向が、カメラ２０ごとに異なるためである。

図３４は、第２のカメラ２０−２及び第３のカメラ２０−３の重複エリアに、第１及び第２の立体物４０−１及び４０−２が位置するような状況における、第３のカメラ俯瞰画像３０−３を例示する図である。また、図３５は、上記と同じ状況における第２のカメラ俯瞰画像３０−２の一例を示す図である。

図３４において、第１及び第２の立体物４０−１、４０−２は、基部４１−１、４１−２と、立体部分４２−１、４２−２とに分けられる。基部は、各立体物において、路面を基準とする高さが実質的に無い部分であり、立体部分は、各立体物において、路面を基準として高さ成分を有する部分である。第３のカメラ俯瞰画像３０−３において、立体部分４２−１、４２−２が、基部４１−１、４１−２から、車両１０に対し後方向に伸びた状態で運転者により視認される。すなわち、第３のカメラ俯瞰画像３０−３では、第１及び第２の立体物４０−１、４０−２は、車両１０の後方向に向けて倒れ込んだ状態となっている。一方、図３５に示すように、第２のカメラ俯瞰画像３０−２では、第１及び第２の立体物４０−１、４０−２は、車両１０の左方向に向けて倒れ込んだ状態となっている。

このように、重複エリアの立体物の倒れ込みの方向（射影方向）は、カメラ俯瞰画像ごとに異なる。重複エリアにおいて２つのカメラ俯瞰画像を単純に重ね合わせて合成俯瞰画像を作成すると、１つの立体物に対して２つの立体物が現れ、二重像となってしまう。したがって、重複エリアの立体物をどのように処理するかが問題となる。

そこで、従来装置は、図３６及び図３７に示すように、境界６０を境として一方のカメラ俯瞰画像の立体物４０のみを採用して、合成俯瞰画像５０を生成するようにしている。また、より具体的には、従来装置は、図３８及び図３９に示すように、重複エリアの内部に境界６０を設定している。これにより、立体物が重複して表示されるのを防ぐことができる。
特開２００８−４８３１７号公報 特開２００７−１８０７２０号公報

しかしながら、従来装置では、例えば、図３８及び図３９に示すように、実際には平行な２つの立体物が、境界６０の両側で大きく異なる向きで画像表示されることがある。また、図３９に示すように、実際には重なっていない２つの立体物が、境界６０において重なった状態で画像表示されることがある。すなわち、実際の複数の立体物の間の配置関係（以下単に「立体物の配置関係」という）とは大きく異なる配置関係で、立体物が表示される場合がある。したがって、従来装置には、運転者に対して、車両周囲の立体物の配置関係を誤って認識させてしまうという課題がある。

なお、上記説明では課題を分かりやすくするために、２つの立体物の例を挙げて説明したが、これに限らず、１つの立体物の場合でも、同様の課題は起こる。

本発明は、かかる点に鑑みてなされたものであり、運転者が車両周囲の立体物の配置関係を認識させ易くすることができる車両周囲監視装置及び車両周囲監視方法を提供することを目的とする。

本発明の車両周囲監視装置は、車両周囲に存在する立体物を検出する立体物検出部と、複数のカメラの撮影画像に基づき車両周囲の俯瞰画像を合成して合成俯瞰画像を生成し、立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物を、所定の視点から見た射影方向に回転させたものに補正する第１の画像生成部とを備え、所定の視点は、車両の運転者の視点位置であることを特徴とする。

本発明の車両周囲監視方法は、車両周囲に存在する立体物を検出する第１のステップと、複数のカメラの撮影画像に基づき車両周囲の俯瞰画像を合成して合成俯瞰画像を生成し、第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物を、所定の視点から見た射影方向に回転させたものに補正する第２のステップとを備え、所定の視点は、車両の運転者の視点位置であることを特徴とする。

本発明によれば、立体物の射影方向が揃うので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。

以下、本発明の一実施の形態について、図面を参照して詳細に説明する。

図１は、本発明の一実施の形態に係る車両周囲監視装置のブロック図である。

図１において、車両周囲監視装置１００は、大別して、第１〜第４のカメラ２００−１〜２００−４、画像処理部４００、及びモニタ５００を備えている。第１〜第４のカメラ２００−１〜２００−４は、同一の構成を有しているため、適宜、カメラ２００としてまとめて説明を行う。

カメラ２００は、車両の周囲を撮影する。カメラ２００は、撮像部２１０と、一対のフレームメモリ２２０を有するフレーム切替部２３０とを含んでいる。

撮像部２１０は、固体撮像素子であるＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）と、ＣＣＤの撮像面に光学像を結像させる光学系とを有し（いずれも図示せず）、ＣＣＤで撮像した画像をフレームメモリ２２０に出力する。フレームメモリ２２０は、撮像部２１０で撮像された画像を一時的に格納する。フレーム切替部２３０は、撮像部２１０で撮像された画像の入力先と、画像処理部４００による参照先とを、２つのフレームメモリ２２０の間で交互に切り替える。

なお、カメラ２００は、撮像素子として、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ）デバイスを採用してもよい。この場合には、ＣＭＯＳデバイスにフレームメモリの機能を持たせて、フレームメモリ２２０を省略することができる。

図２は、図１の車両周囲監視装置の第１〜第４のカメラ２００−１〜２００−４の取り付け位置の一例を示す斜視図である。

図２に示すように、第１のカメラ２００−１は、車両６００の前方を撮影するために、車両６００の正面中央に取り付けられている。第２のカメラ２００−２は、車両６００の後方を撮影するために、車両６００の後部中央に取り付けられている。第３のカメラ２００−３は、車両６００の左側方を撮影するために、車両６００の左サイドミラーに取り付けられている。第４のカメラ２００−４は、車両６００の右側方を撮像するために、車両６００の右サイドミラーに取り付けられている。

第１〜第４のカメラ２００−１〜２００−４の撮像範囲である第１〜第４のカメラ撮像範囲２００ａ−１〜２００ａ−４は、いずれも、車両６００の周囲の地面を含む。また、隣り合うカメラ撮像範囲２００ａ（例えば、第３のカメラ撮像範囲２００ａ−３と第２のカメラ撮像範囲２００ａ−２）は重なっている。すなわち、隣り合うカメラ撮像範囲２００ａには、重複エリアが存在する。これにより、第１〜第４のカメラ２００−１〜２００−４は、全体で、車両６００の周囲３６０度を撮像することができる。

図３は、第１〜第４のカメラ２００−１〜２００−４の撮影画像の一例を示す図である。

図３に示すように、第１〜第４のカメラ２００−１〜２００−４により撮影される第１〜第４のカメラ撮影画像７１０−１〜７１０−４には、それぞれ、車両６００の前方、後方、左側方、右側方の状況が映っている。第１〜第４のカメラ撮影画像７１０−１〜７１０−４は、画像処理部４００から読み出し可能な状態で、第１〜第４のカメラ２００−１〜２００−４のフレームメモリに保持される。

再度図１を参照する。画像処理部４００は、画像処理部４００は、マッピングテーブル参照部４１０、カメラ俯瞰画像生成部４２０、立体物検出部４３０、合成俯瞰画像生成部４４０、及びタイミング生成部４５０を含んでいる。

マッピングテーブル参照部４１０は、２種類のマッピングテーブル（ＭＰＴ：Ｍａｐｐｉｎｇ Ｔａｂｌｅ）を格納し、これらマッピングテーブルを参照して、２種類のマッピングデータを生成する。一方のマッピングテーブルは、各カメラ２００のフレームメモリ２２０に格納された撮影画像の画素位置と、後で説明するカメラ俯瞰画像の画素とを対応付けたテーブルである。また、他方のマッピングテーブルは、各カメラ俯瞰画像の画素と、後で説明する合成俯瞰画像の画素とを対応付けたテーブルである。一方のマッピングデータは、各カメラ俯瞰画像の画素ごとに、どの撮影画像のどの画素の値を割り当てるかを指示するデータである。他方のマッピングデータは、合成俯瞰画像の画素ごとに、どのカメラ俯瞰画像におけるどの画素の値を割り当てるかを指示するデータである。マッピングテーブル参照部４１０は、一方のマッピングデータを、立体物検出部４３０及びカメラ俯瞰画像生成部４２０に出力し、また、他方のマッピングデータを、合成俯瞰画像生成部４４０に出力する。

マッピングテーブル参照部４１０が格納するマッピングテーブルは、手作業で作成されてもよいし、車両周囲監視装置１００が幾何変換等の計算を実行することにより作成されてもよい。また、マッピングテーブルが、ファームウェアとして提供される場合には、マッピングテーブル参照部４１０は、通信回線やディスクドライブなどのデータ転送手段を用いて、外部からマッピングテーブルを取得してもよい。

カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力される一方のマッピングデータに従って、各カメラ２００のフレームメモリ２２０に格納された各撮影画像を読み出してマッピングを行うことにより、カメラ俯瞰画像を生成する。具体的には、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から出力された一方のマッピングデータに基づき、指定された撮影画像の画素を、カメラ俯瞰画像の画素の値として割り当てて、カメラ撮影画像毎にカメラ俯瞰画像が生成される。

ここで、カメラ撮影画像には、カメラ視点、つまり、カメラの設置位置から見たときのカメラ撮像範囲の状況が映っている。それとは異なり、カメラ俯瞰画像は、カメラ撮影画像の視点を変換したものであって、カメラ俯瞰画像には、車両上方に設置された仮想的なカメラの視点（仮想視点）から見た場合におけるカメラ撮像範囲の全体又は一部の状況が映っている。

ここで、図４は、図３に示す第１〜第４のカメラ撮影画像７１０−１〜７１０−４から生成される第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４の一例を示す図である。第１〜第４のカメラ俯瞰画像７２４−１〜７２４−４はそれぞれ、隣のカメラ俯瞰画像７２４との間の重複エリアを含む。

図１に示す立体物検出部４３０は、詳細については後述するが、各カメラ２００から得られたカメラ撮影画像に対し画像認識処理を行って、カメラ撮影画像から車両周囲に存在する立体物を検出する。また、立体物検出部４３０は、マッピングテーブル参照部４１０からの一方のマッピングデータを使うことで、各カメラ撮影画像のどの画素が、カメラ俯瞰画像におけるどの画素に対応するかが分かるので、このマッピングデータを用いて、検出した立体物が、カメラ俯瞰画像で映っているエリア（以下「立体物エリア」という）の座標値の集まりを特定する。立体物検出部４３０はさらに、検出した立体物エリアにおいて、車両に最も近い位置を、その立体物の基部位置として取得する。立体物エリアの座標値の集まりと、その立体物の基部位置とは、立体物位置情報として、合成俯瞰画像生成部４４０に送られる。

合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。具体的には、合成俯瞰画像生成部４４０は、このマッピングデータに基づき、指定されたカメラ俯瞰画像の画素を、合成俯瞰画像の画素の値として割り当てて、これによって、合成俯瞰画像が生成される。

ここで、合成俯瞰画像は、カメラ俯瞰画像と比較すると、仮想カメラ視点から見た場合における車両の全周囲を１フレームに収めている点で相違する。

図５は、合成俯瞰画像生成部４４０によって生成される合成俯瞰画像の一例を示す図である。図５の例では、仮想視点の位置は車両の真上に設定されており、合成俯瞰画像７２０の中央には車両を示すアイコン７２１が配置される。また、車両の周囲に立体物が存在する場合には、合成俯瞰画像７２０において対応する位置に立体物７２３が描かれる。

ここで、各カメラ俯瞰画像は各カメラ２００の位置から撮影されているため、それぞれに映っている立体物の倒れこみの方向が異なる（図４参照）。したがって、このようなカメラ俯瞰画像を基礎として生成される合成俯瞰画像においても、立体物７２３は倒れこみの方向が相違する（図５参照）。もしこのような合成俯瞰画像がそのまま表示されると、この画像を見る運転者は違和を感じる。特に、重複エリアにおいては、「背景技術」の欄で説明したように、立体物の配置関係が運転者にとっては分かり難くなる。

以上の観点から、合成俯瞰画像生成部４４０は、まず、立体物検出部４３０からの立体物位置情報に基づいて、この立体物位置情報に対応する立体物を、カメラ俯瞰画像生成部４２０から受け取ったカメラ俯瞰画像から切り出し、回転させる（画像回転処理）。その後、合成俯瞰画像生成部４４０は、自身が生成した合成俯瞰画像に、回転済みの立体物を合成する（立体物合成処理）。

画像回転処理は、立体物位置情報を受け取った場合に行われ、カメラ俯瞰画像において、立体物位置情報で特定される立体物エリアから、立体物が抽出される。抽出された立体物は、立体物位置情報で特定される基部位置を中心として、それを撮影したカメラ２００の視点から見た射影方向から、所定の視点から見た射影方向に回転させられる。

また、立体物合成処理において、回転済みの立体物は、合成俯瞰画像上に合成される。ここで、合成俯瞰画像生成部４４０には、カメラ俯瞰画像と、合成俯瞰画像との対応関係が示される他方のマッピングデータが入力されているので、合成俯瞰画像生成部４４０は、回転済みの立体物を、合成俯瞰画像上のどの位置に合成するかを、このマッピングデータに基づき特定する。

以上の画像回転処理及び立体物合成処理は、受け取った立体物位置情報毎に行われる。また、特に、重複エリアについては、同じ立体物が複数のカメラ俯瞰画像に映っているが、いずれのカメラ俯瞰画像から立体物を抽出するかについては、後述する。

そして、合成俯瞰画像生成部４４０は、フレームごとの合成俯瞰画像から、動画系列を表示するための映像信号を生成し、生成した映像信号をモニタ５００へ出力する。

タイミング生成部４５０は、第１〜第４のカメラ２００−１〜２００−４のフレーム切り替えのタイミングと、マッピングテーブル参照部４１０の各マッピングデータ出力タイミングと、合成俯瞰画像生成部４４０の動作タイミングとを制御するタイミング信号を生成する。このタイミング信号により、車両６００の周囲の画像をリアルタイムで映し出す合成俯瞰画像の映像信号が、モニタ５００に出力される。

モニタ５００は、合成俯瞰画像生成部４４０から受け取った映像信号に従って、合成俯瞰画像を表示する。モニタ５００は、例えば、液晶ディスプレイを有する表示装置であり、車両６００の運転席から見える位置に取り付けられる。モニタ５００は、車両搭載型のＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）端末（いわゆるカーナビゲーションシステム）等の、他のシステム又は装置との間で共有されてもよい。

なお、車両周囲監視装置１００は、図示しないが、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）及びマッピングテーブルを含む各種データを格納したＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ ａｎｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の記憶媒体、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等の作業用メモリなどを有する。上記各部の機能は、例えば、ＣＰＵが制御プログラムを実行することにより実現される。

このような車両周囲監視装置１００によれば、合成俯瞰画像を運転者に対して表示することができるとともに、合成俯瞰画像の立体物の射影方向を、所定の視点を基準とした方向に揃えることができる。また、マッピングテーブルを用いるので、合成俯瞰画像を高速に生成することができる。

次に、上述の画像回転処理の詳細について説明する。

図６は、画像回転処理を施す前の合成俯瞰画像の一例を示す図である。図６では、車両周囲の路面上に置かれた立体物（例えばパイロン）が複数位置するときの合成俯瞰画像が模式的に示されている。

ここで、カメラ２００の視点の位置を、「カメラ視点」という。図６に示すように、画像回転処理を施す前の合成俯瞰画像７２０では、立体物７２３は、立体物の基部位置７３２を基点として、その画像を撮影したカメラ２００のカメラ視点７３１から見た射影方向（以下「カメラ射影方向」という）７３３に倒れ込んだ状態となる。

例えば、第３のカメラ俯瞰画像７２４−３の、第２のカメラ俯瞰画像７２４−２に近い部分に位置する第１の立体物７２３−１は、第３のカメラ２００−３のカメラ視点７３１−３から見た第１の射影方向７３３−１（後方向）に倒れ込んでいる。一方で、第２のカメラ俯瞰画像７２４−２の、第３のカメラ俯瞰画像７２４−３に近い部分に位置する第２の立体物７２３−２は、第２のカメラ２００−２のカメラ視点７３１−２から見た第２の射影方向７３３−２（左方向）に倒れ込んでいる。

第１の立体物７２３−１と第２の立体物７２３−２とは互いに、近距離に本来位置するので、両立体物７２３−１及び７２３−２は同じ方向に倒れこんだ状態で運転者により視認されることが好ましい。しかしながら、第１の立体物７２３−１及び第２の立体物７２３−２とは、異なるカメラ視点７３１−３及び７３１−２から撮影されたものであるため、画像回転処理前の合成俯瞰画像７２０においては大きく異なった方向に倒れ込んでいるように運転者により視認される。

このように、画像回転処理を施さない場合、実際には近距離に位置する２つの立体物であるにもかかわらず、カメラ俯瞰画像７２４の境界線の付近においてその立体物７２３の射影方向が大きく異なる。このことは、実際には同一の立体物であるにもかかわらず、カメラ俯瞰画像７２４の境界線の両側で、その立体物７２３の射影方向が大きく異なることを意味する。したがって、画像回転処理を施さない合成俯瞰画像７２０は、上述の通り、運転者の立体物の配置関係に対する認識誤りを引き起こす。また、画像回転処理を施さない合成俯瞰画像７２０では、立体物７２３は、車両の移動又は立体物７２３の移動によって境界線を越えるときに、不連続な動きで表示されることになる。

そこで、本実施の形態の車両周囲監視装置１００は、カメラ俯瞰画像７２４から抽出した立体物７２３を１つの視点から見た射影方向に回転させた後に、合成俯瞰画像７２０に合成して、各立体物７２３の射影方向を揃える。これによって、上記認識誤り及び立体物の不連続な動きの低減を図る。以下、回転の基準となる単一の視点を、「合成視点」という。

図７は、画像回転処理を施した後の合成俯瞰画像の一例を示す図であり、図６に対応するものである。

図７に示すように、画像回転処理を施した後の合成俯瞰画像７２０では、立体物７２３は、基部位置７３２を基点として、合成視点７３４から見た射影方向（以下「視点射影方向」という）７３５に倒れ込んだ状態となっている。ここで、合成視点７３４は、車両の運転者の視点の位置に設定されている。合成俯瞰画像生成部４４０は、立体物７２３を、基部位置７３２を中心として、カメラ射影方向７３３から視点射影方向７３５へと回転させることにより、このような合成俯瞰画像７２０を生成する。

例えば、第１及び第２の立体物７２３−１、７２３−２の射影方向は、ほぼ平行となり、実際の配置関係により近くなる。したがって、上記画像回転処理を行うことにより、境界線における立体物７２３の不連続な動きや、立体物の配置関係に対する認識誤りを防ぐことができる。

このように、画像回転処理を施すことにより、実際の立体物の配置関係により近い配置関係で立体物７２３を配置した合成俯瞰画像を、運転者に提供することができる。また、合成視点７３４を運転者の視点に合わせているので、実際に運転者から立体物を見たときの方向と同じ方向に立体物を倒し込むことができる。したがって、運転者に対して、実際の立体物の配置関係を、より正確に認識させることができる。

ここで、車両を基準とし高さ成分を除いた座標系において、カメラ２００の設置位置の座標（カメラ視点の座標）をＣ（Ｃ_ｘ，Ｃ_ｙ）、立体物の基部位置７３２の座標をＯ（Ｏ_ｘ，Ｏ_ｙ）、合成視点の座標をＰ（Ｐ_ｘ，Ｐ_ｙ）と置く。このとき、カメラ射影方向７３３から視点射影方向までの回転角θは、カメラ射影方向の方向ベクトルＶ_Ｃ（Ｏ_ｘ−Ｃ_ｘ，Ｏ_ｙ−Ｃ_ｙ）及び視点射影方向の方向ベクトルＶ_Ｐ（Ｏ_ｘ−Ｐ_ｘ，Ｏ_ｙ−Ｐ_ｙ）を用いて、以下の式（１）を用いて算出することができる。
θ ＝ ａｒｃｃｏｓ｛（Ｖ_Ｐ・Ｖ_Ｃ）／（｜Ｖ_Ｐ｜・｜Ｖ_Ｃ｜）｝ ・・・・・・（１）

なお、回転角θは、合成俯瞰画像の座標ごとに一意に決まる。したがって、座標ごとに回転角θを予め算出して記憶しておくことにより、画像回転処理の高速化を図ることができる。

以下、本実施の形態に係る車両周囲監視装置１００の動作について説明する。

図８は、車両周囲監視装置１００の動作の一例を示すフローチャートである。

まず、ステップＳ１１００において、カメラ俯瞰画像生成部４２０及び立体物検出部４３０は、タイミング生成部４５０からのタイミング信号を受けて、第１〜第４のカメラ２００−１〜２００−４から、第１〜第４のカメラ撮影画像をそれぞれ取得する（図３参照）。

次に、ステップＳ１２００において、カメラ俯瞰画像生成部４２０は、マッピングテーブル参照部４１０から入力される一方のマッピングデータに基づいて、第１〜第４のカメラ撮影画像から、第１〜第４のカメラ俯瞰画像を生成する（図４参照）。そして、カメラ俯瞰画像生成部４２０は、生成した各カメラ俯瞰画像を、合成俯瞰画像生成部４４０に出力する。

次に、ステップＳ１３００において、合成俯瞰画像生成部４４０は、カメラ俯瞰画像生成部４２０からの各カメラ俯瞰画像を受け取り、マッピングテーブル参照部４１０より他方のマッピングデータを受け取る。合成俯瞰画像生成部４４０は、受け取ったマッピングデータに従って、受け取った各カメラ俯瞰画像に対しマッピングを行って、合成俯瞰画像を合成する。

次に、ステップＳ１４００において、立体物検出部４３０は、ステップＳ１１００で取得された第１〜第４のカメラ撮影画像に対し画像認識処理を行うことにより、立体物の検出処理を行う。

画像認識処理としては、例えば、パターンマッチング処理又はエッジ抽出処理、又はステレオ処理を採用することができる。

パターンマッチング処理の場合、立体物検出部４３０は、検出対象となる立体物（例えばパイロン、ポール）の外観の形状の特徴を予め記憶しておき、その形状と相関性の高い画像部分を、立体物として検出する。エッジ抽出処理の場合、立体物検出部４３０は、検出対象となる立体物を構成する線分に特徴的な特定の方向（例えば路面に対する垂直方向）に近い方向の線分のみを抽出し、抽出された線分が集中する画像部分を、立体物として検出する。例えば、人、ポール、箱等の立体物は、垂直方向に近い方向の線分を多く有することから、検出が容易である。ステレオ処理の場合、立体物検出部４３０は、車両の路面に対する移動と、この移動に伴う第１〜第４のカメラ撮影画像の変化とから、路面画像ではない部分、つまり立体物を抽出する。ステレオ処理の詳細については、後述する。

なお、立体物検出部４３０は、重複エリアについては、複数のカメラ俯瞰画像の間で輝度あるいは色の差分が大きい部分を、立体部と判定し、この画像部分と輝度及び色が連続して整合する画像を立体物と判定する。

また、立体物検出部４３０は、立体物が含まれる大まかな領域を、立体物と判定してもよい。これは、立体物の抽出を行うことができない場合に有効である。この場合には、立体物検出部４３０は、立体物を、矩形や楕円形等の単純な外形としてもよい。

そして、ステップＳ１５００において、立体物検出部４３０は、後のステップで画像処理の対象となる少なくとも１つの立体物をステップＳ１４００で検出できたかを判断する。立体物検出部４３０は、処理対象となる立体物を検出できた場合には（Ｓ１５００：ＹＥＳ）、ステップＳ１６００へ進む。

図９は、処理対象となる立体物が存在する場合の合成俯瞰画像の例を示す図である。ここでは、立体物は路面に対し垂直方向に伸びた棒状部材とする。図９に示すように、立体物７２３は、その画像を撮影したカメラ視点７３１を起点としたカメラ射影方向７３３に倒れ込んでいる。

図８のステップＳ１６００において、立体物検出部４３０は、一方のマッピングデータを参照して、第１〜第４のカメラ撮影画像における立体物の位置を、カメラ俯瞰画像における位置情報に変換する。これによって得られた立体物位置情報を、立体物検出部４３０は、合成俯瞰画像生成部４４０へ出力する。

図１０は、立体物位置情報を示す図である。立体物位置情報は、上述の通り、立体物エリアの座標の集まり及び基部位置を示す情報である。基部位置７３２は、立体物７２３が路面と接する位置である。また、立体物エリア７３６は、立体物７２３が描かれた座標の集合で特定される。

立体物検出部４３０は、立体物エリア７３６のうちカメラ２００のカメラ視点７３１に最も近い位置の座標を、基部位置７３２として採用する。

一方、立体物検出部４３０は、処理対象となる立体物を検出できなかった場合には（ステップＳ１５００：ＮＯ）、ステップＳ１７００へ進む。

ステップＳ１７００において、立体物検出部４３０は、処理対象となる立体物を検出できなかった旨を示す情報を合成俯瞰画像生成部４４０に出力し、ステップＳ１８００へ進む。

図８のステップＳ１８００において、合成俯瞰画像生成部４４０は、立体物位置情報を受け取ったか否かを判断する。立体物位置情報を受け取った場合（Ｓ１８００：ＹＥＳ）には、ステップＳ１９００に進む。

次に、ステップＳ１９００において、合成俯瞰画像生成部４４０は、立体物を回転させるための合成視点を設定する。ここでは、合成俯瞰画像生成部４４０は、車両の運転席の画像位置に、合成視点を設定するものとする（図７参照）。

そして、ステップＳ２０００において、合成俯瞰画像生成部４４０は、立体物の基部を中心に、前式（１）で求まるθだけ立体物を回転させた後の、立体物エリアの座標の集まりを算出する。この回転は、図６及び図７で説明したように、基部位置を中心としたカメラ射影方向から視点射影方向への回転である。

図１１は、立体物の回転の様子を示す図である。図１１に示すように、立体物７２３は、基部７３２を中心として、カメラ射影方向７３３から視点射影方向７３５へと、それぞれ回転される。

なお、重複エリアの立体物は、その生成に際してどちらのカメラ俯瞰画像を用いても、回転後の倒れ込みの方向は同一となる。しかし、立体物の大きさ、つまりカメラ射影方向の長さ（以下「射影長」という）は、どちらのカメラ俯瞰画像を用いたかによって異なる。

図１２は、第３のカメラ撮影画像を用いた場合の、ある立体物の立体物を示す図である。また、図１３は、第２のカメラ俯瞰画像を用いた場合の、同じ立体物を示す図である。図１２及び図１３に示すように、立体物７２３−３、７２３−２の射影長は異なる。これは、カメラ２００から立体物までの距離が異なるためである。

図１４は、カメラ２００からの距離と射影長との関係を示す図である。図１４に示すように、カメラ２００から立体物７３７までの距離ｄと射影長Ｌとの比は、立体物７３７の高さｈ_Ｌと、立体物７３７の上端からカメラ２００の高さまでの距離ｈ_Ｕとの比に比例する。したがって、射影長Ｌは、カメラ２００から立体物７３７までの距離ｄに比例する。このことは、カメラ２００からの距離が長いほど、立体物７３７の射影長が長くなり、実際の立体物の外観に対する立体物７３７の歪みが大きくなり、表示範囲からはみ出して消失する部分が多くなることを意味する。

したがって、合成俯瞰画像生成部４４０は、重複エリアの立体物については、カメラ２００の位置までの長さがより短いほうのカメラ画像を用いることが望ましい。距離は、例えば、立体物の基部位置とカメラ２００の位置とから求めることができる。

そして、図８のステップＳ２１００において、合成俯瞰画像生成部４４０は、ステップＳ２０００で算出した回転後のエリアに立体物を合成俯瞰画像に描画する。

そして、回転後のエリアに立体物を描画するだけでは、合成俯瞰画像には、同じ立体物であるが回転前のものが描かれたままであるため、ステップＳ２２００において、合成俯瞰画像生成部４４０は、立体物の回転前のエリアに、路面を描画する。これにより、合成俯瞰画像において立体物は基部位置を中心としてカメラ射影方向から視点射影方向へと回転した状態に補正される。

ここで、ステップＳ２２００の詳細な処理の一例について説明する。カメラ２００から見て立体物の背後（カメラ射影方向側）は、そのカメラ２００にとっては死角となる。したがって、そのカメラ２００のカメラ撮影画像においては、回転前のエリアに描画すべき路面の色データが欠落している。一方で、回転前のエリア（以下「データ欠落エリア」という）は、カメラ２００の視点の移動（車両の移動）や立体物の移動に伴って変化する。

そこで、合成俯瞰画像生成部４４０は、過去に生成された合成俯瞰画像を所定数フレーム分記憶しておき、過去のフレームを用いて、現在のフレームのデータ欠落エリアを補完する。

図１５は、データ欠落エリアの補完の様子を示す図である。

図１５（Ａ）に示す第ｎのフレームの合成俯瞰画像７２０_ｎが取得された後、車両が車庫入れ等のために後退し、図１５（Ｂ）に示す第ｎ＋ａのフレームの合成俯瞰画像７２０_ｎ＋ａが取得されたとする。

第ｎのフレームの合成俯瞰画像７２０_ｎにおいて、立体物７２３は、あるデータ欠落エリア７３８_ｎから、回転後の領域（以下「回転先領域」という）７３９_ｎへと回転する。回転先領域７３９_ｎの路面画像は、基の第ｎのフレームの合成俯瞰画像７２０_ｎに含まれている。

そして、第ｎ＋ａのフレームの合成俯瞰画像７２０_ｎ＋ａにおいて、立体物７２３は、さらに、データ欠落エリア７３８_ｎ＋ａから、別の回転先領域７３９_ｎ＋ａへと回転する。ここで、説明の簡便化のため、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８_ｎ＋ａが、第ｎのフレームにおける回転先領域７３９_ｎに一致しているものとする。この場合、第ｎ＋ａのフレームにおけるデータ欠落エリア７３８_ｎ＋ａの路面画像は、第ｎのフレームの合成俯瞰画像７２０_ｎに、回転先領域７３９_ｎの路面画像として含まれている。

したがって、合成俯瞰画像生成部４４０は、まず、車両の舵角量並びに車速等から得られる車両の移動量並びに移動方向、及び／又はオプティカルフロー等の画像処理に基づいて、フレーム間での合成俯瞰画像の座標の対応付けを行う。そして、合成俯瞰画像生成部４４０は、矢印７４０に示すように、第ｎ＋ａのフレームの合成俯瞰画像７２０_ｎ＋ａにおけるデータ欠落エリア７３８_ｎ＋ａを、第ｎのフレームの合成俯瞰画像７２０_ｎにおける回転先領域７３９_ｎの路面画像で補完する。

なお、車両又は立体物の移動がなければ、データ欠落エリアを補完することはできない。したがって、合成俯瞰画像生成部４４０は、検出対象となる立体物が存在する状態で車両の移動が検出された時、及びカメラ撮影範囲へ立体物の進入が検出してきた時にのみ、データ欠落エリアの補完を行うようにしてもよい。

また、合成俯瞰画像生成部４４０は、時間的に後のフレームの合成俯瞰画像を用いて、データ欠落エリアの補完を行うようにしてもよい。但し、数フレーム分の画像をバッファすることになり、モニタ５００に表示される合成俯瞰画像に多少の遅れが生じる。

以上のステップＳ２２００の実行後、処理は図８に示すステップＳ２３００に進む。ステップＳ２３００において、合俯瞰画像生成部４４０は、補正後の合成俯瞰画像を示す映像信号をモニタ５００に出力し、合成俯瞰画像を表示させる。表示される合成俯瞰画像は、処理対象となる立体物が存在する場合には、その立体物を回転させた画像となっている。

そして、ステップＳ２４００において、タイミング生成部４５０は、ユーザ操作等により合成俯瞰画像の表示の処理の終了を指示されたか否かを判断する。タイミング生成部４５０は、処理の終了を指示されていない場合は（Ｓ２４００：ＮＯ）、タイミング信号を出力してステップＳ１１００に戻り、処理の終了を指示された場合は（Ｓ２４００：ＹＥＳ）、タイミング信号の出力を停止して一連の処理を終了させる。

また、画像処理の対象となる立体物が存在しない場合には（Ｓ１８００：ＮＯ）、合成俯瞰画像生成部４４０は、直接にステップＳ２３００へ進み、画像回転処理を行うことなく、合成俯瞰画像をモニタ５００に表示させる。

このような動作により、車両周囲監視装置１００は、車両周囲の立体物の射影方向が揃った合成俯瞰画像を、運転者に提供することができる。

なお、以上の実施形態の説明では、立体物検出部４３０が受け取ったカメラ画像から立体物および立体物までの距離を検出していたが、これに限らず、例えば、アクティブセンサにより立体物および立体物までの距離を検出してもかまわない。

なお、複数のカメラ俯瞰画像から成る合成俯瞰画像が用いられる場合には（図４参照）、重複エリアに位置する立体物は、複数のカメラ俯瞰画像に異なる形で映る場合がある。したがって、合成俯瞰画像においては、これら異なる形のもの同士を合成して、１つの立体物が映るようにしてもよい。

また、各カメラ俯瞰画像に映る立体物の射影長を、合成視点から見たときの射影長に補正することにより、より見易い立体物を得ることが可能である。

また、合成俯瞰画像に映る立体物の配置関係が実際の立体物の配置関係と大きく異なるのは、主に、重複エリアである。したがって、処理対象を重複エリアの付近に位置する立体物に絞ることにより、車両周囲監視装置１００の処理負荷を軽減することが可能である。

また、画像処理を重複エリアに限定して行う場合には、複数のカメラ俯瞰画像から成る合成俯瞰画像を用いることにより、より簡単にデータ欠落エリアの補完を行うことが可能となる。

また、ある立体物が、他の立体物の陰になって視認し難い場合、合成視点を変えることにより、陰になっていた立体物を視認し易くすることが可能である。

以下、これらの態様について順に説明する。

まず、異なる形で映る立体物を合成する態様について詳細に説明する。

図１６は、第３のカメラ俯瞰画像から得られる回転後の立体物のみを採用した場合の合成俯瞰画像の一例を示す図であり、図１２に対応するものである。図１７は、第２のカメラ俯瞰画像から得られる回転後の立体物（図１６の立体物と同一のもの）のみを採用した場合の合成俯瞰画像の一例を示す図であり、図１３に対応するものである。図１８は、図１６に示す立体物と、図１７に示す立体物とを合成した立体物を採用した場合の合成俯瞰画像の一例を示す図である。

図１６に示す立体物７２３−３と、図１７に示す立体物７２３−２は、それぞれ１つの視点から見た画像である。したがって、ある方向からのみ観察したときには全体像を視認し難い立体物において、その方向とカメラの撮影方向とが一致した場合には、立体物７２３は、その立体物を把握し難い画像となる。例えば、板状の看板を真横から撮影した場合が、これに該当する。

そこで、合成俯瞰画像生成部４４０は、例えば、立体物７２３−３と立体物７２３−２とを合成して、図１８に示すような立体物７２３を描画する。これにより、運転者が立体物７２３をより把握し易くすることができる。なお、合成俯瞰画像生成部４４０は、回転後の立体物のみを合成してもよいし、立体物を回転させた後のカメラ俯瞰画像を合成してもよい。

次に、異なるカメラ俯瞰画像に異なる形で映る同一立体物（以下、便宜上、「２つの立体物」という）の射影長を揃える態様について説明する。

図１４を参照して説明する。立体物検出により特定される立体物７３７の高さｈ_Ｌ及び立体物７３７までの距離ｄと、カメラ２００（又は合成視点７３４）の高さＨ＝ｈ_Ｌ＋ｈ_Ｕとから、立体物７３７の射影長Ｌは、以下の式（２）を用いて算出することができる。
Ｌ ＝ （ｈ_Ｌ・ｄ）／（Ｈ−ｈ_Ｌ） ・・・・・・（２）

合成俯瞰画像生成部４４０は、例えば、式（２）を用いて、合成する２つの立体物の射影長と、合成視点７３４から見たときの射影長とを算出する。そして、合成俯瞰画像生成部４４０は、２つの立体物のそれぞれを、合成視点７３４から見たときの射影長Ｌ_１をカメラ２００から見たときの射影長Ｌ_２で除して得られる比率Ｌ_１／Ｌ_２で、射影方向に縮小する。これにより、合成視点７３４から見たときの射影長に、立体物の射影長を揃えることができる。

また、合成視点７３４の高さをカメラ視点７３１の高さと同一とした場合には、より簡単に立体物の射影長を揃えることができる。

図１９は、立体物の基部位置とカメラ２００の画像位置及び合成視点との関係の一例を示す図である。図１９に示すように、カメラ俯瞰画像７２４において、立体物７２３の基部位置７３２とカメラ２００のカメラ視点７３１との距離がｄ_１であり、同じ基部位置７３２と合成視点７３４との距離がｄ_２であったとする。

図２０は、視点から立体物までの距離と射影長との関係を示す図である。図２０に示すように、元の射影長をＬ_１とし、合成視点にカメラ２００を水平移動したときの射影長をＬ_２とする。この場合、射影長Ｌ_１に対する射影長Ｌ_２の比は、距離ｄ_１に対するｄ_２の比と一致する。そこで、合成俯瞰画像生成部４４０は、例えば、立体物を、射影方向に、以下の式（３）で表される比率ｒで伸縮させることにより、立体物の射影長を、合成視点から見たときの射影長に補正する。
ｒ ＝ Ｌ_１・ｄ_２／ｄ_１ ・・・・・・（３）

図２１は、第３のカメラ俯瞰画像から得られる射影長補正後の立体物の一例を示す図であり、図１２に対応するものである。図２２は、図２１に示す立体物と同一の立体物について第２のカメラ俯瞰画像から得られる射影長補正後の立体物の一例を示す図であり、図１３に対応するものである。図２３は、図２１に示す立体物と図２２に示す立体物とを合成した立体物の一例を示す図である。

図２１に示すように、合成俯瞰画像生成部４４０は、例えば、第３のカメラ俯瞰画像から得られる立体物７２３−３を、合成視点７３４を基準として、射影長Ｌ_１'から射影長Ｌ_２'へと補正する。また、図２２に示すように、合成俯瞰画像生成部４４０は、例えば、第２のカメラ俯瞰画像から得られる立体物７２３−２を、合成視点７３４を基準として、射影長Ｌ_１''から射影長Ｌ_２''へと補正する。射影長Ｌ_２'、Ｌ_２''は、ともに合成視点７３４を基準として補正されることから、同じ値となる。

図２３に示すように、立体物７２３−３、７２３−４を合成して得られる立体物７２３は、実際の立体物により近い状態となり、かつ、より見易くなる。また、合成視点７３４から見たときの射影長にそろえることにより、実際の立体物の高さと表示上の射影長との間の相関性が高まり、運転者は、実際の立体物の高さをより正確に認識することが可能となる。

次に、画像処理の対象を重複エリア付近の立体物に絞る態様について説明する。

図２４は、カメラ俯瞰画像の接合部付近の領域に重なる立体物のみを処理対象とした場合の立体物の回転の様子を示す図であり、図１１に対応するものである。このパターンでは、合成俯瞰画像生成部４４０は、立体物７２３のうち、隣り合うカメラ俯瞰画像７２４の間の接合部を取り囲むように設定された領域７４１に重なる立体物７２３のみを回転する。

図２５は、カメラ俯瞰画像の接合部に重なる立体物のみを処理対象とした場合の立体物の回転の様子を示す図であり、図１１に対応するものである。このパターンでは、合成俯瞰画像生成部４４０は、立体物７２３のうち、隣り合うカメラ俯瞰画像７２４の間の接合部７４２に重なる立体物７２３のみを回転する。

図２６は、重複エリアに重なる立体物のみを処理対象とした場合の立体物の回転の様子を示す図であり、図１１に対応するものである。このパターンでは、立体物７２３のうち、カメラ俯瞰画像７２４の重複エリア７４３に重なる立体物７２３のみを回転する。

図２７は、重複エリアに基部位置を有する立体物のみを処理対象とした場合の立体物の回転の様子を示す図であり、図１１に対応するものである。このパターンでは、立体物７２３のうち、カメラ俯瞰画像７２４の重複エリア７４３に基部位置７３２を有する立体物７２３のみを回転する。

図１１、図２４〜図２７に示す処理対象の決定のパターンを比較すると、車両及び立体物の移動により、車両と立体物との相対位置が変化したときの射影方向の変化は、図１１に示すパターンにおいて連続的となり、相対的に滑らかで自然となる。一方で、処理対象の個数が最小となり、装置負荷を最も軽減することができるのは、図２７に示すパターンである。また、図２７に示すパターンでは、回転前の領域も回転後の領域も重複エリアにあるため、次に説明する態様によるデータ欠落エリアの補完が可能となる。装置負荷に対する許容度と射影方向の変化に対する許容度とのバランスから、適切なパターンを全体的又は部分的に採用することができる。

なお、図２４〜図２７のように、処理対象のエリアを限定する場合には、立体物検出部４３０は、そのエリアについてのみ立体物を検出する構成としてもよい。

次に、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完を行う態様について説明する。

図２８は、重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完の様子を示す図である。図２８に示すように、合成俯瞰画像生成部４４０は、例えば、第３のカメラ俯瞰画像７２４−３と第２のカメラ俯瞰画像７２４−２との重複エリア７４３において、第３のカメラ俯瞰画像７２４−３の立体物７２３を用いて回転させる。この場合、第３のカメラ俯瞰画像７２４−３には、データ欠落エリア７３８が生じる。ところが、第２のカメラ俯瞰画像７２４−２のデータ欠落エリア７３８に対応する領域７４４には、路面が映し出されている。これは、カメラ俯瞰画像７２４ごとにカメラ射影方向が異なるためである。

したがって、合成俯瞰画像生成部４４０は、データ欠落エリア７３８を、第２のカメラ俯瞰画像７２４−２の対応する領域７４４の画像で補完する。１つのフレームの合成俯瞰画像からデータ欠落エリアの補完をすることができるので、図１５で説明した補完の手法に比べて、処理負荷及びメモリ負荷を軽減することができる。

次に、合成視点を変化させる態様について説明する。

図２９は、画像回転処理を施す前の合成俯瞰画像の一例を示す図である。図３０は、図２９に示す合成俯瞰画像に対して画像回転処理を施した後の合成俯瞰画像の一例を示す図である。図３１は、図３０に示す合成俯瞰画像から合成視点をずらした合成俯瞰画像の一例を示す図である。

図３０に示すように、第１の立体物７２３−１の基部位置７３２−１と、第２の立体物７２３−２の基部位置７３２−２とが、合成視点７３４に対してほぼ一直線に位置している。この場合、合成視点７３４から遠い側である第２の立体物７２３−２は、第１の立体物７２３−１の陰となり視認し難い状態となることがある。

そこで、合成俯瞰画像生成部４４０は、図３１に示すように、合成視点７３４を移動可能とし、陰になっていた第２の立体物７２３−２を視認し易くすることを可能にする。

この移動は、画像補正４４０が合成視点からみて複数の基部位置が直線状に配置されているか否かを判断して自動で行ってもよいし、ユーザ操作を受けて行われるようにしてもよい。また、移動先は、車両中心等の固定位置が予め定められていてもよいし、基部位置の検出結果又はユーザ操作に応じて、任意の位置に設定できるようにしてもよい。これにより、図２９に示すように、元は重なっていなかった立体物が、回転処理により重なり、かえって視認性を低下させるといった事態を防ぐことができる。

次に、カメラ撮影画像に対する画像処理により立体物の検出を行う技術の詳細について説明する。

画像処理による立体物の検出は、上述の通り、例えば、パターンマッチング処理及びステレオ処理により可能である。

パターンマッチング処理の場合、立体物検出部４３０は、予め記憶された立体物の外観の形状と相関性の高い画像部分を立体物として検出し、検出した立体物の画像位置から、立体物の位置を検出する。

ステレオ処理の場合、立体物検出部４３０は、異なる位置から撮影された２つの画像を用い、撮影位置の変異と２つの撮影画像の差異とから、立体物の位置を検出する。ステレオ処理には、２眼カメラを用いたステレオ処理と単眼カメラを用いたモーションステレオ処理がある。

ここで、単眼カメラを用いたモーションステレオ処理として、カメラ２００の撮影画像を用いて立体物の検出を行う手法について説明する。２眼カメラを用いる場合と異なり、単眼カメラを用いる場合は、ある時刻において、１つの撮影画像しか得られない。したがって、撮影時刻が異なる２つの撮影画像を用いて、同じパターンの特徴点の移動量を求め、車両６００の移動量との比計算から、立体物までの距離を算出する。

図３２は、カメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図である。図３２に示すように、車両６００が、立体物７５１を左に見ながら移動したとする。そして、立体物検出部４３０は、時刻ｔ_１に第１の画像７５２−１を取得し、時刻ｔ_２に第２の画像７５２−２を取得したとする。第１及び第２の画像７５２−１、７５２−２は、第３のカメラ撮影画像である。立体物検出部４３０は、コーナー検出フィルタ処理やエッジ検出フィルタ等を用いて、第１の画像７５２−１から、立体物の特徴となるような点（エッジ点やコーナー等）を、特徴点７５３として検出する。そして、検出した特徴点７５３を、第２の画像７５２−２で探索する。

立体物検出部４３０は、第１の画像７５２−１における特徴点７５３の位置と、第２の画像７５２−２における特徴点７５３の位置との間の画素間距離Ｄ［ｍｍ］を、これらの画素間距離［ｐｉｘｅｌ］と、第３のカメラ２００−３のカメラパラメータとから算出する。カメラパラメータは、カメラ２００のレンズ設計時に設定されるパラメータであって、ピクセル単位での画素間距離と長さ単位での画素間距離とを対応付けるパラメータである。そして、立体物検出部４３０は、第３のカメラ２００−３の焦点距離をｆ、時刻ｔ_１から時刻ｔ_２までの車両６００の移動距離をＸとすると、カメラ２００から立体物７５１までの距離ｄを、以下の式（４）を用いて算出する。
ｄ ＝ ｆ・Ｘ／Ｄ ・・・・・・（４）

このように、立体物検出部４３０は、画像処理のみによって立体物を検出することができる。

また、立体物検出部４３０は、上述のように立体物の特徴点検出を行う場合には、検出した複数の特徴点をグルーピングすることにより、グルーピングされた特徴点に囲まれた合成俯瞰画像の領域を、立体物の座標として検出してもよい。

以上説明したように、本実施の形態によれば、所定の視点を基準として立体物の射影方向が揃うので、運転者は車両周囲の立体物の配置関係をより正確に認識することができる。なお、カメラの台数及び合成俯瞰画像の範囲は、以上説明した実施の形態の内容に限定されるものではない。

本発明に係る車両周囲監視装置及び車両周囲監視方法は、運転者が車両周囲の立体物の配置関係をより正確に認識することができる車両周囲監視装置及び車両周囲監視方法として有用である。

本発明の一実施の形態に係る車両周囲監視装置のブロック図 本実施の形態におけるカメラの取り付け位置の一例を示す斜視図 本実施の形態におけるカメラの撮影画像の一例を示す図 本実施の形態におけるカメラ俯瞰画像の一例を示す図 本実施の形態におけるカメラ俯瞰画像生成部によって生成される合成俯瞰画像の一例を示す図 本実施の形態における画像回転処理を施す前の合成俯瞰画像の第１の例を示す図 本実施の形態における画像回転処理を施した後の合成俯瞰画像の一例を示す図 本実施の形態に係る車両周囲監視装置の動作の一例を示すフローチャート 本実施の形態における画像回転処理を施す前の合成俯瞰画像の第２の例を示す図 本実施の形態における立体物位置情報を示す図 本実施の形態における立体物の回転の様子を示す図 本実施の形態における第３のカメラ俯瞰画像を用いた場合の立体物を示す図 本実施の形態における第２のカメラ俯瞰画像を用いた場合の立体物を示す図 本実施の形態におけるカメラからの距離と射影長との関係を示す図 本実施の形態におけるデータ欠落エリアの補完の様子を示す図 本実施の形態における第３のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図 本実施の形態における第２のカメラ俯瞰画像から得られる立体物のみを採用した場合の合成俯瞰画像の一例を示す図 本実施の形態における図１６に示す立体物と図１７に示す立体物を合成した立体物を採用した場合の合成俯瞰画像の一例を示す図 本実施の形態における立体物の基部位置とカメラの画像位置及び合成視点との関係の一例を示す図 本実施の形態における視点から立体物までの距離と射影長との関係を示す図 本実施の形態における第３のカメラ俯瞰画像から得られる射影長補正後の立体物の一例を示す図 本実施の形態における第２のカメラ俯瞰画像から得られる射影長補正後の立体物の一例を示す図 本実施の形態における図２１に示す立体物と図２２に示す立体物とを合成した立体物の一例を示す図 本実施の形態におけるカメラ俯瞰画像の接合部付近の領域に重なる立体物のみを処理対象とした場合の立体物の回転の様子を示す図 本実施の形態におけるカメラ俯瞰画像の接合部に重なる立体物のみを処理対象とした場合の立体物の回転の様子を示す図 本実施の形態における重複エリアに重なる立体物のみを処理対象とした場合の立体物の回転の様子を示す図 本実施の形態における重複エリアに基部位置を有する立体物のみを処理対象とした場合の立体物の回転の様子を示す図 本実施の形態における重複エリアのカメラ俯瞰画像を用いてデータ欠落エリアの補完の様子を示す図 本実施の形態における画像回転処理を施す前の合成俯瞰画像の一例を示す図 本実施の形態における図２９に示す合成俯瞰画像に対して画像回転処理を施した後の合成俯瞰画像の一例を示す図 本実施の形態における図３０に示す合成俯瞰画像から合成視点をずらした合成俯瞰画像の一例を示す図 本実施の形態におけるカメラ撮影画像を用いて立体物の検出を行う手法の概要を示す図 従来の車両周囲監視装置におけるカメラ配置及びカメラ俯瞰画像の一例を示す図 従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第３のカメラ俯瞰画像の一例を示す図 従来の車両周囲監視装置における重複エリアに立体物が位置するときの、第２のカメラ俯瞰画像の一例を示す図 従来の車両周囲監視装置における合成俯瞰画像の第１の例を示す図 従来の車両周囲監視装置における合成俯瞰画像の第２の例を示す図 従来の車両周囲監視装置における合成俯瞰画像の第３の例を示す図 従来の車両周囲監視装置における合成俯瞰画像の第４の例を示す図

符号の説明

１００ 車両周囲監視装置
２００ カメラ
２１０ 撮像部
２２０ フレームメモリ
２３０ フレーム切替部
４００ 画像処理部
４１０ マッピングテーブル参照部
４２０ カメラ俯瞰画像生成部
４３０ 立体物検出部
４４０ 合成俯瞰画像生成部
４５０ タイミング生成部
５００ モニタ

Claims (9)

1. 車両周囲に存在する立体物を検出する立体物検出部と、
   複数のカメラの撮影画像に基づき車両周囲の俯瞰画像を合成して合成俯瞰画像を生成し、前記立体物検出部による検出結果に基づき、生成した合成俯瞰画像に映る立体物を、所定の視点から見た射影方向に回転させたものに補正する第１の画像生成部と、
   を備え、前記所定の視点は、前記車両の運転者の視点位置である、
   車両周囲監視装置。
2. 前記複数のカメラの撮影範囲には互いに重複する重複エリアが存在し、
   前記第１の画像生成部は、前記合成俯瞰画像において、少なくとも、前記重複エリアに存在する立体物を、前記所定の視点から見た射影方向に回転させたものに補正する、
   請求項１記載の車両周囲監視装置。
3. 前記複数のカメラによる撮影画像毎に、前記車両周囲を俯瞰したカメラ俯瞰画像を生成する第２の画像生成部をさらに備え、
   前記第１の画像生成部は、
   前記第２の画像生成部により生成された複数のカメラ俯瞰画像に基づき合成俯瞰画像を生成し、さらに、
   前記第２の画像生成部により生成された複数のカメラ俯瞰画像から、前記立体物検出部による検出結果に基づき立体物を抽出して、抽出した立体物を前記所定の視点から見た射影方向に回転させた状態で、生成した合成俯瞰画像に描画する、
   請求項１記載の車両周囲監視装置。
4. 前記第１の画像生成部はさらに、生成した合成俯瞰画像に映る立体物の長さを、前記所定の視点から該立体物を見たときの路面における射影長になるように補正する、
   請求項１記載の車両周囲監視装置。
5. 前記第１の画像生成部は、前記合成俯瞰画像に映るすべての立体物を、前記所定の視点から見た射影方向に回転させたものに補正する、
   請求項１記載の車両周囲監視装置。
6. 前記第１の画像生成部はさらに、生成した合成俯瞰画像に元々映っていた立体物の部分に、カメラ俯瞰画像を用いて路面を描画する、
   請求項３記載の車両周囲監視装置。
7. 前記第１の画像生成部はさらに、現在生成した合成俯瞰画像に元々映っていた立体物の部分に、過去に生成した合成俯瞰画像を用いて路面を描画する、
   請求項３記載の車両周囲監視装置。
8. 前記第１の画像生成部により生成された合成俯瞰画像を表示するモニタをさらに備える、
   請求項１記載の車両周囲監視装置。
9. 車両周囲に存在する立体物を検出する第１のステップと、
   複数のカメラの撮影画像に基づき車両周囲の俯瞰画像を合成して合成俯瞰画像を生成し、前記第１のステップにおける検出結果に基づき、生成した合成俯瞰画像に映る立体物を、所定の視点から見た射影方向に回転させたものに補正する第２のステップと、
   を備え、前記所定の視点は、前記車両の運転者の視点位置である、
   車両周囲監視方法。

Images