JP5959264B2 - 画像処理装置及び方法、並びにコンピュータプログラム - Google Patents

Description

本発明は、画像処理装置及び方法に関し、特に複数台のカメラによる撮影で得た画像を合成して任意の視点からの画像を生成する技術に関する。このような画像処理は、例えば車両の運転の際の安全確認の補助として利用可能なものである。本発明はまた、上記の画像処理方法をコンピュータに実行させるためのコンピュータプログラムに関する。

運転者が駐車時に車両の上方から地面の白線を俯瞰したり、車両の後方や側方の見えにくい対象物の確認をしやすくするために、車載カメラからの画像に処理を施して表示する画像処理装置がある。

例えば、特許文献１に記載された画像処理装置では、複数のカメラでの撮像により得た画像を空間モデルに投影し、投影された画像を任意の視点から見た画像に変換して、表示部に表示させることにより、運転者が車両周辺の状況をより容易に確認できるようにしている。画像を投影する空間モデルとしては、曲面と平面から成る円柱型、あるいは椀型といった立体面形状のものを用い、これにより、従来の路面に対応する平面への投影では表示ができなかった周辺画像をも表示することを可能としている。

国際公開第２０００／６４１７５号（１０頁、図１）

しかしながら、上述した従来の画像処理装置では、カメラ画像を投影する空間モデルとして曲面と平面から成る円柱型、あるいは椀型といった予め定められた形状のものを用いているため、壁部（底部から立ち上がった面）に投影される画像部分を見ても、撮像されている対象物までの距離が把握しにくいという問題があった。

本発明は、上記従来技術の課題を解決するためになされたものであり、その目的は、車両周辺の対象物までの距離を把握しやすい画像の生成を可能にすることである。

本発明の第１の態様に係る撮像装置は、
自車両の近辺の対象物を撮像する複数のカメラと、
前記カメラで撮像した対象物までの距離情報を生成する距離情報生成部と、
前記距離情報生成部で生成した距離情報を基に前記自車両から前記対象物までの距離に応じた立体面を有する空間モデルの形状を決定するモデル形状決定部と、
前記モデル形状決定部で決定された形状を有する空間モデルに対して前記複数のカメラによる撮像で得た複数の画像を投影し、さらに投影した画像をスクリーン座標系に変換することで、スクリーン座標系の画像を生成する投影変換部と、
前記投影変換部によって生成されたスクリーン座標系の画像の一部又は全部を抽出して合成画像を生成する画像合成部と、
前記画像合成部で生成された合成画像を、画像表示部に表示させる情報伝達部と
を備え、
前記モデル形状決定部は、前記距離情報生成部で生成した距離情報を基に、前記自車両の進行方向にあり、かつ前記自車両に最も近い対象物、又はその部分の距離情報のみを反映して前記空間モデルの形状を決定することを特徴とする。
本発明の第２の態様に係る撮像装置は、
自車両の近辺の対象物を撮像する複数のカメラと、
前記カメラで撮像した対象物までの距離情報を生成する距離情報生成部と、
前記距離情報生成部で生成した距離情報を基に前記自車両から前記対象物までの距離に応じた立体面を有する空間モデルの形状を決定するモデル形状決定部と、
前記モデル形状決定部で決定された形状を有する空間モデルに対して前記複数のカメラによる撮像で得た複数の画像を投影し、さらに投影した画像をスクリーン座標系に変換することで、スクリーン座標系の画像を生成する投影変換部と、
前記投影変換部によって生成されたスクリーン座標系の画像の一部又は全部を抽出して合成画像を生成する画像合成部と、
前記画像合成部で生成された合成画像を、画像表示部に表示させる情報伝達部と
を備え、
前記モデル形状決定部は、前記距離情報生成部で生成した距離情報を基に、前記自車両の進行方向にあり、かつ前記自車両に最も近い対象物又はその部分、及び画像上で当該最も近い対象物又はその部分の周囲に位置する部分についての距離情報のみを反映して前記空間モデルの形状を決定することを特徴とする。

本発明によれば、車両周辺の対象物までの距離を把握しやすい画像を生成することが可能となる。

本発明の実施の形態に係る画像処理装置の構成を概略的に示すブロック図である。 図１のカメラの構成を概略的に示すブロック図である。 従来の椀型の空間モデルの垂直断面図である。 従来の椀型の空間モデルの上面図である。 図４の空間モデルの一部をなす領域と、それより遠い位置にある対象物の水平断面図である。 図４の空間モデルの一部をなす領域と、それより近い位置にある対象物の水平断面図である。 図４の空間モデルの一部をなす領域と、対象物の垂直断面図である。 テクスチャ座標系の画像の一例を示す図である。 スクリーン座標系の画像の一例を示す図である。 ワールド座標系と撮像視点座標系と仮想視点座標系の関係を示す図である。 撮像視点座標系からワールド座標系への変換、及びワールド座標系から仮想視点座標系への変換を示す図である。 本発明により形成された空間モデルの一例の一部をなす領域を示す水平断面図である。 （ａ）〜（ｃ）は、自車両の前方にある他の車両、及び該他の車両までの距離に応じて形成される空間モデルの異なる例の垂直断面を示す図である。 本発明による空間モデルの一例を用いて形成した合成画像の一例を示す図である。 従来の空間モデルを用いて形成した合成画像の一例を示す図である。 本発明による空間モデルの他の例を用いて形成した合成画像の一例を示す図である。 本発明による空間モデルのさらに他の例を示す斜視図である。 図１７の空間モデルを用いて形成した合成画像の一例を示す図である。 ステレオカメラを用いて対象物までの距離を測定する方法を示す図である。

図１は、本発明の実施の形態に係る画像処理装置１００の構成を概略的に示す。図示の画像処理装置１００は、車両に搭載されるものであり、第１乃至第４のカメラ１ａ〜１ｄ（各々を区別する必要がないときは、単に符号「１」で表す）と、第１乃至第４のセンシング部２ａ〜２ｄ（各々を区別する必要がないときは、単に符号「２」で表す）と、距離情報算出部３と、モデル形状決定部４と、カメラ制御部５と、投影変換部６と、画像合成部７と、情報伝達部８とを備える。画像処理装置１００には、画像表示部８０、スピーカ８２、自車両状態検出部９０、及び操作部９２が接続されている。

カメラ１ａ〜１ｄは、自車両の周辺の画像を撮像する。
本実施の形態においては、図４に示すように、第１のカメラ１ａが自車両前方、第２のカメラ１ｂが自車両後方、第３のカメラ１ｃが自車両の左側方、第４のカメラ１ｄが自車両の右側方に設置され、それぞれ、自車両の前方、後方、左側方、右側方を撮像する。カメラ１ａで撮像された画像の画像情報（第１の画像情報）、第２のカメラ１ｂで撮像された第２の画像の情報（第２の画像情報）、第３のカメラ１ｃで撮像された第３の画像の情報（第３の画像情報）、及び第４のカメラ１ｄで撮像された第４の画像の情報（第４の画像情報）は、データバス９を経由して、カメラ制御部５及び投影変換部６に供給される。

図２は、カメラ１の構成を概略的に示すブロック図である。カメラ１は、光学系１１と、撮像素子１２と、ＡＤ変換器１３と、センサ駆動回路１４とを備える。
光学系１１は、例えば、広角レンズ、例えば１８０度以上の画角を有する魚眼レンズで構成されており、レンズは１枚から成るものであっても良く、複数枚を組み合わせたものであっても良い。
撮像素子１２は、光学系１１から得られる光をアナログの電気信号に変換する。撮像素子１２は、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型及びＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）型の何れであってもよい。ＡＤ変換器１３は、撮像素子１２から得られるアナログの電気信号を、デジタルの画像情報に変換する。センサ駆動回路１４は、撮像素子１２の動作を制御する。

図１に戻り、センシング部２は、自車両の周辺にある対象物を検知し、該対象物についての情報を取得するセンシングデバイスで構成される。センシング部２は、例えば、超音波を各方向に向けて発射し、対象物からの反射波が受信されるまでの時間を測定することにより距離を計測するソナーセンサで構成される。超音波を発射する方向を所定角度ずつ変更する（走査する）ことで、自車両を中心として所定の範囲（走査範囲）内のそれぞれの方向における対象物までの距離を求めるための情報を得ることができる。

第１のセンシング部２ａは第１のカメラ１ａで撮像される対象物までの距離測定のために用いられ、同様に、第２のセンシング部２ｂは第２のカメラ１ｂで撮像される対象物までの距離測定、第３のセンシング部２ｃは第３のカメラ１ｃで撮像される対象物までの距離測定、第４のセンシング部２ｄは第４のカメラ１ｄで撮像される対象物までの距離測定のために用いられる。

距離情報算出部３は、第１乃至第４のセンシング部２ａ〜２ｄでの超音波の放射及び反射波の受信に基づいて、それぞれのセンシング部から対象物までの距離を算出する。距離算出のため、第１乃至第４のセンシング部２ａ〜２ｄの各々で、各角度において超音波を発射するタイミングの制御及び反射波が帰ってくるまでの時間の測定を行い、さらに、測定した時間から対象物までの距離を算出する。

距離情報算出部３はさらに、上記のようにして測定された距離（それぞれにセンシング部２ａ〜２ｄから対象物までの距離）に基づいて、自車両の特定の位置から、対象物（対象物の各部分）までの距離を算出する。
対象物までの距離を算出することで、カメラ１で撮像した対象物の全体について距離情報（奥行情報）を得ることができる。このようにして算出される距離は、仮想視点から見える対象物の３次元形状を知るために利用される。

上記した自車両の「特定の位置」は、すべてのセンシング部２ａ〜２ｄに対して共通に定められる位置、例えば、自車両の中心であっても良く、代わりにそれぞれのセンシング部２ａ〜２ｄに対してそれぞれ別個に定められた位置であっても良い。例えば、自車両の前方に設けたセンシング部２ａについては、自車両の前端を「特定の位置」として、該前端からの距離を算出し、自車両の後方に設けたセンシング部２ｂについては、自車両の後端を「特定の位置」として、該後端からの距離を算出することとしても良い。また、それぞれのセンシング部について対応するカメラの位置を「特定の位置」として、該カメラからの距離を算出しても良い。さらにまた、上記した「特定の位置」からの距離を計算せずに、それぞれのセンシング部２ａ〜２ｄからの距離をそのまま自車両からの距離として用いても良い。

センシング部２と距離情報算出部３とで、カメラ１ａ〜１ｄで撮像した対象物までの距離、即ち自車両から対象物の各部分までの距離を表す情報を生成する距離情報生成部１０が構成される。

センシング部２はアクティブ方式により距離測定を行うセンシングデバイスであればよく、例えば対象物の２次元距離情報を取得可能に構成されたミリ波、レーザ、赤外線等を用いたレーダであってもよい。

自車両状態検出部９０は、自車両の状態、例えば、進行方向、速度を検出し、自車両の進行方向、速度を表す情報をモデル形状決定部４へ出力する。操作部９２は、ユーザによる操作入力のために用いられる。

モデル形状決定部４は、距離情報生成部１０で生成した距離情報を基に、カメラ１ａ〜１ｄで撮像した複数の画像を投影する立体面形状を決定し、決定された立体面形状を有する空間モデルを生成する。この空間モデルは、実空間に対応する仮想空間に仮想的に形成されるものである。モデル形状決定部４は、例えば、自車両状態検出部９０から得られる自車両の状態の検出結果を参照し、自車両の進行方向にあり、かつ自車両に最も近い対象物又はその部分までの距離情報のみを反映して上記の立体面形状を決定する。この際、操作部９２によるユーザからの操作入力に応じて空間モデルの形状を調整するようにしても良い。

従来の例では、空間モデルを予め定められた形状、例えば円柱型や椀型に形成している。椀型の場合、任意の視点位置から自車両周辺を見た合成画像を生成する際に、路面より上にある対象物がすべて同じ空間モデルの壁部に投影されるため、対象物が押しつぶされたように映る。

そのため、ユーザ（例えば運転者）は対象物の凹凸を画像で認識できず、例えば後方へ自車両を進行して駐車をする際、自車両に向けて突出する部分を有する対象物があったとしても、該突出部分が認識しにくいため、該突出部分に衝突する危険性がある。

これに対し、本発明では、距離情報生成部１０で生成した距離情報を基に対象物までの距離を考慮に入れた３次元の空間モデルを生成し、これに画像を投影することとしており、その結果、ユーザが対象物の凹凸を画像で認識しやすくなるため、衝突を未然に防止することができ、安全性が高まる。

カメラ制御部５は、輝度調整部５ａと、カメラパラメータ設定部５ｂとを有する。
輝度調整部５ａは、第１乃至第４のカメラ１ａ〜１ｄで撮像された第１乃至第４の画像の輝度を互いに整合させる。即ち、第１乃至第４の画像の各々を、例えば後述の図１９に示すように、少なくとも一つの他の画像と共通の領域を含むように形成し、これら領域の画素値の平均レベルが同じになるように、カメラパラメータ設定部５ｂを制御する。

カメラパラメータ設定部５ｂは、カメラ１ａ〜１ｄで用いる撮像素子１２の駆動信号を制御することにより、カメラ１ａ〜１ｄの各々で撮像する画像の画面輝度レベルを増減させる。
輝度調整部５ａ及びカメラパラメータ設定部５ｂにより複数の画像間の輝度レベル段差が生じないようにすることができ、ユーザによる視認性が高まる。

投影変換部６は、任意の視点からの画像の生成のために、投影変換及び座標変換を行う。即ち、カメラ１ａ〜１ｄによる撮像で得た複数の画像を、モデル形状決定部４で決定された形状を有する空間モデルに投影し、さらに空間モデル上の画像を、任意の仮想視点から任意の方向を見た画像を表すスクリーン座標系の画像（仮想視点画像）に投影する。このような投影に際し、異なる座標系間で座標変換を行う。

画像合成部７は、投影変換部６によって生成されたスクリーン座標系の画像から、一部又は全部を抽出して表示用画像を生成する。

情報伝達部８は、画像合成部７で生成された画像に基づいて映像信号を生成し、画像表示部８０に供給する。画像表示部８０は、例えばダッシュボード内に設けられたものであり、例えば液晶ディスプレイで構成される。画像表示部８０は、他の用途に用いられているもの、例えばカーナビゲーション用の画像表示部と兼用したものでも良い。
情報伝達部８はさらに、スピーカ８２に接続されており、自車両状態検出部９０から自車両の状態を示す情報を受け、距離情報生成部１０から距離情報を受け、これらに基いて衝突等の危険が迫っていると判断したときは、音声信号をスピーカ８２に供給して警告音を発生させる。

任意の視点からの画像の生成のため、本発明では、予め定められた形状の空間モデルではなく、距離情報生成部１０で生成した距離情報を元にモデル形状決定部４で生成した形状の空間モデル、即ち自車両から対象物の各部までの距離に対応した形状を有する空間モデルを用いるが、この空間モデルは、予め定められた形状の空間モデルに対して変形を加えたものであるため、以下では、予め定められた形状の空間モデルを用いる場合の説明をしながら、その変形としての空間モデルを用いた場合の違いを説明する。

空間モデルは、図４に示すように、車両の下方の路面にほぼ一致する底部と、底部から立ち上がる壁部とを有するように形成する。

空間モデルを地面の高さの水平面状の部分のみで構成すれば、地面上の白線を正確に再現できるが、この場合は自車両の周囲にある他の車両や木、建築物といった高さを持った対象物が大きく歪んで表示されてしまう。そのため、従来の例では、自車両及びその周辺では地面に対応した平面状であり、自車両から一定の水平距離でなだらかに壁状に立ち上がる椀型モデルが多く用いられている。椀型であると、対象物が立体物である場合に、壁面の立ち上がり角度が大きいほど実際の対象物の形状として認識しやすくなる。

図３は椀型の空間モデル２０の垂直断面を示し、図４は該空間モデル２０を上方から見た図である。空間モデル２０のうちの水平な、円形の部分２１をモデルの底部、それ以外の部分をモデルの壁部と称する。椀型の空間モデル２０はその底部の中心に自車両１１０が配置されるように形成される。壁部は、前方部分３１、後方部分３２、左側方部分３３、及び右側方部分３４を有する。前方部分３１は、カメラ１ａで撮像した前方撮像画像を貼り付けるための領域を構成し、後方部分３２は、カメラ１ｂで撮像した後方撮像画像を貼り付けるための領域を構成し、左側方部分３３は、カメラ１ｃで撮像した左側方撮像画像を貼り付けるための領域を構成し、右側方部分３４は、カメラ１ｄで撮像した右側方撮像画像を貼り付けるための領域を構成する。

撮像画像の空間モデルへの貼り付けは、実空間において対象物の画像をカメラで撮像することにより得られた、撮像面（撮像素子１２の光電変換素子が配列された面）上の画像を、当該実空間に対応する仮想空間に配置された空間モデルへに投影することで行われる。このことを、図５〜図７を参照して説明する。

図５及び図６は、図４の空間モデルの領域３１の、一定の高さ（図３に符号Ｈｃで示す）における水平断面を、カメラ１ａとともに示す。図５及び図６には対象物Ｏｓの同じ高さＨｃにおける水平断面が示されている。対象物Ｏｓとしては説明を簡単にするため、単純な形状のものが示されている。

図５は対象物Ｏｓが領域３１よりも遠い場合を示し、図６は対象物Ｏｓの被撮像部分が領域３１よりも近い場合を示す。いずれの場合にも、実空間における対象物Ｏｓの撮像画像はカメラ１ａの撮像面ＣＰに形成され、撮像面ＣＰに形成された画像が仮想的に空間モデルの領域３１に投影される。従って、対象物Ｏｓの符号Ｏｓ０１、Ｏｓ０２、Ｏｓ０３、Ｏｓ０４、Ｏｓ０５で示す点は、それぞれの点と、カメラ１ａのレンズ中心Ｏｃとを結ぶ直線と領域３１との交点Ｐｓ０１、Ｐｓ０２、Ｐｓ０３、Ｐｓ０４、Ｐｓ０５に投影される。

図７は、図４の空間モデルの領域３１を一定の方位（図４に符号Ｖｃで示す）における垂直断面を、カメラ１ａとともに示す。図５及び図６について述べたのと同様に対象物Ｏｓの符号Ｏｓ１１、Ｏｓ１２で示す点は、それぞれの点と、カメラ１ａのレンズの中心Ｏｃとを結ぶ直線と領域３１との交点Ｐｓ１１、Ｐｓ１２に投影される。

以上は、空間モデルが対象物の被撮像面と異なる形状を有する場合、或いは異なる位置に形成された場合を想定している。空間モデルが対象物の被撮像面と同じ形状を有し、同じ位置に形成される場合には、実空間における対象物上のうちの被撮像面上の各点がそのまま仮想的に形成される空間モデルの対応する点となるが、この場合にも、カメラによる撮像により得られた画像が空間モデルに投影される。

カメラ１ａによる撮像により、対象物Ｏｓの各点のテクスチャ情報が、上記撮像面上の対応する位置の画素により取得されており、撮像画像が空間モデルへ投影変換される際、撮像面上の各画素から空間モデル上の対応する点へテクスチャ情報が貼り付けられる（マッピングされる）。

次に、空間モデル上の各点は、出力画像（仮想視点画像）内の位置を定義するスクリーン座標系Ｓの位置に対応付けられ、空間モデル上の各点のテクスチャ情報が、スクリーン座標系の対応する位置に貼り付けられ（マッピングされ）、これにより仮想視点画像（スクリーン座標系上の画像）が形成される。上記の対応付けにおいては、一例として図５に示すように、空間モデルと仮想視点の間にスクリーン座標系Ｓの平面（仮想視点画像面）ＳＰを置き、空間モデルの各点と仮想視点Ｏｅを結ぶ直線と、仮想視点画像面ＳＰとの交点が、空間モデルの上記各点に対応する位置とされる。

以下、上記の投影変換で用いられる座標系について図８乃至図１１を参照して説明する。
図８はカメラ１から入力される画像内の位置を定義するためのテクスチャ座標系Ｔ上の画像の一例を示す。図８には、自車両から前方を見た画像、即ち、カメラ１ａで取得した画像が示されているが、他の方向を見た画像、即ち他のカメラ１ｂ〜１ｄで取得した画像についても同様のテクスチャ座標系のデータが生成される。また、撮像画像が空間モデルに投影されると、空間モデルの各点に対応したテクスチャ座標系のデータが形成される。

テクスチャ座標系Ｔは、横方向をｘ軸、縦方向をｙ軸とし、画像の大きさ（画素数）にかかわらず左下を（０、０）、右上端を（１、１）として、画像の任意の位置をパラメータとしてテクスチャを表す座標系である。
テクスチャ情報は、画像の各部乃至各画素の色（輝度、色相、彩度）を表す情報であり、各部乃至各画素の色を表す情報（テクスチャ値）が、テクスチャ座標系での座標位置に対応付けられている。
テクスチャ値は、テクスチャデータとして、投影変換部６のメモリ６ａ内の対応するアドレスに格納され、空間モデルへのテクスチャの貼り付けを行う際やスクリーン座標系Ｓで描画を行なう際に読み出されて利用される。

図９はスクリーン座標系Ｓの画像の一例を示す。図９に示される画像は自車両の後方から自車両をも含めて前方を見た画像である。自車両の画像としては予め用意されたイラスト画像或いは実画像が用いられる。図９のスクリーン座標系Ｓは、空間モデルが投影された画像の任意の位置をパラメータとして表す２次元座標系であり、横方向をｘ軸、縦方向をｙ軸とし、左下隅を（０、０）、右上隅を（１、１）として表す。

図１０は空間モデルを構築する空間内の位置を定義する３次元のワールド座標系Ｗと、カメラ（のレンズ中心）の位置を原点Ｏｃとして３次元位置を定義する撮像視点座標系Ｃと、仮想視点の位置を原点Ｏｅとして３次元位置を定義する仮想視点座標系Ｅを示す。
撮像視点座標系ＣのＺｃ軸は、カメラの光軸に一致する。仮想視点座標系ＥのＺｅ軸は、仮想視点から空間モデルを見るときの視線の方向に一致する。

以下、撮像画像から空間モデルへの投影変換についてより詳しく説明する。
図１１は、図１０に示される座標系Ｃ、Ｗ、Ｅの相互関係を示すとともに、カメラの撮像面ＣＰ及び仮想視点の画像を形成する面（仮想視点画像面）ＳＰを示す。
カメラにより、視点ＯｃからＺｃ軸の方向を見て撮像することで得られた画像は、撮像面ＣＰ（光電変換素子が配列された面）上にあるものと考えることができる。撮像面は実際には、視点座標系の原点（レンズの中心）Ｏｃに対して撮像対象物とは反対の側にあるが、便宜上同じ側に示されている。
一方、任意の（所望の）仮想視点Ｏｅから任意の（所望の）方向Ｚｅを見た画像は、仮想視点画像面ＳＰ上に形成されるものと考えることができる。
撮像面ＣＰ上の二次元座標は（ｕ，ｖ）で表され、仮想視点画像面ＳＰ上の座標は（ｘ_Ｓ，ｙ_Ｓ）で表されている。

撮像面ＣＰ上の位置Ｐｃの座標（ｕ，ｖ）と、原点Ｏｃとを結ぶ線と、空間モデルを構成する面との交点Ｐｍの、撮像視点座標系Ｃの座標（ｘ_Ｃ,ｙ_Ｃ,ｚ_Ｃ）との間には以下の関係がある。

式（１ａ）、（１ｂ）において、ｆ_Ｃは、原点Ｏｃから撮像面ＣＰまでの距離（レンズの焦点距離）である。
式（１ａ）、（１ｂ）により、撮像面上の各画素の位置と、空間モデル上の各点とが対応付けられ、この対応関係に基づいて、それぞれの画素で得られたテクスチャを、空間モデル上の対応する位置に割り当てることができる。

図１０及び図１１には撮像視点座標系Ｃが１つだけ示されているが、実際には、撮像視点座標系Ｃはカメラの数だけ存在する。
複数の撮像画像の画素が空間モデルの同じ点に対応付けられる場合には、予め定めた規則に従って、いずれかの撮像画像の画素を優先的に選択して、選択した撮像画像の画素のテクスチャを付与する。
例えば空間モデルの領域毎に優先するカメラを予め決めておくこととしても良い。例えば、空間モデルの前方の領域３１については前方を撮像しているカメラ１ａの撮像画像を優先させ、空間モデルの後方の領域３２については後方を撮像しているカメラ１ｂの撮像画像を優先させ、空間モデルの左側方の領域３３については左側方を撮像しているカメラ１ｃの撮像画像を優先させ、空間モデルの右側方の領域３４については右側方を撮像しているカメラ１ｄの撮像画像を優先させる。
そのように一つのカメラの画素を選択する代わりに、複数のカメラの画素についてテクスチャを重み付け平均することにより、空間モデル上の対応位置のテクスチャを定めることとしても良い。

空間モデルのうち、いずれのカメラの画素とも対応付けられない部分（位置）には、予め定められたテクスチャ情報、例えば色が黒であることを示す情報を付与する。

空間モデルとしては、一般には、３角形のポリゴンの集合として構築されたものが用いられる。この場合、各ポリゴンの頂点に対して、第１から第４までのカメラ１ａ〜１ｄのいずれによる撮像で得られたテクスチャを割り当てるかを決定し、決定結果に基づいて、各頂点へのテクスチャ情報の割り当てを行う。

空間モデルが予め定められた形状を有するものである場合には、空間モデルの各点の位置を表す情報、或いは各点の位置の算出に必要な情報が予めメモリ６ａに記憶されている。空間モデルが対象物までの距離に応じて形成されるものであれば、空間モデルが形成される際に、空間モデルの各点の位置を表す情報が算出され、メモリ６ａに記憶される。

撮像視点座標系Ｃの座標（ｘ_Ｃ，ｙ_Ｃ，ｚ_Ｃ）と、ワールド座標系Ｗの座標（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ）との間には、下記の式（２）で表される関係がある。

式（２）において、（ｔｃｘ，ｔｃｙ，ｔｃｚ）は、ワールド座標系の原点Ｏｗに対する撮像視点座標系の原点Ｏｃの相対位置を表す。
Ａ_ＣＷは、撮像視点座標系をワールド座標系の向きに合わせるための３行３列の回転行列であり、仮想空間内でのカメラ視点の位置姿勢から算出される。

上記の式（２）を用いて、空間モデルの各点の撮像視点座標系Ｃの座標をワールド座標系Ｗの座標に変換することができる。

ワールド座標系Ｗの座標（ｘ_Ｗ，ｙ_Ｗ，ｚ_Ｗ）と仮想視点座標系Ｅの座標（ｘ_Ｅ，ｙ_Ｅ，ｚ_Ｅ）との間には、下記の式（３）で表される関係がある。

式（３）において、（ｔｅｘ，ｔｅｙ，ｔｅｚ）は、ワールド座標系の原点Ｏｗに対する仮想視点座標系の原点Ｏｅの相対位置を表す。
Ａ_ＷＥは、ワールド座標系の向きを仮想視点座標系の向きに合わせるための３行３列の回転行列であり、仮想空間内での仮想視点の位置姿勢から算出される。

上記の式（３）を用いて、空間モデルの各点のワールド座標系Ｗの座標を仮想視点座標系Ｅの座標に変換することができる。

空間モデル上の各位置を表す仮想視点座標系の座標（ｘ_Ｅ,ｙ_Ｅ,ｚ_Ｅ）からスクリーン座標系の座標（ｘ_Ｓ，ｙ_Ｓ）への変換は以下の式（４）で表される。

式（４）で、Ａ_ＥＳは変換行列と呼ばれるものであり、仮想視点の視野角と出力画像（スクリーン座標系の画像）の解像度から算出される。

以上のようにして得られたスクリーン座標系Ｓの画像を構成する画素の各々に対して、空間モデルに対応して形成されたテクスチャ座標系のテクスチャを対応付け、描画を行う。このような処理により、任意の視点から任意の方向を見た画像（スクリーン座標系の画像）が得られる。

空間モデルがポリゴンの集合で構築されている場合には、ポリゴンの各頂点に対応する、スクリーン座標系Ｓ上の位置が求められ、求められた位置に、対応するテクスチャ座標系上の位置（ｘ_Ｔ，ｙ_Ｔ）の色の情報を複写し、頂点に対応する画素以外の画素については、補間によりテクスチャ値を求めて付与する。

上記の例では、テクスチャ情報が、撮像面から空間モデルの対応する点に付与され、空間モデルから仮想視点画像の対応する点に付与されるが、撮像面から空間モデルへの投影変換の際には、空間モデルの各点に、撮像面の対応する位置、従ってテクスチャ座標系の座標を表す情報のみを参照情報として対応付け、空間モデルからスクリーン座標系の画像への投影変換の際に、空間モデルの各点に対応付けられている参照情報を、スクリーン座標系の対応する点に複写し、スクリーン座標系において描画を行う際に、参照情報で指定される、テクスチャ座標系の座標で表される位置からテクスチャ情報を取得してテクスチャを貼り付けることとしても良い。

このような構成においては、空間モデルがポリゴンの集合で構築されている場合には、各ポリゴンの各頂点に対して、第１から第４までのカメラ１ａ〜１ｄのいずれによる撮像で得られた画像のどの画素を割り当てるかを決定し、割り当てられた画素を含む画像（或いは該画像を撮像したカメラ）を示す情報、及び当該画像内における割り当てられた画素の位置、即ち対応するテクスチャ座標内の座標を保持させる。そして、スクリーン座標系の画像の形成に当たっては、ポリゴンの各頂点に対応するスクリーン座標系Ｓの各画素に、対応するテクスチャ座標系上の位置（ｘ_Ｔ，ｙ_Ｔ）の色の情報を複写し、頂点に対応する画素以外の画素については、補間によりテクスチャ値を求めて付与する。

この場合、スクリーン座標系Ｓの各画素に、複数のテクスチャ座標系の座標が対応付けられている場合には、複数のテクスチャ座標系の対応する座標のテクスチャ情報の何れか一つの選択、或いは重み付け平均を行って、貼り付けるテクスチャを決めることになる。

なお、合成画像（画像表示部８０で表示される画像）にカメラのレンズの収差の影響が現れないようにするため、歪みを補正したテクスチャ座標をモデルの頂点に与えることとしても良い。そうすることにより、合成時には歪みを補正するための計算は不要となり、カメラから取得した画像をそのまま適用しさえすればレンズ収差の影響が除去された合成画像を得ることができる。

画像合成部７はこのようなスクリーン座標系の画像の一部又は全部を抽出して、必要に応じて拡大、縮小、回転を行い、表示画面内での位置を決め、さらに必要に応じて他の画像を組合せることで表示用の画像を形成する。

例えば自車両の上方から見下ろした画像を生成する場合には、自車両のイラスト画像を中央に表示し、その周辺（前後左右）に、路面の画像を表示するように、スクリーン座標系の画像を加工する。一方、車両から後方を見た画像を生成する場合には、自車両のイラスト画像を表示せず、カメラで得た撮像画像のみを表示するように、スクリーン座標系の画像を加工する。

図９は、以上の処理を行った結果形成される、スクリーン座標系の画像の一例を示すものである。図９に示す例では、自車両１１０の後方から前方を見たときの画像であり、曲線１３１で囲まれた部分は、空間モデルの領域３１に投影された画像部分に対応し、曲線１３３で囲まれた部分は、空間モデルの領域３３に投影された画像部分に対応し、曲線１３４で囲まれた部分は、空間モデルの領域３４に投影された画像部分に対応し、曲線１２１で囲まれた部分は、空間モデルの底部２１に投影された画像部分に対応する。
画像部分１３１と画像部分１３３のつなぎ目部分が符号４０ａで示され、画像部分１３１と画像部分１３４のつなぎ目部分が符号４０ｂで示されている。

どの視点からどの方向を見た画像をスクリーン座標系の画像として生成するかは、自車両の状態（進行方向、進行速度）によって自動的に切り換えることとしても良く、ユーザが選択可能としても良い。
例えば、駐車のため後進する場合には、自車両から後方を見た画像、或いは自車両の上方から見下ろした画像の表示が望まれることが多い。この場合、自車両状態検出部９０の出力に基づいて後進していることを検出し、後方を見た画像或いは上方から見下ろした画像が自動的に選択されるようにしておき、ユーザが操作部９２の操作で他の画像に切り換えることも可能であるようにしておくことが考えられる。

仮想視点の切り換えは、投影変換部６における投影変換において、仮想視点座標系の原点を変更することで実現できる。
仮想視点は、予め用意されたもののうちのいずれかを選択するようにしてもよく、一旦予め用意されたもののうちのいずれかを自動的に選択した後に、ユーザが操作部９２を操作することで調整が可能なようにしても良い。
仮想視点の位置の変更は、上記したワールド座標系Ｗの原点Ｏｗに対する仮想視点座標系Ｅの原点Ｏｅの相対位置（ｔｅｘ,ｔｅｙ,ｔｅｚ）の変更により行われ、仮想視点からの向きの変更は、仮想視点座標系ＥのＺｅ軸の方向の変更により行われる。

先にも述べたように、本発明では、予め定められた形状の空間モデルの代わりに、自車両からの対象物の各部までの距離に応じた形状の空間モデルに対象物の画像を投影する。
以下、このことを図１２〜図１５を参照して説明する。
図１２は、図５と同じ位置の水平断面図であり、対象物Ｏｓとカメラ１ａが示されている。

但し、図５の空間モデルの領域３１は図１２には示されていない。本発明では、空間モデルの領域３１の代わりに、対象物Ｏｓ１のうち、カメラ１ａで撮像された面（実線で示す）Ｏｓ１ｓを空間モデルの一部とする。対象物Ｏｓ１のうち、他の部分に隠れる部分（点線で示す）Ｏｓ１ｈは空間モデルの一部とはならず、隠れる部分の両端を結ぶ線（鎖線で示す）Ｏｓ１ｃが空間モデルの一部となる。
図示のように別の対象物Ｏｓ２が同時に撮像されている場合、その被撮像面Ｏｓ２ｓもまた空間モデルの一部となる。

なお、以上は、カメラ１ａで撮像される面の全体について、距離センサによる距離測定の結果距離情報が取得できたことを条件としている。カメラ１ａで撮像された面のうち、距離情報が取得できなかった領域には空間モデルを構成しないこととしても良く、その周囲の部分に基づいて形成された空間モデル部分に基づいて補間により対応する空間モデル部分を形成しても良い。例えば図１２に示すように、対象物Ｏｓ１、Ｏｓ２の間の領域において、自車両からの距離情報が得られなかった場合、鎖線Ｏｓｃで示すように、自車両から所定の距離において、対象物Ｏｓ１、Ｏｓ２間を接続する面を構成しても良い。

図１３（ａ）及び（ｂ）は、図１２とは異なる対象物を撮像した場合の、空間モデル生成の例を示す。図１３（ａ）は、カメラ１ａで前方の他の車両１２０を撮像している状態を示す立面図である。この場合も図１２を参照して説明したのと同様に、対象物としての車両１２０の特定の位置、例えばカメラ１ａから対象物の各部分までの距離に応じた空間モデル５１（図１３（ｂ））を形成する。図１３（ｂ）には、形成される空間モデル５１の垂直断面が示されている。

図１３（ａ）に示す例では、車両１２０の荷台１２０ａから飛び出ている荷物５０の突出端５０ｂが自車両（カメラ１ａ）に最も近く、その距離はＬ５０ｂと算出されている。自車両が車両１２０の方向に進行している場合、最も気を付けるべきは荷物５０の突出部分（自車両に向けて突出した部分）５０ａであるが、予め定められた椀型の空間モデルに投影した画像では荷物５０が突出部分５０ａを有することは認識しにくい。そのため、画像表示部８０に表示される画像を頼りに運転すると荷物５０の突出部分５０ａに衝突してしまうおそれがある。

本実施の形態では、荷物５０の突出部分５０ａ、特にその突出端５０ｂまでの距離が認識しやすいようにするため、予め定められた空間モデルではなく、距離情報生成部１０で生成した距離情報を基にモデル形状決定部４で生成した、自車両から対象物の各部までの距離に応じた形状(従って、対象物の被撮像面の形状に応じた形状)の空間モデル５１を使用する（図１３（ｂ））。この空間モデル５１は、荷物５０の突出部分５０ａに対応した突出部分５１ａを有し、その突出端５１ｂは、荷物の突出端５０ｂに対応した位置に形成される。

このような空間モデル５１を用いて形成した画像（画像表示部８０に表示される画像）の一例を図１４に示す。また、比較のため、従来の椀型の空間モデルを用いて形成した画像を図１５に示す。これらの図で、画像中の各部は、対応する対象物のそれぞれの部分と同じ符号で示されている。
図１５では、椀型の空間モデルへの投影の結果、画像に歪みが生じ（押しつぶされた画像となっており）、遠近感が失われているのに対して、図１４では、歪みがなく遠近感のある画像が得られている。このため、荷物５０の突出部分５０ａが確認しやく、荷物５０の突出部分５０ａへの衝突の危険が認識しやすい。

以上のように、本実施の形態においては、予め定められた椀型の空間モデルを使わずに、自車両から対象物の各部までの距離に対応した形状の空間モデルを用いるため、任意の視点位置から自車両周辺を見た合成画像を生成する際に、自車両近辺にある対象物が押しつぶされたように映ることがなく、対象物の凹凸、特に手前への突出部分を認識しやすい画像が形成されるため、衝突防止に役立つ。

なお、上記の実施の形態では、図１３（ｂ）を参照して説明したように、距離情報生成部１０で生成した距離情報を基に、自車両から対象物の各部までの距離に応じた形状の空間モデルを形成する場合に、空間モデル形成のための計算量が極めて多くなることがある。モデル形状決定部４を構成する演算処理装置の演算能力が高い場合はよいが、演算能力が低い演算処理装置を用いている場合は演算負荷を減らす必要がある。

そこで、複数の対象物のうちの、自車両に最も近い対象物、或いは当該対象物のうちの自車両に最も近い部分（対象物部分）、例えば、自車両の進行方向に位置する対象物の自車両に最も近い部分のみについて距離を考慮した形状とし、他の部分（及び他の対象物）については予め定められた形状、例えば椀型の空間モデルを用いることも考えられる。自車両の進行方向についての情報は、自車両状態検出部９０から得られる。上記の予め定められた形状、例えば椀型の空間モデル形状を表すデータは、予めモデル形状決定部４内のメモリ４ａに記憶されており、上記「他の部分」のためのモデルの形状の決定の際に、この記憶データが利用される。このようにすることで、計算量を削減しつつ、衝突回避のための安全性向上を図ることができる。

対象物が図１３（ａ）に示される他の車両である場合に、自車両に最も近い部分のみについて距離を考慮に入れた形状の空間モデルの一例を図１３（ｃ）に示す。図１３（ｃ）は、図１３（ｂ）と同様に、空間モデル５２の垂直断面を示している。
空間モデル５２のうち、符号５２ａで示す部分は、自車両１１０から他の車両１２０の荷物５０のうちの手前に突出した部分５０ａの各部までの距離に対応しており、それ以外の部分は椀型の形状を有する。

図示の例では、車両１２０の荷台１２０ａの後端１２０ｂまで（後端１２０ｂ及びそれよりも前の部分）は突出した部分とはされず、荷物５０のうちの荷台１２０ａの後端１２０ｂから後方に突出した部分５０ａのみが突出した部分（自車両に最も近い部分）として扱われ、空間モデル５２には、この部分５０ａに対応した形状の部分５２ａが形成されている。
突出部分５２ａの突出端５２ｂは、自車両から荷物５０の突出端５０ｂ（自車両に最も近い側の端部）までの距離Ｌ５０ｂに対応した位置に形成される。
空間モデル５２のうちの部分５２ａ以外の部分は、部分５２ａに連続した形状となるように、形成される。即ち、底部５２ｄの半径２１ａ、壁部５２ｃの曲率等は、突出部分５２ａの位置（自車両からの距離）に基づいて決定される。

上記のような空間モデルを用いて形成した表示画像の一例を図１６に示す。図１６では、突出部分５０ａ以外は図１５と同様であるが、突出部分５０ａのみ、図１４と同様に、歪みがなく、遠近感のある画像が得られている。このため、荷物５０の突出部分５０ａが確認しやすい。

また、突出部分５２ａの突出量は、荷物の突出部分５０ａに一致していなくても良く、例えば予め定めた長さ以下に制限しても良い。

さらに、対象物の突出部分ととともにその周囲の部分に対応する部分については距離を考慮に入れた形状とし、その他の部分を予め定められた椀型の空間モデルを形成することとしても良い。この場合の空間モデルの全体形状は、図１７に示すごとくとなり、この場合の表示画像の例は図１８に示すごとくとなる。

図１７では、空間モデルの底部、前方領域、後方領域、左側方領域及び右側方領域に図４の同様の部分と同じ符号が付してある。前方領域３１の一部に対応する位置に、対象物の突出部分が検出された結果、当該一部及びその周辺から成る範囲３６のみ、自車両から対象物の各部までの距離に対応した形状とされている。上記の範囲３６に投影された画像が、画像表示部８０では図１８において枠５４で囲んだ部分となる。

図１８において枠５４の外部は図１５と同様の画像が形成され、枠５４の内部には、図１４と同様の画像が形成されている。このような画像であっても、荷物５０の突出部分５０ａが確認しやすい。
なお、枠５４の内部と外部との画像の不連続性が目立つのを避けるため、境界部分をぼかすための画像処理を行なっても良く、逆に枠の内部のみ表示色を変えることで違いを強調して、危険に注意を喚起することとしても良い。

図１３（ｃ）の例では、荷台１２０ａの後端１２０ｂまでを、対象物のうちの自車両に向けて突出した部分（即ち自車両に最も近い部分）として処理しているが、自車両に最も近い対象物又はその部分のうちの自車両に最も近い端部５０ｂから所定の範囲、例えば１ｍ前方（遠方）までを自車両に最も近い部分として扱っても良い。

また、どの範囲までを、自車両に向けて突出した部分（自車両に最も近い部分）として処理するかを、予め設定可能としても良く、自車両の状態、例えば進行方向、進行速度に基づいて自動的に切り換えることとしても良く、ユーザが表示画像を見ながら調整可能としても良い。
同様に、空間モデルの各部の寸法（底部５２ｄの半径２１ａ、壁部５２ｃの曲率等）もユーザが予め任意に設定可能としても良く、ユーザが表示画像を見ながら調整可能としても良い。

さらにまた、対象物までの距離が所定の閾値よりも近い場合にのみ、空間モデルの形状を対象物の各部までの距離に応じたものとすることとしても良い。また、上記の所定の閾値を、自車両の進行方向、進行速度に応じて変化させることしても良い。さらにまた、所定の方向、例えば後方の領域のみ、空間モデルの形状を対象物の各部までの距離に応じた形状とし、他の方向では、予め定められ形状、例えば椀型の形状としても良い。

なお、底部の形状を円形として説明してきたが、楕円でもよく、ユーザが任意の値に決定することが出来る。例えば、楕円の内部に引いた２焦点を通る線分を長径、長径の垂直二等分線を楕円の内部に引いた線分を短径と定義し、これらの値をユーザが設定することで空間モデルの底部の形状を決めることができる。

なおまた、上記の「予め定められた形状」は椀型に限定されず、例えば円柱型であっても良く、四角柱型であっても良い。さらに前後左右のうちの選択された方向、例えば一方又は二方にのみ壁部を設けた形状（衝立型）であっても良い。さらに、いずれの場合にも、底部は、路面の画像の形成が必要なとき以外は省略しても良い。

また、図９の点線で囲んだ領域４０はスクリーン座標系における画像の境界部を示しているが、この境界部のずれにより本来見える筈の画像が見えなくなる（死角が発生する）ことがある。死角の発生を防ぐために、画像間の境界部においては隣接する二つの画像を、係数（アルファ値）を使って半透明合成（アルファブレンド）することにより結合してもよい。このように処理することにより画像間の境界が目立ちにくくなるだけでなく、死角をなくすことにより視認性が向上する。

なおまた、上記の説明において、カメラ１で撮像した対象物の画像の全体について距離情報を得ることができる旨述べたが、このことは、必ずしも撮像した画像の各画素について個別に距離測定を行うことを意味しない。一般にセンシング部２によるセンシングの分解能はカメラ１による撮像の分解能よりも低いので、距離情報は、複数の画素ごとに１つしか得られない。この場合、複数の画素ごとに得られた距離情報を当該複数の画素に対して共通の距離情報として用いても良く、当該複数の画素のうちの距離情報が得られた角度に最も近い画素についての距離情報として用いて、他の画素については、補間演算により距離情報を求めても良い。

また、センシング部２として用いるソナーセンサの走査範囲は、カメラ１の画角ほど広くないため、カメラ１で撮像した画像に映っている対象物すべてに超音波を放射するのは困難である。そのため、例えばセンシング部２の各々を複数のソナーセンサで構成し、複数のソナーセンサの角度をずらして配置することでカメラ１ａの画角すべてを放射範囲とすることも可能である。そのように構成することでカメラ１で撮像した対象物が画像内のどこに映っていても距離情報生成部１０で対象物についての距離情報が得られることになり、衝突防止の観点から有効である。

さらにまた、自車両周辺の対象物までの距離測定をセンシング部２のみで行わずに、カメラのみを使用した距離測定とセンシング部２を使用した距離測定の組合せとしてもよい。
図１９は説明を容易にするために椀型の空間モデルを使用したときの車両上方からみた図を示している。第１乃至第４のカメラ１ａ〜１ｄの各々が１８０度の画角をもつ魚眼レンズを備えている場合、領域６０内に存在する対象物は第１のカメラ１ａと第４のカメラ１ｄの双方で撮像可能であるため、これら２台のカメラを使用したパッシブステレオ法により対象物までの距離測定が可能である。同様に、領域６１についてはカメラ１ｂとカメラ１ｄ、領域６２についてはカメラ１ｂとカメラ１ｃ、領域６３についてはカメラ１ａとカメラ１ｃを使用した対象物までの距離測定が可能である。さらにカメラを使うため、高分解能の距離測定が可能である。

図１９における領域６０〜６３以外の領域にある対象物についてはセンシング部２で得られるデータを基に距離を測定する必要があるが、画角すべてを漏れなくセンシングデバイスの検知対象範囲とする場合に比べ、センシングデバイスの数を削減することができるためコストを低減できる。

さらに、センシング部２をセンシングデバイスではなく、ＬＥＤやレーザを光源として対象物にスリット光や２次元のパターンを投射する投光器により構成してもよい。その場合はアクティブステレオ方式により、カメラ１で撮像した画像から三角測量の原理で距離を得ることができる。

以上本発明を、画像処理装置として説明したが、画像処理装置により実施される画像処理方法も本発明の一部を成し、該画像処理装置の機能をコンピュータに実行させ、或いは上記画像処理方法をコンピュータに実行させるためのコンピュータプログラム、及び該コンピュータをコンピュータにより読み取り可能な形で記憶した記録媒体もまた本発明の一部を成す。

１ａ〜１ｄ カメラ、 ２ａ〜２ｄ センシング部、 ３ 距離情報算出部、 ４ モデル形状決定部、 ５ カメラ制御部、 ５ａ 輝度調整部、 ５ｂ カメラパラメータ設定部、 ６ 投影変換部、 ７ 画像合成部、 ８ 情報伝達部、 ９ データバス、 １１ 光学系、 １２ 撮像素子、 １３ ＡＤ変喚器、 ２０ 空間モデル、 ２１ 空間モデルの底部、 １０ 距離情報生成部、 ３１、３２、３３、３４ 空間モデルの壁部、 ５０ 荷物、 ５０ａ 突出部分、 ５０ｂ 突出部分の突出端、 ５１、５２、５３ 空間モデル、 ５１ａ、５２ａ、５３ａ 空間モデルの突出部分、 ５１ｂ、５２ｂ、５３ｂ 突出部分の突出端、 ５２ｃ、５３ｃ 空間モデルの壁部、 ８０ 画像表示部、 ８２ スピーカ、 ９０ 自車両状態検出部、 ９２ 操作部、 １００ 画像処理装置、 １１０ 自車両、 １２０ 他の車両。

Claims (12)

1. 自車両の近辺の対象物を撮像する複数のカメラと、
   前記カメラで撮像した対象物までの距離情報を生成する距離情報生成部と、
   前記距離情報生成部で生成した距離情報を基に前記自車両から前記対象物までの距離に応じた立体面を有する空間モデルの形状を決定するモデル形状決定部と、
   前記モデル形状決定部で決定された形状を有する空間モデルに対して前記複数のカメラによる撮像で得た複数の画像を投影し、さらに投影した画像をスクリーン座標系に変換することで、スクリーン座標系の画像を生成する投影変換部と、
   前記投影変換部によって生成されたスクリーン座標系の画像の一部又は全部を抽出して合成画像を生成する画像合成部と、
   前記画像合成部で生成された合成画像を、画像表示部に表示させる情報伝達部と
   を備え、
   前記モデル形状決定部は、前記距離情報生成部で生成した距離情報を基に、前記自車両の進行方向にあり、かつ前記自車両に最も近い対象物、又はその部分の距離情報のみを反映して前記空間モデルの形状を決定する
   ことを特徴とする画像処理装置。
2. 前記モデル形状決定部は、前記自車両に最も近い対象物又はその部分として、該対象物又はその部分の前記自車両に最も近い端部から所定の距離範囲までの部分についての距離情報を反映して前記空間モデルの形状の決定を行うことを特徴とする請求項１に記載の画像処理装置。
3. 自車両の近辺の対象物を撮像する複数のカメラと、
   前記カメラで撮像した対象物までの距離情報を生成する距離情報生成部と、
   前記距離情報生成部で生成した距離情報を基に前記自車両から前記対象物までの距離に応じた立体面を有する空間モデルの形状を決定するモデル形状決定部と、
   前記モデル形状決定部で決定された形状を有する空間モデルに対して前記複数のカメラによる撮像で得た複数の画像を投影し、さらに投影した画像をスクリーン座標系に変換することで、スクリーン座標系の画像を生成する投影変換部と、
   前記投影変換部によって生成されたスクリーン座標系の画像の一部又は全部を抽出して合成画像を生成する画像合成部と、
   前記画像合成部で生成された合成画像を、画像表示部に表示させる情報伝達部と
   を備え、
   前記モデル形状決定部は、前記距離情報生成部で生成した距離情報を基に、前記自車両の進行方向にあり、かつ前記自車両に最も近い対象物又はその部分、及び画像上で当該最も近い対象物又はその部分の周囲に位置する部分についての距離情報のみを反映して前記空間モデルの形状を決定する
   ことを特徴とする画像処理装置。
4. 前記モデル形状決定部は、前記空間モデルのうち、前記対象物又はその部分までの距離情報を反映して決定する部分以外の部分については、予め定められた形状とすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記予め定められた形状が椀型であることを特徴とする請求項４に記載の画像処理装置。
6. 前記モデル形状決定部は、前記予め定められた形状のサイズを、前記対象物又はその部分までの距離情報を反映して決定する部分とそれにつながる部分との間に段差が生じないように決定することを特徴とする請求項４又は５に記載の画像処理装置。
7. 前記画像合成部は、前記合成画像において、前記自車両に最も近い対象物又はその部分に対応する画像部分とその周囲の画像部分との境界部分をぼかすための処理を行う請求項３に記載の画像処理装置。
8. 前記複数のカメラの各々は、前記複数のカメラのうちの少なくとも他の一つのカメラと撮像範囲が部分的に重なる
   ことを特徴とする請求項１から７のいずれか１項に記載の画像処理装置。
9. 前記複数のカメラで撮像する画像毎の輝度レベルを整合させる輝度調整部と、
   当該輝度調整部からの制御信号をもとに前記複数のカメラの各々で撮像する画像の輝度レベルを制御するカメラパラメータ設定部をさらに有する
   ことを特徴とする請求項１から８のいずれか１項に記載の画像処理装置。
10. 自車両の近辺の対象物を複数のカメラで撮像するステップと、
    前記カメラで撮像した対象物までの距離情報を生成する距離情報生成ステップと、
    前記距離情報生成ステップで生成した距離情報を基に前記自車両から前記対象物までの距離に応じた立体面を有する空間モデルの形状を決定するモデル形状決定ステップと、
    前記モデル形状決定ステップで決定された形状を有する空間モデルに対して前記複数のカメラによる撮像で得た複数の画像を投影し、さらに投影した画像をスクリーン座標系に変換することで、スクリーン座標系の画像を生成する投影変換ステップと、
    前記投影変換ステップによって生成されたスクリーン座標系の画像の一部又は全部を抽出して合成画像を生成する画像合成ステップと、
    前記画像合成ステップで生成された合成画像を、画像表示部に表示させる情報伝達ステップと
    を備え、
    前記モデル形状決定ステップは、前記距離情報生成ステップで生成した距離情報を基に、前記自車両の進行方向にあり、かつ前記自車両に最も近い対象物、又はその部分の距離情報のみを反映して前記空間モデルの形状を決定する
    ことを特徴とする画像処理方法。
11. 自車両の近辺の対象物を複数のカメラで撮像するステップと、
    前記カメラで撮像した対象物までの距離情報を生成する距離情報生成ステップと、
    前記距離情報生成ステップで生成した距離情報を基に前記自車両から前記対象物までの距離に応じた立体面を有する空間モデルの形状を決定するモデル形状決定ステップと、
    前記モデル形状決定ステップで決定された形状を有する空間モデルに対して前記複数のカメラによる撮像で得た複数の画像を投影し、さらに投影した画像をスクリーン座標系に変換することで、スクリーン座標系の画像を生成する投影変換ステップと、
    前記投影変換ステップによって生成されたスクリーン座標系の画像の一部又は全部を抽出して合成画像を生成する画像合成ステップと、
    前記画像合成ステップで生成された合成画像を、画像表示部に表示させる情報伝達ステップと
    を備え、
    前記モデル形状決定ステップは、前記距離情報生成ステップで生成した距離情報を基に、前記自車両の進行方向にあり、かつ前記自車両に最も近い対象物又はその部分、及び画像上で当該最も近い対象物又はその部分の周囲に位置する部分についての距離情報のみを反映して前記空間モデルの形状を決定する
    ことを特徴とする画像処理方法。
12. 請求項１０又は１１の画像処理方法の各ステップをコンピュータに実行させるためのコンピュータプログラム。

Images