JP5444338B2 - 車両周囲監視装置 - Google Patents

Description

本発明は、車両に搭載され、撮影された車両周囲の複数の画像を合成し、その合成画像を運転者等に提供する車両周囲監視装置に関する。

従来の車両周囲監視装置として、例えば特許文献１に記載されたものがある。この装置では、撮影範囲の一部が重複するように配置された複数の車載カメラ（以下、車載カメラを単に「カメラ」という）により広角レンズを介して撮影された車両周囲の画像に対して処理が施される。この処理により、撮影画像は、路面上の物体を運転者の視点または上方からの視点から見た画像である俯瞰画像へと変換される。変換により生成された俯瞰画像は、モニタに表示されることにより、車両の搭乗者、特に運転者に提示される。

この種の車両周囲監視装置では通常、異なる位置に取り付けられた複数のカメラで撮影された複数の画像を、複数の俯瞰画像へと変換して、これら複数の俯瞰画像を合成することで合成画像を生成している。俯瞰画像を合成する際、重複領域に対する画像処理方法の１つとして、重複領域におけるそれぞれの俯瞰画像の画素を重み付きで加算することにより、画素の輝度を決定する方法が知られている。具体的には、対象画素の輝度（ｐ）は、重複領域を形成するそれぞれの俯瞰画像の輝度（ｐ１、ｐ２）と重み（ｗ１、ｗ２）とによって、以下の式（１）、（２）で定義される。
ｐ ＝ ｐ１ × ｗ１＋ ｐ２ × ｗ２ ・・・（１）
ｗ１ ＋ ｗ２ ＝ １ ・・・（２）

特許文献２では、カメラと対象画素に対応する地点との距離に応じて当該画素における重みを決定する方法が提案されている。このため重複領域内ではカメラからの距離が近い画像が優先して使われるようになり、画質としては劣化の少ない画像を生成することが可能である。

特開２００５−１６７３０９号公報 特開２００７−２７４３７７号公報 特許第３２８６３０６号公報

しかしながら、俯瞰画像内に含まれる立体物の歪は、俯瞰画像を生成するために設定した視点、投影面、および実際に撮影したカメラの車両への取り付け状態（位置、向き）に関係している。よって、これらの情報を定量化することなく、カメラと対象画素に対応する地点との距離だけで、歪の大きさを考慮することができない。すなわち特許文献２のように実際のカメラから対象画素に対応する地点までの距離によって重み付けを行った場合、合成の重みに画素の粗さは考慮されるものの、撮影されている立体物の歪の大きさを考慮することができず、より大きな歪を含む俯瞰画像の画素が優先して（例えば、より大きな重みを付与されて）使われてしまう。

本発明の目的は、複数のカメラの撮影画像に基づく俯瞰画像を合成することによりモニタの出力画像を得る場合に、合成画像に現れる立体物の歪を軽減することができる車両周囲監視装置を提供することである。

本発明の車両周囲監視装置は、車両周囲の領域を撮影する複数の撮影手段とともに用いる車両周囲監視装置であって、前記複数の撮影手段により撮影された複数の画像を示すデータを取得する取得手段と、取得されたデータに基づいて生成された複数の俯瞰画像を合成することにより、出力画像を得る合成手段と、を有し、前記合成手段は、異なる撮影手段に対応する異なる俯瞰画像の重複領域において、当該異なる俯瞰画像の画素を、当該画素に対応する地点を前記異なる撮影手段から見下ろす角度に応じて決定された比率に基づいて、合成し、前記角度は、前記異なる撮影手段から前記地点の地面から所定の高さの位置を見下ろす角度である。

本発明によれば、複数のカメラの撮影画像に基づく俯瞰画像を合成することによりモニタの出力画像を得る場合に、合成画像に現れる立体物の歪を軽減することができる。

本発明の実施の形態１における車両周囲監視装置の全体構成を示す図 本発明の実施の形態１における車体へのカメラの取り付け位置例を示す図 図２に示す各カメラにより撮影した画像例を示す図 図３に示す撮影画像から得られる、重複領域を持つ複数の俯瞰画像例を示す図 図４に示す俯瞰画像を合成した例を示す図 本発明の実施の形態１におけるマッピングによる俯瞰画像の生成例を示す図 本発明の実施の形態１における重み付けによる俯瞰画像の合成例を示す図 本発明の実施の形態１において、合成対象の２つの俯瞰画像のうち一方の俯瞰画像について定められたブレンド率テーブルを数値で表した例を示す図 本発明の実施の形態１において、合成対象の２つの俯瞰画像のうち他方の俯瞰画像について定められたブレンド率テーブルを数値で表した例を示す図 車両の右前方の重複領域の重み付け合成例を示す図 車両の前側のカメラから立体物を見下ろした状態の例を示す図 車両の右側のカメラから立体物を見下ろした状態の例を示す図 本発明の実施の形態１において、合成対象の画素に対応する地点の地面上の位置を各カメラから見下ろす角度について説明するための図 本発明の実施の形態１において、合成対象の画素に対応する地点の地面から所定の高さの位置を各カメラから見下ろす角度について説明するための図 本発明の実施の形態１において、カメラ画像から俯瞰画像を生成する動作を示したフロー図 本発明の実施の形態１において、俯瞰画像から出力画像を生成する動作を示したフロー図 本発明の実施の形態２における３次元空間モデルを説明するための、平面投影領域と曲面投影領域とを示す図 本発明の実施の形態２における３次元空間モデルの断面を概略的に示す図 本発明の実施の形態２における３次元空間モデルに撮影画像をマッピングした例を示す図 出力画像における立体物の伸びに関する、本発明の実施の形態２の効果を説明するための図 出力画像の視野に関する、本発明の実施の形態２の効果を説明するための図

以下、本発明の実施の形態について、図面を参照して説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る車両周囲監視装置の全体構成を示すブロック図である。撮影部１は、ＣＣＤまたはＣＭＯＳデバイス等の固体撮像素子を有するカラーまたはモノクロのタイプの複数（Ｎ個）のカメラ１１を撮影手段として有する。これら複数のカメラ１１はいずれも車両に設置して使用されるものであり、例えば魚眼レンズ等の高視野角のレンズにより広範囲を撮影できるよう構成されている。

図２は、４つのカメラ１１ａ〜１１ｄを車両に設置することにより、車両の全周囲を画像上で視認できるようにした例である。この例では、カメラ１１ａ、１１ｂは車両側方のサイドミラーに設置され、カメラ１１ｃは車両後方に設置され、カメラ１１ｄは車両前方のバンパー付近に設置されている。各カメラ１１ａ〜１１ｄで実際に撮影された画像は図３の３０１、３０２、３０３、３０４に示すような画像となる。

なお、本実施の形態では、４つのカメラが設置されているが、設置するカメラの個数は４つに限定されるものではなく、２つ以上であればよい。また、本実施の形態では、車両の前後左右の位置に各カメラが設置されているが、車両周囲（必ずしも全周囲でなくてもよい）を適切に撮影可能であれば任意の位置に各カメラを設置してよい。

画像処理部２は、各カメラ１１からの撮影画像（以下「カメラ画像」ともいう）を入力し、これらの撮影画像を加工して、加工後の画像を表示部３へ出力する。ここでの加工は、視点変換画像の作成およびイラスト画像を俯瞰画像と合成する演算である。

すなわち、画像処理部２は、カメラ画像を示すデータを取得するために各カメラ１１と接続されるインタフェース（図示せず）を取得手段として有する。また、画像処理部２における上記演算は、上記演算のためのプログラムを実行するＣＰＵ（Central Processing Unit）等のコンピュータと、上記演算に必要なテーブル等の情報を記憶する記憶装置と、を含む構成によって、実現される。本実施の形態の車両周囲監視装置は、主として画像処理部２により構成される。

表示部３としては、液晶ディスプレイまたはプラズマディスプレイ等の表示デバイスが用いられる。ここでいうディスプレイは、車両搭載型のＧＰＳ（Global Positioning System）端末ディスプレイ（いわゆるカーナビゲーションシステムのディスプレイ）と共用したものであってもよい。

変換手段としての俯瞰画像変換部２１は、カメラ１１から取り込んだカメラ画像を、指定された仮想視点から地面を投影面として俯瞰した画像に変換する信号処理を行う。俯瞰画像は例えば、仮想視点位置から地面に対して垂直に見下ろした画像となる。カメラ画像を仮想視点からの俯瞰画像に変換する処理は、マッピングテーブル２３を参照して行われる。マッピングテーブル２３は、予め入力（カメラ画像の画素座標）と出力（俯瞰画像の画素座標）との対応関係を定義したものであり、より詳しくは後述する。俯瞰画像変換部２１は、俯瞰画像を生成する際、俯瞰画像の各画素における輝度値を、対応するカメラ画像の画素から獲得する。本実施の形態では複数のカメラ入力が存在するので、各カメラ画像に対して別々に俯瞰画像変換処理が行われる。図４は、図３のカメラ画像３０１、３０２、３０３、３０４を車両の上方から見下ろした俯瞰画像４０１、４０２、４０３、４０４に変換した例である。

合成手段としての俯瞰画像合成部２２は、俯瞰画像変換部２１で生成した複数の俯瞰画像を合成することにより１つの出力画像を生成し、この出力画像を表示部３に対して出力する信号処理を行う。図５は、図４の俯瞰画像４０１、４０２、４０３、４０４から生成された１つの出力画像（合成画像）４０５の例である。

ここで、図４において、重複領域４１１ａ、４１１ｃ、４１２ａ、４１２ｄ、４１３ｂ、４１３ｃ、４１４ｂ、４１４ｄは、２つの俯瞰画像が重なる領域（重複領域）である。例えば、車両側面のカメラ１１ａに対応する俯瞰画像４０１の領域４１１ａと、車両後方のカメラ１１ｃに対応する俯瞰画像４０３の領域４１１ｃとは、重なり合う。また、車両後方のカメラ１１ｃに対応する俯瞰画像４０３の領域４１３ｃと、車両側面のカメラ１１ｂに対応する俯瞰画像４０２の領域４１３ｂとは、重なり合う。また、車両側面のカメラ１１ｂに対応する俯瞰画像４０２の領域４１４ｂと、車両前方のカメラ１１ｄに対応する俯瞰画像４０４の領域４１４ｄとは、重なり合う。また、車両前方のカメラ１１ｄに対応する俯瞰画像４０４の領域４１２ｄと、車両側面のカメラ１１ａに対応する俯瞰画像４０１の領域４１２ａとは、重なり合う。重複領域の合成は、それぞれの俯瞰画像の重み付け加算によって実現される。各俯瞰画像に掛かる重みは、後述するブレンド率テーブル２４を参照することで得られるようになっている。

マッピングテーブル２３は、カメラ画像と俯瞰画像との関係を対応付けたテーブルである。各カメラ画像の画素座標と対応する俯瞰画像の画素座標とが１対となり記述されている。図６はマッピングテーブルを参照してカメラ画像の画素座標を獲得する方法を示した図である。図６において、マッピングテーブル５０１は俯瞰画像５０２の座標とカメラ画像５０３の座標が１対１で対応付けられたテーブルである。俯瞰画像５０２のある座標５１１に対応するカメラ画像５０３の座標５１２を知りたい場合は、マッピングテーブル５０１の俯瞰画像座標一覧の中から座標５１１を探し、該当するカメラ画像５０３の座標５１２を獲得する。本実施の形態では複数のカメラに対して、それぞれマッピングテーブルが作成される。マッピングテーブルは、合成画像の生成処理を高速に行うために、例えばＲＯＭ、またはＲＡＭに格納されている。

ブレンド率テーブル２４は、２つの俯瞰画像を重ね合わせて１つの出力画像を合成する際に、どちらの俯瞰画像の画素をどれだけ使うかを示したテーブルである。図７は２つの俯瞰画像の重複領域を合成する例である。図７における重複領域の合成は、各画素の輝度を式（１）によって計算することで実現される。合成画像６２１は、俯瞰画像６０１、６０２を合成して得られた画像である。ここでブレンド率テーブルを用いた重複領域の合成方法として、重みテーブルを用いた例を示す。重複領域における合成の際、俯瞰画像６０１、６０２に掛かる重みは、重複領域と同じ大きさの重みテーブル６１１、６１２を参照することで得られる。なお、図７では、重みテーブル６１１、６１２において定められた画素毎の重みの大小が、色の濃淡によって表現されている（つまり、より大きな重みがより濃い色で表現されている）。図８Ａおよび図８Ｂは、図７の重みテーブル６１１、６１２を数値で表した例である。図８Ａおよび図８Ｂの重みテーブルにおける個々の値が各画素に対応し、重みは０％以上且つ１００％以下の範囲内で設定されている。また各画素の重みに関しては式（２）の関係が成り立つ。

ここで、俯瞰画像の合成について、車両の右前方の地点に立体物が存在することを前提として、その立体物周辺を含む重複領域を合成する場合を例にとって、図９Ａ、図９Ｂおよび図９Ｃを参照しながら説明する。

車両前方のカメラ１１ｄは、本実施の形態では地面から高さｈ１の位置に設置されており、車両右側のカメラ１１ｂは、地面から高さｈ２（＞ｈ１）の位置に設置されている。車両周囲領域９００内の点Ｐに位置する高さｈ３（＜ｈ１）の立体物７０１を各カメラ１１ｂ、１１ｄが撮影すると、カメラ画像においては、立体物７０１は、それぞれの投影方向に伸びた状態で地面に投影された投影立体物９１１、９１２として現れる。この例では、カメラ１１ｂよりもカメラ１１ｄのほうが低い位置に設置されているため、カメラ１１ｂの撮影画像内の投影立体物９１２に比べて、カメラ１１ｄの撮影画像内の投影立体物９１１のほうが大きく伸びた状態となる（Ｌ１＞Ｌ２）。視点変換によってカメラ画像から俯瞰画像への変換が行われると、画像上に現れる投影立体物の長さが変わることになるが、通常は、変換前の投影立体物９１１、９１２の長さの大小関係と変換後の投影立体物７１１、７１２の長さの大小関係とは同じである。つまり、立体物７０１の歪は、より低い位置に設置されているカメラ１１ｄに対応する俯瞰画像において、より大きくなる。

特許文献２記載の従来例では、カメラ１１ｄ、１１ｂと点Ｐとの距離ｄ１、ｄ２が与えられたとき、点Ｐにおける俯瞰画像の重みｗ１、ｗ２は、以下の式（３）、（４）で与えられる。なお、距離ｄ１は、カメラ１１ｄの世界座標（ｗｏｒｌｄ ｃｏｏｒｄｉｎａｔｅ ｓｙｓｔｅｍ）位置と、カメラ１１ｄの地面からの高さと、点Ｐの世界座標位置とから算出することができる。距離ｄ２も同様である。
ｗ１ ＝ ｄ２ ／ （ｄ１ ＋ ｄ２） ・・・（３）
ｗ２ ＝ ｄ１ ／ （ｄ１ ＋ ｄ２） ・・・（４）

この従来例では、上述の式（３）、（４）で重みｗ１、ｗ２を与えることにより、２つの俯瞰画像のうち、カメラからの距離が近い俯瞰画像の画素が優先して利用されることになる。すなわち、この従来例では、距離から重みを導出している。このため、各カメラ１１ｄ、１１ｂと点Ｐとの距離ｄ１、ｄ２が等しい場合に、問題が生じ得る。一般的に、実際はカメラ１１ｂ、１１ｄの取り付け位置は異なり、たとえ距離ｄ１、ｄ２が同じであっても、高さｈ１、ｈ２が異なる。よって、前述のとおり、点Ｐに位置する立体物７０１から生じる投影立体物７１１、７１２の大きさ（伸び）が異なる。ここで重複領域の合成画像を生成する場合、出力画像における歪を軽減する目的では、できるだけ伸びが少ない方、すなわちより高い位置にあるカメラ１１ｂの画像を優先することが望ましい。ところが、従来例では、重みｗ１、ｗ２は、等しい距離ｄ１、ｄ２から導出されるので、等しくなってしまう。このようにカメラ１１ｄ、１１ｂからの距離ｄ１、ｄ２から俯瞰画像の重みｗ１、ｗ２を決定した場合、立体物７０１の投影方向への歪（伸び）まで考慮することができず、２つの俯瞰画像のそれぞれにおいて点Ｐに対応する画素は、同じ重みｗ１、ｗ２で合成されることになる。

これに対して、本実施の形態では、カメラ取り付け位置、特に取り付けの高さを考慮して、立体物の投影方向への歪を軽減し得る重み付けを行う。本実施の形態における重み設定方法について、図１０を用いて説明する。図１０において、高さｈ１に位置するカメラ１１ｄから地面方向に下ろした垂線が地面と交わる点と点Ｐとの距離をｔ１とし、高さｈ２に位置するカメラ１１ｂから地面方向に下ろした垂線が地面と交わる点と点Ｐとの距離をｔ２とする。俯瞰画像は、本実施の形態では地面に投影した画像であり、望ましくは、仮想視点から可能な限り真下を見下ろした画像である。そこで提案する重み設定方法では、カメラ１１ｄ、１１ｂから点Ｐまでの距離ｄ１、ｄ２ではなく、カメラ１１ｄ、１１ｂが点Ｐを見下ろす角度θ１、θ２に着目する。すなわち、点Ｐを見下ろす角度が相対的に鋭角であるカメラに対応する俯瞰画像が、真下を見下ろす画像に相対的に近いため、このような俯瞰画像の重みを高く設定するようにする。このことを反映した重み付けは、以下の式（５）、（６）、（７）、（８）で表される。
ｗ１ ＝ θ２ ／ （θ１ ＋ θ２） ・・・（５）
ｗ２ ＝ θ１ ／ （θ１ ＋ θ２） ・・・（６）
θ１ ＝ ａｒｃｔａｎ（ ｔ１ ／ ｈ１ ） ・・・（７）
θ２ ＝ ａｒｃｔａｎ（ ｔ２ ／ ｈ２ ） ・・・（８）

仮にθ１＝θ２であれば、点Ｐにおける立体物の歪（投影方向の伸び）は同じ長さとなるため、点Ｐにおける重みｗ１、ｗ２は等しくなる。この例ではθ１＞θ２であるため、合成の対象となる画素に対応する地点（点Ｐ）がカメラ１１ｂ、１１ｄから等距離（ｄ１＝ｄ２）であるにもかかわらず、点Ｐを見下ろす角度がより鋭角になる位置にあるカメラ１１ｂに対応する俯瞰画像の重みｗ２がより大きくなる。すなわち、点Ｐに対応する画素の合成においては、高い位置に設置されていて立体物の歪が小さいカメラ１１ｂに対応する俯瞰画像の画素が、優先して利用されることとなる。

なお、上記の例では点Ｐのみに着目しているが、点Ｐ近傍の地点における諸条件（距離および角度など）は、点Ｐにおける諸条件と近似するので、点Ｐ近傍の地点に着目した場合も、点Ｐに着目した場合と同様の結論を得ることができる。

すなわち、図９Ａに示されている投影立体物７１１、７１２のうち、比較的低い位置のカメラ１１ｄに対応するため歪が大きい投影立体物７１１は、他方のカメラ１１ｂに対応する俯瞰画像からの影響を強く受け、その結果、合成画像においては目立たなくなる。一方、比較的高い位置のカメラ１１ｂに対応するため歪が小さい投影立体物７１２は、他方のカメラ１１ｄに対応する俯瞰画像からの影響をあまり強く受けず、その結果、合成画像において投影立体物７１１よりも目立って現れる。このように、本実施の形態によれば、重複領域における歪が軽減された合成画像を得ることができる。

続いて、本実施の形態における重み設定方法において、どのくらいの高さの立体物の歪低減に着目するかに応じ、最も着目する高さをパラメータとして設定する場合について、説明する。図１１において、カメラ１１ｄ、１１ｂの位置を地面からの高さｈ１、ｈ２で表し、カメラ１１ｄ、１１ｂから地面方向に下ろした垂線が地面と交わる点と点Ｐとの距離をｔ１、ｔ２とする。ここで、歪を低減させたい高さＨをパラメータとして新たに設定する。点Ｐにおいて着目する高さＨの物体の歪（投影方向の伸び）を抑制することを考慮すると、カメラ１１ｄ、１１ｂから点Ｐを見下ろす角度は、以下の式（９）、（１０）で定式化される。
θ１ ＝ ａｒｃｔａｎ（ ｔ１ ／ （ｈ１ − Ｈ））・・・（９）
θ２ ＝ ａｒｃｔａｎ（ ｔ２ ／ （ｈ２ − Ｈ））・・・（１０）

このθ１、θ２を用いて、点Ｐにおける重み付けは式（５）、（６）で表される。

実際に着目する高さＨの設定はカメラの取り付け高さにもよるが、５０−８０ｃｍくらいに設定する。この高さは実際のカメラの取り付け位置より低く設定する必要がある。また、着目する高さＨは、点Ｐに物体が存在するかどうかの有無に関わらずに一定とし、重みを算出する。すなわち本実施の形態における重み設定処理は、物体検出を必要とするわけではなく、物体の有無に関わらず予め定められた高さＨに基づいて一様に行われる。物体が存在しない場合、すなわち俯瞰画像に地面が表示される場合は、重複領域に同じ位置の地面が撮影されているため、着目する高さＨを仮定した重み付けが合成画像に悪影響を与えることはない。

図１２は、カメラ画像の入力が確定したあるタイミングにおいて、俯瞰画像を生成する俯瞰画像変換部２１の動作例を示したフロー図である。

ステップＳ００１では、俯瞰画像の座標ｘｔ，ｙｔと対応したカメラ画像の座標を獲得するためにマッピングテーブル２３を参照する。マッピングテーブル２３には俯瞰画像の座標ｘｔ，ｙｔに対応するカメラ画像の座標がリスト化されているので、対応するカメラ画像の座標ｘｉ，ｙｉが獲得できる。

ステップＳ００２では、カメラ画像の座標ｘｉ，ｙｉにおける画素値を取得し、この画素値を俯瞰画像の座標ｘｔ，ｙｔにおける画素値として利用する。

ステップＳ００３では、俯瞰画像を生成するのに必要なすべての画素を獲得したかどうかを判別する処理で、俯瞰画素のすべての画素値を獲得するまでステップＳ００１、ステップＳ００２の処理を繰り返し行う。

俯瞰画像変換部２１ではあるタイミングにおけるすべての俯瞰画像を生成するまで、図１２の処理を繰り返し行う。

続いて、図１３は、複数の俯瞰画像が生成されたタイミングにおいて、これらの俯瞰画像を合成して出力画像を生成する俯瞰画像合成部２２の動作例を示したフロー図である。

ステップＳ０１１では、最終的に合成する出力画像の座標ｘｏ，ｙｏの画素値を持つ俯瞰画像を選択する。

ステップＳ０１２では、出力画像の座標ｘｏ，ｙｏの画素を合成する俯瞰画像が複数存在するかどうか判断し、もし対応する俯瞰画像が１つの場合は、ステップＳ０１５へ進む。もし２つの俯瞰画像が存在する場合は、重複領域と判定し、ステップＳ０１３へ進む。

ステップＳ０１３では、出力画像の座標ｘｏ，ｙｏに対応する２つの俯瞰画像の画素値を取得する。

ステップＳ０１４では、ステップＳ０１３で獲得した俯瞰画像の画素値を合成するための重みをブレンド率テーブル２４から獲得する。

ステップＳ０１５では、出力画像の座標ｘｏ，ｙｏの画素を合成する。対応する画素が２つの俯瞰画像に存在する場合はステップＳ０１４で獲得した重みに基づいて、式（１）によって合成する。１つの俯瞰画像にのみ存在する場合は、その俯瞰画像の座標ｘｏ，ｙｏの画素をそのまま用いる。

ステップＳ０１６では、出力画像を生成するのに必要なすべての画素値を獲得したかどうかを判別する処理で、すべての画素値を獲得するまでステップＳ０１１からステップＳ０１５の処理を繰り返し行う。

上述の出力画像の合成処理を例えば３０フレーム／秒で実現することにより、一般的な動画に対しても提案する合成を実現することができる。

このような動作により、本発明では俯瞰画像が重なり合う重複領域において歪の少ない画像の合成が可能な車両周囲監視装置を提供することができる。

（実施の形態２）
以下、本発明の実施の形態２について説明する。本実施の形態における車両周囲監視装置の基本構成は実施の形態１と同様であるため、詳細な構成についての説明は省略する。

本実施の形態は、カメラ画像から俯瞰画像への変換処理において３次元空間モデルを利用する点で、実施の形態１と相違するので、この点を中心に説明する。

従来の３次元空間モデルとしては、例えば特許文献３の図２８（ｃ）に示されたものがある。この３次元空間モデルは、車両を基準とする世界座標系において、車両の全方位を囲むように完全な椀状に湾曲して立ち上がる曲面を持つ全方位曲面モデルである。

これに対して、本実施の形態では、図１４および図１５に示すように、車両後方側の領域を、投影面が水平面をなす平面投影領域１４０１とする一方、車両前方側の領域を、投影面が椀形をなす曲面投影領域１４０２とする。車両周囲領域１４００は、境界Ｂにより、平面投影領域１４０１と曲面投影領域１４０２とに区切られている。カメラ画像の画素は、平面投影領域１４０１内にあれば前方曲面モデル１５００の水平投影面１５０１上にマッピングされ、曲面投影領域１４０２内にあれば前方曲面モデル１５００の椀状投影面１５０２上にマッピングされる。すなわち、本実施の形態における前方曲面モデル１５００は、車両後方では水平投影面１５０１のみを含み、且つ、車両前方では水平投影面１５０１から椀状に湾曲して立ち上がる椀状投影面１５０２を含むように、定められている。

上記前方曲面モデル１５００を用いる本実施の形態では、カメラ画像から俯瞰画像への変換処理として、各カメラ画像を前方曲面モデル１５００にマッピングする処理と、マッピングされた各画像に対して視点変換とともに地面（水平面）への再投影を行う処理と、が含まれる。

立体物７０１が位置する点Ｐを含む領域がカメラ１１ｄにより撮影されると、そのカメラ画像は、図１６に示すように、前方曲面モデル１５００にマッピングされる。この例では、立体物７０１の先端部分が曲面部分（図１５の椀状投影面１５０２）に投影された結果として、前方曲面モデル１５００上の投影立体物１６００の長さＬ３が、カメラ画像上の投影立体物９１１（図９Ｂ）の長さＬ１よりも、短くなる。このため、本実施の形態においてこのマッピング画像から生成される俯瞰画像に現れる投影立体物（図示せず）を、実施の形態１においてカメラ画像から直接的に生成される俯瞰画像に現れる投影立体物７１１（図９Ａ）よりも、短くすることができる。

したがって、本実施の形態によれば、車両前方の俯瞰画像については、立体物の歪を一層軽減させることができる。図１７を参照すると、本実施の形態のように前方曲面投影を介して得られる出力画像１７０１では、単なる平面投影を介して得られる出力画像１７０２に比べて、車両前方の立体物１７１０の伸びが抑制され、歪が軽減されていることが分かる。

さらに、図１８を参照すると、本実施の形態のように前方曲面投影を介して得られる出力画像１８０１では、単なる平面投影を介して得られる出力画像１８０２に比べて、車両後方領域１８１０に広視野が確保されていることが分かる。

このように、本実施の形態によれば、車両後方においては、距離感覚が分かりやすい平面投影を介して出力画像が形成され、車両前方においては、周囲の確認が行いやすい曲面投影を介して出力画像が形成される。一般に、合成画像が表示されるのは、例えば駐車場に車両を入れるために車両を後退させているときである。よって、車両の進行方向である車両後方においては、広い視野が確保されることよりも、車両とその近傍に位置する物体との位置関係が忠実に再現されることのほうが、必要性が高い。一方で、車両の進行方向ではない車両前方あるいは車両側方においては、逆のことがいえる。本実施の形態では、これらの要求を同時に満たすことができる。

以上、本発明の各実施の形態について説明した。上記の実施の形態は、種々変更して実施することができる。また、上記の実施の形態は、適宜組み合わせて実施してもよい。

２００９年５月２５日出願の特願２００９−１２４８７７の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。

以上のように、本発明に係る車両周囲監視装置は、車両に搭載され、撮影された車両周辺の複数の画像を合成し、その合成画像を運転者等に提供する車両周囲監視装置等として有用である。

１ 撮影部
２ 画像処理部
３ 表示部
１１、１１ａ、１１ｂ、１１ｃ、１１ｄ カメラ
２１ 俯瞰画像変換部
２２ 俯瞰画像合成部
２３、５０１ マッピングテーブル
２４ ブレンド率テーブル
３０１、３０２、３０３、３０４、５０３ カメラ画像
４０１、４０２、４０３、４０４、５０２、６０１、６０２ 俯瞰画像
４０５、６２１ 合成画像
４１１ａ、４１１ｃ 重複領域
４１２ａ、４１２ｄ 重複領域
４１３ｂ、４１３ｃ 重複領域
４１４ｂ、４１４ｄ 重複領域
５１１、５１２ 座標
６１１、６１２ 重みテーブル
７０１ 立体物
７１０ 投影面
７１１、７１２、９１１、９１２、１６００ 投影立体物
９００、１４００ 車両周囲領域
１４０１ 平面投影領域
１４０２ 曲面投影領域
１５００ 前方曲面モデル
１５０１ 水平投影面
１５０２ 椀状投影面

Claims (3)

1. 車両周囲の領域を撮影する複数の撮影手段とともに用いる車両周囲監視装置であって、
   前記複数の撮影手段により撮影された複数の画像を示すデータを取得する取得手段と、
   取得されたデータに基づいて生成された複数の俯瞰画像を合成することにより、出力画像を得る合成手段と、を有し、
   前記合成手段は、
   異なる撮影手段に対応する異なる俯瞰画像の重複領域において、当該異なる俯瞰画像の画素を、当該画素に対応する地点を前記異なる撮影手段から見下ろす角度に応じて決定された比率に基づいて、合成し、
   前記角度は、前記異なる撮影手段から前記地点の地面から所定の高さの位置を見下ろす角度である、
   車両周囲監視装置。
2. 前記角度は、前記異なる撮影手段の車両への取り付け位置から地面に向けて延びる垂線と、前記異なる撮影手段の車両への取り付け位置から前記地点に向けて延びる直線とが成す角度である、
   請求項１記載の車両周囲監視装置。
3. 取得されたデータに基づいて複数の俯瞰画像を生成する変換手段をさらに有し、
   前記変換手段は、
   取得されたデータに示された複数の画像をそれぞれ３次元空間モデルにマッピングすることにより、複数の俯瞰画像を生成し、
   前記３次元空間モデルは、車両後方では水平面のみを含み、且つ、車両前方では水平面から椀状に湾曲して立ち上がる曲面を含むように、定められる、
   請求項１記載の車両周囲監視装置。