JP5299296B2 - 車両周辺画像表示装置及び車両周辺画像表示方法 - Google Patents

Description

本発明は、車両の周囲を撮影する撮像装置からの画像を鳥瞰画像に変換して車両の乗員に表示する車両周辺画像表示装置及び車両周辺画像表示方法に関する。

従来から、車両に搭載したカメラの映像を複数枚合成した鳥瞰画像としたり、視点変換したりした後に、車両の乗員に表示する装置が提案されている。

例えば、特許文献１に記載の装置では、車両の前方、後方、及び左右側方を撮影する各カメラからの車両周辺画像を俯瞰画像（鳥瞰画像）とするために、それぞれ座標変換する。そして、座標変換して得られた部分画像を合成して、自車両周辺を上空から眺めた俯瞰画像を生成し、ディスプレイに出力する。

また、特許文献２に記載の装置では、一台もしくは複数台のカメラによって撮影された入力画像を、３次元空間の予め決められた空間モデルにマッピングした空間データを作成し、その空間データを参照して、３次元空間における任意の仮想視点から見た画像を作成して表示する。

特開２００９−１０１９８４号公報 特許第３２８６３０６号公報

しかしながら、特許文献１の装置では、各カメラからの車両周辺画像を、車両上空の仮想視点から見た鳥瞰画像に地面を基準面として変換しているだけである。このため、カメラによって撮影された車両周辺画像に立体物が存在する場合、変換された鳥瞰画像において、立体物が歪んで（伸びて）表示されてしまう。このため、車両の乗員にとっては、不自然な、直感的に理解しにくい画像が表示されることになる。

また、特許文献２の装置の場合も、カメラからの入力画像を予め決められた空間モデル（局面や平面）へマッピングするだけであるため、特許文献２の装置においても同様の問題（立体物の歪み）が生じる。

本願発明は、このような点に鑑みてなされたものであり、撮影した画像に３次元構造体（立体物）が存在している場合であっても、車両の乗員が直感的に理解しやすい鳥瞰画像を表示することが可能な車両周辺画像表示装置及び表示方法を提供することを目的とする。

上記目的を達成するために、請求項１に記載の車両周辺画像表示装置は、
車両の車室内に設けられた表示装置と、
車両に搭載され、車両周辺の画像を撮影する撮影手段と、
撮影手段によって撮影された画像に基づいて、車両の運転者へ提示するための提示画像を生成する画像生成手段と、
画像生成手段によって生成された提示画像を表示装置に表示する表示制御手段と、を備えたものであって、
さらに、撮影手段によって撮影された画像を用い、その画像において、地面から高さ方向に伸びる３次元構造体が映し出されている領域を特定する３次元構造体抽出手段を有し、
画像生成手段は、
３次元構造体抽出手段によって特定された３次元構造体の領域を除いて、撮影手段によって撮影された画像を、地面を基準面とする鳥瞰画像に変換する第１の画像変換を行なう第１画像変換手段と、
第１画像変換手段による第１の画像変換とは異なるものであって、第１の画像変換にて３次元構造体を鳥瞰画像に変換した場合よりも、３次元構造体の歪みが軽減される第２の画像変換を適用して３次元構造体を画像変換する第２画像変換手段と、を含み
第１画像変換手段と、第２画像変換手段とにより変換された画像を統合して提示画像を生成するものであり、
第２画像変換手段が行なう第２の画像変換は、撮影手段によって撮影された画像を用いて３次元構造体の各所の地面からの高さを算出し、算出した高さに相当する高さを基準面とする鳥瞰画像に変換するものであることを特徴とする。

上述したように、請求項１に記載の車両周辺画像表示装置は、撮影された画像において３次元構造体が映し出されている領域を特定する３次元構造体抽出手段を備えている。そして、画像生成手段の第１画像変換手段は、撮影された画像を、３次元構造体の領域を除いて、地面を基準面とする鳥瞰画像に変換する一方、第２画像変換手段は、第１の画像変換よりも３次元構造体の歪みが軽減される第２の画像変換により３次元構造体を画像変換する。そして、これら第１及び第２画像変換手段によって変換された画像が統合され、提示画像が生成される。

従って、撮影した車両周辺画像に３次元構造体（立体物）が存在していても、従来に比較して、その３次元構造体の歪みを軽減した鳥瞰画像を表示することができる。このため、車両の乗員は、表示された画像から、車両の周辺の状況を素早く容易に把握することができる。

なお、例えば撮影手段として１台のカメラを用いて、異なるタイミングで撮影された２画像に対してステレオ計測を行なったり、複数台のカメラを用いて、同時に撮影された複数画像に対してステレオ画像処理を行なったり、あるいは、ＴＯＦ（time of flight）方式の距離画像センサを用いたりすることで、撮影対象までの距離を求めることができる。そして、撮影対象までの距離が求まれば、撮影手段の設置パラメータ（地面からの高さや俯角など）が既知であるため、その距離から、撮影対象の地面からの高さを求めることができる。このとき、地面よりも高い高さを有する撮影対象は、３次元構造体とみなすことができ、これにより、撮影された画像において、３次元構造体を抽出することが可能となる。

また、第２画像変換手段が行なう第２の画像変換は、撮影手段によって撮影された画像を用いて３次元構造体の各所の地面からの高さを算出し、算出した高さに相当する高さを基準面とする鳥瞰画像に変換するものである。

３次元構造体を含む画像を、地面を基準面とする鳥瞰画像へ変換すると、３次元構造体を地面に投射した画像となるため、３次元構造体が歪む。それに対して、請求項１に記載するように、３次元構造体の各所の高さを算出し、その高さに相当する高さを基準面とする鳥瞰画像への変換を行なうことにより、３次元構造体を地面に投射した鳥瞰画像よりも、３次元構造体の歪みを軽減することができる。

請求項２に記載したように、第２画像変換手段は、３次元構造体を鳥瞰画像に変換する際に、地面からの高さが低い箇所から高い箇所の順に画像変換を行なうことが好ましい。請求項１に記載したように、３次元構造体の各所の高さを基準面として、３次元構造体の各所のそれぞれを鳥瞰変換することで、３次元構造体を撮影した画像（元画像）を鳥瞰画像に変換する場合、元画像の複数の画素が、鳥瞰画像の同一画素にマッピングされる可能性が生じる。このような場合に、より高さの高い箇所の画像変換ほど後に行なうことで、その高さの高い箇所の画素が鳥瞰画像において上書きされる。従って、３次元構造体の鳥瞰画像への変換を適切に行なうことができる。

請求項３に記載したように、第２画像変換手段は、３次元構造体を複数の小領域に分割し、高さ方向に隣接する小領域の高さの差に制限を加えつつ、３次元構造体の各所の地面からの高さを算出するようにしても良い。単に、３次元構造体の各所までの距離を検出し、その距離に基づいて、３次元構造体の地面からの高さを算出するようにした場合、距離検出誤差などにより、算出される高さに誤差が含まれる虞がある。そのような場合、鳥瞰画像における３次元構造体の形状がギザギザになったりして、その形状を正しく鳥瞰画像に変換することができない。そのため、上述したように、隣接する小領域の高さの差に制限を加えつつ、３次元構造体の各所の地面からの高さを算出するようにすれば、高さを算出する際の誤差を低減することができる。

請求項４に記載したように、第２画像変換手段は、３次元構造体を鳥瞰画像に変換する際に、地面に対して垂直な方向から所定の角度だけ傾いた方向から見た鳥瞰画像となるように、３次元構造体の画像変換を行なっても良い。３次元構造体の場合、真上から見た鳥瞰画像に変換するよりも、多少、斜め方向から見た鳥瞰画像に変換する方が、３次元構造体を認識しやすくなるためである。

請求項５に記載したように、画像生成手段は、３次元構造体抽出手段によって３次元構造体が抽出される以前は、画像全体を第１画像変換手段によって地面を基準面とする鳥瞰画像に変換し、この鳥瞰画像を提示画像としても良い。

これにより、３次元構造体が撮影した画像に含まれていない場合、或いは含まれていても、その３次元構造体をまだ抽出できていない場合には、従来と同様の鳥瞰画像が表示され、３次元構造体が抽出されると、３次元構造体に関して歪みの軽減された鳥瞰画像が表示されるようになる。従って、車両の周囲の状況を示す画像の表示を常時行なうことができる。

請求項６に記載したように、地面に相当する高さから所定の高さ範囲おきに、撮影手段により撮影された画像の各画素を提示画像のいずれの画素にマッピングするかを示すマッピングテーブルを記憶した記憶手段を備え、第１画像変換手段及び第２画像変換手段は、マッピングテーブルを参照して、第１及び第２の画像変換を行なうことが好ましい。これにより、提示画像（鳥瞰画像）への変換を高速に行なうことが可能になる。

請求項７に記載したように、撮影手段により撮影された画像において、３次元構造体の裏側に位置していたため、提示画像において画像情報が欠損する欠損領域に対して、画像を補完する補完手段を有していても良い。３次元構造体の領域を除いて、撮影された画像を地面を基準面とする鳥瞰画像に変換することにより、撮影画像においては３次元構造体の陰に隠れていた部分が、鳥瞰画像にて表示領域となる場合がある。このような場合、この表示領域の画像情報が欠損することになる。そこで、例えば、画像情報が欠損する欠損領域について、周囲と同様の画素値で塗りつぶしたり、欠損領域を挟んで、両方向に区画線が延びている場合には、欠損領域中に区画線を描画したりして、欠損領域の画像を補完しても良い。

請求項８〜請求項１４に記載の車両周辺画像表示方法は、請求項１〜請求項７に記載の車両周辺画像表示装置において実行される処理方法を記載したものであり、それらの作用効果は、請求項１〜請求項７と同様であるため、説明を省略する。

本発明の第１実施形態による車両周辺画像表示装置の構成を示す構成図である。 カメラから３次元構造体までの距離を検出する原理を説明するための図である。 三次元構造体の地面からの高さを算出する方法を説明するための図である。 図１の車両周辺画像表示装置における周辺画像表示のための処理を示すフローチャートである。 車両に搭載されたカメラによって撮影した画像の一例を示す図である。 図５の画像全体を、地面を基準面とする鳥瞰画像に変換した画像を示す図である。 図５における３次元構造体を、高さ情報を用いて鳥瞰画像に変換し、３次元構造体以外の領域を地面を基準面とする鳥瞰画像に変換した画像を示す図である。 図７における３次元構造体後方の欠損領域を補完した画像を示す図である。

（第１実施形態）
まず、本発明の第１実施形態について、図面に基づいて詳細に説明する。図１は、本発明の第１実施形態による車両周辺画像表示装置の構成を示す構成図である。本実施形態においては、撮影手段としてのＣＣＤカメラが車両後部に搭載されて車両後方の様子を撮影する例について説明する。

図１に示すように、車両周辺画像表示装置１００は、２台のＣＣＤカメラ１０ａ、１０ｂ、画像処理ＥＣＵ２０、及び表示装置３０から構成される。

２台のＣＣＤカメラ１０ａ，１０ｂは、車両の後部、具体的には、車両の後部ドアやトランクに、光軸が地面と平行な方向よりも下向きとなり、その撮影領域に車両後方近傍の地面が含まれるように設置される。特に、本実施形態では、この２台のＣＣＤカメラ１０ａ，１０ｂを、所定の距離だけ離間した状態で、路面から同じ高さ、かつ同じ俯角となるように、車両後部に設置する。従って、２台のＣＣＤカメラ１０ａ，１０ｂによる車両後方の撮影範囲は、車幅方向にカメラ間距離分だけずれたものとなり、それぞれの撮影範囲の大部分がオーバーラップする。

画像処理ＥＣＵ２０は、ＣＣＤカメラ１０ａ，１０ｂから出力された画像を用いて、その一方の画像（例えばＣＣＤカメラ１０ａによって撮影された画像）において、地面から高さ方向に伸びる３次元構造体（立体物）が映し出されている領域を特定する３次元構造体推定部２１を有する。

この３次元構造体推定部２１における、ＣＣＤカメラ１０ａによって撮影された画像において３次元構造体を推定し、特定する方法について、図２及び図３を参照して説明する。

本実施形態では、まず、２台のＣＣＤカメラ１０ａ，１０ｂによって同じ３次元構造体を撮影したときに生じる視差から、三角測量の原理で、３次元構造体の各所までの距離を測定する（ステレオ画像処理）。具体的には、図２に示すように、２台のＣＣＤカメラ１０ａ，１０ｂにより撮影された画像中での３次元構造体の位置の差である視差ｄを求めることができれば、３次元構造体までの距離Ｚは、以下の数式１により求めることができる。

（数１）
Ｚ＝ｆ・Ｂ/ｄ
なお、数式１において、Ｂはカメラ間距離、ｆはＣＣＤカメラ１０ａ，１０ｂの焦点距離である。

そして、視差ｄは、２台のＣＣＤカメラ１０ａ，１０ｂにより撮影された画像間で、どの画素がどの画素に対応するかを逐一探索することにより算出することができる。例えば、視差ｄ（距離Ｚ）を算出する際に基準となるＣＣＤカメラ１０ａの撮影画像（第１画像）において、視差ｄ（距離Ｚ）の算出対象となる画素とその周囲の画素を含む小領域を設定する。そして、この小領域と同様の小領域を、ＣＣＤカメラ１０ｂの撮影画像（第２画像）に設定し、パターンマッチングにより、最も類似する小領域の位置を定める。このような処理により、第１画像と第２画像との間で、対応する画素の位置を求めることができれば、その画素に関して視差ｄを算出することが可能となる。

そして、このような処理を、基準となる第１画像の全画素について実行することにより、第１画像において、第２画像において対応画素が探索できた全画素について、撮影対象までの距離を求めることができる。なお、本実施形態では、２台のＣＣＤカメラ１０ａ，１０ｂは、同じ高さ、かつ同じ俯角で車両に搭載されている。従って、第１画像と第２画像において、対応する画素は、縦方向にはずれておらず、横方向にのみずれた位置に存在する。このため、対応画素位置の探索は比較的容易に行なうことができる。

以上、２台のＣＣＤカメラ１０ａ、１０ｂを用いて、撮影対象までの距離を求める例について説明したが、３台以上のＣＣＤカメラを用いてもよい。逆に、１台のＣＣＤカメラしか備えていない場合でも、いわゆるStructure from Motion（SFM）と呼ばれる技術を用いることでステレオ計測を行い、撮影対象までの距離を求めることも可能である。

このＳＦＭ技術では、１台のＣＣＤカメラによって異なるタイミングで撮影された、撮影位置の異なる２以上の画像において、コーナー点やエッジなどの、対応がとりやすい特徴点を抽出する。そして、抽出した特徴点が２以上の画像において対応付けられたら、その位置関係に基づいて、それぞれの撮影位置におけるＣＣＤカメラ間の相対的な位置関係（回転及び並進位置）を示す基礎行列や３重テンソル行列などを求める。そして、それらの行列によって示される相対的な位置関係に基づいて、３角測量の原理から、各撮影対象までの距離を算出する（ステレオ計測）。

さらに、ＴＯＦ（time of flight）型距離画像センサを用いることで、各画素の撮影対象までの距離を直接求めても良い。なお、ＴＯＦ型距離画像センサは、例えば赤外線を変調して投光し、反射対象物からの反射光との位相差を画素毎に計測することにより、画素ごとに反射対象物との距離を計測可能としたものである。

ＣＣＤカメラ１０ａによって撮影された画像の各画素に関して距離が求められると、３次元構造体推定部２１は、求められた距離に基づいて、各画素が撮影している対象物の地面からの高さを算出する。

ＣＣＤカメラ１０ａの地面からの設置高さ及び俯角は予め定められているので、ＣＣＤカメラ１０ａの各画素が映し出すべき地面までのＣＣＤカメラ１０ａからの距離は、ＣＣＤカメラ１０ａの画角などを考慮して予め算出することができる。３次元構造体推定部２１は、この各画素の地面までの距離Ｚ_０を予め記憶している。

ここで、図３に示すように、ＣＣＤカメラ１０ａのある画素が、３次元構造体の先端を映し出している場合を想定する。そして、ＣＣＤカメラ１０ａによって撮影された画像の各画素に関して求められた距離に基づき、この３次元構造体の先端までの距離は、距離Ｚであるとする。このとき、距離Ｚと距離Ｚ_０との比は、ＣＣＤカメラ１０ａの地面からの高さＨから３次元構造体の先端までの高さｈを減じた高さと、ＣＣＤカメラ１０ａの地面からの高さＨとの比と同じになる。このため、ＣＣＤカメラ１０ａのある画素が映し出している３次元構造体の先端までの高さｈは、以下の数式２により算出することができる。

（数２）
ｈ＝Ｈ×（１−Ｚ／Ｚ_０）
ＣＣＤカメラ１０ａによって撮影された画像の各画素に関して求められた距離のそれぞれを用いて、数式２の演算を行なうことにより、各画素が映し出している撮影対象の地面からの高さｈを算出することができる。そして、算出した撮影対象の高さｈが、地面の高さよりも高いか否かを判定する閾値よりも高ければ、その撮影対象は、地面ではなく、地面から高さ方向に伸びる３次元構造体の一部であるとみなすことができる。すなわち、算出した撮影対象の高さｈにより、撮影対象が地面であるか、３次元構造体であるかを判別することができ、これにより、撮影された画像において、３次元構造体が映し出されている領域を特定することができる。

３次元構造体推定部２１において、各画素毎に算出された高さは、画像処理ＥＣＵ２０の画像生成部２２に与えられる。画像生成部２２は、３次元構造体推定部２１から与えられた、各画素毎に算出された高さに基づいて、マッピングテーブル２３を参照しつつ、ＣＣＤカメラ１０ａによって撮影された画像を鳥瞰画像に変換して、車両の乗員に提示する提示画像を生成する。以下に、画像生成部２２における、鳥瞰画像への変換処理について、詳しく説明する。

まず、マッピングテーブル２３について説明する。マッピングテーブル２３は、ＣＣＤカメラ１０ａによって撮影された画像と、鳥瞰画像との画素位置の関係を示すものである。つまり、マッピングテーブル２３は、撮影画像を鳥瞰画像に画像変換するために、撮影画像の各画素の画素値を、鳥瞰画像のいずれの画素位置にマッピングするかの位置関係を示している。鳥瞰画像に関して、いずれの視点からの鳥瞰画像とするかを予め決定しておくことにより、撮影画像と鳥瞰画像との画素位置の関係は一義的に決まる。この画素位置同士の関係をマッピングテーブル２３に記憶しておくことにより、撮影画像から鳥瞰画像への変換を高速に実施することができる。

特に、本実施形態では、マッピングテーブル２３は、地面に相当する高さから所定の高さ範囲（例えば５〜１０ｃｍ）おきに、それぞれの高さにおける撮影画像と鳥瞰画像との画素位置との関係を記憶している。なお、説明の便宜上、地面に相当する高さを除いて、画素位置同士の位置関係が記憶されている高さを高さ閾値と呼び、地面の高さよりも一段高い位置から最高位置まで順に、ｈ_１、ｈ_２、…、ｈ_ｎと表すこととする。

画像生成部２２は、３次元構造体推定部２１から各画素が映し出している撮影対象の地面からの高さｈを得ると、その高さｈを、画素位置同士の位置関係が記憶されている各々の高さに対応する各高さ閾値ｈ_１、ｈ_２、…ｈ_nと順次比較する。このとき、高さｈが、高さ閾値ｈ_１よりも低ければ、その高さに対応付けられた画素は、地面を映し出しているとみなすことができる。一方、高さｈが、高さ閾値ｈ_１以上であれば、次に高さ閾値ｈ_２と比較される。以後、同様にして、高さｈが越えている高さ閾値を特定すべく比較処理を繰り返す。このとき、仮に、高さｈは、高さ閾値ｈ_２以上であったが、高さ閾値ｈ_３未満であったとすると、高さｈの高さ情報を有する画素の画素位置の変換に利用すべきなのは、高さ閾値ｈ_２に対応する撮影画像と鳥瞰画像との画素位置の関係であると判断する。このような処理により、高さ閾値ｈ_１以上の高さ情報を有する、３次元構造体を映し出している画素領域を特定することができる。

そして、画像生成部２２は、まず、高さｈが高さ閾値ｈ_１未満であり、３次元構造体ではなく、地面を映し出しているとみなされる画素に関して、マッピングテーブル２３における地面の高さに対応する撮影画像と鳥瞰画像との画素位置の関係を参照して、鳥瞰画像を生成するための画像面に画素値をマッピングする。地面の高さに対応する撮影画像と鳥瞰画像との画素位置の関係は、地面を基準面として鳥瞰画像への変換が行なわれるように定められている。従って、３次元構造体を映し出している画素領域を除いて、撮影画像を、地面を基準面とする鳥瞰画像に変換することができる。

次に、高さ閾値ｈ_１以上かつ高さ閾値ｈ_２未満の高さ情報を持つ画素に関して、マッピングテーブル２３における高さ閾値ｈ_１に対応する撮影画像と鳥瞰画像との画素位置の関係を参照して、鳥瞰画像を生成するための画像面に画素値をマッピングする。このような処理を、以後、高さ閾値ｈ_２から高さ閾値ｈ_ｎまで繰り返す。これにより、高さ情報を考慮した、撮影画像から鳥瞰画像への画像変換を行なうことができ、提示画像としての鳥瞰画像を生成することができる。

表示装置３０は、車両の車室内の、例えばインストルメントパネルに設置され、画像生成部２２によって生成された鳥瞰画像を表示するものである。本実施形態では、表示装置３０に表示される鳥瞰画像において、従来に比較して、３次元構造体の歪みが軽減されているので、車両の乗員は、表示装置３０に表示された画像から、車両の周辺（後部周辺）の状況を素早く容易に把握することができる。

次に、本実施形態の車両周辺画像表示装置１００における周辺画像の表示処理について、図４のフローチャートを用いて説明する。なお、図４のフローチャートに示す処理は、車両周辺画像表示装置１００において、定期的に繰り返し実行されるものである。

まず、ステップＳ１１０では、ＣＣＤカメラ１０ａ，１０ｂによって同時に撮影された画像をそれぞれ入力する。図５は、ＣＣＤカメラ１０ａによって撮影された画像の一例を示している。図５に示す画像では、車両後方の駐車領域の一部に、３角錐状の３次元構造体が存在する。

次に、ステップＳ１２０に進み、３次元構造体の抽出処理を実行する。具体的には、上述したように、ＣＣＤカメラ１０ａ，１０ｂによって撮影された画像間において、各画素の視差ｄを求めて、ＣＣＤカメラ１０ａの撮影画像において、各画素の撮影対象までの距離Ｚを算出する。さらに、算出した距離Ｚを用いて、各画素の撮影対象の地面からの高さｈを算出する。

続くステップＳ１３０では、高さ閾値ｈ１未満の高さの撮影対象、すなわち地面を映し出している画素に関して、地面を基準面とする鳥瞰画像への変換が行なわれるように、鳥瞰画像の生成画面に画素値をマッピングする。そして、ステップＳ１４０において、３次元構造体を映し出している画素に関して、低い箇所から高い箇所へと順に、鳥瞰画像への変換のために、鳥瞰画像の生成画面に画素値のマッピングを行なう。続くステップＳ１５０では、生成された鳥瞰画像を、表示装置３０に表示する。

このように、本実施形態では、撮影画像から鳥瞰画像へ画像変換を行なう際に、撮影画像の各画素について、各画素が撮影している撮影対象の地面からの高さｈを用いて、その高さに相当する高さを基準面とする鳥瞰変換を行なっている。例えば、図５に示すように、鳥瞰画像への変換を、撮影画像における画素位置（（Ｘ１，Ｙ１）や（Ｘ２，Ｙ２））に加え、各々の画素位置における高さ情報（Ｈ（Ｘ１，Ｙ１）やＨ（Ｘ２，Ｙ２））を用いて行なっている。

このため、従来のように、撮影画像に３次元構造体が含まれているか否かに係らず、一律に、地面を基準面とする鳥瞰画像への変換を行なう場合に比較して、鳥瞰画像における３次元構造体の歪みを軽減することができる。例えば、図６は、図５に示す撮影画像全体を地面を基準面とする鳥瞰画像に変換した画像を示し、図７は、本実施形態による車両周辺画像表示装置１００において、図５の撮影画像の各画素の高さ情報を考慮して、鳥瞰画像への変換を行なった画像を示している。図６及び図７の画像から明らかなように、本実施形態による車両周辺画像表示装置１００によれば、従来の鳥瞰画像に比較して、３次元構造体の歪みを軽減した画像を表示することができる。なお、図７において、画素位置（Ｘ’１，Ｙ’１）、（Ｘ’２，Ｙ’２）は、高さ情報を考慮した場合に、撮影画像における画素位置（Ｘ１，Ｙ１）、（Ｘ２，Ｙ２）に対応する鳥瞰画像の画素位置を示すものである。

また、本実施形態では、画像生成部２２において、３次元構造体を含む撮影画像を鳥瞰画像に変換する際に、まず、地面に相当する高さ情報を持つ画素について、鳥瞰画像での対応位置に画素値をマッピングしている。さらに、３次元構造体を映し出している画素に関しても、地面からの高さが低い箇所を映し出している画素から、高い箇所を映し出している画素の順に、鳥瞰画像での対応位置に画素値をマッピングしている。

この際、本実施形態では、それぞれの高さ閾値に対応する撮影画像と鳥瞰画像との画素位置の関係を参照して、鳥瞰画像を生成するための画像面に画素値をマッピングしているので、撮影画像における、特に３次元構造体を映し出している複数の画素が、鳥瞰画像の同一画素にマッピングされる可能性が生じる。しかしながら、本実施形態では、より高さの高い箇所を映し出している画素の画素値のマッピングほど後に行なうことで、複数画素の画素値が同じ位置にマッピングされる場合であっても、高さの高い箇所を映し出している画素の画素値が鳥瞰画像の生成画面において上書きされる。従って、３次元構造体の鳥瞰画像への変換を適切に行なうことができる。

なお、図７に示すように、高さ情報を考慮して、３次元構造体の鳥瞰画像への画像変換を行なった場合、３次元構造体の裏側に位置していたため、表示装置３０に表示される提示画像において画像情報が欠損する欠損領域が生じる。この欠損領域は、そのまま表示しても良いが、車両の乗員がより画像を見やすくなるように、欠損領域を補完しても良い。

欠損領域を補完する際には、例えば、欠損領域を、その周囲と同様の画素値で塗りつぶしたり、欠損領域を挟んで、両方向に区画線が延びている場合には、欠損領域中に区画線を描画したりする。図８は、図７の欠損領域を補完した画像を示すものである。

以上、本発明の好ましい実施形態について説明したが、本発明は上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々の変形が可能である。

例えば、上述した実施形態において、３次元構造体推定部２１にて、撮影画像の各画素が映し出している撮影対象の地面からの高さｈを算出する際に、まず、３次元構造体を映し出している画素領域を、３次元構造体ごとに抽出する。そして、画素領域から把握される３次元構造体を複数の小領域に分割し（例えばドロネー分割）、高さ方向に隣接する小領域の高さの差に制限を加えつつ、３次元構造体の各所の地面からの高さを算出するようにしても良い。単に、２枚の撮影画像間の視差から３次元構造体の各所までの距離を検出し、その距離に基づいて、３次元構造体の地面からの高さを算出するようにした場合、距離検出誤差などにより、算出される高さに誤差が含まれる虞がある。そのような場合、鳥瞰画像における３次元構造体の形状がギザギザになったりして、その形状を正しく鳥瞰画像に変換することができない。

それに対して、上述したように、隣接する小領域の高さの差に制限を加えつつ、３次元構造体の各所の地面からの高さを算出するようにすれば、高さを算出する際の誤差を低減することができる。

また、上述した実施形態において、３次元構造体を鳥瞰画像に変換する際に、地面に対して垂直な方向から所定の角度だけ傾いた方向から見た鳥瞰画像となるように、マッピングテーブルにおける画素位置の関係を定めても良い。３次元構造体の場合、真上から見た鳥瞰画像に変換するよりも、多少、斜め方向から見た鳥瞰画像に変換する方が、３次元構造体を認識しやすくなるためである。

また、例えば、車両周辺画像表示装置１００が１台のカメラを備えるものであって、ＳＦＭ技術を用いて、３次元構造体の高さ情報を得る場合、その高さ情報を得るまでに、数フレームの画像を必要とする。このような場合、すなわち、３次元構造体が抽出される以前は、カメラによって撮影された画像全体を地面を基準面とする鳥瞰画像に変換し、この鳥瞰画像を提示画像としても良い。

これにより、３次元構造体が撮影した画像に含まれていない場合、或いは含まれていても、その３次元構造体をまだ抽出できていない場合に、従来と同様の鳥瞰画像が表示され、３次元構造体が抽出されると、３次元構造体に関して歪みの軽減された鳥瞰画像が表示されるようになる。従って、車両の周囲の状況を示す画像の表示を常時行なうことができる。

さらに、上述した実施形態では、３次元構造体に関して、高さ情報を考慮した鳥瞰画像変換を行なうことで、３次元構造体の歪みを軽減した。しかしながら、３次元構造体に関しては、鳥瞰画像への変換を行なうことなく、スケール変換のみ行なって、提示画像としての鳥瞰画像を生成しても良い。

ＣＣＤカメラ１０ａは、所定の俯角で見下ろすように３次元構造体を撮影しているので、３次元構造体に関して鳥瞰変換を行なわず、そのまま表示しても、車両の乗員の違和感はほとんど生じない。逆に、鳥瞰画像への変換に伴う３次元構造体の歪みが発生しないので、車両の乗員に理解しやすい表示を行なうことができる。

なお、３次元構造体のスケール変換及び提示画像の生成は以下のようにして行なう。まず、撮影画像において、３次元構造体の領域を特定するとともに、３次元構造体が地面に接している接線部分を特定する。次に、３次元構造体を映し出している画素領域を除く、地面を映し出している画素に関して、地面を基準面とする鳥瞰画像への変換を行なう。その鳥瞰画像において、地面の３次元構造体との接線部分を特定する。そして、撮影画像の接線部分が、鳥瞰画像の接線部分と同じ長さとなるように３次元構造体をスケール変換して、接線部分同士が一致するように、鳥瞰画像に３次元構造体を映し出している画素の画素値を書き込んで、提示画像を生成する。

１０ａ，１０ｂ ＣＣＤカメラ
２０ 画像処理ＥＣＵ
３０ 表示装置
１００ 車両周辺画像表示装置

Claims (14)

1. 車両の車室内に設けられた表示装置と、
   車両に搭載され、車両周辺の画像を撮影する撮影手段と、
   前記撮影手段によって撮影された画像に基づいて、車両の運転者へ提示するための提示画像を生成する画像生成手段と、
   前記画像生成手段によって生成された提示画像を前記表示装置に表示する表示制御手段と、を備えた車両周辺画像表示装置において、
   前記撮影手段によって撮影された画像を用い、その画像において、地面から高さ方向に伸びる３次元構造体が映し出されている領域を特定する３次元構造体抽出手段を有し、
   前記画像生成手段は、
   前記３次元構造体抽出手段によって特定された前記３次元構造体の領域を除いて、前記撮影手段によって撮影された画像を、地面を基準面とする鳥瞰画像に変換する第１の画像変換を行なう第１画像変換手段と、
   前記第１画像変換手段による第１の画像変換とは異なるものであって、前記第１の画像変換にて前記３次元構造体を鳥瞰画像に変換した場合よりも、前記３次元構造体の歪みが軽減される第２の画像変換を適用して前記３次元構造体を画像変換する第２画像変換手段と、を含み
   前記第１画像変換手段と、前記第２画像変換手段とにより変換された画像を統合して前記提示画像を生成するものであり、
   前記第２画像変換手段が行なう第２の画像変換は、前記撮影手段によって撮影された画像を用いて前記３次元構造体の各所の地面からの高さを算出し、算出した高さに相当する高さを基準面とする鳥瞰画像に変換するものであることを特徴とする車両周辺画像表示装置。
2. 前記第２画像変換手段は、前記３次元構造体を鳥瞰画像に変換する際に、地面からの高さが低い箇所から高い箇所の順に画像変換を行なうことを特徴とする請求項１に記載の車両周辺画像表示装置。
3. 前記第２画像変換手段は、前記３次元構造体を複数の小領域に分割し、高さ方向に隣接する小領域の高さの差に制限を加えつつ、前記３次元構造体の各所の地面からの高さを算出することを特徴とする請求項１又は請求項２に記載の車両周辺画像表示装置。
4. 前記第２画像変換手段は、前記３次元構造体を鳥瞰画像に変換する際に、地面に対して垂直な方向から所定の角度だけ傾いた方向から見た鳥瞰画像となるように、前記３次元構造体の画像変換を行なうことを特徴とする請求項１乃至請求項３のいずれかに記載の車両周辺画像表示装置。
5. 前記画像生成手段は、前記３次元構造体抽出手段によって前記３次元構造体が抽出される以前は、画像全体を第１画像変換手段によって地面を基準面とする鳥瞰画像に変換し、この鳥瞰画像を前記提示画像とすることを特徴とする請求項１乃至請求項４のいずれかに記載の車両周辺画像表示装置。
6. 地面に相当する高さから所定の高さ範囲おきに、前記撮影手段により撮影された画像の各画素を前記提示画像のいずれの画素にマッピングするかを示すマッピングテーブルを記憶した記憶手段を備え、
   前記第１画像変換手段及び前記第２画像変換手段は、前記マッピングテーブルを参照して、第１及び第２の画像変換を行なうことを特徴とする請求項１乃至請求項５のいずれかに記載の車両周辺画像表示装置。
7. 前記撮影手段により撮影された画像において、前記３次元構造体の裏側に位置していたため、前記提示画像において画像情報が欠損する欠損領域に対して、画像を補完する補完手段を有することを特徴とする請求項１乃至請求項６のいずれかに記載の車両周辺画像表示装置。
8. 車両に搭載され、車両周辺の画像を撮影する撮影手段からの画像を取得する画像取得ステップと、
   前記画像取得ステップにより取得された画像に基づいて、車両の運転者へ提示するための提示画像を生成する画像生成ステップと、
   前記画像生成ステップにより生成された提示画像を車両の乗員に対して表示する表示ステップと、を備えた車両周辺画像表示方法であって、
   前記画像取得ステップにより取得された画像を用い、その画像において、地面から高さ方向に伸びる３次元構造体が映し出されている領域を特定する３次元構造体抽出ステップを有し、
   前記画像生成ステップは、
   前記３次元構造体抽出ステップにおいて特定された前記３次元構造体の領域を除いて、前記画像取得ステップにより取得された画像を、地面を基準面とする鳥瞰画像に変換する第１の画像変換を行なう第１画像変換ステップと、
   前記第１画像変換ステップにおける第１の画像変換とは異なるものであって、前記第１の画像変換にて前記３次元構造体を鳥瞰画像に変換した場合よりも、前記３次元構造体の歪みが軽減される第２の画像変換を適用して前記３次元構造体を画像変換する第２画像変換ステップと、を含み、
   前記第１画像変換ステップと、前記第２画像変換ステップとにより変換された画像を統合して前記提示画像を生成し、
   前記第２の画像変換は、前記画像取得ステップにより取得された画像を用いて前記３次元構造体の各所の地面からの高さを算出し、算出した高さに相当する高さを基準面とする鳥瞰画像に変換するものであることを特徴とする車両周辺画像表示方法。
9. 前記第２画像変換ステップでは、前記３次元構造体を鳥瞰画像に変換する際に、地面からの高さが低い箇所から高い箇所の順に画像変換を行なうことを特徴とする請求項８に記載の車両周辺画像表示方法。
10. 前記第２画像変換ステップでは、前記３次元構造体を複数の小領域に分割し、高さ方向に隣接する小領域の高さの差に制限を加えつつ、前記３次元構造体の各所の地面からの高さを算出することを特徴とする請求項８又は請求項９に記載の車両周辺画像表示方法。
11. 前記第２画像変換ステップでは、前記３次元構造体を鳥瞰画像に変換する際に、地面に対して垂直な方向から所定の角度だけ傾いた方向から見た鳥瞰画像となるように、前記３次元構造体の画像変換を行なうことを特徴とする請求項８乃至請求項１０のいずれかに記載の車両周辺画像表示方法。
12. 前記画像生成ステップでは、前記３次元構造体抽出ステップによって前記３次元構造体が抽出される以前は、画像全体を第１の画像変換によって地面を基準面とする鳥瞰画像に変換し、この鳥瞰画像を前記提示画像とすることを特徴とする請求項８乃至請求項１１のいずれかに記載の車両周辺画像表示方法。
13. 地面に相当する高さから所定の高さ範囲おきに、前記画像取得ステップにより取得された画像の各画素を前記提示画像のいずれの画素にマッピングするかを示すマッピングテーブルを記憶した記憶手段を備え、
    前記第１画像変換手段及び前記第２画像変換手段は、前記マッピングテーブルを参照して、第１及び第２の画像変換を行なうことを特徴とする請求項８乃至請求項１２のいずれかに記載の車両周辺画像表示方法。
14. 前記画像取得ステップにより取得された画像において、前記３次元構造体の裏側に位置
    していたため、前記提示画像において画像情報が欠損する欠損領域に対して、画像を補完
    する補完ステップを有することを特徴とする請求項８乃至請求項１３のいずれかに記載の車両周辺画像表示方法。

Images