JP2009049943A - 距離画像によるトップビュー表示装置 - Google Patents

Abstract

【課題】トップビュー画像表示に際して、車両にとって障害となる立体物を容易に認識することができる「距離画像を用いたトップビュー表示装置」とする。
【解決手段】カメラ画像取込部１で車外を撮影する複数のカメラの撮影画像を取り込み、トップビュー画像形成部２では前記取り込んだ画像により、車両の上方に仮想視点がある車両周囲の画像を合成する。距離画像処理部３では前記カメラ画像取込部１で取り込んだ画像により、立体物とその高さを検出し、その立体物の高さ情報により、車両にとって障害物となる所定の高さ以上の立体物を、他の画像部分とは異なった態様で表示する。その際には、高さが高い程輝度、または彩度、または色度を次第に変化させて表示し、或いは所定の高さ以上の立体物を同色で塗り潰して表示し、或いは白色で表示する。また、画面表示中で最も高い立体物を他とは異なった態様で表示して縁石等も明示可能とする。
【選択図】図１

Description

本発明は車両に設けたカメラによって外部を撮影して車両上部に仮想視点のある車両周囲の画像表示を行うトップビュー表示装置に関し、特に高さの高い障害物を距離画像によってわかり易く表示し、容易に障害物を識別することができるようにした距離画像によるトップビュー表示装置に関する。

車両を狭い車庫や駐車場に入れるとき、運転者は細心の注意を必要とし、時には周囲の物体と自車両をこする等の事故を発生することもある。また、車両を車庫や駐車場から出すときも、周囲の物体や人間には十分注意する必要がある。更に、車庫や駐車場の出入り以外にも、極めて狭い道路の走行時や狭い道路での対向車とのすれ違いにおける周囲の物体との接触や、溝に車輪が落ちないようにする、等の車両の周囲に十分注意を要する場合も多い。

その対策として、近年車両に広く搭載されるようになっている、車両の後方を撮影してモニタに表示し、車庫入れや駐車を容易にする後方撮影用カメラ、車両の前方両側を撮影して車両が見通しの悪い狭い道路から出るときに、先方の道路を走行する車両等を確認する車両側方撮影用カメラ等の、車外撮影カメラを利用し、車両周囲の状況を監視し、充分確認しながら運転することも行われている。

しかしながら、このような車外撮影カメラとして超広角カメラを用いたとしても、例えば車両を後退させながら車庫入れ等を行うとき、車両後側方周囲に障害物があるときには、車両の後退とともに後方撮影用カメラの視界外になり、その障害物の状態を知ることができなくなる。その対策として、車両の両側にも超広角カメラを設け、前記のような後方撮影用カメラの視界外部分を側方撮影カメラによって見ることができるようにすることも考えられる。

しかし上記のような超広角カメラの画像では、撮影画像の中心部と周辺部とでは物体の見え方が大きく異なり、単に撮影画像を見ているだけでは、その物体と車両との位置関係が明確ではなく、予期しない衝突や接触事故を生じることがある。特に後方撮影用カメラでの画像から側方撮影用カメラの画像に切り換えたとしても、そのときに画面に表示される障害物等の物体の画像は大きく異なり、実際の物体の状態を把握することは容易ではない。

そのため、車両に複数の車外撮影用カメラを搭載し、それらのカメラで撮影した画像を合成し、あたかも車両の上方に設置したカメラから車両の周囲を撮影しているような画像を形成してモニタに表示することが提案されている。そのような複数のカメラを用いる際には例えば図７に示すように、車両１１の右側を撮影する車両右側撮影用カメラ１２、車両１１の左側を撮影する車両左側撮影用カメラ１３、車両１１の後方を撮影する車両後方撮影用カメラ１４、車両１１の前側を撮影する車両前方撮影用カメラ１５の合計４個のカメラを搭載して、これらのカメラの全ての画像を合成し、例えば図７（ｃ）に略示するように、あたかも車両の真上に設けた１つのカメラにより車両１１の全周囲を撮影しているような画像をモニタに表示することが提案されている。この方式はトップビューシステムともいわれ、車両の外部を撮影するカメラは必要に応じて２個、３個と適宜選択され、また設置位置も種々の位置に選択して設置される。

なお、車外監視カメラとして同方向を撮影する通常のカメラと赤外線カメラを用い、通常のカメラの撮影映像をモニタに表示すると共に、赤外線カメラにより危険物を監視し、危険物が存在するときにはその物体の位置を測定し、モニタに表示している通常のカメラ映像におけるその物体が存在する位置の映像部分の輝度を高める等により危険物を見やすく表示する技術は特許文献１に開示されている。また、奥行き位置の異なる複数の表示面にそれぞれ二次元像を表示し、各二次元像の輝度を変化させることにより立体画像を表示する技術は特許文献２に開示されている。
特開２００５−１８４５２３号公報 特開２０００−２１４４１３号公報

前記のようにトップビューによって車両周囲を画像表示すると、一般には周囲の状況を見やすく表示することができるが、立体物の表示に関しては、立体物が倒れ込んで表示されるため、それが立体物か平面状の物であるかの区別を直感的に認識することが困難であった。また、例えば道路や駐車場で周囲に縁石があり、その部分から高くなっているときも、周囲の物体が同色のため画面上からその状態を容易に把握することは困難であった。

したがって本発明は、車外を撮影するカメラで撮影した画像を合成することにより、車両の上方に仮想視点があるトップビュー画像を表示するに際して、車両周囲の立体物を容易に、且つ確実に認識することができるようにした距離画像によるトップビュー表示装置を提供することを主たる目的とする。

本発明に係る距離画像によるトップビュー表示装置は、前記課題を解決するため、車外を撮影するカメラの撮影画像を取り込むカメラ画像取込部と、前記カメラ画像取込部の画像により、車両の上方に仮想視点がある車両周囲の画像を合成するトップビュー画像形成部と、前記カメラ画像取込部の画像により、立体物を検出する距離画像処理部と、前記距離画像処理部によって得られた立体物の高さ情報により、所定の高さ以上の立体物を他とは異なった態様で表示するトップビュー画像内立体物表示処理部とを備えたことを特徴とする。

また、本発明に係る他の距離画像によるトップビュー表示装置は、前記トップビュー表示装置において、前記所定の高さ以上の立体物を、高さが高い程輝度、または彩度、または色度を次第に変化させて表示することを特徴とするものである。また、前記所定の高さ以上の立体物を、同色で塗り潰して表示することを特徴とし、また、前記所定の高さ以上の立体物を、白色で表示することを特徴とし、更に、前記所定の高さ以上の立体物表示は、画面表示中で最も高い立体物を他とは異なった態様で表示することを特徴とする。

本発明は上記のように構成したので、車外を撮影する複数のカメラで撮影した画像を合成することにより、車両の上方に仮想視点があるトップビュー画像を表示するに際して、車両にとって障害物となる車両周囲の立体物を容易に認識することができるようになる。

本発明は、トップビュー画像表示に際して、車両にとって障害物となる立体物を容易に認識することができるようにするという目的を、車外を撮影するカメラの撮影画像を取り込むカメラ画像取込部と、前記カメラ画像取込部の画像により、車両の上方に仮想視点がある車両周囲の画像を合成するトップビュー画像形成部と、前記カメラ画像取込部の画像により、立体物を検出する距離画像処理部と、前記距離画像処理部によって得られた立体物の高さ情報により、所定の高さ以上の立体物を他とは異なった態様で表示することにより実現した。

図１は本発明の実施例の機能ブロック図を示す。図１に示す実施例においては、前記図７に示すように、車外を撮影する複数のカメラの撮影画像を取り込むカメラ画像取込部１を備え、ここで取り込んだ画像は従来と同様に車両の上方に仮想視点のある画像を合成するトップビュー画像形成部２に入力するとともに、カメラ画像取込部１で取り込んだ複数のカメラ画像の内、例えば左右のカメラ等の複数のカメラの画像を選択して立体画像を形成する距離画像処理部３にも入力する。

距離画像処理部３では、例えば図３に示すような従来から周知のエピポーラ幾何を用いたステレオ法により、距離画像を得ることができる。即ち、このステレオ法による距離画像処理においては、３次元空間上の注視点Ｐが２つの球面画像へＰ１、Ｐ２として射影されたとき、各点はエピポーラ線上に存在して、３次元空間上の注視点Ｐと射影された点Ｐ１、Ｐ２及びカメラの光学中心は一つの平面上に存在し、この平面はエピポーラ平面と呼ばれる。また、この幾何学的な光束はエピポーラ幾何と呼ばれ、エピポーラ方程式を満たす。その方程式に実測値を与えて解くことにより距離画像を得ることができる。

距離画像を得る立体物画像処理としては、前記のようなエピポーラ幾何を用いたステレオ画像法以外にも、従来から用いられている例えば照度差ステレオ法やヘルムホルツステレオ法等、各種の立体物画像処理手法を用いることができる。また、その際には複数のカメラの画像により立体物の存在を知る以外に、１つのカメラによっても車両の移動により同じカメラが撮影した画像を分析することにより立体物の存在を知ることもでき、これらの手法を用いて立体物の高さを知るための距離画像処理を行うこともできる。

立体物画像表示処理部４では、このようなステレオ法により画像処理を行った画像データによって、後述するような種々の手法の内、例えば高さに応じて明るさを変える等の任意の手法によって立体物を表示する。トップビュー画像内立体物表示処理部５においては、前記のようにしてトップビュー画像形成部２で形成したトップビュー画像の中に、立体物画像表示処理部４で処理した立体物を表示するための処理を行う。それにより、従来は単にトップビュー画像しか形成されていない画像に対して、立体物が存在することを各種の手法により見やすく表示することができる。

前記のようにして得られた距離画像による立体物表示は、例えば図４に示すように高さによって輝度を変える手法採用する。同図においては周囲が壁に囲まれた車庫に車両を入れるとき、地面を含む平面を最も濃くし、高さ２０ｃｍ、４０ｃｍ、６０ｃｍ、８０ｃｍと、立体物の高さが高い程その部分を明るく表示する。それにより平面と立体物の違いが明瞭に区別され、且つその高さの程度も容易に把握することができるようになる。このような高さによって異なった表示は、前記とは逆に立体物が高い程濃い色で表示し、或いは立体物が高い程青から赤に変化する画像にする等の、色の差によって表示する等々、種々の手法で表示することができる。即ち、立体物が高い程、輝度、彩度、色度のいずれかを次第に変化させることにより表示する。

そのほか例えば図５（ａ）に示すように、立体物部分を同色の色で塗り潰しても良い。即ち、図示の車庫の場合は、平面Ｇは通常の画面とし、検出された立体物としての壁Ｗは例えば薄黄色のマスクをかけて、画面上では立体物を単に薄黄色に塗り潰した表示を行う。このように立体物を塗り潰すことにより、そこに立体物が存在することを示し、それが何であるかを示さないようにし、画像を見て立体物が何であるかの認識の誤りによってその立体物に衝突し、或いは立体物の認識により意識をし過ぎ、かえってその立体物に近づいてしまう心理による事故の発生の防止が可能となる。

また、図５（ｂ）に示すように、地面Ｇは通常の撮影画像とし、立体物としての壁Ｗは全て白色として、平面状のものと立体物との区別をつけるようにしても良い。このように立体物を全て白色にすることによっても、立体物が何であるかを示さないようにし、運転者に立体物の誤認を与え、或いは過度の意識を持たせないようにすることができる。

更に例えば図６（ａ）に示すように、屋外駐車場等における高さ１５ｃｍ程度の車止めＳについても、車両周囲全体の中で最も高い部分を計算し、その部分を濃く表示し、或いは赤く表示する等によってこれを強調表示することにより、本来は周囲と同色となって見にくい車止めＳも、画面上では極めて明瞭に見ることができるようになる。その際には最初に表示画面内で例えば２０ｃｍ以上高い特に重要な障害物の検出を行い、そのようなものが存在しないときには前記のように画面内で最も高いものの検出を行い、そのものが１０〜２０ｃｍであるときにそのものを前記のように強調表示するようにしても良い。

また、同図（ｂ）のように、車の後の方に縁石Ｅがあるとき、前記の表示手法により、周囲において最も高くなっているこの部分を濃く、或いは赤い表示等によって明瞭に示すことができる。このように、表示画像の中で最も高い部分を選択して示すことにより、２０ｃｍ程度の比較的低い物体であっても、車両にとって注意すべき物体として明瞭に示すことができるようになる。

図１に示すような機能ブロックからなり、前記のような種々の立体物表示を行う本発明においては、例えば図２に示す作動フローにしたがって順に作動を行うことにより実施することができる。即ち図２に示すトップビュー画像内への立体物表示処理においては、最初複数カメラからの画像の取り込みを行い（ステップＳ１）、その後そのカメラ画像を合成処理し、トップビュー画像を形成する（ステップＳ２）。この作動は図１のカメラ画像取込部１によって画像の取り込みを行い、トップビュー画像形成部２においてトップビュー画像を形成することにより行われる。

次いで複数カメラ画像の中から、例えば左右のカメラ等の複数のカメラを選択してステレオ画像処理を行い（ステップＳ３）、その撮影画像から３次元座標を取得する（ステップＳ４）。この３次元座標により得られた高さ情報を含む立体物に対して、例えば高さが高い程明るく表示する等の、前記のような種々の態様の立体物画像表示処理を行う（ステップＳ５）。その後前記ステップＳ２で得られたトップビュー画像に対して、ステップＳ５で得られた立体物画像を合成処理し、前記図４〜６で示したような種々の態様で立体物の表示を行う。

本発明の実施例の機能ブロック図である。 同実施例の作動フロー図である。 カメラ画像から距離画像を得るステレオ法の説明図である。 トップビュー画像中に立体物を表示する例を示す図である。 トップビュー画像中に立体物を表示する他の例を示す図である。 トップビュー画像中に立体物を表示する更に他の例を示す図である。 従来から提案されているトップビューシステムの説明図である。

符号の説明

１ カメラ画像取込部
２ トップビュー画像形成部
３ 距離画像処理部
４ 立体物画像表示処理部
５ トップビュー画像内立体物表示処理部

Claims (5)

1. 車外を撮影するカメラの撮影画像を取り込むカメラ画像取込部と、
   前記カメラ画像取込部の画像により、車両の上方に仮想視点がある車両周囲の画像を合成するトップビュー画像形成部と、
   前記カメラ画像取込部の画像により、立体物を検出する距離画像処理部と、
   前記距離画像処理部によって得られた立体物の高さ情報により、所定の高さ以上の立体物を他とは異なった態様で表示するトップビュー画像内立体物表示処理部とを備えたことを特徴とする距離画像によるトップビュー表示装置。
2. 前記トップビュー画像内立体物表示処理部では、高さが高い程輝度、または彩度、または色度を次第に変化させて表示することを特徴とする請求項１記載の距離画像によるトップビュー表示装置。
3. 前記トップビュー画像内立体物表示処理部では、同色で塗り潰して表示することを特徴とする請求項１記載の距離画像によるトップビュー表示装置。
4. 前記トップビュー画像内立体物表示処理部では、白色で表示することを特徴とする請求項１記載の距離画像によるトップビュー表示装置。
5. 前記トップビュー画像内立体物表示処理部では、画面表示中で最も高い立体物を他とは異なった態様で表示することを特徴とする請求項１記載のトップビュー表示装置。

Images