JP2006080626A - 広角画像の補正方法及び車両の周辺監視システム - Google Patents

Abstract

【課題】 車両の外部を撮影した水平方向に広い視野角を有した広角画像を違和感なく車室内に表示するための画像の補正方法を提供する。
【解決手段】車両の外部を撮影した水平方向に広い視野角を有した広角画像Ｗを車室内の表示装置３に表示するための広角画像Ｗの補正方法であって、垂直方向の上部に向かうに従って広角画像Ｗが縮小され、下部に向かうに従って広角画像Ｗが拡大されるように相対的な拡縮を施す遠近感補正２１と、広角画像Ｗの水平方向の中央部を通る垂直基準線から水平方向の両端部に向かうに従って広角画像Ｗを拡大する側方距離感補正２２とを行って、広角画像Ｗを補正する。
【選択図】 図２

Description

本発明は、車両の外部を撮影した水平方向に広い視野角を有した広角画像を車室内の表示装置に表示するための広角画像の補正方法、及びこの画像を利用した車両の周辺監視システムに関する。

近年、ナビゲーションシステムの普及とも相まって、車両の周囲の状況を車室内の表示装置に表示するモニタシステムを搭載する車両が増加している。車両の周囲の状況としては、例えば、他車の位置、障害物の状況、センターラインや停止線等の道路標示等がある。そして、これら周囲の状況は、車両をバックさせる場合のバックモニタや、前方のバンパー下やコーナー部の死角モニタ等の表示装置に表示される。このようなモニタシステムは、運転者の負担の軽減を図るものであり、運転中に運転者が取得することが必要な情報の多さに鑑みると、視認性に優れ、違和感無く一見して運転者が必要な情報を取得できる画像を表示することが望ましい。そして、当然にその画像の視野は広いことが望ましい。一般的に人間の静体視野は、両眼で一点を注視している状態で約２００度である。この内、赤、青、黄色等の色彩を含めて確認できるのは７０度くらいまでと言われている。さらに、動きながら物を見る場合の動体視野は、動作速度に応じて狭くなり、時速４０ｋｍ程度で、静体視野の半分の約１００度まで低下する。これを補うため、運転者は通常、一点注視しないようにして視野角を広く保つように努めているが、上記のようなモニタシステムは、このような人間の生理的限界や努力を好適に補完するものであることが望まれる。

しかしながら、一般的にカメラ等によって撮影される画像の視野角は５０〜６５度程度と狭く、単にカメラを車両に設置しただけでは充分な視野角を得ることができない。そこで、これを補うための様々な方法が提案されている。例えば、図７〜８のように運転席からの死角となり得る場所を重点的に撮影し、これを表示装置の夫々別の表示枠の中に表示する方法がある。しかし、このように分割表示すると、運転者は各撮影画像の相互関係位置を意識しなければ充分な環境把握ができないので、一見して車両の周辺情報を得にくいという課題がある。

これに対して、特許文献１には、自車両を含めた広い範囲を一望できる画像を表示する技術が提案されている。これは、一台又は複数のカメラと、前記カメラより入力された画像を透視変換により他の座標に変換する手段と、この変換画像を自車の画像との関連において一枚の画像に合成する手段と、この画像を乗員（運転者）に表示するディスプレイ（表示装置）とを有するものである。本文献中で実施される透視変換とは、カメラのスクリーン画像から、車両中央を原点、車両進行方向に対して左右側をＸ軸、車両の進行方向をＹ軸とする路面（平面）座標に変換するものである。そして、合成された画像は、イラストで示された自車両と、透視変換された他車両や道路標示、物体等が平面座標で示されたものとなり、これが表示装置に表示される。

また、特許文献２には平面座標に透視変換することなく、運転者の視点から見た広角画像を表示し、且つ特に必要とされる部分を強調して表示する方法が提案されている。これによると、広角画像の中で強調領域と非強調領域とを定め、強調領域の画像を明度の変更やマスク処理や拡大等の処理により強調して表示することにより、広角画像に含まれる多くの情報の中から特に必要とされる情報を得易くしている。

特開平３−９９９５２号公報（第２頁、第１〜３図） 特開平２００２−２３０６９８号公報（第３〜５頁、第３、４図）

透視変換は視点変換とも呼ばれるものであるが、特許文献１の技術を例とすると、Ｘ軸及びＹ軸で構成されるＸＹ平面に対して平行する方向から見たスクリーン座標をＸＹ平面に対して直交する方向から見た平面座標へ変換するものである。従って、ポールや壁等、ＸＹ平面に対して垂直に立っている物体は、スクリーン座標においては、はっきりと視認できる状態となるが、平面座標においては、点や線等に集約されてしまい、視認できなくなるか、あるいは極めて違和感を覚える画像となって表示されてしまう。この例ほど極端ではなくとも、立体空間をある視点から撮影した画像を、平面画像に視点変換すると、変換対象となる平面上にないものは正しく変換されずに、違和感を持つ画像となってしまう。

また、特許文献２に記載の技術では、強調される部位は目立つものの、表示される画像と人間が自然に見える画像とが異なり、一見して物体の方角や距離感を掴むには適していない。

本願発明は上記課題に鑑みてなされたもので、車両の外部を撮影した水平方向に広い視野角を有した広角画像を違和感なく車室内に表示するための画像の補正方法、及びこの補正された画像を利用した車両の周辺監視システムを提供することを目的とする。

上記目的を達成するための本発明に係る車両の外部を撮影した水平方向に広い視野角を有した広角画像を車室内の表示装置に表示するための広角画像の補正方法の特徴は、垂直方向の上部に向かうに従って前記広角画像が縮小され、下部に向かうに従って前記広角画像が拡大されるように相対的な拡縮を施す遠近感補正と、前記広角画像の水平方向の中央部を通る垂直基準線から水平方向の両端部に向かうに従って前記広角画像を拡大する側方距離感補正とを行って、前記広角画像を補正する点にある。

車両の外部を撮影して得られる水平方向に広い視野角を有した広角画像の垂直方向の上部には、例えば進行方向の道路や、その先の建築物等遠方が写っており、垂直方向の下部には路面等が写っていることが多い。また、水平方向には車両のコーナーや、側方の景色等が写っていることが多い。ここで、上記特徴のように垂直方向の上部に向かうに従って広角画像が縮小され、下部に向かうに従って広角画像が拡大されるように相対的な拡縮を施すと、垂直方向の上部は相対的に小さくなるので遠くにあるような視覚効果が得られ、反対に垂直方向の下部は相対的に大きくなるので近くにあるような視覚効果が得られる。従って、適切な遠近感を得ることができて好適である。
また、人間の静体視野は約１８０度から２００度程度を有しているが、実際に色彩まで含めて確認できている範囲は、７０度程度である。従って、視点の近傍の側方、例えば、車両の側方は、死角となり易い。しかし、本発明の特徴によれば、側方の画像を拡大するので、人間の視覚の生理的限界の問題で認識されにくい側方の様子を強調して示すことになって、効果的に人間に知覚させることができる。

本発明に係る広角画像の補正方法が、前記広角画像の垂直方向の上方に短辺を有し、下方に長辺を有する台形に対して前記広角画像を投影することによって前記遠近感補正を行うと共に、前記垂直基準線上に短辺を有し、水平方向の両端部側に長辺を有する台形に前記広角画像を投影することによって前記側方距離感補正を行うものであると好適である。

台形は、垂直方向の上部に向かうに従って縮小し、下部に向かって拡大するように相対的な拡縮の関係を有した図形である。従って、垂直方向の上部は相対的に小さいので遠くにあるような視覚効果が得られ、下部は相対的に大きいので近くにあるような視覚効果が得られる図形である。従って、この台形に広角画像を投影することによって、マイクロコンピュータ（マイコン）等画像処理を行う装置に大きな演算負荷をかけずに、効果的な遠近感補正を施すことができる。
同様に、水平方向の中央部を通る垂直基準線上に短辺を有し、水平方向の両端部側に長辺を有する台形に対して画像を投影すると、水平方向の中央部は相対的に小さいので遠くにあるような視覚効果が得られ、水平方向の端部、つまり左右方向の側方は相対的に大きく表されるので近くにあるような視覚効果が得られる。中央部は前方の遠方を表しており、側方部は、例えばバンパーのコーナー部等左右方向の近傍を表しているので、実際の距離感に合った遠近感を有することになる。さらに、死角となり易い側方の画像が拡大されるので、認識されにくい側方の様子を強調して示すことにもなり、この死角で発生する事象を効果的に人間に知覚させることができる。

また、本発明に係る広角画像の補正方法は、前記垂直基準線上に有り、前記広角画像の視点となる中心点から等距離な位置を各距離ごとに示す年輪状の等距離線を前記広角画像上に設定し、前記等距離線が前記中心点から離れるに従って拡大率を大きくすることによって前記遠近感補正及び前記側方距離感補正を行うようにすることもできる。

視点に近いほど、大きな画像エリアを有して撮影されているので、視点となる中心点の近傍の等距離線の間隔は広く、遠方へ行くほど等距離線の間隔は狭くなる。従って、例えば、この等距離線の間隔がほぼ均等となるように広角画像の拡大縮小を行うと、この等距離線が中心点から離れるに従って、相対的に拡大率を大きくすることになる。そうすると、広角画像の下方にある近傍の水平線は、垂直方向の上方を中心側とし、且つ遠方水平線よりも大きな曲率を有する円弧状で連続した曲線となり、側方（左右方向）へ行くほど上方へ向かうと共に、左右の端部の画像は拡大される。中央部は前方の遠方を表しており、側方部は、例えばバンパーのコーナー部等左右方向の近傍を表しているので、実際の距離感に合った遠近感を感じさせる画像を得ることができる。
従って、この等距離線を利用した補正を施すことによって、遠近感等人間の目に違和感の少ない広角画像を得ることができる。また、特に死角となり易い近傍の側方の画像が、広角画像の下方の隅から上方へと拡大されるので、何かの事象がこの死角で発生した場合に、人間の生理的限界を補って好適に感知することができる。

本発明に係る広角画像の補正方法を車両の外部を撮影した水平方向に広い視野角を有した広角画像を車室内の表示装置に表示する車両の周辺監視システムに適用し、前記広角画像を得るための画像入力手段と、本発明に係る広角画像の補正方法によって前記広角画像を補正する画像処理手段と、補正された前記広角画像を表示する表示手段とを備えたものとすると、好適である。
本発明を車両の周辺監視システムに適用することで、人間の目に違和感のない画像を車室内に表示することができ、人間の生理的限界や努力を好適に補完するシステムを得ることができる。

以下、本発明に係る広角画像の補正方法を車両の周辺監視システムに適用する場合の実施形態を図面に基づいて説明する。

本実施形態に係る車両の周辺監視システムは、図１に示すように車両１０のフロント部にカメラ１を備え、撮影された撮影画像を車室内のモニタ（表示装置）３に表示するものである。カメラ１は、水平からやや下方に向けて、概ね１５度〜３０度程度の俯角を有して配置される。また、車室内のモニタは、ナビゲーションシステム等のものと兼用してもよい。ここで撮影画像は、１８０度から２００度程度の水平に広い視野角を有した広角画像Ｗである。そして、マイクロコンピュータ等で構成されるＥＣＵ（Electronic Control Unit）２のソフトウェア及びハードウェアが協働する画像処理部２０で人間の目に違和感なく自然に見えるように画像処理を施されて表示画像Ｍとなり、モニタ３に表示される。尚、広角画像Ｗとしての撮影画像は、複数のカメラ１によって撮影された画像を合成したものであってもよいし、例えば魚眼レンズ等の広角レンズを利用して撮影した画像であってもよい。

図２に示すように画像処理部２０は、垂直方向の上部に向かうに従って広角画像Ｗが縮小され、下部に向かうに従って広角画像Ｗが拡大されるように相対的な拡縮を施す遠近感補正を行う遠近感補正手段２１と、広角画像Ｗの水平方向の中央部を通る垂直基準線から水平方向の両端部に向かうに従って広角画像Ｗを拡大する側方距離感補正を行う側方距離感補正手段２２とを有している。これら各手段は、ＥＣＵ２のハードウェア及びソフトウェアの協働により夫々の補正処理を行うものである。

一般に人間には、近くのものが大きく、遠くのものが小さく見えるという遠近感という感覚が存在する。この感覚を刺激して広角画像Ｗが人間の目に違和感なく見えるようにする処理が遠近感補正である。また、側方は通常は、視野に入っていても特に意識されることのない部分である。即ち、人間は意識する場所にその視点（視線）を移動させるので、側方は視野には入っていても通常は意識されない。但し、気になる事象が視野の中で発生した場合には、それを確認すべく視点をその事象が発生した方向へ移動させることで対応する。しかし、車両に固定的に備え付けられたカメラ１による撮影では、人間のように意識に基づいてその視点を変えることは容易ではない。従って、広角画像Ｗの特に側方では、側方での事象を不足なく伝達することができるような画像の表し方が重要である。そして、それが広角画像Ｗ全体のバランスを崩すことなく、即ち、人間の目に違和感を与えず、側方であることを妥当な距離感で示す必要がある。このような画像となるように広角画像Ｗを補正する処理が側方距離感補正である。
以下、これら遠近感補正と側方距離感補正とを実施する具体的方法について説明する。

〔第一実施形態〕
本実施形態では、広角画像Ｗを台形へ投影することによって遠近感補正と側方距離感補正とを行う方法について説明する。図３は、本発明に係る遠近感補正の一例を示す説明図である。図３に示すように、補正前の原画像である広角画像Ｗの垂直方向の上方に短辺を有し、下方に長辺を有する台形に対してこの広角画像Ｗを投影すること、即ち台形変形を行うことによって遠近感補正を行う。このようにすると、相対的に広角画像Ｗの上部の画像は小さく、下部の画像は大きくなる。

車両の外部を撮影して得られるこの広角画像Ｗの垂直方向の上部には、例えば進行方向の道路や、その先の建築物等、遠方の情景が写っており、垂直方向の下部には路面や地面等、バンパー近傍の情景が写っている。また、水平方向には車両のバンパーのコーナー部や、側方の景色等が写っている。ここで、上述したように上方に短辺を有し、下方に長辺を有する台形に対して広角画像Ｗを投影すると、垂直方向の上部に向かうに従って広角画像Ｗが縮小され、下部に向かうに従って広角画像Ｗが拡大されるように相対的な拡縮を施されたことになる。その結果、垂直方向の上部は下部に対して相対的に小さくなるので遠くにあるような視覚効果が得られ、反対に垂直方向の下部は上部に対して相対的に大きくなるので近くにあるような視覚効果が得られる。従って、適切な遠近感を得ることができる。

図４は、本発明に係る側方距離感補正の一例を示す説明図である。図４に示すように、広角画像Ｗの水平方向の中央部を通る垂直基準線Ｖ上に短辺を有し、水平方向の両端部側に長辺を有する台形に広角画像Ｗ又は遠近感補正後の画像を投影すること、即ち台形変形を行うことによって側方距離感補正を行う。このようにすると、相対的に広角画像Ｗの中央部の画像は小さく、両側部の画像は大きくなる。中央部は、車両の進行方向中心であり、概ね遠方の画像であるので遠近感の観点からも好ましい補正である。

また、既に説明したように人間の静体視野は約２００度程度であり、さらに実際に色彩まで含めて確認可能な範囲は７０度程度である。従って、視点の近傍の側方、例えば、車両のバンパーのコーナー部等は、死角となり易い。しかし、本実施形態によれば、側方の画像を拡大するので、両側部の画像が大きくなることによって、視野の限界近くにあるために認識されにくい側方の様子を効果的に人間に知覚させることができる。即ち、人間の視覚の生理的限界の問題で認識されにくい側方の様子を強調して示すことになって、効果的に人間に知覚させることができる。図５は、これら台形変形による遠近感補正及び側方距離感補正の補正処理を施した後の画像の一例である。

このような台形変形は、線形的な演算によって実現することが可能であり、ＥＣＵ２を構成するマイクロコンピュータ（マイコン）等画像処理を行う装置に大きな演算負荷をかけることもない。従って、演算能力に優れた高価なマイコンを必要とせず、高速演算による大きな消費電力も必要としない。また、図２に記載したブロック構成では、遠近感補正手段２１と側方距離感補正手段２２とを有して、個別に処理をしているように示しているが、勿論これに限るものではない。例えば、図５に示したような両方の補正が施された結果を、座標テーブルとして予め用意しておき、このテーブルに基づいて、両補正を一括して行うようにしてもよい。座標テーブルを格納する記憶装置として、フラッシュメモリ等の記憶媒体が必要となるが、変換時間及び演算負荷を軽減できる。また、予め用意する座標テーブルは、カメラを車両に取り付けた際、あるいは点検等のメンテナンス時に演算によって求めるようにすればよい。

〔第二実施形態〕
本発明に係る遠近感補正及び側方距離感補正の他の例を示す説明図である図６に基づいて、本発明の第二実施形態について説明する。図６（ａ）に示すように、垂直基準線Ｖ上に有り、広角画像Ｗの視点となる中心点Ｏから等距離な位置を各距離ごとに示す年輪状の等距離線Ｒを広角画像Ｗ上に設定する。視点に近いほど、大きな画像エリアを有して撮影されているので、中心点Ｏの近傍の等距離線Ｒの間隔は広く、遠方へ行くほど等距離線Ｒの間隔が狭くなっている。ここで図６（ｂ）のように、この等距離線Ｒの間隔がほぼ均等となるように広角画像Ｗの拡大・縮小を行う。このような拡大・縮小を行うと、広角画像Ｗの上方にある遠方の水平線（遠方水平線Ｈ１）は、垂直方向の下方を中心側とした円弧状で連続した一つの曲線となって、側方（左右方向）へ行くほど下方へ向かう。広角画像Ｗの下方にある近傍の水平線（近傍水平線Ｈ２）は、垂直方向の上方を中心側とし、且つ遠方水平線Ｈ１も大きな曲率を有する円弧状で連続した曲線となり、側方（左右方向）へ行くほど上方へ向かうと共に、左右の端部の画像は拡大される。

この等距離線Ｒを利用した補正を施すことによって、遠近感等人間の目に違和感の少ない広角画像Ｗを得ることができる。また、特に死角となり易い近傍の側方の画像が、広角画像Ｗの上方へ拡大されるので、何かの事象がこの死角で発生した場合に、好適に感知することができる。

尚、図６に示した等距離線Ｒの例では、説明を容易にするために、垂直方向、水平方向共に同じ幅を有する等距離線Ｒを用いた。しかし、側方（水平方向）と前方（垂直方向）とを同一の幅で表現する必要はない。例えば、死角となり易い側方に対してはより拡大されるような等距離線Ｒの幅とし、通常の人間の視点である前方に対しては、現状維持程度の等距離線Ｒの幅とする等、拡大画像の水平方向と垂直方向とで等距離線Ｒの幅を異ならせると、より好適である。

また、このような等距離線による補正は、図２に示した画像処理部２０において遠近感補正手段２１と速報距離感補正手段２２とを同時に実行するものであると考えてよい。即ち、第一実施形態において、予め用意した台形変形の座標テーブルに代えて、第二実施形態では、等距離線に基づく座標テーブルを記憶しておくようにすればよい。また、勿論、台形変形に基づく座標テーブルと、等距離線に基づく座標テーブルとの双方を記憶し、運転状況（高速走行、低速走行、駐車等）等に応じて、どちらかの座標テーブルを選択して補正を行うようにしてもよい。

以上説明したように、本発明によって、車両の外部を撮影した水平方向に広い視野角を有した広角画像を違和感なく車室内に表示することができる。

本発明の実施形態に係る車両の周辺監視システムの概要を示す図 本発明の実施形態に係る車両の周辺監視システムのブロック図 本発明に係る遠近感補正の一例を示す説明図 本発明に係る側方距離感補正の一例を示す説明図 図３及び図４に補正処理を施した後の画像の一例を示す図 本発明に係る遠近感補正及び側方距離感補正の他の例を示す説明図 従来の車両の周辺監視装置の撮影範囲の一例を示す図 従来の車両の周辺監視装置の撮影画像表示形態の一例を示す図

符号の説明

Ｗ 広角画像
２１ 遠近感補正手段
２２ 側方距離感補正手段

Claims (4)

1. 車両の外部を撮影した水平方向に広い視野角を有した広角画像を車室内の表示装置に表示するための広角画像の補正方法であって、
   垂直方向の上部に向かうに従って前記広角画像が縮小され、下部に向かうに従って前記広角画像が拡大されるように相対的な拡縮を施す遠近感補正と、
   前記広角画像の水平方向の中央部を通る垂直基準線から水平方向の両端部に向かうに従って前記広角画像を拡大する側方距離感補正とを行って、
   前記広角画像を補正する広角画像の補正方法。
2. 前記広角画像の垂直方向の上方に短辺を有し、下方に長辺を有する台形に対して前記広角画像を投影することによって前記遠近感補正を行うと共に、
   前記垂直基準線上に短辺を有し、水平方向の両端部側に長辺を有する台形に前記広角画像を投影することによって前記側方距離感補正を行う請求項１に記載の広角画像の補正方法。
3. 前記垂直基準線上に有り、前記広角画像の視点となる中心点から等距離な位置を各距離ごとに示す年輪状の等距離線を前記広角画像上に設定し、
   前記等距離線が前記中心点から離れるに従って拡大率を大きくすることによって前記遠近感補正及び前記側方距離感補正を行う請求項１に記載の広角画像の補正方法。
4. 前記広角画像を得るための画像入力手段と、
   請求項１から３の何れか一項に記載の広角画像の補正方法によって前記広角画像を補正する画像処理手段と、
   補正された前記広角画像を表示する表示手段とを備えた車両の周辺監視システム。

Images