JP2009118416A - 車両周辺画像生成装置および車両周辺画像の歪み補正方法 - Google Patents

Abstract

【課題】視点変換後の車両周辺画像内に写っている障害物の歪みを抑制して、運転者に与える違和感を軽減できるようにした「車両周辺画像生成装置および車両周辺画像の歪み補正方法」を提供する。
【解決手段】複数のカメラ１ａ〜１ｄにより車両周囲の画像を撮影するとともに、超音波センサ２を用いて車両周囲の障害物を検出し、障害物が検出された場合に、障害物が検出された方向のカメラにより撮影された車両周囲のカメラ画像のうち、車両から見て障害物より遠方に位置する領域の画像部分の幅を車両周辺画像の中央方向に圧縮するようにして、車両周辺画像を生成するようにすることにより、自車両の周囲にある立体的な障害物がカメラ画像に写り込んだ場合に、そのカメラ画像を視点変換する際に障害物が自車両から見て遠方に倒れ込むように拡大された画像になってしまうのを抑制できるようにする。
【選択図】 図１

Description

本発明は、車両周辺画像生成装置および車両周辺画像の歪み補正方法に関し、特に、運転支援用の車両周辺画像を生成する車両周辺画像生成装置および当該車両周辺画像内に写っている障害物像の歪みを補正する方法に関するものである。

従来、自車両の前後左右に複数のカメラを設置し、当該複数のカメラにより撮影した自車両周囲の画像を視点変換して合成することにより、自車両の上方の仮想視点から見た車両周辺画像を生成してディスプレイに表示するシステムが提案されている。このシステムによれば、運転者は、自車両のディスプレイに表示された車両周辺画像を確認することで、自車両とその周囲の障害物との位置関係を把握し、自車両と障害物との衝突等を防ぐように運転することができる。

ところが、このシステムでは、カメラにより撮影された画像に写っている被写体を全体として路面の高さに投影するような視点変換が行われる。このため、自車両周囲にある立体的な障害物はカメラ（自車両）から見て遠方に倒れ込むような画像になってしまい、運転者に違和感を与えてしまう問題があった。このように画像中の障害物が歪んで表示されるという問題に対して、当該歪みによる運転者への違和感を軽減できるようにした技術が提案されている（例えば、特許文献１参照）。
特開２００４−２１３４８９号公報

この特許文献１に記載の技術では、視点変換処理後の画像内の障害物像にマスキング処理を施すことにより、ディスプレイへの障害物の表示を、その外周輪郭位置のみが認識可能な状態にしている。このようにすれば、障害物内に模様があってもそれが歪んで表示されることがなくなるので、歪みによる運転者への違和感を軽減することが可能になると言及されている。

しかしながら、特許文献１に記載の技術では、視点変換処理後の画像内の障害物（その外周輪郭）が歪んで表示されていることに変わりはない。しかも、その歪んだ障害物について表示されるのは外周輪郭のみである。そのため、表示されている輪郭が何の障害物であるかを運転者が想像しにくくなり、却って運転者に違和感を与えてしまう場合があるという問題があった。また、自車両周辺の障害物が歪んだままなので、自車両と障害物との距離感を運転者が把握しにくいという問題も依然としてあった。

本発明は、このような問題を解決するために成されたものであり、視点変換処理後の車両周辺画像内に写っている障害物の歪みを抑制して、運転者に与える違和感を軽減できるようにすることを目的とする。

上記した課題を解決するために、本発明では、複数のカメラにより車両周囲の画像を撮影するとともに、車両周囲の障害物を検出し、障害物が検出された場合に、障害物が検出された方向のカメラにより撮影された車両周囲の画像のうち、車両から見て障害物より遠方に位置する領域の画像の幅を車両周辺画像の中央方向に圧縮するようにして、車両周辺画像を生成するようにしている。

車両周囲にある立体的な障害物がカメラにより撮影されると、その撮影画像を視点変換する際に、障害物が車両から見て遠方に倒れ込むように拡大された画像になってしまうところ、上記のように構成した本発明によれば、その拡大の方向とは逆の方向に障害物の画像が圧縮されるので、視点変換処理後の車両周辺画像内に写っている障害物の歪みを抑制して、運転者に与える違和感を軽減することができる。

しかも、本発明によれば、車両から見て障害物より遠方に位置する領域の画像部分だけが圧縮されるので、障害物が存在しない車両近傍の領域の画像部分については圧縮が行われることなく車両周辺画像が生成されることとなる。これにより、車両近傍の路面などの画像は圧縮せずに視点変換しつつ、障害物の画像は圧縮して歪みを抑制することができ、より現実に近く車両と障害物との距離感を運転者がつかみ易い車両周辺画像を生成することができる。

以下、本発明の一実施形態を図面に基づいて説明する。図１は、本実施形態による車両周辺画像生成装置１００の構成例を示すブロック図である。図１において、１は自車両の周辺を撮影するために自車両の異なる位置に設置された複数のカメラであり、フロントカメラ１ａ、左サイドカメラ１ｂ、右サイドカメラ１ｃ、リアカメラ１ｄにより構成されている。

また、２は超音波センサ（本発明のセンサ部に相当する）であり、放射した電波（超音波）の反射波に基づき自車両の周辺における障害物の有無および自車両から障害物までの距離を検出する。自車両から障害物までの距離は、超音波センサ２の照射した超音波が障害物で反射して返ってくるまでの時間と超音波の速度との積により求めることが可能である。また、自車両から障害物の方向は、反射波が返ってくる方向により求めることが可能である。この超音波センサ２も、自車両の異なる位置に複数設置されている。

図２は、カメラ１および超音波センサ２の配置例を示す図である。図２において、フロントカメラ１ａは自車両２００の前方に配置され、前方Ａの範囲の画像を撮影する。左サイドカメラ１ｂは自車両２００の左側方に配置され、左方Ｂの範囲の画像を撮影する。右サイドカメラ１ｃは自車両２００の後方に配置され、後方Ｃの範囲の画像を撮影する。リアカメラ１ｄは自車両２００の右側方に配置され、右方Ｄの範囲の画像を撮影する。各カメラ１ａ〜１ｄは、例えば魚眼レンズのような超広角レンズを備え、広範囲を撮影可能となっている。

超音波センサ２は、例えば、自車両２００の四隅に設置された４つの超音波センサ２ａ〜２ｄにより構成されており、その１つ１つは所定範囲の指向性を有している。なお、ここでは超音波センサ２を用いているが、ミリ波レーダーなど他のセンサを用いても良い。ミリ波レーダーは、自車両２００の周囲にミリ波を照射し、その反射波によって障害物の有無および自車両から障害物までの距離を検出する。

３は移動距離検出部であり、自車両の移動距離を検出する。例えば、車両周辺画像生成装置１００が搭載される自車両には自律航法センサ（図示せず）が備えられている。その自律航法センサは、自車両の所定走行距離毎に１個のパルスを出力する距離センサを備えている。移動距離検出部３は、距離センサから出力されるパルスを逐次入力し、入力したパルス数に基づいて自車両の移動距離を検出する。

４は障害物判定部であり、超音波センサ２が障害物有りとの反応を出力したまま、自車両が所定距離移動したことが移動距離検出部３により検出されたときに、自車両の周囲に障害物があると判断する。例えば、後方左側の超音波センサ２ｄにて障害物を検出した状態のまま、自車両が所定距離（例えば、１ｍ）移動したことが移動距離検出部３により検出されたときに、障害物判定部４は自車両の左後方に障害物があると判断する。なお、上述した超音波センサ２、移動距離検出部３および障害物判定部４により本発明の障害物検出部が構成される。

図３は、障害物検出部による障害物の検出動作の一例を示す図である。例えば、自車両２００が駐車スペースにおいて後方に進行している場合、自車両２００の左側に立体的な障害物２１０があったとする。この場合、自車両２００がＡ地点（障害物２１０のエッジに自車両２００の後部が相対した地点）に来たときに、左後方の超音波センサ２ｄにより障害物２１０が検出されるが、この時点ではまだ障害物判定部４により障害物があるとの判定はされない。

その後、自車両２００が後退を続けてＢ地点（最初に超音波センサ２ｄにより障害物が検出されから、障害物有りとの反応を超音波センサ２ｄから得たままの状態で自車両２００が所定距離（１ｍ）移動した地点）に来ると、障害物判定部４により自車両２００の左方に障害物があると判定される。

障害物検出部を以上のように構成することにより、例えば円柱状のポールのように幅が１ｍ以下の立体物は障害物として検出されず、他車両や壁などのように幅が１ｍ以上の立体物だけが障害物として検出されることとなる。以下に述べるように、本実施形態では障害物判定部４により障害物が検出された場合に、画像圧縮による立体物画像の歪み補正を行う。すなわち、幅が１ｍ以下の立体物は、その画像が自車両２００から見て遠方に倒れ込むように歪んだとしても、運転者に大きな違和感を与えることがないため、処理負荷を軽減するために障害物の検出対象から除外している。

ただし、処理負荷がかかっても立体物画像の歪みを抑制することを優先するのであれば、幅が１ｍ以下の立体物についても歪み補正の対象としても良い。この場合には移動距離検出部３は不要で、超音波センサ２の出力にのみ基づいて障害物を検出する。

５は視点変換処理部であり、複数のカメラ１ａ〜１ｄにより撮影された複数の車両周囲の画像を入力し、当該入力した複数の車両周囲の画像をそれぞれ視点変換し、視点変換後の各画像を合成することにより、自車両の上方の仮想視点から見た車両周辺画像を生成する。実際には、魚眼レンズを通して車両周囲が撮影されるので、カメラ１ａ〜１ｄにより撮影された画像にはレンズ特性による歪みが生じている。視点変換処理部５は、カメラ１ａ〜１ｄにより撮影された画像の歪みを最初に補正した後、歪み補正後の画像に対して視点変換処理を行う。以下では、カメラ１ａ〜１ｄにより撮影された歪み補正後の車両周囲の画像を「カメラ画像」と称する。

視点変換処理部５は、図１に示すように、画像処理部５ａ、マッピングテーブル情報記憶部５ｂおよび画像記憶部５ｃにより構成されている。画像処理部５ａは、複数のカメラ１ａ〜１ｄから前後左右の撮影画像を入力し、マッピングテーブル情報記憶部５ｂに記憶されているマッピングテーブル情報（座標変換情報）に従って、自車両の周辺を上方から見たときの背景画像を生成する。この背景画像は、自車両に設置された複数のカメラ１ａ〜１ｄにて撮影された車両周囲の画像に基づいて生成されるものである。したがって、背景画像に含まれているのは、実際の背景および背景に含まれる障害物のみとなり、自車両の画像は含まれていない。

また、画像処理部５ａは、自車両を上方から見た画像を示す自車両画像データを画像記憶部５ｃから読み出し、背景画像の所定の位置（例えば背景画像における自車両が存在する中央の位置）に合成する。これにより、背景画像と自車両画像とが合成された車両周辺画像を生成する。

マッピングテーブル情報記憶部５ｂは、複数のカメラ１ａ〜１ｄにより撮影されるカメラ画像の画素データと、自車両の周辺を上方の仮想視点から見た背景画像の画素データとの対応関係を記載した情報、すなわち、カメラ画像のある画素が背景画像のどの画素に対応するかを示す座標変換情報からなるマッピングテーブル情報を記憶している。画像記憶部５ｃは、自車両を上方から見た画像を示す自車両画像データを記憶しており、その自車両画像データが必要に応じて画像処理部５ａにより読み出される。

６は画像圧縮制御部であり、障害物判定部４により障害物が検出された場合に、車両周辺画像（正確には背景画像）のうち、障害物が検出された方向で自車両から見て障害物より遠方に位置する領域の画像の幅を、車両周辺画像の中心方向に圧縮するように制御する。７は表示制御部であり、画像圧縮制御部６の制御に基づき視点変換処理部５により生成された車両周辺画像をディスプレイ等の表示部８に表示するための制御を行う。

画像圧縮制御部６は、画像処理部５ａによる視点変換処理に使用するマッピングテーブル情報を切り替えることにより、画像圧縮を制御している。すなわち、本実施形態においてマッピングテーブル情報記憶部５ｂは、障害物判定部４により障害物が検出されていない場合に使用する通常用マッピングテーブル情報と、障害物判定部４により障害物が検出された場合に使用する圧縮用マッピングテーブル情報とを備えている。そして、画像圧縮制御部６は、障害物判定部４により障害物が検出された場合に、障害物が検出された方向のカメラにより撮影された車両周囲のカメラ画像に対して圧縮用マッピングテーブル情報を適用して視点変換処理を行うように画像処理部５ａを制御する。

具体的には、画像圧縮制御部６は、障害物判定部４により障害物が検出された場合に、障害物が検出された方向のカメラにより撮影された車両周囲のカメラ画像のうち、自車両から見て障害物より手前に位置する領域の画像部分に対して通常用マッピングテーブル情報を適用するとともに、自車両から見て障害物より遠方に位置する領域の画像部分に対して圧縮用マッピングテーブル情報を適用して視点変換処理を行うように画像処理部５ａを制御する。

ここで、マッピングテーブル情報記憶部５ｂに記憶されている通常用マッピングテーブル情報および圧縮用マッピングテーブル情報の一例を、図４を参照して説明する。また、画像圧縮制御部６による画像圧縮動作（障害物画像の歪み補正動作）の一例を、図５を参照して説明する。

図４は、マッピングテーブル情報の概念を説明するための図であり、図４（ａ）は通常用マッピングテーブル情報の概念、図４（ｂ）は圧縮用マッピングテーブル情報の概念をそれぞれ示している。ここでは一例として、左サイドカメラ１ｂにより撮影される左方のカメラ画像の画素データと、左方の背景画像の画素データとの対応関係を示したマッピングテーブル情報の概念を示している。なお、図４（ａ）および（ｂ）において、自車両２００の左方に示したマス目は画像圧縮の有無と圧縮の方向とを視覚的に分かりやすく図示したものであり、マス目自体が特定の意味を有するものではない。

図４（ａ）に示すように、通常用マッピングテーブル情報は、例えば、自車両２００から左方に２ｍまでの範囲のカメラ画像を、自車両２００から左方に２ｍまでの範囲の背景画像に座標変換するための情報である。上述したように、各カメラ１ａ〜１ｄは魚眼レンズを通して車両周囲の広範囲を撮影しているため、自車両２００から２ｍを超える範囲の被写体も実際には撮影画像の中に含まれている。しかし、自車両２００から離れるほど画像の歪みが大きくなり、２ｍを超える範囲の画像は被写体の歪みが大き過ぎるため、車両周辺画像としての表示対象範囲から外している。つまり、通常時は歪みの小さい自車両２００の周囲２ｍ以内の範囲を車両周辺画像として表示するようにしており、２ｍを超える範囲の画像は視点変換処理の対象から外している。

これに対して、圧縮用マッピングテーブル情報は、図４（ｂ）に示すように、通常時における車両周辺画像の表示対象範囲の２倍、すなわち、自車両２００から左方に４ｍまでの範囲のカメラ画像を、自車両２００から左方に２ｍまでの範囲の背景画像に座標変換するための情報である。つまり、圧縮用マッピングテーブル情報は、車両周辺画像の中心方向に向かってカメラ画像を１／２に圧縮しながら背景画像に座標変換するための情報である。ここでの画像圧縮は、例えば水平方向の１画素おきにカメラ画像の画素データを間引いて背景画像に置換していく間引き処理によって行うことが可能である。

図５は、画像圧縮制御部６による画像圧縮動作（障害物画像の歪み補正動作）の概要を説明するための図である。ここで、図５（ａ）は自車両２００から１ｍの距離のところに障害物があると障害物判定部４により検出された場合の動作例、図５（ｂ）は自車両２００から０．５ｍの距離のところに障害物があると障害物判定部４により検出された場合の動作例を示している。

図５（ａ）に示すように、自車両２００から１ｍの距離のところに障害物があることが検出された場合、画像処理部５ａは、障害物が検出された左方のカメラ画像のうち、自車両２００から１ｍまでの内側の領域については図４（ａ）に示す通常用マッピングテーブル情報を用いて、自車両２００から１ｍまでの範囲のカメラ画像を自車両２００から１ｍまでの範囲の背景画像に視点変換する。

また、画像処理部５ａは、障害物が検出された左方のカメラ画像のうち、自車両２００から１ｍを超える外側の領域については図４（ｂ）に示す圧縮用マッピングテーブル情報を用いて、自車両２００から１〜３ｍの範囲のカメラ画像を自車両２００から１〜２ｍの範囲の背景画像に圧縮するようにして視点変換する。

このとき画像処理部５ａは、自車両２００から見て障害物より遠方に位置する領域の画像で車両周辺画像の表示対象範囲となる部分の画像全体に対して圧縮を行う。なお、ここで言う画像全体というのは、障害物より遠方に位置する領域（１ｍを超える外側の領域）に該当するカメラ画像の全てという意味ではなく、障害物より遠方に位置する領域のうち車両周辺画像の表示対象範囲となる部分の画像全体という意味である。

例えば、図５（ａ）の例で説明すると、魚眼レンズを通して左サイドカメラ１ｂにより撮影されるカメラ画像は、自車両２００から４ｍを超える範囲の被写体も含んだものであるが、実際に画像圧縮の対象とするのは、自車両２００から１〜３ｍの範囲に相当するカメラ画像の全体であって、３ｍを超える範囲のカメラ画像は圧縮の対象としない。ただし、車両周辺画像の表示対象範囲となる自車両２００から１〜３ｍの領域については、その領域のカメラ画像の全体を対象として画像圧縮を行う。

例えば、図３に示すように、自車両２００がＢ地点まで後退してきた時点で障害物判定部４により自車両２００の左方に障害物があると判定され、この時点で画像圧縮制御部６により画像圧縮の処理が開始される。このとき、自車両２００から見て左方のカメラ画像には、その一部の領域にしか障害物２１０が写っていない状況であるが、図５（ａ）のように自車両２００から１〜３ｍの範囲のカメラ画像についてはその領域の全体を対象として画像圧縮を行う。

一方、図５（ｂ）に示すように、自車両２００から０．５ｍの距離のところに障害物があることが検出された場合、画像処理部５ａは、障害物が検出された左方のカメラ画像のうち、自車両２００から０．５ｍまでの内側の領域については図３（ａ）に示す通常用マッピングテーブル情報を用いて、自車両２００から０．５ｍまでの範囲のカメラ画像を自車両２００から０．５ｍまでの範囲の背景画像に視点変換する。

また、画像処理部５ａは、障害物が検出された左方のカメラ画像のうち、自車両２００から０．５ｍを超える外側の領域については図３（ｂ）に示す圧縮用マッピングテーブル情報を用いて、自車両２００から０．５〜３．５ｍの範囲のカメラ画像を自車両２００から０．５〜２ｍの範囲の背景画像に圧縮するようにして視点変換する。

なお、ここではマッピングテーブル情報記憶部５ｂに記憶されている通常用マッピングテーブル情報および圧縮用マッピングテーブル情報を用いてカメラ画像から背景画像にダイレクトに視点変換を行う例について説明したが、これに限定されない。例えば、通常用マッピングテーブル情報および圧縮用マッピングテーブル情報から表示用のマッピングテーブル情報を画像圧縮制御部６が生成し、当該生成した表示用マッピングテーブル情報を用いて画像処理部５ａが視点変換処理を行うようにしても良い。

例えば、図５（ａ）に示す例では、画像圧縮制御部６は、通常用マッピングテーブル情報のうち自車両２００から１ｍまでの範囲の部分を用いて、自車両２００から１ｍまでの内側の領域に関する表示用マッピングテーブル情報を生成する。また、画像圧縮制御部６は、圧縮用マッピングテーブル情報のうち自車両２００から１〜３ｍの範囲の部分を用いて、自車両２００から１ｍを超える外側の領域に関する表示用マッピングテーブル情報を生成する。

以上に説明した本実施形態による車両周辺画像の歪み補正の手法は、ハードウェア構成、ＤＳＰ、ソフトウェアの何れによっても実現することが可能である。例えばソフトウェアによって実現する場合、本実施形態の車両周辺画像生成装置１００は、実際にはコンピュータのＣＰＵあるいはＭＰＵ、ＲＡＭ、ＲＯＭなどを備えて構成され、ＲＡＭやＲＯＭに記憶されたプログラムが動作することによって実現できる。

次に、上記のように構成した本実施形態による車両周辺画像生成装置１００の動作を説明する。図６は、車両周辺画像生成装置１００の動作例を示すフローチャートである。図６において、超音波センサ２は、放射した電波の反射波に基づき障害物の有無および自車両から障害物までの距離を検出する（ステップＳ１）。また、移動距離検出部３は、車両周辺画像生成装置１００の外部（図示しない距離センサ）から入力されるパルス数に基づいて、自車両の移動距離を検出する（ステップＳ２）。

そして、障害物判定部４は、超音波センサ２にて障害物が検出された状態のまま自車両が所定距離移動したかどうかを判定することによって、自車両の周囲に障害物があるかどうかを判定する（ステップＳ３）。ここで、どの方向にも障害物がないと障害物判定部４にて判断した場合、視点変換処理部５は、通常用マッピングテーブル情報を適用して前後左右のカメラ画像に対して視点変換処理を行い、車両周辺画像を生成する（ステップＳ４）。

一方、特定の方向に障害物があると障害物判定部４にて判断した場合、視点変換処理部５は、通常用マッピングテーブル情報に加えて圧縮用マッピングテーブル情報も適用してカメラ画像の視点変換を行い、車両周辺画像を生成する（ステップＳ５）。具体的には、障害物が検出されていない方向のカメラ画像に対しては、通常用マッピングテーブル情報を適用して視点変換処理を行う。また、障害物が検出された方向のカメラ画像に対しては、自車両から見て障害物より手前に位置する領域の画像部分に対して通常用マッピングテーブル情報を適用するとともに、自車両から見て障害物より遠方に位置する領域の画像部分に対して圧縮用マッピングテーブル情報を適用して視点変換処理を行う。

そして、表示制御部７は、ステップＳ４またはステップＳ５にて視点変換処理部５により生成された車両周辺画像を表示部８に表示させる（ステップＳ６）。なお、車両周辺画像の表示モードが設定されている間は、ステップＳ１〜Ｓ６の処理が繰り返し実行される。

以上詳しく説明したように、本実施形態では、カメラ１により車両周囲の画像を撮影するとともに、超音波センサ２を用いて車両周囲の障害物を検出し、障害物が検出された場合に、障害物が検出された方向のカメラにより撮影された車両周囲のカメラ画像のうち、車両から見て障害物より遠方に位置する領域の画像の幅を車両周辺画像の中央方向に圧縮するようにして、車両周辺画像を生成するようにしている。

これにより、自車両の周囲にある立体的な障害物がカメラ画像に写り込んだ場合に、そのカメラ画像を視点変換する際に障害物が自車両から見て遠方に倒れ込むように拡大された画像になってしまうのを抑制することができる。すなわち、本実施形態によれば、通常の視点変換処理を実施すると障害物の画像が拡大されてしまう方向とは逆の方向に障害物の画像が圧縮されるので、視点変換処理後の車両周辺画像内に写っている障害物の歪みを抑制して、運転者に与える違和感を軽減することができる。

しかも、本実施形態によれば、自車両２００から見て障害物より遠方に位置する領域の画像部分だけが圧縮されるので、障害物が存在しない自車両近傍の領域の画像部分については圧縮が行われることなく車両周辺画像が生成されることとなる。これにより、自車両近傍の路面などの画像は圧縮せずに視点変換しつつ、障害物の画像は圧縮して歪みを抑制することができ、より現実に近く自車両と障害物との距離感を運転者がつかみ易い車両周辺画像を生成することができる。

なお、上記実施形態では、障害物判定部４により障害物があることが検出された場合に、障害物が検出された方向のカメラ画像のうち自車両から見て障害物より遠方に位置する領域の画像で車両周辺画像の表示対象範囲となる部分の画像全体に対して圧縮を行う例について説明したが、これに限定されない。例えば、障害物が検出された方向のカメラ画像のうち、自車両から見て障害物より遠方に位置する領域で、かつ、障害物判定部４により障害物があることが検出された区間の画像に対してのみ圧縮を行うようにしても良い。

例えば、図３のように、自車両２００がＡ地点に来たときに左後方の超音波センサ２ｄにより障害物２１０が検出され、超音波センサ２ｄにて障害物有りとの出力が得られたままの状態で自車両２００がＢ地点まで後退したときに、障害物判定部４は、超音波センサ２ｄが障害物有りとの反応を得たまま自車両２００が移動した距離の区間（Ａ地点からＢ地点までの区間）に障害物２１０があることを検出する。この検出結果を受けて画像圧縮制御部６は、障害物２１０があることが検出されたＡ地点からＢ地点までの区間の画像部分に対してのみ圧縮を行うように画像処理部５ａを制御する。

すなわち、図３に示すように、自車両２００がＡ地点からＢ地点まで進んだときに、図７に示すように自車両２００から１ｍの距離のところに障害物２１０があることが検出された場合、画像処理部５ａは、障害物２１０が検出された左方のカメラ画像のうち、自車両２００から１ｍまでの内側の領域については通常用マッピングテーブル情報を用いて、自車両２００から１ｍまでの範囲のカメラ画像を自車両２００から１ｍまでの範囲の背景画像に視点変換する。

また、画像処理部５ａは、自車両２００から１ｍを超える外側の領域については、障害物２１０があることが検出されたＡ地点からＢ地点までの区間の画像部分に対しては圧縮用マッピングテーブル情報を用いて、自車両２００から１〜３ｍの範囲のカメラ画像を自車両２００から１〜２ｍの範囲の背景画像に視点変換する。一方、Ａ地点からＢ地点までの区間以外の画像部分に対しては通常用マッピングテーブル情報を用いて、自車両２００から１〜２ｍまでの範囲のカメラ画像を自車両２００から１〜２ｍまでの範囲の背景画像に視点変換する。

その後、自車両２００がＢ地点よりも更に後退した場合には、障害物判定部４により障害物２１０があることが検出される区間が徐々に増えていくので、増えた区間の画像に対して順次圧縮を行っていく。このとき、障害物２１０の検出された区間がカメラ画像の１ラインずつ増える毎に、その増えた１ラインを対象として画像圧縮を逐次行っていくようにしても良いし、障害物２１０の検出された区間がｎライン（ｎは２以上の整数）ずつ増える毎に、その増えたｎラインを対象として段階的に画像圧縮を行っていくようにしても良い。

このようにすれば、障害物が検出された方向のカメラ画像のうち、実際に障害物２１０がある部分についてのみ圧縮が行われて障害物２１０の歪みが補正され、障害物２１０がない路面等については画像圧縮が行われないので、より一層現実に近く、運転者に違和感を与えない車両周辺画像を生成することができる。

または、図３のように、自車両２００がＢ地点まで後退して障害物判定部４により障害物があることが検出された時点で、障害物２１０より遠方に位置する領域の画像で車両周辺画像の表示対象範囲となる部分の画像全体に対して圧縮用マッピングテーブル情報を適用して画像の圧縮を行った後、障害物判定部４により障害物２１０があることが検出された区間以外の画像部分に通常用マッピングテーブル情報を適用して非圧縮の画像に再変換するようにしても良い。この場合も同様に、より一層現実に近く、運転者に違和感を与えない車両周辺画像を生成することができる。

また、上記実施形態では、マッピングテーブル情報記憶部５ｂに通常用マッピングテーブル情報と圧縮用マッピングテーブル情報とをあらかじめ記憶しておく例について説明したが、これに限定されない。例えば、マッピングテーブル情報記憶部５ｂに通常用マッピングテーブル情報だけを記憶させ、障害物判定部４により障害物が検出された場合に、画像圧縮制御部６が通常用マッピングテーブル情報から圧縮用マッピングテーブル情報をリアルタイムに生成するようにしても良い。

この圧縮用マッピングテーブル情報の生成処理は、例えば以下のような演算によって行うことが可能である。すなわち、通常用マッピングテーブル情報を生成する際の演算に使用するパラメータ行列に対して所定の行列変換演算を行う。そして、この行列変換演算により求められた新規のパラメータ行列を用いて、通常用マッピングテーブル情報を生成する際の演算と同様の演算によって圧縮用マッピングテーブル情報を生成する。このようにすれば、マッピングテーブル情報記憶部５ｂに記憶する情報量を少なくすることができる。

その他、上記実施形態は、何れも本発明を実施するにあたっての具体化の一例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。すなわち、本発明はその精神、またはその主要な特徴から逸脱することなく、様々な形で実施することができる。

本実施形態による車両周辺画像生成装置の構成例を示すブロック図である。 カメラおよび超音波センサの配置例を示す図である。 本実施形態による障害物検出動作の一例を示す図である。 マッピングテーブル情報の概念を説明するための図である。 本実施形態の画像圧縮制御部による画像圧縮動作（障害物画像の歪み補正動作）の概要を説明するための図である。 本実施形態による車両周辺画像生成装置の動作例を示すフローチャートである。 本実施形態の画像圧縮制御部による画像圧縮動作（障害物画像の歪み補正動作）の概要を説明するための図である。

符号の説明

１ カメラ
２ 超音波センサ
３ 移動距離検出部
４ 障害物判定部
５ 視点変換処理部
５ａ 画像処理部
５ｂ マッピングテーブル情報記憶部
６ 画像圧縮制御部

Claims (12)

1. 車両の異なる位置に設置された複数のカメラにより撮影した複数の画像をそれぞれ視点変換し、視点変換後の各画像を合成することにより、上記車両の上方の仮想視点から見た車両周辺画像を生成する車両周辺画像生成装置であって、
   上記複数のカメラにより撮影された複数の車両周囲の画像を入力し、視点変換用のマッピングテーブル情報を用いて、上記入力した複数の車両周囲の画像を視点変換するとともに合成することにより上記車両周辺画像を生成する視点変換処理部と、
   上記車両周囲の障害物および上記車両から上記障害物までの距離を検出する障害物検出部と、
   上記障害物検出部により上記障害物が検出された場合に、上記車両周辺画像のうち上記障害物が検出された方向で上記車両から見て上記障害物より遠方に位置する領域の画像の幅を上記車両周辺画像の中心方向に圧縮するように制御する画像圧縮制御部とを備えたことを特徴とする車両周辺画像生成装置。
2. 上記障害物検出部は、上記車両の移動距離を検出する移動距離検出部と、放射した電波の反射波に基づき上記障害物の有無および上記車両から上記障害物までの距離を検出するセンサ部とを備え、上記センサ部が障害物有りとの反応を得たまま、上記車両が所定距離移動したことが上記移動距離検出部により検出されたときに、上記車両周囲に上記障害物があることを検出することを特徴とする請求項１に記載の車両周辺画像生成装置。
3. 上記視点変換処理部は、上記障害物が検出されない場合に使用する通常用マッピングテーブル情報と、上記障害物が検出された場合に使用する圧縮用マッピングテーブル情報とを備え、
   上記画像圧縮制御部は、上記障害物検出部により上記障害物が検出された場合に、上記障害物検出部により検出された上記障害物までの距離に基づいて、上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像のうち、上記車両から見て上記障害物より手前に位置する領域の画像に対して上記通常用マッピングテーブル情報を適用するとともに、上記車両から見て上記障害物より遠方に位置する領域の画像に対して上記圧縮用マッピングテーブル情報を適用して視点変換処理を行うように上記視点変換処理部を制御することを特徴とする請求項１に記載の車両周辺画像生成装置。
4. 上記画像圧縮制御部は、上記障害物検出部により上記障害物があることが検出された場合に、上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像のうち上記車両から見て上記障害物より遠方に位置する領域の画像で上記車両周辺画像の表示対象範囲となる部分の画像全体に対して圧縮を行うように制御することを特徴とする請求項１に記載の車両周辺画像生成装置。
5. 上記障害物検出部は、上記車両の移動距離を検出する移動距離検出部と、放射した電波の反射波に基づき上記障害物の有無および上記車両から上記障害物までの距離を検出するセンサ部とを備え、上記センサ部が障害物有りとの反応を得たまま上記車両が移動した距離の区間に上記障害物があることを検出し、
   上記画像圧縮制御部は、上記障害物検出部により上記障害物があることが検出された場合に、上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像のうち、上記車両から見て上記障害物より遠方に位置する領域で、かつ、上記障害物検出部により上記障害物があることが検出された区間の画像に対して圧縮を行うように制御することを特徴とする請求項１に記載の車両周辺画像生成装置。
6. 上記視点変換処理部は、上記障害物が検出されない場合に使用する通常用マッピングテーブル情報を備え、
   上記画像圧縮制御部は、上記障害物検出部により上記障害物が検出された場合に、上記障害物が検出された場合に使用する圧縮用マッピングテーブル情報を上記通常用マッピングテーブル情報から生成し、上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像に対して上記圧縮用マッピングテーブル情報を適用して視点変換処理を行うように上記視点変換処理部を制御することを特徴とする請求項１に記載の車両周辺画像生成装置。
7. 車両の異なる位置に設置された複数のカメラにより撮影した複数の車両周囲の画像を視点変換するとともに合成することによって生成した、上記車両の上方の仮想視点から見た車両周辺画像内の障害物像の歪みを補正する車両周辺画像の歪み補正方法であって、
   上記車両周囲の障害物および上記車両から上記障害物までの距離を検出する第１のステップと、
   上記第１のステップで上記障害物が検出されていない方向のカメラにより撮影された上記車両周囲の画像に対して、通常用マッピングテーブル情報を適用して視点変換処理を行うとともに、上記第１のステップで上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像に対して、上記障害物が検出された方向で上記車両から見て上記障害物より遠方に位置する領域の画像の幅を圧縮するための圧縮用マッピングテーブル情報を適用して視点変換処理を行い、視点変換後の各画像を合成することにより上記車両周辺画像を生成する第２のステップとを有することを特徴とする車両周辺画像の歪み補正方法。
8. 上記第２のステップでは、上記第１のステップで上記障害物が検出された場合に、上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像のうち、上記車両から見て上記障害物より手前に位置する領域の画像に対して上記通常用マッピングテーブル情報を適用するとともに、上記車両から見て上記障害物より遠方に位置する領域の画像に対して上記圧縮用マッピングテーブル情報を適用して視点変換処理を行うことを特徴とする請求項７に記載の車両周辺画像の歪み補正方法。
9. 上記第１のステップは、放射した電波の反射波に基づき上記障害物の有無をセンサ部により検出する第３のステップと、
   上記車両の移動距離を検出する第４のステップと、
   上記センサ部が障害物有りとの反応を得たまま、上記車両が所定距離移動したことが検出されたときに、上記車両周囲に上記障害物があることを検出する第５のステップとを有することを特徴とする請求項７に記載の車両周辺画像の歪み補正方法。
10. 上記第２のステップでは、上記第１のステップで上記障害物があることが検出された場合に、上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像のうち上記車両から見て上記障害物より遠方に位置する領域の画像で上記車両周辺画像の表示対象範囲となる部分の画像全体に対して圧縮を行うことを特徴とする請求項７に記載の車両周辺画像の歪み補正方法。
11. 上記第１のステップは、放射した電波の反射波に基づき上記障害物の有無をセンサ部により検出する第３のステップと、
    上記車両の移動距離を検出する第４のステップと、
    上記センサ部が障害物有りとの反応を得たまま上記車両が移動した距離の区間に上記障害物があることを検出する第５のステップとを有することを特徴とする請求項７に記載の車両周辺画像の歪み補正方法。
12. 上記第２のステップでは、上記第１のステップで上記障害物があることが検出された場合に、上記障害物が検出された方向のカメラにより撮影された上記車両周囲の画像のうち、上記車両から見て上記障害物より遠方に位置する領域で、かつ、上記第１のステップで上記障害物があることが検出された区間の画像に対して圧縮を行うことを特徴とする請求項１１に記載の車両周辺画像の歪み補正方法。