JP4801654B2 - 合成画像生成装置 - Google Patents

Description

本発明は、撮像範囲の一部が重なる複数の撮像画像を合成する合成画像生成装置に関する。

車両を運転する際、運転者の視界にはいくつかの死角が生じる。特に車両を後退させる際には死角が多く生じ、運転者は車両の後方を視認するのが難しい。また、前方に走行中であっても、並走車両が自車両のドアピラーに隠れる位置に来ると、並走車両が運転者の視界から消えてしまう。このため、従来の車両用の撮像システムでは、運転者の死角を含む自車両周囲を監視するための複数台のカメラを車両に設置して、これらのカメラにより撮像された自車両周囲の画像をカーナビゲーション用の表示装置に表示するものが知られている。

従来の車両用の撮像システムの一例として、複数のカメラを車両に搭載した例を図９に示す。図９（ａ）は上面図、図９（ｂ）は左側面図である。この例では、車両９１０には６台のカメラ９００〜９０５が搭載されている。各カメラ９００〜９０５は図に示される位置に設置されている。カメラ９００は車両９１０の前方正面、カメラ９０１は車両９１０の右サイド斜め前方、カメラ９０２は車両９１０の右サイド斜め後方、カメラ９０３は車両９１０の真後ろ、カメラ９０４は車両９１０の左サイド斜め後方、カメラ９０５は車両９１０の左サイド斜め前方のそれぞれを撮像する。

ところで、運転者は各カメラ９００〜９０５の全撮像画像を個別に表示装置で監視することは煩雑である。このため、従来から、車両用の撮像システムでは、カメラ９００〜９０５の撮像画像を、車両上方の仮想視点から下方を見下した画像に変換し、これらを合成した画像を表示装置に表示するように構成されていた。

図１０は、車両用の撮像システムの撮像画像および合成画像を示す図であって、図９（ａ）および図９（ｂ）に示したカメラ９００〜９０５の撮像画像およびこれらの合成画像を具体的に示す図である。撮像画像１０００〜１００５はカメラ９００〜９０５により撮像された画像である。撮像画像１０００〜１００５に対して、合成画像生成装置によって車両上方の仮想視点から下方を見下ろすように視点変換を行い、それらの画像を合成することにより、合成画像１００６が得られる。なお、合成画像１００６の中央部には、自車両を表すグラフィック画像が重畳されている。

このような合成画像１００６を車両の表示装置に表示することで、自車両周囲を撮像した画像の視認性を高めることができる。この結果、運転者は死角領域も含めて自車両の周囲状況を容易に視認でき、運転中であっても安全に自車両の周囲状況を把握することができる。

しかし、カメラ９００〜９０５は、互いに異なる方向を撮像するように自車両の周囲に設置されているため、カメラ９００〜９０５の撮像範囲間で明暗差が生じることがあり、これに応じて、カメラ９００〜９０５の各々は撮像画像１０００〜１００５の明るさや色合いを自動的に調整する。このため、撮像画像１０００〜１００５の重複領域において、明るさや色合いが異なり、運転者が違和感をもつことがあった。

このような問題点を解決するため、複数のカメラの撮像画像を合成する際に、各撮像画像の明るさや色合いを補正して見やすくする合成画像生成装置が知られている（例えば特許文献１参照）。特許文献１に記載の合成画像生成装置の技術は、車両の周囲に設置された複数のカメラの撮像画像を合成する際に、各カメラの撮像画像の明るさや色合いを揃えるように構成されている。

具体的には、上記従来技術は、まず、基準となる第１のカメラの画像を決定した後、第１のカメラの撮像画像の画素値に合わせて、第１のカメラに隣接する第２のカメラの撮像画像の画素値を補正するゲインを求める。次に、そのゲインで補正された第２のカメラの撮像画像の画素値に合わせて、第２のカメラに隣接する第３のカメラの撮像画像の画素値を補正するゲインを求める。同様にして、車両周囲に設置された全てのカメラの撮像画像のゲインを順次求めて、各カメラの撮像画像を補正して合成する。
特開２００２−３２４２３５号公報

しかしながら、従来の合成画像生成装置では、車両周囲に設置された複数のカメラのうち１つでも故障等が発生することにより、当該故障したカメラからの出力画像が異常に暗い画像または異常に明るい画像等、合成に不適な画像になったとき、この不適な画像が合成画像に悪影響を及ぼすことがあった。特に、基準となる第１のカメラの撮像画像が合成に不適な場合、第１のカメラの撮像画像に合わせて他の全てのカメラの撮像画像のゲインが算出されてしまうため、これが合成画像の全体に対して悪影響を及ぼし、視認が容易でなくなってしまうという問題があった。

本発明は、上記従来の問題を解決するためになされたもので、合成するのに不適な撮像画像が入力された場合であっても、当該合成に不適な撮像画像による合成画像へ影響を低減し、視認しやすい合成画像を得ることができる合成画像生成装置を提供することを目的とする。

本発明に係る合成画像生成装置は、撮像範囲の一部が重なる複数の撮像画像を合成する合成画像生成装置であって、隣接する複数の撮像画像における重複領域の画像である重複領域画像の画素値に基づいて、互いに重なる重複領域画像の明るさ及び色合いの少なくとも一方を揃える補正ゲインを算出するゲイン算出部と、前記ゲイン算出部により算出された前記補正ゲインに基づいて、前記複数の撮像画像を補正する画像補正部と、前記画像補正部により補正された前記複数の撮像画像を合成する画像合成部と、前記重複領域画像の画素値に基づいて、前記重複領域画像が合成処理に不適な異常画像であるか否かを判定する異常判定部とを備え、前記異常判定部は、前記重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素数の割合に基づいて、前記重複領域画像が前記異常画像であるか否かを判定し、前記ゲイン算出部は、前記異常判定部により前記異常画像と判定された前記重複領域画像を用いないで、前記補正ゲインを算出する構成を有している。

この構成により、重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素の割合に応じて、異常画像であるか否かを判断するので、異常な重複領域画像を識別できる。そして、異常画像と判定された重複領域画像を用いないで補正ゲインを算出し、算出された補正ゲインに基づいて補正した複数の撮像画像を合成し、継ぎ目の目立たない合成画像を生成できる。これにより、異常に暗いまたは明るい重複領域画像が入力された際の合成画像への影響を低減できる。このようにして、合成するのに不適な撮像画像が入力された場合であっても、当該合成に不適な撮像画像による合成画像へ影響を低減し、視認しやすい合成画像を得ることができる。

また、本発明に係る合成画像生成装置は、前記重複領域画像の画素値の総和を前記重複領域画像毎に算出する画素積算部と、前記重複領域画像の画素値の平均値である画素平均値を前記重複領域画像毎に算出する画素平均値算出部とを備え、前記画素積算部は、前記正常範囲内の画素値のみを用いて、前記重複領域画像の画素値の総和を算出し、前記画素平均値算出部は、前記重複領域画像の画素値の総和を、前記総和の算出に用いた画素の画素数で除算することにより、前記画素平均値を算出し、前記ゲイン算出部は、前記互いに重なる重複領域画像の前記画素平均値が揃うように前記補正ゲインを算出し、前記異常判定部は、前記重複領域画像の画素数に対する、前記総和の算出に用いない画素の画素数の割合が所定の異常判定閾値以上である場合、前記重複領域画像が前記異常画像であると判定することを特徴とする構成を有する。

この構成により、正常範囲内の画素値のみを用いて重複領域画像の画素値の総和を算出する。したがって、異常な画素を除外し、正常な画素のみを用いて、重複領域画像の画素値の総和を算出できる。また、この重複領域画像の画素値の総和を、総和の算出に用いた画素の画素数で除算することにより、画素平均値を算出するので、異常な画素を除外して正常な画素のみを用いて画素平均値も算出できる。また、重複領域画像の画素数に対する、総和の算出に用いない画素数の割合が所定の異常判定閾値以上である場合、重複領域画像が異常画像であると判定するので、異常な画素の割合が多い重複領域画像を異常画像として適切に識別できる。

また、本発明に係る合成画像生成装置において、前記画素積算部は、隣接する撮像画像で互いに重なり合う複数の重複領域画像に対応する複数の対応画素の少なくとも１つにおいて、画素値が前記正常範囲外である場合、前記複数の対応画素を用いないで、前記複数の重複領域画像の各々の画素値の総和を算出する構成を有する。

この構成により、複数の重複領域画像の対応画素が双方とも正常である場合のみ、それらの対応画素を画素値の総和と画素平均値の算出に用いるので、合成画像の明るさや色合いを良好に補正できる。

また、本発明に係る合成画像生成装置において、前記画素積算部は、赤、緑および青の色信号の画素値の全てが前記正常範囲内にある画素のみを用いて、前記各色の画素値の総和を算出する構成を有している。

この構成により、赤、緑、青の色信号のすべてにおいて、正常な画素値を持つ画素を用いて画素平均値を求めるので、異常な画素による影響を取り除いて、合成画像の明るさや色合いを良好に補正できる。

また、本発明に係る合成画像生成装置は、前記ゲイン算出部により算出された前記補正ゲインの時間的変化を制御する時定数処理部を備える構成を有している。

この構成により、フレーム毎のゲインの変化する速さを適切に設定でき、合成画像の不自然な変化を抑えることができる。

また、本発明に係る合成画像生成装置において、前記時定数処理部は、フレーム毎に、前記異常判定部により前記異常画像と判定された重複領域画像が１つも存在しないフレームが継続している状態である第１の状態、前記異常判定部により前記異常画像と判定された重複領域画像が少なくとも１つ存在するフレームの状態である第２の状態、または、前記異常判定部により前記異常画像と判定された重複領域画像が少なくとも１つ存在するフレームから１つも存在しないフレームに変化した直後の状態である第３の状態のいずれに対応するかを判別し、判別結果に基づいて前記補正ゲインの時間的変化を制御する構成を有している。

この構成により、第１、第２および第３の状態といった３種類の状態にて、フレーム間のゲインの変化する速さを最適に設定できるようにすることで、合成画像の明るさや色合いの不自然な変化を抑制することができる。

また、本発明に係る合成画像生成装置において、前記時定数処理部は、前記第１または前記第３の状態にて、前記異常判定部により前記異常画像と判定された重複領域画像が１つでも存在するフレーム状態に移行した場合には、前記第２の状態であると判別し、前記第２の状態にて、前記異常判定部により前記異常画像と判定された重複領域画像が１つも存在しないフレーム状態に移行した場合には、前記第３の状態であると判別し、前記第３の状態にて、前記時定数処理部による制御前後のゲイン差の大きさが予め設定された閾値以下となった場合には、前記第１の状態であると判別する構成を有している。

この構成により、第２の状態ではゲインを緩やかに変化させることによって異常と判定された重複領域画像が存在しないフレームから存在するフレームになった際や、異常と判定された重複領域画像の数がフレーム毎に変動した際におけるゲインの急激な変化による合成画像のちらつきを抑えることができる。また、第３の状態ではゲインを第１と第２の状態の間の速さで変化させることによって、第１の状態でゲインを急激に変化させる場合、異常画像と判定された重複領域画像が存在するフレームから存在しないフレームとなった際におけるゲインを変化させる速さが急激に変わることによる合成画像の明るさや色合いの急激な変化を抑制することができる。

また、本発明に係る合成画像生成方法は、撮像範囲の一部が重なる複数の撮像画像を合成する合成画像生成方法であって、隣接する複数の撮像画像における重複領域の画像である重複領域画像の画素値に基づいて、互いに重なる重複領域画像の明るさ及び色合いの少なくとも一方を揃える補正ゲインを前記撮像画像毎に算出するステップと、前記補正ゲインに基づいて、前記複数の撮像画像を補正するステップと、前記補正された複数の撮像画像を合成するステップと、前記重複領域画像の画素値に基づいて、前記重複領域画像が合成処理に不適な異常画像であるか否かを判定するステップとを含み、前記異常画像であるか否かを判定するステップでは、前記重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素数の割合に基づいて、前記重複領域画像が前記異常画像であるか否かを判定し、前記補正ゲインを算出するステップでは、前記異常画像と判定された重複領域画像を用いないで、前記補正ゲインを算出する。この合成画像生成方法によっても、上述した本発明の利点が得られる。

本発明は、重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素数の割合に基づいて、重複領域画像が異常画像であるか否かを判断し、異常画像と判定された重複領域画像を用いないで補正ゲインを算出し、この補正ゲインに基づいて補正した複数の撮像画像を合成することにより、合成するのに不適な撮像画像が入力された場合であっても、当該合成に不適な撮像画像による合成画像へ影響を低減し、視認しやすい合成画像を得ることができるという効果を有する合成画像生成装置を提供することができるものである。

以下、本発明の実施の形態における合成画像生成装置について、図面を用いて説明する。本発明の実施の形態の合成画像生成装置が備えられた撮像システムを図１に示す。本実施の形態では、撮像システムが車両に搭載される。撮像システムは、図１に示されるようにカメラ０〜４と合成画像生成装置１００と表示装置１１０とを備えている。カメラ０〜４は撮像部に相当する。合成画像生成装置１００は、車両の周囲に設置されたカメラ０〜４が撮像する撮像画像を取得し視点変換を行い、これらの撮像画像をフレーム毎に合成した合成画像を生成して、合成画像をリアルタイムで表示装置１１０に表示する。

カメラの撮像範囲は、例えば図２に示されるように広く、隣接するカメラ同士で重複するように設定されている。図２の例では、車両２２０の左側にカメラ２００とカメラ２０１とが設置されている。そして、カメラ２００の撮像範囲２１０と、カメラ２０１の撮像範囲２１１とが、それぞれで互いに重複した撮像範囲２１２（網目のハッチング部分）を有するように、カメラ２００、２０１の撮像範囲２１０、２１１が広く設定されている。

本実施の形態では、５台のカメラ０〜４の具体的な配置としては、カメラ０は車の前方に、カメラ１は右側面に、カメラ２は右後方に、カメラ３は左後方に、カメラ４は左側面に、設置されている。カメラ０〜４は、撮像範囲の一部が互いに重なるように設置されている。これにより、カメラ０〜４によって、車両の全周囲を余白部分が生ずることなく、撮像できる。

合成画像生成装置１００は、画像メモリ１０１と、画像読み出し制御部１０２と、画素積算部１０３と、画素平均値算出部１０４と、異常判定部１０５と、ゲイン算出部１０６と、時定数処理部１０７と、画像補正部１０８と、画像合成部１０９とを備えている。合成画像生成装置１００は、上述したように、カメラ０〜カメラ４により撮像された複数の撮像画像を視点変換した後、これらの撮像画像を合成した合成画像を生成し、この合成画像を表示装置１１０に表示する。

図３は、合成画像生成装置１００により生成される合成画像の例を示している。図示のように、合成画像３００では、カメラ０の撮像画像３１０、カメラ１の撮像画像３１１、カメラ２の撮像画像３１２、カメラ３の撮像画像３１３およびカメラ４の撮像画像３１４が複数の重複領域３０１〜３０５で重ね合わされている。図３の撮像画像３１０〜３１４は、車両上方の仮想視点から下方を見下ろすように視点変換をした後の画像である。また、合成画像３００の中央部には、自車両を表すグラフィック画像３２０が重畳されている。

互いに隣接するカメラ０の撮像画像３１０およびカメラ１の撮像画像３１１は重複領域３０１で互いに重なり合っており、撮像画像３１０の重複領域３０１内の画像部分を重複領域画像３１０Ｂ、撮像画像３１１の重複領域３０１内の画像部分を重複領域画像３１１Ａとする。同様に、カメラ１およびカメラ２の撮像画像３１１、３１２の重複領域３０２内の画像部分を重複領域画像３１１Ｂ、３１２Ａとし、カメラ２およびカメラ３の撮像画像３１２、３１３の重複領域３０３内の画像部分を重複領域画像３１２Ｂ、３１３Ａとし、カメラ３およびカメラ４の撮像画像３１３、３１４の重複領域３０４内の画像部分を重複領域画像３１３Ｂ、３１４Ａとし、カメラ４およびカメラ０の撮像画像３１４、３１０の重複領域３０５内の画像部分を重複領域画像３１４Ｂ、３１０Ａとする。図示のように、重複領域画像３１０Ａ〜３１４Ａ、３１０Ｂ〜３１４Ｂが撮像画像３１０〜３１４の両端部に位置している。

次に、上記のような合成画像を得るための合成画像生成装置１００の各部の構成について説明する。
画像メモリ１０１は、カメラ０〜４により撮像された各撮像画像を格納する。なお、画像メモリ１０１に格納されている各撮像画像は、視点変換前の画像である。画像読み出し制御部１０２は、画像メモリ１０１からの画像信号の読み出しを画素毎に制御する。

ここで、図３に示す重複領域３０１はカメラ０の撮像画像３１０とカメラ１の撮像画像３１１が重複した画像重複領域であるため、重複領域３０１におけるカメラ０の撮像画像３１０とカメラ１の撮像画像３１１を表示するためには各撮像画像を構成する各画素の合成処理がなされる。重複領域３０１の各画素の合成処理は、通常、撮像画像３１０の重複領域３０１に当たる画素及び撮像画像３１１の重複領域３０１に当たる画素の両方を画像メモリ１０１から出力して行われる。画像メモリ１０１から重複領域３０１に当たる画素の両方を出力して以降の処理では、重複領域３０１にあたる画素を他の画像部分から判別する必要がある。例えば、カメラ０の撮像画像３１０は、カメラ１の撮像画像３１１との重複領域３０１と、カメラ４の撮像画像３１４との重複領域３０５の２つの重複領域を有し、カメラ１の撮像画像３１１は、カメラ０の撮像画像３１０との重複領域３０１と、カメラ２の撮像画像３１２との重複領域３０２の２つの重複領域を有しているので、これらの画像の中から重複領域３０１を抽出するには、重複領域３０１を他の画像から判別する必要がある。

そこで、画像読み出し制御部１０２は、画像メモリ１０１から出力される画素値に対して、合成画像における位置情報（視点変換後の座標）と、どのカメラにより撮像された画素であるかを示すカメラ番号と、その画素がどのカメラの撮像画像との重複領域であるか、若しくはどのカメラの撮像画像とも重複しない画素であるかを判別するための情報とを、フラグデータとして付加する。このようにフラグデータを各画素の画素値の情報に付加することで、各画素の視点変換後の座標、各画素がどのカメラの撮像画像に含まれ、どの重複領域画像に含まれるか等の情報を得ることができる。このような画像読み出し制御部１０２の制御下で、各フレームの各画素のデータが、画像メモリ１０１から出力されて、フラグデータと共に画像補正部１０８および画像積算部１０３に入力される。

画像積算部１０３には、上記のようにして、画像メモリ１０１から出力される画素と、その画素のフラグデータが入力される。このとき、画像積算部１０３の入力画素が重複領域画像の画素である場合、その入力画素と重複領域内で重なり合う画素（画像合成部１０９で合成される相手側の重複画像の画素）とその画素のフラグデータも同時に入力される。例えば画像積算部１０３への入力画素が重複領域３０１内の重複領域画像３１１Ａの画素の場合には、当該重複領域画像３１１Ａの入力画素と重なり合う重複領域画像３１０Ｂの画素とそのフラグデータも同時に入力される。

画像積算部１０３は、入力されたフラグデータを参照し、入力画素が重複領域画像中の画素であれば、当該入力画素と、画像合成部１０９により合成される相手側の画素（対応画素）の双方のＲ、ＧおよびＢの各色信号の画素値が、予め設定された総和対象画素値の範囲内にあるか否かを判断する。この総和対象画素値の範囲は、画素が正常であるか否かを判断するために設定されており、以下正常範囲と呼ぶ。画像積算部１０３は、Ｒ、ＧおよびＢの全ての色信号の画素値が正常範囲内である画素のみを用いて、各重複領域画像の画素値の総和を算出する。また、画像積算部１０３は、各重複領域画像の画素値の総和を算出する際に、重複領域画像の画素値の総和の算出に用いる画素数および用いない画素数も計測する。

上記構成により、重複領域画像内の各画素は以下のように処理される。すなわち、Ｒ、ＧおよびＢの全ての色信号の画素値が正常範囲内である画素である場合、画像積算部１０３はその画素は正常であるとみなし、当該入力画素の画素値を重複領域画像の画素値の総和に加算して、総和に用いる画素数として計測する。一方、Ｒ、ＧまたはＢの色信号の画素値のいずれかが正常範囲外である画素である場合、画像積算部１０３はその画素を異常であるとみなし、当該入力画素の画素値を各重複領域画像の画素値の総和に加算せず、総和に用いない画素数として計測する。

画素積算部１０３における、重複領域画像の画素値の総和の算出、総和の算出に用いた画素数の計測、および、総和の算出に用いなかった画素数の計測は、各カメラの撮像画像における各々の重複領域に対して行われる。また、１つの撮像画像が他の２つの撮像画像と重複している場合には、２つの重複領域の各々に対して算出する。

ここで、本実施の形態では、重複領域において重複している撮像画像の画素数は同数であり、合成される画素の一方が画素値の総和の算出に用いられない場合には、他方も総和の算出に用いられない。そのため、総和の算出に用いた画素数及び総和の算出に用いなかった画素数としては、重複している撮像画像の双方で同一の値が得られる。よって、総和の算出に用いた画素数及び総和の算出に用いなかった画素数は、１箇所の重複領域について各々１つの値として扱うことも可能である。

上記の画像積算部１０３の処理を、重複領域３０２内の重複領域画像３１１Ｂ、３１２Ａの場合を例として詳細に説明する。ここでは、重複領域３０２内の重複領域画像３１１Ｂの入力画素１−１と重複領域画像３１２Ａの入力画素２−１とが入力されたとする。入力画素１−１および入力画素２−１は重複領域３０２内にて、互いに重なり合う位置関係にある。入力画素１−１のＲ、ＧおよびＢの各信号の画素値と、入力画素２−１のＲ、ＧおよびＢの各信号の画素値の全てが、下限値ＰＩＸ−ＭＩＮ以上かつ上限値ＰＩＸ−ＭＡＸ以下であれば（正常範囲内であれば）、当該入力画素１−１、２−１の双方は正常とみなされる。入力画素１−１のＲ、ＧおよびＢの各色信号の画素値は重複領域画像３１１Ｂの色信号毎の画素値の総和ＳＵＭ−１Ｒ、ＳＵＭ−１Ｇ、ＳＵＭ−１Ｂに加算され、入力画素２−１のＲ、ＧおよびＢの各色信号の画素値は重複領域画像３１２Ａの色信号毎の画素値の総和ＳＵＭ−２Ｒ、ＳＵＭ−２Ｇ、ＳＵＭ−２Ｂに加算される。そして、各重複領域画像３１１Ｂ、３１２Ａの画素値の総和の算出に用いる画素数ＳＵＭ−ＣＯＵＮＴに１を加算する。

上記の例では、正常画素が処理された。次に、異常画素が処理される例を説明する。ここでは、重複領域３０２内の重複領域画像３１１Ｂの入力画素１−２と重複領域画像３１２Ａの入力画素２−２とが、入力されたとする。入力画素１−２および入力画素２−２は重複領域３０２内にて、互いに重なり合う位置関係にある。入力画素１−２のＲ、ＧおよびＢの各信号の画素値と、入力画素２−２のＲ、ＧおよびＢの各信号の画素値のいずれか１つでも、下限値ＰＩＸ−ＭＩＮ未満または上限値ＰＩＸ−ＭＡＸ超過であれば（正常範囲外であれば）、当該入力画素１−２、２−２の双方は異常な画素であるとみなされる。重複画像３１１Ｂの色信号毎の画素値の総和ＳＵＭ−１Ｒ、ＳＵＭ−１Ｇ、ＳＵＭ−１Ｂへの入力画素１−２の画素値の加算と、重複画像３１２Ａの色信号毎の画素値の総和ＳＵＭ−２Ｒ、ＳＵＭ−２Ｇ、ＳＵＭ−２Ｂへの入力画素２−２の画素値の加算は行わず、重複領域画像３１１Ｂ、３１２Ａの画素値の総和の算出に用いない画素数ＮＧ−ＣＯＵＮＴに１を加算する。

このように、画素積算部１０３は、重複領域（例えば３０２）内の重複領域画像３１１Ｂ、３１２Ａのいずれかに正常範囲外の画素値を持つ異常画素が存在した場合、重複領域画像３１１Ｂ、３１２Ａの双方にて異常画素の画素値を用いないで、画素値の総和を算出する。

図４は、画像積算部１０３による判定結果の例を示すもので、撮像画像３１１、３１２が重なり合う重複領域３０２における重複領域画像３１１Ｂ、３１２Ａの正常画素および異常画素の分布を示している。図４（ａ）は重複領域画像３１１Ｂの正常画素および異常画素の分布を示す図、図４（ｂ）は重複領域画像３１２Ａの正常画素および異常画素の分布を示す図、図４（ｃ）は重複領域画像３１１Ｂ、３１２Ａの画素値の総和に用いる画素と用いない画素の分布を示す図である。

図４（ａ）に示されるように、重複領域画像３１１Ｂでは、右端部に異常な画素が分布し、それ以外の部分に正常な画素が分布している。図４（ｂ）に示されるように、重複領域画像３１２Ａでは、左端部に異常な画素が分布し、それ以外の部分に正常な画素が分布している。

そして、上述の通り、画素積算部１０３は、重複領域３０２内の重複領域画像３１１Ｂ、３１２Ａのいずれかに異常画素が存在した場合、当該異常画素は両重複領域画像３１１Ｂ、３１２Ａの画素値の総和の算出に用いない。従って、図４（ｃ）に示されるように、重複領域画像３１１Ｂ、３１２Ａの双方において正常な画素が画素値の総和の算出に用いる画素となり、それ以外の画素が画素値の総和の算出に用いない画素となる。図４（ａ）〜（ｃ）では、重複領域３０２内の重複領域画像３１１Ｂ、３１２Ａにおける画素の分布について説明したが、他の重複領域３０１、３０３〜３０５も同様に各画素の分布を表すことができる。

画素平均値算出部１０４は、各重複領域画像の画素値の平均値である画素平均値を算出する。画素平均値算出部１０４には、画素積算部１０３から各重複領域画像の色信号毎の画素値の総和と、重複領域画像の画素値の総和に用いる画素数とが入力される。画素平均値算出部１０４は、画素値の総和を総和の算出に用いる画素数で除算することにより、画素平均値を算出する。画素平均値は、色信号毎に算出される。

具体例として、例えばカメラ１の撮像画像３１１中の重複領域画像３１１Ｂの画素平均値を算出する場合について説明する。この場合、画素平均値算出部１０４は、重複領域画像３１１ＢのＲ信号の画素値の総和ＳＵＭ−１Ｒを、重複領域画像３１１Ｂの画素値の総和の算出に用いる画素数ＳＵＭ−ＣＯＵＮＴで除算することにより、重複画像３１１ＢのＲ信号の画素平均値を算出する。同様に、重複領域画像３１１ＢのＧ信号の画素値の総和ＳＵＭ−１ＧをＳＵＭ−ＣＯＵＮＴで除算することにより、重複領域画像３１１ＢのＧ信号の画素平均値を算出し、重複領域画像３１１ＢのＢ信号の画素値の総和ＳＵＭ−１ＢをＳＵＭ−ＣＯＵＮＴで除算することにより、重複領域画像３１１ＢのＢ信号の画素平均値を算出する。

なお、画素平均値算出部１０４について、カメラ１の撮像画像３１１中の重複領域画像３１１Ｂの画素平均値を算出する場合について説明したが、全ての重複領域３０１〜３０５内の各重複領域画像３１０Ａ〜３１４Ａ、３１０Ｂ〜３１４Ｂに対して同様の計算を行う。

異常判定部１０５は、各重複領域画像が合成するのに適しているか否かを判断し、適していない場合には合成に不適な異常画像であると判定する構成である。異常判定部１０５には、画像積算部１０３から重複領域画像の画素数の総和の算出に用いた正常画素数と、総和に用いなかった異常画素数が入力される。異常判定部１０５は、これらの画素数に基づき、重複領域画像の画素数に対する異常画素数の割合が所定の異常判定閾値以下である場合、重複領域画像が正常画像であると判定する。そして、上記割合が異常判定閾値より大きい場合、異常判定部１０５は重複領域画像が異常画像であると判定する。

具体例として、重複領域画像３１１Ｂが異常画像であるか否かを判断する場合について説明する。異常判定部１０５は、まず、重複領域画像３１１Ｂの画素値の総和の算出に用いる画素数ＳＵＭ−ＣＯＵＮＴと、用いない画素数ＮＧ−ＣＯＵＮＴとを加算することで、重複領域画像３１１Ｂの全画素数ＡＬＬ−ＣＯＵＮＴを算出する。更に、異常判定部１０５は、ＮＧ−ＣＯＵＮＴをＡＬＬ−ＣＯＵＮＴで除算することにより、重複領域画像３１１Ｂの画素数に対する異常画素数の割合ＮＧ−ＲＡＴＩＯを算出する。そして、異常判定部１０５は、ＮＧ−ＲＡＴＩＯが予め設定した異常判定閾値ＮＧ−ＴＨ以下であれば、重複領域画像３１１Ｂは正常画像であると判定し、ＮＧ−ＴＨよりも大きければ、異常画像であると判定する。

ここで、図４（ａ）〜（ｃ）を用いて説明したように、本実施の形態では、重複領域画像３１１Ｂ、３１２Ａの双方において正常な画素が、各重複領域画像３１１Ｂ、３１２Ａの画素値の総和の算出に用いられる。従って、画素値の総和の算出に用いる画素数と用いない画素数は重複領域画像３１１Ｂおよび３１２Ａの間で同一であり、異常判定結果も同一である。そこで、異常判定部１０５は重複領域画像３１１Ｂまたは３１２Ａのいずれか一方のみに対して異常画像か否かを判定してもよい。

ここでは、異常判定部１０５に関して、重複領域画像３１１Ｂが異常画像であるか否かを判断する場合について説明したが、全ての重複領域３０１〜３０５内の各重複領域画像３１０Ａ〜３１４Ａ、３１０Ｂ〜３１４Ｂに対しても同様の計算を行う。

ゲイン算出部１０６は、重複領域（例えば３０２）における複数の重複領域画像（例えば３１１Ｂ、３１２Ａ）の画素値に基づいて、複数の重複領域画像の画素値を揃える補正ゲインを算出する。ゲイン算出部１０６には、画素平均値算出部１０４から各重複領域画像のＲ、ＧおよびＢの各信号の画素平均値が入力され、異常判定部１０６からは異常判定結果が入力される。例えば重複領域３０２に着目すると、ゲイン算出部１０６は、互いに重なり合う重複領域画像３１１Ｂ、３１２Ａの画素平均値が一致するように、各撮像画像３１１、３１２に対する補正ゲインを算出する。補正ゲイン算出は色信号別に行われる。他の重複領域に対しても、同様に各色信号別のゲインを算出する。

ただし、ゲイン算出部１０６は、重複領域画像が異常画像である場合には以下のような処理を行う。ゲイン算出部１０６には、各重複領域画像が正常画像または異常画像のいずれであるかの判定結果が異常判定部１０５から入力されている。ゲイン算出部１０６は、異常な重複領域画像の画素平均値を用いずに、正常な重複領域画像の画素平均値のみを用いて、補正ゲインを算出する。そのため、異常と判定された重複領域においては明るさや色合いを揃えることができないが、異常な重複領域画像の画素平均値は算出される各撮像画像の補正ゲインに影響を与えないため、正常な重複領域においては明るさや色合いをより好適に揃えるための補正ゲインを算出することが可能である。

例えば、ゲイン算出部１０６は次のように各撮像画像３１０〜３１４のゲインを算出する。
（Ａ）ゲイン算出部１０６は、まず基準となる撮像画像を決める。基準の撮像画像は、例えば撮像画像３１０〜３１４のうち、最も平均的な画素値である撮像画像を選択する。ここでは、撮像画像３１１が基準であるとして説明する。

（Ｂ）次に、ゲイン算出部１０６は、基準の撮像画像３１１に隣接する撮像画像３１２のゲインを算出する。このとき、ゲイン算出部１０６は撮像画像３１１、３１２の重複領域３０２についての異常判定結果を参照する。前述したように、重複領域３０２に対応する重複領域画像３１１Ｂ、３１２Ａでは、異常判定結果が同じである。そこで、ここでは基準側の重複領域画像３１１Ｂの判定結果を用いることとする。以下の通り、重複領域画像３１１Ｂが異常画像か否かでゲイン算出処理が場合分けされる。
（Ｂ−１）重複領域画像３１１Ｂが正常画像の場合
ゲイン算出部１０６は、重複領域画像３１１Ｂおよび３１２Ａの画素平均値が揃うように、撮像画像３１２の補正ゲインを算出する。したがって、補正ゲインは、重複領域画像３１１Ｂの画素平均値を重複領域画像３１２Ａの画素平均値で除した値である。
（Ｂ−２）重複領域画像３１１Ｂが異常画像の場合
ゲイン算出部１０６は、重複領域画像３１１Ｂおよび３１２Ａの画素平均値を用いずに、撮像画像３１２のゲインを１として算出する。

（Ｃ）次に、ゲイン算出部１０６は、撮像画像３１２に隣接する撮像画像３１３のゲインを算出する。このとき、上記（Ｂ）に記載した処理と同様に、重複領域画像３１２Ｂ（または３１３Ａ）が異常画像か否かで場合分けされる。ここでの重複領域画像３１２Ｂの画素平均値には、上記の前段の補正ゲインを乗算して補正された画素平均値を用いる。
（Ｄ）以降、ゲイン算出部１０６は、順次、撮像画像３１４、３１０のゲインを算出して、これにより、全部の撮像画像の補正ゲインを算出して、ゲイン算出を完了する。

以上により、合成に不適な重複領域画像の影響を低減できる。異常と判定された重複領域においては、明るさおよび色合いを揃えることができないが、異常な重複領域画像の画素平均値は各撮像画像の補正ゲインに影響しないので、正常と判定された重複領域においては、明るさおよび色合いをより好適に揃えるための補正ゲインを算出することができる。

次に、時定数処理部１０７について説明する。本実施の形態において、ゲイン算出部１０６によるゲインの算出、後述の画像補正部１０８による補正画像の生成、画像合成部１０９による合成画像の生成および表示装置１１０への表示等の合成画像生成装置１００の各部による処理は、カメラ映像のフレーム毎に行われる。カメラ０〜４が正常な画像を撮像し続けている限り、ゲイン算出部１０６により算出される各撮像画像３１０〜３１４の補正ゲインは急激に変化することはない。これらの補正ゲインを用いた撮像画像３１０〜３１４の補正を画像入力に対して遅延無く行うことにより、表示装置１１０に表示される合成画像全体の明るさおよび色合いは急激に変化することはなく、好適な合成画像が得られる。

しかしながら、異常判定部１０５により異常画像と判定される重複領域画像が発生したり、また異常画像と判定される重複領域画像の数が変化したりすると、ゲイン算出に用いる画素平均値も変化する。このため、算出される各撮像画像３１０〜３１４の補正ゲインが急激に変化し、フレームの変化時に合成画像全体の明るさおよび色合いが急激に変化する場合がある。そこで、以下に詳述するように、本実施の形態では、時定数処理部１０７を用いて、撮像画像３１０〜３１４のゲインの変化を制御している。

時定数処理部１０７は、ゲイン算出部１０６により算出された補正ゲインの変化を制御する。時定数処理部１０７には、ゲイン算出部１０６により算出された各撮像画像３１０〜３１４のＲ、ＧおよびＢの補正ゲインが入力される。時定数処理部１０７は、これら補正ゲインの値を目標値として設定し、前フレームの補正ゲイン（前フレームで時定数処理部１０７により時定数処理が施された補正ゲイン）の値から目標値に近づくように時間的な変化を与える。時定数処理部１０７はゲインを変化させる速さを多段階に設定できる。

時定数処理部１０７は、異常判定部１０５の判定結果とその変化に応じて、以下に示す３つの状態のいずれに対応するかを判別し、判別結果に応じて補正ゲインの変化する速さを異ならせる制御を行う。
（ａ）第１の状態：異常判定部１０５により異常画像と判定された重複領域画像が１つも存在しないフレームが継続している状態。
（ｂ）第２の状態：異常判定部１０５により異常画像と判定された重複領域画像が少なくとも１つ存在するフレームを処理する状態。
（ｃ）第３の状態：異常判定部１０５により異常画像と判定された重複領域画像が少なくとも１つ存在するフレームから、１つも存在しないフレームに変化した直後の状態。

上記第１の状態の場合、時定数処理部１０７は、ゲイン目標値を画像補正部１０８にそのまま出力するか、或いはゲインの変化する速さを急峻にする。これにより、各撮像画像に対して好適な補正を行うことができる。

第２の状態のゲイン変化は下記のように設定される。異常判定部１０５による判定の結果、異常な重複領域画像が存在しないフレームから少なくとも１つ存在するフレームに変化したとする。或いは異常な重複領域画像の数や位置がフレームによって変化したとする。これらの場合、ゲイン算出部１０６により算出される補正ゲインも急激に変化する。そして、これらは第２の状態に相当する。このため、時定数処理部１０７は、第２の状態では、ゲインの変化する速さを緩やかに設定する。これにより、合成画像の明るさおよび色合いが急激に変化するのを防ぐことができる。

次に第３の状態について説明する。第３の状態は、異常判定部１０５により異常画像と判定された重複領域画像が少なくとも１つ存在するフレームから１つも存在しないフレームに変化した直後の状態である。この状態で、時定数処理部１０７が即座に上記第１の状態の処理を行い、目標値の補正ゲインを出力し、或いは、補正ゲインを急峻に変化させるように時定数処理された補正ゲインを出力したとする。このような急変化を行うと、合成画像全体の明るさおよび色合いが急激に変化してしまう。このため、本実施の形態では、第１の状態から第２の状態に移行する間に第３の状態を設けている。そして、時定数処理部１０７は第３の状態において補正ゲインの変化する速さを、第１および第２の状態での速さの中間程度の速さに設定する。これにより、異常画像と判定された重複領域画像が少なくとも１つ存在するフレームから１つも存在しないフレームに変化した直後の補正ゲインの急激な変化を抑制することができる。

第３の状態から第１の状態への移行は次のように行われる。すなわち、第３の状態にて時定数処理部１０７により算出された各撮像画像のＲ、Ｇ、Ｂ各々の補正ゲインの値が、補正ゲインの目標値（ゲイン算出部１０６で算出された補正ゲイン）に近づいたら、第１の状態に移行する。

具体的には、時定数処理部１０７は第３の状態において、ゲイン算出部１０６により算出された撮像画像のＲ信号のゲインと、時定数処理部１０７により時定数処理された撮像画像のＲ信号のゲインとの差分を算出する。そして、この差分が予め設定された閾値ＲＴＮ−ＴＨ以下となった場合、時定数処理部１０７は撮像画像のＲ信号のゲインが目標値に収束したと判定する。時定数処理部１０７は、第３の状態である限り、以降のフレームにおいてもこのＲ信号の補正ゲインは収束していると判断する。時定数処理部１０７はＧおよびＢの色信号の補正ゲインについても、Ｒ信号と同様にして、補正ゲインが収束していることを判断する。

カメラ０〜４のすべての撮像画像３１０〜３１４のＲ、ＧおよびＢの補正ゲインが収束したとする。このとき、時定数処理部１０７は、そのフレームにおける各撮像画像３１０〜３１４のＲ、Ｇ、Ｂの補正ゲインとして、ゲイン算出部１０６により算出された補正ゲイン（時定数処理の計算を行う前の補正ゲイン）、または、第３の状態における時定数処理を行った補正ゲインのいずれかを出力するように構成されている。そして、時定数処理部１０７は、異常画像と判定された重複領域画像が１つも存在しないフレームが続いている状態であると判断し、次のフレームからは第１の状態に移行し、第１の状態の時定数処理計算が行われる。

次に、時定数処理１０７による処理の詳細を図５〜図７を参照して説明する。時定数処理部１０７には、ゲイン算出部１０６により算出された撮像画像３１０〜３１４のＲ、ＧおよびＢの各色信号の補正ゲインが入力される（Ｓ５０１）。時定数処理部１０７は、異常判定部１０５により異常画像と判断された重複領域画像があるか否かを判定する（Ｓ５０２）。少なくとも１箇所の重複領域画像が異常であれば、Ｓ５０２がＹＥＳとなる。

Ｓ５０２での判定の結果、異常画像が１つもなく、すべての重複領域画像が正常画像の場合（Ｓ５０２、ＮＯ）、現在の状態が第２の状態ではないので、時定数処理部１０７は第２状態フラグを０に設定する（図６、Ｓ６０１）。Ｓ６０１の後、時定数処理部１０７は第３状態フラグが１か否かを判定する（Ｓ６０２）。

Ｓ６０２での判定の結果、第３状態フラグが０の場合（Ｓ６０２、ＮＯ）、時定数処理部１０７は第１の状態の時定数処理方法を選択する（Ｓ６０３）。このように、第２状態フラグおよび第３状態フラグの双方が０の場合に、第１の状態の処理が行われる。そして、時定数処理部１０７は、各撮像画像のＲ、ＧおよびＢの補正ゲインに対して第１の状態の時定数処理計算を行い（Ｓ６０４）、時定数処理を行った各撮像画像のＲ、ＧおよびＢの補正ゲインを画像補正部１０８へ出力し（Ｓ５０６）、時定数処理を終了する。

Ｓ５０２での判定の結果、異常画像が１つ以上の場合（Ｓ５０２、ＹＥＳ）、時定数処理部１０７は第２状態フラグおよび第３状態フラグを１とし、後述する各撮像画像のＲ、ＧおよびＢの収束フラグを０に設定する（Ｓ５０３）。ここで、各撮像画像のＲ、ＧおよびＢの収束フラグを０に設定するのは、第３の状態から第２の状態に移行した際に第３の状態において処理途中であったフラグデータを初期値に戻す必要があるためである。そして、時定数処理部１０７は、第２の状態の時定数処理方法を選択し（Ｓ５０４）、各撮像画像のＲ、ＧおよびＢのゲインに対して第２の状態の時定数処理計算を行い（Ｓ５０５）、時定数処理を行った各撮像画像のＲ、ＧおよびＢの補正ゲインを画像補正部１０８へ出力し（Ｓ５０６）、時定数処理を終了する。

Ｓ６０２での判定の結果、第３状態フラグが１の場合（Ｓ６０２、ＹＥＳ）、時定数処理部１０７は第３の状態の時定数処理方法を選択する（Ｓ６０５）。こうして、第２状態フラグが０、第３状態フラグが１の場合には、第３の状態の処理が行われる。時定数処理部１０７は、各撮像画像のＲ、ＧおよびＢの補正ゲインに対して第３の状態の時定数処理計算および収束判定を行う（Ｓ６０６）。

Ｓ６０６における処理について、図７に基づいて詳細に説明する。図７は、カメラ０の撮像画像３１０のＲの補正ゲインに対する処理を例として示している。
まず、時定数処理部１０７は、撮像画像３１０のＲの補正ゲインに対して、第３の状態の時定数処理計算を行う（Ｓ７０１）。そして、時定数処理部１０７は、撮像画像３１０のＲの補正ゲインの収束フラグが０か否かを判断する（Ｓ７０２）。

撮像画像３１０のＲの補正ゲインの収束フラグが０の場合（Ｓ７０２、ＹＥＳ）、この補正ゲインは未収束の状態にある。そこで、時定数処理部１０７は、Ｓ７０１で時定数処理計算された撮像画像３１０のＲの補正ゲインと、ゲイン算出部１０６により算出された撮像画像３１０のＲの補正ゲイン（時定数処理計算される前の補正ゲイン）との差を算出して、この差の絶対値が予め設定された閾値ＲＴＮ−ＴＨ以下であるか否かを判断する（Ｓ７０３）。

上記ゲイン差の絶対値が閾値ＲＴＮ−ＴＨよりも大きいと判断された場合（Ｓ７０３、ＮＯ）、撮像画像３１０のＲの補正ゲインに対する処理を終了する。
上記ゲイン差の絶対値が閾値ＲＴＮ−ＴＨ以下と判断された場合（Ｓ７０３、ＹＥＳ）、撮像画像３１０のＲの補正ゲインは目標値に収束したとみなし、撮像画像３１０のＲの補正ゲインの収束フラグを１に設定して（Ｓ７０４）、撮像画像３１０のＲの補正ゲインに対する処理を終了する。

また、Ｓ７０２において、撮像画像３１０のＲの補正ゲインの収束フラグが１の場合（Ｓ７０２、ＮＯ）、補正ゲインが既に目標値に収束済みであると判断し、撮像画像３１０のＲの補正ゲインに対する処理を終了する。

以降のフレームでは、第３の状態から第１の状態へ移行する際のＳ６０９に進むまで、または、第３の状態から第２の状態に移行する際のＳ５０３に進むまで、撮像画像３１０のＲの補正ゲインの収束フラグは１を維持する。収束フラグ１に維持される間は、各フレームのルーチン（撮像画像３１０のＲのゲインに対する処理）はＳ７０２にて終了する。

以上のように、Ｓ６０６における撮像画像３１０のＲの補正ゲインに対する処理が行われる。Ｓ６０６では、すべての全ての撮像画像３１０〜３１４におけるＲ、ＧおよびＢの各々の補正ゲインに対して、図７に示す処理と同様の処理を行う。

Ｓ６０６の処理の後、時定数処理部１０７は、Ｓ６０６で設定された各撮像画像のＲ、ＧおよびＢの補正ゲインのすべての収束フラグが１になっているか否かを判定する（Ｓ６０７）。すべての補正ゲインの収束フラグが１になっていない場合（Ｓ６０７、ＮＯ）、時定数処理を行った各撮像画像のＲ、ＧおよびＢの補正ゲインを画像補正部１０８へ出力し（Ｓ５０６）、時定数処理を終了する。すなわち、第３の状態の時定数処理が行われた結果が出力される。

Ｓ６０７ですべてのゲインの収束フラグが１になっている場合（Ｓ６０７、ＹＥＳ）、各撮像画像のＲ、ＧおよびＢの補正ゲインのすべてが目標値に収束したとみなされる。そこで、時定数処理部１０７は、各撮像画像のＲ、ＧおよびＢの補正ゲインについて、ゲイン算出部１０６により算出された補正ゲイン（時定数処理計算を行う前の補正ゲイン）の値をそのまま時定数処理計算後の補正ゲインとして設定する（Ｓ６０８）。なお、Ｓ６０８の処理は必ずしも必要とする処理ではなく、Ｓ６０８の処理を行わずに次のＳ６０９の処理を行ってもよい。

そして、時定数処理部１０７は、第３状態フラグを０に設定する（Ｓ６０９）。この処理は第３の状態が終了したことを意味し、これにより、次のフレームではＳ６０２からＳ６０３へ進んで、第１の状態の処理を行うことが可能となる。また、Ｓ６０９では第３の状態が終了したため、時定数処理部１０７は、Ｓ６０６で１に設定された各撮像画像のＲ、ＧおよびＢの補正ゲインの収束フラグを０に設定する。そして、時定数処理部１０７は、時定数処理を行った各撮像画像のＲ、ＧおよびＢの補正ゲインを画像補正部１０８へ出力し（Ｓ５０６）、時定数処理を終了する。

以上に、図５〜図７の処理について、詳細に説明した。上記のうち、Ｓ５０６では、時定数処理計算後の各撮像画像のＲ、ＧおよびＢの補正ゲインがそのフレームにおける補正ゲインとして、画像補正部１０８へ出力される。Ｓ５０６の処理が終了することにより、そのフレームの時定数処理が終了するが、第２状態フラグ、第３状態フラグおよび各撮像画像のＲ、ＧおよびＢの補正ゲインの収束フラグはその値を保持し、次のフレームにおける時定数処理に用いられる。

以上に、時定数処理について説明した。本実施の形態によれば、上述のように、第１、第２および第３の状態に応じて、異なる時定数の速さを使い分けることで、好適な時定数処理を行うことができる。

図１に戻り、画像補正部１０８は、ゲイン算出部１０６により算出され、更に時定数処理部１０７により制御された各ゲインに従って、撮像画像３１０〜３１４を補正する。画像補正部１０８には、画像メモリ１０１から出力される画素およびその画素のフラグデータが入力され、また、時定数処理部１０７から出力される時定数処理後の撮像画像３１０〜３１４のＲ、ＧおよびＢの補正ゲインが入力される。画像補正部１０８は、入力画素のフラグデータを参照して、入力画素がどのカメラの撮像画像の画素であるかを判別し、当該入力画素の撮像画像に対応した補正ゲインを入力画素値に乗じて補正画素値を算出し、これにより明るさや色合いを補正する。

画像合成部１０９は、画像補正部１０８により補正された撮像画像３１０〜３１４を合成して、表示装置１１０に合成画像を表示する。画像合成部１０９には、画像データとともに、フラグデータが入力される。画像合成部１０９は、入力画素のフラグデータを参照して、重複領域における重複領域画像の画素に対して合成を行う。画像合成部１０９は、合成画像での画像の位置情報を用いて、図３で示すような車両の上方から下方を見下ろす視点変換が施された画像を構成し、表示装置１１０に出力する。

次に、本発明の実施の形態における合成画像生成装置１００の動作について、図８を参照して説明する。まず、カメラ０〜４により撮像された各撮像画像が、画像メモリ１０１に格納される（Ｓ８０１）。各撮像画像は、画像読み出し制御部１０２により、合成画像における位置情報（視点変換後の座標）と、カメラ番号のフラグデータおよび重複領域の判別のためのフラグデータを付加されて、順次、画素積算部１０３に入力される（Ｓ８０２）。画素積算部１０３は、各重複領域画像３１０Ａ〜３１４Ａ、３１０Ｂ〜３１４Ｂの画素値の総和をＲ、ＧおよびＢの色信号毎に算出し、また、画素値の総和の算出に用いた画素数および用いなかった画素数を計測する（Ｓ８０３）。

次に、画素平均値算出部１０４が、各重複領域画像の画素値の総和と総和の算出に用いた画素数から、各重複領域画像のＲ、ＧおよびＢそれぞれの画素平均値を算出する（Ｓ８０４）。また、異常判定部１０５が、画素値の総和の算出に用いた画素数と用いなかった画素数から各重複領域の異常判定を行う（Ｓ８０５）。ここでは、重複領域画像の画素数に対する総和の算出に用いなかった画素数の割合が、所定の閾値以上か否かにより、重複領域画像が異常画像または正常画像かを判断する。そして、ゲイン算出部１０６が、各重複領域画像のＲ、Ｇ、Ｂそれぞれの画素平均値と、上記異常判定結果と用いて、各撮像画像のＲ、Ｇ、Ｂそれぞれの補正ゲインを算出する（Ｓ８０６）。ここでは、対応する両重複領域画像の画素平均値を揃える補正ゲインをＲ、ＧおよびＢの色信号毎に算出する。また、補正ゲインの算出は、重複領域３０１〜３０５のうち、異常画像と判定された重複領域画像の画素平均値を用いることなく行われる。

時定数処理部１０７は、Ｓ８０５の異常判定結果から、現在の状態が上述の第１、第２および第３の状態のいずれに対応するかを判別して、この判別結果に応じて、Ｓ８０４にて算出された各撮像画像３１０〜３１４のＲ、ＧおよびＢの各色信号の補正ゲインが変化する速さを制御して、これにより最適な時定数処理計算を行う（Ｓ８０７）。画像補正部１０８は、Ｓ８０２で付加された入力画素のフラグデータと時定数処理された補正ゲインとを用いて、各撮像画像３１０〜３１４の画素に対し補正ゲインを乗じて各画像補正を行う（Ｓ８０８）。ここでは、Ｒ、Ｇ、Ｂの補正ゲインがＲ、Ｇ、Ｂの画素値にそれぞれ乗算される。そして、画像合成部１０９が、入力画素のフラグデータを参照して、重複領域の画素合成を行うとともに、合成画像の構成を行い（Ｓ８０９）、こうして生成された合成画像が表示装置１１０に表示される（Ｓ８１０）。これらの処理を、カメラ０〜４により撮像された毎フレームの撮像画像３１０〜３１４に対して行うことで、車両周囲の状況をリアルタイムに表示装置１１０に表示することができる。

このような本発明の実施の形態の合成画像撮像装置によれば、重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素の割合に応じて、異常画像であるか否かを判断するので、異常な重複領域画像を識別できる。そして、異常画像と判定された重複領域画像を用いないで補正ゲインを算出し、算出された補正ゲインに基づいて補正した複数の撮像画像を合成し、継ぎ目の目立たない合成画像を生成できる。これにより、異常に暗いまたは明るい重複領域画像が入力された際の合成画像への影響を低減できる。このようにして、合成するのに不適な撮像画像が入力された場合であっても、当該合成に不適な撮像画像による合成画像へ影響を低減し、視認しやすい合成画像を得ることができる。

また、本発明の実施の形態の合成画像撮像装置によれば、正常範囲内の画素値のみを用いて重複領域画像の画素値の総和を算出する。したがって、異常な画素を除外し、正常な画素のみを用いて、重複領域画像の画素値の総和を算出できる。また、この重複領域画像の画素値の総和を、総和の算出に用いた画素の画素数で除算することにより、画素平均値を算出するので、異常な画素を除外して正常な画素のみを用いて画素平均値も算出できる。また、重複領域画像の画素数に対する、総和の算出に用いない画素数の割合が所定の異常判定閾値以上である場合、重複領域画像が異常画像であると判定するので、異常な画素の割合が多い重複領域画像を異常画像として適切に識別できる。

また、本発明の実施の形態の合成画像撮像装置によれば、複数の重複領域画像の対応画素が双方とも正常である場合のみ、それらの対応画素を画素値の総和と画素平均値の算出に用いるので、合成画像の明るさや色合いを良好に補正できる。

また、本発明の実施の形態の合成画像撮像装置によれば、赤、緑、青の色信号の全てにおいて、正常な画素値を持つ画素を用いて画素平均値を求めるので、異常な画素による影響を取り除いて、合成画像の明るさや色合いを良好に補正できる。

また、本発明の実施の形態の合成画像撮像装置によれば、ゲイン算出部により算出された補正ゲインの時間的変化を制御するので、フレーム毎のゲインの変化する速さを適切に設定でき、合成画像の不自然な変化を抑えることができる。

また、本発明の実施の形態の合成画像撮像装置によれば、第１、第２および第３の状態といった３種類の状態にて、フレーム間のゲインの変化する速さを最適に設定できるようにすることで、合成画像の明るさや色合いの不自然な変化を抑制することができる。

また、本発明の実施の形態の合成画像撮像装置によれば、第２の状態ではゲインを緩やかに変化させることによって異常と判定された重複領域画像が存在しないフレームから存在するフレームになった際や、異常と判定された重複領域画像の数がフレーム毎に変動した際におけるゲインの急激な変化による合成画像のちらつきを抑えることができる。また、第３の状態ではゲインを第１と第２の状態の間の速さで変化させることによって、第１の状態でゲインを急激に変化させる場合、異常画像と判定された重複領域画像が存在するフレームから存在しないフレームとなった際におけるゲインを変化させる速さが急激に変わることによる合成画像の明るさや色合いの急激な変化を抑制することができる。

また、本発明の実施の形態の合成画像生成方法によれば、重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素数の割合に基づいて、重複領域画像が異常画像であるか否かを判定し、異常画像と判定された重複領域画像を用いないで、補正ゲインを算出する。従って、この合成画像生成方法によっても、上述した本発明の利点が得られる。

以上、本発明の実施の形態を例示により説明したが、本発明の範囲はこれらに限定されるものではなく、請求項に記載された範囲内において目的に応じて変更・変形することが可能である。

上記実施の形態では、車両周囲に５台のカメラを設置した場合を説明したが、これに限定されず、車両周囲に５台よりも多数または少数のカメラを設置してもよい。また、上記実施の形態では、車両の全周囲を複数のカメラで撮像する場合を説明したが、車両周囲の一部を複数のカメラで撮像してもよい。

また、上記実施の形態では、時定数処理部１０７を設け、画像補正部１０８は時定数処理部１０７により時定数処理された補正ゲインに基づいて、各撮像画像３１０〜３１４を補正したが、時定数処理部１０７を設けなくてもよい。この場合、画像補正部１０８は、ゲイン算出部１０６により算出された補正ゲインを直接用いて、各撮像画像３１０〜３１４を補正する。

以上のように、本発明は、合成するのに不適な撮像画像が入力された場合であっても、当該合成に不適な撮像画像による合成画像へ影響を低減し、視認しやすい合成画像を得ることができるという効果を有し、複数の撮像部により撮像された複数の撮像画像を合成する合成画像生成装置等に有用である。

本発明の実施の形態に係る合成画像生成装置を備えた撮像システムを示すブロック図 カメラの撮像範囲の設定を示す図 本実施の形態における合成画像生成装置により生成される合成画像の例を示す図 （ａ） 互いに重なり合う重複領域画像のうち一方における正常画素および異常画素の分布を示す図 （ｂ） 他方の重複領域画像における正常画素および異常画素の分布を示す図 （ｃ） 重複領域画像の画素値の総和に用いる画素と用いない画素を示す図 本発明の実施の形態における時定数処理を示す図 本発明の実施の形態における時定数処理を示す図 本発明の実施の形態における時定数処理を示す図 本発明の実施の形態における合成画像生成装置の動作を示す図 （ａ） 複数のカメラを搭載した車両の上面図 （ｂ） 複数のカメラを搭載した車両の左側面図 複数の撮像画像の合成処理を示す図

符号の説明

０〜４ カメラ
１００ 合成画像生成装置
１０１ 画像メモリ
１０２ 画像読み出し制御部
１０３ 画素積算部
１０４ 画素平均値算出部
１０５ 異常判定部
１０６ ゲイン算出部
１０７ 時定数処理部
１０８ 画像補正部
１０９ 画像合成部
１１０ 表示装置

Claims (8)

1. 撮像範囲の一部が重なる複数の撮像画像を合成する合成画像生成装置であって、
   隣接する複数の撮像画像における重複領域の画像である重複領域画像の画素値に基づいて、互いに重なる重複領域画像の明るさ及び色合いの少なくとも一方を揃える補正ゲインを算出するゲイン算出部と、
   前記ゲイン算出部により算出された前記補正ゲインに基づいて、前記複数の撮像画像を補正する画像補正部と、
   前記画像補正部により補正された前記複数の撮像画像を合成する画像合成部と、
   前記重複領域画像の画素値に基づいて、前記重複領域画像が合成処理に不適な異常画像であるか否かを判定する異常判定部とを備え、
   前記異常判定部は、前記重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素数の割合に基づいて、前記重複領域画像が前記異常画像であるか否かを判定し、
   前記ゲイン算出部は、前記異常判定部により前記異常画像と判定された前記重複領域画像を用いないで、前記補正ゲインを算出することを特徴とする合成画像生成装置。
2. 前記重複領域画像の画素値の総和を前記重複領域画像毎に算出する画素積算部と、
   前記重複領域画像の画素値の平均値である画素平均値を前記重複領域画像毎に算出する画素平均値算出部とを備え、
   前記画素積算部は、前記正常範囲内の画素値のみを用いて、前記重複領域画像の画素値の総和を算出し、
   前記画素平均値算出部は、前記重複領域画像の画素値の総和を、前記総和の算出に用いた画素の画素数で除算することにより、前記画素平均値を算出し、
   前記ゲイン算出部は、前記互いに重なる重複領域画像の前記画素平均値が揃うように前記補正ゲインを算出し、
   前記異常判定部は、前記重複領域画像の画素数に対する、前記総和の算出に用いない画素の画素数の割合が所定の異常判定閾値以上である場合、前記重複領域画像が前記異常画像であると判定することを特徴とする請求項１に記載の合成画像生成装置。
3. 前記画素積算部は、隣接する撮像画像で互いに重なり合う複数の重複領域画像に対応する複数の対応画素の少なくとも１つにおいて、画素値が前記正常範囲外である場合、前記複数の対応画素を用いないで、前記複数の重複領域画像の各々の画素値の総和を算出することを特徴とする請求項２に記載の合成画像生成装置。
4. 前記画素積算部は、赤、緑および青の色信号の画素値の全てが前記正常範囲内にある画素のみを用いて、前記各色の画素値の総和を算出することを特徴とする請求項２または３に記載の合成画像生成装置。
5. 前記ゲイン算出部により算出された前記補正ゲインの時間的変化を制御する時定数処理部を備えることを特徴とする請求項１ないし４のいずれかに記載の合成画像生成装置。
6. 前記時定数処理部は、フレーム毎に、前記異常判定部により前記異常画像と判定された重複領域画像が１つも存在しないフレームが継続している状態である第１の状態、前記異常判定部により前記異常画像と判定された重複領域画像が少なくとも１つ存在するフレームの状態である第２の状態、または、前記異常判定部により前記異常画像と判定された重複領域画像が少なくとも１つ存在するフレームから１つも存在しないフレームに変化した直後の状態である第３の状態のいずれに対応するかを判別し、判別結果に基づいて前記補正ゲインの時間的変化を制御することを特徴とする請求項５に記載の合成画像生成装置。
7. 前記時定数処理部は、前記第１または前記第３の状態にて、前記異常判定部により前記異常画像と判定された重複領域画像が１つでも存在するフレーム状態に移行した場合には、前記第２の状態であると判別し、前記第２の状態にて、前記異常判定部により前記異常画像と判定された重複領域画像が１つも存在しないフレーム状態に移行した場合には、前記第３の状態であると判別し、前記第３の状態にて、前記時定数処理部による制御前後のゲイン差の大きさが予め設定された閾値以下となった場合には、前記第１の状態であると判別することを特徴とする請求項６に記載の合成画像生成装置。
8. 撮像範囲の一部が重なる複数の撮像画像を合成する合成画像生成方法であって、
   隣接する複数の撮像画像における重複領域の画像である重複領域画像の画素値に基づいて、互いに重なる重複領域画像の明るさ及び色合いの少なくとも一方を揃える補正ゲインを前記撮像画像毎に算出するステップと、
   前記補正ゲインに基づいて、前記複数の撮像画像を補正するステップと、
   前記補正された複数の撮像画像を合成するステップと、
   前記重複領域画像の画素値に基づいて、前記重複領域画像が合成処理に不適な異常画像であるか否かを判定するステップとを含み、
   前記異常画像であるか否かを判定するステップでは、前記重複領域画像の画素数に対する、所定の正常範囲外の画素値を持つ異常画素数の割合に基づいて、前記重複領域画像が前記異常画像であるか否かを判定し、
   前記補正ゲインを算出するステップでは、前記異常画像と判定された重複領域画像を用いないで、前記補正ゲインを算出することを特徴とする合成画像生成方法。