JP2011013929A - 画像処理装置 - Google Patents

Abstract

【構成】車両１００に設けられたカメラＣＭ＿０〜ＣＭ＿３は、共通視野ＣＶＷ＿０〜ＣＶＷ＿３を部分的に有する姿勢で路面を斜めから捉える。ＣＰＵは、このようなカメラＣＭ＿０〜ＣＭ＿３から出力された被写界像Ｐ＿０〜Ｐ＿３を、路面を上方から眺めた状態を表す鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３に変換する。ＣＰＵはまた、共通視野ＣＶＷ＿０〜ＣＶＷ＿３に存在する立体物を表す画像の位置を、鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３の各々から排除位置として検出し、排除位置の画像を鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３から共通的に排除する。ＣＰＵはさらに、排除処理の後に残った複数の画像間の輝度および／または色度の相違が抑制される態様で、鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３を合成する。
【効果】合成された鳥瞰画像の品質を向上させることができる。
【選択図】図４

Description

この発明は、画像処理装置に関し、特に、共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラの各々から出力された被写界像を鳥瞰画像に変換する、画像処理装置に関する。

この種の装置の一例が、特許文献１に開示されている。この背景技術によれば、共通視野を部分的に有する２つのカメラ画像の輝度値が圧縮部で圧縮される。また、共通視野を表す部分画像の輝度差は、輝度差分析部によって求められる。シフト部は、注目する２つのカメラ画像の少なくとも一方の輝度値を、輝度差分析部で求められた輝度差が解消されるようにシフトさせる。シフトされた輝度値は、全画素の輝度値が絶対白レベルと絶対黒レベルとの間に収まるように、伸張部によって伸張される。これによって、共通視野における輝度レベルの差が抑制されるとともに、補正後の輝度レベルが絶対白レベルから絶対黒レベルまでの範囲に収められる。

特開２００７−７２７５０号公報

しかし、輝度レベルを補正するにあたって、立体物が共通視野に存在するか否かが考慮されることはない。このため、背景技術では、合成画像の品質に限界がある。

それゆえに、この発明の主たる目的は、合成画像の品質を向上させることができる、画像処理装置を提供することである。

この発明に従う画像処理装置(10：実施例で相当する参照符号。以下同じ)は、共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラ(CM_0~CM_3)から出力された複数の被写界像を基準面に対する複数の鳥瞰画像に変換する変換手段(S3)、共通視野に存在する立体物を表す画像の位置を変換手段によって変換された複数の鳥瞰画像の各々から排除位置として検出する第１検出手段(S23~S25, S39~S41)、変換手段によって変換された複数の鳥瞰画像から排除位置の画像を共通的に排除する排除手段(S27, S33)、および変換手段によって変換された複数の鳥瞰画像を排除手段の排除処理の後に残った複数の画像間の輝度および／または色度の相違が抑制される態様で合成する合成手段(S7~S11)を備える。

好ましくは、排除位置は複数の鳥瞰画像間の輝度差および／または色度差が第１基準を上回る画素の位置に相当する。

好ましくは、共通視野に対応して表われた鮮鋭画像の位置を排除位置として検出する第２検出手段(S23, S31, S39~S41)がさらに備えられる。

さらに好ましくは、画像の鮮鋭度に関連する第２基準を複数のカメラの各々から出力された被写界像の輝度を参照して調整する調整手段(S29)がさらに備えられ、第２検出手段は第２基準を参照して検出処理を実行する。

好ましくは、合成手段は、排除手段の排除処理の後に残った複数の画像の間の輝度および／または色度の相違を共通視野に対応して検出する検出手段(S53~S59, S65, S81~S87, S93, S111~S121, S141~S151)、および複数の鳥瞰画像の輝度および／または色度を検出手段によって検出された相違に基づいて調整する調整手段(S69~S79, S97~S107, S123~S139, S153~S169)を含む。

さらに好ましくは、調整手段は排除手段の排除処理の後に残った複数の画像の画素数を参照して輝度の調整範囲を定義する定義手段(S67, S95)を含む。

この発明によれば、複数のカメラは共通視野を部分的に有する姿勢で斜めから基準面を捉えるため、共通視野に現れた立体物の姿勢は複数のカメラにそれぞれ対応する複数の鳥瞰画像の間で相違する。共通視野に現れた立体物の位置はこのような複数の鳥瞰画像の各々から検出され、検出された位置の画像は複数の鳥瞰画像から共通的に排除される。複数の鳥瞰画像の合成処理は、このような排除処理の後に残った複数の画像間の輝度および／または色の相違が抑制される態様で実行される。これによって、合成された鳥瞰画像の品質を向上させることができる。

この発明の上述の目的，その他の目的，特徴および利点は、図面を参照して行う以下の実施例の詳細な説明から一層明らかとなろう。

この発明の基本的構成を示すブロック図である。 この発明の一実施例の構成を示すブロック図である。 図２実施例が搭載された車両の一例を示す斜視図である。 車両に取り付けられた複数のカメラによって捉えられる視野を示す図解図である。 カメラの出力に基づく鳥瞰画像の作成動作の一部を示す図解図である。 表示装置によって表示される運転支援画像の一例を示す図解図である。 画素選別動作のために参照されるエリアの一例を示す図解図である。 画素選別動作のために参照される部分重複エリアの画像の一例を示す図解図である。 （Ａ）は鳥瞰画像ＢＥＶ＿０に対する画素選別動作の一例を示す図解図であり、（Ｂ）は鳥瞰画像ＢＥＶ＿１に対する画素選別動作の一例を示す図解図である。 色度に注目した画素選別動作の一部を示す図解図である。 輝度に注目した画素選別動作の一部を示す図解図である。 輝度に注目した画素選別動作の他の一部を示す図解図である。 輝度を補正するためのゲインの算出動作の一部を示す図解図である。 輝度補正特性の一例を示す図解図である。 色度を補正するためのオフセットの算出動作の一部を示す図解図である。 図２実施例に適用されるＣＰＵの動作の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作のさらにその他の一部を示すフロー図である。 図２実施例に適用されるＣＰＵの動作の他の一部を示すフロー図である。

以下、この発明の実施の形態を図面を参照しながら説明する。
［基本的構成］

図１を参照して、この発明の画像処理装置は、基本的に次のように構成される。変換手段２は、共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラ１，１，…から出力された複数の被写界像を、基準面に対する複数の鳥瞰画像に変換する。第１検出手段３は、共通視野に存在する立体物を表す画像の位置を、変換手段２によって変換された複数の鳥瞰画像の各々から排除位置として検出する。排除手段４は、変換手段２によって変換された複数の鳥瞰画像から排除位置の画像を共通的に排除する。合成手段５は、変換手段２によって変換された複数の鳥瞰画像を、排除手段４の排除処理の後に残った複数の画像間の輝度および／または色度の相違が抑制される態様で合成する。

複数のカメラ１，１，…は共通視野を部分的に有する姿勢で斜めから基準面を捉えるため、共通視野に現れた立体物の姿勢は複数のカメラ１，１，…にそれぞれ対応する複数の鳥瞰画像の間で相違する。共通視野に現れた立体物の位置はこのような複数の鳥瞰画像の各々から検出され、検出された位置の画像は複数の鳥瞰画像から共通的に排除される。複数の鳥瞰画像の合成処理は、このような排除処理の後に残った複数の画像間の輝度および／または色の相違が抑制される態様で実行される。これによって、合成された鳥瞰画像の品質を向上させることができる。
［実施例］

図２に示すこの実施例の操縦支援装置１０は、４個のカメラＣＭ＿０〜ＣＭ＿３を含む。カメラＣＭ＿０〜ＣＭ＿３はそれぞれ、被写界像Ｐ＿０〜Ｐ＿３を１／３０秒毎に出力する。出力された被写界像Ｐ＿０〜Ｐ＿３は、画像処理回路１２に与えられる。

図３を参照して、カメラＣＭ＿０は、カメラＣＭ＿０の光軸が車両１００の前方斜め下向きに延びる姿勢で、車両１００の前上側部に設置される。カメラＣＭ＿１は、カメラＣＭ＿１の光軸が車両１００の右方斜め下向きに延びる姿勢で、車両１００の右上側部に設置される。カメラＣＭ＿２は、カメラＣＭ＿２の光軸が車両１００の後方斜め下向きに延びる姿勢で、車両１００の後上側部に設置される。カメラＣＭ＿３は、カメラＣＭ＿３の光軸が車両１００の左方斜め下向きに延びる姿勢で、車両１００の左上側部に設置される。車両１００の周辺の被写界は、このようなカメラＣＭ＿０〜ＣＭ＿３によって、路面に斜めに交差する方向から捉えられる。

図４に示すように、カメラＣＭ＿０は車両１００の前方向を捉える視野ＶＷ＿０を有し、カメラＣＭ＿１は車両１００の右方向を捉える視野ＶＷ＿１を有し、カメラＣＭ＿２は車両１００の後方向を捉える視野ＶＷ＿２を有し、そしてカメラＣＭ＿３は車両１００の左方向を捉える視野ＶＷ＿３を有する。なお、視野ＶＷ＿０およびＶＷ＿１は共通視野ＣＶＷ＿０を有し、視野ＶＷ＿１およびＶＷ＿２は共通視野ＣＶＷ＿１を有し、視野ＶＷ＿２およびＶＷ＿３は共通視野ＣＶＷ＿２を有し、そして視野ＶＷ＿３およびＶＷ＿０は共通視野ＣＶＷ＿３を有する。

図２に戻って、画像処理回路１２に設けられたＣＰＵ１２ｐは、カメラＣＭ＿０から出力された被写界像Ｐ＿０に基づいて鳥瞰画像ＢＥＶ＿０を生成し、カメラＣＭ＿１から出力された被写界像Ｐ＿１に基づいて鳥瞰画像ＢＥＶ＿１を生成する。ＣＰＵ１２ｐはまた、カメラＣ＿２から出力された被写界像Ｐ＿２に基づいて鳥瞰画像ＢＥＶ＿２を生成し、カメラＣ＿３から出力された被写界像Ｐ＿３に基づいて鳥瞰画像ＢＥＶ＿３を生成する。

図５から分かるように、鳥瞰画像ＢＥＶ＿０は視野ＶＷ＿０を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿１は視野ＶＷ＿１を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。また、鳥瞰画像ＢＥＶ＿２は視野ＶＷ＿２を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当し、鳥瞰画像ＢＥＶ＿３は視野ＶＷ＿３を鉛直方向に見下ろす仮想カメラによって捉えられた画像に相当する。生成された鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３は、メモリ１２ｍに保持される。

ＣＰＵ１２ｐは続いて、図４に示す再現ブロックＢＬＫに対応する切り出し線ＣＴ＿０〜ＣＴ＿３を鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３上で定義し、定義された切り出し線ＣＴ＿０〜ＣＴ＿３よりも内側に存在する一部の画像を合成して全周鳥瞰画像を作成する。作成された全周鳥瞰画像の中央には、車両１００の上部を模した車両画像ＧＬ１が貼り付けられる。これによって、図６に示す運転支援画像が完成する。

図６によれば、重複エリアＤＰ＿０が共通視野ＣＶＷ＿０に対応して形成され、重複エリアＤＰ＿１が共通視野ＣＶＷ＿１に対応して形成される。また、重複エリアＤＰ＿２が共通視野ＣＶＷ＿２に対応して形成され、重複エリアＤＰ＿３が共通視野ＣＶＷ＿３に対応して形成される。作成された運転支援画像は、表示装置１４のモニタ画面に表示される。表示装置１４は運転席に設置され、ドライバはモニタ画面を参照しながら車両１００を操縦する。

鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３は、カメラＣＭ＿０〜ＣＭ＿３の設定の誤差などに起因する輝度差および／または色度差を有する。そこで、この実施例では、全周鳥瞰画像を作成する前に、鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３の輝度および／または色度を以下に述べる要領で補正するようにしている。
参照エリアの位置的な制限

車両１００の周囲には、再現ブロックＢＬＫの広がりよりも小さい広がりを有する評価エリアＥＶＡが、図７に示す要領で定義される。鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３は、評価エリアＥＶＡに対応して図８に示すように再現される。また、重複エリアＤＰ＿０〜ＤＰ＿３のうち評価エリアＥＶＡに属する一部のエリアは、部分重複エリアＰＤＰ＿０〜ＰＤＰ＿３と定義される。
輝度および／または色度補正のために参照される画素の選別

鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３は路面を基準とする鳥瞰変換によって作成されるため、たとえば部分重複エリアＰＤＰ＿０に立体物ＯＢＪが存在すれば、この立体物ＯＢＪの姿勢は図９（Ａ）〜図９（Ｂ）に示すように鳥瞰画像ＢＥＶ＿０およびＢＥＶ＿１の間で相違する。本手法では、隣接するカメラに写る同一物体の同一箇所の輝度差を比較することで輝度や彩度、色の補正を行うことを主眼としているので、このような立体物を表す画像は、輝度および／または色度補正の精度を低下させるおそれがある。また、画像内の輝度変化が激しい部分や、ハレーション等によって極端に高い輝度を有する部分、低照度によって極端に低い輝度を有する部分なども、輝度および／または色度補正の精度を低下させるおそれがある。

このような補正精度の低下を引き起こすおそれのある画素は、以下の要領で検出され、かつ参照画素から排除される。
（１）立体物を表す画素の検出と排除

２つの鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１（ｊ：０〜３）の間の色度差が閾値Ｃｔｈを上回るか否かが、部分重複エリアＰＤＰ＿ｉ（ｉ：０〜３）の座標（ｘ，ｙ）に存在する２つの画素に注目して判別される。

図１０に示すように、部分重複エリアＰＤＰ＿０については鳥瞰画像ＢＥＶ＿０およびＢＥＶ＿１の間の色度差が閾値Ｃｔｈと比較され、部分重複エリアＰＤＰ＿１については鳥瞰画像ＢＥＶ＿１およびＢＥＶ＿２の間の色度差が閾値Ｃｔｈと比較される。また、部分重複エリアＰＤＰ＿２については鳥瞰画像ＢＥＶ＿２およびＢＥＶ＿３の間の色度差が閾値Ｃｔｈと比較され、部分重複エリアＰＤＰ＿３については鳥瞰画像ＢＥＶ＿３およびＢＥＶ＿０の間の色度差が閾値Ｃｔｈと比較される。

具体的には、数１が満足されるか否かが判別される。数１において、“Ｕｉｊｘｙ”および“Ｖｉｊｘｙ”はそれぞれ、部分重複エリアＰＤＰ＿ｉの座標（ｘ，ｙ）に存在する鳥瞰画像ＢＥＶ＿ｊのＵ系色度およびＶ系色度を表す。また、“Ｕｉ（ｊ＋１）ｘｙ”および“Ｖｉ（ｊ＋１）ｘｙ”はそれぞれ、部分重複エリアＰＤＰ＿ｉの座標（ｘ，ｙ）に存在する鳥瞰画像ＢＥＶ＿ｊ＋１のＵ系色度およびＶ系色度を表す。

座標（ｘ，ｙ）に存在する２画素の色度差が大きければ、この２画素の少なくとも一方は立体物を表す画素である可能性が高い。このため、色度差が閾値Ｃｔｈを上回る２画素は、鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１からそれぞれ排除される。排除された後の鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１の形状は、図９（Ａ）および図９（Ｂ）に示すように互いに一致する。
（２）鮮鋭度が高い画素（画像内の輝度変化が激しい部分）の排除

鳥瞰画像ＢＥＶ＿ｊの平坦度および鳥瞰画像ＢＥＶ＿ｊ＋１の鮮鋭度の和が閾値Ｙｔｈを上回るか否かが、部分重複エリアＰＤＰ＿ｉ（ｉ：０〜３）の座標（ｘ，ｙ）に存在する２つの画素に注目して判別される。

図１１に示すように、部分重複エリアＰＤＰ＿０については鳥瞰画像ＢＥＶ＿０の鮮鋭度および鳥瞰画像ＢＥＶ＿１の鮮鋭度の和が閾値Ｙｔｈと比較され、部分重複エリアＰＤＰ＿１については鳥瞰画像ＢＥＶ＿１の鮮鋭度および鳥瞰画像ＢＥＶ＿２の鮮鋭度の和が閾値Ｙｔｈと比較される。また、部分重複エリアＰＤＰ＿２については鳥瞰画像ＢＥＶ＿２の鮮鋭度および鳥瞰画像ＢＥＶ＿２の鮮鋭度の和が閾値Ｙｔｈと比較され、部分重複エリアＰＤＰ＿３については鳥瞰画像ＢＥＶ＿３の鮮鋭度および鳥瞰画像ＢＥＶ＿０の鮮鋭度の和が閾値Ｙｔｈと比較される。

具体的には、数２が満足されるか否かが判別される。数２において、“Ｙｉｊｘｙ”は部分重複エリアＰＤＰ＿ｉの座標（ｘ，ｙ）に存在する鳥瞰画像ＢＥＶ＿ｊの輝度を表し、“Ｙｉ（ｊ＋１）ｘｙ”は部分重複エリアＰＤＰ＿ｉの座標（ｘ，ｙ）に存在する鳥瞰画像ＢＥＶ＿ｊ＋１の輝度を表す。

数２を満足する２画素は、鮮鋭度の高い画素であるとして、鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１からそれぞれ排除される。

なお、閾値Ｙｔｈの大きさが固定であれば、輝度の低下とともに判別能力が低下する。このため、閾値Ｙｔｈの大きさは数３に従って算出される（傾きＳは数４に従って算出）。

これによって、図１２に示す網掛け部分の輝度を有する画素が鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１から排除される。図示は省略するが、上述と同様、排除された後の鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１の形状は互いに一致する。

なお、本実施例では説明を簡単にするため、“Ｙｉｊｘｙ”は部分重複エリアＰＤＰ＿ｉの座標（ｘ，ｙ）に存在する鳥瞰画像ＢＥＶ＿ｊの輝度を表すとしている。ハードウェアの実装によっては、本実施例のようにカメラ毎に鳥瞰画像に変換したものを一旦メモリに蓄えずに現画像から直接全周鳥瞰画像を生成する場合がある。

この場合、数２における“Ｙｉｊｘｙ”は部分重複エリアＰＤＰ＿ｉの座標（ｘ，ｙ）に存在する鳥瞰画像ＢＥＶ＿ｊの輝度を表すが、Ｙｉｊｘｙの周辺画素値Ｙｉｊ（ｘ＋ｍ）（ｙ＋ｎ）は現画像内におけるＹｉｊｘｙの周辺画素であってもよい。要は、Ｙｉｊｘｙ近辺の輝度変動の激しい部分を除外できればよい。
（３）高輝度画素と低輝度画素の排除

鳥瞰画像ＢＥＶ＿ｊを形成する各画素の輝度が、閾値Ｓ＿ｌｏｗおよびＳ＿ｈｉｇｈの各々と比較される。閾値Ｓ＿ｌｏｗを下回る輝度を有する画素または閾値Ｓ＿ｈｉｇｈを上回る輝度を有する画素（図１２にハッチングで示す範囲に属する画素）が検出されると、この検出画素が鳥瞰画像ＢＥＶ＿ｊから排除されるとともに、この検出画素に共通する画素が鳥瞰画像ＢＥＶ＿ｊ＋１から排除される。図示は省略するが、上述と同様、排除された後の鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１の形状は互いに一致する。
総輝度の算出

鳥瞰画像ＢＥＶ＿ｊのうち重複エリアＰＤＰ＿ｉに属する一部の画像の総輝度は、上述の画素選別処理（排除処理）の後に残った画素を対象とする数５の演算によって、“ＳＵＭ＿Ｙｉｊ”として算出される。

基準輝度ゲインの算出

図１３を参照して、再現ブロックＢＬＫのうち車両１００の前方に対応する短辺の右側をエッジＥＤＧ＿ＦＲと定義し、再現ブロックＢＬＫのうち車両１００の後方に対応する短辺の右側をエッジＥＤＧ＿ＢＲと定義する。また、再現ブロックＢＬＫのうち車両１００の前方に対応する短辺の左側をエッジＥＤＧ＿ＦＬと定義し、再現ブロックＢＬＫのうち車両１００の後方に対応する短辺の右側をエッジＥＤＧ＿ＦＬと定義する。

さらに、エッジＥＤＧ＿ＦＲにおける基準輝度ゲインを“Ｇｙ＿ＦＲ”と定義し、エッジＥＤＧ＿ＢＲにおける基準輝度ゲインを“Ｇｙ＿ＢＲ”と定義する。また、エッジＥＤＧ＿ＦＬにおける基準輝度ゲインを“Ｇｙ＿ＦＬ”と定義し、エッジＥＤＧ＿ＢＬにおける基準輝度ゲインを“Ｇｙ＿ＢＬ”と定義する。すると、ゲインＧｙ＿ＦＲ〜Ｇｙ＿ＢＬは、数６に従って算出される。

数６によれば、基準輝度ゲインＧｙ＿ＦＲは総輝度ＳＵＭ＿Ｙ００およびＳＵＭ＿Ｙ０１の相違に対応する大きさを示し、基準輝度ゲインＧｙ＿ＢＲは総輝度ＳＵＭ＿Ｙ１２およびＳＵＭ＿Ｙ１１の相違に対応する大きさを示す。また、基準輝度ゲインＧｙ＿ＦＬは総輝度ＳＵＭ＿Ｙ３０およびＳＵＭ＿Ｙ３３の相違に対応する大きさを示し、基準輝度ゲインＧｙ＿ＢＬは総輝度ＳＵＭ＿Ｙ２２およびＳＵＭ＿Ｙ２３の相違に対応する大きさを示す。
目標輝度ゲインの算出

車両１００の右側を表す鳥瞰画像ＢＥＶ＿１の各画素に付与する目標輝度ゲインを“Ｇｙ＿Ｒ”と定義し、車両１００の左側を表す鳥瞰画像ＢＥＶ＿３の各画素に付与する目標輝度ゲインを“Ｇｙ＿Ｌ”と定義する。すると、目標輝度ゲインＧｙ＿Ｒは基準輝度ゲインＧｙ＿ＦＲおよびＧｙ＿ＢＲと注目画素の位置とを参照した線形補間によって算出され、目標輝度ゲインＧｙ＿ＬはゲインＧｙ＿ＦＬおよびＧｙ＿ＢＬと注目画素の位置とを参照した線形補間によって算出する。具体的には、目標輝度ゲインＧｙ＿Ｒは数７に従って算出され、目標輝度ゲインＧｙ＿Ｌは数８に従って算出される。

車両１００の右側に対応する目標輝度ゲインＧｙ＿Ｒと車両１００の左側に対応する目標輝度ゲインＧｙ＿Ｌとを別々算出することで、車両１００の右側を別の車両が通過し、車両の左側に単調な模様の路面があるような場合に、ゲインの大きさの信頼性が確保される。
目標輝度ゲインの大きさの制限

目標輝度ゲインの大きさが“１”から著しく外れる場合、その大きさが誤りであれば、全周鳥瞰画像の品質が大きく低下する。このような現象を回避するために、目標輝度ゲインを付与された画素の輝度レベル（補正輝度レベル）の上限および下限が図１４に示す範囲に収まるように、目標輝度ゲインの大きさが制限される。

ただし、画素選別処理の後に残った画素の数が小さければ、重複エリアＰＤＰ＿ｉに立体物が存在する可能性が高い。このような状態では、算出した目標輝度ゲインが正しいとは言い難く、目標輝度ゲインの大きさを抑制する方がより好ましいと言える。また、車両１００周辺状況の変動量は車両１００が移動速度の増大に伴って増大し、目標輝度ゲインを参照した輝度補正の精度もまた車両１００の移動速度の増大に伴って低下する。

そこで、補正輝度レベルの上限および下限は、画素選別処理の後に残った画素の数と速度センサ１８によって検知された車両１００の移動速度とに基づいて適応的に調整される。つまり、目標輝度ゲインの大きさは、画素選別処理の後に残った画素の数の低減および／または車両１００の移動速度の増大に伴って“１”に近づく。
平均色度の算出

鳥瞰画像ＢＥＶ＿ｊのうち重複エリアＰＤＰ＿ｉに属する一部の画像のＵ系総色度は、上述の画素選別処理の後に残った画素を対象とする数９の演算によって、“ＳＵＭ＿Ｕｉｊ”として算出される。同様に、鳥瞰画像ＢＥＶ＿ｊのうち重複エリアＰＤＰ＿ｉに属する一部の画像のＶ系総色度は、上述の画素選別処理の後に残った画素を対象とする数１０の演算によって、“ＳＵＭ＿Ｖｉｊ”として算出される。

さらに、鳥瞰画像ＢＥＶ＿ｊのうち重複エリアＰＤＰ＿ｉに属する一部の画像のＵ系平均色度は、数１１の演算によって“ＡＶＥ＿Ｕｉｊ”として算出される。同様に、鳥瞰画像ＢＥＶ＿ｊのうち重複エリアＰＤＰ＿ｉに属する一部の画像のＶ系平均色度は、数１２の演算によって“ＡＶＥ＿Ｕｉｊ”として算出される。なお、“ＣＮＴｉ”は、重複エリアＰＤＰ＿ｉにおける画素選別処理の後に残った画素の数に相当する。

基準オフセットの算出

図１５を参照して、エッジＥＤＧ＿ＦＲにおけるＵ系基準オフセットを“ＯＦＳＴｕ＿ＦＲ”と定義し、エッジＥＤＧ＿ＢＲにおけるＵ系基準オフセットを“ＯＦＳＴｕ＿ＢＲ”と定義する。また、エッジＥＤＧ＿ＦＬにおけるＵ系基準オフセットを“ＯＦＳＴｕ＿ＦＬ”と定義し、エッジＥＤＧ＿ＢＬにおけるＵ系基準オフセットを“ＯＦＳＴｕ＿ＢＬ”と定義する。すると、Ｕ系基準オフセットＯＦＳＴｕ＿ＦＲ〜ＯＦＳＴｕ＿ＢＬは、数１３に従って算出される。

数１３によれば、Ｕ系基準オフセットＯＦＳＴｕ＿ＦＲはＵ系平均色度ＡＶＥ＿Ｕ００およびＡＶＥ＿Ｕ０１の相違に対応する大きさを示し、Ｕ系基準オフセットＯＦＳＴｕ＿ＢＲはＵ系平均色度ＡＶＥ＿Ｕ１２およびＡＶＥ＿Ｕ１１の相違に対応する大きさを示す。また、Ｕ系基準オフセットＯＦＳＴｕ＿ＦＬはＵ系平均色度ＡＶＥ＿Ｕ３０およびＡＶＥ＿Ｕ３３の相違に対応する大きさを示し、Ｕ系基準オフセットＯＦＳＴｕ＿ＢＬはＵ系平均色度ＡＶＥ＿Ｕ２２およびＡＶＥ＿Ｕ２３の相違に対応する大きさを示す。

同様に、エッジＥＤＧ＿ＦＲにおけるＶ系基準オフセットを“ＯＦＳＴｖ＿ＦＲ”と定義し、エッジＥＤＧ＿ＢＲにおけるＶ系基準オフセットを“ＯＦＳＴｖ＿ＢＲ”と定義する。また、エッジＥＤＧ＿ＦＬにおけるＶ系基準オフセットを“ＯＦＳＴｖ＿ＦＬ”と定義し、エッジＥＤＧ＿ＢＬにおけるＶ系基準オフセットを“ＯＦＳＴｖ＿ＢＬ”と定義する。すると、Ｖ系基準オフセットＯＦＳＴｖ＿ＦＲ〜ＯＦＳＴｖ＿ＢＬは、数１４に従って算出される。

数１４によれば、Ｖ系基準オフセットＯＦＳＴｖ＿ＦＲはＶ系平均色度ＡＶＥ＿Ｖ００およびＡＶＥ＿Ｖ０１の相違に対応する大きさを示し、Ｖ系基準オフセットＯＦＳＴｖ＿ＢＲはＶ系平均色度ＡＶＥ＿Ｖ１２およびＡＶＥ＿Ｖ１１の相違に対応する大きさを示す。また、Ｖ系基準オフセットＯＦＳＴｖ＿ＦＬはＶ系平均色度ＡＶＥ＿Ｖ３０およびＡＶＥ＿Ｖ３３の相違に対応する大きさを示し、Ｖ系基準オフセットＯＦＳＴｖ＿ＢＬはＶ系平均色度ＡＶＥ＿Ｖ２２およびＡＶＥ＿Ｖ２３の相違に対応する大きさを示す。
目標オフセットの算出

車両１００の右側を表す鳥瞰画像ＢＥＶ＿１の各画素に付与するＵ系目標オフセットおよびＶ系目標オフセットをそれぞれ“ＯＦＳＴｕ＿Ｒ”および“ＯＦＳＴｖ＿Ｒ”と定義する。すると、Ｕ系目標オフセット“ＯＦＳＴｕ＿Ｒ”はＵ系基準オフセットＯＦＳＴｕ＿ＦＲおよびＯＦＳＴｕ＿ＢＲと注目画素の位置とを参照した線形補間によって算出され、Ｖ系目標オフセット“ＯＦＳＴｖ＿Ｒ”はＶ系基準オフセットＯＦＳＴｖ＿ＦＲおよびＯＦＳＴｖ＿ＢＲと注目画素の位置とを参照した線形補間によって算出される。具体的には、Ｕ系目標オフセットＯＦＳＴｕ＿Ｒは数１５に従って算出され、Ｖ系目標オフセットＯＦＳＴｖ＿Ｒは数１６に従って算出される。

同様に、車両１００の左側を表す鳥瞰画像ＢＥＶ＿３の各画素に付与するＵ系目標オフセットおよびＶ系目標オフセットをそれぞれ“ＯＦＳＴｕ＿Ｌ”および“ＯＦＳＴｖ＿Ｌ”と定義する。すると、Ｕ系目標オフセット“ＯＦＳＴｕ＿Ｌ”はＵ系基準オフセットＯＦＳＴｕ＿ＦＬおよびＯＦＳＴｕ＿ＢＬと注目画素の位置とを参照した線形補間によって算出され、Ｖ系目標オフセット“ＯＦＳＴｖ＿Ｌ”はＶ系基準オフセットＯＦＳＴｖ＿ＦＬおよびＯＦＳＴｖ＿ＢＬと注目画素の位置とを参照した線形補間によって算出される。具体的には、Ｕ系目標オフセットＯＦＳＴｕ＿Ｌは数１７に従って算出され、Ｖ系目標オフセットＯＦＳＴｖ＿Ｌは数１８に従って算出される。

色ゲインの算出

色に対するゲイン補正は、色オフセット補正を行った画像に対して、彩度を変更する形で行う。カメラＣＭ＿０〜ＣＭ＿３の間の露光量の相違に起因する彩度の相違を補正するためには、好ましくは彩度ゲインは輝度ゲインと同一にする必要がある。しかし、輝度ゲインは非線形であるため、単純に彩度ゲインを輝度ゲインに合せるのでは、隣接画素との間でＵ系色度の大小関係またはＶ系色度の大小関係が逆転する場合が発生し易くなる。また、Ｕ系色度またはＶ系色度が飽和する場合が出てくる。そこで、Ｕ系色度およびＶ系色度に付与する色ゲイン（彩度ゲイン）は輝度ゲインのＫ倍（Ｋ：たとえば０．３）とし、飽和はクリッピングによって解消する。

図６に示す運転支援画像は、このような輝度補正および／または色度補正が完了した後に作成される。このとき、重複エリアＤＰ＿０については、鳥瞰画像ＢＥＶ＿０の重み付け量が“０”に設定され、鳥瞰画像ＢＥＶ＿１の重み付け量が“１”に設定される。また、重複エリアＤＰ＿１については、鳥瞰画像ＢＥＶ＿１の重み付け量が“１”に設定され、鳥瞰画像ＢＥＶ＿２の重み付け量が“０”に設定される。

さらに、重複エリアＤＰ＿２については、鳥瞰画像ＢＥＶ＿２の重み付け量が“０”に設定され、鳥瞰画像ＢＥＶ＿３の重み付け量が“１”に設定される。また、重複エリアＤＰ＿４については、鳥瞰画像ＢＥＶ＿３の重み付け量が“１”に設定され、鳥瞰画像ＢＥＶ＿０の重み付け量が“０”に設定される。

ＣＰＵ１２ｐは、具体的には、図１６〜図２６に示すフロー図に従う処理を実行する。なお、これらのフロー図に対応する制御プログラムは、フラッシュメモリ１６に記憶される。

図１６を参照して、ステップＳ１では内部同期のための垂直同期信号Ｖｓｙｎｃが発生したか否かを判別する。判別結果がＮＯからＹＥＳに更新されるとステップＳ３に進み、メモリ１２ｍに格納された被写界像Ｐ＿０〜Ｐ＿３を鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３に変換する。続いて、ステップＳ５で画素選別処理を実行し、ステップＳ７で輝度補正処理を実行し、そしてステップＳ９で色度補正処理を実行する。ステップＳ９の処理が完了すると、ステップＳ１１で全周鳥瞰画像を作成し、その後にステップＳ１に戻る。

ステップＳ５の画素選別処理は、図１７〜図１８に示すサブルーチンに従って実行される。まずステップＳ２１で変数ｉを“０”に設定し、ステップＳ２３で部分重複エリアＰＤＰ＿ｉの先頭画素を指定する。ステップＳ２５では、上述した数１が満足されるか否かを判別する。判別結果がＮＯであればそのままステップＳ２９に進む一方、判別結果がＹＥＳであればステップＳ２７の処理を経てステップＳ２９に進む。ステップＳ２７では、鳥瞰画像ＢＥＶ＿ｊおよびＢＥＶ＿ｊ＋１の両方から指定画素を排除する。

ステップＳ２９では、数３および数４を参照して閾値Ｙｔｈを算出し、ステップＳ３１では数２が満足されるか否かを判別する。判別結果がＮＯであればそのままステップＳ３５に進む一方、判別結果がＹＥＳであればステップＳ３３でステップＳ２７と同様の排除処理を実行してからステップＳ３５に進む。

ステップＳ３５では、鳥瞰画像ＢＥＶ＿ｊ上の指定画素の輝度が既定の輝度範囲（Ｓ＿ｌｏｗ〜Ｓ＿ｈｉｇｈの範囲）から外れるか否かを判別する。判別結果がＮＯであればそのままステップＳ３９に進む一方、判別結果がＹＥＳであればステップＳ３７でステップＳ２７と同様の排除処理を実行してからステップＳ３９に進む。

ステップＳ３９では指定画像が重複エリアＰＤＰ＿ｉの末尾画素であるか否かを判別し、ステップＳ４３では変数ｉが“３”であるか否かを判別する。ステップＳ３９でＮＯであれば、ステップＳ４１で重複エリアＰＤＰ＿ｉの次画素を指定し、その後にステップＳ２５に戻る。ステップＳ３９でＹＥＳでかつステップＳ４１でＮＯであれば、ステップＳ４５で変数ｉおよびｊをインクリメントし、その後にステップＳ２３に戻る。なお、変数ｉおよびｊはいずれも“０”〜“３”の間で循環する数値を示し、変数ｊが“３”を示すとき、変数“ｊ＋１”は“０”を示す。ステップＳ３９およびＳ４３のいずれもＹＥＳであれば、上階層のルーチンに復帰する。

図１６に示すステップＳ７の輝度補正処理は、図１９〜図２２に示すサブルーチンに従って実行される。

まずステップＳ５１で、速度センサ１８の出力に基づいて車両１００の移動速度を“ＳＰＤ”として検出する。ステップＳ５３では鳥瞰画像ＢＥＶ＿０から部分重複エリアＰＤＰ＿０に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ００”として算出する。ステップＳ５５では鳥瞰画像ＢＥＶ＿１から部分重複エリアＰＤＰ＿０に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ０１”として算出する。

ステップＳ５７では鳥瞰画像ＢＥＶ＿１から部分重複エリアＰＤＰ＿１に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ１１”として算出する。ステップＳ５９では鳥瞰画像ＢＥＶ＿２から部分重複エリアＰＤＰ＿１に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ１２”として算出する。

なお、総輝度“ＳＵＭ＿Ｙ００”，“ＳＵＭ＿Ｙ０１”，“ＳＵＭ＿Ｙ１１”，“ＳＵＭ＿Ｙ１２”はいずれも、上述のステップＳ２７，Ｓ３３およびＳ３７の排除処理の後に残った画素の輝度の総和に相当し、上述の数５を参照して算出される。

ステップＳ６１では、部分重複エリアＰＤＰ＿０に対する排除処理の後に残った画素の数を“ＣＮＴ１”として検出する。また、ステップＳ６３では、部分重複エリアＰＤＰ＿１に対する排除処理の後に残った画素の数を“ＣＮＴ２”として検出する。

ステップＳ６５では、エッジＥＧＤ＿ＦＲに対応する基準輝度ゲインＧｙ＿ＦＲとエッジＥＧＤ＿ＢＲに対応する基準輝度ゲインＧｙ＿ＢＲとを、数６を参照して算出する。ステップＳ６７では、移動速度ＳＰＤと画素数ＣＮＴ０およびＣＮＴ１とに基づいて、図１４に示す補正輝度レベルの上限および下限（輝度補正範囲）を決定する。輝度補正範囲は、移動速度ＳＰＤが増大するほど、或いは画素数ＣＮＴ０および／またはＣＮＴ１が減少するほど、狭くなる。

ステップＳ６７の処理が完了すると、ステップＳ６９で鳥瞰画像ＢＥＶ＿１の先頭画素を指定する。ステップＳ７１では、指定画素に対応する目標輝度ゲインＧｙ＿Ｒを数７に従って算出する。ステップＳ７３では、算出された目標輝度ゲインＧｙ＿ＲをステップＳ６７で決定された輝度補正範囲を参照して補正する。ステップＳ７５では、補正されたゲインＧｙ＿Ｒ’を指定画素の輝度に付与する。ステップＳ７７では指定画素が鳥瞰画像ＢＥＶ＿１の末尾画素であるか否かを判別する。判別結果がＮＯであれば、ステップＳ７９で鳥瞰画像ＢＥＶ＿１の次画素を指定し、その後にステップＳ７１に戻る。判別結果がＹＥＳであれば、ステップＳ８１に進む。

ステップＳ８１では鳥瞰画像ＢＥＶ＿２から部分重複エリアＰＤＰ＿２に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ２２”として算出する。ステップＳ８３では鳥瞰画像ＢＥＶ＿３から部分重複エリアＰＤＰ＿２に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ２３”として算出する。

ステップＳ８５では鳥瞰画像ＢＥＶ＿０から部分重複エリアＰＤＰ＿３に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ３０”として算出する。ステップＳ８７では鳥瞰画像ＢＥＶ＿３から部分重複エリアＰＤＰ＿３に対応する一部の画像を特定し、特定された画像の総輝度を“ＳＵＭ＿Ｙ３３”として算出する。

上述と同様、総輝度“ＳＵＭ＿Ｙ２２”，“ＳＵＭ＿Ｙ２３”，“ＳＵＭ＿Ｙ３０”，“ＳＵＭ＿Ｙ３３”も、ステップＳ２７，Ｓ３３およびＳ３７の排除処理の後に残った画素の輝度の総和に相当し、上述の数５を参照して算出される。

ステップＳ８９では、部分重複エリアＰＤＰ＿２に対する排除処理の後に残った画素の数を“ＣＮＴ２”として検出する。また、ステップＳ９１では、部分重複エリアＰＤＰ＿３に対する排除処理の後に残った画素の数を“ＣＮＴ３”として検出する。

ステップＳ９３では、エッジＥＧＤ＿ＦＬに対応する基準輝度ゲインＧｙ＿ＦＬとエッジＥＧＤ＿ＢＬに対応する基準輝度ゲインＧｙ＿ＢＬとを、数６を参照して算出する。ステップＳ９５では、移動速度ＳＰＤと画素数ＣＮＴ２およびＣＮＴ３とに基づいて輝度補正範囲を決定する。

ステップＳ９５の処理が完了すると、ステップＳ９７で鳥瞰画像ＢＥＶ＿３の先頭画素を指定する。ステップＳ９９では、指定画素に対応する目標輝度ゲインＧｙ＿Ｌを数８に従って算出する。ステップＳ１０１では、算出された目標輝度ゲインＧｙ＿ＬをステップＳ９５で決定された輝度補正範囲を参照して補正する。ステップＳ１０３では、補正されたゲインＧｙ＿Ｌ’を指定画素の輝度に付与する。ステップＳ１０５では指定画素が鳥瞰画像ＢＥＶ＿３の末尾画素であるか否かを判別する。判別結果がＮＯであれば、ステップＳ１０７で鳥瞰画像ＢＥＶ＿３の次画素を指定し、その後にステップＳ９９に戻る。判別結果がＹＥＳであれば、上階層のルーチンに復帰する。

図１６に示すステップＳ９の色度補正処理は、図２３〜図２６に示すサブルーチンに従って実行される。

ステップＳ１１１では、鳥瞰画像ＢＥＶ＿０から部分重複エリアＰＤＰ＿０に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ００”および“ＡＶＥ＿Ｖ００”として算出する。ステップＳ１１３では、鳥瞰画像ＢＥＶ＿１から部分重複エリアＰＤＰ＿０に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ０１”および“ＡＶＥ＿Ｖ０１”として算出する。

ステップＳ１１５では、鳥瞰画像ＢＥＶ＿１から部分重複エリアＰＤＰ＿１に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ１１”および“ＡＶＥ＿Ｖ１１”として算出する。ステップＳ１１７では、鳥瞰画像ＢＥＶ＿２から部分重複エリアＰＤＰ＿１に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ１２”および“ＡＶＥ＿Ｖ１２”として算出する。

なお、Ｕ系平均色度“ＳＵＭ＿Ｕ００”，“ＳＵＭ＿Ｕ０１”，“ＳＵＭ＿Ｕ１１”，“ＳＵＭ＿Ｕ１２”はいずれも、上述のステップＳ２７，Ｓ３３およびＳ３７の排除処理の後に残った画素を形成するＵ成分の平均値に相当し、上述の数９および数１１を参照して算出される。

同様に、Ｖ系平均色度“ＳＵＭ＿Ｖ００”，“ＳＵＭ＿Ｖ０１”，“ＳＵＭ＿Ｖ１１”，“ＳＵＭ＿Ｖ１２”はいずれも、上述のステップＳ２７，Ｓ３３およびＳ３７の排除処理の後に残った画素を形成するＶ成分の平均値に相当し、上述の数１０および数１２を参照して算出される。

ステップＳ１１９では、エッジＥＧＤ＿ＦＲに対応するＵ系基準オフセットＯＦＳＴｕ＿ＦＲとエッジＥＧＤ＿ＢＲに対応するＵ系基準オフセットＯＦＳＴｕ＿ＢＲとを、数１３を参照して算出する。ステップＳ１２１では、エッジＥＧＤ＿ＦＲに対応するＶ系基準オフセットＯＦＳＴｖ＿ＦＲとエッジＥＧＤ＿ＢＲに対応するＶ系基準オフセットＯＦＳＴｖ＿ＢＲとを、数１４を参照して算出する。

ステップＳ１２３では、鳥瞰画像ＢＥＶ＿１の先頭画素を指定する。ステップＳ１２５では指定画素に対応するＵ系目標オフセットＯＦＳＴｕ＿Ｒを数１５を参照して算出し、ステップＳ１２７では指定画素に対応するＶ系目標オフセットＯＦＳＴｖ＿Ｒを数１６を参照して算出する。ステップＳ１２９では算出されたＵ系目標オフセットＯＦＳＴｕ＿Ｒを指定画素のＵ系色度に付加し、ステップＳ１３１では算出されたＶ系目標オフセットＯＦＳＴｖ＿Ｒを指定画素のＶ系色度に付加する。

ステップＳ１３３ではＵオフセットＯＦＳＴｕ＿Ｒが付加されたＵ系色度にゲインＧｕ＿Ｒを付与し、ステップＳ１３５ではＶオフセットＯＦＳＴｙ＿Ｒが付加されたＶ系色度にゲインＧｖ＿Ｒを付与する。ここで、ゲインＧｕ＿ＲおよびＧｖ＿Ｒの各々は、同じ画素に付与されたゲインＧｙ＿ＲのＫ倍に相当する。

ステップＳ１３７では、指定画素が鳥瞰画像ＢＥＶ＿１の末尾画素であるか否かを判別する。判別結果がＮＯであれば、ステップＳ１３９で鳥瞰画像ＢＥＶ＿１の次画素を指定し、その後にステップＳ１２５に戻る。これに対して、判別結果がＹＥＳであれば、ステップＳ１４１に進む。

ステップＳ１４１では、鳥瞰画像ＢＥＶ＿２から部分重複エリアＰＤＰ＿２に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ２２”および“ＡＶＥ＿Ｖ２２”として算出する。ステップＳ１４３では、鳥瞰画像ＢＥＶ＿３から部分重複エリアＰＤＰ＿２に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ２３”および“ＡＶＥ＿Ｖ２３”として算出する。

ステップＳ１４５では、鳥瞰画像ＢＥＶ＿０から部分重複エリアＰＤＰ＿３に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ３０”および“ＡＶＥ＿Ｖ３０”として算出する。ステップＳ１４７では、鳥瞰画像ＢＥＶ＿３から部分重複エリアＰＤＰ＿３に対応する一部の画像を特定し、特定された画像のＵ系平均色度およびＶ系平均色度を“ＡＶＥ＿Ｕ３３”および“ＡＶＥ＿Ｖ３３”として算出する。

なお、Ｕ系平均色度“ＳＵＭ＿Ｕ２２”，“ＳＵＭ＿Ｕ２３”，“ＳＵＭ＿Ｕ３０”，“ＳＵＭ＿Ｕ３３”はいずれも、上述のステップＳ２７，Ｓ３３およびＳ３７の排除処理の後に残った画素を形成するＵ成分の平均値に相当し、上述の数９および数１１を参照して算出される。

同様に、Ｖ系平均色度“ＳＵＭ＿Ｖ２２”，“ＳＵＭ＿Ｖ２３”，“ＳＵＭ＿Ｖ３０”，“ＳＵＭ＿Ｖ３３”はいずれも、上述のステップＳ２７，Ｓ３３およびＳ３７の排除処理の後に残った画素を形成するＶ成分の平均値に相当し、上述の数１０および数１２を参照して算出される。

ステップＳ１４９では、エッジＥＧＤ＿ＦＬに対応するＵ系基準オフセットＯＦＳＴｕ＿ＦＬとエッジＥＧＤ＿ＢＬに対応するＵ系基準オフセットＯＦＳＴｕ＿ＢＬとを、数１３を参照して算出する。ステップＳ１５１では、エッジＥＧＤ＿ＦＬに対応するＶ系基準オフセットＯＦＳＴｖ＿ＦＬとエッジＥＧＤ＿ＢＬに対応するＶ系基準オフセットＯＦＳＴｖ＿ＢＬとを、数１４を参照して算出する。

ステップＳ１５３では、鳥瞰画像ＢＥＶ＿３の先頭画素を指定する。ステップＳ１５５では指定画素に対応するＵ系目標オフセットＯＦＳＴｕ＿Ｌを数１７を参照して算出し、ステップＳ１５７では指定画素に対応するＶ系目標オフセットＯＦＳＴｖ＿Ｌを数１８を参照して算出する。ステップＳ１５９では算出されたＵ系目標オフセットＯＦＳＴｕ＿Ｌを指定画素のＵ系色度に付加し、ステップＳ１６１では算出されたＶ系目標オフセットＯＦＳＴｖ＿Ｌを指定画素のＶ系色度に付加する。

ステップＳ１６３ではＵ系目標オフセットＯＦＳＴｕ＿Ｌが付加されたＵ系色度にゲインＧｕ＿Ｌを付与し、ステップＳ１６５ではＶ系目標オフセットＯＦＳＴｙ＿Ｌが付加されたＶ系色度にゲインＧｖ＿Ｌを付与する。ここで、ゲインＧｕ＿ＬおよびＧｖ＿Ｌの各々は、同じ画素に付与されたゲインＧｙ＿ＬのＫ倍に相当する。

ステップＳ１７７では、指定画素が鳥瞰画像ＢＥＶ＿３の末尾画素であるか否かを判別する。判別結果がＮＯであれば、ステップＳ１６９で鳥瞰画像ＢＥＶ＿３の次画素を指定し、その後にステップＳ１５５に戻る。これに対して、判別結果がＹＥＳであれば、上位階層のルーチンに復帰する。

以上の説明から分かるように、車両１００に設けられたカメラＣＭ＿０〜ＣＭ＿３は、共通視野ＣＶＷ＿０〜ＣＶＷ＿３を部分的に有する姿勢で路面を斜めから捉える。ＣＰＵ１２ｐは、このようなカメラＣＭ＿０〜ＣＭ＿３から出力された被写界像Ｐ＿０〜Ｐ＿３を、路面を上方から眺めた状態を表す鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３に変換する(S3)。ＣＰＵ１２ｐはまた、共通視野ＣＶＷ＿０〜ＣＶＷ＿３に存在する立体物を表す画像の位置を、鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３の各々から排除位置として検出し(S23~S25, S39~S41)、排除位置の画像を鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３から共通的に排除する(S27, S33)。ＣＰＵ１２ｐはさらに、排除処理の後に残った複数の画像間の輝度および／または色度の相違が抑制される態様で、鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３を合成する(S7~S11)。

カメラＣＭ＿０〜ＣＭ＿３は共通視野ＣＶＷ＿０〜ＣＶＷ＿３を部分的に有する姿勢で斜めから基準面を捉えるため、共通視野ＣＶＷ＿０〜ＣＶＷ＿３に現れた立体物の姿勢はカメラＣＭ＿０〜ＣＭ＿３にそれぞれ対応する鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３の間で相違する。共通視野ＣＶＷ＿０〜ＣＶＷ＿３に現れた立体物の位置はこのような鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３の各々から検出され、検出された位置の画像は鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３から共通的に排除される。鳥瞰画像ＢＥＶ＿０〜ＢＥＶ＿３の合成処理は、このような排除処理の後に残った複数の画像間の輝度および／または色の相違が抑制される態様で実行される。これによって、合成された鳥瞰画像の品質を向上させることができる。

なお、この実施例では、色オフセット補正の後に色に対するゲイン補正を行うようにしている。しかし、色オフセット補正の前に色に対するゲイン補正を行うようにしてもよい。

また、本実施例では、車用の全周鳥瞰表示を例に説明したが、本手法は、路面等の基準面に対する鳥瞰変換（視点変換）を行うマルチカメラシステムにおいても適応可能である。

１０ …操縦支援装置
ＣＭ＿０〜ＣＭ＿３ …カメラ
１２ …画像処理回路
１２ｍ …メモリ
１２ｐ …ＣＰＵ
１４ …表示装置
１６ …フラッシュメモリ
１８ …速度センサ
１００ …車両

Claims (6)

1. 共通視野を部分的に有する姿勢で基準面を斜めから捉える複数のカメラから出力された複数の被写界像を前記基準面に対する複数の鳥瞰画像に変換する変換手段、
   前記共通視野に存在する立体物を表す画像の位置を前記変換手段によって変換された複数の鳥瞰画像の各々から排除位置として検出する第１検出手段、
   前記変換手段によって変換された複数の鳥瞰画像から前記排除位置の画像を共通的に排除する排除手段、および
   前記変換手段によって変換された複数の鳥瞰画像を前記排除手段の排除処理の後に残った複数の画像間の輝度および／または色度の相違が抑制される態様で合成する合成手段を備える、画像処理装置。
2. 前記排除位置は前記複数の鳥瞰画像間の輝度差および／または色度差が第１基準を上回る画素の位置に相当する、請求項１記載の画像処理装置。
3. 前記共通視野に対応して表われた鮮鋭画像の位置を前記排除位置として検出する第２検出手段をさらに備える、請求項１または２記載の画像処理装置。
4. 画像の鮮鋭度に関連する第２基準を前記複数のカメラの各々から出力された被写界像の輝度を参照して調整する調整手段をさらに備え、
   前記第２検出手段は前記第２基準を参照して検出処理を実行する、請求項３記載の画像処理装置。
5. 前記合成手段は、前記排除手段の排除処理の後に残った複数の画像の間の輝度および／または色度の相違を前記共通視野に対応して検出する検出手段、および前記複数の鳥瞰画像の輝度および／または色度を前記検出手段によって検出された相違に基づいて調整する調整手段を含む、請求項１ないし４のいずれかに記載の画像処理装置。
6. 前記調整手段は前記排除手段の排除処理の後に残った複数の画像の画素数を参照して前記輝度の調整範囲を定義する定義手段を含む、請求項５記載の画像処理装置。

Images