JP5464741B2

JP5464741B2 - 画像合成装置、及び、画像合成方法

Info

Publication number: JP5464741B2
Application number: JP2010017615A
Authority: JP
Inventors: 昌彦村上
Original assignee: Denso Ten Ltd; Fujitsu Ltd
Current assignee: Denso Ten Ltd; Fujitsu Ltd
Priority date: 2010-01-29
Filing date: 2010-01-29
Publication date: 2014-04-09
Anticipated expiration: 2030-01-29
Also published as: JP2011160019A

Description

本発明は、合成される複数のカメラ画像の輝度を調整する技術に関する。

カメラから入力された画像を処理して表示画面へ表示させる技術が知られている。例えば、ＡＧＣ（オートマチックゲインコントロール）と呼ばれるカメラ画像処理がある。

ＡＧＣとは、通常、電気回路等から構成され、カメラから入力された画像信号の平均の明るさが、弱い場合には全体的に明るさを上げる処理を行い、強い場合には全体的に明るさを下げる処理を行って、表示画面へ表示される画像を、暗すぎないように、かつ、明るすぎないようにする制御をいう。このようにカメラ画像を処理する技術は、例えば、特許文献１に開示されている。

また、近年、車両搭載の複数のカメラから入力された画像を合成して１枚の車両の周辺の様子を示す車両周辺画像を生成し、生成した車両周辺画像を表示画面へ表示させる車両周辺画像表示システムが開発されている。

特開平１１−１３６５７１号公報

しかし、車両周辺画像表示システムにおいて、複数のカメラ画像において一のカメラ画像ごとにＡＧＣを施した後に１枚の合成画像を生成すると、合成画像において明るさのムラが発生してしまう虞がある。また、複数のカメラ画像を１枚の車両周辺画像に合成してから、ＡＧＣを施すと、輝度が最も暗い画像の影響により、輝度が最も明るい画像がいっそう明るくなって看にくくなってしまう虞がある。

本発明は、上記課題に鑑みてなされたものであり、車両搭載の複数のカメラが撮像した、複数のカメラ画像の合成画像を看やすくできる技術を提供することを目的とする。

上記課題を解決するため、請求項１の発明は、車両に搭載され、複数の画像を合成する画像合成装置であって、夫々異なる方角へ向けて車両外側に搭載された複数の撮像手段から複数の画像を入力する入力手段と、入力した前記複数の画像の輝度に基づいて前記複数の画像のうちの一画像を代表の画像として決定する決定手段と、前記代表の画像を基準にして、他の画像の輝度を調整する第１調整手段と、前記代表の画像と輝度が調整された前記他の画像とを、前記車両の周辺の様子を示す一の車両周辺画像に合成する合成手段と、
を備えることを特徴とする。

また、請求項２の発明は、請求項１に記載の画像合成装置において、前記複数の画像は所定数の画素から構成され、前記決定手段は、前記複数の画像ごとに前記画像における全画素の平均輝度を算出して最も高い平均輝度の画像を代表の画像と決定することを特徴とする。

また、請求項３の発明は、請求項２に記載の画像合成装置において、前記決定手段は前記画像における画素が一定値以上の輝度を有する場合は、当該画素を前記平均輝度の算出に含まないことを特徴とする。

また、請求項４の発明は、請求項３に記載の画像合成装置において、更に、前記複数の画像ごとに算出された前記平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定値以上の場合に、前記第１調整手段を有効にする制御手段を備えることを特徴とする。

また、請求項５の発明は、請求項４に記載の画像合成装置において、更に、前記複数の画像ごとに算出された前記平均輝度を基準にして、当該平均輝度を算出した画像における画素の輝度を調整する第２調整手段を備え、前記制御手段は、前記複数の画像ごとに算出された前記平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定未満の場合に、前記第２調整手段を有効にすることを特徴とする。

また、請求項６の発明は、車両に搭載され、複数の画像を合成する画像合成方法であって、夫々異なる方角へ向けて車両外側に搭載された複数の撮像手段から複数の画像を入力する入力工程と、入力した前記複数の画像の輝度に基づいて前記複数の画像のうちの一画像を代表の画像として決定する決定工程と、前記代表の画像を基準にして、他の画像の輝度を調整する調整工程と、前記代表の画像と輝度が調整された前記他の画像とを、前記車両の周辺の様子を示す一の車両周辺画像に合成する合成工程と、を備えることを特徴とする。

請求項１から６の発明によれば、車両周辺を撮像するために、夫々異なる方角へ向けて取り付けられた複数の撮像手段から複数の画像を入力し、入力した複数の画像の輝度に基づいて決定した代表の画像を基準にして、他の画像の輝度を調整し、それら画像を一の車両周辺画像に合成するので、輝度のムラが少なく、一枚の車両周辺画像として看者に違和感を持たせることを防ぐことができる。

また、請求項２の発明によれば、請求項１の発明において、複数の画像ごとに前記画像における全画素の平均輝度を算出して最も高い平均輝度の画像を代表の画像と決定し代表の画像の平均輝度を基準にして、他の画像の輝度を調整するので、平均輝度が最も高い理想の画像に基づいて他の画像を調整するので、看者に対する視認性を向上させることができる。

また、請求項３の発明によれば、請求項２の発明において、画像における画素が一定値以上の輝度を有する場合は、当該画素を平均輝度の算出に含まないので、代表として決定した最も高い平均輝度が極端に高くならないようにでき、看者に対する視認性を向上させることができる。
また、請求項４の発明によれば、請求項３の発明において、更に、複数の画像ごとに算出された平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定値以上の場合に、前記画像調整を有効にするので、明るい画像と暗い画像が混在する際に明るい画像を基準に調整されることになり、暗い画像を明るくできる。

また、請求項５の発明によれば、更に、前記複数の画像ごとに算出された前記平均輝度を基準にして、当該平均輝度を算出した画像における画素の輝度を調整する第２調整をおこない、第２調整は、複数の画像ごとに算出された平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定未満の場合に有効にするので、明るい画像と暗い画像が混在しない際に画像ごとに各画像の平均輝度に基づいて輝度を調整することができ画像劣化を防ぐことができる。

図１は、車両を示す図である。図２は、車両のシステムブロック図である。図３は、画像処理を説明するフローチャート図である。図４は、画像処理を説明するフローチャート図である。図５は、車両を示す図である。図６は、車両と車両搭載カメラ画像を示す図である。図７は、画像処理を説明するフローチャート図である。図８は、車両搭載カメラ画像を示す図である。図９は、車両搭載カメラ画像を示す図である。図１０は、画像処理を説明するフローチャート図である。図１１は、車両搭載カメラ画像を示す図である。図１２は、画像処理を説明するフローチャート図である。図１３は、画像処理を説明するフローチャート図である。図１４は、画像処理を説明する図である。図１５は、画像処理を説明するフローチャート図である。図１６は、画像処理を説明するフローチャート図である。

本発明の代表の実施例である車両搭載の車両周辺画像表示システムを、以下、添付図面を参照しながら説明する。
＜代表の実施例＞
[車両]
まず、駆動源であるエンジン又は走行電動モータを搭載した車両に搭載される車両周辺画像表示システムを図１に基づいて説明する。

車両周辺画像表示システムＳ１は、画像処理システム、車載機１００、及び、種々のスイッチ、並びに、センサが車載ネットワークＮへ電気的に接続して構成されている。

画像処理システムは、制御装置１０、撮像システムである第１撮像部２００、第２撮像部２０１、第３撮像部２０２、及び、第４撮像部２０３から構成されている。

制御装置１０は、車両１の助手席下に設置される。車載機１００は、車両１のダッシュボードにおける運転席と助手席との間に設置される。第１撮像部２００は車両１のフロントに設置され、第２撮像部２０１は車両１のレフトサイドミラー２に設置され、第３撮像部２０２は車両１のライトサイドミラー３に設置され、第４撮像部２０３は車両１のバックに設置される。種々のスイッチ並びにセンサはそれぞれ適宜目的を達成するための位置に配置される。車載ネットワークＮは車両１のエンジンルームやピラーなど車両１のボディ内部に配設されている。
（車両周辺画像表示システム）
車両周辺画像表示システムＳ１は、図２に示すように、画像処理システムＳ２、及び、車載機１００により構成されている。
（画像処理システム）
画像処理システムＳ２は、図２に示すように、制御装置１０、及び、撮像システムＳ３により構成されている。
（撮像システム）
撮像システムＳ３は、図２に示すように、第１撮像部２００、第２撮像部２０１、第３撮像部２０２、及び、第４撮像部２０３により構成されている。

第１撮影部２００は、車載カメラであるフロントカメラであり、第２撮像部２０１は、車載カメラであるレフトサイドカメラであり、第３撮像部２０２は、車載カメラであるライトサイドカメラであり、第４撮像部２０３は、車載カメラであるバックカメラである。これらの撮像部はそれぞれ、ＣＣＤやＣＭＯＳなどの撮像素子を備えており電子的に画像を取得する。

第１撮像部２００は、車両１の前端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向へ向けられている。第２撮像部２０１は、レフトサイドミラー２に設けられており、その光軸は車両１の直進方向を基準にした左方向に沿って外部へ向けられている。第３撮像部２０２は、ライトサイドミラー３に設けられており、その光軸は車両１の直進方向を基準にした右方向に沿って外部へ向けられている。第４撮像部２０３は、車両１の後端にあるナンバープレート取付位置の近傍に設けられ、その光軸は車両１の直進方向の逆方向へ向けられている。なお、第１撮像部２００や第４撮像部２０３の取り付け位置は、左右略中央であることが望ましいが、左右中央から左右方向に多少ずれた位置であってもよい。

これらの第１撮像部２００〜第４撮像部２０３のレンズとしては魚眼レンズなどが採用されており、第１撮像部２００〜第４撮像部２０３は１８０度以上の画角を有している。このため、これら４つの撮像部を利用することで、車両１の全周囲の撮影が可能となっている。
（制御装置）
制御装置１０は、図２に示すように、制御部１１、ＡＧＣ部１２、不揮発性記憶部１３、揮発性記憶部１４、及び、画像調整部１５により構成される。

制御部１１は、有効無効制御部１６、第１画像輝度調整部１７、第２画像輝度調整部１８、画像合成部１９、及び、画像表示部２０を備える。つまり、制御部１１は、後述する、有効無効制御機能、第１画像輝度調整機能、第２画像輝度調整機能、画像合成機能、及び、画像表示機能を発揮する。

具体的に、制御部１１は、ＣＰＵ、ＲＯＭ、ＲＡＭなどより構成されるマイクロコンピュータである。ＣＰＵが、ＲＯＭに記憶されているその機能を発揮するためのプログラムを、ワーキングエリアとなるＲＡＭを利用しながら実行する。

ＡＧＣ部１２は、画像輝度算出部２２を備える。つまり、ＡＧＣ部１２は、後述する、画像輝度算出機能を発揮する。

具体的には、ＡＧＣ部１２は、電子回路等より構成される。撮像システムＳ３によって撮像された画像が電子回路等へ入力され、電子回路等は入力された画像に基づいてその機能を発揮させる。

不揮発性記憶部１３は、ＥＥＰＲＯＭより構成される。制御部１１が種々の機能を発揮する際のパラメータを記憶させる、バックアップメモリの役割を果たす。

揮発性記憶部１４は、ＲＡＭより構成される。制御部１１が、合成処理した画像を一定量記憶させるとともに、画像表示機能により記憶させた画像を表示させると、表示させた画像を消去して最新の画像を記憶させる。つまり、ビデオメモリの役割を果たす。

画像調整部１５は、制御部１１の画像合成機能により複数の画像から合成された１枚の車両周辺画像の輪郭を補正する輪郭補正機能、１枚の車両周辺画像のコントラストを補正するコントラスト補正機能、１枚の車両周辺画像の彩度を補正する彩度補正機能などを発揮する。

具体的に、画像調整部１５は、電子回路等により構成される。制御部１１により合成された１枚の車両周辺画像が電子回路等に入力され、電子回路等は入力された画像に基づいてその機能を発揮させる。

以上、説明したように、制御装置１０、及び、撮像システムＳ３により構成される画像処理システムＳ２は、画像合成装置と考えることができる。。
（車載機）
車載機１００は、図２に示すように、表示・操作部１０１、及び、制御部１１２より構成される。

表示・操作部１０１は表示機能、及び、操作機能を発揮する。

具体的に、表示・操作部１０１はタッチパネルディスプレイにより構成される。表示・操作部１０１は、制御部１１により画像などの表示データを表示制御されることによってデータ表示を行う。また、表示するアイコンがユーザによりタッチされると、表示・操作部１０１はアイコンが目的とする機能を制御部１１に発揮させる。

制御部１０２は、前述した表示制御機能、ナビゲーション機能、オーディオ機能、及び、放送データ通信機能などを発揮する。

具体的に、制御部１０２は、ＣＰＵ、ＲＯＭ、ＲＡＭなどより構成される。ＣＰＵが、ＲＯＭに記憶されているその機能を発揮するためのプログラムを、ワーキングエリアとなるＲＡＭを利用しながら実行する。

車載機１００は、この他にもナビゲーション機能を発揮する際に必要となる地図データを記憶する大容量記憶装置、オーディオ機能を発揮する際に必要となるオーディオ再生装置、放送データ通信機能を発揮する際に必要となる通信部などが備わっている。
（スイッチ・センサ）
車載ネットワークＮには、制御装置１０や車載機１００と共に、種々のスイッチ、並びに、センサが接続されている。そのスイッチ並びにセンサには、例えば、照明スイッチ３００、ワイパースイッチ３０１、照度センサ３０２、及び、設定スイッチ３０３がある。

照明スイッチ３００は、夜間やトンネル通過の際に、ユーザが車両１の前方を明るくするために操作するスイッチであって運転席付近に備わる。ユーザによって照明スイッチ３００が操作されると、図示しない照明が点灯し車両１の前方を明るくする。つまり、制御装置１０の制御部１１は、ユーザにより照明スイッチ３００が操作される場合は、車両１周辺が暗い状況であると推測する。

ワイパースイッチ３０１は、雨天時や濃霧時に、ユーザが走行する車両１のフロントガラスや後部ガラスの水滴を除去するために操作するスイッチであって、運転席付近に備わる。ユーザによってワイパースイッチ３０１が操作されると、図示しないワイパーが作動し車両１のフロントガラスや後部ガラスの水滴が除去される。つまり、制御装置１０の制御部１１は、ユーザによりワイパースイッチ３００が操作される場合は、車両１外部が雨天又は濃霧であると推測する。

照度センサ３０２は、車両１の外部又は車両1内部に差し込む光の度合いを検知するためのものであって、その目的を達成可能な位置に適宜備えられる。つまり、制御装置１０の制御部１１は、所定の周期で又は所定のタイミングで受信した照度センサ３０２が検知する光の度合いを示す信号に基づいて車両１周辺の明るさを推測する。

設定スイッチ３０３は、制御装置１０の制御部１１に後述する第１画像輝度調整処理又は第２画像輝度調整処理の何れを実施させるかをユーザが設定する操作手段である。

[画像処理]
次に、制御装置１０が実行する画像処理を図３に基づいて説明する。制御装置１０が発揮する機能には、ＡＧＣ部１２が発揮する画像輝度算出機能があり、また、制御部１１が発揮する有効無効制御機能、第１画像輝度調整機能、第２画像輝度調整機能、画像合成機能、及び、画像表示機能があり、更に、画像調整部１５が発揮する画像調整機能がある。また、画像調整機能には、輪郭補正機能、コントラスト補正機能、及び、彩度補正機能がある。

制御装置１０はこれら機能を発揮するために、図３に示す、画像輝度算出処理Ｓ１０００、有効無効処理Ｓ２０００、第１画像輝度調整処理Ｓ３０００、第２画像輝度調整処理Ｓ４０００、画像合成処理Ｓ５０００、画像調整処理Ｓ６０００、及び、画像表示処理Ｓ７０００を実行する。

制御装置１０の制御部１１、ＡＧＣ部１２、及び、画像調整部１５は、制御装置１０がユーザにより起動されたことにより所定の周期で画像処理の実行を開始する。つまり、図３におけるステップＳ１０００へ移行する。

画像の明るさについては輝度で表現することができるため、以下「輝度」として説明する。
（画像輝度算出処理）
ステップＳ１０００において、制御装置１０のＡＧＣ部１２は、画像輝度算出処理を実行する。画像輝度算出処理の詳細を図４に基づいて説明する。

ＡＧＣ部１２は、画像輝度算出処理の実行を開始し、ステップＳ１００１へ移行する。

ステップＳ１００１において、ＡＧＣ部１２は、第１撮像部２００〜第４撮像部２０３が撮像して、制御部１１へ送信した画像を捕捉（受信）する。

ここで、第１撮像部２００〜第４撮像部２０３が撮像する画像について説明する。図５に示すように、第１撮像部２００は、撮像範囲Ｈ１の画像を制御部１１へ送信する。第２撮像部２０１は、撮像範囲Ｈ２の画像を制御部１１へ送信する。第３撮像部２０２は、撮像範囲Ｈ３の画像を制御部１１へ送信する。第３撮像部２０２は、撮像範囲Ｈ３の画像を制御部１１へ送信する。第４撮像部２０３は、撮像範囲Ｈ４の画像を制御部１１へ送信する。第１撮像部２００〜第４撮像部２０３が備えるレンズは、前述した通り、魚眼レンズなどが採用されており、図５に示す第１撮像部２００〜第４撮像部２０３の撮像範囲Ｈ１からＨ４が示すように１８０度以上の画角を有している。

従って、第１撮像部２００が映し出す画像は、図６の画像Ｚ１に示すように車両１の直進方向における１８０度以上の車両周辺画像となる。第２撮像部２０１が映し出す画像は図６の画像Ｚ２に示すように車両１の直進方向を基準にした左方向における１８０度以上の車両画像となる。第３撮像部２０２が映し出す画像は図６の画像Ｚ３に示すように車両１の直進方向を基準にした右方向における１８０度以上の車両画像となる。第４撮像部２０３が映し出す画像は図６の画像Ｚ４に示すように車両１の直進方向とは逆方向における１８０度以上の車両画像となる。次に、ステップＳ１００２へ移行する。

ステップＳ１００２において、ＡＧＣ部１２は、第１撮像部２００〜第４撮像部２０３より受信した画像Ｚ１〜画像Ｚ４における、画像ごとの平均輝度を算出する。画像の平均輝度の算出とは、画像における画素ごとに充てられている輝度の総和を、全画素数で除算することをいう。その際に、ＡＧＣ部１２は、画素に充てられた輝度が一定値であるスレッシュ値を超えているか否かを判定し、超えている場合はその輝度は平均輝度の算出における輝度の総和には含めず、更に、全画素数にも含めない。スレッシュ値は高い輝度を画像の平均輝度の算出から除外するための値としている。

つまり、画像において極端に明るい部分がある場合には、白とび（飽和）などが生じている可能性がある。この場合に、明るい部分の画素に充てられた高い輝度によって平均輝度が高くなってしまい、後の処理において、平均輝度により求めた補正係数に基づいて補正した画像が、その明るい部分の高い輝度の影響を受けて全体的に明るくなってしまうことを防いでいる。次に、ステップＳ１００３へ移行する。

ステップＳ１００３において、制御部１１は、ＡＧＣ部から受信した画像Ｚ１から画像Ｚ４までの画像ごとに算出した平均輝度のうち、最大の平均輝度に基づいて補正係数（ゲイン調整値）を算出する。補正係数は、最大平均輝度を夫々の平均輝度で除算した値である。例えば、図８に示すように、画像Ｚ１の平均輝度が最大であるとすると、画像Ｚ１の補正係数は、画像Ｚ１の平均輝度／画像Ｚ１の平均輝度であり、画像Ｚ２の補正係数は、画像Ｚ１の平均輝度／画像Ｚ２の平均輝度であり、画像Ｚ３の補正係数は、画像Ｚ１の平均輝度／画像Ｚ３の平均輝度であり、画像Ｚ４の補正係数は、画像Ｚ１の平均輝度／画像Ｚ４の平均輝度である。次に、図３におけるステップＳ２０００へ移行する。
（有効無効処理）
ステップＳ２０００において、制御部１１の有効無効制御部１６は、有効無効処理を実行する。画像輝度算出処理の詳細を図７に基づいて説明する。

ステップＳ２００１において、制御部１１は、車載ネットワークＮを介して設定スイッチ３０３からの信号を受信する。制御部１１は受信した信号が設定１を示すか設定２を示すかを判断する。制御部１１は、その受信信号が設定１を示すと判断する場合は、ステップＳ２００２へ移行する（ステップＳ２００１において設定１）。制御部１１は、その受信信号が設定２を示すと判断する場合は、ステップＳ２００３へ移行する（ステップＳ２００１において設定２）。

ステップＳ２００２において、制御部１１が備えるＲＡＭに設定される第１フラグをオンにする。次に、リターンへ移行する。

ステップＳ２００３において、制御部１１が備えるＲＡＭに設定される第２フラグをオンにする。次に、リターンへ移行する。

なお、そのＲＡＭに設定される第１フラグと第２フラグは、製造の際において設定１にされており、また、制御部１１が初期処理において、終了処理において設定されている値に設定する。次に図３におけるステップＳ３０００へ移行する。

さて、図８に示すように、全体的な輝度が画像Ｚ１〜画像Ｚ４において相互に異なる場合であって、全体的な輝度が最も高い画像Ｚ１と全体的な輝度が最も低い画像Ｚ２との輝度差が大きい場合、つまり、画像Ｚ１の平均輝度と画像Ｚ２の平均輝度との差が所定値以上ある場合に、これら画像を後に１枚の画像に合成することから１枚の画像と捉えて輝度調整（輝度補正）を行うと画質において不具合が発生してしまう。

その不具合を具体的に説明する。制御部１１が、その１枚画像と捉えた画像Ｚ１〜画像Ｚ４の平均輝度を算出した後に、全ての画像の全ての画素に充てられる輝度を、その平均輝度を基準に暗い画素の輝度を所定％明るくし、明るい画素の輝度を所定％暗くする調整（補正）をすると、図９に示すように、暗すぎて看づらかった画像Ｚ２が、より明るくなって看やすくなる一方で、十分に明るくて看やすかった画像Ｚ１がよりいっそう明るくなって看づらくなってしまうという不具合が発生する。つまり、極端に暗い画像と最も明るい画像とを同じ平均輝度に基づく補正を実行すると、極端に暗い画像に引きずられて明るい画像における物体の輪郭が薄くなったり、消滅したりして看づらくなってしまう。

このように、車両周辺画像の場合、合成する前の一部の画像が他の画像と比べて極端に暗くなる場合があり、そのような不具合の発生は十分に考えられる。例えば、車両１の後部のみが暗い屋根付き駐車場に存する場合や、車両１の側面が建物などの陰に覆われる場合などである。

従って、そのような不具合が発生しないよう、画像Ｚ１〜画像Ｚ４における輝度が均一になるようにして１枚の合成画像を生成した際に違和感が無いように以降の処理を実行する。
（第１画像輝度調整処理）
ステップＳ３０００において、制御部１１の第１画像輝度調整部は、第１画像輝度調整処理を実行する。第１画像輝度算出処理の詳細を図１０に基づいて説明する。

ステップＳ３００１において、制御部１１は、備えるＲＡＭに設定された第１フラグがオンか否かを判断する。制御部１１は、第１フラグがオンであると判断する場合は、ステップＳ３００２へ移行する（ステップＳ３００１においてＹＥＳ）。制御部１１は、第１フラグがオフであると判断しない場合は、リターンへ移行する（ステップＳ３００１においてＮＯ）。

ステップＳ３００２において、算出した補正係数を画像Ｚ１〜画像Ｚ４における輝度へ乗算する。画像に対する補正係数の乗算とは、画像における画素ごとに充てられた輝度１つ１つに対し補正係数を乗算することを言う。

つまり、制御部１１は、図４のステップＳ１００３及び図１０のステップＳ３００２において、最大の平均輝度の画像を代表の画像に決定して、決定した代表画像を基準にして他の画像の輝度を調整することによって、図１１に示す画像Ｚ１〜画像Ｚ４のように相互の画像の輝度に統一感ができ、かつ、極端に暗い画像の視認性を向上でき、後に１枚の車両周辺画像にした場合に看者に対し違和感がない画像を提供することができる。

なお、最大の平均輝度の画像、つまり、画像Ｚ１については、補正係数は１であるので、その乗算する処理を省略しても良い。また、最大の平均輝度の画像、つまり、画像Ｚ１以外の画像である画像Ｚ２〜画像Ｚ４におけるその乗算は、前述したスレッシュ値を超える画素（飽和に近い画素）に充てられた輝度に対してはその乗算する処理を省略しても良い。次に、ステップＳ３００４へ移行する。

ステップＳ３００４において、制御部１１は、その乗算（補正）をした画像Ｚ１〜画像Ｚ４を備える揮発性記憶部へ送信する。

ここで、最大の平均輝度の画像に基づいて算出した補正係数に基づいて、画像Ｚ１〜画像Ｚ４を補正する理由を説明する。

まず、画像Ｚ１〜画像Ｚ４のうち、ヒストグラムにおいて表現した場合に最も適した輝度分布となる理想的な画像を代表の画像とし、この代表の画像を基準にして他の画像の輝度を調整（補正）してもよい。ただし、その場合その処理を実現するロジックを備えた回路やソフトウェアを設ける必要がありコストが増加する可能性があり、そのようなデメリットがないようにするには、簡易に理想的な画像を推測する必要がある。

そこで、各撮像部の絞りは予め、撮り込む画像において、物体の輪郭が日中における車両周辺の明るさを基準に、看者をしてその画像が最も看やすいと感じるレベル（輝度）に調整されているので、制御部１１はその絞りによって撮り込まれたそれら画像のうち平均輝度が最も高い画像は、看者をして最も看やすい理想的な画像であると推測している。

従って、その理由は、簡易に推測した理想的な画像、つまり、最大の平均輝度となる画像を基準にして他の画像を補正することによって、適切な輝度補正をしつつコストの増加を抑制することができるという点に基づいている。次に、図３におけるステップＳ４０００へ移行する。
（第２画像輝度調整処理）
ステップＳ４０００において、制御部１１の第２画像輝度調整部１８は、第２画像輝度調整処理を実行する。第２画像輝度算出処理の詳細を図１２に基づいて説明する。

ステップＳ４００１において、制御部１１は、制御部１１が備えるＲＡＭに設定された第２フラグがオンか否かを判断する。制御部１１は、第２フラグがオンであると判断する場合は、ステップＳ４００２へ移行する（ステップＳ４００１においてＹＥＳ）。制御部１１は、第２フラグがオフであると判断する場合は、リターンへ移行する（ステップＳ４００１においてＮＯ）。

ステップＳ４００２において、制御部１１は、ＡＧＣ部１２から受信した画像Ｚ１〜画像Ｚ４の夫々の平均輝度に基づいて、当該平均輝度を算出した画像を調整（補正）する。具体的には、制御部１１は、既定値を、平均輝度から上げ率を差し引いた値で除算して補正係数（ゲイン調整値）を求め、当該平均輝度を算出した画像における画素に充てられた輝度へその補正係数を乗算（補正）する。上げ率は、制御部１１が備えるレジスタのテーブルに平均輝度と対応付けられて既定されているため、当該平均輝度に基づいてそのレジスタのテーブルから上げ率を参照する。これによって、看者をして全体的に暗い画像が全体的に明るくなって、見やすい画像に調整することができる。次に、ステップＳ４００３へ移行する。

ステップＳ４００３において、制御部１１は、その乗算（補正）をした画像Ｚ１〜画像Ｚ４を備える揮発性記憶部へ送信する。図３におけるステップＳ５０００へ移行する。
（画像合成処理）
ステップＳ５０００において、制御部１１の画像合成部１９は、画像合成処理を実行する。画像合成処理の詳細を図１３に基づいて説明する。

ステップＳ５００１において、制御部１１は、備える揮発性記憶部に記憶された補正後の画像Ｚ１〜画像Ｚ４を、図１４に示す仮想的な三次元空間における立体曲面Ｐに投影する。立体曲面Ｐは、例えば略半球状（お椀形状）をしており、その中心部分（お椀の底部分）が車両１が存在する位置として定められている。画像Ｚ１〜画像Ｚ４に含まれる各画素の位置と、この立体曲面Ｐの各画素の位置とは予め対応関係が定められている。このため、立体曲面Ｐの各画素の値は、この対応関係と画像Ｚ１〜画像Ｚ４に含まれる各画素の値とに基づいて決定する。

画像Ｚ１〜画像Ｚ４の各画素の位置と立体曲面Ｐの各画素の位置との対応関係は、車両１における４つの車載カメラである第１撮像部２００〜第４撮像部２０３の配置（相互間距離、地上高さ、光軸角度等）に依存する。このため、この対応関係を示すテーブルデータが、不揮発性記憶部１３に記憶された車種別データに含まれている。

また、車種別データに含まれる車体の形状やサイズを示すポリゴンデータが利用され、車両１の三次元形状を示すポリゴンモデルである車両像が仮想的に構成される。構成された車両像は、立体曲面Ｐが設定される三次元空間において、車両１の位置と定められた略半球状の中心部分に配置される。

さらに、立体曲面Ｐが存在する三次元空間に対して、制御部１１により仮想視点ＡＧＬが設定される。仮想視点ＡＧＬは、視点位置と視野方向とで規定され、この三次元空間における車両１の周辺に相当する任意の視点位置に任意の視野方向に向けて設定される。次に、ステップＳ５００２へ移行する。

ステップＳ５００２において、制御部１１は、設定された仮想視点ＡＧＬに応じて、立体曲面Ｐにおける必要な領域を画像として切り出す。仮想視点ＡＧＬと、立体曲面Ｐにおける必要な領域との関係は予め定められており、テーブルデータとして不揮発性記憶部１３等に予め記憶されている。一方で、設定された仮想視点ＡＧＬに応じてポリゴンで構成された車両像に関してレンダリングがなされ、その結果となる二次元の車両像が、切り出された画像に対して重畳される。これにより、車両１及びその車両１の周辺を任意の仮想視点からみた様子を示す合成画像が生成されることになる。

例えば、視点位置が車両１の位置の略中央の直上位置で、視野方向が略直下方向とした仮想視点ＡＧＬ１を設定した場合は、車両１の略直上から車両１を見下ろすように、車両１（実際には車両像）及び車両１の周辺の様子を示す合成画像Ｇ１が生成される。また、図中に示すように、視点位置が車両１の位置の左後方で、視野方向が車両１における略前方とした仮想視点ＡＧＬ２を設定した場合は、車両１の左後方からその周辺全体を見渡すように、車両１（実際には車両像）及び車両１の周辺の様子を示す合成画像Ｇ２が生成される。

なお、実際に合成画像を生成する場合においては、立体曲面Ｐの全ての画素の値を決定する必要はなく、設定された仮想視点ＡＧＬに対応して必要となる領域の画素の値のみを画像Ｚ１〜画像Ｚ４に基づいて決定することで、処理速度を向上できる。次に、ステップＳ５００３へ移行する。

ステップＳ５００３において、制御部１１は、生成した合成画像Ｇ１又はＧ２を画像調整部１５へ送信する。図３におけるステップＳ６０００へ移行する。
（画像調整処理）
ステップＳ６０００において、画像調整部１５は、画像調整処理を実行する。画像調整処理の詳細を図１５に基づいて説明する。

ステップＳ６００１において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体の輪郭を補正する。輪郭補正とは、例えば、遠近に応じて物体の輪郭の強弱調整を行う、或いは、曲線の滑らか補正を行うなどである。次に、ステップＳ６００２へ移行する。

ステップＳ６００２において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体間や物体の部分間のコントラストを補正する。コントラスト補正とは、例えば、遠近に応じて物体間や物体の部分間のコントラストの強弱調整を行うなどである。次に、ステップＳ６００３へ移行する。

ステップＳ６００３において、画像調整部１５は、制御部１１から受信した合成画像Ｇ１又はＧ２における物体間の彩度を補正する。彩度補正とは、例えば、遠近に応じて物体の色の強弱調整を行うなどである。次に、図３におけるステップＳ７０００へ移行する。
（画像表示処理）
ステップＳ７０００において、制御部１１の画像表示部２０は、画像表示処理を実行する。画像表示処理の詳細を図１６に基づいて説明する。

ステップＳ７００１において、画像表示部２０は、揮発性記憶部１４に記憶されている合成画像を読み出す。その際に、画像表示部２０は、揮発性記憶部１４へ記憶している合成画像Ｇ１又はＧ２が一定量を超えると、最古の合成画像を消去して最新の合成画像を記憶する、又は、最古の合成画像を最新の合成画像によって上書きする記憶制御を実行する。次に、ステップＳ７００２へ移行する。

ステップＳ７００２において、画像表示部２０は、揮発性記憶部１４から読み出した合成画像Ｇ１又はＧ２を車載機１００が備える表示操作部１０１に表示制御する。具体的には、画像表示部２０は、動画に看えるように、揮発性記憶部１４に記憶されている合成画像Ｇ１又はＧ２を所定の周期で古い画像から新しい画像へと更新表示させる。図１６におけるリターンへ移行する。

＜変形例＞
以上、本発明の実施の形態について説明してきたが、この発明は上記実施の形態に限定されるものではなく様々な変形が可能である。以下では他の実施の形態について説明する。もちろん、以下で説明する形態を適宜組み合わせても良い。

＜変形例１＞
上記代表の実施の形態を説明する図４のステップＳ１００２において、ＡＧＣ部１２は、第１撮像部２００〜第４撮像部２０３から受信した画像Ｚ１〜画像Ｚ４ごとの平均輝度を算出する際に、ＡＧＣ部１２は、画素に充てられた輝度が一定値であるスレッシュ値を超えているか否かを判定し、超えている場合はその輝度は平均輝度の算出における輝度の総和には含めず、更に、全画素数にも含めないと説明したが、制御装置１０の制御部１１が、車両外部の明るさを判断し、その車両外部の明るさに応じたスレッシュ値に基づいて前述した平均輝度を算出するものであっても良い。

例えば、制御部１１は、車両外部が暗いと判断した場合は、スレッシュ値を前述のスレッシュ値よりも高い側のスレッシュ値に設定し、車両外部が明るいと判断した場合は、スレッシュ値を前述のスレッシュ値よりも低い側のスレッシュ値に設定する。

具体的には、制御部１１は、その判断を、車載ネットワークＮに接続されている照明スイッチ３００のオン信号を受信する場合に車両外部が暗いと判断し、そのオフ信号を受信する場合に車両外部が明るいと判断する。また、制御部１１は、その判断を、車載ネットワークＮに接続されているワイパースイッチ３０１のオン信号を受信する場合に車両外部が暗いと判断し、そのオフ信号を受信する場合に車両外部が明るいと判断する。更に、制御部１１は、車載ネットワークＮに接続されている照度センサ３０２の信号を受信する場合にその信号レベルに応じ車両外部の明るさを判断して、スレッシュ値をその明るさに応じて可変にする。

なお、このスレッシュ値はユーザが任意に設定可能に構成しても良い。

このように車両外部の明るさに応じスレッシュ値を変更することによって、画像輝度を補正する係数の基礎となる平均輝度が、車両外部が明るい場合には暗い側へ、車両外部が暗い場合には明るい側へ設定されるので、この平均輝度に基づいて補正した画像の視認性の向上が図れる。

＜変形例２＞
上記代表の実施の形態を説明する図７のステップＳ２００１において、ステップＳ２００１において、制御部１１は、車載ネットワークＮを介して設定スイッチ３０３からの信号を受信し、受信した信号が設定１を示すか設定２を示すかを判断する。制御部１１は、その受信信号が設定１を示すと判断する場合は、図１０において第１画像輝度調整処理を実行し、その受信信号が設定２を示すと判断する場合は、図１２において第２画像輝度調整処理を実行すると説明したが、制御部１１は、ＡＧＣ部１２から受信した画像Ｚ１〜画像Ｚ４の平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定値以上か否かを判断し、その差が所定値以上であると判断する場合は、第１フラグをオンにして、図１０において第１画像輝度調整処理を実行し、その差が第１所定値以上であると判断しない場合は、第２フラグをオンにして、図１２において第２画像輝度調整処理を実行するようにしても良い。

なお、第１所定値は前述するような不具合が発生するような画像の組み合わせになる場合を判定する値を予め設定している。また、第１フラグと第２フラグは初期処理と終了処理の際にオフにされるとともに、その機能の目的が終了する際にオフにされる。

つまり、第１撮像部２００〜第４撮像部２０３が夫々撮像した画像の組み合わせが、前述するような不具合が発生するパターンである場合には、第１画像輝度調整処理を実行させる。一方で、前述するような不具合が発生するパターンでない場合には、第１画像輝度調整処理を実行させず、第２画像輝度調整処理を実行することで、画像の劣化を防止することができる。

＜変形例３＞
上記代表の実施の形態を説明する図７のステップＳ２００１において、ステップＳ２００１において、制御部１１は、車載ネットワークＮを介して設定スイッチ３０３からの信号を受信し、受信した信号が設定１を示すか設定２を示すかを判断する。制御部１１は、その受信信号が設定１を示すと判断する場合は、図１０において第１画像輝度調整処理を実行し、その受信信号が設定２を示すと判断する場合は、図１２において第２画像輝度調整処理を実行すると説明したが、制御部１１は、ＡＧＣ部１２から受信した画像Ｚ１〜画像Ｚ４の平均輝度のうち、上限値を超える平均輝度があり、かつ、下限値を超える平均輝度があるという条件を満たす場合は、第１フラグをオンにして、図１０における第１画像輝度調整処理を実行し、その条件を満たさない場合は、第２フラグをオンにして図１２における第２画像輝度調整処理を実行するようにしても良い。

なお、上限値及び下限値は前述するような不具合が発生するような画像の組み合わせになる場合を判定する値を予め設定している。

また、上記実施の形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されると説明したが、これら機能のうちの一部は電気的なハードウェア回路により実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。

更に、各実施例の制御を説明するフローチャート図における各処理は、便宜上一の系列で示しているが、細分化された各処理を各制御部がマルチタスク制御機能により並列に処理するものであっても良い。

Ｓ１車両周辺画像表示システム
Ｓ２画像処理システム
１０制御装置
１１制御部
１２ＡＧＣ部
１５画像調整部
１６有効無効制御部
１７画像輝度調整部
１８画像輝度調整部
１９画像合成部
１００車載機
１０１表示操作部
１０２制御部
Ｓ３撮像システム
２００撮影部
２００撮像部
２０１撮像部
２０２撮像部
２０３撮像部

Claims

車両に搭載され、複数の画像を合成する画像合成装置であって、
夫々異なる方角へ向けて車両外側に搭載された複数の撮像手段から複数の画像を入力する入力手段と、
入力した前記複数の画像の輝度に基づいて前記複数の画像のうちの一画像を代表の画像として決定する決定手段と、
前記代表の画像を基準にして、他の画像の輝度を調整する第１調整手段と、
前記代表の画像と輝度が調整された前記他の画像とを、前記車両の周辺の様子を示す一の車両周辺画像に合成する合成手段と、
を備え、
前記複数の画像は所定数の画素から構成され、
前記決定手段は、前記複数の画像ごとに前記画像における全画素の平均輝度を算出して最も高い平均輝度の画像を代表の画像と決定することを特徴とする画像合成装置。
請求項１に記載の画像合成装置において、
前記決定手段は前記画像における画素が一定値以上の輝度を有する場合は、当該画素を前記平均輝度の算出に含まないことを特徴とする画像合成装置。
請求項２に記載の画像合成装置において、
更に、前記複数の画像ごとに算出された前記平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定値以上の場合に、前記第１調整手段を有効にする制御手段を備えることを特徴とする画像合成装置。
請求項３に記載の画像合成装置において、
更に、前記複数の画像ごとに算出された前記平均輝度を基準にして、当該平均輝度を算出した画像における画素の輝度を調整する第２調整手段を備え、
前記制御手段は、前記複数の画像ごとに算出された前記平均輝度のうち、最も高い平均輝度と最も低い平均輝度との差が所定未満の場合に、前記第２調整手段を有効にすることを特徴とする画像合成装置。
車両に搭載され、複数の画像を合成する画像合成方法であって、
夫々異なる方角へ向けて車両外側に搭載された複数の撮像手段から複数の画像を入力する入力工程と、
入力した前記複数の画像の輝度に基づいて前記複数の画像のうちの一画像を代表の画像として決定する決定工程と、
前記代表の画像を基準にして、他の画像の輝度を調整する調整工程と、
前記代表の画像と輝度が調整された前記他の画像とを、前記車両の周辺の様子を示す一の車両周辺画像に合成する合成工程と、
を備え、
前記複数の画像は所定数の画素から構成され、
前記決定手段は、前記複数の画像ごとに前記画像における全画素の平均輝度を算出して最も高い平均輝度の画像を代表の画像と決定することを特徴とする画像合成方法。