JP4830652B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮影された撮影画像の明るさを補正する画像処理装置及び画像処理方法に関する。

カメラ装置によって撮影される撮影画像の明るさは、被写体が置かれている環境などに依存しており、特に太陽光を光源とするような屋外環境によって撮影する場合には、刻々と変化する光源の位置や光量といった撮影条件の変化に大きく左右されることになる。

そこで、撮影された画像を良好な画像とするために、明るさを補正する様々な手法が考案されている。例えば、被写体と背景とを領域で区別して明るさを調整して逆光による影響を補正するといった手法などが考案されている。

ところで、車両に搭載されたカメラ装置により運転者から死角となる車両外状況を撮影して車両内モニタに表示させるビューモニタシステムが考案、実施されている。このようなビューモニタシステムでは、運転者から死角となる車両外状況を把握することが目的であるため、死角となる領域を撮影可能なように設置されたカメラ装置によって撮影された画像全体を良好に視認できることが望ましい。つまり、このような車両に搭載されたビューモニタシステムなどにおいては、状況に応じて注目すべき領域も異なるため、撮影された画像の明るさが被写体や背景といった区別に依らず全体で均一となっていることが望ましい。

したがって、このようなビューモニタシステムにおいて撮影された画像に、例えば逆光による影響が生じ、上述したような逆光補正のように被写体と背景とを領域で区別して明るさ調整をしても当該システムで要求されている画像を得ることができない。

ところで、カメラ装置の露光時間を調整することで、撮影された画像の明るさを被写体や背景といった区別に依らず全体で均一とするように補正する手法が開示されている（例えば、特許文献１参照。）。
特開２０００−０６９３５４号公報

しかしながら、特許文献１で開示された手法は、露光時間を変えた３種類の映像信号を必要とするため、回路規模を増大させてしまうとともに、撮影されたタイミングが異なる映像信号を用いて補正処理をしなくてはならないため、タイムラグのある映像となってしまう。

したがって、例えば、車両などに搭載するビューモニタシステムのように動きのある映像を撮影して、ほぼリアルタイムに提供することが不可欠なシステムに適用した場合、実用に耐えられないといった問題がある。

そこで、本発明は、上述した実情を鑑みて提案されたものであり、非常に簡便な演算手法により、撮影された画像の明るさを全体として略均一な分布となるように補正処理をすることができる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の画像処理装置は、車両に搭載された撮影手段で撮影される車両周辺画像を処理する画像処理装置において、撮影された撮影画像を構成する各画素を順に補正対象画素とし、前記補正対象画素を含み、該補正対象画素を中心とする所定範囲内に存在する複数の画素からなる画像領域を設定する画像領域設定手段と、前記画像領域設定手段によって設定された画像領域毎に、前記画像領域に含まれる画素の明るさ情報に基づく平均値を算出する平均値算出手段と、前記撮影画像全体の明るさの目標値を、前記平均値算出手段によって算出された平均値で除算して補正値を算出する補正値算出手段と、前記補正値算出手段で算出された前記補正値を、前記画像領域の補正対象画素の明るさ情報に乗算して明るさの補正処理をする補正処理手段と、を備え、前記画像領域設定手段は、前記補正対象画素を中心とする所定範囲の一部が画像外部となる場合には、前記画像を画像周辺で折り返し、この折り返した画像に存在する画素を用いて、前記画像領域を設定することにより、上記の課題を解決する。

本発明の画像処理方法は、車両に搭載された撮影手段で撮影される車両周辺画像を処理する画像処理方法において、撮影された撮影画像を構成する各画素を順に補正対象画素とし、前記補正対象画素を含み、前記補正対象画素を中心とする所定範囲内に存在する複数の画素からなる画像領域を設定する画像領域設定工程と、前記画像領域設定工程によって設定された画像領域毎に、前記画像領域に含まれる画素の明るさ情報に基づく平均値を算出する平均値算出工程と、前記撮影画像全体の明るさの目標値を、前記平均値算出工程によって算出された平均値で除算して補正値を算出する補正値算出工程と、前記補正値算出工程で算出された前記補正値を、前記画像領域の補正対象画素の明るさ情報に乗算して明るさの補正処理をする補正処理工程と、を備え、前記画像領域設定工程は、前記補正対象画素を中心とする所定範囲の一部が画像外部となる場合には、前記画像を画像周辺で折り返し、この折り返した画像に存在する画素を用いて、前記画像領域を設定することにより、上記の課題を解決する。

本発明によれば、非常に簡便な演算手法により演算処理時間を大幅に短縮し、撮影された画像の明るさを近傍領域間においては原画像の明るさの差を保ちながら、全体として略均一な分布となるように補正処理をすることができる。

これにより、極端なコントラスト差を低減できるため、画像全体のどこに視線を向けても良好に視認することができるように明るさを補正することを可能とする。

以下、本発明の実施の形態について図面を参照して説明する。

［画像処理システムの構成］
まず、図１を用いて、本発明の実施の形態として示す画像処理システムについて説明をする。画像処理システムは、カメラ装置１０と、画像処理装置２０と、液晶ディスプレイ３０とを備えている。この画像処理システムは、例えば、車両などに搭載され、運転者から死角となる車両外状況を撮影して表示させるビューモニタシステムなどに適用される。

カメラ装置１０は、例えば、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）といった固体撮像素子を用いた撮影装置である。カメラ装置１０は、当該画像処理システムを車両に搭載されたビューモニタシステムに適用する際には、車両に搭乗した運転者にとって死角となる領域を撮影可能な位置に設置されることになる。カメラ装置１０で撮影された動画像、又は静止画像（以下、動画像、静止画像を総称する場合には、単に画像と呼ぶ。）は、電気信号として後段の画像処理装置２０に出力される。

画像処理装置２０は、カメラ装置１０から出力された電気信号が入力され、所定の画像処理を実行する。画像処理装置２０は、入力された電気信号をＡ／Ｄ変換してデジタルデータ（画像データ）に変換し、画像メモリ２１に一時的に記憶させた画像データに対して所望の画像処理を実行する。

図１に示すように、画像処理装置２０は、画像メモリ２１と、画像領域設定部２２と、規定値算出処理部（平均値算出手段）２３と、明るさ調整処理部２４と、制御部２５とを備え、主に、画像メモリ２１に記憶させた画像データの明るさ情報に対する補正処理を実行する。

画像領域設定部２２は、カメラ装置１０で撮影された撮影画像（原画像）を構成する各画素を順に補正対象画素とし、補正対象画素とされた画素を含む撮影画像の一部領域である画像領域を設定する。画像領域設定部２２が設定する画像領域は、例えば、補正対象画素とされた画素を中心とした周囲領域に存在する複数の画素からなる矩形領域などである。

具体的には、画像領域設定部２２は、画像メモリ２１に記憶された１フレーム分の画像データの各画素データを順番に補正対象画素データとして選択し、この補正対象画素データとされた画素データのフレームにおける座標位置から設定する画像領域を決定する。

規定値算出処理部２３は、画像領域設定部２２で設定された画像領域毎に、画像領域に含まれる画素の明るさ情報に基づく規定値を算出する。規定値算出処理部２３が算出する規定値は、例えば、設定された画像領域に含まれる全ての画素の明るさ情報の平均値である。

具体的には、規定値算出処理部２３は、設定された画像領域内に存在する画素データの明るさ情報を画像メモリ２１から読み出して規定値を算出する。

明るさ調整処理部２４は、予め設定されている撮影画像全体の明るさの目標値を、規定値算出処理部２３で算出された規定値で除算して補正値を算出し、算出した補正値を補正対象画素の明るさ情報に乗算して明るさの補正処理をする。

具体的には、明るさ調整処理部２４は、図示しないＲＯＭ（Read Only Memory）などにデフォルトデータとして格納されている明るさの目標値を読み出し、規定値算出処理部２３で算出された規定値で除算して補正値を算出する。明るさ調整処理部２４は、算出された補正値を、画像メモリ２１に記憶された１フレーム分の画像データのうちの補正対象画素データに乗算する。

このような画像領域設定部２２、規定値算出処理部２３、明るさ調整処理部２４は、例えばＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）といった特定用途向けに設計される集積回路により実現することができる。また、画像処理装置２０は、図示しないメモリに格納されたプログラムを実行することで、画像領域設定部２２、規定値算出処理部２３、明るさ調整処理部２４の機能を実現するようにしてもよい。

なお、画像処理装置２０は、画像領域設定部２２、規定値算出処理部２３、明るさ調整処理部２４以外の画像処理機能も備えており、カメラ装置１０で撮影された画像を液晶ディスプレイ３０を介して良好に視認することができるような画像処理を実行する。

制御部２５は、画像処理装置２０で実行される各機能を統括的に制御する制御部である。画像領域設定部２２、規定値算出処理部２３、明るさ調整処理部２４による画像データの明るさ情報に対する補正処理も制御部２５の制御により実行される。

制御部２５は、画像領域設定部２２、規定値算出処理部２３、明るさ調整処理部２４により明るさ情報に対する補正処理を実行させると、補正処理後の画像データを液晶ディスプレイ３０に供給可能な信号へと変換し表示制御処理を実行する。

液晶ディスプレイ３０は、制御部２５の表示制御により、補正処理された画像データを表示画像として表示させる。画像処理システムが、例えば、車両などに搭載され、上述したようなビューモニタシステムに適用されている場合、液晶ディスプレイ３０は、車両内モニタとして運転者の視認しやすい位置に設置される。

図２に、車両に搭載されたカメラ装置で撮影された明るさの補正が必要な画像の例を示す。図２に示す例では、光源である太陽光の位置に対するカメラ装置の撮影方向によって、太陽光が直接照射される非常に明るい領域である領域ＦＢ１や、車両や建物の影となる非常に暗い領域である領域ＦＤ１，ＦＤ２、やや暗い領域である領域ＦＤ３などが存在する明暗のコントラストの極めて高い画像となっている。このような画像は、画像中の物体を明確に識別することができないため、明るさを補正する必要がある。

そこで、図２に示すような画像に対して、従来技術のようにカメラ装置の露光時間を調整することで、撮影された画像の明るさを被写体や背景といった区別に依らず全体で均一とするように補正したとする。

例えば、カメラ装置の固体撮像素子の露光時間（電荷蓄積時間）を短くすると、十分な光量を得ることができないことから、図２中の車両などが黒く沈んだ黒つぶれの状態を招来してしまい、その存在を視覚的に識別することがさらに困難となってしまう虞がある。

逆に、カメラ装置の固体撮像素子の露光時間を長くすると、もともと十分な光量を得ることができていた図２中の背景（例えば、領域ＦＨ）などの領域において、光量の飽和により白くなった白飛び状態を招来してしまい、非常に視認性の悪い表示画像となってしまう虞がある。

本発明の実施の形態として示す画像処理システムは、このような黒つぶれや白飛びを起こすことなく撮影された画像の明るさを被写体や背景といった区別に依らず全体で均一とするように補正することができる。

［画像処理システムの明るさ補正処理動作］
次に、図３に示すフローチャートを用いて、画像処理システムの明るさ補正処理動作について説明をする。

ステップＳ１において、カメラ装置１０で撮影された撮影画像の電気信号が、Ａ／Ｄ変換されて画像データに変換され、画像処理装置２０の画像メモリ２１に記憶される。

ステップＳ２において、画像処理装置２０の画像領域設定部２２は、画像メモリ２１に記憶された１フレーム分の画像データの各画素データを順番に補正対象画素データとして選択し、この補正対象画素データとされた画素データのフレームにおける座標位置に基づき画像領域を設定する。

例えば、図４に示すように、マトリクス状に配列されることで画像を形成する画素の一つであるＴｇを補正対象画素Ｔｇとし、この補正対象画素Ｔｇを含み、補正対象画素Ｔｇを中心とした周囲領域に存在する複数の画素からなる画像の一部領域を画像領域ＧＦ１として設定する。なお、画像領域設定部２２は、設定する画像領域として、例えば、図４に示す画像領域ＧＦ１よりも一回り大きい領域である画像領域ＧＦ２や、さらに大きな領域を設定するようにしてもよい。

ところで、画像領域設定部２２は、図５（ａ）に示す画素Ａのように、周囲領域に画素が存在する画素を補正対象画素とする場合には、そのまま画像領域Ａ１を設定することになる。一方、フレームの周縁に存在する画素Ｂのように周囲領域の一部にのみ画素が存在する画素を補正対象画素とする場合には、図５（ａ）に示すような画像領域Ｂ１を設定するのではなく、図５（ｂ）に示すような画像領域Ｂ２や、図５（ｃ）に示すような画像領域Ｂ３を設定することになる。

図５（ｂ）に示す画像領域Ｂ２は、補正対象画素を中心として周囲領域に存在する複数の画素を可能な限り含めた領域である。したがって、画像領域Ｂ２は、画像領域Ａ１よりも小さな領域となる。

これに対し、図５（ｃ）に示す画像領域Ｂ３は、画像領域Ａ１と同等の大きさ、言い換えれば、同じ数の画素を含んだ領域としている。画像領域Ｂ３は、画像メモリ２１に記憶された画像データを用いて領域Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃの画素を補完することで設定される。領域Ｂ３ａ，Ｂ３ｂ，Ｂ３ｃの画素を補完する手法としては、様々な手法を適用することができるが、例えば、図５（ｃ）に示すように、１フレームの画像の辺を対称軸Ｃｘ、対称軸Ｃｙとし、対称軸Ｃｙ、対称軸Ｃｘの順に画像を折り返すことで領域内に形成される画素により補完することができる。このようにして補完された画素の画素データは、近傍の画素と類似した画素データとなるため、補完された領域の他の領域との違和感を低減させることができる。

ステップＳ３において、規定値算出処理部２３は、ステップＳ２で設定された画像領域内に存在する画素の画像メモリ２１に記憶された画素データから明るさ情報を読み出して規定値を算出する。

例えば、設定した画像領域内の全ての画素の明るさ情報の平均値Ｙａｖｅを規定値とする。このように、画像領域内の全ての画素の明るさ情報の平均値Ｙａｖｅを算出することで、画像全体における補正対象画素の近傍での明るさの傾向が特定されることになる。

以下の、説明において、規定値としては、この平均値Ｙａｖｅを用いるものとする。

ステップＳ４において、明るさ調整処理部２４は、図示しないＲＯＭなどにデフォルトデータとして格納されている明るさの目標値Ｙｔａｒｇｅｔを読み出し、ステップＳ３で算出された平均値Ｙａｖｅで除算して補正値（Ｙｔａｒｇｅｔ／Ｙａｖｅ）を算出する。

この補正値は、Ｙｔａｒｇｅｔ／Ｙａｖｅという式からも分かるように、補正対象画素を含むステップＳ２で設定した画像領域の明るさの平均値Ｙａｖｅが、明るさの目標値Ｙｔａｒｇｅｔとなるまでの倍率である。

さらに、明るさ調整処理部２４は、算出された補正値を補正対象画素の明るさ情報に乗算することで明るさの補正処理をする。補正処理された画像データは、画像メモリ２１に記憶される。

これにより、補正対象画素は、近傍に存在する画素に対して撮影画像（原画像）の明るさの差を保ちながら、画像全体としては、明るさの目標値Ｙｔａｒｇｅｔへと近付くように略均一化された明るさに補正される。

ステップＳ５において、画像処理装置２０の制御部２５は、画像メモリ２１に記憶された画像データを参照し、撮影された１フレームの画像の全ての画素を補正対象画素として明るさの補正処理を実行したかどうかを判断する。制御部２５は、補正対象画素とされていない画素がある場合には、ステップＳ２へと処理を戻す一方、全ての画素を補正対象画素として補正処理を実行した場合には、ステップＳ６へと処理を進める。

ステップＳ６において、制御部２５は、画像メモリ２１に記憶された補正処理された１フレーム分の画像データを順に読み出して、液晶ディスプレイ３０に供給可能な信号へと変換し、液晶ディスプレイ３０に表示画像として表示させる。

明るさの補正処理を実行しないで液晶ディスプレイ３０に表示させた場合に、図２に示すような表示画像となるカメラ装置１０で撮影された撮影画像に対して、図３を用いて説明したフローチャートのステップＳ１乃至ステップＳ６までの処理を実行すると、図６に示すようような表示画像が液晶ディスプレイ３０を介して表示される。

図６に示すように、図２では、太陽光が直接照射される非常に明るい領域であった領域ＦＢ１の明るさが抑制され、車両や建物の影となる非常に暗い領域であった領域ＦＤ１，ＦＤ２や、やや暗い領域であった領域ＦＤ３が明るくなり、画像全体として明暗のコントラストが低減した略均一な明るさ分布とされた画像となっている。

なお、ステップＳ２において、画像領域設定部２２は、画像メモリ２１に１フレームの画像データが記憶されてから画素データを順番に補正対象画素として選択し画像領域を設定しているが、画像領域を設定するのに十分な画素データが画像メモリ２１に記憶された段階で画像領域の設定を開始するようにしてもよい。これにより、明るさの補正処理による演算処理時間を短縮することができる。

［視認性をさらに向上させた明るさ補正処理動作］
ところで、図２、図６に示す領域ＦＨは、空を撮影した表示画像である。図２は、明るさの補正処理がなされていないため、本来の空としての明るさがそのまま反映されているのに対し、図６では、画像全体としての明るさの分布を略均一化させるように補正処理がなされたため、他の領域に引きずられて暗くなり、本来の空としての明るさを保持できていない。また、図６に示すように、太陽光が直接照射されているはずの領域ＦＢ１も明るさが抑制され過ぎてしまい、本来の太陽光による明るさを保持できていない。

これは、撮影画像（原画像）の明るさのコントラストが高く、領域ＦＨや、領域ＦＢ１の明るさが、明るさの目標値よりも大幅に明るいために起こってしまう現象である。そこで、このような現象を回避し、液晶ディスプレイ３０に表示される表示画像の視認性をさらに向上させるようにした明るさ補正処理動作について、図７に示すフローチャートを用いて説明をする。

なお、図７に示すように、表示画像の視認性をさらに向上させるようにした明るさ補正処理動作は、図３に示すフローチャートのステップＳ１とステップＳ２との間に、ステップＳ２ａの処理を付加するだけである。したがって、重複する処理ステップの説明は、省略し、新たに付加されたステップＳ２ａについてのみ説明をする。

ステップＳ２ａにおいて、制御部２５は、画像領域設定部２２によって補正対象画素データとして選択された画素データの明るさ情報と、予め定められ図示しないＲＯＭに格納された明るさの閾値Ｙｔｈｒｅｓと比較をする。この制御部２５による比較処理は、画像領域設定部２２によって画像領域の設定処理がなされる前に実行される。

制御部２５は、補正対象画素の明るさ情報が閾値Ｙｔｈｒｅｓ以上の場合、ステップＳ５へと処理を進め、明るさの補正処理を実行しない。制御部２５は、閾値Ｙｔｈｒｅｓよりも小さい場合、ステップＳ２へと処理を進め、図４のフローチャートを用いて説明したようにして明るさの補正処理を実行するよう制御する。

明るさの補正処理を実行しないで液晶ディスプレイ３０に表示させた場合に、図２に示すような表示画像となるカメラ装置１０で撮影された撮影画像に対して、図７を用いて説明したフローチャートのステップＳ１、ステップＳ２、ステップＳ２ａ乃至ステップＳ６までの処理を実行すると、図８に示すような表示画像が液晶ディスプレイ３０を介して表示される。

図８に示すように、図６では、明るさが抑制されすぎていた領域ＦＢ１，ＦＨが原画像である図２の明るさの状態を保ちながら、図２では車両や建物の影となる非常に暗い領域であった領域ＦＤ１，ＦＤ２，やや暗い領域であった領域ＦＤ３などが明るくなった画像となっている。

したがって、画像処理システムは、図７に示すフローチャートを用いて説明したように、ステップＳ２ａにおいて、画素の明るさが閾値Ｙｔｈｒｅｓ以上であった場合には、画像領域を設定することなく以下に続く明るさの補正処理を実行せずにそのままの明るさを保持させることで、非常に視認性の高い画像を液晶ディスプレイ３０を介して表示させることができる。つまり、制御部２５は、画素の明るさが閾値Ｙｔｈｒｅｓよりも小さい場合にのみ画像領域設定部２２による画像領域の設定を行い、以下に続く明るさの補正処理を実行するよう制御する。

［画像処理の演算量を削減する手法］
ところで、図３を用いて説明したように、画像処理装置２０は、明るさの補正をするにあたり、画像領域設定部２２によって、画像を形成する画素を一つずつ補正対象画素として画像領域を設定し、規定値算出処理部２３、明るさ調整処理部２４により１画素ごとに明るさの補正処理を実行していた。

このように１画素ごとに明るさの補正処理を実行した場合、非常に高い精度で近傍に存在する画素に対して撮影画像（原画像）の明るさの差を保ちながら、画像全体としては、明るさの目標値へと近付くように略均一化された明るさに補正することができる一方、演算量が多くなってしまい画像処理装置２０の処理負荷が増大してしまう虞がある。

そこで、補正対象を１画素ごとに設定するのではなく、ある程度の数の画素からなる小領域単位で実行することで、演算量を削減し、画像処理装置２０の処理負荷を低減させることができる。

具体的には、画像領域設定部２２が、画像領域を設定する際に、まず図９に示すように１フレームの画像を、複数の画素Ｇからなる小領域ＳＦに分割する（図９中では４×４）。画像領域設定部２２は、補正対象画素Ｔｇに替えて、このように分割された小領域ＳＦを、補正対象の最小単位である補正対象画素群ＴＧとする。

さらに、画像領域設定部２２は、図９に示すように、補正対象画素群ＴＧを含み、補正対象画素群ＴＧを中心とした周囲領域に存在する複数の小領域ＳＦからなる画像の一部領域を画像領域ＧＦ１１として設定する。なお、画像領域設定部２２は、設定する画像領域として、例えば、図９に示す画像領域よりも一回り小さい画像領域や、さらに大きい画像領域を設定するようにしてもよい。

規定値算出処理部２３は、画像領域設定部２２で設定された画像領域Ｇ１１の明るさ情報の規定値を算出する場合、まず、画像領域Ｇ１１を構成する小領域ＳＦの明るさ情報を決定する。小領域ＳＦの明るさ情報としては、小領域ＳＦを構成する画素Ｇの代表値、例えば中間値や平均値などが使用可能である。

規定値算出処理部２３は、このようにして画像領域ＧＦ１１を構成する小領域ＳＦの明るさ情報を決定すると、上述したように１画素単位で明るさ情報を決定する場合と同様に、補正対象画素群ＴＧを含む小領域ＳＦの明るさ情報の平均値を求めるなどをして規定値を算出する。

明るさ調整処理部２４は、予め設定されている撮影画像全体の明るさの目標値を、規定値算出処理部２３で算出された規定値で除算して補正値を算出する。明るさ調整処理部２４は、算出された補正値を、画像メモリ２１に記憶された１フレーム分の画像データのうち補正対象画素群ＴＧを構成する画素データに乗算する。

このように、画像領域設定部２２によって分割された小領域ＳＦ単位で明るさの補正処理が実行されると、１画素単位で明るさの補正処理をする場合に較べて大幅に演算量を削減することができるため、画像処理装置２０の処理負荷を低減させることができる。

このように、画像処理装置２０の演算量を削減しながら明るさの補正処理して、液晶ディスプレイ３０で表示される表示画像を図１０に示す。なお、図１０に示す表示画像は、図７に示すフローチャートのアルゴリズムを実行することで得られる表示画像である。制御部２５は、図７のフローチャートに示すステップＳ２ａの処理を実行するにあたり、補正対象画素群の明るさ情報と閾値Ｙｔｈｒｅｓとを比較する。補正対象画素群の明るさ情報としては、補正対象画素群を構成する画素の代表値、例えば中間値や平均値などを使用可能である。

図１０に示すように、画像処理装置２０の演算量を削減した場合であっても、図６では、明るさが抑制されすぎていた領域ＦＢ１，ＦＨが原画像である図２の明るさの状態を保ちながら、図２では、車両や建物の影となる非常に暗い領域であった領域ＦＤ１，ＦＤ２、やや暗い領域である領域ＦＤ３などが明るくなった視認性の高い良好な画像となっている。

なお、画像領域設定部２２は、フレームの周縁に存在する小領域ＳＦを補正対処画素群とした場合には、図５を用いて説明したように、補正対象画素群の一部の周囲領域に存在する小領域ＳＦを用いて画像領域を設定したり、折り返し操作によって画素を補完して画像領域を設定する。

［明るさ補正処理の遅延時間を最小限とする画像領域の設定手法］
画像処理装置２０によって明るさの補正処理がなされると、制御部２５による表示制御処理により、補正処理後の画像データが液晶ディスプレイ３０を介して表示される。制御部２５は、左から右への水平方向の水平走査を繰り返しながら垂直方向へと走査するよう制御することで、液晶ディスプレイ３０に１フレームの表示画像を表示させている。これに応じて、カメラ装置１０から画像メモリ２１に書き込まれ記憶される画像データも、走査される順に入力されてくる。

そこで、画像領域設定部２２により、補正対象画素、または補正対象画素群に対して設定される画像領域を、このように画像処理装置２０に入力される画像データに応じて、既に入力され画像メモリ２１に格納された画像データを多く含むように設定する。

例えば、図１１に示すように、画像領域設定部２２は、画像メモリ２１に記憶された画像データのうち最も新しい画素データを補正対象画素Ｔｇ、または、最も新しい画素データを含む小領域ＳＦを補正対象画素群ＴＧとする。そして、図１１にやや濃度を濃くして示すよう、補正対象画素Ｔｇ、または補正対象画素群ＴＧの周囲領域に存在し、既に画像メモリ２１に記憶されている画素データからなる画像領域ＧＦ２１を設定する。これにより、画像メモリ２１に１フレーム分の画像データが記憶されるのを待つことなくリアルタイムで明るさの補正処理を実行することができる。

また、補正対象画素Ｔｇに対して１画素分程度、または補正対象画素群ＴＧに対して１小領域分程度の遅延を許容して、図１１に示すよう太線枠内の領域を画像領域ＧＦ２２に設定するようにしてもよい。この場合も、画像メモリ２１に１フレーム分の画像データが記憶されるのを待つことなく、ほぼリアルタイムで明るさの補正処理を実行することができる。

［実施の形態の効果］
このようにして、本発明の実施の形態として示す画像処理システムは、画像処理装置２０により、補正対象とされた補正対象画素を含む、補正対象画素の近傍領域に存在する画素からなる画像領域を設定し、設定した画像領域毎に画像領域に含まれる画素の明るさ情報に基づく規定値を算出し、撮影画像全体の明るさの目標値を算出された規定値で除算した補正値を補正対象画素の明るさ情報に乗算する。

よって、非常に簡便な演算手法により大幅に短縮された演算処理時間内で、撮影された画像の明るさを近傍領域間においては、原画像の明るさの差を保ちながら全体として略均一な分布となるように補正処理をすることができる。

これにより、極端なコントラスト差を低減できるため、画像全体のどこに視線を向けても良好に視認することができるように明るさを補正することができる。

また、画像処理装置２０は、撮影された画像の明るさが所定の閾値よりも小さい場合にのみ、明るさの補正処理を実行することで、例えば、空などのように原画像が有する本来の明るさを保持し、暗い領域のみの明るさを補正することができるため、液晶ディスプレイ３０を介して表示される表示画像の違和感を低減し視認性を高めることができる。

また、規定値算出処理部２３で算出される規定値を画像領域内の画素の明るさ情報の平均値とすることで、補正対象画素の明るさに対し、近傍領域の画素の明るさを反映させた補正処理を施すことができるため、液晶ディスプレイ３０を介して表示させる表示画像を違和感のない画像とすることができる。

また、画像領域設定部２２は、補正対象画素に替えて１フレームの画像データを複数の画素によって構成される小領域に分割し、この小領域からなる補正対象画素群を補正の対象とすることで、画像処理装置２０の演算量を削減し、処理負荷を低減することができる。

さらに、画像領域設定部２２は、補正対象画素、または補正対象画素群に対して設定される画像領域を、画像処理装置２０に入力される画像データに応じて、既に入力され画像メモリ２１に格納された画像データを多く含むように設定する。これにより、画像メモリ２１に１フレーム分の画像データが記憶されるのを待つことなくほぼリアルタイムで明るさの補正処理を実行することができ、演算処理時間を大幅に短縮することができる。

なお、上述の実施の形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施の形態以外であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計等に応じて種々の変更が可能であることは勿論である。

本発明の実施の形態として示す画像処理システムの構成について説明するための図である。 明るさの補正を必要とする撮影画像（原画像）の一例を示した図である。 明るさの補正処理動作について説明するためのフローチャートである。 設定する画像領域について説明するための図である。 １フレームの画像の周縁に存在する画素に対して設定される画像領域について説明するための図である。 図２に示す撮影画像（原画像）に対して、図３に基づく明るさの補正処理を施した様子について示した図である。 閾値以上の明るさとなる領域を考慮した明るさの補正処理動作について説明するためのフローチャートである。 図２に示す撮影画像（原画像）に対して、図７に基づく明るさの補正処理を施した様子について示した図である。 明るさの補正処理の演算量を削減するように設定される画像領域について説明するための図である。 図２に示す撮影画像（原画像）に対して、演算量を削減した明るさの補正処理を施した様子について示した図である。 明るさの補正処理に要する時間を短縮する手法について説明するための図である。

符号の説明

１０ カメラ装置
２０ 画像処理装置
２１ 画像メモリ
２２ 画像領域設定部
２３ 規定値算出処理部
２４ 明るさ調整処理部
２５ 制御部
３０ 液晶ディスプレイ

Claims (7)

1. 車両に搭載された撮影手段で撮影される車両周辺画像を処理する画像処理装置において、
   撮影された撮影画像を構成する各画素を順に補正対象画素とし、前記補正対象画素を含み、該補正対象画素を中心とする所定範囲内に存在する複数の画素からなる画像領域を設定する画像領域設定手段と、
   前記画像領域設定手段によって設定された画像領域毎に、前記画像領域に含まれる画素の明るさ情報に基づく平均値を算出する平均値算出手段と、
   前記撮影画像全体の明るさの目標値を、前記平均値算出手段によって算出された平均値で除算して補正値を算出する補正値算出手段と、
   前記補正値算出手段で算出された前記補正値を、前記画像領域の補正対象画素の明るさ情報に乗算して明るさの補正処理をする補正処理手段と、を備え、
   前記画像領域設定手段は、前記補正対象画素を中心とする所定範囲の一部が画像外部となる場合には、前記画像を画像周辺で折り返し、この折り返した画像に存在する画素を用いて、前記画像領域を設定することを特徴とする画像処理装置。
2. 前記画像領域設定手段は、前記補正対象画素の明るさ情報が、所定の閾値よりも小さい場合に、前記補正対象画素を中心とする所定範囲内に存在する複数の画素からなる前記画像領域を設定すること
   を特徴とする請求項１記載の画像処理装置。
3. 前記画像領域設定手段は、当該画像処理装置に入力された撮影画像の最新の画素データに対応する画素を補正対象画素とし、一つの画像フレームを構成する画素データのうち、既に入力されている画素データに対応する画素を多く含むように画像領域を設定すること
   を特徴とする請求項１又は請求項２のいずれかに記載の画像処理装置。
4. 前記画像領域設定手段は、撮影された撮影画像を複数の画素からなる小領域に分割して、前記各小領域を順に補正対象画素群とし、画像領域として、前記補正対象画素群を中心とする所定範囲内に存在する複数の小領域からなる領域を設定し、
   前記補正処理手段は、前記補正値算出手段で算出された前記補正値を、前記画像領域の補正対象画素群を構成する各画素の明るさ情報に乗算して明るさの補正処理をすること
   を特徴と請求項１記載の画像処理装置。
5. 前記画像領域設定手段は、前記補正対象画素群の明るさ情報が、所定の閾値よりも小さい場合に、前記補正対象画素群を含み、該補正対象画素群を中心とする所定範囲内に存在する複数の小領域からなる画像領域を設定すること
   を特徴とする請求項４記載の画像処理装置。
6. 前記画像領域設定手段は、当該画像処理装置に入力された撮影画像の最新の画素データに対応する画素を含む小領域を補正対象画素群とし、一つの画像フレームを構成する画素データのうち、既に入力されている画素データに対応する画素からなる小領域を多く含むように画像領域を設定すること
   を特徴とする請求項４または請求項５のいずれかに記載の画像処理装置。
7. 車両に搭載された撮影手段で撮影される車両周辺画像を処理する画像処理方法において、
   撮影された撮影画像を構成する各画素を順に補正対象画素とし、前記補正対象画素を含み、前記補正対象画素を中心とする所定範囲内に存在する複数の画素からなる画像領域を設定する画像領域設定工程と、
   前記画像領域設定工程によって設定された画像領域毎に、前記画像領域に含まれる画素の明るさ情報に基づく平均値を算出する平均値算出工程と、
   前記撮影画像全体の明るさの目標値を、前記平均値算出工程によって算出された平均値で除算して補正値を算出する補正値算出工程と、
   前記補正値算出工程で算出された前記補正値を、前記画像領域の補正対象画素の明るさ情報に乗算して明るさの補正処理をする補正処理工程と、を備え、
   前記画像領域設定工程は、前記補正対象画素を中心とする所定範囲の一部が画像外部となる場合には、前記画像を画像周辺で折り返し、この折り返した画像に存在する画素を用いて、前記画像領域を設定することを特徴とする画像処理方法。