JP6559229B2 - 画像処理装置、撮像装置、画像処理方法及び画像処理装置の画像処理プログラムを記憶した記憶媒体 - Google Patents

Description

本発明は、例えば霞、靄又は霧等の影響によりコントラスト又は色彩等の画質が損なわれた画像の補正を行う画像処理装置、撮像装置、画像処理方法及び画像処理装置の画像処理プログラムを記憶した記憶媒体に関する。

大気中に発生する霞、靄、霧等の影響によって画像のコントラスト又は色彩等の画質が失われることがある。例えば、屋外において遠方の山等の風景写真を撮影する場合がある。この撮影で遠方の山に霞が掛かっていると、この状況で撮影された画像の品位は損なわれてしまう。この場合、遠方の山に対する視認性は低下する。

このような問題を解決する技術として例えば日本国特許第４９８２４７５号公報がある。この日本国特許第４９８２４７５号公報は、画像の局所領域毎に輝度の最大、最小を算出し、これら最大、最小の差が大きくなるように適応的なコントラスト補正を行うことを開示する。この日本国特許第４９８２４７５号公報であれば、霞のない領域と霞のある領域とが混在する画像においても、十分なコントラスト補正を行うことができる。

日本国特許第４９８２４７５号公報は、局所領域毎の輝度分布に基づき注目画素に対するコントラスト補正係数を決定する。このコントラストの補正では、例えば輝度のヒストグラムの伸張又は平坦化が用いられる。コントラスト補正が行わるときに局所領域内に霞んでいる領域と霞んでいない領域との両領域が混在すると、局所領域毎の輝度分布には、両領域の輝度情報が含まれる。このため、単純なヒストグラム伸張又は平坦化では、期待通りのコントラスト補正をすることが困難になる。具体的には、両領域の境界で補正の効果が小さくなったり、補正後に輝度ムラが発生する可能性がある。

本発明は前記の事情に鑑みてなされたものであり、局所領域毎に適切なコントラスト補正を可能とする画像処理装置、撮像装置、画像処理方法及び画像処理装置の画像処理プログラムを記憶した記憶媒体を提供することを目的とする。

本発明の第１の態様に係る画像処理装置は、画像データの画素毎の劣化度を検出する劣化度検出部と、前記劣化度に基づいて前記画像データの基準画素とその周辺の近傍画素とを含む所定領域内における前記劣化度の変化の度合いを判定する劣化度変化判定部と、前記劣化度の変化の度合いに基づいて前記基準画素の劣化を補正するための補正値を設定する補正値設定部と、少なくとも前記補正値に基づいて前記基準画素のデータを補正する補正処理部とを具備し、前記劣化度は、前記画像データの高輝度かつ低彩度である度合いである。

本発明の第２の態様に係る撮像装置は、前記画像処理装置と、前記画像データを取得する撮像部とを具備する。

本発明の第３の態様に係る画像処理方法は、画像データの画素毎の劣化度を検出することと、前記劣化度に基づいて前記画像データの基準画素とその周辺の近傍画素とを含む所定領域内における前記劣化度の変化の度合いを判定することと、前記劣化度の変化の度合いに基づいて前記基準画素の劣化を補正するための補正値を設定することと、前記補正値に基づいて前記基準画素のデータを補正することとを具備し、前記劣化度は、前記画像データの高輝度かつ低彩度である度合いである。

本発明の第４の態様に係る画像処理プログラムを記憶した記憶媒体は、コンピュータに、画像データの画素毎の劣化度を検出することと、前記劣化度に基づいて前記画像データの基準画素とその周辺の近傍画素とを含む所定領域内における前記劣化度の変化の度合いを判定することと、前記劣化度の変化の度合いに基づいて前記基準画素の劣化を補正するための補正値を設定することと、前記補正値に基づいて前記基準画素のデータを補正することとを実行させ、前記劣化度は、前記画像データの高輝度かつ低彩度である度合いである画像処理装置の画像処理プログラムを記憶している。

本発明によれば、局所領域毎に適切なコントラスト補正ができる画像処理装置、撮像装置、画像処理方法及び画像処理装置の画像処理プログラムを記憶した記憶媒体を提供できる。

図１は、本発明に係る画像処理装置を備えた撮像装置の第１の実施の形態を示す全体構成図である。 図２は、霞補正部を示す具体的なブロック構成図である。 図３Ａは、画像データの各画素の霞成分Ｈ（ｘ，ｙ）を推定するための手法を説明するための模式図である。 図３Ｂは、霞成分Ｈ（ｘ，ｙ）の画像を示す図である。 図４Ａは、入力画像データＩに設定されるある局所領域Ｒを示す図である。 図４Ｂは、霞成分Ｈ（ｘ，ｙ）の画像Ｈａに設定される局所領域Ｒを示す図である。 図５は、霞成分Ｈ（ｘ，ｙ）に基づく輝度ヒストグラムを生成するときのカウント値を得るためのガウシアン関数を示す図である。 図６は、霞成分Ｈ（ｘ，ｙ）の輝度ヒストグラムを示す図である。 図７Ａは、ヒストグラム伸張前のヒストグラムの有効輝度範囲Ｅ１を示す図である。 図７Ｂは、ヒストグラム伸張を行うときの線形関係を示す図である。 図７Ｃは、ヒストグラム伸張後のヒストグラムの有効輝度範囲Ｅ２を示す図である。 図８は、ヒストグラム平坦化を実現するための累積ヒストグラムを示す図である。 図９は、撮影動作フローチャートを示す図である。 図１０は、霞補正フローチャートを示す図である。 図１１は、コントラスト補正された画像（補正画像）の一例を示す図である。 図１２は、本発明に係る画像処理装置を備えた撮像装置の第２の実施の形態における霞補正部を示す構成図である。

［第１の実施の形態］
以下、本発明の第１の実施の形態について図面を参照して説明する。
図１は画像処理装置を適用した撮像装置のブロック構成図を示す。レンズ系１００は、被写体からの光像を結像するもので、フォーカスレンズ及び絞り１０１等を含む。このレンズ系１００は、オートフォーカス用モータ（ＡＦモータ）１０３を備えている。ＡＦモータ１０３の駆動によりフォーカスレンズは、光軸Ｐに沿って移動する。ＡＦモータ１０３は、レンズ制御部１０７により駆動制御される。

レンズ系１００の光軸上には、撮像センサ１０２が設けられている。撮像センサ１０２は、レンズ系１００からの光像を受光し、ＲＧＢのアナログ映像信号を出力する。この撮像センサ１０２の出力端には、カメラ本体３００内のＡ／Ｄ変換器１０４が接続されている。Ａ／Ｄ変換器１０４は、撮像センサ１０２から出力されるアナログ映像信号をデジタル映像信号に変換する。
また、カメラ本体３００には、マイクロコンピュータ等から成る主制御部１１２が搭載されている。この主制御部１１２には、バス３０１を介してＡ／Ｄ変換器１０４と、バッファ１０５と、測光評価部１０６と、レンズ制御部１０７と、画像処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１とが接続されている。この主制御部１１２は、バス３０１を介して測光評価部１０６と、レンズ制御部１０７と、画像処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１とをそれぞれ制御する。

バッファ１０５は、Ａ／Ｄ変換器１０４から転送されるデジタル映像信号を一時的に保存する。
測光評価部１０６は、バッファ１０５に保存されているデジタル映像信号から撮像センサ１０２に入射する光像を測光してその評価を行い、この測光評価と主制御部１１２からの制御信号とに基づいてレンズ系１００の絞り１０１を制御し、かつ撮像センサ１０２から出力されるアナログ映像信号の出力レベル等を調整する。

画像処理部１０８は、バッファ１０５に保存されているデジタル映像信号に対して公知の補間処理、ＷＢ補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後のデジタル映像信号を画像データとして出力する。

霞補正部１０９は、画像処理部１０８から転送された画像データに対して例えば霞の影響によりコントラストが低下した領域に対してコントラスト補正を行う。霞補正部１０９の詳細については後で説明する。

圧縮部１１０は、霞補正部１０９から転送された画像データに対して公知の圧縮処理、例えばＪＰＥＧ、ＭＰＥＧ等の圧縮処理を行う。

出力部１１１は、霞補正部１０９でコントラスト補正された画像データに基づいて図示しない表示部に映像を表示出力したり、圧縮部１１０で圧縮された画像データを図示しない記録媒体（例えばメモリカード）に記録出力したりする。

また、主制御部１１２には、外部Ｉ／Ｆ部１１３が接続されている。この外部Ｉ／Ｆ部１１３は、電源スイッチ、シャッターボタン、又は撮影時の各種モードの切り替えなどを行うためのインターフェースである。

なお、図１では、Ａ／Ｄ変換器１０４と、バッファ１０５と、測光評価部１０６と、レンズ制御部１０７と、画像処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１とは、バス３０１を介して主制御部１１２に接続されているが、これに限ることはない。例えば、Ａ／Ｄ変換器１０４と、測光評価部１０６と、レンズ制御部１０７と、画像処理部１０８と、霞補正部１０９と、圧縮部１１０と、出力部１１１とは、直列接続されてもよい。この場合、Ａ／Ｄ変換器１０４から出力されるデジタル映像信号は、バッファ１０５から測光評価部１０６、レンズ制御部１０７、画像処理部１０８、霞補正部１０９、圧縮部１１０、出力部１１１にこの順で転送される。

次に、霞補正部１０９について説明する。図２は霞補正部１０９の具体的なブロック構成図を示す。同図中において、太い実線の矢印はデジタル映像信号の流れを示し、細い実線の矢印は制御信号の流れを示し、点線の矢印はその他の信号の流れを示す。
霞補正部１０９は、主制御部１１２の制御によって図示しないプログラムメモリに記憶された画像処理プログラムを実行することにより霞成分推定部（劣化度検出部）２００と、局所ヒストグラム生成部（劣化度変化判定部）２０１と、補正係数算出部（補正値設定部）２０２と、コントラスト補正部（補正処理部）２０３との機能を有するものとなる。

具体的に説明すると、霞成分推定部２００は、画像処理部１０８から転送されるデジタル映像信号から取得される画像データの画素毎の劣化度を検出する。ここで、劣化度とは、画像データの中の、コントラスト又は色彩といった画質を劣化させる要因の存在する度合いである。画質を劣化させる要因としては、例えば、霞がかかったシーンを撮影したときに画像データ中に含まれる霞成分である。以下、劣化度は、霞成分の存在する程度であるとして説明を続ける。

霞成分の推定は、霞が高輝度でかつ低彩度（高輝度白色）、すなわち低コントラスト又は低色再現であるという特徴に基づいている。すなわち、高輝度でかつ低彩度である程度が高い画素は、霞成分であると推定される。

図３Ａは入力画像データＩから霞成分Ｈ（ｘ，ｙ）を推定するための手法を説明するための模式図を示し、図３Ｂは霞成分Ｈ（ｘ，ｙ）の画像データＨａを示す。
霞成分推定部２００は、画像処理部１０８から転送される入力画像データＩにおける座標（ｘ，ｙ）にある画素のＲ値，Ｇ値，Ｂ値に基づいて霞成分Ｈ（ｘ，ｙ）の推定を行う。

ここで、座標（ｘ，ｙ）におけるＲ値、Ｇ値、Ｂ値をそれぞれＩｒ、Ｉｇ、Ｉｂとすると、座標（ｘ，ｙ）にある画素の霞成分Ｈ（ｘ，ｙ）は、次式（１）により推定される。
Ｈ（ｘ，ｙ）＝ｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ） …（１）
霞成分推定部２００は、式（１）の演算を入力画像データＩの全体に対して行う。以下、具体的に説明する。霞成分推定部２００は、入力画像データＩに対して例えば所定サイズのスキャン領域（小領域）Ｆを設定する。スキャン領域Ｆのサイズは、例えば所定サイズｍ×ｎ（ｍ，ｎは自然数）画素である。以下、スキャン領域Ｆの中心の画素を基準画素とする。また、スキャン領域Ｆにおける基準画素の周辺の各画素を近傍画素とする。スキャン領域Ｆは、例えば５×５画素のサイズに形成されている。スキャン領域Ｆは、１画素であってもよい。

霞成分推定部２００は、図３Ａに示すようにスキャン領域Ｆの位置をずらしながらスキャン領域Ｆにおける各画素の（Ｉｒ，Ｉｇ，Ｉｂ）を算出し、そのうちの最小値を基準画素の霞成分Ｈ（ｘ，ｙ）とする。

画像データＩにおける高輝度かつ低彩度な領域の画素値は、Ｒ値，Ｇ値，Ｂ値が同等かつ大きいので、ｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）の値は大きくなる。すなわち、高輝度かつ低彩度な領域では、霞成分Ｈ（ｘ，ｙ）が大きな値となる。

これに対して低輝度又は高彩度の領域の画素値は、Ｒ値，Ｇ値，Ｂ値のいずれかが小さいので、ｍｉｎ（Ｉｒ，Ｉｇ，Ｉｂ）の値は小さくなる。すなわち、低輝度や高彩度の領域では、霞成分Ｈ（ｘ，ｙ）が小さな値となる。

しかるに、霞成分Ｈ（ｘ，ｙ）は、シーンにおける霞の濃度が濃いほど（霞の白色が濃くなるほど）大きな値となり、霞の濃度が薄いほど（霞の白色が薄くなるほど）小さな値となるという特徴を持つ。

ここで、霞成分は、式（１）によって計算されるものに限られない。すなわち、高輝度かつ低彩度の程度を示す指標であれば霞成分として使用され得る。例えば、局所コントラスト値、エッジ強度、被写体距離等も霞成分として使用され得る。

局所ヒストグラム生成部２０１は、霞成分推定部２００から転送された霞成分Ｈ（ｘ，ｙ）に基づいて入力画像データＩの基準画素とその周辺の近傍画素とを含む局所領域における霞成分Ｈ（ｘ，ｙ）の変化の度合いを判定する。この霞成分Ｈ（ｘ，ｙ）の変化の度合いは、局所領域における霞成分Ｈ（ｘ，ｙ）の分布、具体的には局所領域内の基準画素と近傍画素との霞成分Ｈ（ｘ，ｙ）の差分に基づいて判定される。

すなわち、局所ヒストグラム生成部２０１は、画像処理部１０８から転送される映像信号と霞成分推定部２００から転送される霞成分に基づき、基準画素毎にその近傍画素を含む局所領域に対する輝度ヒストグラムを生成する。一般的なヒストグラム生成は、対象の局所領域内の画素値を輝度値とみなし、画素値の頻度を１ずつカウントすることで行われる。これに対し、本実施の形態では、局所領域内の基準画素と近傍画素の霞成分の値に応じて、近傍画素の画素値に対するカウント値に重み付けがされる。近傍画素の画素値に対するカウント値は、例えば０．０〜１．０の範囲の値をとるものである。また、このカウント値は、基準画素と近傍画素の霞成分の差分が大きいほど値が小さくなり、基準画素と近傍画素の霞成分の差分が小さいほど値が大きくなるように設定される。

以下、輝度ヒストグラムの生成手法について具体的に説明する。図４Ａは画像データＩに設定されるある局所領域Ｒを示し、図４Ｂは霞成分Ｈ（ｘ，ｙ）の画像データＨａに設定される画像データＩと同じ局所領域Ｒを示す。局所領域Ｒは、例えば７×７画素のサイズに形成されている。
図４Ａに示す画像データＩ中の局所領域Ｒでは、基準画素ＳＧと、２つの近傍画素ＫＧ１、ＫＧ２とが示されている。基準画素ＳＧは、例えば輝度（画素値）「１６０」を有する。近傍画素ＫＧ１は、例えば輝度（画素値）「１７０」を有し、近傍画素ＫＧ２は、例えば輝度（画素値）「４０」を有する。この場合、一般的なヒストグラム生成では、輝度「１６０」が１カウント、輝度「１７０」が１カウント、輝度「４０」が１カウントになる。輝度だけでヒストグラムを生成した場合、高輝度かつ高彩度の画素も高輝度かつ低彩度の画素と同じようにカウントされてしまう。

図４Ｂに示す霞成分Ｈ（ｘ，ｙ）の画像データＨａ中の局所領域Ｒにおいて、基準画素ＳＧは霞成分「１５０」を有し、近傍画素ＫＧ１は例えば霞成分「１６０」を有し、近傍画素ＫＧ２は例えば霞成分「１０」を有する。本実施の形態における輝度ヒストグラムの生成では、霞成分Ｈ（ｘ，ｙ）の画像データＨａにおける局所領域Ｒ内の基準画素と各近傍画素との霞成分Ｈ（ｘ，ｙ）の差に応じて、入力画像データＩ中の局所領域Ｒにおける各画素の画素値に対するカウント値が設定される。基準画素と近傍画素の霞成分の差分が大きいほど値が小さくなり、基準画素と近傍画素の霞成分の差分が小さいほど値が大きくなるようなカウント値は、例えば図５に示すようなガウシアン関数を用いて算出される。図５のガウシアン関数では、例えば、霞成分Ｈ（ｘ，ｙ）の差分が１０である近傍画素ＫＧ１のカウント値は０．９５である。また、霞成分Ｈ（ｘ，ｙ）の差分が１４０である近傍画素ＫＧ２のカウント値は０．２０である。したがって、輝度「１７０」が０．９５カウント、輝度「４０」が０．２０カウントとなる。このようにして生成されるヒストグラムの例を図６に示す。このヒストグラムは、基準画素ＳＧが属する局所領域Ｒにおける輝度ヒストグラムである。この結果、後述する補正係数算出部２０２により算出される補正係数を最適な値で算出することができる。

なお、カウント値は、ガウシアン関数によって算出されなくてもよい。カウント値は、基準画素と近傍画素との霞成分Ｈ（ｘ，ｙ）の差分が大きい程、小さい値になる関係に従って決定されればよい。例えば、ルックアップテーブルや折れ線近似したテーブルを使用してもよい。

また、基準画素と近傍画素との間の各霞成分Ｈ（ｘ，ｙ）の値の差分と所定の閾値とを比較し、当該比較の結果に基づいてカウントの対象とする近傍画素を取捨選択するようにしてもよい。例えば、霞成分の差分が所定の閾値よりも大きい近傍画素についてはカウントの対象としないようにしてもよい。

また、霞成分Ｈ（ｘ，ｙ）の変化の度合いは、差分だけでなく、比によっても算出され得る。例えば、基準画素の霞成分Ｈ１＝１４０、近傍画素の霞成分Ｈ２＝７０である場合、霞成分の比は、Ｈ２／Ｈ１＝７０／１４０＝０．５となる。このように、分母にＨ１とＨ２のうちの大きいほうを用いると、比の値は、０．０から１．０の値をとる。Ｈ１とＨ２の差が小さければ比の値は１．０に近づき、Ｈ１とＨ２の差が大きければ比の値は０．０に近づく。このようにして霞成分の比の値を霞成分の差分と同様に扱うことが可能である。

補正係数算出部２０２は、局所ヒストグラム生成部２０１により生成される輝度ヒストグラムに基づいて画像データＩの基準画素ＳＧの劣化を補正するための補正値としての補正係数を設定する。この補正係数は、例えば基準画素のコントラストを補正するためのものである。そして、補正係数算出部２０２は、当該補正係数をコントラスト補正部２０３に転送する。

本実施の形態では、コントラスト補正手法としてヒストグラム伸張を例に説明する。図７Ａ乃至図７Ｃは、ヒストグラム伸張の説明図を示す。ヒストグラム伸張は、例えば図７Ａに示す輝度ヒストグラムの有効輝度範囲Ｅ１を図７Ｃに示す輝度ヒストグラムの有効輝度範囲Ｅ２に拡げることでコントラストを強調する処理である。

例えばヒストグラム伸張は、図７Ａに示すようにヒストグラムの有効輝度範囲Ｅ１における最小輝度hist_min、最大輝度hist_maxを、図７Ｃに示すような輝度データの取り得る最小値０、最大値２５５（８bitの場合）まで拡げるような図７Ｂに示す線形変換を行うことで実施される。このヒストグラム伸張は、次式（２）により表される。
c_a ＝ ２５５／（hist_max−hist_min）
c_b ＝ ‐c_a・hist_min …（２）
c_a、c_bはコントラスト補正のための補正係数を表し、hist_minはヒストグラムの有効輝度範囲の最小輝度を表し、hist_maxはヒストグラムの有効輝度範囲の最大輝度を表す。補正係数c_a、c_bは、最小輝度hist_minが０に、最大輝度hist_maxが２５５になるように算出される。これらの補正係数c_a、c_bを用いて次式（３）で示す線形変換が行われる。
Ｙout＝c_a × Ｙin ＋ c_b …（３）
Ｙinはヒストグラム伸張前の入力画像データＩの輝度値（画素値）であり、Ｙoutはヒストグラム伸張後の入力画像データＩの輝度値（画素値）である。

最小輝度hist_minと最大輝度hist_maxとの算出は、それぞれ例えば輝度ヒストグラムの累積カウント値と所定の閾値を比較することで実現できる。所定の閾値の設定により頻値の小さな画素値、例えばノイズの影響を排除できる。
なお、式（２）では、最小輝度hist_minが０に、最大輝度hist_maxが２５５になるように補正係数c_a、c_bが算出される。しかしながら、最小輝度hist_minに対応する出力値０と最大輝度hist_maxに対応する出力値２５５は、それぞれ任意の値に設定されてもよい。

また、最小輝度hist_minと最大輝度hist_maxは、基準画素の霞成分の値に応じて決定されてもよい。例えば、霞成分の値が大きい場合には、最小輝度hist_minに対応する出力値が０に、最大輝度hist_maxに対応する出力値が２５５に設定されてもよい。また、霞成分の値が小さい場合には、最小輝度hist_minに対応する出力値が２０に、最大輝度hist_maxに対応する出力値が２３５に設定されてもよい。

又は、本実施の形態では、コントラスト補正の実現手段としてヒストグラム伸張が用いられている。これに対し、コントラスト補正の実現手段として例えばヒストグラム平坦化を適用することも可能である。例えば、ヒストグラム平坦化を実現する方法として図８に示すような累積ヒストグラムを用いる方法、又は折れ線近似したテーブルを適用することも可能である。累積ヒストグラムは、輝度ヒストグラムの頻値を順次累積したものである。

コントラスト補正部２０３は、画像処理部１０８から転送されるデジタル映像信号に対して霞成分推定部２００から転送される霞成分Ｈ（ｘ，ｙ）と、補正係数算出部２０２から転送される補正係数c_a、c_bとに基づいて画像データＩの基準画素ＳＧ１のコントラスト補正を行う。輝度データのコントラスト補正の演算式を次式（４）に示す。
Ｙout＝（１．０−ｗ）・Ｙin＋ｗ・Ｙt
Ｙt＝c_a × Ｙin ＋ c_b （４）
Ｙinはコントラスト補正前の入力画像データＩの輝度データを示し、Ｙoutはコントラスト補正後の入力画像データＩの輝度データを示す。また、ｗは霞成分Ｈ（ｘ，ｙ）の値を０．０〜１．０の値に正規化した重み係数である。この重み係数ｗは、霞成分Ｈ（ｘ，ｙ）の値が大きい程値が大きくなる。Ｙtは補正係数算出部２０２から転送される補正係数c_a、c_bを用いて計算したターゲットとなる輝度データである。

式（４）に示すようにコントラスト補正後の輝度データＹoutは、入力画像データＩの輝度データＹinとターゲットの輝度データＹtとを重み係数ｗに応じて合成した値となる。式（４）より、霞成分Ｈ（ｘ，ｙ）の値が大きい領域のみにコントラスト補正を適用することが可能となる。

次に、上記の通り構成された装置による撮影動作について図９に示す撮影動作フローチャートを参照して説明する。
外部Ｉ／Ｆ部１１３に対して操作が行われると、当該外部Ｉ／Ｆ部１１３は、ステップＳ１において、操作入力された撮影に関する各種設定、例えば各種信号、ヘッダ情報等を主制御部１１２に送る。又、外部Ｉ／Ｆ部１１３の記録ボタンが押下されると、主制御部１１２は、撮影モードに切り替わる。撮影モードにおいて、レンズ系１００からの光像が撮像センサ１０２に入射すると、この撮像センサ１０２は、レンズ系１００からの光像を受光し、アナログ映像信号を出力する。このアナログ映像信号は、Ａ／Ｄ変換器１０４によってデジタル映像信号に変換され、バッファ１０５に転送されて一時的に保存される。
画像処理部１０８は、ステップＳ２において、バッファ１０５に保存されているデジタル映像信号に対して公知の補間処理、ＷＢ補正処理、ノイズ低減処理などの画像処理を行い、当該画像処理後のデジタル映像信号を霞補正部１０９に転送する。

霞補正部１０９は、ステップＳ３において、図１０に示す霞補正フローチャートに従い、画像処理部１０８から転送されたデジタル映像信号に対して例えば霞の影響によりコントラストが低下した領域に対してコントラスト補正を行う。
具体的に霞成分推定部２００は、ステップＳ１０において、画像処理部１０８から転送される入力画像データＩの各画素の霞成分Ｈ（ｘ，ｙ）の値を推定する。そして、霞成分推定部２００は、推定した霞成分Ｈ（ｘ，ｙ）を局所ヒストグラム生成部２０１とコントラスト補正部２０３とに転送する。

局所ヒストグラム生成部２０１は、ステップＳ１１において、画像処理部１０８から入力された画像データＩと、霞成分推定部２００から転送される霞成分Ｈ（ｘ，ｙ）とに基づき、霞成分Ｈ（ｘ，ｙ）の変化の度合いを判定するために、入力画像データＩの局所領域Ｒ毎における輝度ヒストグラムを生成する。そして、局所ヒストグラム生成部２０１は、生成した輝度ヒストグラムを補正係数算出部２０２に転送する。

補正係数算出部２０２は、ステップＳ１２において、局所ヒストグラム生成部２０１により生成される輝度ヒストグラムに基づいて補正係数c_a、c_bを設定する。そして、補正係数算出部２０２は、補正係数c_a、c_bをコントラスト補正部２０３に転送する。

コントラスト補正部２０３は、ステップＳ１３において、補正係数算出部２０２から転送された補正係数c_a、c_bと、霞成分推定部２００から転送された霞成分Ｈ（ｘ，ｙ）とに基づいて入力画像データＩを補正する。そして、コントラスト補正部２０３は、霞補正された入力画像データＩを圧縮部１１０に転送する。

以下、図９に戻って説明を続ける。霞補正の後、圧縮部１１０は、ステップＳ４において、霞補正部１０９から転送されたコントラスト補正された入力画像データＩ、すなわち霞成分Ｈ（ｘ，ｙ）に基づく補正がされた入力画像データＩに対して公知のＪＰＥＧ、ＭＰＥＧ等の圧縮処理を行って出力部１１１に転送する。
出力部１１１は、ステップＳ５において、圧縮部１１０から転送された圧縮処理後の画像データＩをメモリカード等に記録する。又は、霞補正部１０９で補正された画像データＩに基づく画像を別途ディスプレイに表示する。
図１１はコントラスト補正された画像（補正画像）データＨｂの一例を示す。この画像Ｈｂは、入力画像データＩ内に霞んでいる領域と霞んでいない領域との両領域が混在したとしても適切なコントラスト補正がされたものとなっている。この画像Ｈｂには、輝度ムラが発生していない。

このように上記第１の実施の形態によれば、霞補正部１０９において、霞成分推定部２００により入力画像データＩの画素毎の霞成分Ｈ（ｘ，ｙ）を検出し、局所ヒストグラム生成部２０１により霞成分Ｈ（ｘ，ｙ）に基づいて入力画像データＩの局所領域Ｒ内における霞成分Ｈ（ｘ，ｙ）の変化の度合いを判定するために霞成分Ｈ（ｘ，ｙ）の差分に応じた輝度ヒストグラムを生成し、補正係数算出部２０２により輝度ヒストグラムに基づいて補正係数c_a、c_bを設定し、コントラスト補正部２０３により補正係数c_a、c_bに基づいて入力画像データＩを補正する。すなわち、コントラスト補正を行うときに、入力画像データＩ内に霞んでいる領域と霞んでいない領域との両領域が混在したとしても、基準画素と同等の霞成分の値を有する近傍画素のみを用いて局所領域Ｒ内の輝度ヒストグラムを生成することにより、局所領域Ｒ毎に適切なコントラスト補正ができる。また、霞んでいる領域と霞んでいない領域との両領域の境界において、コントラスト補正の効果が小さくなったり、輝度ムラが発生することがない。

しかるに、入力画像データＩ内の領域毎の霞成分Ｈ（ｘ，ｙ）の濃度に応じて適切なコントラスト補正ができる。この結果、視認性の改善された高品位な画像を得ることができる。又、視認性の改善された画像を記録することに留まらず、画像内のコントラストを向上する効果を得ることができる。例えばコントラストＡＦ又は被写体の認識処理の前処理に当該霞補正を適用することで、コントラストＡＦ又は被写体の認識処理の性能の向上にも貢献できる。
［第２の実施の形態］
次に、本発明の第２の実施の形態について図面を参照して説明する。なお、図１及び図２と同一部分についての説明は省略し、相違する部分について説明する。
図１２は霞補正部１０９の構成図を示す。この霞補正部１０９は、図２に示す局所ヒストグラム生成部２０１に代わって劣化度変化判定部として局所最小最大算出部２０４が設けられている。

局所最小最大算出部２０４には、画像処理部１０８から入力画像データＩが転送されると共に、霞成分推定部２００から霞成分Ｈ（ｘ，ｙ）が転送される。局所最小最大算出部２０４は、入力画像データＩに対して局所領域Ｒ毎に輝度（画素値）をスキャンし、最小輝度と最大輝度とを検出する。

最小輝度と最大輝度とを検出する際、局所最小最大算出部２０４は、基準画素ＳＧが属する領域内から最小輝度と最大輝度とを検出できるように、予め霞成分Ｈ（ｘ，ｙ）の画像データＨａのうちで基準画素ＳＧとの霞成分Ｈ（ｘ，ｙ）の値の差分が大きい近傍画素についてはスキャン対象から除外する。この局所最小最大算出部２０４は、最小輝度と最大輝度とを補正係数算出部２０２に転送する。

なお、局所最小最大算出部２０４は、霞成分（ｘ，ｙ）の値の差分が大きい近傍画素をスキャン対象から除外するものに限定することはない。例えば、局所最小最大算出部２０４は、基準画素ＳＧの画素値を基準とした加重平均フィルタによりフィルタリングした後の画素値から最小輝度と最大輝度とを検出するようにしてもよい。

補正係数算出部２０２は、局所最小最大算出部２０４から転送された最小輝度と最大輝度とに基づいて補正係数を算出する。そして、補正係数算出部２０２は、当該補正係数をコントラスト補正部２０３に転送する。

なお、本実施の形態は、入力画像データＩ中の全ての画素に対して補正係数を算出するものとなっているが、これに限ることはない。例えば、画像処理部１０８への入力画像データＩを縮小し、この後にリサイズ（縮小リサイズ）した画像から補正係数を算出してもよい。この場合、縮小リサイズした画像の全ての画素に対して補正係数を決定し、この後に、補間処理により入力画像データＩ中の各画素に対する補正係数を算出すればよい。縮小リサイズを行うことで、処理負荷の軽減及びノイズの影響を回避する効果が期待できる。
又、霞補正部１０９は、入力画像データＩの縮小画像を生成し、当該縮小画像から霞成分Ｈ（ｘ，ｙ）等の劣化度を検出するようにしてもよい。

なお、本実施の形態では、劣化度として霞成分の濃淡について言及しているが、これに限らず、高輝度かつ低彩度でコントラストが低下する特徴のある現象、例えば靄成分、霧成分、濁りとなる成分、煙の成分、逆光により生じる成分、又はフレアにより生じる成分といった現象が起きた場合も同様に適用可能である。また、高輝度かつ低彩度であれば必ずしも白色である必要はなく、多少の色がついているものであってもよい。

Claims (14)

1. 画像データの画素毎の劣化度を検出する劣化度検出部と、
   前記劣化度に基づいて前記画像データの基準画素とその周辺の近傍画素とを含む所定領域内における前記劣化度の変化の度合いを判定する劣化度変化判定部と、
   前記劣化度の変化の度合いに基づいて前記基準画素の劣化を補正するための補正値を設定する補正値設定部と、
   少なくとも前記補正値に基づいて前記基準画素のデータを補正する補正処理部と、
   を具備し、
   前記劣化度は、前記画像データの高輝度かつ低彩度である度合いである画像処理装置。
2. 前記補正処理部は、前記補正値と前記劣化度とに基づいて前記基準画素のデータを補正する請求項１記載の画像処理装置。
3. 前記劣化度変化判定部は、前記所定領域内における前記劣化度の分布に基づいて前記劣化度の変化の度合いを判定する請求項１記載の画像処理装置。
4. 前記劣化度変化判定部は、前記基準画素と前記近傍画素との前記各劣化度の差分に基づいて前記劣化度の変化の度合いを判定する請求項３記載の画像処理装置。
5. 前記劣化度変化判定部は、前記所定領域毎に、前記基準画素と前記近傍画素との前記劣化度の差分に応じたカウント値を求め、当該カウント値を積算して前記劣化度に対するヒストグラムを生成する請求項３記載の画像処理装置。
6. 前記カウント値は、前記基準画素と前記近傍画素との前記劣化度の差分が大きい程、小さい値になる請求項５記載の画像処理装置。
7. 前記劣化度変化判定部は、前記所定領域毎に、最小輝度、最大輝度を検出する請求項３記載の画像処理装置。
8. 前記劣化度変化判定部は、前記画像データから縮小画像を生成し、当該縮小画像から前記劣化度を検出する請求項１記載の画像処理装置。
9. 前記劣化度変化判定部は、前記基準画素と前記近傍画素とから成る前記所定領域内における輝度データの頻度分布を生成し、
   前記補正処理部は、前記基準画素と前記近傍画素との間の前記劣化度の変化の度合いに応じて前記頻度分布の生成時における前記近傍画素の画素値に対する頻値に重み付けの調整を行う、
   請求項１記載の画像処理装置。
10. 前記補正処理部は、前記基準画素との間の前記劣化度の変化の度合いが大きい近傍画素の前記頻値を小さくする請求項９記載の画像処理装置。
11. 前記劣化度変化判定部は、前記基準画素と前記近傍画素とのそれぞれの座標にある画素のＲ値、Ｇ値、Ｂ値の最小値を算出し、それぞれの算出された最小値の差分、又はそれぞれの算出された最小値の比に基づいて前記劣化度の変化の度合いを判定する請求項３記載の画像処理装置。
12. 請求項１乃至１１のうちいずれか１項記載の画像処理装置と、
    前記画像データを取得する撮像部と、
    を具備する撮像装置。
13. 画像データの画素毎の劣化度を検出することと、
    前記劣化度に基づいて前記画像データの基準画素とその周辺の近傍画素とを含む所定領域内における前記劣化度の変化の度合いを判定することと、
    前記劣化度の変化の度合いに基づいて前記基準画素の劣化を補正するための補正値を設定することと、
    前記補正値に基づいて前記基準画素のデータを補正することと、
    を具備し、
    前記劣化度は、前記画像データの高輝度かつ低彩度である度合いである画像処理方法。
14. コンピュータに、
    画像データの画素毎の劣化度を検出することと、
    前記劣化度に基づいて前記画像データの基準画素とその周辺の近傍画素とを含む所定領域内における前記劣化度の変化の度合いを判定することと、
    前記劣化度の変化の度合いに基づいて前記基準画素の劣化を補正するための補正値を設定することと、
    前記補正値に基づいて前記基準画素のデータを補正することと、
    を実行させ、
    前記劣化度は、前記画像データの高輝度かつ低彩度である度合いである画像処理装置の画像処理プログラムを記憶した記憶媒体。

Images