JP4803284B2 - 画像処理装置、及び画像処理プログラム - Google Patents

Description

本発明は画像処理技術に関し、特に画像の階調補正処理に関するものである。

従来、例えば特許文献１には、撮像装置における露光制御技術として、輝度レベルの低い領域の輝度レベルと他の領域の輝度レベルとを用いて逆光の程度を示す逆光度を検出し、この逆光度に応じて輝度レベルの低い領域の輝度レベルを持ち上げるように階調補正用の制御パラメータ（ゲイン）を設定する技術が提案されている。

かかる従来技術によれば、逆光の場合でも適切に露光を制御することができ、その結果撮像した画像に良好な階調を確保することが可能となる。

特開２００３−１１６０４９号公報（図１０）

しかしながら、上記従来技術では、画像内で輝度レベルが同じである複数の領域に対し、各領域内での被写体の状況とは無関係に同じ値の制御パラメータ（ゲイン）が無条件に適用される。このため、階調補正処理後の画像においては、明るさが激しく変化する局所領域におけるコントラストが損なわれてしまうという問題があった。

本発明は、かかる従来の課題に鑑みてなされたものであり、撮像画像等の画像における階調補正処理に際し、明るさが激しく変化する局所領域のコントラストを維持することを目的とする。

本発明の第１の観点に係る画像処理装置にあっては、対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手段と、この明るさ情報取得手段により取得された明るさ情報により示される各画素の明るさと前記対象画像における各画素の明るさとを、予め対象画像における各画素の明るさに比例して決定された所定の合成比率で合成することによって、前記明るさ情報取得手段により取得された明るさ情報により示される各画素の明るさを補正する補正手段と、この補正手段による合成後の各画素の明るさに反比例する補正倍率を画素毎に設定する補正倍率設定手段と、前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手段により各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手段とを備えたことを特徴とする。
また、本発明の第２の観点に係る画像処理装置にあっては、対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手段と、前記明るさ情報取得手段により取得された明るさ情報により示される各画素の明るさから、前記対象画像における各画素の明るさを減算する減算手段と、前記対象画像における逆光の度合を取得する逆光度合取得手段と、前記減算手段による減算後の各画素の明るさに、前記逆光度合取得手段により取得された逆光の度合に比例する値をコントラスト調整値として乗算する乗算手段と、前記乗算手段による乗算後の各画素の明るさに、対象画像における各画素の明るさを加算する加算手段と、前記加算手段による加算後の各画素の明るさに反比例することを基本とした補正倍率を対象画像の各画素に個別に設定する補正倍率設定手段と、前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手段により各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手段とを備えたことを特徴とする。

本発明の第３の観点に係る画像処理プログラムにあっては、コンピュータに、対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手順、この明るさ情報取得手順にて取得された明るさ情報により示される各画素の明るさと前記対象画像における各画素の明るさとを、予め対象画像における各画素の明るさに比例して決定された所定の合成比率で合成することによって、前記明るさ情報取得手順にて取得された明るさ情報により示される各画素の明るさを補正する補正手順、 この補正手順での合成後の各画素の明るさに反比例する補正倍率を画素毎に設定する補正倍率設定手順、前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手順にて各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手順を実行させることを特徴とする。
本発明の第４の観点に係る画像処理プログラムにあっては、コンピュータに、対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手順、前記明るさ情報取得手順にて取得された明るさ情報により示される各画素の明るさから、前記対象画像における各画素の明るさを減算する減算手順、前記対象画像における逆光の度合を取得する逆光度合取得手順、前記減算手順における減算後の各画素の明るさに、前記逆光度合取得手順により取得された逆光の度合に比例する値をコントラスト調整値として乗算する乗算手順、前記乗算手順における乗算後の各画素の明るさに、対象画像における各画素の明るさを加算する加算手順、前記加算手順における加算後の各画素の明るさに反比例することを基本とした補正倍率を対象画像の各画素に個別に設定する補正倍率設定手順、前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手段により各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手段手順を実行させることを特徴とする。

本発明によれば、元画像において明るさの変化が激しい局所領域のコントラストを維持しながら、元画像の大局的な階調を補正することができる。

本発明を適用したデジタルスチルカメラのハードウェア構成の一例を示すブロック図である。 本発明を適用したデジタルスチルカメラの機能ブロック図である。 画像処理部の要部を示す機能ブロック図である。 コントラスト調整部の構成を示す機能ブロック図である。 εフィルタの機能を示す概念図である。 （ａ）は明るさ情報画像の例、（ｂ）はεフィルタ処理後の画像の例、（ｃ）はローパスフィルタ処理後の画像の例である。 逆光レベルに対するコントラスト調整レベルの変化を示す特性図である。 第１の明るさ成分値と、第３の明るさ成分値に対する第１の明るさ成分値の合成比率との関係を示す図である 第４の明るさ成分値に対する各画素のゲインの変化を示す特性図である。 画像処理部における処理内容を示すフローチャートである。 対象画像の各画素に設定されるゲインの説明図である。 画像処理部における階調補正処理の効果を示す図である。

以下、本発明を適用した実施形態について、図を参照しながら説明する。図１は、本発明の実施形態として例示するデジタルスチルカメラ（以下、単にデジタルカメラという。）１のハードウェア構成の概略を示すブロック図である。

図１に示したようにデジタルカメラ１は、被写体を撮像するためのＣＣＤ（Charge Coupled Device）２を有している。ＣＣＤ２は、図示しない光学系によって被写体の光学像が結像される感光面に、ベイヤー配列等の特定の色配列を有する色フィルタが設けられた構造を備えている。ＣＣＤ２は、水平／垂直ドライバ３から供給される水平、及び垂直転送用の駆動信号により駆動されることによって、被写体の光学像を電気信号に変換し、変換後の電気信号を撮像信号としてＣＤＳ（Correlated Double Sampling）回路、及びＡ／Ｄコンバータ（Analog-to-Digital converter）から構成されたＣＤＳ／ＡＤ回路４へ供給する。

水平／垂直ドライバ３は、ＴＧ（Timing Generator）５が生成したタイミング信号に基づき動作することによって前述した水平、及び垂直転送用の駆動信号を生成しＣＣＤ２を駆動する。また、ＴＧ５が生成したタイミング信号はＣＤＳ／ＡＤ回路４にも供給される。ＣＤＳ／ＡＤ回路４は、ＴＧ５から供給されたタイミング信号に基づき動作することによって、ＣＣＤ２が出力した撮像信号に含まれるノイズを除去するとともに、ノイズ除去後の撮像信号をデジタル信号に変換し、変換後のデジタル信号をＤＳＰ（Digital Signal Processor）６へ供給する。

ＤＳＰ６は、ＣＤＳ／ＡＤ回路４から供給されたデジタル信号、すなわち単一の色情報のみを有する各画素のデータからなる画像データを処理するためのバッファ用のメモリ６ａを備えた構成を有しており、以下の処理を行う。すなわちＤＳＰ６は、ＣＤＳ／ＡＤ回路４から供給された画像データに対して、各画素の不足する色情報を各画素の周辺画素から補間することによって、画素毎にＲ（Red）、Ｇ（Green）、Ｂ（Blue）の色成分情報を有する画像データ、つまりＲＧＢデータを生成するデモザイク（de-mosaic）処理を行う。

また、ＤＳＰ６は、デモザイク処理によって生成したＲＧＢデータに対する階調補正処理や、階調補正処理後のＲＧＢデータに対するホワイトバランス調整処理、ガンマ補正処理、各種のフィルタ処理、ＲＧＢデータを画素毎の輝度成分（Ｙ）、及び２つの色差成分（Ｃｂ、Ｃｒ）により表現される画像データ、つまりＹＵＶデータに変換するＹＵＶ変換処理等のデジタル信号処理を行う。なお、上記の階調補正処理の詳細については後述する。

また、ＤＳＰ６は、上記のデジタル信号処理を行った後のＹＵＶデータを順次ＳＤＲＡＭ（Synchronous dynamic random-access memory）７に供給する。ＳＤＲＡＭ７は、ＤＳＰ６から供給されたＹＵＶデータを一時的に記憶する。

さらに、ＤＳＰ６は、デジタルカメラ１に動作モードとして記録モードが設定されている状態においては、ＳＤＲＡＭ７に１フレーム分のＹＵＶデータ（画像データ）が蓄積される毎に、ＳＤＲＡＭ７に蓄積されている画像データを読み出し、読み出した画像データをＬＣＤ（Liquid Crystal Display）８に供給する。

ＬＣＤ８は、図示しない液晶表示器と、液晶表示器を駆動する駆動回路等から構成され、ＤＳＰ６から供給された画像データに基づく画像を液晶表示器の画面上にライブビュー画像として表示する。

一方、前述したＴＧ５及びＤＳＰ６はバス１３を介してＣＰＵ（Central Processing Unit）９と接続されており、ＴＧ５及びＤＳＰ６の動作はＣＰＵ９によって制御されている。

ＣＰＵ９は、記憶内容が書き換え可能なＥＥＰＲＯＭ（Electric Erasable Programmable Read Only Memory）であるフラッシュメモリ１０に記憶されているプログラムに従い動作することによってデジタルカメラ１の全体の動作を制御する。

また、ＣＰＵ９は、デジタルカメラ１に動作モードとして記録モードが設定されている状態での撮影時には、ＳＤＲＡＭ７に一時記憶された画像データをＪＰＥＧ（Joint Photographic Expert Group）方式等の所定の圧縮方式により圧縮し、圧縮後の画像データを画像ファイルとして外部メモリ１１に記録する。外部メモリ１１は、図示しないカードインターフェイスを介してバス１３に接続されたカメラ本体に着脱自在なメモリカードである。

また、ＣＰＵ９は、デジタルカメラ１に動作モードとして再生モードが設定されているときには、必要に応じて外部メモリ１１から所定の画像ファイル（圧縮状態の画像データ）を読み出すとともに、読み出したデータを伸張してＳＤＲＡＭ７に展開する。さらにＣＰＵ９は、ＳＤＲＡＭ７に展開したデータ（ＹＵＶデータ）を、ＤＳＰ６を介してＬＣＤ８に供給することによりＬＣＤ８に記録画像を表示させる。

バス１３にはキー入力部１２が接続されている。キー入力部１２は、ユーザがデジタルカメラ１の操作に必要とする各種の操作キー、例えば電源キーやシャッターキー、記録モードや再生モードを設定するためのモード設定キー等によって構成されている。そして、ＣＰＵ９は、キー入力部１２における各々の操作キーの操作状態を逐次検出し、検出した操作状態に基づき判断したユーザの要求に従い種々の処理をプログラムに従い実行する。

図２は、デジタルカメラ１の構成を機能別に示した機能ブロック図である。図２に示したようにデジタルカメラ１は、主として撮像部５１と、画像処理部５２、制御部５３、作業用メモリ５４、プログラムメモリ５５、画像記録部５６、表示部５７、操作部５８によって構成されている。

各々の機能ブロックは、後述するように図１に示した１又は複数のハードウェアによって実現される。すなわち撮像部５１はＣＣＤ２と、水平／垂直ドライバ３、ＣＤＳ／ＡＤ回路４、ＴＧ５によって実現され、被写体を撮像して撮像画像を取得する機能部分である。また、画像処理部５２はＤＳＰ６によって実現され、撮像画像に前述した種々の画像処理を施す機能部分である。制御部５３はＣＰＵ９によって実現される。また、作業用メモリ５４はＳＤＲＡＭ７によって実現され、プログラムメモリ５５はフラッシュメモリ１０によって実現される。また、画像記録部５６は外部メモリ１１によって実現され、表示部５７はＬＣＤ８によって実現され、操作部５８は前述したキー入力部１２によって実現される。

図３は、画像処理部５２の要部であって、デモザイク処理により生成したＲＧＢデータに対して階調補正処理を行うための機能部分の詳細を示した機能ブロック図である。図３に示したように画像処理部５２は、画像バッファ１０１と、ＲＧＢｍａｘ演算部１０２、εフィルタ１０３、ゲイン設定処理部１０４、階調補正部１０５とから構成されている。また、ゲイン設定処理部１０４は、逆光レベル演算部１１１とコントラスト調整レベル算出部１１２とコントラスト調整部１１３と合成処理部１１４、補正ゲイン算出部１１５とから構成されている。さらに、コントラスト調整部１１３は、図４に示したように、減算器１２１と乗算器１２２と加算器１２３とから構成されている。

以下、図３及び図４に示した画像処理部５２の各部について説明する。画像バッファ１０１は前述したメモリ６ａ（図１参照）によって実現される機能部分である。画像バッファ１０１は、階調補正処理の対象となる画像を表すデータであって、デモザイク処理により生成されたＲＧＢデータ（ＲＧＢ_ｉｎ）を記憶する。以下の説明においては、ＲＧＢデータが表す画像を対象画像と呼ぶことにする。なお、ＲＧＢデータにおけるＲ，Ｇ，Ｂの各色成分の画素値は「０〜２５５」の範囲の値である。

ＲＧＢｍａｘ演算部１０２は明るさ成分抽出手段として機能し、画像バッファ１０１に記憶されたＲＧＢデータを読み出し、各画素について画素値が最大であるＲ，Ｇ，Ｂのいずれかの色成分の画素値を対象画像の明るさ成分として取得する。そして、ＲＧＢｍａｘ演算部１０２は、取得した各画素の最大の色成分の画素値である第１の明るさ成分値（ｍａｘ）をεフィルタ１０３、及びコントラスト調整部１１３と合成処理部１１４とにそれぞれ供給する。

εフィルタ１０３は、主として明るさの急峻な変化を伴う画像に重畳された小幅振幅雑音（高周波成分）の除去、つまり画像の明るさの平滑化を目的として使用される画像フィルタであって、より詳しくは元画像におけるエッジの保持性能を有する平滑化フィルタである。εフィルタ１０３は平滑化手段として機能し、ＲＧＢｍａｘ演算部１０２から供給された各画素の第１の明るさ成分値（ｍａｘ）を後述するフィルタ処理により第２の明るさ成分値（ｍａｘ_ε）に変換する。そして、εフィルタ１０３は、変換後の第２の明るさ成分値（ｍａｘ_ε）をゲイン設定処理部１０４におけるコントラスト調整部１１３へ供給する。

なお、ＲＧＢｍａｘ演算部１０２とεフィルタ１０３とが明るさ情報取得手段として機能する。

ここで、εフィルタ１０３におけるフィルタ処理について説明する。εフィルタ１０３においては、各画素を注目画素として、縦横３画素分からなる画素領域（各注目画素を中心とする合計９個の画素領域）に着目する。つまり、注目画素とその周辺に位置する８個の周辺画素に着目する。そして、注目画素の画素値（第１の明るさ成分値）と各周辺画素の画素値（第１の明るさ成分値）との各差分値が、閾値Ｔ（Ｔ＝２０）以下になるように、各周辺画素の画素値を調整する。さらに、注目画素の元の画素値と調整された各周辺画素の画素値とにそれぞれ所定の係数として１／９を乗じることにより得られる各画素値の総和を算出し、算出した画素値を注目画素の新たな画素値（第２の明るさ成分値）とする。

上記のフィルタ処理では、注目画素の画素値（第１の明るさ成分値）を周辺画素の画素値（第１の明るさ成分値）に応じて増減することによって、画像内で近接する画素同士の画素値が平均化される。しかも、フィルタ処理の過程では、周辺画素の画素値を、注目画素の画素値との差分値が閾値Ｔ以下になるように調整し、調整後の周辺画素の画素値を用いて注目画素の画素値を増減（平均化）する。

そのため、上記のフィルタ処理では、画像内での明暗の境界部分（例えば人物や建物等の被写体の境界部分）において暗領域側に位置する注目画素の画素値に対する、明領域側に位置する周辺画素の画素値の影響を小さくすることができる。同様に、上記のフィルタ処理では、画像内での明暗の境界部分において明領域側に位置する注目画素の画素値に対する、暗領域側に位置する周辺画素の画素値の影響を小さくすることができる。

これにより、εフィルタ１０３におけるフィルタ処理では、元画像におけるエッジを保持したままで、元画像の各部における明るさを平滑化することできる。なお、上記のフィルタ処理に際して、着目する画素領域の範囲、閾値Ｔの値、各画素の画素値に乗じる係数は、適宜変更することができる。

図５はεフィルタ１０３の機能を示した概念図である。すなわち図５は、ある画像内で明るさが激しく変化する明暗の境界部分（被写体の境界部分等）における画素位置に対する各画素の明るさの変化を便宜的に示した図である。また、図５においては、横方向が水平方向（又は垂直方向）の画素位置、縦方向が各画素位置の画素の明るさである。そして、図５に実線で示した明るさの変化が、上述したフィルタ処理が施される前の第１の明るさ成分値（ｍａｘ）の変化であり、図５に破線で示した明るさの変化が、上述したフィルタ処理が施された後の第２の明るさ（ｍａｘ_ε）の変化である。

また、図６は、εフィルタ１０３によるフィルタ処理の効果の具体例を示した図である。図６（ａ）は、上述したフィルタ処理前の第１の明るさ成分値（ｍａｘ）を画素値とする画素により構成される明るさ成分画像の例である。また、図６（ｂ）は、上述したフィルタ処理後の第２の明るさ成分値（ｍａｘ_ε）を画素値とする画素により構成される大局輝度画像、つまり明るさ成分画像から高周波成分が除去された後の画像の例である。また、図６（ｃ）は、図６（ａ）の明るさ成分画像に、仮に一般的なＬＰＦ（ローパスフィルター）によるフィルタ処理（平滑化処理）を施した場合における処理後の画像の例である。

図６（ａ）〜図６（ｃ）から明らかなように、εフィルタ１０３によるフィルタ処理後の大局輝度画像は、一般的なＬＰＦによる平滑化が行われる場合に比べ、処理以前の明るさ成分画像に含まれていた低周波成分がより正確に反映された（エッジが保持された）画像となる。

ゲイン設定処理部１０４は、εフィルタ１０３から供給された第２の明るさ成分値（ｍａｘ_ε）に基づいて、対象画像の各画素に対する階調補正用の基づく補正倍率であるゲイン（ｇ_ｌｅｖ）を個別に取得し、階調補正部１０５に供給（設定）し、補正倍率設定手段として機能する。以下、ゲイン設定処理部１０４を構成する前述した各機能ブロックの詳細、及び階調補正用のゲイン（ｇ_ｌｅｖ）の具体的な取得方法について説明する。

逆光レベル演算部１１１は逆光度合取得手段として機能し、画像バッファ１０１に記憶されたＲＧＢデータを読み出し、読み出したＲＧＢデータに基づき対象画像における逆光の度合を示す逆光レベル（ｇｋ_ｌeｖ）を取得する。逆光レベル演算部１１１は、取得した逆光レベル（ｇｋ_ｌeｖ）をコントラスト調整レベル算出部１１２へ供給する。逆光レベル演算部１１１における逆光レベル（ｇｋ_ｌeｖ）の取得方法は次の通りである。

すなわち逆光レベル演算部１１１は、対象画像をｎ×ｍの複数領域に分割して、複数領域毎にＲＧＢデータに基づき輝度レベル（例えば各領域内の各画素の輝度値の平均、又は総和）を取得する。次に、逆光レベル演算部１１１は、上記の輝度レベルが最も低い特定の領域の輝度レベルと、特定の領域以外の他の複数領域の輝度レベルの平均値との差を演算し、演算した輝度レベルの差（０〜２５５の範囲の値）を逆光レベル（ｇｋ_ｌeｖ）として取得する。なお、対象画像における逆光レベルの具体的な取得方法については、上記の方法に限定されるものではなく任意である。

コントラスト調整レベル算出部１１２は調整値取得手段として機能し、対象画像の逆光の度合に応じたコントラスト調整レベル（ａｄｊ_ｌeｖ）を取得し、コントラスト調整レベル算出部１１２へ供給する。具体的に説明すると、コントラスト調整レベル算出部１１２は、コントラスト調整レベル（ａｄｊ_ｌeｖ）を、逆光レベル演算部１１１から供給された逆光レベル（ｇｋ_ｌeｖ）をパラメータとする、予め決められている所定のコントラスト調整レベル演算関数を用いて算出する。

コントラスト調整レベル算出部１１２がコントラスト調整レベル（ａｄｊ_ｌeｖ）の算出に使用する上記調整レベル演算関数は、逆光レベル（ｇｋ_ｌeｖ）に比例してコントラスト調整レベル（ａｄｊ_ｌeｖ）が増大する特性を有する関数である。コントラスト調整レベル演算関数は、より具体的には、逆光レベル（ｇｋ_ｌeｖ）の変化に対してコントラスト調整レベル（ａｄｊ_ｌeｖ）が、例えば図７（ａ）や、図７（ｂ）に示したように変化する関数である。また、コントラスト調整レベル算出部１１２が算出するコントラスト調整レベル（ａｄｊ_ｌeｖ）は０〜４の範囲の値である。

コントラスト調整部１１３は、前述した逆光レベル演算部１１１とコントラスト調整レベル算出部１１２と合成処理部１１４と共に補正手段として機能し、εフィルタ１０３から供給された第２の明るさ成分値（ｍａｘ_ε）を対象画像における逆光の度合に応じて補正する。そして、コントラスト調整部１１３は補正後の第３の明るさ成分値（ａｄｊ）を合成処理部１１４へ供給する。

具体的に説明すると、コントラスト調整部１１３は、既説した各部、すなわち減算手段として機能する減算器１２１と、乗算手段として機能する乗算器１２２と、加算手段として機能する加算器１２３とから構成されている（図４参照）。コントラスト調整部１１３においては、減算器１２１が各画素の第２の明るさ成分値（ｍａｘ_ε）から第１の明るさ成分値（ｍａｘ）を減算し、減算結果に乗算器１２２がコントラスト調整レベル（ａｄｊ_ｌeｖ）を乗算し、乗算結果に加算器１２３が第１の明るさ成分値（ｍａｘ）を加算することによって、各画素について前述した第３の明るさ成分値（ａｄｊ）を生成する。

ここで、コントラスト調整部１１３が生成する第３の明るさ成分値（ａｄｊ）は、下記の計算式（１）で表される。
ａｄｊ ＝ ａｄｊ_ｌeｖ ×（ｍａｘ_ε − ｍａｘ）＋ ｍａｘ ・・・（１）

つまりコントラスト調整部１１３は、第１の明るさ成分値（ｍａｘ）に、第２の明るさ成分値（ｍａｘ_ε）と第１の明るさ成分値（ｍａｘ）の差分（ｍａｘ_ε−ｍａｘ）をａｄｊ_ｌeｖ倍（０倍〜４倍）した値を加算することによって第３の明るさ成分値（ａｄｊ）を生成する。

また、合成処理部１１４は、コントラスト調整部１１３から供給された各画素の第３の明るさ成分値（ａｄｊ）と、ＲＧＢｍａｘ演算部１０２から供給された各画素の第１の明るさ成分値（ｍａｘ）とを後述する所定の合成比率で合成する。そして、合成処理部１１４は合成後の第４の明るさ成分値（ｍｉｘ）を補正ゲイン算出部１１５へ供給する。

具体的に説明すると、合成処理部１１４は、まず合成比率決定手段として機能し、各画素の第１の明るさ成分値（ｍａｘ）をパラメータとする、予め決められている所定の合成比演算関数に基づき、第３の明るさ成分値（ａｄｊ）に対する第１の明るさ成分値（ｍａｘ）の合成比率を算出する。上記合成比演算関数は、図８（ａ）に示したように、第１の明るさ成分値（ｍａｘ）に比例して、第１の明るさ成分値（ｍａｘ）の合成比率（α）が増加する特性を有する関数である。

そして、合成処理部１１４は合成手段として機能し、上記合成比演算関数に基づき算出した合成比率（α）を用いた下記の計算式（２）
ｍｉｘ ＝ α×ｍａｘ＋（１−α）×ａｄｊ ・・・（２）
に従い、各画素の第３の明るさ成分値（ａｄｊ）と、第１の明るさ成分値（ｍａｘ）とを合成し、合成後の第４の明るさ成分値（ｍｉｘ）を補正ゲイン算出部１１５へ供給する。

また、補正ゲイン算出部１１５は、合成処理部１１４から供給された各画素の第４の明るさ成分値（ｍｉｘ）をパラメータとする、予め決められている下記式により表される所定のゲイン演算関数
ｆ_ｇａｉｎ（ｍｉｘ）
を用いて、対象画像の各画素の明るさの補正に使用するゲイン（ｇ_ｌｅｖ）を画素毎に演算し、演算結果を階調補正部１０５へ供給する。

補正ゲイン算出部１１５が各画素のゲイン（ｇ_ｌｅｖ）の演算に使用する上記ゲイン演算関数は、図９（ａ）に示したように、第４の明るさ成分値（ｍｉｘ）が小さいほどゲイン（ｇ_ｌｅｖ）が大きくなり、かつ第４の明るさ成分値（ｍｉｘ）が大きいほどゲイン（ｇ_ｌｅｖ）が小さくなる補正特性、すなわちゲイン（ｇ_ｌｅｖ）が第４の明るさ成分値（ｍｉｘ）に反比例する補正特性を有する関数である。

階調補正部１０５は、画像バッファ１０１に記憶されたＲＧＢデータを画素毎に読み出し、読み出した対象画像の各画素のＲＧＢデータにおける色成分の画素値（Ｒ値、Ｇ値、Ｂ値）に、ゲイン設定処理部１０４から供給された画素毎のゲイン（ｇ_ｌｅｖ）をそれぞれ乗じる補正を行う。また、階調補正部１０５は画像バッファ１０１に記憶された各画素のＲＧＢデータを補正後のＲＧＢデータに書き換える。つまり画像処理部５２においては、階調補正部１０５が階調補正手段として機能し、画像バッファ１０１に記憶されたＲＧＢデータ（ＲＧＢ_ｉｎ）を補正後のＲＧＢデータに書き換えることによって対象画像の階調を補正する。

そして、画像処理部５２は、画像バッファ１０１に記憶した補正後のＲＧＢデータ（ＲＧＢ_ｏｕｔ）を読み出し、読み出した補正後のＲＧＢデータ、つまり階調補正処理後の画像を処理対象としてホワイトバランス調整処理等の他のデジタル信号処理を行う。

図１０は、画像処理部５２の図３に示した各部による階調補正処理の内容をフローチャートとして示したものである。なお、各ステップの処理の詳細については既に述べた通りであるため説明を省略する。

図１０に示したように、画像処理部５２における階調補正処理においては、ＲＧＢｍａｘ演算部１０２が、対象画像を表すＲＧＢデータから、対象画像の各画素について第１の明るさ成分値（ｍａｘ）を取得する（ステップＳ１）。次にεフィルタ１０３が、フィルタ処理によって第１の明るさ成分値（ｍａｘ）を第２の明るさ成分値（ｍａｘ＿ε）に変換する（ステップＳ２）。

また、逆光レベル演算部１１１が、対象画像を表すＲＧＢデータから逆光レベル（ｇｋ＿ｌｅｖ）を取得する（ステップＳ３）。さらにコントラスト調整レベル算出部１１２が、逆光レベル（ｇｋ＿ｌｅｖ）に比例するコントラスト調整レベル（ａｄｊ＿ｌｅｖ）を算出する（ステップＳ４）。次に、コントラスト調整部１１３が、第１の明るさ成分値（ｍａｘ）と、第２の明るさ成分値（ｍａｘ＿ε）と、コントラスト調整レベル（ａｄｊ＿ｌｅｖ）とに基づいて第３の明るさ成分値（ａｄｊ）を画素毎に生成する（ステップＳ５）。

引き続き、合成処理部１１４が、第３の明るさ成分値（ａｄｊ）を、大きさに比例した合成比率で第１の明るさ成分値に合成することによって第４の明るさ成分値（ｍｉｘ）を生成する（ステップＳ６）。次に、補正ゲイン算出部１１５が、第４の明るさ成分値（ｍｉｘ）に応じた画素毎のゲイン（ｇ＿ｌｅｖ）を算出する（ステップＳ７）。しかる後、階調補正部１０５が、各画素のＲＧＢデータを、各色成分の画素値に各画素のゲイン（ｇ＿ｌｅｖ）をそれぞれ乗じることによって補正する（ステップＳ８）。さらに、階調補正部１０５が、画像バッファ１０１に記憶されているＲＧＢデータ（ＲＧＢ_ｉｎ）を、補正後の各画素のＲＧＢデータに書き換え画像バッファ１０１に記憶する（ステップＳ９）。

（本発明の特徴）
ここで、以上説明した画像処理部５２による階調補正処理においては、補正ゲイン算出部１１５に供給される各画素の第４の明るさ成分値（ｍｉｘ）が、ＲＧＢｍａｘ演算部１０２によって取得した第１の明るさ成分値（ｍａｘ）と、εフィルタ１０３によって取得した第２の明るさ成分値（ｍａｘ_ε）とに基づく明るさ情報である。つまり第４の明るさ成分値（ｍｉｘ）が、対象画像における各画素の明るさ情報ではなく、対象画像における高周波成分が除去された状態での各画素の明るさ情報に基づくものである。また、補正ゲイン算出部１１５が各画素のゲイン（ｇ_ｌｅｖ）として各画素の第４の明るさ成分値（ｍｉｘ）に反比例するゲインを設定する。

これにより、画像処理部５２による階調補正処理においては、対象画像の大局的な階調を補正することができ、しかも階調補正処理後の画像には、対象画像において明るさの変化が激しい局所領域についても対象画像と同様のコントラストを確保することができる。

上記効果が得られる理由を具体的に説明する。まず、画像処理部５２による階調補正処理においては、前述したように各画素に設定されるゲイン（ｇ_ｌｅｖ）が各画素の第４の明るさ成分値（ｍｉｘ）に反比例することから、対象画像における暗い部分の画素ほどゲイン（ｇ_ｌｅｖ）が大きくなり、かつ対象画像における明るい部分の画素ほどゲイン（ｇ_ｌｅｖ）が小さくなる。このため、階調補正処理が施された後の画像では、対象画像において暗かった部分ほど明るさが大きく持ち上げられることとなる。

よって、画像処理部５２による階調補正処理では、基本的には以下の効果が得られる。すなわち対象画像において明るかった部分における「白とび」現象の発生を抑制しつつ、暗かった部分に良好な階調を確保することができ、対象画像の大局的な階調補正処理を行うことができる。その結果、例えば対象画像が逆光下で人物を撮影した画像であって、人物の顔部分が暗い画像の場合には、画像処理部５２による階調補正処理によって、人物の顔部分が明るく豊かに表現された画像を得ることができる。

一方、階調補正処理に際して対象画像における暗い部分の画素の明るさを持ち上げると、それに伴い対象画像において明るさが激しく変化する局所領域においては、暗領域側の画素と明瞭域側の画素とにおける明暗の差が小さくなる。その結果、対象画像において、例えば明るい部分（空等）を背景として比較的小面積の暗い被写体が存在しているような部分においてはコントラストが損なわれることとなる。

これに関し、画像処理部５２による階調補正処理では、補正ゲイン算出部１１５に供給される各画素の第４の明るさ成分値（ｍｉｘ）が、第２の明るさ成分値（ｍａｘ_ε）に基づき生成された明るさ情報である。より具体的には、第４の明るさ成分値（ｍｉｘ）は、第２の明るさ成分値（ｍａｘ_ε）がコントラスト調整部１１３及び合成処理部１１４を経て補正された後の明るさ情報である。そして、第２の明るさ成分値（ｍａｘ_ε）は、既説したように第１の明るさ成分値（ｍａｘ）を画素値とする画素により構成される明るさ成分画像から高周波成分を除去した大局輝度画像、換言すれば低周波成分のみからなる大局輝度画像を構成する画素の画素値である。

このため、階調補正処理に際して補正ゲイン算出部１１５が算出する各画素のゲイン（ｇ_ｌｅｖ）、つまり対象画像の各画素に設定されるゲインは、補正ゲイン算出部１１５に第１の明るさ成分値（ｍａｘ）をそのまま供給した場合と比較すると、以下に述べるようなゲインとなる。なお、ここでは説明の便宜上、補正ゲイン算出部１１５に第１の明るさ成分値（ｍａｘ）を供給した場合と、前述した補正を経てない第２の明るさ成分値（ｍａｘ_ε）を供給した場合とを比較することにより、対象画像の各画素に設定されるゲインの詳細を説明する。

図１１（ａ）、及び図１１（ｂ）は、補正ゲイン算出部１１５に第１の明るさ成分値（ｍａｘ）を供給した場合と、前述した補正を経てない第２の明るさ成分値（ｍａｘ_ε）を供給した場合とにおいて対象画像の各画素に設定されるゲインの違いを示した図である。

すなわち図１１（ａ）は、対象画像において周辺画素よりも暗い画素に設定されるゲインの例を示した図である。周辺画素よりも暗い画素の場合、周辺画素よりも暗い画素の第２の明るさ成分値（ｍａｘ_ε）は、元の第１の明るさ成分値（ｍａｘ）が周辺画素の第１の明るさ成分値（ｍａｘ）と平滑化されることによって、元の第１の明るさ成分値（ｍａｘ）よりも大きくなる。そのため、補正ゲイン算出部１１５に第２の明るさ成分値（ｍａｘ_ε）を供給したときのゲインは、補正ゲイン算出部１１５に第１の明るさ成分値（ｍａｘ）を供給したときのゲインよりも小さくなる。よって、周辺画素よりも暗い画素については階調補正処理に伴う明るさの増加が抑制される。その結果、対象画像において明るさが激しく変化する局所領域では、暗い部分の明るさが、階調補正処理後には他の暗い部分に比べて階調補正処理前の明るさに近い明るさに抑制される。

また、図１１（ｂ）は、対象画像において周辺画素よりも明るい画素に設定されるゲインの例を示した図である。周辺画素よりも明るい画素の場合、周辺画素よりも明るい画素の第２の明るさ成分値（ｍａｘ_ε）は、元の第１の明るさ成分値（ｍａｘ）が周辺画素の第１の明るさ成分値（ｍａｘ）と平滑化されることによって、元の第１の明るさ成分値（ｍａｘ）よりも小さくなる。そのため、補正ゲイン算出部１１５に第２の明るさ成分値（ｍａｘ_ε）を供給したときのゲインは、補正ゲイン算出部１１５に第１の明るさ成分値（ｍａｘ）を供給したときのゲインよりも大きくなる。よって、周辺画素よりも明るい画素については階調補正処理に伴う明るさの増加が顕著なものとなる。その結果、対象画像において明るさが激しく変化する局所領域では、明るい部分の明るさが、階調補正処理後には他の明るい部分に比べて強調される。

なお、対象画像における暗い画素、及び明るい画素のいずれについても、各々の画素の明るさが隣接する周辺画素の明るさと同じである場合には、各々の画素における第１の明るさ成分値（ｍａｘ）と第２の明るさ成分値（ｍａｘ_ε）とが同じ大きさとなる。そのため、明るさが激しく変化する局所領域以外の領域についてコントラストが損なわれることがない。

そして、上述した対象画像の各画素に設定されるゲインの詳細については、補正ゲイン算出部１１５に第４の明るさ成分値（ｍｉｘ）を供給する構成においても、補正ゲイン算出部１１５に第２の明るさ成分値（ｍａｘ_ε）を供給した場合と基本的には同様である。

よって、画像処理部５２による階調補正処理においては、階調補正処理に際して対象画像における暗い部分の画素の明るさを持ち上げたとしても、階調補正処理が施された後の画像に良好なコントラスト状態を得ることができる。すなわち対象画像において明るさが激しく変化する局所領域には、階調補正処理が施される前と同様のコントラストを、階調補正処理が施された後の画像に確保することができる。

図１２は、以上に述べた階調補正処理における効果を具体的に示した図である。すなわち、図１２（ａ）は、対象画像が、第１の明るさ成分値（ｍａｘ）によって表される画像が図６（ａ）に示したものである場合における階調補正処理後の画像の一部を示した図である。より具体的には、階調補正処理後の画像を上下左右に４等分したときの右上部分を示した図である。また、図１２（ｂ）は、比較例として示した図であり、対象画像に対して単に輝度レベルの低い領域の輝度レベルを持ち上げる従来の階調補正処理を施した場合における画像の一部を示した、図１２（ａ）に対応する図である。

図１２（ｂ）に示したように、従来の階調補正処理においては、単に輝度レベルの低い領域の輝度レベルを持ち上げると、結果的には、図に示したような明るい空の中に細くて暗い枝や葉が入り組んでいる領域、つまり明るさが激しく変化する局所領域のコントラストが低下することとなる。これに対し、図１２（ａ）に示したように、画像処理部５２による階調補正処理においては、先に説明した理由によって、明るい空の中に細くて暗い枝や葉が入り組んでいる領域においてもコントラストが低下することなく、対象画像と同様のコントラストを確保することができる。

以上説明したように、画像処理部５２による階調補正処理においては、階調補正処理が施される前の対象画像の大局的な階調を補正しつつ、階調補正処理が施された後の画像には、階調補正処理が施される前の対象画像において明るさの変化が激しい局所領域についても、対象画像と同様のコントラストを確保することができる。

しかも、画像処理部５２による階調補正処理においては、処理対象の画像データをデモザイク処理により生成したＲＧＢデータとし、各画素の色成分毎の画素値（Ｒ値、Ｇ値、Ｂ値）を、各画素に設定した補正用のゲイン（ｇ＿ｌｅｖ）に従い個別に補正することによって各画素の明るさを補正する。そのため、以下の効果を得ることができる。

すなわち、対象画像の各画素に設定したゲイン（ｇ_ｌｅｖ）を各々の色成分の画素値（Ｒ値、Ｇ値、Ｂ値）に乗じて色成分毎の画素値をそれぞれ大きくすると、階調補正処理後の画像の彩度が高くなる。これは、各画素の彩度Ｓが、色成分毎の画素値（Ｒ値、Ｇ値、Ｂ値）において最大となる色成分の値（ＭＡＸ）と最小となる色成分の値（ＭＩＮ）との差に比例するためである（Ｓ＝（ＭＡＸ−ＭＩＮ）／ＭＡＸ）。

一方、仮に階調補正処理における処理対象の画像データをＹＵＶ変換処理後のＹＵＶデータとし、各画素の輝度成分値（Ｙ値）に補正用ゲインを乗じることにより輝度を大きくしたとしても、階調補正処理後の画像の彩度は大きくならない。これは、輝度成分値（Ｙ値）の増減が彩度の増減に影響を与えないためである。

以上のように、画像処理部５２による階調補正処理においては、階調補正処理が施された後の画像に高い彩度が確保できるため、階調補正処理が施された後の画像上で複数の色の区別がつきやすくなる。したがって、階調補正処理が施された後の画像を鮮やかなものとすることができる。また、階調補正処理に際して大きなゲイン（ｇ_ｌｅｖ）が設定される暗い画素、つまり明るさの補正強度が大きい画素であっても、階調補正処理後の画像において元の色を精度良く再現することができる。

一方、画像処理部５２においては、対象画像の各画素に設定するゲイン（ｇ_ｌｅｖ）を決定する第４の明るさ成分値（ｍｉｘ）の元となる第２の明るさ成分値（ｍａｘ_ε）、つまり対象画像における高周波成分が除去された状態での各画素の明るさ情報（以下、便宜的に低周波成分情報と呼ぶこととする。）を次のようにして取得する。すなわち既説したように画像処理部５２においては、対象画像を表すＲＧＢデータからいったん第１の明るさ成分値（ｍａｘ）を取得し、取得した第１の明るさ成分値（ｍａｘ）を画素値とする明るさ成分画像に対してεフィルタ１０３による平滑化処理を施すことによって第２の明るさ成分値（ｍａｘ_ε）を取得する。

このため、画像処理部５２においては、対象画像の低周波成分情報を効率よく取得することができる。すなわち対象画像の低周波成分情報は、例えばＲＧＢデータに対してεフィルタ１０３による平滑化処理を施し、処理後のＲＧＢデータから各画素の明るさ成分値を抽出することによっても得ることができる。しかしながら、ＲＧＢデータに対してεフィルタ１０３による平滑化処理を施す場合には、平滑化処理におけるデータ処理量が多い。これと比較すると、ＲＧＢデータから第１の明るさ成分値（ｍａｘ）を取得し、取得した第１の明るさ成分値（ｍａｘ）を対象としてεフィルタ１０３による平滑化処理を施す場合には、平滑化処理におけるデータ処理量が遙かに少ない。したがって、画像処理部５２においては、対象画像の低周波成分情報を効率よく取得することができる。

しかも、画像処理部５２においては、εフィルタ１０３がエッジの保持性能を有する平滑化フィルタである。このため、階調補正処理後の画像には、対象画像において人物や建物等の画像内で比較的大きな被写体の輪郭に相当する明暗の差が大きな明暗の境界部分についても、対象画像と同様のコントラストを精度良く再現することができる。係る効果が得られる理由を以下に述べる。なお、ここでは画像処理部５２にεフィルタ１０３を用いたことによる効果を、画像処理部５２に、エッジの保持性能を有していない一般的なローパスフィルタを用いた場合との比較において説明する。

まず、画像処理部５２に一般的なローパスフィルタを用いた場合、フィルタ処理後（平滑化処理後）の大局輝度画像においては、前述した明暗の境界部分に生じるボケの度合が、図６（ｃ）に示したようにεフィルタ１０３を用いる場合と比べて大きくなる。つまり、大局輝度画像が、フィルタ処理前の明暗の境界部分における明領域側の境界付近の明るさが、明暗の境界から離間する明領域の明るさよりも暗く（画素値が小さく）、かつフィルタ処理前の明暗の境界部分における暗領域側の境界付近の明るさが、明暗の境界から離間する暗領域の明るさよりも明るく（画素値が大きく）変化した画像となる。

一方、前述したように画像処理部５２による階調補正処理においては、各画素に設定されるゲイン（ｇ_ｌｅｖ）が、補正ゲイン算出部１１５に供給される各画素の第４の明るさ成分値（ｍｉｘ）に反比例する。このため、画像処理部５２に一般的のローパスフィルタを用いた場合、対象画像において明暗の境界部分を構成する画素には以下のようなゲインが設定される。すなわち、明暗の境界部分の明領域側では、明暗の境界付近を構成する画素に、明暗の境界から離間する領域の画素よりも大きなゲインが設定される。また明暗の境界部分の暗領域側では、明暗の境界付近を構成する画素に、明暗の境界から離間する領域の画素よりも小さなゲインが設定される。

したがって、対象画像において被写体の輪郭に相当する明暗の境界部分を構成する明領域側の領域、または暗領域側の領域における各画素の明るさの変化が少ない場合には、明暗の境界部分の明るさが階調補正処理後には以下のようになる。すなわち、対象画像においては明るさの変化が少なかった、明暗の境界部分における明暗の境界に近接する領域の画素の明るさと、明暗の境界から離間する領域の画素の明るさとの間に大きな差が生じる。また、係る明るさの差は、明暗の境界部分の明領域側と暗領域側との明るさの差が大きいほど顕著となる。

以上の理由により、画像処理部５２に一般的なローパスフィルタを用いる場合には、階調補正処理後の画像に、対象画像において人物や建物等の画像内で比較的大きな被写体の輪郭に相当する、明暗の差が大きな明暗の境界部分については、対象画像と同様のコントラストを精度良く確保することができない。

これに対して本実施形態のように画像処理部５２にεフィルタ１０３を用いる構成では、フィルタ処理後（平滑化処理後）の大局輝度画像においては、図６（ｂ）に示したように、明暗の境界部分に生じるボケの度合が一般的なローパスフィルタを用いる場合よりも小さくなる。つまり大局輝度画像として、フィルタ処理が施される前の明暗の境界部分における明領域側の境界付近が明るく（画素値が大きく）、かつ暗領域側の境界付近が暗い（画素値が小さい）状態が維持された画像が得られる。

このため、画像処理部５２にεフィルタ１０３を用いる構成では、画像処理部５２による階調補正処理に際しては、対象画像における明暗の境界部分を構成する画素には以下のようなゲインが設定される。すなわち、明暗の境界部分の明領域側における境界付近を構成する画素と、境界から離間する領域の画素とにほぼ同様のゲインが設定される。また明暗の境界部分の暗領域側における境界付近を構成する画素と、境界から離間する領域の画素とにほぼ同様のゲインが設定される。

したがって、対象画像において被写体の輪郭に相当する明暗の境界部分を構成する明領域側の領域、または暗領域側の領域における各画素の明るさの変化が少ない場合であっても、階調補正処理後の画像には、明るさの変化が少なかった明領域側または暗領域側において、明暗の境界に近接する領域の画素と明暗の境界から離間する領域の画素とに、同様の明るさを維持することができる。

以上の理由により、画像処理部５２においてはεフィルタ１０３を用いることによって、階調補正処理後の画像に、対象画像において人物や建物等の画像内で比較的大きな被写体の輪郭に相当する、明暗の差が大きな明暗の境界部分についても、対象画像と同様のコントラストを精度良く再現することができる。

また、画像処理部５２における階調補正処理においては、前述した効果に加え以下の効果を得ることができる。すなわち階調補正処理においては、εフィルタ１０３において生成された第２の明るさ成分値（ｍａｘ_ε）が、コントラスト調整部１１３において第１の明るさ成分値（ｍａｘ）に応じて画素毎に補正される。そして、補正後における第３の明るさ成分値（ａｄｊ）に基づいて、対象画素の各画素のゲイン（ｇ_ｌｅｖ）が決定される。これにより、階調補正処理後の画像の大局的な階調に、階調補正処理が施される前の対象画像における各画素間の明暗バランスを反映させることができる。したがって、階調補正処理後の画像により自然な階調状態を確保することができる。

さらに、画像処理部５２における階調補正処理においては、前述した効果に加え以下の効果を得ることができる。すなわち階調補正処理においては、補正ゲイン算出部１１５に供給される各画素の第４の明るさ成分値（ｍｉｘ）が、第２の明るさ成分値（ｍａｘ_ε）の補正後の明るさ情報である第３の明るさ成分値（ａｄｊ）に、第１の明るさ成分値（ｍａｘ）が所定の合成比率で合成された明るさ情報である。

これによって、階調補正処理においては、対象画像において周辺画素よりも明るかった画素が階調補正処理に伴い「白とび」する確率を低減することができる。係る効果が得られる理由を以下に述べる。なお、ここでは、説明の便宜上、コントラスト調整部１１３による第２の明るさ成分値（ｍａｘ_ε）の補正に際して前述したコントラスト調整レベル（ａｄｊ_ｌeｖ）が「１」であり、第３の明るさ成分値（ａｄｊ）と第２の明るさ成分値（ｍａｘ_ε）とが同一である場合を想定して説明する。

既説したように対象画像において周辺画素より明るかった画素の第２の明るさ成分値（ｍａｘ_ε）は、第１の明るさ成分値（ｍａｘ）よりも小さくなる。このため、補正ゲイン算出部１１５に第２の明るさ成分値（ｍａｘ_ε）をそのまま供給すると、対象画像において周辺画素より明るかった画素に設定されるゲイン（ｇ_ｌｅｖ）が大きな値となる。これは、補正ゲイン算出部１１５が、第２の明るさ成分値（ｍａｘ_ε）に反比例するゲインを設定するためである。

したがって、補正ゲイン算出部１１５に第２の明るさ成分値（ｍａｘ_ε）をそのまま供給すると、対象画像において周辺画素より明るかった画素に「白とび」現象が発生しやすくなる。つまり対象画像において明るさが激しく変化していた局所領域に階調補正処理前と同様のコントラストを確保する代償として、階調補正処理後の画像に、対象画像において周辺画素より明るかった画素の「白とび」現象が発生する確率が不可避的に高くなる。

これに対し、階調補正処理においては、補正ゲイン算出部１１５に第４の明るさ成分値（ｍｉｘ）が供給される。ここで、第４の明るさ成分値（ｍｉｘ）は、第２の明るさ成分値（ｍａｘ_ε）に第１の明るさ成分値（ｍａｘ）が所定の合成比率（α）で合成されたものである。つまり第４の明るさ成分値（ｍｉｘ）は、第２の明るさ成分値（ｍａｘ_ε）よりも、第１の明るさ成分値（ｍａｘ）が所定の合成比率（α）で合成された分だけ大きい値となる。このため、補正ゲイン算出部１１５に第４の明るさ成分値（ｍｉｘ）を供給すると、対象画像において周辺画素より明るかった画素に設定されるゲイン（ｇ_ｌｅｖ）は、補正ゲイン算出部１１５に第２の明るさ成分値（ｍａｘ_ε）をそのまま供給する場合に比べ小さな値となる。

したがって、階調補正処理においては、対象画像において明るさが激しく変化していた局所領域に階調補正処理前と同様のコントラストを確保しながら、同時に、補正ゲイン算出部１１５に第４の明るさ成分値（ｍｉｘ）を供給することによって、階調補正処理後の画像に、対象画像において周辺画素より明るかった画素の「白とび」現象が発生する確率を低下させることができる。

しかも、階調補正処理においては、合成処理部１１４が、第１の明るさ成分値（ｍａｘ）を第３の明るさ成分値（ａｄｊ）に合成する際の合成比率を第１の明るさ成分値（ｍａｘ）に比例した合成比率（α）とする。したがって、第３の明るさ成分値（ａｄｊ）に対する第１の明るさ成分値（ｍａｘ）の合成比率を適切な比率に調整することができる。その結果、階調補正処理後の画像に、対象画像において周辺画素より明るかった画素の「白とび」現象が発生する確率を確実に低下させることができる。

また、画像処理部５２における階調補正処理においては、前述した効果に加え、以下に述べる効果をさらに得ることができる。すなわち画像処理部５２においては、コントラスト調整部１１３が第２の明るさ成分値（ｍａｘ_ε）を補正して第３の明るさ成分値（ａｄｊ）を生成する。つまり、既説したようにコントラスト調整部１１３は、第１の明るさ成分値（ｍａｘ）に、第２の明るさ成分値（ｍａｘ_ε）と第１の明るさ成分値（ｍａｘ）の差分（ｍａｘ_ε−ｍａｘ）をａｄｊ_ｌeｖ倍した値を加算することによって第３の明るさ成分値（ａｄｊ）を生成する。

ここでコントラスト調整部１１３が生成する第３の明るさ成分値（ａｄｊ）とコントラスト調整レベル（ａｄｊ_ｌeｖ）との関係は、以下の通りである。まず、対象画像において周辺画素よりも明るい、つまり第１の明るさ成分値（ｍａｘ）が大きな画素について、第３の明るさ成分値（ａｄｊ）とコントラスト調整レベル（ａｄｊ_ｌeｖ）との関係を説明する。すなわち周辺画素よりも明るい画素は、先に説明した図５に実線で示した第１の明るさ成分値（ｍａｘ）が、図５に破線で示した第２の明るさ成分値（ｍａｘ_ε）よりも大きな画素である。したがって、周辺画素よりも明るい画素においては、第２の明るさ成分値（ｍａｘ_ε）と第１の明るさ成分値（ｍａｘ）との差分（ｍａｘ_ε−ｍａｘ）が負（マイナス）の値となる。よって、第３の明るさ成分値（ａｄｊ）は、コントラスト調整レベル（ａｄｊ_ｌeｖ）の値が大きくなるほど、第２の明るさ成分値（ｍａｘ_ε）を基準として減少する。

次に、対象画像において周辺画素よりも暗い、つまり第１の明るさ成分値（ｍａｘ）が小さな画素について、第３の明るさ成分値（ａｄｊ）とコントラスト調整レベル（ａｄｊ_ｌeｖ）との関係を説明する。すなわち周辺画素よりも暗い画素は、図５に実線で示した第１の明るさ成分値（ｍａｘ）が、図５に破線で示した第２の明るさ成分値（ｍａｘ_ε）よりも小さな画素である。したがって、周辺画素よりも暗い画素においては、第２の明るさ成分値（ｍａｘ_ε）と第１の明るさ成分値（ｍａｘ）との差分（ｍａｘ_ε−ｍａｘ）が正（プラス）の値となる。よって、第３の明るさ成分値（ａｄｊ）は、コントラスト調整レベル（ａｄｊ_ｌeｖ）の値が大きくなるほど、第２の明るさ成分値（ｍａｘ_ε）を基準として増大する。

他方、画像処理部５２においては、補正ゲイン算出部１１５が各画素のゲイン（ｇ_ｌｅｖ）として各画素の第４の明るさ成分値（ｍｉｘ）に反比例するゲインを設定する。このため、画像処理部５２における階調補正処理においては、コントラスト調整レベル（ａｄｊ_ｌeｖ）の値が大きいほど、対象画像において周辺画素よりも明るかった画素が階調補正処理後にはより明るくなり、かつ周辺画素よりも暗かった画素が階調補正処理後にはより暗くなる。

したがって、画像処理部５２における階調補正処理においては、コントラスト調整レベル（ａｄｊ_ｌeｖ）が大きいほど、階調補正処理が施された後の画像におけるコントラストが増大する。つまり画像処理部５２においては、コントラスト調整レベル（ａｄｊ_ｌeｖ）を調整することによって、階調補正処理が施された後の画像におけるコントラストを調整することが可能である。

さらに、画像処理部５２においては、コントラスト調整レベル算出部１１２が算出するコントラスト調整レベル（ａｄｊ_ｌeｖ）が逆光レベル（ｇｋ_ｌeｖ）に比例して増大する値である。つまり対象画像における逆光の度合が大きいほどコントラスト調整レベル（ａｄｊ_ｌeｖ）が大きな値である。よって、画像処理部５２による階調補正処理においては、対象画像における逆光の度合が大きいときほど、階調補正処理後の画像におけるコントラストを高くすることができる。その結果、対象画像が逆光下で撮影した画像である場合には、階調補正処理が施された後の画像全体に、より適切なコントラストを確保することができる。

（変形等）
次に、以上説明した本実施形態の変形等について説明する。まず、画像処理部５２による階調補正処理においては、処理対象の画像データをデモザイク処理により生成したＲＧＢデータとした。しかし、階調補正処理の処理対象をＹＵＶ変換処理後のＹＵＶデータとした場合であっても、階調補正処理を施した後の画像には、階調補正処理を施す前の対象画像において明るさが激しく変化する局所領域について対象画像と同様のコントラストを確保することができる。但し、階調補正処理の処理対象をＹＵＶ変換処理後のＹＵＶデータとする場合には、画像処理部５２の構成を、前述したεフィルタ１０３に対象画像の各画素の輝度成分（Ｙ）値を供給する構成に変更する必要がある。

また、εフィルタ１０３を用いることによって得られる効果は、エッジの保持性能を有する平滑化フィルタであれば、他の平滑化フィルタをεフィルタ１０３に代えて用いる場合においても得ることができる。他の平滑化フィルタとしては、例えばバイラテラルフィルタ等の他の荷重平均値フィルタを使用することができる。バイラテラルフィルタ等を使用する場合であっても、εフィルタ１０３を用いる場合と同様の効果を得ることができる。

また、画像処理部５２による階調補正処理によって得られる先に説明した効果のうち、対象画像において明るさが激しく変化していた局所領域について、階調補正処理が施された後の画像においても階調補正処理前と同様のコントラストを確保する効果については、画像処理部５２が以下の条件を満足する構成であれば得ることができる。すなわち上記効果を得るためには、基本的には、各画素のゲイン（ｇ_ｌｅｖ）を算出する補正ゲイン算出部１１５に供給する各画素の明るさ情報に、各画素の明るさが平滑化された後の明るさ情報が含まれていればよい。

したがって、画像処理部５２を構成するεフィルタ１０３は、例えば一般的なローパスフィルタに代えることができる。つまり、画像処理部５２は、第１の明るさ成分値（ｍａｘ）を各画素の画素値とする明るさ成分画像の平滑化処理を一般的なローパスフィルタによって行い、明るさ成分画像の低周波数成分からなる大局輝度画像の各画素の明るさ情報、すなわち第２の明るさ成分値（ｍａｘ_ε）に対応する明るさ情報を取得する構成としても構わない。上記のように一般的なローパスフィルタに代えた構成であっても、階調補正処理が施された後の画像には、対象画像において明るさが激しく変化していた局所領域について、階調補正処理前と同様のコントラストを確保する効果は得ることができる。

また、画像処理部５２においては、εフィルタ１０３が、ＲＧＢｍａｘ演算部１０２によって取得した対象画像における全画素の第１の明るさ成分値（ｍａｘ）にフィルタ処理を施して全画素の第２の明るさ成分値（ｍａｘ_ε）を生成する。しかし、第２の明るさ成分値（ｍａｘ_ε）は対象画像の大局的な明るさの状態を表す明るさ情報できればよく、εフィルタ１０３には対象画像における全画素の第１の明るさ成分値（ｍａｘ）を供給する必要はない。

したがって、画像処理部５２は、例えば以下のような構成としてもよい。例えば画像処理部５２は、対象画像をいったん縮小した状態で第１の明るさ成分値（ｍａｘ）を取得し、縮小画像における第２の明るさ成分値（ｍａｘ_ε）を生成した後、生成した第２の明るさ成分値（ｍａｘ_ε）から、元の画像サイズに応じた画素数分の第２の明るさ成分値（ｍａｘ_ε）を新たに生成する構成としてもよい。係る構成を画像処理部５２に採用すれば、εフィルタ１０３のフィルタ処理に要する時間を短縮することができる。

一方、画像処理部５２による階調補正処理によって得られる先に説明した効果のうち、対象画像において明るかった部分における「白とび」現象の発生を抑制しつつ、暗かった部分に良好な階調を確保する効果は、各画素のゲイン（ｇ_ｌｅｖ）が完全に第４の明るさ成分値（ｍｉｘ）と反比例しなくとも概略的に反比例するものであれば得ることができる。したがって、上記ゲイン演算関数には、図９（ａ）に示した特性を有するものに限らず、例えば図９（ｂ）に示した特性、さらには図９（ｃ）に示した特性を有するものを使用することができる。

また、画像処理部５２による階調補正処理によって得られる先に説明した効果のうち、対象画像において周辺画素より明るかった画素の「白とび」現象が発生する確率を低下させる効果を得るためには、合成処理部１１４の構成を以下のように変更することができる。すなわち合成処理部１１４の構成は、第３の明るさ成分値（ａｄｊ）に第１の明るさ成分値（ｍａｘ）を合成する処理を、対象画像内のある程度以上明るい側の画素のみを対象として行う構成に変更することができる。

したがって、合成処理部１１４が第４の明るさ成分値（ｍｉｘ）の算出に使用する合成比演算関数は、例えば図８（ｂ）に示した特性を有するものとすることができる。つまり合成処理部１１４が使用する合成比演算関数は、第１の明るさ成分値（ｍａｘ）が予め決められた合成閾値（図の例では「１２７」）を超えると、第３の明るさ成分値（ａｄｊ）に対する第１の明るさ成分値（ｍａｘ）の合成比率（α）が第１の明るさ成分値（ｍａｘ）に比例して増加する特性を有するものであってもよい。

さらに、対象画像において周辺画素より明るかった画素の「白とび」現象が発生する確率を低下させる効果を得るためには、合成処理部１１４の構成は以下のように変更することができる。例えば合成処理部１１４の構成は、第３の明るさ成分値（ａｄｊ）に、第１の明るさ成分値（ｍａｘ）を予め決められた所定の合成比率で一律に合成する処理によって第４の明るさ成分値（ｍｉｘ）を生成する構成に変更することができる。また、例えば合成処理部１１４の構成は、第３の明るさ成分値（ａｄｊ）に、第１の明るさ成分値（ｍａｘ）を、第１の明るさ成分値（ｍａｘ）の大きさに応じて段階的に大きく変化する所定の合成比率で合成する処理によって第４の明るさ成分値（ｍｉｘ）を生成する構成に変更することができる。

また、画像処理部５２の逆光レベル演算部１１１には、対象画像を縮小した画像のＲＧＢデータを用いて逆光レベル（ｇｋ_ｌeｖ）を演算させてもよい。また、逆光レベル演算部１１１における逆光レベル（ｇｋ_ｌeｖ）の演算方法は任意であり、逆光レベル演算部１１１には前述した以外の方法により逆光レベル（ｇｋ_ｌeｖ）を演算させても構わない。

また、画像処理部５２においては、コントラスト調整部１１３が前述したように対象画像における逆光の度合に応じて第２の明るさ成分値（ｍａｘ_ε）を第３の明るさ成分値（ａｄｊ）に補正することにより、階調補正処理後の画像におけるコントラストを自動的に調整するようにした。しかし、階調補正処理後の画像におけるコントラストは、対象画像における逆光の度合に限らず、例えば対象画像における明るさの分布状態に応じて自動的に変化させてもよい。より具体的には、画像処理部５２に、逆光レベル演算部１１１に代えて、対象画像における明るさの分布状態を示すヒストグラムを取得する機能部分を設け、さらにコントラスト調整レベル算出部１１２に代えて、上記のヒストグラムに基づき予め決められた所定の設定基準に従いコントラスト調整レベル（ａｄｊ_ｌeｖ）を決定する機能部分を設けてもよい。

また、画像処理部５２においては、コントラスト調整レベル（ａｄｊ_ｌeｖ）を調整することによって、階調補正処理が施された後の画像におけるコントラストを調整することが可能である。したがって、画像処理部５２は、例えば逆光レベル演算部１１１と、コントラスト調整レベル算出部１１２を廃止して、コントラスト調整部１１３に、ＣＰＵ９がデジタルカメラ１のユーザからの要求等に応じて決定した所定のコントラスト調整レベル（ａｄｊ_ｌeｖ）を供給する構成とすることができる。

また、画像処理部５２による階調補正処理においては、コントラスト調整部１１３が下記の計算式（１）
ａｄｊ ＝ ａｄｊ_ｌeｖ ×（ｍａｘ_ε−ｍａｘ）＋ ｍａｘ ・・・（１）
によって全ての画素の第３の明るさ成分値（ａｄｊ）を算出する。つまりコントラスト調整部１１３は、同一の計算式を用いて全ての画素における第２の明るさ成分値（ｍａｘ_ε）を補正する。しかし、コントラスト調整部１１３は、対象画像において周辺画素よりも明るい画素、つまり「（ｍａｘ_ε−ｍａｘ）＞０」である画素と、暗い画素、つまり「（ｍａｘ_ε−ｍａｘ）＜０」である画素とで異なる計算式を用いて第３の明るさ成分値（ａｄｊ）を算出する構成としてもよい。

例えばコントラスト調整部１１３は、明るい画素については下記の計算式（１−ａ）
ａｄｊ ＝
ａｄｊ_ｌeｖ ×（ｍａｘ_ε−ｍａｘ）＋ ｍａｘ × ｋｓ ・・・（１−ａ）
を用いて第３の明るさ成分値（ａｄｊ）を算出し、暗い画素については、下記の計算式（１−ｂ）
ａｄｊ ＝
ａｄｊ_ｌeｖ ×（ｍａｘ_ε−ｍａｘ）＋ ｍａｘ × ｋｔ ・・・（１−ｂ）
を用いて第３の明るさ成分値（ａｄｊ）を算出する構成でもよい。

つまりコントラスト調整部１１３は、周辺画素よりも明るい画素と暗い画素とで、係数ｋｓ，ｋｔのみが異なる計算式を使用して第３の明るさ成分値（ａｄｊ）を算出する構成でもよい。なお、第３の明るさ成分値（ａｄｊ）を、周辺画素よりも明るい画素と暗い画素とに分けて算出する場合、計算式（１−ａ）の係数ｋｓには、計算式（１−ｂ）の係数ｋｔよりも大きな値を設定した方が階調補正処理後における画像のコントラストが良好となる場合が多い。

また、本実施形態では、ゲイン設定処理部１０４が、逆光レベル演算部１１１とコントラスト調整レベル算出部１１２とコントラスト調整部１１３と合成処理部１１４、補正ゲイン算出部１１５とからなる構成とした。しかしながら、階調補正処理に際し、対象画像の明るさが激しく変化する局所領域に対象画像と同様のコントラストを確保するには、ゲイン設定処理部１０４を以下のように構成してもよい。

例えばゲイン設定処理部１０４は、合成処理部１１４を廃止し、第３の明るさ成分値（ａｄｊ）を補正ゲイン算出部１１５にそのまま供給する構成とすることができる。また、ゲイン設定処理部１０４は、逆光レベル演算部１１１とコントラスト調整レベル算出部１１２とコントラスト調整部１１３とを廃止し、第２の明るさ成分値（ｍａｘ_ε）を合成処理部１１４へそのまま供給する構成とすることができる。また、ゲイン設定処理部１０４は、補正ゲイン算出部１１５以外の各部を廃止し、第２の明るさ成分値（ｍａｘ_ε）を補正ゲイン算出部１１５へそのまま供給する構成とすることができる。

また、ここでは本発明の実施形態として本発明の画像処理装置を含むデジタルカメラ１について説明したが、本発明は、デジタルカメラ１以外にも、例えば動画像の記録が可能な構成を備えた他の撮像装置にも適用することができる。本発明が適用可能な撮像装置には、前述したＣＣＤ以外にも、例えばＭＯＳ（Complementary Meta1 0xide Semiconductor）型の固体撮像素子を備えたデジタルカメラや、静止画像以外にも動画像を撮影することができるデジタルカメラ、さらには動画像の撮影を主たる機能とするデジタルビデオカメラ等の種々の撮像装置が含まれる。

また、本発明は、撮像装置に限らず任意の記憶媒体に画像データとして記憶されている画像を処理対象として画像処理を行う構成を有するものであれば任意の画像処理装置にも適用することができる。任意の画像処理装置には、例えば画像データに基づく画像を印刷するプリンタも含まれる。

そして、本発明を任意の画像処理装置に適用する場合、図２に示した画像処理部５２はＡＳＩＣ（Application Specified Integrated Circuit）、又は任意のコンピュータのＣＰＵと、メモリ、メモリにロードされたプログラム等によっても実現することができる。

１ デジタルカメラ
２ ＣＣＤ
６ ＤＳＰ
９ ＣＰＵ
１０ フラッシュメモリ
１１ 外部メモリ
５１ 撮像部
５２ 画像処理部
５３ 制御部
１０１ 画像バッファ
１０２ ＲＧＢｍａｘ演算部
１０３ εフィルタ
１０４ ゲイン設定処理部
１０５ 階調補正部
１１１ 逆光レベル演算部
１１２ コントラスト調整レベル算出部
１１３ コントラスト調整部
１１４ 合成処理部
１１５ 補正ゲイン算出部
１２１ 減算器
１２２ 乗算器
１２３ 加算器

Claims (8)

1. 対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手段と、
   この明るさ情報取得手段により取得された明るさ情報により示される各画素の明るさと前記対象画像における各画素の明るさとを、予め対象画像における各画素の明るさに比例して決定された所定の合成比率で合成することによって、前記明るさ情報取得手段により取得された明るさ情報により示される各画素の明るさを補正する補正手段と、
   この補正手段による合成後の各画素の明るさに反比例する補正倍率を画素毎に設定する補正倍率設定手段と、
   前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手段により各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手段と
   を備えたことを特徴とする画像処理装置。
2. 前記明るさ情報取得手段は、
   対象画像から明るさ成分を抽出する明るさ成分抽出手段と、
   前記明るさ成分抽出手段により抽出された明るさ成分からなる明るさ成分画像を平滑化することにより、対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する平滑化手段と
   を含むことを特徴とする請求項１記載の画像処理装置。
3. 前記平滑化手段は、前記明るさ成分画像におけるエッジの保持性能を有する所定の平滑化フィルタであることを特徴とする請求項２記載の画像処理装置。
4. 前記所定の平滑化フィルタは、注目画素の画素値と各周辺画素の画素値との差分値が所定値以下になるように各周辺画素の画素値を調整し、注目画素の画素値と調整された各周辺画素の画素値との平均値を、注目画素の新たな画素値とすることを特徴とする請求項３記載の画像処理装置。
5. 前記補正倍率設定手段は、対象画像の各画素に、前記明るさ情報取得手段により取得された明るさ情報により示される各画素の明るさに反比例する補正倍率を画素毎に設定することを特徴とする請求項１乃至４いずれか記載の画像処理装置。
6. 対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手段と、
   前記明るさ情報取得手段により取得された明るさ情報により示される各画素の明るさから、前記対象画像における各画素の明るさを減算する減算手段と、
   前記対象画像における逆光の度合を取得する逆光度合取得手段と、
   前記減算手段による減算後の各画素の明るさに、前記逆光度合取得手段により取得された逆光の度合に比例する値をコントラスト調整値として乗算する乗算手段と、
   前記乗算手段による乗算後の各画素の明るさに、対象画像における各画素の明るさを加算する加算手段と、
   前記加算手段による加算後の各画素の明るさに反比例することを基本とした補正倍率を対象画像の各画素に個別に設定する補正倍率設定手段と、
   前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手段により各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手段と
   を備えたことを特徴とする画像処理装置。
7. コンピュータに、
   対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手順、
   この明るさ情報取得手順にて取得された明るさ情報により示される各画素の明るさと前記対象画像における各画素の明るさとを、予め対象画像における各画素の明るさに比例して決定された所定の合成比率で合成することによって、前記明るさ情報取得手順にて取得された明るさ情報により示される各画素の明るさを補正する補正手順、
   この補正手順での合成後の各画素の明るさに反比例する補正倍率を画素毎に設定する補正倍率設定手順、
   前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手順にて各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手順
   を実行させるための画像処理プログラム。
8. コンピュータに、
   対象画像における高周波成分が除去された状態での各画素の明るさを示す明るさ情報を取得する明るさ情報取得手順、
   前記明るさ情報取得手順にて取得された明るさ情報により示される各画素の明るさから、前記対象画像における各画素の明るさを減算する減算手順、
   前記対象画像における逆光の度合を取得する逆光度合取得手順、
   前記減算手順における減算後の各画素の明るさに、前記逆光度合取得手順により取得された逆光の度合に比例する値をコントラスト調整値として乗算する乗算手順、
   前記乗算手順における乗算後の各画素の明るさに、対象画像における各画素の明るさを加算する加算手順、
   前記加算手順における加算後の各画素の明るさに反比例することを基本とした補正倍率を対象画像の各画素に個別に設定する補正倍率設定手順、
   前記対象画像の画素が有する複数の色成分情報を、前記補正倍率設定手段により各画素に設定された補正倍率に従いそれぞれ補正することにより、前記対象画像の各画素の明るさを補正する階調補正手段手順
   を実行させるための画像処理プログラム。