JP4069943B2 - ノイズ除去の強弱を画面内でコントロールする画像処理装置、画像処理プログラム、画像処理方法、および電子カメラ - Google Patents

Description

本発明は、ノイズ除去の強弱を画面内でコントロールする画像処理技術に関する。

［階調補正の従来技術］
通常、真夏日のような日差しの強い状態で撮影した場合、人物の顔などに強い明暗が生じ、影に隠れた部分やハイライト部分の階調が明瞭に再現されない。また、逆光で撮影された人物も、シルエットに隠れるなど、階調が明瞭に再現されない。
このような偏った階調表現を改善する階調補正技術として、従来からヒストグラム均等化法や、米国特許第５９９１４５６号明細書（以下『特許文献１』という）の方法が知られている。これらの従来方法は、入力される画像データの着目する画素値付近や領域において階調を拡大する方向に階調補正することによって、階調の潰れを改善する。

［ノイズ除去の従来技術］
画像データには、撮像素子の暗電流やショットノイズなどのノイズが含まれる。このようなノイズを低減する技術として、日本出願の特開２００３−１０１８８７号公報（以下『特許文献２』という）の方法などが知られている。一般的に、これらの従来方法は、入力される画像データの近隣画素差を低減するように局所平滑化を行うことによって、ノイズ除去する方法である。
米国特許第５９９１４５６号明細書 特開２００３−１０１８８７号公報

本発明者は、これらの従来技術について下記の課題を発見した。
上述したような階調補正では、画像の暗部階調が拡大され、明るくなる。このとき、暗部に乗っていたノイズ振幅が増幅されたり、暗部に隠れていたノイズが明るくなることで目立つようになる。
この状態では、一つの画像内に、ノイズの目立つ箇所と目立たない箇所とが混在して発生し、一種のノイズムラを生じる。このノイズムラは、一様にノイズが発生する場合よりも視覚的に不自然であり、画像の見た目の品質を大きく劣化させてしまう。

一方、従来のノイズ除去では、ノイズを一様に低減する効果はあるが、上記のノイズムラを改善することは難しい。
つまり、ノイズの目立つ箇所について十分なノイズ除去効果を上げるためには、ノイズ除去の程度を強める必要がある。この場合、ノイズが目立たない箇所についても、ノイズ除去が過剰に働いてしまい、画像の微細なディテール情報が徒らに欠落してしまう。その結果、情報量に乏しい印象の画像データになってしまう。
逆に、ノイズの目立たない箇所に合わせてノイズ除去を実施した場合、ノイズの目立つ箇所についてはノイズが十分に除去できず、不自然なノイズムラが残ってしまう。

そこで、本発明では、階調補正によって目立つノイズを適切に除去する画像処理技術を提供することを目的とする。

以下、本発明について説明する。
（１）
本発明の画像処理装置は、画像データに適応して実施される階調補正に合わせて、画像データに施すノイズ除去を変更する画像処理装置であって、変化率取得部、およびノイズ除去部を備える。
この変化率取得部は、画像データの画面内の複数箇所において、階調補正の前後における画像データの信号レベルの変化率を得る。
一方、ノイズ除去部は、これら変化率に応じて、画像データに施すノイズ除去の強弱を画面内の箇所ごとにコントロールする。

（２）
なお好ましくは、ノイズ除去部は、変化率の大きな箇所ほど、ノイズ除去を強めることを特徴とする。

（３）
また好ましくは、ノイズ除去部は、変化率の画面内配列に局所平滑化を施してノイズ変動を低減する。ノイズ除去部は、この局所平滑化後の変化率に応じて、画像データに施すノイズ除去の強弱をコントロールする。

（４）
なお好ましくは、ノイズ除去部は、変化率の上限をリミットし、上限リミットを施した変化率に応じて、画像データに施すノイズ除去の強弱をコントロールする。

（５）
また好ましくは、ノイズ除去部は、変化率をべき乗し、べき乗を施した変化率に応じて、画像データに施すノイズ除去の強弱をコントロールする。

（６）
なお好ましくは、ノイズ除去部は、画像データを撮像した電子カメラの撮像条件を情報取得し、少なくとも変化率および撮像条件を組み合わせた条件に応じて、画像データに施すノイズ除去の強弱をコントロールする。

（７）
また好ましくは、本発明の画像処理装置は、画像データのノイズ量を検出するノイズ判定部を備える。ノイズ除去部は、上記の変化率と、検出されたノイズ量とを少なくとも組み合わせた条件に応じて、画像データに施すノイズ除去の強弱をコントロールする。

（８）
本発明の画像処理プログラムは、コンピュータを、上記（１）〜（７）のいずれか１つの画像処理装置として機能させるためのプログラムである。

（９）
本発明の画像処理方法は、画像データに適応して実施される階調補正に合わせて、画像データに施すノイズ除去を変更する画像処理方法であって、下記のステップを備える。
『変化率取得ステップ』‥画像データの画面内において、階調補正の前後における画像データの信号レベルの変化率を得るステップ。
『ノイズ除去ステップ』‥変化率取得ステップで得られた変化率に応じて、画像データに施すノイズ除去の強弱を画面内の箇所ごとにコントロールするステップ。

（１０）
本発明の電子カメラは、撮像部、階調補正部、および画像処理装置を備える。
撮像部は、被写体を撮像して画像データを生成する。
階調補正部は、画像データに適応して階調補正を実施する。
画像処理装置は、上記（１）〜（７）のいずれか１つに記載の画像処理装置である。この画像処理装置は、階調補正部による階調補正前後の信号レベルの変化率に応じて、画像データにノイズ除去を施す。

本発明では、画像データの画面内の複数箇所において、階調補正の前後における信号レベルの変化率を求め、これら変化率に応じて画面内の箇所ごとにノイズ除去の強弱を切り換える。
本発明者は、階調補正による信号レベルの変化率に合わせてノイズ増幅率が変化し、そのノイズ増幅率によってノイズムラが生じることを発見した。本発明では、この現象を逆に利用して、この変化率に応じてノイズ除去の強弱をコントロールする。その結果、上記現象のノイズムラをうち消す方向に抑制することが可能になり、画像に現れていた不自然なノイズムラを効果的に目立たなくすることが可能になる。

なお、本発明における上述した目的およびそれ以外の目的は、以下の説明と添付図面とによって容易に確認することができる。

実施形態の電子カメラ１１（画像処理装置１３を含む）の構成を示す図である。 階調補正係数の算出手順Ａを説明する流れ図である。 階調補正係数の算出手順Ｂを説明する流れ図である。 階調補正係数の算出手順Ｃを説明する流れ図である。 ノイズ除去の動作を説明する流れ図である。

［本実施形態の構成説明］
図１は、本実施形態の電子カメラ１１（画像処理装置１３を含む）の構成を示す図である。
図１において、電子カメラ１１は、被写体を撮像して画像データを生成する撮像部１２と、画像処理装置１３とを備える。

この画像処理装置１３は、下記のような構成要素を備える。
（１）階調補正係数演算部１４‥画像データを解析して階調補正係数を算出する。
（２）階調補正演算部１５‥階調補正係数に従って画像データを階調補正する。
（３）変化率取得部１６‥階調補正の前後における信号レベルの変化率を取得する。
（４）ノイズ除去係数演算部１７‥変化率に応じて、ノイズ除去係数を算出する。
（５）ノイズ除去演算部１８‥ノイズ除去係数に従って、画像データにノイズ除去を施す。
（６）ノイズ判定部１９‥画像データを解析してノイズ量を推定する。

なお、このような画像処理装置１３の構成の全部または一部を、マイクロプロセッサやＤＳＰなどによるソフトウェア処理で実現してもよい。また、演算回路などのハードウェアを用いて実現してもよい。

［発明との対応関係］
以下、発明と本実施形態との対応関係について説明する。なお、ここでの対応関係は、参考のために一解釈を例示するものであり、本発明を徒らに限定するものではない。
請求項記載の変化率取得部は、変化率取得部１６に対応する。
請求項記載のノイズ除去部は、ノイズ除去係数演算部１７およびノイズ除去演算部１８に対応する。
請求項記載のノイズ判定部は、ノイズ判定部１９に対応する。
請求項記載の撮像部は、撮像部１２に対応する。
請求項記載の階調補正部は、階調補正係数演算部１４および階調補正演算部１５に対応する。

［本実施形態の動作説明］
以下、本実施形態の動作について説明する。
まず、撮像部１２では、ユーザーのレリーズ操作などに従って被写体を撮像することにより、デジタルの画像データを生成する。この画像データは、画像処理装置１３に入力される。
この画像処理装置１３内では、まず、階調補正係数演算部１４によって、入力された画像データの解析が行われ、画像データに適した階調補正係数が算出される。
ここでは、階調補正係数の算出手順として、３種類の手順Ａ〜Ｃについて具体的に説明する。

＜階調補正係数の算出手順Ａ＞
図２は、階調補正係数の算出手順Ａを説明する流れ図である。この図２に示すステップ番号にそって、この算出手順Ａを説明する。

［ステップＳ１１］ まず、階調補正係数演算部１４は、入力される画像データから輝度成分を抽出して、輝度画像Ｖを生成する。ここでの輝度成分は、例えば、ＬａｂカラースペースのＬ、ＹＣｂＣｒカラースペースのＹ、ＨＳＶカラースペースのＶ、ＲＧＢカラースペースのＧなどに該当する。

［ステップＳ１２］ 次に、階調補正係数演算部１４は、生成した輝度画像Ｖに対して、非線形な局所平滑化処理を施す。
下記の（１）式は、局所平滑化処理の算出式の一例である。

ただし、（１）式中の（ｘ，ｙ）は、処理対象の画素位置である。ｒは、平滑化する局所範囲のサイズに該当するパラメータである。σは、『絵柄部分における大振幅変化』と『ノイズによって生じる微小振幅変化』とを切り分ける際の閾値に該当するパラメータである。例えば、ｒ＝２０，σ＝３０程度が好ましい。
このような非線形な局所平滑化処理では、σを超えるエッジなどの振幅変化を残しつつ、ノイズなどの微小な振幅変化を平滑化する。このような処理により、非線形平滑化画像Ｖａが生成される。

［ステップＳ１３］ 階調補正係数演算部１４は、下記の（２）式を用いて、非線形平滑化画像Ｖａを処理する。ここでは、画素値Ｖａ（ｘ，ｙ）に対して、正規化処理と上下限の制限処理が施され、数値範囲［Ｖｌ，１］内の値を取る正規化画像Ｖｂが生成される。

ただし、（２）式中のＶｍａｘは、画素値Ｖａ（ｘ，ｙ）の最大レンジである。Ｖｕは、上限リミットの閾値である。Ｖｌは、正規化画像Ｖｂの下限値である。例えば、具体的な値としては、Ｖｕ＝０．５，Ｖｌ＝０．２５程度が好ましい。
続いて、階調補正係数演算部１４は、正規化画像Ｖｂの画素値Ｖｂ（ｘ，ｙ）の逆数を求めることにより、画素単位の階調補正係数Ｒ（ｘ，ｙ）を得る。
Ｒ（ｘ，ｙ）≡１／Ｖｂ（ｘ，ｙ）

＜階調補正係数の算出手順Ｂ＞
図３は、階調補正係数の算出手順Ｂを説明する流れ図である。この図３に示すステップ番号にそって、この算出手順Ｂを説明する。

［ステップＳ２１］ 階調補正係数演算部１４は、輝度画像Ｖの局所平均を、局所領域のサイズを変えながら実施し、複数のＬＰＦ画像を生成する。
なお、このような局所平均処理では、計算済みで既知の前画素の局所和に対し、次画素の局所和との差異分を加算する漸化計算を用いることにより、計算回数を低減してＬＰＦ画像を高速作成することが好ましい。
さらに、このように求めた複数のＬＰＦ画像の線形和を求めることで、多様なカットオフ特性のＬＰＦ画像を生成してもよい。

［ステップＳ２２］ 階調補正係数演算部１４は、下記の（３）式を用いて、輝度画像Ｖと各ＬＰＦ画像との信号レベルの比を画素ごとに求め、その画素比の対数値を算出して、対数画像Ｖｉを複数生成する。これらの対数画像は、局所的な明暗差に敏感な人間の視覚特性に沿った画像である。

［ステップＳ２３］ 階調補正係数演算部１４は、下記の（４）式を用いて、複数の対数画像Ｖｉを画素単位に加重加算して、人間の視覚特性を総合的に考慮した視覚画像Ｖｄを生成する。

なお、（４）式中の加重係数Ｗｉは、全て同じ値に揃えてもよい。また、個々の対数画像Ｖｉと視覚特性との一致度に応じて、加重係数Ｗｉの大きさを調整してもよい。

［ステップＳ２４］ 階調補正係数演算部１４は、視覚画像Ｖｄの累積ヒストグラムを求める。次に、階調補正係数演算部１４は、その累積ヒストグラムを、輝度画像Ｖの信号レンジに合わせて正規化して、ヒストグラム均等化の階調変換テーブルを作成する。

［ステップＳ２５］ 階調補正係数演算部１４は、輝度画像Ｖをこの階調変換テーブルに従って階調補正し、変換後輝度画像Ｖｅを生成する。
続いて、階調補正係数演算部１４は、変換後輝度画像Ｖｅの画素値Ｖｅ（ｘ，ｙ）と、輝度画像Ｖの画素値Ｖ（ｘ，ｙ）との比を画素単位に求めることにより、階調補正係数Ｒ（ｘ，ｙ）を得る。
Ｒ（ｘ，ｙ）≡Ｖｅ（ｘ，ｙ）／Ｖ（ｘ，ｙ）

＜階調補正係数の算出手順Ｃ＞
図４は、階調補正係数の算出手順Ｃを説明する流れ図である。この図４に示すステップ番号にそって、この算出手順Ｃを説明する。

［ステップＳ３１］ 階調補正係数演算部１４は、輝度画像Ｖに対して、下式の空間微分を実行して微分画像Ｐを作成する。

なお、具体的には、下記のラプラシアンフィルタＡによる局所積和演算を、輝度画像Ｖに施せばよい。

［ステップＳ３２］
ここでは、微分画像Ｐに基づいて、局所的な明暗差を保存した処理画像Ｕｎを生成する。まず、階調補正係数演算部１４は、処理画像Ｕｎの初期値Ｕｏ（ｘ，ｙ）を全て定数Ｃに初期化した後、下記の漸化式の反復演算を実行する。なお、この定数Ｃは、Ｖ信号の平均値に設定しておくことが好ましい。

この（７）式では、右辺の微分値Ｐ（ｘ，ｙ）の項により、処理画像Ｕｎの局所的な明暗差が、微分前の輝度画像Ｖとおおむね等しく保たれる。さらに、漸化式の反復により、この局所的な明暗差が周囲へ徐々に波及する。
なお、この反復演算では、桁落ちや誤差累積などの影響を受けないよう、浮動小数点演算などを用いてなるべく高精度に実行することが好ましい。

［ステップＳ３３］ 階調補正係数演算部１４は、画像として認知できる程度まで微分値Ｐの波及サイズが広がり、かつ画像全体の明暗レベルを完全に再現する前の段階（収束の不十分な段階）で、反復演算をストップする。
このように反復演算をストップすると、階調補正係数演算部１４は、ステップＳ３４に動作を移行する。
一方、このような反復演算の終点が検出されるまでの間、階調補正係数演算部１４は、ステップＳ３２に動作を戻して、反復演算を継続する。

［ステップＳ３４］ 反復演算を終えた処理画像Ｕｎの信号レンジは、画像全体の明暗レベルが完全再現されていないために、もともとの輝度画像Ｖの信号レンジよりも狭い。そこで、階調補正係数演算部１４は、処理画像Ｕｎの信号レンジを、輝度画像Ｖの信号レンジに再配置するように、レベル調整を行う。このレベル調整を経て、処理画像Ｕを得る。
例えば、下式に従って、処理画像Ｕｎのレベル調整を行い、レベル調整後の処理画像Ｕを得る。

（ただし、ｍａｘは処理画像Ｕｎの最大レベル、ｍｉｎは処理画像Ｕｎの最小レベル、Ｒは輝度画像Ｖの信号レンジの幅）
通常、人間の視覚は、明るさの絶対レベルよりも、局所的な明暗差やその大小関係に敏感である。すなわち、人間が、視野内の明領域を注視すれば、明領域における局所的な明暗差が顕著に見えてくる。また、暗領域を注視すれば、暗領域における局所的な明暗差が顕著に見えてくる。
したがって、上述した処理画像Ｕは、明暗領域どちらにおいても局所的な明暗差を強調しているという点で、人間の視覚特性を経た状態に近く、人間が脳内の視覚野で認知しているような印象の画像となる。

［ステップＳ３５］ 階調補正係数演算部１４は、ユーザーによる階調補正の強弱設定に基づいて、所定比率Ｃ１：Ｃ２を設定する。（Ｃ１は処理画像Ｕの加算係数、Ｃ２は輝度画像Ｖの加算係数）

［ステップＳ３６］ 階調補正係数演算部１４は、下式に基づいて、処理画像Ｕの信号値と、輝度画像Ｖの信号値とを所定比率で画素単位に加算する。この加算処理によって加算画像Ｓが得られる。

ここで、処理画像Ｕの加算係数Ｃ１を大きくすれば、階調補正を強めることができる。一方、輝度画像Ｖの加算係数Ｃ２を大きくすれば、階調補正を弱めにかけることができる。

［ステップＳ３７］ 階調補正係数演算部１４は、予めカスタム設定されている階調補正の動作モードを判定する。
ここで、コントラスト柔和モードが選択されている場合、階調補正係数演算部１４は、ステップＳ３８に動作を移行する。
デジタル日中シンクロモードが選択されている場合、階調補正係数演算部１４は、ステップＳ３９に動作を移行する。
一方、ハイライト階調復元モードが選択されている場合、階調補正係数演算部１４は、ステップＳ４０に動作を移行する。

［ステップＳ３８］ コントラスト柔和モードがモード選択されている場合、階調補正係数演算部１４は、加算画像Ｓをそのまま合成画像Ｄとする。このような動作の後、ステップＳ４１に移行する。

［ステップＳ３９］ デジタル日中シンクロモードが選択されている場合、階調補正係数演算部１４は、下式に基づいて画像合成を実行する。

ここでは、輝度画像Ｖと、加算画像Ｓとを画素値比較し、明るい方の画素値を選択して合成し、合成画像Ｄを生成する。

［ステップＳ４０］ ハイライト階調復元モードが選択されている場合、階調補正係数演算部１４は、下式に基づいて画像合成を実行する。

ここでは、輝度画像Ｖと、加算画像Ｓとを画素値比較し、暗い方の画素値を選択して合成し、合成画像Ｄを生成する。

［ステップＳ４１］ 階調補正係数演算部１４は、合成画像Ｄの画素値Ｄ（ｘ，ｙ）と、輝度画像Ｖの画素値Ｖ（ｘ，ｙ）との比を画素単位に求めることにより、階調補正係数Ｒ（ｘ，ｙ）を得る。
Ｒ（ｘ，ｙ）≡Ｄ（ｘ，ｙ）／Ｖ（ｘ，ｙ）

＜階調補正演算部１５の動作説明＞
上述した処理により画素単位に求めた階調補正係数Ｒ（ｘ，ｙ）は、階調補正演算部１５に入力される。階調補正演算部１５は、この階調補正係数Ｒ（ｘ，ｙ）に従って、画像データを階調補正する。

以下、この階調補正の具体的処理について説明する。
まず、階調補正演算部１５は、階調補正係数Ｒ（ｘ，ｙ）が過度に大きくならないように、下記のソフトリミット処理を施し、変化率ｇ（ｘ，ｙ）を求める。

ただし、（１２）式中のＳは上限値に係るパラメータであり、ｍはリミットの掛かり具合に係るパラメータである。例えば、Ｓ＝２０，ｍ＝１程度が好ましい。
なお、変化率ｇ（ｘ，ｙ）が過度に小さくならないように、下記の（１３）式を用いて、変化率ｇ（ｘ，ｙ）の下限値を制限してもよい。

階調補正演算部１５は、この画素単位に求めた変化率ｇ（ｘ，ｙ）を、画像データの各画素値に乗じることにより、画像データに階調補正を施す。
例えば、輝度画像ＶやＲＧＢ画像であれば、階調補正演算部１５は、これらの画素値に対して変化率ｇ（ｘ，ｙ）を直に乗算する。

なお、Ｌａｂカラースペースの画像データの場合、階調補正演算部１５は、次の手順で階調補正を実行する。
まず、階調補正演算部１５は、輝度成分Ｌに変化率ｇ（ｘ，ｙ）をそのまま乗算し、色成分ａｂについては色あいを保つよう変化率ｇ（ｘ，ｙ）を控えめに乗算する。

なお、色成分ａｂの色あいを保つ変換テーブルＴａ，Ｔｂを予め準備することで、（１６）式の代わりに（１７）式を使用してもよい。

ただし、Ｌａｂカラースペース中では任意の値が取ることはできず、予め定められた色域内の値しか取れない。仮に色域外の値を取ると、信号が飽和して階調が無くなるおそれが生じる。
そこで、ｓＲＧＢのカラー画像信号に階調補正を行う場合には、Ｌａｂカラースペース内のｓＲＧＢ色域の上限を、

で示される３つの平面に近似する。

次に、元の（Ｌ，ａ，ｂ）と、変化率乗算後の（Ｌｏ，ａｏ，ｂｏ）とを直線で結び、この直線と交わる上記３つの内のいずれか一つの平面『ｋ_１ａ＋ｋ_２ｂ＋Ｌ＝１００』との交点（Ｌｘ，ａｘ，ｂｘ）を、

を用いて算出する。
続いて、階調補正演算部１５は、

を算出する。ここで求めたＲｌは、（Ｌ，ａ，ｂ）から交点（Ｌｘ，ａｘ，ｂｘ）までの距離を『数値１』とした時の、（Ｌ，ａ，ｂ）から（Ｌｏ，ａｏ，ｂｏ）までの間隔に該当する。この間隔Ｒｌが１を超えると、ｓＲＧＢ色域外にはみ出してしまう。そこで、階調補正演算部１５は、

を用いて、Ｒｌにソフトリミットをかける。ここでは、Ｓ＝１，ｍ＝２程度が好ましい。

階調補正演算部１５は、このように求めたｔ′を用いて、

を算出し、色域内の納まる値（Ｌｏ′，ａｏ′，ｂｏ′）を階調補正後の値とする。

なお、下記の（２３）式を用いて、（Ｌ，ａ，ｂ）と（Ｌｏ，ａｏ，ｂｏ）との内分点を求める簡易計算により色域内に納まる値（Ｌｏ″，ａｏ″，ｂｏ″）を求め、階調補正後の値としてもよい。

ここで、（２３）式中のγは内分比であり、例えば、γ＝０．５程度が好ましい。

＜ノイズ除去の動作説明＞
図５は、ノイズ除去の動作を説明する流れ図である。
以下、図５に示すステップ番号に沿って、このノイズ除去の動作説明を行う。

［ステップＳ５１］ 変化率取得部１６は、階調補正の前後における信号レベルの変化率を階調補正演算部１５から取得する。上述した輝度画像ＶやＲＧＢ画像の階調補正では、変化率ｇ（ｘ，ｙ）をそのまま取得すればよい。また、上述したＬａｂ画像の階調補正では、前後の信号レベルを階調補正演算部１５から取得して画素単位に除算し、変化率を算出すればよい。なお、このとき、階調補正前の信号レベルがゼロの画素については、変化率を所定値（例えば『１』）に設定することが好ましい。

［ステップＳ５２］ ノイズ除去係数演算部１７は、設計者またはユーザーからのカスタム設定を予め記憶する。ここで、ノイズ除去係数演算部１７は、『変化率の平滑化』のカスタム設定について判定する。
ここで、『変化率の平滑化』を実施する設定の場合、ノイズ除去係数演算部１７はステップＳ５３に動作を移行する。
一方、『変化率の平滑化』を省略する設定の場合、ノイズ除去係数演算部１７はステップＳ５４に動作を移行する。

［ステップＳ５３］ ノイズ除去係数演算部１７は、変化率ｇ（ｘ，ｙ）の画面内配列に対して局所平滑化を実施する。この局所平滑化により、変化率ｇ（ｘ，ｙ）に含まれるノイズが抑制される。また、変化率ｇ（ｘ，ｙ）の空間的な変化が滑らかになる。

［ステップＳ５４］ 続いて、ノイズ除去係数演算部１７は、『変化率のべき乗』のカスタム設定について判定する。
ここで、『変化率のべき乗』を実施する設定の場合、ノイズ除去係数演算部１７は、ステップＳ５５に動作を移行する。
一方、『変化率のべき乗』を省略する設定の場合、ノイズ除去係数演算部１７は、ステップＳ５６に動作を移行する。

［ステップＳ５５］ ノイズ除去係数演算部１７は、変化率ｇ（ｘ，ｙ）にべき乗を施し、変化率ｇ（ｘ，ｙ）に非線形性を与える。例えば、Ｎ乗（Ｎ＞１）することにより、変化率ｇ（ｘ，ｙ）の増加変化を累進的に高め、大きな変化率ｇ（ｘ，ｙ）の箇所におけるノイズ除去を格段に強めることができる。

［ステップＳ５６］ さらに、ノイズ除去係数演算部１７は、『変化率の上限リミット』のカスタム設定について判定する。
ここで、『変化率の上限リミット』を実施する設定の場合、ノイズ除去係数演算部１７は、ステップＳ５７に動作を移行する。
一方、『変化率の上限リミット』を省略する設定の場合、ノイズ除去係数演算部１７は、ステップＳ５８に動作を移行する。

［ステップＳ５７］ ノイズ除去係数演算部１７は、変化率ｇ（ｘ，ｙ）の上限をリミットする。この上限リミットにより、後述するノイズ除去が過度にならないように制限することができる。

［ステップＳ５８］ 次に、ノイズ除去係数演算部１７は、『撮像条件による調整』のカスタム設定について判定する。
ここで、『撮像条件による調整』を実施する設定の場合、ノイズ除去係数演算部１７は、ステップＳ５９に動作を移行する。
一方、『撮像条件による調整』を省略する設定の場合、ノイズ除去係数演算部１７は、ステップＳ６１に動作を移行する。

［ステップＳ５９］ ノイズ除去係数演算部１７は、撮像部１２から、画像データのノイズ量に関連する撮像条件を取得する。例えば、このような撮像条件としては、撮像感度設定、露光時間、撮像部１２内部のノイズ除去設定などが特に有用である。

［ステップＳ６０］ ノイズ除去係数演算部１７は、撮像条件から画像データのノイズ量が多いと推定すると、変化率ｇ（ｘ，ｙ）を全体的に大きく調整する。逆に、撮像条件からノイズ量が少ないと判断すると、変化率ｇ（ｘ，ｙ）を全体的に小さく調整する。

［ステップＳ６１］ さらに、ノイズ除去係数演算部１７は、『ノイズ量の検出』のカスタム設定について判定する。
ここで、『ノイズ量の検出』を実施する設定の場合、ノイズ除去係数演算部１７は、ステップＳ６２に動作を移行する。
一方、『ノイズ量の検出』を省略する設定の場合、ノイズ除去係数演算部１７は、ステップＳ６４に動作を移行する。

［ステップＳ６２］ ノイズ判定部１９は、階調補正前の画像データに対して、上述した（１）式と同様の非線形平滑化を施し（例えばｒ＝１，σ＝１０）、非線形平滑化画像を生成する。
ノイズ判定部１９は、画像データと非線形平滑化画像との差分を画素単位に求めることにより、微小振幅のノイズを抽出する。この微小振幅の分散を求めることにより、ノイズ量を検出する。
このように検出されたノイズ量は、ノイズ除去係数演算部１７に情報伝達される。

［ステップＳ６３］ ノイズ除去係数演算部１７は、ノイズ量が多いと判断すると、変化率ｇ（ｘ，ｙ）を全体的に大きく調整する。逆に、ノイズ量が少ないと判断すると、変化率ｇ（ｘ，ｙ）を全体的に小さく調整する。
［ステップＳ６４］ 上述した処理を経た変化率の画面内の分布は、階調補正後に生じるノイズムラと高い相関を示す。したがって、この変化率の画面内分布に応じてノイズ除去パラメータを調整することによって、ノイズムラの不均一さを軽減できる。

［ステップＳ６５］ このように生成されたノイズ除去パラメータは、ノイズ除去演算部１８に伝達される。
ノイズ除去演算部１８は、このノイズ除去パラメータに従ってノイズ除去の強弱をコントロールして、階調補正に起因する不自然なノイズムラ（特に暗側のノイズ）を低減する。

＜ノイズ除去の演算式の例＞
以下、ノイズ除去の演算式の例を具体的に挙げて説明する。
まず、ノイズ除去のフィルタとしては、下記のような非線形な局所平滑化フィルタを使用する。

ただし、（２４）式中のＰｉは、カラー画像データの各コンポーネントに該当する。なお、ここでは、Ｐ_０はＬなどの輝度成分に該当し、Ｐ_１，２は、ａｂなどの色成分に該当するものとして説明する。

この場合、ノイズ除去の強弱を決定するノイズ除去パラメータは、平滑化範囲のサイズｒｉと、ノイズ振幅を弁別する閾値σｉとなる。
これらのノイズ除去パラメータは、下記の（２５）式を用いて決定することが好ましい。

ここで、ｇ_{０，１，２}は、階調補正の前後における各コンポーネントの変化率である。（２５）式では、変化率をべき乗（ここでは２乗）することによって、変化率の増加に従ってノイズ除去を累進的に強めている。その結果、暗部から明るく補正された箇所で特に目立ちやすいノイズムラを適切に低減することができる。

なお、平滑化範囲ｒｉについては、下記の（２６）式のように上限リミットを行ってノイズ除去を制限し、ノイズ除去に伴う高域ディテールの情報欠落を回避することが好ましい。

また、画像データのノイズ量は、撮像感度Ａによって大きく変化する。そのため、下記の（２７）式のように、撮像感度Ａによってノイズ除去パラメータｒｉ，σｉを増減することが好ましい。

この（２７）式では、撮像感度２００以上ではノイズ除去を強め、撮像感度２００未満ではノイズ除去を弱めている。

また、上記のステップＳ６２で求めた、各コンポーネントの微小振幅の分散Ｓｉに従って、下記の（２８）式のように、ノイズ除去パラメータｒｉ，σｉを増減することが好ましい。

［本実施形態の効果など］
上述したように、本実施形態では、階調補正の前後における信号レベルの変化率を画素単位に取得する。この変化率の大きい箇所ほど、階調補正後のノイズ増幅率が高く、かつ明るくなってノイズが目立つ。したがって、変化率の画面内分布と、階調補正に起因するノイズムラとの間には、強い因果関係がある。そこで、本実施形態では、この変化率に応じてノイズ除去の強弱を画面内でコントロールすることにより、不自然なノイズムラの変化を縮小して目立ちにくくすることができる。

さらに、本実施形態では、変化率の画面内配列に対して局所平滑化を施す。このような局所平滑化により、変化率の急峻な変化は抑制される。その結果、変化率に含まれていたノイズ成分は小さくなる。また、変化率のピークや急峻な変動が抑えられ、滑らかに整形される。このような平滑化後の変化率に従ってノイズ除去の強弱を変更することにより、ノイズ除去の強弱コントロールも滑らかに行われる。

その結果、ノイズ除去の強弱が、変化率中のノイズ分によって変動することがなくなる。また、ノイズ除去の強弱が不自然に急変して逆にムラを生じるなどといった弊害も防止できる。

また、本実施形態では、変化率の上限をリミットすることにより、ノイズ除去の過度な強弱変化を制限することができる。

さらに、本実施形態では、変化率をべき乗して非線形化処理する。その結果、ノイズ除去の強弱変化の傾きを柔軟にコントロールすることが可能になり、ノイズムラの変化をより適切に低減することが可能になる。

また、本実施形態では、撮像条件と変化率とを組み合わせて、ノイズ除去の強弱をコントロールする。したがって、撮像条件に起因する全体的なノイズ増減にも対処できるようになり、ノイズムラをより適切に低減できる。

さらに、本実施形態では、画像データのノイズ量を検出し、そのノイズ量と変化率とを組み合わせて、ノイズ除去の強弱をコントロールする。したがって、全体的なノイズ増減にも直に対処できるようになり、ノイズムラをより適切に低減できる。

［実施形態の補足事項］
なお、上述した実施形態では、本発明を電子カメラ１１に採用したケースについて説明した。しかしながら、上述した画像処理方法（図５）を実行する画像処理プログラムを作成してもよい。この画像処理プログラムをコンピュータで実行することにより、コンピュータを画像処理装置１３として機能させることができる。

また、上述した実施形態では、階調補正後の画像データに対して、ノイズ除去を実施している。しかしながら、本発明はこれに限定されるものではない。階調補正の前後の信号レベルを推定してノイズ除去の強弱を決定することにより、階調補正の前にノイズ除去を施すことも可能になる。

なお、階調補正の前後にノイズ除去を分担してもそれぞれ実施することも可能である。一般的に階調補正は非線形な処理であるため、階調補正の前後におけるノイズ除去の分担比を適宜に調整することにより、本発明におけるノイズムラの除去効果を更に高めることができる。

さらに、上述した実施形態のステップＳ６２では、階調補正前の画像データからノイズ量を検出している。この場合のノイズ量は、階調補正の変化率の影響を受ける前のノイズ量である。したがって、ノイズ量と変化率とを組み合わせることで、階調補正後のノイズムラの状況を容易に把握することができる。その結果、ノイズムラの高い除去効果を得ることができる。

しかしながら、本発明はこれに限定されるものではない。例えば、階調補正後の画像データからノイズ量を検出してもよい。このノイズ量の検出では、階調補正後のノイズの絶対レベルが検出される。したがって、この階調補正後のノイズ量と変化率とを組み合わせることで、ノイズムラの絶対レベルを容易に把握することができる。その結果、このような動作によっても、ノイズムラの除去効果を高めることができる。

なお、上述した実施形態では、画素単位に変化率を求めている。しかしながら、本発明はこれに限定されるものではない。例えば、画面内の複数の箇所ごとに、変化率を求めてもよい。この場合は、各箇所の変化率に応じてノイズ除去の強弱を切り換えることで、ノイズムラを低減できる。

また、上述した実施形態では、ノイズ除去のフィルタとして、（２４）式の処理を使用している。しかしながら、本発明はこれに限定されるものではない。例えば、下記の（２９）式の処理を代わりに使用してもよい。なお、（２９）式中の記号の意味は（２４）式と同じため、ここでの説明を省略する。

なお、上述した実施形態では、変化率ｇ（ｘ，ｙ）に応じて平滑化フィルタのパラメータを変えてノイズフィルタの強度を変更している。しかしながら、本発明はこれに限定されるものではない。例えば、一律の強度でノイズフィルタ処理をした画像と、ノイズフィルタ処理の弱いまたはしない画像とを加重平均してもよい。この加重比率を、変化率ｇ（ｘ，ｙ）に応じて変えることにより、実質的にノイズフィルタ処理の強度調節が実現する。
この処理の具体例としては、次のステップ１〜３の処理が好ましい。
ステップ１：階調補正を行い、変化率ｇ（ｘ，ｙ）を求める。
ステップ２：カメラ設定や、ノイズ量検出、あるいは予め定めておいたパラメータでノイズフィルタ処理を行う。
ステップ３：変化率ｇ（ｘ，ｙ）に応じて加重比率を決定し、ノイズフィルタ処理前の画像Ｉ（ｘ，ｙ）と、ノイズフィルタ処理後の画像Ｉ′（ｘ，ｙ）との加重平均を行う。このとき、変化率ｇ（ｘ，ｙ）が大きい程、ノイズフィルタ処理後の画像Ｉ′（ｘ，ｙ）の加重比率を大きくする。
また例えば、変化率ｇ（ｘ，ｙ）が、１≦ｇ（ｘ，ｙ）≦ｚの範囲にあるとして、下記の（３０）式のような加重平均処理を用いて、加重平均後の画像Ｉｏｕｔ（ｘ，ｙ）を作成してもよい。

また、上述した実施形態では、（１２）式、（１３）式、または（２１）式において上限値に係るパラメータＳを使用している。しかしながら、本発明はこれに限定されるものではない。例えば、このパラメータＳを、リミットの掛かり具合に係るパラメータｍに応じて変更してもよい。例えば、パラメータＳを、数式Ｓ^ｍに置き換えることが好ましい。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施例はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、階調補正に合わせて適切なノイズ除去を実施する画像処理装置に利用可能な技術である。

Claims (10)

1. 画像データに適応して実施される階調補正に合わせて、前記画像データに施すノイズ除去を変更する画像処理装置であって、
   前記画像データの画面内の複数箇所において、前記階調補正の前後における前記画像データの信号レベルの変化率を得る変化率取得部と、
   前記変化率に応じて、前記画像データに施す前記ノイズ除去の強弱を前記画面内の箇所ごとにコントロールするノイズ除去部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記ノイズ除去部は、
   前記変化率の大きな箇所ほど、前記ノイズ除去を強める
   ことを特徴とする画像処理装置。
3. 請求項１または請求項２に記載の画像処理装置において、
   前記ノイズ除去部は、
   前記変化率の画面内配列に局所平滑化を施してノイズ変動を低減し、前記局所平滑化後の前記変化率に応じて、前記画像データに施すノイズ除去の強弱をコントロールする
   ことを特徴とする画像処理装置。
4. 請求項１ないし請求項３のいずれか１項に記載の画像処理装置において、
   前記ノイズ除去部は、
   前記変化率の上限をリミットし、前記上限リミットを施した前記変化率に応じて、前記画像データに施すノイズ除去の強弱をコントロールする
   ことを特徴とする画像処理装置。
5. 請求項１ないし請求項４のいずれか１項に記載の画像処理装置において、
   前記ノイズ除去部は、
   前記変化率をべき乗し、べき乗を施した前記変化率に応じて、前記画像データに施すノイズ除去の強弱をコントロールする
   ことを特徴とする画像処理装置。
6. 請求項１ないし請求項５のいずれか１項に記載の画像処理装置において、
   前記ノイズ除去部は、
   前記画像データを撮像した電子カメラの撮像条件を情報取得し、少なくとも前記変化率および前記撮像条件を組み合わせた条件に応じて、前記画像データに施すノイズ除去の強弱をコントロールする
   ことを特徴とする画像処理装置。
7. 請求項１ないし請求項６のいずれか１項に記載の画像処理装置において、
   前記画像データのノイズ量を検出するノイズ判定部を備え、
   前記ノイズ除去部は、
   少なくとも前記変化率および前記ノイズ量を組み合わせた条件に応じて、前記画像データに施すノイズ除去の強弱をコントロールする
   ことを特徴とする画像処理装置。
8. コンピュータを、請求項１ないし請求項７のいずれか１項に記載の画像処理装置として機能させるための画像処理プログラム。
9. 画像データに適応して実施される階調補正に合わせて、前記画像データに施すノイズ除去を変更する画像処理方法であって、
   前記画像データの画面内において、前記階調補正の前後における前記画像データの信号レベルの変化率を得る変化率取得ステップと、
   前記変化率に応じて、前記画像データに施す前記ノイズ除去の強弱を前記画面内の箇所ごとにコントロールするノイズ除去ステップと
   を備えたことを特徴とする画像処理方法。
10. 被写体を撮像して画像データを生成する撮像部と、
    前記画像データに適応して階調補正を実施する階調補正部と、
    請求項１ないし請求項７のいずれか１項に記載の画像処理装置とを備え、
    前記画像処理装置が、前記階調補正部による階調補正前後の信号レベルの変化率に応じて、画像データにノイズ除去を施す
    ことを特徴とする電子カメラ。

Images