JP4289225B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は、入力画像の階調を修正する画像処理装置、画像処理プログラム、電子カメラ、および画像処理方法に関する。

従来、画面内に極端な明暗箇所を有する画像は、その階調修正が非常に困難であった。
すなわち、画面内の明るい箇所に合わせて階調を修正すると、暗い箇所が黒く潰れてしまう。その結果、黒い箇所ばかりが目立って階調の乏しい画像になってしまう。
逆に、画面内の暗い箇所に合わせて階調を修正すると、明るい箇所の色や階調が白く飛んでしまう。その結果、明るい箇所の色や階調が不足して階調の乏しい画像になってしまう。

従来、このような明暗差を和らげるために、軟調カーブの階調変換を施す処理がよく知られている。しかしながら、極端な明暗差を劇的に和らげることは難しく、逆に中間階調域において明暗差が縮小するなどの弊害が生じやすい。

また従来、階調に偏りがある画像を修正するために、画像の階調ヒストグラムの分布を均等化する処理が知られている。この処理では、階調ヒストグラムの集中域において明暗差を拡大することができる。しかしながら、階調ヒストグラムの過疎域では逆に明暗差が縮小されるため、画面内の所々に階調潰れが目立つおそれがある。

さらに、上記の階調修正とは異なる従来技術として、下記の特許文献１も知られている。この特許文献１では、暗領域を明るくし、かつ暗領域中の小さな階調変化を強調することができる。その結果、暗領域に埋もれてしまう階調変化を明るく浮き上がらせることが可能になる。
米国特許第５，９９１，４５６号明細書

ところで、特許文献１では、暗領域が明るく浮き上がるため、暗領域の色バランスが不自然になり、例えば陰影部分の青味が強調されるといった問題がある。

また、暗領域が明るく浮き上がり過ぎて、画面全体の陰影が平板な印象になるといった問題もある。

そこで、本発明の目的は、画面全体の明暗変化を適度に抑えつつ、視覚的に埋もれやすい局所的な階調変化を良好に強調する技術を提供することである。
また、本発明の別の目的は、画面全体の明暗変化に伴う色バランスの不自然さ、良好に補正する技術を提供することである。

本発明の画像処理装置は、下記の画像入力部、変動抽出部、変調信号生成部、レベル圧縮、および階調修正部を備える。
画像入力部は、複数成分から構成されるカラー画像を入力画像として取り込む。
変動抽出部は、入力画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。
変調信号生成部は、入力画像を局所変動画像へ変調する変調信号を求める。
レベル圧縮部は、変調信号をレベル圧縮する。
階調修正部は、レベル圧縮後の変調信号と複数成分とを乗じた乗算画像と、乗算画像の信号レベルに揃えて、入力画像の複数成分をオフセット補正したオフセット補正画像とを加重加算して、階調修正画像を得る。

なお好ましくは、階調修正部は、変調信号に対応して、乗算画像およびオフセット補正画像の加重比率を変更することを特徴とする。

本発明の画像処理装置は、下記の画像入力部、変動抽出部、変調信号生成部、レベル圧縮、および階調修正部を備える。
画像入力部は、入力画像を取り込む。
変動抽出部は、入力画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。
変調信号生成部は、入力画像を局所変動画像へ変調する変調信号を求める。
レベル圧縮部は、変調信号をレベル圧縮する。
階調修正部は、レベル圧縮後の変調信号により入力画像を変調して、階調修正画像を得る。
なお階調修正部は、下記の調整入力部、および効果調整部を備える。
調整入力部は、暗領域用の加重比率Ｗｓ、および明領域用の加重比率Ｗｈのユーザー調整を受け付ける。
効果調整部は、変調信号が、予め定められた閾値未満の領域において、階調修正画像と入力画像とを加重比率Ｗｈで加重加算する。
一方、この効果調整部は、変調信号が閾値を超える領域において、階調修正画像と入力画像とを加重比率Ｗｓで加重加算する。

本発明の画像処理方法は、下記の処理ステップを有する。
（１）画像入力ステップ・・複数成分から構成されるカラー画像を入力画像として取り込む。
（２）変動抽出ステップ・・入力画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。
（３）変調信号生成ステップ・・入力画像を局所変動画像へ変調する変調信号を求める。（４）レベル圧縮ステップ・・変調信号をレベル圧縮する。
（５）階調修正ステップ・・レベル圧縮後の変調信号と複数成分とを乗じた乗算画像と、乗算画像の信号レベルに揃えて、入力画像の複数成分をオフセット補正したオフセット補正画像とを加重加算して、階調修正画像を得る。

なお好ましくは、階調修正ステップは、変調信号に対応して、乗算画像およびオフセット補正画像の加重比率を変更する。
本発明の画像処理方法は、下記の処理ステップを有する。
（１）画像入力ステップ・・入力画像を取り込む。
（２）変動抽出ステップ・・入力画像から局所的な変動成分を抽出して、変動成分を含む局所変動画像を生成する。
（３）変調信号生成ステップ・・入力画像を局所変動画像へ変調する変調信号を求める。
（４）レベル圧縮ステップ・・変調信号をレベル圧縮する。
（５）階調修正ステップ・・レベル圧縮後の変調信号により入力画像を変調して、階調修正画像を得る。
なお階調修正ステップは、下記の処理ステップを有する。
調整入力ステップ・・暗領域用の加重比率Ｗｓ、および明領域用の加重比率Ｗｈのユーザー調整を受け付ける。
効果調整ステップ・・変調信号が、予め定められた閾値未満の領域において、階調修正画像と入力画像とを加重比率Ｗｈで加重加算する。
一方、この効果調整ステップは、変調信号が閾値を超える領域において、階調修正画像と入力画像とを加重比率Ｗｓで加重加算する。

本発明では、入力画像から局所的な変動成分を抽出することで、局所変動画像を生成する。この局所変動画像は、直流変動分（すなわち大域的な明暗レベル差）が相対的に小さくなり、局所的な階調変動を相対的に多く含む画像となる。

続いて、入力画像を局所変動画像へ変調する変調信号を求める。一般に、局所変動画像は大域的な明暗レベル差が狭く、暗領域ほど明るく浮き上がっている。そのため、大域的な暗領域ほど大きな変調信号を示すようになる。

次に、この変調信号をレベル圧縮する。このレベル圧縮により、大域的な暗領域における過度な変調信号が制限される。

続いて、レベル圧縮後の変調信号と入力画像との乗算結果から、階調修正画像を生成する。この場合、レベル圧縮した変調信号を乗算するので、暗領域に特有な過度な浮き上がりが抑制される。

その結果、大域的な暗領域が不自然に明るくなるといった不具合現象を適度に抑えつつ、視覚的に埋もれやすい画像の階調変化を良好に強調することが可能になる。

《第１実施形態》
図１は、第１実施形態における画像処理プログラムの動作を説明する図である。
以下、この図１に示すステップ番号に沿って、コンピュータによる画像処理動作を説明する。

ステップＳ１：
コンピュータは、ＲＧＢ色空間の入力画像ＲＧＢ（水平画素数Ｗ，垂直画素数Ｐ）を取り込み、ＨＳＶ色空間に変換する。

ステップＳ２：
コンピュータは、入力画像の各画素の輝度（明度）成分を示すＶ面に局所平滑化処理を施し、平滑化画像Ｖｆを得る。
例えば、コンピュータは、局所平滑化の半径ｒを設定した後、次のような初期値と漸化式により、画面水平方向の局所平滑化をまず実施する。

（初期値）
Ｓ(0,y)＝ｒＶ(0,y)＋Ｖ(0,y)＋Ｖ(1,y)＋・・・＋Ｖ(r,y) ・・・［１］
Ｖｚ(0,y)＝Ｓ(0,y)／（２ｒ＋１） ・・・［２］
（漸化式）
Ｓ(x,y)＝Ｓ(x-1,y)−Ｖ(x-1-r,y)＋Ｖ(x+r,y) ・・・［３］
Ｖｚ(x,y)＝Ｓ(x,y)／（２ｒ＋１） ・・・［４］

ただし、ｘ−１−ｒ＜０の場合は、Ｖ（ｘ−１−ｒ，ｙ）＝Ｖ（０，ｙ）と仮定し、ｘ＋ｒ≧Ｗの場合は、Ｖ（ｘ＋ｒ，ｙ）＝Ｖ（Ｗ−１，ｙ）と仮定する。
続いて、コンピュータは、次のような初期値と漸化式により、画面垂直方向の局所平滑化を実施する。

（初期値）
Ｓ(x,0)＝ｒＶｚ(x,0)＋Ｖｚ(x,0)＋Ｖｚ(x,1)＋・・＋Ｖｚ(x,r) ・・・［５］
Ｖｆ(x,0)＝Ｓ(x,0)／（２ｒ＋１） ・・・［６］
（漸化式）
Ｓ(x,y)＝Ｓ(x-1,y)−Ｖｚ(x,y-1-r)＋Ｖｚ(x,y+r) ・・・［７］
Ｖｆ(x,y)＝Ｓ(x,y)／（２ｒ＋１） ・・・［８］
ただし、ｙ−１−ｒ＜０の場合はＶｚ（ｘ，ｙ−１−ｒ）＝Ｖｚ（ｘ，０）と仮定し、ｙ＋ｒ≧Ｐの場合は、Ｖｚ（ｘ，ｙ＋ｒ）＝Ｖｚ（ｘ，Ｐ−１）と仮定する。

ステップＳ３：
ここでは、コンピュータは、局所平滑化の半径ｒを、ｒ＝０．１Ｗ，Ｏ．０５Ｗ，０．０２５Ｗの３通りに変化させて、３種類の平滑化画像Ｖｆ_0.1，Ｖｆ_0.05，Ｖｆ_0.025を得る。
次に、コンピュータは、入力画像（Ｖ面）と３種類の平滑化画像との差分を、下式に基づいて算出し、局所変動画像Ｑ_0.1，Ｑ_0.05，Ｑ_0.025を求める。

Ｑ_0.1(x,y)＝ｌｏｇ（Ｖ(x,y)＋δ）−ｌｏｇ（Ｖｆ_0.1(x,y)＋δ）
Ｑ_0.05(x,y)＝ｌｏｇ（Ｖ(x,y)＋δ）−ｌｏｇ（Ｖｆ_0.05(x,y)＋δ）
Ｑ_0.025(x,y)＝ｌｏｇ（Ｖ(x,y)＋δ）−ｌｏｇ（Ｖｆ_0.025(x,y)＋δ）
・・・［９］
なお、上式中のδは、対数演算の発散を防ぐための定数であり、無視できる程度の微少値とする。
なお、入力画像に予め施されるγ補正の状況などに応じて、ｌｏｇ演算によるレベル圧縮を省いたり、レベル圧縮の強弱を調整することが好ましい。

ステップＳ４：
続いて、コンピュータは、局所変動画像Ｑ_0.1，Ｑ_0.05，Ｑ_0.025を加算することにより、半径ｒの異なる局所変動が混在した局所変動画像Ｑを生成する。
Ｑ(x,y)＝［Ｑ_0.1(x,y)＋Ｑ_0.05(x,y)＋Ｑ_0.025(x,y)］／３ ・・・［１０］
なお、この平均演算では、各半径の視覚感度の違いを考慮した重み係数を付けて、加重加算を行うことが好ましい。

ステップＳ５：
次に、コンピュータは、局所変動画像Ｑの最大値Ｑmax，最小値Ｑminを求め、その区間［Ｑmax，Ｑmin］を４０９６分割して、分割区間を定める。コンピュータは、最小値Ｑmin側から分割区間の度数を逐次に累積して、累積ヒストグラムｃ（ｑ）を求める。
そして、コンピュータは、ｃ（ｑ）＝０．００１×Ｗ×Ｐを満足するｑの値を求めて、局所変動画像Ｑのレンジ下限ｔｈ１する。さらに、コンピュータは、ｃ（ｑ）＝０．９９×Ｗ×Ｐを満足するｑの値を求めて、局所変動画像Ｑのレンジ上限ｔｈ２する。
次に、コンピュータは、下式を用いて、この局所変動画像Ｑの信号レンジ［ｔｈ１，ｔｈ２］を、所定の信号レンジ［Ｖmax，Ｖmin］へレンジ調整する。
Ｖ′(x,y)＝｛Ｑ(x,y)−ｔｈ１｝（Ｖmax−Ｖmin）／（ｔｈ２−ｔｈ１）＋Ｖmin
・・・［１１］
なお、Ｖmin≦Ｖ′(x,y)≦Ｖmaxとなるように、局所変動画像Ｖ′の上限下限をクリップする。

ステップＳ６：
コンピュータは、下式を用いて、レンジ調整後の局所変動画像Ｖ′を、入力画像（Ｖ面）で画素単位に除算し、ゲインマップＭを求める。
Ｍ(x,y)＝Ｖ′(x,y)／Ｖ(x,y) ・・・［１２］
ただし、Ｖ(x,y)＝０の箇所は、Ｍ(x,y)＝１．０とする。

ステップＳ７：
コンピュータは、例えば下式を用いて、ゲインマップＭにレベル圧縮をかけ、最大値を制限したゲインマップＭｃを求める。
Ｍｃ(x,y)＝Ｍmax・Ｍ(x,y)／｛Ｍmax＋Ｍ(x,y)｝ ・・・［１３］
ただし、Ｍmaxは、レベル圧縮後の最大値であり、例えばＭmax＝１２にする。
なお、ここでは［１３］式に限らず、いわゆるソフトリミッタ処理による最大値制限を実施すればよい。

ステップＳ８：
コンピュータは、下式を用いて、入力画像のＶ面にゲインマップＭｃを画素単位に乗じ、乗算画像Ｖｒを得る。
Ｖｒ(x,y)＝Ｍｃ(x,y)・Ｖ(x,y) ・・・［１４］
ただし、Ｖmin≦Ｖｒ(x,y)≦Ｖmaxとなるように、乗算画像Ｖｒの上限下限をクリップする。

ステップＳ９：
コンピュータは、乗算画像Ｖｒと入力画像のＨＳ面とからなる画像ＨＳＶｒを、ＲＧＢ色空間に変換して、乗算画像ＲＧＢｒを得る。

ステップＳ１０：
コンピュータは、乗算画像ＲＧＢｒの信号レベルと揃えるように、入力画像ＲＧＢの色差を保ったままＲＧＢ各成分を画素単位毎にオフセットし、オフセット補正画像ＲＧＢｏを得る。

ステップＳ１１：
コンピュータは、乗算画像ＲＧＢｒとオフセット補正画像ＲＧＢｏとを加重加算することにより、階調修正画像ＲＧＢａを得る。
なお、ここでの加重加算では、ゲインマップＭｃのゲインを参照し、そのゲインに応じて、乗算画像ＲＧＢｒの加重比率を増減変更することが好ましい。
このような動作により、画像の局所変動を強調した階調修正画像ＲＧＢｒを得ることができる。

《第１実施形態の効果など》
第１の実施形態では、下記に列挙する効果を得ることができる。

（１）
第１実施形態では、まず、局所変動画像Ｖ′を得る。この局所変動画像Ｖ′は、大域的な明暗差が狭く、暗領域が明るく浮き上がった画像である。また、この局所変動画像Ｖ′は、明領域についても明るさが抑えられ、画像の内容が分かりやすくなった画像である。
次に、この局所変動画像Ｖ′の信号レンジを正規化した後、入力画像で除算することにより、ゲインマップＭを得る。このゲインマップＭは、局所変動画像Ｖ′の暗部浮き上がりを反映し、大域な暗領域において比較的大きなゲインを示す。一方、このゲインマップＭは、局所変動画像Ｖ′の明部を抑えたことを反映して、明領域において比較的に小さなゲインを示す。

続いて、このゲインマップＭをレベル圧縮して、ゲインマップＭｃを得る。このゲインマップＭｃは、大域的な暗領域における過度なゲインが、レベル圧縮を経て適度に制限される。
次に、レベル圧縮後のゲインマップＭｃと入力画像とを乗じることにより、乗算画像Ｖｒを得る。この乗算画像Ｖｒは、局所的な階調変動を強調しつつ、大域的な暗領域の過度な浮き上がりを抑制した画像となる。

その結果、大域的な暗領域が過度に明るくなって陰影変化が浅くなるといった不具合がなく、過度に陰影変化が平坦化されるといった従来技術の問題点を解決することができる。
さらに、乗算画像Ｖｒは、暗領域の浮き上がりを抑えることで、暗領域における色バランスの崩れを抑制することもできる。その結果、暗領域の色バランスが崩れやすいといった従来技術の問題点を解決することができる。

（２）
また、第１実施形態では、乗算画像ＶｒをＲＧＢ色空間に変換して、乗算画像ＲＧＢｒを得る。次に、この乗算画像ＲＧＢｒの信号レベルに揃えて、入力画像のＲＧＢ成分を画素単位にオフセット補正することにより、オフセット補正画像ＲＧＢｏを得る。このオフセット補正画像ＲＧＢｏは、信号レベルは乗算画像ＲＧＢｒとほぼ等しいが、ＲＧＢ間の色差が入力画像と等しいために色バランスの崩れは極めて少ない。

第１実施形態では、この乗算画像ＲＧＢｒとオフセット補正画像ＲＧＢｏとを加重加算して、階調修正画像ＲＧＢａを生成する。
その結果、階調修正画像ＲＧＢａは、暗領域における色バランスの変化が抑制される。その結果、暗領域の色バランスが崩れるといった従来技術の問題点を確実に解決することができる。

（３）
さらに、第１実施形態では、乗算画像ＲＧＢｒとオフセット補正画像ＲＧＢｏとを加重加算するに際して、ゲインマップのゲインに応じて加重比率を柔軟に増減変更することもできる。
この場合、色変化に対して視覚的に敏感になるゲインを示す画像領域（例えば、ゲインマップ上の中間的なゲインを示す画像領域）において、乗算画像ＲＧＢｒの加重比率を下げることが好ましい。このような増減変更により、色バランスの崩れをより確実に防ぐことができる。

（４）
また、第１実施形態では、ＨＳＶ表色系のＶ成分について、局所変動画像、ゲインマップなどを求めることで、上記の階調修正を実施している。
このようなＶ成分などの輝度成分に対して階調修正を行うことにより、色ノイズなどの影響を受けることがなくなり、ノイズ増加の少ない階調修正が実現する。さらに、この輝度成分の階調変化は視覚感度が高いため、階調感の特に豊かな画像を生成することが可能になる。
さらに、このＶ成分の取りうる範囲内で上記の階調修正を実施した場合、階調修正後に色域をはみ出すおそれがない。すなわち、色域外の信号を色域内に写像変換するといった面倒な処理を省くことができる。
次に、別の実施形態について説明する。

《第２実施形態》
図２および図３は、第２実施形態における画像処理プログラムの動作を説明する図である。以下、これらの図に示すステップ番号に沿って、コンピュータによる画像処理動作を説明する。

ステップＳ２１：
コンピュータは、ＲＧＢ色空間の入力画像ＲＧＢ（水平画素数Ｗ，垂直画素数Ｐ）を取り込み、ＨＳＶ色空間に変換する。

ステップＳ２２：
コンピュータは、入力画像のＶ面について解像度変換を施し、縦横画素数を減少した縮小画像Ｖｓを生成する。
なお、入力画像のファイル内に縮小画像が予め記録されている場合は、このファイル内の縮小画像をＨＳＶ色空間に変換することで、縮小画像Ｖｓを取得してもよい。

ステップＳ２３〜Ｓ３２：
コンピュータは、縮小画像Ｖｓに対して、一連の階調修正の処理を施すことにより、レベル圧縮後のゲインマップＭｓｃ、および階調修正画像ＲＧＢｓａを得る。なお、ここでの階調修正は、第１実施形態（図１）のステップＳ２〜Ｓ１１と同一手順のため、ここでの説明を省略する。
なお、コンピュータは、ステップＳ２６で求めたレンジ調整パラメータ（ｔｈ１，ｔｈ２）を記憶し、入力画像の階調修正時に使用する。

ステップＳ３３：
コンピュータは、ユーザーからの操作入力により、暗領域用の加重比率Ｗｓ、および明領域用の加重比率Ｗｈの調整を受け付ける。

ステップＳ３４：
コンピュータは、ゲインマップＭｓｃの閾値未満の箇所について、ＲＧＢ色空間の縮小画像ＲＧＢｓと階調修正画像ＲＧＢｓａとを、明領域用の加重比率Ｗｈで加重加算する。
なお、ここでの閾値は、ゲインマップから大域的な明領域を弁別するための閾値であり、例えば『１倍』に設定される。

ステップＳ３５：
コンピュータは、ゲインマップＭｓｃの閾値以上の箇所について、ＲＧＢ色空間の縮小画像ＲＧＢｓと階調修正画像ＲＧＢｓａとを、暗領域用の加重比率Ｗｓで加重加算する。
なお、ここでの閾値は、ゲインマップから大域的な暗領域を弁別するための閾値であり、例えば『１倍』に設定される。

ステップＳ３６：
ステップＳ３４およびＳ３５の加重加算により、効果調整済みの縮小画像ＲＧＢｖが得られる。コンピュータは、この縮小画像ＲＧＢｖをモニタ画面にプレビュー表示する。

ステップＳ３７：
ユーザーは、このプレビュー表示を見ながら、加重比率Ｗｓ、Ｗｈを更に調整操作することができる。この調整操作を受け付けると、コンピュータは、ステップＳ３３に動作を戻す。
このような動作により、ユーザーによる加重比率Ｗｓ，Ｗｈの調整がプレビュー表示に即時に反映される。ユーザーは、このプレビュー表示の結果を確認しながら、所望の加重比率Ｗｓ，Ｗｈを最終的に決定する。このような最終的な決定の後、ユーザーは、コンピュータに対して調整完了を指示入力する。
コンピュータは、この調整完了の指示入力を受け付けると、ステップＳ３８に動作を移行する。

ステップＳ３８：
コンピュータは、ステップＳ２６で記憶したレンジ調整パラメータ、最終決定された加重比率Ｗｓ，Ｗｈを用いて、入力画像に階調修正を施し、効果調整済みの出力画像ＲＧＢｏｕｔを得る。
なお、ここでの階調修正は、上述したステップＳ２３〜Ｓ３５と同一の階調修正を、入力画像に施すものであるため、ここでの説明を省略する。

《第２実施形態の効果など》
以上説明した動作により、第２実施形態においても、第１実施形態と同様の効果を得ることができる。

さらに、第２実施形態では、ゲインマップのゲインによって画像を暗領域と明領域とに大まかに切り分けて、加重比率Ｗｓ，Ｗｈに従って両領域を独立に加重加算する。したがって、暗領域と明領域において、階調の局所変動の強調効果を独立に可変することが可能になる。

また、第２実施形態では、縮小画像について求めたレンジ調整パラメータを、入力画像の階調修正に使用する。したがって、画素数の多い入力画像についてレンジ調整パラメータを新たに求める必要がなく、入力画像の階調修正をより高速化することができる。
次に、別の実施形態について説明する。

《第３実施形態》
第３実施形態は、ゲインマップを画像に反映する際の彩度調整などに特徴を有する。
以下、第３実施形態の動作について説明する。
まず、コンピュータは、第１実施形態のステップＳ１〜Ｓ６の動作を実施して、ゲインマップＭを得る。

コンピュータは、下式を用いて、このゲインマップＭにレベル圧縮を施す。
Ｍｃ(x,y)＝Ｍmax・Ｍ(x,y)／｛Ｍmax²＋Ｍ(x,y)²｝^1/2 ・・・［１３′］
ただし、Ｍmaxは、レベル圧縮後の最大値である。なお、ゲインマップを画像に反映する際に色バランスを崩さないよう、Ｍmax＝６程度に設定することが好ましい。

続いて、コンピュータは、下式に従ってレベル圧縮後のゲインマップＭｃを入力画像ＲＧＢに反映することにより、乗算画像ＲＧＢｒを得る。
Rr(x,y)＝R(x,y)+V(x,y)[Mc(x,y)-1][R(x,y)/V(x,y)]^Psat
Gr(x,y)＝G(x,y)+V(x,y)[Mc(x,y)-1][G(x,y)/V(x,y)]^Psat
Br(x,y)＝B(x,y)+V(x,y)[Mc(x,y)-1][B(x,y)/V(x,y)]^Psat
・・・［１４′］

ただし、Ｐｓａｔは、彩度調整パラメータであり、例えば、Ｐｓａｔ＝０．５程度に設定される。なお、このＰｓａｔを増加させて１に近づけることにより、彩度の変動を強調した乗算画像ＲＧＢｒを得ることができる。逆に、Ｐｓａｔを０に近づけることにより、彩度の変動を抑制した乗算画像ＲＧＢｒを得ることができる。

なお、［１４′］式では、ゲインマップＭｃを、ＲＧＢ色空間の画像に直接反映させることで、ＨＳＶ色空間からＲＧＢ色空間への変換処理を省いている。

次に、コンピュータは、ユーザーに設定されたシャドウパラメータＰｓ（０≦Ｐｓ≦１００）と、ハイライトパラメータＰｈ（０≦Ｐｈ≦１００）を、ゲインマップＭに基づいて画素単位に配分して、加重比率ω(x,y)を決定する。
Ｍ(x,y)≧１．０ならば、ω(x,y)＝Ｐｓ／１００
Ｍ(x,y)＜１．０ならば、ω(x,y)＝Ｐｈ／１００
・・・［１５］

コンピュータは、この加重比率ω(x,y)に従って、乗算画像ＲＧＢｒと入力画像ＲＧＢとを加重加算して、効果調整済みの出力画像ＲＧＢｏｕｔを得る。
ＲＧＢout(x,y)＝ωＲＧＢｒ(x,y)＋（１−ω）ＲＧＢ(x,y) ・・・［１６］

なお、コンピュータは、乗算画像ＲＧＢｒと入力画像ＲＧＢとを作業領域などに保存することが好ましい。この場合、ユーザーによるパラメータＰｓ，Ｐｈの調整変更に対して、上記の加重変換を即座にやり直すことが可能となる。
次に、別の実施形態について説明する。

《第４実施形態》
第４実施形態は、電子カメラの実施形態である。
図４は、本実施形態の構成を示すブロック図である。
図４において、電子カメラ１１には、撮影レンズ１２が装着される。この撮影レンズ１２の像空間には、撮像素子１３の受光面が配置される。この撮像素子１３は、タイミングジェネレータ２２ｂの出力パルスによって動作が制御される。
この撮像素子１３で生成される画像は、Ａ／Ｄ変換部１５および信号処理部１６を介して、バッファメモリ１７に一時記憶される。
このバッファメモリ１７は、バス１８に接続される。このバス１８には、画像処理部１９、カードインターフェース２０、マイクロプロセッサ２２、圧縮伸張部２３、および画像表示部２４が接続される。この内、カードインターフェース２０は、着脱自在なメモリカード２１に対するデータの読み書きを行う。また、マイクロプロセッサ２２には、電子カメラ１１のスイッチ群２２ａからユーザー操作の信号が入力される。さらに、画像表示部２４は、電子カメラ１１の背面に設けられたモニタ画面２５に画像を表示する。

このような構成の電子カメラ１１は、マイクロプロセッサ２２および画像処理部１９によって、上述した第１〜第３の実施形態の階調修正（図１〜図３など）を実行する。
このような階調修正は、撮像時の画像データに対して実施してもよいし、メモリカード２１に記録された画像データに対して後から実施してもよい。

《実施形態の補足事項》
なお、上述した実施形態では、ユーザーがコンピュータまたは電子カメラを用いて、階調修正を実施する場合について説明した。しかしながら、本発明はこれに限定されるものではない。例えば、インターネット上の画像処理サーバーにおいて、ユーザーから伝送される画像データに対して、図１〜図３に示すような画像処理方法をサービス提供してもよい。

また、上述した実施形態では、ＨＳＶ色空間において階調修正を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。例えば、Ｌａｂ色空間その他の色空間上において、同様の階調修正を実施してもよい。なお、この場合は、階調修正後に定められた色域をはみ出さないよう、各信号成分の信号レベルに対して制限処理を行うことが好ましい。

なお、上述した実施形態では、画面全体に対して階調修正を実施するケースについて説明した。しかしながら、本発明はこれに限定されるものではない。
例えば、画面の一部（主要被写体、陰影部、トリミング範囲、人物や肌色領域を除いた背景部分など）に限って、階調修正を実施してもよい。

この場合、画面全体の局所変動画像の信号レンジに基づいてレンジ調整パラメータを決定することが好ましい。この動作により、画面の一部に施す階調修正を、画面全体の階調変動の幅と調和させることが可能となる。その結果、画面の一部に施した階調修正が不自然に目立つという問題を改善できる。

さらにこの場合には、縮小画像（画面全体）から局所変動画像を求め、その局所変動画像の信号レンジに基づいてレンジ調整パラメータを決定することが尚好ましい。この動作では、画素数の少ない縮小画像からレンジ調整パラメータを求めるために、処理コストが少なくなり、階調修正の処理時間を更に短縮することができる。

また、上述した実施形態では、画素単位に変調信号（実施形態ではゲイン）を求めることでゲインマップを作成している。しかしながら、本発明の変調信号はこのゲインマップに限定されるものではない。例えば、複数画素からなる画素ブロックの単位に変調信号を求めてもよい。この場合、変調信号から空間周波数の高い成分を取り除いて、空間周波数の中低域成分の階調変化を修正することが可能になる。その結果、空間周波数の高いノイズ成分の増加を抑えつつ、視覚的に目立つ中低域の階調変化を適切に修正することが可能になる。

なお、本発明は、その精神または主要な特徴から逸脱することなく、他のいろいろな形で実施することができる。そのため、前述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は、特許請求の範囲によって示すものであって、明細書本文には、なんら拘束されない。さらに、特許請求の範囲の均等範囲に属する変形や変更は、すべて本発明の範囲内のものである。

以上説明したように、本発明は、画像処理プログラムや電子カメラなどに利用可能な技術である。

第１実施形態における画像処理プログラムの動作を説明する図である。 第２実施形態における画像処理プログラムの動作を説明する図である。 第２実施形態における画像処理プログラムの動作を説明する図である。 本実施形態の構成を示すブロック図である。

符号の説明

１１ 電子カメラ
１３ 撮像素子
１６ 信号処理部
１７ バッファメモリ
１８ バス
１９ 画像処理部
２２ マイクロプロセッサ
２４ 画像表示部
２５ モニタ画面

Claims (6)

1. 複数成分から構成されるカラー画像を入力画像として取り込む画像入力部と、
   前記入力画像から局所的な変動成分を抽出して、前記変動成分を含む局所変動画像を生成する変動抽出部と、
   前記入力画像を前記局所変動画像へ変調する変調信号を求める変調信号生成部と、
   前記変調信号をレベル圧縮するレベル圧縮部と、
   レベル圧縮後の前記変調信号と前記複数成分とを乗じた乗算画像と、前記乗算画像の信号レベルに揃えて、前記入力画像の前記複数成分をオフセット補正したオフセット補正画像とを加重加算して、階調修正画像を得る階調修正部と
   を備えたことを特徴とする画像処理装置。
2. 請求項１に記載の画像処理装置において、
   前記階調修正部は、
   前記変調信号に対応して、前記乗算画像および前記オフセット補正画像の加重比率を変更する
   ことを特徴とする画像処理装置。
3. 入力画像を取り込む画像入力部と、
   前記入力画像から局所的な変動成分を抽出して、前記変動成分を含む局所変動画像を生成する変動抽出部と、
   前記入力画像を前記局所変動画像へ変調する変調信号を求める変調信号生成部と、
   前記変調信号をレベル圧縮するレベル圧縮部と、
   レベル圧縮後の前記変調信号により前記入力画像を変調して、階調修正画像を得る階調修正部とを備え、
   前記階調修正部は、
   暗領域用の加重比率Ｗｓ、および明領域用の加重比率Ｗｈのユーザー調整を受け付ける調整入力部と、
   前記変調信号が、予め定められた閾値未満の領域において、前記階調修正画像と前記入力画像とを加重比率Ｗｈで加重加算し、前記変調信号が前記閾値を超える領域において、前記階調修正画像と前記入力画像とを加重比率Ｗｓで加重加算することにより、出力画像を生成する効果調整部とを備えた
   ことを特徴とする画像処理装置。
4. 複数成分から構成されるカラー画像を入力画像として取り込む画像入力ステップと、
   前記入力画像から局所的な変動成分を抽出して、前記変動成分を含む局所変動画像を生成する変動抽出ステップと、
   前記入力画像を前記局所変動画像へ変調する変調信号を求める変調信号生成ステップと、
   前記変調信号をレベル圧縮するレベル圧縮ステップと、
   レベル圧縮後の前記変調信号と前記複数成分とを乗じた乗算画像と、前記乗算画像の信号レベルに揃えて、前記入力画像の前記複数成分をオフセット補正したオフセット補正画像とを加重加算して、階調修正画像を得る階調修正ステップと
   を備えたことを特徴とする画像処理方法。
5. 請求項４に記載の画像処理方法において、
   前記階調修正ステップは、
   前記変調信号に対応して、前記乗算画像および前記オフセット補正画像の加重比率を変更する
   ことを特徴とする画像処理方法。
6. 入力画像を取り込む画像入力ステップと、
   前記入力画像から局所的な変動成分を抽出して、前記変動成分を含む局所変動画像を生成する変動抽出ステップと、
   前記入力画像を前記局所変動画像へ変調する変調信号を求める変調信号生成ステップと、
   前記変調信号をレベル圧縮するレベル圧縮ステップと、
   レベル圧縮後の前記変調信号により前記入力画像を変調して、階調修正画像を得る階調修正ステップとを備え、
   前記階調修正ステップは、
   暗領域用の加重比率Ｗｓ、および明領域用の加重比率Ｗｈのユーザー調整を受け付ける調整入力ステップと、
   前記変調信号が、予め定められた閾値未満の領域において、前記階調修正画像と前記入力画像とを加重比率Ｗｈで加重加算し、前記変調信号が前記閾値を超える領域において、前記階調修正画像と前記入力画像とを加重比率Ｗｓで加重加算することにより、出力画像を生成する効果調整ステップとを備えた
   ことを特徴とする画像処理方法。

Images