JP4649781B2 - 画像処理方法および装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン、ビデオテープレコーダー、スチルカメラ、ビデオカメラおよびプリンタなど、各種の画像の入出力装置に好適に利用可能なものであり、特に、入力された画像を、相対的によりダイナミックレンジの狭い画像装置において再現するための画像処理方法および装置に関する。
【０００２】
【従来の技術】
従来、例えば画像の階調特性の変換のために、入力画像の各画素に対し、そのレベルを図１８の実線で示すような入出力関係を持つ関数（以下、「レベル変換関数」と記す。）で変換する方法（以下、「レベル変換」と記す。）がある。図１８において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸はレベル変換処理による出力画像の画素レベル（出力レベル）Ｔ（ｌ）を表す。Ｌmaxは、入出力画像の各画素が取り得る最大レベルを表す。レベル変換後の画像のコントラストは、レベル変換関数の傾きが大きいほど増加することになる。図１８の例では、入力レベルｌｂを境にして高レベル側と入力レベルｌｓを境にして低レベル側とにおけるレベル変換関数を示す直線の傾きが、中間レベル（入力レベルｌｓ〜ｌｂ）の傾きに比べて小さくなっている。従って、図１８に示した関数を用いたレベル変換では、高レベルおよび低レベルにおけるコントラストを犠牲にすることで、中間レベルのコントラストを増加させていることになる。
【０００３】
レベル変換関数は、図１８に示したものに限らず、例えば図１９の実線で示したものを用いることもできる。図１９に示したレベル変換関数は、入力レベルｌｋを境にして、高レベル側における直線の傾きが、低レベル、中間レベルでの傾きに比べて小さくなっている。従って、図１９に示した関数を用いたレベル変換では、高レベルでのコントラストを犠牲にすることで、低レベル、中間レベルでのコントラストを増加させることができる。また、以下の（１）式のガンマ関数や（２）式のＬＯＧ関数等、図１８および図１９に示した関数に比べて、より連続的なレベル変換関数が用いられることもある。なお、（１）式におけるｇは関数の傾きを調整するパラメータである。
【０００４】
【数１】

【０００５】
【数２】

【０００６】
また、さらに別の従来例としては、入力画像の画素レベルの頻度分布に応じて、レベル変換関数を適応的に変化させる方法があり、その代表例としてはヒストグラムイコライゼーションと呼ばれる方法が挙げられる。図２０（Ａ），（Ｂ）に、このヒストグラムイコライゼーションの原理を示す。図２０（Ａ）において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸は度数（頻度または累積頻度）を表す。Ｆmaxは、累積頻度の最大値であり、頻度を算出するために用いる画素の総数である。この方法では、図２０（Ａ）に示したように、はじめに入力画像の画素レベルｌに関する頻度分布Ｈ（ｌ）が生成され、次に以下の（３）式を用いて累積頻度分布Ｃ（ｌ）が生成される。
【０００７】
【数３】

【０００８】
この累積頻度分布Ｃ（ｌ）の縦軸を、以下の（４）式を用いて出力画像が取り得るレベル範囲に正規化することにより、レベル変換関数Ｔ（ｌ）が生成される（図２０（Ｂ））。この関数Ｔ（ｌ）を用いることにより、出現頻度の高いレベルによって構成される領域（面積が大きい領域）のコントラストを増加させることが可能となる。
【０００９】
【数４】

【００１０】
入力された画像を、よりダイナミックレンジの小さい、すなわち画素レベルを表現するビット数が少ない環境で利用する場合（ビット数の少ない伝送路で伝送する場合や、表示装置に表示する場合、あるいは記憶装置に保存する場合など）には、ダイナミックレンジの圧縮を行う必要がある。従来は、このような目的でのダイナミックレンジの圧縮処理にも、上述した方法と同様のレベル変換が用いられている。ただし、この場合には、レベル変換関数の出力画像の最大レベルが、入力画像のそれよりも小さい値となる。
【００１１】
一方、文献「Z. Rahman, et, alt.:"A Multiscale retinex for color rendition and dynamic range compression in Applications of Digital image Processing", XIX Proc. SPIE 2847 (1996)」では、空間的に緩やかに変化する照明光の成分をローパスフィルタによって抽出し、これを圧縮することで全体的なダイナミックレンジを圧縮する方法が提案されている（以下、この方法を「Multiscale retinex法」と記す。）。照明成分の抽出には帯域の狭い線形ローパスフィルタが用いられている。この方法では、以下の（５）式に示すように、入力画素の値Ｉ（ｘ，ｙ）、およびローパスフィルタ出力ＬＰＦ（Ｉ（ｘ，ｙ））の対数値を取り、前者から後者を差し引くことによりダイナミックレンジの圧縮が行われる。
【００１２】
【数５】

【００１３】
【発明が解決しようとする課題】
ところで、上述した従来のレベル変換方法では、不自然な画像が生成されるのを回避するため、単調増加性を有するレベル変換関数を用いている。このため、いずれかのレベル範囲のコントラスト（レベル変換関数の傾き）を増加させた場合、他のレベル範囲では逆にコントラストが低下してしまうといった問題がある。
【００１４】
また、Multiscale retinex法では、単調増加性を犠牲にすることで、よりコントラストの高い画像を再現することを可能としているが、照明条件が急激に切り替わる場合、線形フィルタではその変化を抽出することができず、主観的に好ましくないノイズが発生してしまうという問題がある。
【００１５】
例えば、図２１に示すように、照明条件の異なる２つの領域が隣接している画像（図中、実線）に対して線形ローパスフィルタを施すと、図中、細い破線で示したように境界のぼけた信号がフィルタ出力として得られる。これを照明成分と見なした場合、照明境界の左側の領域（Ｂ領域）において、境界付近（ＢＮＢ領域）は、境界より離れた部分（ＢＦＢ領域）よりも照明レベルが低いことになる。上述の（５）式は入力信号を照明成分で割り算することと等価であり、照明成分が大きいほど大きく圧縮されることを意味するため、結果として再現画像（図中、太い破線）のＢＮＢ領域にはオーバーシュートが発生する。逆に、照明境界の右側の領域（Ｄ領域）において、境界付近（ＤＮＢ領域）は、境界より離れた部分（ＤＦＢ）に比べて照明レベルが高いと見なされてアンダーシュートが発生する。Multiscale retinex法ではこの問題を回避するためにスケールの異なる複数の線形ローパスフィルタを用い、それぞれのローパスフィルタによって得られる結果を線形荷重によって合成する方法を用いているが、各スケールに対する重みは固定されており、上記の問題を十分に抑制できていない。
【００１６】
そこで、照明成分の抽出に線形ローパスフィルタではなく、例えばイプシロンフィルタなどの非線形フィルタを用いることが考えられる。イプシロンフィルタは、線形フィルタに比べエッジを保存する能力にすぐれ、異なる照明光が存在する画像においても照明成分をより有効に抽出することができる。しかしながら、ノイズ除去などを目的に一般的に用いられているしきい値固定のイプシロンフィルタでは、その出力にエッジ近傍において不連続な波形が形成されるため、これをダイナミックレンジの圧縮用に用いた場合、圧縮後の再現画像に原画像にはない不自然な画像パターンが発生する可能性がある。
【００１７】
本発明はかかる問題点に鑑みてなされたもので、その目的は、イプシロンフィルタを用いて、複数の異なる照明が存在する場合にも、それらの境界を適切に抽出することを可能とし、不自然な画像パターンの発生を抑えて、主観的に好ましいダイナミックレンジの圧縮を実現できる画像処理方法および装置を提供することにある。
【００１８】
【課題を解決するための手段】
本発明による画像処理方法は、入力画像上の各位置ごとにエッジ強度を算出するエッジ強度算出過程と、算出されたエッジ強度に基づいて、イプシロンフィルタのしきい値を制御するしきい値制御過程と、しきい値制御過程において制御されたしきい値を用いて、入力画像にイプシロンフィルタによるフィルタ処理を施すフィルタリング過程と、フィルタリング過程の出力値に応じて、画素値を変換するための係数を算出し、その算出した係数により、各画素ごとに画素値の変換を行う画素値変換過程とを含むものである。
【００１９】
本発明による画像処理装置は、入力画像上の各位置ごとにエッジ強度を算出するエッジ強度算出手段と、設定されたしきい値を用いて、入力画像にフィルタ処理を施すイプシロンフィルタと、エッジ強度算出手段によって算出されたエッジ強度に基づいて、イプシロンフィルタで用いられるしきい値を制御するしきい値制御手段と、イプシロンフィルタからの出力値に応じて、画素値を変換するための係数を算出し、その算出した係数により、各画素ごとに画素値の変換を行う画素値変換手段とを備えたものである。
【００２０】
本発明による画像処理方法および装置では、入力画像上の各位置ごとにエッジ強度が算出され、その算出されたエッジ強度に基づいて、イプシロンフィルタで用いられるしきい値が制御される。そして、イプシロンフィルタからの出力値に応じて、画素値を変換するための係数が算出され、その算出された係数により、各画素ごとに画素値の変換が行われる。これにより、複数の異なる照明が存在する場合にも、イプシロンフィルタによるフィルタ処理において、それらの境界の抽出を適切に行うことが可能とされる。
【００２２】
また、本発明による画像処理方法および装置では、大きさの異なる２つのしきい値を算出して、しきい値の制御を行う。このとき、イプシロンフィルタでは、近傍画素の値が注目画素に比べて大きい場合と小さい場合とで異なるしきい値を用いてフィルタ処理を行う。これによって、フィルタ処理において、画素値の変化における照明レベルの影響が軽減され、より適切に照明成分の抽出がなされる。
【００２３】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２４】
［第１の実施の形態］
まず、本実施の形態に係る画像処理装置において処理される入力画像信号につて説明する。本画像処理装置において処理される入力画像信号は、２次元ディジタル画像を図２に示すように水平方向、垂直方向の順に走査して得られた時系列な画素値の信号である。本実施の形態では、２次元画像上の任意の位置（ｘ，ｙ）に対応する画素値をＩ（ｘ，ｙ）と表し、これを入力画像信号として処理する。
【００２５】
次に、本実施の形態に係る画像処理装置の構成について説明する。本画像処理装置は、図１に示したように、エッジ強度算出器１０と、しきい値制御器１１と、イプシロンフィルタ１２と、除算器１３と、レベル変換器１４と、乗算器１５とを備えている。
【００２６】
エッジ強度算出器１０は、入力画像の各位置において画素値Ｉ（ｘ，ｙ）のエッジ強度Ｇ（ｘ，ｙ）を算出する機能を有している。エッジ強度Ｇ（ｘ，ｙ）としては、例えば以下の（６）式で与えられるようなＩ（ｘ，ｙ）の１次微分値を用いることができる。
【００２７】
【数６】

【００２８】
あるいは、ノイズの影響を抑えるために平滑化効果を持つ以下の（７）式による値をエッジ強度Ｇ（ｘ，ｙ）として用いることも可能である。
【００２９】
【数７】

【００３０】
ここで、（６），（７）式において、ｄは微分を算出するための微小距離を示す定数である。エッジ強度算出器１０において算出されたエッジ強度Ｇ（ｘ，ｙ）は、しきい値制御器１１に送られる。
【００３１】
しきい値制御器１１は、エッジ強度算出器１０によって算出されたエッジ強度Ｇ（ｘ，ｙ）に基づき、後述のイプシロンフィルタ１２で用いるしきい値Ｅ（ｘ，ｙ）の大きさを画素ごとに決定する機能を有している。しきい値制御器１１の機能により、しきい値Ｅ（ｘ，ｙ）は、例えば以下の（８）式を用いることにより、エッジ強度Ｇ（ｘ，ｙ）が大きいほど小さな値となるように制御される。
【００３２】
【数８】

【００３３】
（８）式において、Ｇmin，Ｇmax，Ｅmin，Ｅmaxは、エッジ強度Ｇ（ｘ，ｙ）をしきい値Ｅ（ｘ，ｙ）に変換するための定数であり、それぞれエッジ強度の最小値、最大値、しきい値Ｅ（ｘ，ｙ）の最小値、最大値を表している。しきい値制御器１１において決定されたしきい値Ｅ（ｘ，ｙ）は、イプシロンフィルタ１２に送られる。
【００３４】
イプシロンフィルタ１２は、図４に示したように、例えば、差分器２０と、絶対値算出器２１と、比較器２２と、線形ローパスフィルタ（図ではＬＰＦと記す。）２３とを有して構成されている。このイプシロンフィルタ１２は、２次元のフィルタであり、しきい値制御器１１によって決定されたしきい値Ｅ（ｘ，ｙ）を用いて、入力画像に非線形なフィルタ処理を施す機能を有している。イプシロンフィルタ１２の出力Ｒ（ｘ，ｙ）は、照明成分として除算器１３およびレベル変換器１４に送られる。
【００３５】
除算器１３は、入力画像からイプシロンフィルタ１２で算出された照明成分を除去するために、以下の（９）式に示すように、入力画像の各画素値Ｉ（ｘ，ｙ）を照明成分Ｒ（ｘ，ｙ）で割り算するようになっている。割り算した結果得られる非照明成分Ｓ（ｘ，ｙ）は、乗算器１５に送られる。
【００３６】
【数９】

【００３７】
レベル変換器１４は、イプシロンフィルタ１２で算出された照明成分Ｒ（ｘ，ｙ）を、以下の（１０）式に示すように、レベル変換関数Ｔ（ｌ）によってレベル変換することによって圧縮し、補正照明成分ＣＲ（ｘ，ｙ）を算出する機能を有している。
【００３８】
【数１０】

【００３９】
レベル変換器１４で用いるレベル変換関数Ｔ（ｌ）としては、例えば図３に示すような関数を用いることができる。なお、図３において、Ｒmax，ＣＲmaxは、それぞれ入力レベルおよび出力レベルの最大値を表している。
【００４０】
乗算器１５は、以下の（１１）式に示すように、非照明成分Ｓ（ｘ，ｙ）に補正照明成分ＣＲ（ｘ，ｙ）を積算することで画像信号を復元するようになっている。復元された結果を示す画像信号Ｏ（ｘ，ｙ）は、図示しない伝送路、記憶装置、または表示装置などに出力される。
【００４１】
【数１１】

【００４２】
なお、本実施の形態において、除算器１３、レベル変換器１４および乗算器１５が、本発明における「画素値変換手段」の一具体例に対応する。
【００４３】
次に、以上のように構成された画像処理装置の作用、動作を説明する。なお、以下の説明は、本実施の形態に係る画像処理方法の説明を兼ねている。
【００４４】
本画像処理装置において、入力画像を示す信号は、エッジ強度算出器１０、イプシロンフィルタ１２および乗算器１３に入力される。まず、エッジ強度算出器１０では、入力画像の各位置ごとにエッジの大きさ、すなわちエッジ強度Ｇ（ｘ，ｙ）を算出する。このとき、エッジ強度算出器１０は、例えば上述の（６）式または（７）式を用いることにより、注目画素の近傍領域内の画素値の１次微分値が大きいほど大きな値となるようにして、エッジ強度Ｇ（ｘ，ｙ）を算出する。エッジ強度算出器１０は、算出したエッジ強度Ｇ（ｘ，ｙ）をしきい値制御器１１に出力する。
【００４５】
しきい値制御器１１では、エッジ強度Ｇ（ｘ，ｙ）に基づいて、イプシロンフィルタ１２のしきい値Ｅを制御する。より詳しくは、しきい値制御器１１は、例えば上述の（８）式を用いて、しきい値Ｅ（ｘ，ｙ）の大きさを画素ごとに決定し、エッジ強度Ｇ（ｘ，ｙ）が大きいほどしきい値Ｅ（ｘ，ｙ）が小さくなるように制御する。しきい値制御器１１は、決定されたしきい値Ｅ（ｘ，ｙ）をイプシロンフィルタ１２に出力する。
【００４６】
イプシロンフィルタ１２では、しきい値制御器１１によって決定されたしきい値Ｅ（ｘ，ｙ）を用いて、入力画像にフィルタ処理を施す。
【００４７】
イプシロンフィルタ１２でのフィルタ処理は、より詳しくは、例えば図４に示した構成により、以下のように行われる。イプシロンフィルタ１２において、差分器２０には、図４に示したように、現在の注目画素の値Ｉ（ｘ，ｙ）を示す信号とその近傍領域ＮＢ内の画素の値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）を示す信号とが入力される。差分器２０では、注目画素の値Ｉ（ｘ，ｙ）とその近傍領域ＮＢ内の画素の値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）との差分を算出する。差分器２０では、近傍領域ＮＢ内のすべての画素に対して順次この差分値を計算し、各近傍画素に対応づけて、その値Ｄ（ｄｘ，ｄｙ）を絶対値算出器２１に出力する。
【００４８】
絶対値算出器２１では、差分器２０より送られてくる各差分値Ｄ（ｄｘ，ｄｙ）の絶対値ＡＤ（ｄｘ，ｄｙ）を算出する。絶対値算出器２１では、算出した絶対値ＡＤ（ｄｘ，ｄｙ）を比較器２２に出力する。
【００４９】
比較器２２には、絶対値算出器２１で算出された絶対値ＡＤ（ｄｘ，ｄｙ）が入力されると共に、注目画素の値Ｉ（ｘ，ｙ）を示す信号およびその近傍領域ＮＢ内の画素の値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）を示す信号、ならびに、しきい値制御器１１で決定されたしきい値Ｅ（ｘ，ｙ）が入力される。比較器２２では、以下の（１２）式に示すように、絶対値ＡＤ（ｄｘ，ｄｙ）としきい値Ｅ（ｘ，ｙ）とを比較し、その結果に応じて、注目画素の値Ｉ（ｘ，ｙ）または近傍画素の値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）のいずれか一方を選択し、それを値Ｊ（ｄｘ，ｄｙ）として線形ローパスフィルタ２３に出力する。
【００５０】
【数１２】

【００５１】
線形ローパスフィルタ２３では、近傍領域ＮＢ内のすべての画素に対応する値Ｊ（ｄｘ，ｄｙ）が比較器２２によって算出された時点で、以下の（１３）式による加重平均値Ｒ（ｘ，ｙ）を算出する。
【００５２】
【数１３】

【００５３】
ここで、ＮＢはフィルタリング処理における近傍領域を定義する相対的な座標の集合である。また、ａ（ｄｘ，ｄｙ）は各画素値に対する重み係数であり、この線形ローパスフィルタ２３としては、例えば以下の（１４）式に示すような平均値フィルタなどを用いることができる。
【００５４】
【数１４】

【００５５】
（１４）式において、Ｎは近傍領域内ＮＢの画素の数を表している。なお、イプシロンフィルタ１２の目的は、画像中の細かい構造を除去し、まとまった領域を抽出することであり、その近傍領域は大きい方が望ましい。
【００５６】
以上のようにしてイプシロンフィルタ１２で得られた値Ｒ（ｘ，ｙ）は、近似的に画像に含まれる照明成分を表しているものと考えられる。イプシロンフィルタ１２は、値Ｒ（ｘ，ｙ）を照明成分として除算器１３およびレベル変換器１４に出力する。
【００５７】
除算器１３では、上述の（９）式に示したように、入力画像の各画素値Ｉ（ｘ，ｙ）を照明成分Ｒ（ｘ，ｙ）で除算することにより、入力画像からイプシロンフィルタ１２で算出された照明成分を除去し、その結果得られる非照明成分Ｓ（ｘ，ｙ）を乗算器１５に出力する。
【００５８】
一方、レベル変換器１４では、イプシロンフィルタ１２で算出された照明成分Ｒ（ｘ，ｙ）を、例えば図３に示すようなレベル変換関数Ｔ（ｌ）によってレベル変換することによって圧縮し、補正照明成分ＣＲ（ｘ，ｙ）を算出する。レベル変換器１４は、算出した補正照明成分ＣＲ（ｘ，ｙ）を乗算器１５に出力する。
【００５９】
乗算器１５では、除算器１３からの出力である非照明成分Ｓ（ｘ，ｙ）にレベル変換器１４からの出力である補正照明成分ＣＲ（ｘ，ｙ）を積算することで画像信号を復元する。ここで、以上の除算器１３、レベル変換器１４および乗算器１５での全体の演算について考察すると、非照明成分Ｓ（ｘ，ｙ）に補正照明成分ＣＲ（ｘ，ｙ）を積算することは、後述する（１６）式に示すように、イプシロンフィルタ１２からの出力値Ｒ（ｘ，ｙ）に応じて画素値を変換するための係数Ｆ（Ｒ（ｘ，ｙ））を算出し、それを対応する入力画素値Ｉ（ｘ，ｙ）に積算することで、各画素ごとに画素値の変換を行ってダイナミックレンジの圧縮を行っていることに相当する。
【００６０】
以上のようにして乗算器１５から出力される画像信号Ｏ（ｘ，ｙ）は、入力画像よりも相対的にダイナミックレンジの狭い画像装置、すなわち画素レベルを表現するビット数が少ない環境（ビット数の少ない伝送路で伝送する場合や、表示装置に表示する場合、あるいは記憶装置に保存する場合など）において利用される。
【００６１】
次に、図５および図６を参照して、本実施の形態におけるイプシロンフィルタ１２を用いてダイナミックレンジの圧縮を行った場合の、従来法（単調増加性を有するレベル変換関数を用いて圧縮を行う場合）に対する有効性について説明する。
【００６２】
図５（Ａ）は、入力画像の画素値Ｉ（ｘ，ｙ）、および本実施の形態におけるイプシロンフィルタ１２からの出力Ｒ（ｘ，ｙ）を１次元信号として表した図である。図５（Ｂ）は、図５（Ａ）に示した入力画像に対して従来のレベル変換法によるダイナミックレンジの圧縮を行った結果（再現画像）を示し、図５（Ｃ）は本実施の形態におけるダイナミックレンジの圧縮を行った結果を示す。
【００６３】
また、図６（Ａ），（Ｂ）には、各領域の画素レベルとレベル変換関数Ｔ（ｌ）、および係数算出関数Ｆ（ｌ）との関係を示す。ここで、係数算出関数Ｆ（ｌ）とは、レベル変換関数Ｔ（ｌ）を用いて以下の（１５）式のように定義される。
【００６４】
【数１５】

【００６５】
この係数算出関数Ｆ（ｌ）を用い、上述の（９）式および（１０）式を考慮することで、出力画像Ｏ（ｘ，ｙ）を与える（１１）式は、以下の（１６）式のように書き換えることが可能となる。
【００６６】
【数１６】

【００６７】
この（１６）式は、照明成分Ｒ（ｘ，ｙ）の圧縮によるダイナミックレンジの圧縮が、画素ごとに算出される係数Ｆ（Ｒ（ｘ，ｙ））を、対応する入力画素値Ｉ（ｘ，ｙ）に積算することで実現できることを示している。このとき、係数算出関数Ｆ（ｌ）は、イプシロンフィルタ１２の出力値を各画素に施すゲイン係数に変換する機能を持つ。なお、図６（Ｂ）における係数算出関数Ｆ（ｌ）の値の最小値Ｃminは、次の（１７）式で与えられることになる。
【００６８】
【数１７】

【００６９】
図５（Ｂ）からも分かるように、従来法は低レベル領域（図５（Ａ）に示すレベルｌ１とレベルｌ３とで構成されている領域）でのコントラストを保存することができるが、高レベル領域（レベルｌ４とレベルｌ６とで構成されている領域）においてはコントラストの低下を招いている。これは、変曲点ｌｋ以上の高いレベルに対するレベル変換関数Ｔ（ｌ）の傾きの影響を直接的に受けた結果である。従来法においてコントラストを向上させるためにはレベル変換関数Ｔ（ｌ）の傾きを大きくする必要がある。
【００７０】
これに対し、本実施の形態（図５（Ｃ））では、高レベル領域および低レベル領域のそれぞれには、係数算出関数Ｆ（ｌ）によって与えられる単一の補正係数が施されるため、各領域内のコントラストはこの補正係数の大きさに依存することになる。本実施の形態では、低レベル領域に対してはその平均レベルｌ２によって決まる補正係数が一様に施されるが、その値は、レベルｌ１およびレベルｌ３に対するものと同じ１．０であり、従来法と同程度のコントラストが得られる。また、高レベル領域に対しては、その平均値ｌ５で決まる一定の補正係数ｃ５が施されるため、レベルｌ４の部分とレベルｌ６の部分の間のコントラストは、このゲインで確保されることになる。
【００７１】
実際、図６（Ａ）に示すような、傾きの異なる２本の直線からなるレベル変換関数Ｔ（ｌ）を用い、その変曲点レベルｌｋ以上に対応する直線が以下の（１８）式で表される場合には、従来法における高レベル領域のコントラストはその直線の傾きａに依存し、「ａ（ｌ６−ｌ４）／ｌ５」で与えられる。ただし、ここではコントラストを「（最大レベル最小レベル）／平均レベル」で定義している。
【００７２】
【数１８】

【００７３】
一方、本実施の形態において高レベル領域に適用される補正係数ｃ５は、以下の（１９）式で与えられる。
【００７４】
【数１９】

【００７５】
従って、本実施の形態では、この領域のコントラストは、ｃ５（ｌ６−ｌ４）／ｌ５＝｛ａ（ｌ６−ｌ４）／ｌ５｝＋｛ｂ／（ｌ５＊ｌ５）｝となるが、ダイナミックレンジの圧縮におけるレベル変換関数Ｔ（ｌ）の高レベルにおける傾きは通常１．０より小さいため、切片ｂは常に正の値を取る。このことは、従来法に比べて、イプシロンフィルタ１２を用いた本実施の形態による方法がより高いコントラストを実現できることを示している。
【００７６】
このように、本実施の形態においては、イプシロンフィルタ１２によって抽出された領域内のコントラストが、係数算出関数Ｆ（ｌ）によって与えられる補正係数の値そのものによって決まり、レベル変換関数Ｔ（ｌ）の傾きは領域間のコントラストに影響を及ぼすことになる。従って、本実施の形態によれば、領域間のコントラストを圧縮することにより、領域内のコントラストを保存することができ、主観的に好ましい出力画像を得ることができる。
【００７７】
次に、線形ローパスフィルタを用いた従来法に対する本実施の形態の効果について説明する。ただしここでは、説明を簡単にするため画像を１次元信号として表す。従来法の問題点は既に［発明が解決しようとする課題］の項目において図２１を用いて説明したとおりであるが、その問題点を解決するためには、照明条件の異なる領域の境界（照明境界）を保存したまま、同一照明下の領域内を平滑化する必要がある。ところで、経験上、照明強度の変化に起因する画素レベルの変化は、物体表面の反射率に起因する画素レベルの変化よりもはるかに大きく、その結果、照明境界では画素レベルの大きなエッジが発生することになる。
【００７８】
図７（Ａ）に示すように、このようなエッジ周辺では、イプシロンフィルタ１２の注目画素の近傍領域ＮＢ内にしきい値Ｅ（ｘ，ｙ）を超える大きな差分絶対値ＡＤ（ｄｘ，ｄｙ）を与える画素値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）が存在することになる。この画素値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）は、比較器２２（図４）によって、図７（Ａ）の太い破線（Ｉ'（ｄｘ，ｄｙ））で示すように、現在の注目画素の値（近傍領域ＮＢ中央の値）Ｉ（ｘ，ｙ）に置き換えられるため、（１３）式による平滑化には大きく寄与せず、結果的にエッジの形状が保存されることになる。これに対し、照明境界以外の部分では、図７（Ｂ）に示すように、画素レベルの変化はそれほど大きなものにはならず、注目画素の近傍領域ＮＢ全体に渡り、差分絶対値ＡＤ（ｄｘ，ｄｙ）がしきい値Ｅ（ｘ，ｙ）よりも小さくなる。この場合、（１２）式のＪ（ｄｘ，ｄｙ）はすべて入力画素値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）と等しく、イプシロンフィルタは単純な線形ローパスフィルタと等価になり、近傍領域ＮＢ全体に渡る平滑化が行われる。
【００７９】
このようにイプシロンフィルタ１２は、線形フィルタに比べエッジを保存する能力にすぐれ、異なる照明光が存在する画像においても照明成分をより有効に抽出することができる。しかしながら、ノイズ除去などを目的に一般的に用いられているしきい値固定の従来のイプシロンフィルタでは、その出力にエッジ近傍において不連続な波形が形成されるため、これをダイナミックレンジの圧縮用に用いた場合、圧縮後の再現画像に原画像にはない不自然な画像パターンが発生する可能性がある。
【００８０】
この問題点を説明するために、図８（Ａ），（Ｂ）にモデル化したエッジとその周辺におけるしきい値固定の従来のイプシロンフィルタの出力を示す。ここではエッジ中央部から高レベル側のみを考え、レベルが急激に変化するエッジ部分は傾きａの直線で、それ以外のエッジ周辺部分は傾き０の平坦な直線で近似している。図８（Ａ），（Ｂ）では、入力信号を細い実線８１で、イプシロンフィルタの出力を太い実線８２で、対応する線形ローパスフィルタの出力を太い破線８３で示す。また、用いるイプシロンフィルタでの注目画素の近傍領域の大きさをＮ、そのしきい値をＥとする。図８（Ａ）は、ａ，Ｎ，Ｅの間に以下の（２０）式の関係が成立している場合のイプシロンフィルタの出力である。
【００８１】
【数２０】

【００８２】
図８（Ａ）において、横軸は空間的な位置座標を表し、右に行くほど座標値が大きくなるものとする。ｐ０は、エッジの立下り点ｐｅからＮ／２だけ離れた位置を示している。この場合、イプシロンフィルタは線形ローパスフィルタと同等に振る舞う。しかしながら、照明光の変化による画像上のレベル変化は急峻に生じること（傾きａが大きい）、また上述したように効果的なダイナミックレンジの圧縮を行うためには大きなフィルタを用いる必要があること（Ｎが大きい）から、照明条件が変化する照明境界では通常（２０）式の条件は成立しないと考えられる。
【００８３】
一方、図８（Ｂ）には、（２０）式が成立しない場合のイプシロンフィルタの出力を示す。図８（Ｂ）において、出力波形を右側から左側へと見ていくと、ｐ０からｐ０−Ｅ／ａまでは線形フィルタと同じ出力となり、その後ｐｅまでは一定の値を出力する。ｐｅからｐｅ−Ｅ／ａまでは２次曲線に従って下降するが、（２０）式が成立しない条件のもとでは、この間に必ず入力信号を示す直線８１と交差する。ｐｅ−Ｅ／ａでは不連続的に入力信号と同じ値になり、その後入力信号をそのまま出力することになる。しきい値固定のイプシロンフィルタのこの振る舞いは、単純化したエッジモデルに対するものであるが、エッジ付近で複雑な波形を出力することは明らかである。特に、ｐｅ−Ｅ／ａのあたりでは不連続に変化し、入力信号よりも大きな傾きを持った波形を出力する。
【００８４】
出力画像Ｏ（ｘ，ｙ）が自然な再現画像となるためには、画像上の各位置における局所的な形状（空間的勾配の向き）が保存されていることが必要となる。すなわち、以下の（２１）式に示すように、出力画像Ｏ（ｘ，ｙ）の微分値Ｏ'（ｘ，ｙ）の符号と入力画像Ｉ（ｘ，ｙ）の微分値Ｉ'（ｘ，ｙ）の符号とが一致しなければならない。
【００８５】
【数２１】

【００８６】
ここで、sign（ｘ）はｘの符号を表す。（２１）式の条件が満たされない場合、入力画像と出力画像との間でレベル勾配の逆転が生じ、入力画像には存在しない画像パターンが出力画像に現れることになる。例えば図９（Ａ）に示す入力画像が、図９（Ｂ）に示すように出力される。図９（Ｂ）の出力画像では、レベル勾配の逆転により、入力画像には存在しないパターン９０が出現している。しかし、図８（Ｂ）に示すエッジ付近におけるイプシロンフィルタの不連続な振る舞いは、この（２１）式の条件の成立を困難にする可能性があり、レベル勾配の逆転が生じるおそれがある。
【００８７】
（２１）式が成立するか否かは、イプシロンフィルタの振る舞いとその出力に施されるレベル変換関数Ｔ（ｌ）に依存する。このことを明らかにするために、はじめに（１１）式に（９）式を代入して入力画像Ｉ（ｘ，ｙ）と出力画像Ｏ（ｘ，ｙ）との関係（２２）式を得る。
【００８８】
【数２２】

【００８９】
（２２）式の右辺におけるＣＲ（ｘ，ｙ）／Ｒ（ｘ，ｙ）は、先に述べた係数算出関数Ｆ（Ｒ（ｘ，ｙ））に相当する。（２２）式の両辺を微分し、（２１）式に代入することで、出力画像Ｏ（ｘ，ｙ）が満たすべき条件は以下の（２３）式のように表されることになる。
【００９０】
【数２３】

【００９１】
この条件に対するレベル変換関数Ｔ（ｌ）の関与をさらに明確にするために、図１０にイプシロンフィルタの出力に対するレベル変換関数Ｔ（ｌ）の出力の関係を示す。横軸はイプシロンフィルタの出力（レベル変換関数Ｔ（ｌ）への入力）、縦軸はレベル変換関数Ｔ（ｌ）の出力を表している。いま、ある画素のイプシロンフィルタの出力をＲ、そのレベル変換後の値をＣＲとし、これらの比の値ＣＲ／Ｒをａとする。すなわち、ａは原点と（Ｒ，ＣＲ）を通過する直線の傾きに相当する（（２４）式）。
【００９２】
【数２４】

【００９３】
またこの同じ画素におけるイプシロンフィルタの出力の空間微分値をＲ'とすると、これは図１０の横軸上におけるＲを中心とする微小範囲の大きさに相当するものと考えられる（ただしＲは微分値を算出する画像上の方向に応じて適当な符号を有する）。従って、Ｒに対応するレベル変換関数Ｔ（ｌ）のｌに関する微係数をｂとすると、レベル変換後の空間微分値は以下の（２５）式によって近似できる。
【００９４】
【数２５】

【００９５】
（２４）式および（２５）式を（２２）式に代入することで、イプシロンフィルタの出力に関する部分Ｒ'／Ｒと、レベル変換関数Ｔ（ｌ）の性質に関する部分（１−ｂ／ａ）とからなる以下の（２６）式の条件を得ることができる。
【００９６】
【数２６】

【００９７】
なお、照明成分圧縮のためのレベル変換関数Ｔ（ｌ）は、通常単調増加性を有するため、ａおよびｂは正の値となり、以下の（２７）式が成立する。
【００９８】
【数２７】

【００９９】
なお、１−ｂ／ａ≧０は、ａ≧ｂを意味するが、この場合には照明成分レベルＲの近辺ではレベルが大きいほど大きな圧縮を施されることを意味している。なぜならば、レベルＲの圧縮率はａであり、その近辺を一様に圧縮する場合にはレベルＲ近辺におけるレベル変換関数Ｔ（ｌ）の傾きはａである必要があるが、実際の傾きはより小さいｂであり、図１１（Ａ）に示すように高レベル側ほど大きく圧縮されることになる。逆に１−ｂ／ａ、すなわちａ＜ｂの場合には、図１１（Ｂ）に示すように低レベル側ほど大きく圧縮されることになる。なお、図１１（Ａ），（Ｂ）の縦軸および横軸は、図１０と同様、それぞれイプシロンフィルタの出力（レベル変換関数Ｔ（ｌ）への入力）およびレベル変換関数Ｔ（ｌ）の出力を表す。
【０１００】
エッジ付近以外の平坦部分では、イプシロンフィルタはローパスフィルタとして機能するため、一般的にその出力における空間的な変化の割合は、入力画像のそれよりも緩やかなものとなる。従って、これらの部分では以下の（２８）式（（２８Ａ），（２８Ｂ））に示す２つの条件が成立していると仮定できる。
【０１０１】
【数２８】

【０１０２】
Ｉ'≧０の場合、（２８）式よりＲ'≧０となるため、１−ｂ／ａが負であれば常に（２６）式が成立することになる。また、０≦１−ｂ／ａ≦１である場合には、（２８）式から得られるＩ'／Ｉ≧Ｒ'／Ｒより、以下の（２９）式のようになる。
【０１０３】
【数２９】

【０１０４】
同様に、Ｉ'＜０の場合にも（２６）式が成立することは容易に分かる。
【０１０５】
一方、図８（Ｂ）に示すとおり、エッジ中央部分においてはイプシロンフィルタは入力信号をそのまま出力することになるため、この部分では以下の（３０）式が成立すると考えられるが、この場合にも（２６）式が満足されることは明らかである。
【０１０６】
【数３０】

【０１０７】
本実施の形態においてイプシロンフィルタ１２を除去し、Ｒ（ｘ，ｙ）＝Ｉ（ｘ，ｙ）となるようにすれば、その結果はレベル変換のみによる従来法と等価となるが、これは画像全体に渡って（３０）式の条件が成立している場合に相当し、従来法ではレベル勾配の逆転が発生しないことになる。
【０１０８】
これらの条件が満たされない部分では、（２６）式が成立するか否かはイプシロンフィルタ１２の出力とレベル変換関数Ｔ（ｌ）の特性に依存する。レベル変換関数Ｔ（ｌ）の特性は照明成分をどのように圧縮するかによって決められるべきものであるため、ここではイプシロンフィルタ１２の出力がどのように（２６）式の成立に影響を及ぼすかを４つの場合（１）〜（４）に分けて説明する。
【０１０９】
（１）Ｉ'≧０かつＲ'が１−ｂ／ａと同じ符号の場合；
右辺、左辺がともに正となるため、Ｒ'／Ｒの絶対値が大きいほど（２６）式の成立が困難となる。
【０１１０】
（２）Ｉ'≧０かつＲ'が１−ｂ／ａと異なる符号の場合；
右辺が正、左辺が負となるため、常に（２６）式が成立する。
【０１１１】
（３）Ｉ'＜０かつＲ'が１−ｂ／ａと同じ符号の場合；
右辺が負、左辺が正となるため、常に（２６）式が成立する。
【０１１２】
（４）Ｉ'＜０かつＲ'が１−ｂ／ａと異なる符号の場合；
右辺、左辺がともに負となるため、Ｒ'／Ｒが大きいほど（２６）式の成立が困難となる。
【０１１３】
上記（２）および（３）の条件のもとでは、近傍領域内において入力画像のレベルが高いほど少ない圧縮が施されることになるため、勾配の逆転が発生する可能性がない。従ってＲ'／Ｒがどのような値になっても常に（２６）式が成立することになる。これに対して（１），（４）の条件では、Ｒ'／Ｒの絶対値が大きいほど（２６）が満たされない可能性が高くなるが、少なくともその比が入力画像と同じであれば（２６）式が成立することは上記に述べたとおりである。本実施の形態では、イプシロンフィルタ１２のしきい値Ｅを可変とし、エッジ部分においては入力画像にできる限り近い信号を出力することで、すなわち、エッジ強度Ｇ（ｘ，ｙ）が大きいほど、イプシロンフィルタ１２のしきい値Ｅが小さくなるようにしきい値を制御することで、勾配の逆転を最小限に抑制し、図９（Ｂ）に示したような不自然なパターン９０が生じることのないよう、自然な画像を再現することを可能としている。
【０１１４】
なお、図３に示したレベル変換関数Ｔ（ｌ）はあくまでも一例であり、目的に応じて任意のものを用いることができることはいうまでもない。例えば、（１）式や（２）式に示した関数を用いても良い。
【０１１５】
以上説明したように、本実施の形態によれば、入力画像上の各位置ごとにエッジ強度Ｇ（ｘ，ｙ）を算出すると共に、このエッジ強度Ｇ（ｘ，ｙ）に基づいて、イプシロンフィルタ１２のしきい値Ｅ（ｘ，ｙ）を制御して入力画像にフィルタ処理を施し、また、そのイプシロンフィルタ１２からの出力値Ｒ（ｘ，ｙ）に応じて算出される係数Ｆ（Ｒ（ｘ，ｙ））を、（１６）式に示したように入力画素値Ｉ（ｘ，ｙ）に積算することによって、各画素ごとに画素値の変換を行ってダイナミックレンジの圧縮を行うようにしたので、複数の異なる照明が存在する場合にも、それらの境界を適切に抽出することを可能とし、不自然な画像パターンの発生を抑えて、主観的に好ましいダイナミックレンジの圧縮を実現できる。すなわち、イプシロンフィルタ１２を用いて、入力画像から照明成分を抽出し、その照明成分を圧縮することにより、局所的なコントラストを保存したまま全体的なダイナミックレンジを削減し、主観的に好ましい再現画像を得ることができる。このとき、エッジ強度Ｇ（ｘ，ｙ）に基づいて、イプシロンフィルタ１２のしきい値Ｅを画素値Ｉ（ｘ，ｙ）の局所的な勾配に応じて適応的に変化させるようにしたので、線形ローパスフィルタを用いた場合やしきい値固定のイプシロンフィルタを用いた場合よりも、より正確に照明境界を抽出することができる。
【０１１６】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上記第１の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【０１１７】
図１２は、本発明の第２の実施の形態に係る画像処理装置の構成を示している。本実施の形態に係る画像処理装置の全体的な機能は、上記第１の実施の形態と同様であるが、本実施の形態では、除算器１３およびレベル変換器１４（図１）の代わりに、これらの機能をあわせ持った係数算出器１６が設置されている点が、上記第１の実施の形態とは異なる。すなわち、本実施の形態は、上記第１の実施の形態で示した（１６）式に基づいてダイナミックレンジの圧縮を行うものである。
【０１１８】
本実施の形態における係数算出器１６では、イプシロンフィルタ１２の出力Ｒ（ｘ，ｙ）に対して、図１３に示すような係数算出関数Ｆ（ｌ）を施して係数Ｃ（ｘ，ｙ）を算出する。係数算出関数Ｆ（ｌ）は、上記第１の実施の形態で述べたように、レベル変換関数Ｔ（ｌ）を用いて（１５）式によって得られる。係数算出器１６によって算出された係数Ｃ（ｘ，ｙ）は、乗算器１５に送られる。
【０１１９】
本実施の形態における乗算器１５には、入力画像を示す信号が直接入力されると共に、算出器１６によって算出された係数Ｃ（ｘ，ｙ）が入力される。乗算器１５では、入力画像の各画素値Ｉ（ｘ，ｙ）に対して対応する係数Ｃ（ｘ，ｙ）を積算することで画像信号を復元し、上記第１の実施の形態と同様、その結果の画像信号Ｏ（ｘ，ｙ）を図示しない伝送路、記憶装置または表示装置などに出力する。
【０１２０】
本実施の形態においても、エッジ強度Ｇ（ｘ，ｙ）に基づいて、イプシロンフィルタ１２のしきい値Ｅ（ｘ，ｙ）を制御して入力画像にフィルタ処理を施し、また、そのイプシロンフィルタ１２からの出力値Ｒ（ｘ，ｙ）に応じて算出される係数Ｆ（Ｒ（ｘ，ｙ））を、入力画素値Ｉ（ｘ，ｙ）に積算することによって、各画素ごとに画素値の変換を行ってダイナミックレンジの圧縮を行うようにしているので、上記第１の実施の形態と同様の効果を得ることができる。
【０１２１】
［第３の実施の形態］
次に、本発明の第３の実施の形態について説明する。なお、以下の説明では、上記第１の実施の形態または上記第２の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【０１２２】
図１４は、本発明の第３の実施の形態に係る画像処理装置の構成を示している。本実施の形態に係る画像処理装置の構成は、上記第１の実施の形態（図１）とほぼ同じであるが、しきい値制御器１１に、エッジ強度算出器１０からの出力であるエッジ強度Ｇ（ｘ，ｙ）のほかに、さらに、入力画像の画素値Ｉ（ｘ，ｙ）が直接入力されている点が異なる。
【０１２３】
本実施の形態におけるしきい値制御器１１Ａでは、後段のイプシロンフィルタ１２で用いるしきい値Ｅ（ｘ，ｙ）を、エッジ強度Ｇ（ｘ，ｙ）のみではなく、入力画像の画素レベルによっても制御する。より具体的には、しきい値制御器１１Ａでは、入力画像の画素値Ｉ（ｘ，ｙ）が大きいほどしきい値Ｅ（ｘ，ｙ）が大きくなると共に、エッジ強度Ｇ（ｘ，ｙ）が大きいほどしきい値Ｅ（ｘ，ｙ）が小さくなるようにしきい値Ｅ（ｘ，ｙ）を制御する。
【０１２４】
このようなしきい値制御は、以下のようにして実現できる。例えば、まず、あらかじめ設定された正の係数ｒ（ｒ≦１．０）を用いて、以下の（３１）式によって、入力画像の画素値Ｉ（ｘ，ｙ）が大きいほどその値が大きくなるような、仮のしきい値Ｅtmp（ｘ，ｙ）を設定する。
【０１２５】
【数３１】

【０１２６】
その後、このしきい値Ｅtmp（ｘ，ｙ）をエッジ強度Ｇ（ｘ，ｙ）により修正して実際に用いるしきい値Ｅ（ｘ，ｙ）を決定する。例えば、（８）式における正規化のための定数Ｅmin，Ｅmaxをそれぞれ０．０，１．０として、（８）式によってエッジ強度に応じた係数Ｇ（ｘ，ｙ）を算出するようにする。これを以下の（３２）式のように、仮のしきい値Ｅtmp（ｘ，ｙ）に積算して最終的なしきい値Ｅ（ｘ，ｙ）を求める。これにより、入力画像の画素値Ｉ（ｘ，ｙ）が大きいほどその値が大きくなると共に、エッジ強度Ｇ（ｘ，ｙ）が大きいほどその値が小さくなるよう、しきい値Ｅ（ｘ，ｙ）が制御される。
【０１２７】
【数３２】

【０１２８】
イプシロンフィルタ１２のしきい値Ｅ（ｘ，ｙ）は、入力画素の空間的変化が照明成分の変化によるものか、物体表面の反射率の変化によるものかを分離する役割を担うが、物体表面の反射率の変化が小さい場合でも照明レベル自体が大きいと画素値Ｉ（ｘ，ｙ）の変化は大きくなる。すなわち、照明レベルの大きな変化と強い照明下における小さな反射率の変化とをどのように区別するかが問題となる。本実施の形態では、画素レベルが大きいほどイプシロンフィルタ１２のしきい値Ｅ（ｘ，ｙ）を大きく設定するようにしているが、これにより画素値Ｉ（ｘ，ｙ）の変化における照明レベルの影響を軽減でき、より適切に照明成分を抽出することが可能となる。
【０１２９】
以上説明したように、本実施の形態によれば、エッジ強度Ｇ（ｘ，ｙ）のみならず、入力画像の画素レベルを考慮して、イプシロンフィルタ１２のしきい値Ｅ（ｘ，ｙ）の制御を行うようにしたので、イプシロンフィルタ１２において、より適切に照明成分を抽出することが可能となる。
【０１３０】
［第４の実施の形態］
次に、本発明の第４の実施の形態について説明する。なお、以下の説明では、上記第１〜第３の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【０１３１】
図１５は、本発明の第４の実施の形態に係る画像処理装置の構成を示している。本実施の形態に係る画像処理装置の構成は、上記第３の実施の形態（図１４）とほぼ同じであるが、特に、各画素ごとに２種類のしきい値Ｅlo（ｘ，ｙ），Ｅup（ｘ，ｙ）を用いてイプシロンフィルタのしきい値制御を行うようにした点が上記第３の実施の形態とは異なる。
【０１３２】
本実施の形態におけるしきい値制御器１１Ｂでは、各画素ごとに大きさの異なる２種類のしきい値Ｅlo（ｘ，ｙ），Ｅup（ｘ，ｙ）を算出し、それらによってイプシロンフィルタ１２Ａのしきい値制御を行う。すなわち、しきい値制御器１１Ｂでは、例えば、あらかじめ設定された大きさの異なる２つの係数ｒｌ，ｒｕ（０．０≦ｒｌ，ｒｕ≦１．０）を用いて、以下の（３３）式（（３３Ａ），（３３Ｂ））のように、２種類の仮のしきい値Ｅtmplo（ｘ，ｙ），Ｅtmpup（ｘ，ｙ）を算出する。そして、それらを第１のしきい値Ｅlo（ｘ，ｙ）および第２のＥup（ｘ，ｙ）として、イプシロンフィルタ１２Ａに出力する。
【０１３３】
【数３３】

【０１３４】
本実施の形態におけるイプシロンフィルタ１２Ａでは、しきい値制御器１１Ｂで算出された２つのしきい値Ｅlo（ｘ，ｙ），Ｅup（ｘ，ｙ）によりしきい値処理を行う。イプシロンフィルタ１２Ａでの処理は、より詳しくは、例えば、図１６に示した構成により、以下のようにして行われる。差分器２０によって算出された差分値Ｄ（ｘ，ｙ）は、本実施の形態においては絶対値算出器２１のほかに符号判定器２４にも送られる。
【０１３５】
符号判定器２４では、差分値Ｄ（ｘ，ｙ）の符号を判定し、その結果をスイッチ２７に送る。
【０１３６】
第１の比較器２５では、しきい値制御器１１Ｂから送られてくる第１のしきい値Ｅlo（ｘ，ｙ）を用いて、第１の実施の形態と同様、（１２）式により信号の選択を行う。すなわち、絶対値算出器２１で算出された値ＡＤ（ｄｘ，ｄｙ）としきい値Ｅlo（ｘ，ｙ）とを比較し、その結果に応じて、注目画素の値Ｉ（ｘ，ｙ）または近傍画素の値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）のいずれか一方を選択し、それを値Ｊ（ｄｘ，ｄｙ）として出力する。
【０１３７】
第２の比較器２６では、しきい値制御器１１Ｂから送られてくる第２のしきい値Ｅup（ｘ，ｙ）を用いて、第１の実施の形態と同様（１２）式により信号の選択を行う。すなわち、絶対値算出器２１で算出された値ＡＤ（ｄｘ，ｄｙ）としきい値Ｅup（ｘ，ｙ）とを比較し、その結果に応じて、注目画素の値Ｉ（ｘ，ｙ）または近傍画素の値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）のいずれか一方を選択し、それを値Ｊ（ｄｘ，ｄｙ）として出力する。
【０１３８】
スイッチ２７では、符号判定器２４の判定結果をもとに、第１の比較器２５または第２の比較器２６の出力のいずれか一方を選択し、線形ローパスフィルタ２３に送る。スイッチ２７では、例えば、符号判定結果が正であることを示している場合には、第１の比較器２５の出力を選択する。逆に、判定結果が負である場合には、第２の比較器２６の出力を選択する。
【０１３９】
本実施の形態では、近傍画素の値Ｉ（ｘ＋ｄｘ，ｙ＋ｄｙ）が現在の注目画素の値（近傍領域ＮＢの中央の値）Ｉ（ｘ，ｙ）よりも大きい場合にはしきい値Ｅup（ｘ，ｙ）が用いられ、小さい場合にはＥlo（ｘ，ｙ）が用いられる。すなわち、イプシロンフィルタ１２Ａにおいて、高レベル側と低レベル側とで異なるしきい値を設定することが可能となっている。特に、第２のしきい値Ｅup（ｘ，ｙ）が第１のしきい値Ｅlo（ｘ，ｙ）よりも大きくなるようにすることで、第３の実施の形態と同様、画素値の変化に含まれる照明成分の影響を軽減することができ、より適切に照明成分を抽出することが可能となる。
【０１４０】
［第５の実施の形態］
次に、本発明の第５の実施の形態について説明する。なお、以下の説明では、上記第１〜第４の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【０１４１】
図１７は、本発明の第５の実施の形態に係る画像処理装置の構成を示している。本実施の形態に係る画像処理装置の構成は、上記第１の実施の形態（図１）と類似しているが、特に、はじめに入力画像の画素レベルに例えば対数変換などの非線形な変換を施すようにした点が異なる。
【０１４２】
すなわち、本実施の形態においては、回路の入力段に対数変換器１７を設置し、はじめに入力画像の各画素値Ｉ（ｘ，ｙ）に対して（１）式に示した対数変換を施すようになっている。またこれに伴い、イプシロンフィルタ１２で得られた照明成分Ｒ（ｘ，ｙ）を差し引くための除算器１３が減算器１８に、圧縮された照明成分ＣＲ（ｘ，ｙ）を非照明成分Ｓ（ｘ，ｙ）に積算するための乗算器１５が加算器１９に置き換えられている。これらは積算、除算が対数変換後には加算、減算となるという良く知られた事実に基づくものである。
【０１４３】
対数変換器１７によって対数変換された後の入力画像の画素値ＩＬ（ｘ，ｙ）は、エッジ強度算出器１０、イプシロンフィルタ１２、および減算器１８に送られる。エッジ強度算出器１０およびイプシロンフィルタ１２では、その画素値ＩＬ（ｘ，ｙ）に基づいて、上記第１の実施の形態と同様の処理を行う。一方、減算器１８では、各画素値ＩＬ（ｘ，ｙ）から、イプシロンフィルタ１２で得られた照明成分Ｒ（ｘ，ｙ）を減算することにより、入力画像から照明成分を除去し、その結果得られる非照明成分Ｓ（ｘ，ｙ）を加算器１９に出力する。加算器１９では、非照明成分Ｓ（ｘ，ｙ）に補正照明成分ＣＲ（ｘ，ｙ）を加算することで画像信号を復元し、上記第１の実施の形態と同様、その結果の画像信号Ｏ（ｘ，ｙ）を図示しない伝送路、記憶装置または表示装置などに出力する。
【０１４４】
本実施の形態で用いた対数変換は、それ自体がダイナミックレンジの圧縮効果を持ち、入力レベルが高いほど画素値Ｉ（ｘ，ｙ）が大きく圧縮される。これにより、上記第３および第４の実施の形態と実質的に同様、画素値の空間的な変化における照明レベルの影響が軽減されることになり、より適切に照明成分を抽出することが可能となる。
【０１４５】
なお、本実施の形態では、非線形な変換として対数変換を行う例について説明したが、対数変換以外の他の非線形な変換を行うようにしても良い。
【０１４６】
【発明の効果】
以上説明したように、本発明の画像処理方法または画像処理装置によれば、入力画像上の各位置ごとに算出されたエッジ強度に基づいて、イプシロンフィルタで用いられるしきい値を制御すると共に、そのしきい値の制御されたイプシロンフィルタからの出力値に応じて、画素値を変換するための係数を算出し、その算出された係数により、各画素ごとに画素値の変換を行うようにしたので、複数の異なる照明が存在する場合にも、それらの境界を適切に抽出することが可能となり、不自然な画像パターンの発生を抑えて、主観的に好ましいダイナミックレンジの圧縮を実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】画像の走査方向を示す説明図である。
【図３】レベル変換関数の例について示す説明図である。
【図４】図１に示した画像処理装置におけるイプシロンフィルタの構成を示すブロック図である。
【図５】従来法による再現画像と図１に示した画像処理装置による再現画像との違いについて示す説明図である。
【図６】レベル変換関数と係数算出関数との関係について示す説明図である。
【図７】イプシロンフィルタの効果について示す説明図である。
【図８】しきい値固定のイプシロンフィルタのエッジ周辺における振る舞いについて示す説明図である。
【図９】しきい値固定のイプシロンフィルタにおいて生ずるレベル勾配の逆転現象について示す説明図である。
【図１０】イプシロンフィルタの出力に用いられるレベル変換関数とその微分値との関係を示す説明図である。
【図１１】レベル変換曲線における入力レベルと圧縮率の大小関数について示す説明図である。
【図１２】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１３】図１２に示した画像処理装置における係数算出器において用いられる係数算出関数の例について示す説明図である。
【図１４】本発明の第３の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１５】本発明の第４の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１６】図１５に示した画像処理装置におけるイプシロンフィルタの構成を示す説明図である。
【図１７】本発明の第５の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図１８】従来用いられているレベル変換関数の例について示す説明図である。
【図１９】従来用いられている他のレベル変換関数の例について示す説明図である。
【図２０】ヒストグラムイコライゼーションの原理について示す説明図である。
【図２１】 Multiscale retinex法の問題点について説明するための図である。
【符号の説明】
１０…エッジ強度算出器、１１…しきい値制御器、１２，１２Ａ…イプシロンフィルタ、１３…除算器、１４…レベル変換器、１５…乗算器、１６…係数算出器、１７…対数変換器、１８，２０…差分器、１９…加算器、２１…絶対値算出器、２２、２５，２６…比較器、２３…線形ローパスフィルタ（ＬＰＦ）、２４…符号判定器、２７…スイッチ。

Claims (10)

1. 入力された画像を、相対的によりダイナミックレンジの小さい画像に変換するための画像処理方法であって、
   入力画像上の各位置ごとにエッジ強度を算出するエッジ強度算出過程と、
   算出された前記エッジ強度に基づいて、イプシロンフィルタのしきい値を制御するしきい値制御過程と、
   前記しきい値制御過程において制御されたしきい値を用いて、前記入力画像に前記イプシロンフィルタによるフィルタ処理を施すフィルタリング過程と、
   前記フィルタリング過程の出力値に応じて、画素値を変換するための係数を算出し、その算出した係数により、各画素ごとに画素値の変換を行う画素値変換過程と
   を含み、
   前記しきい値制御過程において、大きさの異なる２つのしきい値を算出し、
   前記フィルタリング過程において、近傍画素の値が注目画素に比べて大きい場合と小さい場合とで異なるしきい値を用いる
   画像処理方法。
2. 前記エッジ強度算出過程では、前記エッジ強度として、注目画素の近傍領域内の画素値の１次微分値が大きいほど大きな値を算出する
   請求項１記載の画像処理方法。
3. 前記フィルタリング過程において、近傍画素の値が注目画素の値よりも大きい場合には、前記２つのしきい値のうち、値の大きい方のしきい値を用い、近傍画素の値が注目画素の値よりも小さい場合には、値の小さい方のしきい値を用いる
   請求項１記載の画像処理方法。
4. さらに、前記入力画像の画素レベルに、非線形な変換を施す過程を有し、
   その非線形な変換が行われた後の入力画像に対して前記イプシロンフィルタによるフィルタ処理を施す
   請求項１記載の画像処理方法。
5. 前記非線形変換は対数変換である
   請求項４記載の画像処理方法。
6. 入力された画像を、相対的によりダイナミックレンジの小さい画像に変換するための画像処理装置であって、
   入力画像上の各位置ごとにエッジ強度を算出するエッジ強度算出手段と、
   設定されたしきい値を用いて、前記入力画像にフィルタ処理を施すイプシロンフィルタと、
   前記エッジ強度算出手段によって算出された前記エッジ強度に基づいて、前記イプシロンフィルタで用いられるしきい値を制御するしきい値制御手段と、
   前記イプシロンフィルタからの出力値に応じて、画素値を変換するための係数を算出し、その算出した係数により、各画素ごとに画素値の変換を行う画素値変換手段と
   を備え、
   前記しきい値制御手段は、大きさの異なる２つのしきい値を算出し、
   前記イプシロンフィルタは、近傍画素の値が注目画素に比べて大きい場合と小さい場合とで異なるしきい値を用いるよう構成されている
   画像処理装置。
7. 前記エッジ強度算出手段は、前記エッジ強度として、注目画素の近傍領域内の画素値の１次微分値が大きいほど大きな値を算出するよう構成されている
   請求項６記載の画像処理装置。
8. 前記イプシロンフィルタは、近傍画素の値が注目画素の値よりも大きい場合には、前記２つのしきい値のうち、値の大きい方のしきい値を用い、近傍画素の値が注目画素の値よりも小さい場合には、値の小さい方のしきい値を用いるよう構成されている
   請求項６記載の画像処理装置。
9. さらに、前記入力画像の画素レベルに、非線形な変換を施す手段を有し、
   前記イプシロンフィルタは、前記非線形な変換が行われた後の入力画像に対して前記フィルタ処理を施すよう構成されている
   ことを特徴とする請求項６記載の画像処理装置。
10. 前記非線形な変換を施す手段は、前記入力画像の画素レベルに対数変換を施すものである
    ことを特徴とする請求項９記載の画像処理装置。

Images