JP3750797B2

JP3750797B2 - 画像処理方法および装置

Info

Publication number: JP3750797B2
Application number: JP2001187145A
Authority: JP
Inventors: 昌美緒形; 和彦上田
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2001-06-20
Filing date: 2001-06-20
Publication date: 2006-03-01
Anticipated expiration: 2021-06-20
Also published as: JP2003008898A; US20030016306A1; US6987544B2

Description

【０００１】
【発明の属する技術分野】
本発明は、テレビジョン、ビデオテープレコーダー、スチルカメラ、ビデオカメラおよびプリンタなど、各種の画像の入出力装置に好適に利用可能なものであり、特に、入力された画像を、相対的によりダイナミックレンジの狭い画像装置において再現するための画像処理方法および装置に関する。
【０００２】
【従来の技術】
従来、画像の階調特性の変換のために、入力画像の各画素に対し、そのレベルを図１０の実線で示すような入出力関係を持つ関数（以下、「レベル変換関数」と記す。）で変換する方法（以下、「レベル変換」と記す。）がある。図１０において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸はレベル変換処理による出力画像の画素レベル（出力レベル）Ｔ（ｌ）を表す。Ｌmaxは、入出力画像の各画素が取り得る最大レベルを表す。レベル変換後の画像のコントラストは、レベル変換関数の傾きが大きいほど増加することになる。図１０の例では、入力レベルｌｂを境にして高レベル側と入力レベルｌｓを境にして低レベル側とにおけるレベル変換関数を示す直線の傾きが、中間レベル（入力レベルｌｓ〜ｌｂ）の傾きに比べて小さくなっている。従って、図１０に示した関数を用いたレベル変換では、高レベルおよび低レベルにおけるコントラストを犠牲にすることで、中間レベルのコントラストを増加させていることになる。
【０００３】
レベル変換関数は、図１０に示したものに限らず、例えば図１１の実線で示したものを用いることもできる。図１１に示したレベル変換関数は、入力レベルｌｋを境にして、高レベル側における直線の傾きが、低レベル、中間レベルでの傾きに比べて小さくなっている。従って、図１１に示した関数を用いたレベル変換では、高レベルでのコントラストを犠牲にすることで、低レベル、中間レベルでのコントラストを増加させることができる。また、以下の（１）式のガンマ関数や（２）式のＬＯＧ関数等、図１０および図１１に示した関数に比べて、より連続的なレベル変換関数が用いられることもある。なお、（１）式におけるｇは関数の傾きを調整するパラメータである。
【０００４】
【数１】

【０００５】
【数２】

【０００６】
また、さらに別の従来例としては、入力画像の画素レベルの頻度分布に応じて、レベル変換関数を適応的に変化させる方法があり、その代表例としてはヒストグラムイコライゼーションと呼ばれる方法が挙げられる。図１２（Ａ），（Ｂ）に、このヒストグラムイコライゼーションの原理を示す。図１２（Ａ）において、横軸は入力画像の画素レベル（入力レベル）ｌを、縦軸は度数（頻度または累積頻度）を表す。Ｆmaxは、累積頻度の最大値であり、頻度を算出するために用いる画素の総数である。この方法では、図１２（Ａ）に示したように、はじめに入力画像の画素レベルｌに関する頻度分布Ｈ（ｌ）が生成され、次に以下の（３）式を用いて累積頻度分布Ｃ（ｌ）が生成される。
【０００７】
【数３】

【０００８】
この累積頻度分布Ｃ（ｌ）の縦軸を、以下の（４）式を用いて出力画像が取り得るレベル範囲に正規化することにより、レベル変換関数Ｔ（ｌ）が生成される（図１２（Ｂ））。この関数Ｔ（ｌ）を用いることにより、出現頻度の高いレベルによって構成される領域（面積が大きい領域）のコントラストを増加させることが可能となる。
【０００９】
【数４】

【００１０】
入力された画像を、よりダイナミックレンジの小さい、すなわち画素レベルを表現するビット数が少ない環境で利用する場合（ビット数の少ない伝送路で伝送する場合や、表示装置に表示する場合、あるいは記憶装置に保存する場合など）には、ダイナミックレンジの圧縮を行う必要がある。従来は、このような目的でのダイナミックレンジの圧縮処理にも、上述した方法と同様のレベル変換が用いられている。ただし、この場合には、レベル変換関数の出力画像の最大レベルが、入力画像のそれよりも小さい値となる。
【００１１】
一方、文献「Z. Rahman, et, alt.:"A Multiscale retinex for color rendition and dynamic range compression in Applications of Digital image Processing", XIX Proc. SPIE 2847 (1996)」では、空間的に緩やかに変化する照明光の成分をローパスフィルタによって抽出し、これを圧縮することで全体的なダイナミックレンジを圧縮する方法が提案されている（以下、この方法を「Multiscale retinex法」と記す。）。照明成分の抽出には帯域の狭い線形ローパスフィルタが用いられている。この方法では、以下の（５）式に示すように、入力画素の値Ｉ（ｘ，ｙ）、およびローパスフィルタ出力ＬＰＦ（Ｉ（ｘ，ｙ））の対数値を取り、前者から後者を差し引くことによりダイナミックレンジの圧縮が行われる。
【００１２】
【数５】

【００１３】
【発明が解決しようとする課題】
ところで、上述した従来のレベル変換方法では、不自然な画像が生成されるのを回避するため、単調増加性を有するレベル変換関数を用いている。このため、いずれかのレベル範囲のコントラスト（レベル変換関数の傾き）を増加させた場合、他のレベル範囲では逆にコントラストが低下してしまうといった問題がある。
【００１４】
また、Multiscale retinex法では、単調増加性を犠牲にすることで、よりコントラストの高い画像を再現することを可能としているが、照明条件が急激に切り替わる場合、線形フィルタではその変化を抽出することができず、主観的に好ましくないノイズが発生してしまうという問題がある。
【００１５】
例えば、図１３に示すように、照明条件の異なる２つの領域が隣接している画像（図中、実線）に対して線形ローパスフィルタを施すと、図中、細い破線で示したように境界のぼけた信号がフィルタ出力として得られる。これを照明成分と見なした場合、照明境界の左側の領域（Ｂ領域）において、境界付近（ＢＮＢ領域）は、境界より離れた部分（ＢＦＢ領域）よりも照明レベルが低いことになる。上述の（５）式は入力信号を照明成分で割り算することと等価であり、照明成分が大きいほど大きく圧縮されることを意味するため、結果として再現画像（図中、太い破線）のＢＮＢ領域にはオーバーシュートが発生する。逆に、照明境界の右側の領域（Ｄ領域）において、境界付近（ＤＮＢ領域）は、境界より離れた部分（ＤＦＢ）に比べて照明レベルが高いと見なされてアンダーシュートが発生する。Multiscale retinex法ではこの問題を回避するためにスケールの異なる複数の線形ローパスフィルタを用い、それぞれのローパスフィルタによって得られる結果を線形荷重によって合成する方法を用いているが、各スケールに対する重みは固定されており、上記の問題を十分に抑制できていない。
【００１６】
本発明はかかる問題点に鑑みてなされたもので、その目的は、複数の異なる照明が存在する場合にも、それらの境界を適切に抽出することを可能とし、主観的に好ましいダイナミックレンジの圧縮を実現できる画像処理方法および装置を提供することにある。
【００１７】
【課題を解決するための手段】
本発明による画像処理方法は、分割された複数の入力画像のそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑化画像を生成する平滑化過程と、複数の平滑化画像に基づいて、エッジ強度を算出するエッジ強度算出過程と、算出されたエッジ強度に基づいて、複数の平滑化画像を合成する合成過程と、複数の平滑化画像を合成することによって生成された合成平滑化画像に基づいて、入力画像の各画素値を変換するための係数を算出する係数算出過程と、算出された係数により、入力画像の各画素値の変換を行う画素値変換過程とを含むものである。
【００１８】
なお、平滑化過程において、各平滑化画像の各画素値に対して非線形な変換を施して、各画素値を変換するための複数の係数を算出し、合成過程において、エッジ強度に基づいて、複数の係数を合成し、その合成された係数を、係数算出過程において算出される係数として出力し、画素値変換過程において、複数の係数を合成することによって生成された係数により、入力画像の各画素値の変換を行うようにしても良い。
【００１９】
本発明による画像処理装置は、分割された複数の入力画像のそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑化画像を生成する平滑化手段と、複数の平滑化画像に基づいて、エッジ強度を算出するエッジ強度算出手段と、算出されたエッジ強度に基づいて、複数の平滑化画像を合成する合成手段と、複数の平滑化画像を合成することによって生成された合成平滑化画像に基づいて、入力画像の各画素値を変換するための係数を算出する係数算出手段と、算出された係数により、入力画像の各画素値の変換を行う画素値変換手段とを備えたものである。
【００２０】
なお、平滑化手段において、各平滑化画像の各画素値に対して非線形な変換を施して、各画素値を変換するための複数の係数を算出し、合成手段において、エッジ強度に基づいて、複数の係数を合成し、その合成された係数を、係数算出手段において算出される係数として出力し、画素値変換手段において、複数の係数を合成することによって生成された係数により、入力画像の各画素値の変換を行うようにしても良い。
【００２１】
本発明による画像処理方法および装置では、平滑化の度合いの異なる複数の平滑化画像が生成され、それら複数の平滑化画像に基づいて、エッジ強度が算出される。そして、算出されたエッジ強度に基づいて、複数の平滑化画像が合成されると共に、その合成平滑化画像に基づいて、入力画像の各画素値を変換するための係数が算出され、その係数により、入力画像の各画素値の変換が行われる。これにより、複数の異なる照明が存在する場合にも、それらの境界の抽出を適切に行うことが可能とされる。
【００２２】
本発明において、エッジ強度の算出は、例えば、平滑化画像の１次微分と２次微分との荷重和により行われる。このとき、２次微分の値は、例えば、平滑化の度合いが類似した２つの平滑化画像の差分から算出される。
【００２３】
また、本発明において、平滑化画像の合成は、例えば、相対的に平滑化の度合いが大きい、少なくとも１つの平滑化画像から生成された中間合成画像と、相対的に平滑化の度合いが小さく、まだ合成がなされていない他の平滑化画像とを合成することにより行われる。このとき、中間合成画像と他の平滑化画像との合成は、例えば、それらの画像の荷重和により行われる。
【００２４】
また、本発明において、画素値の変換を行うための係数は、例えば、合成平滑化画像の各画素値を非線形に変換することにより算出される。
【００２５】
【発明の実施の形態】
以下、本発明の実施の形態について図面を参照して詳細に説明する。
【００２６】
［第１の実施の形態］
まず、本実施の形態に係る画像処理装置において処理される入力画像信号につて説明する。本画像処理装置において処理される入力画像信号は、２次元ディジタル画像を図２に示すように水平方向、垂直方向の順に走査して得られた時系列な画素値の信号である。本実施の形態では、２次元画像上の任意の位置（ｘ，ｙ）に対応する画素値をＩ（ｘ，ｙ）と表し、これを入力画像信号として処理する。
【００２７】
次に、本実施の形態に係る画像処理装置の構成について説明する。本画像処理装置は、図１に示したように、平滑化画像生成器１０と、係数算出器１１と、乗算器１２とを備えている。
【００２８】
平滑化画像生成器１０は、入力画像Ｉの各画素値Ｉ（ｘ，ｙ）に対して平滑化処理を行う機能を有している。この平滑化画像生成器１０は、より詳しくは、例えば図５に示したように、複数のイプシロンフィルタ２０，２０Ａ，２０Ｂと、複数の線形ローパスフィルタ（図ではＬＰＦと記す。）２１Ａ，２１Ｂと、複数のダウンサンプリング器２２Ａ，２２Ｂと、複数のアップサンプリング器２３Ａ，２３Ｂと、複数の補間器２４Ａ，２４Ｂと、複数の合成器２５Ａ，２５Ｂとを有して構成されている。
【００２９】
平滑化画像生成器１０における合成器２５Ａ，２５Ｂは、より詳しくは、例えば図７に示したように、エッジ強度算出部７０と、合成部７１とを有して構成されている。エッジ強度算出部７０は、差分器３０と、絶対値算出器３１と、１次微分算出器３２と、乗算器３３Ａ，３３Ｂと、第１の加算器３４Ａを含んで構成されている。合成部７１は、乗算器３３Ｈ，３３Ｌと、第２の加算器３４Ｂと、正規化器３５とを含んで構成されている。
【００３０】
平滑化画像生成器１０で行う処理には、入力画像Ｉを複数に分割し、その複数の入力画像Ｉのそれぞれに対して平滑化を行って、図５に示したように、平滑化の度合いの異なる複数の平滑化画像ＲＨ０，ＲＨ１，Ｒ２を生成する処理が含まれる。
【００３１】
ここで、第１の平滑化画像ＲＨ０は、複数の平滑化画像ＲＨ０，ＲＨ１，Ｒ２の中で、相対的に最も平滑化の度合いが小さく、解像度が最も高い画像であり、第１のイプシロンフィルタ２０によって生成されるものである。第２の平滑化画像ＲＨ１は、第１の平滑化画像ＲＨ０に比べて、相対的に平滑化の度合いが大きく、解像度の低い画像であり、平滑化部５１（第１の線形ローパスフィルタ２１Ａ、第１のダウンサンプリング器２２Ａおよび第２のイプシロンフィルタ２０Ａ）によって生成されるものである。第３の平滑化画像Ｒ２は、相対的に最も平滑化の度合いが大きく、最も解像度の低い画像であり、第１のダウンサンプリング器２２Ａの出力画像Ｉ１から、平滑化部５２（第２の線形ローパスフィルタ２１Ｂ、第２のダウンサンプリング器２２Ｂおよび第３のイプシロンフィルタ２０Ｂ）によって生成されるものである。
【００３２】
平滑化画像生成器１０で行う処理には、また、複数の平滑化画像に基づいて、エッジ強度Ｇを算出する処理と、算出されたエッジ強度Ｇに基づいて、複数の平滑化画像を合成する処理とが含まれる。これらの処理は、主に合成器２５Ａ，２５Ｂによって行われる。すなわち、エッジ強度Ｇを算出する処理は、合成器２５Ａ，２５Ｂにおけるエッジ強度算出部７０（図５）によって行われ、平滑化画像を合成する処理は、合成部７１によって行われる。
【００３３】
より詳しくは、各合成器２５Ａ，２５Ｂにおいては、相対的に平滑化の度合いが大きい、少なくとも１つの平滑化画像から生成された中間合成画像ＲＬｎ（ｎ＝１，２）と、相対的に平滑化の度合いが小さく、まだ合成がなされていない他の平滑化画像ＲＨｎとに基づいて、エッジ強度Ｇを算出すると共に、算出されたエッジ強度Ｇに基づいて、中間合成画像ＲＬｎと平滑化画像ＲＨｎとを合成するようになっている。例えば、第２の合成器２５Ｂのエッジ強度算出部７０においては、平滑化の度合いが小さい２つの平滑化画像ＲＨ１，Ｒ２を合成することによって生成された中間合成画像ＲＬ０と、平滑化の度合いが大きい第１の平滑化画像ＲＨ０とが入力され、これらに基づいて、エッジ強度Ｇが算出される。また、第２の合成器２５Ｂの合成部７１においては、算出されたエッジ強度Ｇに基づいて、中間合成画像ＲＬ０と第１の平滑化画像ＲＨ０とが合成され、合成平滑化画像Ｒが生成されるようになっている。
【００３４】
平滑化画像生成器１０で生成された合成平滑化画像Ｒの各画素値Ｒ（ｘ，ｙ）は、照明成分として係数算出器１１に送られるようになっている。
【００３５】
係数算出器１１は、平滑化画像生成器１０で抽出された照明成分としての合成平滑化画像Ｒの各画素値Ｒ（ｘ，ｙ）から、例えば図３に示すような非線形な係数算出関数Ｆ（ｌ）を用い、以下の（６）式に示すように、入力画像Ｉの画素値Ｉ（ｘ，ｙ）を変換するための係数Ｃ（ｘ，ｙ）を算出する機能を有している。ここで算出された係数Ｃ（ｘ，ｙ）は、乗算器１２に送られる。
【００３６】
【数６】

【００３７】
乗算器１２は、入力画像上の各画素値Ｉ（ｘ，ｙ）に、対応する係数Ｃ（ｘ，ｙ）を積算する機能を有している。積算することによって得られた結果である出力画像Ｏ（ｘ，ｙ）は、図示しない伝送路、記憶装置、または表示装置などに出力される。
【００３８】
なお、（６）式における係数算出関数Ｆ（ｌ）は、図４に示すようなレベル変換関数Ｔ（ｌ）から、以下の（７）式によって得ることができる。なお、図４において、Ｌmax，Ｍmaxは、それぞれ入力レベルおよび出力レベルの最大値を表している。
【００３９】
【数７】

【００４０】
レベル変換関数Ｔ（ｌ）は、従来、画像の階調特性の変換に用いられてきたが、［従来の技術］の項でも述べたとおり、出力レベルのダイナミックレンジを入力レベルのそれよりも小さく設定する（Ｍmax＜Ｌmax）ことでダイナミックレンジ圧縮処理にも適用できる。この場合、図３における係数の最小値ＣminはＭmax／Ｌmaxで与えられることになる。（７）式は、このレベル変換関数Ｔ（ｌ）によるダイナミックレンジ圧縮前後の画素値の比として係数算出関数Ｆ（ｌ）が与えられることを表している。すなわち、（６）式で算出される係数Ｃ（ｘ，ｙ）は、照明成分である合成平滑化画像Ｒの各画素値Ｒ（ｘ，ｙ）をレベル変換関数Ｔ（ｌ）で圧縮した場合の圧縮率を表している。従って、乗算器１２において、各画素値Ｉ（ｘ，ｙ）に係数Ｃ（ｘ，ｙ）を積算することによって、入力画像Ｉの各画素ごとに画素値の変換が行われ、ダイナミックレンジの圧縮がなされることになる。
【００４１】
なお、本実施の形態において、主として第１のイプシロンフィルタ２０および平滑化部５１，５２（図５）が、本発明における「平滑化手段」の一具体例に対応する。また、主として乗算器１２（図１）が、本発明における「画素値変換手段」の一具体例に対応する。
【００４２】
次に、以上のように構成された画像処理装置の作用、動作を説明する。なお、以下の説明は、本実施の形態に係る画像処理方法の説明を兼ねている。
【００４３】
まず、図１を参照して本画像処理装置の全体的な動作について説明する。本画像処理装置において、入力画像Ｉを示す信号は、平滑化画像生成器１０と乗算器１２とに入力される。平滑化画像生成器１０では、後に詳述するように、入力画像Ｉを分割入力し、その分割された複数の入力画像Ｉのそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑化画像ＲＨ０，ＲＨ１，Ｒ２（図７）を生成する。また、平滑化画像生成器１０では、複数の平滑化画像ＲＨ０，ＲＨ１，Ｒ２に基づいて、エッジ強度Ｇを算出し、さらに、算出されたエッジ強度Ｇに基づいて、複数の平滑化画像ＲＨ０，ＲＨ１，Ｒ２を合成する。平滑化画像生成器１０は、複数の平滑化画像ＲＨ０，ＲＨ１，Ｒ２を合成することによって生成された合成平滑化画像Ｒの各画素値Ｒ（ｘ，ｙ）を、照明成分として係数算出器１１に出力する。
【００４４】
係数算出器１１では、平滑化画像生成器１０で抽出された照明成分としての合成平滑化画像Ｒの各画素値Ｒ（ｘ，ｙ）から、例えば図３に示すような非線形な係数算出関数Ｆ（ｌ）を用い、上述の（６）式に示すように、入力画像Ｉの画素値Ｉ（ｘ，ｙ）を変換するための係数Ｃ（ｘ，ｙ）を算出する。係数算出器１１は、算出した係数Ｃ（ｘ，ｙ）を、乗算器１２に出力する。
【００４５】
乗算器１２では、入力画像上の各画素値Ｉ（ｘ，ｙ）に、対応する係数Ｃ（ｘ，ｙ）を積算する。この乗算器１２での演算により、入力画像Ｉの各画素ごとに画素値の変換が行われ、ダイナミックレンジの圧縮が施される。
【００４６】
以上のようにして乗算器１２から出力される画像信号Ｏ（ｘ，ｙ）は、入力画像Ｉよりも相対的にダイナミックレンジの狭い画像装置、すなわち画素レベルを表現するビット数が少ない環境（ビット数の少ない伝送路で伝送する場合や、表示装置に表示する場合、あるいは記憶装置に保存する場合など）において利用される。
【００４７】
次に、主として図５および図７を参照して、平滑化画像生成器１０での処理について、詳しく説明する。図５に示したように、平滑化画像生成器１０に入力された画像Ｉは、第１のイプシロンフィルタ２０と第１の線形ローパスフィルタ２１Ａとに分割入力される。
【００４８】
第１のイプシロンフィルタ２０では、入力画像Ｉに対して以下の（８）式（（８Ａ）（８Ｂ））に示すような非線形フィルタリング処理を行い、最も平滑化の度合いが小さく、解像度の最も高い第１の平滑化画像ＲＨ０を生成し、それを第２の合成器２５Ｂに出力する。
【００４９】
【数８】

【００５０】
ここで、（８）式において、ＮＢはフィルタリング処理における近傍領域を定義する相対座標の集合でり、Ｅはあらかじめ設定されたしきい値である。また、ｈ（ｄｘ，ｄｙ）は、第１のイプシロンフィルタ２０内の図示しない線形ローパスフィルタを構成するためのフィルタ係数であり、例えば図６に示すようなものを用いることができる。
【００５１】
平滑化部５１では、入力画像Ｉに対して以下で説明するダウンサンプリング処理およびフィルタ処理を施すことにより、第１の平滑化画像ＲＨ０に比べて、相対的に平滑化の度合いが大きく、解像度の低い第２の平滑化画像ＲＨ１を生成する。また、平滑化部５２では、平滑化部５１における第１のダウンサンプリング器２２Ａの出力画像Ｉ１に対して、平滑化部５１と実質的に同様のダウンサンプリング処理およびフィルタ処理を施し、相対的に最も平滑化の度合いが大きく、最も解像度の低い第３の平滑化画像Ｒ２を生成する。
【００５２】
平滑化部５１における第１の線形ローパスフィルタ２１Ａは、後段の第１のダウンサンプリング器２２Ａでのダウンサンプリング処理においてエリアシングの発生を回避するためのものであり、ダウンサンプリングのレートに応じて適当なフィルタ処理を施す。第１の線形ローパスフィルタ２１Ａの出力ＩＬは、第１のダウンサンプリング器２２Ａに入力され、そこで、あらかじめ設定されたレートによりダウンサンプリング処理がなされる。第１の線形ローパスフィルタ２１Ａおよび第１のダウンサンプリング器２２Ａによって縮小された画像Ｉ１は、第２のイプシロンフィルタ２０Ａおよび第２の線形ローパスフィルタ２１Ｂに入力される。
【００５３】
第２のイプシロンフィルタ２０Ａおよび第２の線形ローパスフィルタ２１Ｂは、入力画像Ｉの大きさが異なる以外、すなわち、入力画像として第１のダウンサンプリング器２２Ａからの画像Ｉ１が入力される以外、それぞれ、第１のイプシロンフィルタ２０および第１の線形ローパスフィルタ２１Ａと実質的に同じ働きをする。
【００５４】
すなわち、第２のイプシロンフィルタ２０Ａでは、第１のダウンサンプリング器２２Ａからの出力画像Ｉ１に対して、非線形フィルタリング処理を行うことによって第２の平滑化画像ＲＨ１を生成し、それを第１の合成器２５Ａに出力する。また、第２の線形ローパスフィルタ２１Ｂでは、後段の第２のダウンサンプリング器２２Ｂでのダウンサンプリングのレートに応じて適当なフィルタ処理を施す。
【００５５】
第２の線形ローパスフィルタ２１Ｂの出力ＩＬ１は、第２のダウンサンプリング器２２Ｂに入力され、そこで、あらかじめ設定されたレートによりダウンサンプリング処理がなされる。これにより縮小された画像Ｉ２は、第３のイプシロンフィルタ２０Ｂに入力される。
【００５６】
第３のイプシロンフィルタ２０Ｂも、第１のイプシロンフィルタ２０と実質的に同じ働きをする。すなわち、第３のイプシロンフィルタ２０Ｂでは、第２のダウンサンプリング器２２Ｂからの出力画像Ｉ２に対して、非線形フィルタリング処理を行うことによって第３の平滑化画像Ｒ２を生成し、それを、第１のアップサンプリング器２３Ａに出力する。
【００５７】
第１のアップサンプリング器２３Ａでは、第３の平滑化画像Ｒ２に対して、第２のダウンサンプリング器２２Ｂと同じレートでアップサンプリング処理を行う。すなわち、第２のダウンサンプリング器２２Ｂにおけるダウンサンプルレートが１／Ｎである場合、第１のアップサンプリング器２３Ａでは、隣接する画素の間に値が０であるＮ−１個の画素を挿入する処理を行う。
【００５８】
第１の補間器２４Ａでは、アップサンプリング処理の施された画像に対して適当な補間処理を行うことにより中間合成画像ＲＬ１を生成し、第１の合成器２５Ａに出力する。
【００５９】
第１の合成器２５Ａでは、後に詳述するようにエッジ強度Ｇの算出を行い、それに基づいて、第２のイプシロンフィルタ２０Ａからの第２の平滑化画像ＲＨ１と第１の補間器２４Ａからの中間合成画像ＲＬ１とを合成して、第１の合成平滑化画像Ｒ１を生成し、それを第２のアップサンプリング器２３Ｂに出力する。
【００６０】
第２のアップサンプリング器２３Ｂおよび第２の補間器２４Ｂは、それぞれ第１のアップサンプリング器２３Ａおよび第１の補間器２４Ａと実質的に同様の働きをする。これらによって生成された中間合成画像ＲＬ０は、第２の合成器２５Ｂに送られる。
【００６１】
第２の合成器２５Ｂは、第１の合成器２５Ａと実質的に同様の働きをする。すなわち、第２の合成器２５Ｂは、第１のイプシロンフィルタ２０から出力された第１の平滑化画像ＲＨ０と第２の補間器２４Ｂから出力された中間合成画像ＲＬ０とを合成して、第２の合成平滑化画像Ｒ０を生成する。第２の合成器２５Ｂは、生成された第２の合成平滑化画像Ｒ０を、照明成分を表す最終的な合成平滑化画像Ｒとして、係数算出器１１（図１）に出力する。
【００６２】
合成器２５Ａ，２５Ｂでの処理は、より詳しくは、例えば図７に示した構成により、以下のように行われる。本実施の形態では、生成された複数の平滑化画像の数に応じた数の合成器が設けられ、各合成器において、所定の数ごとに複数の平滑化画像の合成処理を行う。この合成処理が、すべての平滑化画像が１つに合成されるまで行われる。
【００６３】
各合成器２５Ａ，２５Ｂには、上述したように中間合成画像と平滑化画像とが入力される。ところで、図７に示した平滑化画像生成器１０の構成では、平滑化画像として、第１、第２および第３の平滑化画像ＲＨ０，ＲＨ１，Ｒ２が生成される。また、中間合成画像として生成されるのは、第３の平滑化画像Ｒ２に基づいて生成された中間合成画像ＲＬ１と、第２および第３の平滑化画像ＲＨ１，Ｒ２に基づいて生成された中間合成画像ＲＬ０とがある。各合成器２５Ａ，２５Ｂには、それらの画像のうち、平滑化の度合いが相対的に類似している２つの画像が入力される。すなわち、第１の合成器２５Ａには、中間合成画像ＲＬ１と第２の平滑化画像ＲＨ１とが入力される。第２の合成器２５Ｂには、中間合成画像ＲＬ０と第１の平滑化画像ＲＨ０とが入力される。
【００６４】
すなわち、各合成器２５Ａ，２５Ｂには、平滑化の度合いが大きく解像度の低い、少なくとも１つの平滑化画像から生成された中間合成画像ＲＬｎと、より解像度が高い平滑化画像ＲＨｎとが入力される。このうち、平滑化画像ＲＨｎは、エッジ強度算出部７０における差分器３０と、合成部７１における第３の乗算器３３Ｈとに入力される。中間合成画像ＲＬｎは、エッジ強度算出部における差分器３０および１次微分算出器３２と、合成部７１における第４の乗算器３３Ｌとに入力される。
【００６５】
エッジ強度算出部７０において、差分器３０では、中間合成画像ＲＬｎの各画素値ＲＬｎ（ｘ，ｙ）と平滑化画像ＲＨｎの各画素値ＲＨｎ（ｘ，ｙ）との差分により２次微分値Ｄ２（ｘ，ｙ）を算出する。差分器３０は、算出した２次微分値Ｄ２（ｘ，ｙ）を絶対値算出器３１に出力する。
【００６６】
絶対値算出器３１では、差分器３０で算出された差分値、すなわち２次微分値Ｄ２（ｘ，ｙ）の絶対値ＡＤ２（ｘ，ｙ）を算出し、それを第１の乗算器３３Ａに出力する。
【００６７】
一方、１次微分算出器３２では、中間合成画像ＲＬｎの各画素値ＲＬｎ（ｘ，ｙ）の１次微分の絶対値ＡＤ１（ｘ，ｙ）を、例えば以下の（９）式のように算出し、第２の乗算器３３Ｂに出力する。（９）式において、ｄは微分を算出するための微小距離を示す定数である。
【００６８】
【数９】

【００６９】
第１および第２の乗算器３３Ａ，３３Ｂでは、それぞれ、２次微分の絶対値ＡＤ２（ｘ，ｙ）および１次微分の絶対値ＡＤ１（ｘ，ｙ）に対して、あらかじめ設定された重み係数ｐ２，ｐ１を積算し、その結果を第１の加算器３４Ａに出力する。
【００７０】
第１の加算器３４Ａでは、第１および第２の乗算器３３Ａ，３３Ｂから送られてくる重み付けのなされた２次微分の絶対値ＡＤ２（ｘ，ｙ）と１次微分の絶対値ＡＤ１（ｘ，ｙ）とを加算することにより、すなわち、２次微分の絶対値ＡＤ２（ｘ，ｙ）と１次微分の絶対値ＡＤ１（ｘ，ｙ）との荷重和により、各画素ごとにエッジ強度Ｇ（ｘ，ｙ）を算出する。第１の加算器３４Ａは、算出した各画素ごとのエッジ強度Ｇ（ｘ，ｙ）を正規化器３５に出力する。
【００７１】
正規化器３５では、加算器３４Ａによって算出されたエッジ強度Ｇ（ｘ，ｙ）を、例えば以下の（１０）式のように正規化し、平滑化画像ＲＨｎの各画素値ＲＨｎ（ｘ，ｙ）に対する重み係数ｗ（ｘ，ｙ）を算出して第３の乗算器３３Ｈに送ると共に、｛１−ｗ（ｘ，ｙ）｝の値を中間合成画像ＲＬｎの各画素値ＲＬｎ（ｘ，ｙ）に対する重み係数として第４の乗算器３３Ｌに送る。なお、（１０）式において、Ｇmin,Ｇmaxは、それぞれ、エッジ強度Ｇ（ｘ，ｙ）のあらかじめ設定された最小値および最大値である。（１０）式から分かるように、重み係数ｗ（ｘ，ｙ）は、エッジ強度Ｇ（ｘ，ｙ）に基づいて画素ごとに変化する係数である。また、重み係数ｗ（ｘ，ｙ）は、エッジ強度Ｇ（ｘ，ｙ）が大きいほど大きくなる。従って、エッジ強度Ｇ（ｘ，ｙ）が小さいほど、中間合成画像ＲＬｎ（ｘ，ｙ）の重み係数｛１−ｗ（ｘ，ｙ）｝は大きくなる。
【００７２】
【数１０】

【００７３】
第３の乗算器３３Ｈでは、正規化器３５から送られてくる重み係数ｗ（ｘ，ｙ）を平滑化画像ＲＨｎの各画素値ＲＨｎ（ｘ，ｙ）に積算し、その結果を第２の加算器３４Ｂに出力する。また、第４の乗算器３３Ｌでは、正規化器３５から送られてくる重み係数｛１−ｗ（ｘ，ｙ）｝を中間合成画像ＲＬｎの各画素値ＲＬｎ（ｘ，ｙ）に積算し、その結果を第２の加算器３４Ｂに出力する。
【００７４】
第２の加算器３４Ｂでは、第３および第４の乗算器３３Ｈ，３３Ｌから送られてくる重み付けのなされた平滑化画像ＲＨｎと中間合成画像ＲＬｎとを加算することにより、すなわち、平滑化画像ＲＨｎと中間合成画像ＲＬｎとの荷重和により、平滑化画像ＲＨｎと中間合成画像ＲＬｎとを合成し、合成平滑化画像Ｒｎを生成する。
【００７５】
次に、本実施の形態の効果について説明する。線形ローパスフィルタを用いた従来法の問題点は、既に［発明が解決しようとする課題］の項目において図１３を用いて説明したとおりであるが、その問題点を解決するためには、照明条件の異なる領域の境界（照明境界）を保存したまま、同一照明下の領域内を平滑化する必要がある。ところで、経験上、照明強度の変化に起因する画素レベルの変化は、物体表面の反射率に起因する画素レベルの変化よりもはるかに大きく、その結果、照明境界では画素レベルの大きなエッジが発生することになる。一方、イプシロンフィルタは、エッジを保存する能力に優れた平滑化手段として知られており、これを導入することで、より正確な照明成分の抽出が可能となることが期待できる。
【００７６】
ところで、１つの照明が影響を及ぼす領域は、一般的に画像上の広い範囲にわたる。従って、照明成分を効果的に抽出するには、注目画素に対して非常に大きな近傍領域を有するフィルタが必要となるが、このことは大きな演算量を要求することになる。この演算量を軽減するための１つの方法としては、比較的小さなフィルタとダウンサンプリング器とを用いて等価的に大きなフィルタを実現することが考えられる。しかし、たとえエッジ保存能力に優れたフィルタを用いても、ダウンサンプリングの施された低解像度の画像ではサンプリング間隔の範囲においてエッジの位置情報があいまいになることは避けられない。照明境界を保存したまま、同一照明下の領域内を平滑化するためには、低解像度の画像と共に高解像度の画像を用い、エッジ近傍では平滑化の度合いの小さい高解像度画像を、それ以外の部分では平滑化の度合いの大きい低解像度画像を選択して合成を行う必要がある。
【００７７】
本実施の形態では、図７に示したように、差分器３０、絶対値算出器３１、１次微分算出器３２、第１の乗算器３３Ａ、第２の乗算器３３Ｂ、および第１の加算器３４Ａを有するエッジ強度算出部７０によって、エッジ強度Ｇ（ｘ，ｙ）を算出しているが、この演算は数学的には以下の（１１）式のように表すことができる。
【００７８】
【数１１】

【００７９】
（１１）式において、右辺の第１項は低解像度画像（ＲＬｎ）の１次微分値であり、エッジ中央部において大きな値を示すのに対して、低解像度画像（ＲＬｎ）と高解像度画像（ＲＨｎ）との差分に基づく第２項は、２次微分的にエッジ周辺部で大きな値を示す。このため、これらの和によってエッジ近傍を良好に検出することが可能となっている。本実施の形態では、エッジ強度算出部７０において、このような演算を行っているため、エッジ近傍を良好に検出することができる。また、複数の画像を切り替える場合、画像間の差が大きい部分における不連続な切り替わりを回避する必要があるが、本実施の形態では、図７の差分器３０において、２次微分情報を低解像度画像と高解像度画像との差として算出し、それに応じた重み付けを行うことにより、合成部７１において、合成する２つの画像の差が大きい場合には常に高解像度画像が選択される。このため、複数の画像を切り替える場合にも、不連続な切り替わりは発生しにくい。
【００８０】
以上説明したように、本実施の形態によれば、図５に示したように、複数のフィルタ処理とダウンサンプリング処理とを行って複数の平滑化画像を生成し、さらにそれらを合成することにより、入力画像Ｉに対して等価的に規模の大きなフィルタ処理（平滑化処理）を施すようにしているので、個々のフィルタ処理とダウンサンプリング処理とに要求される演算量を軽減することができ、単一の大きなフィルタを用いた場合よりも、平滑化のための演算量を軽減することができる。また、図７に示したように、複数の平滑化画像（画像ＲＨｎ，ＲＬｎ）に基づいてエッジ強度Ｇを算出し、そのエッジ強度Ｇに基づいて、複数の平滑化画像を合成するようにしたので、ダウンサンプリング処理を行ったとしても、エッジの検出を良好に行うことができる。これにより、演算量を軽減しつつ、複数の異なる照明が存在する場合にも、それらの境界を適切に抽出することを可能とし、主観的に好ましいダイナミックレンジの圧縮を実現できる。
【００８１】
なお、本実施の形態では、平滑化画像を生成するためにイプシロンフィルタ２０，２０Ａ，２０Ｂ（図５）を用いる場合について説明したが、メディアンフィルタなど、他の非線形フィルタを用いることも可能である。また、演算規模のさらなる削減を目的として線形フィルタを用いることもできる。
【００８２】
また、複数の解像度の平滑化画像を生成する際に、各解像度ごとに異なるパラメータを用いることもできる。例えば、ダウンサンプリング器２２Ａ，２２Ｂおよびアップサンプリング器２３Ａ，２３Ｂにおけるダウンサンプリングおよびアップサンプリングのレートや、イプシロンフィルタ２０，２０Ａ，２０Ｂのしきい値などを解像度ごとに変えることも可能である。
【００８３】
さらに、本実施の形態では、３つの解像度の平滑化画像ＲＨ０，ＲＨ１，Ｒ２を合成する例について説明したが、入力画像Ｉの画素数に応じて、生成する平滑化画像の数を増減することが可能なことはいうまでもない。
【００８４】
また、図７に示した合成器２５Ａ，２５Ｂにおいて、平滑化画像ＲＨｎと中間合成画像ＲＬｎとの入力関係を逆にし、高解像度側の平滑化画像ＲＨｎの１次微分値を算出するようにしても良い。すなわち、中間合成画像ＲＬｎを、差分器３０と、第３の乗算器３３Ｈとに入力し、平滑化画像ＲＨｎを、差分器３０および１次微分算出器３２と、第４の乗算器３３Ｌとに入力するようにしても良い。
【００８５】
［第２の実施の形態］
次に、本発明の第２の実施の形態について説明する。なお、以下の説明では、上記第１の実施の形態における構成要素と実質的に同一の機能を有する部分には同一の符号を付し、適宜説明を省略する。
【００８６】
図８は、本発明の第２の実施の形態に係る画像処理装置の構成を示している。本実施の形態に係る画像処理装置では、上記第１の実施の形態における係数算出器１１の機能を平滑化画像生成器１０の内部に組み込み、両者の機能を併せ持ったものを、合成係数算出器１３としてあらたに設置している。
【００８７】
図８において、合成係数算出器１３では、入力画像Ｉから、その画素値Ｉ（ｘ，ｙ）を変換するための係数Ｃ（ｘ，ｙ）を算出し、それを乗算器１２に出力する。乗算器１２では、上記第１の実施の形態と同様、入力画像上の各画素値Ｉ（ｘ，ｙ）に、対応する係数Ｃ（ｘ，ｙ）を積算し、その結果の画像信号Ｏ（ｘ，ｙ）を図示しない伝送路、記憶装置または表示装置などに出力する。
【００８８】
図９は、合成係数算出器１３の構成を示している。合成係数算出器１３の構成は、上記第１の実施の形態における平滑化画像生成器１０とほぼ同じであるが、係数算出器１１Ａ，１１Ｂ，１１Ｃが設置されている点が異なる。係数算出器１１Ａは、第１のイプシロンフィルタ２０と第２の合成器２５Ｂとの間の信号経路中に設置されている。係数算出器１１Ｂは、第２のイプシロンフィルタ２０Ａと第１の合成器２５Ａとの間の信号経路中に設置されている。係数算出器１１Ｃは、第１の補間器２４Ａと第１の合成器２５Ａとの間の信号経路中に設置されている。
【００８９】
各係数算出器１１Ａ，１１Ｂ，１１Ｃは、上記第１の実施の形態で用いられている係数算出器１１（図１）と実質的には同様の働きをするものである。係数算出器１１Ａは、第１の平滑化画像ＲＨ０の各画素値ＲＨ０（ｘ，ｙ）から、上述の（６）式によって画素値を変換するための係数ＣＨ０（ｘ，ｙ）を算出し、それを第２の合成器２５Ｂに送る。また、係数算出器１１Ｂは、第２の平滑化画像ＲＨ１の画素値ＲＨ１（ｘ，ｙ）から、同様にして係数ＣＨ１（ｘ，ｙ）を算出し、それを第１の合成器２５Ａに送る。また、係数算出器１１Ｃは、中間合成画像ＲＬ１の画素値ＲＬ１（ｘ，ｙ）から、同様にして係数ＣＬ１（ｘ，ｙ）を算出し、それを第１の合成器２５Ａに送る。このようにして算出された係数ＣＨ０（ｘ，ｙ），ＣＨ１（ｘ，ｙ），ＣＬ１（ｘ，ｙ）は、それぞれ異なる解像度を有している。
【００９０】
上記第１の実施の形態では、図７に示した構成により、各合成器２５Ａ，２５Ｂにおいて、中間合成画像ＲＬｎと平滑化画像ＲＨｎとを入力し、それらを合成して合成平滑化画像Ｒｎを生成したが、本実施の形態では、中間合成画像ＲＬｎと平滑化画像ＲＨｎとに代えて係数ＣＨｎ，ＣＬｎ（ｎ＝０または１）が、各合成器２５Ａ，２５Ｂに入力され、それらを合成して合成係数Ｃｎが生成される。そして、最終段の第２の合成器２５Ｂによって算出された合成係数Ｃ０が、最終的な係数Ｃ（ｘ，ｙ）として、乗算器１２に出力される。
【００９１】
上記第１の実施の形態と同様に、本実施の形態においても、各合成器２５Ａ，２５Ｂにおいて、（１１）式によって算出されるエッジ強度Ｇ（ｘ，ｙ）に基づいて、低解像度画像ＲＬｎに対応する係数ＣＬｎと高解像度画像ＲＨｎに対応する係数ＣＨｎとを切り替えて係数の合成処理を行う。このとき、（１１）式の第２項の効果により、上記第１の実施の形態と同様、合成平滑化画像Ｒｎに対応する合成係数Ｃｎには、画素値の差が大きい部分においても、切り替えによる大きな不連続性は発生しにくい。しかし、最終的に入力画像Ｉに積算される係数Ｃ（ｘ，ｙ）の空間的な変化は、係数算出関数Ｆ（ｌ）にも依存するため、合成係数Ｃｎのわずかな変化が、係数算出関数Ｆ（ｌ）によって増幅され、最終的な係数Ｃ（ｘ，ｙ）に大きな不連続をもたらす可能性もある。
【００９２】
本実施の形態によれば、係数算出器１１Ａ，１１Ｂ，１１Ｃにおいて、各解像度の平滑化画像ごとに係数算出関数Ｆ（ｌ）による演算を施した後、それによって得られた係数ＣＨｎ，ＣＬｎのエッジ強度Ｇ（ｘ，ｙ）を各合成器２５Ａ，２５Ｂにおいて求め、さらに、そのエッジ強度Ｇ（ｘ，ｙ）に基づいて、合成部７１（図７）において、２つの係数ＣＬｎ，ＣＨｎを切り替えて係数の合成処理を行うようにしたので、合成による係数Ｃの不連続の発生を最小限に抑えることが可能となる。
【００９３】
【発明の効果】
以上説明したように、請求項１ないし８のいずれか１項に記載の画像処理方法または請求項９に記載の画像処理装置によれば、平滑化の度合いの異なる複数の平滑化画像に基づいて、エッジ強度を算出し、その算出されたエッジ強度に基づいて、複数の平滑化画像を合成すると共に、その合成平滑化画像に基づいて、さらに、入力画像の各画素値を変換するための係数を算出し、その係数により、入力画像の各画素値の変換を行うようにしたので、複数の異なる照明が存在する場合にも、それらの境界を適切に抽出することが可能となり、主観的に好ましいダイナミックレンジの圧縮を実現できる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図２】画像の走査方向を示す説明図である。
【図３】図１に示した画像処理装置における係数算出器において用いられる係数算出関数の例について示す説明図である。
【図４】図１に示した画像処理装置における係数算出器において用いられるレベル変換関数の例について示す説明図である。
【図５】図１に示した画像処理装置における平滑化画像生成器の構成を示すブロック図である。
【図６】図１に示した平滑化画像生成器における線形ローパスフィルタの例について示す説明図である。
【図７】図１に示した平滑化画像生成器における合成器の構成について示すブロック図である。
【図８】本発明の第２の実施の形態に係る画像処理装置の構成を示すブロック図である。
【図９】図８に示した画像処理装置における合成係数算出器の構成について示すブロック図である。
【図１０】従来用いられているレベル変換関数の例について示す説明図である。
【図１１】従来用いられている他のレベル変換関数の例について示す説明図である。
【図１２】ヒストグラムイコライゼーションの原理について示す説明図である。
【図１３】 Multiscale retinex法の問題点について説明するための図である。
【符号の説明】
Ｃ…係数、Ｒ…合成平滑化画像、ＲＨ０，ＲＨ１，Ｒ２…平滑化画像、ＲＬ０，ＲＬ１…中間合成画像、ｐ１，ｐ２，ｗ…重み係数、１０…平滑化画像生成器、１１，１１Ａ，１１Ｂ，１１Ｃ…係数算出器、１２，３３Ａ，３３Ｂ，３３Ｈ，３３Ｌ…乗算器、１３…合成係数算出器、２０，２０Ａ，２０Ｂ…イプシロンフィルタ、２１Ａ，２１Ｂ…線形ローパスフィルタ（ＬＰＦ）、２２Ａ，２２Ｂ…ダウンサンプリング器、２３Ａ，２３Ｂ…アップサンプリング器、２４Ａ，２４Ｂ…補間器、２５Ａ，２５Ｂ…合成器、３０…差分器、３１…絶対値算出器、３２…１次微分算出器、３４Ａ，３４Ｂ…加算器、３５…正規化器、５１，５２…平滑化部、７０…エッジ強度算出部、７１…合成部。

Claims

入力された画像を、相対的によりダイナミックレンジの小さい画像に変換するための画像処理方法であって、
分割された複数の入力画像のそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑化画像を生成する平滑化過程と、
前記複数の平滑化画像に基づいて、エッジ強度を算出するエッジ強度算出過程と、
算出された前記エッジ強度に基づいて、前記複数の平滑化画像を合成する合成過程と、
前記複数の平滑化画像を合成することによって生成された合成平滑化画像に基づいて、前記入力画像の各画素値を変換するための係数を算出する係数算出過程と、
算出された前記係数により、前記入力画像の各画素値の変換を行う画素値変換過程と
を含むことを特徴とする画像処理方法。
前記エッジ強度算出過程では、前記平滑化画像の１次微分と２次微分との荷重和により前記エッジ強度を算出する
ことを特徴とする請求項１記載の画像処理方法。
前記エッジ強度算出過程では、前記２次微分の値を、平滑化の度合いが類似した２つの平滑化画像の差分から算出する
ことを特徴とする請求項２記載の画像処理方法。
前記合成過程では、相対的に平滑化の度合いが大きい、少なくとも１つの平滑化画像から生成された中間合成画像と、相対的に平滑化の度合いが小さく、まだ合成がなされていない他の平滑化画像とを合成する処理を行うと共に、この合成処理をすべての平滑化画像が１つに合成されるまで繰り返す
ことを特徴とする請求項１記載の画像処理方法。
前記合成過程では、前記中間合成画像と前記他の平滑化画像との合成を、前記中間合成画像と前記他の平滑化画像との荷重和により行う
ことを特徴とする請求項４記載の画像処理方法。
前記合成過程では、前記荷重和の重みを、前記エッジ強度に基づいて画素ごとに変化させる
ことを特徴とする請求項５記載の画像処理方法。
前記合成過程では、前記中間合成画像と前記他の平滑化画像とを合成するときに、前記エッジ強度が小さいほど前記中間合成画像の重みを大きくする
ことを特徴とする請求項６記載の画像処理方法。
前記平滑化過程において、前記各平滑化画像の各画素値に対して非線形な変換を施して、各画素値を変換するための複数の係数を算出し、
前記合成過程において、前記エッジ強度に基づいて、前記複数の係数を合成し、その合成された係数を、前記係数算出過程において算出される係数として出力し、
前記画素値変換過程において、前記複数の係数を合成することによって生成された係数により、前記入力画像の各画素値の変換を行う
ことを特徴とする請求項１記載の画像処理方法。
入力された画像を、相対的によりダイナミックレンジの小さい画像に変換するための画像処理装置であって、
分割された複数の入力画像のそれぞれに対して平滑化を行い、平滑化の度合いの異なる複数の平滑化画像を生成する平滑化手段と、
前記複数の平滑化画像に基づいて、エッジ強度を算出するエッジ強度算出手段と、
算出された前記エッジ強度に基づいて、前記複数の平滑化画像を合成する合成手段と、
前記複数の平滑化画像を合成することによって生成された合成平滑化画像に基づいて、前記入力画像の各画素値を変換するための係数を算出する係数算出手段と、
算出された前記係数により、前記入力画像の各画素値の変換を行う画素値変換手段と
を備えたことを特徴とする画像処理装置。