JP4053185B2

JP4053185B2 - 画像処理方法および装置

Info

Publication number: JP4053185B2
Application number: JP17518799A
Authority: JP
Inventors: 公俊長尾
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 1999-06-22
Filing date: 1999-06-22
Publication date: 2008-02-27
Anticipated expiration: 2019-06-22
Also published as: US6628842B1; JP2001005960A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル画像のぼけ味を保存しつつ、シャープネスを強調する画像処理方法および装置であって、特に、写真画像やディジタル画像の粒状などのノイズ成分を抑制し、ぼけ味を保存しつつ、シャープネスを強調するディジタル画像の画像処理方法および装置の技術分野に属する。
【０００２】
【従来の技術】
銀塩写真等の画像を画像入力スキャナで収録した画像データ、あるいは光電素子を利用した等で収録した画像データに対して画像処理をし、画像出力プリンタで出力するようなディジタル画像では、スキャナとプリンタによる大幅なシャープネス劣化を回復するために、あるいは積極的に画像のシャープネスを強調するために、撮影被写体のエッジ部分を強調するシャープネス強調処理が一般的に行われており、従来からラプラシアンフィルタやアンシャープマスク（ＵＳＭ）によるシャープネス強調方法が利用されている。
【０００３】
しかし、従来のシャープネス強調の画像処理方法では、画像全面に同じ処理を施すため、主要被写体とともに、主要被写体の背景としての、撮影レンズによってぼけた被写体も同様にシャープネス強調処理が行われ、被写体のエッジが強調される。特に、意図的に背景をぼかしたような画像では、撮影者の意図する画像と異なったものとなってしまう。すなわち、撮影レンズによって得られる背景としてのぼけた被写体の画像、すなわちぼけ味のある画像が得られず、ぼけ味の無い違和感のある画像となってしまう問題があった。
【０００４】
また、従来のシャープネス強調の画像処理方法では、画像処理を施すと、上述したように、背景としての被写体もエッジ部分が不自然に強調されるとともに、画像に含まれている粒状や撮影した写真画像を入力するためのスキャナ等に起因する電気的ノイズによる画像データのノイズ成分も強調され、画質が劣化するといった問題もあった。
【０００５】
このような問題に対して、特表昭５７−５００３１１号公報、同５７−５００３５４号公報および「アンシャープで粒状の目立つ写真画像のディジタル強調方法」、電子画像処理国際会議録、１９８２年７月、第１７９〜１８３頁（P.G.Powell and B.E.Bayer, “A Method for the Digital Enhancement of Unsharp,Grainy Photographic Images” ,Proceedingus of the International Conference on Electronic Image Processing,Jul.26-28,1982,pp.179-183)に開示されたポーウェルおよびバイヤーらの処理法等が挙げられるが、粒状抑制方法として平滑化処理法（ローパスフィルタ）を用い、シャープネス強調方法としてアンシャープマスク（ハイパスフィルタ）による処理法を用いている。平滑化処理はｎ×ｎ画素の信号値にGaussian型等の重み付けを乗じて信号を平滑化することによって、粒状を抑制する処理である。シャープネス強調処理は、先ずｍ×ｍ画素の画像信号を用いて、中心画素から周囲画素の方向の微分値を求め、その値が設定した閾値より小さい場合は粒状や雑音と見做してコアリング処理で除去し、残った閾値より大きい微分値の和をとり、１．０以上の定数を乗じて上記の平滑化信号に加算することによりシャープネス強調を行う。
しかし、これらの従来方法においても、背景としてぼけた被写体にもシャープネス強調が施され、被写体のエッジ部分が強調されたぼけ味の無い違和感のある画像となってしまう。
【０００６】
【発明が解決しようとする課題】
本発明は、上記従来技術の現状を鑑みてなされたものであって、銀塩写真システム等で撮影された写真画像において、シャープネス強調する画像処理方法であって、撮影主要被写体にシャープネス強調を施すとともに、主要被写体ではない被写体の撮影レンズによる背景としてのぼけを認識し、ぼけとしてそのまま保存することによって、違和感の無い写真らしいぼけ味のある画像を得る画像処理方法および画像処理装置を提供することにある。さらに、シャープネス強調する際、ぼけを保存するとともに、画像に含まれている粒状などノイズ成分も強調せず、逆に抑制することによって、ぼけ味を保存し、かつ粒状などのノイズ成分も少ない画質の良い、違和感の無い写真画像を得る画像処理方法およびこれを実施する画像処理装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するために、本発明は、原画像データにシャープネス強調処理を行い、画像全体を鮮鋭化したシャープネス強調画像データを作成し、前記原画像データからエッジ検出を行って被写体エッジ領域とそれ以外の領域とを識別するためのエッジ強度データを求め、このエッジ強度データから、被写体エッジ領域ではシャープネスを強調し、被写体エッジ領域以外の領域では画像のぼけを保存するぼけ味保存シャープネス強調係数を求め、前記シャープネス強調画像データから前記原画像データを減算してシャープネス強調成分を作成し、このシャープネス強調成分に、前記ぼけ味保存シャープネス強調係数を乗じて、被写体エッジ領域では値が大きく、それ以外の領域では値が小さくなるぼけ味保存シャープネス強調成分を得、前記原画像データに平滑化処理を行って、平滑化画像データを作成し、前記シャープネス強調画像データから前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジと、同じくシャープネス強調されたノイズ成分とが混在するエッジ・ノイズ混在成分を作成し、前記エッジ強度データからノイズ領域重み係数を求めて、このノイズ領域重み係数と前記エッジ・ノイズ混在成分とからノイズ成分を識別し、ノイズ成分に微細な変動を持たせるノイズ抑制成分を得、前記ぼけ味保存シャープネス強調成分を前記原画像データに変倍して加算するとともに前記ノイズ抑制成分を変倍して減算することによって、ぼけ味を保存しつつシャープネス強調し、さらにノイズ成分を抑制した画像の処理画像データを作成することを特徴とする画像処理方法を提供するものである。
【０００８】
その際、前記ぼけ味保存シャープネス強調係数は、前記被写体エッジ領域では、１．０に等しい値か近い値を持ち、前記被写体エッジ領域から離れるに従って徐々に小さくなり、ぼけ画像となる領域では、０．０から１．０までの所定設定値となるのが好ましく、また、前記ぼけ味保存シャープネス強調係数が、このぼけ味保存シャープネス強調係数をＣ_BS(x,y) とし、前記エッジ強度データをＥ_v（正規化されたＥ_v（０≦Ｅ_v≦１））とするとき、下記式（１）で表わされるのが好ましい。
Ｃ_BS(x,y) ＝ｂ₀＋（１−ｂ₀）Ｅ_v(x,y) （１）
ここで、ｂ₀は、被写体エッジ領域以外のぼけ画像領域のシャープネス強調の程度を調節するぼけ領域シャープネス強調係数であり、０．０≦ｂ₀≦１．０の範囲の値である。
【００１０】
また、本発明は、原画像データにシャープネス強調処理を行い、画像全体を鮮鋭化したシャープネス強調画像データを作成するシャープネス強調処理部と、
前記原画像データからエッジ検出を行って被写体エッジ領域とそれ以外の領域を識別するためのエッジ強度データを求めるエッジ検出演算部と、
前記原画像データに平滑化処理を行って、平滑化画像データを作成する平滑化処理部と、
前記エッジ強度データから、被写体エッジ領域以外の領域における画像のぼけ味を保存するぼけ味保存シャープネス強調係数を求めるぼけ味保存処理係数演算部と、
前記エッジ強度データからノイズ領域重み係数を求めるノイズ領域重み係数演算部と、
前記原画像データと前記シャープネス強調処理部で作成されたシャープネス強調画像データと前記ぼけ味保存処理係数演算部で求められたぼけ味保存シャープネス強調係数とからぼけ味保存シャープネス強調成分を得るぼけ味保存シャープネス強調成分演算部と、
前記シャープネス強調処理部で得られた前記シャープネス強調画像データから前記平滑化処理部で得られた前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジ成分と、同じくシャープネス強調されたノイズ成分とが混在するエッジ・ノイズ混在成分を作成するエッジ・ノイズ混在成分抽出部と、
このエッジ・ノイズ混在成分抽出部で作成された前記エッジ・ノイズ混在成分と前記ノイズ領域重み係数演算部で求められたノイズ領域重み係数とから、ノイズ成分を識別し、ノイズ成分に微細な変動を持たせるノイズ抑制成分を得るノイズ抑制成分演算部と、
前記原画像データに対して、前記ぼけ味保存シャープネス強調成分演算部で得られたぼけ味保存シャープネス強調成分を変倍して加算するとともに、前記ノイズ抑制成分演算部で得られたノイズ抑制成分を変倍して減算することで画像のぼけ味を保存しつつシャープネス強調し、さらにノイズ成分の抑制された処理画像データを得るぼけ味保存シャープネス強調・ノイズ抑制処理部とを有することを特徴とする画像処理装置を提供するものである。
【００１１】
【発明の実施の形態】
以下、本発明の画像処理方法および画像処理装置について、添付の図面に示される好適実施例を基に詳細に説明する。
【００１２】
図１は、本発明に係る画像処理装置を組み込んだ、カラー画像を読み取り、ぼけ味保存し、シャープネス強調し、さらにノイズ抑制の画像処理を行い、カラー画像を出力するカラー画像出力システムのブロック図である。図２は、本発明に係る画像処理方法を実施する画像処理装置の一実施例のブロック図である。図３は、本発明の画像処理方法の処理アルゴリズムの一例を示すフローチャートであり、図４は、本発明の画像処理方法の処理アルゴリズムの他の例を示すフローチャートである。以下の説明では、ディジタル画像としてカラー写真画像を代表例として説明する。
【００１３】
図１に示すように、カラー画像出力システム１０は、カラー写真画像（カラーネガフィルム、カラーリバーサルフィルムなどのフィルム画像等の撮影画像）などのカラー画像を読み取ってディジタル入力画像データを得る、あるいは、光電撮像素子を利用した等によって撮影されてディジタル入力画像データを得る画像入力装置１２と、画像入力装置１２からの画像データＩ₀に所望の色および調子再現で出力するために調整処理して原画像データＩ₁を作成する色・調子処理部１４と、原画像データＩ₁に対して、ディジタル画像のぼけ味を保存し、シャープネス強調し、さらにノイズ成分を抑制するための画像処理を施して、処理画像データＩ₂を出力する本発明に係るぼけ味保存シャープネス強調・ノイズ抑制画像処理部１６と、ぼけ味保存シャープネス強調・ノイズ抑制画像処理部１６から出力される出力画像データＩ₂に基づいてプリント画像などのカラー画像を出力する画像出力装置１８と、さらに、画像処理を適切に行うための種々の画像処理パラメータをオペレータが入力し設定する画像処理パラメータ入力・設定部２０と、色および調子および、ぼけ味保存シャープネス強調・ノイズ抑制の画像処理の施された画像データに基づいて再生画像を表示する画像モニタ２２とを具備する。
【００１４】
画像入力装置１２は、ディジタルカラー画像データＩ₀を作成して、色・調子処理部１４への入力画像データとして出力するためのもので、例えば、カラー（またはモノクロ）ネガフィルムやカラー（またはモノクロ）リバーサルフィルムなどのカラーフィルム画像を読み取ってディジタル画像データを作成するフィルムスキャナ装置、印刷物や反射プリント画像などのカラー反射原稿画像を読み取ってディジタル画像データを作成する反射原稿用スキャナ装置、被写体を直接撮影してディジタル画像データを作成する電子スチルカメラやビデオカメラ、もしくは、これらで作成されたディジタル画像データを格納した記録媒体、例えば、スマートメディア、ＰＣカードなどの半導体メモリーやＦＤ、Ｚｉｐなどの磁気記録媒体やＭＯ、ＭＤなどの光磁気記録媒体やＣＤ−ＲＯＭ、Ｐｈｏｔｏ−ＣＤなどの光記録媒体などをドライブしてディジタル画像データとして読み出すドライバ、これらのディジタル画像データを読み込んでソフトコピー画像を表示するＣＲＴモニタ、液晶モニタなどの表示装置、および読み込んだもしくは表示されたディジタル画像データを全体的にもしくは部分的に画像処理する画像処理用ＰＣ、ＷＳなどのコンピュータなどを挙げることができる。
【００１５】
色・調子処理部１４は、画像入力装置１２から入力される入力画像データＩ₀の色および調子（階調）の再現性を画像出力装置１８において適正に再現されるように色変換または色補正（階調変換または補正も含む）を行って、本発明の画像処理方法を実施するための原画像データＩ₁を作成するものであり、ここで行われる処理としては、例えば、色（グレイ）変換や補正、階調補正、濃度（明るさ）補正、彩度補正、倍率変換、濃度ダイナミックレンジの圧縮・伸長などの種々の処理を挙げることができる。
【００１６】
本発明の画像処理方法を実施するぼけ味保存シャープネス強調・ノイズ抑制画像処理部（以下、単に本画像処理部という）１６は、色・調子処理部１４で作成された原画像データＩ₁に本発明の特徴とするぼけ味保存シャープネス強調・ノイズ抑制の画像処理を行って、画像出力装置１８に出力する処理画像データＩ₂を作成する処理部であり、詳細は後述する。
【００１７】
画像出力装置１８は、処理画像データＩ₂として画像処理装置１６から出力される処理画像データＩ₂に基づいて、カラー写真画像などのカラー入力画像が再現されたカラー画像を出力するためのもので、反射プリント画像や反射原稿画像などのカラーハードコピー画像を出力するディジタルフォトプリンタや複写機や電子写真、レーザプリンタ、インクジェット、熱昇華型、ＴＡなどの種々の方式のディジタルカラープリンタなどの画像出力装置、ソフトコピー画像として表示するＴＶ、ＣＲＴモニタ、液晶モニタ等の表示装置やＰＣやＷＳなどのコンピュータなどを挙げることができる。
【００１８】
画像処理パラメータ入力・設定部２０は、画像入力装置１２から入力された入力画像データＩ₀に色・調子処理部１４および本発明の画像処理方法を実施するための本画像処理部１６で行う各種の画像処理のパラメータを図示しないマウスやキーボードなどのデータ入力機によって設定するためのものである。ここで、設定されるパラメータは、上述した各種の処理に用いられる補正係数、変換係数、倍率などや後に詳細に説明する本発明の画像処理方法を実施する上で必要となる様な係数などのパラメータなどを挙げることができる。
【００１９】
画像モニタ２２は、画像入力装置１２から入力された入力画像データＩ₀に基づいて入力画像を表示するとともに、この画像モニタ２２を用いて（例えばＧＵＩなどによって）入力画像データＩ₀に色・調子処理部１４での色・調子処理や本画像処理部１６で行う画像処理のパラメータを図示しないマウスやキーボードなどのデータ入力機によって設定するための画面表示に用いられる。
【００２０】
本画像処理部１６は、本発明の特徴とする部分で、上述したように、色・調子処理部１４で作成された原画像データＩ₁に本発明の特徴とするぼけ味保存シャープネス強調・ノイズ抑制の画像処理を行って、画像出力装置１８に出力する処理画像データＩ₂を作成する部分であり、シャープネス強調処理部１６ａ、エッジ検出演算部１６ｂ、平滑化処理部１６ｃ、ぼけ味保存処理係数演算部１６ｄ、ノイズ領域重み係数演算部１６ｅ、ぼけ味保存シャープネス強調成分演算部１６ｆ、エッジ・ノイズ混在成分抽出部１６ｇ、ノイズ抑制成分演算部１６ｈおよびぼけ味保存シャープネス強調・ノイズ抑制処理部１６ｉを有する。
【００２１】
シャープネス強調処理部１６ａは、色・調子処理部１４で得られた原画像データＩ₁に対して、画像全体を鮮鋭化するシャープネス強調処理を行いシャープネス強調画像データＩ_Sを得、ぼけ味保存シャープネス強調成分演算部１６ｆおよびエッジ・ノイズ混在成分抽出部１６ｇに送る処理部である。
【００２２】
シャープネス強調処理部１６ａで行われるシャープネス強調処理の方法は、以下に述べるように種々の方法があるが、これらいずれの方法であってもよい。例えば、Unsharp masking (USM）による方法では、Gaussian USM法、Gradient inverse weighted mean USM法、Zonal filtering USM 法、Large difference attenuation USM法、 Statistical defferencing USM 法、Relaxed USM 法、選択的画像鮮鋭化法およびSelective image sharpning 法等の処理方法が挙げられ、微分による方法では、Laplacian 法、Pseude-laplacian( 疑似ラプラシアン) 法等の処理方法が挙げられ、空間周波数フィルタリング(Spatial filtering）による方法では、フーリエ変換（Fourier transformation）を用いたフィルタリング方法やウェーブレット変換（Wavelet transformation）を用いたフィルタリング方法等が挙げられる。これらを用いることにより、画像のシャープネス劣化が軽度なものであれば、画像のシャープネスを強調することができる。
【００２３】
例えば、Unsharp masking による方法は、次式のように原画像データＩ₁(x,y)から、Ｉ₁(x,y)を平均化あるいはぼかした画像＜Ｉ₁(x,y)＞を引いて求めたエッジ強調成分Ｉ₁(x,y)−＜Ｉ₁(x,y)＞に係数ａを掛けて原画像Ｉ₁(x,y)に加算することによって、シャープネス強調画像Ｉ_S(x,y) を求める方法である。
Ｉ_S(x,y) ＝Ｉ₁(x,y)＋ａ〔Ｉ₁(x,y)−＜Ｉ₁(x,y)＞〕 (２）
ここで、ａはシャープネス強調の程度を調節する定数であり、ｘ，ｙは、画像中の注目画素の位置を示す。
Laplacian 法は、原画像データＩ₁(x,y)の二次微分（ラプラシアン）▽²Ｉ₁(x,y)を原画像データから引くことによって、シャープネス強調する方法で、次式で表される。
Ｉ_S(x,y) ＝Ｉ₁(x,y)−▽²Ｉ₁(x,y) (３）
Laplacian （ラプラシアン）法によるシャープネス強調の具体的な例としては、下記のような３×３の係数配列が良く用いられる。
0 −1 ０ −1 −1 −1 1 −2 1
−1 5 −１ −1 9 −1 −2 5 −2 (４）
0 −1 ０ −1 −1 −1 1 −2 1
【００２４】
この係数配列では、特に強いシャープネス強調を掛けたときに、画像のエッジに不自然な輪郭が発生し易い。そこで、そのような欠点を少なくするために、本発明では式（５）に示したような正規分布型(Gaussian)のぼけ関数を用いたアンシャープマスクを用いるのが好ましい。
G(x,y)＝(1/2πσ²)exp[−(x²+ y²)/２σ²] (５）
ここで、σ²は正規分布関数の広がりを表すパラメータであり、マスクの端ｘ＝ｘ₁における値とマスクの中心ｘ＝０における値の比、
G(x₁,0)/G(0,0)＝exp[−x₁ ²/２σ²] （６）
が０．１〜１．０となるように調節することによって、３×３のアンシャープマスクのシャープさを所望のものとすることができる。式（６）の値を１．０に近い値にすると、式（４）の中央のラプラシアンフィルタとほぼ同じマスクを作ることができる。
マスクのシャープさを変更するには、この他にマスクの大きさを変更する方法があり、たとえば５×５、７×７、９×９等のマスクを用いることによって、シャープネス強調の空間周波数域の大幅な変更が可能となる。
【００２５】
また、マスクの関数形としても、上記の正規分布型以外のもの、たとえば、下記式（７）のような指数関数型のマスクを用いることができる。
E(x,y)＝exp[−(x²+ y²)^1/2／ａ] （７）
ここで、ａは式（５）のσ²と同様にアンシャープマスクの広がりを表すパラメータであり、マスクの端の値とマスクの中心値の比、
E(x₁,0)/E(0,0)＝exp[−x₁／ａ] （８）
が０．１〜１．０となるように調節することによって、３×３のアンシャープマスクのシャープさを所望のものとすることができる。式（８）に、E(x₁,0)/E(0,0)＝０.3としたときの式（７）の指数関数のマスクの数値例を示す。
0.18 0.30 0.18
0.30 1.00 0.30 （９）
0.18 0.30 0.18
このマスクから、アンシャープマスクの１例を計算すると、次式（１０）のようになる。
−0.12 −0.22 −0.12
−0.21 2.32 −0.21 （１０）
−0.12 −0.21 −0.12
【００２６】
このようなアンシャープマスクを用いて、原画像データＩ₁(x,y)からシャープネス強調画像Ｉ_S(x,y) を求めることができる。なお、本発明に用いられるシャープネス強調方法は、上述したものに限定されるわけではなく、この他の従来公知のシャープネス強調方法を適用可能である。
【００２７】
エッジ検出演算部１６ｂは、色・調子処理部１４で得られた原画像データＩ₁からエッジ検出を行って被写体エッジ領域とそれ以外の領域とを識別するためのエッジ強度データＥ_Vを求める演算部で、得られたエッジ強度データＥ_vをぼけ味保存処理係数演算部１６ｄおよびノイズ領域重み係数演算部１６ｅに送る。
【００２８】
エッジ検出演算部１６ｂでは、エッジ検出を行う前に、まずノイズを低減しエッジを検出し易くするために、視感度を反映した画像データに変換し、その後エッジ検出を行う。銀塩写真フィルムに撮影された画像等をディジタル化し、光学的濃度で表されている場合は、ＲＧＢの画像データを視感濃度（Visual density）への変換を行う前処理が施される。一方、原画像データＩ₁がディジタルスチルカメラ等で撮影した画像データの場合は、上記視感濃度に相当する輝度信号に変換する。以下の説明では、光学的濃度で表されている画像データの場合について説明する。
【００２９】
Ｒ、ＧおよびＢの光学的濃度で表された画像データＩ_R、Ｉ_G、Ｉ_Bを視感濃度（Visual density）Ｉ_vに変換することにより、各色の粒状などのノイズ成分の影響を少なくし、画像中の被写体エッジ情報を検出し易くする。式（１１）に示したように、Ｒ、ＧおよびＢの３原色の濃度値に重み係数ｒ、ｇおよびｂを掛けてＩ_vに変換する。
Ｉ_V＝（ｒＩ_R＋ｇＩ_G＋ｂＩ_B）／（ｒ＋ｇ＋ｂ) （１１）
重み係数としては、
ｒ：ｇ：ｂ＝３：６：１
ｒ：ｇ：ｂ＝４：５：１（１２）
ｒ：ｇ：ｂ＝２：７：１
のような比の値を用いる。ここで、重み係数の比ｒ：ｇ：ｂとして好ましい値の範囲を規定すると、ｒ＋ｇ＋ｂ＝１０．０でｂを１．０とした時に、ｇの値としてｇ＝５．０〜７．０の範囲の値が好ましい。ただし、ｒ＝１０．０−ｂ−ｇである。このような変換を行うことによって、Ｒ、ＧおよびＢで相関の無い粒状などのノイズ成分を平均化の効果で減少させ、エッジ検出の精度を向上させることができる。
なお、ディジタルスチルカメラ等で撮影した画像データについても、上記方法によって視感濃度に相当する輝度信号に変換する。
【００３０】
エッジ検出演算部１６ｂでは、上記前処理によって得られた視感濃度Ｉ_Vを用いてエッジ強度の演算を行う。
エッジの検出は、注目画素ｘ、ｙに対して上記Ｉ_v(x,y) の画像データからその注目画素を中心としたＮ_E×Ｎ_E画素の配列を移動しながら、配列内の局所的な濃度変動の標準偏差σ_V(x,y) を下記式（１２）を用いて計算することによって行う。配列の大きさは例えば３×３、５×５あるいは７×７程度の大きさを用いるのが好ましい。
【００３１】
【数１】

ただし、視感濃度Ｉ_v（ｘ＋ｋ−Ｎ_E／２−１／２，ｙ＋ｌ−Ｎ_E／２−１／２）は、局所分散を計算するＮ_E×Ｎ_Eの画素配列の視感濃度で、＜Ｉ_v(x,y) ＞はその配列の平均視感濃度で、
【数２】

である。
【００３２】
さらに、エッジ検出演算部１６ｂは、指数関数を用いた下記式（１５）を用いて、視感濃度の標準偏差σ_V(x,y) を０．０から１．０の範囲の値に正規化したエッジ強度データＥ_V(x,y) を求める。
Ｅ_V(x,y) ＝１ーｅｘｐ［−σ_V(x,y) ／ａ_B］（１５）
ただし、ａ_Bは標準偏差σ_V(x,y) の値を正規化するための係数で、Ｅ_V(x,y) ＝０．５に割り付ける標準偏差σ_V(x,y) の閾値をσ_Tとすると、
ａ_B＝−σ_T／ｌｏｇ_e（０．５）（１６）
である。閾値σ_Tの値は元の原画像のシャープネスの程度に依存するが、各色８ビット（２５６階調）のカラー画像では、１０〜１００の範囲の値が好ましい。エッジ強度データＥ_V(x,y) を求める変換式としては、上記式（１５）に限定されるものでなく、他の式を用いることもできる。例えば、下記式（１７）のようなガウシャン型の関数を用いてもよい。
Ｅ_V(x,y) ＝１−ｅｘｐ｛−［σ_V(x,y) ］²／ａ_B ²｝（１７）
ただし、ａ_Bは標準偏差σ_V(x,y) の値を正規化するための係数で、Ｅ_V(x,y) ＝０．５に割り付ける標準偏差σ_V(x,y) の閾値をσ_Tとすると、
ａ_B ²＝−σ_T ²／ｌｏｇ_e（０．５）（１８）
である。
このようにして得られた正規化されたエッジ強度データＥ_V(x,y) を、ぼけ味保存処理演算部１６ｄおよびノイズ領域重み係数演算部１６ｅに送る。
なお、エッジ強度データＥ_V(x,y) を求める式（１８）の演算の替わりに、エッジ検出演算部１６ｂ内にＬＵＴ（Look up table ）を予め作成し、これを用いてエッジ強度データＥ_V(x,y) を得てもよく、これによって演算時間を大幅に短縮することができる。
【００３３】
エッジ検出演算部１６ｂで行われるエッジ検出方法は、上記局所分散に制限されず、以下のようなエッジ検出方法を用いてもよい。
例えば、Ｎ_E×Ｎ_Eの画素の配列を移動しつつ局所的に微分し、その絶対値を求める方法等がある。詳述すると、Zero-crossing 法においては、Marr-Hildreth 法やGaussian filter 法やDOG(Difference of Gaussian) 法が挙げられ、二次微分による方法では、Laplacian 法やPseude-laplacian( 疑似ラプラシアン) 法が挙げられ、一次微分による方法では、差分型として、Prewitt operetar、 Sobel operator および Roberts operator による方法が挙げられ、テンプレート型(template) として、８方向のエッジパタンに相当する３×３テンプレートを用いるRobinson operator 、Prewitt operatorおよび Kirsh operator による方法が挙げられ、統計的処理による方法として、Ripple filteringによる方法が挙げられ、その他、Hueckel operator、 Frei & Chen operator 、 Triendl operator 、Kasvand operator、Eberlein operator 、Tanimoto operator による方法や Fuzzyset 法、AI法、Hysteresis smoothing法および Symmetric hysterisis smoothing 法等が挙げられ、これらいずれを用いてもよい。
【００３４】
平滑化処理演算部１６ｃは、色・調子処理部１４で得られた原画像データＩ₁(x,y) から平滑化処理を行い平滑化画像データＩ_Lを求める演算部で、得られた平滑化画像データＩ_L(x,y) をエッジ・ノイズ混在成分抽出部１６ｇに送る。
【００３５】
平滑化処理演算部１６ｃで行われる平滑化を行う方法としては、以下に述べるように種々あるがいずれであってもよい。
たとえば、局所平均化として、単純平均化法やGasussian 法があり、局所的平均化法として、K-Nearest neighbor averaging法、 Edge and line weighte method 法、Contrast-sensitive weights法、 Relaxation method法、 Gradient inverse weights smoothing 法、Edge preserving smoothing 法、Slope facet model smoothing 法、ヒステリシス平滑化法、Maximum homogeneity smoothing 法、Sigma filter法、 Adaptive nonlinear filter法、 Genaralized mean filter法および Median filter法が挙げられ、その他の方法として、E-filter（非線形低周波数フィルタ）法や広がり関数Point spread function のコンボリューション（Convolution of PSF) 法や低域フィルタ（Lo-pass filter) としてフーリエ変換を用いた空間周波数フィルタリング（Spatial filtering)法やウェーブレット変換（Wavelet transformation) を用いたフィルタリング法が挙げられる。
【００３６】
一例として、局所平均化の方法を説明すると、隣接する画素全体の和を重み係数を用いて平均値を下記式（１９）に従って求める。
【数３】

ただし、Ｎは平均化のマスクサイズ、ｗは重み係数である。ｗ＝１．０とすると、単純平均となる。
処理のマスクとしては、下記のようなＮ×Ｎ画素のマスクを用いるのが好ましい。具体的には３×３から５×５、７×７、９×９程度のものを用いるのが好ましい。

【００３７】
式（２１）に９×９画素のマスクの一例を示す。この式（２１）では中心の値を１．０に正規化した値で示しているが、実際の処理ではマスク全体の和が１．０になるようにする。
0.09 0.15 0.22 0.28 0.30 0.28 0.22 0.15 0.09
0.15 0.26 0.38 0.47 0.51 0.47 0.38 0.26 0.15
0.22 0.38 0.55 0.69 0.74 0.69 0.55 0.38 0.22
0.28 0.47 0.69 0.86 0.93 0.86 0.69 0.47 0.28
0.30 0.51 0.74 0.93 1.00 0.93 0.74 0.51 0.30 （２１）
0.28 0.47 0.69 0.86 0.93 0.86 0.69 0.47 0.28
0.22 0.38 0.55 0.69 0.74 0.69 0.55 0.38 0.22
0.15 0.26 0.38 0.47 0.51 0.47 0.38 0.26 0.15
0.09 0.15 0.22 0.28 0.30 0.28 0.22 0.15 0.09
【００３８】
このように、平滑化処理部１６ｃは、原画像データI₁(x,y) から平滑化画像データI _L（x,y)を求めることができるように構成される。
【００３９】
ぼけ味保存処理係数演算部１６ｄでは、エッジ検出演算部１６ｂで得られたエッジ強度データＥ_V(x,y) から、ぼけ味保存シャープネス強調係数Ｃ_BS(x,y) の算出を行い、得られたぼけ味保存シャープネス強調係数Ｃ_BS(x,y) を、ぼけ味保存シャープネス強調成分演算部１６ｆに送るように構成される。
【００４０】
すなわち、正規化したエッジ強度データＥ_V(x,y) を用いて被写体のエッジ領域ではシャープネスを強調し、エッジ領域以外の領域ではシャープネス強調せずに、あるいはシャープネス強調を弱く掛けてぼけをそのまま保存するための、ぼけ味保存シャープネス強調係数Ｃ_BS(x,y) を、下記式（２２）を用いて求める。
Ｃ_BS(x,y) ＝ｂ₀＋（１−ｂ₀）Ｅ_V(x,y) （２２）
ここで、ｂ₀はぼけ味領域のシャープネス強調の程度を設定するぼけ領域シャープネス強調係数であり、０以上１以下の値を画像処理パラメータ入力・設定部２０から設定される。ぼけ領域シャープネス強調係数ｂ₀の値を０にすると、被写体のエッジ領域以外の画像のぼけた領域、すなわちぼけ領域のシャープネス強調は無くなり、ぼけ領域シャープネス強調係数ｂ₀の値を１にすると、エッジ領域もぼけ領域も区別無く全画面でシャープネスが強調されるようになる。そのため、好ましいぼけ味を保つための、好ましいぼけ領域シャープネス強調係数ｂ₀の範囲は、０．０から０．８であり、さらに好ましくは０．０から０．５の範囲の値である。
【００４１】
また、好ましいぼけを得るためのぼけ領域シャープネス強調係数ｂ₀の値は、元の原画像のシャープネス（またはぼけの程度）と本発明のシャープネス強調の程度に依存し、原画像のシャープネスがあまり良好でなく、シャープネス強調を強く掛ける場合は、好ましいぼけ領域シャープネス強調係数ｂ₀の値は小さくなるが、一方、原画像のシャープネスが良好で、シャープネス強調処理を弱く掛ける場合は、好ましいぼけ領域シャープネス強調係数ｂ₀の値は大きくなる。また、「好ましいぼけ」の程度は、撮影者の意図や観察者の主観によって異なるものであるため、この「好ましいぼけ」にかなりの差があることが考えられる。従って、ぼけ領域シャープネス強調係数ｂ₀の範囲もかなりの幅がある。本発明では、このぼけ領域シャープネス強調係数ｂ₀を０以上０．８以下の数値を設定することによって、好ましいぼけを得ることができる。
【００４２】
なお、ぼけ味保存シャープネス強調係数Ｃ_BS(x,y) を求める式（２２）の演算の替わりに、ぼけ味保存処理係数演算部１６ｄ内にＬＵＴ（Look up table)を予め作成し、これを用いてぼけ味保存シャープネス強調係数Ｃ_BS(x,y) を得てもよく、これによって演算時間を大幅に短縮することができる。
【００４３】
ぼけ味保存・シャープネス強調成分演算部１６ｆは、ぼけ味保存処理係数演算部１６ｄで得られたぼけ味保存シャープネス強調係数Ｃ_BS(x,y) と、原画像データI₁(x,y) とシャープネス強調処理部１６ａで得られたシャープネス強調画像データＩ_s(x,y) とから、ぼけ味保存シャープネス強調成分ΔＩ_BS (x,y)を得る演算部で、得られたぼけ味保存シャープネス強調成分ΔＩ_BS (x,y)を、ぼけ味保存シャープネス強調・ノイズ抑制処理部１６ｉに送るように構成される。
【００４４】
ぼけ味保存シャープネス強調成分ΔＩ_BS (x,y)の算出は、下記式（２３）に従って、シャープネス強調画像データＩ_S(x,y) から原画像データI₁(x,y) を減算して得られるシャープネス強調成分に、ぼけ味保存シャープネス強調係数Ｃ_BS(x,y) を掛けることにより行わる。これにより、シャープネス強調成分を被写体エッジ領域では大きく、それ以外のぼけ領域では値の小さい、または０に近いぼけ味保存シャープネス強調成分ΔＩ_BS（x,y)が得られる。
ΔＩ_BS (x,y)＝Ｃ_BS(x,y) （Ｉ_S(x,y) −I₁(x,y) ）（２３）
【００４５】
ノイズ領域重み係数演算部１６ｅは、エッジ検出演算部１６ｂで得られた正規化されたエッジ強度データＥ_V(x,y) を１．０の値から減算することで、ノイズ領域重み係数Ｗ_G(x,y) を求める演算部であって、ノイズ抑制成分演算部１６ｈに送るように構成される。正規化されたエッジ強度データＥ_V(x,y) は、エッジ領域の重み係数Ｗ_E(x,y) に当たるので、１．０からエッジ強度データＥ_V(x,y) を引くことで、ノイズ領域重み係数Ｗ_G(x,y) を得ることができる。
【００４６】
エッジ・ノイズ混在成分抽出部１６ｇは、シャープネス強調処理部１６ａで得られたシャープネス強調画像データＩ_S(x,y) から平滑化処理部１６ｃで得られた平滑化画像データＩ_L(x,y) を減算して、エッジ・ノイズ混在成分ΔＩ_EG(x,y) を得る演算部で、得られたエッジ・ノイズ混在成分ΔＩ_EG(x,y) を、ノイズ抑制成分演算部１６ｈに送るように構成される。
【００４７】
ノイズ抑制成分演算部１６ｈは、エッジ領域重み係数演算部１６ｅで得られたノイズ領域重み係数Ｗ_G(x,y) とエッジ・ノイズ混在成分抽出部１６ｇで得られたエッジ・ノイズ混在成分ΔＩ_EG(x,y) とを用いて、ノイズ抑制成分ΔＩ_G’(x,y) を得る演算部で、得られたノイズ抑制成分ΔＩ_G’(x,y) は、ぼけ味保存シャープネス強調・ノイズ抑制処理部１６ｉに送られるように構成される。
【００４８】
ノイズ抑制成分演算部１６ｈでは、以下の画像処理が行われる。
【００４９】
ノイズ抑制成分ΔＩ_G’(x,y) を得るには、ノイズ成分と被写体エッジ成分を識別し、分離する必要があり、そのために、ノイズ成分とエッジ成分の特徴を利用する。先ず、空間的な領域では、ノイズ成分は画像全体にあるが、被写体の輪郭やエッジの部分よりも平坦な部分で目立つ。一方、エッジ成分は画像中の主として被写体の輪郭部分と被写体表面の微細構造のある部分にある。また、濃度領域では、ノイズ成分は主として撮影に用いた写真感光材料の粒状やディジタルスチルカメラ等による電気的ノイズ等で構成されているので、濃度差は小さいものが多いが、エッジ成分は被写体のコントラストに依存しており、画像によって大きく異なるが、濃度差は微小なものから非常に大きいものまで変化に富んだものとなっているといった特徴を持つ。
そこで、ノイズ領域とエッジ領域を識別・分離するために、先ず両者の空間的な特徴を利用して、ノイズ成分とエッジ成分の領域分割を行う。ノイズ領域重み係数演算部１６ｅで得られたノイズ領域重み係数Ｗ_G(x,y) を、エッジ・ノイズ混在成分抽出部１６ｇで得られたエッジ・ノイズ混在成分ΔＩ_EG(x,y) に掛けることによって、エッジ情報を減少させ、ノイズ情報の比率の高い信号ΔＩ_G(x,y) にする。
ΔＩ_G(x,y) ＝Ｗ_G(x,y) ×ΔＩ_EG(x,y) （２４）
【００５０】
次に、濃度領域での特徴を利用して、ノイズ成分と被写体エッジ成分の画像情報の分離を行う。濃度差の小さい信号は主としてノイズ成分で、エッジ成分も幾分混在し、濃度差の大きい画像データは主として被写体エッジ成分で、濃度差の大きめのノイズ成分が混在しているので、濃度差の大小を用いてノイズ成分とエッジ成分の分離を行うことができる。ノイズ成分Ｇ₀(x,y)の分離は、下記の式（２５）で表す非線形変換のＬＵＴを用いて行う。
Ｇ₀(x,y)＝ＬＵＴ (ΔＩ_G(x,y)) （２５）
ただし、ＬＵＴは
ＬＵＴ (ΔＤ）＝ΔＤ× exp [−（ΔＤ)²／ａ_G ²] （２６）
で、ａ_G ²はノイズの濃度変動の閾値Ｇ_Tから決まる定数で、
ａ_G ²＝−Ｇ_T ²/ log_e(1/2) （２７）
である。
【００５１】
ここで、ノイズ成分の濃度変動の閾値Ｇ_Tは、エッジ・ノイズ混在成分ΔＩ_EG(x,y) の中で、この値以下の濃度変動はノイズ成分であると見做すものであるが、式（２６）から容易に判るように、この閾値を境にｏｎ／ｏｆｆ的に分離するのではなく、濃度変動が大きくなるにつれて徐々に小さくなるＬＵＴ形状に従って、分離するノイズ成分が減少していくようにしている。従って、ノイズ成分と共にエッジ成分も混入するが、その割合も徐々に減少する。
このような非線型変換ＬＵＴを非線型変換関数ＮＬＧとして表わし、エッジ・ノイズ混在成分をΔＩ_EG(x,y) で表わすと、ノイズ成分Ｇ₀(x,y)は、上記式（２４）および（２５）より、
Ｇ₀(x,y)＝ＮＬＧ｛ΔＩ_EG(x,y) ×Ｗ_G(x,y) ｝（２８）
として表わすことができる。こうしてノイズ成分Ｇ₀(x,y)を求めることができる。
【００５２】
さらに、ノイズ成分は画像中で細かい濃度変動から成っているが、その濃度変動は濃度値の振幅の変動と空間的な変動の大きさに分けて考えることができる。
ノイズ成分の抑制の画像処理の目的は、このノイズ成分を視覚的に目立たないようにすることである。そのためには、上記の濃度振幅と空間的な大きさの両方を小さくするとノイズ成分を抑制することができるが、振幅も大きさもある程度以下に小さくなると視覚的な改良効果が認識できなくなる。しかし、ディジタル画像では、空間的には画素の大きさが最小単位となり、濃度振幅ではデータの濃度分解能（たとえば、８bit の画像データならば、２５６段階の濃度値の１段階の濃度差）が最小単位となるので、物理的にこれ以下にはできない。
【００５３】
また、ノイズ成分が銀塩写真の粒状の場合、粒状モトルは空間的に大きいものから小さいものまであり、小さいモトルでは画素単位で細かく信号や濃度が変動するが、大きいモトルでは周辺の幾つかの画素に跨がって信号や濃度が変動する。画素単位で変動する信号については、それ以上細かくすることはできないが、複数の画素に跨がる大きい粒状モトルについては、空間的に細かい粒状にすることによって視覚的に目立たないようにできる。
【００５４】
なお、以下に、この粒状モトルを細分化する処理の目的と効果を説明する。
抽出したノイズ成分Ｇ₀(x,y)、すなわち銀塩写真の粒状をそのまま、あるいは係数を掛けて原画像データから減算すると、平滑化処理の施された画像に近いものとなり、粒状はぼけた粒状になってしまい視覚的に好ましくない。
そこで、大きな粒状モトルの濃度ゆらぎ成分に細分化マスクを掛けて濃度ゆらぎに微細な変動を与えたノイズ抑制成分ΔＩ_G’(x,y) 、すなわち粒状抑制成分を求め、その上で粒状のある原画像データから減算することにより、元の粒状の大きなゆらぎは除去され、微細な濃度ゆらぎが残るため、結果として大きな粒状モトルを微細な粒状にすることができる。
この細分化処理は、粒状が複数の画素に跨がる大きな粒状モトルとなっている場合に効果が期待できるものであり、ディジタルスチルカメラによって撮影された画像等のように、ノイズ成分が画素単位の空間的に細かいものでは、勿論効果を期待することはできない。この場合、大きなゆらぎ等の空間的変動よりも、濃度値の振幅の変動、すなわち濃度信号のゆらぎを小さくすることによって、ノイズ成分を抑制することができる。
【００５５】
粒状モトルのノイズ成分を小さくする処理は、先ずノイズ成分Ｇ₀(x,y)を検出し、そのノイズ成分Ｇ₀(x,y)に細分化するための乱数や格子等の細かいパターンから成る細分化マスクＲ(x,y) を掛けて、ノイズ抑制成分ΔＩ_G’(x,y) 、
ΔＩ_G’(x,y) ＝Ｒ(x,y) ×Ｇ₀(x,y) （２９）
を求める。なお、細分化マスクＲ(x,y) は、乱数パターンの他に網点状パターン（通常の二次元の網点、一次元の万線スクリーン、ＦＭスクリーン等）や誤差拡散のようなパターンでも良いがモアレ等のアーティファクトの発生しない乱数パターンが好ましい。
乱数も一様乱数、正規乱数、Poisson 乱数、二項乱数等があるが、自然界の揺らぎ現象に近い正規乱数が好ましい。また、自然界の揺らぎを最も良く表していると言われている１／ｆ揺らぎもこの目的に適している。
なお、粒状が細かい画像や、ディジタルスチルカメラによって撮影された画像のように、画素単位のノイズのある画像では、細分化せずに、ΔＩ_G’(x,y) ＝Ｇ₀（x,y)とするのが好ましい。
【００５６】
ノイズ抑制成分演算部１６ｈでは、以上のように画像処理が行われ、得られたノイズ抑制成分ΔＩ_G’(x,y) は、ぼけ味保存シャープネス強調・ノイズ抑制処理部１６ｉに送られる。
【００５７】
ぼけ味保存シャープネス強調・ノイズ抑制処理部１６ｉでは、原画像データI₁(x,y) に対して、下記式（３０）に従って、ぼけ味保存シャープネス強調成分演算部１６ｆで得られたぼけ味保存シャープネス強調成分ΔＩ_BS (x,y)を変倍係数αを掛けて加算し、ノイズ抑制成分演算部１６ｈで得られたノイズ抑制成分ΔＩ_G’(x,y) は変倍係数βを掛けて減算して、本画像処理部１６からの出力として処理画像データＩ₂（ｘ，ｙ）を出力する。
Ｉ₂(x,y) ＝I₁(x,y) ＋αΔＩ_BS (x,y)−βΔＩ_G’(x,y) （３０）
【００５８】
変倍係数αやβは、オペレータが画像処理パラメータとして画像処理パラメータ入力・設定部２０から入力して設定することができるパラメータで、画像モニタ２２に表示される処理画像を見ながら設定することができる。また、予め定めた値を用いてもよい。
【００５９】
以上のように本画像処理部１６は構成される。
また、本実施例では、ノイズ領域重み係数演算部１６ｅとノイズ抑制成分演算部１６ｈを設け、ノイズ成分に乱数を用いた係数を乗じてノイズ抑制成分、特に大きな粒状の変動に微細な変調を持たせてノイズ抑制成分ΔＩ_G’(x,y) を求めるように構成しているが、ノイズ抑制成分ΔＩ_G’(x,y) の抽出は上記方法に限られず、その他の方法を用いるように構成してもよい。
【００６０】
次に、本発明の画像処理方法を、カラー画像出力システム１０の例に沿って説明する。
【００６１】
まず、画像入力装置１２によって、例えばディジタルスチルカメラ等によって被写体を撮影し、あるいは被写体を撮影したフィルム等からスキャナ等によってスキャンして得られたディジタルカラー画像データＩ₀は、色・調子処理部１４への入力画像データとして出力され、また、画像処理パラメータ入力・設定部２０に送られる。
【００６２】
画像処理パラメータ入力・設定部２０では、送られた画像データＩ₀を画像として画像モニタ２２上に再現した再現画像を見ながら、色・調子処理部１４で行う種々の処理のためのパラメータ、例えば、色（グレイ）変換や補正、階調補正、濃度（明るさ）補正、彩度補正、倍率変換、濃度ダイナミックレンジの圧縮・伸長などのパラメータを、必要に応じて設定する。
【００６３】
色・調子処理部１４では、画像処理パラメータ入力・設定部２０で設定されたパラメータに従って、上記種々の画像処理が行われ、その都度、画像モニタ２２に表示され、これを見ながらオペレータは、パラメータを最適に調整する。最終的に最適に調整された処理後の画像データＩ₁は、本画像処理部１６の原画像データとして本画像処理部１６に送られる。
【００６４】
本画像処理部１６では、本発明の画像処理方法の一例として、図３に示されるようなフローに従って、以下の処理ステップを経て、原画像データＩ₁は処理画像データＩ₂に処理される。尚、以降では注目画素位置をｘ、ｙでの画像データに対して、(x,y) を付加して記載する。
【００６５】
すなわち、本発明の画像処理方法を簡略に説明すると、
・原画像データにシャープネス強調の処理を行い、画像を鮮鋭化すると共に画像中に含まれている粒状などのノイズ成分も鮮鋭化しておき、
・画像中の被写体のエッジを検出し、画像のシャープさを認識することによって、シャープな被写体エッジ領域と背景等のぼけ領域ではシャープネス強調を行わずにぼけを保存し、
・粒状などのノイズ成分についても、エッジ検出の際の情報を用いて、被写体エッジ領域とノイズ領域を分割し、粒状などのノイズ成分を選択的に抑制、除去することにより、
エッジ部ではシャープネス強調を、ぼけ領域ではぼけを保存し、ノイズ領域では粒状などのノイズ成分が抑制された画質の良い画像を得る。
【００６６】
まず、原画像データＩ₁(x,y) はシャープネス強調処理が施され( ステップ１００）、原画像データＩ₁(x,y) から、例えばUnsharp masking による方法によって、式（１）に従って画像全体が鮮鋭化され画像のシャープネスの向上されたシャープネス強調画像データＩ_S(x,y) が作成される。ここで、シャープネス強調の程度を調節する定数ａは、予め設定され、必要に応じてオペレータが画像処理パラメータ・設定部２０より調整される。なお、シャープネス強調処理方法は、上述したように公知の方法であればいずれであってもよい。
【００６７】
次に、原画像データＩ₁(x,y) に対してエッジ検出が施され( ステップ１０２）、原画像データＩ₁(x,y) からエッジ検出を行って被写体エッジ領域とそれ以外の領域とを識別するためのエッジ強度データＥ_V(x,y) を求める。
エッジの検出は、まず、エッジ検出の前処理としてＲ、ＧおよびＢの光学的濃度で表されている場合、画像データＩ_R(x,y) 、Ｉ_G(x,y) 、Ｉ_B(x,y) を式（１１）および（１２）に従って視感濃度Ｉ_v(x,y) に変換する。各色の粒状等によるノイズ成分の影響を少なくし、画像中の被写体エッジ情報を検出し易くするためである。なお、ディジタルスチルカメラ等で撮影した画像データについても、視感濃度に相当する輝度信号に変換する。
【００６８】
次に、得られた視感濃度Ｉ_v(x,y) から式（１３）および（１４）に従って、視感濃度の標準偏差σ_V(x,y) を得、これを式（１５）に従って０．０から１．０の範囲の値に正規化したエッジ強度データＥ_V(x,y) を求める。ただし、標準偏差σ_V(x,y) の値を正規化するための係数ａ_Bは予め設定され、必要に応じてオペレータが画像処理パラメータ・設定部２０より調整される。
エッジ強度データＥ_V(x,y) を求める変換式としては、式（１５）に限定されるものでなく、ガウシャン型の関数を用いてもよい。また、上記局所分散に制限されず、公知の種々のエッジ検出方法を用いてもよい。
【００６９】
次に、ステップ１０２で得られたエッジ強度データＥ_V(x,y) を用いて、式（２２）に従って、ぼけ味保存シャープネス強調係数Ｃ_BS(x,y) を算出する( ステップ１０４）。
ここで、ぼけ味領域のシャープネス強調の程度を設定するぼけ領域シャープネス強調係数ｂ₀は、予め設定されており、必要に応じて０以上１以下の値を画像処理パラメータ入力・設定部２０から設定する。好ましいぼけ味を保つための、好ましいぼけ領域シャープネス強調係数ｂ₀の範囲は、０．０から０．８であり、さらに好ましくは０．０から０．５の範囲の値である。
【００７０】
次に、求められたぼけ味保存シャープネス強調係数Ｃ_BS(x,y) から、式（２３）に従って、ぼけ味保存シャープネス強調成分ΔＩ_BS (x,y)を演算して求める（ステップ１０６）。
これによって、ぼけ味保存シャープネス強調係数Ｃ_BS(x,y) の値に応じて、シャープネス強調成分が被写体エッジ領域では大きく、それ以外のぼけ領域では値が小さい、または０に近いぼけ味保存シャープネス強調成分ΔＩ_BS (x,y)を得る。そして、後述するように、最終的にぼけ味保存シャープネス強調成分ΔＩ_BS(x,y) を原画像データＩ₁(x,y) に加算することで、この被写体エッジ領域以外の領域では、ノイズ成分がエッジ領域に比べて比較的目立ち易く、また意図してぼかした背景領域もあるため、シャープネス強調をせず、あるいは弱く掛けることによってノイズ成分が目立つことなく、エッジ領域以外の意図してぼかした背景領域のぼけ味を保存することができる。
【００７１】
一方、原画像データＩ₁(x,y) は、シャープネス強調（ステップ１００）やエッジ検出（ステップ１０２）が施されると同時に、平滑化処理が行われ（ステップ１０８）、平滑化画像データＩ_L(x,y) を得る。
平滑化の処理方法は、上述したように種々あり、いずれの方法であってもよく、例えば、注目画素位置ｘ，ｙの周囲の一定領域の画像データに正規分布型の重み係数を掛けて平均値を求める。正規分布の重み係数を定めるパラメータや平均値を求める一定領域のマスクサイズ等のパラメータは、予め設定され、必要に応じてオペレータが画像処理パラメータ・設定部２０より調整される。
【００７２】
次に、得られた平滑化画像データＩ_L(x,y) をステップ１００で得られたシャープネス強調画像データＩ_s(x,y) から減算して、エッジ・ノイズ混在成分ΔＩ_EG(x,y) を抽出する( ステップ１１０）。
【００７３】
次に、ステップ１０２で得られた正規化されたエッジ強度データＥ_V(x,y) を１．０の値から減算することで、ノイズ領域重み係数Ｗ_G(x,y) を算出する（ステップ１１２）。正規化されたエッジ強度データＥ_V(x,y) は、エッジ領域の重み係数Ｗ_E(x,y) に当たるので、１．０からエッジ強度データＥ_V(x,y) を引くことで、被写体エッジ領域では値が０に近く、それ以外のノイズ成分がエッジ成分に比べ比較的多いノイズ領域では値が１に近くなるノイズ領域重み係数Ｗ_G(x,y) を得ることができる。
【００７４】
ステップ１１２で得られたノイズ領域重み係数Ｗ_G(x,y) とステップ１１０で得られたエッジ・ノイズ混在成分ΔＩ_EG(x,y) とを乗算して、ノイズ情報の比率の高い信号ΔＩ_G(x,y) を得るノイズ成分の識別を行う（ステップ１１４）。
【００７５】
次に、ステップ１１４で得られたノイズ情報の比率の高い信号ΔＩ_G(x,y) から、非線形変換ＬＵＴを示す式（２５）および（２６）によって、ノイズ成分Ｇ₀(x,y)を分離する。そして、ノイズ成分Ｇ₀(x,y)に乱数や格子等の細かいパターンから成る細分化マスクＲ(x,y) を掛けて、式（２９）よりノイズ抑制成分ΔＩ_G’(x,y) を求める。
【００７６】
これにより、ノイズ成分が粒状の場合、粒状の変動に微細な変調を持たせることでノイズ成分を微細化し、複数の画素に跨がる大きい粒状モトルについては、大きな濃度変動を除去し、細かな変動を残すことによって、粒状パターンを小さくし視覚的に目立たないようにできる。
すなわち、抽出したノイズ成分Ｇ₀(x,y)、すなわち粒状をそのまま、あるいは係数を掛けて原画像データから減算すると、平滑化処理の施された画像に近いものとなり、粒状はぼけた粒状になっているので視覚的に好ましくないが、大きな粒状モトルの濃度ゆらぎ成分に細分化マスクを掛けて濃度ゆらぎに微細な変動を与えたノイズ抑制成分ΔＩ_G’(x,y) 、すなわち粒状抑制成分を求め、その上で粒状のある原画像データから減算することにより、元の粒状の大きなゆらぎは除去され、微細な濃度ゆらぎが残るため、結果として大きな粒状モトルを微細な粒状にすることができる。
そのため、この細分化処理は、ディジタルスチルカメラによって撮影された画像等のように、ノイズ成分が画素単位の空間的に細かいものでは、効果を期待することはできないが、粒状が複数の画素に跨がる大きな粒状モトルとなっている場合に大きな効果を発揮する。
【００７７】
次に、原画像データI ₁(x,y) に対して、ステップ１０６で求められたぼけ味保存シャープネス強調成分ΔＩ_B(x,y) に変倍係数αを掛け加算し、ステップ１１６で得られたノイズ抑制成分ΔＩ_G’(x,y) に変倍係数βを掛けて減算することによって、本画像処理部１６の処理画像データＩ₂(x,y)としてのぼけ味保存シャープネス強調・ノイズ抑制画像データＩ₂(x,y)を得る（ステップ１１８）。
変倍係数αやβは、予め定められ、必要に応じてオペレータが画像処理パラメータ・設定部２０より調整される。
例えば、ぼけ味保存シャープネス強調処理を強くしたい場合には、変倍係数αを変倍係数βより大きくし、また、ノイズ抑制処理を強く掛けたい場合は、変倍係数βを変倍係数αより大きくする。
これにより、被写体エッジ領域では、シャープネス強調されると共に、被写体エッジ領域以外のノイズ成分が目立ち易い領域において、エッジ強調されてぼけ味が失われることなく、ノイズ成分を除去することができる。
【００７８】
なお、本画像処理装置１６で行われる画像処理の際の種々のパラメータの調整は、オペレータが画像モニタ２２に表示された処理画像の表示を見ながら、適宜調整する。
【００７９】
本発明の画像処理方法の一実施例は以上であるが、ノイズ領域重み係数算出（ステップ１１２）、ノイズ成分の識別（ステップ１１４）およびノイズ抑制成分演算（ステップ１１６）の処理方法は上記方法に限定されず、種々のノイズ抑制処理方法を用いてもよい。
【００８０】
得られた処理画像データＩ₂(x,y)は、画像出力装置１８に送られ、処理画像データＩ₂(x,y)に基づいて、カラー写真画像などのカラー入力画像が再現されたカラー画像を出力する。
【００８１】
以上本画像処理方法について、図３に示す実施例を基に説明したが、本発明は、ぼけ味保存シャープネス強調・ノイズ抑制画像処理を必ずしも行う必要はなく、例えば、ノイズ成分の抑制を必要としない場合、ノイズ抑制のための画像処理、例えば図３中のステップ１０８〜１１６のない、図４に示されるぼけ味保存シャープネス強調を行う画像処理方法であってもよい。また、図３に示される画像処理方法のステップ１１８で用いられる変倍係数βを０として画像処理してもよい。
【００８２】
図４に示されるエッジ検出やシャープネス強調やぼけ味保存シャープネス強調係数算出の各処理は、図３中の対応する各処理と全く同じであり、対応するステップには同一の番号を付している。ぼけ味保存処理（ステップ１２０）は、ステップ１００で得られたシャープネス強調画像データＩ_S(x,y) から原画像Ｉ₁データ（x,y)を引き、ステップ１０４で得られたぼけ味保存シャープネス強調係数Ｃ_BS(x,y) を掛けて、その値を原画像Ｉ₁データ（x,y)に加算することで処理画像データＩ₂(x,y)を得ている。
これによって、ぼけ味を保存しつつ、被写体エッジ領域のシャープネス強調が可能となる。
【００８３】
以上、本発明の画像処理方法および装置について詳細に説明したが、本発明は上記実施例に限定はされず、本発明の要旨を逸脱しない範囲において、各種の改良および変更を行ってもよいのはもちろんである。
【００８４】
【発明の効果】
以上、詳細に説明したように、本発明によれば、ぼけ味保存シャープネス強調係数を算出して、ぼけ味保存シャープネス強調成分を得ることができるので、これを用いることで、銀塩写真システムやディジタルスチルカメラ等で撮影された写真画像において、画像のシャープネス強調を行う場合、主要被写体をシャープネス強調しつつ、主要被写体ではない背景の撮影カメラのレンズによって生じるぼけを認識し、ぼけとしてそのまま保存することによって違和感の無い写真らしいぼけ味のある画像を得ることができる。さらに、画像に含まれている粒状などのノイズ成分も強調せずに、逆に抑制することによって、ぼけ味を保存し、かつ粒状などのノイズ成分の少ない画質の良い違和感の無い写真画像を得ることができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の一実施例を組み込んだ、カラー写真画像を読取り、ぼけ味保存シャープネス強調・ノイズ抑制の画像処理を行い、カラー画像を出力するカラー画像出力システムを示すブロック図である。
【図２】本発明の画像処理装置の一実施例であるぼけ味保存シャープネス強調・ノイズ抑制の画像処理を行う画像処理部を示すブロック図である。
【図３】本発明の画像処理方法であるぼけ味保存シャープネス強調・ノイズ抑制の画像処理方法の一実施例を示すフローチャートである。
【図４】本発明の画像処理方法であるぼけ味保存シャープネス強調の画像処理方法の一実施例を示すフローチャートである。
【符号の説明】
１０カラー画像出力システム
１２画像入力装置
１４色・調子処理部
１６ぼけ味保存シャープネス強調・ノイズ抑制画像処理部
１６ａシャープネス強調処理部
１６ｂエッジ検出演算部
１６ｃ平滑化処理部
１６ｄぼけ味保存処理係数演算部
１６ｅノイズ領域重み係数演算部
１６ｆぼけ味保存シャープネス強調成分演算部
１６ｇエッジ・ノイズ混在成分抽出部
１６ｈノイズ抑制成分演算部
１６ｉぼけ味保存シャープネス強調・ノイズ抑制処理部
１８画像出力装置
２０画像処理パラメータ入力・設定部
２２画像モニタ

Claims

原画像データにシャープネス強調処理を行い、画像全体を鮮鋭化したシャープネス強調画像データを作成し、
前記原画像データからエッジ検出を行って被写体エッジ領域とそれ以外の領域とを識別するためのエッジ強度データを求め、
このエッジ強度データから、被写体エッジ領域ではシャープネスを強調し、被写体エッジ領域以外の領域では画像のぼけを保存するぼけ味保存シャープネス強調係数を求め、
前記シャープネス強調画像データから前記原画像データを減算してシャープネス強調成分を作成し、
このシャープネス強調成分に、前記ぼけ味保存シャープネス強調係数を乗じて、被写体エッジ領域では値が大きく、それ以外の領域では値が小さくなるぼけ味保存シャープネス強調成分を得、
前記原画像データに平滑化処理を行って、平滑化画像データを作成し、
前記シャープネス強調画像データから前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジと、同じくシャープネス強調されたノイズ成分とが混在するエッジ・ノイズ混在成分を作成し、
前記エッジ強度データからノイズ領域重み係数を求めて、このノイズ領域重み係数と前記エッジ・ノイズ混在成分とからノイズ成分を識別し、ノイズ成分に微細な変動を持たせるノイズ抑制成分を得、
前記ぼけ味保存シャープネス強調成分を前記原画像データに変倍して加算するとともに前記ノイズ抑制成分を変倍して減算することによって、ぼけ味を保存しつつシャープネス強調し、さらにノイズ成分を抑制した画像の処理画像データを作成することを特徴とする画像処理方法。
前記ぼけ味保存シャープネス強調係数は、前記被写体エッジ領域では、１．０に等しい値か近い値を持ち、前記被写体エッジ領域から離れるに従って徐々に小さくなり、ぼけ画像となる領域では、０．０から１．０までの所定設定値となる請求項１に記載の画像処理方法。
前記ぼけ味保存シャープネス強調係数が、このぼけ味保存シャープネス強調係数ＣＢＳ（x，ｙ）とし、前記エッジ強度データをＥv（正規化されたＥv（０≦Ｅv≦１））とするとき、下記式（１）で表わされる請求項１または２に記載の画像処理方法。
ＣＢＳ（x，ｙ）＝ｂ_０＋（１−ｂ_０）Ｅｖ（x，ｙ）（１）
ここで、ｂ_０は、被写体エッジ領域以外のぼけ画像領域のシャープネス強調の程度を調節するぼけ領域シャープネス強調係数であり、０．０≦ｂ_０≦１．０の範囲の値である。
原画像データにシャープネス強調処理を行い、画像全体を鮮鋭化したシャープネス強調画像データを作成するシャープネス強調処理部と、
前記原画像データからエッジ検出を行って被写体エッジ領域とそれ以外の領域を識別するためのエッジ強度データを求めるエッジ検出演算部と、
前記原画像データに平滑化処理を行って、平滑化画像データを作成する平滑化処理部と、
前記エッジ強度データから、被写体エッジ領域以外の領域における画像のぼけ味を保存するぼけ味保存シャープネス強調係数を求めるぼけ味保存処理係数演算部と、
前記エッジ強度データからノイズ領域重み係数を求めるノイズ領域重み係数演算部と、
前記原画像データと前記シャープネス強調処理部で作成されたシャープネス強調画像データと前記ぼけ味保存処理係数演算部で求められたぼけ味保存シャープネス強調係数とからぼけ味保存シャープネス強調成分を得るぼけ味保存シャープネス強調成分演算部と、
前記シャープネス強調処理部で得られた前記シャープネス強調画像データから前記平滑化処理部で得られた前記平滑化画像データを減算して、シャープネス強調された被写体画像のエッジ成分と、同じくシャープネス強調されたノイズ成分とが混在するエッジ・ノイズ混在成分を作成するエッジ・ノイズ混在成分抽出部と、
このエッジ・ノイズ混在成分抽出部で作成された前記エッジ・ノイズ混在成分と前記ノイズ領域重み係数演算部で求められたノイズ領域重み係数とから、ノイズ成分を識別し、ノイズ成分に微細な変動を持たせるノイズ抑制成分を得るノイズ抑制成分演算部と、
前記原画像データに対して、前記ぼけ味保存シャープネス強調成分演算部で得られたぼけ味保存シャープネス強調成分を変倍して加算するとともに、前記ノイズ抑制成分演算部で得られたノイズ抑制成分を変倍して減算することで画像のぼけ味を保存しつつシャープネス強調し、さらにノイズ成分の抑制された処理画像データを得るぼけ味保存シャープネス強調・ノイズ抑制処理部とを有することを特徴とする画像処理装置。