JP4262557B2

JP4262557B2 - デジタル画像鮮鋭化方法

Info

Publication number: JP4262557B2
Application number: JP2003312640A
Authority: JP
Inventors: アンドリュー・シー・ギャラガー; エドワード・ビー・ジンデル
Original assignee: イーストマンコダックカンパニー
Priority date: 2002-09-05
Filing date: 2003-09-04
Publication date: 2009-05-13
Anticipated expiration: 2023-09-04
Also published as: EP1396816A2; US7228004B2; DE60315568T2; JP2004120741A; DE60315568D1; EP1396816B1; US20040047514A1; EP1396816A3

Description

本発明は一般にデジタル画像処理分野に関し、特に、画像鮮鋭化の方法に関する。

デジタル画像処理においては、鮮鋭化アルゴリズムを用いた画像の鮮鋭化および微細な詳細の質的向上が一般的である。一般に、鮮鋭化はコンボリューション処理によって実施される（例えば、非特許文献１参照。）。ぼけマスク(unsharp mask)は、コンボリューションを基にした鮮鋭化処理の例である。例えば、ぼけマスクを用いた画像鮮鋭化は以下のような数式で表される。
s(x,y) = i(x,y)**b(x,y)+βf( i(x,y)-i(x,y)**b(x,y) ) （０）
ここで、
s(x,y) = 鮮鋭さが向上された出力画像
i(x,y) = オリジナル入力画像
b(x,y) = ローパスフィルタ
β = ぼけマスクゲイン係数
f() = フリンジ関数
** ２次元コンボリューション
(x,y) 第ｘ行、第ｙ列の画像
である。
一般に、ぼけ画像(unsharp image)は、画像とローパスフィルタとのコンボリューションによって生成される（つまり、ぼけ画像は i(x,y)**b(x,y) によって与えられる。）。次に、ハイパス、または、フリンジデータはオリジナル画像からぼけ画像を差し引くことで生成される（つまり、ハイパスデータは i(x,y)-i(x,y)**b(x,y) により得られる。）。そして、このハイパスデータは、ゲイン係数βもしくはフリンジ関数f()のいずれか、または、その両方によって修正される。最終的に、その修正されたハイパスデータはオリジナル画像またはぼけ画像のいずれかと合計されて、鮮鋭化画像が生成される。

類似の鮮鋭化効果を、周波数領域（例えば、ＦＦＴ領域）において画像を修正することで達成可能であるが、これはデジタル信号処理分野においては広く知られたことである。

画像鮮鋭化に関連する問題の１つに、ノイズ増幅がある。フィルム由来のデジタル画像を鮮鋭化する場合には、ノイズ増幅は特別な問題となりうる。特に、本来は僅かしか、または、一切の光が露光されていないフィルム上の画像領域（Ｄ_ｍｉｎとも称する）は、画像を鮮鋭化した場合、かなりノイジーになりうる。

カーランダ(Curlander)は、ローパス信号値、ローカルコントラスト、または、ハイパス信号値からハイパスゲイン係数を決定する、デジタル画像の鮮鋭化法を記している（非特許文献２）。しかし、カーランダは画像のＤ_ｍｉｎノイズの増幅を最小限にとどめるような、レンダリング画像の鮮鋭化法については言及していない。

写真ネガに関し、露光されていないフィルム領域はＤ_ｍｉｎと呼ばれる最小濃度を有する。Ｄ_ｍｉｎはまた、マスクまたはベース濃度とも称される。一般に、露光アンダーの画像は、Ｄ_ｍｉｎを含んだ画像領域を有する。画像品質を向上させる目的でデジタル画像を処理する際に、Ｄ_ｍｉｎ値を使用することはよくあることである。例えば、１９９２年１月１４日にテラシタに交付された米国特許第５，０８１，４８５号にはマスク濃度を用いて画像に対する露光評価を改善する方法が開示されている（特許文献１）。この目的のため、マスク濃度が平均濃度から差し引かれる。これにより、異なるカラーネガ間の変動性が低減されて、決定されたカラーバランスのロバスト性が向上される。しかし、テラシタの方法は、画像センシング装置が僅かしか、または、一切の光露光を受け取らない領域に、ノイズの鮮鋭化を減ずる目的で特別な処理を施すことは実施していない。

時には、画像の異なる領域または画素を異なる量だけ鮮鋭化する必要性もある。例えば、人の顔を示す画素は、建物を示す画素よりも少なめに鮮鋭化することが望ましいという提案がなされている。例えば、グーチら(Gouch et al.)に１９９７年１０月２８日に交付された米国特許第５，６８２，４４３号は、画素の色（および、近くの周囲の色）に基づいてぼけマスクのゲインを修正することを開示している（特許文献２）。グーチは画像の鮮鋭化に伴うＤ_ｍｉｎ領域の望ましくないノイズ増幅については考慮していない。

代わって、マムーディら(Mahmoodi et al.)に１９８６年２月１８日に交付された米国特許第４，５７１，６３５号は、近傍に含まれる画像画素の標準偏差にしたがってデジタル画像の高周波情報を測るのに用いるゲイン係数βの導出方法が開示されている（特許文献３）。加えて、クォンら(Kwon et al.)に１９９２年１月１４日に交付された米国特許第５，０８１，６９２号は、ゲイン係数βは中央重み付け分散の計算(center weighted variance calculation)に基づくことを開示している（特許文献４）。デニソンら(Denison et al.)に１９８８年８月２日に交付された米国特許第４，７６１，８１９号は、ぼけマスクのゲイン係数を局所的分散の計算およびノイズの統計の両方に従属させた方法を開示している（特許文献５）。これらの方法は確かに画像を鮮鋭化し、ノイズの増幅も最小限に抑えようと試みられているが、計算が複雑である。さらには、これら方法は明示的に画像のＤ_ｍｉｎ領域を考慮しておらず、よって、幾らかのＤ_ｍｉｎノイズが増幅されている。

シマザキ(Shimazaki)に１９９１年９月２４日に交付された米国特許第５，０５１，８４２号は、画像からぼけ信号(unsharp signals)を生成し、所定の参照表からぼけ信号レベルもしくは画像信号レベルのいずれかに基づいた２つのパラメータを導出し、一方のパラメータと画像信号を掛け合わせ、他方のパラメータとぼけ信号とを掛け合わせ、そして、２つの得られた信号を足して最終的画像信号を得る装置を開示している（特許文献６）。ある実施形態においては、全ての画像信号レベルに対し、２つのパラメータの加算値が１と等しくなることが必要である。この場合、この方法はぼけマスクの式と数学的に等価である。シマザキによれば、２つのパラメータとは、鮮鋭化の度合いが最も高い場合の画像のハイライトを表している信号に従属する信号である。２つのパラメータは鮮鋭化レベルがゼロになるまで画像信号またはぼけ信号のいずれかを減少させながら、鮮鋭化が減少するように選択される。この時、画像信号またはぼけ信号が減少を続けて濃度範囲のシャドウ領域まで減少すると、鮮鋭化はぼかし(blurring)に変換される。シマザキの装置はＤ_ｍｉｎ濃度レベルを陽的には評価していないことで、損をしている。

ガラガーら(Gallagher et al.)に２０００年１２月２６日に交付された米国特許第６，１６７，１６５号は、局所的強度レベルに基づいてぼけマスクのゲインを選択する方法を開示している（特許文献７）。この方法は、局所的強度に従属したぼけマスクゲインを示しているが、Ｄ_ｍｉｎノイズを低減する(de-emphasize)方法での鮮鋭化を開示しているものではない。

ケイスら(Keyes et al.)に２０００年７月１８日に交付された米国特許第６，０９１，８６１号（特許文献８）、および、マタマ(Matama)に２００２年５月７日に交付された米国特許第６，３８４，９３７号（特許文献９）は共に、画像の露光に基づいた、一定の、位置に依存しないゲイン係数を選択する方法を開示している。露出アンダーの画像には、低いゲイン係数が選択され、よって通常の露光がなされた画像と比べてより少ないゲインがそのような画像に対して与えられる。これら方法は、露出アンダー（またはＤ_ｍｉｎ）の領域および通常の露光がなされた領域を共に有するような風景を処理するには不十分である。画像全体に対して単一のゲイン係数が選択されるので、露出アンダーの領域または通常の露光がなされた領域のいずれかは、最適値に達していないゲイン係数で鮮鋭化が実施される。

さらに、複雑化した鮮鋭化によって増幅されるＤ_ｍｉｎノイズの問題が、レンダリングされた画像を鮮鋭化するための画像化システムによく現われている。入力画像濃度から出力メディアにおける出力メディア濃度へのレンダリングまたはマッピングはデジタル画像化および光学的画像化の両方で起こっており、また、このことは当業者には周知である。ブーアら(Buhr et al.)に２０００年８月１日に交付された米国特許第６，０９７，４７０号は、画像レンダリングについて開示している（特許文献１０）。フィルムのＤ_ｍｉｎに対応している、レンダリングされたデジタル画像の領域を決定することは困難である。なぜならば、レンダリングされたデジタル画像の黒い部分は、フィルムのＤ_ｍｉｎ部分に起因するものでもあり得、また、フィルムの通常の露光がなされた部分に起因するものでもあり得るからである。よって、レンダリングされた画像を鮮鋭化する場合には、Ｄ_ｍｉｎノイズの増幅を避けることは難しい。２００２年９月１０日出願の特許出願第２００２−２６３５８２号（特許文献１１）は、レンダリングされた画像における、Ｄ_ｍｉｎの伝播値を決定する方法を開示しているが、レンダリングされた画像の鮮鋭化を助ける目的でＤ_ｍｉｎの伝播値を使用することについては書かれていない。加えて、これまでに述べた鮮鋭化方法は、どれ１つとしてレンダリング画像を、Ｄ_ｍｉｎノイズが増幅されないようにして鮮鋭化することについて記述していない。
米国特許第５，０８１，４８５号明細書米国特許第５，６８２，４４３号明細書米国特許第４，５７１，６３５号明細書米国特許第５，０８１，６９２号明細書米国特許第４，７６１，８１９号明細書米国特許第５，０５１，８４２号明細書米国特許第６，１６７，１６５号明細書米国特許第６，０９１，８６１号明細書米国特許第６，３８４，９３７号明細書米国特許第６，０９７，４７０号明細書特開２００３−２０３２３１号公報Ａ．Ｋ．Ｊａｉｎ著、Fundamentals of Digital Image Processing, Prentice-Hall: 1989, pp.249-251 Curlander, "Image Enhancement Using Digital Adaptive Filtering" マサチューセッツ工科大学修士論文 1977, p.30-34, 48-49, 63, 72-73, 93-94

従い、鮮鋭化の量を調整し、Ｄ_ｍｉｎノイズの増幅を回避する、改善された画像鮮鋭化法に対する必要性が存在している。

その必要性は、本発明により以下のステップを有する画像画素値を有するデジタル画像の鮮鋭化法を提供することにより満たされる。本方法は、デジタル画像を生成したシステムにとって可能な最小露光に対応した値を示している、Ｄ_ｍｉｎ値を決定するステップ、デジタル画像内の各画素値に対し、画素値とＤ_ｍｉｎ値との差に従い、Ｄ_ｍｉｎ値により近い値を有する画素値には、より小さなゲイン係数が与えられるように、ゲイン係数を付与するステップ、および、ゲイン係数を用いてデジタル画像を鮮鋭化するステップを有する。

本発明は、僅かしか、または、一切の露光を受けていない（Ｄ_ｍｉｎとも称される）フィルムの部分に関連したノイズが増幅されることなく、より鮮鋭な画像を生成するという利点を有している。

以下の記述にて、本発明の実施形態を、ソフトウェアプログラムとして実施する方法として説明する。当業者であれば、このようなソフトウェアプログラムの同等物をハードウェアで構成することもできることは容易に理解するであろう。なぜならば、画像エンハンスメントのアルゴリズムおよび方法はよく知られたものであり、本説明は特に、本発明による方法およびシステムの部分を構成する要素、または、さらに直接的に協働する要素を対象としている。他の要素、ならびに、特に図示および説明の無い、画像信号を生成または処理するための、ハードウェアおよび／もしくはソフトウェアは、当業界において周知の材料、構成体、要素より選択してよい。本発明に係る、以下に図示および説明されたシステムおよび方法であるならば、本発明の実施に有用であり、特に図示、説明、もしくは提示されない材料、ソフトウェアは従来的なものであり、当業界の通常の技能の範囲内である。

さらには、本発明において使用されるように、コンピュータプログラムは、例えば、（ハードドライブもしくはフロッピィーディスクのような）磁気ディスク、もしくは、磁気テープといった磁気記憶メディア、または、光学的ディスク、光学的テープ、もしくは、機械的に読み取り可能なバーコードといった光学的記憶メディア、または、ランダムアクセスメモリ（ＲＡＭ）もしくはリードオンリーメモリ（ＲＯＭ）といった固体電子記憶装置、または、その他のコンピュータプログラムを記憶することに用いられる物理的装置もしくは媒体を含んだ、コンピュータが読み取り可能な記憶媒体に記録してもよい。

デジタル画像は一般に、１以上の２次元的な数字のアレイを有する。例えば、カラーのデジタル画像は、赤、緑、および、青色の画素値をそれぞれ表している３つのアレイを有してもよく、また、モノクロ画像は光の強度に対応した画素値のアレイを１つ有してもよい。用語に関し、デジタル画像の第ｘ行、第ｙ列を指している、座標系（ｘ、ｙ）に位置しているデジタル画像の画素値は、ここでは、３つの値［r(x,y),g(x,y),b(x,y)］を有するべきであって、これらの値はそれぞれ、(x,y)における、赤、緑、および、青色のデジタル画像チャンネルの値を指している。これに関し、デジタル画像は、所定の数のデジタル画像チャンネルを有すると考えてもよい。赤、緑、および、青色の２次元配列を有するデジタル画像の場合、画像は３つのチャンネル、つまり、赤、緑、および、青色スペクトルのチャンネルを有している。

一般には、本発明は画像を鮮鋭化する方法を開示しており、本方法においては、（画像における、あらゆる局所領域に対して適用される）鮮鋭化の程度は、ソース画像信号のノイズ特性に依存するものである。とくに、本発明はフィルムソースから得たデジタル画像に対して有用である。本発明は、確実に、ソース画像におけるＤ_ｍｉｎ近傍領域の画像の鮮鋭化の程度を軽減しており、よって、ノイズの視認度を低下させている。

図１を参照すれば、パラメータがＬＵＴ生成器４に入力され、ＬＵＴ（参照表）β_ＬＵＴ［］を生成する。β_ＬＵＴ［］は鮮鋭化ゲイン係数βとデジタル画像の強度との関係性を定義している。当業者であれば当然理解することだが、ＬＵＴ生成器４の出力は、ＬＵＴよりも簡単な数学的関数として表現可能である。ＬＵＴ生成法は以下のように表される。

ＬＵＴ生成器４は好ましくは、以下の式（１）を用いてゲインＬＵＴを生成する。
（ｘ＜Ｘ_ｍｉｎならば） β_ＬＵＴ［ｘ］＝Ｙ_ｍｉｎ（１）
（ｘ＞Ｘ_ｍａｘならば） β_ＬＵＴ［ｘ］＝Ｙ_ｍａｘ
（Ｘ_ｍｉｎ≦ｘ≦Ｘ_ｍａｘならば） β_ＬＵＴ［ｘ］＝Ｙ_ｍｉｎ＋
（Ｙ_ｍａｘ−Ｙ_ｍｉｎ）＊（０．５＋０．５＊
sin((ｘ−Ｘ_ｍｉｎ)/(Ｘ_ｍａｘ−Ｘ_ｍｉｎ)π−π/２)
ここで、Ｘ_ｍｉｎはＤ_ｍｉｎ値に設定される。Ｄ_ｍｉｎは、デジタル画像を生成したシステムに関する、最小可能露光(minimum possible exposure)に対応した値を表している。Ｄ_ｍｉｎは、参照暗風景(reference dark scene)（例えば、レンズキャップを取らないでカメラで露光させること）を撮影し、かつ、参照暗露光(reference dark exposure)から得たデジタル値を平均化するシステムを用いて決定可能である。平均化されるその理由は、画素値にはノイズが含まれることがあり、画素値が実際のＤ_ｍｉｎから僅かに上下するからである。平均化により、ノイズに起因する変動は除去される。

Ｘ_ｍａｘはユーザが選択可能なパラメータであり、鮮鋭化のゲイン係数が常に最大ゲイン係数Ｙ_ｍａｘである画素値を表している。

Ｙ_ｍｉｎはユーザが選択可能なパラメータであり、最小ゲイン係数（つまり、画像のＤ_ｍｉｎ領域に対するゲイン係数）を表している。

Ｙ_ｍａｘはユーザが選択可能なパラメータであり、最大ゲイン係数を表している。

Ｘ_ｍａｘ、Ｙ_ｍｉｎ、および、Ｙ_ｍａｘの値は、処理、印刷、および、印刷物の観察によりこれらパラメータの最適値を決定することにより、経験的に得られる。

図２は、例示的にＸ_ｍｉｎ＝２７９、Ｘ_ｍａｘ＝５７９、Ｙ_ｍｉｎ＝１．０、および、Ｙ_ｍａｘ＝３．０なる値としたβ_ＬＵＴ［ｘ］のプロットである。当業者であれば、Ｄ_ｍｉｎの近傍においてはβ_ＬＵＴ［ｘ］の値をさらに低くし、Ｄ_ｍｉｎノイズの過剰な増幅がないことを確実にし、その他の場所ではより高い値をもたらすような、数多くの類似の関数を構築することが可能である。図２に示すように、β_ＬＵＴ［ｘ］に代表される関数はＤ_ｍｉｎ値（Ｘ_ｍｉｎ）から所定の画素値（Ｘ_ｍａｘ）までは、画素値の単調増加関数であり、所定の画素値を超えると、画素値に対して一定になる。

再度図１を参照すれば、ｘ_０行、ｙ_０列を有するi(x,y)なるオリジナル画像２は、ＬＵＴ生成器４によって生成されるゲインＬＵＴ、β_ＬＵＴ［］による画像鮮鋭化のために、画像鮮鋭器６に入力される。好ましくは、画像i(x,y)は、例えばｘ_０＝１０２４行の画素およびｙ_０＝１５３６列の画素を有する高解像度画像のような、高解像度を有する。オリジナル画像は写真フィルム画像のデジタイズされたバージョンであっても、または、電子的カメラで撮影されたデジタル画像であってもよい。鮮鋭器６はオリジナル画像２を受け取り、鮮鋭化された画像２２を出力する。画像鮮鋭器６における操作は次式（２）により記述される。
s(x,y) = i(x,y)**b(x,y)+β(x,y)f(i(x,y)-i(x,y)**b(x,y)) （２）
ここで、
s(x,y) = Ｄ_ｍｉｎノイズを増幅せずに鮮鋭さが向上された出力画像
i(x,y) = オリジナル入力画像
b(x,y) = ローパスフィルタ
β(x,y) = 位置(x,y)におけるぼけマスクゲイン係数。第１の実施形態においては、好ましくはゲイン係数はβ(x,y) = β_ＬＵＴ[i(x,y)**b(x,y)]により決定される。ここで、βＬＵＴ[]はゲイン係数の参照表である。
f() = フリンジ関数
i(x,y)**b(x,y) = ローパス画像（ぼけ画像とも称される）
** ２次元コンボリューション
(x,y) 画像の第ｘ行、第ｙ列を示す。

好ましくは、ローパスフィルタはガウシアンローパスフィルタである。このガウシアンフィルタは２次元的であり、循環的対称性(circularly symmetric)を有するローパスフィルタであり、そのフィルタ係数は、当業界において周知の如く、次式より導出される。

ここで、
b(i,j) = (i,j)番目の画素におけるガウシアンフィルタ係数
σ = ガウシアンフィルタの標準偏差
π = 定数、およそ3.14159265...
好ましくは、ガウシアンフィルタは、σ＝１として構成される、５×５の画素フィルタであって、フィルタの係数は以下のとおりである。
[ 0.003 0.0133 0.0219 0.0133 0.003
0.0133 0.0596 0.0983 0.0596 0.0133
0.0219 0.0983 0.162 0.0983 0.0219
0.0133 0.0596 0.0983 0.0596 0.0133
0.003 0.0133 0.0219 0.0133 0.003 ]

デジタル画像における各画素値に対するゲイン係数β（ｘ、ｙ）は、画素値とＤ_ｍｉｎ値との差異に依存しており、それはＤ_ｍｉｎ値に近い画素値が小さなゲイン係数を有する。ゲイン係数は以下のようにしてデジタル画像を鮮鋭化するのに用いられる。

ぼけ画像は、画像とローパスフィルタのコンボリューションにより生成される（つまり、ぼけ画像はi(x,y)**b(x,y)により与えられる。）。次に、ハイパス、または、フリンジデータは、オリジナル画像からぼけ画像を差し引くことにより生成される（つまり、ハイパスデータはi(x,y)- i(x,y)**b(x,y)により与えられる。）。それから、このハイパスデータは、信号に従属しているゲイン係数β(x,y)および場合によってはフリンジ関数f()によって修正される。好適な実施形態においては、フリンジ関数は恒等であり、省略しても影響はない。ゲイン係数β(x,y)はオリジナルぼけ画像の値に依存している。記載の実施形態においては、ゲイン係数はぼけ画像に従属しているが、画像処理に技能を有する者であれば、ゲイン係数β(x,y)は、オリジナル画像、または、類似の効果を生ずる別のローパスフィルタにより作成されたぼけ画像に従属することも可能であると解することは容易であろう。最後に、修正されたハイパスデータがぼけ画像に加算されて鮮鋭化画像が生成される。（当業者であれば、このことは、ゲイン係数を適当に修正して、修正されたハイパスデータをオリジナル画像に加算することと等価であると解することは容易であろう。）

デジタル画像の各チャンネルは、鮮鋭化器６によって処理されてよい。この場合、ＬＵＴ生成器４で用いられるパラメータＸ_ｍｉｎおよびＸ_ｍａｘはしかるべく調整されることが望ましい。なぜならば、標準的民生用フィルムは一般に、各カラーチャンネルごとに異なるＤ_ｍｉｎ値を有するからである（青色チャンネルのＤ_ｍｉｎは一般に緑色チャンネルのＤ_ｍｉｎよりも高く、緑色チャンネルのＤ_ｍｉｎは一般に赤色チャンネルのＤ_ｍｉｎよりも高い。）。好ましくは、各カラーチャンネルは独立的に取り扱われる。

代わりに、時には、画像全体にわたり、各画素位置(x,y)においてカラーチャンネル間でゲイン係数を固定することが望まれるかもしれない。このことは平均値、中央値、最小値、または、各画素位置における所定ゲイン係数のその他の結合により実現可能である。

別の代替として、輝度チャンネルを、当業界において周知の如く、画像のカラーチャンネルの線形結合により作成する。そして、この信号チャンネルを、鮮鋭化された出力画像を生成するために鮮鋭器６に入力する。輝度チャンネルl(x,y)は画像の全てのカラーチャンネルの線形結合により生成される。例えば、

ここで、
Ｃは画像のチャンネル数、
ｃ_ｎは画像i(x,y)のｎ番目のカラーチャンネル、
ａ_ｎはｎ番目のカラーチャンネルに対する係数重み付け係数である。係数重み付け係数全ての合計は１．０であることが好ましい。

画像i(x,y)が赤、緑、および、青色チャンネルを有する場合、赤、緑、および、青色係数重み付け係数に対する好適な値は全て等しく１/３である。入力画像は赤、緑、および、青色カラーチャンネルを有するカラー画像であると仮定すれば、マトリックスは先ず、輝度チャンネルおよび２以上の色差チャンネルを生成するために画像に適用される。次に、ぼけマスク処理が輝度チャンネルに、鮮鋭器６によって適用される。最後に、逆マトリックスを輝度および色差チャンネルに適用し、赤、緑、および、青色チャンネルを有する、向上されたカラー画像を生成する。

本発明の第２の実施形態を図３に示す。本実施形態においては、オリジナル画像２、i(x,y)は、画像処理経路１０に従って経路付与器１４に入力される。経路付与器１４は、画像処理経路１０を用いてオリジナル画像２、i(x,y)を修正し、レンダリングされた画像１６、R(x,y)を生成する。オリジナル画像２、フィルムのデジタル変換体は、ＣＲＴモニタやプリンタのような出力装置には適さない。画像処理経路付与器１４は、レンダリング画像１６、R(x,y)を生成する目的で、画像処理経路１０（一連の画像変換）に適用される。

図４を参照すれば、画像処理経路１０は、１以上の画像変換２０_１−Ｍを備えている。画像変換２０は、入力画像を受け入れ、場合によっては、パラメータを制御し、また、再現可能な方法で出力画像を生成する操作である。図５を参照すれば、画像処理経路１０の例が示されている。この例示的な画像処理経路１０は、写真ネガをデジタルスキャンした入力画像から、写真プリントのレンダリング画像を生成するようデザインされた画像変換２０_ｍを有する。このような画像処理経路１０の例は、共に２０００年８月１日にブーアら(Buhr et al.)に交付された米国特許第６，０９７，４７０号および同第６，０９７，４７１号に開示されている。画像処理経路１０には、画像化装置の応答の非線形性を補償するために用いられる画像化装置応答線形化器４２を備えている。写真フィルムの応答の非線形性を補正する方法を、デジタル画像がフィルム起源であれば実施してよい。そのような方法は、１９９２年７月２８日にグッドウィン(Goodwin)に交付された米国特許第５，１３４，５７３号に開示されている。画像処理経路１０には、画像にシーンバランスアルゴリズムを適用する、バランス付与器４４も含まれている。画像のバランシングは、しばしばシーンバランスアルゴリズム（ＳＢＡ）、または、自動露光決定アルゴリズム（これらは高速光学的プリンタまたはフォトＣＤスキャナで使用されている。例えば、コック(Cok)に１９９０年７月３１日に付与された米国特許第４，９４５，４０６号を参照。）により実施される。また、画像処理経路は、画像の色調の決定および修正に用いられるコントラスト調整器４６を含んでいる。画像のコントラストは自動化アルゴリズムによって評価されてよい。さらに、デジタル画像のコントラストも同様に、好適なコントラストレベルに修正されてよい。画像のコントラストを評価し、画像のコントラストを調整する手段を提供するアルゴリズムの例は、リーら(Lee et al.)に１９９８年１０月１３日に交付された米国特許第５，８２２，４５３号に開示されている。最後に、画像処理経路１０は、ブーアら(Buhr et al.)に２０００年８月１日に交付された米国特許第６，０９７，４７０号に開示されているようなレンダラ４８を含んでいる。デジタルの、または、光学的な、画像の、十分な正確さを有するレンダリングは（１−、３−、または、多−次元的な）ＬＵＴで表現可能である。例えば、図６に画像の画素値と８ビットプリンタのコード値とを関連付けるＬＵＴのグラフを示す。当業者であれば当然理解することだが、数多くの出力画像測量基準をレンダリング空間として使用してよい（例えば、ｓＲＧＢはコンピュータモニタ上で画像を鑑賞するのに一般的である。）。

再度図３を参照すれば、ＬＵＴ生成器４は、先に説明したＬＵＴ生成器４と同一である。ゲイン決定器８はオリジナル画像２、i(x,y)、および、ＬＵＴ生成器４からのゲインＬＵＴ出力を受け取る。ゲイン決定器８は、画像の各画素位置(x,y)に対し、適切なゲイン係数β(x,y)を決定、および、出力する。ゲイン係数は、単にオリジナル画像の画素値を表中から検索を行うことで得られる。
β(x,y) = β_ＬＵＴ[i(x,y)] （５）

ゲイン決定器８は、好ましくは表の検索を行う前にオリジナル画像において（ローパスフィルタb(x,y)または別のローパスフィルタのいずれかを用いて）ぼかし操作を行う。

そして、鮮鋭器１２はレンダリング画像R(x,y)、および、ゲイン決定器８からゲイン係数β(x,y)を受け取り、鮮鋭化されたレンダリング画像１８を出力する。

本実施形態は、オリジナル画像i(x,y)を用いて適切なゲイン係数β(x,y)をしており、オリジナルフィルムのＤ_ｍｉｎとの関係性が単純ではないような画素値を有するレンダリング画像R(x,y)を（不必要なノイズの増幅を回避する目的で他の領域よりも少なめにＤ_ｍｉｎ領域を）鮮鋭化することを可能にしている。

よって、図３に示す第２の実施形態の鮮鋭器１２の操作は、以下の式で表現可能である。
s(x,y) = R(x,y)**b(x,y)+β(x,y) f(R(x,y)-R(x,y)**b(x,y)) （６）
ここで、
s(x,y) = Ｄ_ｍｉｎノイズを増幅させずに、鮮鋭さが向上された出力画像
R(x,y) = レンダリングされたデジタル画像１６
b(x,y) = （上記の）ローパスフィルタ
β(x,y) = 位置(x,y)に対するぼけマスクゲイン係数。第２実施形態においては、好ましくはゲイン係数は β(x,y) = β_ＬＵＴ[i(x,y)**b(x,y)] より得る。ここで、β_ＬＵＴ[]はゲイン係数の参照表であり、i(x,y)はオリジナル画像２である。
f() = フリンジ関数
R(x,y)**b(x,y) = ローパス画像（ぼけ画像とも称する。）
R(x,y)-R(x,y)**b(x,y) = ハイパス画像
** ２次元コンボリューション
(x,y) 画像の第ｘ行、第ｙ列を示す。

先の実施形態は、Ｄ_ｍｉｎノイズを過度に増幅することなく、レンダリング画像を鮮鋭化可能であるという優位性を有する。しかし、本方法はオリジナル画像とレンダリング画像とが同時に共存しなければならいという要請を有する。幾つかのシステムにおいてこのことは不都合である。図７はＤ_ｍｉｎノイズを過度に増幅させないでレンダリング画像を先鋭化することに適用される第３の好適な実施形態を示している。

ＬＵＴ生成器４は先に説明したとおりである。そして、ゲインＬＵＴ、β_ＬＵＴ[]は画像処理経路１０に従ってＬＵＴ伝播器２４に入力される。ＬＵＴ伝播器２４は、ゲインＬＵＴβ_ＬＵＴ[]を、画像処理経路１０の画像変換２０_１−Ｍへ伝播させ、レンダリングデジタル画像１６、R(x,y)の画素コード値に対応するレンダリングゲイン係数を生成するためのレンダリングゲインＬＵＴ、β_{Ｒ_ＬＵＴ}[]を出力する。

共通のゲインＬＵＴ、β_ＬＵＴ[]を由来とするレンダリングゲインＬＵＴ、β_{Ｒ_ＬＵＴ}[]は、画像処理経路１０の画像変換２０_１−Ｍに依存してかなり異なった様相を呈することがある。バランス操作、および、それに続いて既に図５で示した色調レンダリング操作がなされる、２つの画像変換２０を有する画像処理経路を例に考察する。露出アンダーなオリジナル画像に対するバランスシフト（デジタル画像の各画素値に対する付加的オフセット）は、例えば８００である。正常に露光されたオリジナル画像に対するバランスシフトは、例えばゼロである。図８のａおよび図８のｂはそれぞれ、露出アンダーの画像および正常な露光の画像に対して得られるレンダリングゲインＬＵＴである。これらについて期待されることは、露出アンダーの画像から生成されるレンダリング画像は低いコード値において、少なく鮮鋭化されることである。しかし、正常な露光の画像から生成されるレンダリング画像は、より広範なコード値の範囲にわたって鮮鋭化可能である。なぜならば、オリジナル画像のＤ_ｍｉｎ領域は、レンダリング画像において非常に暗い（つまり低いコード値）からである。

再度図７を参照すれば、ＬＵＴ伝播器２４の動作は、ゲインＬＵＴ、β_ＬＵＴ[]を、オリジナルデジタル画像からレンダリングされたデジタル画像を生成するのに用いられる画像処理経路１０の各画像変換に通すことである。バランスシフトまたはＬＵＴ画像変換に通すと、
β_{Ｐ_ＬＵＴ}[ｗ] = β_ＬＵＴ[ｖ] （７）
となる。ここで、
β_{Ｐ_ＬＵＴ}[ｘ]は画像変換Ｔを通されたゲインＬＵＴである。
ｗ = Ｔ(ｖ)
ｖは画像変換Ｔへの入力値である。
ｗは画像変換Ｔからの出力値である。

上記の如く、ゲインＬＵＴの伝播が続けられ、画像処理経路の画像変換によって、オリジナルのゲインＬＵＴからレンダリングされたゲインＬＵＴ、β_{Ｒ_ＬＵＴ}[]へ、一度に一回の変換を加えながらゲインＬＵＴが伝播される。注意すべきは、伝播させる前に、幾つかの画像変換を単一の画像変換に合成することが可能ということである。さらに、ゲインＬＵＴが画像処理の連鎖の最後の画像変換を伝播した時には、レンダリングされたゲインＬＵＴ、β_{Ｒ_ＬＵＴ}[]は、先ほど伝播されたゲインＬＵＴ、β_{Ｐ_ＬＵＴ}[]と同等である。

好適な実施形態において、ある特定の画像変換２０が伝播されるＤ_ｍｉｎ値に与える影響は僅かしか、または、一切、無いので、伝播されるＤ_ｍｉｎ値の計算をする際には、スキップ、または、省略してもよい。例えば、例えば赤目補正のような空間的な操作では一般に、Ｄ_ｍｉｎ値は変更を受けないので、省略してもよい。ほかにも、さらに複雑な、オブジェクト認識のような画像変換２０も、伝播されるＤ_ｍｉｎ値に影響を与えないので、無視してもよい。これら無視される画像変換は伝播されるＤ_ｍｉｎ値とは無関係である。

当業者ならば、ＬＵＴ伝播器２４は、特定の制御パラメータのみを画像処理経路に伝播させることも可能であって、レンダリングされたゲインＬＵＴは式（１）に類似した数式を用いて構成可能であることを解するのは容易であろう。例えば、Ｘ_ｍｉｎおよびＸ_ｍａｘを、あたかも画像処理経路により変更を受ける画像の２つの画素の値であるかのように、画像処理経路に伝播させて、単純にＸ_ｍｉｎおよびＸ_ｍａｘの値に画像処理経路の画像変換を適用することが可能である。この処理の結果、Ｘ_ｍｉｎおよびＸ_ｍａｘのレンダリングされたバージョン、Ｘ_ｍｉｎＲおよびＸ_ｍａｘＲを得る。そして、ＬＵＴ伝播器２４は、Ｘ_ｍｉｎにＸ_ｍｉｎＲを、Ｘ_ｍａｘにＸ_ｍａｘＲを代入し、単純に式（１）を評価することでレンダリングされたゲインコントロールＬＵＴ、β_{Ｒ_ＬＵＴ}［］を構成する。

再度図７を参照すれば、オリジナル画像２、i(x,y)は、画像処理経路１０と共に経路付与器１４に入力される。経路付与器１４は画像処理経路１４を用いてオリジナル画像２、i(x,y)を修正し、上記のようにレンダリング画像１６、R(x,y)を生成する。

そして、鮮鋭器１２は、レンダリング画像１６、R(x,y)、および、ＬＵＴ伝播器２４からレンダリングされたゲインＬＵＴ、β_{Ｒ_ＬＵＴ}[]を入力し、鮮鋭化されたレンダリング画像１８を作成する。本実施形態は、オリジナルのフィルムのＤ_ｍｉｎとの関係性が単純ではない画素値を有するレンダリング画像の（Ｄ_ｍｉｎ領域の、不必要なノイズの増幅を回避するために他の領域より控えめな）鮮鋭化を可能にしている。

第３の実施形態における鮮鋭器６の動作は次式で表される。
s(x,y) = R(x,y)**b(x,y)+β(x,y)f(R(x,y)-R(x,y)**b(x,y)) （８）
ここで、
s(x,y) = Ｄ_ｍｉｎノイズを増幅せずに鮮鋭さが向上された出力画像
R(x,y) = レンダリングされたデジタル画像
b(x,y) = （上記）ローパスフィルタ
β(x,y) = 位置(x,y)におけるぼけマスクゲイン係数。第３の実施形態においては、好ましくはゲイン係数はβ(x,y) = β_{Ｒ_ＬＵＴ}[R(x,y)**b(x,y)]により決定される。
f() = フリンジ関数
R(x,y)**b(x,y) = ローパス画像（ぼけ画像とも称される）
R(x,y)-R(x,y)**b(x,y) = ハイパス画像
** ２次元コンボリューション
(x,y) 画像の第ｘ行、第ｙ列を示す。

当業者であれば、（式（２）に示されるような）ぼけマスクを複数のチャンネルを有するカラー画像に適用可能な方法は幾つか存在することを承知している。例えば、ぼけマスク処理をカラー画像の各チャンネルに適用可能である。好ましくは、ぼけマスク処理は、当業界において周知の以下の方法により適用される。

カラー画像が赤、緑、および、青色チャンネルを有すると仮定すれば、先ず画像にマトリックスが適用され、輝度チャンネル、および、２以上の色差チャンネルが生成される。次にぼけマスク処理は輝度チャンネルに適用される。最後に、輝度および色差チャンネルに逆マトリックスが適用され、赤、緑、および、青色チャンネルを有する、質が向上されたカラー画像が生成される。

代わりに、ぼけマスク処理は単一の画像チャンネル（例えば緑色チャンネル）のみに適用してもよく、それから修正されたハイパスデータが各カラーチャンネルと合計されて質の向上されたカラー画像を生成してもよい。これらの、および、その他の、ぼけマスク処理に関する類似の変更および強化などは、当業者であればよく知るものである。これらの方法の特徴と、可変ゲイン鮮鋭化に関する鮮鋭化パラメータの選択方法とは基本的に関係がないので、これらの特定的利用によって本発明の範囲が制限されることはない。

当業者であれば、式（２）および本発明は、概ねぼけマスクの処理による画像の鮮鋭化について開示しているが、必ずしもそれに限らないことを、承知するであろう。式（２）のフリンジ関数f()が恒等であると仮定すれば、ぼけマスク処理は、画像に対するコンボリューションとして利用するよりも、単一のフィルタとして再構成可能であって、ぼけマスクと同等の結果を出すことができる。例えば、b(x,y)のフィルタ係数が次式で与えられると仮定する。

次式で表される係数を有するフィルタc(x,y)とのコンボリューションにより、式（２）のぼけマスクにいてフィルタb(x,y)を使用して得られる結果と同一の結果が得られる。

代数学およびデジタル信号処理において周知の方法で規定可能な、画像鮮鋭器６における操作のグループ化による好適な実施形態にたいするこのような修正は、当業者には明白であって、本発明の範囲に含まれる。

本発明の第１の実施形態による、オリジナル画像の鮮鋭化技術を示すブロック図である。ゲインＬＵＴ、β_ＬＵＴ[ｘ]のプロットである。本発明の第２の実施形態による、レンダリングされた画像の鮮鋭化技術を示すブロック図である。Ｍ個の画像変換を有する画像処理経路のブロック図である。例示的画像処理経路である。レンダリングＬＵＴのプロット例である。本発明の第３の実施形態による、レンダリングされた画像の鮮鋭化技術を示すブロック図である。ａおよびｂは、ゲインＬＵＴを２つのことなる画像処理経路に通すことにより作成される、レンダリングされたゲインＬＵＴ、β_{Ｒ_ＬＵＴ}［ｘ］のプロットである。

符号の説明

２・・・オリジナル画像４・・・ＬＵＴ生成器
６・・・鮮鋭器８・・・ゲイン決定器
１０・・・画像処理経路１２・・・鮮鋭器
１４・・・経路付与器１６・・・レンダリング画像
１８・・・鮮鋭化されたレンダリング画像２２・・・鮮鋭化された画像
２４・・・ＬＵＴ伝播器

Claims

画素値を有するデジタル画像を鮮鋭化する方法であって、
各々が該デジタル画像を作成したシステムの最小可能露光に対応する参照暗風景の画素値を表している、複数のＤ_ｍｉｎ値を決定するステップ、
前記決定したＤ _ｍｉｎ値の平均を求め、前記参照暗風景の画素値に含まれるノイズに起因した変動を除去した平均化Ｄ _ｍｉｎ値を求めるステップ、
前記デジタル画像の各画素値について、該画素値と前記平均化Ｄ_ｍｉｎ値との差に基づいて、前記平均化Ｄ_ｍｉｎ値により近い画素値がより小さなゲイン係数を有するように、前記デジタル画像の各画素値に対して該ゲイン係数を求めるステップ、
オリジナルのデジタル画像に対し、１以上の一連の画像変換を備える画像処理経路を適用し、レンダリングされたデジタル画像を作成するステップ、
前記ゲイン係数に対し、前記画像処理経路を適用し、レンダリングされたゲイン係数を得るステップ、
前記レンダリングされたゲイン係数を用いて前記レンダリングされたデジタル画像を鮮鋭化するステップ、を有する、画素値を有するデジタル画像を鮮鋭化する方法。
前記ゲイン関数は、画素値に関する単調関数をモデルとした参照表により求められる、請求項１に記載の方法。
前記単調関数は、前記平均化Ｄ _ｍｉｎ値から所定の画素値までの区間において値が増加し、前記所定の画素値を超えた領域において値が一定である、請求項２に記載の方法。