JP4456819B2

JP4456819B2 - デジタル画像鮮鋭化装置

Info

Publication number: JP4456819B2
Application number: JP2003050148A
Authority: JP
Inventors: シーギャラガーアンドリュー
Original assignee: イーストマンコダックカンパニー
Priority date: 2002-02-27
Filing date: 2003-02-26
Publication date: 2010-04-28
Anticipated expiration: 2023-02-26
Also published as: US20030161544A1; EP1347415A1; DE60300097D1; US6891977B2; JP2003256831A; EP1347415B1; DE60300097T2

Description

【０００１】
【発明の属する技術分野】
本発明は、概略的にはデジタル画像の処理に関する分野、より詳しくは画像を鮮鋭化する方法に関する。
【０００２】
【従来の技術】
デジタル画像の処理においては、一般的に、画像の鮮鋭（sharp）化により、鮮鋭化アルゴリズムを用いて微細な詳細部が改善される。通常、鮮鋭化は畳み込みプロセス（たとえば、A. K. Jain, Fundamentals of Digital Image Processing, Prentice-Hall: 1989, pp.249-251参照）によって行われる。アンシャープマスキングプロセスは、畳み込みによる鮮鋭化プロセスの一例である。たとえば、アンシャープマスキングを使った画像の鮮鋭化は、次の等式で説明することができる。
【０００３】
s(x,y)＝i(x,y)^**b(x,y)+βf(i(x,y)-i(x,y)^**b(x,y)) (0)
ここで、
ｓ（ｘ，ｙ）＝鮮鋭さが改善された出力画像
ｉ（ｘ，ｙ）＝原入力画像
ｂ（ｘ，ｙ）＝ローパスフィルタ
β＝アンシャープマスクのスケールファクタ
ｆ（）＝フリンジ関数
^**は、二次元畳み込みを示す。
（ｘ，ｙ）は、画像のｘ番目の行とｙ番目の列を示す。
【０００４】
一般に、不鮮明画像は、ローパスフィルタによる画像の畳み込みによって生成される（つまり、不鮮明画像はｉ（ｘ，ｙ）^**ｂ（ｘ，ｙ）で示される）。次に、原画像から不鮮明画像を引くことにより、ハイパス、つまりフリンジデータが生成される（すなわち、ハイパスデータはｉ（ｘ，ｙ）−ｉ（ｘ，ｙ）^**ｂ（ｘ，ｙ）で得られる）。次にハイパスデータは、スケールファクタβかフリンジ関数ｆ（）のいずれかまたはその両方によって修正される。最後に、修正されたハイパスデータに、原画像または不鮮明画像のいずれかを加算することにより、鮮鋭化された画像が得られる。
【０００５】
同様の鮮鋭化効果は、デジタル信号処理の分野ではよく知られる周波数ドメイン（たとえば、ＦＦＴドメイン）における画像修正によって実現できる。
【０００６】
画像の異なる領域または画素を、異なる量だけ鮮鋭化することが好ましい場合がある。たとえば、人の顔を表す画素は、ビルを表す画素ほど鮮鋭化しないほうが好ましいとされている。たとえば、１９９７年１０月２８日発行のゴーシュ他(Gouch et al.)の米国特許５，６８２，４４３号において、画素の色（と周辺近傍の色）に基づくアンシャープマスクのゲインの修正が開示されている。この方式を用いた場合の問題は、画像鮮鋭化に伴う不要なノイズの増大である。
【０００７】
また、１９９６年２月１８日発行のマームーディ他(Mahmoodi et al.)の米国特許第４，５７１，６３５号は、近傍中の画像画素の標準偏差に応じて、デジタル画像の高周波数情報をスケーリングするのに使用される強調係数βを得る方法を教示している。さらに、１９９２年１月１４日発行のクウォン他(Kwon et al.)の米国特許第５，０８１，６９２号は、強調係数βが中央加重分散計算に基づいていると教示している。１９８８年８月２日発行の米国特許第４，７６１，８１９号において、デニソン他(Denison et al.)はアンシャープマスクのゲインが局地分散計算とノイズ統計の両方に依存する方法について述べている。
【０００８】
上記の方法はたしかに、ノイズの増大をなるべく抑えながら画像を鮮鋭化するが、ゴーシュが述べているように、色に基づいて鮮鋭化の適用量が変化することはない。画像のノイズ特性と非ノイズ特性（たとえば色）の両方に基づくリニア鮮鋭化フィルタのゲインパラメータβの修正について、どのように取り組むかは不明である。一般に、ノイズ情報を利用した適応型の鮮鋭化方法の場合、ノイズの大きい画像領域には他より小さい鮮鋭化が適用される。しかし、これらの画像領域が受ける鮮鋭化は、他の要因によってすでに非常に小さい場合がある。
【０００９】
２００２年１月２３日に公開された欧州特許出願第１１７４８２４Ａ２号において、ギンデル(Gindele)とギャラー(Gallagher)は、画素の色に応じてノイズ軽減の量を変えるノイズ軽減フィルタについて開示している。このフィルタにおいて、畳み込みの係数は各画素について動的に得られ、画素と近隣画素（畳み込み操作に関わるもの）の数値に応じて変わる。畳み込み係数は各画素について動的に得られるため、フィルタ係数は局所の近隣における画素の数値によって異なる。このようなフィルタは画像鮮鋭化には使用されないのが普通である。
【００１０】
【特許文献１】
米国特許５，６８２，４４３号公報
【特許文献２】
米国特許４，５７１，６３５号公報
【特許文献３】
米国特許５，０８１，６９２号公報
【特許文献４】
米国特許４，７６１，８１９号公報
【特許文献５】
欧州特許出願第１１７４８２４Ａ２号公報
【００１１】
【発明が解決しようとする課題】
そこで、画像のマテリアルコンテンツ（material content）と画像におけるノイズ量の両方に基づいて鮮鋭化の適用量を調整する、改良された画像鮮鋭化方法に対するニーズがある。
【００１２】
【課題を解決するための手段】
本発明は、複数の画像画素を有するデジタル画像を、そのデジタル画像のノイズコンテンツに応じて鮮鋭化させるデジタル画像鮮鋭化装置であって、デジタル画像データと、当該デジタル画像データに対してフィルタ処理を施したデータとの差異を示すフリンジデータを求めるフリンジデータ生成部と、前記デジタル画像データおよび前記フリンジデータに基づいて鮮鋭化画像データを求める鮮鋭化部と、データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、前記フリンジデータを前記鮮鋭化画像データに寄与させる程度を示すゲインを、前記対象物ビリーフ値に基づいて、前記画素データに対して求めるゲイン生成部と、データに含まれる変調成分がノイズによるものである可能性を示すノイズビリーフ値を、前記デジタル画像データの信号対ノイズ比に基づいて、前記画素データに対して求めるノイズビリーフ値生成部と、を備え、前記鮮鋭化部は、求められたゲインが所定の範囲を超え、前記ノイズビリーフ値が、それに対応する画素のノイズが大きいとの高ビリーフであることを示す領域に対しては、当該ゲインを当該ノイズビリーフ値に基づいて制限した値を調整後ゲインとして求め、その他の領域に対しては、当該ゲインを調整後ゲインとして求め、求められた調整後ゲインに基づいて前記鮮鋭化画像データを求めることを特徴とする。また、本発明は、複数の画像画素を有するデジタル画像を描画対象物に応じて鮮鋭化するデジタル画像鮮鋭化装置であって、デジタル画像データと、当該デジタル画像データに対してフィルタ処理を施したデータとの差異を示すフリンジデータを求めるフリンジデータ生成部と、前記デジタル画像データおよび前記フリンジデータに基づいて鮮鋭化画像データを求める鮮鋭化部と、データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、前記フリンジデータを前記鮮鋭化画像データに寄与させる程度を示すゲインを、前記対象物ビリーフ値に基づいて、前記画素データに対して求めるゲイン生成部と、を備え、前記ゲイン生成部は、それぞれが１つの描画対象物に対応する複数の前記対象物検出部であって、互いに異なる描画対象物に応付けられた複数の前記対象物検出部によって求められた各対象物ビリーフ値を制御し、制御された各対象物ビリーフ値に基づいて、前記デジタル画像データに含まれる画素データに対するゲインを求め、前記鮮鋭化部は、求められたゲインに基づいて前記鮮鋭化画像データを求めることを特徴とする。また、本発明は、複数の画像画素を有するデジタル画像を描画対象物に応じて鮮鋭化するデジタル画像鮮鋭化装置であって、デジタル画像データと、当該デジタル画像データに対してフィルタ処理を施したデータとの差異を示すフリンジデータを求めるフリンジデータ生成部と、前記デジタル画像データおよび前記フリンジデータに基づいて鮮鋭化画像データを求め鮮鋭化部と、データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、前記フリンジデータを前記鮮鋭化画像データに寄与させる程度を示すゲインを、前記対象物ビリーフ値に基づいて、前記画素データに対して求めるゲイン生成部と、を備え、前記ゲイン生成部は、それぞれが１つの描画対象物に対応する複数の前記対象物検出部によって求められた各対象物ビリーフ値に基づいて、前記デジタル画像データに含まれる画素データに対するゲインを求め、前記鮮鋭化部は、求められたゲインに基づいて前記鮮鋭化画像データを求め、前記デジタル画像鮮鋭化装置は、さらに、データに含まれる変調成分がノイズによるものである可能性を示すノイズビリーフ値を、前記デジタル画像データの信号対ノイズ比に基づいて、前記画素データに対して求めるノイズビリーフ値生成部を備え、前記鮮鋭化部は、求められたゲインが所定の範囲を超え、前記ノイズビリーフ値が、それに対応する画素のノイズが大きいとの高ビリーフであることを示す領域に対しては、当該ゲインを当該ノイズビリーフ値に基づいて制限した値を調整後ゲインとして求め、その他の領域に対しては、当該ゲインを調整後ゲインとして求め、求められた調整後ゲインに基づいて前記鮮鋭化画像データを求めることを特徴とする。
【００１３】
また、本発明に係るデジタル画像鮮鋭化装置においては、前記デジタル画像データからサンプル画素データを摘出する画像サンプラを備え、前記対象物検出部は、各サンプル画素データに対して前記対象物ビリーフ値を求め、前記ゲイン生成部は、各サンプル画素データに対して求められた前記対象物ビリーフ値に基づいて、各サンプル画素に対するゲインを求め、前記各サンプル画素間の画素に対するゲインを、前記各サンプル画素に対して求められたゲインに基づく補間処理によって求めることが好適である。
【００１４】
【発明の実施の形態】
以下の説明において、本発明の実施形態はソフトウェアプログラムとして実現された方法として述べられている。当業者は、このようなソフトウェアと同等物をハードウェアで構成することができると容易に認識できる。画像改良アルゴリズムと方法は周知であるため、本願の説明は特に、本発明による方法とシステムの一部を構成する、あるいはより直接的にこれと協働する要素について行うものとする。本願において特に示されていない、あるいは説明されていないその他の要素および、画像信号生成および他の処理のためのハードウェアおよび／またはソフトウェアは、当業界で知られている材料、コンポーネント、要素から選択することができる。以下の資料において本発明に従って示され、説明されているシステムと方法について、本発明の実行にとって有益な、本願で具体的に示されていない、説明または提案されていないソフトウェアは従来のものであり、当業界における一般的技術である。
【００１５】
さらに、ここで使用されているように、コンピュータプログラムはコンピュータが読み出すことのできる記憶媒体に記憶させることができる。この記憶媒体には、たとえば磁気ディスク（ハードドライブやフレキシブルディスク）または磁気テープ等の磁気記憶媒体、光ディスク、光テープまたは機械判読可能なバーコード等の光学記憶媒体、ランダムアクセスメモリ（ＲＡＭ）またはリードオンリーメモリ（ＲＯＭ）等のソリッドステート電子記憶装置あるいはその他、コンピュータプログラムを記憶するのに使用される物理的装置または媒体がある。
【００１６】
デジタル画像は一般に、ひとつまたは複数の二次元アレイを含む。たとえば、カラーデジタル画像には、それぞれ赤、緑、青の画素値を示す３つのアレイが含まれ、単色画像には光の強度に対応する画素値の１つのアレイが含まれる。呼び方の問題については、デジタル画像のｘ番目の行とｙ番目の列を指す座標（ｘ，ｙ）に位置する画像の画素の数値は、本願において、位置（ｘ，ｙ）におけるそれぞれ赤、緑、青のデジタル画像チャネルの数値を指す３つの値のセット［ｒ（ｘ，ｙ），ｇ（ｘ，ｙ），ｂ（ｘ，ｙ）］である。この点において、デジタル画像は特定の数のデジタル画像チャネルを有するものと考えることができる。赤、緑、青の二次元アレイを含むデジタル画像の場合、この画像は３つのチャネル、つまり赤、緑、青の分光チャネルを有する。
【００１７】
一般に、本発明は、（画像の、ある局所領域に加えられる）鮮鋭化の適用量がその局所領域に存在するノイズの量とその局所領域における意味（semantic）情報に関する鮮鋭化目標レベルの両方に依存する画像鮮鋭化方法を説明する。ここで用いる意味（semantic）という用語は、観察者がある領域に割り当てるであろう意味を指す。たとえば、領域の意味コンテンツは、人間の顔、ビル、雲、空といったオブジェクトである。
【００１８】
図１において、ｘ０個の行とｙ０個の列を有する画像ｉ（ｘ，ｙ）がノイズマップ発生器４に入力され、ノイズ画素ビリーフマップＮ（ｘ，ｙ）が生成される。好ましくは、画像ｉ（ｘ，ｙ）は高解像度で、たとえば、一例となる高解像度の画像はｘ₀＝１０２４行、ｙ₀＝１５３６列の画素を有する。ノイズ画素ビリーフマップとは、ある画素に関して発生する強度（intensity）の偏差が画像のコンテンツではなく、画像成形システムにおけるノイズによるものであるビリーフ（確信の度合）を示すマップである。
【００１９】
画像成形システムのノイズは強度によって異なる。したがって、所与の強度レベルにおけるノイズによる変調（modulation）は、予想可能である。観察された変調が予想したノイズ変調より大きい場合、その変調は画像のコンテンツによるものであるというビリーフが強い。観察された変調が予想したノイズより小さい、あるいはこれと同等であると、その変調はノイズによるものであるというビリーフが強い。好ましくは、ビリーフは０から画素がノイズの大きい画素である１００％までの確率として表す。均一な画像領域（たとえば晴れた青空）の場合、通常、その画素はノイズが大きい画素であるというビリーフが高く、混雑した領域（たとえば髪や草）に属する画素の場合、その画素はノイズが大きい画素であるというビリーフは低くなる、あるいは０となる。
【００２０】
ノイズ画素ビリーフマップＮ（ｘ，ｙ）は、好ましくは、画像ｉ（ｘ，ｙ）と同じサイズである。また、ノイズ画素ビリーフマップのビリーフ値は好ましくは、局地での信号分散（画像画素の数値に対して測定）と予想されるノイズ量の両方を考慮して生成される。たとえば、前述のデニソン他(Dennison et al.)による米国特許第４，７６１，８１９号は、局地での分散Ｖ（ｉ，ｊ）と予想されるノイズレベルＶ（ｎｏｉｓｅ）の両方に依存する信号Ｇ（ｉ，ｊ）の生成を開示している。このように、ノイズ画素ビリーフマップは、信号対ノイズ比が低い確率が高い（つまり、ノイズの大きい画素である確率が高い）画素または領域を示す。Ｇ（ｉ，ｊ）等の信号は、画像処理技術において知られているルックアップテーブル（ＬＵＴ）または一次関数を使って、ノイズ画素ビリーフマップに容易に変換できる。たとえば、ノイズ画素ビリーフマップの数値は、Ｇ（ｉ，ｊ）＞ｔ₁の場合の０、Ｇ（ｉ．ｊ）＜ｔ₂の場合の１００で、Ｇ（ｉ，ｊ）がｔ₁とｔ₂との間にある時、０と１００の中間の数値となる。たとえば、ｔ₁＝５、ｔ₂＝１／２である。あるいは、２００１年６月２７日に公開されたギャラー他(Gallagher Et al.)による欧州特許出願第１１１１９０６Ａ２号は、予想されるノイズの数値を生成する方法は、画素の強度に基づき、これをルックアップテーブルとともに使用してノイズ画素ビリーフマップを作ることができると書いている。
【００２１】
ノイズマップ発生器４によってノイズ画素ビリーフマップを生成する好ましい方法を図２に示す。画像ｉ（ｘ，ｙ）は画像サブサンプラ２２に送られ、これがその画像の低解像度バージョンｉ（ｍ，ｎ）を発生する。低解像度バージョンｉ（ｍ，ｎ）はｍ₀個の行とｎ₀個の列の画素を含み、ここで、ｍ₀＝ｘ₀／２^R，ｎ₀＝ｙ₀／２^R、Ｒはサブサンプルの数を必要な２の係数によって示す画像のサブサンプリング係数である。通常、低解像度画像ｉ（ｍ，ｎ）は、エーリアシングの影響を低減するために、当業界でよく知られているように、フィルタリングと係数Ｒによるサブサンプリングを組み合わせることによって生成される。低解像度画像からノイズ画素ビリーフマップを生成することにより、計算しなければならない画素が少なくなるため、（画像ｉ（ｘ，ｙ）からノイズ画素ビリーフマップを生成する場合と比較し）時間が大幅に削減される。好ましくは、Ｒ＝２であり、これによって画像ｉ（ｘ，ｙ）について同じ操作を行うのに必要な処理時間の約９４％が削減される。
【００２２】
低解像度画像ｉ（ｍ，ｎ）は、各位置において鮮鋭化すべき画像チャネルの局地の信号対ノイズ比ＳＮＲ（ｍ，ｎ）を計算するためのＳＮＲ計算機２４に入力される。局地における信号対ノイズ比は、画像ｉ（ｘ，ｙ）の色チャネルの数に関係なく、各位置（ｍ，ｎ）でひとつの数値として表される。以下に詳しく説明するが、好ましい鮮鋭化は、画像のひとつのチャネル、輝度チャネルｌ（ｘ，ｙ）に適用される。輝度チャネルは、画像のすべての色チャネルを線形にまとめることによって作られる。たとえば、
【数１】

ここで、
Ｃは画像チャネル数
ｃ_nは画像ｉ（ｘ，ｙ）のｎ番目の色チャネル
ａ_nはｎ番目の色チャネルに関する係数加重ファクタ（coefficient weighting factors）である。すべての係数加重ファクタの合計は、好ましくは１．０である。以下、赤、緑、青チャネルを有する画像ｉ（ｘ，ｙ）の場合、赤、緑、青の係数加重ファクタの好ましい数値はすべて等しく１／３である。
【００２３】
各画素位置における局地の信号対ノイズ比を計算するために、ＳＮＲ計算機２４は各画素位置における予想されるノイズの大きさを判断しなければならない。先行技術による方法において、予想されるノイズの大きさは鮮鋭化すべきチャネル、たとえば輝度チャネルからのみ計算される。しかし、各種のチャネルからの何種類もの画素数値の組み合わせにより、等式１を通じて同一の輝度チャネルが形成される場合があることを認識しなければならない。このため、画像の領域が同じ平均輝度値をもちながら、予想されるノイズ値が大きく異なるということが往々にしてある。
【００２４】
ＳＮＲ計算機２４は、以下の等式で輝度チャネルの局地ＳＮＲを判断する。
【００２５】
【数２】

ここで、
σ_n（ｍ，ｎ）は、好ましくは位置（ｍ，ｎ）に中心を置く５ｘ５のウィンドウについて測定された輝度チャネルにおける画素の局地標準偏差である。
【００２６】
σ_k（ｉ（ｍ，ｎ））は、ｉ（ｍ，ｎ）の各色チャネルにおいて予想されるノイズのレベルに基づき、鮮鋭化される画像チャネル（好ましくはｉ（ｍ，ｎ）の輝度チャネル）での画素のノイズの予想される標準偏差である。
【００２７】
ｓｉｇｎ［ｑ］は、ｑ＜０であると−１，その他であると１である。
【００２８】
σ_k（ｉ（ｍ，ｎ））の数値は、輝度チャネルを作るのに使用される係数加重ファクタ、ノイズテーブル、サブサンプリング係数Ｒおよびサブサンプルされた画像ｉ（ｍ，ｎ）の画素数値等のいくつかの項目の関数である。
【００２９】
σ_k（ｉ（ｍ，ｎ））の数値は、次のように表される。
【数３】

ここで、
Ｒは画像サブサンプラ２２によって使用されるサブサンプリングレベルの数である。好ましくは、Ｒ＝２である。
【００３０】
Ｒ_fは、ノイズの標準偏差を各解像度レベルで低減する比率である。相関性のないノイズの場合、Ｒ_f＝２である。実際のフィルムデータの場合、Ｒ_f＝１．７は小さな数値のＲ（Ｒ＜＝３）について大まかに修正される。
【００３１】
σ_cn［ｑ］は、画像色チャネルｃ_nに関する強度ｑにおけるノイズの標準偏差である。ノイズテーブルは、たとえば２０００年１２月２７日に公開されたギャラー他(Gallagher et al.)による欧州特許出願第１０６３６１１Ａ２号において述べられているように、この関係を表している。図３は、カラー写真のネガを走査することによって作られたデジタル画像に関する赤、緑、青の色チャネルを有する画像のノイズテーブルをプロットしたものである。ノイズテーブルは、画像ｉ（ｘ，ｙ）の解像度における各色チャネルの強度と予想されるノイズの大きさとの関係を示すことに注意する。等式（３）の項１／Ｒ_f ^Rは基本的に、フル解像度テーブルを画像ｉ（ｍ，ｎ）の解像度に調整するための補正係数である。
【００３２】
ＳＮＲ計算機２４は、ｉ（ｍ，ｎ）の各画素位置における信号対ノイズ比を示すマップＳＮＲ（ｍ，ｎ）を出力する。このマップは、ノイズ画素分類器２６に入力され、信号対ノイズ比マップはノイズ画素ビリーフマップに変換される。これは、画像処理業界において周知のように、ルックアップテーブル（ＬＵＴ）または一次関数を使って行われる。たとえば、ノイズ画素ビリーフマップの数値は、図４に示すように、ＳＮＲ（ｍ，ｎ）＞ｔ₃のときは０、ＳＮＲ（ｍ，ｎ）＜ｔ₄のときは１００、Ｇ（ｉ，ｊ）がｔ₃とｔ₄の間であると、０と１００の中間値となる。ノイズ画素ビリーフマップは次に、補間回路２８によって、画像ｉ（ｘ，ｙ）の解像度に合わせて補間される。
【００３３】
当業者には、ノイズマップ発生器２４にノイズ画素ビリーフマップの外観にわずかな影響しか与えない特定の変更を、比較的容易に加えることができることがわかるであろう。たとえば、等式２において輝度チャネルの局地偏差を計算する代わりに、輝度チャネルのハイパス部分の局地偏差を計算してもよい。輝度チャネルのハイパス部分における予想されるノイズレベルは、等式３で計算される量に線形に関連している。この関係は、周知の確率変数関数の原理を使い、輝度チャネルのハイパス部分を生成するのに必要なフィルタから得られる。
【００３４】
図１に戻り、画像ｉ（ｘ，ｙ）はゲインマップ発生器２に渡される。ゲインマップ発生器２の目的は、パターン認識から得られる意味ラベルに基づいて、画素ごとまたは領域ごとに鮮鋭化操作のゲインを示すマップを作ることである。ゲインマップは、画素ごとに適用される鮮鋭化レベルを決定するのに使用される制御信号である。ルオ他(Luo et al.)による２００１年１２月１０日出願のＵＳＳＮ１０／０１６，６０１は、アンシャープマスク内のゲインを画素領域の意味コンテンツに基づいて変える方法を開示している。ルオ(Luo)のビリーフマップＭ（ｍ，ｎ）は、特定の画素が、好ましい鮮鋭化レベルが決定された、肌や空といった特定の標的対象物を表すというビリーフを示す。
【００３５】
ビリーフマップは、画像の中のひとつの画素または領域が特定の標的マテリアルを表すという確率を決定する対象物検出器によって作成される。ビリーフは、好ましくは確率として表される。たとえば、各画素値Ｍ（ｍ，ｎ）は、各画素Ｍ（ｍ，ｎ）は１００^*Ｐ（低解像度画像（ｍ，ｎ）は標的マテリアルを示す）に等しく、Ｐ（Ａ）は事象Ａの確率を示す。あるいは、各画素値Ｍ（ｍ，ｎ）はビリーフを示すバイナリ分類を示す。たとえば、ビリーフマップの画素値１は、その画素が標的となる対象物を表すというビリーフを示し、画素値０は、その画素が標的となる対象物を表さないというビリーフを示す。好ましい実施形態において、標的となる対象物は人の肌である。たとえば、画質の点で、人の肌を他の対象物より鮮鋭化の度合いを低くすることが有利である。制御信号β（ｘ，ｙ）は、入力画像の各画素に関すアンシャープマスクのゲインを示す。
【００３６】
図５に示すように、制御信号β（ｘ，ｙ）は、まず画像（または画像の低解像度バージョン）にひとつまたは複数の対象物検出器３２₁，．．．，３２_Iを適用して対象物ビリーフマップを作り、次にビリーフマップアナライザ３４がビリーフマップを各対象物に関する目標鮮鋭化レベルと組み合わせ、ゲインマップ制御信号β（ｘ，ｙ）を生成するという方法で作られる。特定の位置（ｘ，ｙ）における制御信号β（ｘ，ｙ）の数値は、対応する画像の位置における各種のビリーフマップＭ（ｘ，ｙ）の数値に関係する。ビリーフマップのサイズ（ラインと列）が画像のサイズと同じであると仮定すると、ゲインマップ制御信号β（ｘ，ｙ）とビリーフマップＭ（ｘ，ｙ）との好ましい関係は、次の等式によって与えられる。
【００３７】
【数４】

ここで、ｉは、対象物検出器の指数である。たとえば、Ｍ₁（ｘ，ｙ）は、人の肌のビリーフを示すビリーフマップ、Ｍ₂（ｘ，ｙ）は青空のビリーフを示すビリーフマップ、Ｍ₃（ｘ，ｙ）は草のビリーフを示すビリーフマップ、等である。
【００３８】
Ｔ_iは、関連する標的となる対象物において高いビリーフを有する画素に関する制御信号目標値である。Ｔ_iは、目標鮮鋭化レベルといわれる。再び上記の例を用いれば、人の肌についてはＴ₁＝０．５、青空についてはＴ₂＝１．０、緑の草についてはＴ₃＝３．０、等となる。
【００３９】
Ｔ₀は、対象物検出器によって一般に背景と考えられる画素に関する制御信号目標を示す。好ましくは、Ｔ₀＝２．７５である。
【００４０】
図１に戻り、ゲインマップ発生器２によって生成されるゲインマップβ（ｘ，ｙ）は、デジタル画像ｉ（ｘ，ｙ）の特定の領域または画素に適用される鮮鋭化の量を示す制御信号である。好ましい実施形態において、ゲインマップβ（ｘ，ｙ）は、アンシャープマスク鮮鋭化アルゴリズムのゲインパラメータを示す数値によって設定(populate)される。ゲインマップの数値は、ゲインマップ発生器２がそのゲインマップを作成したときの基準に応じて、画素ごとまたは領域ごとに異なる。一般に、ゲインマップβ（ｘ，ｙ）の数値は、肌を示すビリーフが高い画素についての０．５から、空を示すビリーフが高い画素の３．０、背景画素の２．７５へと変化する。ゲインマップ発生器２は、ゲインマップを生成する際、画像のノイズコンテンツを考慮しない。
【００４１】
ノイズマップ発生器４とゲインマップ発生器２はどちらも、画像の低解像度バージョンｉ（ｘ，ｙ）について動作させ、計算費用を削減することができる。
【００４２】
ノイズマップ発生器４によるノイズマップＮ（ｘ，ｙ）とゲインマップ発生器２によるゲインマップβ（ｘ，ｙ）は、ゲインマップ修正器６に入力される。ゲインマップ修正器６の目的は、ノイズ画素ビリーフマップがその画素または領域はノイズが大きいとの高いビリーフを示す領域において、ゲインが所定の限度を超えないように、ゲインマップを修正することである。このために、ゲインマップ修正器は、ノイズの大きい画素に関する鮮鋭化の最大レベルを示すパラメータであるノイズ鮮鋭化限度Ｎ_slを入力する。好ましい実施形態において、ノイズ鮮鋭化限度Ｎ_slは、ノイズ画素ビリーフマップβ（ｘ，ｙ）におけるビリーフの高い画素に関するアンシャープマスクの最大ゲインである。好ましくは、Ｎ_sl＝１．３である。ノイズ鮮鋭化限度は、ノイズの大きい画素すべてについて望まれる鮮鋭化レベルというわけではない。なぜなら、ノイズ画素ビリーフマップの中でノイズが大きい画素として示された画素のいくつかは、すでにゲインマップにおいて、ノイズ鮮鋭化限度より低い鮮鋭化レベルを持っているかもしれないからである。ノイズ鮮鋭化限度は、次の２つの条件が満たされる場合にかぎり、画素のゲイン値に影響を与える。
【００４３】
Ａ．ゲインマップβ（ｘ，ｙ）における画素のゲイン値がノイズ鮮鋭化限度Ｎｓｌより大きい。
【００４４】
Ｂ．その画素についてのその画素はノイズの大きい画素であるというビリーフがゼロではない。
【００４５】
画像ノイズを考慮する最終ゲインマップβ_n（ｘ，ｙ）がゲインマップ修正器６から出力される。最終ゲインマップは、上記Ａ，Ｂの要件を満たす次の等式で生成される。
【００４６】
β_n(x,y)＝min[β(x,y),N_sl]+N(x,y)・(max[β(x,y),N_sl]- N_sl) (5)
ここで、
ｍｉｎ（β（ｘ，ｙ），Ｎ_sl）はβ（ｘ，ｙ）と同じ数の行と列を有する画像である。この画像は、Ｎ_slより大きなすべての画素についてはβ（ｘ，ｙ）と同じ、それ以外はＮ_slと等しい。
【００４７】
ｍａｘ（β（ｘ，ｙ），Ｎ_sl）は、β（ｘ，ｙ）と同じ数の行と列を有する画像である。この画像は、Ｎ_slより小さいすべての画素についてはβ（ｘ，ｙ）と同じ、それ以外はＮ_slと等しい。
【００４８】
ゲインマップ修正器６によって決定される最終ゲインマップβ_n（ｘ，ｙ）は次に、画像鮮鋭化手段１０に入力される。本発明の好ましい実施形態において、最終ゲインマップβ_n（ｘ，ｙ）はアンシャープマスクのスケールファクタであるが、ゲインマップ修正器６の機能は、スケールファクタの利用に限られることなく、鮮鋭さに関する他の決定を使用することもできる。たとえば、画像鮮鋭化手段１０が実行する鮮鋭化畳み込みにおいて使用されるフィルタは、ビリーフマップの分析に基づき、ゲインマップ修正器６によって決定できる。
【００４９】
画像ｉ（ｘ，ｙ）と最終ゲインマップβ_n（ｘ，ｙ）は、画像鮮鋭化装置に送られ、ここで最終ゲインマップβ_n（ｘ，ｙ）に応じて画像の鮮鋭化が行われる。
【００５０】
画像鮮鋭化手段１０は鮮鋭化パラメータを入力し、この鮮鋭化パラメータを使って画像に鮮鋭化アルゴリズムを適用し、不快な鮮鋭さのアーチファクトを発生させることなく、鮮鋭化されたより質の高い出力画像を生成する。好ましい実施形態において、鮮鋭化手段１０は、以下の等式で説明されるように、最終ゲインマップβ_n（ｘ，ｙ）を使って画像にアンシャープマスキングアルゴリズムを適用し、改善された画像を生成する。たとえば、アンシャープマスクを使用した画像の鮮鋭化は、次の式で説明できる。
【００５１】
s(x,y)＝i(x,y)^**b(m,n)+β_n(x,y)f(i(x,y)-i(x,y)^**b(m,n)) (6)
ここで、
ｓ（ｘ，ｙ）＝鮮鋭化された出力画像
ｉ（ｘ，ｙ）＝原入力画像
ｂ（ｍ，ｎ）＝ローパス畳み込みフィルタ（好ましくは、標準偏差あたり１画素サイズのガウシアンローパスフィルタ。５ｘ５フィルタのフィルタ係数は次のとおり
［０．００３０．０１３３０．０２１９０．０１３３０．００３
０．０１３３０．０５９６０．０９８３０．０５９６０．０１３３
０．０１９０．０９８３０．１６２０．０９８３０．０２１９
０．０１３３０．０５９６０．０９８３０．０５９６０．０１３３
０．００３０．０１３３０．０２１９０．０１３３０．００３］）。
β_n（ｘ，ｙ）＝最終ゲインマップ
ｆ（ｘ，ｙ）＝フリンジ関数
^**は、二次元畳み込みを示す。
（ｘ，ｙ）は、画像のｘ番目の行、ｙ番目の列を示す。
（ｍ，ｎ）は、畳み込みフィルタのｍ番目の行、ｎ番目の列を示す。
【００５２】
当業者は、複数のチャネルを有するカラー画像にアンシャープマスキング（等式（１）で示すもの等）を適用するにはいくつかの方法があることがわかるであろう。たとえば、アンシャープマスクプロセスを、カラー画像の各チャネルに適用できる。好ましくは、アンシャープマスクプロセスは、次のように適用する。
【００５３】
入力画像が赤、緑、青の色チャネルで構成されるカラー画像であるとすると、まず画像にマトリクスを適用し、輝度チャネルと２つまたはそれ以上の色差チャネルを作る。次に、アンシャープマスクプロセスを輝度チャネルに適用する。最後に、逆マトリクスを輝度および色差チャネルに適用し、赤、緑、青のチャネルを有する改善されたカラー画像を得る。
【００５４】
あるいは、アンシャープマスクプロセスは、ひとつの画像チャネルだけ（たとえば緑チャネル）に適用し、修正されたハイパスデータを各色チャネルと加算し、改善されたカラー画像を得ることもできる。アンシャープマスクプロセスに対する上記およびそれ以外の同様な変更や改善は、当業者にとって十分に理解できる。その使用の具体的事柄は基本的に、可変ゲイン鮮鋭化のための鮮鋭化パラメータを選択する方法には関係がないため、特定の使用態様が本発明の範囲を限定することにはならない。
【００５５】
等式（６）と本発明では、アンシャープマスクによって行われる画像に対する鮮鋭化を一般的に説明しているが、当業者であれば必ずしもこれに限られないことを認識できるであろう。等式（６）のフリンジ関数ｆ（）が恒等式であるとすると、アンシャープマスクプロセスは、画像に畳み込みとともに適用し、アンシャープマスクと同じ結果を生むことのできる単独フィルタとして構成しなおすことができる。たとえば、ｂ（ｘ，ｙ）のフィルタ係数を次のように仮定する。
【００５６】
【数５】

次のように与えられる係数を有する畳み込みフィルタｃ（ｘ，ｙ）を使用すると、
【数６】

等式（１）のアンシャープマスクにおいてフィルタｂ（ｘ，ｙ）を使った場合と同じ結果が得られる。代数およびデジタル信号処理において周知の方法で決定されるように、画像鮮鋭化手段１０における動作をグループ分けすることによって好ましい実施形態を変更することは、当業者にとって自明であり、本発明の範囲に含まれる。いずれの場合も、フィルタの係数は位置（ｘ，ｙ）周辺の画素値とは関係がない。
【図面の簡単な説明】
【図１】本発明の第一の実施形態による画像を鮮鋭化する技術を示すブロック図である。
【図２】図１に示すノイズマップ発生器のブロック図である。
【図３】サンプルノイズテーブルを示すグラフである。
【図４】ＳＮＲ（ｍ，ｎ）画像からノイズ画素ビリーフマップＮ（ｍ，ｎ）に変換するために使用するルックアップテーブルである。
【図５】図１に示すゲインマップ発生器のブロック図である。
【符号の説明】
２ゲインマップ発生器、４ノイズマップ発生器、６ゲインマップ修正器、１０画像鮮鋭化手段、２２画像サブサンプラ、２４ＳＮＲ計算機、２６ノイズ画素分類器、２８画像補間回路、３２対象物検出器、３４ビリーフマップアナライザ。

Claims

複数の画像画素を有するデジタル画像を、そのデジタル画像のノイズコンテンツに応じて鮮鋭化させるデジタル画像鮮鋭化装置であって、
デジタル画像データと、当該デジタル画像データに対してフィルタ処理を施したデータとの差異を示すフリンジデータを求めるフリンジデータ生成部と、
前記デジタル画像データおよび前記フリンジデータに基づいて鮮鋭化画像データを求める鮮鋭化部と、
データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、
前記フリンジデータを前記鮮鋭化画像データに寄与させる程度を示すゲインを、前記対象物ビリーフ値に基づいて、前記画素データに対して求めるゲイン生成部と、
データに含まれる変調成分がノイズによるものである可能性を示すノイズビリーフ値を、前記デジタル画像データの信号対ノイズ比に基づいて、前記画素データに対して求めるノイズビリーフ値生成部と、
を備え、
前記鮮鋭化部は、
求められたゲインが所定の範囲を超え、前記ノイズビリーフ値が、それに対応する画素のノイズが大きいとの高ビリーフであることを示す領域に対しては、当該ゲインを当該ノイズビリーフ値に基づいて制限した値を調整後ゲインとして求め、その他の領域に対しては、当該ゲインを調整後ゲインとして求め、求められた調整後ゲインに基づいて前記鮮鋭化画像データを求めることを特徴とするデジタル画像鮮鋭化装置。
複数の画像画素を有するデジタル画像を描画対象物に応じて鮮鋭化するデジタル画像鮮鋭化装置であって、
デジタル画像データと、当該デジタル画像データに対してフィルタ処理を施したデータとの差異を示すフリンジデータを求めるフリンジデータ生成部と、
前記デジタル画像データおよび前記フリンジデータに基づいて鮮鋭化画像データを求める鮮鋭化部と、
データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、
前記フリンジデータを前記鮮鋭化画像データに寄与させる程度を示すゲインを、前記対象物ビリーフ値に基づいて、前記画素データに対して求めるゲイン生成部と、
を備え、
前記ゲイン生成部は、
それぞれが１つの描画対象物に対応する複数の前記対象物検出部であって、互いに異なる描画対象物に応付けられた複数の前記対象物検出部によって求められた各対象物ビリーフ値を制御し、制御された各対象物ビリーフ値に基づいて、前記デジタル画像データに含まれる画素データに対するゲインを求め、
前記鮮鋭化部は、
求められたゲインに基づいて前記鮮鋭化画像データを求めることを特徴とするデジタル画像鮮鋭化装置。
複数の画像画素を有するデジタル画像を描画対象物に応じて鮮鋭化するデジタル画像鮮鋭化装置であって、
デジタル画像データと、当該デジタル画像データに対してフィルタ処理を施したデータとの差異を示すフリンジデータを求めるフリンジデータ生成部と、
前記デジタル画像データおよび前記フリンジデータに基づいて鮮鋭化画像データを求める鮮鋭化部と、
データが描画対象物の画素に対応するものである可能性を示す対象物ビリーフ値を、前記デジタル画像データに含まれる画素データに対して求める対象物検出部と、
前記フリンジデータを前記鮮鋭化画像データに寄与させる程度を示すゲインを、前記対象物ビリーフ値に基づいて、前記画素データに対して求めるゲイン生成部と、
を備え、
前記ゲイン生成部は、
それぞれが１つの描画対象物に対応する複数の前記対象物検出部によって求められた各対象物ビリーフ値に基づいて、前記デジタル画像データに含まれる画素データに対するゲインを求め、
前記鮮鋭化部は、
求められたゲインに基づいて前記鮮鋭化画像データを求め、
前記デジタル画像鮮鋭化装置は、さらに、
データに含まれる変調成分がノイズによるものである可能性を示すノイズビリーフ値を、前記デジタル画像データの信号対ノイズ比に基づいて、前記画素データに対して求めるノイズビリーフ値生成部を備え、
前記鮮鋭化部は、
求められたゲインが所定の範囲を超え、前記ノイズビリーフ値が、それに対応する画素のノイズが大きいとの高ビリーフであることを示す領域に対しては、当該ゲインを当該ノイズビリーフ値に基づいて制限した値を調整後ゲインとして求め、その他の領域に対しては、当該ゲインを調整後ゲインとして求め、求められた調整後ゲインに基づいて前記鮮鋭化画像データを求めることを特徴とするデジタル画像鮮鋭化装置。
請求項１から請求項３のいずれか１項に記載のデジタル画像鮮鋭化装置において、
前記デジタル画像データからサンプル画素データを摘出する画像サンプラを備え、
前記対象物検出部は、
各サンプル画素データに対して前記対象物ビリーフ値を求め、
前記ゲイン生成部は、
各サンプル画素データに対して求められた前記対象物ビリーフ値に基づいて、各サンプル画素に対するゲインを求め、前記各サンプル画素間の画素に対するゲインを、前記各サンプル画素に対して求められたゲインに基づく補間処理によって求めることを特徴とするデジタル画像鮮鋭化装置。