JP5237969B2 - デジタル画像中の輪郭の低減 - Google Patents

Description

関連出願への相互参照
本願は2007年1月19日に出願された、「偽輪郭抑制」と題する米国仮出願第60/885,768（代理人整理番号PU070029）の利益を主張し、ここに参照によりあらゆる目的においてその全体を組み込むものである。

技術分野
本開示はデジタル画像処理に関する。

デジタル画像において、グレースケールおよび白黒を含め、色はさまざまなビット深さ（bit depth）で表現される。さまざまな理由のため、ビット深さは減らされることがありうる。たとえば、映画フィルムはしばしばポストプロダクションの間にデジタル化され、そのフィルムはしばしば比較的高いビット深さでデジタル化および処理される。比較的高いビット深さはより多くの色の表現を許容する。いくつかの実装では、フィルム画像のデジタル化されたバージョンは、10ビット毎コンポーネント（bpc: bits per component）またはそれ以上の比較的高いビット深さをもつ。デジタル画像として生成されるコンテンツはしばしば、16bpcのようなさらに高いビット深さでレンダリングされる。ビット深さを減らす一つの理由は、標準精細度および高精細度の消費者DVDプレーヤー上での使用のための圧縮のためには、8bpcのビット深さをもつ画像のほうが望ましいということである。ビット深さの低減は、色量子化と称されうる。

高いビット深さの画像のなめらかな色勾配をもつ領域では、色量子化は、各バンドの色は一定で隣接するバンド間では小さな色差がある複数の「バンド」を生成することがありうる。そのようなバンドどうしの間の境界は、「バンド発生アーチファクト（banding artifact）」とも称される偽輪郭（false contour）として目に見えることがありうる。誤差拡散のような諸方法は、ビット深さ低減プロセスの際の偽輪郭の発生を減らすことをねらいとする。しかしながら、目に見える偽輪郭をもつ量子化された画像が残されることがありうる。場合によっては、バンド発生アーチファクトは、より高いビット深さの画像にすでに存在している。

ある一般的な側面によれば、一つまたは複数のバンドを含むデジタル画像がアクセスされる。前記一つまたは複数のバンドの隣り合うバンドは、該隣り合うバンドの間の輪郭を生じる色の差をもつ。前記デジタル画像の少なくとも一部分に、輪郭の可視性を低下させるアルゴリズムが適用される。アルゴリズムは、前記デジタル画像のある領域において特定の色値をもつピクセルの割合を表す値に基づく。

一つまたは複数の実装の詳細が、付属の図面のおよび以下の記述において記載される。たとえある特定の仕方で記載されていたとしても、実装はさまざまな仕方で構成または具現されてもよいことは明らかなはずである。たとえば、ある実装は方法として実行されてもよいし、あるいはたとえば一組の動作を実行するよう構成された装置、あるいは一組の動作を実行するための命令を記憶する装置といった装置として具現されてもよいし、あるいは信号の形で具現されてもよい。他の側面および特徴は、付属の図面および請求項との関連で参酌される以下の詳細な記述から明白となるであろう。

バンド検出方法のある実装のプロセス流れ図である。 バンド検出方法の別の実装のプロセス流れ図である。 バンド検出およびバンドのスケールの決定の方法のある実装のプロセス流れ図である。 輪郭の可視性を低下させる方法のある実装のプロセス流れ図である。 バンド発生を例解するデジタル画像を示す図である。 バンド検出方法および輪郭の可視性を低下させる方法のある実装の適用後の図５のデジタル画像を示す図である。 バンド発生を現すデジタル画像の一部分の色値のプロットを示す図である。 バンド検出方法および輪郭の可視性を低下させる方法のある実装の適用後の図７の色値のプロットを示す図である。 バンド検出方法および輪郭の可視性を低下させる方法を実行する装置のある実装の簡略化したブロック図である。

一つまたは複数の実装は、デジタル画像におけるバンドを識別する方法を提供する。一つまたは複数の実装は、デジタル画像における輪郭の可視性を低下させる方法を提供する。バンドが生じうる応用の例は、ビット深さ削減である。ビット深さ削減が使用される応用の例は、動画像専門家グループ（「MPEG」）規格（たとえばMPEG-1、MPEG-2またはMPEG-4）のような規格に基づくエンコードのために信号を予備処理することにある。ビット深さ削減が使用される応用のもう一つの例は、受け取った信号を表示のために予備処理することにある。

ある実装は、デジタル画像の、バンドおよび輪郭が存在していそうな部分を識別することによってこれらの課題に対処する。ある実装は、諸バンドのスケールを決定することによってこれらの課題に対処してもよい。ここで、前記スケールは、前記諸バンドの幅を示す。ある実装は、輪郭のうち少なくとも一つの可視性を低下させるためにデジタル画像の少なくとも一部分にアルゴリズムを適用してもよい。図１を参照すると、デジタル画像中にバンドが存在するかどうかを判定する方法が示されている。ブロック１００によって示されるように、デジタル画像がアクセスされる。デジタル画像は、色の差をもつ一つまたは複数のバンドを含みうる。「色」とは、典型的にはピクセル値で表現される、グレースケールおよび白黒のさまざまな色を含むと理解される。さらに、デジタル画像は複数の色成分を含んでいてもよいし、あるいは単に単一の色成分を含んでいてもよい（単一の色成分は、たとえば、グレースケール成分またはたとえば赤、緑または青といった伝統的な色成分を表しうる）。

バンドの例として、図５を参照すると、画像３００は複数のバンドをもつグレースケール画像である。そのうちで最も目に付くバンドは３０５、３１０、３１５および３２０とラベル付けされている。隣り合うバンド間の色の差は、隣り合うバンド間の輪郭に帰結する。図５では、バンドは輪郭３０６、３１１および３１６によって隔てられている。デジタル画像は量子化されたピクセルを含んでいてもよく、バンドは量子化アーチファクトの帰結であってもよい。量子化アーチファクトの一例として、ある領域にわたって漸進的な色の変化がある画像を考えよう。その画像がより低いビット深さに量子化されるとき（あるいはアナログ画像が最初にデジタル化されるとき）、色の漸進的な変化は、ある値から隣接値に色が変化するバンドによって隔てられた、一様な色の一連の領域に転化しうる。

図１のブロック１０５で一般的に示されるように、前記デジタル画像の少なくとも一部分が、一つまたは複数のバンドの存在について、少なくとも二つの候補スケールに基づいて評価される。デジタル画像の少なくとも一部分をバンドについて評価するこの動作はまた、バンドのスケールを決定することをも含む。さまざまな実装において、アクセスすることは、デジタル画像のどの部分または領域にバンドが存在するまたは存在しそうであるかを決定することを含んでいてもよい。

図２を参照すると、デジタル画像のある部分にバンドが存在するかどうかを判定するもう一つの方法が示されている。ブロック１５０によって示されるように、デジタル画像がアクセスされる。デジタル画像は、色の差をもつ一つまたは複数のバンドを含むことがありうる。ブロック１５５に示されるように、デジタル画像の少なくとも一部分が、バンドの存在についてアクセスされる。このアクセスするステップは、さらにブロック１５５に示されるように、前記一部分の中のピクセルのうち、前記一部分の中のある特定のピクセルの色値からあるオフセット値だけオフセットされた色値をもつピクセルの割合を決定することを含んでいてもよい。そのようなアルゴリズムはさらにのちに説明する。

バンドの存在についてデジタル画像を評価した結果が、バンドが存在するという判定を与える結果となる場合、処理フローはさらに、たとえば、バンドのスケールを決定し、決定されたスケールに基づくアルゴリズムを適用してバンドを軽減する動作を含んでいてもよい。アルゴリズムは、一つまたは複数のピクセルまたはピクセル・コンポーネントの色値の値を変更するディザリング・アルゴリズムであってもよい。

輪郭の軽減は、典型的には輪郭の可視性の低減と称される。輪郭は一般に、エッジまたは線として特徴付けることができる。輪郭の可視性が下がるのは、たとえば、輪郭が閲覧者に対して前よりも目に付かなくなる場合、輪郭を横切ってのピクセル値の遷移が輪郭にわたって平均して低下する場合、および／または輪郭の長さが短縮される場合である。輪郭の可視性を低減することは、輪郭を分解する様相を与えうる。

図３を参照すると、一つまたは複数のバンドの存在についてデジタル画像の少なくとも一部分にアクセスする方法についてのプロセス流れ図が示されている。この実装において、バンド発生について最もありそうなスケールについての推定がなされる。その最もありそうなスケールにおいて、バンド発生の十分な可能性があるかどうかの判定がなされる。

ある実装では、バンド発生の最もありそうなスケールの決定は、画像中の一つまたは複数のピクセルにおいてなされる。スケールの決定は、画像中の複数ピクセルについてピクセルごとになされてもよい。決定は、画像中の各ピクセルについて、あるいは画像中の諸ピクセルの何らかの一部分について、ピクセルごとになされてもよい。ブロック２００を参照すると、プロセス・フローは、第一のピクセルを検討のために選択することによって開始されうる。プロセス・フローは、ブロック２０５によって示されるように、第一のスケールを選択することによって継続しうる。スケールは、バンド発生について評価されるべきピクセルを含む領域または近傍の大きさを表しうる。領域の形はいかなる形であってもよい。例として、近傍は円形で前記ピクセルを中心としていてもよい。例として、近傍は長方形の形であってもよい。一例では、第一のスケールは、正方形の形および5ピクセルかける5ピクセルの寸法をもつ近傍に対応してもよく、第二のスケールは10ピクセルかける10ピクセルの近傍に対応してもよく、第三のスケールは15ピクセルかける15ピクセルの近傍に対応してもよい。近傍の大きさおよび諸近傍の相対的な大きさは変わってもよい。

ブロック２０５によって示されるように、特定のピクセルについて候補スケールが選択される。次いで、候補スケールに基づいて領域（または近傍）が決定される。次いで、ブロック２１０によって示されるように、オフセット値が選択される。次いで、ブロック２１５によって示されるように、決定された領域内のピクセルのうち、前記特定のピクセルの色値からある第一のオフセット値だけオフセットされた色値をもつピクセルの割合が決定される。例として、第一のオフセット値は正の1であってもよい。動作２１５は、オフセット1を使って、前記領域内のピクセルのうち、動作２００で選択された第一のピクセルのピクセル値より1大きいピクセル値（色値）をもつピクセルの割合を決定する。

ブロック２２０によって示されるように、選択されたオフセット（２１０）がその特定のピクセルおよび候補スケールについての最後のオフセット値でない場合、プロセス・フローは、その特定の候補スケールおよびその特定のピクセルについての次のオフセット値に進む。次のオフセット値に進むことは、判断ブロック２２０の「NO」分枝によって示される。実装は、多様な可能なオフセット値のうちのいずれを使ってもよい。

たとえば、オフセット値は正の1、0および負の1に選ばれてもよい。その際、プロセスは、特定のピクセルおよびスケールについて、これらのオフセット値の三つすべてを通じてループすることになる。他のおよび追加的な整数オフセット値が使用されてもよいことは理解されるであろう。あるピクセルのまわりのある領域内でのバンド発生の存在は一般に同じ色値またはあるピクセルの色値から1しか違わない色値をもつピクセルの大きな割合に反映されるので、三つのオフセット値の使用が望ましいことがありうる。

（選択されたスケールおよびピクセルについて）可能なオフセット値のそれぞれについて、動作２１５で前記割合が決定されたのち、ブロック２２５によって示されるように、信頼値が取得される。さまざまな実装において、信頼値は、バンド発生アーチファクトの視覚的有意性を示す因子に、バンド発生が存在している可能性を示す因子を乗算することによって取得されてもよい。こうして、たとえバンド発生が存在していそうだとしても、バンド発生アーチファクトの視覚的有意性の可能性が低い場合には、信頼因子は低くなり、バンド除去（debanding）プロセスをその画像に適用することに対する正当性は比較的低いことが示される。同様に、領域内のバンド発生の存在の可能性が低い場合には、画像にバンド除去プロセスを適用することに対する正当性は比較的低くなる。

ある実装では、信頼値c(s)は次のように表現される：

ここで：
p(0,s)は、特定のピクセルと同じ色値をもつ、スケールsによって定義される領域中のピクセルの割合または確率であり、
p(−1,s)は、特定のピクセルの色値より1低い色値をもつ、スケールsによって定義される領域中のピクセルの割合または確率であり、
p(1,s)は、特定のピクセルの色値より1高い色値をもつ、スケールsによって定義される領域中のピクセルの割合または確率である。

式(1)は、上記の一般的な形である。すなわち、式(1)は、バンド発生アーチファクトの視覚的有意性を示す第一の因子に、バンド発生が存在する可能性を示す第二の因子を乗算する。

領域内で同じ色値をもつピクセルの割合は、上記したようなバンド発生アーチファクトの視覚的有意性の指標である。p(0,s)の値が小さい場合、比較的少数のピクセルが選択されたピクセルと同じ色値をもつ。結果として、その領域が、選択されたピクセルから色値において1の変化の遷移を表すバンドを含んでいる場合、そのバンドが目に見える可能性は低くなる。

式(1)における項

は、バンド発生が存在する可能性を表す。この項は、二つの分数の和として表現されうる。第一の分数は、選択されたピクセルより1小さい色値をもつピクセルの割合を、同じ色または前記ピクセルの値より1小さい値のいずれかをもつピクセルの割合の和で割ったものである。第二の分数は、選択されたピクセルの色値より1大きい色値をもつピクセルの割合を、同じ色または前記ピクセルの値より1大きい値のいずれかをもつピクセルの割合の和で割ったものである。ある領域中の多数のピクセルが選択されたピクセルから色値において1だけ変わっている場合、前記分数の一方が比較的高い値をもつことになり、上記の項は比較的高い値をもつことになる。互いから値1だけ変化している多数のピクセルは、バンドを含む領域の特徴である。他方、この項の値が低い場合、選択されたピクセルの色値から1だけ変わる色値をもつ比較的少数のピクセルがある。このことは、その領域中におけるバンド発生の可能性が低いことを示す。

あるいはまた、項

は

で置き換えてもよい。この代替的な項も、選択されたピクセルの色値から1だけ異なる色値をもつピクセルの比較的高い割合がある場合には比較的高い値をもつ。この代替形は、二つの項のうちの大きいほうにのみ焦点を当てる。二つの項のうちのいずれも、他方の項に関わりなくバンド発生を生じさせることができるからである。すなわち、（たとえば）＋1のピクセル・オフセットの大きな割合がある場合、（たとえば）−1のピクセル・オフセットの大きな割合があろうとなかろうと、バンド発生は起こると想定されうる。

前記の代替的な項は、バンド発生はないのに選択されたピクセルの色値に近い色値をもつピクセルを比較的多数もつ領域における高い信頼スコアを回避することにおいて望ましいことがありうる。たとえば、バンド発生がない一つの例では、いずれの項も特に大きくないが、和はバンド発生が存在していることを（この例の場合、誤って）示唆するのに十分大きい。

そのスケールについての信頼スコアを取得したのち、プロセス・フローは、諸領域をバンドをもつものであると不適切に識別してしまう危険を低減するステップに進む。このステップは、選択されたピクセルと同じ色値をもつピクセルの割合（p(0,s)）が少なくともある閾値であるかどうか、および、1大きい色値（p(1,s)）または1小さい色値のいずれかをもつピクセルの割合（p(−1,s)）が少なくともある閾値であるかどうかを判定することを含んでいてもよい。その領域内にバンドがある場合、これらの割合は比較的大きくなる。閾値処理ステップは、図３ではブロック２３０によって示されている。閾値処理ステップは、次式によって表されてもよい：
(2) p(0,s)＞T かつ［p(−1,s)＞Tまたはp(1,s)＞T］
ここで、Tは割合の閾値である。いくつかの実装では、Tは0.2の値をもってもよいが、Tの値は多様でありうる。実装はまた、p(0,s)について使われるTの値を、p(−1,s)およびp(1,s)について使われるTの値とは変えてもよい。より一般には、実装は、いくつのオフセット値を含んでいてもよく（式(2)は−1および1の二つのオフセット値を示している）、各オフセット値およびp(0,s)（オフセット値なし）について異なる閾値を含んでいてもよい。

閾値処理ステップが、このスケールではバンド発生はありそうもないと示す場合、プロセス・フローは、判断ボックス２３０の「NO」分枝によって示されるように次のスケールに進む。閾値処理ステップを成功裏に通過すると、信頼値がそのピクセルについての最も高い信頼値と比較される。その信頼値が記憶されている信頼値より高い場合、その信頼値およびスケールが記憶される。この更新ステップはステップ２３５によって示されている。次いで、ブロック２４０によって示されるように最後のスケールが検査済みとなったのでない限り、プロセス・フローは次のスケールに進む。スケールのいずれもブロック２３０における閾値基準を満たさない場合、その選択されたピクセルにおいてバンド発生はないと結論される。しかしながら、少なくとも一つのスケールがブロック２３０において閾値基準を満たす場合、バンド発生は、その選択されたピクセルにおいて、最高の信頼度をもつスケールに対応する領域において、存在していると判定される。

バンド発生がカラー画像の各ピクセルの各コンポーネントに存在しうることは理解されるであろう。したがって、プロセス・フローは各ピクセルの各コンポーネントについて反復されてもよい。こうして、YUVまたはRBG画像について、前記プロセスは各ピクセルについて三回反復される。YUVまたはRGB画像における各ピクセルには三つの色値が関連付けられている。グレースケール画像では、各ピクセルに関連付けられる色値は一つのみである。

他の実装では、各領域は、一つのスケールにおいてのみ、バンド発生の可能性についてアクセスされる。別の実装では、デジタル画像は任意に一つまたは複数の部分に分割されてもよく、前記諸部分のうちの少なくとも一つがバンド発生の可能性についてアクセスされてもよい。

最後のスケールが識別され、選択されたピクセルの近傍における画像部分内にバンド発生があるとき、その特定のピクセルに関してバンド除去が実施されてもよい。ある実装では、部分的に前記の決定されたスケールに依存するバンド除去プロセスが用いられる。さまざまな実装は、前記ピクセルの確率論的ディザリングを含むバンド除去プロセスを使う。該ディザリングにおいて用いられる確率は、前記ピクセルと同じ色値をもつピクセル（決定されたスケールに対応する近傍中の）の割合および前記ピクセルから1だけオフセットされた色値をもつピクセルの割合を反映してもよい。人間の目は色の何らかの平均化を提供するので、その効果は、バンド発生した領域がそれらの量子化された色値の中間の色値をもつというものとなる傾向がある。異なる色値をもつピクセルの相対的な割合（確率）が、近傍において知覚される平均色値を近似的に決定する。

図４を参照すると、デジタル画像中のバンドの可視性を低下させるためのプロセス流れ図が示されている。ブロック４００によって示されるように、一つまたは複数のバンドISをもつデジタル画像がアクセスされる。デジタル画像がバンドをもつという判定は、図３に関して上記したようなプロセスによって、別のプロセスによって、あるいはデジタル画像の観察によって手動でなされていてもよい。一つまたは複数の輪郭の可視性は、ブロック４０５によって示されるように、デジタル画像のある領域中で特定の色値をもつピクセルの割合を表す値に基づくアルゴリズムを適用することによって低下させられる。前記アルゴリズムは、デジタル画像の少なくとも一部分に適用される。ディザリング・アルゴリズムは、デジタル画像のある領域中で、あるオフセット値だけオフセットされた色値をもつピクセルの割合に基づく確率を含んでいてもよい。

さまざまな実装において、図３を参照して先に説明したプロセスによって「最もありそう（most likely）」と判定されたスケールのような、最もありそうなバンド発生スケールが使用される。あるそのような実装では、最もありそうなスケールが使用され、確率論的ディザリング（probabilistic dithering）・プロセスは、(x,y)位置における当該ピクセルについてのもとの色値I(x,y)をその(x,y)位置における前記ピクセルについての新しい色値J(x,y)に、0から1までの間の乱数rを生成して次の公式を使うことによって、マッピングする。

表式p′(k,s*)＝p(k,s*)／[p(−1,s*)＋p(0,s*)＋p(1,s*)]である。よって、p′(−1,s*)、p′(0,s*)およびp′(1,s*)の和は1であり、前記ピクセルがもとの色値またはオフセット色値の一つをもつ確率は、そのスケールによって定義される領域中でのそれらの色値の相対的な出現率を反映する。値p′(0,s*)はデジタル画像の一部分において、その部分内の特定ピクセルの色値に等しい色値をもつピクセルの割合を表す。値p′(−1,s*)はデジタル画像の一部分において、その部分内の特定ピクセルの色値からあるオフセット値だけオフセットされた色値をもつピクセルの割合を表す。ここではオフセット値はマイナス1である。値p′(1,s*)はデジタル画像の一部分において、その部分内の特定ピクセルの色値からあるオフセット値だけオフセットされた色値をもつピクセルの割合を表す。ここではオフセット値はプラス1である。スケールs*は、図３を参照して上記したプロセスによって決定されるピクセル(x,y)におけるバンド発生の最もありそうなスケールであってもよい。スケールはあるいは別の方法によって選択されてもよい。

別の実装では、確率論的ディザリング・プロセスは以下のアプローチを用いる。このアプローチでは、ピクセルがあるオフセット色値をもつ規格化された確率が調節され、改めて規格化される。更新された値は次のように表される：

ここで、τは比較的小さな値をもつ定数である。これらの調節は、より高い値をもつ前記割合の値は低下させられ、より低い値をもつ前記割合の値は定数になる結果を生じる。両方の値が近い場合、両者は比較的小さな定数に向かって動かされる。それらの値は次いで改めて規格化される。この再規格化ステップは、次の公式を用いてもよい：

この再規格化ステップによって、特定ピクセルと同じ色値をもつピクセルの再規格化された割合と選択された諸オフセット値をもつピクセルの再規格化された諸割合との和は1になる。これらの再規格化された割合は、ディザリングされた色値を得るために乱数発生器とともに用いられる。次の公式が用いられてもよい：

上記と同様、rは0から1までの間の乱数を表す。

ディザリング方法のさらなる実装では、ピクセルの色値の期待される平均値が計算される。期待される平均値は次のように表されうる：
(8) m＝p′(−1,s*)[I(x,y)−1]＋p′(0,s*)I(x,y)＋p′(1,s*)[I(x,y)＋1]
出力ピクセルの色値は、

すなわちmより小さな最大の整数または

である。確率因子qは

として決定される。出力値は確率qをもって値

を割り当てられ、確率(1−q)をもって値

を割り当てられる。0から1までの範囲の値をもつ乱数rを用いて、色値J(x,y)は次のように決定されうる：

このように、mが

よりも

に近い場合は、qの値は比較的小さく、rは大半の場合qより大きくなる。rがqより大きいとき、色値は

となる。よって、mが

より

に近い場合、色値は

よりも

である可能性が高い。mが

より

に近い場合、qの値は比較的大きい。結果として、rは大半の場合qより小さくなる。結果として、mがmより

に近ければ、大半の場合の色値は

である。

いくつかの実装では、画像のビット深さは、バンド検出およびバンド除去が実行された点において増加させられてもよい。この場合、バンド除去の方法は修正されてもよい。あるピクセルにおいてバンド発生が検出されなかった場合、出力値は
(10) J(x,y)＝d_min×I(x,y)
に設定されてもよい。ここで、因子d_minは2を「ビット深さの差」乗したものに等しい。たとえば、ビット深さが1ビット増やされる場合、すべてのI(x,y)値は２倍にされる。バンド発生が検出された場合、色値の平均値の決定は次のように修正されうる：
(11) m＝d_min（p′(−1,s*)[I(x,y)−1]＋p′(0,s*)I(x,y)＋p′(1,s*)[I(x,y)＋1]）
ディザリング・ステップは、式(9)において記載されたのと同じである。平均値より低い整数および平均値より高い整数の値は、ビット深さが同じままである実装におけるよりも近接する。こうして、この実装は、色値における遷移変化をさらになめらかにする。

バンド発生検出およびバンド発生軽減の両方が実行される実装では、ディザリング・ステップの完了後、プロセス・フローは、次のピクセルについてのバンド発生の判定に進みうる。カラー画像に関わる場合、プロセス・フローは同じピクセルについての次の色値に、あるいは、そのピクセルについてすべての色値が完了したならば、次のピクセルに進みうる。

図７を参照すると、画像５００の一部分におけるピクセルについての色値が示されている。バンド５０５内のピクセルは色値25をもち、バンド５１０内のピクセルは色値24をもつ。図８では、画像５００′が示されている。画像５００′はバンド発生およびバンド除去の方法の実装を適用した結果である。図８では、色値をディザリングするステップの結果が見られうる。色値は、いちばん上のライン６１０における比較的高めの平均値から一番下のライン６２０における比較的低めの値まで徐々に変化する。

図７におけるバンド５０５および５１０は、輪郭５１５を生じることが見て取れる。輪郭５１５は、画像５００全体を横切る直線であり、バンド５０５とバンド５１０との間の1ピクセル値の差の結果である。輪郭５１５が直線であり画像５００の全体を横切って延在するという事実はいずれも、一般に、輪郭５１５の可視性を高める傾向がある。これに対し、画像５００′は、ディザリングによって輪郭５１５が除去されているので、そのような輪郭をもたない。画像５００′の生成において、ディザリング・アルゴリズムは、単に画像５００内の輪郭５１５にすぐ隣接するピクセルをディザリングする以上のことをしている。ディザリング・アルゴリズムはむしろ、少なくともこの実装では、画像５００のすべての行および列におけるピクセルをディザリングしている。他の実装はもちろんこれほど徹底的にディザリングする必要はない。

図９は、プロセッサ７００およびメモリ７１０を示す簡略化されたブロック図である。プロセッサ７００は、本稿で記載される一つまたは複数の実装において述べられている方法のステップを実装するよう構成されうる。たとえば、プロセッサ７００は、バンドの存在について画像の一部分にアクセスし、および／または画像の一部分がバンドをもつかどうかを判定するよう構成されうる。メモリ７１０は、プロセッサ７１０にそのようなプロセス・ステップを実行させる命令を含むプログラム・コードを含みうる。メモリ７１０はまた、バンド検出およびバンド除去のステップの前および後にデジタル画像を記憶するメモリ位置を含んでいてもよい。

ある実装では、バンド発生を検出し、バンド発生が検出された画像の領域をバンド除去するステップは、エンコーダにおいて実行されてもよい。たとえば、前記諸ステップは、MPEG-2デジタル圧縮規格のような圧縮規格に従ってエンコードするステップに先立って実行されてもよい。

バンド発生を検出し、バンド発生が検出された画像の領域をバンド除去するステップは、たとえばデコーダにおいて、あるいはデコード後にポストプロセッサにおいて実行されてもよい。たとえば、前記諸ステップは、圧縮されたビデオ・ストリームから画像をデコードするステップの後、かつディスプレイ・ドライバにストリームを与える前に実行されてもよい。少なくとも二つの実装がこの仕方で構成される。第一の実装は、デコーダの出力画像よりも低いビット深さで動作するディスプレイを使用する。この第一の実装では、デコーダの出力画像は、バンド発生を検出しバンド除去するプロセスに先立って、あるいはそのプロセスの間にビット深さを削減される。第二の実装は、デコーダの出力画像よりも高いビット深さで動作するディスプレイを使用する。この第二の実装では、デコーダの出力画像は、バンド発生を検出しバンド除去するプロセスに先立って、あるいはそのプロセスの間にビット深さを増やされる。

バンド発生を検出し、バンドが検出された画像領域をバンド除去するステップは、たとえばフィルタ内で実行されてもよい。たとえば、それらのステップは、フィルタリング・ステップが画像に対して実行された後、かつフィルタリングされた画像がフィルタによって出力される前に実行されてもよい。

バンド発生を検出し、バンドが検出された画像領域をバンド除去するステップは、たとえばエンコーダまたはプリプロセッサ内でエンコードの前に実行されてもよい。たとえば、エンコードされるべきデータの量を減らすために画像に対して色量子化が実行されうる。色量子化に続いて、かつ画像をエンコードする前に、バンド発生を検出し、バンド除去するステップが実行されうる。

諸実装は、バンド発生検出、バンド発生検出におけるスケールの決定および／またはバンド発生を軽減するためのアルゴリズムの適用のために、−1、0および1以外のオフセット値をこれらに加えて使ってもよい。

前記ディザリング方法のいずれの実装も、ピクセルを±1の色値によってディザリングする代わりに、n＞1として±nによってディザリングしてもよい。

前記ディザリング方法のいずれにおいても、デジタル画像のシーケンスを処理するとき、ディザリング確率に時間的相関因子を加えるステップが含められてもよい。たとえば、所与のピクセルI(x,y,t)について、本方法は、直前のフレームにおける同じ位置のピクセル、すなわちピクセルI(x,y,t−1)のディザリング・パラメータを考慮に入れてもよい。たとえば、直前のフレームにおける同位置のピクセルのディザリング・パラメータが、現在のピクセルのディザリング・パラメータを決定する際に考慮に入れられてもよい。これを行う一つの方法は、あるピクセルのディザリング・パラメータがフレームからフレームへと突然変化するのではなく、なめらかに変化することを保証する時間的相関因子を加えることである。ある実装では、直前フレームにおける同位置のピクセルを使うのではなく、直前フレームにおける対応する動き補償されたピクセル（すなわち、I(x−m_x,y−m_y,t−1)）が用いられる。

さまざまな実装において、カラー画像におけるピクセルのすべての色コンポーネントについてスケールが同時に選択されてもよい。たとえば、信頼スコアの計算は、ただ一つのコンポーネントではなくすべての色コンポーネントを考慮に入れてもよい。

諸実装は、次の利点のうちの一つまたは複数を含みうる：（１）異なるスケールのバンド発生アーチファクトの可視性を低下させる、（２）入力画像と同じビット深さをもつまたはより高いビット深さの出力画像におけるバンド発生アーチファクトの可視性を低下させる、（３）比較的低レベルのノイズを加える、（４）平坦な領域に生じる小さな細部を含め画像の微細な詳細を保存する。たとえば、図５を参照すると、小さな対照領域３４０、３４１が示されている。図６を参照すると、ある実装の適用後の画像３００′が示されている。小さな対象領域３４０、３４１はいまだに見える。

本稿に記載される諸実装は、たとえば、方法もしくはプロセス、装置またはソフトウェア・プログラムにおいて実装されうる。たとえ単一の形の実装のコンテキストにおいて議論されているだけであっても（たとえば方法としてのみ論じられていたとしても）、論じられる諸特徴の実装は他の形（たとえば装置またはプログラム）でも実装されうる。装置は、たとえば適切なハードウェア、ソフトウェアおよびファームウェアにおいて実装されうる。諸方法は、たとえばプロセッサなどのような装置において実装されてもよい。プロセッサとは処理装置一般を指し、たとえばコンピュータ、マイクロプロセッサ、集積回路またはプログラム可能な論理デバイスを含む。処理装置はまた、たとえばコンピュータ、携帯電話、ポータブル／パーソナル・デジタル・アシスタント（「PDA」）およびエンドユーザー間の情報の通信を容易にする他の装置といった通信装置をも含む。

本稿に記載されるさまざまなプロセスおよび特徴の実装は、多様な異なる装置またはアプリケーションにおいて、特にたとえばデータ・エンコードおよびデコードに関連する装置またはアプリケーションにおいて具現されてもよい。装置の例は、ビデオ符号化器、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバー、セットトップボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、PDAおよび他の通信装置を含む。明らかなはずだが、装置はモバイルであってもよく、移動式乗物に設置されていてもよい。

さらに、諸方法は、プロセッサによって実行される命令によって実装されてもよく、そのような命令は、たとえば集積回路、ソフトウェア・キャリアまたは他の記憶デバイスといったプロセッサ可読媒体上に記憶されていてもよい。他の記憶デバイスとはたとえば、ハードディスク、コンパクト・ディスケット、ランダム・アクセス・メモリ（「RAM」）または読み出し専用メモリ（「ROM」）といったものである。命令は、プロセッサ可読媒体上に具体的に実現されたアプリケーション・プログラムをなしてもよい。命令はたとえばハードウェア、ファームウェア、ソフトウェアまたは組み合わせの形であってもよい。命令はたとえば、オペレーティング・システム、別個のアプリケーションまたは両者の組み合わせにおいて見出されてもよい。したがって、プロセッサは、たとえば、プロセスを実行するよう構成された装置と、プロセスを実行するための命令を有するコンピュータ可読媒体を含む装置の両方として特徴付けられうる。

当業者には明白であるはずだが、諸実装はまた、たとえば記憶または伝送されうる情報を担持するようフォーマットされた信号を生成してもよい。前記情報は、たとえば、方法を実行するための命令または記載される実装の一つによって生成されるデータを含みうる。そのような信号は、たとえば電磁波として（たとえばスペクトルの電波周波数（radio frequency）部分を使って）、あるいはベースバンド信号としてフォーマットされていてもよい。フォーマットすることはたとえば、データ・ストリームをエンコードすることおよびエンコードされたデータ・ストリームでキャリアを変調することを含みうる。信号が搬送する情報はたとえば、アナログまたはデジタルの情報であってもよい。信号は、既知のように、異なる多様な有線または無線のリンクを通じて伝送されうる。

いくつかの実装が記載されてきた。にもかかわらず、さまざまな修正がなされてもよいことは理解されるであろう。たとえば、異なる実装の諸要素が、組み合わされ、補足され、修正され、あるいは除去されて他の実装を生成してもよい。さらに、当業者は、開示されている構造およびプロセスに代えて他の構造およびプロセスを使ってもよく、結果として得られる実装が、開示されている実装と比べて少なくとも実質的に同じ機能を少なくとも実質的に同じ仕方で実行して少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実装は、本願によって考えられており、付属の請求項の範囲内である。

Claims (32)

1. デジタル画像を処理する方法であって：
   一つまたは複数のバンドを含む前記デジタル画像にアクセスする段階と；
   前記デジタル画像の少なくとも一部分に、隣り合うバンドが色の差をもつ結果として生じる隣り合うバンド間の輪郭の可視性を低下させるアルゴリズムを適用する段階とを有し、前記アルゴリズムは、
   前記デジタル画像の前記少なくとも一部分に一つまたは複数のバンドが存在するかどうかを、前記デジタル画像のある領域において特定の色値をもつピクセルの割合を表す値に基づいて判定し、
   前記デジタル画像の前記領域において前記特定の色値をもつピクセルの前記割合を表す前記値に基づいて前記部分内のピクセルについての色値を選択するディザリング・アルゴリズムを使って、前記デジタル画像の前記少なくとも一部分内のピクセルをディザリングすることを含む、
   方法。
2. 前記特定の色値が、前記領域内のピクセルの色値からある選択されたオフセットによって決定される、請求項１記載の方法。
3. 前記選択されたオフセットが1である、請求項２記載の方法。
4. 前記アルゴリズムが、前記領域内で第二の特定の色値をもつピクセルの割合にも基づく、請求項２記載の方法。
5. 前記第二の特定の色値が、前記領域内の前記ピクセルの前記色値から第二の選択されたオフセットによって決定される、請求項４記載の方法。
6. 前記ディザリング・アルゴリズムが前記領域内のピクセルの期待される平均値に基づき、期待される平均値は前記領域内で前記特定の色値をもつピクセルの前記割合に基づく、請求項１記載の方法。
7. 前記アルゴリズムがビット深さを増加させる、請求項１記載の方法。
8. 前記割合が規格化された割合である、請求項１記載の方法。
9. 前記値は、より大きな値を低下させ、より小さな値を定数で置き換える傾向のある仕方で調節される、請求項１記載の方法。
10. 前記アルゴリズムが前記領域中のピクセルの色値の期待値に基づく、請求項１記載の方法。
11. 前記期待値がビット深さの増加に関係する因子に基づく、請求項１０記載の方法。
12. 前記アルゴリズムが時間的な相関因子を含む、請求項１記載の方法。
13. デジタル画像を処理する装置であって：
    一つまたは複数のバンドを含むデジタル画像にアクセスする手段と；
    一つまたは複数のバンドを含むデジタル画像の少なくとも一部分に、隣り合うバンドが色の差をもつ結果として生じる隣り合うバンドの間の輪郭の可視性を低下させるアルゴリズムを適用するプロセッサとを有しており、前記アルゴリズムは、
    前記デジタル画像の前記少なくとも一部分に一つまたは複数のバンドが存在するかどうかを、前記デジタル画像のある領域において特定の色値をもつピクセルの割合を表す値に基づいて判定し、
    前記デジタル画像の前記領域において前記特定の色値をもつピクセルの前記割合を表す前記値に基づいて前記部分内のピクセルについての色値を選択するディザリング・アルゴリズムを使って、前記デジタル画像の前記少なくとも一部分内のピクセルをディザリングすることを含む、
    装置。
14. 前記デジタル画像の少なくとも前記一部分を記憶する記憶装置をさらに有する、請求項１３記載の装置。
15. 当該装置がエンコーダの一部である、請求項１３記載の装置。
16. 当該装置がデコーダの一部である、請求項１３記載の装置。
17. 当該装置がフィルタの一部である、請求項１３記載の装置。
18. 命令が記憶されている非一時的なプロセッサ可読媒体であって、前記命令は少なくとも：
    一つまたは複数のバンドを含むデジタル画像にアクセスする段階と；
    前記デジタル画像の少なくとも一部分に、隣り合うバンドが色の差をもつ結果として生じる隣り合うバンド間の輪郭の可視性を低下させるアルゴリズムを適用する段階とを実行することによってデジタル画像を処理するための命令であり、前記アルゴリズムは、
    前記デジタル画像の前記少なくとも一部分に一つまたは複数のバンドが存在するかどうかを、前記デジタル画像のある領域において特定の色値をもつピクセルの割合を表す値に基づいて判定し、
    前記デジタル画像の前記領域において前記特定の色値をもつピクセルの前記割合を表す前記値に基づいて前記部分内のピクセルについての色値を選択するディザリング・アルゴリズムを使って、前記デジタル画像の前記少なくとも一部分内のピクセルをディザリングすることを含む、プロセッサ可読媒体。
19. デジタル画像を処理する装置であって：
    一つまたは複数のバンドを含む前記デジタル画像にアクセスする手段と；
    一つまたは複数のバンドを含むデジタル画像の少なくとも一部分に、隣り合うバンドが色の差をもつ結果として生じる隣り合うバンド間の輪郭の可視性を低下させるアルゴリズムを適用する手段とを有しており、前記アルゴリズムは、
    前記デジタル画像の前記少なくとも一部分に一つまたは複数のバンドが存在するかどうかを、前記デジタル画像のある領域において特定の色値をもつピクセルの割合を表す値に基づいて判定し、
    前記デジタル画像の前記領域において前記特定の色値をもつピクセルの前記割合を表す前記値に基づいて前記部分内のピクセルについての色値を選択するディザリング・アルゴリズムを使って、前記デジタル画像の前記少なくとも一部分内のピクセルをディザリングすることを含む、
    装置。
20. 隣り合うバンドがそれぞれの輪郭によって分離されている一つまたは複数のバンドを含む前記デジタル画像を記憶する手段をさらに有する、請求項１９記載の装置。
21. 前記デジタル画像が量子化されたピクセルを含み、前記一つまたは複数のバンドが量子化アーチファクトの結果として生じる、請求項１９記載の装置。
22. 前記特定の色値が、前記領域内のピクセルの色値からある選択されたオフセットによって決定される、請求項１３記載の装置。
23. 前記選択されたオフセットが1である、請求項２２記載の装置。
24. 前記アルゴリズムが、前記領域内で第二の特定の色値をもつピクセルの割合にも基づく、請求項２２記載の装置。
25. 前記第二の特定の色値が、前記領域内の前記ピクセルの前記色値から第二の選択されたオフセットによって決定される、請求項２４記載の装置。
26. 前記ディザリング・アルゴリズムが前記領域内のピクセルの期待される平均値に基づき、期待される平均値は前記領域内で前記特定の色値をもつピクセルの前記割合に基づく、請求項１３記載の装置。
27. 前記アルゴリズムがビット深さを増加させる、請求項１３記載の装置。
28. 前記割合が規格化された割合である、請求項１３記載の装置。
29. 前記値は、より大きな値を低下させ、より小さな値を定数で置き換える傾向のある仕方で調節される、請求項１３記載の装置。
30. 前記アルゴリズムが前記領域中のピクセルの色値の期待値に基づく、請求項１３記載の装置。
31. 前記期待値がビット深さの増加に関係する因子に基づく、請求項３０記載の装置。
32. 前記アルゴリズムが時間的な相関因子を含む、請求項１３記載の装置。

Images