JP4728411B2 - デジタル画像における色にじみアーティファクトの低減方法 - Google Patents

Description

本発明は、デジタル画像に関する。より詳細には、本発明は、圧縮画像の復元に関する。

ＪＰＥＧおよびいくつかの他の画像圧縮アルゴリズムによる画像圧縮は、画像を輝度チャンネルとクロミナンス（chrominance: 色）チャンネルとに変換し、クロミナンスチャンネル（ＣｂおよびＣｒ）を整数分の１で（通常２または４）サブサンプリングすることによって行われる。そして、輝度チャンネルとサブサンプリングされたクロミナンスチャンネルとは、グレイスケール画像に適した圧縮モジュールによって圧縮される。人間の視覚系（human visual system（ＨＶＳ））は、輝度感度に比較して色感の空間感度がおよそ１／２に低減するため、クロミナンスチャンネルをサブサンプリングすることができる。従って、サブサンプリングされたクロミナンス値を含む大抵のカラー写真において、サブサンプリングからもたらされる色にじみアーティファクトは実質的に目立たない。

しかしながら、異なる色の間で頻繁に急峻なエッジを含むカラー複合文書画像では、色にじみアーティファクトは顕著である。たとえば、カラー複合文書において、一様の色を有する領域上にテキストまたはコンピュータで作成された他の形状が重なる場合がある。急峻なエッジは、コンピュータ生成画像および写真の変わり目において発生する。

復元されたクロミナンスチャンネルが、線形補間等の単純な技法によってそれらの元の解像度に戻るよう補間される場合、色にじみアーティファクトは顕著である。色にじみアーティファクトは、純色を有する領域と白色領域（または明色を有する領域）との間の境界に見られる。文書画像では、これらの境界はしばしば、白色の背景または明るい背景と色文字、ラインおよびパッチとの間にある。

また、反転テキスト（たとえば、色付き背景における白色文字）を含む領域でも、色にじみアーティファクトは顕著である。人間の視覚系の特性により、色にじみアーティファクトはエッジの明るい方の側に見える。

色にじみアーティファクトにより、画質が低下する。従って、特にカラー複合文書画像において色にじみアーティファクトを低減することが望ましい。

本発明の一態様によれば、デジタル画像における色にじみアーティファクトを、デジタル画像の少なくともいくつかのピクセルのクロミナンス値を変更することによって低減する。ピクセルを、輝度値と色ダイナミックレンジとに従って変更する。本発明の他の態様および利点は、本発明の原理を実施例として示す添付図面と考え合せて、以下の詳細な説明から明らかとなろう。

画像を復元し復元画像における色にじみアーティファクトを低減する方法の図である。 ピクセルの局所ピクセル近傍の図である。 ピクセル複製によって補間された復元画像においてピクセルの色ダイナミックレンジを確定するスライディングウインドウの図である。 ピクセル複製によって補間された復元画像においてピクセルの色ダイナミックレンジを確定するスライディングウインドウの図である。 ピクセル複製によって補間された復元画像においてピクセルの色ダイナミックレンジを確定するスライディングウインドウの図である。 ピクセル複製によって補間された復元画像においてピクセルの色ダイナミックレンジを確定するスライディングウインドウの図である。 図１の方法のハードウェア実施態様の図である。

図面に示すように、本発明は、サブサンプリングされたクロミナンス値を含むデジタル画像における色にじみアーティファクトを低減する方法および装置において具体化される。本方法および装置は、特に、自然フィーチャ（feature）とコンピュータ生成フィーチャとをともに含むカラー複合文書画像における色にじみアーティファクトを低減するのに適している。写真領域における自然フィーチャは、穏やかな輝度の遷移またはクロミナンスの遷移を有する傾向がある。テキスト領域等のコンピュータ生成フィーチャは、急峻なエッジと急峻な輝度遷移またはクロミナンス遷移とを有する傾向がある。本方法および装置は、急峻なエッジで発生する色にじみアーティファクトを低減する。

図１は、圧縮画像を復元し復元画像における色にじみアーティファクトを低減する方法を示す。圧縮画像は、圧縮された輝度（Ｙ）値の第１のストリーム（stream）と、圧縮されたクロミナンス（ＣｂおよびＣｒ）値の第２および第３のストリームとを含む。圧縮前に、クロミナンスチャンネルは、サブサンプリングされるか、またはローパスフィルタリングされた後サブサンプリングされる。

画像復元は、圧縮された値の第１、第２および第３のストリームにアクセスすることで開始する（ブロック１０２）。第１のストリームから輝度値（Ｙ）を復元し（ブロック１０４）、第２および第３のストリームからクロミナンス値（ＣｂおよびＣｒ）を復元する（ブロック１０６）。

以降、輝度値とクロミナンス値とを、正規化された値に関して説明する。輝度値は、０≦Ｙ≦１である。クロミナンス値は、−０．５≦Ｃｂ≦０．５および−０．５≦Ｃｒ≦０．５である。ポイントＣｂ＝Ｃｒ＝０は、グレー軸（無色）に対応する。

圧縮中にクロミナンス値（ＣｂおよびＣｒ）がサブサンプリングされるため、復元されたクロミナンスチャンネルを、それらの元の解像度にするように補間またはアップサンプリングすることにより、輝度チャンネルの解像度と一致させる（ブロック１０８）。簡単な補間方法はピクセル複製（pixel replication）であり、すべての低解像度ピクセルを、同じクロミナンス値（ＣｂおよびＣｒ）を有する高解像度ピクセルの２×２ブロックに置換する。より精巧なアップサンプリング方法では、エッジ等の高空間周波数の場所においてエイリアシングアーティファクトを低減するために、ピクセル複製されたクロミナンスチャンネルに対しローパスフィルタリングを適用する。

復元デジタル画像における色にじみアーティファクトを、デジタル画像における少なくともいくつかのピクセルのクロマ値を変更することによって低減する。ピクセルのクロマ値を、ピクセルの輝度値と局所的な色ダイナミックレンジとに対応して変更し（ブロック１１０）、クロマ値の変化に従ってクロミナンス値（ＣｂおよびＣｒ）をスケーリングする（ブロック１１２）。色ダイナミックレンジに対応してクロマ値を変更することにより、本質的に一様な明色を有する領域において過度に色度を低減しないようにする。

復元された輝度チャンネルとクロミナンスチャンネルとを、元の解像度のＲＧＢ空間に戻るように変換することができる。そして、復元画像を表示（たとえば、印刷）することができる。

ピクセルの局所的な色ダイナミックレンジは、その局所ピクセル近傍に関して確定される。図２は、ピクセルの近傍の実施例を提供する。破線で示すウインドウによって輪郭が描かれた近傍は、ピクセルの３×３アレイを含む。「Ｘ」でマークされた所定ピクセルは、近傍の中心にある。

所定のピクセル各々の色ダイナミックレンジを、局所ピクセル近傍におけるピクセルの最小クロマ値と最大クロマ値との差として計算することができる。ピクセルのクロマ値（Ｃ）を、

として計算することができ、クロマ値（Ｃ）を

によって概算することができる。この場合、クロミナンス値の各々の許容値範囲は、［−０．５，０．５］である。近傍の色ダイナミックレンジ（Ｄ）は、Ｃ_ｍが近傍の最小クロマ値を表しＣ_Ｍが近傍の最大クロマ値を表す場合、Ｄ＝Ｃ_Ｍ−Ｃ_ｍとして計算してよい。

近傍と色ダイナミックレンジは、所定のピクセルの各々に対して確定される。従って、色ダイナミックレンジは、ピクセル単位で確定される。

所定のピクセルに対する新たなクロマ値（Ｃ’）を、Ｃ’＝Ｃ−ｆ（Ｙ，Ｄ）・（Ｃ−Ｃ_０）として計算してよい。ここで、Ｃはピクセルの元のクロマ値であり、Ｄは色ダイナミックレンジであり、Ｃ_０は、０からそのピクセルの局所ピクセル近傍の最小クロマまでの値を有する色の係数であり、ｆ（Ｙ，Ｄ）は、相対的なクロマ低減の大きさを決めるパラメータ式である。

パラメータ式ｆ（Ｙ，Ｄ）は、０と１との間の範囲で変動しうる。パラメータ式ｆ（Ｙ，Ｄ）は、以下の制約に従う。すなわち、（１）Ｙ→１の場合、ｆ（Ｙ，Ｄ）→１であって、それによりＣ’→Ｃ_０であり、（２）Ｄ→０の場合、ｆ（Ｙ，Ｄ）→０である。Ｄ→０の場合、Ｃ’→Ｃであり、そのためそのピクセルのクロマ値は変更されない。

また、パラメータ式ｆ（Ｙ，Ｄ）は、別の制約に従ってもよい。すなわち、Ｄ→０およびＹ→１の場合、ｆ（Ｙ，Ｄ）→０である。このように、色ダイナミックレンジが優先する。

クロマ値が変更されると、対応する各クロミナンス値（ＣｂおよびＣｒ）は、比Ｃ’／Ｃによってスケーリングされる。このため、Ｃｂ’＝Ｃ’／Ｃ・ＣｂおよびＣｒ’＝Ｃ’／Ｃ・Ｃｒである。これにより、色の色相は変化しない。

色係数（Ｃ_０）について異なる場合を考慮する。第１の場合、Ｃ_０＝Ｃ_ｍである。このときＣ’＝Ｃ−ｆ（Ｙ，Ｄ）・（Ｃ−Ｃ_ｍ）であり、新たなクロマ値（Ｃ’）は、元のクロマ値（Ｃ）と近傍最小値（Ｃ_ｍ）との間にある。高輝度Ｙ→１の場合、新たなクロマ値（Ｃ’）は、局所最小値（Ｃ_ｍ）に近づく。そのため、Ｙ→１に従ってＣ’→Ｃ_ｍとなる。

第２の場合、Ｃ_０＝ｍａｘ（Ｃ_ｍ−Ｄ，０）である。このような係数Ｃ_０により、新たな（Ｃ’）は、局所最小値（Ｃ_ｍ）より下になることが可能である。しかしながら、クロマ値はなおかつ、色ダイナミックレンジ（Ｄ）によって決まる。色係数（Ｃ_０）は、Ｃ_ｍ−Ｄより下には低減しない。Ｃ_ｍ＜Ｄである場合、色係数（Ｃ_０）は０となる。色ダイナミックレンジが小さくない場合、状況Ｃ_ｍ＜Ｄは、「無着色」領域と「純色」領域との間のエッジに対応する。この状況では、「無着色」側が白色に近い場合、クロマ値を０まで低減することができる。一方、状況Ｃ_ｍ＞Ｄは、「マイルドな色（mild-color）」と「純色」との間のエッジに対応する可能性があり、その場合、色にじみアーティファクトの可視性はそれほど高くはない。この状況では、クロマ値を０に低減することができるので、エッジの明るい方の側で色が大幅に低減される。変更されたクロマ値に対し下限Ｃ_ｍ−Ｄを置くことにより、色ダイナミックレンジ（Ｄ）がそれほど小さくも大きくもない色勾配領域（「マイルドエッジ」）において、輝度Ｙ→１の場合にクロマ値が大幅に低減されないことが保証される。

第３の場合、Ｃ_０＝０である。高輝度Ｙ→１に対し、新たなクロマ値（Ｃ’）は０に近づく。このため、Ｙ→１に従ってＣ’→０となる。

パラメータ式を、異なる方法で表現することができる。代表的なパラメータ式は、ｆ（Ｙ，Ｄ）＝ｍａｘ［１−α｛（１−Ｙ）／Ｄ｝，０］である。代表的なパラメータ式は、常に２つの制約に従う。すなわち、項α（αは正）の値とは無関係に、ｆ（Ｙ→１，Ｄ）→１およびｆ（Ｙ，Ｄ→０）→０である。

Ｄの与えられた値に対し、それより下では色にじみアーティファクトが可視ではない輝度値（Ｙ）がある。与えられたＤに対して色にじみアーティファクトが可視でない場合、項αの値を、ｆ（Ｙ，Ｄ）＝０であるように選択することができる。たとえば、Ｙ＜（１−Ｄ／α）である場合、クロマ値は変更されない。すなわち、閾値Ｔ_Ｙ（Ｄ）＝（１−Ｄ／α）であるとすれば、Ｙ＜Ｔ_Ｙ（Ｄ）の場合Ｃ’＝Ｃである。

項αは、色ダイナミックレンジ（Ｄ）の関数であってよい。項αを、Ｄの各値に対して測定してよい。各項αを、主観テスト（たとえば、パッチにおけるアーティファクトの可視性を観察する）から測定してよい。

一方、項αは、すべてのＤに対して一定であってよい。項αの値を、試行錯誤によって確定することができる。たとえば、０．５≦α≦１が有効であることが分かった。

このように、色にじみの視覚的知覚をもたらすピクセルにおけるクロミナンスの大きさを低減する方法が明らかにされた。本方法は、輝度値と局所クロミナンス値とを考慮することにより、高輝度値と無視できない程のクロミナンス値とを有するパッチを変更しない。平坦領域は、相対的に高い輝度を有するが、同時に無視できない程のクロミナンスも有する可能性がある。本方法は、かかる領域を白色にマッピングしない。文書画像は、明色の背景を有するテキストボックスを有する場合がある。本方法は、明るい背景を白色にマッピングしない。

本方法は、特に、複合カラー文書において色にじみアーティファクトを低減するうえで有効である。しかしながら、本方法はそのように限定されない。

図２は、３×３正方形状の近傍を示すが、本方法は、このような近傍に限定されない。近傍は、いかなる特定のサイズにも限定されない。ピクセルの数は、９に限定されない。所定のすべてのピクセルに対して近傍のピクセルの数が固定であることは好ましいが、画像領域の特定の種類（たとえば、テキスト、グラフィックス、自然形体）に適応するように、近傍のサイズを動的に変更してよい。

近傍は、いかなる特定の形状にも限定されないが、パフォーマンスの理由で正方形ウインドウが好ましい。たとえば、近傍の形状を菱形状としてよい。最小値／最大値計算に、中心ピクセルを含めてよく（すなわち、完全な近傍を使用してよい）、あるいは最小値／最大値計算から、所定の中心ピクセルを排除することができる（すなわち、中空の近傍を使用することができる）。

本方法を、デジタル画像を視覚的に重要なチャンネル（たとえば、輝度チャンネルと青および赤クロミナンスチャンネル）に分解することに関して説明した。しかしながら、本方法は、ＹＣｂＣｒ色空間に限定されない。たとえば、本方法を、Ｙｕｖ、ＬｕｖまたはＬａｂ色空間（Ｌは明度を表す）に適用することができる。

上述した方法では、計算量の多くを、近傍の各ピクセルに対する色ダイナミックレンジを計算することに当てる。しかしながら、サブサンプリングされたクロミナンス値を使用しそれにより冗長性を利用することにより、計算量を低減することができ、本方法の速度を上昇させることができる。

ここで、ピクセル複製によって補間された復元画像におけるピクセルの色ダイナミックレンジを確定するスライディングウインドウを示す、図３（ａ）〜図３（ｄ）を参照する。補間中、復元された輝度チャンネルの第１のピクセルを、ピクセルＣ１の２×２ブロックによって置換し、復元された輝度チャンネルの第２のピクセルを、ピクセルＣ２の２×２ブロックによって置換し、復元された輝度チャンネルの第３のピクセルを、ピクセルＣ３の２×２ブロックによって置換し、復元された輝度チャンネルの第４のピクセルを、ピクセルＣ４の２×２ブロックによって置換する。

アップサンプリングされたクロミナンスチャンネルのすべての２×２ブロックにおけるピクセルは、正確に同じクロミナンス値を含む。図３（ａ）〜図３（ｄ）が示すように、２×２ブロック境界に位置合せされるアップサンプリングされたクロミナンスチャンネルの各４×４ブロックは、３×３近傍に適応する４つの可能性を有する。これらの４つの可能性の各々に対し、近傍最小値（または最大値）と近傍の色ダイナミックレンジとは、同じ４つの色係数値から計算されるため同じである。４つの色係数値は、４つの倍サイズのピクセルに対応し、この各ピクセルは、サブサンプリングされたクロミナンスチャンネルのピクセルに対応する。このように、計算の複雑性が、サブサンプリングされたクロミナンスチャンネルにおいて２×２近傍の最大値および最小値を見つけることに帰着する。これにより、クロミナンスのモジュラス計算の数が１／４に低減され、近傍の最小クロマ値および最大クロマ値（Ｃ_ｍおよびＣ_Ｍ）を計算するために必要な比較の数が、１／１６に低減される。このようにピクセル複製を使用する場合、クロミナンスチャンネルに対しそれらのサブサンプリングの前にローパスフィルタリングを適用することが好ましい。たとえば、元のクロミナンスチャンネルのすべての２×２ブロックを、そのブロックの４つのクロミナンス値の平均または中央値によって置換することができる。

計算量を、他の方法で低減することができる。たとえば、新たなクロマ値（Ｃ’）と元のクロマ値（Ｃ）との差がわずかである場合、クロマ値を変更することによりほとんど利益が得られない。従って、差がわずかである場合、パラメータ式は計算されずクロマ値は変更されない。たとえば、Ｔが所定閾値であるとして、（Ｃ−Ｃ_０）＜Ｔである場合、Ｃ’＝Ｃである。色ダイナミックレンジ（Ｄ）は、高速再帰的アルゴリズムで計算される場合、すべてのピクセルに対して計算される。従って、比較Ｄ＜Ｔを実行することにより、オーバヘッドはほとんどもたらされない。例示的な閾値は、Ｔ＝０．１（正規化されたクロミナンス値に対し）である。

本方法を、ハードウェア、ソフトウェアまたはその２つの組合せで実施することができる。

ここで、本方法のソフトウェア実施態様を示す図４を参照する。コンピュータメモリ２１２は、実行時にプロセッサ２１６に対して上述した方法を実行するよう命令するプログラム２１４を格納する。メモリ２１２およびプロセッサ２１６は、パーソナルコンピュータまたはワークステーションの一部であってよい。

非再帰的アルゴリズムを使用して、ピクセル近傍の最小クロマ値および最大クロマ値を確定することができる。近傍のすべてのタイプに対して非再帰的アルゴリズムを使用することができる。最小値および最大値を確定するために必要なメモリのサイズは、近傍のサイズに等しい。

高速再帰的アルゴリズムを使用して、完全な正方形の近傍（たとえば、２×２近傍、３×３近傍、５×５近傍）の最小クロマ値および最大クロマ値を確定してよい。２×２近傍を除き、近傍のサイズに関らず、近傍の最大クロマ値および最小クロマ値を確定するために、１２回の比較だけでよい。２×２近傍の場合、３つの比較だけでよい。この再帰的アルゴリズムが使用される場合、ラインをバッファリングするために必要なメモリのサイズは、横のカーネルウインドウのサイズの２倍に等しい。

本発明は、上に説明し例示した特定の実施形態に限定されない。代りに、本発明は、併記の特許請求の範囲に従って解釈される。

Claims (8)

1. デジタル画像における色にじみアーティファクトを低減する方法であって、該方法は、
   前記デジタル画像における少なくともいくつかのピクセルのクロミナンス値を減じるステップを含み、
   Ｃ_０を０と該ピクセルの局所近傍の最小クロマ値Ｃ_ｍとの間の値、Ｃを前記ピクセルの元のクロマ値、Ｙを該ピクセルの輝度、Ｄを局所近傍ピクセルの最小値Ｃ_ｍ及び最大値Ｃ_Ｍの関数である色ダイナミックレンジとするとき、前記いくつかのピクセルのクロミナンス値は、該ピクセルのもとのクロマ値をｆ（Ｙ，Ｄ）・（Ｃ−Ｃ_０）だけ減じて得られるクロマ値に従って決められ、ｆ（Ｙ，Ｄ）は０と１との範囲の値であり、且つ、Ｙ→１のときｆ（Ｙ，Ｄ）→１であり、Ｄ→０のときｆ（Ｙ，Ｄ）→０である、前記方法。
2. 前記ｆ（Ｙ，Ｄ）はまた、Ｄ→０でかつＹ→１の場合はｆ（Ｙ，Ｄ）→０に従う、請求項１記載の方法。
3. 前記色ダイナミックレンジＤ＝（Ｃ_Ｍ−Ｃ_ｍ）である、請求項１の方法。
4. ピクセルの元のクロマ値（Ｃ）が変更された場合、Ｃ’が新たなクロマ値であるとすると、該ピクセルのもとの前記クロミナンス値を比Ｃ’／Ｃによってスケーリングして新たなクロミナンス値を求める、請求項１記載の方法。
5. デジタル画像における色にじみアーティファクトを低減する装置であって、該装置は、前記デジタル画像における少なくともいくつかのピクセルのクロミナンス値を減じる手段を含み、
   前記クロミナンス値を減じる手段は、Ｃ_０を０と該ピクセルの局所近傍の最小クロマ値Ｃ_ｍとの間の値、Ｃを前記ピクセルの元のクロマ値、Ｙを該ピクセルの輝度、Ｄを局所近傍ピクセルの最小値Ｃ_ｍ及び最大値Ｃ_Ｍの関数である色ダイナミックレンジとするとき、前記いくつかのピクセルのクロミナンス値を、該ピクセルのもとのクロマ値をｆ（Ｙ，Ｄ）・（Ｃ−Ｃ_０）だけ減じて得られるクロマ値に従って決め、ｆ（Ｙ，Ｄ）は０と１との範囲の値であり、且つ、Ｙ→１のときｆ（Ｙ，Ｄ）→１であり、Ｄ→０のときｆ（Ｙ，Ｄ）→０であるよう構成されている、前記装置。
6. 前記ｆ（Ｙ，Ｄ）はまた、Ｄ→０でかつＹ→１の場合はｆ（Ｙ，Ｄ）→０に従う、請求項５記載の装置。
7. 前記色ダイナミックレンジＤ＝（Ｃ_Ｍ−Ｃ_ｍ）である、請求項５の装置。
8. 前記クロミナンス値を減じる手段は、ピクセルの元のクロマ値（Ｃ）が変更された場合、Ｃ’が新たなクロマ値であるとすると、該ピクセルのもとの前記クロミナンス値を比Ｃ’／Ｃによってスケーリングして新たなクロミナンス値を求めるよう構成されている、請求項５記載の装置。

Images