JP2004524729A

JP2004524729A - Display resolution enhancement method and system using sub-pixel sampling and visual distortion filtering

Info

Publication number: JP2004524729A
Application number: JP2002550598A
Authority: JP
Inventors: デイリー，スコット，ジェイ．; コヴュウリ，ラジェシュ，レディー，ケー．
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2000-12-12
Filing date: 2001-12-12
Publication date: 2004-08-12
Also published as: EP1350221A2; WO2002048960A2; CN1489760A; WO2002048960A3; CN1267882C; TW558899B

Abstract

本発明は、高い解像度のカラー画像を、低い解像度の画像に変換する方法および装置を提供する。本発明の方法は、人間視覚システムが示す空間周波数応答の特性に基づいて、高い解像度の画像７２を、輝度チャンネル７６と色差チャンネル９８、１００とに分離して、それぞれに適したサンプリングおよびフィルタリングを行った後、輝度チャンネル８６と色差チャンネル１１１、１１４を結合することにより、低い解像度の画像１１６を形成する。色差チャンネル９８、１００に対しては伝統的なサブサンプリング１０１、１０３を行うことにより色成分エイリアシングを回避し、また輝度チャンネル７６に対してはサブピクセルサンプリング８０を行うことにより輝度成分の解像度を向上させる。The present invention provides a method and apparatus for converting a high resolution color image to a lower resolution image. The method of the present invention separates the high resolution image 72 into a luminance channel 76 and chrominance channels 98, 100 based on the characteristics of the spatial frequency response exhibited by the human visual system, and performs appropriate sampling and filtering for each. After that, a low resolution image 116 is formed by combining the luminance channel 86 and the chrominance channels 111,114. Performing traditional sub-sampling 101, 103 for the chrominance channels 98, 100 avoids color component aliasing, and improving the resolution of the luminance component by performing sub-pixel sampling 80 for the luminance channel 76. Let it.

Description

〔技術分野〕
本発明の実施形態は、画像のＲ、Ｇ、Ｂまたは他の成分を表示する３色構成を用いた解像度の低いディスプレイに高解像度画像を表示する分野に関する。この３色構成は、例えば１ピクセルが隣り合った３つのサブピクセルから成る構成の直視型ＬＣＤディスプレイで多く見られる。各サブピクセルは３原色（すなわち、Ｒ、Ｇ、Ｂ）のうち１つの色のみを制御し、言い換えると、デジタル画像表示の原色によってのみ通常は制御される。高解像度画像はメモリに利用可能であり、あるいはアルゴリズム（ベクトル・グラフィックス、一部のフォント・デザイン、コンピュータ・グラフィックス）から直接利用可能である。
【０００１】
本明細書の主題は、スコット・デーリーによって発明され、２０００年１２月１２日に米国特許出願０９／７３５，４５４号として出願された、「サブピクセルサンプリングおよび視覚的歪み補正を用いて表示解像度を改善するための方法およびそのシステム」に関連する。この出願を参考のため本明細書に添付する。
【０００２】
また、本明細書の主題は、ラジェッシュ・レディ・ケイ・コブリとスコット・デーリーとによって発明され、２０００年１２月１２日に米国特許出願０９／７３５，４２５号として出願された、「サブピクセルサンプリングおよび視覚的歪みフィルタリングを用いて色収差のない画像における表示解像度を改善するための方法およびそのシステム」に関連する。この出願を参考のため本明細書に添付する。
【０００３】
〔背景技術〕
解像度の高い画像を解像度の低いディスプレイに表示するために最も多く用いられるのは、図１に示すように、高解像度画像４のピクセル２をサンプリングして解像度の低いディスプレイ６の解像度まで下げる方法である。その後、各ダウンサンプリングしたカラーピクセル８のＲＧＢ値は、各表示ピクセル１６の独立したＲＧＢ成分１０、１２、１４にマッピングされる。また、表示ピクセルのＲＧＢ成分１０、１２、１４は、サブピクセルと呼ばれる。表示装置では色成分が重なり合わないので、サブピクセルはＲＧＢの３色のうち１色のみを持つことができるが、色の振幅は全体の階調範囲（例えば、０から２５５）を通じて異なり得る。通常サブピクセルは１：３のアスペクト比（幅：高さ）を有するため、ピクセル１６は正方形になる。サブサンプリング／マッピングの方法では、ディスプレイにおけるＲＧＢのサブピクセルが空間的にずれていることが考慮されず、実際には図１に示すようにＲＧＢのサブピクセルが高解像度画像にあるのと同じように重なり合っていると仮定される。この種のサンプリングは、サブサンプリング、または従来のサブサンプリングと呼ばれる。
【０００４】
高解像度画像４のピクセルをわずかにずらして重ねられた３つの正方形８で示し、同じ空間的位置（すなわち、ピクセル）に関連付けされたＲＧＢ値を表す。１つの表示ピクセル１６は、ＲＧＢのサブピクセル１０、１２、１４が１つずつで構成され、図１では暗線を使って解像度の低い三色ディスプレイ６の一部として示す。他の表示ピクセルは細い点線で示す。
【０００５】
この例では、高解像度画像は（水平面、垂直面共に）ディスプレイよりも３倍以上の解像度を持つ。この直接サンプリング方法によってエイリアシング・アーチファクトができるため、サンプリングしたピクセルでサンプリングのされていない隣接したピクセルを平均するといった様々な方法が用いられる。なお、サブサンプリングしながら隣接した成分を平均するという一般的な方法は、長方形（ｒｅｃｔ）のフィルタを用いた高解像度画像のプレフィルタリングと数学的に等しい。また、なお（この図に示すように）左端のピクセルとは異なるピクセルを選択する方法は、位相のみに影響を与えるプレフィルタリングと考えられる。このように、エイリアシング防止に関連した処理のほとんどは、たとえカーネルがサンプリングされたピクセル位置にのみ用いられたとしても、高解像度画像に対するフィルタリング工程とみなされる。
【０００６】
色収差のない画像は、本明細書および請求項で定義されるように、目に見える色の変化がない。この色収差のない状態は、画像が１層または１つの色チャンネルのみを含む場合、あるいは画像が複数の層または複数の色チャンネルを有するが、各色層は同一であるため単一の色画像が生み出せる場合に起こり得る。
【０００７】
上述の方法では潜在的な表示解像度が利用されていない。参考のため本明細書に添付した「振幅カラーモザイクディスプレイのフルカラーイメージング」（アール・フィーゲンフラット著（１９８９），Ｐｒｏｃ．ＳＰＩＥＶ．１０７５，１９９−２０５）、および「カラーマトリクスディスプレイ画質：輝度および空間サンプリングの効果」（ジェイ・クランツ、エル・シルバーステイン著（１９９０），ＳＩＤＳｙｍｐ．Ｄｉｇｅｓｔ，２９−３２）を参考にすると、この分野の予備知識が得られる。例えば、図１に示すディスプレイでは、表示ピクセル１６の解像度は高解像度画像（ソース画像）４の３分の１であるが、サブピクセル１０、１２、１４の解像度は（水平面の）ソース画像の解像度と等しい。もしもこのディスプレイが色覚異常者にのみ使用されると、サブピクセルの空間位置を利用することが可能となる。この方法は図２に示すように、ディスプレイのＲＧＢのサブピクセル１０、１２、１４が高解像度画像において異なるピクセル１１、１３、１５の各色から取り除かれている。これによって、水平解像度を表示ピクセル解像度の３倍であるサブピクセルの解像度とすることが可能である。
【０００８】
しかし、ディスプレイの観察者が色覚異常者でない場合どうなるか？つまり、大多数の正常な観察者の場合どうなるか？ディスプレイ技術者にとって幸いなことに、完璧な色覚を持つ観察者でさえ高い空間周波数帯では色覚異常が現れる。このことは、人間の視覚システムにおける理想的な空間周波数応答を示す図３に以下のように示されている。
【０００９】
ここで、輝度１７は観察画像の色収差のない接点（ｃｏｎｔａｃｔ）を表し、色差１９は赤から緑、青から黄への等輝度変調としての視覚システムによって処理される純色量を表す。映像の色差信号Ｒ−ＧおよびＢ−Ｙは、これらの変調とおおよそ似ている。ほとんどの観察者にとって色成分の周波数応答の帯域幅は、輝度周波数応答の２分の１である。青黄変調応答の帯域幅が輝度の約３分の１まで下がることもある。種々の画像ピクセルから３色の表示ピクセルのサブピクセルへの色成分のマッピングを含むサンプリングは、図２に示すように、サブピクセルサンプリングと呼ばれる。
【００１０】
図４を参照すると、ディスプレイの水平方向には、表示ピクセル１６のナイキスト周波数（表示ピクセル＝３色ピクセル、１つの３色ピクセルにつき０．５サイクルで３ナイキストの場合）と、サブピクセル成分１０、１２、１４のナイキスト周波数（１サブピクセルにつき０．５サイクル＝３色ピクセルにつき１．５サイクル）との間に介在する周波数帯域がある。この領域を図４では長方形領域２０で示す。幅が表示標本空間と等しいｒｅｃｔ関数によって高解像度画像をコンボルビング（ｃｏｎｖｏｌｖｉｎｇ）することで得られたｓｉｎｃ関数が、薄い破線と点のカーブ２２で示されている。これはディスプレイがＬＣＤの場合に表示ＭＩＦ（変調伝達関数）をモデル化するために行われる最も一般的な手法である。
【００１１】
サブピクセル空間と等しいｒｅｃｔ関数によって高解像度ソース画像をコンボルビング（ｃｏｎｖｏｌｖｉｎｇ）することで得られたｓｉｎｃ関数が、破線カーブ２４で示されており、高い帯域幅を持つ。これは、サブピクセルが一次元的に長方形であることを考慮したディスプレイによって定められる限界である。図示する長方形の領域２０において、サブピクセルは輝度成分情報を表示できるが、色成分情報は表示できない。実のところ、この領域の色成分情報はいずれもエイリアスされるためである。このように、この領域では、色成分エイリアシングを可能にすることで、３色（つまり、表示）ピクセルよりも高い周波数における輝度成分情報を達成することができる。これはサブピクセルサンプリングを用いることで生じる「有利（Ａｄｖａｎｔａｇｅ）」領域である。
【００１２】
フォント表示で適用するには、図５に示すように黒白フォントには一般的に前処理がされる。標準的な前処理には、フォントストロークのピクセル中心へのセンタリング、すなわち、フォントストロークの特殊位相シフトと呼ばれるヒンティングを含む。通常この処理の後には、ローパスフィルタリングが行われ、階調アンチエイリアシングと呼ばれる。
【００１３】
図３に示す視覚周波数応答（ＣＳＦ）が理想的なものである。実際には、図６（ａ）に示すように有限の下落傾斜（ｆａｌｌｏｆｆｓｌｏｐｅ）を持つ。輝度成分のＣＳＦ３０は、サイクル／度（ｃｙ／ｄｅｇ）の単位から（視距離は１２８０ピクセルであることを前提とする）表示ピクセルドメインまでマッピングされた。輝度成分のＣＳＦは、実線３０で示した、１．５サイクル／ピクセル（表示ピクセル）近くの最大周波数を持ち、０．２サイクル／３色ピクセル（ｃｙ／ｐｉｘｅｌｔｒｉａｄ）近くの最高値を持つ形のバンドパスである。Ｒ：ＧのＣＳＦ３２は、破線で示した、０．５サイクル／ピクセル近くの最大周波数を持つローパスである。Ｂ：Ｙ変調ＣＳＦ３４は、Ｒ：ＧのＣＳＦと同等の最大周波数で、Ｒ：ＧのＣＳＦよりも低い最大応答を持つ破線と点のＬＰＦカーブで示す。色成分ＣＳＦ３２、３４と輝度成分ＣＳＦ３０のカットオフ周波数範囲は、輝度の帯域幅を改善するために色成分エイリアシングを可能にする領域である。
【００１４】
また、図６（ａ）は１／ｆ関数として理想的な画像パワー・スペクトル３６を示し、（図では対数軸を使用しているため）−１の傾きを持つ直線で表している。このスペクトルは、サンプリング周波数で反復する。これらの反復は水平方向におけるピクセル３８とサブピクセル４０のサンプリング速度で示す。低周波数帯３８で生じている反復はピクセルサンプリングによるもので、高周波数帯４０で生じている反復はサブピクセルサンプリングによるものである。なお、対数周波数軸上にプロットしているため、形状が変化する。ナイキストの下の低周波数帯まで及ぶこれらの反復スペクトルの周波数は、エイリアシングと呼ばれる。左端のものは、ピクセルサンプリングレートによるものなので、色成分エイリアシング３８である一方、輝度成分エイリアシング４０は高いサブピクセルサンプリングレートに関連するため高周波数帯で生じる。
【００１５】
図６（ａ）では、プレフィルタリングはソース・スペクトルに適用されなかった。その結果、ピクセルサンプリングによるエイリアシング（すなわち、色成分エイリアシング）は非常に低い周波数帯３５まで及ぶ。このように、色成分ＣＳＦが輝度成分ＣＳＦよりも低い帯域幅を持っているにもかかわらず、（ディスプレイのノイズとコントラストによっては、）それでもなお目に見えるカラー・アーチファクトがある。
【００１６】
図６（ｂ）では、図４に薄い破線と点のカーブ２２で示したプレフィルタ（３つのソース・イメージピクセルと等しいｒｅｃｔ関数）を、ソース・パワー・スペクトルに適用すると、０．５サイクル／ピクセルを超えてベースバンド・スペクトル４２に影響し、４４で示す−１よりも急な傾きを持つようになることがわかる。また、反復はこのプレフィルタの効果を示す。このフィルタでさえ、２つの色成分ＣＳＦ３２ａと３４ａのカットオフ周波数よりも低い周波数４６で何らかの色成分エイリアシング（低周波数帯での反復スペクトル）が生じることがわかる。このように、単純な輝度成分のプレフィルタリングでは、０．５サイクル／ピクセルを超えた輝度周波数（つまり、「有利」領域）を全て除去せずに色成分エイリアシングを除去するのは困難であることがわかる。
【００１７】
輝度成分の帯域幅を「有利」領域２０に引き上げるために、輝度成分または色成分の機能としての視覚システムにおける帯域幅の違いに依存しているため、参考のため本明細書に添付し、図７に示した「パターン表示のためのディスプレイスドフィルタリング」（シー・ベトライジー他著、（２０００），ＳＩＤＳｙｍｐｏｓｉｕｍｄｉｇｅｓｔ，２９６−２９９）に記載されているような視覚システムモデルに基づくプレフィルタリングを設計することが１つの可能性としてある。
【００１８】
この方法では、画像がサンプリングされている色層、およびカラー・サブピクセルによって異なるプレフィルタを使用するのが理想的である。したがって、９つのフィルタがある。これらのフィルタは、参考のため本明細書に添付し、図７に示した「デジタル・カラー画像再生のためのＣＩＥＬａｂの空間拡張」（エックス・チャン、ビー・ワンデル著、（１９９６年），ＳＩＤＳｙｍｐ．Ｄｉｇｅｓｔ７３１−７３４）に記載された、人間の視覚における違いを表したモデルを用いて設計された。これはオフラインで行われ、画像は常に白黒画像であることを前提としている。最終実行では、結果として得られたフィルタよりもむしろｒｅｃｔ関数が、計算量を抑制するために用いられる。さらに、（図６（ｂ）からわかるように）色成分ＣＳＦのカットオフ周波数よりも低い周波数帯まで色成分エイリアシングが及ぶため、何らかの色成分の歪みがまだなお残留していることがわかる。
【００１９】
しかし、使用される視覚モデルでは、高コントラストレベルに対して、輝度が中間にある時、輝度によって色成分のマスキングを生じる視覚システムのマスキング特性を考慮に入れていない。したがって、大きいフォントにおいてフォントの縁部に沿って現れる色成分アーチファクトがフォントの高輝度コントラストによってマスキングされる。しかし、フォントサイズが小さくなるにつれてフォントの輝度も低くなり、したがって、同じ色成分アーチファクトが非常に目立つようになる（例えば、非常に小さなフォントでは、フォントの白黒部分が消え、局部的にカラー・スペックルのみが残る）。
【００２０】
〔発明の開示〕
本発明は、上述した人間視覚システムが示す空間周波数応答の特性、すなわち、輝度成分の視覚周波数応答ＣＳＦのカットオフ周波数が色成分の視覚周波数応答ＣＳＦのそれよりも高いということに基づいてなされたものである。本発明は、高い解像度の画像を、輝度データと色差データとに分離して、それぞれに適したサンプリングおよびフィルタリングを行った後、両データを結合することにより低い解像度の画像を形成する。色差データに対しては伝統的なサブサンプリングを行うことにより色成分エイリアシングを回避し、また輝度データにはサブピクセルサンプリングを行うことにより輝度成分の解像度を向上させる。さらに、サブピクセルサンプリングを行った輝度データに対してハイパスフィルタリングを行うことにより、輝度データのサブピクセルサンプリング時に発生する低周波のアーチファクト（ａｒｔｉｆａｃｔｓ）を除去する。
【００２１】
概念的に、本発明は次のように説明され得る。図１および図２において、１表示ピクセル１６のＲ、ＧおよびＢサブピクセル１０、１２および１４の各Ｒ、Ｇ、Ｂ値は、図１に示したサブサンプリングにより、高い解像度の画像４のカラーピクセル８（つまり１１）の各Ｒ、Ｇ、Ｂ値を反映する。しかし、サブピクセル１０、１２および１４のＲ、Ｇ、Ｂ値は、カラーピクセル８（１１）の各Ｒ、Ｇ、Ｂ値と同一ではない。つまり、輝度成分に対しては、図２に示したサブピクセルサンプリングを行うことにより、サブピクセル１０、１２および１４のＲ、Ｇ、Ｂ値は、それぞれカラーピクセル１１、１３および１５の輝度成分を反映している。
【００２２】
本発明の実施の形態は、フィルタリングとその線形性の仮定にあまり依存せず入力カラー画像に対して作用可能な方法とシステムを含む。これらの実施形態により、サブピクセルサンプリングによって生じた低周波数における色成分アーチファクトを直接除去することが可能となる。このことは、輝度成分と色成分のエイリアシングバージョン（ａｌｉａｓｉｎｇｖｅｒｓｉｏｎｓ）に加えられる画像の色成分のＬＰＦバージョンを生成することによって達成される。これは、加算色、原色の色ドメイン（つまり、ＲＧＢ）以外の色ドメインを利用して行われ、サブピクセルサンプリングで生じる色アーチファクトを除去する。実際には、図６（ａ）に示すように、色成分ＣＳＦの帯域幅は低く、高い周波数における色成分アーチファクトは見られないため、低い周波数における色成分アーチファクトだけを取り除く必要がある。
【００２３】
本発明の方法およびシステムは、ディスプレイが設計仕様と同じくらいの距離で観察される時に、色成分エイリアシングを視認させることなく高解像度の輝度信号を得るのに用いられる。これらの手法には、ソース画像がテキストであるという前提、あるいは画像に色収差がないという前提は必要ない。
【００２４】
本発明の実施形態は、高解像度画像をサブサンプリング処理で生じる歪みの少ない低解像度画像に変換する。高解像度画像が輝度データと色差データに分離可能な形式でない時、その高解像度画像はそのような形式に変換される。補色の色ドメインの多くが受け入れ可能である。補色の色ドメイン画像が分離されることで色差チャンネルから輝度チャンネルを分離し、その結果別々の処理が可能となる。
【００２５】
その後、輝度チャンネルはＲＧＢ等の加算色の色空間（ＡＣＤ）に変換され、ＡＣＤにおける輝度画像には、解像度を下げながら輝度データを維持するためにサブピクセルサンプリングを行う。サブピクセルサンプリングの後、サブピクセルサンプリング（ＳＰＳ）した画像は補色の色空間（ＯＣＤ）に変換し直され、再び独立した輝度チャンネルと色差チャンネルとに分離される。その後、この分離処理によって生成されたＳＰＳした色差チャンネルをハイパスフィルタリングして、サブピクセルサンプリング時に生じる低周波数のアーチファクトを除去する。一般的に、元の輝度データを保持するためにＳＰＳした輝度チャンネルが修正されることはない。
【００２６】
元の画像の色差チャンネルは、ローパスフィルタリングしてサブサンプリングが施され、低解像度画像の色差データができる。その後これらのローパスフィルタリングされた色差チャンネルは、元の輝度チャンネルから生成されサブピクセルサンプリングされてハイパスフィルタリングされた色差チャンネルと結合される。また、これらの結合した色差チャンネルはＳＰＳした輝度チャンネルと結合され、一般的に補色の色空間において歪みの少ない低解像度画像が形成される。その後、この歪みの少ない低解像度画像は、所望のアプリケーションに適合する加算色の色空間または他の色空間に変換される。
【００２７】
〔図面の簡単な説明〕
本発明における上記列挙された利点と目的、および他の利点と目的とを得るために、上記簡潔に説明した本発明は、添付図面に示す本発明の具体的な実施形態を参照してより詳細に説明される。これらの図面は、本発明の一般的な実施形態のみを表し、したがって本発明の範囲を限定するものではない。本発明は、添付図面を参照しながら、補足的な特定性と詳細と共に記載および説明される。
【００２８】
〔発明を実施するための最良の形態〕
本発明の現在における好適な実施形態は、図面を参照することにより理解できるであろう。図面では、全体にわたって同じ部材が同じ番号で示されている。この詳細の説明の一部として図面を添付する。
【００２９】
本発明の構成要素は、図面に概ね記載および説明されるように、多種多様な構成での配置および設計が可能であることは容易に理解できるであろう。したがって、以下に示す本発明の方法およびシステムの実施形態のより詳細な説明は、本発明の範囲を限定するものではなく、単に現在における本発明の好適な実施形態の代表例にすぎない。
【００３０】
本発明の実施形態の要素は、ハードウェア、ファームウェア、および／またはソフトウェアで具現化される。また、本発明の実施形態の特徴を具現したソフトウェア（プログラム）は、コンピュータが読み取り可能な媒体に格納されて提供され得る。このような媒体には、情報格納手段（半導体メモリ、フロッピー（登録商標）ディスク、ハードディスク等）、または光記憶手段（ＣＤ−ＲＯＭ、ＤＶＤ等）などの記録媒体の他、コンピュータネットワーク（ＬＡＮ、インターネットなどのＷＡＮ、無線通信ネットワーク等）システムにおける通信媒体（光ファイバ、無線回線等）も含まれる。さらに、本発明の実施形態の特徴は、電子的な伝送において具現されるコンピュータ信号の形態で実現され得る。本明細書に開示する典型的な実施形態にはこれらの形態の一つを記載しているに過ぎず、当業者は本発明の範囲内においていずれの形にせよこれらの要素を達成できる。
【００３１】
本発明の実施形態では、「色収差のない（ａｃｈｒｏｍａｔｉｃ）」という用語を用いて記載および請求の範囲の説明をしている。この用語は、本明細書および添付した請求項における画像に関して用いられ、目に見える色の変化がない画像のことを指す。色収差のない画像とは、１つの層または１つの色チャンネルのみを含む画像、あるいは複数の層または複数の色チャンネルを有するが、各色層が同一であるため単一の色画像が生み出せる画像のことである。
【００３２】
本発明の実施形態では、「ＲＧＢ」画像または「ＲＧＢ」ドメイン、あるいは「加算色の色空間」または「加算色の色画像」という用語を用いて記載および請求項の説明をしている。これらの用語は、本明細書および関連する請求項で用いられ、完全な輝度情報および色差情報を含んだ、複数成分を有する画像ドメインのあらゆる形式のものを指し、種々のＲＧＢドメインやＣＭＹＫドメインに限定されない。
【００３３】
また、本発明の実施形態では、「ＹＣｒＣｂ」画像または「ＹＣｒＣｂ」ドメイン、「補色の色」ドメイン、「補色の色」画像、または「補色の色」チャンネル、「色差」ドメイン、「色差」画像、または「色差」チャンネルという用語を用いて記載および請求項の説明をしている。これらの用語は、本明細書および関連する請求項で用いられ、少なくとも１つの輝度チャンネルと複数の色差チャンネルから成るチャンネルを含んだ、複数成分を有する画像ドメインのあらゆる形式のものを指し、ＹＣｒＣｂ、ＬＡＢ、ＹＵＶ、ＹＩＱドメインに限定されない。
【００３４】
本発明の実施形態は、高解像度画像を、変換画像に視認可能な歪みの少ない低解像度画像に変換するのに利用される。これらの実施形態は一般的に表示装置に関連して用いられ、ディスプレイよりも解像度の高い画像をディスプレイに使用可能な解像度まで変換して下げるが、他の用途にも適用可能である。
【００３５】
本発明の実施形態で変換された画像には各種形式が存在する。これらの形式が本発明の実施形態の処理と適合しない場合、画像を処理より前に適合する形式に変換し、必要であれば処理後変換し直せばよい。
【００３６】
図８に示す典型的な実施形態の概略図を参照しながら、本発明の実施形態の説明する。工程７０は、ＹＣｒＣｂ、ＬＡＢ、ＹＵＶ、ＹＩＱあるいは同様のドメイン等の補色の色空間（ＯＣＤ）に存在する画像から始まる。ＲＧＢまたはＣＭＹＫドメイン等の加算色の色空間（ＡＣＤ）、あるいは他の色空間に画像が存在する場合、本発明の実施形態での処理をする前に、画像を補色の色空間に変換する。実施形態によっては、処理をする前に画像を適合する形式に変換するステップを含む。
【００３７】
輝度チャンネルと色差チャンネルとを有する補色の色空間７２に画像があると、画像は「分離」され（ステップ７４）、輝度チャンネルと色差チャンネルに対する別々の処理が施される。「分離」処理（ステップ７４）は、元のＯＣＤ画像７２のサンプリングおよびフィルタリング、あるいは元のＯＣＤ画像７２を輝度データと色差データとを取り出す他の方法を含む。また、分離処理には画像変換が含まれてもよい。
【００３８】
分離処理した後、初期の輝度チャンネル７６はＲＧＢ画像等のＡＣＤにおける輝度画像に変換される（ステップ７８）。この処理を行うと、最終的に画像が表示される形式またはドメインで輝度画像のサンプリングが可能になる。輝度画像を変換すると（ステップ７８）、その結果生成された低解像度画像の解像度を向上させるために、その画像に対してサブピクセルサンプリングを行う（ステップ８０）。このようにして、元の高解像度画像における連続したピクセルのぞれぞれの輝度データは、低解像度画像において対応するサブピクセルにそれぞれ割当てられる。
【００３９】
サブピクセルサンプリング（ステップ８０）が完了し、結果としてサブピクセルサンプリング（ＳＰＳ）した輝度画像ができると、このＳＰＳ輝度画像は、ＳＰＳ−ＯＣＤ輝度画像と称するＯＣＤ画像に変換される（ステップ８２）。この変換を行うことで、ＳＰＳ輝度画像を異なる輝度チャンネルと色差チャンネルとにさらに分離することができる（ステップ８４）。一般的にＳＰＳ輝度チャンネル８６は、他のチャンネルとの結合処理（ステップ８８）が後に行われるまでそのままにしておく。しかし、ＳＰＳ色差チャンネル９０、９２には、結合処理が行われる前にフィルタリングが施される。
【００４０】
これらのＳＰＳ色差チャンネル９０、９２は、赤緑チャンネル９０と青黄チャンネル９２とに分割される。一般的にこれらのチャンネルは、ＹＣｒＣｂ画像のＣｒチャンネルとＣｂチャンネル、ＬＡＢ画像の「ａ」チャンネルと「ｂ」チャンネル、ＹＵＶ画像のＵチャンネルとＶチャンネル、ＹＩＱ画像のＩチャンネルとＱチャンネル、あるいは他の色空間またはドメインの同様なチャンネルから成る。これらの色差チャンネル９０、９２に対してハイパスフィルタリングを行い（ステップ９４、９６）、サブピクセルサンプリング時に発生する低周波のアーチファクトを除去する。
【００４１】
本発明の実施形態によっては、ハイパスフィルタリング（ステップ９４、９６）がアンシャープマスク（ｕｎｓｈａｒｐ）法により行われる。アンシャープマスク法にはローパスカーネルが使用される。一般的に、元の画像はローパスバージョンの画像を生み出すローパスカーネルを用いて処理される。その後、このローパスバージョンの画像は、画像の平均値を維持しつつ、元のフィルタリングされていない画像から差し引かれる。成功した実施形態ではガウス型ローパスカーネルを、シグマを約０．３ピクセルから約０．８ピクセルまでとして用いた。０．６ピクセルのシグマ値が特に成功していると考えられ、約０．１６８サイクル／ピクセル（ｃｙｃｌｅｓ／ｐｉｘｅｌｓ）に周波数ドメインにおけるカットオフが生じる。これにより良質なアンシャープマスクフィルタが得られる。ガウス型カーネルの導出を以下に示す。
【００４２】
一部の実施形態で使用される一次元のガウス関数は、
【００４３】
【数１】

【００４４】
で表される。
【００４５】
この関数のフーリエ変換は、
【００４６】
【数２】

【００４７】
で表される。ここで、空間ドメイン（ピクセルの単位）のσは周波数ドメイン（サイクル／ピクセルの単位）の１／π^２σに相当することがわかる。この関係はそのσを与えられたフィルタのカットオフ周波数を決定させるため、あるいは、逆にＣＳＦモデルによって導かれた周波数が与えられたアンシャープマスクの空間的なσを決定するのに使用され得る。
【００４８】
一部の実施形態で使用される二次元のガウス関数は、
【００４９】
【数３】

【００５０】
で表される。
【００５１】
このガウス関数は、カルテシアンに分離可能（Ｃａｒｔｅｓｉａｎｓｅｐａｒａｂｌｅ）であるので、σの重要性を考慮すると、二次元ガウス関数の周波数応答は数式（２）と同様である。つまり、タイムドメインのσ_ｘは周波数ドメインの１／π^２σ_ｘであり、タイムドメインのσ_ｙは周波数ドメインの１／π^２σ_ｙである。
【００５２】
成功した本発明の実施形態では、３×３の大きさのカーネルで、シグマ値が０．６に選択されたガウス型アンシャープマスクフィルタを使用し、ローパスフィルタのカットオフ周波数がおよそ０．２サイクル／ピクセルとなった。
【００５３】
本発明の他の実施形態では、各補色の色チャンネルの逆ＣＳＦと同等のハイパスフィルタを使用している。これらのＣＳＦは、（ＣＳＦがモデル化された）サイクル／度（ｃｙ／ｄｅｇ）のドメインからサイクル／ピクセル（ｃｙ／ｐｉｘ）のデジタルドメインにマッピングされる。実際のマッピング工程は、視距離を考慮に入れ、１ｍｍ当たりのピクセル（ｐｉｘｅｌｓ／ｍｍ）における特定の表示解像度と、予測または意図された様々な視距離とを有する種々のアプリケーションとのカスタマイズを可能とする。本発明の方法の結果、設計された視距離と同じくらいの距離から見ると色成分アーチファクトは目に見えない。しかし、輝度解像度は改善される。
【００５４】
このハイパスフィルタリング（ステップ９４、９６）は、輝度チャンネル９０、９２の両方、または特定のサンプリング工程で導入されたアーチファクトの量または強度に基づき、あるいはその他の基準に基づき選択されたチャンネルに対して実行される。
【００５５】
元のＯＣＤ色差チャンネル９８、１００のローパスフィルタリング（ステップ１０２、１０４）は、輝度経路１０５での処理と同時に行ってもよいし、別の時に行ってもよい。ＯＣＤ色差チャンネルのローパスフィルタリング（ステップ１０２、１０４）は、表示ピクセルのナイキスト周波数の上にある実質的な色成分の周波数を除去するために行われる。したがって、これらのチャンネルは１：３の従来方法でサブサンプリングされ（ステップ１０１、１０３）、色差経路１１０の色成分エイリアシングが発生しない。
【００５６】
フィルタリングの工程が完了したら、分離したチャンネルを結合する。色成分のチャンネルの結合は、使用される色ドメインによって異なる。この典型的な実施形態では、サブピクセルサンプリングされ、ハイパスフィルタリングされた青黄（ＨＰＦＳＰＳ−Ｂ／Ｙ）色成分チャンネル９７は、ローパスフィルタリングされ、従来方法でサブサンプリングされた青黄（ＬＰＦＳＳ−Ｂ／Ｙ）色成分チャンネル１０９と結合して（ステップ１０６）、１つのハイ−ローフィルタリング（ＨＬＦ）されたＢ／Ｙ色成分チャンネル１１１を形成する。また、サブピクセルサンプリングされ、ハイパスフィルタリングされた赤緑（ＨＰＦＳＰＳ−Ｒ／Ｇ）色成分チャンネル９５は、ローパスフィルタリングされ、伝統的なサブサンプリングされた赤緑（ＬＰＦＳＳ−Ｒ／Ｇ）色成分チャンネル１０７と結合して（ステップ１０８）、１つのハイ−ローフィルタリング（ＨＬＦ）されたＲ／Ｇチャンネル１１４を形成する。
【００５７】
本発明の実施形態の方法は、様々な他の輝度または明度チャンネルだけでなく他の色チャンネルおよび他の多数の色チャンネルを含む他の色空間および色ドメインに用いられる。結合したＨＬＦ色差チャンネル１１１、１１４はさらに、ＳＰＳ輝度チャンネル８６と結合され（ステップ８８）、解像度の低いＯＣＤ画像１１６を形成する。その後、解像度の低いＯＣＤ画像１１６は様々な目的に応じて他の画像形式またはドメインに変換、もしくは変形される。
【００５８】
これらの実施形態の方法およびシステムにより、低解像度画像において目に見える色成分アーチファクトが少なくなる。
【００５９】
また、上記実施形態は多様に変更可能となる。例えば、場合によって、色差チャンネル９８、１００のローパスフィルタリング（ステップ１０２、１０４）は省略されてもよい。さらに、分離された（ステップ７４）輝度チャンネル７６のみを使用して低解像度画像１１６を形成することが可能である。すなわち、色差経路１１０の各ステップおよび色差チャンネル９８、１００に対するステップ１０６、１０８は省略しながら、輝度チャンネル７６に対する輝度経路１０５の各ステップが実行され、ＳＰＳ輝度チャンネル８６、ＨＰＦＳＰＳ−Ｒ／Ｇチャンネル９５、およびＨＰＦＳＰＳ−Ｂ／Ｙチャンネル９７が結合可能となる。このようにして、低解像度画像１１６を形成することが可能となる。
【００６０】
図９を参照して、本発明の典型的な実施形態を詳しく説明する。この特定の実施形態は、解像度の高いＲＧＢ画像を処理して解像度の低い表示装置に表示するために用いられる。解像度の高いＲＧＢ画像１２０には、使用者または用途の特定の必要性に応じて、任意で前処理が行われる（ステップ１２２）。前処理（ステップ１２２）には、ヒンティング（ｈｉｎｔｉｎｇ）、ローパスフィルタリング、またはその他の処理技術が含まれる。また、前処理（ステップ１２２）は省いてもよい。
【００６１】
任意の前処理（ステップ１２２）の後、ＲＧＢはＬＡＢ、ＹＣｒＣｂ、ＹＩＱ、ＹＵＶ、あるいは他の画像ドメイン等の補色の色空間に変換される（ステップ１２４）。この例では、ＬＡＢ画像ドメインを使用する。このドメインに変換されると、画像はドメインのＬチャンネル、ａチャンネル、ｂチャンネルへと別々に分離され（ステップ１２６）、それぞれのチャンネルに対して別々の処理が行われる。このようにして、色差チャンネルおよび輝度チャンネルは別々に処理される。
【００６２】
その後、「Ｌ」チャンネル１２７はＲＧＢドメインに変換し直され（ステップ１２８）、最終的な表示形式でサンプリングされる。この変換には、Ｌ層（ｌａｙｅｒ）またはＬチャンネルを３層の同等なＲ層、Ｇ層、Ｂ層へ単純にコピーする処理が含まれる。また、１つの層が使用されるが、実際の変換方法は選択された色変換によって異なる。
【００６３】
その後、このＲＧＢ輝度画像にサブピクセルサンプリング（ステップ１３０）が施され、元のＲＧＢ画像１２０の水平輝度解像度が維持される。サブピクセルサンプリングした後、サンプリングされた画像はＬＡＢ等の補色の色空間へ再び変換される（ステップ１３２）。このサンプリングされたＬＡＢ画像を分離し（ステップ１３４）、色差チャンネルにさらなる処理を施すために、輝度チャンネルと色差チャンネルとをそれぞれ取り出す。ここで、一般的に輝度チャンネル１３６には元の輝度データを維持するための処理がされない。しかし、サブピクセルサンプリングして分離された画像の色差チャンネル１５０、１５２にはハイパスフィルタリングが施され（ステップ１４６、１４８）、サブピクセルサンプリング時に発生する低周波数の色成分エイリアシングが除去される。
【００６４】
上記に説明した他の実施形態と同様に、このハイパスフィルタリングは、ガウス型ローパスカーネルを用いたアンシャープマスクフィルタを使用して行われる。この方法を用いる実施形態では、色差チャンネルはフィルタリングされ、ＳＰＳ−ＲＧＢ色差画像から差し引かれ、ローパスフィルタリングが施された色差画像が生み出され、「ハイパス」フィルタリングを行った（ＨＰＦ）、ＳＰＳ色差画像または色差チャンネル１４７、１４９が生成される。一般的にハイパスフィルタリング（ステップ１４６、１４８）は「ａ」チャンネルと「ｂ」チャンネルの両方に対して行われるが、許される状況であれば片方のチャンネルのみでもよい。
【００６５】
元の「ａ」色差チャンネル１５４および「ｂ」色差チャンネル１５６のローパスフィルタリング（ステップ１３８、１４０）は、「Ｌ」チャンネルの処理と同時に行われてもよいし、別の時に行われてもよい。「ａ」色差チャンネルおよび「ｂ」色差チャンネルのローパスフィルタリング（ステップ１３８、１４０）は、表示ピクセルのナイキスト周波数の上にある実質的な色成分の周波数を除去するために行われる。ローパスフィルタリング（ステップ１３８、１４０）の後、これらのチャンネルは１：３の伝統的な方法でサブサンプリングされ（ステップ１４２、１４４）、色成分エイリアシングが発生しない。
【００６６】
フィルタリングとサンプリングがされると、チャンネルは結合され、歪みが少なく低解像度画像が形成される。ハイパスフィルタリングされた輝度「ａ」チャンネル１４７は、ローパスフィルタリングされ、サブサンプリングした「ａ」チャンネル１４３と結合され（ステップ１６０）、処理された「ａ」チャンネル１６４を形成する。ハイパスフィルタリングされた輝度「ｂ」チャンネル１４９は、ローパスフィルタリングされ、サブサンプリングした「ｂ」チャンネル１４５と結合され（ステップ１５８）、処理された「ｂ」チャンネル１６２を形成する。その後、これらの色差チャンネル１６２、１６４はＳＰＳ輝度チャンネル１３６と結合され（ステップ１６６）、歪みの少ない解像度の低いＬＡＢ画像１６８を形成する。
【００６７】
この歪みの少ない画像はＲＧＢドメインに変換され（ステップ１７０）、歪みが少なく解像度の低いＲＧＢ画像１７２を生成し、ディスプレイまたは他の装置に出力される。
【００６８】
本発明の実施形態における処理の機能を、輝度成分のＣＳＦ１８０と色成分のＣＳＦ１８２に関連して保持された信号を示す図１０を参照して説明する。維持された色成分信号は、画像において有用な色成分内容を含むローパス領域１８６だけでなく、色成分のＣＳＦに検出不可能なハイパス領域１８４も含む。理想的には、このローパス色成分領域１８６から失われた周波数はＲＧとＢＹのＣＳＦの帯域幅が限られているため、観測者には見えない。ＨＰＦ色成分信号１８４は、有効な輝度成分情報を運ぶ色成分エイリアシングである。なお、低周波数の色成分情報が保持されるため、この技術は色画像に作用する。図１０にはこれら２つの色成分信号間の重複部分が見られないが、実際に使用されるフィルタによっては重複部分が生じる可能性がある。別の実施形態では、図１０に示すハイパス領域１８４の色成分信号とローパス領域１８６の色成分との重複部分の生成を可能にするフィルタが使用されている。重複部分により、色成分エイリアシングを代償として、色成分の帯域幅がより広くなる。
【００６９】
本発明は、この発明の精神あるいは本質的な特徴を逸脱することなく、他の具体的な形で具現化され得る。説明した実施形態はあらゆる点であくまで例を示したに過ぎず、発明の範囲を限定するものではない。したがって、発明の範囲は上述の説明よりもむしろ添付した請求項によって示される。添付した請求項と同等の意味および同等の範囲内での変更はすべてそれらの範囲内で包含される。
【図面の簡単な説明】
【図１】
図１は、３原色ピクセル構成を有するディスプレイ用の従来の画像サンプリングを示す図である。
【図２】
図２は、３原色ピクセル構成を有するディスプレイ用のサブピクセル画像サンプリングを示す図である。
【図３】
図３は、デジタル周波数平面にマッピングされた理想的なＣＳＦを示すグラフである。
【図４】
図４は、有利領域（ａｄｖａｎｔａｇｅｒｅｇｉｏｎ）を表すピクセルナイキスト領域、およびサブピクセルナイキスト領域の分析を示すグラフである。
【図５】
図５は、一般的な前処理技術を示す。
【図６（ａ）】
図６（ａ）は、ピクセルサンプリング周波数およびサブピクセルサンプリング周波数で反復される１／ｆパワースペクトルを用いた分析を示すグラフである。
【図６（ｂ）】
図６（ｂ）は、前処理によって改善されたピクセルサンプリング周波数およびサブピクセルサンプリング周波数で反復される１／ｆパワースペクトルを用いた分析を示すグラフである。
【図７】
図７は、視覚モデルの既知の使用方法を示すブロック図である。
【図８】
図８は、本発明の実施形態を示すフローチャートである。
【図９】
図９は、本発明の具体的な実施形態を示すフローチャートである。
【図１０】
図１０は、本発明の実施形態によって保持される信号を示すグラフである。〔Technical field〕
Embodiments of the present invention relate to the field of displaying high-resolution images on low-resolution displays using a three-color configuration that displays the R, G, B, or other components of the image. This three-color configuration is often found, for example, in a direct-view LCD display having a configuration in which one pixel is composed of three adjacent sub-pixels. Each sub-pixel controls only one of the three primary colors (ie, R, G, B); in other words, it is typically controlled only by the primary colors of the digital image display. High resolution images are available in memory or directly from algorithms (vector graphics, some font designs, computer graphics).
[0001]
The subject matter of this specification is a patent entitled "Sub-pixel Sampling and Visual Distortion Correction for Display Resolution," invented by Scott Daly and filed on Dec. 12, 2000 as US patent application Ser. No. 09 / 735,454. Methods and systems for improvement ". This application is attached herein by reference.
[0002]
Also, the subject matter of this specification is a "sub-pixel sampling," invented by Rajesh Lady Kay Cobli and Scott Daly, and filed on Dec. 12, 2000 as US patent application Ser. No. 09 / 735,425. And method and system for improving display resolution in chromatic aberration free images using visual distortion filtering. This application is attached herein by reference.
[0003]
(Background technology)
The most commonly used method for displaying a high-resolution image on a low-resolution display is to sample the pixels 2 of the high-resolution image 4 and reduce it to the resolution of the low-resolution display 6 as shown in FIG. is there. Thereafter, the RGB values of each downsampled color pixel 8 are mapped to

independent RGB components

10, 12, 14 of each display pixel 16. The

RGB components

10, 12, and 14 of the display pixel are called sub-pixels. Since the color components do not overlap in the display device, the sub-pixels can have only one of the three RGB colors, but the color amplitudes can vary across the entire tonal range (eg, 0 to 255). Since the sub-pixels typically have a 1: 3 aspect ratio (width: height), the pixels 16 are square. The sub-sampling / mapping method does not take into account that the RGB sub-pixels in the display are spatially displaced, and in fact, as if the RGB sub-pixels were in the high resolution image as shown in FIG. Are assumed to overlap. This type of sampling is called subsampling, or conventional subsampling.
[0004]
The pixels of the high resolution image 4 are indicated by three squares 8 superimposed slightly offset and represent the RGB values associated with the same spatial location (ie, pixel). One display pixel 16 is composed of one

RGB sub-pixel

10, 12, and 14, and is shown as a part of the low-resolution three-color display 6 using dark lines in FIG. Other display pixels are indicated by thin dotted lines.
[0005]
In this example, the high resolution image (both horizontal and vertical) has more than three times the resolution of the display. Because aliasing artifacts are created by this direct sampling method, various methods are used, such as averaging adjacent unsampled pixels with sampled pixels. Note that the general method of averaging adjacent components while sub-sampling is mathematically equivalent to high-resolution image pre-filtering using a rectangular (rect) filter. Also, the method of selecting a pixel different from the leftmost pixel (as shown in this figure) can be considered as pre-filtering that affects only the phase. Thus, most of the processing associated with anti-aliasing is considered a filtering step on high resolution images, even if the kernel is only used at the sampled pixel locations.
[0006]
An image without chromatic aberration has no visible color change as defined herein and in the claims. This chromatic aberration-free condition is when the image contains only one layer or one color channel, or when the image has multiple layers or multiple color channels, but each color layer is the same so that a single color image can be produced. It can happen in some cases.
[0007]
The above method does not take advantage of the potential display resolution. "Full Color Imaging of Amplitude Color Mosaic Display", by Earl Figenflat (1989), Proc. SPIE V. 1075, 199-205, and "Color Matrix Display Image Quality: Luminance and With reference to "Effects of Spatial Sampling" (J. Kranz, El Silverstein (1990), SID Symp. Digest, 29-32), background knowledge in this field can be obtained. For example, in the display shown in FIG. 1, the resolution of the display pixels 16 is one third of the high resolution image (source image) 4, while the resolution of the

sub-pixels

10, 12, 14 is the resolution of the (horizontal) source image. Is equal to If this display is used only for people with color blindness, it is possible to take advantage of the spatial position of the sub-pixels. In this method, as shown in FIG. 2, the

RGB sub-pixels

10, 12, 14 of the display have been removed from the

different pixels

11, 13, 15 colors in the high resolution image. This allows the horizontal resolution to be a sub-pixel resolution that is three times the display pixel resolution.
[0008]
But what if the observer of the display is not color blind? That is, what happens for the majority of normal observers? Fortunately for display engineers, even an observer with perfect color vision will have color vision deficiencies at high spatial frequencies. This is illustrated as follows in FIG. 3, which shows the ideal spatial frequency response in the human visual system.
[0009]
Here, the luminance 17 represents the chromatic aberration-free contact of the observed image, and the chrominance 19 represents the pure color amount processed by the visual system as an equal luminance modulation from red to green and blue to yellow. The color difference signals RG and BY of the video are roughly similar to these modulations. For most observers, the bandwidth of the frequency response of the color components is one half of the luminance frequency response. The bandwidth of the blue-yellow modulation response may be reduced to about one third of the luminance. Sampling, including the mapping of the color components from the various image pixels to the sub-pixels of the three color display pixels, is referred to as sub-pixel sampling, as shown in FIG.
[0010]
Referring to FIG. 4, in the horizontal direction of the display, the Nyquist frequency of the display pixel 16 (display pixel = three color pixels, three Nyquist with 0.5 cycle per three color pixels) and the sub-pixel component 10, There is an intervening frequency band between the Nyquist frequencies of 12, 14 (0.5 cycles per subpixel = 1.5 cycles per 3 color pixel). This area is shown as a rectangular area 20 in FIG. A sinc function obtained by convolving the high-resolution image with a rect function having a width equal to the display sample space is indicated by a thin dashed line and a curve 22 of points. This is the most common technique used to model the display MIF (modulation transfer function) when the display is an LCD.
[0011]
The sinc function obtained by convolving the high-resolution source image with the rect function equal to the sub-pixel space is shown by the dashed curve 24 and has a high bandwidth. This is the limit imposed by the display taking into account that the sub-pixels are one-dimensionally rectangular. In the illustrated rectangular area 20, the sub-pixels can display luminance component information, but cannot display color component information. Actually, this is because any color component information in this area is aliased. Thus, in this region, by enabling color component aliasing, it is possible to achieve luminance component information at frequencies higher than three color (ie, display) pixels. This is the “advantage” region that results from using sub-pixel sampling.
[0012]
For application in font display, black and white fonts are generally preprocessed as shown in FIG. Standard preprocessing includes centering the font strokes at the pixel center, or hinting, which is called special phase shifting of the font strokes. Usually, after this processing, low-pass filtering is performed, which is called gradation anti-aliasing.
[0013]
The visual frequency response (CSF) shown in FIG. 3 is ideal. Actually, as shown in FIG. 6 (a), it has a finite fall slope. The luminance component CSF 30 was mapped from the unit of cycle / degree (cy / deg) to the display pixel domain (assuming the viewing distance was 1280 pixels). The CSF of the luminance component has a maximum frequency near 1.5 cycles / pixel (display pixel) and a maximum value near 0.2 cycles / 3 pixels (cy / pixel triad) as shown by the solid line 30. It is a band pass. The R: G CSF 32 is a low pass, indicated by the dashed line, with a maximum frequency near 0.5 cycles / pixel. The B: Y modulation CSF 34 is indicated by a dashed line and a point LPF curve having the same maximum frequency as the R: G CSF and a lower maximum response than the R: G CSF. The cut-off frequency range of the color components CSF32 and CSF30 and the luminance component CSF30 is a region where color component aliasing is enabled to improve the luminance bandwidth.
[0014]
FIG. 6A shows an ideal image power spectrum 36 as a 1 / f function, which is represented by a straight line having a slope of -1 (because a logarithmic axis is used in the figure). This spectrum repeats at the sampling frequency. These repetitions are indicated by the sampling rate of pixel 38 and sub-pixel 40 in the horizontal direction. The repetition occurring in the low frequency band 38 is due to pixel sampling and the repetition occurring in the high frequency band 40 is due to sub-pixel sampling. Note that the shape changes because it is plotted on the logarithmic frequency axis. The frequencies of these repetitive spectra that extend down to the lower frequency bands below Nyquist are called aliasing. The one on the far left is the color component aliasing 38 because it is due to the pixel sampling rate, while the luminance component aliasing 40 occurs in the high frequency band because it is associated with a high sub-pixel sampling rate.
[0015]
In FIG. 6 (a), no pre-filtering was applied to the source spectrum. As a result, aliasing due to pixel sampling (ie, color component aliasing) extends to a very low frequency band 35. Thus, although the color component CSF has a lower bandwidth than the luminance component CSF, there are still visible color artifacts (depending on the display noise and contrast).
[0016]
In FIG. 6 (b), applying the pre-filter (rect function equal to three source image pixels) shown by the light dashed line and dotted curve 22 in FIG. 4 to the source power spectrum results in 0.5 cycles / It can be seen that it affects the baseband spectrum 42 beyond the pixel and has a steeper slope than -1 shown at 44. Also, the iteration shows the effect of this pre-filter. It can be seen that even with this filter, some color component aliasing (repetitive spectrum in the low frequency band) occurs at a frequency 46 lower than the cutoff frequency of the two

color components CSF

32a and 34a. Thus, it is difficult to remove color component aliasing without removing all luminance frequencies above 0.5 cycles / pixel (ie, the “advantaged” region) with simple luminance component pre-filtering. I understand.
[0017]
To increase the bandwidth of the luminance component to the "advantageous" region 20, it relies on the difference in bandwidth in the vision system as a function of the luminance or chrominance component, and is hereby incorporated by reference and 7. Designing a pre-filtering based on a visual system model as described in “Displaced filtering for pattern display” shown in FIG. 7 (by Sea Betraysey et al., (2000), SID Symposium digest, 296-299). This is one possibility.
[0018]
Ideally, this method uses different pre-filters depending on the color layer and the color sub-pixel on which the image is being sampled. Therefore, there are nine filters. These filters are attached to this specification for reference and are shown in FIG. 7, "Spatial Extension of CIELab for Digital Color Image Reproduction," by X Chan and B. Wander, (1996), SID Symp.Digest 731-734) and a model representing differences in human vision. This is done offline and assumes that the image is always a black and white image. In the final run, the rect function, rather than the resulting filter, is used to reduce the complexity. Further, since the color component aliasing extends to a frequency band lower than the cutoff frequency of the color component CSF (as can be seen from FIG. 6B), it can be seen that some color component distortion still remains.
[0019]
However, the visual model used does not take into account the masking characteristics of the visual system, where the luminance causes the masking of the color components when the luminance is intermediate for high contrast levels. Thus, in large fonts, color component artifacts that appear along the edges of the font are masked by the high brightness contrast of the font. However, as the font size decreases, the brightness of the font also decreases, so the same color component artifacts become very noticeable (for example, for very small fonts, the black and white portions of the font disappear and the local color spec Only remains).
[0020]
[Disclosure of the Invention]
The present invention has been made based on the characteristics of the spatial frequency response exhibited by the human visual system described above, that is, the cutoff frequency of the visual frequency response CSF of the luminance component is higher than that of the visual frequency response CSF of the color component. Things. The present invention separates a high-resolution image into luminance data and chrominance data, performs sampling and filtering suitable for each of them, and combines the two data to form a low-resolution image. Performing traditional subsampling on the chrominance data avoids color component aliasing and improving the resolution of the luminance component by performing subpixel sampling on the luminance data. Further, high-pass filtering is performed on the luminance data on which the sub-pixel sampling has been performed, thereby removing low-frequency artifacts generated at the time of sub-pixel sampling of the luminance data.
[0021]
Conceptually, the present invention can be described as follows. 1 and 2, the R, G, and B values of the R, G, and

B sub-pixels

10, 12, and 14 of one display pixel 16 are calculated by the sub-sampling shown in FIG. Reflects each R, G, B value of pixel 8 (ie, 11). However, the R, G, B values of the sub-pixels 10, 12 and 14 are not the same as the respective R, G, B values of the color pixel 8 (11). In other words, by performing the sub-pixel sampling shown in FIG. 2 on the luminance component, the R, G, and B values of the sub-pixels 10, 12, and 14 are set to the luminance components of the

color pixels

11, 13, and 15, respectively. Reflects.
[0022]
Embodiments of the present invention include methods and systems that can operate on input color images with little dependence on filtering and its linearity assumptions. These embodiments allow direct removal of color component artifacts at low frequencies caused by sub-pixel sampling. This is achieved by generating LPF versions of the color components of the image that are added to the aliasing versions of the luminance and color components. This is done using color domains other than the additive and primary color domains (ie, RGB) to remove color artifacts that occur with sub-pixel sampling. Actually, as shown in FIG. 6A, the bandwidth of the color component CSF is low, and no color component artifacts at high frequencies are seen. Therefore, it is necessary to remove only the color component artifacts at low frequencies.
[0023]
The method and system of the present invention can be used to obtain a high resolution luminance signal without visualizing color component aliasing when the display is viewed as close as design specifications. These techniques do not require the assumption that the source image is text or that the image has no chromatic aberration.
[0024]
The embodiment of the present invention converts a high-resolution image into a low-resolution image with less distortion generated in the sub-sampling process. When a high resolution image is not in a format that can be separated into luminance data and color difference data, the high resolution image is converted to such a format. Many of the complementary color domains are acceptable. By separating the complementary color domain image, the luminance channel is separated from the chrominance channel, so that separate processing is possible.
[0025]
Thereafter, the luminance channel is converted into a color space (ACD) of an additive color such as RGB, and a subpixel sampling is performed on the luminance image in the ACD to maintain the luminance data while reducing the resolution. After sub-pixel sampling, the sub-pixel sampled (SPS) image is converted back to the complementary color space (OCD) and separated again into independent luminance and chrominance channels. Thereafter, the SPS color difference channel generated by this separation processing is subjected to high-pass filtering to remove low-frequency artifacts generated at the time of sub-pixel sampling. Generally, the luminance channel that has been SPSed to retain the original luminance data is not modified.
[0026]
The color difference channel of the original image is subjected to low-pass filtering and sub-sampling, and color difference data of a low-resolution image is generated. These low-pass filtered chrominance channels are then combined from the original luminance channel, sub-pixel sampled and high-pass filtered chrominance channels. Further, these combined color difference channels are combined with the SPS luminance channel, and a low-resolution image with little distortion is generally formed in a complementary color space. The low-distortion image with less distortion is then converted to an additive color space or other color space that is compatible with the desired application.
[0027]
[Brief description of drawings]
In order to obtain the above-listed advantages and objects and other advantages and objects of the present invention, the above briefly described invention will be described in more detail with reference to specific embodiments of the invention shown in the accompanying drawings. It is explained in. These drawings depict only general embodiments of the present invention and therefore do not limit the scope of the present invention. The present invention is described and described with supplementary specificity and details with reference to the accompanying drawings.
[0028]
[Best mode for carrying out the invention]
The presently preferred embodiment of the invention will be understood by reference to the drawings. In the drawings, the same members are denoted by the same numbers throughout. The drawings are attached as part of this detailed description.
[0029]
It will be readily apparent that the components of the present invention can be arranged and designed in a wide variety of configurations, as generally described and illustrated in the drawings. Accordingly, the following more detailed description of embodiments of the method and system of the present invention is not intended to limit the scope of the invention, but is merely representative of the presently preferred embodiments of the invention.
[0030]
Elements of the embodiments of the present invention are embodied in hardware, firmware, and / or software. Further, software (program) embodying the features of the embodiment of the present invention may be provided by being stored in a computer-readable medium. Such media include information storage means (semiconductor memory, floppy (registered trademark) disk, hard disk, etc.) and optical storage means (CD-ROM, DVD, etc.) as well as computer networks (LAN, Internet, etc.). Communication media (optical fiber, wireless line, etc.) in a WAN, wireless communication network, etc. system. Furthermore, features of the embodiments of the present invention may be implemented in the form of computer signals embodied in electronic transmission. The exemplary embodiments disclosed herein merely describe one of these forms, and those skilled in the art will be able to accomplish these elements in any form within the scope of the invention.
[0031]
Embodiments of the present invention use the term "chromatic" to describe and describe the claims. The term is used in this specification and the appended claims with respect to images and refers to images that do not have a visible color change. An image without chromatic aberration is an image that contains only one layer or one color channel, or an image that has multiple layers or multiple color channels, but where each color layer is the same and can produce a single color image. It is.
[0032]
In the embodiments of the present invention, the description and claims are described using the terms “RGB” image or “RGB” domain, or “additional color space” or “additional color image”. These terms are used herein and in the related claims to refer to any form of multi-component image domain, including complete luminance and chrominance information, and to various RGB and CMYK domains. Not limited.
[0033]
In the embodiment of the present invention, the “YCrCb” image or the “YCrCb” domain, the “complementary color” domain, the “complementary color” image, or the “complementary color” channel, the “color difference” domain, the “color difference” image Or the term "color difference" channel is used in describing and claiming. These terms are used herein and in the related claims to refer to any type of multi-component image domain, including a channel comprising at least one luminance channel and a plurality of chrominance channels, YCrCb, Not limited to LAB, YUV, YIQ domains.
[0034]
Embodiments of the present invention are used to convert a high-resolution image into a low-resolution image with little distortion that can be visually recognized in the converted image. These embodiments are generally used in connection with a display device, and convert an image having a higher resolution than the display to a resolution usable for the display, but can be applied to other applications.
[0035]
There are various formats for the image converted in the embodiment of the present invention. If these formats are not compatible with the processing of the embodiment of the present invention, the image may be converted to a suitable format before the processing and, if necessary, converted again after the processing.
[0036]
An embodiment of the present invention will be described with reference to the schematic diagram of an exemplary embodiment shown in FIG. Step 70 begins with an image residing in a complementary color space (OCD) such as YCrCb, LAB, YUV, YIQ, or a similar domain. If an image exists in an additional color space (ACD) such as RGB or CMYK domain, or another color space, the image is converted to a complementary color space before processing in the embodiment of the present invention. Some embodiments include the step of converting the image to a compatible format before processing.
[0037]
If there is an image in the complementary color space 72 having a luminance channel and a chrominance channel, the image is "separated" (step 74) and the luminance and chrominance channels are processed separately. The "separation" process (step 74) includes sampling and filtering of the original OCD image 72 or other methods of extracting the original OCD image 72 into luminance and chrominance data. Further, the separation processing may include image conversion.
[0038]
After the separation process, the initial luminance channel 76 is converted into an ACD luminance image such as an RGB image (step 78). By performing this processing, the luminance image can be sampled in a format or domain in which the image is finally displayed. Once the luminance image has been transformed (step 78), sub-pixel sampling is performed on the resulting low-resolution image to improve the resolution (step 80). In this way, each piece of luminance data of successive pixels in the original high-resolution image is assigned to a corresponding sub-pixel in the low-resolution image.
[0039]
When the sub-pixel sampling (Step 80) is completed and the resulting sub-pixel sampled (SPS) luminance image is created, the SPS luminance image is converted to an OCD image called an SPS-OCD luminance image (Step 82). By performing this conversion, the SPS luminance image can be further separated into different luminance channels and color difference channels (step 84). Generally, the SPS luminance channel 86 is left until the combining process with other channels (step 88) is performed later. However, the

SPS chrominance channels

90 and 92 are filtered before the combining process is performed.
[0040]
These SPS

color difference channels

90, 92 are divided into a red-green channel 90 and a blue-yellow channel 92. Generally, these channels are the Cr and Cb channels of a YCrCb image, the "a" and "b" channels of a LAB image, the U and V channels of a YUV image, the I and Q channels of a YIQ image, or other channels. Color space or domain of similar channels. High-pass filtering is performed on these chrominance channels 90 and 92 (steps 94 and 96) to remove low-frequency artifacts generated during sub-pixel sampling.
[0041]
In some embodiments of the present invention, high-pass filtering (steps 94 and 96) is performed by an unsharp mask method. A low-pass kernel is used for the unsharp mask method. Generally, the original image is processed using a low-pass kernel that produces a low-pass version of the image. This low-pass version of the image is then subtracted from the original unfiltered image while maintaining the average value of the image. Successful embodiments have used a Gaussian low-pass kernel with sigma from about 0.3 pixels to about 0.8 pixels. A sigma value of 0.6 pixels is considered particularly successful, with a cut-off in the frequency domain at about 0.168 cycles / pixels. As a result, a high-quality unsharp mask filter can be obtained. The derivation of the Gaussian kernel is shown below.
[0042]
The one-dimensional Gaussian function used in some embodiments is
[0043]
(Equation 1)

[0044]
It is represented by
[0045]
The Fourier transform of this function is
[0046]
(Equation 2)

[0047]
It is represented by Here, σ in the spatial domain (unit of pixel) is 1 / π of the frequency domain (unit of cycle / pixel). ² It can be seen that it corresponds to σ. This relationship can be used to determine the cutoff frequency of the filter given its σ, or, conversely, to determine the spatial σ of the unsharp mask given the frequency derived by the CSF model. .
[0048]
The two-dimensional Gaussian function used in some embodiments is
[0049]
[Equation 3]

[0050]
It is represented by
[0051]
Since this Gaussian function is Cartesian separable, the frequency response of the two-dimensional Gaussian function is the same as in equation (2), considering the importance of σ. That is, σ in the time domain _x Is 1 / π in the frequency domain ² σ _x And σ in the time domain _y Is 1 / π in the frequency domain ² σ _y It is.
[0052]
A successful embodiment of the present invention uses a Gaussian unsharp mask filter with a 3 × 3 size kernel and a sigma value of 0.6, and a low-pass filter with a cutoff frequency of about 0.2. Cycles / pixel.
[0053]
In another embodiment of the present invention, a high-pass filter equivalent to the inverse CSF of each complementary color channel is used. These CSFs are mapped from the cycle / degree (cy / deg) domain (where the CSF is modeled) to the cycle / pixel (cy / pix) digital domain. The actual mapping process takes into account viewing distances and allows for customization of various applications with specific display resolutions in pixels per mm (pixels / mm) and various expected or intended viewing distances. I do. As a result of the method of the present invention, color component artifacts are not visible when viewed from as much as the designed viewing distance. However, the luminance resolution is improved.
[0054]
This high-pass filtering (steps 94, 96) is performed on both

luminance channels

90, 92, or a channel selected based on the amount or intensity of artifacts introduced in a particular sampling step, or based on other criteria. Is done.
[0055]
The low-pass filtering of the original OCD chrominance channels 98, 100 (steps 102, 104) may be performed simultaneously with the processing on the luminance path 105 or at another time. Low pass filtering of the OCD chrominance channel (steps 102, 104) is performed to remove frequencies of substantial color components above the Nyquist frequency of the display pixel. Therefore, these channels are sub-sampled in a 1: 3 conventional manner (steps 101 and 103), and no color component aliasing of the color difference path 110 occurs.
[0056]
When the filtering process is completed, the separated channels are combined. The combination of the channels of the color components depends on the color domain used. In this exemplary embodiment, the sub-pixel sampled, high-pass filtered blue-yellow (HPFSPS-B / Y) color component channel 97 is low-pass filtered and conventionally sub-sampled blue-yellow (LPFSS-B / Y). (Y) Combined with color component channel 109 (step 106) to form one high-low filtered (HLF) B / Y color component channel 111. The sub-pixel sampled and high-pass filtered red-green (HPFSPS-R / G) color component channel 95 is also a low-pass filtered and traditional sub-sampled red-green (LPFSS-R / G) color component channel 107. (Step 108) to form one high-low filtered (HLF) R / G channel 114.
[0057]
The methods of the embodiments of the present invention are used for other color spaces and color domains that include various other luminance or brightness channels as well as other color channels and other multiple color channels. The combined

HLF chrominance channels

111, 114 are further combined with an SPS luminance channel 86 (step 88) to form a low resolution OCD image 116. Thereafter, the low-resolution OCD image 116 is converted or transformed into another image format or domain for various purposes.
[0058]
The methods and systems of these embodiments reduce visible color component artifacts in low resolution images.
[0059]
Further, the above embodiment can be variously changed. For example, in some cases, low-pass filtering (steps 102, 104) of the

chrominance channels

98, 100 may be omitted. Further, it is possible to form the low resolution image 116 using only the separated (step 74) luminance channel 76. That is, while omitting the steps of the color difference path 110 and the

steps

106 and 108 for the

color difference channels

98 and 100, the steps of the luminance path 105 for the luminance channel 76 are executed, and the SPS luminance channel 86 and HPFSPS-R / G channel 95 , And HPFSPS-B / Y channel 97 can be coupled. In this manner, the low-resolution image 116 can be formed.
[0060]
An exemplary embodiment of the present invention will be described in detail with reference to FIG. This particular embodiment is used to process a high resolution RGB image and display it on a lower resolution display device. The high resolution RGB image 120 is optionally pre-processed according to the specific needs of the user or application (step 122). The pre-processing (step 122) includes hinting, low-pass filtering, or other processing techniques. Further, the pre-processing (step 122) may be omitted.
[0061]
After any preprocessing (step 122), the RGB is converted to a complementary color space such as LAB, YCrCb, YIQ, YUV, or other image domain (step 124). In this example, the LAB image domain is used. Once converted to this domain, the image is separated separately into the L, a, and b channels of the domain (step 126), and separate processing is performed on each channel. In this way, the chrominance channel and the luminance channel are processed separately.
[0062]
Thereafter, the "L" channel 127 is converted back to the RGB domain (step 128) and sampled in the final display format. This conversion involves simply copying the L layer or L channel to three equivalent R, G, and B layers. Also, one layer is used, but the actual conversion method depends on the selected color conversion.
[0063]
Thereafter, sub-pixel sampling (step 130) is performed on the RGB luminance image, and the horizontal luminance resolution of the original RGB image 120 is maintained. After sub-pixel sampling, the sampled image is converted again to a complementary color space such as LAB (step 132). The sampled LAB image is separated (step 134), and a luminance channel and a chrominance channel are respectively extracted to further process the chrominance channel. Here, generally, the luminance channel 136 is not subjected to processing for maintaining the original luminance data. However, the

chrominance channels

150 and 152 of the image separated by sub-pixel sampling are subjected to high-pass filtering (steps 146 and 148) to remove low-frequency color component aliasing that occurs during sub-pixel sampling.
[0064]
As in the other embodiments described above, this high-pass filtering is performed using an unsharp mask filter using a Gaussian low-pass kernel. In embodiments using this method, the chrominance channels are filtered and subtracted from the SPS-RGB chrominance image to produce a low-pass filtered chrominance image, with "high-pass" filtering (HPF), the SPS chrominance image, or

Color difference channels

147 and 149 are generated. Generally, high-pass filtering (steps 146 and 148) is performed on both the “a” channel and the “b” channel, but only one channel may be used if permitted.
[0065]
The low-pass filtering of the original “a” chrominance channel 154 and the “b” chrominance channel 156 (steps 138, 140) may be performed simultaneously with the processing of the “L” channel, or at another time. Low-pass filtering of the "a" and "b" color difference channels (steps 138, 140) is performed to remove frequencies of substantial color components that are above the Nyquist frequency of the display pixel. After low-pass filtering (steps 138, 140), these channels are sub-sampled in a traditional 1: 3 manner (steps 142, 144) so that no color component aliasing occurs.
[0066]
Once filtered and sampled, the channels are combined to form a low-resolution image with less distortion. The high-pass filtered luminance “a” channel 147 is combined with the low-pass filtered and sub-sampled “a” channel 143 (step 160) to form a processed “a” channel 164. The high-pass filtered luminance “b” channel 149 is combined with the low-pass filtered and sub-sampled “b” channel 145 (step 158) to form a processed “b” channel 162. These

chrominance channels

162, 164 are then combined with the SPS luminance channel 136 (step 166) to form a low resolution LAB image 168 with less distortion.
[0067]
This less distorted image is converted to the RGB domain (step 170) to produce a less distorted, lower resolution RGB image 172, which is output to a display or other device.
[0068]
The function of the processing in the embodiment of the present invention will be described with reference to FIG. 10 showing signals held in relation to the CSF 180 of the luminance component and the CSF 182 of the color component. The maintained color component signals include not only a low-pass region 186 containing useful color component content in the image, but also a high-pass region 184 that is undetectable in the CSF of the color component. Ideally, the frequencies lost from this low-pass color component region 186 are invisible to the observer due to the limited bandwidth of the RG and BY CSFs. HPF color component signal 184 is color component aliasing that carries valid luminance component information. Since the low-frequency color component information is retained, this technique operates on a color image. FIG. 10 does not show an overlap between these two color component signals, but may have an overlap depending on the filter actually used. In another embodiment, a filter is used that enables the generation of an overlap between the color component signal of the high-pass region 184 and the color component of the low-pass region 186 shown in FIG. The overlap allows for a wider bandwidth of color components at the expense of color component aliasing.
[0069]
The present invention may be embodied in other specific forms without departing from the spirit or essential characteristics of the invention. The described embodiments are merely examples in every respect and do not limit the scope of the invention. The scope of the invention is, therefore, indicated by the appended claims rather than by the foregoing description. All changes that come with the meaning and range of equivalency of the appended claims are embraced within their scope.
[Brief description of the drawings]
FIG.
FIG. 1 is a diagram illustrating conventional image sampling for a display having a three primary color pixel configuration.
FIG. 2
FIG. 2 is a diagram illustrating sub-pixel image sampling for a display having a three primary color pixel configuration.
FIG. 3
FIG. 3 is a graph showing an ideal CSF mapped to a digital frequency plane.
FIG. 4
FIG. 4 is a graph showing an analysis of a pixel Nyquist region representing an advantage region and a sub-pixel Nyquist region.
FIG. 5
FIG. 5 shows a general pre-processing technique.
FIG. 6 (a)
FIG. 6 (a) is a graph showing an analysis using a 1 / f power spectrum that is repeated at a pixel sampling frequency and a sub-pixel sampling frequency.
FIG. 6 (b)
FIG. 6 (b) is a graph showing an analysis using the 1 / f power spectrum repeated at the pixel sampling frequency and the sub-pixel sampling frequency improved by the preprocessing.
FIG. 7
FIG. 7 is a block diagram showing a known method of using a visual model.
FIG. 8
FIG. 8 is a flowchart showing an embodiment of the present invention.
FIG. 9
FIG. 9 is a flowchart showing a specific embodiment of the present invention.
FIG. 10
FIG. 10 is a graph illustrating signals retained by an embodiment of the present invention.

Claims

高解像度画像を可視歪みの少ない低解像度画像に変換する方法において、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと１以上の初期の色差チャンネルとに分離する処理と、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成する処理と、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換する処理と、
前記ＯＣＤにおける輝度画像を、独立するサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした１以上の色差チャンネルとに分離する処理と、
前記ＳＰＳした１以上の色差チャンネルにハイパスフィルタリングを行う処理と、
前記ＳＰＳしてハイパスフィルタリングを行った１以上の色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ない低解像度画像を形成する処理と、を含むことを特徴とする方法。In a method of converting a high-resolution image into a low-resolution image with less visible distortion,
Separating the high resolution image in the complementary color space (OCD) into an independent initial luminance channel and one or more initial color difference channels;
Performing a sub-pixel sampling on the initial luminance channel to generate a luminance image in a color space (ACD) of an additive color;
Converting the luminance image in the ACD into a luminance image in the OCD;
A process of separating the luminance image in the OCD into independent sub-pixel sampling (SPS) luminance channels and one or more SPS color difference channels;
Performing high-pass filtering on one or more of the SPS color difference channels;
Combining the one or more chrominance channels subjected to SPS and high-pass filtering and the SPS luminance channels to form a low-resolution image with less distortion.

高解像度画像を可視歪みの少ない低解像度画像に変換する装置において、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと１以上の初期の色差チャンネルとに分離する手段と、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成する手段と、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換する手段と、
前記ＯＣＤにおける輝度画像を、独立したサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした１以上の色差チャンネルとに分離する手段と、
前記ＳＰＳした１以上の色差チャンネルにハイパスフィルタリングを行うハイパスフィルタと、
前記ＳＰＳしてハイパスフィルタリングを行った１以上の色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ない低解像度画像を形成する手段と、を含むことを特徴とする装置。In a device that converts a high-resolution image into a low-resolution image with little visible distortion,
Means for separating the high resolution image in the complementary color space (OCD) into a separate initial luminance channel and one or more initial color difference channels;
Means for generating a luminance image in a color space (ACD) of an additive color by performing sub-pixel sampling on the initial luminance channel;
Means for converting the luminance image in the ACD into a luminance image in the OCD;
Means for separating the luminance image in the OCD into independent sub-pixel sampled (SPS) luminance channels and one or more SPS color difference channels;
A high-pass filter that performs high-pass filtering on one or more of the SPS color difference channels;
Means for combining the one or more color difference channels subjected to the SPS and high-pass filtering and the luminance channels subjected to the SPS to form a low-resolution image with less distortion.

高解像度画像を可視歪みの少ない低解像度画像に変換する方法を記録したコンピュータ読取可能な媒体において、
前記方法は、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと１以上の初期の色差チャンネルとに分離する処理と、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成する処理と、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換する処理と、
前記ＯＣＤにおける輝度画像を、独立するサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした１以上の色差チャンネルとに分離する処理と、
前記ＳＰＳした１以上の色差チャンネルにハイパスフィルタリングを行う処理と、
前記ＳＰＳしてハイパスフィルタリングを行った１以上の色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ない低解像度画像を形成する処理と、を含むことを特徴とするコンピュータ読取可能な媒体。In a computer-readable medium recording a method for converting a high-resolution image into a low-resolution image with less visible distortion,
The method comprises:
Separating the high resolution image in the complementary color space (OCD) into an independent initial luminance channel and one or more initial color difference channels;
Performing a sub-pixel sampling on the initial luminance channel to generate a luminance image in a color space (ACD) of an additive color;
Converting the luminance image in the ACD into a luminance image in the OCD;
A process of separating the luminance image in the OCD into independent sub-pixel sampling (SPS) luminance channels and one or more SPS color difference channels;
Performing high-pass filtering on one or more of the SPS color difference channels;
Combining the one or more color difference channels subjected to the SPS and high-pass filtering and the SPS luminance channel to form a low-resolution image with less distortion. .

高解像度画像を可視歪みの少ない低解像度画像に変換する方法において、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと複数の初期の色差チャンネルとに分離する処理と、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成する処理と、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換する処理と、
前記ＯＣＤにおける輝度画像を、独立するサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした色差チャンネルとに分離する処理と、
前記ＳＰＳした色差チャンネルにハイパスフィルタリングを行う処理と、
前記初期の色差チャンネルにローパスフィルタリングを行う処理と、
前記ローパスフィルタリングされた初期の色差チャンネルにサブサンプリングを行う処理と、
前記ローパスフィルタリングしてサブサンプリングを行った色差チャンネルと、前記ＳＰＳしてハイパスフィルタリングを行った色差チャンネルとを結合する処理と、
前記結合された色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みが少ない低解像度画像を形成する処理と、を含むことを特徴とする方法。In a method of converting a high-resolution image into a low-resolution image with less visible distortion,
Separating a high-resolution image in a complementary color space (OCD) into an independent initial luminance channel and a plurality of initial color difference channels;
Performing a sub-pixel sampling on the initial luminance channel to generate a luminance image in a color space (ACD) of an additive color;
Converting the luminance image in the ACD into a luminance image in the OCD;
A process of separating the luminance image in the OCD into an independent sub-pixel sampling (SPS) luminance channel and an SPS color difference channel;
Performing high-pass filtering on the SPS color difference channel;
Performing low-pass filtering on the initial color difference channel;
Sub-sampling the low-pass filtered initial chrominance channel;
A process of combining the low-pass filtered and sub-sampled chrominance channels with the SPS and high-pass filtered chrominance channels;
Combining the combined chrominance channel and the SPS luminance channel to form a low-resolution image with less distortion.

前記高解像度画像は、前記ＯＣＤにおける高解像度画像を分離する処理より前に補色の色空間における画像に変換された加算色の色空間における画像であることを特徴とする請求項４に記載の方法。5. The method according to claim 4, wherein the high resolution image is an image in a color space of an additive color converted into an image in a complementary color space before a process of separating the high resolution image in the OCD. .

前記加算色の色空間における画像は、ＲＧＢ画像であることを特徴とする請求項４に記載の方法。The method according to claim 4, wherein the image in the color space of the additive color is an RGB image.

前記補色の色空間における画像は、ＹＣｒＣｂ画像であることを特徴とする請求項４に記載の方法。The method according to claim 4, wherein the image in the complementary color space is a YCrCb image.

前記補色の色空間における画像は、ＬＡＢ画像であることを特徴とする請求項４に記載の方法。The method according to claim 4, wherein the image in the complementary color space is a LAB image.

前記ハイパスフィルタリングを行う処理は、アンシャープマスクフィルタリングを含むことを特徴とする請求項４に記載の方法。The method of claim 4, wherein the performing high-pass filtering comprises unsharp mask filtering.

前記ハイパスフィルタリングを行う処理は、
ガウス型ローパスカーネルを用いたアンシャープマスクフィルタを通して前記ＳＰＳした色差チャンネルにフィルタリングを行い、ＳＰＳしてローパスフィルタリングされた色差チャンネルを生成する処理と、
前記ＳＰＳした色差チャンネルから前記ＳＰＳしてローパスフィルタリングされた色差チャンネルを差し引く処理と、を含むことを特徴とする請求項４に記載の方法。The processing for performing the high-pass filtering includes:
Filtering the SPS color difference channel through an unsharp mask filter using a Gaussian low-pass kernel, and performing SPS to generate a low-pass filtered color difference channel;
5. The method of claim 4, further comprising: subtracting the SPS low-pass filtered chrominance channel from the SPS chrominance channel.

前記色差チャンネルは、赤緑チャンネルおよび青黄チャンネルを含むことを特徴とする請求項４に記載の方法。The method of claim 4, wherein the color difference channels include a red-green channel and a blue-yellow channel.

前記色差チャンネルは、ＹＣｒＣｂ画像のＣｒチャンネルおよびＣｂチャンネルを含むことを特徴とする請求項４に記載の方法。The method of claim 4, wherein the color difference channels include a Cr channel and a Cb channel of a YCrCb image.

前記色差チャンネルは、ＣＩＥＬａｂ画像の「ａ」チャンネルおよび「ｂ」チャンネルを含むことを特徴とする請求項４に記載の方法。The method of claim 4, wherein the color difference channels include the "a" and "b" channels of a CIELab image.

前記歪みの少ない低解像度画像をＲＧＢ画像に変える処理をさらに含むことを特徴とする請求項４に記載の方法。5. The method according to claim 4, further comprising converting the low-resolution image with less distortion into an RGB image.

前記サブピクセルサンプリングを行う処理は、
前記初期の輝度チャンネルを加算色の色空間（ＡＣＤ）における輝度画像に変換する処理と、
前記ＡＣＤにおける輝度画像をサンプリングする処理と、を含むことを特徴とする請求項４に記載の方法。The process of performing the sub-pixel sampling,
Converting the initial luminance channel into a luminance image in an additive color space (ACD);
5. The method according to claim 4, comprising sampling a luminance image in the ACD.

高解像度画像を可視歪みが少なく低い解像度で表示する方法において、
解像度の高いＲＧＢ画像を補色の色空間（ＯＣＤ）における高解像度画像に変換する処理と、
前記ＯＣＤにおける高解像度画像を、独立した初期の輝度チャンネルと複数の初期の色差チャンネルとに分離する処理と、
前記初期の輝度チャンネルをＲＧＢ輝度画像に変換する処理と、
前記ＲＧＢ輝度画像に対してサブピクセルサンプリングを行う処理と、
前記サブピクセルサンプリング（ＳＰＳ）したＲＧＢ輝度画像を、ＳＰＳしたＯＣＤにおける輝度画像に変換する処理と、
前記ＳＰＳしたＯＣＤにおける輝度画像を、独立するＳＰＳした輝度チャンネルとＳＰＳした色差チャンネルとに分離する処理と、
前記ＳＰＳした色差チャンネルにハイパスフィルタリングを行う処理と、
前記ＯＣＤにおける高解像度画像の前記初期の色差チャンネルにローパスフィルタリングを行う処理と、
前記ローパスフィルタリングされた初期の色差チャンネルにサブサンプリングを行う処理と、
前記ローパスフィルタリングしてサブサンプリングを行った色差チャンネルと、前記ＳＰＳしてハイパスフィルタリングを行った色差チャンネルとを結合する処理と、
前記結合された色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ないＯＣＤにおける低解像度画像を形成する処理と、
前記歪みの少ないＯＣＤにおける低解像度画像を歪みが少なく解像度の低いＲＧＢ画像に変換する処理と、を含むことを特徴とする方法。In the method of displaying a high-resolution image with low visible distortion and low resolution,
A process of converting a high-resolution RGB image into a high-resolution image in a complementary color space (OCD);
Separating the high resolution image in the OCD into an independent initial luminance channel and a plurality of initial color difference channels;
Converting the initial luminance channel to an RGB luminance image;
Performing sub-pixel sampling on the RGB luminance image;
Converting the sub-pixel sampled (SPS) RGB luminance image into a SPS OCD luminance image;
Processing for separating the luminance image in the SPS OCD into an independent SPS luminance channel and an SPS color difference channel;
Performing high-pass filtering on the SPS color difference channel;
Performing low-pass filtering on the initial color difference channel of the high-resolution image in the OCD;
Sub-sampling the low-pass filtered initial chrominance channel;
A process of combining the low-pass filtered and sub-sampled chrominance channels with the SPS and high-pass filtered chrominance channels;
Combining the combined chrominance channel and the SPS luminance channel to form a low-resolution image in OCD with less distortion;
Converting the low-resolution image in the OCD with low distortion into an RGB image with low distortion and low resolution.

高解像度画像を可視歪みの少ない低解像度画像に変換する方法において、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと複数の初期の色差チャンネルとに分離するステップと、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成するステップと、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換するステップと、
前記ＯＣＤにおける輝度画像を、独立するサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした色差チャンネルとに分離するステップと、
前記ＳＰＳした色差チャンネルにハイパスフィルタリングを行うステップと、
前記初期の色差チャンネルにローパスフィルタリングを行うステップと、
前記ローパスフィルタリングされた初期の色差チャンネルにサブサンプリングを行うステップと、
前記ローパスフィルタリングしてサブサンプリングを行った色差チャンネルと、前記ＳＰＳしてハイパスフィルタリングを行った色差チャンネルとを結合するステップと、
前記結合された色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ない低解像度画像を形成するステップと、を含むことを特徴とする方法。In a method of converting a high-resolution image into a low-resolution image with less visible distortion,
Separating the high resolution image in the complementary color space (OCD) into a separate initial luminance channel and a plurality of initial color difference channels;
Generating a luminance image in an additive color space (ACD) by performing sub-pixel sampling on said initial luminance channel;
Converting the luminance image in the ACD into a luminance image in the OCD;
Separating the luminance image in the OCD into independent sub-pixel sampled (SPS) luminance channels and SPS color difference channels;
Performing high-pass filtering on the SPS color difference channel;
Performing low-pass filtering on the initial color difference channel;
Sub-sampling the low-pass filtered initial chrominance channel;
Combining the low-pass filtered and sub-sampled chroma channels with the SPS and high-pass filtered chroma channels;
Combining the combined chrominance channel and the SPS luminance channel to form a low-resolution image with low distortion.

高解像度画像を可視歪みの少ない低解像度画像に変換するシステムにおいて、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと複数の初期の色差チャンネルとに分離する第１スプリッタと、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成するサブピクセルサンプラと、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換するコンバータと、
前記ＯＣＤにおける輝度画像を、独立するサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした色差チャンネルとに分離する第２スプリッタと、
前記ＳＰＳした色差チャンネルにハイパスフィルタリングを行うハイパスフィルタと、
前記初期の色差チャンネルにローパスフィルタリングを行うローパスフィルタと、
前記ローパスフィルタリングされた初期の色差チャンネルにサブサンプリングを行うサブサンプラと、
前記ローパスフィルタリングしてサブサンプリングを行った色差チャンネルと、前記ＳＰＳしてハイパスフィルタリングを行った色差チャンネルとを結合する第１コンバイナと、
前記結合された色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ない低解像度画像を形成する第２コンバイナと、を含むことを特徴とするシステム。In a system that converts a high-resolution image into a low-resolution image with little visible distortion,
A first splitter for separating a high resolution image in a complementary color space (OCD) into an independent initial luminance channel and a plurality of initial color difference channels;
A sub-pixel sampler for generating a luminance image in an additive color space (ACD) by performing sub-pixel sampling on the initial luminance channel;
A converter for converting the luminance image in the ACD into a luminance image in the OCD;
A second splitter for separating the luminance image in the OCD into independent sub-pixel sampled (SPS) luminance channels and SPS color difference channels;
A high-pass filter for performing high-pass filtering on the SPS color difference channel;
A low-pass filter that performs low-pass filtering on the initial color difference channel;
A subsampler that performs subsampling on the low-pass filtered initial chrominance channel;
A first combiner that combines the low-pass filtered and sub-sampled chrominance channels with the SPS and high-pass filtered chrominance channels;
A second combiner for combining the combined chrominance channels and the SPS luminance channel to form a low-resolution image with low distortion.

高解像度画像を可視歪みの少ない低解像度画像に変換する命令を含むコンピュータ読取可能な媒体において、
前記命令は、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと複数の初期の色差チャンネルとに分離する処理と、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成する処理と、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換する処理と、
前記ＯＣＤにおける輝度画像を、独立するサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした色差チャンネルとに分離する処理と、
前記ＳＰＳした色差チャンネルにハイパスフィルタリングを行う処理と、
前記初期の色差チャンネルにローパスフィルタリングを行う処理と、
前記ローパスフィルタリングされた初期の色差チャンネルにサブサンプリングを行う処理と、
前記ローパスフィルタリングしてサブサンプリングを行った色差チャンネルと、前記ＳＰＳしてハイパスフィルタリングを行った色差チャンネルとを結合する処理と、
前記結合された色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ない低解像度画像を形成する処理と、を含むことを特徴とするコンピュータ読取可能な媒体。A computer-readable medium including instructions for converting a high-resolution image into a low-resolution image with less visible distortion,
The instructions are:
Separating a high-resolution image in a complementary color space (OCD) into an independent initial luminance channel and a plurality of initial color difference channels;
Performing a sub-pixel sampling on the initial luminance channel to generate a luminance image in a color space (ACD) of an additive color;
Converting the luminance image in the ACD into a luminance image in the OCD;
A process of separating the luminance image in the OCD into an independent sub-pixel sampling (SPS) luminance channel and an SPS color difference channel;
Performing high-pass filtering on the SPS color difference channel;
Performing low-pass filtering on the initial color difference channel;
Sub-sampling the low-pass filtered initial chrominance channel;
A process of combining the low-pass filtered and sub-sampled chrominance channels with the SPS and high-pass filtered chrominance channels;
Combining the combined chrominance channel and the SPS luminance channel to form a low-resolution image with less distortion.

高解像度画像を可視歪みの少ない低解像度画像に変換する機能を有し、電子的な伝送で具現されるコンピュータデータ信号において、
補色の色空間（ＯＣＤ）における高解像度画像を、独立した初期の輝度チャンネルと複数の初期の色差チャンネルとに分離する命令と、
前記初期の輝度チャンネルに対してサブピクセルサンプリングを行うことにより、加算色の色空間（ＡＣＤ）における輝度画像を生成する命令と、
前記ＡＣＤにおける輝度画像をＯＣＤにおける輝度画像に変換する命令と、
前記ＯＣＤにおける輝度画像を、独立するサブピクセルサンプリング（ＳＰＳ）した輝度チャンネルとＳＰＳした色差チャンネルとに分離する命令と、
前記ＳＰＳした色差チャンネルにハイパスフィルタリングを行う命令と、
前記初期の色差チャンネルにローパスフィルタリングを行う命令と、
前記ローパスフィルタリングされた初期の色差チャンネルにサブサンプリングを行う命令と、
前記ローパスフィルタリングしてサブサンプリングを行った色差チャンネルと、前記ＳＰＳしてハイパスフィルタリングを行った色差チャンネルとを結合する命令と、
前記結合された色差チャンネルと前記ＳＰＳした輝度チャンネルとを結合して、歪みの少ない低解像度画像を形成する命令と、を含むことを特徴とするコンピュータデータ信号。Has the function of converting a high-resolution image into a low-resolution image with less visible distortion, in computer data signals embodied by electronic transmission,
Instructions for separating a high resolution image in a complementary color space (OCD) into a separate initial luminance channel and a plurality of initial color difference channels;
An instruction to generate a luminance image in an additive color space (ACD) by performing sub-pixel sampling on said initial luminance channel;
An instruction to convert the luminance image in the ACD into a luminance image in the OCD;
Instructions for separating the luminance image in the OCD into independent sub-pixel sampled (SPS) luminance channels and SPS color difference channels;
An instruction for performing high-pass filtering on the SPS color difference channel;
An instruction to perform low-pass filtering on the initial color difference channel;
Sub-sampling the low-pass filtered initial chrominance channel;
An instruction to combine the low-pass filtered and sub-sampled chrominance channel with the SPS and high-pass filtered chrominance channel;
Combining the combined chrominance channel and the SPS luminance channel to form a low-resolution image with less distortion.