JP2016536815A - 圧縮及び復元デジタル画像及び映像の表示における可視アーティファクトを減少させるシステム及び方法 - Google Patents

Abstract

符号化方法及びシステムが開示される。処理装置は、画像バッファを受信する。処理装置は、画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換する。処理装置は、１以上の画素の明度チャネルに第１の値を乗ずる。処理装置は、１以上の画素の１以上の色チャネルに第２の値を乗ずる。処理装置は、画像バッファを１以上の知覚的に均一な色空間から固有色空間に変換する。処理装置は、画像バッファを下流側装置に伝送する。【選択図】図２

Description

本開示の実施形態は画像処理に関し、より詳細には、既存の画像及び映像圧縮方法の知覚品質及び／又は効率を向上することに関する。

好適な画像及び映像圧縮効率を達成するには、人間の視覚系（以下、ＨＶＳという）の差分感度を厳密に近似する画像色及び輝度のシンボル表現を選択する必要があり、そうしない場合には、ここに参照として取り込まれるＪｏａｎ Ｌ．Ｍｉｔｃｈｅｌｌ他による「ＭＰＥＧ Ｖｉｄｅｏ Ｃｏｍｐｒｅｓｓｉｏｎ Ｓｔａｎｄａｒｄ」、Ｃｈａｐｍａｎ＆Ｈａｌｌ，Ｌｔｄ．Ｌｏｎｄｏｎ、英国、１９９６年に記載されるように符号化レートが無駄になる。ＨＶＳの知覚メカニズムは複雑かつ非線形であるので、映像及び画像の圧縮、伝送及び表示についての色系列及び色空間の設計は、精度及び精密さと、システムの複雑さ及び現実的な実装とのトレードオフとなる。

国際照明委員会（Ｃｏｍｍｉｓｓｉｏｎ ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｌ´ｅｃｌａｉｒａｇｅ（ｅにアクサンテギュ）について通常はＣＩＥと略される）の色空間（以下、「ＣＩＥ１９３１ＸＹＺ」という）は、人間の色彩感覚の粗い測定に基づいて色空間を生成する最初の試みを示す（すなわち、１９３１は発行年を示す）。ＣＩＥ１９３１ＸＹＺは、「Ｄｉｇｉｔａｌ Ｃｉｎｅｍａ Ｓｙｓｔｅｍ Ｓｐｅｃｉｆｉｃａｔｉｏｎ Ｖｅｒｓｉｏｎ １．２ ｗｉｔｈ Ｅｒｒａｔａ」ＤＣＩ，ＬＬＣ、２０１２年１０月１０日、において規定されるデジタルシネマパッケージによって使用されるものなど、ＪＰＥＧ２０００に基づくコーデックシステムにおいて使用されているが、それ以外は、その複雑さ、並びにシステム実装者（又はエンドユーザ）によって提供されるべき標準輝度及び三刺激値が必要なことのために、映像伝送システムでは広くは利用されていない。ＨＶＳの色彩知覚感度に対するその良好な近似にもかかわらず、ＣＩＥ１９３１ＸＹＺは、色差に対するＨＶＳの感度の完全な表現にはほど遠く、必要な三刺激値及び輝度値が一定に保持されたとしても、ＨＶＳの研究の結果として得られた知識及びＨＶＳの入念な測定、並びに参照としてここに取り込まれる国際色彩コンソーシアム「Ｓｐｅｃｉｆｉｃａｔｉｏｎ ＩＣＣ．１：２００４−１０（Ｐｒｏｆｉｌｅ ｖｅｒｓｉｏｎ ４．２．０．０）Ｉｍａｇｅ ｔｅｃｈｎｏｌｏｇｙ ｃｏｌｏｕｒ ｍａｎａｇｅｍｅｎｔ−Ａｒｃｈｉｔｅｃｔｕｒｅ、Ｐｒｏｆｉｌｅ ｆｏｒｍａｔ ａｎｄ ｄａｔａ ｓｔｒｕｃｔｕｒｅ」（２００６年）に記載されるその知覚感度からはほど遠い。

ＣＩＥ１９３１ＸＹＺの後に、カラーテレビの登場及び標準化によって、ルマ（Ｙ）、同相（Ｉ）、直交（Ｑ）色空間（以下「ＹＩＱ色空間」という）が、主に、厳しく帯域制限された送受信制度において色信号を符号化するやり方として１９５３年に開発された。ＹＩＱは、確かにそれらの発明及び普及時においてはＲＧＢ蛍光陰極線管カラーテレビによって必要なＲＧＢ色空間表現よりも人間の視覚の知覚特性の感覚的傾向の良好な近似であるが、ＹＩＱ色空間は全く理想的なものではない。ＹＩＱ色空間は、主に、同時代に利用可能となったコスト効率の良いアナログ無線周波数成分の現実的な実装目的のために、及び既存の「白黒」テレビ伝送標準との後方互換性を保持するために考えられたものである。

ＹＣｂＣｒ及びＹ´ＣｂＣｒ色空間は、非常に効果的であるがそれでもまだ人間の視覚の知覚的色処理及び知覚的均一性の非常に粗い近似を目的としたＹＩＱ色空間の派生物にすぎない。これらの色空間は１９８０年代の初頭に設計された時には現実的であったが、ＹＣｂＣｒ及びＹ´ＣｂＣｒ色空間を用いる設計は、非常に限られた処理能力及びデジタルメモリ転送帯域を有する単純なデジタル回路及びシステムに限られていた。ＹＣｂＣｒ及びＹ´ＣｂＣｒ色空間表現は、圧縮についてのＪＰＥＧ及びＭＰＥＧ標準を用いる初期及び現在の映像圧縮コーデックシステムの基礎を形成する。それらの現実性にもかかわらず、ＹＣｂＣｒ及びＹ´ＣｂＣｒ色空間の表現は、それらが輝度及び色深度の大きなシンボルレート又はビットレートを知覚的には重要でない色差に割り当てるため、効率的ではない。

より最近では、「ＩＳＯ １１６６４−４：２００８（Ｅ）／ＣＩＥ Ｓ ０１４−４／Ｅ：２００７：Ｊｏｉｎｔ ＩＳＯ／ＣＩＥ Ｓｔａｎｄａｒｄ：Ｃｏｌｏｒｉｍｅｔｒｙ−Ｐａｒｔ４：ＣＩＥ １９７６ Ｌ^＊ａ^＊ｂ^＊ Ｃｏｌｏｒ Ｓｐａｃｅ」（以下、ＣＩＥＬＡＢという）に記載されるＣＩＥＬＡＢ標準など、ＨＳＶ知覚均一性のさらに忠実な近似を表す色空間及び知覚的な差のフレームワークが発行された。ＣＩＥＬＡＢは、明度及び色の次元における知覚感度、及び「ＣＩＥ１５９：２００４：Ａ Ｃｏｌｏｕｒ Ａｐｐｅａｒａｎｃｅ Ｍｏｄｅｌ ｆｏｒ Ｃｏｌｏｕｒ Ｍｎａｇｅｍｅｎｔ Ｓｙｓｔｅｍ：ＣＩＥＡＭ０２」（以下、ＣＩＥＣＡＭ０２という）に記載されるＣＩＥＡＭ０２を考慮し、これは、Ｅ．Ｈ．Ｌａｎｄ、「Ｔｈｅ ｒｅｔｉｎｅｘ ｔｈｅｏｒｙ ｏｆ ｃｏｌｏｒ ｖｉｓｉｏｎ」、Ｓｃｉｅｎｔｉｆｉｃ Ａｍｅｒｉｃａｎ、１９９７年において観察される周知の空間的中心周辺レティネックス効果とともに前述のＣＩＥＬＡＢの次元を取り入れる。

知覚的に均一な色空間を規定する際のこれらの高度な努力でさえも、特定の観察上の例外に苛まされる。一例は「青−紫色恒常性」問題として知られ、参照によりここに取り込まれるＭｏｒｏｎｅｙ「Ａｓｓｅｓｓｉｎｇ ｈｕｅ ｃｏｎｓｔａｎｃｙ ｕｓｉｎｇ ｇｒａｄｉｅｎｔｓ」Ｃｏｌｏｒ Ｉｍａｇｉｎｇ：Ｄｅｖｉｃｅ−Ｉｎｄｅｐｅｎｄｅｎｔ Ｃｏｌｏｒ、Ｃｏｌｏｒ Ｈａｒｄｃｏｐｙ、及びＧｒａｐｈｉｃ Ａｒｔｓ Ｖ、Ｒｅｉｎｅｒ Ｅｓｃｈｂａｃｈ、Ｇａｂｒｉｅｌ Ｇ．Ｍａｒｃｕ、Ｅｄｉｔｏｒｓ、Ｐｒｏｃｅｅｄｉｎｇｓ ｏｆ ｔｈｅ ＳＰＩＥ、第３９６３巻、第２９４〜３００ページ（２０００年）に詳細が説明されるように、青色相の色は、明度が色空間を暗い方から明るい方に移る際に完全に線形な経路を辿らない。また、ＣＩＥＬＡＢのより具体的な色恒常性の例外及びその関連の色空間が、Ｂｒａｕｎ他、１９９８年、「Ｃｏｌｏｒ Ｇａｍｕｔ Ｍａｐｐｉｎｇ ｉｎ ａ Ｈｕｅ−Ｌｉｎｅａｒｉｚｅｄ ＣＩＥＬＡＢ Ｃｏｌｏｒ Ｓｐａｃｅ」、ＩＳ＆Ｔ／ＳＩＤ６^ｔｈ Ｃｏｌｏｒ Ｉｍａｇｉｎｇ Ｃｏｎｆｅｒｅｎｃｅ、第１６３〜１６８ページにおいて教示されるように入念に測定及びマッピングされ、単なる青−紫色恒常性問題よりも普及している。具体的には、この問題の一般的に観察される形態は、Ｂｅｚｏｌｄ−Ｂｒｕｃｋｅ（ｕにウムラント）シフトとして知られ、明らかな色相が輝度とともに変化し（及びその逆）、この効果が、他の用途の中でもとりわけ、映像及び画像伝送のための知覚的に効率的な色表現を見出す努力を挫折させてきた。

ＣＩＥＬＡＢ及び関連の色空間表現を展開又は修正することに多数の試みが存在し、例えば、知覚線形性を向上するＣＩＥＬＵＶについての交互の変換マトリクス係数を教示するＴａｋａｍｕｒａ及びＫｏｂａｙａｓｈｉ、２００２年「Ｐｒａｃｔｉｃａｌ ｅｘｔｅｎｓｉｏｎ ｔｏ ＣＩＥＬＵＶ ｃｏｌｏｒ ｓｐａｃｅ ｔｏ ｉｍｐｒｏｖｅ ｕｎｉｆｏｒｍｉｔｙ」ＩＥＥ ＩＣＩＰ００２、及びＢｅｈｒｅｎｓ「Ｄｅｆｉｃｉｅｎｃｉｅｓ ｏｆ ｔｈｅ ＣＩＥ−Ｌ^＊ａ^＊ｂ^＊ ｃｏｌｏｒ ｓｐａｃｅ ａｎｄ ｉｎｔｒｏｄｕｃｔｉｏｎ ｏｆ ｔｈｅ ＳＲＬＡＢ２ ｃｏｌｏｒ ｍｏｄｅｌ」「ｗｗｗ．ｍａｇｎｅｔｋｅｒｎ．ｄｅ／ｓｒｌａｂ２．ｔｅｘ」（以下、ＳＲＬＡＢ２といい、参照によりここに取り込まれる）がある。ＳＲＬＡＢ２は、ＣＩＥＣＡＭ０２の色適応モデルを用いて全体の新しい色空間表現を提案するが、それは、特に色空間の肌色領域において、色相角の均一性の低下に対する青−紫（色）恒常性と、色相−明度の間隔長の均一性との間のトレードオフとなる。

明らかに、輝度又は明度の均一性、色恒常性、色相角の均一性及び色相−明度の間隔長均一性の特性の全てを呈する完全に知覚的に均一的な色空間は存在しないが、それらの全ては映像及び画像の符号化及び伝送のための理想色空間表現のために必要となる。

ＹＣｂＣｒ及びＹ´ＣｂＣｒ色空間の導入時から、映像符号化システムのほとんどは、主に実施の簡略性及び現実性について、そして次に後方互換性の理由のために、現在では、ＹＣｂＣｒ色空間を、ただし最近のものではなくより複雑であるがより知覚的に均一な色空間及び知覚差に基づく色表現を利用することに応じて標準化されている。

映像圧縮に対してＹＣｂＣｒを色空間の基礎として用いることの非効率性は、色シンボル表現だけでなく輝度の現実化に及ぶ。例えば、ＣＩＥＬＡＢは、色だけでなく明度の知覚にも非線形で非指数関数的な知覚曲線を導入するが、これは、多くの画像及び映像の符号化及び表示方式において、単純化した指数ガンマ関数によるもの以外については考慮されていない。ＣＩＥＬＡＢに教示されるように、実際の観察者測定が、特に輝度範囲の低い領域において、単純な指数又は対数関係では知覚的な輝度の差を表すのに充分ではないことを実証してきた。

さらに、本開示の時点で提案されているＨＥＶＣ映像符号化標準などの現在の多くの映像及び画像符号化方式でさえ、再構成品質の低下及び符号レートの無駄などの不利益にもかかわらず、ＹＣｂＣｒを色空間の基礎として利用し続けている。

現在の映像符号化方式の色空間の基礎及びシンボル表現の選択の欠点は当技術においてよく知られており、これらのコーデックの非効率性の負の影響を是正又は少なくとも緩和する幾つかの試みがなされてきた。Ｍｏｒｏｎｅｙ及びＦａｉｒｃｈｉｌｄ、「Ｃｏｌｏｒ ｓｐａｃｅ ｓｅｌｅｃｔｉｏｎ ｆｏｒ ＪＰＥＧ ｉｍａｇｅ ｃｏｍｐｒｅｓｓｉｏｎ」、Ｊｏｒｎａｌ ｏｆ Ｅｌｅｃｔｒｏｎｉｃ Ｉｍａｇｉｎｇ ４（４）、３７３−３８１（１９９５年１０月）、並びにＤｒｕｋａｒｅｖ、「Ｃｏｍｐｒｅｓｓｉｏｎ−ｒｅｌａｔｅｄ ｐｒｏｐｅｒｔｉｅｓ ｏｆ ｃｏｌｏｒ ｓｐａｃｅｓ」、ＳＰＩＥ、第３０２４巻に教示されるようなものなど、画像及び映像圧縮の基礎としての知覚的に均一な色空間表現を用いる初期の試みは、リアルタイム符号化及び復号化のためのそれらのアプリケーションが複雑であるか、又はそれらがあまり利点をもたらさないことによって挫折した。また、関連技術において広く利用されるＣＩＥ１９３１ＸＹＺ色空間は、ＲＧＢ、ＹＩＱ又はＹＣｂＣｒと比較した場合に色差に対する人間の視覚系感度のより良い近似として認識されるが、双方が参照によりここに取り込まれるＰｏｙｎｔｏｎ、Ｃｈａｒｌｅｓ、「Ａ Ｔｅｃｈｎｉｃａｌ Ｉｎｔｒｏｄｕｃｔｉｏｎ ｔｏ Ｄｉｇｉｔａｌ Ｖｉｄｅｏ」、Ｊｏｈｎ Ｗｉｌｅｙ＆Ｓｏｎｓ、１９９６年、及び付随する「ｗｗｗ．ｐｏｙｎｔｏｎ．ｃｏｍ／ＣｏｌｏｒＦＡＱ．ｈｔｍｌ」における「Ｆｒｅｑｕｅｎｔｌｙ Ａｓｋｅｄ Ｑｕｅｓｔｉｏｎｓ ａｂｏｕｔ Ｃｏｌｏｕｒ」（以下、Ｐｏｙｎｔｏｎという）で説明されるように、これも８０：１もの比率によって大幅に不均一となる。ＣＩＥＬＡＢによって、この比率は約６：１にまで改善するが、Ｐｏｙｎｔｏｎは、彼の執筆の時点ではＣＩＥＬＡＢ変換は映像に関して計算上非常に高価であり、リアルタイム処理には適さないことを指摘している。均一性は、多くの効率的な符号化を実現するための鍵となる概念であるが、従来技術で示すように、ＣＩＥＬＡＢでさえも知覚的に均一な理想色空間からはかけ離れている。

米国特許出願公開ＵＳ２０１２／０３１４９４３Ａ１（以下、「Ｇｕｅｒｒｅｒｏ」という）に記載されるものなど、他の方法は、（１）人間の視覚系のモデルに対して最適化された色空間に適用され、色空間のエントロピー及び冗長性を減少させる量子化ファクタ、又は（２）色空間エントロピー及び冗長性を減少させるが、前段符号化段階での各画素に対するテーブル参照が必要なためにシステムのメモリ転送帯域幅要件を増加させる色テーブル参照ステップ、のいずれかを用いることによって解決策の達成を試みる。これらの方法は両方とも、適正なＨＶＳモデル及び知覚的に均一な色空間が利用されることを条件に、色空間エントロピーをわずかに減少させる点で有効である。なお、Ｇｕｅｒｒｅｒｏは知覚的に均一な色空間ではないＣＩＥ１９３１ＸＹＺを利用し、ＣＩＥＬＡＢへの簡単な言及がなされるものの、ＣＩＥＬＡＢも、上述した理由のためにこの目的のための理想的な色空間ではない。最も重要なこととして、Ｇｕｅｒｒｅｒｏによって開示された方法は、空間的エントロピーを増加させることを犠牲にして色エントロピーを減少させ、ＪＰＥＧ及びＭＰＥＧなどの標準ＤＣＴに基づく符号器を用いる実装の利益のほとんどを減殺する。開示された量子化ファクタ又は色テーブル参照をヒストグラム圧縮関数と組み合わせることによって空間的な及び色空間のエントロピーと冗長性との双方を低減することは可能かもしれないが、ヒストグラムを展開するのに復号器端の後段処理が必要となり、また、そのようなヒストグラム圧伸のパラメータを調整するのに帯域内又は帯域外通信が必要となってしまう。Ｇｕｅｒｒｅｒｏはこれらの概念を開示しておらず、実際にそれらとは反対のことを教示する。また、米国特許第８４５１３８４号で教示されるように、ヒストグラム計算を高精細でリアルタイムのスループットレートで実行すると、量販コンピュータシステム又はエンドユーザ装置におけるリアルタイムでの４Ｋ、５Ｋ及び８Ｋ解像度の映像は指数関数的に難しくなる。

符号器及び復号器の前段フィルタリング及び後段フィルタリングをそれぞれ調整する前述の帯域内又は帯域外通信の方法は、米国特許第６１９５３９４号（以下、‘３９４特許という）に記載されるように、当技術において周知である。‘３９４特許に記載される前段フィルタリング処理及び後段フィルタリング処理は空間帯域幅の削減及びその後の回復に関するものであって知覚的な色帯域幅の削減及び回復に関するものではないが、‘３９４特許は、前段フィルタリング処理及び後段フィルタリング処理の存在及び構成をシグナリングするための帯域外通信の方法が、復号器の付近における画像及び映像の適切な再構成を確実にするのに必要となることを論証している。

必要であるが提供されていないものは、符号器又は復号器の装置又はシステムのいずれかに対して処理の複雑さ又はメモリ転送帯域幅の要件について過度の負荷をもたらさず、既存の画像及び映像の圧縮又は伝送システム及び方法の知覚品質及び／又は伝送若しくは記憶効率を向上する高いスループットのシステム及び方法である。そのシステム及び方法は、符号器又は復号器を交換する要件を課すものではない。システム及び方法は、符号器の前段フィルタリング及び復号器の後段フィルタリングを同期させてシステム及び方法の存在及び構成をシグナリングすることになる。

上述の問題が対処され、技術的解決手段が、符号化方法及びシステムを提供することによって当技術において達成される。処理装置は、画像バッファを受信する。処理装置は、画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換する。処理装置は、画像バッファの１以上の画素の明度チャネルに第１の値を乗ずる。処理装置は、１以上の色チャネルの１以上の画素に第２の値を乗ずる。処理装置は、画像バッファの１以上の画素を１以上の知覚的に均一な色空間から固有色空間に変換する。処理装置は、画像バッファを下流側装置に送信する。

知覚的に均一な色空間は、色空間において等しいデカルト距離にある２色が人間の視覚系に対して知覚的に実質的に等しく離れているような色空間である。

一例では、第１の値は一定値であればよく、第２の値は一定値であればよい。一例では、処理装置は、第１の値及び第２の値を第２の処理装置に伝送する。処理装置は、第１の値及び第２の値を上流側装置又はメモリバッファの１つから受信することができる。処理装置は、変換された画像バッファを符号器に伝送することができ、符号器は、送信機が符号化画像バッファを下流側装置に送信する前に、画像バッファを符号化する。

一例では、処理装置は、１以上の白点値を受信することができる。処理装置は、１以上の白点値に基づいて、画像バッファの画素を固有色空間から１以上の知覚的に均一な色空間に変換することができる。処理装置は、１以上の白点値を下流側装置に送信することができる。

一例では、第１の値、第２の値及び１以上の白点値は、画像バッファとともにメタデータとして帯域内で下流側装置に伝送される。一例では、第１の値、第２の値及び１以上の白点値は、画像バッファとともにメタデータとして帯域外で下流側装置に送信される。

一例では、画像バッファを固有色空間から１以上の知覚的に均一な色空間に変換することが、色相を測定することに基づいていてもよい。一例では、色相を測定することは、画像バッファの各画素の色相を評価すること、及び測定された色相を用いて複数の知覚的に均一な色空間の１以上の中から選択することを含み得る。

上述の問題が対処され、技術的解決手段が、復号方法及びシステムを提供することによって当技術において達成される。第１の処理装置は、第２の処理装置から画像バッファ及び第１の値を受信する。第１の処理装置は、画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換する。第１の処理装置は、１以上の画素の明度チャネルに第１の値の逆数を乗ずる。第１の処理装置は、第２の処理装置から第２の値を受信し、１以上の色チャネルの１以上の画素に第２の値の逆数を乗ずる。第１の処理装置は、画像バッファの１以上の画素を１以上の知覚的に均一な色空間から固有色空間に変換する。第１の処理装置は、画像バッファを下流側装置に送信する。第１の値は一定値であればよく、第２の値は一定値であればよい。

一例では、第１の処理装置は、第２の処置装置から１以上の白点値を受信し、１以上の白点値に基づいて、画像バッファの画素を１以上の知覚的に均一な色空間から固有色空間に変換する。一実施形態では、第１の値、第２の値及び１以上の白点値は、画像バッファとともに第２の処理装置から帯域内で受信される。一例では、第１の値、第２の値及び１以上の白点値は、画像バッファとともに第１の処理装置から帯域外で受信される。

一例では、第１の処理装置に関連する固有色空間は、第２の処理装置に関連する固有色空間とは異なる。一例では、第１の処理装置に関連する１以上の知覚的に均一な色空間は、第２の処理装置に関連する１以上の知覚的に均一な色空間とは異なる。

一例では、下流側装置は、ディスプレイ、符号器又は画像処理パイプラインのうちの１以上であればよい。

図１は、本開示の各例が動作し得る符号化コンピューティングシステムの一例を示すブロック図である。 図２は、図１の符号化コンピューティングシステムに関連する符号化方法の一例を示すフロー図である。 図３は、本開示の各例が動作し得る復号コンピューティングシステムの一例を示すブロック図である。 図４は、図３の符号化コンピューティングシステムに関連する復号方法の一例を示すフロー図である。 図５は、ＣＩＥＬＡＢ色空間内にプロットされたＹＣｂＣｒ全領域体積を示す。 図６は、Ｙ＝０、Ｙ＝０．５及びＹ＝１で正規化されたＹＣｂＣｒ色空間の３つの断面を示す。 図７は、８ビット精度への量子化後の、ＣＩＥＬＡＢ色空間に変換された図６の断面を示す。 図８は、ＣＩＥＬＡＢ色空間に変換された図７の断面を示し、量子化輪郭境界を示す。 図９は、Ｚ＝１における正規化されたＣＩＥ１９３１ＸＹＺ色空間の断面を示す。 図１０は、８ビット精度への量子化後の、ＣＩＥＬＡＢ色に変換された図９の断面を示す。 図１１は、量子化輪郭境界を示すように量子化された、ＣＩＥＬＡＢ色空間に変換された図８の断面を示す。 図１２は、関連して動作する図１及び３のコンピューティングシステムの実施例のブロック図である。 図１３は、関連技術における映像伝送システムのブロック図である。 図１４は、関連技術における知覚的な色エントロピーを低減する映像伝送システムのブロック図である。 図１５は、量子化関数を色空間に適用して色エントロピーを低減することの不利益を示し、色エントロピーは空間エントロピーに置換される。 図１６は、ここに記載する方法のいずれか１以上を機械に実行させるための一組の命令が実行され得るコンピュータシステムの例示形態における機械の模式的表現を示す。

本開示の実施形態は、既存の画像及び映像の送受信機又はコーデックシステム及び方法が、符号器又は復号器に対して処理の過度の複雑さ又はメモリ帯域の過度の要件を付加することなく輝度及び色の人間の視覚系での知覚に関する最新及び将来の発見を利用することを可能とする高スループットのシステム及び方法を提供する。本開示の実施形態は、符号器又は復号器の交換又は改造を要することなく、更なる知覚品質又は伝送符号化レート若しくはストレージサイズの効率を与える。本開示の例示のシステムの存在及び構成をシグナリングする符号器の前段フィルタリング及び復号器の後段フィルタリングを同期化するための方法が記載される。

より詳細には、画像及び映像の圧縮方法の知覚品質及び／又は効率を向上するための高スループットの方法及びシステムが開示される。本開示の実施形態によるシステム及び方法は、（１）入力画像又は映像の各画素の１以上を１以上の知覚的に均一な色及び明度の表現に変換すること、（２）各画素の明度チャネルに第１の値を乗じ、各画素の色チャネルの各々に第２の値を乗ずること、（３）画像の各画素を圧縮符号器に適した色及び輝度の表現に逆変換し、画像又は映像を符号化すること、（４）ゼロでない第１及び第２の値を画像又は映像データとともに帯域内又は帯域外メタデータとして伝送又は記憶すること、の機能を実行する。

本開示の実施形態によるシステム及び方法は、（５）受信画像又は映像を受信メタデータとともに読み取り、又は復号すること、（６）復号された画像又は映像の画素を１以上の知覚的に均一な色及び明度の表現に変換すること、（７）明度チャネルの各画素に第１の値の逆数を乗じ、色チャネルの各画素に第２の値の逆数を乗ずること、及び（８）表示に適した色及び輝度の表現に当該画像を逆変換すること、の機能を実行する。

以降の説明において多数の詳細事項を説明する。ただし、本開示はこれらの具体的詳細なしで実施され得ることは当業者には明らかなはずである。ある例では、周知の構造物及び装置は、本開示の実施例を不明瞭にすることを避けるために、詳細にではなくブロック図形式で示される。

図１は、本開示の各例が動作し得る画像及び映像の圧縮方法の知覚品質及び／又は効率を向上する符号化コンピューティングシステム１００の一例のブロック図である。非限定的な例として、コンピューティングシステム１００は、ビデオカメラ、オンライン記憶装置又は伝送媒体のような１以上のデータ源１０５からデータを受信する。コンピューティングシステム１００はまた、デジタル映像又は画像の撮像システム１１０及びコンピューティングプラットフォーム１１５を含み得る。デジタル映像又は画像の撮像システム１１０は、１以上の画像、デジタル映像のストリームなどを処理し、アナログ映像をデジタル映像に、１以上のデータ源１０５としてコンピューティングプラットフォーム１１５によって処理可能な形式に変換する。コンピューティングプラットフォーム１１５は、１以上の中央処理装置１３０ａ〜１３０ｎなど、例えば、処理装置１２５を備え得るホストシステム１２０を備える。処理装置１２５は、ホストメモリ１３５に結合される。ホストメモリ１３５は、画像データバッファ１５０において１以上のデータ源１０５から受信されたデジタル画像又は映像データを記憶することができる。

処理装置は、グラフィック処理装置１４０（ＧＰＵ）をさらに実装することができる。以下に限られないが、ＤＰＳ、ＦＰＧＡ若しくはＡＳＩＣ、又は処理装置１２５自体の付属の固定機能構成など、他の協働プロセッサアーキテクチャがＧＰＵに加えて利用され得ることが当業者には分かるはずである。携帯電話及びタブレットで見られるような「ＡＰＵ」としても知られるように、ＧＰＵ１４０が中央処理装置１３０ａ〜１３０ｎと同じ物理チップ又は論理装置上に配置され得ることも当業者には分かるはずである。個別のＧＰＵ及びＣＰＵ機能は、ＧＰＵが物理的拡張カード、パーソナルコンピュータシステム及びラップトップであるコンピュータサーバシステムで見られる。ＧＰＵ１４０は、ＧＰＵメモリ１３７を備え得る。ホストメモリ１３５及びＧＰＵメモリ１３７も、ＡＰＵ上など、同じ物理チップ又は論理装置上に配置され得ることが当業者には分かるはずである。

処理装置１２５は、データ源１０５からデータを受信し、画像データバッファ１５０を受信する色空間コンバータ及びプロセッサ１４５（以下、「色空間プロセッサ１４５」という）を実装するように構成され、画像データバッファ１５０はＧＰＵメモリ１３７に画像バッファ１５５として転送される。一例では、処理装置１２５は、ＧＰＵ１４０の構成要素として色プロセッサ１４５を実装することができる。色空間プロセッサ１４５は、画像データバッファ１５５の画素の１以上を固有色空間から１以上の知覚的に均一な色空間に変換するように構成される。

色空間プロセッサ１４５は、変換された画像バッファ１５５の各画素の明度チャネルに第１の値を乗じ、変換された画像バッファ１５５の各画素の色チャネルに第２の値を乗ずるように構成される。色空間プロセッサ１４５はさらに、画像バッファ１５５の１以上の画素を１以上の知覚的に均一な色空間から元の固有入力色空間又は表示出力若しくは符号器１８０への伝送に適した色空間に変換するように構成される。一例では、変換された画像データは、ディスプレイ１７０に表示され得る。他の例では、色空間プロセッサ１４５は、変換された画像データを符号器１８０に伝送することができる。一例では、符号器１８０は、変換された画像データを当技術で知られている符号化方法を用いて符号化することができる。符号器１８０は、符号化されたデータを送信機１８５に搬送し、送信機１８５は、符号化されたデータを１以上の下流側装置１９０に直接又はネットワーク１９５を介して送信する。一例では、符号器１８０又は送信機１８５の一方又は両方は、処理装置１２５又はコンピューティングプラットフォーム１１５の外部にあってもよい。他の例では、符号器１８０又は送信機１８５の一方又は両方は、処理装置１２５又はコンピューティングプラットフォーム１１５に一体化されていてもよい。

図２は、既存の画像及び映像圧縮方法の知覚品質及び／又は効率を向上する符号化方法２００の一例を示すフロー図である。方法２００は、図１のコンピュータシステム１００によって実行され、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置で実行される命令）又はその組合せを備え得る。一例では、方法２００は、主に図１のコンピューティングシステム１００の色空間プロセッサ１４５によって実行される。

図２に示すように、コンピューティングシステム１００に画像データを符号化させるために、ブロック２１０において、色空間プロセッサ１４５が画像バッファ１５５を受信する。ブロック２２０において、色空間プロセッサ１４５が、画像バッファ１５５の１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換する。知覚的に均一な色空間は、色空間において等しいデカルト距離にある２色が人間の視覚系に対して知覚的に実質的に等しく離れているような色空間である。

変換された画像バッファ１５５の１以上の画素は複数の画素からなっていてもよく、各画素が明度チャネル及び１以上の色チャネルを備える。ブロック２３０において、色空間プロセッサ１４５が、変換された画像バッファ１５５の１以上の画素の明度チャネルに第１の値を乗ずる。一例では、第１の値は一定値である。ブロック２４０において、色空間プロセッサ１４５が、変換された画像バッファ１５５の１以上の画素の１以上の色チャネルに第２の値を乗ずる。一例では、第２の値は一定値である。

ブロック２５０において、色空間プロセッサ１４５が、画像バッファ１５５の１以上の画素を１以上の知覚的に均一な色空間から固有色空間に変換する。ブロック２６０において、色空間プロセッサ１４５は、画像バッファ１５５、第１の値及び第２の値を符号器１８０又はマルチプレクサ若しくはラッパに伝送する。ここで使用するラッパとは、映像ファイルフォーマットのＳＭＰＴＥ定義の意味で使用される用語であり、「エッセンス」はコーデックペイロード及びその内容を記述し、「ラッパ」はファイルフォーマット若しくは伝送フォーマット又はエッセンスのための他のペイロードパッケージを記述する。当業者には分かるように、ラッパはまた、ＪＦＩＦなどの単一の画像のためのファイルフォーマットを意味するように解釈されてもよく、ＪＦＩＦはファイルにカプセル化される標準態様のＪＰＥＧ画像を記述する。ブロック２７０において、符号器１８０は画像バッファ１５５を符号化する。ブロック２８０において、符号器１８０は画像バッファ１５５を送信機１８５に伝送する。ブロック２９０において、送信機１８５は、画像バッファ１５５をディスプレイ１７０又は１以上の下流側装置１９０の１以上に送信する。一例では、送信機１８５は、画像バッファ１５５を１以上の下流側装置１９０（例えば、第２の処理装置）にネットワーク１９５を介して送信する。

一例では、色空間プロセッサ１４５はさらに、「ＩＳＯ １１６６４−４：２００８（Ｅ）／ＣＩＥ Ｓ ０１４−４／Ｅ：２００７：Ｊｏｉｎｔ ＩＳＯ／ＣＩＥ Ｓｔａｎｄａｒｄ：Ｃｏｌｏｒｉｍｅｔｒｙ−Ｐａｒｔ ４：ＣＩＥ １９７６ Ｌ^＊ａ^＊ｂ^＊ Ｃｏｌｏｕｒ Ｓｐａｃｅ」（以下、ＣＩＥＬＡＢといい、参照によりここに取り込まれる）に記載されるような１以上の基準白点三刺激値を受信することができる。色空間プロセッサ１４５は、１以上の白点値に基づいて画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換することができる。送信機はさらに、１以上の白点値を１以上の下流側装置１９０に送信することができる。第１の値、第２の値及び１以上の白点値は、画像バッファ１５５とともに帯域内又は帯域外で１以上の下流側装置１９０に送信され得る。

図３は、本開示の各例が動作し得る画像及び映像の圧縮方法の知覚品質及び／又は効率を向上する例示の復号コンピューティングシステム３００のブロック図である。非限定的な例示として、コンピューティングシステム３００は、符号化データを１以上のデータ源３０５から受信するように構成される。１以上のデータ源３０５は、図１の符号化コンピューティングシステム１００であってもよい。コンピューティングシステム３００はまた、コンピューティングプラットフォーム３１５を含み得る。コンピューティングプラットフォーム３１５は、１以上の中央処理装置３３０ａ〜３３０ｎなど、例えば、処理装置３２５を備え得るホストシステム３２０を備える。処理装置３２５は、ホストメモリ３３５に結合される。ホストメモリ３３５は、画像データバッファ３５０において１以上のデータ源３０５から受信された符号化デジタル画像又は映像データを記憶することができる。符号化データは、受信機３６０によって受信され、復号器３６５によって復号され、画像データバッファ３５０に送られる。受信機３６０は、１以上のデータ源３０５から、又はネットワーク３１０を介して方向付けられた符号化データを受信することができる。一例では、受信機３６０又は復号器３６５の一方又は両方は、処理装置３２５又はコンピューティングプラットフォーム３１５の外部にあってもよい。他の例では、受信機３６０又は復号器３６５の一方又は両方は、処理装置３２５又はコンピューティングプラットフォーム３１５に一体化されていてもよい。

処理装置３２５は、グラフィック処理装置３４０（ＧＰＵ）をさらに実装することができる。以下に限られないが、ＤＰＳ、ＦＰＧＡ若しくはＡＳＩＣ、又は処理装置３２５自体の付属の固定機能構成など、他の協働プロセッサアーキテクチャがＧＰＵに加えて利用され得ることが当業者には分かるはずである。携帯電話及びタブレットで見られるような「ＡＰＵ」としても知られるように、ＧＰＵ３４０が中央処理装置３３０ａ〜３３０ｎと同じ物理チップ又は論理装置上に配置され得ることも当業者には分かるはずである。個別のＧＰＵ及びＣＰＵ機能は、ＧＰＵが物理的拡張カード、パーソナルコンピュータシステム及びラップトップであるコンピュータサーバシステムで見られ得る。ＧＰＵ３４０は、ＧＰＵメモリ３３７を備え得る。ホストメモリ３３５及びＧＰＵメモリ３３７も、ＡＰＵ上など、同じ物理チップ又は論理装置上に配置され得ることが当業者には分かるはずである。また、復号処理装置３２５は、符号化処理装置１２５とともに図１のコンピューティングシステム１００に部分的又は全体的に一体化されて符号化及び復号化機能の双方を与えてもよいことが当業者には分かるはずである。

処理装置３２５は、符号化画像データ、第１の値及び第２の値（例えば、図１の符号化システム１００で利用される第１の値及び第２の値）をデータ源３０５から受信機３６０を介して受信するように構成される。処理装置３２５は、第１の値及び第２の値を転送し、復号器３６５に対する受信符号化画像データに基づいて画像データバッファ３５０を生成して、画像バッファ３５０、第１の値及び第２の値を復号するように構成される。復号器３６５は、画像バッファ３５０、第１の値、及びＧＰＵメモリ３３７に画像バッファ３５５として転送される第２の値を転送するように構成される。

処理装置３２５は、画像バッファ３５５、第１の値及び第２の値を復号器、デマルチプレクサ又はアンラッパから受信する色空間コンバータ及びプロセッサ３４５（以下、「色空間プロセッサ３４５」という）を実装するように構成される。一例では、処理装置３２５は、ＧＰＵ３４０の構成要素として色プロセッサ３４５を実装することができる。

色空間プロセッサ３４５は、画像バッファ３５５の１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換するように構成される。色空間プロセッサ３４５は、変換された画像バッファの１以上の画素の明度チャネルに第１の値の逆数を乗じ、変換された画像バッファの１以上の画素の色チャネルに第２の値の逆数を乗ずるように構成される。色空間プロセッサ３４５はさらに、画像バッファ３５５の１以上の画素を１以上の知覚的に均一な色空間から元の固有入力色空間に、又はディスプレイ３７０の表示出力若しくは１以上の下流側装置３７５（例えば、符号器）への送信に適した色空間に変換するように構成される。

図４は、既存の画像及び映像圧縮方法の知覚品質及び／又は効率を向上するための復号方法４００の一例を示すフロー図である。方法４００は、図３のコンピュータシステム３００によって実行され、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置で実行される命令）又はその組合せを備え得る。一例では、方法３００は、主に図３のコンピューティングシステム３００の色空間プロセッサ３４５によって実行される。

図４に示すように、コンピューティングシステム３００に画像データを復号させるために、ブロック４１０において、受信機３６０が、符号化画像データ、第１の値及び第２の値をデータ源３０５から受信する。ブロック４２０において、復号器３６５が画像バッファ３５５、第１の値及び第２の値を復号し、復号データを処理装置３２５の画像データバッファ３５０に入れる。ブロック４３０において、処理装置３２５が、復号された画像バッファ３５５、第１の値及び第２の値をＧＰＵメモリ３３７のＧＰＵ画像バッファ３５５に転送する。ブロック４４０において、色空間プロセッサ３４５が、画像バッファ３５５、第１の値及び第２の値をＧＰＵメモリ３３７から受信する。

変換された画像バッファ３５５は複数の画素からなっていてもよく、各画素は明度チャネル及び１以上の色チャネルを備える。ブロック４５０において、色空間プロセッサ３４５が、画像バッファ３５５の１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換する。ブロック４６０において、色空間プロセッサ３４５が、変換された画像バッファ３５５の１以上の画素の明度チャネルに第１の値の逆数を乗ずる。一例では、第１の値は一定値である。ブロック４７０において、色空間プロセッサ３４５が、変換された画像バッファ３５５の１以上の画素の１以上の色チャネルに第２の値の逆数を乗ずる。一例では、第２の値は一定値である。

ブロック４８０において、色空間プロセッサ３４５が、画像バッファ３５５を１以上の知覚的に均一な色空間から固有色空間に、又はディスプレイ３７０での表示出力若しくは１以上の下流側装置３７５（例えば、ネットワーク３１０を介した符号器）への送信に適した色空間に変換する。ブロック３９０において、色空間プロセッサ３４５が、画像バッファをディスプレイ３７０又は下流側装置３７５に出力する。

一例では、色空間プロセッサ３４５はさらに、１以上の白点値を受信機３６０から受信することができる。色空間プロセッサ３４５は、画像バッファの１以上の画素を１以上の知覚的に均一な色空間から固有色空間に変換する際に１以上の白点値を用いることができる。一例では、第１の値、第２の値及び１以上の白点値が、帯域内又は帯域外で画像バッファ２５５とともにデータ源３０５（例えば、図１のコンピューティングシステム１００）から受信される。

一例では、処理装置３２５に関連する固有色空間は、データ源３０５（例えば、図１の処理装置１２５）に関連する固有色空間とは異なっていてもよい。一例では、処理装置３２５に関連する知覚的に均一な色空間は、データ源３０５（例えば、図１の処理装置１２５）に関連する知覚的に均一な色空間とは異なっていてもよい。

本開示の実施形態は、伝送媒体及び色空間としてＹＣｂＣｒに基づく圧縮との互換性を保持しつつ、知覚色彩科学の最新又は将来の発見を利用することによって、より良い知覚品質又は減少した符号化レートを既存の適切なＹＣｂＣｒに基づく圧縮システムに達成させるための高スループットの効率的なシステム及び方法を提供するように動作可能である。結果として、符号器若しくは復号器又は送信機若しくは受信機のいずれかに直接の改造を要することなく、輝度チャネル及び色差チャネルの双方においてエントロピー及び冗長性を低減することができる。

ＹＣｂＣｒ色空間は、特に、輝度又はＹ−チャネル軸に沿って色空間体積の上方及び下方境界において大きな知覚的冗長性を有する。理想の画像又は映像圧縮システムはシンボル表現についての基礎として知覚的に均一な色空間を選択すべきであると長い間認識されてきた。ここで用いるように、知覚均一性は、色空間体積において等しいデカルト距離にある２色は知覚的にも等しく離れていることを意味する。

図５は三次元でのＣＩＥＬＡＢ色空間の投影レンダリングであり、ＹＣｂＣｒ色空間の境界はワイヤフレーム形状で輪郭付けられる。ＣＩＥＬＡＢ色空間は、ＹＣｂＣｒ色空間よりも非常に大きな色空間である。なお、ＣＩＥＬＡＢ色空間内で区画されるＹＣｂＣｒ全域の体積は不規則な形状を有する。ＣＩＥＬＡＢ色空間内のＹＣｂＣｒ色空間の全域の体積を「伸張して」示す。これらの伸張された領域は、ＹＣｂＣｒに基づく符号化システム及び圧縮システムが、他の色に対する知覚色差を表すことに「過大な」符号化レートを充てるような体積の領域を表している。ＹＣｂＣｒ色空間がＣＩＥＬＡＮに対して正確に知覚的に均一であったとすると、その全域の体積は立方体となるであろう。言い換えると、縮小された領域は、ＹＣｂＣｒに基づく符号化システムが、他の色に対する知覚色差を表すことに「過小な」符号化レートを充てるような体積の領域を表している。

図６は、Ｙ＝０、Ｙ＝０．５及びＹ＝１において、正規化されたＹＣｂＣｒ色空間の３つの断面を示す。

図７は、ＣＩＥＬＡＢ色空間に変換された図６の断面を示し、これはＨＶＳ知覚感度のより均一な近似を有し、これが８ビット精度への量子化である。なお、元のＹＣｂＣｒ空間の色によっては他の色よりも多くの領域を占有する。

図８は、図７の量子化輪郭境界を示す。図７の領域は不均一分布を示し、大きな領域は、映像又は画像の符号化又は圧縮システムがＹＣｂＣｒ色空間を利用するときは常に「無駄となる」符号化レートを示す。ＹＣｂＣｒ色空間が完全に効率的であったとすると、示される領域は全て同じ近似領域を有することになる。なお、図８において、無駄となる符号化レートは、Ｃｂが０より小さい低い輝度値についてＣｂ軸に沿って集中し、Ｃｂが０より大きい高い輝度値についてＣｂ軸に沿って集中している。

ＪＰＥＧ、ＭＰＥＧ／Ｈ．２６２／Ｈ．２６３、ＡＶＣ／Ｈ．２６４及びＨＥＶＣ／Ｈ．２６５のようなＹＣｂＣｒに基づくシステムの例では、問題は色チャネルに及ぶだけではない−ＹＣｂＣｒの輝度の仮定が、明度に対するＨＶＳ感度に正確には一致しないことが発見された。この理由のために、ＹＣｂＣｒ色空間のＹチャネルには、特に輝度範囲の暗い領域においてアーティファクト及び／又は伝送の非効率性に寄与し得る冗長性もある。

より詳細には、アーティファクトは、高いコントラスト及び明るい有色光を有する傾向にあるコンサート映像など、復号された高い飽和度の暗いシーンを見る場合に見られる。そのような状況では、特に、符号化レートが制限された状態又は伝送ネットワーク輻輳状態において、標準的な符号化システムでカラーバンディング又はポスタリゼーションアーティファクトがはっきりと表れる。これらの品質上の欠陥は、本開示の例がＹＣｂＣｒに基づく符号化又は圧縮システムとの関連で使用される場合に防止又は緩和され得る。

本開示の例は、より良い知覚品質又は低減された符号レートを既存の適切なＣＩＥ１９３１ＸＹＺに基づく圧縮システムに達成させるための高スループットの効率的なシステム及び方法を提供する。本開示の例は、ＣＩＥ１９３１ＸＹＺ色空間を伝送媒体及び色空間の仮定として保持しつつも、知覚色彩科学の最新又は将来の発見を利用して、符号器若しくは復号器又は送信機若しくは受信機のいずれかに直接の改造を要することなく、輝度チャネルにおけるエントロピー及び冗長性を低減することができる。

ＪＰＥＧ２０００などのＣＩＥ１９３１ＸＹＺに基づくシステムの例では、ＣＩＥ１９３１ＸＹＺが、明度に対するＨＶＳ感度に一致するとして知られている厳密な表現とはならないという輝度の仮定で、問題はより深刻となる。この理由のため、ＣＩＥ１９３１ＸＹＺ色空間のＹチャネルにはアーティファクト及び／又は伝送の非効率性に寄与し得る冗長性がある。

図９は、Ｚ＝１において正規化されたＣＩＥ１９３１ＸＹＺ空間の断面を示す。

図１０は、ＣＩＥＬＡＢ色空間に変換された図９の断面を示し、８ビット精度に量子化されたＨＶＳ知覚感度のより均一な近似を示す。元のＣＩＥ１９３１ＸＹＺ空間の色によっては他の色よりも大きな領域を占有することが分かる。

図１１は、図１０の量子化輪郭境界を示す。図１０の領域は不均一な分布を示し、大きな領域は、映像又は画像の符号化又は圧縮システムがＣＩＥ１９３１ＸＹＺ色空間を利用するときは常に「無駄となる」符号化レートを示す。ＣＩＥ１９３１ＸＹＺ色空間が完全に効率的であったとすると、示される領域は全て同じ近似領域を有することになる。

現実問題として、これが意味することは、デジタルシネマパッケージなどの最近のＪＰＥＧ２０００に基づくシステムでさえも、顕著な知覚の差なしに、より効率的なものとすることができるということである。

さらに、本開示の実施形態は、より正確なデータとしての色表現のための将来の改良及び標準を利用することができる高スループットのシステム及び方法を提供することができ、ＨＶＳ色及び明度の知覚並びに処理に関する標準が利用可能となる。ＣＩＥによって発行されるような将来の色空間表現は複雑さを増し得るが、知覚的により均一な表現となる。本開示の実施形態は、ＨＶＳ知覚の差に関して均一となる結果として得られる知覚的に均一な色空間変換（及びその逆変換）にのみ依存し、ここでのシステム及び方法は色参照テーブル又はいずれの非線形算術処理にも依存しないので、ここに有効なものとして記載される実施形態を可能とする。

図１２は、関連して動作する図１及び３のコンピューティングシステム１００及び３００の実施例１２００のブロック図である。図１及び３にコンピュータシステム１００及び３００の実施例１２００は、ハードウェア（例えば、回路、専用ロジック、プログラマブルロジック、マイクロコードなど）、ソフトウェア（例えば、処理装置で実行される命令）又はその組合せを備える。

図１２に示すように、元のデジタル画像又は映像入力１２０５が第１の色空間変換処理１２１０に入力される。第１の色空間変換処理１２０５は、非限定的な例として、ＹＣｂＣｒ色空間又はＲ´Ｇ´Ｂ´色空間などの固有色空間から、ＣＩＥＬＡＢ、ＣＩＥＬＵＶ又はＳＲＬＡＢ２などの知覚的に線形な色空間に変換する。Ｒ´Ｇ´Ｂ´色空間のＬ^＊ａ^＊ｂ^＊色空間への変換は、式１：
に示すようなＣＩＥ１９３１ＸＹＺ色空間への第１の変換を含む二工程処理である。

次のステップは、式２：
Ｌ^＊＝１１６ｆ（Ｙ／Ｙ_ｎ）−１６
ａ^＊＝５００［ｆ（Ｘ／Ｘ_ｎ）−ｆ（Ｙ／Ｙ_ｎ）］
ｂ^＊＝２００［ｆ（Ｙ／Ｙ_ｎ）−ｆ（Ｚ／Ｚ_ｎ）］
に示すような３個の仮定された基準白点三刺激値の組があるとして、Ｌ^＊ａ^＊ｂ^＊色空間へ変換するものである。ここで、式２で用いられるＣＩＥ標準Ｄ６５白点についての正規化された相対輝度三刺激値は、式３：
Ｘ_ｎ＝９５．０４７、Ｙ_ｎ＝１０００、Ｚ_ｎ＝１０８．８８３
に示される。ここで、式２の関数ｆ（）は、式４：
ｔ＞（６／２９）^３の場合、ｆ（ｔ）＝ｔ^１／３
それ以外の場合、ｆ（ｔ）＝（１／３）（２９／６）^２＋４／２９
で定義される。

固有色空間フォーマットからＬ^＊ａ^＊ｂ^＊色空間への直接の変換を有効化するのに多数の方法が使用され得ること、及び上式は非限定的な例であり、説明の便宜及び明瞭化のために提供されていることが当業者には分かるはずである。さらに、当業者であれば、白点の選択は、照明、起点となるカメラ又は撮像システムの構成データによって影響を受け、入力内容及びその関連の比色メタデータに応じて変化し得ることを認識するはずである。

次に、デジタル画像の各画素の各チャネルが、明度及び色前段プロセッサ１２１５によって、式５：
のように、２つのユーザにより提供された値Ｄ_Ｌ及びＤ_ａｂで乗算される。なお、Ｄ_Ｌの標準値は０．８と０．９５の間にあり、Ｄ_ａｂの標準値は０．５と０．８の間にある。

次に、修正値Ｌ_１ ^＊、ａ_１ ^＊及びｂ_１ ^＊は、第１の逆色変換処理１２２０によって、ＹＣｂＣｒ色空間又はＲ´Ｇ´Ｂ´色空間などの元の固有色空間に逆変換される。これは、通常は二工程処理であり、第１のステップは、式６：
に示すように、ＣＩＥ１９３１ＸＹＺ色空間への逆変換である。
ここで、ｆ^−１（ｔ）は式７：
ｔ＞６／２９の場合、ｆ^−１（ｔ）＝ｔ^３
それ以外の場合、ｆ^−１（ｔ）＝３（６／２９）^２（ｔ−４／２９）
で与えられる。

そして、ＣＩＥ１９３１ＸＹＺ画像バッファは元の固有色空間に逆変換され、Ｒ´Ｇ´Ｂ´色空間の場合は式８：
で与えられる。

再度になるが、Ｌ^＊ａ^＊ｂ^＊色空間から固有色空間フォーマットへの直接の変換を有効化するのに多数の方法が使用され得ること、及び上式は非限定的な例であり、説明の便宜及び明瞭化のために提供されていることが当業者には分かるはずである。

上述したように、「充分に良好な」近似を達成する試みがなされてきたが、完全に知覚的に均一な色空間表現は存在しない。ＣＩＥＬＡＢ、ＣＩＥＣＡＭ０２及びＳＲＬＡＢ２のような最新の色空間表現の全ては、色相均一性又は輝度若しくは明度の次元に沿う色相線形性などの特定の均一性のトレードオフを有する。これらの不完全性の結果として、Ｄ_Ｌ及びＤ_ａｂの値の大きさが、可視アーティファクトがディスプレイ３７０において明らかとなる前に制限される。Ｄ_Ｌ及びＤ_ａｂの大きさが小さくなるほど、符号器（及び復号器）が符号化する必要のあるエントロピーが小さくなるので、この制限は、達成され得る符号化効率利得に直接影響する。

色空間プロセッサ３４５及び１４５の他の例は、この効率を、画像データバッファ入力３５５及び１５５の各画素の色相を評価することによって、及びこの色相値を用いて、マゼンタ、赤、黄及び緑間の値についての良好な色相均一特性を有するＣＩＥＬＡＢ又は緑、シアン、青及びマゼンタ間の値についての良好な色相均一特性を有するＳＲＬＡＢ２を用いて所与の画素を変換するかを決定することによって改善する。ここに記載する色相は、ＲＧＢから、例えば、式９：
最大ＲＧＢ＝最大（Ｒ，Ｇ，Ｂ）
最小ＲＧＢ＝最小（Ｒ，Ｇ，Ｂ）
色差＝最大ＲＧＢ−最小ＲＧＢ
色差＝０の場合、 色相＝なし
最大ＲＧＢ＝Ｒの場合、色相＝（Ｇ−Ｂ）／色差 ｍｏｄ６
最大ＲＧＢ＝Ｇの場合、色相＝（Ｂ−Ｒ）／色差＋２
最大ＲＧＢ＝Ｂの場合、色相＝（Ｒ−Ｇ）／色差＋４
によって計算される。

一例では、以前に計算された色相が第１の色相カットオフ点、例えば、３．０（前述の色相の数値表現における緑）よりも大きい場合、又は色相が第２の色相カットオフ点、例えば、０．０（マゼンタ）よりも小さい場合、交互の色空間変換が適用可能となる。非限定的な例として、これらのカットオフ点は、ＲＧＢ源とすると、式９による緑−シアン−青の範囲を表し、これは色恒常性の観点でＣＩＥＬＡＢによって多く試された色表現であり、ＳＲＬＡＢ２は交互の色変換変形として利用され得る。あるいは、ＣＩＥＬＡＢは色空間変換内で利用され得る。非限定的な例として、ＣＩＥＬＵＶ、ＨｕｎｔｅｒＬＡＢ、又はＣＩＥＣＡＭ０２など、他の近似された知覚的に均一な色変換が置換され得ることが当業者には分かるはずである。またさらに、ＣＩＥＬＡＢ、ＣＩＥＬＵＶ、ＣＩＥＣＡＭ０２、ＳＲＬＡＢ２、又は前述の色相範囲の１以上についての実質的に知覚的に均一な色空間の将来の表現などの色空間の選択は、各々についての有効な適切な色相範囲が選択され、その利用される色相範囲内で各色空間表現が知覚的に均一である限り、本例の有効な関数において重要なことではない。この方法を利用することによって、復号されてレンダリングされる品質の可視的な低下なしに、符号器効率に対する付随的利益とともに、Ｄ_Ｌ及びＤ_ａｂの以前の最小値が０．８及び０．５から０．５及び０．１１にそれぞれ拡張可能となる。色相決定処理は、発信側色プロセッサ１２１５及び受信側色プロセッサ１２５５の双方に対してローカルである。所与の画素が所与の色空間によって処理されたか否かが、色空間変換１２１０と逆色空間変換１２２０の間で、又は色空間変換１２５０と逆色空間変換１２６０の間で、４チャネル画像バッファのαチャネル若しくは別個のデータバッファを介して、又は色変換が利用される各画素について情報を搬送するのに適した任意の他の手段を介するなど、帯域外又は帯域内手段によって通信され得る。なお、色恒常性が色空間変換処理１２１０及び１２６０に関して観察される限り、色空間決定情報は、ローカル的にのみ、通信チャネルに沿って搬送される必要はない。

第１の逆色変換処理１２２０は、変形された画像データを符号器１２２５に出力し、Ｄ_Ｌ及びＤ_ａｂの値、並びに選択的に、第１の色変換処理１２１０によって利用される白点Ｘ_ｎ、Ｙ_ｎ及びＺ_ｎを、符号器１２２５に対して、又は送信機／マルチプレクサ／ライター１２３０に対して直接に搬送する。多くの場合において、ファイルフォーマットカプセル化又はストリーム多重化処理は符号器１２２５に配置され得ることが当業者には分かるはずである。さらに、これらの値は、それらが下流側の受信機／デマルチプレクサ／リーダー処理１２４０に通信され、符号器１２２５、復号器１２４５、送信機／マルチプレクサ／ライター１２３０又は受信機／デマルチプレクサ／リーダー１２４０の処理についての特注の実装を必要としないような態様で済むように、符号器１２２５又は送信機／マルチプレクサ／ライター１２３０に搬送され得る。当技術で周知のように、ファイル及びストリームのフォーマットは、これを達成する様々な態様を提供する。

非限定的な例として、ＪＰＥＧファイル交換フォーマット（以下、ＪＦＩＦという）はＪＰＥＧ圧縮像をカプセル化するのに一般に使用され、ＪＦＩＦは、ＥＸＩＦ、ＩＣＣプロファイル及びＰｉｃｔｕｒｅ Ｉｎｆｏを含む多数のフォーマットにおいて周知のメタデータ展開を規定し、これらのいずれもＤ_Ｌ及びＤ_ａｂの存在及び値並びに選択的なＸ_ｎ、Ｙ_ｎ及びＺ_ｎ値についての情報を搬送するのに使用可能である。

非限定的な例として、Ｈ２６４符号化ビットストリームは、Ｄ_Ｌ及びＤ_ａｂ並びに選択的なＸ_ｎ、Ｙ_ｎ及びＺ_ｎ値が埋め込まれ得る光学的補足強化情報（ＳＥＩ）ヘッダの含有をサポートする。これらの方法は、符号器（又は復号器）処理１２２５及び１２４５に変化を要しないが、これらの値を符号器１２２５又は送信機／マルチプレクサ／ライター１２３０のいずれかに出力し、それに付随してこれらの値を下流側の復号器１２４５又は受信機／デマルチプレクサ／リーダー１２４０に照会する能力だけを必要とする。

メタデータを搬送する他のやり方は、符号器又はコーデックフォーマットに全く結合されずに、トランスポートストリーム自体に結合される。非限定的な例として、これらは、ここに記載される目的のためにＲＴＰ拡張ヘッダも介して使用され得るＭＰＥＧトランスポートストリームのＥＳディスクリプタを含む。

Ｄ_Ｌ及びＤ_ａｂ並びに選択的にＸ_ｎ、Ｙ_ｎ及びＺ_ｎ値について多数の搬送方法が可能であり、本発明のために必要な所望の特性は、符号器及び復号器の実装の独立性、並びに前述の符号器、復号器、送信機、受信機、マルチプレクサ、デマルチプレクサ、リーダー及びライターの外部の処理によるＡＰＩ又は他の方法を介したこれらの搬送メタデータへのアクセスを含むことが当業者には分かるはずである。これはまた、Ｄ_Ｌ及びＤ_ａｂの値並びに選択的にＸ_ｎ、Ｙ_ｎ及びＺ_ｎ値に応じた特定の符号器及び復号器の標準化などによる完全に帯域外での搬送、又は非限定的な例として、ＭＰＥＧ−ＤＡＳＨ又はＨＬＳストリームのマニフェストファイル又は個別のファイル若しくはプロトコルなどによる他のチャネル及びコンテキストによるこれらの値の通信を含み得る。

圧縮画像又は映像データ自体とともに、メタデータは、上流側の送信機／マルチプレクサ／ライター１２３０から伝送チャネル１２３５又は記憶媒体を介して、画像又は映像データを復号器１２４５に適した形式に脱カプセル化してデータを第２の色空間変換処理１２５０に出力する下流側の受信機／デマルチプレクサ／リーダー１２４０に選択的に伝送又は通信される。第２の色空間変換処理１２５０は、式１から式４に記載される第１の色空間変換処理１２０５と同様にして、固有色空間から１以上の知覚的に均一な色空間に変換し、非限定的な例として、選択的に、特定の知覚的に均一な色空間が式９によって各画素について選択される。復号器１２４５によって与えられる固有色空間は符号器１２２５に供給されるものとは異なっていてもよく、異なる変換処理が必要となることが当業者には分かるはずである。第１の明度及び色前段プロセッサ１２１５によって利用される知覚的に均一な色空間は、復号器１２４５によって利用される１以上の知覚的に均一な色空間とは異なっていてもよく、必要となる唯一の要件は、全てが各々実質的に知覚的に均一なことであるということがさらに分かる。

変換された画像データは、明度及び色後段プロセッサ１２５５に出力される。さらに、受信機／デマルチプレクサ／リーダー１２４０又は復号器１２４５のいずれかが、上述のメタデータ通信方法又は相応の方法のいずれかによって、明度及び色後段プロセッサ１２５５にＤ_Ｌ及びＤ_ａｂ並びに選択的にＸ_ｎ、Ｙ_ｎ及びＺ_ｎ値を供給する。

明度及び色後段プロセッサ１２５５は、式１０：
のように、デジタル画像の各画素の各チャネルに、供給された２つの値Ｄ_Ｌ及びＤ_ａｂを乗ずる。

逆数乗算演算を適用した後に、明度及び色後段プロセッサ１２５５はＬ^＊ａ^＊ｂ^＊色空間値を第２の逆色変換処理１２６０に出力する。

第２の逆色変換処理１２６０によって利用される知覚的に均一な色空間は異なり得るが、第２の逆色変換処理１２６０は、式５から式８によって示すような第１の逆変換処理１２２０と同様に機能し、出力される固有色空間は後のトランスコーダ又はディスプレイに適したものとなり、第１の色変換処理１２１０への入力として供給される固有色空間とは異なり得る。この画像データは、非限定的な例として、ディスプレイ、後続の符号器又は画像処理パイプラインへの出力１２６５となる。

本発明は、既存の画像及び映像圧縮システムの知覚品質並びに符号化効率を高める従来技術の方法に対する幾つかの効果を有する。

図１３は、標準的な符号器及び復号器チェーンを示し、これは、前述した色空間及びシンボル表現の準最適な選択のために非効率なものとなってしまう。

図１４は、前述の非効率性に対処するＧｕｅｒｒｅｒｏに従う従来技術の試みを示す。図１４に示すように、元のデジタル画像又は映像入力が色空間変換処理に入力される。この色空間変換処理は、ＹＣｂＣｒ色空間又はＲ´Ｇ´Ｂ´色空間のような固有色空間から、ＣＩＥ１９３１ＸＹＺ色空間又はＣＩＥＬＡＢ色空間のようなＨＶＳに従ってモデル化された色空間に変換する。そして、色参照テーブル又は等距離量子化式のいずれかが色空間の色チャネルの各々に適用される。明度、輝度又はＹチャネルは扱われない。結果として、この処理は、輝度又はＹチャネルの大きな冗長性を利用せず、当業者には知られているように、多数の同時期の映像及び画像の圧縮システム及び方法は、色差チャネルと比較して輝度チャネルにより多くの演算の複雑さ及びチャネル伝送帯域幅を向けるので、そこにおける冗長性をなくすことが特に重要である。

また、Ｇｕｅｒｒｅｒｏに従う処理は、ＨＶＳに従ってモデル化された任意の色空間についての色チャネルの等距離量子化を実行することが充分であると仮定するが、図９、１０及び１１によって及びＰｏｙｎｔｏｎによって実証されたように、ＣＩＥ１９３１ＸＹＺ色空間は大きな不均一性を有する。ＣＩＥ１９３１ＸＹＺ色空間がＧｕｅｒｒｅｒｏに開示されるもののうちで最も好ましいが、ＣＩＥ１９３１ＸＹＺ色空間が（もちろん、全ての色空間が）ＨＶＳモデルに基づく一方で、それは知覚的に均一ではないので、等距離量子化処理は、結果として得られる画像及び映像における可視アーティファクトを生成することになる。

これに対処するため、Ｇｕｅｒｒｅｒｏは色マッピング関数を開示し、これは色参照テーブル（以下、「ＬＵＴ」という）として有効に作用する。本開示の実施形態に対して、この方法の不利益は２つあり、第１に、固有入力色空間と出力ＨＳＶの知覚的にモデル化された色空間との各組合せについて、本開示の実施形態が要求しない個別のＬＵＴが必要なこと、第２に、ＬＵＴの使用が符号化システムにメモリ転送帯域幅コストをもたらし、それにより、各画素は、読取り値、ＬＵＴ及びそれに応じて実行される後続の書込み動作の更なる間接的な参照メモリ読取り値を、少なくとも２つの色チャネルについて有していなければならず、これは、再度になるが、本開示の実施形態が要求するものではない。Ｇｕｅｒｒｅｒｏは、ＬＵＴが式によって置換される場合に複数の多項式解及び比較／分岐演算を必要とする色範囲を開示し、これは、これらの解法が変換映像ストリームの各画素について反復して実行される必要があることを考慮すると理想的ではないことを開示している。

比較として、本開示の実施形態は、変換された画像データの各チャネルの各画素について単一値の乗算演算しか必要としない。

Ｇｕｅｒｒｅｒｏは、ここに開示されるシステム及び方法でＣＩＥ１９３１ＸＹＺ色空間の代わりにＣＩＥＬＡＢ色空間のような知覚的に均一な色空間を利用することを予期している。しかし、色マッピング関数及び／又はＬＵＴ実装に関する前述の不利益が当てはまる。開示される量子化関数の例では、そのようにする利点は、何らかのＤＣＴに基づく符号化手法で利用されると、色エントロピーが単に空間エントロピーに置換されて符号化レート効率の総利得がなくなることにおいて減殺される。

図１５がこれを示し、平滑８ビットグラデーションを含む元の画像パッチが４ビットに量子化される。色エントロピーが低減されたが、新たに生成された境界エッジのはっきりとした境界と、加えて境界条件誤差のために空間エントロピーが増加し、大幅に増加した空間エネルギー及びエントロピーを表す斑な空間特徴がもたらされた。ＪＰＥＧ又はＨＥＶＣを含むＭＰＥＧ変形のいずれかなど、ＤＣＴに基づく符号化手法では、これにより、余計なエントロピーが、より高い周波数においてＤＣＴ係数で拡張されることになる。これは、これを予期する特注の符号器で緩和され得るが、本開示の実施形態は、符号器及び復号器実装の変更も交換も要することなく、符号化及び復号化の品質及び／又は効率を増加するシステム及び方法を提供する。

前述した空間エントロピーの問題は、符号器及び復号器の双方の付近におけるヒストグラム関数（‘３８４特許で開示されるものなど）の適切な使用により、Ｇｕｅｒｒｅｒｏに開示される量子化関数を用いる場合にＧｕｅｒｒｅｒｏに開示されるような処理の固有の特徴及び問題を緩和することによって緩和され得るが、この問題は認識も言及もされておらず、Ｇｕｅｒｒｅｒｏとは逆のことが教示される。本開示の実施形態はそのような処理の必要性をなくすものである。

本開示の実施形態の前段符号化処理は、３０ｆｐｓにおける４Ｋ映像解像度の映像についてリアルタイム超及び同時期の市場で量販されるコンピュータハードウェアでの５Ｋ及び８Ｋについてのリアルタイム付近、並びにリアルタイム及びリアルタイム付近での様々な解像度での多数の画像及び映像を実行するのに充分に効率的である。本開示の実施形態の後段符号化処理は、フィーチャーフォン、スマートフォン、タブレット、ラップトップ、ＰＣ、セットトップボックス及びテレビなど、映像及び画像の単一インスタンスについてフルＨＤ解像度でのＧＰＵ、ＣＰＵ又はＡＰＵを用いる任意のエンドユーザ装置で実行するのに充分に効率的である。

この本開示の実施形態による符号器付近及び復号器付近の双方における効率性の組合せは、新たな用途を拡げる。これらの用途は、以下に限定されないが、オーバーザトップ映像配信のための映像符号器のリアルタイム性の向上、公衆無線アクセスネットワーク輻輳のコスト効率の高いリアルタイムでの低減、移動体装置からの映像及び画像データをアップロード及びダウンロードする場合のリアルタイム通過帯域テレビ配信能力の増加、衛星トランスポンダ能力の増加、コンテンツ管理システム及びネットワークＤＶＲアーキテクチャのための記憶コストの低減、分散ネットワークコアにおける画像及び映像の高スループット処理を含む。

図１６は、ここに記載される方法の１以上を機械に実行させるための一組の命令が実行され得るコンピュータシステム１６００の例示形態における機械の模式的表現を示す。ある例では、機械はＬＡＮ、イントラネット、エクストラネット又はインターネットにおいて他の機械に接続（例えば、ネットワーク化）され得る。機械は、クライアント−サーバネットワーク環境においてサーバマシンの能力において動作することができる。機械は、パーソナルコンピュータ（ＰＣ）、セットトップボックス（ＳＴＢ）、サーバ、ネットワークルータ、スイッチ若しくはブリッジ、又はその機械によって採られるべき動作を特定する一組の（シーケンシャル又は他の）命令を実行することができる任意の機械であればよい。また、単一の機械のみが示されるが、用語「機械」は、個別又は協働して一組の（又は複数組の）命令を実行してここに記載される方法のいずれか１以上を実行する機械の任意の集合を含むものとしても解釈されるべきである。

例示のコンピュータシステム１６００は、処理装置（プロセッサ）１６０２、メインメモリ１６０４（例えば、読出し専用メモリ（ＲＯＭ）、フラッシュメモリ、同期ＤＲＡＭ（ＳＤＲＡＭ）などのダイナミックランダムアクセスメモリ（ＤＲＡＭ））、スタティックメモリ１６０６（例えば、フラッシュメモリ、スタティックランダムアクセスメモリ（ＳＲＡＭ））及びデータ記憶装置１６１６を含み、これらはバス１６０８を介して相互に通信する。

プロセッサ１６０２は、マイクロプロセッサ、中央処理装置などのような１以上の汎用処理装置を表す。より詳細には、プロセッサ１６０２は、複合命令セットコンピューティング（ＣＩＳＣ）マイクロプロセッサ、縮小命令セットコンピューティング（ＲＩＳＣ）マイクロプロセッサ、超長命令語（ＶＬＩＷ）マイクロプロセッサ、又は他の命令セットを実行するプロセッサ若しくは命令セットの組合せを実行するプロセッサであってもよい。プロセッサ１６０２はまた、特定用途向け集積回路（ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）、デジタル信号プロセッサ（ＤＳＰ）、ネットワークプロセッサなどのような１以上の特定用途処理装置であってもよい。図１及び３にそれぞれ示す色空間プロセッサ１４５及び３４５は、ここに記載される動作及びステップを実行するように構成されたプロセッサ１６０２によって実行されることができる。

コンピュータシステム１６００は、ネットワークインターフェイス装置１６２２をさらに含み得る。コンピュータシステム１６００はまた、映像表示部１６１０（例えば、液晶表示（ＬＣＤ）又は陰極線管（ＣＲＴ））、英数字入力装置１６１２（例えば、キーボード）、カーソル制御装置１６１４（例えば、マウス）及び信号生成装置１６２０（例えば、スピーカ）を含み得る。

駆動部１６１６は、ここに記載される方法又は機能のいずれか１以上を用いる１以上の組の命令（例えば、色空間プロセッサ１４５及び３４５の命令）が記憶されるコンピュータ可読媒体１６２４を含み得る。色空間プロセッサ１４５及び３４５の命令はまた、コンピュータ可読媒体を構成するコンピュータシステム１６００、メインメモリ１６０４及びプロセッサ１６０２によるその実行中に、完全に又は少なくとも部分的に、メインメモリ１６０４内で及び／又はプロセッサ１６０２内に存在し得る。色空間プロセッサ１４５及び３４５の命令はまた、ネットワークインターフェイス装置１６２２を介してネットワーク上で送信又は受信され得る。

一例では、コンピュータ可読記憶媒体１６２４が単一の媒体であるものとして示されているが、用語「コンピュータ可読記憶媒体」は、１組以上の命令を記憶する単一の非一時的な媒体又は複数の非一時的な媒体（例えば、中央化若しくは分散化されたデータベース並びに／又は関連するキャッシュ及びサーバ）を含むものとして解釈されるべきである。用語「コンピュータ可読記憶媒体」はまた、機械による実行のための一組の命令を記憶、符号化又は搬送することができ、機械に本開示の方法のいずれか１以上を実行させる任意の媒体を含むものとして解釈されるべきである。したがって、用語「コンピュータ可読記憶媒体」は、以下に限定されないが、半導体メモリ、光学媒体及び磁気媒体を含むものとして解釈されるべきである。

上記説明では多数の詳細が説明されている。しかし、本開示の利益を受ける当業者には、これらの具体的詳細がなくても開示の例が実施可能であることは明らかである。ある例では、周知の構造物及び装置は、本説明の実施例を不明瞭にすることを避けるために、詳細にではなくブロック図形式で示される。

詳細な説明の一部は、コンピュータメモリ内でのデータビットに対する処理のアルゴリズム及びシンボル表現の観点で提示されている。これらのアルゴリズムの記述及び表現は、最も効果的にそれらの作用の実体を当業者に分からせるようにデータ処理技術の当業者によって使用される手段である。ここでは、そして一般的に、アルゴリズムは所望の結果を導くステップの自己矛盾のないシーケンスと考えられる。ステップは、物理量の物理的操作を要するものである。通常は、必ずしもそうではないが、これらの量は、記憶され、転送され、合成され、比較され、あるいは操作されることができる電気的又は磁気的信号の形態を採る。主に一般的使用の理由のため、これらの信号をビット、値、要素、シンボル、文字、項、数字などとして言及することが時として便利であることが分かっている。

しかし、これら及び同様の用語の全ては、適切な物理量に関連付けられるものであり、これらの量に付される便利なラベルにすぎない。上述から明らかなように、特に断りがない限り、説明を通じて、「受信する」、「書き込む」、「保持する」などといった用語を用いる記載は、新たな座標系に対して、コンピュータシステムのレジスタ及びメモリ内で物理（例えば、電子）量として表現されるデータを、コンピュータシステムのメモリ若しくはレジスタ又は他のそのような情報ストレージ、伝送装置若しくは表示装置内で物理量として同様に表現される他のデータに操作及び変換するコンピュータシステム又は同様の電子コンピューティング装置の動作及び処理をいう。

開示の例は、ここでの処理を実行するための装置にも関する。この装置は、要求される目的のために特別に構築されることができ、又はコンピュータに記憶されたコンピュータプログラムによって選択的に作動又は再構成された汎用コンピュータを備えることができる。既存の画像及び映像の圧縮又は伝送システム及び方法の知覚品質及び／又は伝送若しくは記憶効率を向上する、ここに開示される高スループットのシステム及び方法は、幾つかの例示であるが、オーバーザトップ映像配信のための映像符号器のリアルタイム効率性の向上、公衆無線アクセスネットワーク輻輳のコスト効率の高いリアルタイムでの低減、移動体装置からの映像及び画像データをアップロード及びダウンロードする場合のリアルタイム通過帯域テレビ配信能力の増加、衛星トランスポンダ能力の増加、コンテンツ管理システム及びネットワークＤＶＲアーキテクチャのための記憶コストの低減、分散ネットワークコアにおける画像及び映像の高スループット処理といった多数の分野における問題を解決する。

そのようなコンピュータプログラムは、以下に限定されないが、フロッピーディスク、光学ディスク、ＣＤ−ＲＯＭ及び磁気光学ディスクを含む任意のタイプのディスク、読出し専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気若しくは光学カード、又は電子命令を記憶するのに適した任意のタイプの媒体といったコンピュータ可読記憶媒体に記憶され得る。

ここに提示されるアルゴリズム及び表示は、いずれかの特定のコンピュータ又は他の装置に固有に関係するものではない。種々の汎用システムが、ここでの教示に応じたプログラムで使用され、より特化した装置を構築して必要な方法のステップを実行することが便利である。これらの様々なシステムのための例示の構造はここでの説明から明らかである。さらに、本開示は、いずれの特定のプログラミング言語を参照して記載されるものでもない。ここで記載される開示による教示を実施するのに、様々なプログラミング言語が使用され得ることが分かるはずである。

上記の説明は、例示的なものであって限定的なものではないことが理解されるべきである。上記説明を読み、理解すれば、当業者には他の多数の例が明らかとなる。したがって、開示の範囲は、添付の特許請求の範囲を参照して、そのような特許請求の範囲が付与される均等の全範囲とともに決定されるべきである。

Claims (27)

1. 処理装置において、画像バッファを受信するステップ、
   前記処理装置を用いて、前記画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換するステップ、
   前記処理装置を用いて、前記画像バッファの前記１以上の画素の明度チャネルに第１の値を乗ずるステップ、
   前記処理装置を用いて、前記画像バッファの前記１以上の画素を前記１以上の知覚的に均一な色空間から前記固有色空間に変換するステップ、及び
   前記画像バッファを下流側装置に伝送するステップ
   を備える方法。
2. 前記１以上の知覚的に均一な色空間が、前記色空間において等しいデカルト距離にある２色が人間の視覚系に対して実質的に等しく離れているような色空間である請求項１に記載の方法。
3. 前記処理装置を用いて、前記画像バッファの１以上の色チャネルの１以上の画素に第２の値を乗ずるステップをさらに備える請求項１に記載の方法。
4. 前記第１の値及び前記第２の値を前記下流側装置に伝送するステップをさらに備える請求項３に記載の方法。
5. 前記処理装置において、前記第１の値及び前記第２の値を上流側装置又はメモリバッファから受信するステップをさらに備える請求項３に記載の方法。
6. 前記処理装置によって、変換された前記画像バッファを符号器に伝送するステップをさらに備え、前記符号器が前記画像バッファを符号化するように動作可能である請求項１に記載の方法。
7. 前記処理装置において、１以上の白点値を受信するステップ、
   前記１以上の白点値に基づいて、前記画像バッファの１以上の画素を前記固有色空間から１以上の知覚的に均一な色空間に変換するステップ、及び
   前記１以上の白点値を前記下流側装置に伝送するステップ
   をさらに備える請求項３の方法。
8. 前記第１の値、前記第２の値及び前記１以上の白点値が前記画像バッファとともに帯域内で前記下流側装置に伝送される請求項７に記載の方法。
9. 前記第１の値、前記第２の値及び前記１以上の白点値が前記画像バッファとともに帯域外で前記下流側装置に伝送される請求項７に記載の方法。
10. 前記画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換するステップが、前記画像バッファの各画素の色相を評価すること及び評価された前記色相を用いて複数の知覚的に均一な色空間から選択することに基づく請求項１に記載の方法。
11. 前記画像バッファの１以上の画素を１以上の知覚的に均一な色空間から前記固有色空間に変換するステップが、各画素の以前に評価された前記色相に基づく請求項１０に記載の方法。
12. 画像バッファを受信する処理装置のメモリと、
    前記メモリに結合されて前記メモリを使用する、前記処理装置の色空間プロセッサであって、
    前記画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換し、
    前記画像バッファの前記１以上の画素の明度チャネルに第１の値を乗じ、
    前記画像バッファの前記１以上の画素を前記１以上の知覚的に均一な色空間から前記固有色空間に変換し、
    前記画像バッファを下流側装置に伝送する、前記色空間プロセッサと
    を備えたシステム。
13. 前記１以上の知覚的に均一な色空間が、前記色空間において等しいデカルト距離にある２色が人間の視覚系に対して実質的に等しく離れているような色空間である請求項１２に記載のシステム。
14. 前記画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換することが、前記画像バッファの各画素の色相を評価すること及び評価された前記色相を用いて複数の知覚的に均一な色空間から選択することに基づく請求項１２に記載のシステム。
15. 前記色プロセッサが、マイクロプロセッサ、マイクロコントローラ、グラフィック処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ又は特定用途向け集積回路の１つとして実装された請求項１４に記載のシステム。
16. 第１の処理装置において第２の処理装置から画像バッファ及び第１の値を受信するステップ、
    前記第１の処理装置を用いて、前記画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換するステップ、
    前記第１の処理装置を用いて、前記画像バッファの前記１以上の画素の明度チャネルに前記第１の値の逆数を乗ずるステップ、
    前記第１の処理装置を用いて、前記画像バッファの前記１以上の画素を前記１以上の知覚的に均一な色空間から前記固有色空間に変換するステップ、及び
    前記第１の処理装置を用いて、前記画像バッファを下流側装置に伝送するステップ
    を備える方法。
17. 前記１以上の知覚的に均一な色空間が、前記色空間において等しいデカルト距離にある２色が人間の視覚系に対して実質的に等しく離れているような色空間である請求項１６に記載の方法。
18. 前記第１の処理装置において前記第２の処理装置から第２の値を受信するステップ、及び
    前記第１の処理装置を用いて、前記画像バッファの前記１以上の画素の１以上の色チャネルに前記第２の値の逆数を乗ずるステップ
    をさらに備える請求項１６に記載の方法。
19. 前記第１の処理装置において前記第２の処理装置から１以上の白点値を受信するステップ、及び
    前記第１の処理装置を用いて、前記１以上の白点値に基づいて前記画像バッファの前記１以上の画素を前記１以上の知覚的に均一な色空間から前記固有色空間に変換するステップ
    をさらに備える請求項１８に記載の方法。
20. 前記第１の値、前記第２の値及び前記１以上の白点値が前記画像バッファとともに帯域内で前記第２の処理装置から受信される請求項１９に記載の方法。
21. 前記第１の値、前記第２の値及び前記１以上の白点値が前記画像バッファとともに帯域外で前記第１の処理装置から受信される請求項１９に記載の方法。
22. 前記第１の処理装置に関連する少なくとも１つの前記固有色空間が、前記第２の処理装置に関連する少なくとも１つの固有色空間とは異なる請求項１６に記載の方法。
23. 前記第１の処理装置に関連する前記１以上の知覚的に均一な色空間が、前記第２の処理装置に関連する前記１以上の知覚的に均一な色空間とは異なる請求項１６に記載の方法。
24. 前記下流側装置が、ディスプレイ、符号器又は画像処理パイプラインの１つ以上である請求項１６に記載の方法。
25. 画像バッファ及び第１の値を第２の処理装置から受信する第１の処理装置のメモリと、
    前記メモリに結合されて前記メモリを使用する、前記第１の処理装置の色空間プロセッサであって、
    前記画像バッファの１以上の画素を固有色空間から１以上の知覚的に均一な色空間に変換し、
    前記画像バッファの前記１以上の画素の明度チャネルに第１の値の逆数を乗じ、
    前記画像バッファの前記１以上の画素を前記１以上の知覚的に均一な色空間から前記固有色空間に変換し、
    前記画像バッファを下流側装置に伝送する、前記色空間プロセッサと
    を備えたシステム。
26. 前記１以上の知覚的に均一な色空間が、前記色空間において等しいデカルト距離にある２色が人間の視覚系に対して実質的に等しく離れているような色空間である請求項２５に記載のシステム。
27. 前記色プロセッサが、マイクロプロセッサ、マイクロコントローラ、グラフィック処理装置、デジタル信号プロセッサ、フィールドプログラマブルゲートアレイ又は特定用途向け集積回路の１つとして実装された請求項２５に記載のシステム。