JP4196813B2

JP4196813B2 - 画像符号化装置及び方法、並びに画像復号装置及び方法

Info

Publication number: JP4196813B2
Application number: JP2003391361A
Authority: JP
Inventors: 隆浩福原; 淳哉荒木
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 2003-11-20
Filing date: 2003-11-20
Publication date: 2008-12-17
Anticipated expiration: 2023-11-20
Also published as: US7362893B2; JP2005159474A; US20050123204A1

Description

本発明は、ＸＹＺ色空間の画像を符号化して符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号する画像復号装置及びその方法に関する。

従来の代表的な画像圧縮方式として、ＩＳＯ（International Standards Organization）によって標準化されたＪＰＥＧ（Joint Photographic Experts Group）方式がある。これは、離散コサイン変換（Discrete Cosine Transform；ＤＣＴ）を用い、比較的高いビットが割り当てられる場合には、良好な符号化画像及び復号画像を供することが知られている。しかし、ある程度以上に符号化ビット数を少なくすると、ＤＣＴ特有のブロック歪みが顕著になり、主観的に劣化が目立つようになる。

一方、近年では画像をフィルタバンクと呼ばれるハイパス・フィルタとローパス・フィルタとを組み合わせたフィルタによって複数の帯域に分割し、各帯域毎に符号化を行う方式の研究が盛んになっている。その中でも、ウェーブレット変換符号化は、ＤＣＴのように高圧縮でブロック歪みが顕著になるという欠点がないことから、ＤＣＴに代わる新たな技術として有力視されている。

２００１年１月に国際標準化が完了したＪＰＥＧ−２０００方式は、このウェーブレット変換に高能率なエントロピー符号化（ビットプレーン単位のビット・モデリングと算術符号化）を組み合わせた方式を採用しており、ＪＰＥＧ方式に比べて符号化効率の大きな改善を実現している（例えば下記特許文献１参照）。また、ＪＰＥＧ方式では８ビットまでしか対応していないのに対して、ＪＰＥＧ−２０００方式では３８ビット（１コンポーネント当たり）まで対応しているという特徴がある。

特開２００２−１６５０９８号公報

ここで、ＪＰＥＧ方式では一般的に色空間としてＹＣｂＣｒが用いられるが、ＪＰＥＧ−２０００方式では拡張方式としてｓＹＣＣ，ｓＲＧＢ，Ｌａｂ，ＸＹＺ等の様々な色空間をファイルフォーマットとして扱うことが可能である。特に、最も色空間の色域が大きいＣＩＥＸＹＺ色空間を、デジタルシネマの規格化団体であるＤＣＩ（Digital Cinema Initiatives）が採用することがほぼ決まっており、ＸＹＺ色空間の画像を高能率に圧縮・伸張する技術の開発が期待されているが、未だこのような技術は提案されていないのが現状であった。

本発明は、このような従来の実情に鑑みて提案されたものであり、ＸＹＺ色空間の画像を例えばＪＰＥＧ−２０００方式により高能率に圧縮符号化して符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号する画像復号装置及びその方法を提供することを目的とする。

上述した目的を達成するために、本発明に係る画像符号化装置及びその方法は、ＸＹＺ色空間の画像のＸ信号及びＺ信号を、無彩色を表す点を中心とした座標系のコンポーネント信号に変換する色変換手段と、上記色変換手段による色変換後の各コンポーネント信号とＹ信号とを符号化する画像符号化手段とを備え、上記色変換手段は、Ｚ信号からＹ信号を減算して２で除算することにより第１のコンポーネント信号Ｙ１を生成する（Ｙ１＝（Ｚ−Ｙ）／２）と共に、Ｘ信号からＹ信号を減算して２で除算することにより第２のコンポーネント信号Ｙ２を生成し（Ｙ２＝（Ｘ−Ｙ）／２）、Ｙ信号は未処理のままコンポーネント信号Ｙ０として、上記３つのコンポーネント信号Ｙ０，Ｙ１，Ｙ２を上記画像符号化手段により圧縮符号化する。

また、上述した目的を達成するために、本発明に係る画像復号装置及びその方法は、上述のような画像符号化装置及びその方法によって生成された符号化コードストリームを復号するものであって、上記符号化コードストリームを復号する画像復号手段と、上記画像復号手段による復号後の各コンポーネント信号をＸＹＺ色空間の座標系に逆変換する色逆変換手段とを備え、上記色逆変換手段は、上記第１のコンポーネント信号Ｙ１に２を乗算してＹ信号Ｙ０を加算することによりＺ信号を復元する（Ｚ＝２×Ｙ１＋Ｙ０）と共に、上記第２のコンポーネント信号に２を乗算してＹ信号を加算することによりＸ信号を復元する（Ｘ＝２×Ｙ２＋Ｙ０）。

ここで、上記色逆変換手段は、上記第１のコンポーネント信号に２を乗算してＹ信号を加算することによりＺ信号を復元すると共に、上記第２のコンポーネント信号に２を乗算してＹ信号を加算することによりＸ信号を復元する。

本発明に係る画像符号化装置及びその方法、並びに画像復号装置及びその方法では、ＸＹＺ色空間の画像を符号化・復号する際に、ＸＹＺ色空間の画像のＸ信号及びＺ信号を無彩色を表す点を中心とした座標軸の信号に変換するため、自然画像のような無彩色が多い画像については値が０である割合が多くなり、圧縮効率を向上させることが可能となる。色変換後のコンポーネント信号は、復号側において元のＸＹＺ色空間のコンポーネント信号に復元することが可能である。

以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。この実施の形態は、本発明を、ＸＹＺ色空間の画像を例えばＪＰＥＧ−２０００方式により高能率に圧縮符号化して符号化コードストリームを生成する画像符号化装置及びその方法、並びに生成された符号化コードストリームを復号する画像復号装置及びその方法に適用したものである。

具体的な実施の形態について説明する前に、ここでは先ずＸＹＺ色空間について簡単に説明する。

パーソナルコンピュータ等のディスプレイで表示されている画像の色空間はＲＧＢである。ＲＧＢは光の３原色であるが、ＲＧＢ色空間では自然界に存在する色の全てを表現することはできないことが知られている。例えば、青紫系〜黄緑系の単色光の色を表現するにはＲの光を負の値にする必要があるが、ＲＧＢは何れも正の値しかとることができないため、このような色を表現することは事実上不可能である。

原色の混合量という考え方で色を表現する場合に負の値をとることには問題があるため、全ての色を正の値で表現できるような仮想の３原色を導入し、これをＸＹＺ表色系と命名した。これは、手続き上ではＲＧＢが負にならないように数学的な変換を行うことになる。

ＸＹＺ表色系では、Ｙは「視感反射率」という明るさ感を示す。ＸＹＺとＲＧＢとは同じものではないが、Ｘが大きくなるとＲＧＢのうちＲが最も大きな影響を受ける。同様にＹではＧが、ＺではＢが大きな影響を受ける。したがって、色の変化としては、Ｘを大きくすると赤みが増し、Ｙを大きくすると緑みが増し、Ｚを大きくすると青みが増す傾向にある。

なお、印刷インクに使用されている３原色は、マゼンタ，シアン，イエローであるが、これらの印刷に用いる減法混色の３原色のＸＹＺ値は以下のような値に設定されている。
マゼンタ：Ｘ＝34.61、Ｙ＝19.30、Ｚ＝23.59
シアン：Ｘ＝23.16、Ｙ＝28.47、Ｚ＝66.93
イエロー：Ｘ＝68.23、Ｙ＝78.03、Ｚ＝22.88

また、以下の式（１）〜（３）に示すように、ＲＧＢの三刺激値から等色関数の変換係数により、ＸＹＺの三刺激値に変換することができる。

ここで、Ｙの変換式はＲＧＢ表色系の輝度を求める式（Y=R+4.5907G+0.0601B）と同じである。つまり、三刺激値ＸＹＺのうちＹを求めると、それが輝度そのものであるため、非常に便利であることが分かる。

以上まとめると、Ｘは赤に近く明るさが０の色、Ｙは緑に近く明るさを持つ色、Ｚは青に近く明るさが０の色ということになる。

ＲＧＢ色空間の色域とＸＹＺ色空間の色域とを図１に示す。この図１から分かるように、ＸＹＺ色空間の色域はＲＧＢ色空間の色域よりも範囲が広い。以下に説明する画像符号化装置及び画像復号装置では、このようにＲＧＢ色空間よりも広い色域を有するＸＹＺ色空間の画像を高能率に圧縮・伸張する。

（１）第１の実施の形態
先ず、第１の実施の形態における画像符号化装置の構成及び動作について説明する。図２は、第１の実施の形態における画像符号化装置１の概略構成を示したものである。図２に示すように、画像符号化装置１は、入力されたＸ，Ｙ，Ｚの３つのコンポーネント信号に対して所定の変換を施す色変換部１０と、変換後の信号をＪＰＥＧ−２０００方式に従って圧縮符号化する画像符号化部２０とから構成されている。この画像符号化部２０は、ＪＰＥＧ−２０００規格書（参考文献：IS0/IEC 15444-1, Information technology-JPEG 2000, Part 1:Core coding system）に記載されたPart-1準拠のエンコーダの機能を有していればよく、ハードウェアであってもソフトウェアであっても構わない。

上述したように、Ｘ，Ｙ，Ｚの３つのコンポーネント信号のうち、明るさを持つのはＹのみであり、ＸとＺは明るさが０である。これは、Ｒ，Ｇ，Ｂのそれぞれが明るさとして０以外の値をとることができるのと比べて大きく異なっている。したがって、ＸＹＺ色空間の画像を例えばＪＰＥＧ−２０００方式に従って符号化する場合、ＲＧＢ色空間の画像の場合と同様に、直接ＸＹＺ色空間の画像を入力して圧縮符号化しても、高い符号化効率を得ることができない虞がある。

そこで、第１の実施の形態における画像符号化装置１では、画像符号化部２０の前段に色変換部１０を設けており、ＸＹＺ色空間の画像を高能率に圧縮符号化できるように、Ｘ，Ｙ，Ｚの３つのコンポーネント信号に対して所定の変換を施す。

この色空間部１０は、図２に示すように、演算部１１，１２と、除算部１３，１４とから構成されている。減算部１１はＺからＹを減算し、除算部１３はこの減算結果（Z-Y）を２分の１に除算し、除算結果（(Z-Y)/2）をコンポーネント信号Ｙ１として画像符号化部２０に供給する。なお、除算部１３では、２分の１の除算を行う代わりに、１ビット右シフトのシフト演算を行うようにしても構わない。また、演算部１２は、ＸからＹを減算し、除算部１４はこの減算結果（X-Y）を２分の１に除算し、除算結果（(X-Y)/2）をコンポーネント信号Ｙ２として画像符号化部２０に供給する。なお、除算部１４においても、２分の１の除算を行う代わりに、１ビット右シフトのシフト演算を行うようにしても構わない。Ｘ，Ｙ，Ｚの３つのコンポーネント信号の中で、唯一明るさを持つＹは未処理のままコンポーネント信号Ｙ０として画像符号化部２０に供給される。以上の色変換を式に表すと、以下の式（４）〜（６）のようになる。

画像符号化部２０は、この変換後の３つのコンポーネント信号Ｙ０，Ｙ１，Ｙ２をＪＰＥＧ−２０００方式に従って圧縮符号化して符号化コードストリームを生成し、生成した符号化コードストリームを出力する。

以下、色変換部１０の構成の技術的な理由、背景について説明する。

以下の式（７）〜（９）に示すように、ＸＹＺ三刺激値の全ての和に対するＸ，Ｙ，Ｚの比率をそれぞれｘ，ｙ，ｚと定義する。

このｘｙ色度図上でＸ−Ｙ＝０，Ｚ−Ｙ＝０を表すと、図３のように、点（0、0）及び点Ｗ（x=0.333、y=0.333）を通る直線と、点（1、0）及び点Ｗ（x=0.333、y=0.333）を通る直線とで表され、Ｘ−Ｙ，Ｚ−Ｙは、Ｗを交点とする座標軸に変換される。便宜上、このＷを無彩色点という。上述した式（４）〜（６）は、Ｘ及びＺをＷ（無彩色点）を中心とした座標系のコンポーネント信号に変換するものということもできる。

ここで、無彩色について簡単に説明する。色は大まかに有彩色と無彩色との２つに分類することができる。有彩色は、色み（色相），明るさ（明度）及び鮮やかさ（彩度）を持つ色である。例えば、赤を例に挙げて説明すると、明るい赤、或いは暗い赤という明るさの性質の他に、黄色よりの赤、或いは紫よりの赤という色みの性質や、鮮やかな赤、或いは鮮やかでない赤という鮮やかさの性質で表示される。一方、無彩色は、明るさ（明度）のみで表される色である。明るい〜暗い、つまり白〜灰色〜黒の範囲で、色みも鮮やかさも持たない特徴があるため、他の色に影響することがないことが知られている。

自然画像は無彩色が多いことが一般に知られている。無彩色は、式（５）からＹ１＝（Ｚ−Ｙ）／２＝０、式（６）からＹ２＝（Ｘ−Ｙ）／２＝０となるため、圧縮効果が向上することが理解できる。また、０とはならなくても、無彩色に近い場合にはＹ１，Ｙ２の値が小さくなるため、Ｘ，Ｙ，Ｚ自体を圧縮する場合よりも圧縮率を向上させることができる。

このように、画像符号化装置１では、ＸＹＺ色空間の画像を符号化する際に、ＸＹＺ色空間の画像の各コンポーネント信号を無彩色点を中心とした座標軸の信号に変換するため、自然画像のような無彩色が多い画像については値が０に変換される割合が多くなり、圧縮効率を向上させることが可能となる。

（１−２）変形例
画像符号化装置１に入力されるＸＹＺ色空間の画像は、既にガンマ補正が施されたものである場合がある。ここで、ガンマ補正とは、簡単には、計算機の出すデジタル信号がアナログ信号になってブラウン管に映るときの変化を修正する技術である。横軸を入力の強さ、縦軸を明るさとして図示すると、本来は明るさが入力の強さに正比例して右肩上がりの直線になるべきであるが、実際にブラウン管に信号を入れてみると、明るさは入力に正比例せずに、グラフ上では曲線になる。この曲り具合を表すのがガンマ値であり、数字が大きいほど曲線の曲り具合が大きくなる。ラフ上で直線になるような入力と明るさが正比例の関係をガンマ値１．０とすると、およそガンマ値２．２ぐらいになる程度まで加減するのが一般的とされている。

このように、ＸＹＺ色空間の画像に対して既にガンマ補正が施されていた場合には、画像符号化部２０の前でガンマ補正の影響を除いておくことが必要である。

そこで、このような場合には、図４に示す画像符号化装置２のように、画像符号化部２０の前段にガンマ逆補正部３０を設けることで、ガンマ逆補正を施すことが可能となる。例えば、ガンマ係数が２．４である場合、ガンマ逆補正部３０は、以下の式（１０）〜（１２）に従ってガンマ逆補正を施すことができる。

ガンマ逆補正後のＸＹＺ画像は、上述と同様に、色変換部１０で色変換処理を施すことができる。なお、色変換を省略する場合には、画像符号化部２０に直接入力するようにしても構わない。

（２）第２の実施の形態
次に、第２の実施の形態として図５に示す画像符号化装置３は、基本構造を図２に示した画像符号化装置１と同様とするが、コンポーネント毎の重み係数を用いて目標符号量に合うようにレート制御を行うレート制御部２１を有する点に特徴を有している。したがって、先に図２に示した画像符号化装置１と同様の構成については同一符号を付して詳細な説明を省略する。

レート制御部２１の詳細な構成を図６に示す。図６に示すように、レート制御部２１は、符号化パス毎の量子化係数歪みを計算する符号化パス量子化係数歪み計算部２２と、符号化パス毎の歪み量を計算する符号化パス歪み量計算部２３と、符号化パス毎の符号量を計算する符号化パス符号量計算部２４と、符号化パス毎のＲＤ（Rate-Distortion）傾き値（レート歪み傾き値）を算出する符号化パスＲＤ傾き値算出部２５と、符号量を計算する符号量計算部２６と、符号量を制御する符号量制御部２７とから構成されている。

ここで、画像符号化部２０では、入力画像をウェーブレット変換して、生成されたウェーブレット変換係数をスカラ量子化する。ウェーブレット変換では、通常図７に示すように低域成分が繰り返し変換されるが、これは画像のエネルギの多くが低域成分に集中しているためである。このことは、図７（Ａ）に示す分割レベル＝１から図７（Ｂ）に示す分割レベル＝３のように、分割レベルを進めていくに従って、同図のようにサブバンドが形成されていくことからも分かる。ここで、図７（Ｂ）におけるウェーブレット変換の分割レベルは３であり、この結果計１０個のサブバンドが形成されている。

得られた量子化係数は、サブバンド毎にエントロピー符号化の処理単位である所定の大きさ（例えば32×32、64×64）の矩形ブロック（以下、コードブロックという。）に分割される。ここで、サブバンド中のコードブロックの位置関係を図８に示す。この図８は、３回ウェーブレット変換した各サブバンドが６４×６４のサイズのコードブロックに分割される様子を示したものである。

そして、コードブロック毎の量子化係数は、ＭＳＢ（Most Significant Bit）からＬＳＢ（Least Significant Bit）までのビットプレーンに展開される。このビットプレーンの概念について図９を用いて説明する。図９（Ａ）は、縦４個、横４個の計１６個の係数からなる量子化係数を仮定したものである。この１６個の係数のうち絶対値が最大のものは１３であり、２進数表現では１１０１となる。したがって、係数の絶対値のビットプレーンは、図９（Ｂ）に示すような４つのビットプレーンから構成される。なお、各ビットプレーンの要素は、全て０又は１の数をとる。一方、量子化係数の符号は、−６が唯一負の値であり、それ以外は０又は正の値である。したがって、符号のビットプレーンは、図９（Ｃ）に示すようになる。

その後、コードブロック毎にＪＰＥＧ−２０００規格で規定されたＥＢＣＯＴ（Embedded Coding with Optimized Truncation）と呼ばれるエントロピー符号化であるビットモデリングと算術符号化とが動作される。ＥＢＣＯＴでは、ＭＳＢ側のビットプレーンから順番に、各ビットプレーンを以下の（ａ）〜（ｃ）に示す３種類の符号化パスに分割して、ビットモデリング及び算術符号化を行うことになっている。
(a) Significance Propagation Pass
(b) Magnitude Refinement Pass
(c) Clean Up Pass
３つの符号化パスの用いられる順序を図１０に示す。図１０に示すように、先ずビットプレーン（ｎ−２）（MSB）がClean Up Pass（以下、適宜ＣＵパスという。）によって符号化される。続いて、順次ＬＳＢ側に向かい、各ビットプレーンが、Significance Propagation Pass（以下、適宜ＳＰパスという。）、Magnitude Refinement Pass（以下、適宜ＭＲパスという。）、ＣＵパスの順序で用いられて符号化される。

図６に戻って、符号化パス歪み量計算部２３以外の各部には、コードブロック毎の符号化パスの情報Codingpass[ｎ]（０≦ｎ≦All_codingpass）が供給される。この符号化パスを実際に符号化することで、各符号化パスの符号量が発生すると共に、符号化パスの歪み値を計算することも可能となる。以下、詳細に説明する。

符号化パス毎の量子化係数として、コードブロック内の位置ｋの量子化係数をｓ[ｋ]とする。また、符号化パス（ｎ）（0≦n≦X-1、コードブロックにＸ個の符号化パスが存在していると仮定）以降の下位ビット（LSB方向）を全て切り捨てた場合の係数をｓ'[ｎ][ｋ]とする。符号化パス量子化係数歪み計算部２２は、以下の式（１３）に示すように、このｓ'[ｎ][ｋ]とｓ[ｋ]との差の２乗について、そのコードブロックに存在するサンプル数分の総和を求め、この量子化係数歪みの総和ＳＳＥ[ｎ]を符号化パス歪み量計算部２３に供給する。

符号化パス歪み量計算部２３は、以下の式（１４）に示すように、符号化パス（ｎ）についての量子化係数歪みの総和ＳＳＥ[ｎ]にコンポーネント信号Ｙ０，Ｙ１，Ｙ２毎に設定された重み係数Ｗｃの２乗を乗算することで、符号化パス（ｎ）に対する歪み量Ｄ[ｎ]を算出し、この歪み量Ｄ[ｎ]を符号化パスＲＤ傾き値算出部２５に供給する。ここで、重み係数Ｗｃの２乗を総和ＳＳＥ[ｎ]に乗算するのは、一般に歪み量が量子化ステップサイズの２乗に比例することが知られているからである。なお、この重み係数Ｗｃは、出力する画像の絶対値歪が最小となるように設定することが好ましい。

一方、符号化パス符号量計算部２４は、符号化パスを実際に符号化し、得られた符号化コードストリームのデータ長（例えばバイト長）ΔＲ[ｎ]を符号化パスＲＤ傾き値算出部２５に供給する。

符号化パスＲＤ傾き値算出部２５は、以下の式（１５）に従って符号化パス（ｎ）のＲＤ傾き値ＲＤ[ｎ]を算出し、このＲＤ傾き値ＲＤ[ｎ]を符号量計算部２６に供給する。

ここで、式（１５）におけるΔＤ[ｎ]は、コードブロック内の全符号化パスの中で、符号化パス（ｎ）の符号を符号化コードストリームに含めた場合に削減される歪み量であり、以下の式（１６）のように定義することができる。

符号量計算部２６は、目標符号量制御のためのＲＤ傾き値の閾値ＲＤ＿thを参照して、閾値ＲＤ＿th以上のＲＤ[ｎ]値を持つ、すなわち以下の式（１７）を満たす１画面内の全てのコードブロックの全ての符号化パス（ｎ）を選択する。そして符号量計算部２６は、式（１７）の条件に合致した１画面内の全てのコードブロックの全ての符号化パス（ｎ）の符号量Ｃ＿allを符号量制御部３７に供給する。

符号量制御部２７は、最終的な符号化コードストリームの目標符号量Ｃ＿targetに合うように、符号量Ｃ＿allを参照しながら符号化パスを選択する。選択する順番としては、最もＲＤ傾き値ＲＤ[ｎ]が大きいものから小さいものへの順番で行うのが一般的である。この結果、符号量制御部２７は、最終的に目標符号量の符号化コードストリームを出力することができる。

ところで、上述した手法では、符号量計算部２６で式（１７）の条件に合致した１画面内の全てのコードブロックの全ての符号化パス（ｎ）の符号量Ｃ＿allを計算するため、符号量Ｃ＿allが目標符号量を超えるほど、無駄が生じることになる。

そこで、ＲＤ傾き値ＲＤ[ｎ]が大きい符号化パスから順番に符号化コードストリームに含めていき、符号化コードストリームに含まれた符号量が目標符号量に達した時点で符号化制御を終了するようにしても構わない。これは、符号量計算部２６と符号量制御部２７とを同時並行的に動作させることで実現可能である。

また、図１１に示すように、低域サブバンドから高域サブバンドへの順番に、且つＲＤ傾き値ＲＤ[ｎ]が大きい符号化パスから小さい符号化パスへの順番に符号化コードストリームに含めるようにすれば、画像にとってより重要な情報が含まれている低域から優先的に情報が含まれるため、同じ情報量でも主観画質が向上するという効果がある。なお、図１１においてＬ，Ｈはそれぞれ低域，高域を表し、Ｌ，Ｈの前の数字は分割レベルを表す。すなわち、例えば１ＬＨは、水平方向が低域で垂直方向が高域である分割レベル＝１のサブバンドを表す。

また、画像が輝度情報と色差情報とから構成されていた場合には、輝度情報から色差情報への順番に、且つＲＤ傾き値ＲＤ[ｎ]が大きい符号化パスから小さい符号化パスへの順番に符号化コードストリームに含めるようにすれば、画像にとってより重要な情報が含まれている輝度情報から優先的に情報が含まれるため、同じ情報量でも主観画質が向上するという効果がある。

なお、上述した説明では、符号化パス単位でレート制御を行うものとして説明したが、レート制御部２１では、ビットプレーン単位でレート制御を行うようにしても構わない。

（３）第３の実施の形態
続いて、第３の実施の形態における画像復号装置の構成及び動作について説明する。図１２は、第３の実施の形態における画像復号装置４の概略構成を示したものである。図１２に示すように、画像復号装置４は、入力した符号化コードストリームをＪＰＥＧ−２０００方式に従って伸張復号する画像復号部４０と、この画像復号部４０から供給された３つのコンポーネント信号に対して所定の変換を施す色逆変換部５０とから構成されている。

画像復号部４０は、符号化コードストリームをＪＰＥＧ−２０００方式に従って復号伸張し、復号後の３つのコンポーネント信号Ｙ０，Ｙ１，Ｙ２を色逆変換部５０に供給する。

色逆変換部５０は、図１２に示すように、乗算部５１，５２と、加算部５３，５４とから構成されている。乗算部５１は、Ｙ１を２倍に乗算し、加算器５３は、この乗算結果（2xY1）とＹ０とを加算し、この加算結果であるＺを出力する。また、乗算部５２は、Ｙ２を２倍に乗算し、加算器５４は、この乗算結果（2xY2）とＹ０とを加算し、この加算結果であるＸを出力する。なお、Ｙ０は、そのままＹとして出力される。以上の色変換を式に表すと、以下の式（１８）〜（２０）のようになる。

このように、画像復号装置４によれば、画像符号化装置で無彩色を表す点を中心とした座標軸に変換されたＸ及びＺとＹとを元のＸＹＺ色空間の３つのコンポーネント信号に復元することができる。

（３−２）第１の変形例
上述したように、復号画像をディスプレイ等に表示する場合には、そのディスプレイに合わせたガンマ補正を施して出力する必要のある場合がある。

このような場合には、図１３に示す画像復号装置５のように、画像復号部４０の後段に正規化部６０及びガンマ補正部７０を設けることで、ガンマ補正を施すことが可能となる。

正規化部６０は、画像復号部４０から供給された３つのコンポーネント信号、又は色変換部５０で色変換が施された３つのコンポーネント信号に対して、０から１の間の値に収まるように正規化処理を施す。

ガンマ補正部７０は、正規化後の３つのコンポーネント信号に対してガンマ補正を施し、ガンマ補正後の３つのコンポーネントの信号を最終的な復号画像のコンポーネント信号として出力する。例えば、ガンマ係数が２．４である場合、ガンマ補正部７０は、以下の式（２１）〜（２３）に従ってガンマ補正を施すことができる。

（３−３）第２の変形例
第３の実施の形態及び第１の変形例では、復号画像がＸＹＺ色空間の画像である場合について説明したが、復号画像をディスプレイ・モニタのようなＲＧＢ色空間の表示装置に表示させる場合には、ＸＹＺ色空間からＲＧＢ色空間への変換を行う必要がある。

このような場合には、図１４に示す画像復号装置６のように、図１３の構成に加えて、ガンマ補正部７０の後段に、ＲＧＢ色変換部８０と、クリッピング部９０と、ガンマ逆補正部１００とを設けることで、ＲＧＢ色空間に変換することができる。

ＲＧＢ色変換部８０は、例えば以下の式（２４）〜（２６）に従って、ガンマ補正後の３つのコンポーネント信号をＲ，Ｇ，Ｂの３つのコンポーネント信号に変換する。

クリッピング部９０は、ＲＧＢの３つのコンポーネント信号を０から１の間の値にクリッピングする。すなわち、クリッピング部９０は、０未満の値は０に置き換え、１より大きい値は１に置き換える。

ガンマ逆補正部１００は、例えば上述した式（１０）〜（１２）に従って、クリッピング後の３つのコンポーネント信号に対してガンマ逆補正を施し、ガンマ逆補正後の３つのコンポーネント信号を最終的な復号画像のコンポーネント信号として出力する。

以上説明した本発明によれば、符号化側でＸＹＺ色空間の画像のＸ信号及びＺ信号を、無彩色を表す点を中心とした座標軸の信号に変換することにより、ＸＹＺ色空間の画像を高能率に圧縮・伸張することが可能となる。

ＲＧＢ色空間の色域とＸＹＺ色空間の色域とを示す図である。第１の実施の形態における画像符号化装置の概略構成を示す図である。Ｘ，Ｙ，ＺをＷ（無彩色点）を中心とした座標系に変換した図である。ガンマ逆補正部を有する画像符号化装置の概略構成を示す図である。第２の実施の形態における画像符号化装置の概略構成を示す図である。同画像符号化装置のレート制御部の内部構成を示す図である。実際の画像をウェーブレット変換した場合のサブバンドを説明する図である。コードブロックとサブバンドとの関係を説明する図である。ビットプレーンを説明する図であり、同図（Ａ）は、計１６個の係数から成る量子化係数を示し、同図（Ｂ）は、係数の絶対値のビットプレーンを示し、同図（Ｃ）は、符号のビットプレーンを示す。コードブロック内の符号化パスの処理手順を説明する図である。複数のサブバンドの優先順位を説明する図である。第３の実施の形態における画像復号装置の概略構成を示す図である。ガンマ補正部を有する画像復号装置の概略構成を示す図である。ＸＹＺ色空間からＲＧＢ色空間に変換するＲＧＢ変換部を有する画像復号装置の概略構成を示す図である。

符号の説明

１，２，３画像符号化装置、４，５，６画像復号装置、１０色変換部、１１，１２演算部、１３，１４除算部、２０画像符号化部、２１レート制御部、３０ガンマ逆補正部、４０画像復号部、５０色逆変換部、５１，５２乗算部、５３，５４加算部、６０正規化部、７０ガンマ補正部、８０ＲＧＢ変換部、９０クリッピング部、１００ガンマ逆補正部

Claims

ＸＹＺ色空間の画像のＸ信号及びＺ信号を、無彩色を表す点を中心とした座標系のコンポーネント信号に変換する色変換手段と、
上記色変換手段による色変換後の各コンポーネント信号とＹ信号とを符号化する画像符号化手段とを備え、
上記色変換手段は、Ｚ信号からＹ信号を減算して２で除算することにより第１のコンポーネント信号Ｙ１を生成する（Ｙ１＝（Ｚ−Ｙ）／２）と共に、Ｘ信号からＹ信号を減算して２で除算することにより第２のコンポーネント信号Ｙ２を生成し（Ｙ２＝（Ｘ−Ｙ）／２）、
Ｙ信号は未処理のままコンポーネント信号Ｙ０として、上記３つのコンポーネント信号Ｙ０，Ｙ１，Ｙ２を上記画像符号化手段により圧縮符号化する
画像符号化装置。
上記画像符号化手段は、
上記色変換手段による色変換後の各コンポーネント信号及びＹ信号からなる画像に対して階層的にフィルタリング処理を施して複数のサブバンドを生成するフィルタリング手段と、
上記フィルタリング処理後の上記入力画像の各係数を量子化ステップサイズで除算して量子化する量子化手段と、
上記サブバンドを分割し、所定の大きさの複数のコードブロックを生成するコードブロック生成手段と、
上記コードブロック単位に最上位ビットから最下位ビットに至る複数のビットプレーンを生成するビットプレーン生成手段と、
上記ビットプレーン生成手段によって生成された上記複数のビットプレーンについてビットモデリングを行うビットモデリング手段と、
上記ビットモデリングの行われたビットプレーン毎に符号化パスを生成する符号化パス生成手段と、
上記符号化パス生成手段によって生成された上記符号化パスを算術符号化する符号化手段と、
上記符号化手段によって生成された算術符号に基づいて、所定の目標符号量になるように符号量を制御する符号量制御手段とを有し、
上記符号量制御手段は、上記色変換後の各コンポーネント信号及びＹ信号について、それぞれ異なる重み係数を用いて符号量を制御する
請求項１記載の画像符号化装置。
上記符号量制御手段は、
各コードブロック内のビットプレーン毎又は符号化パス毎に、そのビットプレーン又は符号化パスを符号化コードストリームに含めた場合に低減される歪み量と、そのビットプレーン又は符号化パスを符号化した際の符号量との比であるレート歪み傾き値を計算するレート歪み傾き値計算手段と、
上記レート歪み傾き値が大きいビットプレーン毎又は符号化パスから上記レート歪み傾き値が小さいビットプレーン毎又は符号化パスの順に、目標符号量に達するまで符号化コードストリームに含めるように制御する制御手段と
を有する請求項２記載の画像符号化装置。
上記制御手段は、最低域のサブバンドから最高域のサブバンドの順に、上記ビットプレーン毎又は符号化パスを上記符号化コードストリームに含めるように制御する請求項３記載の画像符号化装置。
上記制御手段は、輝度成分のコンポーネントから色差成分のコンポーネントの順に、上記ビットプレーン毎又は符号化パスを上記符号化コードストリームに含めるように制御する請求項３記載の画像符号化装置。
ＸＹＺ色空間の画像のＸ信号及びＺ信号を、無彩色を表す点を中心とした座標系のコンポーネント信号に変換する色変換工程と、
上記色変換工程における色変換後の各コンポーネント信号とＹ信号とを符号化する画像符号化工程とを有し、
上記色変換工程では、Ｚ信号からＹ信号を減算して２で除算することにより第１のコンポーネント信号Ｙ１を生成する（Ｙ１＝（Ｚ−Ｙ）／２）と共に、Ｘ信号からＹ信号を減算して２で除算することにより第２のコンポーネント信号Ｙ２を生成し（Ｙ２＝（Ｘ−Ｙ）／２）、
Ｙ信号は未処理のままコンポーネント信号Ｙ０として、上記３つのコンポーネント信号Ｙ０，Ｙ１，Ｙ２を上記画像符号化工程により圧縮符号化する
画像符号化方法。
ＸＹＺ色空間の画像のＸ信号及びＺ信号を、無彩色を表す点を中心とした座標系のコンポーネント信号に色変換し、色変換後の各コンポーネント信号とＹ信号とを符号化して得られた符号化コードストリームを復号する画像復号装置であって、
上記色変換では、Ｚ信号からＹ信号を減算して２で除算することにより第１のコンポーネント信号Ｙ１を生成する（Ｙ１＝（Ｚ−Ｙ）／２）と共に、Ｘ信号からＹ信号を減算して２で除算することにより第２のコンポーネント信号Ｙ２を生成し（Ｙ２＝（Ｘ−Ｙ）／２）ており、
上記符号化コードストリームを復号する画像復号手段と、
上記画像復号手段による復号後の各コンポーネント信号をＸＹＺ色空間の座標系に逆変換する色逆変換手段とを備え、
上記色逆変換手段は、上記第１のコンポーネント信号Ｙ１に２を乗算してＹ信号Ｙ０を加算することによりＺ信号を復元する（Ｚ＝２×Ｙ１＋Ｙ０）と共に、上記第２のコンポーネント信号に２を乗算してＹ信号を加算することによりＸ信号を復元する（Ｘ＝２×Ｙ２＋Ｙ０）
画像復号装置。
上記色逆変換手段によって復元されたＸ信号及びＺ信号と上記画像復号手段によって復号されたＹ信号とをＲＧＢ色空間の各コンポーネント信号に変換するＲＧＢ変換手段をさらに備える請求項７記載の画像復号装置。
ＸＹＺ色空間の画像のＸ信号及びＺ信号を、無彩色を表す点を中心とした座標系のコンポーネント信号に色変換し、色変換後の各コンポーネント信号とＹ信号とを符号化して得られた符号化コードストリームを復号する画像復号方法であって、
上記色変換では、Ｚ信号からＹ信号を減算して２で除算することにより第１のコンポーネント信号Ｙ１を生成する（Ｙ１＝（Ｚ−Ｙ）／２）と共に、Ｘ信号からＹ信号を減算して２で除算することにより第２のコンポーネント信号Ｙ２を生成し（Ｙ２＝（Ｘ−Ｙ）／２）ており、
上記符号化コードストリームを復号する画像復号工程と、
上記画像復号工程における復号後の各コンポーネント信号をＸＹＺ色空間の座標系に逆変換する色逆変換工程とを有し、
上記色逆変換工程では、上記第１のコンポーネント信号Ｙ１に２を乗算してＹ信号Ｙ０を加算することによりＺ信号を復元する（Ｚ＝２×Ｙ１＋Ｙ０）と共に、上記第２のコンポーネント信号に２を乗算してＹ信号を加算することによりＸ信号を復元する（Ｘ＝２×Ｙ２＋Ｙ０）
画像復号方法。
上記色逆変換工程にて復元されたＸ信号及びＺ信号と上記画像復号工程にて復号されたＹ信号とをＲＧＢ色空間の各コンポーネント信号に変換するＲＧＢ変換工程をさらに有する請求項９記載の画像復号方法。