JP4348899B2 - 画像情報復号方法 - Google Patents
画像情報復号方法 Download PDFInfo
- Publication number
- JP4348899B2 JP4348899B2 JP2002124641A JP2002124641A JP4348899B2 JP 4348899 B2 JP4348899 B2 JP 4348899B2 JP 2002124641 A JP2002124641 A JP 2002124641A JP 2002124641 A JP2002124641 A JP 2002124641A JP 4348899 B2 JP4348899 B2 JP 4348899B2
- Authority
- JP
- Japan
- Prior art keywords
- quantization
- parameter
- value
- unit
- image information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘなどの様に、離散コサイン変換またはカルーネンレーベ変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン若しくはインターネット等のネットワークメディアを介して受信する場合に、または光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する場合に用いられる画像情報復号方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱う場合、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像情報符号化方式として定義されており、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。しかし、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像情報符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
さらに、近年、テレビ会議用の画像情報符号化を当初の目的として、Ｈ.２６Ｌ （ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。
【０００６】
図１９を参照して、離散コサイン変換またはカルーネンレーベ変換等の直交変換と動き補償とにより画像圧縮を実現する、従来の画像情報符号化装置について説明する。
【０００７】
図１９に示されるように、従来の画像情報符号化装置２０１は、A/D変換部（Analog-Digital変換部）２１１と、画面並べ替えバッファ２１２と、加算部２１３と、直交変換部２１４と、量子化部２１５と、可逆符号化部２１６と、蓄積バッファ２１７と、逆量子化部２１８と、逆直交変換部２１９と、フレームメモリ２２０と、動き予測補償部２２１と、レート制御部２２１とにより構成されている。
【０００８】
図１９において、A/D変換部２１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ２１２は、画像情報符号化装置２０１から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。画面並び替えバッファ２１２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部２１４に供給する。直交変換部２１４は、画像情報に対して離散コサイン変換またはカルーネンレーベ変換等の直交変換を施し、変換係数を量子化部２１５に供給する。量子化部２１５は、直交変換部２１４から供給された変換係数に対して量子化処理を施す。
【０００９】
可逆符号化部２１６は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ２１７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
【００１０】
量子化部２１５の挙動は、レート制御部２２１によって制御される。また、量子化部２１５は、量子化後の変換係数を逆量子化部２１８に供給し、逆量子化部２１８は、その変換係数を逆量子化する。逆直交変換部２１９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２２０に供給して蓄積させる。
【００１１】
画面並び替えバッファ２１２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測補償部２２１に供給する。動き予測補償部２２１は、同時に参照される画像情報をフレームメモリ２２０より取り出し、動き予測補償処理を施して参照画像情報を生成する。動き予測補償部２２１は、この参照画像情報を加算部２１３に供給し、加算部２１３は、参照画像情報を画像情報との差分信号に変換する。また、動き補償予測部２２１は、同時に動きベクトル情報を可逆符号化部２１６に供給する。
【００１２】
可逆符号化部２１６は、その動きベクトル情報に対して可変長符号化または算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００１３】
次に、図２０を参照して、上述した画像情報符号化装置２０１に対応する画像情報復号装置の構成について説明する。
【００１４】
図２０に示されるように、画像情報復号装置２４１は、蓄積バッファ２５１と、可逆復号部２５２と、逆量子化部２５３と、逆直交変換部２５４と、加算部２５５と、画面並べ替えバッファ２５６と、D/A（Digital/Analog）変換部２５７と、動き予測補償部２５８と、フレームメモリ２５９とにより構成されている。
【００１５】
図２０において、蓄積バッファ２５１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部２５２に転送する。可逆復号部２５２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号または算術復号等の処理を施し、量子化された変換係数を逆量子化部２５３に供給する。また、可逆復号部２５２は、フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測補償部２５８に供給する。
【００１６】
逆量子化部２５３は、可逆復号部２５２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部２５４に供給する。逆直交変換部２５４は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換または逆カルーネンレーベ変換等の逆直交変換を施す。
【００１７】
フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画面並べ替えバッファ２５６に格納され、Ｄ／Ａ変換部２５７におけるＤ／Ａ変換処理の後に出力される。
【００１８】
これに対して、フレームがインター符号化されたものである場合には、動き予測補償部２５８は、可逆復号処理が施された動きベクトル情報とフレームメモリ２５９に格納された画像情報とに基づいて参照画像を生成し、加算部２５５に供給する。加算部２５５は、この参照画像と逆直交変換部２５４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００１９】
ところで、ＭＰＥＧ２ビデオ規格においては、量子化についての直接的な規定はされておらず、逆量子化についてのみ、その詳細な規定がなされている。したがって、実際に量子化を行う場合には、量子化の規定に含まれるいくつかの媒介変数を変化させ、その自由度の範囲内で量子化特性を変化させることにより、高画質化や視覚特性を反映した符号化を行うことになる。以下、ＭＰＥＧ２における逆量子化処理について説明する。
【００２０】
ＭＰＥＧ２ビデオ規格において、イントラマクロブロックのＤＣ係数の量子化では、ピクチャ単位にその量子化精度を指定することが可能であり、その他の係数の量子化では、ピクチャ単位で指定可能な量子化行列の各要素に、マクロブロックを単位として指定可能な量子化スケールを乗じた値により各係数の量子化精度を制御することができる。
【００２１】
イントラマクロブロックのＤＣ係数は、式（１）に従って逆量子化される。
【００２２】
【数４６】
【００２３】
式（１）において、Ｆ"[０][０]はＤＣ係数値の量子化代表値を示し、ＱＦ[０][０]はＤＣ係数値の量子化代表値レベル番号を示す。また、intra_dc_multは、ＤＣ係数量子化精度を指定するためにピクチャ単位で設定可能な媒介変数であるintra_dc_precisionに従い、図２１に示される関係で決まる値とされる。
【００２４】
即ち、ＭＰＥＧ１においては、intra_dc_precisionが０に対応する精度（８ビット精度相当）のみであったが、輝度レベルが緩やかに変化する画像を高画質で符号化するためには、この精度では不十分であった。そこで、ＭＰＥＧ２においては、図２１に示されるように、本媒介変数を用いて８乃至１１ビット精度相当のＤＣ係数量子化精度を指定することが可能となっている。但し、４：２：２フォーマットでの使用が可能であり画質への要求レベルが高いＨｉｇｈプロファイル以外では、最高１０ビット精度で十分とし、８乃至１０ビット精度に制限されている。
【００２５】
また、イントラマクロブロックのその他の係数は、式（２）に従って逆量子化される。
【００２６】
【数４７】
【００２７】
式（２）において、Ｆ"[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値を示し、ＱＦ[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値レベル番号を示す。また、ｋの値は、式（３）により定義される値とされる。
【００２８】
【数４８】
【００２９】
また、上述した式（２）において、Ｗ[ｗ][ｕ][ｖ]およびquantiser_scaleのそれぞれは、量子化行列および量子化スケールのそれぞれを示し、これらの媒介変数によって量子化特性が制御される。
【００３０】
また、媒介変数ｋは、非イントラマクロブロックにおいて、その値がＱＦ[ｕ][ｖ]の符号に応じて１、０、−１となる。例えば、ＱＦ[ｕ][ｖ]の値が−２、−１、０、１、２である場合のＦ"[ｕ][ｖ]は、それぞれ−５ｍ、−３ｍ、０、３ｍ、５ｍ（ｍは定数）となり、零近傍にデッドゾーンが設けられている。
【００３１】
ところで、量子化行列は、ブロック内での離散コサイン変換係数値間での相対的な量子化精度を設定するために設けられた行列である。この量子化行列を用いることにより、例えば視覚的に劣化の目立ちにくい高域離散コサイン係数値を、視覚的に劣化の目立ちやすい低域離散コサイン係数と比較して粗く量子化するといった処理が可能となり、量子化特性を視覚特性に合致させることができる。なお、量子化行列は、ピクチャ単位で設定することが可能である。
【００３２】
ＭＰＥＧ１およびＭＰＥＧ２の４：２：０フォーマットの場合には、イントラマクロブロック用と非イントラマクロブロック用の２種類の量子化行列を設定することができ、４：２：２フォーマットおよび４：４：４フォーマットの場合には、さらに輝度信号と色差信号とで独立に合計４種類の量子化行列を設定することができる。なお、Ｗ[ｗ][ｕ][ｖ]におけるｗ（０，１，２，３）は、４種類の行列のうちの１つを意味する。
【００３３】
ＭＰＥＧ２において定められている、イントラマクロブロックの量子化行列のデフォルト値が、図２２に、非イントラマクロブロックの量子化行列のデフォルト値が、図２３に、それぞれ示されている。上述したように、量子化行列は、ユーザがピクチャ単位で設定可能であるが、設定されていない場合にはこのデフォルト値が用いられる。図２２と図２３に示されるように、デフォルト値ではイントラマクロブロックに対してのみ重みを有している。
【００３４】
なお、MPEG2 Test Model 5（ISO/IEC JTC/SC29/WG11/N0400）においては、非イントラマクロブロックに対して図２４に示されるような量子化行列が定義されている。図２４に示される量子化行列は、図２２に示されるデフォルト値とは異なり、重みを有した特性となっている。
【００３５】
量子化スケール（quantiser_scale）は、量子化特性のスケーリングを行うことにより発生符号量を制御するための媒介変数であり、ピクチャ単位で設定される媒介変数q_scale_typeと、マクロブロックを単位として設定される量子化スケールコードquantiser_scale_codeとにより設定される。図２５は、これらの関係を表している。
【００３６】
図２５において、q_scale_typeが０の場合には線形量子化となり、ＭＰＥＧ１と同様、quantiser_scale_code（１乃至３１）の２倍の値がquantiser_scale（２乃至６２）に設定される。
【００３７】
また、q_scale_typeが１の場合には非線形量子化となり、quantiser_scale_code（１乃至３１）は、小さい量子化スケールコードではより細かく、大きな量子化スケールコードではより粗くスケーリングすることにより、線形量子化の場合に比べ、広い範囲のquantiser_scale（１乃至１１２）に変換される。このモードは、ＭＰＥＧ２において新たに導入されたもので、特に高いレートで符号化する場合に、小さな量子化スケール領域でより細かな量子化スケール制御を行うことや、極めて複雑な画像を符号化する場合により粗い量子化スケールを用いることが可能となり、ＭＰＥＧ１と比較して、より安定した符号量制御を実現することができる。
【００３８】
MPEG２に対して、Ｈ．２６Ｌにおいては、４×４離散コサイン変換に基づく符号化が行われるが、実際には、以下の演算が行われる。すなわち、（ａ，ｂ，ｃ，ｄ）を量子化された画素値または差分値とし、（Ａ，Ｂ，Ｃ，Ｄ）を変換係数とすると、式（４）に示されるような離散コサイン変換に相当する処理が実行される。
【００３９】
【数４９】
【００４０】
また、変換後の係数が（ａ'，ｂ'，ｃ'，ｄ'）とされると、式（５）に示されるような逆離散コサイン変換に相当する処理が実行される。
【００４１】
【数５０】
【００４２】
したがって、ａ'とａとの間には、式（６）に示されるような関係がなり立つ。
【００４３】
【数５１】
【００４４】
式（６）に示されるａ'とａとの間の関係は、式（４）と式（５）に正規化のプロセスが入っていないことに起因する。なお、正規化は、逆量子化が行われた後の最後のシフト演算によって、実現される。正規化の詳細については、後述する。
【００４５】
ところで、Ｈ．２６Ｌでは、量子化／逆量子化を行うための媒介変数として、０乃至３１の値を取り得るＱＰが定義されており、ＱＰの値が１増す毎に量子化ステップサイズが１２％増加するよう設計されている。換言すれば、ＱＰの値が６増える毎に量子化ステップサイズは２倍になることになる。
【００４６】
画像圧縮情報中に埋め込まれているＱＰの値は、輝度信号に対するものであるため、以下ではＱＰlumaとも呼ぶことにする。色差信号に対するＱＰの値であるＱＰchromaは、ＱＰlumaとは異なり、以下のような対応関係を有する。
【００４７】
ＱＰluma ：
0，1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16，17，18，19，20，21，22，23，24，25，26，27，28，29，30，31
ＱＰchroma：
0，1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16，17，17，18，19，20，20，21，22，22，23，23，24，24，25，26
【００４８】
以下、ＱＰlumaを、特に断りのない限り、ＱＰと称する。
【００４９】
また、Ｈ．２６Ｌでは、量子化／逆量子化のために以下の２つの配列A（QP)、配列B（QP）が定義されている。
【００５０】
Ａ（ＱＰ＝０,..,３１）：
620，553，492，439，391，348，310，276，246，219，195，174，155，138，123，110，98，87，78，69，62，55，49，44，39，35，31，27，24，22，19，17Ｂ（ＱＰ＝０,..,３１）：
3881，4351，4890，5481，6154，6914，7761，8718，10987，12339，13828，15523，17435，19561，21873，24552，27656，30847，34870，38807，43747，49103，54683，61694，68745，77615，89113，100253，109366，126635，141533
【００５１】
配列A（QP)と配列B（QP）との間には、式（７）に示されるような関係がなり立つ。
【００５２】
【数５２】
【００５３】
式（７）に示される配列A（QP)を用いて、係数Ｋは、式（８）に示されるように量子化される。
【００５４】
【数５３】
【００５５】
式（８）において、|ｆ|は（０−０．５）の範囲にある値であり、ｆの符号はＫに一致する。
【００５６】
また、逆量子化は、式（９）に示されるように行われる。
【００５７】
【数５４】
【００５８】
式（９）の演算が実行された後、係数Ｋ'は、丸め処理を伴う２０ビットシフトが施される。直交変換および量子化の一連の処理は、３２ビット演算を行う場合、オーバーフローが起こらないよう設計されている。
【００５９】
なお、上述した量子化／逆量子化の規定は暫定的なものであり、最終的には１６ビット演算でオーバーフローが起こらないよう規格化される可能性が高い。
【００６０】
【発明が解決しようとする課題】
ところで、上述したＨ．２６Ｌで規定されている量子化／逆量子化においては、ＭＰＥＧ２で規定されているような、量子化行列を用いた直交変換係数の重み付けに関する機能が含まれていないため、視覚特性に基づいた効率的な量子化を行うことができないという課題があった。
【００６１】
また、上述したＨ．２６Ｌ量子化における処理を、ＭＰＥＧ２量子化に換算すると、2.5019，2.8050，3.1527，3.5334，3.9671，4.4573，5.0037，5.6201，6.3055のようになるが、上述したようにＭＰＥＧ２における非線形量子化のダイナミックレンジは１乃至１１２であり、Ｈ．２６Ｌ量子化によって、ＭＰＥＧ２量子化でカバーされる全ての範囲をカバーすることができない。
【００６２】
このため、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生し、また、低ビットレートでの高効率な圧縮が出来ないという課題があった。
【００６３】
本発明は、このような状況に鑑みてなされたものであり、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防ぎ、また、低ビットレートでの効率的な圧縮を実現することができるようにするものである。
【０１０５】
【課題を解決するための手段】
本発明の画像情報復号方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法であって、逆量子化において、画像圧縮情報に埋め込まれている輝度信号の量子化パラメータＱＰlumaの値を読み出し、重みパラメータ値を加算して、加算処理後の量子化パラメータＱＰ'lumaを計算し、加算処理後のパラメータＱＰ'lumaと所定の対応関係を有する色差信号の量子化パラメータＱＰchromaを演算し、演算された量子化パラメータＱＰchromaの値から量子化ステップサイズを算出し、算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化することを特徴とする。
画像情報符号化方法では、逆量子化において、演算された色差信号の量子化パラメータＱＰchromaに対して、更に重みパラメータ値を加算して、加算処理後の色差信号の量子化パラメータＱＰ'chromaの値から量子化ステップサイズを算出し、算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化するようにすることができる。
【０１０６】
画像情報復号方法では、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化するようにすることができる。
【０１４４】
上述したように、画像情報復号方法においては、入力画像信号がブロック化され、そのブロックを単位として直交変換が施されて量子化された画像圧縮情報が、逆量子化され、逆直交変換が施されて復号される。具体的には、逆量子化において、画像圧縮情報に埋め込まれている輝度信号の量子化パラメータＱＰlumaの値が読み出され、重みパラメータ値を加算して、加算処理後の量子化パラメータＱＰ'lumaが計算され、加算処理後のパラメータＱＰ'lumaと所定の対応関係を有する色差信号の量子化パラメータＱＰchromaが演算され、演算された量子化パラメータＱＰchromaの値から量子化ステップサイズが算出され、算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化される。
【０１７１】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【０１７２】
（第１実施形態）
第１実施形態は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報を生成する画像情報符号化装置、およびその画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置に適用したものである。
【０１７３】
この画像情報符号化装置および画像情報復号装置では、後述するように、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付け処理を行う。これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することを可能とし、また、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することが可能になる。
【０１７４】
はじめに、図１を参照して、本発明の第１実施形態が適用される画像情報符号化装置を説明する。
【０１７５】
図１に示されるように、本発明の第１実施形態が適用される画像情報符号化装置１０は、A/D変換部１１、画面並べ替えバッファ１２、加算部１３、直交変換部１４、量子化部１５、重み付け部１６、可逆符号化部１７、蓄積バッファ１８、逆量子化部１９、重み付け部２０、逆直交変換部２１、フレームメモリ２２、動き予測補償部２３、および、レート制御部２４とにより構成されている。
【０１７６】
画像情報符号化装置１０の動作を説明する。
【０１７７】
図１において、A/D変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１２は、画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。
【０１７８】
イントラ（画像内）符号化が行われる画像に関しては、画面並び替えバッファ１２は、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換またはカルーネンレーベ変換等の直交変換を施し、変換係数を量子化部１５に供給する。
【０１７９】
量子化部１５は、直交変換部１４から供給された変換係数に対して量子化処理を施す。このとき、量子化部１５の構成要素である重み付け部１６は、後述するように、変換係数の成分毎に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付けを行う。
【０１８０】
可逆符号化部１７は、量子化された変換係数に対して可変長符号化または算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
【０１８１】
量子化部１５の挙動は、レート制御部２４によって制御される。また、量子化部１５は、量子化後の変換係数を逆量子化部１９に供給し、逆量子化部１９は、その変換係数を逆量子化する。このとき、逆量子化部１９の構成要素である重み付け部２０は、後述するように、量子化された変換係数の成分毎に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付けを行う。
【０１８２】
逆直交変換部２１は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２２に供給して蓄積させる。
【０１８３】
これに対して、インター（画像間）符号化が行われる画像に関しては、画面並び替えバッファ１２は、画像情報を、動き予測補償部２３に供給する。動き予測補償部２３は、同時に、参照される画像情報をフレームメモリ２２より取り出し、動き予測補償処理を施して参照画像情報を生成する。
【０１８４】
動き予測補償部２３は、この参照画像情報を加算部１３に供給し、加算部１
３は、参照画像情報を画像情報との差分信号に変換する。また、動き補償予測部２３は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【０１８５】
可逆符号化部１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【０１８６】
次に、図２を参照して、本発明の第１実施形態が適用される画像情報復号装置について説明する。
【０１８７】
図２に示されるように、本発明の第１実施形態が適用される画像情報復号装置３０は、蓄積バッファ３１、可逆復号部３２、逆量子化部３３、重み付け部３４、逆直交変換部３５、加算部３６、画面並べ替えバッファ３７、D/A変換部３８、動き予測/補償部３９、および、フレームメモリ４０により構成されている。
【０１８８】
画像情報復号装置３０の動作を説明する。
【０１８９】
図２において、蓄積バッファ３１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部３２に転送する。可逆復号部３２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号または算術復号等の処理を施し、量子化された変換係数を逆量子化部３３に供給する。また、可逆復号部３２は、フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測補償部３９に供給する。
【０１９０】
逆量子化部３３は、可逆復号部３２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部３５に供給する。このとき、逆量子化部３３の構成要素である重み付け部３４は、後述するように、量子化された変換係数の成分毎に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付けを行う。逆直交変換部３５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネンレーベ変換等の逆直交変換を施す。
【０１９１】
フレームがイントラ符号化されたものである場合、逆直交変換部３５は、逆直交変換処理後の画像情報を画面並べ替えバッファ３７に供給する。画面並び替えバッファ３７は、この画像情報を一時的に格納した後、Ｄ/Ａ変換部３８に供給する。Ｄ／Ａ変換部３８は、この画像情報に対してＤ/Ａ変換処理を施して出力する。
【０１９２】
これに対して、フレームがインター符号化されたものである場合、動き予測補償部３９は、可逆復号処理が施された動きベクトル情報とフレームメモリ４０に格納された画像情報とに基づいて参照画像を生成する。加算部３６は、この参照画像と逆直交変換部３５の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【０１９３】
次に、画像情報符号化装置１０（図１）の重み付け部１６、および、重み付け部２０、並びに、画像情報復号装置３０（図２）の重み付け部３４の詳細について説明する。
【０１９４】
上述したように、量子化部１５（図１）、逆量子化部１９（図１）、および、逆量子化部３３（図２）のそれぞれは、それらに内蔵する重み付け部１６、重み付け部２０、または、重み付け部３４に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付け処理を行わせて、量子化または逆量子化の処理を行っている。
【０１９５】
このような重み付け処理により、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０１９６】
この重み付け処理の詳細について説明する。なお、重み付け部１６、重み付け部２０、および重み付け部３４のそれぞれの動作原理は、いずれも同様であるため、以下、重み付け部１６の動作についてのみ説明する。
【０１９７】
重み付け部１６においては、イントラマクロブロックに対して、デフォルトで、図３に示されるような、配列Wintra（ｉ，ｊ）（i,j=0,1,2,3）に関する情報が含まれている。
【０１９８】
同様に、インターマクロブロックに対して、デフォルトで、図４に示されるような、配列Winter（ｉ，ｊ）（i,j=0,1,2,3）に関する情報が含まれている。
【０１９９】
また、輝度信号に対して、デフォルトで、図３に示されるような、配列Wluma（ｉ，ｊ）（i,j=0,1,2,3）に関する情報を、色差信号に対して、デフォルトで、図４に示されるような、配列Wchroma（ｉ，ｊ）（i,j=0,1,2,3）に関する情報を、それぞれ含むようにすることもできる。
【０２００】
以下、配列Wintra（ｉ，ｊ）および配列Winter（ｉ，ｊ）、または、配列Wluma（ｉ，ｊ）および配列Wchroma（ｉ，ｊ）に関する処理が同等であるため、特に断りのない限り、これらを、単にＷ（ｉ，ｊ）と記述する。
【０２０１】
なお、配列Wintra（ｉ，ｊ）および配列Winter（ｉ，ｊ）、または、配列Wluma（ｉ，ｊ）および配列Wchroma（ｉ，ｊ）は、図３または図４に示されたデフォルト値に限定されるものではなく、ユーザがピクチャ単位で設定することが可能である。この場合、Ｗ（ｉ，ｊ）の値そのものを、画像圧縮情報に埋め込むことも可能であるが、その差分値を生成する、または可変長符号化、算術符号化等の可逆符号化方式を用いてその情報量を削減した上で、画像圧縮情報に埋め込んでもよい。
【０２０２】
重み付け部１６においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数のそれぞれの成分に対して、式（１０）に示されるような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０２０３】
【数８７】
【０２０４】
なお、この例においては、量子化／逆量子化処理に関しては、例えば、上述したＨ．２６Ｌにおける 配列A（QP)および配列B（QP）に代え、各成分毎に、Ａ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を用いて、Ｈ．２６Ｌと同様の処理を行う。
【０２０５】
また、ＱＰのダイナミックレンジは０乃至３１であるが、上述した式（１０）においては、ＱＱＰ（ｉ，ｊ）の値が３１を超える可能性がある。そこで、この場合は、以下に述べる２通りの処理の何れかを行う。
【０２０６】
即ち、第１の方法は、ＱＱＰ（ｉ，ｊ）の値が３１を超えた場合、ＱＱＰ（ｉ，ｊ）＝３１とする方法である。また、第２の方法は、ＱＱＰ（ｉ，ｊ）の値が３１を超えることを許容し、このときのＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を、式（１１）と式（１２）に示されるように定義する方法である。
【０２０７】
【数８８】
【０２０８】
式（１１）、（１２）において、round()は、丸め処理による整数化を表す。
【０２０９】
このようにして求められたＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）は、前述した式（７）と同様に、式（１３）に示す関係を満たす。
【０２１０】
【数８９】
【０２１１】
このように、ＱＱＰ（ｉ，ｊ）＞３１となるようなＱＱＰ（ｉ，ｊ）に対するＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を用いて量子化／逆量子化を行うことにより、低ビットレートでの高効率な圧縮を実現することが可能となる。
【０２１２】
なお、輝度信号に関しては、第２の方法によりダイナミックレンジの拡大を行い、色差信号に関しては、第１の方法で述べた通りクリッピングを行ってもよい。
【０２１３】
さらにまた、ＱＱＰ（ｉ，ｊ）＜０となるようなＱＱＰ（ｉ，ｊ）に対して、式（１４）と式（１５）のように定義されるＡ（ＱＱＰ(i,j)）およびＢ（Ｑ
ＱＰ(i,j)）を用い、Ｈ．２６Ｌと同様の量子化／逆量子化処理を行う。
【０２１４】
【数９０】
【０２１５】
このように定義されるＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を用いることにより、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するといった画質劣化を防ぐことが可能となる。
【０２１６】
ところで、Ｈ．２６Ｌ画像情報符号化において、このような擬似輪郭が発生するのは、４×４離散コサイン変換係数のうち、第（０，０）成分に加え、第（０，１）成分、第（１，０）成分が十分な精度を持たないことに起因する。
【０２１７】
そこで、本実施の形態では、Ｗ（ｉ，ｊ）として、式（１６）に示されるような重み行列を用いることで、この問題を回避することが可能である。
【０２１８】
【数９１】
【０２１９】
なお、式（１４）と式（１５）に基づくＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）のダイナミックレンジの拡大をイントラマクロブロックに対してのみ、若しくは輝度信号成分に対してのみ行うことも可能である。
【０２２０】
また、式（１４）と式（１５）に従ってダイナミックレンジの拡大を行うことにより、Ａ（）およびＢ（）のインデックスであるＱＱＰ（ｉ，ｊ）が負の値を持ちうることになるが、これは画像圧縮情報のシンタクス上、好ましくないと言える。
【０２２１】
そこで、ＱＱＰ（ｉ，ｊ）の取り得る最小の値をＱＱＰmin（＜０）として、式（１７）に示されるようにして得られるＱＱＰ'（ｉ，ｊ）を量子化／逆量子化のための新たなインデックスとして用いることにより、この問題を解決することができる。
【０２２２】
【数９２】
【０２２３】
例えば、式（１１）および式（１２）、並びに、式（１４）および式（１５）に基づく拡張を行った結果、ＱＱＰ（ｉ，ｊ）が−３から３４までの値を取り得るようになったとする。このとき、式（１７）により、ＱＱＰ'（ｉ，ｊ）は０から３７までの値を取り得ることになる。
【０２２４】
なお、Ｈ．２６Ｌのうち、よりシンプルなプロファイルにおいてはこのうち３から３４までの値を用い、例えば、１０ビットの画像を取り扱うようなより複雑なプロファイルにおいては０から３７の全ての値を取り得るといったことも可能である。
【０２２５】
以下、式（１１）および式（１２）、並びに、式（１４）および式（１５）に基づく、ダイナミックレンジの拡張されたＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）の一例を説明する。
【０２２６】
上述したような、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するといった画質劣化を回避するためには、ＭＰＥＧ２非線形量子化に換算して量子化スケールが１となる程度の精度が要求されると考えられる。
【０２２７】
そこで、はじめに、式（１４）と式（１５）に基づいて、Ａ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）のダイナミックレンジを、以下のようにマイナス方向に拡大する場合について説明する。
【０２２８】
Ａ（ＱＱＰ＝−８乃至０）：
1535，1370，1224，1093，976，871，777，694，620
Ｂ（ＱＱＰ＝−８乃至０）
1567，1756，1966，2201，2465，2762，3097，3467，3881
【０２２９】
このように拡張された（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対する組み合わせをＭＰＥＧ２における量子化幅に換算すると、
1.0105，1.1322，1.2673，1.4192，1.589，1.7801，1.9963，1.235，2.5019
のようになる。
【０２３０】
これにより量子化スケールが１となる程度の精度を得ることができ、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するといった画質劣化を回避することができる。
【０２３１】
上述した組み合わせの演算精度の評価指標として、式（１８）を用いてＲ（ＱＱＰ(i,j)）を定義する。
【０２３２】
【数９３】
【０２３３】
このＲ（ＱＱＰ(i,j)）の値が１．０に近いほど、演算誤差が小さいことになる。上述した（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対しては、
Ｒ（−８,..,０）：
0.9997，0.9999，1.0001，0.9998，0.9999，1.0012，1.0000，1.0001
となり、十分な精度を持っていることが分かる。
【０２３４】
次に、式（１１）と式（１２）に基づいて、Ａ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）のダイナミックレンジを、以下のようにプラス方向に拡大する場合について説明する。
【０２３５】
Ａ（ＱＱＰ＝３１,..,３５）：
17，15，13，12，11
Ｂ（ＱＱＰ＝３１,..,３５）：
141533，160404，185082，200505，218733
【０２３６】
このように拡張された（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対する組み合わせをＭＰＥＧ２における量子化幅に換算すると、
91.2440，103.4099，119.3191，129.2623，141.0135
となり、低ビットレートでの高効率な圧縮を実現することができる。
【０２３７】
なお、上述した（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対するＲ（ＱＱＰ(i,j)）を求めると、
Ｒ（３１,..,３５）：
1.0000，1.0000，1.0000，1.0000，1.0000
となり、十分な精度を持っていることが分かる。
【０２３８】
次に、上述の手法により、（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））のダイナミックレンジを拡大した場合のビット長について説明する。
【０２３９】
例えば、ＱＱＰ（ｉ，ｊ）＝０の場合、入力となる画素値若しくはその差分値が９ビットの精度を持つと仮定すると、量子化された直交変換係数LEVELの最大値は、４０８（＝２５５×５２2×６２０／２20）となり、１０ビットが必要になる。
【０２４０】
図５は、ＱＱＰが−１から−８までの値を取った場合の直交変換係数LEVELを表すのに必要なビット数を表している。
【０２４１】
また、図６は、上述したような、拡張された量子化幅に関する情報を、画像圧縮情報中に埋め込むための構文の例を表している。
【０２４２】
図６に示されるquantizer_rangeは、図７に示されるように、上述した式（１１）および（１２）、並びに、式（１４）および（１５）により拡張されたＱＱＰ（ｉ，ｊ）のうちの、どの範囲の値が画像圧縮情報で用いられているかを示すフラグを表している。その値が０を取るときには、現状のＨ．２６Ｌで定義されている量子化／逆量子化と同等の処理を行う。
【０２４３】
本発明による画像情報符号化装置並びに復号装置においては、デフォルトで使用される重み行列が、輝度信号に対しては、式（１９）に示されるように、色差信号の双方に対しては、式（２０）に示されるように、それぞれ定義されている。
【０２４４】
【数９４】
【０２４５】
なお、実際に画像情報符号化装置並びに復号装置で量子化／逆量子化に用いられる重み行列は必ずしもこの通りではなく、ピクチャ単位でユーザが設定することが可能である。
【０２４６】
また、図６に示される、load_intra_quantiser_matrix、load_non_intra_quantiser_matrix、load_ｃｈｒｏｍａ_intra_quantiser_matrix、およびload_ｃｈｒｏｍａ_non_intra_quantiser_matrixのそれぞれは、ピクチャで、輝度信号および色差信号に対するイントラマクロブロックおよびインターマクロブロックにおいて、デフォルトで定められた以外の重み行列が用いられるか否かを示す１ビットのフラグを表しており、その値が１を取るとき、ピクチャにおいてはデフォルト以外の重み行列が用いられる。
【０２４７】
例えばload_intra_quantiser_matrixの値が１であった場合、後続のintra_quantiser_matrix[16]において、それぞれの成分が４ビットで表された４×４の重み行列に関する情報が埋め込まれる。
【０２４８】
なお、本実施例のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット若しくは１２ビット等で表されてもよい。
【０２４９】
また、差分を取る、または可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、intra_quantiser_matrix[16]に関する情報を圧縮してもよい。
【０２５０】
さらに、上述した実施例では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０２５１】
以上、説明したように、第１実施形態における画像情報符号化装置１０（図１）および画像情報復号装置３０（図２）によれば、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付け処理を行って量子化処理および逆量子化処理を行うことができるので、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０２５２】
さらに、重み付けによってパラメータが所定の定義域を超えた場合であっても、ダイナミックレンジを拡張することができ、これにより、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止し、また、低ビットレートでの高効率な圧縮をすることが可能になる。
【０２５３】
以下、上述した第１実施形態の変形例について説明する。
【０２５４】
（変形例１）
上述した実施の形態では、２つの配列A（QP)、配列B（QP）がテーブルで与えられるものとして説明したが、以下のように数式を用いて求めるようにすることもできる。
【０２５５】
例えば、式（２１）と式（２２）に示されるように、配列A（QP)と配列B（QP）の配列のそれぞれを数式で表すことが可能である。
【０２５６】
【数９５】
【０２５７】
これらの数式表現において（式（２１）と式（２２）において）、配列A（QP)の具体例として、上述したように、ＱＰの値が１増す毎に１２％減少するように設計されている場合には、ＱＰの値が６増す毎に配列A（QP)の値が約１／２倍になる。このとき、例えば式（２１）のようにＡmantiss 配列 A(QP)を最初の６個のＱＰに対して定義すれば、式（２３）のように６個周期で配列A（QP)を拡張定義することが可能である。
【０２５８】
【数９６】
【０２５９】
これにより、係数ｆ（i,j）の量子化出力レベルLEVEL(i,j)は、式（２４）のように定義することができる。
【０２６０】
【数９７】
【０２６１】
式（２５）乃至式（３０）は、式（２４）におけるfdct_shift等の具体例を示している。
【０２６２】
【数９８】
【０２６３】
また、同様に、配列B（QP）の具体例として、上述したように、ＱＰの値が１増す毎に１２％増加するように設計されている場合には、ＱＰの値が６増す毎に配列B（QP）の値が約２倍になるため、例えば式（２２）のようにＢmantiss 配列 A(QP)を最初の６個のＱＰに対して定義すれば、式（３１）のように６個周期で配列B（QP）を拡張定義することが可能である。
【０２６４】
【数９９】
【０２６５】
これにより、量子化出力レベルLEVEL(i,j)に対する逆量子化出力f(i,j)は、式（３２）に示されるようになる。
【０２６６】
【数１００】
【０２６７】
式（３３）と式（３４）は、Bexp0およびintBman[6]の具体例を示している。
【０２６８】
【数１０１】
【０２６９】
なお、配列A（QP)、配列B（QP）の配列を数式で表す場合においても、ＱＱＰ（i,j）＝ＱＰ＋Ｗ（i,j）とし、前記式におけるＱＰをＱＱＰで置き換えることにより、上述した実施の形態と同様の効果を奏することができる。
【０２７０】
（変形例２）
Ｈ．２６Ｌ（JVT Codec）では、イントラ符号化されるマクロブロックの輝度信号１６個のＤＣ成分に対して、４×４サイズの直交変換および量子化が施される。また、イントラ符号化されるマクロブロックの色差信号の４個のＤＣ成分に対しては、２×２サイズの直交変換および量子化が施される。直交変換としては、上述したような整数精度の離散コサイン変換以外に、アダマール変換等を用いることができる。
【０２７１】
そこで、以下、輝度信号および色差信号のＤＣ成分の量子化が行われる場合、それぞれＡＣ成分とは別の重み行列Ｗ（ｉ，ｊ）を使用する例について説明する。
【０２７２】
例えば、直交変換としてアダマール変換を用いる場合、４×４サイズのアダマール変換は、式（３５）で表される。
【０２７３】
【数１０２】
【０２７４】
アダマール変換後の係数の量子化に用いられるＷ（ｉ，ｊ）も上述したＷ（ｉ，ｊ）の定義と同様である。Ｗ（ｉ，ｊ）としては、例えば、式（３６）に示されるものを用いることができる。
【０２７５】
【数１０３】
【０２７６】
このＷ（ｉ，ｊ）により、式（３７）に示されるようなＱＱＰ（ｉ，ｊ）が求められ、このＱＱＰ（ｉ，ｊ）応じた量子化ステップサイズで各周波数成分が量子化される。
【０２７７】
【数１０４】
【０２７８】
一方、２×２サイズのアダマール変換は、式（３８）で表される。
【０２７９】
【数１０５】
【０２８０】
この場合のアダマール変換後の係数の量子化に用いられるＷ（ｉ，ｊ）は、上述したＷ（ｉ，ｊ）の定義と同様のものを２×２サイズに変更したものである。各周波数成分の量子化スケールは全体の量子化スケールＱＰにこの行列成分を加えたものである。色差信号のＤＣ成分のＷ（ｉ，ｊ）としては、例えば、式（３９）に示すものを用いることができる。
【０２８１】
【数１０６】
【０２８２】
このＷ（ｉ，ｊ）により、式（４０）に示されるようなＱＱＰ（ｉ，ｊ）が求められ、このＱＱＰ（ｉ，ｊ）応じた量子化ステップサイズで各周波数成分が量子化される。
【０２８３】
【数１０７】
【０２８４】
このように、ＤＣ成分に対してＡＣ成分とは異なる重み行列Ｗ（ｉ，ｊ）を用いることにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することが可能になる。
【０２８５】
このようなＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例が、図８と図９に示されている。
【０２８６】
図８に示されるように、ＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むために、図６に示される構文に加えて、load_ｌｕｍａ_dc_matrix、load_ｃｈｒｏｍａ_dc_matrixといった１ビットのフラグが追加されている。これらのフラグは、そのピクチャ、ＧＯＰ、シーケンスで新たにＷ（ｉ，ｊ）を変更するか否かを示すフラグである。この値が０の場合、それ以前のＷ（ｉ，ｊ）と同様の重み行列またはデフォルトの重み行列を使用する。また、この値が１の場合、４×４サイズのＷ（ｉ，ｊ）の各成分と２×２サイズのＷ（ｉ，ｊ）の各成分とが伝送される。
【０２８７】
なお、各成分のそれぞれは、必ずしも４ビット精度で符号化されなくてもよく、例えば、図９に示されるように、Ｈ．２６Ｌで使用されているＵＶＬＣ（Universal Variable Length Coding）が用いられて符号化されるようにしてもよい。またＤＰＣＭ等により、各成分について前の成分との差分値を符号化するようにしても構わない。
【０２８８】
また、ＧＯＰ単位で重み行列Ｗ（ｉ，ｊ）に関する情報を伝送することもできる。この場合の構文が、図１０に示されている。
【０２８９】
さらに、図１１に示されるように、load_xxx_matrix のような１ビットのフラグを用いず、変更する場合にのみＷ（ｉ，ｊ）を伝送するようにすることも可能である。この場合にも、図１２に示されるように、各成分をＵＶＬＣを用いて符号化するようにしてもよい。
【０２９０】
次に、図１３を参照して、本発明の第１実施形態が適用される画像情報符号化伝送システムについて説明する。
【０２９１】
Ｈ．２６Ｌ（JVT codec）では、画像信号を符号化する画像信号符号化装置（Video Coding Layer:VCL）とネットワークや各種ファイルフォーマットに対応させる多重化パケット化装置（Network Adaptation Layer:NAL）とが分離され、画像情報符号化伝送システムとして構成される。この画像情報符号化伝送システムの構成が、図１３に示されている。
【０２９２】
図１３に示されるように、画像情報符号化伝送システム５０において、画像信号符号化装置５１では、上述した実施の形態に従った画像信号の符号化が行われるが、この時点での画像圧縮情報は、各シンタクス要素毎に分離されている。
【０２９３】
画像信号符号化装置５１は、各画像圧縮情報（シンタクスエレメント）６２、その境界情報６３、および、各シンタクスエレメントを復号するためのフラグ類（ＭＰＥＧ２等におけるシーケンスヘッダ、ＧＯＰヘッダ、スタートコードなど）からなるヘッダ情報６１を、多重化パケット化装置５２に供給する。
【０２９４】
多重化パケット化装置５２は、例えば、ＲＴＰ（Real-time Transfer Protocol）に従って画像圧縮情報６２を伝送する場合（IPネットワーク５４を利用して伝送する場合）には、各シンタクスエレメント６２を所定の方法でＲＴＰパケット６５にマッピングし、また復号に必要なヘッダもマッピングする。
【０２９５】
なお、ヘッダについては別パケット（図１３の例では、ヘッダパケット６６）で伝送するようにしても構わない。即ち、ヘッダ情報は重要な情報であるため、復号に必要なヘッダをよりエラー耐性の強い別チャンネルで伝送することも可能である。
【０２９６】
この場合、上述した重み行列Ｗ（ｉ，ｊ）を伝送するには、上述した復号に必要なヘッダ情報６１と共に、多重化パケット化装置５２にて所定の方法でＲＴＰパケット６５にマッピングする。この場合、例えば図１４と図１５に示されるような構文が使用可能である。
【０２９７】
また、多重化パケット化装置５２は、MPEGシステム５３を利用して、画像圧縮情報６２を伝送することもできる。即ち、多重化パケット装置５２は、画像圧縮情報の各シンタクスエレメント６２と、復号のために必要なヘッダ情報６１とをＭＰＥＧシステムストリーム６４に多重化して、伝送することもできる。この場合、多重化パケット化装置５２は、各アクセスユニットの先頭にスタートコードを付加する。また、所定のアクセスユニットの先頭にシーケンスヘッダ、ＧＯＰヘッダ、ユーザデータ等を付加する。
【０２９８】
この場合において上述した重み行列Ｗ（ｉ，ｊ）を伝送するには、ヘッダ情報等と共に、各アクセスユニットの先頭に付加する。
【０２９９】
なお、このアクセスユニットは、ＭＰＥＧでは各ピクチャであるが、Ｈ．２６Ｌでは、各スライスである。即ち、Ｈ．２６Ｌでは、各スライスの先頭に当スライスにおける重み行列Ｗ（ｉ，ｊ）が付加される。
【０３００】
これらの情報が画像圧縮情報に付加された後、多重化パケット化装置５２は、ＭＰＥＧシステムストリーム６４に各アクセスユニットのデータをパケット化して伝送する。
【０３０１】
なお、上述した手法は、ＭＰＥＧ以外の伝送方式、例えばＲＴＰ等においても同様に適用可能である。
【０３０２】
（変形例３）
上述した変形例２では、入力画像信号に対して１回目の直交変換および量子化を施し、さらにイントラ符号化されるマクロブロックの輝度信号１６個のＤＣ成分およびイントラ符号化されるマクロブロックの色差信号の４個のＤＣ成分に対しては、それぞれ４×４サイズ、２×２サイズの２回目の直交変換および量子化を施し、量子化が行われる場合は、重み行列Ｗ（ｉ，ｊ）によって各周波数成分毎に重み付けを変えるものとして説明した。
【０３０３】
しかし、これに限定されるものではなく、以下のように、１回目および２回目の直交変換後の量子化が行われる場合、各周波数成分間で一様な重み付けを行うようにしても構わない。
【０３０４】
即ち、１回目の直交変換後には、画像圧縮情報中に伝送される量子化スケールＱＰを用いて、例えば、上述した式（８）に示したように量子化する。
【０３０５】
一方、２回目の直交変換後では、式（４１）に従って計算されるＱＱＰを用いて、例えば、上述した式（８）のＱＰをＱＱＰに置き換えて量子化する。
【０３０６】
【数１０８】
【０３０７】
式（４１）におけるパラメータＸは、所定の整数値であるため、各周波数成分に対して一様な重み付けが行われる。このＱＰの重み付けは、上述した画像情報符号化装置１０（図２）の重み付け部１６で行われる。
【０３０８】
また、逆量子化は、それぞれ同様に、例えば、上述した式（９）に従って、ＱＰまたはＱＱＰを用いて画像情報復号装置（図３）の重み付け部３４で行われる。
【０３０９】
なお、符号化側で前記パラメータＸを画像圧縮情報中に伝送し、復号側では、パラメータＸを画像圧縮情報から読み出して復号し、２回目の逆量子化に用いるようにしてもよい。
【０３１０】
この場合、例えば、ＧＯＰ単位またはピクチャ単位でこの第２回目の量子化に対するパラメータＸを伝送する場合の構文は、図１４と図１５に示されるような構文とされる。なお、図１４と図１５においては、パラメータＸは、DC_quant_weightとして示されている。
【０３１１】
なお、図１４と図１５では、４ビットの固定長のフラグが定義されているが、任意のビット精度に対して適用可能である。また、このフラグをＵＶＬＣで符号化し、伝送するようにしても構わない。
【０３１２】
また、パラメータＸは、図１３に示される画像信号符号化装置５１が生成する画像圧縮情報とは別に多重化パケット化装置５２にて多重化して伝送するようにしても構わない。
【０３１３】
以上、詳細に説明したように、本発明の第１実施形態が適用される画像情報符号化方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行う画像情報符号化方法において、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、前記パラメータＱＰの加算処理による重み付けを行って量子化することを特徴とするものである。
【０３１４】
この画像情報符号化方法では、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、量子化が行われる場合、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３１５】
また、この画像情報符号化方法では、前記パラメータＱＰの上限値、または、下限値を超える値に対しては、配列A（QP)の値の増減率に従って配列A（QP)を拡張した値を用いる。
【０３１６】
このような画像情報符号化方法では、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３１７】
さらに、パラメータＱＰの上限値、下限値を超える値に対しては、前記配列A（QP)の値の増減率に従って配列A（QP)を拡張した値を用いることができる。
【０３１８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０３１９】
さらに、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０３２０】
また、本発明の第１実施形態が適用される画像情報符号化方法は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化を行う画像情報符号化方法であって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化することを特徴とするものである。
【０３２１】
このような画像情報符号化方法では、１回目の直交変換後のＤＣ成分の係数をまとめ、この係数に対して第２の直交変換を施し、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とを異なる重み付けを行って量子化する。
【０３２２】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することが可能になる。
【０３２３】
また、本発明の第１実施形態が適用される画像情報符号化装置は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行う画像情報符号化装置において、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って量子化する量子化手段を備えることを特徴とするものである。
【０３２４】
この画像情報符号化装置は、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、量子化が行われる場合、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３２５】
また、この画像情報符号化装置は、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列A（QP)の値の増減率に従って、配列A（QP)を拡張した値を用いる。
【０３２６】
このような画像情報符号化装置は、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３２７】
さらに、パラメータＱＰの上限値、下限値を超える値に対しては、配列A（QP)の値の増減率に従って配列A（QP)を拡張した値を用いることができる。
【０３２８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０３２９】
さらに、例えばなだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０３３０】
また、本発明の第１実施形態が適用される画像情報符号化装置は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化を行う画像情報符号化装置であって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化する量子化手段を備えることを特徴とするものである。
【０３３１】
このような画像情報符号化装置は、１回目の直交変換後のＤＣ成分の係数をまとめ、この係数に対して第２の直交変換を施し、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とを異なる重み付けを行って量子化する。
【０３３２】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することが可能になる。
【０３３３】
また、本発明の第１実施形態が適用される画像情報復号方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法において、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、量子化係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って逆量子化することを特徴とするものである。
【０３３４】
この画像情報復号方法では、前記量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３３５】
また、この画像情報復号方法では、パラメータＱＰの上限値、下限値を超える値に対しては、配列B（QP）の値の増減率に従って配列B（QP）を拡張した値を用いる。
【０３３６】
このような画像情報復号方法では、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３３７】
さらに、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って、配列B（QP）を拡張した値を用いることができる。
【０３３８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数が視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化された画像圧縮情報を復号することが可能になる。
【０３３９】
また、本発明の第１実施形態が適用される画像情報復号方法は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化されており、逆量子化が行われる場合は、量子化されたＡＣ成分の係数と第２の直交変換後に量子化されたＤＣ成分の係数とに対して、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化することを特徴とするものである。
【０３４０】
このような画像情報復号方法では、１回目の直交変換後のＤＣ成分の係数がまとめられ、この係数に対して第２の直交変換が施され、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化された画像圧縮情報を逆量子化する場合、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する。
【０３４１】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減させた画像圧縮情報を復号することが可能になる。
【０３４２】
また、本発明の第１実施形態が適用される画像情報復号装置は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置において、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、量子化係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って逆量子化する逆量子化手段を備えることを特徴とするものである。
【０３４３】
この画像情報復号装置は、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３４４】
また、この画像情報復号装置は、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って、配列B（QP）を拡張した値を用いることができる。
【０３４５】
このような画像情報復号装置は、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３４６】
さらに、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って配列B（QP）を拡張した値を用いることができる。
【０３４７】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数が視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化された画像圧縮情報を復号することが可能になる。
【０３４８】
また、本発明の第１実施形態が適用される画像情報復号装置は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化されており、逆量子化が行われる場合、量子化されたＡＣ成分の係数と第２の直交変換後に量子化されたＤＣ成分の係数とに対して量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する逆量子化手段を備えることを特徴とするものである。
【０３４９】
このような画像情報復号装置は、１回目の直交変換後のＤＣ成分の係数がまとめられ、この係数に対して第２の直交変換が施され、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化された画像圧縮情報を逆量子化する場合、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する。
【０３５０】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減させた画像圧縮情報を復号することが可能になる。
【０３５１】
また、本発明の第１実施形態が適用される画像情報符号化復号方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、得られた画像圧縮情報を復号する場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するための整数値を取り得るパラメータＱＰ（０≦ＱＰ≦ｎ−１；ｎは整数）に対して、２つの配列A（QP)および配列B（QP）が、配列A（QP)×B（QP）＝Const.（ただし、Const.は定数）を満たし、Ｋを量子化前の直交変換係数、Ｋ'を逆量子化後の直交変換係数、ｆを丸め処理のための定数、ｍを所定の整数としたときに、量子化出力LEVEL を得るための量子化処理をLEVEL ＝（Ｋ×A（QP)＋ｆ×２m）／２mと行い、逆量子化処理をＫ' ＝ LEVEL×B（QP）と行い、直交変換における正規化を量子化および逆量子化と同時に行う画像情報符号化復号方法であって、直交変換係数の各成分に対して、予め用意された配列Ｗ（ｉ，ｊ）を用いて、ＱＱＰ（ｉ，ｊ）＝ＱＰ＋Ｗ（ｉ，ｊ）のように算出される、各成分に対するパラメータによって与えられる２つの変数Ａ（ＱＱＰ（ｉ，ｊ））およびＢ（ＱＱＰ（ｉ，ｊ））によってそれぞれ重み付け量子化処理、重み付け逆量子化処理を行うことを特徴とするものである。
【０３５２】
このような画像情報符号化復号方法では、配列A（QP)および配列B（QP）に基づいて量子化および逆量子化する場合、直交変換係数の各成分に対して、予め用意された配列Ｗ（ｉ，ｊ）を用いて、ＱＱＰ（ｉ，ｊ）＝ＱＰ＋Ｗ（ｉ，ｊ）のように算出される、各成分に対するパラメータによって与えられる２つの変数Ａ（ＱＱＰ（ｉ，ｊ））およびＢ（ＱＱＰ（ｉ，ｊ））によって、重み付け量子化処理、および、重み付け逆量子化処理のそれぞれを行う。
【０３５３】
さらに、ＱＱＰ（ｉ，ｊ）の値が所定の定義域を超えた場合には、配列A（QP)および配列B（QP）のダイナミックレンジを拡張して得られる配列Ａ（ＱＱＰ）および配列Ｂ（ＱＱＰ）を用いることができる。
【０３５４】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０３５５】
さらに、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０３５６】
また、本発明の第１実施形態が適用される画像情報符号化伝送システムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報と共にヘッダ情報を生成する画像信号符号化装置と、画像信号符号化装置から画像圧縮情報およびヘッダ情報が供給され、画像圧縮情報およびヘッダ情報を所定の方法により多重化し、パケット化して伝送する多重化パケット化装置とを備え、画像信号符号化装置は、直交変換されて得られた直交変換係数を量子化する場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って量子化を行い、多重化パケット化装置は、量子化における重み付けの情報を、ヘッダ情報と共に多重化してパケット化することを特徴とするものである。
【０３５７】
また、本発明の第１実施形態が適用される画像情報符号化伝送システムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報と共にヘッダ情報を生成する画像信号符号化装置と、画像信号符号化装置から画像圧縮情報およびヘッダ情報が供給され、画像圧縮情報およびヘッダ情報を所定の方法により多重化し、パケット化して伝送する多重化パケット化装置とを備え、多重化パケット化装置は、画像圧縮情報の各アクセスユニットの先頭に、少なくともヘッダ情報を付加することを特徴とするものである。
【０３５８】
また、本発明の第１実施形態が適用される画像情報符号化伝送システムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報と共にヘッダ情報を生成する画像信号符号化装置と、画像信号符号化装置から画像圧縮情報およびヘッダ情報が供給され、画像圧縮情報およびヘッダ情報を所定の方法により多重化し、パケット化して伝送するパケット化装置とを備え、画像信号符号化装置は、直交変換されて得られた直交変換係数を量子化する場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って量子化を行い、多重化パケット化装置は、量子化の際の重み付けの情報をヘッダ情報と共に多重化して、画像圧縮情報とは別にパケット化し、それぞれ異なるチャンネルで伝送することを特徴とするものである。
【０３５９】
（第２実施形態）
第１実施形態においては、量子化パラメータＱとして、輝度信号に対する量子化パラメータＱＰlumaを利用して、量子化または逆量子化を行う例について説明した。
【０３６０】
しかしながら、上述したように、量子化パラメータＱＰlumaの値を１つ増加させても、色差信号に対する量子化パラメータＱＰchromaの値が必ずしも１つ増加するわけではない。このため、第１実施形態が適用される画像情報符号化装置（例えば、図１の画像情報符号化装置１０）、および、画像情報復号装置（例えば、図２の画像情報復号装置３０）は、上述した式（１０）に基づいて、単純に輝度信号成分に重みをかけるだけでは、色差信号成分に重みをかけることができないことがあるという課題を有している。
【０３６１】
そこで、第２実施形態においては、第１実施形態を基にして、さらに、そのような課題を解決することが可能な画像情報符号化装置、および、画像情報復号装置の例について説明する。即ち、Ｈ．２６Ｌのように、量子化パラメータＱＰlumaと量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことを可能とする画像情報符号化装置、および、画像情報復号装置の例について説明する。
【０３６２】
図１６は、本発明の第２実施形態が適用される画像情報符号化装置７１の構成例を表しており、図１の画像情報符号化装置１０に対応する部分には、対応する符号が付してある。
【０３６３】
この構成例においては、図１の量子化部１５の代わりに量子化部８１が、図１の逆量子化部１９の代わりに逆量子化部８２が、それぞれ設けられている。
【０３６４】
その他の構成は、図１の画像情報符号化装置１０の構成と同一とされている。
【０３６５】
図１の量子化部１５が、１つの重み付け部１６を有しているのに対して、量子化部８１は、２つの重み付け部、即ち、輝度信号に対する重み付け処理を行う輝度信号重み付け部９１、および、色差信号に対する重み付け処理を行う色差信号重み付け部９２を有している。
【０３６６】
同様に、図１の逆量子化部１９が、１つの重み付け部２０を有していたのに対して、逆量子化部８２は、２つの重み付け部、輝度信号重み付け部９３、および、色差信号重み付け部９４を有している。
【０３６７】
図１７は、本発明の第２実施形態が適用される画像情報復号装置１０１の構成例を表しており、図２の画像情報復号装置３０に対応する部分には、対応する符号が付してある。
【０３６８】
この構成例においては、図２の逆量子化部３３の代わりに逆量子化部１１１が設けられている。
【０３６９】
その他の構成は、図２の画像情報復号装置３０の構成と同一とされている。
【０３７０】
図２の逆量子化部３３が、１つの重み付け部３４を有しているのに対して、逆量子化部１１１は、２つの重み付け部、即ち、輝度信号重み付け部１２１、および、色差信号重み付け部１２２を有している。
【０３７１】
画像情報符号化装置７１（図１６）の動作は、量子化部８１の色差信号重み付け部９２、および、逆量子化部８２の色差信号重み付け部９４の動作を除いて、画像情報符号化装置１０（図１）の動作と基本的に同様である。
【０３７２】
画像情報復号装置１０１（図１７）の動作は、逆量子化部１１１の色差信号重み付け部１２２の動作を除いて、画像情報復号装置３０（図２）の動作と基本的に同様である。
【０３７３】
なお、量子化部８１の輝度信号重み付け部９１（図１６）、逆量子化部８２の輝度信号重み付け部９３（図１６）、および、逆量子化部１１１の輝度信号重み付け部１２１（図１７）のそれぞれの動作は、量子化部１５の重み付け部１６（図１）、逆量子化部１９の重み付け部２０（図１）、および、逆量子化部３３の重み付け部３４（図２）のそれぞれの動作と基本的に同様である。
【０３７４】
即ち、量子化部８１の輝度信号重み付け部９１（図１６）、逆量子化部８２の輝度信号重み付け部９３（図１６）、および、逆量子化部１１１の輝度信号重み付け部１２１（図１７）のそれぞれは、上述した式（１０）に従って、輝度信号に対する重み付け処理を実行する。
【０３７５】
ただし、後述する式（４６）（色差信号に対する重み付けに対応する式）と区別するために、ここでは、上述した式（１０）を、式（４２）に示されるように記述するものとする。
【０３７６】
【数１０９】
【０３７７】
また、量子化部８１の色差信号重み付け部９２（図１６）、逆量子化部８２の色差信号重み付け部９４（図１６）、逆量子化部１１１の色差信号重み付け部１２２（図１７）のそれぞれの動作は、基本的に同様である。
【０３７８】
従って、以下、量子化部８１の色差信号重み付け部９２の動作についてのみ説明する。
【０３７９】
図１６において、例えば、いま、量子化部８１に入力されたマクロブロックに対する量子化パラメータＱＰが、ＱＰ＝１７とされ、また、そのマクロブロックに対する重み行列として、図３に示されたものが用いられているとする。
【０３８０】
この場合、上述した式（１０）を演算すると、式（４３）に示されるように、変数ＱＱＰ（０，２）の値は、１８となる。
【０３８１】
【数１１０】
【０３８２】
上述したように、この変数ＱＱＰ（０，２）は、輝度信号に対するパラメータＱＰlumaに基づいて算出されたものであるので、輝度信号に対する変数ＱＱＰluma（０，２）の値は、式（４４）に示されるように１８となるが、色差信号に対する変数ＱＱＰchroma（０，２）の値は、式（４５）に示されるように、１８とはならずに１７となる（詳細は、上述した変数ＱＱＰlumaと変数ＱＱＰchromaの関係を参照）。
【０３８３】
【数１１１】
【０３８４】
従って、式（１０）を利用する重み付け処理では、色差信号成分に対して、重み付けによる効果を得ることができない。
【０３８５】
そこで、色差信号重み付け部９２は、上述した式（１０）（式（４２））に代え、式（４６）を利用して、色差信号成分に対する重み付け処理を実行する。
【０３８６】
【数１１２】
【０３８７】
具体的には、この例においては、色差信号重み付け部９２は、式（４７）に示されるように、変数ＱＱＰchroma（０，２）を演算する。
【０３８８】
【数１１３】
【０３８９】
このように、量子化部８１は、輝度信号重み付け部９１を利用して、輝度信号成分に対して重み付け効果を得るとともに、色差信号重み付け部９２を利用して、色差信号成分に対しても重み付け効果を得ることが可能になる。
【０３９０】
なお、上述したように、Ｈ．２６Ｌの規格においては、現状、変数ＱＱＰchroma（ｉ，ｊ）の上限値は、２６と定められている。しかしながら、上述した式（４６）を利用して、変数ＱＱＰchroma（ｉ，ｊ）が演算された場合、その演算値は、上限値（２６）を超える可能性がある。
【０３９１】
この場合における色差信号重み付け部９２の処理の方法は、特に限定されないが、この例においては、例えば、以下の２通りの方法のいずれか一方とされる。
【０３９２】
即ち、第１の方法は、色差信号重み付け部９２が、上述した式（４６）により変数ＱＱＰchroma（ｉ，ｊ）を演算し、その演算結果が上限値（２６）を超える場合、変数ＱＱＰchroma（ｉ，ｊ）として、その演算値（２６を超える値）を利用せずに、上限値（２６）を利用する方法である。即ち、色差信号重み付け部９２は、演算した変数ＱＱＰchroma（ｉ，ｊ）の値が、２６を超える場合、式（４８）に示されるように、変数ＱＱＰchroma（ｉ，ｊ）を再演算する。
【０３９３】
【数１１４】
【０３９４】
第２の方法は、上限値（２６）を越える、演算した変数ＱＱＰchroma（ｉ，ｊ）の値に対して、上述した配列Ａ（ＱＱＰchroma（ｉ，ｊ））、および、配列Ｂ（ＱＱＰchroma（ｉ，ｊ））を、式（４９）と式（５０）に示されるように拡張する方法である。ただし、式（４９）と式（５０）において、ｒｏｕｎｄ（）は丸めによる整数化処理を表している。
【０３９５】
【数１１５】
【０３９６】
このように、画像符号化装置７１の量子化部８１（図１６）は、量子化パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaのそれぞれを利用し、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算する（上述した式（１０）（式４２）を演算する）輝度信号重み付け部９１と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算する（上述した式（４６）を演算する）色差信号重み付け部９２とを設け、輝度信号重み付け部９１により演算されたパラメータＱＱＰluma（ｉ，ｊ）と、色差信号重み付け部９２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け量子化を行う。
【０３９７】
このとき、量子化部８１は、色差信号重み付け部９２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、以下の２つの方法のいずれか一方により、重み付け量子化を行う。
【０３９８】
即ち、量子化部８１は、パラメータＱＱＰchroma（ｉ，ｊ）として、その上限値ＱＱＰchroma_maxを利用して、重み付け量子化を行う。
【０３９９】
または、上述したように、パラメータＱＰに対応する２つの配列Ａ（ＱＰ）およびＢ（ＱＰ）が、式（５１）に示される関係を満たし、
Ａ（ＱＰ）×Ｂ（ＱＰ）＝Const.（ただし、Const.は定数） ・・・（５１）
かつ、量子化部８１が、Ｋを量子化前の直交変換係数、ｆを丸め処理のための定数、および、ｍを所定の整数として、量子化出力LEVEL を得るための量子化処理を、式（５２）に従って行い、
LEVEL ＝（Ｋ×A（QP)＋ｆ×２m）／２m ・・・（５２）
それに対応する逆量子化処理が、Ｋ'を逆量子化後の直交変換係数として、式（５３）に示されるように行われる場合、
Ｋ' ＝ LEVEL×B（QP） ・・・（５３）
量子化部８１は、公比ｒを、式（５４）に示されるように演算し、
【数１１６】
変数Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）、および、変数Ｂ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）のそれぞれを、round（）を丸めによる整数化処理として、式（５５）と式（５６）に示されるように演算し、
【数１１７】
量子化処理を、式（５７）に示されるように行う。
【０４００】
LEVEL ＝（Ｋ×Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）＋ｆ×２m）／２m ・・・（５７）
【０４０１】
逆量子化部８２（図１６）、および、逆量子化部１１１（図１７）のそれぞれも、量子化部８１（図１６）と同様に、量子化パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaのそれぞれを利用し、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算する（上述した式（１０）（式４２）を演算する）輝度信号重み付け部９３若しくは輝度信号重み付け部１２１と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算する（上述した式（４６）を演算する）色差信号重み付け部９４若しくは色差信号重み付け部１２２とを設け、輝度信号重み付け部９３若しくは輝度信号重み付け部１２１により演算されたパラメータＱＱＰluma（ｉ，ｊ）、並びに、色差信号重み付け部９４若しくは色差信号重み付け部１２２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け逆量子化を行う。
【０４０２】
このとき、逆量子化部８２、および、逆量子化部１１１のそれぞれは、色差信号重み付け部９４若しくは色差信号重み付け部１２２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、上述した２つの方法のいずれか一方により、重み付け逆量子化を行う。
【０４０３】
これにより、画像情報符号化装置７１、および、画像情報復号装置１０１においては、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【０４０４】
なお、第２実施形態は、画像情報符号化装置７１、および、画像情報復号装置１０１のみに適用されるものではなく、上述した第１実施形態が適用されるものに対しては、全て適用可能である。
【０４０５】
例えば、上述した第１実施形態の１変形例として、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化を行う画像情報符号化装置であって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化する量子化部を設ける画像情報符号化装置がある。
【０４０６】
この第１実施形態が適用される画像情報符号化装置は、第１の直交変換後のＡＣ成分の係数の量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用いて量子化し、第２の直交変換後のＤＣ成分の係数の量子化が行われる場合、パラメータＱＰに所定のパラメータＸを加算して得られたパラメータＱＱＰに基づいて重み付け量子化を行うことを特徴としている。
【０４０７】
このような第１実施形態が適用される画像情報符号化装置に対する、第２実施形態が適用される画像情報符号化装置（図示せず）は、以下の通りである。
【０４０８】
即ち、量子化部（図示せず。ただし、例えば、図１６の量子化部８１と同一の構成とされるもの）は、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、ＡＣ成分の係数の量子化を行う。また、量子化部は、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、パラメータＸとして、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、輝度信号に対するパラメータＱＱＰluma（ｉ，ｊ）を演算する輝度信号重み付け部（図示せず。ただし、例えば、図１６の輝度信号重み付け部９１と同一の構成とされるもの）と、パラメータＱＱＰとして、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、パラメータＸとして、配列Ｗ（ｉ，ｊ）を加算して、色差信号に対するパラメータＱＱＰchroma（ｉ，ｊ）を演算する色差信号重み付け部（図示せず。ただし、例えば、図１６の色差信号重み付け部９２と同一の構成とされるもの）とを設けている。量子化部は、輝度信号重み付け部により演算されたパラメータＱＱＰluma（ｉ，ｊ）と、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の量子化を行う。
【０４０９】
このとき、量子化部は、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、上述した２つの方法のいずれか一方により、ＤＣ成分の係数の量子化を行う。
【０４１０】
同様に、この画像情報符号化装置に対応する画像情報復号装置（図示せず）は、以下の通りである。
【０４１１】
即ち、逆量子化部（図示せず。ただし、例えば、図１７の逆量子化部１１１と同一の構成とされるもの）は、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、ＡＣ成分の係数の逆量子化を行う。また、逆量子化部は、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、パラメータＸとして、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、輝度信号に対するパラメータＱＱＰluma（ｉ，ｊ）を演算する輝度信号重み付け部（図示せず。ただし、例えば、図１７の輝度信号重み付け部１２１と同一の構成とされるもの）と、パラメータＱＱＰとして、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、パラメータＸとして、配列Ｗ（ｉ，ｊ）を加算して、色差信号に対するパラメータＱＱＰchroma（ｉ，ｊ）を演算する色差信号重み付け部（図示せず。ただし、例えば、図１７の色差信号重み付け部１２２と同一の構成とされるもの）とを設けている。逆量子化部は、輝度信号重み付け部により演算されたパラメータＱＱＰluma（ｉ，ｊ）と、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の逆量子化を行う。
【０４１２】
このとき、逆量子化部は、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、上述した２つの方法のいずれか一方により、ＤＣ成分の係数の逆量子化を行う。
【０４１３】
さらに、図１３に示される画像情報符号化伝送システム５１（第１実施形態の画像情報符号化伝送システム）に対する、第２実施形態の画像情報符号化伝送システムは、図１３の画像信号符号化装置５１を、例えば、図１６の画像情報符号化装置７１に代えることで、実現可能である。
【０４１４】
第１および第２実施形態において、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０４１５】
この場合、上述した各種の画像情報符号化装置または画像情報復号装置は、例えば、図１８に示されるようなパーソナルコンピュータにより構成される。
【０４１６】
図１８に示されるように、CPU（Central Processing Unit）１５１は、ROM（Read Only Memory）１５２に記録されているプログラム、または記憶部１５８からRAM（Random Access Memory）１５３にロードされたプログラムに従って各種の処理を実行する。RAM１５３にはまた、CPU１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４１７】
CPU１５１、ROM１５２、およびRAM１５３は、バス１５４を介して相互に接続されている。このバス１５４にはまた、入出力インタフェース１５５も接続されている。
【０４１８】
入出力インタフェース１５５には、キーボード、マウスなどよりなる入力部１５６、ディスプレイなどよりなる出力部１５７、ハードディスクなどより構成される記憶部１５８、モデム、ターミナルアダプタなどより構成される通信部１５９が接続されている。通信部１５９は、インターネットを含むネットワークを介して他の情報処理装置との通信処理を行う。
【０４１９】
入出力インタフェース１５５にはまた、必要に応じてドライブ１６０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどからなるリムーバブル記録媒体１６１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１５８にインストールされる。
【０４２０】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０４２１】
この記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）１６１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１５２や、記憶部１５８に含まれるハードディスクなどで構成される。
【０４２２】
なお、そのようなプログラムは、特に限定されないが、例えば、以下のようなプログラムとされる。
【０４２３】
即ち、上述した本発明の第１実施形態が適用される第１の画像情報符号化プログラムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を図１８のCPU１５１に実行させる画像情報符号化プログラムであって、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、前記パラメータＱＰの加算処理による重み付けを行って量子化する。
【０４２４】
第１の画像情報符号化プログラムでは、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、量子化が行われる場合、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０４２５】
また、この画像情報符号化プログラムでは、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列A（QP)の値の増減率に従って、配列Ａ（ＱＰ）を拡張した値を用いる。
【０４２６】
第１の画像情報符号化プログラムは、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０４２７】
さらに、パラメータＱＰの上限値、下限値を超える値に対しては、前記配列Ａ（ＱＰ）の値の増減率に従って配列A（QP）を拡張した値を用いることができる。
【０４２８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。さらに、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０４２９】
そのような第１実施形態が適用される第１の画像情報符号化プログラムに対応する、第２の画像情報符号化プログラムは、例えば、以下の通りとされる。
【０４３０】
即ち、パラメータＱＰは、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaとからなり、図１８のCPU１５１に、量子化を実行させる場合、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算させ、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算させ、演算されたパラメータＱＱＰluma（ｉ，ｊ）と、演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け量子化を実行させる。
【０４３１】
また、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４３２】
即ち、図１８のCPU１５１に、パラメータＱＱＰchroma（ｉ，ｊ）として、値ＱＱＰchroma_maxを利用して、重み付け量子化を実行させる。
【０４３３】
または、図１８のCPU１５１に、パラメータＱＰに対応する２つの配列Ａ（ＱＰ）およびＢ（ＱＰ）が、Ａ（ＱＰ）×Ｂ（ＱＰ）＝Const.（ただし、Const.は定数）の関係を満たし、かつ、Ｋを量子化前の直交変換係数、ｍを所定の整数、および、ｆを丸め処理のための定数として、量子化出力LEVEL を得るための量子化処理として、LEVEL ＝（Ｋ×A（QP)＋ｆ×２m）／２m を実行させ、それに対応する逆量子化処理が、Ｋ'を逆量子化後の直交変換係数として、Ｋ' ＝ LEVEL×B（QP）と行われる場合、公比ｒを、
【数１１８】
に従って演算させ、変数Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）、および、変数Ｂ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）のそれぞれを、round（）を丸めによる整数化処理として、
【数１１９】
に従って演算させ、量子化処理を
LEVEL ＝（Ｋ×Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）＋ｆ×２m）／２m と演算させる。
【０４３４】
これにより、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【０４３５】
また、本発明の第１実施形態が適用される第２の画像情報符号化プログラムは、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化をコンピュータに行わせる画像情報符号化プログラムであって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化する処理をコンピュータに行わせることを特徴とするものである。
【０４３６】
このような第２の画像情報符号化プログラムは、１回目の直交変換後のＤＣ成分の係数をまとめ、この係数に対して第２の直交変換を施し、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とを異なる重み付けを行って量子化する。
【０４３７】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することができる。
【０４３８】
そのような第１実施形態が適用される第２の画像情報符号化プログラムに対応する、第２の画像情報符号化プログラムは、例えば、以下の通りとされる。
【０４３９】
即ち、図１８のCPU１５１に、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、AC成分の係数の量子化を実行させ、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰluma（ｉ，ｊ）と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の量子化を実行させる。
【０４４０】
また、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４４１】
即ち、図１８のCPU１５１に、パラメータＱＱＰchroma（ｉ，ｊ）として、値ＱＱＰchroma_maxを利用して、ＤＣ成分の係数の量子化を実行させる。
【０４４２】
または、図１８のCPU１５１に、パラメータＱＰに対応する２つの配列Ａ（ＱＰ）およびＢ（ＱＰ）が、Ａ（ＱＰ）×Ｂ（ＱＰ）＝Const.（ただし、Const.は定数）の関係を満たし、かつ、Ｋを量子化前の直交変換係数、ｍを所定の整数、および、ｆを丸め処理のための定数として、量子化出力LEVEL を得るためのＡＣ成分の係数の量子化処理として、LEVEL ＝（Ｋ×A（QP）＋ｆ×２m）／２m を実行させ、それに対応する逆量子化処理が、Ｋ'を逆量子化後の直交変換係数として、Ｋ' ＝ LEVEL×B（QP）と行われる場合、公比ｒを、
【数１２０】
に従って演算させ、変数Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）、および、変数Ｂ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）のそれぞれを、round（）を丸めによる整数化処理として、
【数１２１】
に従って演算させ、ＤＣ成分の係数の量子化処理を
LEVEL ＝（Ｋ×Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）＋ｆ×２m）／２m と演算させる。
【０４４３】
これにより、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【０４４４】
また、本発明の第１実施形態が適用される第１の画像情報復号プログラムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する処理を図１８のCPU１５１に実行させる画像情報復号プログラムにおいて、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、量子化係数の成分毎に、前記パラメータＱＰの加算処理による重み付けを行って逆量子化する。
【０４４５】
第１の画像情報復号プログラムでは、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列Ｂ（ＱＰ）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０４４６】
第１の画像情報復号プログラムでは、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って、配列Ｂ（ＱＰ）を拡張した値を用いることができる。
【０４４７】
第１の画像情報復号プログラムでは、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０４４８】
さらに、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列Ｂ（ＱＰ）の値の増減率に従って配列B（QP）を拡張した値を用いることができる。
【０４４９】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数が視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化された画像圧縮情報を復号することが可能になる。
【０４５０】
そのような第１実施形態が適用される第１の画像情報復号プログラムに対応する、第２の画像情報復号プログラムは、例えば、以下の通りとされる。
【０４５１】
即ち、パラメータＱＰは、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaとからなり、図１８のCPU１５１に、逆量子化を実行させる場合、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算させ、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算させ、演算されたパラメータＱＱＰluma（ｉ，ｊ）と、演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け逆量子化を実行させる。
【０４５２】
なお、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４５３】
また、本発明の第１実施形態が適用される第２の画像情報復号プログラムは、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化されており、逆量子化が行われる場合は、量子化されたＡＣ成分の係数と第２の直交変換後に量子化されたＤＣ成分の係数とに対して量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する処理を図１８のCPU１５１に実行させる。
【０４５４】
第２の画像情報復号プログラムでは、１回目の直交変換後のＤＣ成分の係数がまとめられ、この係数に対して第２の直交変換が施され、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化された画像圧縮情報を逆量子化する場合、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する。
【０４５５】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減させた画像圧縮情報を復号することができる。
【０４５６】
そのような第１実施形態が適用される第２の画像情報復号プログラムに対応する、第２の画像情報復号プログラムは、例えば、以下の通りとされる。
【０４５７】
即ち、図１８のCPU１５１に、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、AC成分の係数の逆量子化を実行させ、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰluma（ｉ，ｊ）と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の逆量子化を実行させる。
【０４５８】
また、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４５９】
上述した本発明による手法は、任意の変換方式に適用可能である。即ち、演算精度や、整数変換の変換マトリクスに依存せず、同様に適用可能である。
【０４６０】
また、本発明は、変換ブロックのサイズに依存せず、任意のサイズの変換に対して同様に適用可能である。また、４×４，４×８、８×４、８×８，１６×１６の任意のブロックサイズで適応的に周波数変換を行う適応可変ブロックサイズ変換方式にも同様に適用可能である。
【０４６１】
このように、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０４６２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４６３】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【０４６４】
【発明の効果】
本発明においては、画像情報を符号化し、かつ、復号することができる。また、本発明においては、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防ぎ、また、低ビットレートでの効率的な圧縮を実現することができる。さらに、本発明においては、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【図面の簡単な説明】
【図１】本実施が適用される画像情報符号化装置の構成例を示すブロック図である。
【図２】本実施が適用される画像情報復号装置の構成例を示すブロック図である。
【図３】図１の画像情報符号化装置の重み付け部に格納されている、イントラマクロブロック用若しくは輝度信号用の重み行列のデフォルト値を説明する図である。
【図４】図１の画像情報符号化装置の重み付け部に格納されている、非イントラマクロブロック用若しくは色差信号用の重み行列のデフォルト値を説明する図である。
【図５】量子化または逆量子化のための媒介変数の値を−８まで拡張した場合の、量子化後の離散コサイン変換係数を表すために必要なビット数を説明する図である。
【図６】拡張された量子化幅に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図７】画像圧縮情報に含まれるquantizer_rangeと復号処理に用いられる媒介変数との対応関係を説明する図である。
【図８】各成分を４ビット精度で符号化する場合の、ＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図９】各成分をＵＶＬＣで符号化する場合の、ＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１０】ＤＣ成分に対する重み行列に関する情報をＧＯＰ単位で画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１１】各成分を４ビット精度で符号化する場合の、変更するときにのみ、重み行列に関する情報を画像圧縮情報中に埋め込む場合の構文の例を説明する図である。
【図１２】各成分をＵＶＬＣで符号化する場合の、変更するときにのみ、重み行列に関する情報を画像圧縮情報中に埋め込む場合の構文の例を説明する図である。
【図１３】本発明が適用される画像情報符号化伝送システムの構成を示すブロック図である。
【図１４】ＧＯＰ単位で画像圧縮情報中に埋め込む場合の、ＤＣ成分に対する重み付けパラメータに関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１５】ピクチャ単位で画像圧縮情報中に埋め込む場合の、ＤＣ成分に対する重み付けパラメータに関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１６】本実施が適用される画像情報符号化装置の他の構成例を示すブロック図である。
【図１７】本実施が適用される画像情報復号装置の他の構成例を示すブロック図である。
【図１８】本実施が適用される画像情報符号装置、または、画像情報復号装置の他の構成例を示すブロック図である。
【図１９】従来の画像情報符号化装置の構成を示すブロック図である。
【図２０】従来の画像情報復号装置の構成を示すブロック図である。
【図２１】ＭＰＥＧ２において定められた、intra_dc_precision、並びに、ビット精度、逆量子化係数、およびＤＣ予測リセット値との関係を説明する図である。
【図２２】ＭＰＥＧ２で定められているイントラマクロブロックに対する量子化行列のデフォルト値を説明する図である。
【図２３】ＭＰＥＧ２で定められているインターマクロブロックとに対する量子化行列のデフォルト値を説明する図である。
【図２４】 MPEG2 Test Model 5において定められている非イントラマクロブロックに対する量子化行列を説明する図である。
【図２５】ＭＰＥＧ２における、量子化スケール（quantiser_scale）、ピクチャ単位で設定される媒介変数q_scale_type、およびマクロブロックを単位として設定される量子化スケールコードquantiser_scale_codeの関係を説明する図である。
【符号の説明】
１０ 画像情報符号化部、 １１ A/D変換部、 １２ 画面並べ替えバッファ、 １３ 加算部、 １４ 直交変換部、 １５ 量子化部、 １６ 重み付け部、 １７ 可逆符号化部、 １８ 蓄積バッファ、 １９ 逆量子化部、 ２０ 重み付け部、 ２１ 逆直交変換部、 ２２ フレームメモリ、 ２３ 動き予測補償部、 ２４ レート制御部、 ３０ 画像情報復号装置、 ３１ 蓄積バッファ、 ３２ 可逆復号部、 ３３ 逆量子化部、 ３４ 重み付け部、 ３５ 逆直交変換部、 ３６ 加算部、 ３７ 画面並べ替えバッファ、 ３８ Ｄ／Ａ変換部、 ３９ 動き予測補償部、 ４０ フレームメモリ、 ５０ 画像情報符号化伝送システム、 ５１ 画像信号符号化装置、 ５２ 多重化パケット化装置、８１ 量子化部、 ８２ 逆量子化部、 ９１ 輝度信号重み付け部、 ９２ 色差信号重み付け部、 ９３ 輝度信号重み付け部、 ９４色差信号重み付け部、 １１１ 逆量子化部、 １２１ 輝度信号重み付け部、 １２２ 色差信号重み付け部
【発明の属する技術分野】
本発明は、ＭＰＥＧ（Moving Picture Experts Group）、Ｈ．２６ｘなどの様に、離散コサイン変換またはカルーネンレーベ変換等の直交変換と動き補償とによって圧縮された画像情報（ビットストリーム）を、衛星放送、ケーブルテレビジョン若しくはインターネット等のネットワークメディアを介して受信する場合に、または光ディスク、磁気ディスク若しくはフラッシュメモリ等の記憶メディア上で処理する場合に用いられる画像情報復号方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルとして取り扱う場合、効率の高い情報の伝送、蓄積を目的とし、画像情報特有の冗長性を利用して、離散コサイン変換等の直交変換と動き補償により圧縮するＭＰＥＧなどの方式に準拠した装置が、放送局などの情報配信、および一般家庭における情報受信の双方において普及しつつある。
【０００３】
特に、ＭＰＥＧ２（ISO/IEC 13818-2）は、汎用画像情報符号化方式として定義されており、飛び越し走査画像および順次走査画像の双方、並びに標準解像度画像及び高精細画像を網羅する標準で、プロフェッショナル用途およびコンシューマー用途の広範なアプリケーションに現在広く用いられている。ＭＰＥＧ２圧縮方式を用いることにより、例えば７２０×４８０画素を持つ標準解像度の飛び越し走査画像であれば４乃至８Ｍｂｐｓ、１９２０×１０８８画素を持つ高解像度の飛び越し走査画像であれば１８乃至２２Ｍｂｐｓの符号量（ビットレート）を割り当てることで、高い圧縮率と良好な画質の実現が可能である。
【０００４】
ＭＰＥＧ２は主として放送用に適合する高画質符号化を対象としていたが、ＭＰＥＧ１より低い符号量（ビットレート）、つまりより高い圧縮率の符号化方式には対応していなかった。しかし、携帯端末の普及により、今後そのような符号化方式のニーズは高まると思われ、これに対応してＭＰＥＧ４符号化方式の標準化が行われた。画像情報符号化方式に関しては、１９９８年１２月にISO/IEC 14496-2としてその規格が国際標準に承認された。
【０００５】
さらに、近年、テレビ会議用の画像情報符号化を当初の目的として、Ｈ.２６Ｌ （ITU-T Q6/16 VCEG）という標準の規格化が進んでいる。Ｈ．２６ＬはＭＰＥＧ２やＭＰＥＧ４といった従来の符号化方式に比べ、その符号化、復号により多くの演算量が要求されるものの、より高い符号化効率が実現されることが知られている。また、現在、ＭＰＥＧ４の活動の一環として、このＨ．２６Ｌをベースに、Ｈ．２６Ｌではサポートされない機能をも取り入れ、より高い符号化効率を実現する標準化がJoint Model of Enhanced-Compression Video Codingとして行われている。
【０００６】
図１９を参照して、離散コサイン変換またはカルーネンレーベ変換等の直交変換と動き補償とにより画像圧縮を実現する、従来の画像情報符号化装置について説明する。
【０００７】
図１９に示されるように、従来の画像情報符号化装置２０１は、A/D変換部（Analog-Digital変換部）２１１と、画面並べ替えバッファ２１２と、加算部２１３と、直交変換部２１４と、量子化部２１５と、可逆符号化部２１６と、蓄積バッファ２１７と、逆量子化部２１８と、逆直交変換部２１９と、フレームメモリ２２０と、動き予測補償部２２１と、レート制御部２２１とにより構成されている。
【０００８】
図１９において、A/D変換部２１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ２１２は、画像情報符号化装置２０１から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。画面並び替えバッファ２１２は、イントラ（画像内）符号化が行われる画像に関しては、フレーム全体の画像情報を直交変換部２１４に供給する。直交変換部２１４は、画像情報に対して離散コサイン変換またはカルーネンレーベ変換等の直交変換を施し、変換係数を量子化部２１５に供給する。量子化部２１５は、直交変換部２１４から供給された変換係数に対して量子化処理を施す。
【０００９】
可逆符号化部２１６は、量子化された変換係数に対して可変長符号化、算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ２１７に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
【００１０】
量子化部２１５の挙動は、レート制御部２２１によって制御される。また、量子化部２１５は、量子化後の変換係数を逆量子化部２１８に供給し、逆量子化部２１８は、その変換係数を逆量子化する。逆直交変換部２１９は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２２０に供給して蓄積させる。
【００１１】
画面並び替えバッファ２１２は、インター（画像間）符号化が行われる画像に関しては、画像情報を動き予測補償部２２１に供給する。動き予測補償部２２１は、同時に参照される画像情報をフレームメモリ２２０より取り出し、動き予測補償処理を施して参照画像情報を生成する。動き予測補償部２２１は、この参照画像情報を加算部２１３に供給し、加算部２１３は、参照画像情報を画像情報との差分信号に変換する。また、動き補償予測部２２１は、同時に動きベクトル情報を可逆符号化部２１６に供給する。
【００１２】
可逆符号化部２１６は、その動きベクトル情報に対して可変長符号化または算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【００１３】
次に、図２０を参照して、上述した画像情報符号化装置２０１に対応する画像情報復号装置の構成について説明する。
【００１４】
図２０に示されるように、画像情報復号装置２４１は、蓄積バッファ２５１と、可逆復号部２５２と、逆量子化部２５３と、逆直交変換部２５４と、加算部２５５と、画面並べ替えバッファ２５６と、D/A（Digital/Analog）変換部２５７と、動き予測補償部２５８と、フレームメモリ２５９とにより構成されている。
【００１５】
図２０において、蓄積バッファ２５１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部２５２に転送する。可逆復号部２５２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号または算術復号等の処理を施し、量子化された変換係数を逆量子化部２５３に供給する。また、可逆復号部２５２は、フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測補償部２５８に供給する。
【００１６】
逆量子化部２５３は、可逆復号部２５２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部２５４に供給する。逆直交変換部２５４は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換または逆カルーネンレーベ変換等の逆直交変換を施す。
【００１７】
フレームがイントラ符号化されたものである場合には、逆直交変換処理が施された画像情報は、画面並べ替えバッファ２５６に格納され、Ｄ／Ａ変換部２５７におけるＤ／Ａ変換処理の後に出力される。
【００１８】
これに対して、フレームがインター符号化されたものである場合には、動き予測補償部２５８は、可逆復号処理が施された動きベクトル情報とフレームメモリ２５９に格納された画像情報とに基づいて参照画像を生成し、加算部２５５に供給する。加算部２５５は、この参照画像と逆直交変換部２５４の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【００１９】
ところで、ＭＰＥＧ２ビデオ規格においては、量子化についての直接的な規定はされておらず、逆量子化についてのみ、その詳細な規定がなされている。したがって、実際に量子化を行う場合には、量子化の規定に含まれるいくつかの媒介変数を変化させ、その自由度の範囲内で量子化特性を変化させることにより、高画質化や視覚特性を反映した符号化を行うことになる。以下、ＭＰＥＧ２における逆量子化処理について説明する。
【００２０】
ＭＰＥＧ２ビデオ規格において、イントラマクロブロックのＤＣ係数の量子化では、ピクチャ単位にその量子化精度を指定することが可能であり、その他の係数の量子化では、ピクチャ単位で指定可能な量子化行列の各要素に、マクロブロックを単位として指定可能な量子化スケールを乗じた値により各係数の量子化精度を制御することができる。
【００２１】
イントラマクロブロックのＤＣ係数は、式（１）に従って逆量子化される。
【００２２】
【数４６】
式（１）において、Ｆ"[０][０]はＤＣ係数値の量子化代表値を示し、ＱＦ[０][０]はＤＣ係数値の量子化代表値レベル番号を示す。また、intra_dc_multは、ＤＣ係数量子化精度を指定するためにピクチャ単位で設定可能な媒介変数であるintra_dc_precisionに従い、図２１に示される関係で決まる値とされる。
【００２４】
即ち、ＭＰＥＧ１においては、intra_dc_precisionが０に対応する精度（８ビット精度相当）のみであったが、輝度レベルが緩やかに変化する画像を高画質で符号化するためには、この精度では不十分であった。そこで、ＭＰＥＧ２においては、図２１に示されるように、本媒介変数を用いて８乃至１１ビット精度相当のＤＣ係数量子化精度を指定することが可能となっている。但し、４：２：２フォーマットでの使用が可能であり画質への要求レベルが高いＨｉｇｈプロファイル以外では、最高１０ビット精度で十分とし、８乃至１０ビット精度に制限されている。
【００２５】
また、イントラマクロブロックのその他の係数は、式（２）に従って逆量子化される。
【００２６】
【数４７】
式（２）において、Ｆ"[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値を示し、ＱＦ[ｕ][ｖ]は第（ｕ，ｖ）係数値の量子化代表値レベル番号を示す。また、ｋの値は、式（３）により定義される値とされる。
【００２８】
【数４８】
また、上述した式（２）において、Ｗ[ｗ][ｕ][ｖ]およびquantiser_scaleのそれぞれは、量子化行列および量子化スケールのそれぞれを示し、これらの媒介変数によって量子化特性が制御される。
【００３０】
また、媒介変数ｋは、非イントラマクロブロックにおいて、その値がＱＦ[ｕ][ｖ]の符号に応じて１、０、−１となる。例えば、ＱＦ[ｕ][ｖ]の値が−２、−１、０、１、２である場合のＦ"[ｕ][ｖ]は、それぞれ−５ｍ、−３ｍ、０、３ｍ、５ｍ（ｍは定数）となり、零近傍にデッドゾーンが設けられている。
【００３１】
ところで、量子化行列は、ブロック内での離散コサイン変換係数値間での相対的な量子化精度を設定するために設けられた行列である。この量子化行列を用いることにより、例えば視覚的に劣化の目立ちにくい高域離散コサイン係数値を、視覚的に劣化の目立ちやすい低域離散コサイン係数と比較して粗く量子化するといった処理が可能となり、量子化特性を視覚特性に合致させることができる。なお、量子化行列は、ピクチャ単位で設定することが可能である。
【００３２】
ＭＰＥＧ１およびＭＰＥＧ２の４：２：０フォーマットの場合には、イントラマクロブロック用と非イントラマクロブロック用の２種類の量子化行列を設定することができ、４：２：２フォーマットおよび４：４：４フォーマットの場合には、さらに輝度信号と色差信号とで独立に合計４種類の量子化行列を設定することができる。なお、Ｗ[ｗ][ｕ][ｖ]におけるｗ（０，１，２，３）は、４種類の行列のうちの１つを意味する。
【００３３】
ＭＰＥＧ２において定められている、イントラマクロブロックの量子化行列のデフォルト値が、図２２に、非イントラマクロブロックの量子化行列のデフォルト値が、図２３に、それぞれ示されている。上述したように、量子化行列は、ユーザがピクチャ単位で設定可能であるが、設定されていない場合にはこのデフォルト値が用いられる。図２２と図２３に示されるように、デフォルト値ではイントラマクロブロックに対してのみ重みを有している。
【００３４】
なお、MPEG2 Test Model 5（ISO/IEC JTC/SC29/WG11/N0400）においては、非イントラマクロブロックに対して図２４に示されるような量子化行列が定義されている。図２４に示される量子化行列は、図２２に示されるデフォルト値とは異なり、重みを有した特性となっている。
【００３５】
量子化スケール（quantiser_scale）は、量子化特性のスケーリングを行うことにより発生符号量を制御するための媒介変数であり、ピクチャ単位で設定される媒介変数q_scale_typeと、マクロブロックを単位として設定される量子化スケールコードquantiser_scale_codeとにより設定される。図２５は、これらの関係を表している。
【００３６】
図２５において、q_scale_typeが０の場合には線形量子化となり、ＭＰＥＧ１と同様、quantiser_scale_code（１乃至３１）の２倍の値がquantiser_scale（２乃至６２）に設定される。
【００３７】
また、q_scale_typeが１の場合には非線形量子化となり、quantiser_scale_code（１乃至３１）は、小さい量子化スケールコードではより細かく、大きな量子化スケールコードではより粗くスケーリングすることにより、線形量子化の場合に比べ、広い範囲のquantiser_scale（１乃至１１２）に変換される。このモードは、ＭＰＥＧ２において新たに導入されたもので、特に高いレートで符号化する場合に、小さな量子化スケール領域でより細かな量子化スケール制御を行うことや、極めて複雑な画像を符号化する場合により粗い量子化スケールを用いることが可能となり、ＭＰＥＧ１と比較して、より安定した符号量制御を実現することができる。
【００３８】
MPEG２に対して、Ｈ．２６Ｌにおいては、４×４離散コサイン変換に基づく符号化が行われるが、実際には、以下の演算が行われる。すなわち、（ａ，ｂ，ｃ，ｄ）を量子化された画素値または差分値とし、（Ａ，Ｂ，Ｃ，Ｄ）を変換係数とすると、式（４）に示されるような離散コサイン変換に相当する処理が実行される。
【００３９】
【数４９】
また、変換後の係数が（ａ'，ｂ'，ｃ'，ｄ'）とされると、式（５）に示されるような逆離散コサイン変換に相当する処理が実行される。
【００４１】
【数５０】
したがって、ａ'とａとの間には、式（６）に示されるような関係がなり立つ。
【００４３】
【数５１】
式（６）に示されるａ'とａとの間の関係は、式（４）と式（５）に正規化のプロセスが入っていないことに起因する。なお、正規化は、逆量子化が行われた後の最後のシフト演算によって、実現される。正規化の詳細については、後述する。
【００４５】
ところで、Ｈ．２６Ｌでは、量子化／逆量子化を行うための媒介変数として、０乃至３１の値を取り得るＱＰが定義されており、ＱＰの値が１増す毎に量子化ステップサイズが１２％増加するよう設計されている。換言すれば、ＱＰの値が６増える毎に量子化ステップサイズは２倍になることになる。
【００４６】
画像圧縮情報中に埋め込まれているＱＰの値は、輝度信号に対するものであるため、以下ではＱＰlumaとも呼ぶことにする。色差信号に対するＱＰの値であるＱＰchromaは、ＱＰlumaとは異なり、以下のような対応関係を有する。
【００４７】
ＱＰluma ：
0，1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16，17，18，19，20，21，22，23，24，25，26，27，28，29，30，31
ＱＰchroma：
0，1，2，3，4，5，6，7，8，9，10，11，12，13，14，15，16，17，17，18，19，20，20，21，22，22，23，23，24，24，25，26
【００４８】
以下、ＱＰlumaを、特に断りのない限り、ＱＰと称する。
【００４９】
また、Ｈ．２６Ｌでは、量子化／逆量子化のために以下の２つの配列A（QP)、配列B（QP）が定義されている。
【００５０】
Ａ（ＱＰ＝０,..,３１）：
620，553，492，439，391，348，310，276，246，219，195，174，155，138，123，110，98，87，78，69，62，55，49，44，39，35，31，27，24，22，19，17Ｂ（ＱＰ＝０,..,３１）：
3881，4351，4890，5481，6154，6914，7761，8718，10987，12339，13828，15523，17435，19561，21873，24552，27656，30847，34870，38807，43747，49103，54683，61694，68745，77615，89113，100253，109366，126635，141533
【００５１】
配列A（QP)と配列B（QP）との間には、式（７）に示されるような関係がなり立つ。
【００５２】
【数５２】
式（７）に示される配列A（QP)を用いて、係数Ｋは、式（８）に示されるように量子化される。
【００５４】
【数５３】
式（８）において、|ｆ|は（０−０．５）の範囲にある値であり、ｆの符号はＫに一致する。
【００５６】
また、逆量子化は、式（９）に示されるように行われる。
【００５７】
【数５４】
式（９）の演算が実行された後、係数Ｋ'は、丸め処理を伴う２０ビットシフトが施される。直交変換および量子化の一連の処理は、３２ビット演算を行う場合、オーバーフローが起こらないよう設計されている。
【００５９】
なお、上述した量子化／逆量子化の規定は暫定的なものであり、最終的には１６ビット演算でオーバーフローが起こらないよう規格化される可能性が高い。
【００６０】
【発明が解決しようとする課題】
ところで、上述したＨ．２６Ｌで規定されている量子化／逆量子化においては、ＭＰＥＧ２で規定されているような、量子化行列を用いた直交変換係数の重み付けに関する機能が含まれていないため、視覚特性に基づいた効率的な量子化を行うことができないという課題があった。
【００６１】
また、上述したＨ．２６Ｌ量子化における処理を、ＭＰＥＧ２量子化に換算すると、2.5019，2.8050，3.1527，3.5334，3.9671，4.4573，5.0037，5.6201，6.3055のようになるが、上述したようにＭＰＥＧ２における非線形量子化のダイナミックレンジは１乃至１１２であり、Ｈ．２６Ｌ量子化によって、ＭＰＥＧ２量子化でカバーされる全ての範囲をカバーすることができない。
【００６２】
このため、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生し、また、低ビットレートでの高効率な圧縮が出来ないという課題があった。
【００６３】
本発明は、このような状況に鑑みてなされたものであり、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防ぎ、また、低ビットレートでの効率的な圧縮を実現することができるようにするものである。
【０１０５】
【課題を解決するための手段】
本発明の画像情報復号方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法であって、逆量子化において、画像圧縮情報に埋め込まれている輝度信号の量子化パラメータＱＰlumaの値を読み出し、重みパラメータ値を加算して、加算処理後の量子化パラメータＱＰ'lumaを計算し、加算処理後のパラメータＱＰ'lumaと所定の対応関係を有する色差信号の量子化パラメータＱＰchromaを演算し、演算された量子化パラメータＱＰchromaの値から量子化ステップサイズを算出し、算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化することを特徴とする。
画像情報符号化方法では、逆量子化において、演算された色差信号の量子化パラメータＱＰchromaに対して、更に重みパラメータ値を加算して、加算処理後の色差信号の量子化パラメータＱＰ'chromaの値から量子化ステップサイズを算出し、算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化するようにすることができる。
【０１０６】
画像情報復号方法では、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化するようにすることができる。
【０１４４】
上述したように、画像情報復号方法においては、入力画像信号がブロック化され、そのブロックを単位として直交変換が施されて量子化された画像圧縮情報が、逆量子化され、逆直交変換が施されて復号される。具体的には、逆量子化において、画像圧縮情報に埋め込まれている輝度信号の量子化パラメータＱＰlumaの値が読み出され、重みパラメータ値を加算して、加算処理後の量子化パラメータＱＰ'lumaが計算され、加算処理後のパラメータＱＰ'lumaと所定の対応関係を有する色差信号の量子化パラメータＱＰchromaが演算され、演算された量子化パラメータＱＰchromaの値から量子化ステップサイズが算出され、算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化される。
【０１７１】
【発明の実施の形態】
以下、本発明を適用した具体的な実施の形態について、図面を参照しながら詳細に説明する。
【０１７２】
（第１実施形態）
第１実施形態は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報を生成する画像情報符号化装置、およびその画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置に適用したものである。
【０１７３】
この画像情報符号化装置および画像情報復号装置では、後述するように、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付け処理を行う。これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することを可能とし、また、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することが可能になる。
【０１７４】
はじめに、図１を参照して、本発明の第１実施形態が適用される画像情報符号化装置を説明する。
【０１７５】
図１に示されるように、本発明の第１実施形態が適用される画像情報符号化装置１０は、A/D変換部１１、画面並べ替えバッファ１２、加算部１３、直交変換部１４、量子化部１５、重み付け部１６、可逆符号化部１７、蓄積バッファ１８、逆量子化部１９、重み付け部２０、逆直交変換部２１、フレームメモリ２２、動き予測補償部２３、および、レート制御部２４とにより構成されている。
【０１７６】
画像情報符号化装置１０の動作を説明する。
【０１７７】
図１において、A/D変換部１１は、入力された画像信号をデジタル信号に変換する。そして、画面並べ替えバッファ１２は、画像情報符号化装置１０から出力される画像圧縮情報のＧＯＰ（Group of Pictures）構造に応じて、フレームの並べ替えを行う。
【０１７８】
イントラ（画像内）符号化が行われる画像に関しては、画面並び替えバッファ１２は、フレーム全体の画像情報を直交変換部１４に供給する。直交変換部１４は、画像情報に対して離散コサイン変換またはカルーネンレーベ変換等の直交変換を施し、変換係数を量子化部１５に供給する。
【０１７９】
量子化部１５は、直交変換部１４から供給された変換係数に対して量子化処理を施す。このとき、量子化部１５の構成要素である重み付け部１６は、後述するように、変換係数の成分毎に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付けを行う。
【０１８０】
可逆符号化部１７は、量子化された変換係数に対して可変長符号化または算術符号化等の可逆符号化を施し、符号化された変換係数を蓄積バッファ１８に供給して蓄積させる。この符号化された変換係数は、画像圧縮情報として出力される。
【０１８１】
量子化部１５の挙動は、レート制御部２４によって制御される。また、量子化部１５は、量子化後の変換係数を逆量子化部１９に供給し、逆量子化部１９は、その変換係数を逆量子化する。このとき、逆量子化部１９の構成要素である重み付け部２０は、後述するように、量子化された変換係数の成分毎に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付けを行う。
【０１８２】
逆直交変換部２１は、逆量子化された変換係数に対して逆直交変換処理を施して復号画像情報を生成し、その情報をフレームメモリ２２に供給して蓄積させる。
【０１８３】
これに対して、インター（画像間）符号化が行われる画像に関しては、画面並び替えバッファ１２は、画像情報を、動き予測補償部２３に供給する。動き予測補償部２３は、同時に、参照される画像情報をフレームメモリ２２より取り出し、動き予測補償処理を施して参照画像情報を生成する。
【０１８４】
動き予測補償部２３は、この参照画像情報を加算部１３に供給し、加算部１
３は、参照画像情報を画像情報との差分信号に変換する。また、動き補償予測部２３は、同時に動きベクトル情報を可逆符号化部１７に供給する。
【０１８５】
可逆符号化部１７は、その動きベクトル情報に対して可変長符号化若しくは算術符号化等の可逆符号化処理を施し、画像圧縮情報のヘッダ部に挿入される情報を形成する。なお、その他の処理については、イントラ符号化を施される画像圧縮情報と同様であるため、説明を省略する。
【０１８６】
次に、図２を参照して、本発明の第１実施形態が適用される画像情報復号装置について説明する。
【０１８７】
図２に示されるように、本発明の第１実施形態が適用される画像情報復号装置３０は、蓄積バッファ３１、可逆復号部３２、逆量子化部３３、重み付け部３４、逆直交変換部３５、加算部３６、画面並べ替えバッファ３７、D/A変換部３８、動き予測/補償部３９、および、フレームメモリ４０により構成されている。
【０１８８】
画像情報復号装置３０の動作を説明する。
【０１８９】
図２において、蓄積バッファ３１は、入力された画像圧縮情報を一時的に格納した後、可逆復号部３２に転送する。可逆復号部３２は、定められた画像圧縮情報のフォーマットに基づき、画像圧縮情報に対して可変長復号または算術復号等の処理を施し、量子化された変換係数を逆量子化部３３に供給する。また、可逆復号部３２は、フレームがインター符号化されたものである場合には、画像圧縮情報のヘッダ部に格納された動きベクトル情報についても復号し、その情報を動き予測補償部３９に供給する。
【０１９０】
逆量子化部３３は、可逆復号部３２から供給された量子化後の変換係数を逆量子化し、変換係数を逆直交変換部３５に供給する。このとき、逆量子化部３３の構成要素である重み付け部３４は、後述するように、量子化された変換係数の成分毎に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付けを行う。逆直交変換部３５は、定められた画像圧縮情報のフォーマットに基づき、変換係数に対して逆離散コサイン変換若しくは逆カルーネンレーベ変換等の逆直交変換を施す。
【０１９１】
フレームがイントラ符号化されたものである場合、逆直交変換部３５は、逆直交変換処理後の画像情報を画面並べ替えバッファ３７に供給する。画面並び替えバッファ３７は、この画像情報を一時的に格納した後、Ｄ/Ａ変換部３８に供給する。Ｄ／Ａ変換部３８は、この画像情報に対してＤ/Ａ変換処理を施して出力する。
【０１９２】
これに対して、フレームがインター符号化されたものである場合、動き予測補償部３９は、可逆復号処理が施された動きベクトル情報とフレームメモリ４０に格納された画像情報とに基づいて参照画像を生成する。加算部３６は、この参照画像と逆直交変換部３５の出力とを合成する。なお、その他の処理については、イントラ符号化されたフレームと同様であるため、説明を省略する。
【０１９３】
次に、画像情報符号化装置１０（図１）の重み付け部１６、および、重み付け部２０、並びに、画像情報復号装置３０（図２）の重み付け部３４の詳細について説明する。
【０１９４】
上述したように、量子化部１５（図１）、逆量子化部１９（図１）、および、逆量子化部３３（図２）のそれぞれは、それらに内蔵する重み付け部１６、重み付け部２０、または、重み付け部３４に、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付け処理を行わせて、量子化または逆量子化の処理を行っている。
【０１９５】
このような重み付け処理により、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０１９６】
この重み付け処理の詳細について説明する。なお、重み付け部１６、重み付け部２０、および重み付け部３４のそれぞれの動作原理は、いずれも同様であるため、以下、重み付け部１６の動作についてのみ説明する。
【０１９７】
重み付け部１６においては、イントラマクロブロックに対して、デフォルトで、図３に示されるような、配列Wintra（ｉ，ｊ）（i,j=0,1,2,3）に関する情報が含まれている。
【０１９８】
同様に、インターマクロブロックに対して、デフォルトで、図４に示されるような、配列Winter（ｉ，ｊ）（i,j=0,1,2,3）に関する情報が含まれている。
【０１９９】
また、輝度信号に対して、デフォルトで、図３に示されるような、配列Wluma（ｉ，ｊ）（i,j=0,1,2,3）に関する情報を、色差信号に対して、デフォルトで、図４に示されるような、配列Wchroma（ｉ，ｊ）（i,j=0,1,2,3）に関する情報を、それぞれ含むようにすることもできる。
【０２００】
以下、配列Wintra（ｉ，ｊ）および配列Winter（ｉ，ｊ）、または、配列Wluma（ｉ，ｊ）および配列Wchroma（ｉ，ｊ）に関する処理が同等であるため、特に断りのない限り、これらを、単にＷ（ｉ，ｊ）と記述する。
【０２０１】
なお、配列Wintra（ｉ，ｊ）および配列Winter（ｉ，ｊ）、または、配列Wluma（ｉ，ｊ）および配列Wchroma（ｉ，ｊ）は、図３または図４に示されたデフォルト値に限定されるものではなく、ユーザがピクチャ単位で設定することが可能である。この場合、Ｗ（ｉ，ｊ）の値そのものを、画像圧縮情報に埋め込むことも可能であるが、その差分値を生成する、または可変長符号化、算術符号化等の可逆符号化方式を用いてその情報量を削減した上で、画像圧縮情報に埋め込んでもよい。
【０２０２】
重み付け部１６においては、画像圧縮情報中に格納される、マクロブロックごとの量子化のための媒介変数ＱＰを元に、４×４離散コサイン変換係数のそれぞれの成分に対して、式（１０）に示されるような変数ＱＱＰ（ｉ，ｊ）が定義される。
【０２０３】
【数８７】
なお、この例においては、量子化／逆量子化処理に関しては、例えば、上述したＨ．２６Ｌにおける 配列A（QP)および配列B（QP）に代え、各成分毎に、Ａ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を用いて、Ｈ．２６Ｌと同様の処理を行う。
【０２０５】
また、ＱＰのダイナミックレンジは０乃至３１であるが、上述した式（１０）においては、ＱＱＰ（ｉ，ｊ）の値が３１を超える可能性がある。そこで、この場合は、以下に述べる２通りの処理の何れかを行う。
【０２０６】
即ち、第１の方法は、ＱＱＰ（ｉ，ｊ）の値が３１を超えた場合、ＱＱＰ（ｉ，ｊ）＝３１とする方法である。また、第２の方法は、ＱＱＰ（ｉ，ｊ）の値が３１を超えることを許容し、このときのＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を、式（１１）と式（１２）に示されるように定義する方法である。
【０２０７】
【数８８】
式（１１）、（１２）において、round()は、丸め処理による整数化を表す。
【０２０９】
このようにして求められたＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）は、前述した式（７）と同様に、式（１３）に示す関係を満たす。
【０２１０】
【数８９】
このように、ＱＱＰ（ｉ，ｊ）＞３１となるようなＱＱＰ（ｉ，ｊ）に対するＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を用いて量子化／逆量子化を行うことにより、低ビットレートでの高効率な圧縮を実現することが可能となる。
【０２１２】
なお、輝度信号に関しては、第２の方法によりダイナミックレンジの拡大を行い、色差信号に関しては、第１の方法で述べた通りクリッピングを行ってもよい。
【０２１３】
さらにまた、ＱＱＰ（ｉ，ｊ）＜０となるようなＱＱＰ（ｉ，ｊ）に対して、式（１４）と式（１５）のように定義されるＡ（ＱＱＰ(i,j)）およびＢ（Ｑ
ＱＰ(i,j)）を用い、Ｈ．２６Ｌと同様の量子化／逆量子化処理を行う。
【０２１４】
【数９０】
このように定義されるＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）を用いることにより、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するといった画質劣化を防ぐことが可能となる。
【０２１６】
ところで、Ｈ．２６Ｌ画像情報符号化において、このような擬似輪郭が発生するのは、４×４離散コサイン変換係数のうち、第（０，０）成分に加え、第（０，１）成分、第（１，０）成分が十分な精度を持たないことに起因する。
【０２１７】
そこで、本実施の形態では、Ｗ（ｉ，ｊ）として、式（１６）に示されるような重み行列を用いることで、この問題を回避することが可能である。
【０２１８】
【数９１】
なお、式（１４）と式（１５）に基づくＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）のダイナミックレンジの拡大をイントラマクロブロックに対してのみ、若しくは輝度信号成分に対してのみ行うことも可能である。
【０２２０】
また、式（１４）と式（１５）に従ってダイナミックレンジの拡大を行うことにより、Ａ（）およびＢ（）のインデックスであるＱＱＰ（ｉ，ｊ）が負の値を持ちうることになるが、これは画像圧縮情報のシンタクス上、好ましくないと言える。
【０２２１】
そこで、ＱＱＰ（ｉ，ｊ）の取り得る最小の値をＱＱＰmin（＜０）として、式（１７）に示されるようにして得られるＱＱＰ'（ｉ，ｊ）を量子化／逆量子化のための新たなインデックスとして用いることにより、この問題を解決することができる。
【０２２２】
【数９２】
例えば、式（１１）および式（１２）、並びに、式（１４）および式（１５）に基づく拡張を行った結果、ＱＱＰ（ｉ，ｊ）が−３から３４までの値を取り得るようになったとする。このとき、式（１７）により、ＱＱＰ'（ｉ，ｊ）は０から３７までの値を取り得ることになる。
【０２２４】
なお、Ｈ．２６Ｌのうち、よりシンプルなプロファイルにおいてはこのうち３から３４までの値を用い、例えば、１０ビットの画像を取り扱うようなより複雑なプロファイルにおいては０から３７の全ての値を取り得るといったことも可能である。
【０２２５】
以下、式（１１）および式（１２）、並びに、式（１４）および式（１５）に基づく、ダイナミックレンジの拡張されたＡ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）の一例を説明する。
【０２２６】
上述したような、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するといった画質劣化を回避するためには、ＭＰＥＧ２非線形量子化に換算して量子化スケールが１となる程度の精度が要求されると考えられる。
【０２２７】
そこで、はじめに、式（１４）と式（１５）に基づいて、Ａ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）のダイナミックレンジを、以下のようにマイナス方向に拡大する場合について説明する。
【０２２８】
Ａ（ＱＱＰ＝−８乃至０）：
1535，1370，1224，1093，976，871，777，694，620
Ｂ（ＱＱＰ＝−８乃至０）
1567，1756，1966，2201，2465，2762，3097，3467，3881
【０２２９】
このように拡張された（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対する組み合わせをＭＰＥＧ２における量子化幅に換算すると、
1.0105，1.1322，1.2673，1.4192，1.589，1.7801，1.9963，1.235，2.5019
のようになる。
【０２３０】
これにより量子化スケールが１となる程度の精度を得ることができ、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するといった画質劣化を回避することができる。
【０２３１】
上述した組み合わせの演算精度の評価指標として、式（１８）を用いてＲ（ＱＱＰ(i,j)）を定義する。
【０２３２】
【数９３】
このＲ（ＱＱＰ(i,j)）の値が１．０に近いほど、演算誤差が小さいことになる。上述した（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対しては、
Ｒ（−８,..,０）：
0.9997，0.9999，1.0001，0.9998，0.9999，1.0012，1.0000，1.0001
となり、十分な精度を持っていることが分かる。
【０２３４】
次に、式（１１）と式（１２）に基づいて、Ａ（ＱＱＰ(i,j)）およびＢ（ＱＱＰ(i,j)）のダイナミックレンジを、以下のようにプラス方向に拡大する場合について説明する。
【０２３５】
Ａ（ＱＱＰ＝３１,..,３５）：
17，15，13，12，11
Ｂ（ＱＱＰ＝３１,..,３５）：
141533，160404，185082，200505，218733
【０２３６】
このように拡張された（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対する組み合わせをＭＰＥＧ２における量子化幅に換算すると、
91.2440，103.4099，119.3191，129.2623，141.0135
となり、低ビットレートでの高効率な圧縮を実現することができる。
【０２３７】
なお、上述した（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））に対するＲ（ＱＱＰ(i,j)）を求めると、
Ｒ（３１,..,３５）：
1.0000，1.0000，1.0000，1.0000，1.0000
となり、十分な精度を持っていることが分かる。
【０２３８】
次に、上述の手法により、（Ａ（ＱＱＰ(i,j)），Ｂ（ＱＱＰ(i,j)））のダイナミックレンジを拡大した場合のビット長について説明する。
【０２３９】
例えば、ＱＱＰ（ｉ，ｊ）＝０の場合、入力となる画素値若しくはその差分値が９ビットの精度を持つと仮定すると、量子化された直交変換係数LEVELの最大値は、４０８（＝２５５×５２2×６２０／２20）となり、１０ビットが必要になる。
【０２４０】
図５は、ＱＱＰが−１から−８までの値を取った場合の直交変換係数LEVELを表すのに必要なビット数を表している。
【０２４１】
また、図６は、上述したような、拡張された量子化幅に関する情報を、画像圧縮情報中に埋め込むための構文の例を表している。
【０２４２】
図６に示されるquantizer_rangeは、図７に示されるように、上述した式（１１）および（１２）、並びに、式（１４）および（１５）により拡張されたＱＱＰ（ｉ，ｊ）のうちの、どの範囲の値が画像圧縮情報で用いられているかを示すフラグを表している。その値が０を取るときには、現状のＨ．２６Ｌで定義されている量子化／逆量子化と同等の処理を行う。
【０２４３】
本発明による画像情報符号化装置並びに復号装置においては、デフォルトで使用される重み行列が、輝度信号に対しては、式（１９）に示されるように、色差信号の双方に対しては、式（２０）に示されるように、それぞれ定義されている。
【０２４４】
【数９４】
なお、実際に画像情報符号化装置並びに復号装置で量子化／逆量子化に用いられる重み行列は必ずしもこの通りではなく、ピクチャ単位でユーザが設定することが可能である。
【０２４６】
また、図６に示される、load_intra_quantiser_matrix、load_non_intra_quantiser_matrix、load_ｃｈｒｏｍａ_intra_quantiser_matrix、およびload_ｃｈｒｏｍａ_non_intra_quantiser_matrixのそれぞれは、ピクチャで、輝度信号および色差信号に対するイントラマクロブロックおよびインターマクロブロックにおいて、デフォルトで定められた以外の重み行列が用いられるか否かを示す１ビットのフラグを表しており、その値が１を取るとき、ピクチャにおいてはデフォルト以外の重み行列が用いられる。
【０２４７】
例えばload_intra_quantiser_matrixの値が１であった場合、後続のintra_quantiser_matrix[16]において、それぞれの成分が４ビットで表された４×４の重み行列に関する情報が埋め込まれる。
【０２４８】
なお、本実施例のように、それぞれの成分が必ずしも４ビットである必要はなく、８ビット若しくは１２ビット等で表されてもよい。
【０２４９】
また、差分を取る、または可変長符号化若しくは算術符号化等の可逆符号化を施すことにより、intra_quantiser_matrix[16]に関する情報を圧縮してもよい。
【０２５０】
さらに、上述した実施例では、入力としてそれぞれの画素値が８ビットで表される画像情報を対象にしているが、例えばそれぞれの画素値が１０ビットで表される画像情報に対しても拡張可能である。
【０２５１】
以上、説明したように、第１実施形態における画像情報符号化装置１０（図１）および画像情報復号装置３０（図２）によれば、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータの重み付け処理を行って量子化処理および逆量子化処理を行うことができるので、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０２５２】
さらに、重み付けによってパラメータが所定の定義域を超えた場合であっても、ダイナミックレンジを拡張することができ、これにより、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止し、また、低ビットレートでの高効率な圧縮をすることが可能になる。
【０２５３】
以下、上述した第１実施形態の変形例について説明する。
【０２５４】
（変形例１）
上述した実施の形態では、２つの配列A（QP)、配列B（QP）がテーブルで与えられるものとして説明したが、以下のように数式を用いて求めるようにすることもできる。
【０２５５】
例えば、式（２１）と式（２２）に示されるように、配列A（QP)と配列B（QP）の配列のそれぞれを数式で表すことが可能である。
【０２５６】
【数９５】
これらの数式表現において（式（２１）と式（２２）において）、配列A（QP)の具体例として、上述したように、ＱＰの値が１増す毎に１２％減少するように設計されている場合には、ＱＰの値が６増す毎に配列A（QP)の値が約１／２倍になる。このとき、例えば式（２１）のようにＡmantiss 配列 A(QP)を最初の６個のＱＰに対して定義すれば、式（２３）のように６個周期で配列A（QP)を拡張定義することが可能である。
【０２５８】
【数９６】
これにより、係数ｆ（i,j）の量子化出力レベルLEVEL(i,j)は、式（２４）のように定義することができる。
【０２６０】
【数９７】
式（２５）乃至式（３０）は、式（２４）におけるfdct_shift等の具体例を示している。
【０２６２】
【数９８】
また、同様に、配列B（QP）の具体例として、上述したように、ＱＰの値が１増す毎に１２％増加するように設計されている場合には、ＱＰの値が６増す毎に配列B（QP）の値が約２倍になるため、例えば式（２２）のようにＢmantiss 配列 A(QP)を最初の６個のＱＰに対して定義すれば、式（３１）のように６個周期で配列B（QP）を拡張定義することが可能である。
【０２６４】
【数９９】
これにより、量子化出力レベルLEVEL(i,j)に対する逆量子化出力f(i,j)は、式（３２）に示されるようになる。
【０２６６】
【数１００】
式（３３）と式（３４）は、Bexp0およびintBman[6]の具体例を示している。
【０２６８】
【数１０１】
なお、配列A（QP)、配列B（QP）の配列を数式で表す場合においても、ＱＱＰ（i,j）＝ＱＰ＋Ｗ（i,j）とし、前記式におけるＱＰをＱＱＰで置き換えることにより、上述した実施の形態と同様の効果を奏することができる。
【０２７０】
（変形例２）
Ｈ．２６Ｌ（JVT Codec）では、イントラ符号化されるマクロブロックの輝度信号１６個のＤＣ成分に対して、４×４サイズの直交変換および量子化が施される。また、イントラ符号化されるマクロブロックの色差信号の４個のＤＣ成分に対しては、２×２サイズの直交変換および量子化が施される。直交変換としては、上述したような整数精度の離散コサイン変換以外に、アダマール変換等を用いることができる。
【０２７１】
そこで、以下、輝度信号および色差信号のＤＣ成分の量子化が行われる場合、それぞれＡＣ成分とは別の重み行列Ｗ（ｉ，ｊ）を使用する例について説明する。
【０２７２】
例えば、直交変換としてアダマール変換を用いる場合、４×４サイズのアダマール変換は、式（３５）で表される。
【０２７３】
【数１０２】
アダマール変換後の係数の量子化に用いられるＷ（ｉ，ｊ）も上述したＷ（ｉ，ｊ）の定義と同様である。Ｗ（ｉ，ｊ）としては、例えば、式（３６）に示されるものを用いることができる。
【０２７５】
【数１０３】
このＷ（ｉ，ｊ）により、式（３７）に示されるようなＱＱＰ（ｉ，ｊ）が求められ、このＱＱＰ（ｉ，ｊ）応じた量子化ステップサイズで各周波数成分が量子化される。
【０２７７】
【数１０４】
一方、２×２サイズのアダマール変換は、式（３８）で表される。
【０２７９】
【数１０５】
この場合のアダマール変換後の係数の量子化に用いられるＷ（ｉ，ｊ）は、上述したＷ（ｉ，ｊ）の定義と同様のものを２×２サイズに変更したものである。各周波数成分の量子化スケールは全体の量子化スケールＱＰにこの行列成分を加えたものである。色差信号のＤＣ成分のＷ（ｉ，ｊ）としては、例えば、式（３９）に示すものを用いることができる。
【０２８１】
【数１０６】
このＷ（ｉ，ｊ）により、式（４０）に示されるようなＱＱＰ（ｉ，ｊ）が求められ、このＱＱＰ（ｉ，ｊ）応じた量子化ステップサイズで各周波数成分が量子化される。
【０２８３】
【数１０７】
このように、ＤＣ成分に対してＡＣ成分とは異なる重み行列Ｗ（ｉ，ｊ）を用いることにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することが可能になる。
【０２８５】
このようなＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例が、図８と図９に示されている。
【０２８６】
図８に示されるように、ＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むために、図６に示される構文に加えて、load_ｌｕｍａ_dc_matrix、load_ｃｈｒｏｍａ_dc_matrixといった１ビットのフラグが追加されている。これらのフラグは、そのピクチャ、ＧＯＰ、シーケンスで新たにＷ（ｉ，ｊ）を変更するか否かを示すフラグである。この値が０の場合、それ以前のＷ（ｉ，ｊ）と同様の重み行列またはデフォルトの重み行列を使用する。また、この値が１の場合、４×４サイズのＷ（ｉ，ｊ）の各成分と２×２サイズのＷ（ｉ，ｊ）の各成分とが伝送される。
【０２８７】
なお、各成分のそれぞれは、必ずしも４ビット精度で符号化されなくてもよく、例えば、図９に示されるように、Ｈ．２６Ｌで使用されているＵＶＬＣ（Universal Variable Length Coding）が用いられて符号化されるようにしてもよい。またＤＰＣＭ等により、各成分について前の成分との差分値を符号化するようにしても構わない。
【０２８８】
また、ＧＯＰ単位で重み行列Ｗ（ｉ，ｊ）に関する情報を伝送することもできる。この場合の構文が、図１０に示されている。
【０２８９】
さらに、図１１に示されるように、load_xxx_matrix のような１ビットのフラグを用いず、変更する場合にのみＷ（ｉ，ｊ）を伝送するようにすることも可能である。この場合にも、図１２に示されるように、各成分をＵＶＬＣを用いて符号化するようにしてもよい。
【０２９０】
次に、図１３を参照して、本発明の第１実施形態が適用される画像情報符号化伝送システムについて説明する。
【０２９１】
Ｈ．２６Ｌ（JVT codec）では、画像信号を符号化する画像信号符号化装置（Video Coding Layer:VCL）とネットワークや各種ファイルフォーマットに対応させる多重化パケット化装置（Network Adaptation Layer:NAL）とが分離され、画像情報符号化伝送システムとして構成される。この画像情報符号化伝送システムの構成が、図１３に示されている。
【０２９２】
図１３に示されるように、画像情報符号化伝送システム５０において、画像信号符号化装置５１では、上述した実施の形態に従った画像信号の符号化が行われるが、この時点での画像圧縮情報は、各シンタクス要素毎に分離されている。
【０２９３】
画像信号符号化装置５１は、各画像圧縮情報（シンタクスエレメント）６２、その境界情報６３、および、各シンタクスエレメントを復号するためのフラグ類（ＭＰＥＧ２等におけるシーケンスヘッダ、ＧＯＰヘッダ、スタートコードなど）からなるヘッダ情報６１を、多重化パケット化装置５２に供給する。
【０２９４】
多重化パケット化装置５２は、例えば、ＲＴＰ（Real-time Transfer Protocol）に従って画像圧縮情報６２を伝送する場合（IPネットワーク５４を利用して伝送する場合）には、各シンタクスエレメント６２を所定の方法でＲＴＰパケット６５にマッピングし、また復号に必要なヘッダもマッピングする。
【０２９５】
なお、ヘッダについては別パケット（図１３の例では、ヘッダパケット６６）で伝送するようにしても構わない。即ち、ヘッダ情報は重要な情報であるため、復号に必要なヘッダをよりエラー耐性の強い別チャンネルで伝送することも可能である。
【０２９６】
この場合、上述した重み行列Ｗ（ｉ，ｊ）を伝送するには、上述した復号に必要なヘッダ情報６１と共に、多重化パケット化装置５２にて所定の方法でＲＴＰパケット６５にマッピングする。この場合、例えば図１４と図１５に示されるような構文が使用可能である。
【０２９７】
また、多重化パケット化装置５２は、MPEGシステム５３を利用して、画像圧縮情報６２を伝送することもできる。即ち、多重化パケット装置５２は、画像圧縮情報の各シンタクスエレメント６２と、復号のために必要なヘッダ情報６１とをＭＰＥＧシステムストリーム６４に多重化して、伝送することもできる。この場合、多重化パケット化装置５２は、各アクセスユニットの先頭にスタートコードを付加する。また、所定のアクセスユニットの先頭にシーケンスヘッダ、ＧＯＰヘッダ、ユーザデータ等を付加する。
【０２９８】
この場合において上述した重み行列Ｗ（ｉ，ｊ）を伝送するには、ヘッダ情報等と共に、各アクセスユニットの先頭に付加する。
【０２９９】
なお、このアクセスユニットは、ＭＰＥＧでは各ピクチャであるが、Ｈ．２６Ｌでは、各スライスである。即ち、Ｈ．２６Ｌでは、各スライスの先頭に当スライスにおける重み行列Ｗ（ｉ，ｊ）が付加される。
【０３００】
これらの情報が画像圧縮情報に付加された後、多重化パケット化装置５２は、ＭＰＥＧシステムストリーム６４に各アクセスユニットのデータをパケット化して伝送する。
【０３０１】
なお、上述した手法は、ＭＰＥＧ以外の伝送方式、例えばＲＴＰ等においても同様に適用可能である。
【０３０２】
（変形例３）
上述した変形例２では、入力画像信号に対して１回目の直交変換および量子化を施し、さらにイントラ符号化されるマクロブロックの輝度信号１６個のＤＣ成分およびイントラ符号化されるマクロブロックの色差信号の４個のＤＣ成分に対しては、それぞれ４×４サイズ、２×２サイズの２回目の直交変換および量子化を施し、量子化が行われる場合は、重み行列Ｗ（ｉ，ｊ）によって各周波数成分毎に重み付けを変えるものとして説明した。
【０３０３】
しかし、これに限定されるものではなく、以下のように、１回目および２回目の直交変換後の量子化が行われる場合、各周波数成分間で一様な重み付けを行うようにしても構わない。
【０３０４】
即ち、１回目の直交変換後には、画像圧縮情報中に伝送される量子化スケールＱＰを用いて、例えば、上述した式（８）に示したように量子化する。
【０３０５】
一方、２回目の直交変換後では、式（４１）に従って計算されるＱＱＰを用いて、例えば、上述した式（８）のＱＰをＱＱＰに置き換えて量子化する。
【０３０６】
【数１０８】
式（４１）におけるパラメータＸは、所定の整数値であるため、各周波数成分に対して一様な重み付けが行われる。このＱＰの重み付けは、上述した画像情報符号化装置１０（図２）の重み付け部１６で行われる。
【０３０８】
また、逆量子化は、それぞれ同様に、例えば、上述した式（９）に従って、ＱＰまたはＱＱＰを用いて画像情報復号装置（図３）の重み付け部３４で行われる。
【０３０９】
なお、符号化側で前記パラメータＸを画像圧縮情報中に伝送し、復号側では、パラメータＸを画像圧縮情報から読み出して復号し、２回目の逆量子化に用いるようにしてもよい。
【０３１０】
この場合、例えば、ＧＯＰ単位またはピクチャ単位でこの第２回目の量子化に対するパラメータＸを伝送する場合の構文は、図１４と図１５に示されるような構文とされる。なお、図１４と図１５においては、パラメータＸは、DC_quant_weightとして示されている。
【０３１１】
なお、図１４と図１５では、４ビットの固定長のフラグが定義されているが、任意のビット精度に対して適用可能である。また、このフラグをＵＶＬＣで符号化し、伝送するようにしても構わない。
【０３１２】
また、パラメータＸは、図１３に示される画像信号符号化装置５１が生成する画像圧縮情報とは別に多重化パケット化装置５２にて多重化して伝送するようにしても構わない。
【０３１３】
以上、詳細に説明したように、本発明の第１実施形態が適用される画像情報符号化方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行う画像情報符号化方法において、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、前記パラメータＱＰの加算処理による重み付けを行って量子化することを特徴とするものである。
【０３１４】
この画像情報符号化方法では、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、量子化が行われる場合、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３１５】
また、この画像情報符号化方法では、前記パラメータＱＰの上限値、または、下限値を超える値に対しては、配列A（QP)の値の増減率に従って配列A（QP)を拡張した値を用いる。
【０３１６】
このような画像情報符号化方法では、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３１７】
さらに、パラメータＱＰの上限値、下限値を超える値に対しては、前記配列A（QP)の値の増減率に従って配列A（QP)を拡張した値を用いることができる。
【０３１８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０３１９】
さらに、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０３２０】
また、本発明の第１実施形態が適用される画像情報符号化方法は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化を行う画像情報符号化方法であって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化することを特徴とするものである。
【０３２１】
このような画像情報符号化方法では、１回目の直交変換後のＤＣ成分の係数をまとめ、この係数に対して第２の直交変換を施し、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とを異なる重み付けを行って量子化する。
【０３２２】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することが可能になる。
【０３２３】
また、本発明の第１実施形態が適用される画像情報符号化装置は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行う画像情報符号化装置において、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って量子化する量子化手段を備えることを特徴とするものである。
【０３２４】
この画像情報符号化装置は、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、量子化が行われる場合、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３２５】
また、この画像情報符号化装置は、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列A（QP)の値の増減率に従って、配列A（QP)を拡張した値を用いる。
【０３２６】
このような画像情報符号化装置は、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０３２７】
さらに、パラメータＱＰの上限値、下限値を超える値に対しては、配列A（QP)の値の増減率に従って配列A（QP)を拡張した値を用いることができる。
【０３２８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０３２９】
さらに、例えばなだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０３３０】
また、本発明の第１実施形態が適用される画像情報符号化装置は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化を行う画像情報符号化装置であって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化する量子化手段を備えることを特徴とするものである。
【０３３１】
このような画像情報符号化装置は、１回目の直交変換後のＤＣ成分の係数をまとめ、この係数に対して第２の直交変換を施し、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とを異なる重み付けを行って量子化する。
【０３３２】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することが可能になる。
【０３３３】
また、本発明の第１実施形態が適用される画像情報復号方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法において、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、量子化係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って逆量子化することを特徴とするものである。
【０３３４】
この画像情報復号方法では、前記量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３３５】
また、この画像情報復号方法では、パラメータＱＰの上限値、下限値を超える値に対しては、配列B（QP）の値の増減率に従って配列B（QP）を拡張した値を用いる。
【０３３６】
このような画像情報復号方法では、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３３７】
さらに、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って、配列B（QP）を拡張した値を用いることができる。
【０３３８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数が視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化された画像圧縮情報を復号することが可能になる。
【０３３９】
また、本発明の第１実施形態が適用される画像情報復号方法は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化されており、逆量子化が行われる場合は、量子化されたＡＣ成分の係数と第２の直交変換後に量子化されたＤＣ成分の係数とに対して、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化することを特徴とするものである。
【０３４０】
このような画像情報復号方法では、１回目の直交変換後のＤＣ成分の係数がまとめられ、この係数に対して第２の直交変換が施され、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化された画像圧縮情報を逆量子化する場合、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する。
【０３４１】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減させた画像圧縮情報を復号することが可能になる。
【０３４２】
また、本発明の第１実施形態が適用される画像情報復号装置は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号装置において、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、量子化係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って逆量子化する逆量子化手段を備えることを特徴とするものである。
【０３４３】
この画像情報復号装置は、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３４４】
また、この画像情報復号装置は、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って、配列B（QP）を拡張した値を用いることができる。
【０３４５】
このような画像情報復号装置は、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０３４６】
さらに、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って配列B（QP）を拡張した値を用いることができる。
【０３４７】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数が視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化された画像圧縮情報を復号することが可能になる。
【０３４８】
また、本発明の第１実施形態が適用される画像情報復号装置は、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化されており、逆量子化が行われる場合、量子化されたＡＣ成分の係数と第２の直交変換後に量子化されたＤＣ成分の係数とに対して量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する逆量子化手段を備えることを特徴とするものである。
【０３４９】
このような画像情報復号装置は、１回目の直交変換後のＤＣ成分の係数がまとめられ、この係数に対して第２の直交変換が施され、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化された画像圧縮情報を逆量子化する場合、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する。
【０３５０】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減させた画像圧縮情報を復号することが可能になる。
【０３５１】
また、本発明の第１実施形態が適用される画像情報符号化復号方法は、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、得られた画像圧縮情報を復号する場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するための整数値を取り得るパラメータＱＰ（０≦ＱＰ≦ｎ−１；ｎは整数）に対して、２つの配列A（QP)および配列B（QP）が、配列A（QP)×B（QP）＝Const.（ただし、Const.は定数）を満たし、Ｋを量子化前の直交変換係数、Ｋ'を逆量子化後の直交変換係数、ｆを丸め処理のための定数、ｍを所定の整数としたときに、量子化出力LEVEL を得るための量子化処理をLEVEL ＝（Ｋ×A（QP)＋ｆ×２m）／２mと行い、逆量子化処理をＫ' ＝ LEVEL×B（QP）と行い、直交変換における正規化を量子化および逆量子化と同時に行う画像情報符号化復号方法であって、直交変換係数の各成分に対して、予め用意された配列Ｗ（ｉ，ｊ）を用いて、ＱＱＰ（ｉ，ｊ）＝ＱＰ＋Ｗ（ｉ，ｊ）のように算出される、各成分に対するパラメータによって与えられる２つの変数Ａ（ＱＱＰ（ｉ，ｊ））およびＢ（ＱＱＰ（ｉ，ｊ））によってそれぞれ重み付け量子化処理、重み付け逆量子化処理を行うことを特徴とするものである。
【０３５２】
このような画像情報符号化復号方法では、配列A（QP)および配列B（QP）に基づいて量子化および逆量子化する場合、直交変換係数の各成分に対して、予め用意された配列Ｗ（ｉ，ｊ）を用いて、ＱＱＰ（ｉ，ｊ）＝ＱＰ＋Ｗ（ｉ，ｊ）のように算出される、各成分に対するパラメータによって与えられる２つの変数Ａ（ＱＱＰ（ｉ，ｊ））およびＢ（ＱＱＰ（ｉ，ｊ））によって、重み付け量子化処理、および、重み付け逆量子化処理のそれぞれを行う。
【０３５３】
さらに、ＱＱＰ（ｉ，ｊ）の値が所定の定義域を超えた場合には、配列A（QP)および配列B（QP）のダイナミックレンジを拡張して得られる配列Ａ（ＱＱＰ）および配列Ｂ（ＱＱＰ）を用いることができる。
【０３５４】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。
【０３５５】
さらに、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０３５６】
また、本発明の第１実施形態が適用される画像情報符号化伝送システムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報と共にヘッダ情報を生成する画像信号符号化装置と、画像信号符号化装置から画像圧縮情報およびヘッダ情報が供給され、画像圧縮情報およびヘッダ情報を所定の方法により多重化し、パケット化して伝送する多重化パケット化装置とを備え、画像信号符号化装置は、直交変換されて得られた直交変換係数を量子化する場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って量子化を行い、多重化パケット化装置は、量子化における重み付けの情報を、ヘッダ情報と共に多重化してパケット化することを特徴とするものである。
【０３５７】
また、本発明の第１実施形態が適用される画像情報符号化伝送システムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報と共にヘッダ情報を生成する画像信号符号化装置と、画像信号符号化装置から画像圧縮情報およびヘッダ情報が供給され、画像圧縮情報およびヘッダ情報を所定の方法により多重化し、パケット化して伝送する多重化パケット化装置とを備え、多重化パケット化装置は、画像圧縮情報の各アクセスユニットの先頭に、少なくともヘッダ情報を付加することを特徴とするものである。
【０３５８】
また、本発明の第１実施形態が適用される画像情報符号化伝送システムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を行い、画像圧縮情報と共にヘッダ情報を生成する画像信号符号化装置と、画像信号符号化装置から画像圧縮情報およびヘッダ情報が供給され、画像圧縮情報およびヘッダ情報を所定の方法により多重化し、パケット化して伝送するパケット化装置とを備え、画像信号符号化装置は、直交変換されて得られた直交変換係数を量子化する場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、パラメータＱＰの加算処理による重み付けを行って量子化を行い、多重化パケット化装置は、量子化の際の重み付けの情報をヘッダ情報と共に多重化して、画像圧縮情報とは別にパケット化し、それぞれ異なるチャンネルで伝送することを特徴とするものである。
【０３５９】
（第２実施形態）
第１実施形態においては、量子化パラメータＱとして、輝度信号に対する量子化パラメータＱＰlumaを利用して、量子化または逆量子化を行う例について説明した。
【０３６０】
しかしながら、上述したように、量子化パラメータＱＰlumaの値を１つ増加させても、色差信号に対する量子化パラメータＱＰchromaの値が必ずしも１つ増加するわけではない。このため、第１実施形態が適用される画像情報符号化装置（例えば、図１の画像情報符号化装置１０）、および、画像情報復号装置（例えば、図２の画像情報復号装置３０）は、上述した式（１０）に基づいて、単純に輝度信号成分に重みをかけるだけでは、色差信号成分に重みをかけることができないことがあるという課題を有している。
【０３６１】
そこで、第２実施形態においては、第１実施形態を基にして、さらに、そのような課題を解決することが可能な画像情報符号化装置、および、画像情報復号装置の例について説明する。即ち、Ｈ．２６Ｌのように、量子化パラメータＱＰlumaと量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことを可能とする画像情報符号化装置、および、画像情報復号装置の例について説明する。
【０３６２】
図１６は、本発明の第２実施形態が適用される画像情報符号化装置７１の構成例を表しており、図１の画像情報符号化装置１０に対応する部分には、対応する符号が付してある。
【０３６３】
この構成例においては、図１の量子化部１５の代わりに量子化部８１が、図１の逆量子化部１９の代わりに逆量子化部８２が、それぞれ設けられている。
【０３６４】
その他の構成は、図１の画像情報符号化装置１０の構成と同一とされている。
【０３６５】
図１の量子化部１５が、１つの重み付け部１６を有しているのに対して、量子化部８１は、２つの重み付け部、即ち、輝度信号に対する重み付け処理を行う輝度信号重み付け部９１、および、色差信号に対する重み付け処理を行う色差信号重み付け部９２を有している。
【０３６６】
同様に、図１の逆量子化部１９が、１つの重み付け部２０を有していたのに対して、逆量子化部８２は、２つの重み付け部、輝度信号重み付け部９３、および、色差信号重み付け部９４を有している。
【０３６７】
図１７は、本発明の第２実施形態が適用される画像情報復号装置１０１の構成例を表しており、図２の画像情報復号装置３０に対応する部分には、対応する符号が付してある。
【０３６８】
この構成例においては、図２の逆量子化部３３の代わりに逆量子化部１１１が設けられている。
【０３６９】
その他の構成は、図２の画像情報復号装置３０の構成と同一とされている。
【０３７０】
図２の逆量子化部３３が、１つの重み付け部３４を有しているのに対して、逆量子化部１１１は、２つの重み付け部、即ち、輝度信号重み付け部１２１、および、色差信号重み付け部１２２を有している。
【０３７１】
画像情報符号化装置７１（図１６）の動作は、量子化部８１の色差信号重み付け部９２、および、逆量子化部８２の色差信号重み付け部９４の動作を除いて、画像情報符号化装置１０（図１）の動作と基本的に同様である。
【０３７２】
画像情報復号装置１０１（図１７）の動作は、逆量子化部１１１の色差信号重み付け部１２２の動作を除いて、画像情報復号装置３０（図２）の動作と基本的に同様である。
【０３７３】
なお、量子化部８１の輝度信号重み付け部９１（図１６）、逆量子化部８２の輝度信号重み付け部９３（図１６）、および、逆量子化部１１１の輝度信号重み付け部１２１（図１７）のそれぞれの動作は、量子化部１５の重み付け部１６（図１）、逆量子化部１９の重み付け部２０（図１）、および、逆量子化部３３の重み付け部３４（図２）のそれぞれの動作と基本的に同様である。
【０３７４】
即ち、量子化部８１の輝度信号重み付け部９１（図１６）、逆量子化部８２の輝度信号重み付け部９３（図１６）、および、逆量子化部１１１の輝度信号重み付け部１２１（図１７）のそれぞれは、上述した式（１０）に従って、輝度信号に対する重み付け処理を実行する。
【０３７５】
ただし、後述する式（４６）（色差信号に対する重み付けに対応する式）と区別するために、ここでは、上述した式（１０）を、式（４２）に示されるように記述するものとする。
【０３７６】
【数１０９】
また、量子化部８１の色差信号重み付け部９２（図１６）、逆量子化部８２の色差信号重み付け部９４（図１６）、逆量子化部１１１の色差信号重み付け部１２２（図１７）のそれぞれの動作は、基本的に同様である。
【０３７８】
従って、以下、量子化部８１の色差信号重み付け部９２の動作についてのみ説明する。
【０３７９】
図１６において、例えば、いま、量子化部８１に入力されたマクロブロックに対する量子化パラメータＱＰが、ＱＰ＝１７とされ、また、そのマクロブロックに対する重み行列として、図３に示されたものが用いられているとする。
【０３８０】
この場合、上述した式（１０）を演算すると、式（４３）に示されるように、変数ＱＱＰ（０，２）の値は、１８となる。
【０３８１】
【数１１０】
上述したように、この変数ＱＱＰ（０，２）は、輝度信号に対するパラメータＱＰlumaに基づいて算出されたものであるので、輝度信号に対する変数ＱＱＰluma（０，２）の値は、式（４４）に示されるように１８となるが、色差信号に対する変数ＱＱＰchroma（０，２）の値は、式（４５）に示されるように、１８とはならずに１７となる（詳細は、上述した変数ＱＱＰlumaと変数ＱＱＰchromaの関係を参照）。
【０３８３】
【数１１１】
従って、式（１０）を利用する重み付け処理では、色差信号成分に対して、重み付けによる効果を得ることができない。
【０３８５】
そこで、色差信号重み付け部９２は、上述した式（１０）（式（４２））に代え、式（４６）を利用して、色差信号成分に対する重み付け処理を実行する。
【０３８６】
【数１１２】
具体的には、この例においては、色差信号重み付け部９２は、式（４７）に示されるように、変数ＱＱＰchroma（０，２）を演算する。
【０３８８】
【数１１３】
このように、量子化部８１は、輝度信号重み付け部９１を利用して、輝度信号成分に対して重み付け効果を得るとともに、色差信号重み付け部９２を利用して、色差信号成分に対しても重み付け効果を得ることが可能になる。
【０３９０】
なお、上述したように、Ｈ．２６Ｌの規格においては、現状、変数ＱＱＰchroma（ｉ，ｊ）の上限値は、２６と定められている。しかしながら、上述した式（４６）を利用して、変数ＱＱＰchroma（ｉ，ｊ）が演算された場合、その演算値は、上限値（２６）を超える可能性がある。
【０３９１】
この場合における色差信号重み付け部９２の処理の方法は、特に限定されないが、この例においては、例えば、以下の２通りの方法のいずれか一方とされる。
【０３９２】
即ち、第１の方法は、色差信号重み付け部９２が、上述した式（４６）により変数ＱＱＰchroma（ｉ，ｊ）を演算し、その演算結果が上限値（２６）を超える場合、変数ＱＱＰchroma（ｉ，ｊ）として、その演算値（２６を超える値）を利用せずに、上限値（２６）を利用する方法である。即ち、色差信号重み付け部９２は、演算した変数ＱＱＰchroma（ｉ，ｊ）の値が、２６を超える場合、式（４８）に示されるように、変数ＱＱＰchroma（ｉ，ｊ）を再演算する。
【０３９３】
【数１１４】
第２の方法は、上限値（２６）を越える、演算した変数ＱＱＰchroma（ｉ，ｊ）の値に対して、上述した配列Ａ（ＱＱＰchroma（ｉ，ｊ））、および、配列Ｂ（ＱＱＰchroma（ｉ，ｊ））を、式（４９）と式（５０）に示されるように拡張する方法である。ただし、式（４９）と式（５０）において、ｒｏｕｎｄ（）は丸めによる整数化処理を表している。
【０３９５】
【数１１５】
このように、画像符号化装置７１の量子化部８１（図１６）は、量子化パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaのそれぞれを利用し、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算する（上述した式（１０）（式４２）を演算する）輝度信号重み付け部９１と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算する（上述した式（４６）を演算する）色差信号重み付け部９２とを設け、輝度信号重み付け部９１により演算されたパラメータＱＱＰluma（ｉ，ｊ）と、色差信号重み付け部９２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け量子化を行う。
【０３９７】
このとき、量子化部８１は、色差信号重み付け部９２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、以下の２つの方法のいずれか一方により、重み付け量子化を行う。
【０３９８】
即ち、量子化部８１は、パラメータＱＱＰchroma（ｉ，ｊ）として、その上限値ＱＱＰchroma_maxを利用して、重み付け量子化を行う。
【０３９９】
または、上述したように、パラメータＱＰに対応する２つの配列Ａ（ＱＰ）およびＢ（ＱＰ）が、式（５１）に示される関係を満たし、
Ａ（ＱＰ）×Ｂ（ＱＰ）＝Const.（ただし、Const.は定数） ・・・（５１）
かつ、量子化部８１が、Ｋを量子化前の直交変換係数、ｆを丸め処理のための定数、および、ｍを所定の整数として、量子化出力LEVEL を得るための量子化処理を、式（５２）に従って行い、
LEVEL ＝（Ｋ×A（QP)＋ｆ×２m）／２m ・・・（５２）
それに対応する逆量子化処理が、Ｋ'を逆量子化後の直交変換係数として、式（５３）に示されるように行われる場合、
Ｋ' ＝ LEVEL×B（QP） ・・・（５３）
量子化部８１は、公比ｒを、式（５４）に示されるように演算し、
【数１１６】
【数１１７】
【０４００】
LEVEL ＝（Ｋ×Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）＋ｆ×２m）／２m ・・・（５７）
【０４０１】
逆量子化部８２（図１６）、および、逆量子化部１１１（図１７）のそれぞれも、量子化部８１（図１６）と同様に、量子化パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaのそれぞれを利用し、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算する（上述した式（１０）（式４２）を演算する）輝度信号重み付け部９３若しくは輝度信号重み付け部１２１と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算する（上述した式（４６）を演算する）色差信号重み付け部９４若しくは色差信号重み付け部１２２とを設け、輝度信号重み付け部９３若しくは輝度信号重み付け部１２１により演算されたパラメータＱＱＰluma（ｉ，ｊ）、並びに、色差信号重み付け部９４若しくは色差信号重み付け部１２２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け逆量子化を行う。
【０４０２】
このとき、逆量子化部８２、および、逆量子化部１１１のそれぞれは、色差信号重み付け部９４若しくは色差信号重み付け部１２２により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、上述した２つの方法のいずれか一方により、重み付け逆量子化を行う。
【０４０３】
これにより、画像情報符号化装置７１、および、画像情報復号装置１０１においては、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【０４０４】
なお、第２実施形態は、画像情報符号化装置７１、および、画像情報復号装置１０１のみに適用されるものではなく、上述した第１実施形態が適用されるものに対しては、全て適用可能である。
【０４０５】
例えば、上述した第１実施形態の１変形例として、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化を行う画像情報符号化装置であって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化する量子化部を設ける画像情報符号化装置がある。
【０４０６】
この第１実施形態が適用される画像情報符号化装置は、第１の直交変換後のＡＣ成分の係数の量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用いて量子化し、第２の直交変換後のＤＣ成分の係数の量子化が行われる場合、パラメータＱＰに所定のパラメータＸを加算して得られたパラメータＱＱＰに基づいて重み付け量子化を行うことを特徴としている。
【０４０７】
このような第１実施形態が適用される画像情報符号化装置に対する、第２実施形態が適用される画像情報符号化装置（図示せず）は、以下の通りである。
【０４０８】
即ち、量子化部（図示せず。ただし、例えば、図１６の量子化部８１と同一の構成とされるもの）は、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、ＡＣ成分の係数の量子化を行う。また、量子化部は、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、パラメータＸとして、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、輝度信号に対するパラメータＱＱＰluma（ｉ，ｊ）を演算する輝度信号重み付け部（図示せず。ただし、例えば、図１６の輝度信号重み付け部９１と同一の構成とされるもの）と、パラメータＱＱＰとして、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、パラメータＸとして、配列Ｗ（ｉ，ｊ）を加算して、色差信号に対するパラメータＱＱＰchroma（ｉ，ｊ）を演算する色差信号重み付け部（図示せず。ただし、例えば、図１６の色差信号重み付け部９２と同一の構成とされるもの）とを設けている。量子化部は、輝度信号重み付け部により演算されたパラメータＱＱＰluma（ｉ，ｊ）と、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の量子化を行う。
【０４０９】
このとき、量子化部は、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、上述した２つの方法のいずれか一方により、ＤＣ成分の係数の量子化を行う。
【０４１０】
同様に、この画像情報符号化装置に対応する画像情報復号装置（図示せず）は、以下の通りである。
【０４１１】
即ち、逆量子化部（図示せず。ただし、例えば、図１７の逆量子化部１１１と同一の構成とされるもの）は、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、ＡＣ成分の係数の逆量子化を行う。また、逆量子化部は、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、パラメータＸとして、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、輝度信号に対するパラメータＱＱＰluma（ｉ，ｊ）を演算する輝度信号重み付け部（図示せず。ただし、例えば、図１７の輝度信号重み付け部１２１と同一の構成とされるもの）と、パラメータＱＱＰとして、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、パラメータＸとして、配列Ｗ（ｉ，ｊ）を加算して、色差信号に対するパラメータＱＱＰchroma（ｉ，ｊ）を演算する色差信号重み付け部（図示せず。ただし、例えば、図１７の色差信号重み付け部１２２と同一の構成とされるもの）とを設けている。逆量子化部は、輝度信号重み付け部により演算されたパラメータＱＱＰluma（ｉ，ｊ）と、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の逆量子化を行う。
【０４１２】
このとき、逆量子化部は、色差信号重み付け部により演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の上限値ＱＱＰchroma_max（この例では、２６）を超える場合、上述した２つの方法のいずれか一方により、ＤＣ成分の係数の逆量子化を行う。
【０４１３】
さらに、図１３に示される画像情報符号化伝送システム５１（第１実施形態の画像情報符号化伝送システム）に対する、第２実施形態の画像情報符号化伝送システムは、図１３の画像信号符号化装置５１を、例えば、図１６の画像情報符号化装置７１に代えることで、実現可能である。
【０４１４】
第１および第２実施形態において、上述した一連の処理は、ハードウエアにより実行させることもできるが、ソフトウエアにより実行させることができる。
【０４１５】
この場合、上述した各種の画像情報符号化装置または画像情報復号装置は、例えば、図１８に示されるようなパーソナルコンピュータにより構成される。
【０４１６】
図１８に示されるように、CPU（Central Processing Unit）１５１は、ROM（Read Only Memory）１５２に記録されているプログラム、または記憶部１５８からRAM（Random Access Memory）１５３にロードされたプログラムに従って各種の処理を実行する。RAM１５３にはまた、CPU１５１が各種の処理を実行する上において必要なデータなども適宜記憶される。
【０４１７】
CPU１５１、ROM１５２、およびRAM１５３は、バス１５４を介して相互に接続されている。このバス１５４にはまた、入出力インタフェース１５５も接続されている。
【０４１８】
入出力インタフェース１５５には、キーボード、マウスなどよりなる入力部１５６、ディスプレイなどよりなる出力部１５７、ハードディスクなどより構成される記憶部１５８、モデム、ターミナルアダプタなどより構成される通信部１５９が接続されている。通信部１５９は、インターネットを含むネットワークを介して他の情報処理装置との通信処理を行う。
【０４１９】
入出力インタフェース１５５にはまた、必要に応じてドライブ１６０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどからなるリムーバブル記録媒体１６１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部１５８にインストールされる。
【０４２０】
一連の処理をソフトウエアにより実行させる場合には、そのソフトウエアを構成するプログラムが、専用のハードウエアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、ネットワークや記録媒体からインストールされる。
【０４２１】
この記録媒体は、図１８に示されるように、装置本体とは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されている磁気ディスク（フロッピディスクを含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（ＭＤ（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブル記録媒体（パッケージメディア）１６１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM１５２や、記憶部１５８に含まれるハードディスクなどで構成される。
【０４２２】
なお、そのようなプログラムは、特に限定されないが、例えば、以下のようなプログラムとされる。
【０４２３】
即ち、上述した本発明の第１実施形態が適用される第１の画像情報符号化プログラムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化を図１８のCPU１５１に実行させる画像情報符号化プログラムであって、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、直交変換係数の成分毎に、前記パラメータＱＰの加算処理による重み付けを行って量子化する。
【０４２４】
第１の画像情報符号化プログラムでは、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、量子化が行われる場合、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０４２５】
また、この画像情報符号化プログラムでは、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列A（QP)の値の増減率に従って、配列Ａ（ＱＰ）を拡張した値を用いる。
【０４２６】
第１の画像情報符号化プログラムは、量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にα％増減する配列A（QP)を用い、配列A（QP)の値に直交変換係数Ｋを乗算した値を量子化する。
【０４２７】
さらに、パラメータＱＰの上限値、下限値を超える値に対しては、前記配列Ａ（ＱＰ）の値の増減率に従って配列A（QP）を拡張した値を用いることができる。
【０４２８】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数を、視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化することが可能になる。さらに、例えば、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防止することができ、また、低ビットレートでの高効率な圧縮が可能になる。
【０４２９】
そのような第１実施形態が適用される第１の画像情報符号化プログラムに対応する、第２の画像情報符号化プログラムは、例えば、以下の通りとされる。
【０４３０】
即ち、パラメータＱＰは、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaとからなり、図１８のCPU１５１に、量子化を実行させる場合、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算させ、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算させ、演算されたパラメータＱＱＰluma（ｉ，ｊ）と、演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け量子化を実行させる。
【０４３１】
また、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４３２】
即ち、図１８のCPU１５１に、パラメータＱＱＰchroma（ｉ，ｊ）として、値ＱＱＰchroma_maxを利用して、重み付け量子化を実行させる。
【０４３３】
または、図１８のCPU１５１に、パラメータＱＰに対応する２つの配列Ａ（ＱＰ）およびＢ（ＱＰ）が、Ａ（ＱＰ）×Ｂ（ＱＰ）＝Const.（ただし、Const.は定数）の関係を満たし、かつ、Ｋを量子化前の直交変換係数、ｍを所定の整数、および、ｆを丸め処理のための定数として、量子化出力LEVEL を得るための量子化処理として、LEVEL ＝（Ｋ×A（QP)＋ｆ×２m）／２m を実行させ、それに対応する逆量子化処理が、Ｋ'を逆量子化後の直交変換係数として、Ｋ' ＝ LEVEL×B（QP）と行われる場合、公比ｒを、
【数１１８】
【数１１９】
LEVEL ＝（Ｋ×Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）＋ｆ×２m）／２m と演算させる。
【０４３４】
これにより、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【０４３５】
また、本発明の第１実施形態が適用される第２の画像情報符号化プログラムは、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数との量子化をコンピュータに行わせる画像情報符号化プログラムであって、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化する処理をコンピュータに行わせることを特徴とするものである。
【０４３６】
このような第２の画像情報符号化プログラムは、１回目の直交変換後のＤＣ成分の係数をまとめ、この係数に対して第２の直交変換を施し、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とを異なる重み付けを行って量子化する。
【０４３７】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減することができ、符号化効率を向上することができる。
【０４３８】
そのような第１実施形態が適用される第２の画像情報符号化プログラムに対応する、第２の画像情報符号化プログラムは、例えば、以下の通りとされる。
【０４３９】
即ち、図１８のCPU１５１に、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、AC成分の係数の量子化を実行させ、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰluma（ｉ，ｊ）と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の量子化を実行させる。
【０４４０】
また、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４４１】
即ち、図１８のCPU１５１に、パラメータＱＱＰchroma（ｉ，ｊ）として、値ＱＱＰchroma_maxを利用して、ＤＣ成分の係数の量子化を実行させる。
【０４４２】
または、図１８のCPU１５１に、パラメータＱＰに対応する２つの配列Ａ（ＱＰ）およびＢ（ＱＰ）が、Ａ（ＱＰ）×Ｂ（ＱＰ）＝Const.（ただし、Const.は定数）の関係を満たし、かつ、Ｋを量子化前の直交変換係数、ｍを所定の整数、および、ｆを丸め処理のための定数として、量子化出力LEVEL を得るためのＡＣ成分の係数の量子化処理として、LEVEL ＝（Ｋ×A（QP）＋ｆ×２m）／２m を実行させ、それに対応する逆量子化処理が、Ｋ'を逆量子化後の直交変換係数として、Ｋ' ＝ LEVEL×B（QP）と行われる場合、公比ｒを、
【数１２０】
【数１２１】
LEVEL ＝（Ｋ×Ａ（ＱＱＰchroma（ｉ，ｊ）>ＱＱＰchroma_max）＋ｆ×２m）／２m と演算させる。
【０４４３】
これにより、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【０４４４】
また、本発明の第１実施形態が適用される第１の画像情報復号プログラムは、入力画像信号をブロック化し、ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する処理を図１８のCPU１５１に実行させる画像情報復号プログラムにおいて、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰを用い、量子化係数の成分毎に、前記パラメータＱＰの加算処理による重み付けを行って逆量子化する。
【０４４５】
第１の画像情報復号プログラムでは、量子化ステップサイズに対応する数列として、パラメータＱＰの値が１増加する毎にβ％増減する配列Ｂ（ＱＰ）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０４４６】
第１の画像情報復号プログラムでは、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列B（QP）の値の増減率に従って、配列Ｂ（ＱＰ）を拡張した値を用いることができる。
【０４４７】
第１の画像情報復号プログラムでは、逆量子化が行われる場合、量子化ステップサイズに応じて所定の規則で配列された数列の１つの値を指定するためのパラメータＱＰとパラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、逆量子化が行われる場合、配列B（QP）の値に量子化係数を乗算して逆量子化する。
【０４４８】
さらに、パラメータＱＰの上限値、または、下限値を超える値に対しては、配列Ｂ（ＱＰ）の値の増減率に従って配列B（QP）を拡張した値を用いることができる。
【０４４９】
これにより、視覚的に劣化の目立ちにくい高域直交変換係数が視覚的に劣化の目立ちやすい低域直交変換係数に比べて粗く量子化された画像圧縮情報を復号することが可能になる。
【０４５０】
そのような第１実施形態が適用される第１の画像情報復号プログラムに対応する、第２の画像情報復号プログラムは、例えば、以下の通りとされる。
【０４５１】
即ち、パラメータＱＰは、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaとからなり、図１８のCPU１５１に、逆量子化を実行させる場合、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰluma（ｉ，ｊ）を演算させ、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して、パラメータＱＱＰchroma（ｉ，ｊ）を演算させ、演算されたパラメータＱＱＰluma（ｉ，ｊ）と、演算されたパラメータＱＱＰchroma（ｉ，ｊ）を利用して、重み付け逆量子化を実行させる。
【０４５２】
なお、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４５３】
また、本発明の第１実施形態が適用される第２の画像情報復号プログラムは、入力画像信号を第１のブロックにブロック化し、第１のブロックを単位として第１の直交変換を施し、得られた直交変換係数のＤＣ成分のみからなる第２のブロックを構成し、第２のブロックに対して第２の直交変換を施し、第１の直交変換後のＡＣ成分の係数と第２の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化されており、逆量子化が行われる場合は、量子化されたＡＣ成分の係数と第２の直交変換後に量子化されたＤＣ成分の係数とに対して量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する処理を図１８のCPU１５１に実行させる。
【０４５４】
第２の画像情報復号プログラムでは、１回目の直交変換後のＤＣ成分の係数がまとめられ、この係数に対して第２の直交変換が施され、１回目の直交変換後のＡＣ成分の係数と２回目の直交変換後のＤＣ成分の係数とに対して異なる重み付けを行って量子化された画像圧縮情報を逆量子化する場合、量子化における重み付けに対応するそれぞれ異なる重み付けを行って逆量子化する。
【０４５５】
これにより、画質を維持する上で重要なＤＣ成分の精度を向上させる一方、その他の周波数成分の情報量を削減させた画像圧縮情報を復号することができる。
【０４５６】
そのような第１実施形態が適用される第２の画像情報復号プログラムに対応する、第２の画像情報復号プログラムは、例えば、以下の通りとされる。
【０４５７】
即ち、図１８のCPU１５１に、パラメータＱＰとして、輝度信号に対するパラメータＱＰlumaと、色差信号に対するパラメータＱＰchromaを利用して、AC成分の係数の逆量子化を実行させ、パラメータＱＱＰとして、ブロックの輝度信号の各成分のそれぞれに対応するパラメータＱＰlumaの配列に対して、重み付けのための配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰluma（ｉ，ｊ）と、ブロックの色差信号の各成分のそれぞれに対応するパラメータＱＰchromaの配列に対して、配列Ｗ（ｉ，ｊ）を加算して得られる、パラメータＱＱＰchroma（ｉ，ｊ）を利用して、ＤＣ成分の係数の逆量子化を実行させる。
【０４５８】
また、演算されたパラメータＱＱＰchroma（ｉ，ｊ）が、所定の値ＱＱＰchroma_maxを超える場合、図１８のCPU１５１に、上述した２通りの方法に対応する処理を実行させる。
【０４５９】
上述した本発明による手法は、任意の変換方式に適用可能である。即ち、演算精度や、整数変換の変換マトリクスに依存せず、同様に適用可能である。
【０４６０】
また、本発明は、変換ブロックのサイズに依存せず、任意のサイズの変換に対して同様に適用可能である。また、４×４，４×８、８×４、８×８，１６×１６の任意のブロックサイズで適応的に周波数変換を行う適応可変ブロックサイズ変換方式にも同様に適用可能である。
【０４６１】
このように、本発明は上述した実施の形態のみに限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能であることは勿論である。
【０４６２】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
【０４６３】
また、本明細書において、システムとは、複数の装置や処理部により構成される装置全体を表すものである。
【０４６４】
【発明の効果】
本発明においては、画像情報を符号化し、かつ、復号することができる。また、本発明においては、なだらかな画素値の変化を伴う絵柄を含む画像で擬似輪郭が発生するのを防ぎ、また、低ビットレートでの効率的な圧縮を実現することができる。さらに、本発明においては、Ｈ．２６Ｌ等の様に、輝度信号に対する量子化パラメータＱＰlumaと色差信号に対する量子化パラメータＱＰchromaが異なる値を取り得ることがあり、かつ、それらの値が画像圧縮情報中の単一のパラメータＱＰで表される場合、色差信号成分に対する重み付け処理を施すことが可能になる。
【図面の簡単な説明】
【図１】本実施が適用される画像情報符号化装置の構成例を示すブロック図である。
【図２】本実施が適用される画像情報復号装置の構成例を示すブロック図である。
【図３】図１の画像情報符号化装置の重み付け部に格納されている、イントラマクロブロック用若しくは輝度信号用の重み行列のデフォルト値を説明する図である。
【図４】図１の画像情報符号化装置の重み付け部に格納されている、非イントラマクロブロック用若しくは色差信号用の重み行列のデフォルト値を説明する図である。
【図５】量子化または逆量子化のための媒介変数の値を−８まで拡張した場合の、量子化後の離散コサイン変換係数を表すために必要なビット数を説明する図である。
【図６】拡張された量子化幅に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図７】画像圧縮情報に含まれるquantizer_rangeと復号処理に用いられる媒介変数との対応関係を説明する図である。
【図８】各成分を４ビット精度で符号化する場合の、ＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図９】各成分をＵＶＬＣで符号化する場合の、ＤＣ成分に対する重み行列に関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１０】ＤＣ成分に対する重み行列に関する情報をＧＯＰ単位で画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１１】各成分を４ビット精度で符号化する場合の、変更するときにのみ、重み行列に関する情報を画像圧縮情報中に埋め込む場合の構文の例を説明する図である。
【図１２】各成分をＵＶＬＣで符号化する場合の、変更するときにのみ、重み行列に関する情報を画像圧縮情報中に埋め込む場合の構文の例を説明する図である。
【図１３】本発明が適用される画像情報符号化伝送システムの構成を示すブロック図である。
【図１４】ＧＯＰ単位で画像圧縮情報中に埋め込む場合の、ＤＣ成分に対する重み付けパラメータに関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１５】ピクチャ単位で画像圧縮情報中に埋め込む場合の、ＤＣ成分に対する重み付けパラメータに関する情報を画像圧縮情報中に埋め込むための構文の例を説明する図である。
【図１６】本実施が適用される画像情報符号化装置の他の構成例を示すブロック図である。
【図１７】本実施が適用される画像情報復号装置の他の構成例を示すブロック図である。
【図１８】本実施が適用される画像情報符号装置、または、画像情報復号装置の他の構成例を示すブロック図である。
【図１９】従来の画像情報符号化装置の構成を示すブロック図である。
【図２０】従来の画像情報復号装置の構成を示すブロック図である。
【図２１】ＭＰＥＧ２において定められた、intra_dc_precision、並びに、ビット精度、逆量子化係数、およびＤＣ予測リセット値との関係を説明する図である。
【図２２】ＭＰＥＧ２で定められているイントラマクロブロックに対する量子化行列のデフォルト値を説明する図である。
【図２３】ＭＰＥＧ２で定められているインターマクロブロックとに対する量子化行列のデフォルト値を説明する図である。
【図２４】 MPEG2 Test Model 5において定められている非イントラマクロブロックに対する量子化行列を説明する図である。
【図２５】ＭＰＥＧ２における、量子化スケール（quantiser_scale）、ピクチャ単位で設定される媒介変数q_scale_type、およびマクロブロックを単位として設定される量子化スケールコードquantiser_scale_codeの関係を説明する図である。
【符号の説明】
１０ 画像情報符号化部、 １１ A/D変換部、 １２ 画面並べ替えバッファ、 １３ 加算部、 １４ 直交変換部、 １５ 量子化部、 １６ 重み付け部、 １７ 可逆符号化部、 １８ 蓄積バッファ、 １９ 逆量子化部、 ２０ 重み付け部、 ２１ 逆直交変換部、 ２２ フレームメモリ、 ２３ 動き予測補償部、 ２４ レート制御部、 ３０ 画像情報復号装置、 ３１ 蓄積バッファ、 ３２ 可逆復号部、 ３３ 逆量子化部、 ３４ 重み付け部、 ３５ 逆直交変換部、 ３６ 加算部、 ３７ 画面並べ替えバッファ、 ３８ Ｄ／Ａ変換部、 ３９ 動き予測補償部、 ４０ フレームメモリ、 ５０ 画像情報符号化伝送システム、 ５１ 画像信号符号化装置、 ５２ 多重化パケット化装置、８１ 量子化部、 ８２ 逆量子化部、 ９１ 輝度信号重み付け部、 ９２ 色差信号重み付け部、 ９３ 輝度信号重み付け部、 ９４色差信号重み付け部、 １１１ 逆量子化部、 １２１ 輝度信号重み付け部、 １２２ 色差信号重み付け部
Claims (3)
- 入力画像信号をブロック化し、前記ブロックを単位として直交変換を施して量子化された画像圧縮情報を逆量子化し、逆直交変換を施して復号する画像情報復号方法において、
前記逆量子化において、前記画像圧縮情報に埋め込まれている輝度信号の量子化パラメータＱＰlumaの値を読み出し、重みパラメータ値を加算して、加算処理後の量子化パラメータＱＰ'lumaを計算し、前記加算処理後のパラメータＱＰ'lumaと所定の対応関係を有する色差信号の量子化パラメータＱＰchromaを演算し、前記演算された量子化パラメータＱＰchromaの値から量子化ステップサイズを算出し、前記算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化する
ことを特徴とする画像情報復号方法。 - 前記逆量子化において、前記演算された色差信号の量子化パラメータＱＰchromaに対して、更に重みパラメータ値を加算して、加算処理後の色差信号の量子化パラメータＱＰ'chromaの値から量子化ステップサイズを算出し、前記算出された量子化ステップサイズの値に量子化係数を乗算して逆量子化する
ことを特徴とする請求項１に記載の画像情報復号方法。 - 前記量子化ステップサイズに対応する数列として、前記パラメータＱＰの値が１増加する毎にβ％増減する配列B（QP）を用い、前記逆量子化が行われる場合、前記配列B（QP）の値に量子化係数を乗算して逆量子化する
ことを特徴とする請求項１に記載の画像情報復号方法。
Priority Applications (22)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002124641A JP4348899B2 (ja) | 2001-11-30 | 2002-04-25 | 画像情報復号方法 |
| US10/304,950 US7295609B2 (en) | 2001-11-30 | 2002-11-27 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US11/836,467 US7733955B2 (en) | 2001-11-30 | 2007-08-09 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US12/620,383 US8144767B2 (en) | 2001-11-30 | 2009-11-17 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US12/620,431 US8139636B2 (en) | 2001-11-30 | 2009-11-17 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/370,174 US8351501B2 (en) | 2001-11-30 | 2012-02-09 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/370,094 US8270475B2 (en) | 2001-11-30 | 2012-02-09 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/370,142 US8311099B2 (en) | 2001-11-30 | 2012-02-09 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/370,205 US8265143B2 (en) | 2001-11-30 | 2012-02-09 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/559,123 US8391360B2 (en) | 2001-11-30 | 2012-07-26 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/559,080 US8391359B2 (en) | 2001-11-30 | 2012-07-26 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/707,147 US8654841B2 (en) | 2001-11-30 | 2012-12-06 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/707,083 US8634461B2 (en) | 2001-11-30 | 2012-12-06 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/706,981 US8559504B2 (en) | 2001-11-30 | 2012-12-06 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/706,815 US8634459B2 (en) | 2001-11-30 | 2012-12-06 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/706,772 US8553765B2 (en) | 2001-11-30 | 2012-12-06 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/706,862 US8634460B2 (en) | 2001-11-30 | 2012-12-06 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US13/706,892 US8553766B2 (en) | 2001-11-30 | 2012-12-06 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US14/106,006 US8982949B2 (en) | 2001-11-30 | 2013-12-13 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US14/253,368 US8879624B2 (en) | 2001-11-30 | 2014-04-15 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US14/579,251 US9179150B2 (en) | 2001-11-30 | 2014-12-22 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
| US14/830,359 US9628804B2 (en) | 2001-11-30 | 2015-08-19 | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information |
Applications Claiming Priority (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001367868 | 2001-11-30 | ||
| JP2001-367868 | 2001-11-30 | ||
| JP2002014889 | 2002-01-23 | ||
| JP2002-14889 | 2002-01-23 | ||
| JP2002124641A JP4348899B2 (ja) | 2001-11-30 | 2002-04-25 | 画像情報復号方法 |
Publications (3)
| Publication Number | Publication Date |
|---|---|
| JP2003289542A JP2003289542A (ja) | 2003-10-10 |
| JP2003289542A5 JP2003289542A5 (ja) | 2005-09-29 |
| JP4348899B2 true JP4348899B2 (ja) | 2009-10-21 |
Family
ID=29255071
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002124641A Expired - Lifetime JP4348899B2 (ja) | 2001-11-30 | 2002-04-25 | 画像情報復号方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4348899B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN101699866B (zh) | 2004-01-30 | 2016-08-03 | 松下电器（美国）知识产权公司 | 运动图片编码方法和运动图片解码方法 |
| JP2007535191A (ja) * | 2004-01-30 | 2007-11-29 | 松下電器産業株式会社 | 画像符号化方法、画像復号化方法、画像符号化装置、画像復号化装置およびプログラム |
| CN1981534B (zh) | 2004-06-08 | 2011-04-13 | 松下电器产业株式会社 | 图像编码装置、图像解码装置以及用于其中的集成电路 |
| CN104380706B (zh) | 2012-06-11 | 2016-06-08 | 富士胶片株式会社 | 图像处理装置、摄像装置、计算机及图像处理方法 |
-
2002
- 2002-04-25 JP JP2002124641A patent/JP4348899B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003289542A (ja) | 2003-10-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US9179150B2 (en) | Method and apparatus for coding image information, method and apparatus for decoding image information, method and apparatus for coding and decoding image information, and system of coding and transmitting image information | |
| US7095448B2 (en) | Image processing circuit and method for modifying a pixel value | |
| JP4254147B2 (ja) | 画像情報符号化方法及び装置、並びにプログラム及び記録媒体 | |
| JP3429429B2 (ja) | 視感誤差処理方法及びこの方法を用いた画像符号化装置 | |
| JP4348899B2 (ja) | 画像情報復号方法 | |
| JPH06153178A (ja) | 動画像の符号化及び復号化方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050425 |
|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050425 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080311 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080516 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090630 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090713 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| R151 | Written notification of patent or utility model registration |
Ref document number: 4348899 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120731 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130731 Year of fee payment: 4 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |