JP4292659B2 - 画像情報変換装置及び画像情報変換方法 - Google Patents
画像情報変換装置及び画像情報変換方法 Download PDFInfo
- Publication number
- JP4292659B2 JP4292659B2 JP32877899A JP32877899A JP4292659B2 JP 4292659 B2 JP4292659 B2 JP 4292659B2 JP 32877899 A JP32877899 A JP 32877899A JP 32877899 A JP32877899 A JP 32877899A JP 4292659 B2 JP4292659 B2 JP 4292659B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- quantization matrix
- quantization
- image
- image compression
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Of Color Television Signals (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、圧縮された画像情報のビットレートを変換する画像情報変換装置及び画像情報変換方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルデータとして取り扱い、そのデジタルデータに対して画像情報特有の冗長性を利用した直交変換と動き補償により圧縮を行い、衛星放送やケーブルテレビジョン等のネットワークメディアへ伝送や、光ディスクや磁気ディスク等のストレージメディアへの記録を行う装置が普及している。このような装置では、一般に、画像圧縮方式に、離散コサイン変換を用いたＭＰＥＧ−２（Moving Picture Experts Group phase - 2）が用いられている。
【０００３】
また、近年、このＭＰＥＧ−２等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。
【０００４】
ところで、この高解像度画像の画像情報は膨大であり、ＭＰＥＧ−２等の符号化方式を用いて圧縮しても、十分な画質を得るためには多くの符号量（ビットレート）が必要となる。例えば、画枠が１９２０画素×１０８０画素の３０Ｈｚの飛び越し走査画像の場合には、１８〜２２Ｍｂｐｓ程度或いはそれ以上の符号量を必要とする。
【０００５】
そのため、例えば衛星放送やケーブルテレビジョン等のネットワークメディアへこのような高解像度画像を伝送する場合には、伝送経路のバンド幅に合わせて更に符号量の削減をしなければならない。同様に、光ディスクや磁気ディスク等のストレージメディアへこのような高解像度画像を記録する場合にも、メディアの記録容量に合わせて、更に符号量の削減をしなければならない。また、このような符号量の削減の必要性は、高解像度画像のみならず、標準解像度画像（例えば画枠が７２０画素×４８０画素の３０Ｈｚの飛び越し走査画像等）でも生じることが考えられる。
【０００６】
かかる問題を解決する手段としては、階層符号化（スケーラビリティ）、又は画像情報変換（トランスコーディング）等がある。ＭＰＥＧ−２では、前者について、ＳＮＲスケーラビリティが標準化されており、これを用いて、高ＳＮＲの画像圧縮情報（ビットストリーム）と低ＳＮＲの画像圧縮情報（ビットストリーム）を階層的に符号化している。しかしながら、階層符号化を行うためには、符号化の時点で、バンド幅又は記憶容量等の所定の値が既知である必要があるが、実際のシステムにおいては、未知であることが多い。従って、後者の方が、実際のシステムに則した、より自由度の高い方式であると言える。
【０００７】
そして、この後者の画像情報変換（トランスコーディング）を用いた従来の画像情報変換装置（トランスコーダ）では、入力となる画像圧縮情報（ビットストリーム）を復号又は部分復号する復号化部と、この復号化部の出力を再符号化する符号化部とが並列接続され、空間領域又は周波数領域の２つの領域で画像情報が復号化部から符号化部へ供給されている。
【０００８】
前者の空間領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、演算処理量は大きいが、出力となる画像圧縮情報（ビットストリーム）の復号化画像の劣化を抑えることが可能で、主として放送用機器等のアプリケーションに用いられている。一方、後者の周波数領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、前者の画像情報変換装置に比べて、若干の画質劣化を引き起こすものの、より少ない演算処理量での実現が可能で、主として民生用機器のアプリケーションに用いられている。
【０００９】
つぎに、これら空間領域又は周波数領域のそれぞれの領域で用いられる従来の画像情報変換装置について、図面を参照しながら説明する。
【００１０】
最初に、空間領域で用いられる従来の画像情報変換装置について説明する。この空間領域で用いられる従来の画像情報変換装置を図１９に示す。
【００１１】
従来の画像情報変換装置１００は、この図１９に示すように、画像情報復号装置１０１と、付加情報バッファ１０２と、画像情報符号化装置１０３とを備える。
【００１２】
この従来の画像情報変換装置１００は、一般に画像圧縮情報（ビットストリーム）の持つ符号量を削減する装置であり、画像情報復号装置１０１から画像情報符号化装置１０３への画像情報の供給を、空間領域で行う。
【００１３】
まず、従来の画像情報変換装置１００では、画像情報復号装置１０１は、高ビットレートの画像圧縮情報が入力される。この画像情報復号装置１０１は、高ビットレートの画像圧縮情報を一旦完全に復号し、ベースバンドのビデオデータを出力する。これと同時的に、付加情報バッファ１０２は、画像情報復号装置１０１が復号化の際に用いた情報（以下、付加情報という。）を当該画像情報復号装置１０１から供給され、この供給された付加情報を記憶する。
【００１４】
なお、この付加情報には、例えば、動きベクトル、予測モード、ＤＣＴモード、量子化スケールコード等のマクロブロック毎の情報、及び、ＧＯＰヘッダ（Groupe of Picture Header）、ピクチャヘッダ（Picture Header）、シーケンスヘッダ（Sequence Header）、シーケンス表示拡張部（Sequence Display Extension）ピクチャ符号化機能拡張部（Picture Coding Extension ）、量子化マトリックス拡張部（Quantization Matrix Extension）、ピクチャ表示拡張部（Picture Display Extension）等の、より上位の階層に関する情報がある。
【００１５】
そして、画像情報符号化装置１０２は、予め、入力された画像圧縮情報の符号量（高ビットレート）より低い目標符号量（ターゲットビットレート）が与えられていて、この目標符号量と、付加情報バッファ１０２から取得した付加情報とに基づいて、符号化処理を行う。即ち、画像情報符号化装置１０３は、この目標符号量と付加情報とに基づいて、画像情報復号装置１０１の出力として得られるベースバンドのビデオデータを再符号化し、低ビットレートの画像圧縮情報を出力する。このように、画像情報符号化装置１０３は、付加情報バッファ１０２に記憶された付加情報を利用することにより、再符号化に伴う演算処理量の増大や画質劣化等を低減することができる。
【００１６】
例えば、一般的に画像情報を符号化する場合には、動きベクトル探索に多大なる演算処理量を要するが、従来の画像情報変換装置１００では、付加情報バッファ１０２に記憶された各マクロブロック毎の動きベクトル及び予測モードを用いることにより、動きベクトル探索を行うことなく符号化処理を行うことができる。
【００１７】
つぎに、周波数領域で用いられる従来の画像情報変換装置について説明する。この周波数領域で用いられる従来の画像情報変換装置を図２０に示す。
【００１８】
従来の画像情報変換装置１１０は、この図２０に示すように、符号バッファ１１１と、圧縮情報解析装置１１２と、可変長復号化装置１１３と、逆量子化装置１１４と、帯域制限装置１１５と、量子化装置１１６と、情報バッファ１１７と、可変長符号化装置１１８と、符号バッファ１１９と、符号量制御装置１２０とを備える。
【００１９】
符号バッファ１１１は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１１は、蓄積された画像圧縮情報を、圧縮情報解析装置１１２に供給する。
【００２０】
圧縮情報解析装置１１２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ１１１から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報（以下、解析結果情報という。）を抽出し、この抽出した解析結果情報を可変長復号化装置１１３及び情報バッファ１１７に供給する。この圧縮情報解析装置１１２は、上記解析結果情報の中でも、特に、後述する符号量制御装置１２０における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ１１７に供給する。
【００２１】
可変長復号化装置１１３は、圧縮情報解析装置１１２から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置１１３は、圧縮情報解析装置１１２により抽出された解析結果情報に含まれる走査方式（ジグザグスキャン若しくはオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置１１３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置１１４に供給する。
【００２２】
逆量子化装置１１４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置１１４は、この逆量子化された離散コサイン変換係数を、帯域制限装置１１５に供給する。
【００２３】
帯域制限装置１１５は、逆量子化装置１１４から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。そして、帯域制限装置１１５は、この帯域制限を行った離散コサイン変換係数を、量子化装置１１６に供給する。
【００２４】
量子化装置１１６は、帯域制限装置１１５から供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。
【００２５】
情報バッファ１１７は、圧縮情報解析装置１１２から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ１１７は、この記憶した解析結果情報を、符号量制御装置１２０に供給する。
【００２６】
可変長符号化装置１１８は、量子化装置１１６から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ１１９に供給する。
【００２７】
符号バッファ１１９は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１９では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１９は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置１２０に供給する。
【００２８】
符号量制御装置１２０は、可変長符号化装置１１８により可変長符号化された後の画像圧縮情報が符号バッファ１１９においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ１１７から取得する解析結果情報とに基づいて、量子化装置１１６において用いられる量子化行列の量子化幅の制御を行う。
【００２９】
以上のように構成された画像情報変換装置１１０では、逆量子化装置１１４は、可変長復号化装置１１３から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置１１５に供給する。そして、量子化装置１１６は、逆量子化装置１１４から帯域制限装置１１５を介して供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ１１９から出力される。
【００３０】
【発明が解決しようとする課題】
ところで、ＣＣＩＲ（International Radio Consultative Committee）テストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、Ｔｅｓｔ Ｍｏｄｅｌ ５に準拠したＭＰＥＧ−２対応の画像情報符号化装置（以下、ＭＰＥＧ−２画像情報符号化装置という。）によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号の信号雑音比（以下、ｐＳＮＲという。）の各フレーム毎の遷移を、図２１に示す。
【００３１】
ここで、符号化の条件は、ビットレートが６Ｍｂｐｓで、ＧＯＰ（Group of Pictures）の構成が、Ｎ＝１５，Ｍ＝３である。なお、上記Ｎは、ＧＯＰ内のピクチャ枚数であり、上記Ｍは、Ｉピクチャ又はＰピクチャが現れる周期である。
【００３２】
このとき、各フレーム毎の原画像との平均二乗誤差をＭＳＥとすれば、ｐＳＮＲは、次式（１）で表される。
【００３３】
【数１】
【００３４】
そして、図２１では、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、高いｐＳＮＲを示している。これは、ＭＰＥＧ−２画像情報符号化装置において、Ｉピクチャは、目標符号量（ターゲットビット）が、Ｐピクチャ又はＢピクチャと比べて高く設定されているためである。従って、Ｉピクチャの画質が向上すると、これを参照して構成されるＰピクチャ又はＢピクチャの画質も向上する。
【００３５】
一方、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、符号量制御を行わず、バッファのオーバーフロー及び／又はアンダーフローは考慮しないで、量子化値を１に固定して、ＭＰＥＧ−２画像情報符号化装置によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、図２２に示す。
【００３６】
この図２２では、図２１の場合とは反対に、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、低いｐＳＮＲを示している。即ち、Ｉピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、画質が低くなっている。
【００３７】
これは、ＭＰＥＧ−２画像情報符号化装置において用いられる量子化行列に起因するものである。即ち、ＭＰＥＧ−２画像情報符号化装置では、イントラマクロブロック、インターマクロブロックのそれぞれに対して、それぞれ図２３（ａ）、図２３（ｂ）に示したような量子化行列がデフォルト値で定義されているため、イントラマクロブロックは、図２３（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、図２２に示すように、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００３８】
なお、実用上用いられているＭＰＥＧ−２画像情報符号化装置では、図２３（ｂ）で定められている量子化行列に代えて、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている図２３（ｃ）の量子化行列が一般に用いられる。また、図２１，図２２，図２４，図２５に示した実験結果は、全て、イントラマクロブロック用、インターマクロブロック用の量子化行列として、それぞれ図２３（ａ）、図２３（ｃ）に示したものが用いられたものである。
【００３９】
また、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、６Ｍｂｐｓに圧縮した画像圧縮情報（ビットストリーム）を入力とし、図１９若しくは図２０に示した画像情報変換装置を用いて、更なる符号量（ビットレート）の削減を行い、４Ｍｂｐｓとして出力した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、それぞれ図２４及び図２５に示す。
【００４０】
図２４に示す結果は、図１９における付加情報バッファ１０２を用いないで、画像情報復号装置１０１と画像情報符号化装置１０３をそれぞれ独立に動作させ、動きベクトルの再計算を行って得られたものである。
【００４１】
また、図２５に示す結果は、図２０における帯域制限装置１１５での高域周波数成分の削減は行わず、動き補償誤差の補正は、Ｐピクチャ及びＢピクチャともに８×８の離散コサイン変換係数全ての成分に対して行い、図２１に示したフイードフォワードバッファの容量として、１５フレーム分を確保したものである。そして、正規化アクティビティＮ＿ａｃｔは、次式（２）で表される。
【００４２】
【数２】
【００４３】
ここで、図２４及び図２５における画質の傾向としては、上述した図２２に示したものと同様であり、例えば１８，３３，４８等のフレーム番号からなるＩピクチャの画質は、近隣のＰピクチャ又はＢピクチャと比較して、低くなっている。
【００４４】
このような原因としては、上述した図２２に示した実験結果と同様のことが言える。即ち、上述した符号量制御装置１２０の作用により、図２４及び図２５に示した実験においても、イントラマクロブロックは、図２３（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００４５】
このように、Ｉピクチャにより多くの符号量（ビット）を割り当てるという正の効果よりも、イントラマクロブロックに対する再量子化歪みという負の効果の方が、相対的に大きなものであるため、図２４及び図２５においては、Ｉピクチャの画質が低くなっている。主観的にも、Ｉピクチャでの画質の劣化が１５フレーム（０．５秒）に一度、フラッシュ現象として観測される。さらに、このようなことは、Ｉピクチャを参照して構成されるＰピクチャ及びＢピクチャの画質の向上を妨げる原因ともなっている。
【００４６】
そこで、本発明は、このような実情に鑑みてなされたものであり、Ｉピクチャにおける再量子化に伴う画質劣化を低減することにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質劣化を低減する画像情報変換装置及び画像情報変換方法を提供することを目的とするものである。
【００４７】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成する復号手段と、上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、上記量子化行列切替手段により切り替えられた量子化行列、予め与えられた所定の目標符号量に基づいて、上記復号手段により生成された動画像情報を直交変換して上記第２の画像圧縮情報に符号化する符号化手段とを備え、上記符号化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを量子化することを特徴とする。
【００４９】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記画像圧縮情報解析手段に入力された第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、上記逆量子化手段により逆量子化された直交変換係数の水平方向の高周波成分の値のみを制限する帯域制限手段と、上記帯域制限手により直交変換係数の水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化する量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段とを備え、上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することを特徴とする。
【００５１】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成し、上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、切り替えられた上記量子化行列、予め与えられた所定の目標符号量に基づいて、上記動画像情報を直交変換して上記第２の画像圧縮情報に符号化する際に、切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを再量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを再量子化することを特徴とする。
【００５３】
さらに、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、逆量子化された上記直交変換係数の水平方向の高周波成分の値のみを制限し、水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化するにあたり、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明を適用した第１の実施の形態について、図面を参照しながら説明する。
【００５６】
本発明を適用した第１の実施の形態である画像情報変換装置は、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、空間領域で行われている。本発明を適用した第１の実施の形態である画像情報変換装置を図１に示す。なお、ＭＰＥＧ−２とは、飛び越し走査画像及び順次走査画像、並びに、標準解像度画像及び高解像度画像の双方に対応した画像情報の圧縮方式をいう。
【００５７】
画像情報変換装置１は、この図１に示すように、画像情報復号装置２と、付加情報バッファ３と、量子化行列切替装置４と、画像情報符号化装置５とを備える。この画像情報変換装置１は、一般に、画像圧縮情報（ビットストリーム）の持つ符号量を削減する装置であり、画像情報復号装置２から画像情報符号化装置５への画像情報の供給を、空間領域で行う。
【００５８】
画像情報復号装置２は、高ビットレートの画像圧縮情報が入力され、この入力された高ビットレートの画像圧縮情報を一旦完全に復号し、この復号した結果得られたベースバンドのビデオデータを、画像情報符号化装置５に供給する。また、この処理と同時的に、画像情報復号装置２は、入力された高ビットレートの画像圧縮情報に対する復号処理に用いた付加情報を、付加情報バッファ３に供給する。
【００５９】
なお、この付加情報には、例えば、動きベクトル、予測モード、ＤＣＴモード、量子化スケールコード等のマクロブロック毎の情報、及び、ＧＯＰヘッダ（Groupe of Picture Header）、ピクチャヘッダ（Picture Header）、シーケンスヘッダ（Sequence Header）、シーケンス表示拡張部（Sequence Display Extension）ピクチャ符号化機能拡張部（Picture Coding Extension ）、量子化マトリックス拡張部（Quantization Matrix Extension）、ピクチャ表示拡張部（Picture Display Extension）等の、より上位の階層に関する情報がある。
【００６０】
付加情報バッファ３は、画像情報復号装置２から供給された付加情報を記憶する。具体的には、付加情報バッファ３は、画像情報復号装置２が用いたイントラマクロブロック用及びインターマクロブロック用の２つの量子化行列に関する情報を、当該画像情報復号装置２から供給され、そして記憶する。即ち、ここでは、付加情報には、図２（ａ）に示すようなイントラマクロブロック用の量子化行列に関する情報と、図２（ｂ）に示すようなインターマクロブロック用の量子化行列に関する情報とが含まれるものとする。
【００６１】
そして、付加情報バッファ３は、これら供給された２つの量子化行列に関する情報のうち、インターマクロブロック用の量子化行列に関する情報のみを、量子化行列切替装置４からの制御情報に応じて、量子化行列切替装置４に供給する。
【００６２】
量子化行列切替装置４は、付加情報バッファ３から取得した付加情報に基づいて、画像情報復号装置２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える。
【００６３】
具体的には、量子化行列切替装置４は、付加情報バッファ３に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該付加情報バッファ３から取得する。そして、量子化行列切替装置４は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、画像情報復号装置２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置４は、この切り替えたインターマクロブロック用の量子化行列を画像情報符号化装置５に供給する。
【００６４】
但し、量子化行列切替装置４は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を画像情報符号化装置５に供給する。これは、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００６５】
画像情報符号化装置５は、予め、入力された画像圧縮情報の符号量（高ビットレート）より低い目標符号量（ターゲットビットレート）が与えられていて、この目標符号量と、付加情報バッファ３から取得した付加情報と、量子化行列切替装置４から供給された量子化行列とに基づいて、符号化処理を行う。即ち、画像情報符号化装置５は、この目標符号量と付加情報と量子化行列に基づいて、画像情報復号装置２から供給されたベースバンドのビデオデータを再符号化し、低ビットレートの画像圧縮情報を出力する。
【００６６】
例えば、画像情報符号化装置５は、上記目標符号量と付加情報と量子化行列切替装置４により切り替えられたインターマクロブロック用の量子化行列とに基づいて、イントラマクロブロックを量子化する。また、画像情報符号化装置５は、上記目標符号量と付加情報と画像情報復号装置２が入力された高ビットレートの画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列とに基づいて、インターマクロブロックを量子化する。
【００６７】
以上のように構成された画像情報変換装置１では、画像情報復号装置２に入力された高ビットレートの画像圧縮情報は、この画像情報復号装置２で一旦完全に復号されて、ベースバンドのビデオデータとして画像情報符号化装置５に供給される。そして、画像情報符号化装置５に供給されたベースバンドのビデオデータは、この画像情報符号化装置５で、目標符号量と付加情報と量子化行列とに基づいて再符号化され、低ビットレートの画像圧縮情報として出力される。
【００６８】
つぎに、本発明を適用した第１の実施の形態である画像情報変換装置１における量子化行列切替装置４を用いて行った測定結果を図４に示し、また、このときに用いた測定と同条件での測定によりどの程度画質が向上するのかを輝度信号のｐＳＮＲにより表した測定結果を、図５に示す。
【００６９】
この場合に、入力される画像圧縮情報（ビットストリーム）については、イントラマクロブロック用及びインターマクロブロック用のそれぞれの量子化行列に、図６（ａ）、図６（ｃ）に示した量子化行列を用いる。従って、出力される画像圧縮情報（ビットストリーム）について用いられるイントラマクロブロック用の量子化行列は、図７に示すようになる。但し、インターマクロブロック用の量子化行列は、図６（ｃ）に示した量子化行列のままである。
【００７０】
また、画像情報変換装置１において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける輝度信号のｐＳＮＲにより表した測定結果の変化を表した図を、図５に示す。
【００７１】
この図５に示すように、画像情報変換装置１においては、量子化行列を切り替えることにより、Ｉピクチャについて、１．０〜３．０ｄＢ程度の大幅な画質の向上があり、主観評価においても、図４において観測されていたフラッシュ現象が観測されなくなる。Ｉピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上している。
【００７２】
次に、図５に示した測定で、出力される画像圧縮情報（ビットストリーム）の各フレームに割り当てられた符号量（ビット）を測定した図を図８に示す。
【００７３】
画像情報変換装置１では、図８に示すように、画像情報符号化装置５において用いる量子化行列を、インターマクロブロック用の量子化行列に切り替えることにより、高域成分が粗く量子化されるのが防止されるのと同時に、より多くの符号（ビット）がＩピクチャに割り当てられ、その分Ｐピクチャにより少ない符号（ビット）が割り当てられ、これによってＩピクチャの画質が向上し、さらに、これに基づいて構成されるＰピクチャ及びＢピクチャの画質が向上している。
【００７４】
以上述べたように、本発明を適用した第１の実施の形態である画像情報変換装置１では、画像情報符号化装置５において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【００７５】
また、本発明を適用した第１の実施の形態である画像情報変換装置１では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置４は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【００７６】
なお、上述した画像情報変換装置１では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【００７７】
つぎに、本発明を適用した第２の実施の形態について、図面を参照しながら説明する。
【００７８】
本発明を適用した第２の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第２の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第２の実施の形態である画像情報変換装置を図９に示す。
【００７９】
画像情報変換装置１０は、この図９に示すように、符号バッファ１１と、圧縮情報解析装置１２と、可変長復号化装置１３と、逆量子化装置１４と、帯域制限装置１５と、情報バッファ１６と、量子化行列切替装置１７と、量子化装置１８と、可変長符号化装置１９と、符号バッファ２０と、符号量制御装置２１とを備える。
【００８０】
符号バッファ１１は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１は、蓄積された画像圧縮情報を、圧縮情報解析装置１２に供給する。
【００８１】
圧縮情報解析装置１２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ１１から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報を抽出し、この抽出した情報（以下、解析結果情報という。）を可変長復号化装置１３及び情報バッファ１６に供給する。この圧縮情報解析装置１２は、上記解析結果情報の中でも、特に、後述する符号量制御装置２１における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ１６に供給する。
【００８２】
可変長復号化装置１３は、圧縮情報解析装置１２から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置１３は、圧縮情報解析装置１２により抽出された解析結果情報に含まれる走査方式（図１０（ａ）に示すジグザグスキャン若しくは図１０（ｂ）に示すオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置１３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置１４に供給する。
【００８３】
逆量子化装置１４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置１４は、この逆量子化された離散コサイン変換係数を、帯域制限装置１５に供給する。
【００８４】
帯域制限装置１５は、逆量子化装置１４から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。
【００８５】
図１１に、帯域制限装置１５における水平方向高周波成分の帯域制限処理の一例を示す。例えば、帯域制限装置１５は、輝度信号に関しては、図１１（ａ）に示すように８×８の離散コサイン変換係数のうち、水平方向低域成分である８×６係数のみの値を保存し、残りを０と置きかえる。また、帯域制限装置１５は、色差信号に関しては、図１１（ｂ）に示すように、８×８の離散コサイン変換係数のうち、水平方向低域成分である８×４係数のみの値を保存し、残りを０と置きかえる。このように離散コサイン変換係数の高周波成分を帯域制限することで、周波数領域において符号量（ビットレート）の削減をすることができる。
【００８６】
また、入力となる画像圧縮情報（ビットストリーム）が、飛び越し走査画像のものである場合には、フィールド間の時間差に関する情報を、離散コサイン変換係数の垂直方向高域成分が含むことになる。そのため、垂直方向の離散コサイン変換係数の帯域制限を行うことは大幅な画質劣化に繋がる。従って、この帯域制限装置１５では、垂直方向の帯域制限は行わない。
【００８７】
さらに、この帯域制限装置１５では、劣化がより人間の目に付きやすい輝度信号に比べ、より人間の目に付きにくい色差信号に対して、より大きく帯域制限を行っている。このことにより、この帯域制限装置１５では、画質劣化を最小限に抑えながら、再量子化の歪みを低減することができる。なお、削減する符号量（ビットレート）が少ない場合や回路的な制限がある場合等は、輝度信号と色差信号との帯域制限を同一にしてもよい。
【００８８】
さらにまた、帯域制限装置１５における水平方向の離散コサイン変換係数の帯域制限処理は、この図１１に示したような係数を０と置く処理に限らない。例えば、０と置き換える代わりに、予め用意した重み係数を離散コサイン変換の水平方向高域成分に乗じることで同様に符号量（ビットレート）を削減することが可能である。
【００８９】
帯域制限装置１５は、上述したような帯域制限を行った離散コサイン変換係数を、量子化装置１８に供給する。
【００９０】
情報バッファ１６は、圧縮情報解析装置１２から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ１６は、この記憶した解析結果情報を、量子化行列切替装置１７及び符号量制御装置２１に供給する。
【００９１】
量子化行列切替装置１７は、情報バッファ１６から取得した解析結果情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【００９２】
具体的には、量子化行列切替装置１７は、情報バッファ１６に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ１６から取得する。そして、量子化行列切替装置１７は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置１７は、この切り替えたインターマクロブロック用の量子化行列を量子化装置１８に供給する。
【００９３】
但し、量子化行列切替装置１７は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置１８に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００９４】
量子化装置１８は、帯域制限装置１５から供給された８×８離散コサイン変換係数を、量子化行列切替装置１７から供給された量子化行列と、以下に説明するような符号量制御装置２１により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置１８は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１９に供給する。
【００９５】
例えば、量子化装置１８は、量子化行列切替装置１７により切り替えられたインターマクロブロック用の量子化行列と上記量子化幅とに基づいて、イントラマクロブロックを量子化する。また、量子化装置１８は、逆量子化装置１４が入力された高ビットレートの画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記量子化幅とに基づいて、インターマクロブロックを量子化する。
【００９６】
可変長符号化装置１９は、量子化装置１８から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ２０に供給する。
【００９７】
符号バッファ２０は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ２０では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ２０は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置２１に供給する。
【００９８】
符号量制御装置２１は、可変長符号化装置１９により可変長符号化された後の画像圧縮情報が符号バッファ２０においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ１６から取得する解析結果情報とに基づいて、量子化装置１８において用いられる量子化行列の量子化幅の制御を行う。
【００９９】
以上のように構成された画像情報変換装置１では、逆量子化装置１４は、可変長復号化装置１３から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置１５に供給する。そして、量子化装置１８は、逆量子化装置１４から帯域制限装置１５を介して供給された８×８離散コサイン変換係数を、量子化行列切替装置１７から供給された量子化行列と、符号量制御装置２１により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置１８は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１９に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ２０から出力される。
【０１００】
つぎに、符号量制御装置２１における処理について、詳しく説明する。
【０１０１】
ＭＰＥＧ−２に対応した画像情報符号化装置において適用されるＭＰＥＧ−２Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で用いられている手法では、まず、ＧＯＰを構成する各ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に対する割当ビット量は、割当て対象ピクチャを含め、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量に基づいて配分される。次に、この配分された各ピクチャに対する割当てビット量を実際の符号量と一致させるために、量子化スケールコードは、各ピクチャ毎に独立に設定した３種類の仮想バッファの記憶容量に基づいて、マクロブロック単位のフィードバック制御により求められる。次に、この求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクテイビティによって変化させる。
【０１０２】
このように、本発明を適用した実施の形態である画像情報変換装置１０も、このＴｅｓｔ Ｍｏｄｅｌ ５で定められた方式に準じたアルゴリズムによって符号量制御が行われている。
【０１０３】
しかしながら、この手法を、図９に示した画像情報変換装置１０の符号化部にそのまま適用すると、以下の２つの問題が生じる。
【０１０４】
まず、第１の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最初に処理される内容に関する問題である。即ち、ＭＰＥＧ−２に対応した画像情報変換装置では、予めＧＯＰの構造が与えられており、これに基づいて上記最初の処理を行うことができるのに対し、図９に示した画像情報変換装置１０では、ＧＯＰの構造は、入力される画像圧縮情報（ビットストリーム）の内の１ＧＯＰ分の情報の全てを構文（シンタクス）解析することにより既知となる。このＧＯＰの長さは一定であるとは限らず、ＭＰＥＧ−２対応の画像情報変換装置では、シーンチェンジを検出し、それに応じて適応的にＧＯＰの長さを画像圧縮情報（ビットストリーム）中で制御するというものも存在する。
【０１０５】
また、第２の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最後に処理される内容に関する問題である。即ち、ＭＰＥＧ−２対応の画像情報変換装置では、アクティビティを、原画像の輝度信号画素値を用いて算出している。しかしながら、図９に示した画像情報変換装置１０では、ＭＰＥＧ−２対応の画像圧縮情報（ビットストリーム）を入力としているため、原画像の輝度信号画素値を知ることは不可能である。
【０１０６】
そこで、上記第１の問題を解決する方法としては、以下に説明するような擬似ＧＯＰを定義し、これに基づいて符号量制御を行う方法がある。ここで、この擬似ＧＯＰとは、１つのＩピクチャ、及び複数のＰピクチャ及びＢピクチャから構成される擬似的なＧＯＰをいう。この擬似ＧＯＰの長さは可変であり、画像圧縮情報（ビットストリーム）中で、どのようにＩピクチャを検出するのかに依存する。
【０１０７】
以下、上記第１の問題及び第２の問題を解決する方法を含めた符号量制御装置２１における一連の処理の流れを、図１２に示すフローチャートに従って説明する。
【０１０８】
まず、図１２のステップＳ１において、情報バッファ１６は、図１３に示すようなpicture＿coding＿typeを格納する環状バッファを備えている。この環状バッファは、ＭＰＥＧで規定されている、１ＧＯＰに含むことのできる最大フレーム数と同じ２５６のpicture＿coding＿typeを格納するだけの記憶容量を備える。また、環状バッファの各要素には、予め初期値が格納されている。
【０１０９】
ここで、画像圧縮情報（ビットストリーム）に含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂまで処理され、次のＰピクチャの処理を行う場合について考える。この場合、画像情報変換装置１０では、まず、圧縮情報解析装置１２に備えられたフィードフォワードバッファによって、数フレーム分のpicture＿ coding＿typeが先読みされ、環状バッファの要素が更新される。このフィードフォワードバッファの大きさは、任意であるが、図１３に示す環状バッファでは６フレーム分である。また、擬似ＧＯＰの長さは、図１３に示す環状バッファの状態から、現在のＩピクチャを示すポインタａと次のＩピクチャを示すポインタｂとを参照することにより設定される。さらに、擬似ＧＯＰの構成は、フィードフォワードバッファの最後のフレームを示すポインタｄと、既に設定された擬似ＧＯＰの長さとから設定される。
【０１１０】
このように、プリパーシングにより、擬似ＧＯＰの構成が設定される。
【０１１１】
続いて、ステップＳ２において、上述したようにして設定された擬似ＧＯＰの構成が、［Ｂ1，Ｂ2，Ｐ1，Ｂ3，Ｂ4，Ｉ1，Ｂ5，Ｂ6，・・・，ＰL，ＢM-1，ＢM］である場合、擬似ＧＯＰの大きさであるＬ＿ｐｇｏｐは、次の式（３）で表される。
【０１１２】
【数３】
【０１１３】
このとき、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの各ピクチャ（各フレーム）の目標符号量（ターゲットビット）Ｔi，Ｔp，Ｔbは、それぞれ次の式（４）、式（５）、式（６）により算出される。
【０１１４】
【数４】
【０１１５】
【数５】
【０１１６】
【数６】
【０１１７】
但し、Ｒは、割り当て対象ピクチャを含めた、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量であり、Θを擬似ＧＯＰ内において既に処理が終わったフレーム、Ωを擬似ＧＯＰ内においてこれから処理が行われるフレーム、Ｆをフレームレート、Ｂを出力される画像圧縮情報の符号量（ビットレート）とすると、次の式（７）、式（８）を用いて表される。
【０１１８】
【数７】
【０１１９】
【数８】
【０１２０】
また、Ｘ（）は、各フレームの複雑さを表すパラメータ（global complexity measure）であり、圧縮情報解析装置１２でプリパーシングを行う際に、当該フレームの総符号量（ビット数）であるＳと、平均量子化スケールコードであるＱを予め算出しておけば、次の式（９）により表される。
【０１２１】
【数９】
【０１２２】
さらに、Ｋp及びＫbは、それぞれ、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で規定されているＩピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率であり、次の式（１０）により表される。
【０１２３】
【数１０】
【０１２４】
そして、Ｋp及びＫbが上記式（１０）により表される値のときに、常に全体の画質が最適化されると仮定する。
【０１２５】
続いて、ステップＳ３において、実際の発生符号量とステップ２で算出された各ピクチャに対する割当ビット量（Ｔi，Ｔp，Ｔb）と一致させるため、各ピクチャタイプに独立に設定した３種類の仮想バッファの容量に基づき、量子化スケールコードをマクロブロック単位のフィードバック制御により求める。
【０１２６】
まず、ｊ番目のマクロブロック符号化に先だち、仮想バッファの占有量は、次の式（１１）、式（１２）、式（１３）により表される。
【０１２７】
【数１１】
【０１２８】
【数１２】
【０１２９】
【数１３】
【０１３０】
但し、これらの式（１１）〜式（１３）で示した“ｄ0 i”，“ｄ0 p”，“ｄ0 b”はＩ，Ｐ，Ｂの各ピクチャの仮想バッファの初期占有量であり、“Ｂj”はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量であり、“ＭＢ＿ｃｎｔ”は１ピクチャ内のマクロブロック数である。ピクチャ符号化終了時の各仮想バッファ占有量（ｄMB_cnt i，ｄMB_cnt p，ｄMB_cnt b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 i，ｄ0 p，ｄ0 b）として用いられる。
【０１３１】
次に、ｊ番目のマクロブロックに対する量子化スケールコードは、次の式（１４）により表される。
【０１３２】
【数１４】
【０１３３】
但し、この式（１４）で示した“ｒ”はリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、次の式（１５）により与えられる。
【０１３４】
【数１５】
【０１３５】
なお、符号化開始時における仮想バッファの初期値は、次の式（１６）で与えられる。
【０１３６】
【数１６】
【０１３７】
続いて、ステップＳ４において、入力される画像圧縮情報（ビットストリーム）における、各マクロブロックの量子化スケールＱは、符号化時に、原画像の輝度信号画素値を用いて算出されるものである。そこで、まず、圧縮情報解析装置１２では、プリパーシングが行われる際に、当該フレーム内の各マクロブロックの量子化スケールＱ、及び符号量（ビット数）Ｂが抽出され、この抽出された量子化スケールＱ及び符号量（ビット数）Ｂが情報バッファ１６に格納される。これと同時に、圧縮情報解析装置１２では、当該フレーム全体のＱ、Ｂの平均値Ｅ（Ｑ）、Ｅ（Ｂ）、又は、その積の平均値Ｅ（ＱＢ）が予め算出され、これらの値が情報バッファ１６に格納される。
【０１３８】
また、符号量制御装置２１では、正規化アクティビティＮ＿ａｃｔは、情報バッファ１６に格納されたＱ，Ｂの情報に基づいて、次の式（１７）、式（１８）、式（１９）の内のいずれかの式によって表される。
【０１３９】
【数１７】
【０１４０】
【数１８】
【０１４１】
【数１９】
【０１４２】
このうち、式（１８）と式（１９）は等価処理となる。このように、ＤＣＴ領域において算出される正規化アクティビティＮ＿ａｃｔに基づいて適応量子化が行われる。そして、画質を信号雑音比（ｐＳＮＲ）で評価した場合には、式（１７）の方がより高画質となるが、主観画質は、式（１８）又は式（１９）で表されるものの方が良い。
【０１４３】
続いて、ステップＳ５において、まず、所定のマクロブロックに対する、入力される画像圧縮情報（ビットストリーム）における量子化値をＱ１、符号量制御装置２１において上記の方式により表された、出力される画像圧縮情報（ビットストリーム）に対する量子化値をＱ２とする。そして、画像情報変換装置１０は符号量（ビットレート）を削減するためのものであるから、Ｑ１＞Ｑ２となった場合には、一度粗く量子化されたマクロブロックが再量子化された結果より細かく量子化されたことになる。粗く量子化されたことによる歪みは、細かく再量子化されることでは低減されない。また、このマクロブロックに対してビットが多く使われることになるため、他のマクロブロックに割り当てられるビットの減少を招き、更なる画質劣化を引き起こす。このため、Ｑ１＞Ｑ２である場合には、Ｑ１＝Ｑ２とすることにする。
【０１４４】
即ち、Ｑ１＞Ｑ２である場合には、Ｑ１を出力し、一方、Ｑ１＞Ｑ２でない場合には、Ｑ２を出力するようにする。
【０１４５】
以上のような処理を経て再量子化された離散コサイン変換係数は、量子化装置１８から可変長符号化装置１９に供給される。
【０１４６】
可変長符号化装置１９は、量子化装置１８から供給される量子化された離散コサイン変換係数を、平均符号長が短くなるように符号化する。その際、可変長符号化装置１９は、離散コサイン変換係数の直流成分に関しては、１ブロック前の直流成分係数を予測値としてその差分を符号化し、その他の成分に関しては、予め設定された走査方式（ジグザグスキャン又はオルタネートスキャン）に基づいて１次元の配列データに並べ替えた後、連続する０係数の数（ラン）及び非０係数（レベル）のペアを事象とした可変長符号化を行う。
【０１４７】
そして、量子化装置１８は、ＤＣＴブロック内のスキャンを行っている際に、それ以降の係数の値が全て０となった場合には、ＥＯＢ（End Of Block）と呼ばれる符号を出力し、そのブロックに対する可変長符号化を終了する。
【０１４８】
なお、可変長符号化装置１９は、入力された高い符号量（高ビットレート）の画像圧縮情報のスキャン方式に関わらず、オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列してもよい。オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列するのは、以下の理由による。
【０１４９】
即ち、入力される画像圧縮情報（ビットストリーム）の所定のブロックの離散コサイン変換係数が、例えば、図１４（ａ）に示すようになっていたとする。図１４において、●で示す係数は非０係数であり、○で示す係数は０係数である。このような離散コサイン変換係数に対して離散コサイン変換係数の水平高周波成分を０としたとすると、非０係数の分布は例えば図１４（ｂ）に示すようになる。この図１４（ｂ）に示す水平高周波成分を０とした離散コサイン変換係数を、ジグザグスキャンで再符号化すると、最後の非０係数のスキャン番号は５０となる（図１０（ａ）参照）。それに対し、走査変換を行ってオルタネートスキャンで改めて符号化すると、最後の非０係数のスキャン番号は４４になる（図１０（ｂ）参照）。このことから、水平高周波成分を０とした離散コサイン変換係数に対して可変長符号化する場合には、オルタネートスキャン方式によりスキャンをすれば、ジグザグスキャンの場合よりも早いスキャン番号でＥＯＢ信号を設定することができる。そのため、量子化幅としてより細かな値を割り当てることができ、再量子化に伴う量子化歪みを低減することができる。
【０１５０】
そして、可変長符号化装置１９により可変長符号化された離散コサイン変換係数は符号バッファ２０に供給され、この符号バッファ２０に一時格納されたのち、ＭＰＥＧ−２に規定されたビットストリーム構造とされて、圧縮画像情報として出力される。
【０１５１】
つぎに、本発明を適用した第２の実施の形態画像情報変換装置１０における量子化行列切替装置１７を用いて行った測定結果を図１５に示し、また、このときに用いた測定と同条件での測定によりどの程度画質が向上するのかを輝度信号のｐＳＮＲにより表した測定結果を、図１６に示す。
【０１５２】
この場合に、入力される画像圧縮情報（ビットストリーム）については、イントラマクロブロック用及びインターマクロブロック用のそれぞれの量子化行列に、図６（ａ）、図６（ｃ）に示した量子化行列を用いる。従って、出力される画像圧縮情報（ビットストリーム）について用いられるイントラマクロブロック用の量子化行列は、図７に示すようになる。但し、インターマクロブロック用の量子化行列は、図６（ｃ）に示した量子化行列のままである。
【０１５３】
また、画像情報変換装置１０において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける輝度信号のｐＳＮＲにより表した測定結果の変化を表した図を、図１６に示す。
【０１５４】
この図１６に示すように、画像情報変換装置１０においては、量子化行列を切り替えることにより、Ｉピクチャについて、０．４ｄＢ程度の画質の向上があり、主観評価においても、図４において観測されていたフラッシュ現象が観測されなくなる。Ｉピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上している。
【０１５５】
次に、図１６に示した測定で、出力される画像圧縮情報（ビットストリーム）の各フレームに割り当てられた符号量（ビット）を測定した図を図１７に示す。
【０１５６】
画像情報変換装置１０では、図１７に示すように、量子化装置１８において用いる量子化行列を、インターマクロブロック用の量子化行列に切り替えることにより、高域成分が粗く量子化されるのが防止されている。
【０１５７】
以上述べたように、本発明を適用した第２の実施の形態である画像情報変換装置１０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１５８】
また、本発明を適用した第２の実施の形態である画像情報変換装置１０では、量子化装置１８において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１５９】
また、本発明を適用した第２の実施の形態である画像情報変換装置１０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置１７は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１６０】
なお、上述した画像情報変換装置１０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１６１】
つぎに、本発明を適用した第３の実施の形態について、図面を参照しながら説明する。
【０１６２】
本発明を適用した第３の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第２の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第３の実施の形態である画像情報変換装置を図１８に示す。
【０１６３】
なお、この画像情報変換装置３０を説明するにあたり、上記第２の実施の形態である画像情報変換装置１０と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０１６４】
量子化行列切替装置１７は、図１８に示すように、情報バッファ１６から取得した解析結果情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【０１６５】
具体的には、量子化行列切替装置１７は、情報バッファ１６に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ１６から取得する。そして、量子化行列切替装置１７は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置１７は、この切り替えたインターマクロブロック用の量子化行列を量子化装置１８に供給する。
【０１６６】
但し、量子化行列切替装置１７は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置１８に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【０１６７】
画像情報変換装置３０は、符号バッファ１１と、圧縮情報解析装置１２と、可変長復号化装置１３と、逆量子化装置１４と、加算器４０と、帯域制限装置１５と、情報バッファ１６と、量子化行列切替装置１７と、量子化装置１８と、可変長符号化装置１９と、符号バッファ２０と、符号量制御装置２１と、動き補償誤差補正装置５０とを備える。
【０１６８】
加算器４０は、逆量子化装置１４と帯域制限装置１５との間に設けられる。この加算器４０は、逆量子化装置１４が逆量子化して得られた離散コサイン変換係数から、動き補償誤差補正装置５０により生成された動き補償誤差補正係数を減算する。
【０１６９】
動き補償誤差補正装置５０は、逆量子化装置１４により逆量子化した離散コサイン変換係数を、量子化装置１８により再量子化する際に生じる動き補償誤差を補正する動き補償誤差補正係数を生成する。
【０１７０】
次に、動き補償誤差が生じる原因について説明する。
【０１７１】
まず、原画像の画素値をＯとし、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ1とし、再符号化後の低い符号量（低ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ2とする。そして、これら量子化幅Ｑ1及び量子化幅Ｑ2で復号された参照画像の画素値を、それぞれＬ（Ｑ1），Ｌ（Ｑ2）とする。
【０１７２】
インターマクロブロックの画素は、符号化時において、例えば図１８に示した画像情報変換装置３０の加算器４０により差分値“Ｏ−Ｌ（Ｑ1）”が計算され、この差分値“Ｏ−Ｌ（Ｑ1）”に離散コサイン変換が施される。このように符号化されたインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ1）”に逆離散コサイン変換が施され、この差分値“Ｏ−Ｌ（Ｑ1）”から動き補償により生成された参照画像“Ｌ（Ｑ1）”が減算され、原画像の画素値Ｏが復号される。
【０１７３】
一方、インターマクロブロックの画素は、図９に示した画像情報変換装置１０による符号量（ビットレート）の削減時において、逆量子化装置１４及び量子化装置１８により差分値“Ｏ−Ｌ（Ｑ1）”の量子化幅がＱ１からＱ２に変換される。このように符号量を削減したインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ2）”が量子化幅Ｑ2で符号化されたものと見なされて復号される。
【０１７４】
ここで、画像情報変換装置１０において量子化幅を変えて符号量を削減していることからＱ1＝Ｑ2は成立せず、インターマクロブロックの復号時に量子化誤差が生じる。従って、インターマクロブロックにより符号化がされているＰピクチャ、Ｂピクチャに、動き補償に伴う誤差が発生する。
【０１７５】
Ｐピクチャで生じた誤差は、以後このＰピクチャを参照画像とするＰピクチャやＢピクチャに伝播し、さらなる画質劣化に繋がる。このように、ＧＯＰの動き補償に伴う誤差の蓄積が原因で画質が劣化し、次のＧＯＰも先頭でまた良好な画質に戻るという現象（ドリフト）が発生する。
【０１７６】
この第３の実施の形態である画像情報変換装置３０の動き補償誤差補正装置５０では、動き補償誤差補正係数を生成し、逆量子化装置１４により逆量子化した離散コサイン変換係数から減算し、以上の動き補償誤差を補正している。
【０１７７】
続いて、この動き補償誤差補正装置５０について説明する。
【０１７８】
動き補償誤差補正装置５０は、逆量子化装置５１と、加算器５２と、逆離散コサイン変換装置５３と、ビデオメモリ５４と、動き補償予測装置５５と、離散コサイン変換装置５６とを備える。
【０１７９】
逆量子化装置５１は、量子化装置１８により再量子化された離散コサイン変換係数を、上記量子化装置１８で用いられた量子化行列に基づき逆量子化する。逆量子化装置５１により逆量子化された離散コサイン変換係数は、加算器５２に供給される。
【０１８０】
加算器５２は、逆量子化装置５１により逆量子化された離散コサイン変換係数から、加算器４０により動き補償誤差補正係数が減算された離散コサイン変換係数を減算し、逆離散コサイン変換装置５３に供給する。
【０１８１】
逆離散コサイン変換装置５３は、加算器５２から供給された離散コサイン変換係数に対して、逆離散コサイン変換を施す。逆離散コサイン変換を施して得らた結果は、動き補償誤差補正情報として、ビデオメモリ５４に格納される。
【０１８２】
動き補償予測装置５５は、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）内における動き補償予測モード情報（フィールド動き補償予測モード或いはフレーム動き補償予測モード、及び、前方向予測モード、後方向予測モード、或いは、双方向予測モード）及び、動きベクトル情報に基づき、ビデオメモリ５４内の動き補償誤差補正情報に対して動き補償を行う。動き補償がされたデータが、空間領域での誤差補正値となる。この誤差補正値は、離散コサイン変換装置５６に供給される。
【０１８３】
離散コサイン変換装置５６は、供給された誤差補正値に対して離散コサイン変換を施し、周波数領域での誤差補正値である動き補償誤差補正係数を生成する。この動き補償誤差補正係数は、加算器４０に供給される。
【０１８４】
そして、この加算器４０において、逆量子化装置１４により逆量子化された離散コサイン変換係数から、この動き補償誤差補正係数を減算することによって、動き補償に起因する誤差の補正がされる。
【０１８５】
以上のように構成された本発明を適用した第３の実施の形態である画像情報変換装置３０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。これとともに、画像情報変換装置３０では、動き補償誤差の蓄積に起因する画質劣化を生じさせずに、符号量を削減することができる。
【０１８６】
なお、上記動き補償誤差補正装置５０の逆離散コサイン変換装置５３及び離散コサイン変換装置５６では、文献”Ａ ｆａｓｔ ｃｏｍｐｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ”（ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．２５，ｎｏ．９ ｐｐ．１００４−１００９，１９７７）に示されているような高速アルゴリズムを適用することが可能である。
【０１８７】
また、逆離散コサイン変換装置５３及び離散コサイン変換装置５６では、帯域制限装置１５において水平高域成分の係数が０と置き換えられている場合、０と置き換えられている係数に対する逆離散コサイン変換及び離散コサイン変換を省くことで、回路規模及び演算処理量を削減することが可能である。
【０１８８】
さらに、画像における色差信号の劣化は、輝度信号の劣化に比べ、人間の目には分かり難いという特色を有しているため、上記の動き補償誤差補正を、輝度信号のみに適用することで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することもできる。また、Ｐピクチャにおける誤差はＢピクチャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝播しない。一方、Ｂピクチャには双方向予測モードを含み、多大なる演算処理量を要する。そこで、Ｐピクチャにのみ動き補償誤差補正を行うことで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することも考えられる。Ｂピクチャにおける処理を行わないことで、ビデオメモリ５４の容量を削減することも可能となる。
【０１８９】
以上述べたように、本発明を適用した第３の実施の形態である画像情報変換装置３０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１９０】
また、本発明を適用した第３の実施の形態である画像情報変換装置３０では、量子化装置１８において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１９１】
さらに、本発明を適用した第３の実施の形態である画像情報変換装置３０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置１７は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１９２】
なお、上述した画像情報変換装置３０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１９３】
【発明の効果】
以上説明したように、本発明に係る画像情報変換装置及び画像情報変換方法によれば、符号化手段又は量子化手段において用いる量子化行列を、イントラマクロブロック用の量子化行列からインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１９４】
また、本発明に係る画像情報変換装置及び画像情報変換方法によれば、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替手段に、記憶媒体を備えて、切替のための量子化行列を格納する必要がない。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態である画像情報変換装置のブロック構成図である。
【図２】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図である。
【図３】イントラマクロブロックを符号化するための量子化行列を示す図である。
【図４】本発明を適用した第１の実施の形態である画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図５】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける、輝度信号のｐＳＮＲにより表した測定結果の変化を表した図である。
【図６】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図７】出力する画像圧縮情報について用いられるイントラマクロブロック用の量子化行列を示す図である。
【図８】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図９】本発明を適用した第２の実施の形態である画像情報変換装置のブロック構成図である。
【図１０】可変長符号化をする際の離散コサイン変換係数のスキャン順序を示す図である。（ａ）はジグザグスキャンのスキャン順序を示す図であり、（ｂ）はオルタネートスキャンのスキャン順序を示す図である。
【図１１】第２の実施の形態である画像情報変換装置の帯域制限装置による離散コサイン変換係数の水平高周波成分の帯域制限例を説明する図である。（ａ）は輝度信号に対する離散コサイン変換係数の帯域制限例を示す図であり、（ｂ）は色差信号に対する離散コサイン変換係数の帯域制限例を示す図である。
【図１２】第２の実施の形態である画像情報変換装置の符号量制御装置の動作内容を示すフローチャートである。
【図１３】擬似ＧＯＰの構成を説明する図である。
【図１４】オルタネートスキャン方式により離散コサイン変換係数をスキャンすることを説明する図である。（ａ）は帯域制限まえの離散コサイン変換係数を示す図であり、（ｂ）は帯域制限後の離散コサイン変換係数を示す図である。
【図１５】本発明を適用した第２の実施の形態である画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１６】本発明を適用した第２の実施の形態である画像情報変換装置において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける、輝度信号のｐＳＮＲにより表した測定結果の変化を表した図である。
【図１７】本発明を適用した第２の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図１８】本発明を適用した第３の実施の形態である画像情報変換装置のブロック構成図である。
【図１９】従来の画像情報変換装置のブロック構成図である。
【図２０】従来の画像情報変換装置のブロック構成図である。
【図２１】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２２】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２３】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図２４】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２５】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【符号の説明】
１ 画像情報変換装置、２ 画像情報復号装置、３ 付加情報バッファ、４ 量子化行列切替装置、５ 画像情報符号化装置、１０ 画像情報変換装置、１１符号バッファ、１２ 圧縮情報解析装置、１３ 可変長復号化装置、１４ 逆量子化装置、１５ 帯域制限装置、１６ 情報バッファ、１７ 量子化行列切替装置、１８ 量子化装置、１９ 可変長符号化装置、２０ 符号バッファ、２１符号量制御装置
【発明の属する技術分野】
本発明は、圧縮された画像情報のビットレートを変換する画像情報変換装置及び画像情報変換方法に関するものである。
【０００２】
【従来の技術】
近年、画像情報をデジタルデータとして取り扱い、そのデジタルデータに対して画像情報特有の冗長性を利用した直交変換と動き補償により圧縮を行い、衛星放送やケーブルテレビジョン等のネットワークメディアへ伝送や、光ディスクや磁気ディスク等のストレージメディアへの記録を行う装置が普及している。このような装置では、一般に、画像圧縮方式に、離散コサイン変換を用いたＭＰＥＧ−２（Moving Picture Experts Group phase - 2）が用いられている。
【０００３】
また、近年、このＭＰＥＧ−２等の画像圧縮方式を用いたデジタルテレビジョン放送の規格化が進められている。デジタルテレビジョン放送の規格には、標準解像度画像（例えば垂直方向の有効ライン数が５７６本）に対応した規格、高解像度画像（例えば垂直方向の有効ライン数が１１５２本）に対応した規格等がある。
【０００４】
ところで、この高解像度画像の画像情報は膨大であり、ＭＰＥＧ−２等の符号化方式を用いて圧縮しても、十分な画質を得るためには多くの符号量（ビットレート）が必要となる。例えば、画枠が１９２０画素×１０８０画素の３０Ｈｚの飛び越し走査画像の場合には、１８〜２２Ｍｂｐｓ程度或いはそれ以上の符号量を必要とする。
【０００５】
そのため、例えば衛星放送やケーブルテレビジョン等のネットワークメディアへこのような高解像度画像を伝送する場合には、伝送経路のバンド幅に合わせて更に符号量の削減をしなければならない。同様に、光ディスクや磁気ディスク等のストレージメディアへこのような高解像度画像を記録する場合にも、メディアの記録容量に合わせて、更に符号量の削減をしなければならない。また、このような符号量の削減の必要性は、高解像度画像のみならず、標準解像度画像（例えば画枠が７２０画素×４８０画素の３０Ｈｚの飛び越し走査画像等）でも生じることが考えられる。
【０００６】
かかる問題を解決する手段としては、階層符号化（スケーラビリティ）、又は画像情報変換（トランスコーディング）等がある。ＭＰＥＧ−２では、前者について、ＳＮＲスケーラビリティが標準化されており、これを用いて、高ＳＮＲの画像圧縮情報（ビットストリーム）と低ＳＮＲの画像圧縮情報（ビットストリーム）を階層的に符号化している。しかしながら、階層符号化を行うためには、符号化の時点で、バンド幅又は記憶容量等の所定の値が既知である必要があるが、実際のシステムにおいては、未知であることが多い。従って、後者の方が、実際のシステムに則した、より自由度の高い方式であると言える。
【０００７】
そして、この後者の画像情報変換（トランスコーディング）を用いた従来の画像情報変換装置（トランスコーダ）では、入力となる画像圧縮情報（ビットストリーム）を復号又は部分復号する復号化部と、この復号化部の出力を再符号化する符号化部とが並列接続され、空間領域又は周波数領域の２つの領域で画像情報が復号化部から符号化部へ供給されている。
【０００８】
前者の空間領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、演算処理量は大きいが、出力となる画像圧縮情報（ビットストリーム）の復号化画像の劣化を抑えることが可能で、主として放送用機器等のアプリケーションに用いられている。一方、後者の周波数領域で画像情報が復号化部から符号化部へ供給されている従来の画像情報変換装置は、前者の画像情報変換装置に比べて、若干の画質劣化を引き起こすものの、より少ない演算処理量での実現が可能で、主として民生用機器のアプリケーションに用いられている。
【０００９】
つぎに、これら空間領域又は周波数領域のそれぞれの領域で用いられる従来の画像情報変換装置について、図面を参照しながら説明する。
【００１０】
最初に、空間領域で用いられる従来の画像情報変換装置について説明する。この空間領域で用いられる従来の画像情報変換装置を図１９に示す。
【００１１】
従来の画像情報変換装置１００は、この図１９に示すように、画像情報復号装置１０１と、付加情報バッファ１０２と、画像情報符号化装置１０３とを備える。
【００１２】
この従来の画像情報変換装置１００は、一般に画像圧縮情報（ビットストリーム）の持つ符号量を削減する装置であり、画像情報復号装置１０１から画像情報符号化装置１０３への画像情報の供給を、空間領域で行う。
【００１３】
まず、従来の画像情報変換装置１００では、画像情報復号装置１０１は、高ビットレートの画像圧縮情報が入力される。この画像情報復号装置１０１は、高ビットレートの画像圧縮情報を一旦完全に復号し、ベースバンドのビデオデータを出力する。これと同時的に、付加情報バッファ１０２は、画像情報復号装置１０１が復号化の際に用いた情報（以下、付加情報という。）を当該画像情報復号装置１０１から供給され、この供給された付加情報を記憶する。
【００１４】
なお、この付加情報には、例えば、動きベクトル、予測モード、ＤＣＴモード、量子化スケールコード等のマクロブロック毎の情報、及び、ＧＯＰヘッダ（Groupe of Picture Header）、ピクチャヘッダ（Picture Header）、シーケンスヘッダ（Sequence Header）、シーケンス表示拡張部（Sequence Display Extension）ピクチャ符号化機能拡張部（Picture Coding Extension ）、量子化マトリックス拡張部（Quantization Matrix Extension）、ピクチャ表示拡張部（Picture Display Extension）等の、より上位の階層に関する情報がある。
【００１５】
そして、画像情報符号化装置１０２は、予め、入力された画像圧縮情報の符号量（高ビットレート）より低い目標符号量（ターゲットビットレート）が与えられていて、この目標符号量と、付加情報バッファ１０２から取得した付加情報とに基づいて、符号化処理を行う。即ち、画像情報符号化装置１０３は、この目標符号量と付加情報とに基づいて、画像情報復号装置１０１の出力として得られるベースバンドのビデオデータを再符号化し、低ビットレートの画像圧縮情報を出力する。このように、画像情報符号化装置１０３は、付加情報バッファ１０２に記憶された付加情報を利用することにより、再符号化に伴う演算処理量の増大や画質劣化等を低減することができる。
【００１６】
例えば、一般的に画像情報を符号化する場合には、動きベクトル探索に多大なる演算処理量を要するが、従来の画像情報変換装置１００では、付加情報バッファ１０２に記憶された各マクロブロック毎の動きベクトル及び予測モードを用いることにより、動きベクトル探索を行うことなく符号化処理を行うことができる。
【００１７】
つぎに、周波数領域で用いられる従来の画像情報変換装置について説明する。この周波数領域で用いられる従来の画像情報変換装置を図２０に示す。
【００１８】
従来の画像情報変換装置１１０は、この図２０に示すように、符号バッファ１１１と、圧縮情報解析装置１１２と、可変長復号化装置１１３と、逆量子化装置１１４と、帯域制限装置１１５と、量子化装置１１６と、情報バッファ１１７と、可変長符号化装置１１８と、符号バッファ１１９と、符号量制御装置１２０とを備える。
【００１９】
符号バッファ１１１は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１１は、蓄積された画像圧縮情報を、圧縮情報解析装置１１２に供給する。
【００２０】
圧縮情報解析装置１１２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ１１１から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報（以下、解析結果情報という。）を抽出し、この抽出した解析結果情報を可変長復号化装置１１３及び情報バッファ１１７に供給する。この圧縮情報解析装置１１２は、上記解析結果情報の中でも、特に、後述する符号量制御装置１２０における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ１１７に供給する。
【００２１】
可変長復号化装置１１３は、圧縮情報解析装置１１２から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置１１３は、圧縮情報解析装置１１２により抽出された解析結果情報に含まれる走査方式（ジグザグスキャン若しくはオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置１１３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置１１４に供給する。
【００２２】
逆量子化装置１１４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置１１４は、この逆量子化された離散コサイン変換係数を、帯域制限装置１１５に供給する。
【００２３】
帯域制限装置１１５は、逆量子化装置１１４から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。そして、帯域制限装置１１５は、この帯域制限を行った離散コサイン変換係数を、量子化装置１１６に供給する。
【００２４】
量子化装置１１６は、帯域制限装置１１５から供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。
【００２５】
情報バッファ１１７は、圧縮情報解析装置１１２から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ１１７は、この記憶した解析結果情報を、符号量制御装置１２０に供給する。
【００２６】
可変長符号化装置１１８は、量子化装置１１６から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ１１９に供給する。
【００２７】
符号バッファ１１９は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１９では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１９は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置１２０に供給する。
【００２８】
符号量制御装置１２０は、可変長符号化装置１１８により可変長符号化された後の画像圧縮情報が符号バッファ１１９においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ１１７から取得する解析結果情報とに基づいて、量子化装置１１６において用いられる量子化行列の量子化幅の制御を行う。
【００２９】
以上のように構成された画像情報変換装置１１０では、逆量子化装置１１４は、可変長復号化装置１１３から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置１１５に供給する。そして、量子化装置１１６は、逆量子化装置１１４から帯域制限装置１１５を介して供給された８×８離散コサイン変換係数を、符号量制御装置１２０により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置１１６は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１１８に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ１１９から出力される。
【００３０】
【発明が解決しようとする課題】
ところで、ＣＣＩＲ（International Radio Consultative Committee）テストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、Ｔｅｓｔ Ｍｏｄｅｌ ５に準拠したＭＰＥＧ−２対応の画像情報符号化装置（以下、ＭＰＥＧ−２画像情報符号化装置という。）によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号の信号雑音比（以下、ｐＳＮＲという。）の各フレーム毎の遷移を、図２１に示す。
【００３１】
ここで、符号化の条件は、ビットレートが６Ｍｂｐｓで、ＧＯＰ（Group of Pictures）の構成が、Ｎ＝１５，Ｍ＝３である。なお、上記Ｎは、ＧＯＰ内のピクチャ枚数であり、上記Ｍは、Ｉピクチャ又はＰピクチャが現れる周期である。
【００３２】
このとき、各フレーム毎の原画像との平均二乗誤差をＭＳＥとすれば、ｐＳＮＲは、次式（１）で表される。
【００３３】
【数１】
そして、図２１では、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、高いｐＳＮＲを示している。これは、ＭＰＥＧ−２画像情報符号化装置において、Ｉピクチャは、目標符号量（ターゲットビット）が、Ｐピクチャ又はＢピクチャと比べて高く設定されているためである。従って、Ｉピクチャの画質が向上すると、これを参照して構成されるＰピクチャ又はＢピクチャの画質も向上する。
【００３５】
一方、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、符号量制御を行わず、バッファのオーバーフロー及び／又はアンダーフローは考慮しないで、量子化値を１に固定して、ＭＰＥＧ−２画像情報符号化装置によって符号化した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、図２２に示す。
【００３６】
この図２２では、図２１の場合とは反対に、例えば３，９，１５等のフレーム番号からなるＩピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、低いｐＳＮＲを示している。即ち、Ｉピクチャは、近隣のＰピクチャ又はＢピクチャと比較して、画質が低くなっている。
【００３７】
これは、ＭＰＥＧ−２画像情報符号化装置において用いられる量子化行列に起因するものである。即ち、ＭＰＥＧ−２画像情報符号化装置では、イントラマクロブロック、インターマクロブロックのそれぞれに対して、それぞれ図２３（ａ）、図２３（ｂ）に示したような量子化行列がデフォルト値で定義されているため、イントラマクロブロックは、図２３（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、図２２に示すように、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００３８】
なお、実用上用いられているＭＰＥＧ−２画像情報符号化装置では、図２３（ｂ）で定められている量子化行列に代えて、Ｔｅｓｔ Ｍｏｄｅｌ ５で定められている図２３（ｃ）の量子化行列が一般に用いられる。また、図２１，図２２，図２４，図２５に示した実験結果は、全て、イントラマクロブロック用、インターマクロブロック用の量子化行列として、それぞれ図２３（ａ）、図２３（ｃ）に示したものが用いられたものである。
【００３９】
また、ＣＣＩＲテストシーケンス「Ｍｏｂｉｌｅ＆Ｃａｌｅｎｄａｒ」を、６Ｍｂｐｓに圧縮した画像圧縮情報（ビットストリーム）を入力とし、図１９若しくは図２０に示した画像情報変換装置を用いて、更なる符号量（ビットレート）の削減を行い、４Ｍｂｐｓとして出力した画像圧縮情報（ビットストリーム）の復号画像の原画像に対する輝度信号のｐＳＮＲの各フレーム毎の遷移を、それぞれ図２４及び図２５に示す。
【００４０】
図２４に示す結果は、図１９における付加情報バッファ１０２を用いないで、画像情報復号装置１０１と画像情報符号化装置１０３をそれぞれ独立に動作させ、動きベクトルの再計算を行って得られたものである。
【００４１】
また、図２５に示す結果は、図２０における帯域制限装置１１５での高域周波数成分の削減は行わず、動き補償誤差の補正は、Ｐピクチャ及びＢピクチャともに８×８の離散コサイン変換係数全ての成分に対して行い、図２１に示したフイードフォワードバッファの容量として、１５フレーム分を確保したものである。そして、正規化アクティビティＮ＿ａｃｔは、次式（２）で表される。
【００４２】
【数２】
ここで、図２４及び図２５における画質の傾向としては、上述した図２２に示したものと同様であり、例えば１８，３３，４８等のフレーム番号からなるＩピクチャの画質は、近隣のＰピクチャ又はＢピクチャと比較して、低くなっている。
【００４４】
このような原因としては、上述した図２２に示した実験結果と同様のことが言える。即ち、上述した符号量制御装置１２０の作用により、図２４及び図２５に示した実験においても、イントラマクロブロックは、図２３（ａ）に示した量子化行列で２度量子化されている。従って、Ｉピクチャは、Ｐピクチャ又はＢピクチャと比較して、より多くの符号量（ビット）が割り当てられているにもかかわらず、高域成分における再量子化歪みが大きくなっている。
【００４５】
このように、Ｉピクチャにより多くの符号量（ビット）を割り当てるという正の効果よりも、イントラマクロブロックに対する再量子化歪みという負の効果の方が、相対的に大きなものであるため、図２４及び図２５においては、Ｉピクチャの画質が低くなっている。主観的にも、Ｉピクチャでの画質の劣化が１５フレーム（０．５秒）に一度、フラッシュ現象として観測される。さらに、このようなことは、Ｉピクチャを参照して構成されるＰピクチャ及びＢピクチャの画質の向上を妨げる原因ともなっている。
【００４６】
そこで、本発明は、このような実情に鑑みてなされたものであり、Ｉピクチャにおける再量子化に伴う画質劣化を低減することにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質劣化を低減する画像情報変換装置及び画像情報変換方法を提供することを目的とするものである。
【００４７】
【課題を解決するための手段】
上述の目的を達成するために、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成する復号手段と、上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、上記量子化行列切替手段により切り替えられた量子化行列、予め与えられた所定の目標符号量に基づいて、上記復号手段により生成された動画像情報を直交変換して上記第２の画像圧縮情報に符号化する符号化手段とを備え、上記符号化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを量子化することを特徴とする。
【００４９】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記画像圧縮情報解析手段に入力された第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、上記逆量子化手段により逆量子化された直交変換係数の水平方向の高周波成分の値のみを制限する帯域制限手段と、上記帯域制限手により直交変換係数の水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化する量子化手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段とを備え、上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することを特徴とする。
【００５１】
また、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成し、上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、切り替えられた上記量子化行列、予め与えられた所定の目標符号量に基づいて、上記動画像情報を直交変換して上記第２の画像圧縮情報に符号化する際に、切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを再量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを再量子化することを特徴とする。
【００５３】
さらに、本発明は、フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、逆量子化された上記直交変換係数の水平方向の高周波成分の値のみを制限し、水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化するにあたり、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成することを特徴とする。
【００５５】
【発明の実施の形態】
以下、本発明を適用した第１の実施の形態について、図面を参照しながら説明する。
【００５６】
本発明を適用した第１の実施の形態である画像情報変換装置は、例えばＭＰＥＧ−２（Moving Picture Experts Group phase - 2）方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第１の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、空間領域で行われている。本発明を適用した第１の実施の形態である画像情報変換装置を図１に示す。なお、ＭＰＥＧ−２とは、飛び越し走査画像及び順次走査画像、並びに、標準解像度画像及び高解像度画像の双方に対応した画像情報の圧縮方式をいう。
【００５７】
画像情報変換装置１は、この図１に示すように、画像情報復号装置２と、付加情報バッファ３と、量子化行列切替装置４と、画像情報符号化装置５とを備える。この画像情報変換装置１は、一般に、画像圧縮情報（ビットストリーム）の持つ符号量を削減する装置であり、画像情報復号装置２から画像情報符号化装置５への画像情報の供給を、空間領域で行う。
【００５８】
画像情報復号装置２は、高ビットレートの画像圧縮情報が入力され、この入力された高ビットレートの画像圧縮情報を一旦完全に復号し、この復号した結果得られたベースバンドのビデオデータを、画像情報符号化装置５に供給する。また、この処理と同時的に、画像情報復号装置２は、入力された高ビットレートの画像圧縮情報に対する復号処理に用いた付加情報を、付加情報バッファ３に供給する。
【００５９】
なお、この付加情報には、例えば、動きベクトル、予測モード、ＤＣＴモード、量子化スケールコード等のマクロブロック毎の情報、及び、ＧＯＰヘッダ（Groupe of Picture Header）、ピクチャヘッダ（Picture Header）、シーケンスヘッダ（Sequence Header）、シーケンス表示拡張部（Sequence Display Extension）ピクチャ符号化機能拡張部（Picture Coding Extension ）、量子化マトリックス拡張部（Quantization Matrix Extension）、ピクチャ表示拡張部（Picture Display Extension）等の、より上位の階層に関する情報がある。
【００６０】
付加情報バッファ３は、画像情報復号装置２から供給された付加情報を記憶する。具体的には、付加情報バッファ３は、画像情報復号装置２が用いたイントラマクロブロック用及びインターマクロブロック用の２つの量子化行列に関する情報を、当該画像情報復号装置２から供給され、そして記憶する。即ち、ここでは、付加情報には、図２（ａ）に示すようなイントラマクロブロック用の量子化行列に関する情報と、図２（ｂ）に示すようなインターマクロブロック用の量子化行列に関する情報とが含まれるものとする。
【００６１】
そして、付加情報バッファ３は、これら供給された２つの量子化行列に関する情報のうち、インターマクロブロック用の量子化行列に関する情報のみを、量子化行列切替装置４からの制御情報に応じて、量子化行列切替装置４に供給する。
【００６２】
量子化行列切替装置４は、付加情報バッファ３から取得した付加情報に基づいて、画像情報復号装置２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える。
【００６３】
具体的には、量子化行列切替装置４は、付加情報バッファ３に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該付加情報バッファ３から取得する。そして、量子化行列切替装置４は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、画像情報復号装置２に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置４は、この切り替えたインターマクロブロック用の量子化行列を画像情報符号化装置５に供給する。
【００６４】
但し、量子化行列切替装置４は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を画像情報符号化装置５に供給する。これは、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００６５】
画像情報符号化装置５は、予め、入力された画像圧縮情報の符号量（高ビットレート）より低い目標符号量（ターゲットビットレート）が与えられていて、この目標符号量と、付加情報バッファ３から取得した付加情報と、量子化行列切替装置４から供給された量子化行列とに基づいて、符号化処理を行う。即ち、画像情報符号化装置５は、この目標符号量と付加情報と量子化行列に基づいて、画像情報復号装置２から供給されたベースバンドのビデオデータを再符号化し、低ビットレートの画像圧縮情報を出力する。
【００６６】
例えば、画像情報符号化装置５は、上記目標符号量と付加情報と量子化行列切替装置４により切り替えられたインターマクロブロック用の量子化行列とに基づいて、イントラマクロブロックを量子化する。また、画像情報符号化装置５は、上記目標符号量と付加情報と画像情報復号装置２が入力された高ビットレートの画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列とに基づいて、インターマクロブロックを量子化する。
【００６７】
以上のように構成された画像情報変換装置１では、画像情報復号装置２に入力された高ビットレートの画像圧縮情報は、この画像情報復号装置２で一旦完全に復号されて、ベースバンドのビデオデータとして画像情報符号化装置５に供給される。そして、画像情報符号化装置５に供給されたベースバンドのビデオデータは、この画像情報符号化装置５で、目標符号量と付加情報と量子化行列とに基づいて再符号化され、低ビットレートの画像圧縮情報として出力される。
【００６８】
つぎに、本発明を適用した第１の実施の形態である画像情報変換装置１における量子化行列切替装置４を用いて行った測定結果を図４に示し、また、このときに用いた測定と同条件での測定によりどの程度画質が向上するのかを輝度信号のｐＳＮＲにより表した測定結果を、図５に示す。
【００６９】
この場合に、入力される画像圧縮情報（ビットストリーム）については、イントラマクロブロック用及びインターマクロブロック用のそれぞれの量子化行列に、図６（ａ）、図６（ｃ）に示した量子化行列を用いる。従って、出力される画像圧縮情報（ビットストリーム）について用いられるイントラマクロブロック用の量子化行列は、図７に示すようになる。但し、インターマクロブロック用の量子化行列は、図６（ｃ）に示した量子化行列のままである。
【００７０】
また、画像情報変換装置１において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける輝度信号のｐＳＮＲにより表した測定結果の変化を表した図を、図５に示す。
【００７１】
この図５に示すように、画像情報変換装置１においては、量子化行列を切り替えることにより、Ｉピクチャについて、１．０〜３．０ｄＢ程度の大幅な画質の向上があり、主観評価においても、図４において観測されていたフラッシュ現象が観測されなくなる。Ｉピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上している。
【００７２】
次に、図５に示した測定で、出力される画像圧縮情報（ビットストリーム）の各フレームに割り当てられた符号量（ビット）を測定した図を図８に示す。
【００７３】
画像情報変換装置１では、図８に示すように、画像情報符号化装置５において用いる量子化行列を、インターマクロブロック用の量子化行列に切り替えることにより、高域成分が粗く量子化されるのが防止されるのと同時に、より多くの符号（ビット）がＩピクチャに割り当てられ、その分Ｐピクチャにより少ない符号（ビット）が割り当てられ、これによってＩピクチャの画質が向上し、さらに、これに基づいて構成されるＰピクチャ及びＢピクチャの画質が向上している。
【００７４】
以上述べたように、本発明を適用した第１の実施の形態である画像情報変換装置１では、画像情報符号化装置５において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【００７５】
また、本発明を適用した第１の実施の形態である画像情報変換装置１では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置４は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【００７６】
なお、上述した画像情報変換装置１では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【００７７】
つぎに、本発明を適用した第２の実施の形態について、図面を参照しながら説明する。
【００７８】
本発明を適用した第２の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第２の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第２の実施の形態である画像情報変換装置を図９に示す。
【００７９】
画像情報変換装置１０は、この図９に示すように、符号バッファ１１と、圧縮情報解析装置１２と、可変長復号化装置１３と、逆量子化装置１４と、帯域制限装置１５と、情報バッファ１６と、量子化行列切替装置１７と、量子化装置１８と、可変長符号化装置１９と、符号バッファ２０と、符号量制御装置２１とを備える。
【００８０】
符号バッファ１１は、多くの符号量（高ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ１１では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ１１は、蓄積された画像圧縮情報を、圧縮情報解析装置１２に供給する。
【００８１】
圧縮情報解析装置１２は、ＭＰＥＧ−２で規定された構文（シンタクス）に基づいて、符号バッファ１１から供給された画像圧縮情報（ビットストリーム）の中から後述する各処理に必要な情報を抽出し、この抽出した情報（以下、解析結果情報という。）を可変長復号化装置１３及び情報バッファ１６に供給する。この圧縮情報解析装置１２は、上記解析結果情報の中でも、特に、後述する符号量制御装置２１における処理に必要となる、ピクチャ符号化タイプ情報（picture_coding_type）や、各マクロブロック毎の量子化値に関する情報である量子化スケール情報（q_scale）等を、情報バッファ１６に供給する。
【００８２】
可変長復号化装置１３は、圧縮情報解析装置１２から供給された画像圧縮情報のイントラマクロブロックの直流成分に対しては隣のブロックとの差分値として符号化されているデータを可変長復号し、その他の係数に対してはランとレベルにより符号化されたデータを可変長復号することにより、量子化された一次元の離散コサイン変換係数を得る。そして、可変長復号化装置１３は、圧縮情報解析装置１２により抽出された解析結果情報に含まれる走査方式（図１０（ａ）に示すジグザグスキャン若しくは図１０（ｂ）に示すオルタネートスキャン）に関する情報に基づき、一次元配列された離散コサイン変換係数を逆スキャンして、量子化された二次元の離散コサイン変換係数に再配列する。可変長復号化装置１３は、二次元配列及び量子化された離散コサイン変換係数を、逆量子化装置１４に供給する。
【００８３】
逆量子化装置１４は、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づき、二次元配列及び量子化された離散コサイン変換係数を逆量子化する。逆量子化装置１４は、この逆量子化された離散コサイン変換係数を、帯域制限装置１５に供給する。
【００８４】
帯域制限装置１５は、逆量子化装置１４から供給された離散コサイン変換係数に対して、ＤＣＴブロック毎に、水平方向高周波成分係数の帯域制限を行う。
【００８５】
図１１に、帯域制限装置１５における水平方向高周波成分の帯域制限処理の一例を示す。例えば、帯域制限装置１５は、輝度信号に関しては、図１１（ａ）に示すように８×８の離散コサイン変換係数のうち、水平方向低域成分である８×６係数のみの値を保存し、残りを０と置きかえる。また、帯域制限装置１５は、色差信号に関しては、図１１（ｂ）に示すように、８×８の離散コサイン変換係数のうち、水平方向低域成分である８×４係数のみの値を保存し、残りを０と置きかえる。このように離散コサイン変換係数の高周波成分を帯域制限することで、周波数領域において符号量（ビットレート）の削減をすることができる。
【００８６】
また、入力となる画像圧縮情報（ビットストリーム）が、飛び越し走査画像のものである場合には、フィールド間の時間差に関する情報を、離散コサイン変換係数の垂直方向高域成分が含むことになる。そのため、垂直方向の離散コサイン変換係数の帯域制限を行うことは大幅な画質劣化に繋がる。従って、この帯域制限装置１５では、垂直方向の帯域制限は行わない。
【００８７】
さらに、この帯域制限装置１５では、劣化がより人間の目に付きやすい輝度信号に比べ、より人間の目に付きにくい色差信号に対して、より大きく帯域制限を行っている。このことにより、この帯域制限装置１５では、画質劣化を最小限に抑えながら、再量子化の歪みを低減することができる。なお、削減する符号量（ビットレート）が少ない場合や回路的な制限がある場合等は、輝度信号と色差信号との帯域制限を同一にしてもよい。
【００８８】
さらにまた、帯域制限装置１５における水平方向の離散コサイン変換係数の帯域制限処理は、この図１１に示したような係数を０と置く処理に限らない。例えば、０と置き換える代わりに、予め用意した重み係数を離散コサイン変換の水平方向高域成分に乗じることで同様に符号量（ビットレート）を削減することが可能である。
【００８９】
帯域制限装置１５は、上述したような帯域制限を行った離散コサイン変換係数を、量子化装置１８に供給する。
【００９０】
情報バッファ１６は、圧縮情報解析装置１２から供給された、例えばピクチャ符号化タイプ情報（picture_coding_ type）や量子化スケール情報（q_scale）等の解析結果情報を、記憶する。そして、情報バッファ１６は、この記憶した解析結果情報を、量子化行列切替装置１７及び符号量制御装置２１に供給する。
【００９１】
量子化行列切替装置１７は、情報バッファ１６から取得した解析結果情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【００９２】
具体的には、量子化行列切替装置１７は、情報バッファ１６に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ１６から取得する。そして、量子化行列切替装置１７は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置１７は、この切り替えたインターマクロブロック用の量子化行列を量子化装置１８に供給する。
【００９３】
但し、量子化行列切替装置１７は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置１８に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【００９４】
量子化装置１８は、帯域制限装置１５から供給された８×８離散コサイン変換係数を、量子化行列切替装置１７から供給された量子化行列と、以下に説明するような符号量制御装置２１により制御される、出力される画像圧縮情報（ビットストリーム）の目標符号量（ターゲットビットレート）に応じた量子化幅とに基づいて、量子化を行う。そして、量子化装置１８は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１９に供給する。
【００９５】
例えば、量子化装置１８は、量子化行列切替装置１７により切り替えられたインターマクロブロック用の量子化行列と上記量子化幅とに基づいて、イントラマクロブロックを量子化する。また、量子化装置１８は、逆量子化装置１４が入力された高ビットレートの画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記量子化幅とに基づいて、インターマクロブロックを量子化する。
【００９６】
可変長符号化装置１９は、量子化装置１８から供給された量子化済の離散コサイン変換係数の可変長符号化を行い、この可変長符号化が行われた離散コサイン変換係数を符号バッファ２０に供給する。
【００９７】
符号バッファ２０は、出力する低ビットレートの画像圧縮情報の情報量を一定にするためのバッファメモリであり、少ない符号量（低ビットレート）の画像圧縮情報（ビットストリーム）が入力され、この入力された画像圧縮情報を蓄積する。この符号バッファ２０では、ＭＰＥＧ−２で規定されたＶＢＶ（Video Buffer Verifier）の拘束条件を満たすように符号化された画像圧縮情報（ビットストリーム）が蓄積されているので、オーバーフロー及び／又はアンダーフローが起きることはない。そして、符号バッファ２０は、蓄積された画像圧縮情報を、出力するとともに、符号量制御装置２１に供給する。
【００９８】
符号量制御装置２１は、可変長符号化装置１９により可変長符号化された後の画像圧縮情報が符号バッファ２０においてオーバーフロー及び／又はアンダーフローを起こさないように、予め与えられた目標符号量（ターゲットビットレート）と、情報バッファ１６から取得する解析結果情報とに基づいて、量子化装置１８において用いられる量子化行列の量子化幅の制御を行う。
【００９９】
以上のように構成された画像情報変換装置１では、逆量子化装置１４は、可変長復号化装置１３から供給された二次元配列及び量子化された離散コサイン変換係数を、解析結果情報に含まれる量子化幅及び量子化行列に関する情報に基づいて逆量子化し、この逆量子化した離散コサイン変換係数を帯域制限装置１５に供給する。そして、量子化装置１８は、逆量子化装置１４から帯域制限装置１５を介して供給された８×８離散コサイン変換係数を、量子化行列切替装置１７から供給された量子化行列と、符号量制御装置２１により制御された量子化幅とに基づいて、量子化を行う。そして、量子化装置１８は、この量子化を行った離散コサイン変換係数を、可変長符号化装置１９に供給する。このように処理されることにより、低ビットレートの画像圧縮情報が符号バッファ２０から出力される。
【０１００】
つぎに、符号量制御装置２１における処理について、詳しく説明する。
【０１０１】
ＭＰＥＧ−２に対応した画像情報符号化装置において適用されるＭＰＥＧ−２Ｔｅｓｔ Ｍｏｄｅｌ ５（ＩＳＯ／ＩＥＣ ＪＴＣ１／ＳＣ２９／ＷＧ１１Ｎ０４００）で用いられている手法では、まず、ＧＯＰを構成する各ピクチャ（Ｉピクチャ，Ｐピクチャ，Ｂピクチャ）に対する割当ビット量は、割当て対象ピクチャを含め、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量に基づいて配分される。次に、この配分された各ピクチャに対する割当てビット量を実際の符号量と一致させるために、量子化スケールコードは、各ピクチャ毎に独立に設定した３種類の仮想バッファの記憶容量に基づいて、マクロブロック単位のフィードバック制御により求められる。次に、この求められた量子化スケールコードを、視覚的に劣化の目立ちやすい平坦部でより細かく量子化し、劣化の比較的目立ちにくい絵柄の複雑な部分でより粗く量子化するように、各マクロブロック毎のアクテイビティによって変化させる。
【０１０２】
このように、本発明を適用した実施の形態である画像情報変換装置１０も、このＴｅｓｔ Ｍｏｄｅｌ ５で定められた方式に準じたアルゴリズムによって符号量制御が行われている。
【０１０３】
しかしながら、この手法を、図９に示した画像情報変換装置１０の符号化部にそのまま適用すると、以下の２つの問題が生じる。
【０１０４】
まず、第１の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最初に処理される内容に関する問題である。即ち、ＭＰＥＧ−２に対応した画像情報変換装置では、予めＧＯＰの構造が与えられており、これに基づいて上記最初の処理を行うことができるのに対し、図９に示した画像情報変換装置１０では、ＧＯＰの構造は、入力される画像圧縮情報（ビットストリーム）の内の１ＧＯＰ分の情報の全てを構文（シンタクス）解析することにより既知となる。このＧＯＰの長さは一定であるとは限らず、ＭＰＥＧ−２対応の画像情報変換装置では、シーンチェンジを検出し、それに応じて適応的にＧＯＰの長さを画像圧縮情報（ビットストリーム）中で制御するというものも存在する。
【０１０５】
また、第２の問題は、上述したＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で用いられている手法において、最後に処理される内容に関する問題である。即ち、ＭＰＥＧ−２対応の画像情報変換装置では、アクティビティを、原画像の輝度信号画素値を用いて算出している。しかしながら、図９に示した画像情報変換装置１０では、ＭＰＥＧ−２対応の画像圧縮情報（ビットストリーム）を入力としているため、原画像の輝度信号画素値を知ることは不可能である。
【０１０６】
そこで、上記第１の問題を解決する方法としては、以下に説明するような擬似ＧＯＰを定義し、これに基づいて符号量制御を行う方法がある。ここで、この擬似ＧＯＰとは、１つのＩピクチャ、及び複数のＰピクチャ及びＢピクチャから構成される擬似的なＧＯＰをいう。この擬似ＧＯＰの長さは可変であり、画像圧縮情報（ビットストリーム）中で、どのようにＩピクチャを検出するのかに依存する。
【０１０７】
以下、上記第１の問題及び第２の問題を解決する方法を含めた符号量制御装置２１における一連の処理の流れを、図１２に示すフローチャートに従って説明する。
【０１０８】
まず、図１２のステップＳ１において、情報バッファ１６は、図１３に示すようなpicture＿coding＿typeを格納する環状バッファを備えている。この環状バッファは、ＭＰＥＧで規定されている、１ＧＯＰに含むことのできる最大フレーム数と同じ２５６のpicture＿coding＿typeを格納するだけの記憶容量を備える。また、環状バッファの各要素には、予め初期値が格納されている。
【０１０９】
ここで、画像圧縮情報（ビットストリーム）に含まれる各フレームの情報が、Ｐ，Ｂ，Ｂ，Ｉ，Ｂ，Ｂまで処理され、次のＰピクチャの処理を行う場合について考える。この場合、画像情報変換装置１０では、まず、圧縮情報解析装置１２に備えられたフィードフォワードバッファによって、数フレーム分のpicture＿ coding＿typeが先読みされ、環状バッファの要素が更新される。このフィードフォワードバッファの大きさは、任意であるが、図１３に示す環状バッファでは６フレーム分である。また、擬似ＧＯＰの長さは、図１３に示す環状バッファの状態から、現在のＩピクチャを示すポインタａと次のＩピクチャを示すポインタｂとを参照することにより設定される。さらに、擬似ＧＯＰの構成は、フィードフォワードバッファの最後のフレームを示すポインタｄと、既に設定された擬似ＧＯＰの長さとから設定される。
【０１１０】
このように、プリパーシングにより、擬似ＧＯＰの構成が設定される。
【０１１１】
続いて、ステップＳ２において、上述したようにして設定された擬似ＧＯＰの構成が、［Ｂ1，Ｂ2，Ｐ1，Ｂ3，Ｂ4，Ｉ1，Ｂ5，Ｂ6，・・・，ＰL，ＢM-1，ＢM］である場合、擬似ＧＯＰの大きさであるＬ＿ｐｇｏｐは、次の式（３）で表される。
【０１１２】
【数３】
このとき、Ｉピクチャ，Ｐピクチャ，Ｂピクチャの各ピクチャ（各フレーム）の目標符号量（ターゲットビット）Ｔi，Ｔp，Ｔbは、それぞれ次の式（４）、式（５）、式（６）により算出される。
【０１１４】
【数４】
【数５】
【数６】
但し、Ｒは、割り当て対象ピクチャを含めた、ＧＯＰ内でまだ符号化されていないピクチャに対して割り当てられるビット量であり、Θを擬似ＧＯＰ内において既に処理が終わったフレーム、Ωを擬似ＧＯＰ内においてこれから処理が行われるフレーム、Ｆをフレームレート、Ｂを出力される画像圧縮情報の符号量（ビットレート）とすると、次の式（７）、式（８）を用いて表される。
【０１１８】
【数７】
【数８】
また、Ｘ（）は、各フレームの複雑さを表すパラメータ（global complexity measure）であり、圧縮情報解析装置１２でプリパーシングを行う際に、当該フレームの総符号量（ビット数）であるＳと、平均量子化スケールコードであるＱを予め算出しておけば、次の式（９）により表される。
【０１２１】
【数９】
さらに、Ｋp及びＫbは、それぞれ、ＭＰＥＧ−２ Ｔｅｓｔ Ｍｏｄｅｌ ５で規定されているＩピクチャの量子化スケールコードを基準とした、Ｐピクチャ及びＢピクチャの量子化スケールコードの比率であり、次の式（１０）により表される。
【０１２３】
【数１０】
そして、Ｋp及びＫbが上記式（１０）により表される値のときに、常に全体の画質が最適化されると仮定する。
【０１２５】
続いて、ステップＳ３において、実際の発生符号量とステップ２で算出された各ピクチャに対する割当ビット量（Ｔi，Ｔp，Ｔb）と一致させるため、各ピクチャタイプに独立に設定した３種類の仮想バッファの容量に基づき、量子化スケールコードをマクロブロック単位のフィードバック制御により求める。
【０１２６】
まず、ｊ番目のマクロブロック符号化に先だち、仮想バッファの占有量は、次の式（１１）、式（１２）、式（１３）により表される。
【０１２７】
【数１１】
【数１２】
【数１３】
但し、これらの式（１１）〜式（１３）で示した“ｄ0 i”，“ｄ0 p”，“ｄ0 b”はＩ，Ｐ，Ｂの各ピクチャの仮想バッファの初期占有量であり、“Ｂj”はピクチャの先頭からｊ番目のマクロブロックまでの発生ビット量であり、“ＭＢ＿ｃｎｔ”は１ピクチャ内のマクロブロック数である。ピクチャ符号化終了時の各仮想バッファ占有量（ｄMB_cnt i，ｄMB_cnt p，ｄMB_cnt b）は、それぞれ同一のピクチャタイプで、次のピクチャに対する仮想バッファ占有量の初期値（ｄ0 i，ｄ0 p，ｄ0 b）として用いられる。
【０１３１】
次に、ｊ番目のマクロブロックに対する量子化スケールコードは、次の式（１４）により表される。
【０１３２】
【数１４】
但し、この式（１４）で示した“ｒ”はリアクションパラメーターと呼ばれるフィードバックループの応答を制御する変数であり、次の式（１５）により与えられる。
【０１３４】
【数１５】
なお、符号化開始時における仮想バッファの初期値は、次の式（１６）で与えられる。
【０１３６】
【数１６】
続いて、ステップＳ４において、入力される画像圧縮情報（ビットストリーム）における、各マクロブロックの量子化スケールＱは、符号化時に、原画像の輝度信号画素値を用いて算出されるものである。そこで、まず、圧縮情報解析装置１２では、プリパーシングが行われる際に、当該フレーム内の各マクロブロックの量子化スケールＱ、及び符号量（ビット数）Ｂが抽出され、この抽出された量子化スケールＱ及び符号量（ビット数）Ｂが情報バッファ１６に格納される。これと同時に、圧縮情報解析装置１２では、当該フレーム全体のＱ、Ｂの平均値Ｅ（Ｑ）、Ｅ（Ｂ）、又は、その積の平均値Ｅ（ＱＢ）が予め算出され、これらの値が情報バッファ１６に格納される。
【０１３８】
また、符号量制御装置２１では、正規化アクティビティＮ＿ａｃｔは、情報バッファ１６に格納されたＱ，Ｂの情報に基づいて、次の式（１７）、式（１８）、式（１９）の内のいずれかの式によって表される。
【０１３９】
【数１７】
【数１８】
【数１９】
このうち、式（１８）と式（１９）は等価処理となる。このように、ＤＣＴ領域において算出される正規化アクティビティＮ＿ａｃｔに基づいて適応量子化が行われる。そして、画質を信号雑音比（ｐＳＮＲ）で評価した場合には、式（１７）の方がより高画質となるが、主観画質は、式（１８）又は式（１９）で表されるものの方が良い。
【０１４３】
続いて、ステップＳ５において、まず、所定のマクロブロックに対する、入力される画像圧縮情報（ビットストリーム）における量子化値をＱ１、符号量制御装置２１において上記の方式により表された、出力される画像圧縮情報（ビットストリーム）に対する量子化値をＱ２とする。そして、画像情報変換装置１０は符号量（ビットレート）を削減するためのものであるから、Ｑ１＞Ｑ２となった場合には、一度粗く量子化されたマクロブロックが再量子化された結果より細かく量子化されたことになる。粗く量子化されたことによる歪みは、細かく再量子化されることでは低減されない。また、このマクロブロックに対してビットが多く使われることになるため、他のマクロブロックに割り当てられるビットの減少を招き、更なる画質劣化を引き起こす。このため、Ｑ１＞Ｑ２である場合には、Ｑ１＝Ｑ２とすることにする。
【０１４４】
即ち、Ｑ１＞Ｑ２である場合には、Ｑ１を出力し、一方、Ｑ１＞Ｑ２でない場合には、Ｑ２を出力するようにする。
【０１４５】
以上のような処理を経て再量子化された離散コサイン変換係数は、量子化装置１８から可変長符号化装置１９に供給される。
【０１４６】
可変長符号化装置１９は、量子化装置１８から供給される量子化された離散コサイン変換係数を、平均符号長が短くなるように符号化する。その際、可変長符号化装置１９は、離散コサイン変換係数の直流成分に関しては、１ブロック前の直流成分係数を予測値としてその差分を符号化し、その他の成分に関しては、予め設定された走査方式（ジグザグスキャン又はオルタネートスキャン）に基づいて１次元の配列データに並べ替えた後、連続する０係数の数（ラン）及び非０係数（レベル）のペアを事象とした可変長符号化を行う。
【０１４７】
そして、量子化装置１８は、ＤＣＴブロック内のスキャンを行っている際に、それ以降の係数の値が全て０となった場合には、ＥＯＢ（End Of Block）と呼ばれる符号を出力し、そのブロックに対する可変長符号化を終了する。
【０１４８】
なお、可変長符号化装置１９は、入力された高い符号量（高ビットレート）の画像圧縮情報のスキャン方式に関わらず、オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列してもよい。オルタネートスキャン方式により離散コサイン変換係数を１次元データに配列するのは、以下の理由による。
【０１４９】
即ち、入力される画像圧縮情報（ビットストリーム）の所定のブロックの離散コサイン変換係数が、例えば、図１４（ａ）に示すようになっていたとする。図１４において、●で示す係数は非０係数であり、○で示す係数は０係数である。このような離散コサイン変換係数に対して離散コサイン変換係数の水平高周波成分を０としたとすると、非０係数の分布は例えば図１４（ｂ）に示すようになる。この図１４（ｂ）に示す水平高周波成分を０とした離散コサイン変換係数を、ジグザグスキャンで再符号化すると、最後の非０係数のスキャン番号は５０となる（図１０（ａ）参照）。それに対し、走査変換を行ってオルタネートスキャンで改めて符号化すると、最後の非０係数のスキャン番号は４４になる（図１０（ｂ）参照）。このことから、水平高周波成分を０とした離散コサイン変換係数に対して可変長符号化する場合には、オルタネートスキャン方式によりスキャンをすれば、ジグザグスキャンの場合よりも早いスキャン番号でＥＯＢ信号を設定することができる。そのため、量子化幅としてより細かな値を割り当てることができ、再量子化に伴う量子化歪みを低減することができる。
【０１５０】
そして、可変長符号化装置１９により可変長符号化された離散コサイン変換係数は符号バッファ２０に供給され、この符号バッファ２０に一時格納されたのち、ＭＰＥＧ−２に規定されたビットストリーム構造とされて、圧縮画像情報として出力される。
【０１５１】
つぎに、本発明を適用した第２の実施の形態画像情報変換装置１０における量子化行列切替装置１７を用いて行った測定結果を図１５に示し、また、このときに用いた測定と同条件での測定によりどの程度画質が向上するのかを輝度信号のｐＳＮＲにより表した測定結果を、図１６に示す。
【０１５２】
この場合に、入力される画像圧縮情報（ビットストリーム）については、イントラマクロブロック用及びインターマクロブロック用のそれぞれの量子化行列に、図６（ａ）、図６（ｃ）に示した量子化行列を用いる。従って、出力される画像圧縮情報（ビットストリーム）について用いられるイントラマクロブロック用の量子化行列は、図７に示すようになる。但し、インターマクロブロック用の量子化行列は、図６（ｃ）に示した量子化行列のままである。
【０１５３】
また、画像情報変換装置１０において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける輝度信号のｐＳＮＲにより表した測定結果の変化を表した図を、図１６に示す。
【０１５４】
この図１６に示すように、画像情報変換装置１０においては、量子化行列を切り替えることにより、Ｉピクチャについて、０．４ｄＢ程度の画質の向上があり、主観評価においても、図４において観測されていたフラッシュ現象が観測されなくなる。Ｉピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質も向上している。
【０１５５】
次に、図１６に示した測定で、出力される画像圧縮情報（ビットストリーム）の各フレームに割り当てられた符号量（ビット）を測定した図を図１７に示す。
【０１５６】
画像情報変換装置１０では、図１７に示すように、量子化装置１８において用いる量子化行列を、インターマクロブロック用の量子化行列に切り替えることにより、高域成分が粗く量子化されるのが防止されている。
【０１５７】
以上述べたように、本発明を適用した第２の実施の形態である画像情報変換装置１０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１５８】
また、本発明を適用した第２の実施の形態である画像情報変換装置１０では、量子化装置１８において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１５９】
また、本発明を適用した第２の実施の形態である画像情報変換装置１０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置１７は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１６０】
なお、上述した画像情報変換装置１０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１６１】
つぎに、本発明を適用した第３の実施の形態について、図面を参照しながら説明する。
【０１６２】
本発明を適用した第３の実施の形態である画像情報変換装置も、上述した第１の実施の形態である画像情報変換装置１と同様に、例えばＭＰＥＧ−２方式で符号化された画像圧縮情報（ビットストリーム）の符号量（ビットレート）を削減して、低ビットレートの画像圧縮情報を出力する装置である。この本発明を適用した第２の実施の形態である画像情報変換装置では、画像情報を復号する復号部から画像情報を符号化する符号化部への当該画像情報の供給が、周波数領域で行われている。本発明を適用した第３の実施の形態である画像情報変換装置を図１８に示す。
【０１６３】
なお、この画像情報変換装置３０を説明するにあたり、上記第２の実施の形態である画像情報変換装置１０と同一の構成要素には、図面中に同一の符号を付け、その詳細な説明を省略する。
【０１６４】
量子化行列切替装置１７は、図１８に示すように、情報バッファ１６から取得した解析結果情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列を、インターマクロブロック用の量子化行列に切り替える。
【０１６５】
具体的には、量子化行列切替装置１７は、情報バッファ１６に記憶された付加情報の中からインターマクロブロック用の量子化行列に関する情報のみを選択し、この選択した情報を当該情報バッファ１６から取得する。そして、量子化行列切替装置１７は、この取得したインターマクロブロック用の量子化行列に関する情報に基づいて、符号バッファ１１に入力された高ビットレートの画像圧縮情報が生成されるときに用いられたイントラマクロブロック用の量子化行列をインターマクロブロック用の量子化行列に切り替える。その後、量子化行列切替装置１７は、この切り替えたインターマクロブロック用の量子化行列を量子化装置１８に供給する。
【０１６６】
但し、量子化行列切替装置１７は、上記切り替えたインターマクロブロック用の量子化行列の第（０，０）成分が８でない場合には、例えば図３に示すような当該第（０，０）成分を８に変換した量子化行列を生成し、この生成した量子化行列を量子化装置１８に供給する。これも、ＭＰＥＧ−２の規格では、量子化行列の第（０，０）成分は、８であることが規定されているからである。
【０１６７】
画像情報変換装置３０は、符号バッファ１１と、圧縮情報解析装置１２と、可変長復号化装置１３と、逆量子化装置１４と、加算器４０と、帯域制限装置１５と、情報バッファ１６と、量子化行列切替装置１７と、量子化装置１８と、可変長符号化装置１９と、符号バッファ２０と、符号量制御装置２１と、動き補償誤差補正装置５０とを備える。
【０１６８】
加算器４０は、逆量子化装置１４と帯域制限装置１５との間に設けられる。この加算器４０は、逆量子化装置１４が逆量子化して得られた離散コサイン変換係数から、動き補償誤差補正装置５０により生成された動き補償誤差補正係数を減算する。
【０１６９】
動き補償誤差補正装置５０は、逆量子化装置１４により逆量子化した離散コサイン変換係数を、量子化装置１８により再量子化する際に生じる動き補償誤差を補正する動き補償誤差補正係数を生成する。
【０１７０】
次に、動き補償誤差が生じる原因について説明する。
【０１７１】
まず、原画像の画素値をＯとし、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ1とし、再符号化後の低い符号量（低ビットレート）の画像圧縮情報（ビットストリーム）のこの原画像の画素値Ｏに対する量子化幅をＱ2とする。そして、これら量子化幅Ｑ1及び量子化幅Ｑ2で復号された参照画像の画素値を、それぞれＬ（Ｑ1），Ｌ（Ｑ2）とする。
【０１７２】
インターマクロブロックの画素は、符号化時において、例えば図１８に示した画像情報変換装置３０の加算器４０により差分値“Ｏ−Ｌ（Ｑ1）”が計算され、この差分値“Ｏ−Ｌ（Ｑ1）”に離散コサイン変換が施される。このように符号化されたインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ1）”に逆離散コサイン変換が施され、この差分値“Ｏ−Ｌ（Ｑ1）”から動き補償により生成された参照画像“Ｌ（Ｑ1）”が減算され、原画像の画素値Ｏが復号される。
【０１７３】
一方、インターマクロブロックの画素は、図９に示した画像情報変換装置１０による符号量（ビットレート）の削減時において、逆量子化装置１４及び量子化装置１８により差分値“Ｏ−Ｌ（Ｑ1）”の量子化幅がＱ１からＱ２に変換される。このように符号量を削減したインターマクロブロックの画素は、復号時においては、差分値“Ｏ−Ｌ（Ｑ2）”が量子化幅Ｑ2で符号化されたものと見なされて復号される。
【０１７４】
ここで、画像情報変換装置１０において量子化幅を変えて符号量を削減していることからＱ1＝Ｑ2は成立せず、インターマクロブロックの復号時に量子化誤差が生じる。従って、インターマクロブロックにより符号化がされているＰピクチャ、Ｂピクチャに、動き補償に伴う誤差が発生する。
【０１７５】
Ｐピクチャで生じた誤差は、以後このＰピクチャを参照画像とするＰピクチャやＢピクチャに伝播し、さらなる画質劣化に繋がる。このように、ＧＯＰの動き補償に伴う誤差の蓄積が原因で画質が劣化し、次のＧＯＰも先頭でまた良好な画質に戻るという現象（ドリフト）が発生する。
【０１７６】
この第３の実施の形態である画像情報変換装置３０の動き補償誤差補正装置５０では、動き補償誤差補正係数を生成し、逆量子化装置１４により逆量子化した離散コサイン変換係数から減算し、以上の動き補償誤差を補正している。
【０１７７】
続いて、この動き補償誤差補正装置５０について説明する。
【０１７８】
動き補償誤差補正装置５０は、逆量子化装置５１と、加算器５２と、逆離散コサイン変換装置５３と、ビデオメモリ５４と、動き補償予測装置５５と、離散コサイン変換装置５６とを備える。
【０１７９】
逆量子化装置５１は、量子化装置１８により再量子化された離散コサイン変換係数を、上記量子化装置１８で用いられた量子化行列に基づき逆量子化する。逆量子化装置５１により逆量子化された離散コサイン変換係数は、加算器５２に供給される。
【０１８０】
加算器５２は、逆量子化装置５１により逆量子化された離散コサイン変換係数から、加算器４０により動き補償誤差補正係数が減算された離散コサイン変換係数を減算し、逆離散コサイン変換装置５３に供給する。
【０１８１】
逆離散コサイン変換装置５３は、加算器５２から供給された離散コサイン変換係数に対して、逆離散コサイン変換を施す。逆離散コサイン変換を施して得らた結果は、動き補償誤差補正情報として、ビデオメモリ５４に格納される。
【０１８２】
動き補償予測装置５５は、入力された高い符号量（高ビットレート）の画像圧縮情報（ビットストリーム）内における動き補償予測モード情報（フィールド動き補償予測モード或いはフレーム動き補償予測モード、及び、前方向予測モード、後方向予測モード、或いは、双方向予測モード）及び、動きベクトル情報に基づき、ビデオメモリ５４内の動き補償誤差補正情報に対して動き補償を行う。動き補償がされたデータが、空間領域での誤差補正値となる。この誤差補正値は、離散コサイン変換装置５６に供給される。
【０１８３】
離散コサイン変換装置５６は、供給された誤差補正値に対して離散コサイン変換を施し、周波数領域での誤差補正値である動き補償誤差補正係数を生成する。この動き補償誤差補正係数は、加算器４０に供給される。
【０１８４】
そして、この加算器４０において、逆量子化装置１４により逆量子化された離散コサイン変換係数から、この動き補償誤差補正係数を減算することによって、動き補償に起因する誤差の補正がされる。
【０１８５】
以上のように構成された本発明を適用した第３の実施の形態である画像情報変換装置３０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。これとともに、画像情報変換装置３０では、動き補償誤差の蓄積に起因する画質劣化を生じさせずに、符号量を削減することができる。
【０１８６】
なお、上記動き補償誤差補正装置５０の逆離散コサイン変換装置５３及び離散コサイン変換装置５６では、文献”Ａ ｆａｓｔ ｃｏｍｐｕｔａｔｉｏｎａｌａｌｇｏｒｉｔｈｍ ｆｏｒ ｔｈｅ ｄｉｓｃｒｅｔｅ ｃｏｓｉｎｅ ｔｒａｎｓｆｏｒｍ”（ＩＥＥＥ Ｔｒａｎｓ．Ｃｏｍｍｕｎ．，ｖｏｌ．２５，ｎｏ．９ ｐｐ．１００４−１００９，１９７７）に示されているような高速アルゴリズムを適用することが可能である。
【０１８７】
また、逆離散コサイン変換装置５３及び離散コサイン変換装置５６では、帯域制限装置１５において水平高域成分の係数が０と置き換えられている場合、０と置き換えられている係数に対する逆離散コサイン変換及び離散コサイン変換を省くことで、回路規模及び演算処理量を削減することが可能である。
【０１８８】
さらに、画像における色差信号の劣化は、輝度信号の劣化に比べ、人間の目には分かり難いという特色を有しているため、上記の動き補償誤差補正を、輝度信号のみに適用することで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することもできる。また、Ｐピクチャにおける誤差はＢピクチャに伝播するが、Ｂピクチャにおける誤差はそれ以上伝播しない。一方、Ｂピクチャには双方向予測モードを含み、多大なる演算処理量を要する。そこで、Ｐピクチャにのみ動き補償誤差補正を行うことで、画質劣化を最小に保ちながら回路規模及び演算処理量を大幅に削減することも考えられる。Ｂピクチャにおける処理を行わないことで、ビデオメモリ５４の容量を削減することも可能となる。
【０１８９】
以上述べたように、本発明を適用した第３の実施の形態である画像情報変換装置３０では、周波数領域で各ブロックのデータの受け渡しを行って符号量（ビットレート）を削減することができるので、ベースバンドのビデオデータまで復号した後符号化する従来の画像情報変換装置に比べて、演算量が少なくなり、また、回路構成を大幅に削減することができる。
【０１９０】
また、本発明を適用した第３の実施の形態である画像情報変換装置３０では、量子化装置１８において用いる量子化行列を、イントラマクロブロック用の量子化行列から、このイントラマクロブロック用の量子化行列に比べて高域成分を粗く量子化しないインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１９１】
さらに、本発明を適用した第３の実施の形態である画像情報変換装置３０では、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替装置１７は、記憶媒体を備えて、切替のための量子化行列を格納する必要がなくなる。
【０１９２】
なお、上述した画像情報変換装置３０では、ＭＰＥＧ−２による画像圧縮情報（ビットストリーム）が入力されているが、直交変換と動き補償によって符号化された画像圧縮情報（ビットストリーム）であれば、例えばＭＰＥＧ−１やＨ．２６３等のような画像圧縮情報（ビットストリーム）が入力されてもよい。
【０１９３】
【発明の効果】
以上説明したように、本発明に係る画像情報変換装置及び画像情報変換方法によれば、符号化手段又は量子化手段において用いる量子化行列を、イントラマクロブロック用の量子化行列からインターマクロブロック用の量子化行列に切り替えることで、Ｉピクチャにおける画質劣化が防がれ、主観的にも画像のフラッシュ現象が回避されることにより、このＩピクチャに基づいて構成されるＰピクチャ及びＢピクチャの画質をも向上させることができる。
【０１９４】
また、本発明に係る画像情報変換装置及び画像情報変換方法によれば、このようにインターマクロブロック用の量子化行列を、イントラマクロブロック用及びインターマクロブロック用の両方に用いることで、量子化行列切替手段に、記憶媒体を備えて、切替のための量子化行列を格納する必要がない。
【図面の簡単な説明】
【図１】本発明を適用した第１の実施の形態である画像情報変換装置のブロック構成図である。
【図２】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図である。
【図３】イントラマクロブロックを符号化するための量子化行列を示す図である。
【図４】本発明を適用した第１の実施の形態である画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図５】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける、輝度信号のｐＳＮＲにより表した測定結果の変化を表した図である。
【図６】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図７】出力する画像圧縮情報について用いられるイントラマクロブロック用の量子化行列を示す図である。
【図８】本発明を適用した第１の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図９】本発明を適用した第２の実施の形態である画像情報変換装置のブロック構成図である。
【図１０】可変長符号化をする際の離散コサイン変換係数のスキャン順序を示す図である。（ａ）はジグザグスキャンのスキャン順序を示す図であり、（ｂ）はオルタネートスキャンのスキャン順序を示す図である。
【図１１】第２の実施の形態である画像情報変換装置の帯域制限装置による離散コサイン変換係数の水平高周波成分の帯域制限例を説明する図である。（ａ）は輝度信号に対する離散コサイン変換係数の帯域制限例を示す図であり、（ｂ）は色差信号に対する離散コサイン変換係数の帯域制限例を示す図である。
【図１２】第２の実施の形態である画像情報変換装置の符号量制御装置の動作内容を示すフローチャートである。
【図１３】擬似ＧＯＰの構成を説明する図である。
【図１４】オルタネートスキャン方式により離散コサイン変換係数をスキャンすることを説明する図である。（ａ）は帯域制限まえの離散コサイン変換係数を示す図であり、（ｂ）は帯域制限後の離散コサイン変換係数を示す図である。
【図１５】本発明を適用した第２の実施の形態である画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図１６】本発明を適用した第２の実施の形態である画像情報変換装置において、量子化行列の切替を行った場合と量子化行列の切替を行わなかった場合とにおける、輝度信号のｐＳＮＲにより表した測定結果の変化を表した図である。
【図１７】本発明を適用した第２の実施の形態である画像情報変換装置において、量子化行列の切替を行う前後で、各フレームに割り当てられた符号量を示す図である。
【図１８】本発明を適用した第３の実施の形態である画像情報変換装置のブロック構成図である。
【図１９】従来の画像情報変換装置のブロック構成図である。
【図２０】従来の画像情報変換装置のブロック構成図である。
【図２１】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２２】従来の画像情報変換装置によって符号化された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２３】量子化行列のデフォルト値を示す図である。（ａ）はイントラマクロブロックについて用いられるデフォルトに設定された量子化行列を示す図であり、（ｂ）はインターマクロブロックについて用いられるデフォルト値に設定された量子化行列を示す図であり、（ｃ）はＴｅｓｔ Ｍｏｄｅｌ ５で規定された量子化行列を示す図である。
【図２４】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【図２５】従来の画像情報変換装置によって符号量を削減された画像圧縮情報の、原画像に対する輝度信号の信号雑音比の遷移を示した図である。
【符号の説明】
１ 画像情報変換装置、２ 画像情報復号装置、３ 付加情報バッファ、４ 量子化行列切替装置、５ 画像情報符号化装置、１０ 画像情報変換装置、１１符号バッファ、１２ 圧縮情報解析装置、１３ 可変長復号化装置、１４ 逆量子化装置、１５ 帯域制限装置、１６ 情報バッファ、１７ 量子化行列切替装置、１８ 量子化装置、１９ 可変長符号化装置、２０ 符号バッファ、２１符号量制御装置
Claims (4)
- フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、
上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成する復号手段と、
上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、
上記復号手段が上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、上記量子化行列切替手段により切り替えられた量子化行列、予め与えられた所定の目標符号量に基づいて、上記復号手段により生成された動画像情報を直交変換して上記第２の画像圧縮情報に符号化する符号化手段とを備え、
上記符号化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを量子化することを特徴とする画像情報変換装置。 - フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換装置において、
入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出する画像圧縮情報解析手段と、
上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記画像圧縮情報解析手段に入力された第１の画像圧縮情報の直交変換係数を逆量子化する逆量子化手段と、
上記逆量子化手段により逆量子化された直交変換係数の水平方向の高周波成分の値のみを制限する帯域制限手段と、
上記帯域制限手により直交変換係数の水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化する量子化手段と、
上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替える量子化行列切替手段と、
上記画像圧縮情報解析手段による解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて、上記量子化手段の量子化幅を制御して、出力する上記第２の画像圧縮情報の符号量を制御する符号量制御手段と
を備え、
上記量子化手段は、上記量子化行列切替手段により切り替えられたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記逆量子化手段が上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と上記符号量制御手段により制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することを特徴とする画像情報変換装置。 - フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、
上記第１の画像圧縮情報を復号してベースバンドの動画像情報を生成し、
上記第１の画像圧縮情報を復号する際に用いた付加情報として取得される量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、
上記第１の画像圧縮情報を復号する際に用いた付加情報として取得されるマクロブロック毎の情報、及び、上位の階層に関する情報、切り替えられた上記量子化行列、予め与えられた所定の目標符号量に基づいて、上記動画像情報を直交変換して上記第２の画像圧縮情報に符号化する際に、切り替えられたインターマクロブロック用の量子化行列を用いて、イントラマクロブロックを再量子化し、上記復号手段が上記第１の画像圧縮情報を復号する際に用いたインターマクロブロック用の量子化行列を用いて、インターマクロブロックを再量子化することを特徴とする画像情報変換方法。 - フレーム内符号化方式で符号化されたフレーム内符号化データとフレーム間予測符号化方式で符号化されたフレーム間予測符号化データとからなる画像データが所定の画素ブロックからなる直交変換ブロック単位で直交変換し所定の走査方式に従って二次元配列及び量子化することにより圧縮符号化された第１のビットレートの第１の画像圧縮情報を、上記第１のビットレートよりも低いビットレートの第２のビットレートの第２の画像圧縮情報に変換する画像情報変換方法において、
入力された上記第１の画像圧縮情報について、構文解析を行い、その解析結果情報として、量子化幅及び量子化行列に関する情報、ピクチャ符号化タイプ情報を抽出し、
上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化行列に関する情報に基づいて、上記第１の画像圧縮情報が生成されるときに用いられたフレーム内符号化用の量子化行列であるイントラマクロブロック用の量子化行列を、フレーム間符号化用の量子化行列であるインターマクロブロック用の量子化行列に切り替え、
上記解析結果情報として上記第１の画像圧縮情報から抽出された量子化幅化に関する情報に基づいて、上記第１の画像圧縮情報の直交変換係数を逆量子化し、
逆量子化された上記直交変換係数の水平方向の高周波成分の値のみを制限し、
水平方向の高周波成分のみが制限された上記第１の画像圧縮情報の直交変換係数を再量子化するにあたり、上記解析結果情報として上記第１の画像圧縮情報から抽出された上記ピクチャ符号化タイプ情報と所定の目標符号量とに基づいて量子化幅を制御して、切り替えられた上記インターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、イントラマクロブロックを再量子化し、上記第１の画像圧縮情報を逆量子化する際に用いたインターマクロブロック用の量子化行列と制御された上記量子化幅とに基づいて、インターマクロブロックを再量子化することにより、符号量を制御した上記第２の画像圧縮情報を生成する
ことを特徴とする画像情報変換方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32877899A JP4292659B2 (ja) | 1999-11-18 | 1999-11-18 | 画像情報変換装置及び画像情報変換方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP32877899A JP4292659B2 (ja) | 1999-11-18 | 1999-11-18 | 画像情報変換装置及び画像情報変換方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001148852A JP2001148852A (ja) | 2001-05-29 |
| JP4292659B2 true JP4292659B2 (ja) | 2009-07-08 |
Family
ID=18214033
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP32877899A Expired - Fee Related JP4292659B2 (ja) | 1999-11-18 | 1999-11-18 | 画像情報変換装置及び画像情報変換方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4292659B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4539028B2 (ja) * | 2003-05-14 | 2010-09-08 | ソニー株式会社 | 画像処理装置および画像処理方法、記録媒体、並びに、プログラム |
| JP5363302B2 (ja) * | 2009-12-24 | 2013-12-11 | 株式会社メガチップス | 画像符号化装置及び画像変換装置 |
| US20130188691A1 (en) * | 2012-01-20 | 2013-07-25 | Sony Corporation | Quantization matrix design for hevc standard |
| CN110999292A (zh) * | 2017-07-28 | 2020-04-10 | 松下电器（美国）知识产权公司 | 编码装置、解码装置、编码方法及解码方法 |
| CN116055721A (zh) | 2017-07-28 | 2023-05-02 | 松下电器（美国）知识产权公司 | 编码装置和编码方法 |
| JP7352396B2 (ja) * | 2019-07-04 | 2023-09-28 | 日本放送協会 | 番組送出装置 |
-
1999
- 1999-11-18 JP JP32877899A patent/JP4292659B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001148852A (ja) | 2001-05-29 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6658157B1 (en) | Method and apparatus for converting image information | |
| US7170938B1 (en) | Rate control method for video transcoding | |
| KR100934290B1 (ko) | 엠피이지-2 4:2:2-프로파일 비트스트림을 메인-프로파일비트스트림으로 컨버팅 하기 위한 방법 및 아키텍처 | |
| US7301999B2 (en) | Quantization method and system for video MPEG applications and computer program product therefor | |
| US8325797B2 (en) | System and method of reduced-temporal-resolution update for video coding and quality control | |
| US7266148B2 (en) | Video transcoding apparatus | |
| US7620103B2 (en) | Programmable quantization dead zone and threshold for standard-based H.264 and/or VC1 video encoding | |
| KR101538704B1 (ko) | 보간 필터를 적응적으로 사용하여 영상을 부호화 및 복호화하는 방법 및 장치 | |
| KR100340369B1 (ko) | 화상부호화방법및장치 | |
| US7957600B2 (en) | Methods and systems for rate-distortion optimized quantization of transform blocks in block transform video coding | |
| US6650707B2 (en) | Transcoding apparatus and method | |
| US6687296B1 (en) | Apparatus and method for transforming picture information | |
| JP2006521771A (ja) | ハイブリッドレートコントローラーを備えるデジタルストリームトランスコーダー | |
| US9071844B2 (en) | Motion estimation with motion vector penalty | |
| JP2007312411A (ja) | ビデオ伝送におけるビットストリーム間の切換 | |
| JP2004201298A (ja) | 画像のシーケンスを適応的に符号化するシステムおよび方法 | |
| JP2002209215A (ja) | 符号量制御装置及び方法、並びに画像情報変換装置及び方法 | |
| JP2004289796A (ja) | 画像のシーケンスを適応的に符号化するシステムおよび方法 | |
| JP2006191253A (ja) | レート変換方法及びレート変換装置 | |
| KR20020001760A (ko) | 영상 데이터 압축 | |
| US6452973B1 (en) | System and method for converting H.261 compressed moving picture data to MPEG-1 compressed moving picture data on compression domain | |
| JP4214771B2 (ja) | 画像処理装置およびその方法と符号化装置 | |
| JP2000236547A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP4292659B2 (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3818819B2 (ja) | 画像符号化方式変換装置、画像符号化方式変換方法および記録媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060315 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071211 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090317 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090330 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120417 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |