JP4081727B2 - 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 - Google Patents
画像符号化装置および画像符号化方法、並びに記録装置および記録方法 Download PDFInfo
- Publication number
- JP4081727B2 JP4081727B2 JP03878397A JP3878397A JP4081727B2 JP 4081727 B2 JP4081727 B2 JP 4081727B2 JP 03878397 A JP03878397 A JP 03878397A JP 3878397 A JP3878397 A JP 3878397A JP 4081727 B2 JP4081727 B2 JP 4081727B2
- Authority
- JP
- Japan
- Prior art keywords
- code amount
- quantization matrix
- quantization
- quantizing
- orthogonal transform
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに記録装置および記録方法に関し、特に、復号画像の画質を均一にすることができるようにする画像符号化装置および画像符号化方法、並びに記録装置および記録方法に関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）符号化などに代表されるＤＣＴ（Discrete Cosine Transform）を用いた画像符号化方式（画像圧縮方式）では、一般的に、画像をＤＣＴ処理して得られるＤＣＴ係数に、人間の視覚特性上の空間周波数ごとの量子化感度の違いを利用した重み付けをして量子化が行われ、これにより圧縮率を高めるようになされている。即ち、高次のＤＣＴ係数は、復号画像を見たときの見た目の画質にあまり影響しないため、低次のＤＣＴ係数に比較して、粗く量子化が行われるような重み付けがされる。
【０００３】
ＭＰＥＧでは、上述のような重み付けを行うための手段として、ＪＰＥＧ（Joint Photographic coding Experts Group）から継承された量子化マトリクスが用意されている。量子化マトリクスは、ＤＣＴ処理の単位である８×８画素のブロックに対応する８×８の係数が並んだマトリクス（matrix）で、その係数は、符号化に際して自由に変更することができるようになされている。
【０００４】
量子化マトリクスによる重み付けとは、ＤＣＴ係数を、量子化マトリクスを構成する係数のうちの、そのＤＣＴ係数に対応する位置にあるもので除算することを意味するが、実際には、ＤＣＴ係数が、量子化マトリクスの係数と量子化ステップとを乗算した乗算値で量子化されるので、即ち、ＤＣＴ係数の重み付けと量子化とは同時に行われるので、量子化マトリクスは、人間の視覚特性に対応した量子化を行うための量子化ステップと考えることもできる。
【０００５】
量子化マトリクスによれば、上述のように、人間の視覚特性に利用した効率的な量子化を実現することができ、その係数は、一般に、そのような観点から設定されるが、量子化ステップは、一般に、例えば、発生符号量が所定の目標符号量と一致するように制御するレートコントロールと、画像のアクティビティ（activity）（活性度）により変化する復号画像の画質（見た目の画質）の均一化とを実現する量子化インデックスに対応して設定される。
【０００６】
ＭＰＥＧでは、量子化インデックスと量子化ステップとの対応関係として、線形なものと非線形なものとの２種類が規定されている。即ち、ＭＰＥＧでは、量子化インデックスとして、１乃至３１の整数値が規定されており、線形な対応関係によれば、量子化ステップには、量子化インデックスの２倍の値が対応付けられている。従って、量子化ステップは、量子化インデックスに対応して一意的に決まり、量子化インデックスが１，２，・・・，３１のとき、量子化ステップは、２，４，・・・，６２となる。非線形な対応関係でも、同様に、量子化インデックスと量子化ステップとが所定の非線形な関数によって１対１に対応付けられている。
【０００７】
なお、非線形な対応関係においては、量子化インデックスが小さい範囲では、量子化ステップを細かく変化させることができるように、また、量子化インデックスが大きい範囲では、量子化ステップを大きく変化させることができるように、量子化インデックスと量子化ステップとが対応付けられている。
【０００８】
また、線形または非線形のうちのいずれの対応関係を用いて量子化を行ったかはＱスケールタイプと呼ばれる変数によって表され、デコーダ側では、このＱスケールタイプを参照することで、量子化インデックスと量子化ステップとの対応関係が認識される。
【０００９】
ところで、例えば、ＤＶＤ（Digigal Versatile Disc）や、ビデオＣＤ（Compact Disc）などのオーサリングにあたっては、現在、画像の圧縮符号化方法としてＭＰＥＧ方式が採用されているが、このようなオーサリングなどの画像の記録、あるいは伝送を行う際には、少ない符号量で、良好な画質の復号画像を得ることができるように、画像を圧縮符号化することが要求される。
【００１０】
そこで、例えば、オーサリングでは、画像をＤＣＴ処理して得られるＤＣＴ係数を、固定の量子化ステップで量子化し、画像の複雑さ（難しさ）としての、例えば発生符号量などを測定する１パス目の処理と、その１パス目の処理によって得られる発生符号量などに基づいて、所定の目標符号量を設定し、その目標符号量に、発生符号量が一致するように量子化ステップを適応的に変化させ、画像を可変レート符号化する２パス目の処理とを行う、いわゆる２パスエンコーディングが、一般に行われる。
【００１１】
２パスエンコーディングによれば、画像の複雑さに無関係に一定の符号量が割り当てられることにより、複雑な部分が極端に粗く量子化されるようなことを防止することができる。即ち、１パス目の処理の結果に基づき、２パス目の処理において、平坦な画像には少ない符号量を、複雑な画像には多くの符号量を、それぞれ目標符号量として割り当てることにより、量子化ステップの変化が、所定の狭い範囲に収まるようにし、その結果、画像全体にわたって、極端に粗い量子化がされるような部分が生じないようにすることができる。
【００１２】
【発明が解決しようとする課題】
ところで、量子化ステップが、上述のように所定の狭い範囲で変化する場合においては、その変化前後の量子化ステップの比率が小さい方が望ましい。
【００１３】
即ち、いま、説明を簡単にするために、量子化インデックスと量子化ステップとの対応関係として、線形なものを使用するとすると、上述したように、量子化ステップは、量子化インデックスの２倍の値に設定される。この場合において、量子化インデックスが、例えば、１から２に変化するときと、３０から３１に変化するときとを考えてみる。
【００１４】
まず、量子化インデックスが、１から２に変化する場合、量子化ステップは２から４に変化するので、変化前後の量子化ステップの比率（［変化後の量子化ステップ］／［変化前の量子化ステップ］）は、２（＝（４−２）／２）倍となる。一方、量子化インデックスが、３０から３１に変化する場合、量子化ステップは６０から６２に変化するので、変化前後の量子化ステップの比率は、約１．０３３（≒６２／６０）倍となる。
【００１５】
ＭＰＥＧにおいては、量子化ステップは、マクロブロック単位で変化させることができるので、隣接するマクロブロックにおける量子化ステップが大きい比率で変化すると、発生符号量に大きな差が生じるだけでなく、その復号画像の画質にも大きな差が生じる。従って、量子化インデックスが小さい値を変化する場合においては、その１段階の変化が、復号画像の画質に大きな影響を及ぼし、１フレームを構成するマクロブロックの間で、そのような画質の差が生じると、視聴者に違和感を感じさせることになる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、量子化ステップの変化前後の比率が小さくなるようにし、これにより、復号画像の画質の均一化を図ることができるようにするものである。
【００１７】
【課題を解決するための手段】
請求項１に記載の画像符号化装置、および請求項３に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をGOP単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項４に記載の画像符号化装置、および請求項５に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をピクチャ単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項６に記載の画像符号化装置、および請求項７に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
【００１８】
請求項８に記載の画像符号化装置、および請求項９に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項１０に記載の記録装置、および請求項１１に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をGOP単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
請求項１２に記載の記録装置、および請求項１３に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をピクチャ単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
【００１９】
請求項１４に記載の記録装置、および請求項１５に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
請求項１６に記載の記録装置、および請求項１７に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
【００２０】
請求項１に記載の画像符号化装置、および請求項３に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項４に記載の画像符号化装置、および請求項５に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項６に記載の画像符号化装置、および請求項７に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
【００２１】
請求項８に記載の画像符号化装置、および請求項９に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項１０に記載の記録装置、および請求項１１に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
請求項１２に記載の記録装置、および請求項１３に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
【００２２】
請求項１４に記載の記録装置、および請求項１５に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
請求項１６に記載の記録装置、および請求項１７に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
【００２３】
【発明の実施の形態】
図１は、本発明の画像符号化装置の一実施の形態の構成を示している。
【００２４】
この画像符号化装置は、いわゆる２パスエンコーディングによって、画像をＭＰＥＧ方式などにより可変レートで符号化するようになっており、例えば、ＤＶＤ（Digital Versatile Disc）や、ビデオＣＤ（Compact Disc）などのオーサリングシステムその他に適用することができるようになっている。
【００２５】
符号化すべき画像データは、エンコーダ１に入力されるようになされおり、エンコーダ１は、画像データを、少なくともＤＣＴ係数などの直交変換係数に直交変換し、その直交変換係数を量子化することにより符号化するようになされている。
【００２６】
即ち、１パス目では、エンコーダ１は、画像データを、固定の量子化ステップで量子化することにより符号化し、その結果得られる符号化データの発生符号量（あるいは、発生符号量に対応する情報としての、例えば、画像データの符号化難易度（difficulty）など）を、外部コンピュータ２に出力する。外部コンピュータ２は、エンコーダ１からの発生符号量に基づいて、例えば、１ＧＯＰ（Group Of Picture）や１画面（１フレームまたは１フィールド）ごとの目標符号量を設定する。
【００２７】
そして、２パス目では、外部コンピュータ２は、設定した目標符号量を、エンコーダ１に供給し、エンコーダ１は、この目標符号量に、発生符号量が一致するように量子化ステップを設定しながら、画像データの符号化を行う。なお、量子化ステップは、目標符号量の他、過去の発生符号量や、デコーダ側に想定されるＶＢＶ（Video Buffering Verifier）バッファにおけるデータの蓄積量、画像の複雑さなどにも基づいて設定される。
【００２８】
２パス目の符号化によって得られた符号化データは、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体３に記録され、あるいは、例えば、地上波、衛星回線、ＣＡＴＶ網、インターネットその他でなる伝送路４を介して伝送される。
【００２９】
次に、図２は、図１のエンコーダ１の構成例を示している。
【００３０】
図２では、エンコーダ１において、画像がＭＰＥＧ符号化されるようになされている。
【００３１】
即ち、符号化すべき画像データは、画像並び替え回路１１に供給される。画像並び替え回路１１は、入力された画像データのフレーム（またはフィールド）の並びを、必要に応じて替えて、走査変換／マクロブロック化回路１２に出力する。即ち、各フレームの画像データは、Ｉピクチャ、Ｐピクチャ、またはＢピクチャのうちのいずれかとして処理されるが、例えば、Ｂピクチャの処理に、それより時間的に後のＩピクチャやＰピクチャが必要な場合があり、このようなＩピクチャやＰピクチャは、Ｂピクチャより先に処理する必要がある。そこで、画像並び替え回路１１では、時間的に後のフレームを先に処理することができるように、フレームの並びを替えるようになされている。
【００３２】
なお、シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャとして処理するかは、予め定められている。
【００３３】
画像並び替え回路１１において並び替えられた画像データは、走査変換／マクロブロック化回路１２に出力され、そこでは、画像データの走査変換およびマクロブロック化が行われ、その結果得られるマクロブロックが、演算器１３、動き検出回路２３、およびアクティビティ検出回路２４に出力される。
【００３４】
動きベクトル検出回路２３は、走査変換／マクロブロック化回路１２から供給されるマクロブロックの動きベクトルを検出する。
【００３５】
即ち、動きベクトル検出回路２３は、予め定められた所定の参照フレームを参照し、その参照フレームと、走査変換／マクロブロック化回路１２からのマクロブロックとをパターンマッチング（ブロックマッチング）することにより、そのマクロブロックの動きベクトルを検出する。
【００３６】
ここで、ＭＰＥＧにおいては、画像の予測モードには、イントラ符号化（フレーム内符号化）、前方予測符号化、後方予測符号化、両方向予測符号化（前方、後方、および両方向の３つの予測符号化は、イントラ符号化に対して、インター符号化または非イントラ符号化と呼ばれる）の４種類があり、Ｉピクチャはイントラ符号化され、Ｐピクチャはイントラ符号化または前方予測符号化され、Ｂピクチャはイントラ符号化、前方予測符号化、後方予測符号化、または両方法予測符号化される。
【００３７】
即ち、動きベクトル検出回路２３は、Ｉピクチャについては、予測モードとしてイントラ符号化モードを設定する。この場合、動きベクトル検出回路２３では、動きベクトルの検出は行われない。
【００３８】
また、動きベクトル検出回路２３は、Ｐピクチャについては、前方予測を行い、その動きベクトルを検出する。さらに、動きベクトル検出回路２３は、前方予測を行うことにより生じる予測誤差と、符号化対象のマクロブロック（Ｐピクチャのマクロブロック）の、例えば分散とを比較し、マクロブロックの分散の方が予測誤差より小さい場合、予測モードとしてイントラ符号化モードを設定する。また、動きベクトル検出回路２３は、前方予測を行うことにより生じる予測誤差の方が小さければ、予測モードとして前方予測符号化モードを設定し、検出した動きベクトルを、動き補償回路２２に出力する。
【００３９】
さらに、動きベクトル検出回路２３は、Ｂピクチャについては、前方予測、後方予測、および両方向予測を行い、それぞれの動きベクトルを検出する。そして、動きベクトル検出回路２３は、前方予測、後方予測、および両方向予測についての予測誤差の中の最小のもの（以下、適宜、最小予測誤差という）を検出し、その最小予測誤差と、符号化対象のマクロブロック（Ｂピクチャのマクロブロック）の、例えば分散とを比較する。その比較の結果、マクロブロックの分散の方が最小予測誤差より小さい場合、動きベクトル検出回路２３は、予測モードとしてイントラ符号化モードを設定する。また、動きベクトル検出回路２３は、最小予測誤差の方が小さければ、予測モードとして、その最小予測誤差が得られた予測モードを設定し、対応する動きベクトルを、動き補償回路２２に出力する。
【００４０】
動き補償回路２２は、動きベクトルを受信すると、その動きベクトルにしたがって、フレームメモリ２１に記憶されている、符号化され、既に局所復号化された画像データを読み出し、これを、予測画像として、演算器１３および２０に供給する。
【００４１】
演算器１３は、走査変換／マクロブロック化回路１２からのマクロブロックと、動き補償回路２２からの予測画像との差分を演算する。この差分値は、ＤＣＴ回路１４（直交変換手段）に供給される。
【００４２】
なお、動きベクトル検出回路２３において、予測モードとしてイントラ符号化モードが設定された場合、動き補償回路２２は、予測画像を出力しない。この場合、演算器１３（演算器２０も同様）は、特に処理を行わず、走査変換／マクロブロック化回路１２からのマクロブロックを、そのままＤＣＴ回路１４に出力する。
【００４３】
ＤＣＴ回路１４では、演算器１３の出力に対して、ＤＣＴ処理が施され、その結果得られるＤＣＴ係数が、量子化回路１５（量子化手段）（重み付け手段）に供給される。量子化回路１５では、量子化インデックス決定回路２５からの量子化マトリクスにしたがって、ＤＣＴ回路１４からのＤＣＴ係数に重み付けがなされ、その重み付け後のＤＣＴ係数が、同じく量子化インデックス決定回路２５からの量子化インデックスに対応する量子化ステップ（量子化スケール）で量子化される。即ち、量子化回路１５では、量子化インデックス決定回路２５からの量子化インデックスに対応して量子化ステップが設定され、その量子化ステップに、量子化インデックス決定回路２５からの量子化マトリクスの係数をかけたもので、ＤＣＴ回路１４からのＤＣＴ係数が量子化される。この量子化されたＤＣＴ係数（以下、適宜、量子化値という）は、ＶＬＣ器１６に供給される。
【００４４】
ＶＬＣ器１６では、量子化回路１５より供給される量子化値が、例えばハフマン符号などの可変長符号に変換され、バッファ１７に出力される。バッファ１７は、ＶＬＣ器１６からのデータを一時蓄積し、そのデータ量を平滑化して出力する。なお、バッファ１７におけるデータ蓄積量は、発生符号量として、外部コンピュータ２（図１）と量子化インデックス決定回路２５に供給されるようになされている。
【００４５】
一方、量子化回路１５が出力する量子化値は、ＶＬＣ器１６だけでなく、逆量子化回路１８にも供給されるようになされている。逆量子化回路１８では、量子化回路１５からの量子化値が、量子化回路１５で用いられた量子化ステップおよび量子化マトリクスにしたがって逆量子化され、これによりＤＣＴ係数に変換される。このＤＣＴ係数は、逆ＤＣＴ回路１９に供給される。逆ＤＣＴ回路１９では、ＤＣＴ係数が逆ＤＣＴ処理され、演算器２０に供給される。
【００４６】
演算器２０には、逆ＤＣＴ回路１９の出力の他、上述したように、動き補償回路２２から、演算器１３に供給されている予測画像と同一のデータが供給されており、演算器２０は、逆ＤＣＴ回路１９からの信号（予測残差）と、動き補償回路２２からの予測画像とを加算することで、元の画像を、局所復号する（但し、予測モードがイントラ符号化である場合には、逆ＤＣＴ回路１９の出力は、演算器２０をスルーして、フレームメモリ２１に供給される）。なお、この復号画像は、受信側において得られる復号画像と同一のものである。
【００４７】
演算器２０において得られた復号画像（局所復号画像）は、フレームメモリ２１に供給されて記憶され、その後、インター符号化（前方予測符号化、後方予測符号化、または両方向予測符号化）される画像に対する参照画像（参照フレーム）として用いられる。
【００４８】
一方、アクティビティ検出回路２４では、マクロブロックの複雑さを表す指標として、例えば、そのアクティビティ（activity）が検出され、量子化インデックス決定回路２５に供給される。量子化インデックス決定回路２５には、外部コンピュータ２から目標符号量が、バッファ１７から発生符号量が、アクティビティ検出回路２４からアクティビティが、それぞれ供給されるようになされている。そして、量子化インデックス決定回路２５は、これらの目標符号量、発生符号量、およびアクティビティに基づいて、適応的に量子化インデックスを決定し、即ち、例えば、発生符号量が目標符号量に一致するような量子化インデックスであって、アクティビティに対応した画質の復号画像が得られるようなものを決定し、量子化回路１５に供給する。
【００４９】
さらに、量子化インデックス決定回路２５には、外部コンピュータ２から、使用する量子化マトリクスを指示する指示信号が供給されるようになされており、量子化インデックス決定回路２５は、この指示信号にしたがって、使用する量子化マトリクスを決定する。即ち、外部コンピュータ２は、後述するようにして、使用する量子化マトリクスを決定し、その量子化マトリクスに対応する指示信号を、量子化インデックス決定回路２５に出力するようになされており、量子化インデックス決定回路２５は、外部コンピュータ２からの指示信号にしたがって、使用する量子化マトリクスを決定し、量子化回路１５に出力する。
【００５０】
これにより、量子化回路１５では、上述したように、量子化インデックス決定回路２５からの量子化マトリクスまたは量子化インデックスに対応する量子化ステップで、ＤＣＴ係数に対する重み付けまたは量子化がそれぞれ行われる。
【００５１】
なお、量子化インデックス決定回路２５は、１パス目は、固定の量子化インデックスを出力するようになされており、これにより、量子化回路１５では、固定の量子化ステップで量子化が行われる。そして、２パス目において、量子化インデックス決定回路２５は、上述したように、バッファ１７からの発生符号量、アクティビティ検出回路２４からのアクティビティ、さらには、外部コンピュータ２からの目標符号量に基づいて、適応的に量子化インデックスを設定するようになされており、これにより、量子化回路１５では、そのように適応的に設定された量子化インデックスに対応する量子化ステップで量子化が行われる。
【００５２】
次に、図１の画像符号化装置における量子化処理の詳細について説明する。
【００５３】
例えば、ＭＰＥＧ符号化を行う場合においては、図２のエンコーダ１における量子化回路１５では、まず、ＤＣＴ係数（但し、ＤＣＴ係数のうちのＡＣ成分についてのみ）が１６倍される。そして、その１６倍されたＤＣＴ係数が、量子化ステップと、量子化マトリクスのうちのＤＣＴ係数に対応する位置にある係数とを除数として除算され、その除算結果を、例えば四捨五入した値が、量子化値として出力される。
【００５４】
図３は、ＭＰＥＧにおけるデフォルトの量子化マトリクスを示している。なお、同図（Ａ）または（Ｂ）は、イントラ符号化またはインター符号化が行われる場合のデフォルトの量子化マトリクスをそれぞれ示している。
【００５５】
量子化マトリクスの係数は、イントラ符号化におけるＤＣ係数を除いて、１６を基準とした、それ以上の値になっている。これは、上述したように、量子化が、ＤＣＴ係数を１６倍した後に行われるためである。従って、量子化マトリクスの係数は、必ずしも１６以上である必要はないが、１６未満の値とした場合に、量子化ステップが１や２などのように極端に小さな値であるときには、量子化値が元のＤＣＴ係数よりも大きな値となることがあり、また、この場合に量子化値の精度が向上するわけでもないので、通常は、１６以上の値とされる。
【００５６】
なお、ＭＰＥＧでは、イントラ符号化におけるＤＣ係数についての量子化マトリクスの係数は８（固定値）とすることが規定されている。
【００５７】
いま、図３に示したデフォルトの量子化マトリクスを使用して、２パス目の処理を行った場合に、発生符号量および目標符号量、アクティビティなどの観点から、量子化インデックスが、例えば、３乃至９の範囲の値が設定されて量子化が行われるとする。なお、以下では、説明を簡単にするために、量子化インデックスと量子化ステップとの対応関係として線形なものを考える。従って、上述の場合、量子化ステップは、６，８，・・・，１８のうちのいずれかが設定される。
【００５８】
この場合において、図４に示すように、量子化マトリクスを、図３に示した量子化マトリクスの係数（但し、上述した理由から、イントラ符号化におけるＤＣ係数に対応する位置の係数は除く）を２で除算して整数に丸めたものに変更すると（図４（Ａ）または図４（Ｂ）が、それぞれ図３（Ａ）または図３（Ｂ）に対応している）、その変更前と同一の発生符号量を得るためには、量子化インデックスは、量子化マトリクスの変更前における量子化インデックスの２倍にする必要がある。即ち、量子化回路１５では、ＤＣＴ係数が、量子化マトリクスの係数と、量子化インデックスに対応する量子化ステップとの両方で除算されるから、量子化マトリクスの係数を１／２倍にした場合、同一の符号量を得るために、量子化インデックスとしては、元の２倍の値の範囲を設定する必要がある。
【００５９】
従って、本来ならば、上述のように、量子化インデックスが３乃至９の範囲の値が設定されて量子化が行われる場合において、量子化マトリクスの係数を１／２倍にすると、量子化インデックスは、元の値の２倍の範囲である６乃至１８の範囲の値が設定され、その結果、量子化ステップとしては、１２，１４，・・・，３６のうちのいずれかが設定されることになる。
【００６０】
ここで、量子化マトリクスの変更前と変更後とにおける量子化インデックスを比較してみると、量子化マトリクスの変更前では、３乃至９の７値しか使用することができなかった量子化インデックスが、量子化マトリクスの変更後には、６乃至１８の１３値を使用することができることになる。
【００６１】
従って、量子化マトリクスを、上述のように２で除算（１／２倍）して、その係数を小さな値に変更することにより、使用する量子化インデックスの範囲を、大きな値の広い範囲に変更することができ、これにより、量子化インデックスが変化した場合の、その変化前後の比率を小さくすることができる。その結果、量子化インデックスを、その値から見て、細かく、かつ広い範囲で変化させることができることになる。
【００６２】
図１の画像符号化装置では、以上のようにして、量子化インデックス、ひいては、量子化ステップを、小さい比率で細かく変化させ、これにより、その１段階の変化が、復号画像の画質に及ぼす影響を小さくし、復号画像の画質の均一化を図るようになされている。
【００６３】
なお、上述の場合においては、量子化マトリクスの係数を２で除算するようにしたが、この係数を除算する除数は２に限定されるものではなく、３や４その他の１より大きい実数を用いることが可能である。
【００６４】
次に、量子化マトリクスを、常時、上述のように２などで除算（１／２倍など）して、その係数を小さな値に変更し、使用する量子化インデックスの範囲を、大きな値の範囲に変更した場合、非常に複雑な画像が入力されたり、また、低ビットレートに圧縮を行うときなどは、量子化インデックスとして、その上限値を越えた値が必要になることがある。
【００６５】
即ち、例えば、図３に示したデフォルトの量子化マトリクスを使用して、２パス目の処理を行った場合に、発生符号量および目標符号量、アクティビティなどの観点から、量子化インデックスが、例えば、８乃至２４の範囲の値が設定されて量子化が行われるとする。この場合において、上述したように、量子化マトリクスの係数を１／２倍すると、量子化インデックスとしては、８乃至２４の範囲の２倍の範囲である１６乃至４８の範囲が必要となる。
【００６６】
ＭＰＥＧでは、量子化インデックスの上限値は、前述のように３１であり、この場合、量子化インデックスとして、その上限値を越えた値が必要になる。
【００６７】
しかしながら、上限値を越えた量子化インデックスは設定することができないから、そのような量子化インデックスが必要な場合であっても、量子化インデックスの上限値に対応する量子化ステップ（ＭＰＥＧでは、前述したように６２）で量子化が行われる。従って、この場合、目標符号量よりも極端に大きな符号量が発生することになる。
【００６８】
ところで、量子化インデックスとして、例えば、上述のように８乃至２４の範囲などの、比較的大きな値を含む範囲が使用される場合においては、量子化マトリクスを変更して、使用可能な量子化インデックスの値を、さらに大きな値にしなくても、復号画像の均一性はある程度保たれる。
【００６９】
従って、量子化マトリクスの変更は、常時行う必要はなく、量子化マトリクスをそのまま用いた場合における量子化インデックスの使用可能な範囲の値に対応して行えば良い。
【００７０】
ここで、量子化マトリクスをそのまま用いた場合における量子化インデックスの使用可能な範囲（使用される量子化インデックスの範囲）の正確な値は、符号化が終了しないと分からない。即ち、例えば、２パスエンコーディングが行われる場合においては、１パス目の処理で、固定の量子化ステップで量子化が行われ、その処理結果に基づいて目標符号量が求められ、２パス目の処理で、発生符号量が目標符号量に一致するように、適応的に量子化ステップが変化されるから、使用される量子化ステップの範囲、即ち、使用される量子化インデックスの範囲の正確な値は、２パス目の処理が終了して、初めて認識することができる。
【００７１】
従って、２パス目の処理により、使用される量子化インデックスの範囲を、正確に求め、その範囲が、小さな値の範囲である場合には、量子化マトリクスを変更して、再度符号化を行うようにする必要があるが、これでは、処理に時間を要することになる。
【００７２】
そこで、１パス目の処理に基づき、例えば、次のようにして、使用される量子化インデックスを予測し、その予測結果に対応して、量子化マトリクスを変更するかどうかを決定するようにすることができる。
【００７３】
即ち、１パス目の処理では、上述したように、固定の量子化インデックス（量子化ステップ）で量子化が行われ、その結果得られる符号量その他に基づいて、２パス目における目標符号量が決定される。
【００７４】
そこで、まず、例えば、１ＧＯＰや、１本の映画などのような所定の時間ごとに、１パス目の処理で得られた発生符号量の総和Ｇと、その発生符号量に基づいて決定された目標符号量の総和Ｔを求め、それらの比ｒ＝Ｔ／Ｇを判定する。
【００７５】
この目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒは、所定の時間における量子化インデックスの平均的な値が、１パス目の処理における固定の量子化インデックス（例えば、８など）と等しければ１になり、また、その平均的な値が固定の量子化インデックスよりも大きい場合または小さい場合は、それぞれ、１より小さくまたは大きくなる。
【００７６】
即ち、実際の発生符号量を目標符号量に一致させるために、２パス目の処理では、１パス目の処理で得られた目標符号量の総和Ｔが発生符号量の総和Ｇより大であれば、固定の量子化インデックスより小さな量子化インデックスが設定されることが予想され、その逆に、１パス目の処理で得られた目標符号量の総和Ｔが発生符号量の総和Ｇより小であれば、固定の量子化インデックスより大きな量子化インデックスが設定されることが予想される。
【００７７】
従って、目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒによって、２パス目の処理における量子化インデックスの、固定の量子化インデックスを基準とした値を予測することができるので、この比ｒに対応して、量子化マトリクスを変更するかどうかを決定すれば良い。
【００７８】
以上のようにして符号化を行う場合の図１の画像符号化装置の処理について、図５のフローチャートを参照して、さらに説明する。
【００７９】
まず最初に、ステップＳ１において、エンコーダ１は、１パス目の処理を行う。即ち、エンコーダ１は、固定の量子化インデックスで量子化を行い、その結果得られる符号化データの発生符号量、さらには、例えばＤＣＴ係数のＤＣ成分、画像のアクティビティ、その他の目標符号量を決定するのに必要な情報（統計量）を、外部コンピュータ２に出力する。
【００８０】
外部コンピュータ２は、エンコーダ１から各種の情報を受信すると、ステップＳ２において、その情報に基づいて、２パス目の処理により得られる符号化データの目標符号量を算出する。そして、外部コンピュータ２は、ステップＳ３において、所定の時間単位における目標符号量の総和Ｔと発生符号量（１パス目の処理の発生符号量）の総和Ｇとの比ｒを求め、ステップＳ４に進み、その比ｒの値を判定する。
【００８１】
ステップＳ４において、比ｒが、例えば、０．５より小さいと判定された場合、即ち、２パス目の処理における量子化インデックスの値が大であると予測される場合、ステップＳ５に進み、外部コンピュータ２は、例えばデフォルトの量子化マトリクスをそのまま使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８２】
また、ステップＳ４において、比ｒが、例えば、０．５以上であり、かつ２より小さいと判定された場合、即ち、２パス目の処理における量子化インデックスの値が中であると予測される場合、ステップＳ６に進み、外部コンピュータ２は、例えば、デフォルトの量子化マトリクスの係数を１／２倍したもの（以下、適宜、ハーフ量子化マトリクスという）を使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８３】
さらに、ステップＳ４において、比ｒが、例えば、２以上であると判定された場合、即ち、２パス目の処理における量子化インデックスの値が小であると予測される場合、ステップＳ６に進み、外部コンピュータ２は、例えば、デフォルトの量子化マトリクスの係数を１／４倍したもの（以下、適宜、クオータ量子化マトリクスという）を使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８４】
ステップＳ８では、エンコーダ１の量子化インデックス決定回路２５において、外部コンピュータ２からの指示信号にしたがった量子化マトリクス（ここでは、デフォルトの量子化マトリクス、ハーフ量子化マトリクス、またはクオータ量子化マトリクスのうちのいずれか）が設定され、さらに目標符号量に対応した量子化インデックスが設定され、量子化回路１５に供給される。これにより、量子化回路１５では、量子化インデックス決定回路２５からの量子化マトリクスと量子化インデックスにしたがって、ＤＣＴ係数が量子化される。
【００８５】
なお、ステップＳ４乃至Ｓ８の処理は、ステップＳ３において、比ｒが求められる時間ごとに繰り返し行われる。即ち、ステップＳ３において、例えば、１ＧＯＰごとに目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒが求められる場合には、ステップＳ４乃至Ｓ８の処理は、その比が求められるＧＯＰ単位で繰り返される。
【００８６】
以上のように、量子化ステップの変化前後の比率が小さくなるように、ＤＣＴ係数に対する重み付けを行う量子化マトリクスの係数を変更し、これにより、量子化ステップを、その値に対して細かく変化させることができるようにしたので、従来のように、量子化インデックスと量子化ステップとの対応関係として線形なものと非線形なものとのいずれかしか選択することができない場合に比較して、いわばきめ細かい変化が可能な量子化ステップでの量子化を行うことができる。そして、その結果、復号画像の画質の均一化を図ることが可能となり、視聴者が復号画像を視聴したときの主観的な画質を大幅に向上させることができる。
【００８７】
また、量子化ステップを細かく変化させることができる結果、発生符号量を、より柔軟に調整して目標符号量に近づけることができるようになり、例えば、ＭＰＥＧ符号化を行う際にデコーダ側に想定されるＶＢＶバッファのデータ蓄積量を管理するために、目標符号量に対して見積もるマージンを小さくすることができる。即ち、ＶＢＶバッファのアンダーフローを防止するために、目標符号量を、本来見積もるべき値より、それほど大きなマージンをみて設定する必要がなくなり、その結果、複雑な画像に対しては、従来よりも多い符号量を目標符号量として割り当てることが可能となるので、そのような画像についての復号画像の画質を向上させることが可能となる。
【００８８】
さらに、２パスエンコーディングを行う場合においては、１パス目の処理結果から、２パス目における量子化インデックスを予測し、その予測結果に基づいて、量子化マトリクスを変更するようにしたので、上限値を越えた量子化インデックスが必要となることを防止することが可能となる。即ち、上限値を越えない範囲で、量子化インデックスを変化させることが可能となる。
【００８９】
以上、本発明を、２パスエンコーディングを行う画像符号化装置に適用した場合について説明したが、本発明は、その他、１回の処理で符号化を行う場合にも適用可能である。
【００９０】
なお、本実施の形態では、量子化インデックスと量子化ステップとが線形な対応関係にあるとしたが、本発明は、これらが非線形な対応関係にある場合にも適用することができる。但し、量子化インデックスと量子化ステップとが非線形な対応関係にある場合、量子化マトリクスの係数を小さな値に変更しても、量子化ステップが、その変更前より細かく変化するとは限らない（量子化インデックスは細かく変化するようになるが、量子化ステップは、量子化インデックスと非線形に対応付けられているため、量子化インデックスと同様に細かく変化するとは限らない）。しかしながら、この場合でも、量子化マトリクスの係数を小さな値にすることで、量子化ステップは大きな値にはなるので、量子化ステップの変化前後の比率は小さくなり、その結果、量子化インデックスと量子化ステップとが線形な対応関係にある場合と同様に、画質の均一化を図ることができる。
【００９１】
また、本実施の形態では、外部コンピュータ２からエンコーダ１に目標符号量を送信し、エンコーダ１において量子化インデックスを決定するようにしたが、量子化インデックスは、外部コンピュータ２において決定し、エンコーダ１に送信するようにすることも可能である。
【００９２】
さらに、本実施の形態では、外部コンピュータ２において、使用する量子化マトリクスを決定するようにしたが、この決定処理は、エンコーダ１において行うようにすることも可能である。
【００９３】
また、本実施の形態では、ＭＰＥＧで規定されているデフォルトの量子化マトリクスを用いるようにしたが、本発明は、その他の量子化マトリクスを使用する場合にも適用することが可能である。即ち、例えば、図６は、ＴＭ５（Test Model 5(Test Model Editing Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993))）で提案されている量子化マトリクスを示しており、イントラ符号化の際に使用される量子化マトリクス（図６（Ａ））だけでなく、インター符号化の際に使用される量子化マトリクス（図６（Ｂ））にも傾斜が付されているが（これに対して、図３に示したＭＰＥＧのデフォルトの量子化マトリクスでは、イントラ符号化の際に使用されるもののみに傾斜が付されており、インター符号化の際に使用されるものには傾斜が付されていない）、このような量子化マトリクスについても、本発明は適用可能である。つまり、本発明は、量子化マトリクスにおける係数の傾斜の有無、さらには、その傾斜の付し方に関係なく適用することができる。
【００９４】
さらに、本実施の形態においては、量子化回路１５において、ＤＣＴ回路１４が出力するＤＣＴ係数を量子化するようにしたが、本発明は、ＤＣＴ係数以外の直交変換係数を量子化する場合にも適用可能である。
【００９５】
【発明の効果】
請求項１に記載の画像符号化装置および請求項３に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項４に記載の画像符号化装置および請求項５に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項６に記載の画像符号化装置および請求項７に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項８に記載の画像符号化装置および請求項９に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
【００９６】
請求項１０に記載の記録装置および請求項１１に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１２に記載の記録装置および請求項１３に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１４に記載の記録装置および請求項１５に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１６に記載の記録装置および請求項１７に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のエンコーダ１の構成例を示すブロック図である。
【図３】ＭＰＥＧで規定されているデフォルトの量子化マトリクスを示す図である。
【図４】図３の量子化マトリクスの係数を２で除算し、さらに整数に丸めたものを示す図である。
【図５】図１の画像符号化装置の処理を説明するためのフローチャートである。
【図６】ＴＭ５で規定されている量子化マトリクスを示す図である。
【符号の説明】
１ エンコーダ， ２ 外部コンピュータ， ３ 記録媒体， ４ 伝送路，１１ 画像並び替え回路， １２ 走査変換／マクロブロック化回路， １３演算器， １４ ＤＣＴ回路（直交変換手段）， １５ 量子化回路（量子化手段）（重み付け手段）， １６ ＶＬＣ回路， １７ バッファ， １８ 逆量子化回路， １９ 逆ＤＣＴ回路， ２０ 演算器， ２１ フレームメモリ， ２２ 動き補償回路， ２３ 動き検出回路， ２４ アクティビティ検出回路， ２５ 量子化インデックス決定回路
【発明の属する技術分野】
本発明は、画像符号化装置および画像符号化方法、並びに記録装置および記録方法に関し、特に、復号画像の画質を均一にすることができるようにする画像符号化装置および画像符号化方法、並びに記録装置および記録方法に関する。
【０００２】
【従来の技術】
例えば、ＭＰＥＧ（Moving Picture Experts Group）符号化などに代表されるＤＣＴ（Discrete Cosine Transform）を用いた画像符号化方式（画像圧縮方式）では、一般的に、画像をＤＣＴ処理して得られるＤＣＴ係数に、人間の視覚特性上の空間周波数ごとの量子化感度の違いを利用した重み付けをして量子化が行われ、これにより圧縮率を高めるようになされている。即ち、高次のＤＣＴ係数は、復号画像を見たときの見た目の画質にあまり影響しないため、低次のＤＣＴ係数に比較して、粗く量子化が行われるような重み付けがされる。
【０００３】
ＭＰＥＧでは、上述のような重み付けを行うための手段として、ＪＰＥＧ（Joint Photographic coding Experts Group）から継承された量子化マトリクスが用意されている。量子化マトリクスは、ＤＣＴ処理の単位である８×８画素のブロックに対応する８×８の係数が並んだマトリクス（matrix）で、その係数は、符号化に際して自由に変更することができるようになされている。
【０００４】
量子化マトリクスによる重み付けとは、ＤＣＴ係数を、量子化マトリクスを構成する係数のうちの、そのＤＣＴ係数に対応する位置にあるもので除算することを意味するが、実際には、ＤＣＴ係数が、量子化マトリクスの係数と量子化ステップとを乗算した乗算値で量子化されるので、即ち、ＤＣＴ係数の重み付けと量子化とは同時に行われるので、量子化マトリクスは、人間の視覚特性に対応した量子化を行うための量子化ステップと考えることもできる。
【０００５】
量子化マトリクスによれば、上述のように、人間の視覚特性に利用した効率的な量子化を実現することができ、その係数は、一般に、そのような観点から設定されるが、量子化ステップは、一般に、例えば、発生符号量が所定の目標符号量と一致するように制御するレートコントロールと、画像のアクティビティ（activity）（活性度）により変化する復号画像の画質（見た目の画質）の均一化とを実現する量子化インデックスに対応して設定される。
【０００６】
ＭＰＥＧでは、量子化インデックスと量子化ステップとの対応関係として、線形なものと非線形なものとの２種類が規定されている。即ち、ＭＰＥＧでは、量子化インデックスとして、１乃至３１の整数値が規定されており、線形な対応関係によれば、量子化ステップには、量子化インデックスの２倍の値が対応付けられている。従って、量子化ステップは、量子化インデックスに対応して一意的に決まり、量子化インデックスが１，２，・・・，３１のとき、量子化ステップは、２，４，・・・，６２となる。非線形な対応関係でも、同様に、量子化インデックスと量子化ステップとが所定の非線形な関数によって１対１に対応付けられている。
【０００７】
なお、非線形な対応関係においては、量子化インデックスが小さい範囲では、量子化ステップを細かく変化させることができるように、また、量子化インデックスが大きい範囲では、量子化ステップを大きく変化させることができるように、量子化インデックスと量子化ステップとが対応付けられている。
【０００８】
また、線形または非線形のうちのいずれの対応関係を用いて量子化を行ったかはＱスケールタイプと呼ばれる変数によって表され、デコーダ側では、このＱスケールタイプを参照することで、量子化インデックスと量子化ステップとの対応関係が認識される。
【０００９】
ところで、例えば、ＤＶＤ（Digigal Versatile Disc）や、ビデオＣＤ（Compact Disc）などのオーサリングにあたっては、現在、画像の圧縮符号化方法としてＭＰＥＧ方式が採用されているが、このようなオーサリングなどの画像の記録、あるいは伝送を行う際には、少ない符号量で、良好な画質の復号画像を得ることができるように、画像を圧縮符号化することが要求される。
【００１０】
そこで、例えば、オーサリングでは、画像をＤＣＴ処理して得られるＤＣＴ係数を、固定の量子化ステップで量子化し、画像の複雑さ（難しさ）としての、例えば発生符号量などを測定する１パス目の処理と、その１パス目の処理によって得られる発生符号量などに基づいて、所定の目標符号量を設定し、その目標符号量に、発生符号量が一致するように量子化ステップを適応的に変化させ、画像を可変レート符号化する２パス目の処理とを行う、いわゆる２パスエンコーディングが、一般に行われる。
【００１１】
２パスエンコーディングによれば、画像の複雑さに無関係に一定の符号量が割り当てられることにより、複雑な部分が極端に粗く量子化されるようなことを防止することができる。即ち、１パス目の処理の結果に基づき、２パス目の処理において、平坦な画像には少ない符号量を、複雑な画像には多くの符号量を、それぞれ目標符号量として割り当てることにより、量子化ステップの変化が、所定の狭い範囲に収まるようにし、その結果、画像全体にわたって、極端に粗い量子化がされるような部分が生じないようにすることができる。
【００１２】
【発明が解決しようとする課題】
ところで、量子化ステップが、上述のように所定の狭い範囲で変化する場合においては、その変化前後の量子化ステップの比率が小さい方が望ましい。
【００１３】
即ち、いま、説明を簡単にするために、量子化インデックスと量子化ステップとの対応関係として、線形なものを使用するとすると、上述したように、量子化ステップは、量子化インデックスの２倍の値に設定される。この場合において、量子化インデックスが、例えば、１から２に変化するときと、３０から３１に変化するときとを考えてみる。
【００１４】
まず、量子化インデックスが、１から２に変化する場合、量子化ステップは２から４に変化するので、変化前後の量子化ステップの比率（［変化後の量子化ステップ］／［変化前の量子化ステップ］）は、２（＝（４−２）／２）倍となる。一方、量子化インデックスが、３０から３１に変化する場合、量子化ステップは６０から６２に変化するので、変化前後の量子化ステップの比率は、約１．０３３（≒６２／６０）倍となる。
【００１５】
ＭＰＥＧにおいては、量子化ステップは、マクロブロック単位で変化させることができるので、隣接するマクロブロックにおける量子化ステップが大きい比率で変化すると、発生符号量に大きな差が生じるだけでなく、その復号画像の画質にも大きな差が生じる。従って、量子化インデックスが小さい値を変化する場合においては、その１段階の変化が、復号画像の画質に大きな影響を及ぼし、１フレームを構成するマクロブロックの間で、そのような画質の差が生じると、視聴者に違和感を感じさせることになる。
【００１６】
本発明は、このような状況に鑑みてなされたものであり、量子化ステップの変化前後の比率が小さくなるようにし、これにより、復号画像の画質の均一化を図ることができるようにするものである。
【００１７】
【課題を解決するための手段】
請求項１に記載の画像符号化装置、および請求項３に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をGOP単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項４に記載の画像符号化装置、および請求項５に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をピクチャ単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項６に記載の画像符号化装置、および請求項７に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
【００１８】
請求項８に記載の画像符号化装置、および請求項９に記載の画像符号化方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化する。
請求項１０に記載の記録装置、および請求項１１に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をGOP単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
請求項１２に記載の記録装置、および請求項１３に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、出力された発生符号量に基づいて、画像を符号化する際の目標符号量をピクチャ単位で算出し、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
【００１９】
請求項１４に記載の記録装置、および請求項１５に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
請求項１６に記載の記録装置、および請求項１７に記載の記録方法は、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数を量子化し、量子化された量子化値を符号化して記録媒体に記録する。
【００２０】
請求項１に記載の画像符号化装置、および請求項３に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項４に記載の画像符号化装置、および請求項５に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項６に記載の画像符号化装置、および請求項７に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
【００２１】
請求項８に記載の画像符号化装置、および請求項９に記載の画像符号化方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。
請求項１０に記載の記録装置、および請求項１１に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
請求項１２に記載の記録装置、および請求項１３に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
【００２２】
請求項１４に記載の記録装置、および請求項１５に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
請求項１６に記載の記録装置、および請求項１７に記載の記録方法においては、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。
【００２３】
【発明の実施の形態】
図１は、本発明の画像符号化装置の一実施の形態の構成を示している。
【００２４】
この画像符号化装置は、いわゆる２パスエンコーディングによって、画像をＭＰＥＧ方式などにより可変レートで符号化するようになっており、例えば、ＤＶＤ（Digital Versatile Disc）や、ビデオＣＤ（Compact Disc）などのオーサリングシステムその他に適用することができるようになっている。
【００２５】
符号化すべき画像データは、エンコーダ１に入力されるようになされおり、エンコーダ１は、画像データを、少なくともＤＣＴ係数などの直交変換係数に直交変換し、その直交変換係数を量子化することにより符号化するようになされている。
【００２６】
即ち、１パス目では、エンコーダ１は、画像データを、固定の量子化ステップで量子化することにより符号化し、その結果得られる符号化データの発生符号量（あるいは、発生符号量に対応する情報としての、例えば、画像データの符号化難易度（difficulty）など）を、外部コンピュータ２に出力する。外部コンピュータ２は、エンコーダ１からの発生符号量に基づいて、例えば、１ＧＯＰ（Group Of Picture）や１画面（１フレームまたは１フィールド）ごとの目標符号量を設定する。
【００２７】
そして、２パス目では、外部コンピュータ２は、設定した目標符号量を、エンコーダ１に供給し、エンコーダ１は、この目標符号量に、発生符号量が一致するように量子化ステップを設定しながら、画像データの符号化を行う。なお、量子化ステップは、目標符号量の他、過去の発生符号量や、デコーダ側に想定されるＶＢＶ（Video Buffering Verifier）バッファにおけるデータの蓄積量、画像の複雑さなどにも基づいて設定される。
【００２８】
２パス目の符号化によって得られた符号化データは、例えば、光ディスクや、光磁気ディスク、磁気テープその他でなる記録媒体３に記録され、あるいは、例えば、地上波、衛星回線、ＣＡＴＶ網、インターネットその他でなる伝送路４を介して伝送される。
【００２９】
次に、図２は、図１のエンコーダ１の構成例を示している。
【００３０】
図２では、エンコーダ１において、画像がＭＰＥＧ符号化されるようになされている。
【００３１】
即ち、符号化すべき画像データは、画像並び替え回路１１に供給される。画像並び替え回路１１は、入力された画像データのフレーム（またはフィールド）の並びを、必要に応じて替えて、走査変換／マクロブロック化回路１２に出力する。即ち、各フレームの画像データは、Ｉピクチャ、Ｐピクチャ、またはＢピクチャのうちのいずれかとして処理されるが、例えば、Ｂピクチャの処理に、それより時間的に後のＩピクチャやＰピクチャが必要な場合があり、このようなＩピクチャやＰピクチャは、Ｂピクチャより先に処理する必要がある。そこで、画像並び替え回路１１では、時間的に後のフレームを先に処理することができるように、フレームの並びを替えるようになされている。
【００３２】
なお、シーケンシャルに入力される各フレームの画像を、Ｉ，Ｐ，Ｂピクチャのいずれのピクチャとして処理するかは、予め定められている。
【００３３】
画像並び替え回路１１において並び替えられた画像データは、走査変換／マクロブロック化回路１２に出力され、そこでは、画像データの走査変換およびマクロブロック化が行われ、その結果得られるマクロブロックが、演算器１３、動き検出回路２３、およびアクティビティ検出回路２４に出力される。
【００３４】
動きベクトル検出回路２３は、走査変換／マクロブロック化回路１２から供給されるマクロブロックの動きベクトルを検出する。
【００３５】
即ち、動きベクトル検出回路２３は、予め定められた所定の参照フレームを参照し、その参照フレームと、走査変換／マクロブロック化回路１２からのマクロブロックとをパターンマッチング（ブロックマッチング）することにより、そのマクロブロックの動きベクトルを検出する。
【００３６】
ここで、ＭＰＥＧにおいては、画像の予測モードには、イントラ符号化（フレーム内符号化）、前方予測符号化、後方予測符号化、両方向予測符号化（前方、後方、および両方向の３つの予測符号化は、イントラ符号化に対して、インター符号化または非イントラ符号化と呼ばれる）の４種類があり、Ｉピクチャはイントラ符号化され、Ｐピクチャはイントラ符号化または前方予測符号化され、Ｂピクチャはイントラ符号化、前方予測符号化、後方予測符号化、または両方法予測符号化される。
【００３７】
即ち、動きベクトル検出回路２３は、Ｉピクチャについては、予測モードとしてイントラ符号化モードを設定する。この場合、動きベクトル検出回路２３では、動きベクトルの検出は行われない。
【００３８】
また、動きベクトル検出回路２３は、Ｐピクチャについては、前方予測を行い、その動きベクトルを検出する。さらに、動きベクトル検出回路２３は、前方予測を行うことにより生じる予測誤差と、符号化対象のマクロブロック（Ｐピクチャのマクロブロック）の、例えば分散とを比較し、マクロブロックの分散の方が予測誤差より小さい場合、予測モードとしてイントラ符号化モードを設定する。また、動きベクトル検出回路２３は、前方予測を行うことにより生じる予測誤差の方が小さければ、予測モードとして前方予測符号化モードを設定し、検出した動きベクトルを、動き補償回路２２に出力する。
【００３９】
さらに、動きベクトル検出回路２３は、Ｂピクチャについては、前方予測、後方予測、および両方向予測を行い、それぞれの動きベクトルを検出する。そして、動きベクトル検出回路２３は、前方予測、後方予測、および両方向予測についての予測誤差の中の最小のもの（以下、適宜、最小予測誤差という）を検出し、その最小予測誤差と、符号化対象のマクロブロック（Ｂピクチャのマクロブロック）の、例えば分散とを比較する。その比較の結果、マクロブロックの分散の方が最小予測誤差より小さい場合、動きベクトル検出回路２３は、予測モードとしてイントラ符号化モードを設定する。また、動きベクトル検出回路２３は、最小予測誤差の方が小さければ、予測モードとして、その最小予測誤差が得られた予測モードを設定し、対応する動きベクトルを、動き補償回路２２に出力する。
【００４０】
動き補償回路２２は、動きベクトルを受信すると、その動きベクトルにしたがって、フレームメモリ２１に記憶されている、符号化され、既に局所復号化された画像データを読み出し、これを、予測画像として、演算器１３および２０に供給する。
【００４１】
演算器１３は、走査変換／マクロブロック化回路１２からのマクロブロックと、動き補償回路２２からの予測画像との差分を演算する。この差分値は、ＤＣＴ回路１４（直交変換手段）に供給される。
【００４２】
なお、動きベクトル検出回路２３において、予測モードとしてイントラ符号化モードが設定された場合、動き補償回路２２は、予測画像を出力しない。この場合、演算器１３（演算器２０も同様）は、特に処理を行わず、走査変換／マクロブロック化回路１２からのマクロブロックを、そのままＤＣＴ回路１４に出力する。
【００４３】
ＤＣＴ回路１４では、演算器１３の出力に対して、ＤＣＴ処理が施され、その結果得られるＤＣＴ係数が、量子化回路１５（量子化手段）（重み付け手段）に供給される。量子化回路１５では、量子化インデックス決定回路２５からの量子化マトリクスにしたがって、ＤＣＴ回路１４からのＤＣＴ係数に重み付けがなされ、その重み付け後のＤＣＴ係数が、同じく量子化インデックス決定回路２５からの量子化インデックスに対応する量子化ステップ（量子化スケール）で量子化される。即ち、量子化回路１５では、量子化インデックス決定回路２５からの量子化インデックスに対応して量子化ステップが設定され、その量子化ステップに、量子化インデックス決定回路２５からの量子化マトリクスの係数をかけたもので、ＤＣＴ回路１４からのＤＣＴ係数が量子化される。この量子化されたＤＣＴ係数（以下、適宜、量子化値という）は、ＶＬＣ器１６に供給される。
【００４４】
ＶＬＣ器１６では、量子化回路１５より供給される量子化値が、例えばハフマン符号などの可変長符号に変換され、バッファ１７に出力される。バッファ１７は、ＶＬＣ器１６からのデータを一時蓄積し、そのデータ量を平滑化して出力する。なお、バッファ１７におけるデータ蓄積量は、発生符号量として、外部コンピュータ２（図１）と量子化インデックス決定回路２５に供給されるようになされている。
【００４５】
一方、量子化回路１５が出力する量子化値は、ＶＬＣ器１６だけでなく、逆量子化回路１８にも供給されるようになされている。逆量子化回路１８では、量子化回路１５からの量子化値が、量子化回路１５で用いられた量子化ステップおよび量子化マトリクスにしたがって逆量子化され、これによりＤＣＴ係数に変換される。このＤＣＴ係数は、逆ＤＣＴ回路１９に供給される。逆ＤＣＴ回路１９では、ＤＣＴ係数が逆ＤＣＴ処理され、演算器２０に供給される。
【００４６】
演算器２０には、逆ＤＣＴ回路１９の出力の他、上述したように、動き補償回路２２から、演算器１３に供給されている予測画像と同一のデータが供給されており、演算器２０は、逆ＤＣＴ回路１９からの信号（予測残差）と、動き補償回路２２からの予測画像とを加算することで、元の画像を、局所復号する（但し、予測モードがイントラ符号化である場合には、逆ＤＣＴ回路１９の出力は、演算器２０をスルーして、フレームメモリ２１に供給される）。なお、この復号画像は、受信側において得られる復号画像と同一のものである。
【００４７】
演算器２０において得られた復号画像（局所復号画像）は、フレームメモリ２１に供給されて記憶され、その後、インター符号化（前方予測符号化、後方予測符号化、または両方向予測符号化）される画像に対する参照画像（参照フレーム）として用いられる。
【００４８】
一方、アクティビティ検出回路２４では、マクロブロックの複雑さを表す指標として、例えば、そのアクティビティ（activity）が検出され、量子化インデックス決定回路２５に供給される。量子化インデックス決定回路２５には、外部コンピュータ２から目標符号量が、バッファ１７から発生符号量が、アクティビティ検出回路２４からアクティビティが、それぞれ供給されるようになされている。そして、量子化インデックス決定回路２５は、これらの目標符号量、発生符号量、およびアクティビティに基づいて、適応的に量子化インデックスを決定し、即ち、例えば、発生符号量が目標符号量に一致するような量子化インデックスであって、アクティビティに対応した画質の復号画像が得られるようなものを決定し、量子化回路１５に供給する。
【００４９】
さらに、量子化インデックス決定回路２５には、外部コンピュータ２から、使用する量子化マトリクスを指示する指示信号が供給されるようになされており、量子化インデックス決定回路２５は、この指示信号にしたがって、使用する量子化マトリクスを決定する。即ち、外部コンピュータ２は、後述するようにして、使用する量子化マトリクスを決定し、その量子化マトリクスに対応する指示信号を、量子化インデックス決定回路２５に出力するようになされており、量子化インデックス決定回路２５は、外部コンピュータ２からの指示信号にしたがって、使用する量子化マトリクスを決定し、量子化回路１５に出力する。
【００５０】
これにより、量子化回路１５では、上述したように、量子化インデックス決定回路２５からの量子化マトリクスまたは量子化インデックスに対応する量子化ステップで、ＤＣＴ係数に対する重み付けまたは量子化がそれぞれ行われる。
【００５１】
なお、量子化インデックス決定回路２５は、１パス目は、固定の量子化インデックスを出力するようになされており、これにより、量子化回路１５では、固定の量子化ステップで量子化が行われる。そして、２パス目において、量子化インデックス決定回路２５は、上述したように、バッファ１７からの発生符号量、アクティビティ検出回路２４からのアクティビティ、さらには、外部コンピュータ２からの目標符号量に基づいて、適応的に量子化インデックスを設定するようになされており、これにより、量子化回路１５では、そのように適応的に設定された量子化インデックスに対応する量子化ステップで量子化が行われる。
【００５２】
次に、図１の画像符号化装置における量子化処理の詳細について説明する。
【００５３】
例えば、ＭＰＥＧ符号化を行う場合においては、図２のエンコーダ１における量子化回路１５では、まず、ＤＣＴ係数（但し、ＤＣＴ係数のうちのＡＣ成分についてのみ）が１６倍される。そして、その１６倍されたＤＣＴ係数が、量子化ステップと、量子化マトリクスのうちのＤＣＴ係数に対応する位置にある係数とを除数として除算され、その除算結果を、例えば四捨五入した値が、量子化値として出力される。
【００５４】
図３は、ＭＰＥＧにおけるデフォルトの量子化マトリクスを示している。なお、同図（Ａ）または（Ｂ）は、イントラ符号化またはインター符号化が行われる場合のデフォルトの量子化マトリクスをそれぞれ示している。
【００５５】
量子化マトリクスの係数は、イントラ符号化におけるＤＣ係数を除いて、１６を基準とした、それ以上の値になっている。これは、上述したように、量子化が、ＤＣＴ係数を１６倍した後に行われるためである。従って、量子化マトリクスの係数は、必ずしも１６以上である必要はないが、１６未満の値とした場合に、量子化ステップが１や２などのように極端に小さな値であるときには、量子化値が元のＤＣＴ係数よりも大きな値となることがあり、また、この場合に量子化値の精度が向上するわけでもないので、通常は、１６以上の値とされる。
【００５６】
なお、ＭＰＥＧでは、イントラ符号化におけるＤＣ係数についての量子化マトリクスの係数は８（固定値）とすることが規定されている。
【００５７】
いま、図３に示したデフォルトの量子化マトリクスを使用して、２パス目の処理を行った場合に、発生符号量および目標符号量、アクティビティなどの観点から、量子化インデックスが、例えば、３乃至９の範囲の値が設定されて量子化が行われるとする。なお、以下では、説明を簡単にするために、量子化インデックスと量子化ステップとの対応関係として線形なものを考える。従って、上述の場合、量子化ステップは、６，８，・・・，１８のうちのいずれかが設定される。
【００５８】
この場合において、図４に示すように、量子化マトリクスを、図３に示した量子化マトリクスの係数（但し、上述した理由から、イントラ符号化におけるＤＣ係数に対応する位置の係数は除く）を２で除算して整数に丸めたものに変更すると（図４（Ａ）または図４（Ｂ）が、それぞれ図３（Ａ）または図３（Ｂ）に対応している）、その変更前と同一の発生符号量を得るためには、量子化インデックスは、量子化マトリクスの変更前における量子化インデックスの２倍にする必要がある。即ち、量子化回路１５では、ＤＣＴ係数が、量子化マトリクスの係数と、量子化インデックスに対応する量子化ステップとの両方で除算されるから、量子化マトリクスの係数を１／２倍にした場合、同一の符号量を得るために、量子化インデックスとしては、元の２倍の値の範囲を設定する必要がある。
【００５９】
従って、本来ならば、上述のように、量子化インデックスが３乃至９の範囲の値が設定されて量子化が行われる場合において、量子化マトリクスの係数を１／２倍にすると、量子化インデックスは、元の値の２倍の範囲である６乃至１８の範囲の値が設定され、その結果、量子化ステップとしては、１２，１４，・・・，３６のうちのいずれかが設定されることになる。
【００６０】
ここで、量子化マトリクスの変更前と変更後とにおける量子化インデックスを比較してみると、量子化マトリクスの変更前では、３乃至９の７値しか使用することができなかった量子化インデックスが、量子化マトリクスの変更後には、６乃至１８の１３値を使用することができることになる。
【００６１】
従って、量子化マトリクスを、上述のように２で除算（１／２倍）して、その係数を小さな値に変更することにより、使用する量子化インデックスの範囲を、大きな値の広い範囲に変更することができ、これにより、量子化インデックスが変化した場合の、その変化前後の比率を小さくすることができる。その結果、量子化インデックスを、その値から見て、細かく、かつ広い範囲で変化させることができることになる。
【００６２】
図１の画像符号化装置では、以上のようにして、量子化インデックス、ひいては、量子化ステップを、小さい比率で細かく変化させ、これにより、その１段階の変化が、復号画像の画質に及ぼす影響を小さくし、復号画像の画質の均一化を図るようになされている。
【００６３】
なお、上述の場合においては、量子化マトリクスの係数を２で除算するようにしたが、この係数を除算する除数は２に限定されるものではなく、３や４その他の１より大きい実数を用いることが可能である。
【００６４】
次に、量子化マトリクスを、常時、上述のように２などで除算（１／２倍など）して、その係数を小さな値に変更し、使用する量子化インデックスの範囲を、大きな値の範囲に変更した場合、非常に複雑な画像が入力されたり、また、低ビットレートに圧縮を行うときなどは、量子化インデックスとして、その上限値を越えた値が必要になることがある。
【００６５】
即ち、例えば、図３に示したデフォルトの量子化マトリクスを使用して、２パス目の処理を行った場合に、発生符号量および目標符号量、アクティビティなどの観点から、量子化インデックスが、例えば、８乃至２４の範囲の値が設定されて量子化が行われるとする。この場合において、上述したように、量子化マトリクスの係数を１／２倍すると、量子化インデックスとしては、８乃至２４の範囲の２倍の範囲である１６乃至４８の範囲が必要となる。
【００６６】
ＭＰＥＧでは、量子化インデックスの上限値は、前述のように３１であり、この場合、量子化インデックスとして、その上限値を越えた値が必要になる。
【００６７】
しかしながら、上限値を越えた量子化インデックスは設定することができないから、そのような量子化インデックスが必要な場合であっても、量子化インデックスの上限値に対応する量子化ステップ（ＭＰＥＧでは、前述したように６２）で量子化が行われる。従って、この場合、目標符号量よりも極端に大きな符号量が発生することになる。
【００６８】
ところで、量子化インデックスとして、例えば、上述のように８乃至２４の範囲などの、比較的大きな値を含む範囲が使用される場合においては、量子化マトリクスを変更して、使用可能な量子化インデックスの値を、さらに大きな値にしなくても、復号画像の均一性はある程度保たれる。
【００６９】
従って、量子化マトリクスの変更は、常時行う必要はなく、量子化マトリクスをそのまま用いた場合における量子化インデックスの使用可能な範囲の値に対応して行えば良い。
【００７０】
ここで、量子化マトリクスをそのまま用いた場合における量子化インデックスの使用可能な範囲（使用される量子化インデックスの範囲）の正確な値は、符号化が終了しないと分からない。即ち、例えば、２パスエンコーディングが行われる場合においては、１パス目の処理で、固定の量子化ステップで量子化が行われ、その処理結果に基づいて目標符号量が求められ、２パス目の処理で、発生符号量が目標符号量に一致するように、適応的に量子化ステップが変化されるから、使用される量子化ステップの範囲、即ち、使用される量子化インデックスの範囲の正確な値は、２パス目の処理が終了して、初めて認識することができる。
【００７１】
従って、２パス目の処理により、使用される量子化インデックスの範囲を、正確に求め、その範囲が、小さな値の範囲である場合には、量子化マトリクスを変更して、再度符号化を行うようにする必要があるが、これでは、処理に時間を要することになる。
【００７２】
そこで、１パス目の処理に基づき、例えば、次のようにして、使用される量子化インデックスを予測し、その予測結果に対応して、量子化マトリクスを変更するかどうかを決定するようにすることができる。
【００７３】
即ち、１パス目の処理では、上述したように、固定の量子化インデックス（量子化ステップ）で量子化が行われ、その結果得られる符号量その他に基づいて、２パス目における目標符号量が決定される。
【００７４】
そこで、まず、例えば、１ＧＯＰや、１本の映画などのような所定の時間ごとに、１パス目の処理で得られた発生符号量の総和Ｇと、その発生符号量に基づいて決定された目標符号量の総和Ｔを求め、それらの比ｒ＝Ｔ／Ｇを判定する。
【００７５】
この目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒは、所定の時間における量子化インデックスの平均的な値が、１パス目の処理における固定の量子化インデックス（例えば、８など）と等しければ１になり、また、その平均的な値が固定の量子化インデックスよりも大きい場合または小さい場合は、それぞれ、１より小さくまたは大きくなる。
【００７６】
即ち、実際の発生符号量を目標符号量に一致させるために、２パス目の処理では、１パス目の処理で得られた目標符号量の総和Ｔが発生符号量の総和Ｇより大であれば、固定の量子化インデックスより小さな量子化インデックスが設定されることが予想され、その逆に、１パス目の処理で得られた目標符号量の総和Ｔが発生符号量の総和Ｇより小であれば、固定の量子化インデックスより大きな量子化インデックスが設定されることが予想される。
【００７７】
従って、目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒによって、２パス目の処理における量子化インデックスの、固定の量子化インデックスを基準とした値を予測することができるので、この比ｒに対応して、量子化マトリクスを変更するかどうかを決定すれば良い。
【００７８】
以上のようにして符号化を行う場合の図１の画像符号化装置の処理について、図５のフローチャートを参照して、さらに説明する。
【００７９】
まず最初に、ステップＳ１において、エンコーダ１は、１パス目の処理を行う。即ち、エンコーダ１は、固定の量子化インデックスで量子化を行い、その結果得られる符号化データの発生符号量、さらには、例えばＤＣＴ係数のＤＣ成分、画像のアクティビティ、その他の目標符号量を決定するのに必要な情報（統計量）を、外部コンピュータ２に出力する。
【００８０】
外部コンピュータ２は、エンコーダ１から各種の情報を受信すると、ステップＳ２において、その情報に基づいて、２パス目の処理により得られる符号化データの目標符号量を算出する。そして、外部コンピュータ２は、ステップＳ３において、所定の時間単位における目標符号量の総和Ｔと発生符号量（１パス目の処理の発生符号量）の総和Ｇとの比ｒを求め、ステップＳ４に進み、その比ｒの値を判定する。
【００８１】
ステップＳ４において、比ｒが、例えば、０．５より小さいと判定された場合、即ち、２パス目の処理における量子化インデックスの値が大であると予測される場合、ステップＳ５に進み、外部コンピュータ２は、例えばデフォルトの量子化マトリクスをそのまま使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８２】
また、ステップＳ４において、比ｒが、例えば、０．５以上であり、かつ２より小さいと判定された場合、即ち、２パス目の処理における量子化インデックスの値が中であると予測される場合、ステップＳ６に進み、外部コンピュータ２は、例えば、デフォルトの量子化マトリクスの係数を１／２倍したもの（以下、適宜、ハーフ量子化マトリクスという）を使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８３】
さらに、ステップＳ４において、比ｒが、例えば、２以上であると判定された場合、即ち、２パス目の処理における量子化インデックスの値が小であると予測される場合、ステップＳ６に進み、外部コンピュータ２は、例えば、デフォルトの量子化マトリクスの係数を１／４倍したもの（以下、適宜、クオータ量子化マトリクスという）を使用することを指示する指示信号を、エンコーダ１の量子化インデックス決定回路２５に供給し、ステップＳ８に進む。
【００８４】
ステップＳ８では、エンコーダ１の量子化インデックス決定回路２５において、外部コンピュータ２からの指示信号にしたがった量子化マトリクス（ここでは、デフォルトの量子化マトリクス、ハーフ量子化マトリクス、またはクオータ量子化マトリクスのうちのいずれか）が設定され、さらに目標符号量に対応した量子化インデックスが設定され、量子化回路１５に供給される。これにより、量子化回路１５では、量子化インデックス決定回路２５からの量子化マトリクスと量子化インデックスにしたがって、ＤＣＴ係数が量子化される。
【００８５】
なお、ステップＳ４乃至Ｓ８の処理は、ステップＳ３において、比ｒが求められる時間ごとに繰り返し行われる。即ち、ステップＳ３において、例えば、１ＧＯＰごとに目標符号量の総和Ｔと発生符号量の総和Ｇとの比ｒが求められる場合には、ステップＳ４乃至Ｓ８の処理は、その比が求められるＧＯＰ単位で繰り返される。
【００８６】
以上のように、量子化ステップの変化前後の比率が小さくなるように、ＤＣＴ係数に対する重み付けを行う量子化マトリクスの係数を変更し、これにより、量子化ステップを、その値に対して細かく変化させることができるようにしたので、従来のように、量子化インデックスと量子化ステップとの対応関係として線形なものと非線形なものとのいずれかしか選択することができない場合に比較して、いわばきめ細かい変化が可能な量子化ステップでの量子化を行うことができる。そして、その結果、復号画像の画質の均一化を図ることが可能となり、視聴者が復号画像を視聴したときの主観的な画質を大幅に向上させることができる。
【００８７】
また、量子化ステップを細かく変化させることができる結果、発生符号量を、より柔軟に調整して目標符号量に近づけることができるようになり、例えば、ＭＰＥＧ符号化を行う際にデコーダ側に想定されるＶＢＶバッファのデータ蓄積量を管理するために、目標符号量に対して見積もるマージンを小さくすることができる。即ち、ＶＢＶバッファのアンダーフローを防止するために、目標符号量を、本来見積もるべき値より、それほど大きなマージンをみて設定する必要がなくなり、その結果、複雑な画像に対しては、従来よりも多い符号量を目標符号量として割り当てることが可能となるので、そのような画像についての復号画像の画質を向上させることが可能となる。
【００８８】
さらに、２パスエンコーディングを行う場合においては、１パス目の処理結果から、２パス目における量子化インデックスを予測し、その予測結果に基づいて、量子化マトリクスを変更するようにしたので、上限値を越えた量子化インデックスが必要となることを防止することが可能となる。即ち、上限値を越えない範囲で、量子化インデックスを変化させることが可能となる。
【００８９】
以上、本発明を、２パスエンコーディングを行う画像符号化装置に適用した場合について説明したが、本発明は、その他、１回の処理で符号化を行う場合にも適用可能である。
【００９０】
なお、本実施の形態では、量子化インデックスと量子化ステップとが線形な対応関係にあるとしたが、本発明は、これらが非線形な対応関係にある場合にも適用することができる。但し、量子化インデックスと量子化ステップとが非線形な対応関係にある場合、量子化マトリクスの係数を小さな値に変更しても、量子化ステップが、その変更前より細かく変化するとは限らない（量子化インデックスは細かく変化するようになるが、量子化ステップは、量子化インデックスと非線形に対応付けられているため、量子化インデックスと同様に細かく変化するとは限らない）。しかしながら、この場合でも、量子化マトリクスの係数を小さな値にすることで、量子化ステップは大きな値にはなるので、量子化ステップの変化前後の比率は小さくなり、その結果、量子化インデックスと量子化ステップとが線形な対応関係にある場合と同様に、画質の均一化を図ることができる。
【００９１】
また、本実施の形態では、外部コンピュータ２からエンコーダ１に目標符号量を送信し、エンコーダ１において量子化インデックスを決定するようにしたが、量子化インデックスは、外部コンピュータ２において決定し、エンコーダ１に送信するようにすることも可能である。
【００９２】
さらに、本実施の形態では、外部コンピュータ２において、使用する量子化マトリクスを決定するようにしたが、この決定処理は、エンコーダ１において行うようにすることも可能である。
【００９３】
また、本実施の形態では、ＭＰＥＧで規定されているデフォルトの量子化マトリクスを用いるようにしたが、本発明は、その他の量子化マトリクスを使用する場合にも適用することが可能である。即ち、例えば、図６は、ＴＭ５（Test Model 5(Test Model Editing Commitee: "Test Model 5", ISO/IEC JTC/SC29/WG11/N0400(Apr.1993))）で提案されている量子化マトリクスを示しており、イントラ符号化の際に使用される量子化マトリクス（図６（Ａ））だけでなく、インター符号化の際に使用される量子化マトリクス（図６（Ｂ））にも傾斜が付されているが（これに対して、図３に示したＭＰＥＧのデフォルトの量子化マトリクスでは、イントラ符号化の際に使用されるもののみに傾斜が付されており、インター符号化の際に使用されるものには傾斜が付されていない）、このような量子化マトリクスについても、本発明は適用可能である。つまり、本発明は、量子化マトリクスにおける係数の傾斜の有無、さらには、その傾斜の付し方に関係なく適用することができる。
【００９４】
さらに、本実施の形態においては、量子化回路１５において、ＤＣＴ回路１４が出力するＤＣＴ係数を量子化するようにしたが、本発明は、ＤＣＴ係数以外の直交変換係数を量子化する場合にも適用可能である。
【００９５】
【発明の効果】
請求項１に記載の画像符号化装置および請求項３に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項４に記載の画像符号化装置および請求項５に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項６に記載の画像符号化装置および請求項７に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項８に記載の画像符号化装置および請求項９に記載の画像符号化方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化される。その結果、復号画像の画質の均一化を図ることが可能となる。
【００９６】
請求項１０に記載の記録装置および請求項１１に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がGOP単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がGOP単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１２に記載の記録装置および請求項１３に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量がピクチャ単位で出力され、出力された発生符号量に基づいて、画像を符号化する際の目標符号量がピクチャ単位で算出され、目標符号量を発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１４に記載の記録装置および請求項１５に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
請求項１６に記載の記録装置および請求項１７に記載の記録方法によれば、直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、発生符号量で除算した除算値である、発生符号量と目標符号量との比の大きさが所定の閾値以上でない場合、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスに設定され、比の大きさが所定の閾値以上である場合、直交変換係数を量子化する際の量子化インデックスが大になるように、直交変換係数を量子化する際の量子化マトリクスが、デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定され、設定された量子化マトリクスを用いて、目標符号量に対応した量子化インデックスで直交変換係数が量子化され、量子化された量子化値が符号化されて記録媒体に記録される。その結果、復号画像の画質の均一化を図ることが可能となる。
【図面の簡単な説明】
【図１】本発明の画像符号化装置の一実施の形態の構成例を示すブロック図である。
【図２】図１のエンコーダ１の構成例を示すブロック図である。
【図３】ＭＰＥＧで規定されているデフォルトの量子化マトリクスを示す図である。
【図４】図３の量子化マトリクスの係数を２で除算し、さらに整数に丸めたものを示す図である。
【図５】図１の画像符号化装置の処理を説明するためのフローチャートである。
【図６】ＴＭ５で規定されている量子化マトリクスを示す図である。
【符号の説明】
１ エンコーダ， ２ 外部コンピュータ， ３ 記録媒体， ４ 伝送路，１１ 画像並び替え回路， １２ 走査変換／マクロブロック化回路， １３演算器， １４ ＤＣＴ回路（直交変換手段）， １５ 量子化回路（量子化手段）（重み付け手段）， １６ ＶＬＣ回路， １７ バッファ， １８ 逆量子化回路， １９ 逆ＤＣＴ回路， ２０ 演算器， ２１ フレームメモリ， ２２ 動き補償回路， ２３ 動き検出回路， ２４ アクティビティ検出回路， ２５ 量子化インデックス決定回路
Claims (17)
- 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化装置において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP（Group of picture）単位で出力する発生符号量出力手段と、
前記発生符号量出力手段により出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をGOP単位で算出する目標符号量算出手段と、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と
を備える画像符号化装置。 - 前記量子化マトリクス設定手段は、前記比の大きさが前記所定の閾値以上で他の閾値より小さい場合、前記デフォルトの量子化マトリクスの係数を１／２倍したハーフ量子化マトリクスを設定し、前記比の大きさが前記他の閾値以上の場合、前記デフォルトの量子化マトリクスの係数を１／４倍したクォータ量子化マトリクスを設定する
請求項１に記載の画像符号化装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化方法において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、
出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をGOP単位で算出し、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する
ステップを含む画像符号化方法。 - 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化装置において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力する発生符号量出力手段と、
前記発生符号量出力手段により出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をピクチャ単位で算出する目標符号量算出手段と、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と
を備える画像符号化装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化方法において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、
出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をピクチャ単位で算出し、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する
ステップを含む画像符号化方法。 - 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化装置において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と
を備える画像符号化装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化方法において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する
ステップを含む画像符号化方法。 - 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化装置において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と
を備える画像符号化装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより前記画像を符号化する画像符号化方法において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する
ステップを含む画像符号化方法。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録装置において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力する発生符号量出力手段と、
前記発生符号量出力手段により出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をGOP単位で算出する目標符号量算出手段と、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と、
前記量子化手段により量子化された量子化値を符号化して前記記録媒体に記録する記録手段と
を備える記録装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録方法において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をGOP単位で出力し、
出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をGOP単位で算出し、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化し、
量子化された量子化値を符号化して前記記録媒体に記録する
ステップを含む記録方法。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録装置において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力する発生符号量出力手段と、
前記発生符号量出力手段により出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をピクチャ単位で算出する目標符号量算出手段と、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と、
前記量子化手段により量子化された量子化値を符号化して前記記録媒体に記録する記録手段と
を備える記録装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録方法において、
前記直交変換係数を固定の量子化ステップで量子化することによって得られる符号の量である発生符号量をピクチャ単位で出力し、
出力された前記発生符号量に基づいて、前記画像を符号化する際の目標符号量をピクチャ単位で算出し、
前記目標符号量を前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化し、
量子化された量子化値を符号化して前記記録媒体に記録する
ステップを含む記録方法。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録装置において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と、
前記量子化手段により量子化された量子化値を符号化して前記記録媒体に記録する記録手段と
を備える記録装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録方法において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるGOP単位の符号の量である発生符号量から算出されるGOP単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化し、
量子化された量子化値を符号化して前記記録媒体に記録する
ステップを含む記録方法。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録装置において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定する量子化マトリクス設定手段と、
前記量子化マトリクス設定手段により設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化する量子化手段と、
前記量子化手段により量子化された量子化値を符号化して前記記録媒体に記録する記録手段と
を備える記録装置。 - 画像を直交変換して得られる直交変換係数を量子化することにより符号化した前記画像を記録媒体に記録する記録方法において、
前記直交変換係数を固定の量子化ステップで量子化することにより得られるピクチャ単位の符号の量である発生符号量から算出されるピクチャ単位の目標符号量を、前記発生符号量で除算した除算値である、前記発生符号量と前記目標符号量との比の大きさが所定の閾値以上でない場合、前記直交変換係数を量子化する際の量子化マトリクスを、デフォルトの量子化マトリクスに設定し、前記比の大きさが前記所定の閾値以上である場合、前記直交変換係数を量子化する際の量子化インデックスが大になるように、前記直交変換係数を量子化する際の量子化マトリクスを、前記デフォルトの量子化マトリクスより係数が小の量子化マトリクスに設定し、
設定された前記量子化マトリクスを用いて、前記目標符号量に対応した量子化インデックスで前記直交変換係数を量子化し、
量子化された量子化値を符号化して前記記録媒体に記録する
ステップを含む記録方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03878397A JP4081727B2 (ja) | 1997-02-24 | 1997-02-24 | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP03878397A JP4081727B2 (ja) | 1997-02-24 | 1997-02-24 | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH10243397A JPH10243397A (ja) | 1998-09-11 |
| JP4081727B2 true JP4081727B2 (ja) | 2008-04-30 |
Family
ID=12534903
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP03878397A Expired - Fee Related JP4081727B2 (ja) | 1997-02-24 | 1997-02-24 | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4081727B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4769392B2 (ja) * | 2001-09-25 | 2011-09-07 | キヤノン株式会社 | 信号処理装置 |
| KR100584552B1 (ko) | 2003-01-14 | 2006-05-30 | 삼성전자주식회사 | 동영상 부호화 및 복호화 방법과 그 장치 |
| JPWO2006098226A1 (ja) * | 2005-03-14 | 2008-08-21 | 松下電器産業株式会社 | 符号化装置および符号化装置を備えた動画像記録システム |
| JP4986147B2 (ja) * | 2007-07-23 | 2012-07-25 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| JP2010288166A (ja) * | 2009-06-15 | 2010-12-24 | Panasonic Corp | 動画像符号化装置、放送波記録装置及び、プログラム |
| JP2011029956A (ja) * | 2009-07-27 | 2011-02-10 | Sony Corp | 画像符号化装置および画像符号化方法 |
| JP5251774B2 (ja) * | 2009-07-27 | 2013-07-31 | ソニー株式会社 | 画像符号化装置および画像符号化方法 |
| WO2011024222A1 (ja) * | 2009-08-27 | 2011-03-03 | 株式会社 東芝 | 画像を符号化する装置、方法およびプログラム |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3496886B2 (ja) * | 1992-09-10 | 2004-02-16 | ソニー株式会社 | 画像符号化装置、画像符号化方法、画像復号化装置及び画像復号化方法 |
| JPH0818967A (ja) * | 1994-06-27 | 1996-01-19 | Matsushita Electric Ind Co Ltd | 画像データ圧縮装置 |
| JP3707118B2 (ja) * | 1995-04-28 | 2005-10-19 | ソニー株式会社 | 画像符号化方法及び装置 |
-
1997
- 1997-02-24 JP JP03878397A patent/JP4081727B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH10243397A (ja) | 1998-09-11 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6192081B1 (en) | Apparatus and method for selecting a coding mode in a block-based coding system | |
| JP4361613B2 (ja) | 可変ビットレートビデオ符号化方法及び対応するビデオ符号化装置 | |
| KR100756596B1 (ko) | 비디오 데이터 부호화 장치 및 비디오 데이터 부호화 방법 | |
| US7301999B2 (en) | Quantization method and system for video MPEG applications and computer program product therefor | |
| US7881373B2 (en) | Video data compression apparatus and method of same | |
| US6037987A (en) | Apparatus and method for selecting a rate and distortion based coding mode for a coding system | |
| JP2963416B2 (ja) | 量子化活動度を用いてビット発生量を制御する映像符号化方法及び装置 | |
| US7154949B2 (en) | Picture coding device and method, picture transmitting device and method and recording medium | |
| US20060269156A1 (en) | Image processing apparatus and method, recording medium, and program | |
| US20090097546A1 (en) | System and method for enhanced video communication using real-time scene-change detection for control of moving-picture encoding data rate | |
| US20050157785A1 (en) | Video signal quantizing apparatus and method thereof | |
| JP2002209215A (ja) | 符号量制御装置及び方法、並びに画像情報変換装置及び方法 | |
| JP4081727B2 (ja) | 画像符号化装置および画像符号化方法、並びに記録装置および記録方法 | |
| EP0857393B1 (en) | Apparatus and method for selecting a coding mode in a block-based coding system | |
| EP0520789B1 (en) | Video coder and coding method | |
| JPH11275577A (ja) | 映像信号符号化方法及び装置 | |
| JP3858520B2 (ja) | 動画像符号化装置及びその方法 | |
| JP2001148852A (ja) | 画像情報変換装置及び画像情報変換方法 | |
| JP3934772B2 (ja) | 可変転送レート符号化方法および装置 | |
| JPH10224786A (ja) | 画像符号化装置および画像符号化方法、画像伝送装置および画像伝送方法、並びに記録媒体 | |
| JP3765129B2 (ja) | 符号化装置および符号化方法 | |
| JP3922581B2 (ja) | 可変転送レート符号化方法および装置 | |
| JP3765130B2 (ja) | 符号化装置および符号化方法 | |
| JPH11196423A (ja) | 画像処理装置および方法、並びに提供媒体 | |
| JP4619463B2 (ja) | 画像符号化装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051013 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051209 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061011 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061113 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070919 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071011 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071204 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20071220 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080118 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080131 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110222 Year of fee payment: 3 |
|
| LAPS | Cancellation because of no payment of annual fees |