JP3812269B2 - 動画像符号化装置及びその方法 - Google Patents
動画像符号化装置及びその方法 Download PDFInfo
- Publication number
- JP3812269B2 JP3812269B2 JP2000047245A JP2000047245A JP3812269B2 JP 3812269 B2 JP3812269 B2 JP 3812269B2 JP 2000047245 A JP2000047245 A JP 2000047245A JP 2000047245 A JP2000047245 A JP 2000047245A JP 3812269 B2 JP3812269 B2 JP 3812269B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- encoded
- picture
- quantization scale
- code amount
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression, Expansion, Code Conversion, And Decoders (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画像の高能率符号化に係り、特に、符号化画像の発生符号量と平均量子化スケールから、マクロブロック単位に量子化スケールの値を変更することによって符号量制御を行う、符号量制御装置及びその方法に関する。
【０００２】
【従来の技術】
ＴＶ信号などの動画像を高能率に符号化する技術の国際標準として既にMPEG２が規定されている。
MPEG２は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロックに分割し、各マクロブロック単位に、時間的に前または後に所定の数フレーム離れた参照画像と符号化画像の間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から符号化画像を構成する「動き補償予測」技術と、動き補償予測の誤差信号または符号化画像そのものに対して、直交変換の一種であるDCT(離散コサイン変換)を用いて情報量を圧縮する「変換符号化」技術の2つの画像符号化の要素技術をベースに規定されている。
【０００３】
従来の一般的なMPEG２の動画像符号化装置の一構成例を図６に示す。
また、符号化ピクチャ構造の一例を図５に示す。
図５に示される符号化ピクチャ構造のように、動き補償予測は、Iピクチャ(フレーム内符号化)、Pピクチャ(順方向予測符号化)、Bピクチャ(双方向予測符号化)と呼ばれる、予測方法の異なる3種類のピクチャの組合せによって構成される。
【０００４】
図６に示されるように、変換符号化では、Iピクチャでは符号化画像そのものに対し、P、Bピクチャでは動き補償器７９による動き補償予測の誤差信号である減算器７１の出力に対して、DCTがDCT器７２で施される。
【０００５】
このDCT器７２で得られたDCT係数に対して量子化が、符号量制御部９０の出力により制御して量子化器７３によってなされる。
量子化器７３の出力は、動きベクトル等のその他の付帯情報と共に可変長符号化が可変長符号化器７５でなされ、符号列が「ビットストリーム」としてバッファ７６に記憶された後に出力される。この際、バッファ７６の充足度に応じて符号量制御部９０で量子化スケールが制御される。
【０００６】
一方、量子化器７３の出力係数は、逆量子化器７７、IDCT器７８に供給されて、局部復号されてブロック毎に、加算器８０を介してフレームメモリ８１に貯えられる。
【０００７】
MPEG２は可変長符号化であるため、単位時間当りの発生符号量(ビットレート)は一定ではない。
そこで量子化器７３での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所要のビットレートに制御することが可能になっている。
MPEG２Test Model５では、GOP単位で発生符号量を一定にする固定ビットレート制御方法が提案されている。この固定ビットレート制御方法は、一定の転送レートが要求される用途に適した方法である。
【０００８】
Test Model 5における、図６の符号量制御部９０の動作に相当する、固定ビットレート制御方法の概略は次の通りである。
目標ビットレートをBitRate、１秒当りのフレーム数をPictureRate、１つの符号化単位である1GOP(通常はＩピクチャの間隔)のフレーム数をＮとすると、1GOPに割当てられる符号量Ｒは次式(1)で与えられる。
Ｒ ＝ (BitRate／PictureRate)・N (1)
【０００９】
(1)式の符号量ＲをGOP内の各画像に配分することになるが、ここで各ピクチャタイプの符号化直後の画像について、１フレームの発生符号量と平均量子化スケールの積をComplexity(画面複雑度) Xi(Ｉピクチャ)、Xp(Ｐピクチャ)、Xb(Ｂピクチャ)として求め、これから符号化する画像を含むGOP内の画像が一様に前記Complexityに等しいと仮定して、これから符号化する画像の目標割当符号量を決定する。
【００１０】
現在のGOPで符号化の終了していないＰ、Ｂピクチャのフレーム数をNp、Nb、Ｉピクチャに対するＰ、Ｂピクチャの量子化スケールの設定比率をKp、Kbとする。
この時、Ｉ、Ｐ、Ｂ各ピクチャタイプの目標割当符号量Ti, Tp, Tbは次式(2)(3)(4)で与えられる。なおMAX[A, B]はAとBのいずれか大きい方を選択する動作を示す。
【００１１】
【００１２】
なお、符号量Ｒの値は１フレーム符号化が終了する毎に、そのフレームの発生符号量を減算し、GOPの先頭(Ｉピクチャ)において、(1)式の値を加算する。
【００１３】
つぎに、上式(2)(3)(4)で決定した目標割当符号量と、バッファ７６で検出される各マクロブロックの発生符号量をもとに、各マクロブロックの量子化スケールを決定する。
各ピクチャタイプについて、ｊ番目(０＜ｊ＜(マクロブロック数))のマクロブロックを符号化する際に、その時の仮想バッファの充足度ｄj-k (k=i,p,b)を以下の式(5)によって計算する。
【００１４】
ｄj-k＝ｄ0-k＋Ｂj-1−Ｔk・(ｊ−１)／(MB数)
但し k=i,p,b
ｄ0-k：現在の画像におけるｄj-kの初期値
Ｂj-1：現在の画像の(j-)番目までの発生符号量の総和
Ｔk：(2)〜(4)式で求めた現在の画像の目標割当符号量
(MB数)：その画像のマクロブロックの総数 (5)
【００１５】
MPEG２Test Model５では、(5)式において、各ピクチャタイプで最初に符号化する画像を除いてはｄ0-kの値を、同じピクチャタイプの直前に符号化した画像の最後のマクロブロックの符号化結果におけるｄj-kの値で定めている。
つぎに符号化するｊ番目のマクロブロックの量子化スケールＱjは次式(6)によって決定する。
【００１６】
Ｑj ＝ ｄj・31／(2・BitRate／PictureRate) (6)
(5)(6)式より、各マクロブロックの発生符号量が、マクロブロック当りの目標割当符号量より多い場合は、量子化スケールを大きくし、逆に発生符号量がマクロブロック当りの目標割当符号量より少ない場合は、量子化スケールが小さくなるように制御される。
【００１７】
なお、上記したMPEG２Test Model５のような固定ビットレート制御方法の他に、入力画像の内容(複雑度)に応じて、一定区間におけるビットレートを所定の範囲内で変化させる可変ビットレート制御方法も存在する。
【００１８】
【発明が解決しようとする課題】
上記の従来例ではこれから符号化する現在の画像における仮想バッファの初期値であるｄ0-kの値を、同じピクチャタイプの直前に符号化した画像の最後のマクロブロックの符号化結果より定めていた。
しかしながら、入力動画像にシーンチェンジのような大きな変化が生じた場合、現在の画像の量子化スケールは直前に符号化した画像に比べて大きく変化することが予想されるにもかかわらず、仮想バッファの初期値ｄ0-kは直前に符号化した画像を基準としているため、画像の先頭部分では不適切な量子化スケールの決定が行われる可能性が高い。
【００１９】
そのような画像でも符号化の進展に伴い、(5)(6)式の制御によって次第に目標割当符号量に近付くよう量子化スケールの値が変化していくが、量子化スケールが安定化するまで符号量が不足したり、逆に符号量が過剰になり無駄に符号量を与えてしまうという問題があった。
【００２０】
本発明は以上の問題を解決して、入力動画像にシーンチェンジのような大きな変化が発生した場合でも、画像の先頭部分から、より適切な符号量割当を行うことが出来る符号量制御方法を実現することを目的とする。
【００２１】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下１）〜１０）に記載の手段よりなる。
すなわち、
１）入力動画像を動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化する動画像符号化装置において、
前記入力動画像の各画像の発生符号量を検出する手段と、
前記入力動画像の各画像の平均量子化スケールを検出する手段と、
前記入力動画像及び前記動き補償予測手段によって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るための手段と、
前記符号化画像特性を得るための手段によって得た次に符号化する画像の符号化画像特性を前記次に符号化する画像の直前のＩまたはＰピクチャの符号化画像特性とＢピクチャの符号化画像特性との平均値を基準符号化画像特性とし、この基準符号化画像特性で除算した値に、前記可変長符号化手段で予め定められた量子化スケールを乗算することにより前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定する手段と、
前記決定した次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値から、前記次に符号化する画像の各マクロブロックにおける量子化スケールを決定する手段と
を備えたことを特徴とする動画像符号化装置。
２）１）に記載された動画像符号化装置において、
前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定する手段は、
前記平均量子化スケールを検出する手段によって検出されたピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ)別に直前の画像における平均量子化スケールから、目標ビットレートが大きくなるに応じて量子化スケールが小さくなる関数によって基準量子化スケールを算出し、
前記符号化画像特性を得るための手段によって得られたピクチャタイプ別に直前の画像における符号化画像特性から、前記各ピクチャタイプの符号化画像特性を加算平均する関数によって基準符号化画像特性を算出し、
前記算出した基準量子化スケールと前記算出した基準符号化画像特性に対する前記現在の画像における符号化画像特性の比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数によって次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を算出し、
前記発生符号量を検出する手段によって検出された発生符号量と、目標ビットレートによる割当符号量と、の差に基づいて前記算出した量子化スケールの初期値と、過去の画像の符号化結果から得られる量子化スケールと、のいずれかを選択するようにしたことを特徴とする動画像符号化装置。
３）１）、２）のいずれかに記載された動画像符号化装置において、
前記次に符号化する画像の割当符号量を決定する手段は、
前記発生符号量を検出する手段によって検出された発生符号量、前記平均量子化スケールを検出する手段によって検出された平均量子化スケールから、過去の画像の実測画面複雑度を算出する手段と、
前記符号化画像特性を得るための手段によって得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ)の直前の画像において検出された符号化画像特性との比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数を、前記直前の画像における前記過去の画像の実測画面複雑度に乗算することによって現在の画像の推定画面複雑度を算出する手段と、
前記実測画面複雑度を算出する手段によって算出された過去の画像の実測画面複雑度、もしくは前記現在の画像の推定画面複雑度を算出する手段によって算出された現在の画像の推定画面複雑度と、前記発生符号量を検出する手段によって検出された発生符号量、前記平均量子化スケールを検出する手段によって検出された平均量子化スケール、前記符号化画像特性を得るための手段によって得られた符号化画像特性から、次に符号化する画像の割当符号量を決定する手段と、
を備えたことを特徴とする動画像符号化装置。
４）３）に記載された動画像符号化装置において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定する手段は、
前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化装置。
５）１）乃至４）のいずれかに記載された動画像符号化装置において、
前記入力動画像または動き補償予測画像の符号化画像特性を得るための手段は、前記入力動画像の画像特性を検出する手段、動き補償予測画像の誤差画像の画像特性を検出する手段、及び動き補償予測における動きベクトル特性を検出する手段より構成され、
ピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別及び予測モード別の定数を、前記検出した入力動画像の画像特性、動き補償予測画像の誤差画像の画像特性、及び動き補償予測における動きベクトル特性の前記各特性値に対して乗じた上で加算することによって、前記符号化画像特性を得ることを特徴とする動画像符号化装置。
６）入力動画像を動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化する動画像符号化方法において、
前記入力動画像の各画像の発生符号量を検出するステップと、
前記入力動画像の各画像の平均量子化スケールを検出するステップと、
前記入力動画像及び前記動き補償予測ステップによって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るためのステップと、
前記発生符号量を得るためのステップによって得た次に符号化する画像の符号化画像特性を前記次に符号化する画像の直前のＩまたはＰピクチャの符号化画像特性とＢピクチャの符号化画像特性との平均値を基準符号化画像特性とし、この基準符号化画像特性で除算した値に、前記可変長符号化ステップで予め定められた量子化スケールを乗算することにより前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定するステップと、
前記決定した次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値から、前記次に符号化する画像の各マクロブロックにおける量子化スケールを決定するステップと、
を備えたことを特徴とする動画像符号化方法。
７）６）に記載された動画像符号化方法において、
前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定するステップは、
前記平均量子化スケールを検出するステップによって検出されたピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)別に直前の画像における平均量子化スケールから、目標ビットレートが大きくなるに応じて量子化スケールが小さくなる関数によって基準量子化スケールを算出し、
前記符号化画像特性を得るためのステップによって得られたピクチャタイプ別に直前の画像における符号化画像特性から、前記各ピクチャタイプの符号化画像特性を加算平均する関数によって基準符号化画像特性を算出し、
前記算出した基準量子化スケールと前記算出した基準符号化画像特性に対する前記現在の画像における符号化画像特性の比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数によって次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を算出し、
前記発生符号量を検出するステップによって検出された発生符号量と、目標ビットレートによる割当符号量と、の差に基づいて前記算出した量子化スケールの初期値と、過去の画像の符号化結果から得られる量子化スケールと、のいずれかを選択するようにしたことを特徴とする動画像符号化方法。
８）６）、７）のいずれかに記載された動画像符号化方法において、
前記次に符号化する画像の割当符号量を決定するステップは、
前記発生符号量を検出するステップによって検出された発生符号量、前記平均量子化スケールを検出するステップによって検出された平均量子化スケールから、過去の画像の実測画面複雑度を算出するステップと、
前記符号化画像特性を得るためのステップによって得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)の直前の画像において検出された符号化画像特性との比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数を、前記直前の画像における前記過去の画像の実測画面複雑度に乗算することによって現在の画像の推定画面複雑度を算出するステップと、
前記実測画面複雑度を算出するステップによって算出された過去の画像の実測画面複雑度、もしくは前記現在の画像の推定画面複雑度を算出するステップによって算出された現在の画像の推定画面複雑度と、前記発生符号量を検出するステップによって検出された発生符号量、前記平均量子化スケールを検出するステップによって検出された平均量子化スケール、前記符号化画像特性を得るためのステップによって得られた符号化画像特性から、次に符号化する画像の割当符号量を決定するステップと、
を備えたことを特徴とする動画像符号化方法。
９）８）に記載された動画像符号化方法において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定するステップは、
前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化方法。
１０）６）乃至９）のいずれかに記載された動画像符号化方法において、
前記入力動画像または動き補償予測画像の符号化画像特性を得るためのステップは、前記入力動画像の画像特性を検出するステップ、動き補償予測画像の誤差画像の画像特性を検出するステップ、及び動き補償予測における動きベクトル特性を検出するステップより構成され、
ピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別及び予測モード別の定数を、前記検出した入力動画像の画像特性、動き補償予測画像の誤差画像の画像特性、及び動き補償予測における動きベクトル特性の前記各特性値に対して乗じた上で加算することによって、前記符号化画像特性を得ることを特徴とする動画像符号化方法。
【００２２】
よって、本発明では、MPEG２等の動き補償予測、直交変換、量子化、可変長符号化の各手段を備え、各画像の発生符号量と平均量子化スケールから符号量制御を行う動画像符号化装置において、各画像の符号化画像特性(アクティビティ)を検出し、直前のＩまたはＰピクチャと、Ｂピクチャの符号化画像特性(アクティビティ)の平均値を取り、これを直前の画像の基準アクティビティとする。
同様に直前のＩまたはＰピクチャと、Ｂピクチャの平均量子化スケールの平均値を取り、これを直前の画像の基準量子化スケールとする。
これから符号化する現在の画像の、先頭のマクロブロックにおける量子化スケールを定める仮想バッファの初期値ｄ0-kの値を、直前の画像の基準量子化スケールと、直前の画像の基準アクティビティに対する現在の画像のアクティビティの比を因数とする所定の関数によって決定することにより、入力動画像にシーンチェンジのような大きな変化が生じた場合でも、画像の先頭部分からアクティビティの変化に見合った量子化スケールを定めることが可能になる。
【００２３】
【発明の実施の形態】
（第１の実施例）
本発明の動画像符号化装置の第１の実施例について、図１と共に以下に説明する。
図１に示されている本発明の動画像符号化装置の第１の実施例は、減算器１１、
ＤＣＴ器１２、量子化器１３、符号量制御器１４、可変長符号化器１５、バッファ１６、逆量子化器１７、ＩＤＣＴ器１８、動き補償予測器１９、加算器２０、フレームメモリ２１、平均量子化スケール検出器２２、発生符号量検出器２３、画面複雑度算出器２４、画像特性検出器２５、及びｄ0算出器３０より構成されている。
【００２４】
第１の実施例は本発明を固定ビットレート符号化に適用した場合である。
原動画像は図示されていない画像ブロック分割器によって、予めマクロブロック単位に分割されているものとする。
分割された原動画像は、Ｉピクチャについては動き補償予測が行われず、原動画像ブロックそのものが減算器１１を介してDCT器１２に送られ、DCTされた後に量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化される。
【００２５】
その量子化された信号は、可変長符号化器１５で符号に変換されて、次のバッファ１６で調整された後に符号が出力される。
一方、量子化器１３の出力係数は逆量子化器１７、IDCT器１８で局部復号されて、動き補償予測器１９の出力が加算器２０で加算されることなく、ブロック毎にフレームメモリ２１に貯えられる。
【００２６】
P及びBピクチャについては、分割された原動画像とフレームメモリ２１に貯えられた所定の局部復号画像ブロックが動き補償予測器１９に供給され、ここで動きベクトル検出及び動き補償が行われて、予測画像ブロックが減算器１１で原画像ブロックとの間で画素間差分が取られ、差分値である誤差画像ブロックがDCT器１２に送られる。
【００２７】
この後はIピクチャと同様にして、DCT器１２で差分値がDCTされ、量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化された後に、可変長符号化器１５で符号に変換されて、次のバッファ１６で調整された後に符号が出力される。
【００２８】
一方、量子化器１３の出力係数は、逆量子化器１７とIDCT器１８とで局部復号された後に前記予測画像ブロックが加算器２０によって画素毎に加算され、ブロック毎にフレームメモリ２１に貯えられる。
また、各ピクチャについて、量子化器１３からマクロブロック毎の量子化スケールが平均量子化スケール検出器２２に送られ、そこで1フレーム分の量子化スケールが加算され、1フレームの平均量子化スケールが算出される。
【００２９】
一方、バッファ１６において発生符号量が監視され、その値が発生符号量検出器２３に送られる。
この発生符号量検出器２３において、発生符号量がフレーム単位に加算され、1フレームの発生符号量が検出される。
フレーム毎について検出された前記平均量子化スケール、及び前記発生符号量は各々画面複雑度算出器２４及び仮想バッファ初期値ｄ0算出器（以下、ｄ0算出器と記す）３０にフレーム毎に送られる。
【００３０】
画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗じられた後に所定の操作を施して、MPEG２Test Model５におけるComplexityに相当する各フレームの画面複雑度Xi, Xp, Xbが求められる。
【００３１】
各フレームの画面複雑度Xi, Xp, Xbは符号量制御器１４に送られ、ここでこれから符号化する画像の目標割当符号量Ti, Tp, Tbが決定される。
例えばMPEG２Test Model５による制御の場合、画面複雑度Xi, Xp, Xbの値を前記(2)〜(4)式に代入することにより、これから符号化する画像の目標割当符号量Ti, Tp, Tbを決定する。
【００３２】
一方、画像特性検出器２５では、入力時に原画像を分割した原動画像が供給され、原動画像の各フレームについてマクロブロック単位に画像特性を示すパラメータであるアクティビティが検出され、フレーム単位に加算されて、その結果が１フレーム毎に仮想バッファ初期値ｄ0算出器３０に送られる。
【００３３】
ここで、画像特性検出器２５で画像特性を検出する動作は、実際の符号化動作に先行して検出している。
画像特性を示すパラメータとしては輝度値の分散、画素間差分値などが考えられるが、画像特性を示すものであれば、その他のパラメータでも当然よい。
仮想バッファ初期値ｄ0を算出するｄ0算出器３０では、１フレームの符号化が終了する毎に平均量子化スケール検出器２２から平均量子化スケールが供給され、ＩまたはＰピクチャと、Ｂピクチャとで別々に、符号化の終了した(画像入力順で)直前の画像における値が格納されている。
【００３４】
また同時に、発生符号量検出器２３から発生符号量が供給され、目標ビットレートによる割当符号量との差が検出される。
また、画像特性検出器２５から符号化に先立って現在の画像の符号化画像特性が供給されるが、同時に平均量子化スケールが格納されている画像と同一の画像 (ＩまたはＰピクチャと、Ｂピクチャ別)における符号化画像特性も格納されている。
【００３５】
ｄ0算出器３０では、これから符号化する現在の画像の先頭のマクロブロックにおける仮想バッファ初期値ｄ0の値を、図２に示した処理の流れによって算出する。
図２に示される処理では、まず直前のＩまたはＰピクチャと、Ｂピクチャの平均量子化スケール、符号化画像特性（図２のＳ１）（Ｓ２）の平均値が取られ（Ｓ４）（Ｓ５）、各々基準量子化スケール（Ｓ６）、基準アクティビティ（Ｓ７）とする。
【００３６】
つぎに、これから符号化する現在の画像の、先頭のマクロブロックにおける量子化スケールを定める仮想バッファの初期値ｄ0-k(k=i,p,b)の値を、直前の画像の基準量子化スケール（ppMq）（Ｓ６）と、直前の画像の基準アクティビティに対する現在の画像のアクティビティの比（ActRatio）（Ｓ８）（Ｓ９）を因数とする所定の関数（Ｓ１０）によって決定する（Ｓ１１）。
所定の関数とは、一実施例としては次の(7)式が考えられる。
【００３７】
【００３８】
なお、検出された発生符号量と目標ビットレートによる割当符号量との差が所定範囲を超える(割当符号量が不足する方向)場合、(7)式によってｄ0-kを小さく(量子化スケールを小さく)なるように制御すると符号量の不足が顕著になってその後の符号量制御に支障を生じる。
そこで、このような場合には(7)式によるｄ0-kの決定を行わずに、上記の式(５)の個所で説明したように、同じピクチャタイプの直前の画像の符号化結果による、先頭ブロックの仮想バッファ初期値ｄ0の値を（図２のＳＷを切り替えて）（Ｓ１３）代りに用いて仮想バッファ初期値ｄ0の決定を行なう（Ｓ１４）。
【００３９】
また、符号化開始時点においては、予め幾つかの画像で符号化を行って、基準量子化スケール(目標ビットレートにより変化)、基準アクティビティの値を統計的に求めておき、最初に符号化する画像(Ｉピクチャ)のアクティビティを画像特性検出器２５から得た上で、最初のＩピクチャのアクティビティと統計的に求めた基準量子化スケール(与えた目標ビットレートの時の)、基準アクティビティを上記の(7)式に代入して、ｄ0-iの初期値を求めればよい。
【００４０】
その次の最初のBピクチャの場合は、符号化したＩピクチャの平均量子化スケール、アクティビティを基準量子化スケール、基準アクティビティとするか、統計的に求めた平均的なＢピクチャの平均量子化スケール、平均アクティビティと、符号化したＩピクチャの平均量子化スケール、アクティビティを平均して基準量子化スケール、基準アクティビティとして、ｄ0-bの初期値を求めればよい。
【００４１】
このようにして各画像の先頭において、ｄ0-kの値を決定した上で、例えばMPEG２Test Model５による制御の場合、前記(5)(6)式から各マクロブロックの量子化スケールを決定する。
これにより、シーンチェンジ等の画像の大きな変化が発生しても、各画像の先頭付近のマクロブロックから、より適切な量子化スケールによって符号化することが出来る。
【００４２】
なお、画像特性検出器２５からは符号量制御器１４へも各マクロブロックのアクティビティが送られ、MPEG２Test Model５におけるアクティビティに基づいて各マクロブロックの量子化スケールを変更する適応量子化制御に使用されるが、この適応量子化制御は行わなくてもよい。
【００４３】
符号量制御器１４から出力される各マクロブロックの量子化スケールが量子化器１３に送られ、現在の画像(DCT後の分割された原動画像または動き補償予測の誤差画像ブロック)がこの量子化スケールで量子化器１３で量子化され、可変長符号化器１５で可変長符号化されて、次のバッファ１６で調整された後に符号が出力される。
【００４４】
量子化器１３のマクロブロック毎の量子化スケール、バッファ１６で監視される発生符号量がそれぞれ、平均量子化スケール検出器２２、発生符号量検出器２３に送られ、次のピクチャの符号量制御に使用される。
【００４５】
なお、本実施例ではMPEG２Test Model 5に本発明を適用した例であるが、本発明はそれに限らず、各画像の先頭のマクロブロックの量子化スケールを(同じピクチャタイプまたは１つ前の)直前の画像の符号化結果から決定する形態をとる、符号量制御全般に適用可能である。
(7)式を、直接先頭のマクロブロックの量子化スケールＱ0を決定するように変更すると、次の(8)式のようになる。
【００４６】
先頭マクロブロックの量子化スケール Ｑ0＝ｇ(ppMq)・ｆ(ActRatio)
但しppMq：基準量子化スケール
ActRatio＝(現在の画像のアクティビティ)／(基準アクティビティ)
ｆ(ActRatio)：ActRatioを非線型変換する関数
ｇ(ppMq)：ppMqを因数とする所定の関数
(例：ｇ(ppMq)＝ppMq)
ppMq, ActRatio, ｆ(ActRatio) は(7)式と同様 (8)
【００４７】
（第２の実施例）
つぎに、本発明の動画像符号化装置の第２の実施例について、図３と共に以下に説明する。
第２の実施例は本発明を１パス方式の可変ビットレート符号化に適用した場合であり、第１の実施例と比較して、平均画面複雑度算出器２９が追加され、画面複雑度算出器２４、符号量制御器１４と、図４に示す画像特性検出器２５の構成とその動作及び、情報の内容のみが異なり、また図３は画像特性検出器２５に対して動き補償予測器１９より動き補償信号が供給されている点が図１と異なっており、それ以外の同じ部分についての説明は省略する。
【００４８】
図４に示す画像特性検出器２５は、ACTcur検出器２５Ｊ、ACTpred検出器２５Ｋ、ACTmv検出器２５Ｌ、及びピクチャアクティビティ算出器２５Ｍより構成されており、図１の第１の実施例における画像特性検出器２５は、図４のACTcur検出器２５Ｊに相当するものである。
【００４９】
図３、図４の実施例において、画像特性検出器２５への入力は、Ｉピクチャの場合は動き補償予測が行われないため、第１の実施例と同じくマクロブロック単位に分割された原動画像のみが入力され、マクロブロック単位に画像特性を示すパラメータであるアクティビティ(ACTcur)が検出され、フレーム単位に加算され、ＩピクチャのアクティビティACTiとして画面複雑度算出器２４及びｄ0算出器３０に送出されている。
【００５０】
一方、図４に示す画像特性検出器２５への入力は、Ｐ及びＢピクチャの場合は分割された原動画像の他に、マクロブロック単位の動き補償予測における誤差画像または動きベクトル検出における符号化画像と参照画像との差分画像と、動き補償予測で使用した動きベクトルが図３に示す動き補償予測器１９から入力される。
分割された原動画像からはＩピクチャの場合と同様にマクロブロック単位に(原画像)アクティビティACTcurが検出される。
【００５１】
一方、マクロブロック単位の動き補償予測における誤差画像または動きベクトル検出における符号化画像と参照画像との差分画像は、その中で絶対値和または２乗誤差和がとられ、予測アクティビティACTpredとして検出される。
【００５２】
さらに、動き補償予測で使用した動きベクトルの方は、隣接マクロブロックとの間で各成分毎に差分の絶対値がとられるなどして、動きベクトルアクティビティACTmvとして検出される。
そして、各マクロブロック毎に次式(9)の演算により、マクロブロックアクティビティACTmbが算出され、それが１フレーム分加算されて、Ｐ及びＢピクチャのアクティビティACTp及びACTbとして画面複雑度算出器２４及びｄ0算出器３０に送出されている。
【００５３】
マクロブロックアクティビティ
ACTmb ＝ ａ・ACTcur ＋ ｂ・ACTpred ＋ ｃ・ACTmv (9)
なお、各定数ａ、ｂ、ｃの値はピクチャ別、マクロブロックの予測モード別(イントラか片方向予測か双方向予測か)などで変化させる。
例えばイントラの場合はIピクチャと同様に予測を行わないので、ｂ＝ｃ＝０となり、予測を行うブロックに比べて発生符号量が多くなると考えられるので、ａの値を大きくする。
【００５４】
画面複雑度算出器２４には第１の実施例と同様に、フレーム毎に平均量子化スケールと発生符号量が送られると共に、画像特性検出器２５から各フレームの画像特性、すなわちアクティビティが供給される。
画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗じられた後に乗算結果に所定の変換が施されて、それを基準として各フレームの実測画面複雑度が求められる。
【００５５】
実測画面複雑度は平均画面複雑度算出器２９に送られ、ここで符号化ピクチャタイプ別に一定期間内の値が加算された後に、その期間内の同じピクチャタイプのフレーム数で除算されて、Ｉ、Ｐ、B各ピクチャタイプの平均画面複雑度 Xi-ave(Ｉピクチャ)、Xp-ave(Ｐピクチャ)、Xb-ave(Ｂピクチャ) が算出される。
【００５６】
ここで言う一定期間内は、符号化の終了したばかりの画像から時間的に前に予め定めるフレーム数、例えば１５フレームとか、３００フレームといった一定のフレーム数の場合もあり、符号化開始フレームから符号化の終了したばかりの画像までのように、順次フレーム数が増加する場合もある。
なお前者の一定フレーム数の場合でも、符号化したフレーム数が定めた一定期間を満たさない場合は後者と同様に順次フレーム数が増加していくことになる。
【００５７】
つぎに画面複雑度算出器２４では、求めた実測画面複雑度と平均画面複雑度算出器で求めた平均画面複雑度、及びアクティビティから画面複雑度の推定を行う。
これから符号化する現在の画像の画面複雑度 Xi, Xp, Xb は、現在の画像のアクティビティACTi, ACTp, ACTb、直前に符号化した同じピクチャタイプの画像の画面複雑度 Xi-p, Xp-p, Xb-p、直前に符号化した同じピクチャタイプの画像のアクティビティACTi-p, ACTp-p, ACTb-pより、つぎの(10)(11)(12)式で推定出来る。
【００５８】
（Ｉピクチャ）
Xi＝Xi-p・(ACTi / ACTi-p) (10)
（Ｐピクチャ）
Xp＝Xp-p・(ACTp / ACTp-p) (11)
（Ｂピクチャ）
Xb＝Xb-p・(ACTb / ACTb-p) (12)
【００５９】
なお、初期状態において、同じピクチャタイプの符号化の終了したフレームが存在しない場合は予めいくつかの画像で各ピクチャタイプの画像の画面複雑度とアクティビティを求めておき、それを平均的な動画像の発生頻度に合わせて統計的に平均してそれを初期値とすればよい。
【００６０】
これから符号化する現在の画像の推定画面複雑度 Xi, Xp, Xbと、各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-aveは符号量制御器１４に送られる。
符号量制御器１４では、次に(これから)符号化する画像の割当符号量の設定(決定)、及び可変ビットレート制御のための量子化スケールの設定(決定)が行われる。
【００６１】
目標平均ビットレートをBitRate、1秒当りのフレーム数をPictureRate、1つの符号化単位である1GOP(通常はIピクチャの間隔)のフレーム数をNとすると、1GOPの平均割当符号量Raveは次式(13)で与えられる。
Rave ＝ (BitRate／PictureRate)・N (13)
【００６２】
上式のRaveは平均画面複雑度の時の1GOPの必要割当符号量とすると、これから符号化する現在の画像を含む1GOPの画像が一様に前記画面複雑度算出器
２４で求めた現在の画像の推定画面複雑度に等しいと仮定すると、画質を一定に保つ場合に必要な1GOPの必要割当符号量Rcは次式(14)(15) (16)で与えられる。
【００６３】
(Ｉピクチャ)
Rc ＝ Rave・( Xi / Xi-ave ) (14)
(Ｐピクチャ)
Rc ＝ Rave・( Xp / Xp-ave ) (15)
(Ｂピクチャ)
Rc ＝ Rave・( Xb / Xb-ave ) (16)
【００６４】
これら上式の必要割当符号量Rcを1GOPの各ピクチャに適切に割り振ることにより、これから符号化する現在の画像の目標符号量を算出し、各マクロブロックの量子化スケールを決定する。
例えばMPEG2 Test Model 5の方法を用いると、上で求めた現在の画像の推定画面複雑度 Xi, Xp, Xbを(2)〜(4)式のXi, Xp, Xbに、割当符号量Rcを(2)〜(4)式のRに代入して、これから符号化する画像の目標割当符号量Ti, Tp, Tbを決定する。
【００６５】
但し、第２の実施例においては、GOP毎に一定符号量にする必要がないので、Rcの値は(2)〜(4)式のＲのように各フレームの発生符号量で減算したり、GOPの先頭で加算する必要はない。また(2)〜(4)式のNp, Nbは常に一定値(GOP先頭での値)となる。
【００６６】
その後は第１の実施例と同様に、ｄ0算出器において、これから符号化する現在の画像の先頭のマクロブロックにおけるｄ0-k(k=i,p,b)の値を、入力された各画像の平均量子化スケール、アクティビティから定められる基準量子化スケール、基準アクティビティと、現在の画像のアクティビティから、図２に示した処理の流れによって算出する。
【００６７】
そして例えばMPEG２Test Model５による制御の場合、ｄ0-kの値と目標割当符号量と、バッファで検出される各マクロブロックの発生符号量を前記(5)(6)式に代入して、各マクロブロックの量子化スケールを決定し、必要に応じて各マクロブロックのアクティビティによって量子化スケールを変更する適応量子化制御を行う。
このようにして、１パス方式の可変ビットレート制御においても、シーンチェンジ等の画像の大きな変化が生じても、各画像の先頭付近のマクロブロックから、より適切な量子化スケールによって符号化することが出来る。
【００６８】
【発明の効果】
以上のように本発明によると、動画像を符号化する際に、マクロブロック単位に量子化スケールの値を変更することによって行われる符号量制御において、符号化の終了した一定区間の画像の発生符号量と平均量子化スケールと、一定区間及びこれから符号化する現在の画像の符号化画像特性(アクティビティ)を検出し、直前のＩまたはＰピクチャと、Ｂピクチャの平均量子化スケールの平均値と、それらの画像におけるアクティビティの平均値に対する現在の画像のアクティビティの比を因数とする所定の関数によって、現在の画像の先頭のマクロブロックにおける量子化スケールを定める仮想バッファの初期値ｄ0-kの値を決定することにより、動画像にシーンチェンジのような大きな変化が生じた場合でも、画像の先頭部分からアクティビティの変化に見合った量子化スケールを定めることが可能になる。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置及びその方法の第１の実施例のブロック構成を示した図である。
【図２】本発明の動画像符号化装置及びその方法の第１の実施例の仮想バッファ初期値ｄ0算出器におけるｄ0算出処理の流れを示した図である。
【図３】本発明の動画像符号化装置及びその方法の第２の実施例のブロック構成を示した図である。
【図４】本発明の動画像符号化装置及びその方法の第２の実施例における画像特性検出器を示した図である。
【図５】符号化ピクチャ構造の一実施例を示した図である。
【図６】従来における一般的な動画像符号化装置の一構成例のブロック構成を示した図である。
【符号の説明】
１１ 減算器
１２ ＤＣＴ器（直交変換器）
１３ 量子化器
１４ 符号量制御器
１５ 可変長符号化器
１６ バッファ
１７ 逆量子化器
１８ ＩＤＣＴ器
１９ 動き補償予測器
２０ 加算器
２１ フレームメモリ
２２ 平均量子化スケール検出器
２３ 発生符号量検出器
２４ 画面複雑度算出器
２５ 画像特性検出器
２５Ａ，２５J ACTcur検出器
２５Ｂ，２５Ｋ ACTpred検出器
２５Ｃ，２５Ｌ ACTmv検出器
２５Ｇ，25Ｍ ピクチャアクティビティ算出器
２９ 平均画面複雑度算出器
３０ 仮想バッファ初期値ｄ0算出器（量子化スケールの初期値を決定する手段）
ActRatio (現在の画像のアクティビティ)／(基準アクティビティ)
ACTcur 原画像アクティビティ
ACTi, ACTp, ACTb 現在の画像のアクティビティ
ACTi-p, ACTp-p, ACTb-p 直前に符号化した同じピクチャタイプの画像のアクティビティ
ACTmb マクロブロックアクティビティ
ACTmv 動きベクトル特性
ACTpred 誤差画像アクティビティ
Ｒ 符号量
Rave 平均割当符号量
Rc 画像の割当符号量
Xi, Xp, Xb 現在の画像の画面複雑度
Xi-ave, Xp-ave, Xb-ave 平均画面複雑度
Xi-p, Xp-p, Xb-p 各フレームの実測画面複雑度
ｄ0 先頭ブロックの仮想バッファ初期値
ppMq 基準量子化スケール
r 2・BitRate／PictureRate
【発明の属する技術分野】
本発明は、動画像の高能率符号化に係り、特に、符号化画像の発生符号量と平均量子化スケールから、マクロブロック単位に量子化スケールの値を変更することによって符号量制御を行う、符号量制御装置及びその方法に関する。
【０００２】
【従来の技術】
ＴＶ信号などの動画像を高能率に符号化する技術の国際標準として既にMPEG２が規定されている。
MPEG２は、動画像を構成する「フレーム」画像を「マクロブロック」と呼ばれる１６×１６画素のブロックに分割し、各マクロブロック単位に、時間的に前または後に所定の数フレーム離れた参照画像と符号化画像の間で「動きベクトル」と呼ばれる動き量を求め、この動き量を基に参照画像から符号化画像を構成する「動き補償予測」技術と、動き補償予測の誤差信号または符号化画像そのものに対して、直交変換の一種であるDCT(離散コサイン変換)を用いて情報量を圧縮する「変換符号化」技術の2つの画像符号化の要素技術をベースに規定されている。
【０００３】
従来の一般的なMPEG２の動画像符号化装置の一構成例を図６に示す。
また、符号化ピクチャ構造の一例を図５に示す。
図５に示される符号化ピクチャ構造のように、動き補償予測は、Iピクチャ(フレーム内符号化)、Pピクチャ(順方向予測符号化)、Bピクチャ(双方向予測符号化)と呼ばれる、予測方法の異なる3種類のピクチャの組合せによって構成される。
【０００４】
図６に示されるように、変換符号化では、Iピクチャでは符号化画像そのものに対し、P、Bピクチャでは動き補償器７９による動き補償予測の誤差信号である減算器７１の出力に対して、DCTがDCT器７２で施される。
【０００５】
このDCT器７２で得られたDCT係数に対して量子化が、符号量制御部９０の出力により制御して量子化器７３によってなされる。
量子化器７３の出力は、動きベクトル等のその他の付帯情報と共に可変長符号化が可変長符号化器７５でなされ、符号列が「ビットストリーム」としてバッファ７６に記憶された後に出力される。この際、バッファ７６の充足度に応じて符号量制御部９０で量子化スケールが制御される。
【０００６】
一方、量子化器７３の出力係数は、逆量子化器７７、IDCT器７８に供給されて、局部復号されてブロック毎に、加算器８０を介してフレームメモリ８１に貯えられる。
【０００７】
MPEG２は可変長符号化であるため、単位時間当りの発生符号量(ビットレート)は一定ではない。
そこで量子化器７３での量子化の際の量子化スケールをマクロブロック単位に適宜変更することにより、所要のビットレートに制御することが可能になっている。
MPEG２Test Model５では、GOP単位で発生符号量を一定にする固定ビットレート制御方法が提案されている。この固定ビットレート制御方法は、一定の転送レートが要求される用途に適した方法である。
【０００８】
Test Model 5における、図６の符号量制御部９０の動作に相当する、固定ビットレート制御方法の概略は次の通りである。
目標ビットレートをBitRate、１秒当りのフレーム数をPictureRate、１つの符号化単位である1GOP(通常はＩピクチャの間隔)のフレーム数をＮとすると、1GOPに割当てられる符号量Ｒは次式(1)で与えられる。
Ｒ ＝ (BitRate／PictureRate)・N (1)
【０００９】
(1)式の符号量ＲをGOP内の各画像に配分することになるが、ここで各ピクチャタイプの符号化直後の画像について、１フレームの発生符号量と平均量子化スケールの積をComplexity(画面複雑度) Xi(Ｉピクチャ)、Xp(Ｐピクチャ)、Xb(Ｂピクチャ)として求め、これから符号化する画像を含むGOP内の画像が一様に前記Complexityに等しいと仮定して、これから符号化する画像の目標割当符号量を決定する。
【００１０】
現在のGOPで符号化の終了していないＰ、Ｂピクチャのフレーム数をNp、Nb、Ｉピクチャに対するＰ、Ｂピクチャの量子化スケールの設定比率をKp、Kbとする。
この時、Ｉ、Ｐ、Ｂ各ピクチャタイプの目標割当符号量Ti, Tp, Tbは次式(2)(3)(4)で与えられる。なおMAX[A, B]はAとBのいずれか大きい方を選択する動作を示す。
【００１１】
なお、符号量Ｒの値は１フレーム符号化が終了する毎に、そのフレームの発生符号量を減算し、GOPの先頭(Ｉピクチャ)において、(1)式の値を加算する。
【００１３】
つぎに、上式(2)(3)(4)で決定した目標割当符号量と、バッファ７６で検出される各マクロブロックの発生符号量をもとに、各マクロブロックの量子化スケールを決定する。
各ピクチャタイプについて、ｊ番目(０＜ｊ＜(マクロブロック数))のマクロブロックを符号化する際に、その時の仮想バッファの充足度ｄj-k (k=i,p,b)を以下の式(5)によって計算する。
【００１４】
ｄj-k＝ｄ0-k＋Ｂj-1−Ｔk・(ｊ−１)／(MB数)
但し k=i,p,b
ｄ0-k：現在の画像におけるｄj-kの初期値
Ｂj-1：現在の画像の(j-)番目までの発生符号量の総和
Ｔk：(2)〜(4)式で求めた現在の画像の目標割当符号量
(MB数)：その画像のマクロブロックの総数 (5)
【００１５】
MPEG２Test Model５では、(5)式において、各ピクチャタイプで最初に符号化する画像を除いてはｄ0-kの値を、同じピクチャタイプの直前に符号化した画像の最後のマクロブロックの符号化結果におけるｄj-kの値で定めている。
つぎに符号化するｊ番目のマクロブロックの量子化スケールＱjは次式(6)によって決定する。
【００１６】
Ｑj ＝ ｄj・31／(2・BitRate／PictureRate) (6)
(5)(6)式より、各マクロブロックの発生符号量が、マクロブロック当りの目標割当符号量より多い場合は、量子化スケールを大きくし、逆に発生符号量がマクロブロック当りの目標割当符号量より少ない場合は、量子化スケールが小さくなるように制御される。
【００１７】
なお、上記したMPEG２Test Model５のような固定ビットレート制御方法の他に、入力画像の内容(複雑度)に応じて、一定区間におけるビットレートを所定の範囲内で変化させる可変ビットレート制御方法も存在する。
【００１８】
【発明が解決しようとする課題】
上記の従来例ではこれから符号化する現在の画像における仮想バッファの初期値であるｄ0-kの値を、同じピクチャタイプの直前に符号化した画像の最後のマクロブロックの符号化結果より定めていた。
しかしながら、入力動画像にシーンチェンジのような大きな変化が生じた場合、現在の画像の量子化スケールは直前に符号化した画像に比べて大きく変化することが予想されるにもかかわらず、仮想バッファの初期値ｄ0-kは直前に符号化した画像を基準としているため、画像の先頭部分では不適切な量子化スケールの決定が行われる可能性が高い。
【００１９】
そのような画像でも符号化の進展に伴い、(5)(6)式の制御によって次第に目標割当符号量に近付くよう量子化スケールの値が変化していくが、量子化スケールが安定化するまで符号量が不足したり、逆に符号量が過剰になり無駄に符号量を与えてしまうという問題があった。
【００２０】
本発明は以上の問題を解決して、入力動画像にシーンチェンジのような大きな変化が発生した場合でも、画像の先頭部分から、より適切な符号量割当を行うことが出来る符号量制御方法を実現することを目的とする。
【００２１】
【課題を解決するための手段】
本発明は、上記課題を解決するために、以下１）〜１０）に記載の手段よりなる。
すなわち、
１）入力動画像を動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化する動画像符号化装置において、
前記入力動画像の各画像の発生符号量を検出する手段と、
前記入力動画像の各画像の平均量子化スケールを検出する手段と、
前記入力動画像及び前記動き補償予測手段によって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るための手段と、
前記符号化画像特性を得るための手段によって得た次に符号化する画像の符号化画像特性を前記次に符号化する画像の直前のＩまたはＰピクチャの符号化画像特性とＢピクチャの符号化画像特性との平均値を基準符号化画像特性とし、この基準符号化画像特性で除算した値に、前記可変長符号化手段で予め定められた量子化スケールを乗算することにより前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定する手段と、
前記決定した次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値から、前記次に符号化する画像の各マクロブロックにおける量子化スケールを決定する手段と
を備えたことを特徴とする動画像符号化装置。
２）１）に記載された動画像符号化装置において、
前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定する手段は、
前記平均量子化スケールを検出する手段によって検出されたピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ)別に直前の画像における平均量子化スケールから、目標ビットレートが大きくなるに応じて量子化スケールが小さくなる関数によって基準量子化スケールを算出し、
前記符号化画像特性を得るための手段によって得られたピクチャタイプ別に直前の画像における符号化画像特性から、前記各ピクチャタイプの符号化画像特性を加算平均する関数によって基準符号化画像特性を算出し、
前記算出した基準量子化スケールと前記算出した基準符号化画像特性に対する前記現在の画像における符号化画像特性の比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数によって次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を算出し、
前記発生符号量を検出する手段によって検出された発生符号量と、目標ビットレートによる割当符号量と、の差に基づいて前記算出した量子化スケールの初期値と、過去の画像の符号化結果から得られる量子化スケールと、のいずれかを選択するようにしたことを特徴とする動画像符号化装置。
３）１）、２）のいずれかに記載された動画像符号化装置において、
前記次に符号化する画像の割当符号量を決定する手段は、
前記発生符号量を検出する手段によって検出された発生符号量、前記平均量子化スケールを検出する手段によって検出された平均量子化スケールから、過去の画像の実測画面複雑度を算出する手段と、
前記符号化画像特性を得るための手段によって得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ)の直前の画像において検出された符号化画像特性との比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数を、前記直前の画像における前記過去の画像の実測画面複雑度に乗算することによって現在の画像の推定画面複雑度を算出する手段と、
前記実測画面複雑度を算出する手段によって算出された過去の画像の実測画面複雑度、もしくは前記現在の画像の推定画面複雑度を算出する手段によって算出された現在の画像の推定画面複雑度と、前記発生符号量を検出する手段によって検出された発生符号量、前記平均量子化スケールを検出する手段によって検出された平均量子化スケール、前記符号化画像特性を得るための手段によって得られた符号化画像特性から、次に符号化する画像の割当符号量を決定する手段と、
を備えたことを特徴とする動画像符号化装置。
４）３）に記載された動画像符号化装置において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定する手段は、
前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化装置。
５）１）乃至４）のいずれかに記載された動画像符号化装置において、
前記入力動画像または動き補償予測画像の符号化画像特性を得るための手段は、前記入力動画像の画像特性を検出する手段、動き補償予測画像の誤差画像の画像特性を検出する手段、及び動き補償予測における動きベクトル特性を検出する手段より構成され、
ピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別及び予測モード別の定数を、前記検出した入力動画像の画像特性、動き補償予測画像の誤差画像の画像特性、及び動き補償予測における動きベクトル特性の前記各特性値に対して乗じた上で加算することによって、前記符号化画像特性を得ることを特徴とする動画像符号化装置。
６）入力動画像を動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化する動画像符号化方法において、
前記入力動画像の各画像の発生符号量を検出するステップと、
前記入力動画像の各画像の平均量子化スケールを検出するステップと、
前記入力動画像及び前記動き補償予測ステップによって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るためのステップと、
前記発生符号量を得るためのステップによって得た次に符号化する画像の符号化画像特性を前記次に符号化する画像の直前のＩまたはＰピクチャの符号化画像特性とＢピクチャの符号化画像特性との平均値を基準符号化画像特性とし、この基準符号化画像特性で除算した値に、前記可変長符号化ステップで予め定められた量子化スケールを乗算することにより前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定するステップと、
前記決定した次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値から、前記次に符号化する画像の各マクロブロックにおける量子化スケールを決定するステップと、
を備えたことを特徴とする動画像符号化方法。
７）６）に記載された動画像符号化方法において、
前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定するステップは、
前記平均量子化スケールを検出するステップによって検出されたピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)別に直前の画像における平均量子化スケールから、目標ビットレートが大きくなるに応じて量子化スケールが小さくなる関数によって基準量子化スケールを算出し、
前記符号化画像特性を得るためのステップによって得られたピクチャタイプ別に直前の画像における符号化画像特性から、前記各ピクチャタイプの符号化画像特性を加算平均する関数によって基準符号化画像特性を算出し、
前記算出した基準量子化スケールと前記算出した基準符号化画像特性に対する前記現在の画像における符号化画像特性の比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数によって次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を算出し、
前記発生符号量を検出するステップによって検出された発生符号量と、目標ビットレートによる割当符号量と、の差に基づいて前記算出した量子化スケールの初期値と、過去の画像の符号化結果から得られる量子化スケールと、のいずれかを選択するようにしたことを特徴とする動画像符号化方法。
８）６）、７）のいずれかに記載された動画像符号化方法において、
前記次に符号化する画像の割当符号量を決定するステップは、
前記発生符号量を検出するステップによって検出された発生符号量、前記平均量子化スケールを検出するステップによって検出された平均量子化スケールから、過去の画像の実測画面複雑度を算出するステップと、
前記符号化画像特性を得るためのステップによって得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)の直前の画像において検出された符号化画像特性との比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数を、前記直前の画像における前記過去の画像の実測画面複雑度に乗算することによって現在の画像の推定画面複雑度を算出するステップと、
前記実測画面複雑度を算出するステップによって算出された過去の画像の実測画面複雑度、もしくは前記現在の画像の推定画面複雑度を算出するステップによって算出された現在の画像の推定画面複雑度と、前記発生符号量を検出するステップによって検出された発生符号量、前記平均量子化スケールを検出するステップによって検出された平均量子化スケール、前記符号化画像特性を得るためのステップによって得られた符号化画像特性から、次に符号化する画像の割当符号量を決定するステップと、
を備えたことを特徴とする動画像符号化方法。
９）８）に記載された動画像符号化方法において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定するステップは、
前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化方法。
１０）６）乃至９）のいずれかに記載された動画像符号化方法において、
前記入力動画像または動き補償予測画像の符号化画像特性を得るためのステップは、前記入力動画像の画像特性を検出するステップ、動き補償予測画像の誤差画像の画像特性を検出するステップ、及び動き補償予測における動きベクトル特性を検出するステップより構成され、
ピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別及び予測モード別の定数を、前記検出した入力動画像の画像特性、動き補償予測画像の誤差画像の画像特性、及び動き補償予測における動きベクトル特性の前記各特性値に対して乗じた上で加算することによって、前記符号化画像特性を得ることを特徴とする動画像符号化方法。
【００２２】
よって、本発明では、MPEG２等の動き補償予測、直交変換、量子化、可変長符号化の各手段を備え、各画像の発生符号量と平均量子化スケールから符号量制御を行う動画像符号化装置において、各画像の符号化画像特性(アクティビティ)を検出し、直前のＩまたはＰピクチャと、Ｂピクチャの符号化画像特性(アクティビティ)の平均値を取り、これを直前の画像の基準アクティビティとする。
同様に直前のＩまたはＰピクチャと、Ｂピクチャの平均量子化スケールの平均値を取り、これを直前の画像の基準量子化スケールとする。
これから符号化する現在の画像の、先頭のマクロブロックにおける量子化スケールを定める仮想バッファの初期値ｄ0-kの値を、直前の画像の基準量子化スケールと、直前の画像の基準アクティビティに対する現在の画像のアクティビティの比を因数とする所定の関数によって決定することにより、入力動画像にシーンチェンジのような大きな変化が生じた場合でも、画像の先頭部分からアクティビティの変化に見合った量子化スケールを定めることが可能になる。
【００２３】
【発明の実施の形態】
（第１の実施例）
本発明の動画像符号化装置の第１の実施例について、図１と共に以下に説明する。
図１に示されている本発明の動画像符号化装置の第１の実施例は、減算器１１、
ＤＣＴ器１２、量子化器１３、符号量制御器１４、可変長符号化器１５、バッファ１６、逆量子化器１７、ＩＤＣＴ器１８、動き補償予測器１９、加算器２０、フレームメモリ２１、平均量子化スケール検出器２２、発生符号量検出器２３、画面複雑度算出器２４、画像特性検出器２５、及びｄ0算出器３０より構成されている。
【００２４】
第１の実施例は本発明を固定ビットレート符号化に適用した場合である。
原動画像は図示されていない画像ブロック分割器によって、予めマクロブロック単位に分割されているものとする。
分割された原動画像は、Ｉピクチャについては動き補償予測が行われず、原動画像ブロックそのものが減算器１１を介してDCT器１２に送られ、DCTされた後に量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化される。
【００２５】
その量子化された信号は、可変長符号化器１５で符号に変換されて、次のバッファ１６で調整された後に符号が出力される。
一方、量子化器１３の出力係数は逆量子化器１７、IDCT器１８で局部復号されて、動き補償予測器１９の出力が加算器２０で加算されることなく、ブロック毎にフレームメモリ２１に貯えられる。
【００２６】
P及びBピクチャについては、分割された原動画像とフレームメモリ２１に貯えられた所定の局部復号画像ブロックが動き補償予測器１９に供給され、ここで動きベクトル検出及び動き補償が行われて、予測画像ブロックが減算器１１で原画像ブロックとの間で画素間差分が取られ、差分値である誤差画像ブロックがDCT器１２に送られる。
【００２７】
この後はIピクチャと同様にして、DCT器１２で差分値がDCTされ、量子化器１３で符号量制御器１４から送られる量子化スケールによって量子化された後に、可変長符号化器１５で符号に変換されて、次のバッファ１６で調整された後に符号が出力される。
【００２８】
一方、量子化器１３の出力係数は、逆量子化器１７とIDCT器１８とで局部復号された後に前記予測画像ブロックが加算器２０によって画素毎に加算され、ブロック毎にフレームメモリ２１に貯えられる。
また、各ピクチャについて、量子化器１３からマクロブロック毎の量子化スケールが平均量子化スケール検出器２２に送られ、そこで1フレーム分の量子化スケールが加算され、1フレームの平均量子化スケールが算出される。
【００２９】
一方、バッファ１６において発生符号量が監視され、その値が発生符号量検出器２３に送られる。
この発生符号量検出器２３において、発生符号量がフレーム単位に加算され、1フレームの発生符号量が検出される。
フレーム毎について検出された前記平均量子化スケール、及び前記発生符号量は各々画面複雑度算出器２４及び仮想バッファ初期値ｄ0算出器（以下、ｄ0算出器と記す）３０にフレーム毎に送られる。
【００３０】
画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗じられた後に所定の操作を施して、MPEG２Test Model５におけるComplexityに相当する各フレームの画面複雑度Xi, Xp, Xbが求められる。
【００３１】
各フレームの画面複雑度Xi, Xp, Xbは符号量制御器１４に送られ、ここでこれから符号化する画像の目標割当符号量Ti, Tp, Tbが決定される。
例えばMPEG２Test Model５による制御の場合、画面複雑度Xi, Xp, Xbの値を前記(2)〜(4)式に代入することにより、これから符号化する画像の目標割当符号量Ti, Tp, Tbを決定する。
【００３２】
一方、画像特性検出器２５では、入力時に原画像を分割した原動画像が供給され、原動画像の各フレームについてマクロブロック単位に画像特性を示すパラメータであるアクティビティが検出され、フレーム単位に加算されて、その結果が１フレーム毎に仮想バッファ初期値ｄ0算出器３０に送られる。
【００３３】
ここで、画像特性検出器２５で画像特性を検出する動作は、実際の符号化動作に先行して検出している。
画像特性を示すパラメータとしては輝度値の分散、画素間差分値などが考えられるが、画像特性を示すものであれば、その他のパラメータでも当然よい。
仮想バッファ初期値ｄ0を算出するｄ0算出器３０では、１フレームの符号化が終了する毎に平均量子化スケール検出器２２から平均量子化スケールが供給され、ＩまたはＰピクチャと、Ｂピクチャとで別々に、符号化の終了した(画像入力順で)直前の画像における値が格納されている。
【００３４】
また同時に、発生符号量検出器２３から発生符号量が供給され、目標ビットレートによる割当符号量との差が検出される。
また、画像特性検出器２５から符号化に先立って現在の画像の符号化画像特性が供給されるが、同時に平均量子化スケールが格納されている画像と同一の画像 (ＩまたはＰピクチャと、Ｂピクチャ別)における符号化画像特性も格納されている。
【００３５】
ｄ0算出器３０では、これから符号化する現在の画像の先頭のマクロブロックにおける仮想バッファ初期値ｄ0の値を、図２に示した処理の流れによって算出する。
図２に示される処理では、まず直前のＩまたはＰピクチャと、Ｂピクチャの平均量子化スケール、符号化画像特性（図２のＳ１）（Ｓ２）の平均値が取られ（Ｓ４）（Ｓ５）、各々基準量子化スケール（Ｓ６）、基準アクティビティ（Ｓ７）とする。
【００３６】
つぎに、これから符号化する現在の画像の、先頭のマクロブロックにおける量子化スケールを定める仮想バッファの初期値ｄ0-k(k=i,p,b)の値を、直前の画像の基準量子化スケール（ppMq）（Ｓ６）と、直前の画像の基準アクティビティに対する現在の画像のアクティビティの比（ActRatio）（Ｓ８）（Ｓ９）を因数とする所定の関数（Ｓ１０）によって決定する（Ｓ１１）。
所定の関数とは、一実施例としては次の(7)式が考えられる。
【００３７】
なお、検出された発生符号量と目標ビットレートによる割当符号量との差が所定範囲を超える(割当符号量が不足する方向)場合、(7)式によってｄ0-kを小さく(量子化スケールを小さく)なるように制御すると符号量の不足が顕著になってその後の符号量制御に支障を生じる。
そこで、このような場合には(7)式によるｄ0-kの決定を行わずに、上記の式(５)の個所で説明したように、同じピクチャタイプの直前の画像の符号化結果による、先頭ブロックの仮想バッファ初期値ｄ0の値を（図２のＳＷを切り替えて）（Ｓ１３）代りに用いて仮想バッファ初期値ｄ0の決定を行なう（Ｓ１４）。
【００３９】
また、符号化開始時点においては、予め幾つかの画像で符号化を行って、基準量子化スケール(目標ビットレートにより変化)、基準アクティビティの値を統計的に求めておき、最初に符号化する画像(Ｉピクチャ)のアクティビティを画像特性検出器２５から得た上で、最初のＩピクチャのアクティビティと統計的に求めた基準量子化スケール(与えた目標ビットレートの時の)、基準アクティビティを上記の(7)式に代入して、ｄ0-iの初期値を求めればよい。
【００４０】
その次の最初のBピクチャの場合は、符号化したＩピクチャの平均量子化スケール、アクティビティを基準量子化スケール、基準アクティビティとするか、統計的に求めた平均的なＢピクチャの平均量子化スケール、平均アクティビティと、符号化したＩピクチャの平均量子化スケール、アクティビティを平均して基準量子化スケール、基準アクティビティとして、ｄ0-bの初期値を求めればよい。
【００４１】
このようにして各画像の先頭において、ｄ0-kの値を決定した上で、例えばMPEG２Test Model５による制御の場合、前記(5)(6)式から各マクロブロックの量子化スケールを決定する。
これにより、シーンチェンジ等の画像の大きな変化が発生しても、各画像の先頭付近のマクロブロックから、より適切な量子化スケールによって符号化することが出来る。
【００４２】
なお、画像特性検出器２５からは符号量制御器１４へも各マクロブロックのアクティビティが送られ、MPEG２Test Model５におけるアクティビティに基づいて各マクロブロックの量子化スケールを変更する適応量子化制御に使用されるが、この適応量子化制御は行わなくてもよい。
【００４３】
符号量制御器１４から出力される各マクロブロックの量子化スケールが量子化器１３に送られ、現在の画像(DCT後の分割された原動画像または動き補償予測の誤差画像ブロック)がこの量子化スケールで量子化器１３で量子化され、可変長符号化器１５で可変長符号化されて、次のバッファ１６で調整された後に符号が出力される。
【００４４】
量子化器１３のマクロブロック毎の量子化スケール、バッファ１６で監視される発生符号量がそれぞれ、平均量子化スケール検出器２２、発生符号量検出器２３に送られ、次のピクチャの符号量制御に使用される。
【００４５】
なお、本実施例ではMPEG２Test Model 5に本発明を適用した例であるが、本発明はそれに限らず、各画像の先頭のマクロブロックの量子化スケールを(同じピクチャタイプまたは１つ前の)直前の画像の符号化結果から決定する形態をとる、符号量制御全般に適用可能である。
(7)式を、直接先頭のマクロブロックの量子化スケールＱ0を決定するように変更すると、次の(8)式のようになる。
【００４６】
先頭マクロブロックの量子化スケール Ｑ0＝ｇ(ppMq)・ｆ(ActRatio)
但しppMq：基準量子化スケール
ActRatio＝(現在の画像のアクティビティ)／(基準アクティビティ)
ｆ(ActRatio)：ActRatioを非線型変換する関数
ｇ(ppMq)：ppMqを因数とする所定の関数
(例：ｇ(ppMq)＝ppMq)
ppMq, ActRatio, ｆ(ActRatio) は(7)式と同様 (8)
【００４７】
（第２の実施例）
つぎに、本発明の動画像符号化装置の第２の実施例について、図３と共に以下に説明する。
第２の実施例は本発明を１パス方式の可変ビットレート符号化に適用した場合であり、第１の実施例と比較して、平均画面複雑度算出器２９が追加され、画面複雑度算出器２４、符号量制御器１４と、図４に示す画像特性検出器２５の構成とその動作及び、情報の内容のみが異なり、また図３は画像特性検出器２５に対して動き補償予測器１９より動き補償信号が供給されている点が図１と異なっており、それ以外の同じ部分についての説明は省略する。
【００４８】
図４に示す画像特性検出器２５は、ACTcur検出器２５Ｊ、ACTpred検出器２５Ｋ、ACTmv検出器２５Ｌ、及びピクチャアクティビティ算出器２５Ｍより構成されており、図１の第１の実施例における画像特性検出器２５は、図４のACTcur検出器２５Ｊに相当するものである。
【００４９】
図３、図４の実施例において、画像特性検出器２５への入力は、Ｉピクチャの場合は動き補償予測が行われないため、第１の実施例と同じくマクロブロック単位に分割された原動画像のみが入力され、マクロブロック単位に画像特性を示すパラメータであるアクティビティ(ACTcur)が検出され、フレーム単位に加算され、ＩピクチャのアクティビティACTiとして画面複雑度算出器２４及びｄ0算出器３０に送出されている。
【００５０】
一方、図４に示す画像特性検出器２５への入力は、Ｐ及びＢピクチャの場合は分割された原動画像の他に、マクロブロック単位の動き補償予測における誤差画像または動きベクトル検出における符号化画像と参照画像との差分画像と、動き補償予測で使用した動きベクトルが図３に示す動き補償予測器１９から入力される。
分割された原動画像からはＩピクチャの場合と同様にマクロブロック単位に(原画像)アクティビティACTcurが検出される。
【００５１】
一方、マクロブロック単位の動き補償予測における誤差画像または動きベクトル検出における符号化画像と参照画像との差分画像は、その中で絶対値和または２乗誤差和がとられ、予測アクティビティACTpredとして検出される。
【００５２】
さらに、動き補償予測で使用した動きベクトルの方は、隣接マクロブロックとの間で各成分毎に差分の絶対値がとられるなどして、動きベクトルアクティビティACTmvとして検出される。
そして、各マクロブロック毎に次式(9)の演算により、マクロブロックアクティビティACTmbが算出され、それが１フレーム分加算されて、Ｐ及びＢピクチャのアクティビティACTp及びACTbとして画面複雑度算出器２４及びｄ0算出器３０に送出されている。
【００５３】
マクロブロックアクティビティ
ACTmb ＝ ａ・ACTcur ＋ ｂ・ACTpred ＋ ｃ・ACTmv (9)
なお、各定数ａ、ｂ、ｃの値はピクチャ別、マクロブロックの予測モード別(イントラか片方向予測か双方向予測か)などで変化させる。
例えばイントラの場合はIピクチャと同様に予測を行わないので、ｂ＝ｃ＝０となり、予測を行うブロックに比べて発生符号量が多くなると考えられるので、ａの値を大きくする。
【００５４】
画面複雑度算出器２４には第１の実施例と同様に、フレーム毎に平均量子化スケールと発生符号量が送られると共に、画像特性検出器２５から各フレームの画像特性、すなわちアクティビティが供給される。
画面複雑度算出器２４では、供給された各フレームの平均量子化スケールと発生符号量が乗じられた後に乗算結果に所定の変換が施されて、それを基準として各フレームの実測画面複雑度が求められる。
【００５５】
実測画面複雑度は平均画面複雑度算出器２９に送られ、ここで符号化ピクチャタイプ別に一定期間内の値が加算された後に、その期間内の同じピクチャタイプのフレーム数で除算されて、Ｉ、Ｐ、B各ピクチャタイプの平均画面複雑度 Xi-ave(Ｉピクチャ)、Xp-ave(Ｐピクチャ)、Xb-ave(Ｂピクチャ) が算出される。
【００５６】
ここで言う一定期間内は、符号化の終了したばかりの画像から時間的に前に予め定めるフレーム数、例えば１５フレームとか、３００フレームといった一定のフレーム数の場合もあり、符号化開始フレームから符号化の終了したばかりの画像までのように、順次フレーム数が増加する場合もある。
なお前者の一定フレーム数の場合でも、符号化したフレーム数が定めた一定期間を満たさない場合は後者と同様に順次フレーム数が増加していくことになる。
【００５７】
つぎに画面複雑度算出器２４では、求めた実測画面複雑度と平均画面複雑度算出器で求めた平均画面複雑度、及びアクティビティから画面複雑度の推定を行う。
これから符号化する現在の画像の画面複雑度 Xi, Xp, Xb は、現在の画像のアクティビティACTi, ACTp, ACTb、直前に符号化した同じピクチャタイプの画像の画面複雑度 Xi-p, Xp-p, Xb-p、直前に符号化した同じピクチャタイプの画像のアクティビティACTi-p, ACTp-p, ACTb-pより、つぎの(10)(11)(12)式で推定出来る。
【００５８】
（Ｉピクチャ）
Xi＝Xi-p・(ACTi / ACTi-p) (10)
（Ｐピクチャ）
Xp＝Xp-p・(ACTp / ACTp-p) (11)
（Ｂピクチャ）
Xb＝Xb-p・(ACTb / ACTb-p) (12)
【００５９】
なお、初期状態において、同じピクチャタイプの符号化の終了したフレームが存在しない場合は予めいくつかの画像で各ピクチャタイプの画像の画面複雑度とアクティビティを求めておき、それを平均的な動画像の発生頻度に合わせて統計的に平均してそれを初期値とすればよい。
【００６０】
これから符号化する現在の画像の推定画面複雑度 Xi, Xp, Xbと、各ピクチャタイプの平均画面複雑度 Xi-ave, Xp-ave, Xb-aveは符号量制御器１４に送られる。
符号量制御器１４では、次に(これから)符号化する画像の割当符号量の設定(決定)、及び可変ビットレート制御のための量子化スケールの設定(決定)が行われる。
【００６１】
目標平均ビットレートをBitRate、1秒当りのフレーム数をPictureRate、1つの符号化単位である1GOP(通常はIピクチャの間隔)のフレーム数をNとすると、1GOPの平均割当符号量Raveは次式(13)で与えられる。
Rave ＝ (BitRate／PictureRate)・N (13)
【００６２】
上式のRaveは平均画面複雑度の時の1GOPの必要割当符号量とすると、これから符号化する現在の画像を含む1GOPの画像が一様に前記画面複雑度算出器
２４で求めた現在の画像の推定画面複雑度に等しいと仮定すると、画質を一定に保つ場合に必要な1GOPの必要割当符号量Rcは次式(14)(15) (16)で与えられる。
【００６３】
(Ｉピクチャ)
Rc ＝ Rave・( Xi / Xi-ave ) (14)
(Ｐピクチャ)
Rc ＝ Rave・( Xp / Xp-ave ) (15)
(Ｂピクチャ)
Rc ＝ Rave・( Xb / Xb-ave ) (16)
【００６４】
これら上式の必要割当符号量Rcを1GOPの各ピクチャに適切に割り振ることにより、これから符号化する現在の画像の目標符号量を算出し、各マクロブロックの量子化スケールを決定する。
例えばMPEG2 Test Model 5の方法を用いると、上で求めた現在の画像の推定画面複雑度 Xi, Xp, Xbを(2)〜(4)式のXi, Xp, Xbに、割当符号量Rcを(2)〜(4)式のRに代入して、これから符号化する画像の目標割当符号量Ti, Tp, Tbを決定する。
【００６５】
但し、第２の実施例においては、GOP毎に一定符号量にする必要がないので、Rcの値は(2)〜(4)式のＲのように各フレームの発生符号量で減算したり、GOPの先頭で加算する必要はない。また(2)〜(4)式のNp, Nbは常に一定値(GOP先頭での値)となる。
【００６６】
その後は第１の実施例と同様に、ｄ0算出器において、これから符号化する現在の画像の先頭のマクロブロックにおけるｄ0-k(k=i,p,b)の値を、入力された各画像の平均量子化スケール、アクティビティから定められる基準量子化スケール、基準アクティビティと、現在の画像のアクティビティから、図２に示した処理の流れによって算出する。
【００６７】
そして例えばMPEG２Test Model５による制御の場合、ｄ0-kの値と目標割当符号量と、バッファで検出される各マクロブロックの発生符号量を前記(5)(6)式に代入して、各マクロブロックの量子化スケールを決定し、必要に応じて各マクロブロックのアクティビティによって量子化スケールを変更する適応量子化制御を行う。
このようにして、１パス方式の可変ビットレート制御においても、シーンチェンジ等の画像の大きな変化が生じても、各画像の先頭付近のマクロブロックから、より適切な量子化スケールによって符号化することが出来る。
【００６８】
【発明の効果】
以上のように本発明によると、動画像を符号化する際に、マクロブロック単位に量子化スケールの値を変更することによって行われる符号量制御において、符号化の終了した一定区間の画像の発生符号量と平均量子化スケールと、一定区間及びこれから符号化する現在の画像の符号化画像特性(アクティビティ)を検出し、直前のＩまたはＰピクチャと、Ｂピクチャの平均量子化スケールの平均値と、それらの画像におけるアクティビティの平均値に対する現在の画像のアクティビティの比を因数とする所定の関数によって、現在の画像の先頭のマクロブロックにおける量子化スケールを定める仮想バッファの初期値ｄ0-kの値を決定することにより、動画像にシーンチェンジのような大きな変化が生じた場合でも、画像の先頭部分からアクティビティの変化に見合った量子化スケールを定めることが可能になる。
【図面の簡単な説明】
【図１】本発明の動画像符号化装置及びその方法の第１の実施例のブロック構成を示した図である。
【図２】本発明の動画像符号化装置及びその方法の第１の実施例の仮想バッファ初期値ｄ0算出器におけるｄ0算出処理の流れを示した図である。
【図３】本発明の動画像符号化装置及びその方法の第２の実施例のブロック構成を示した図である。
【図４】本発明の動画像符号化装置及びその方法の第２の実施例における画像特性検出器を示した図である。
【図５】符号化ピクチャ構造の一実施例を示した図である。
【図６】従来における一般的な動画像符号化装置の一構成例のブロック構成を示した図である。
【符号の説明】
１１ 減算器
１２ ＤＣＴ器（直交変換器）
１３ 量子化器
１４ 符号量制御器
１５ 可変長符号化器
１６ バッファ
１７ 逆量子化器
１８ ＩＤＣＴ器
１９ 動き補償予測器
２０ 加算器
２１ フレームメモリ
２２ 平均量子化スケール検出器
２３ 発生符号量検出器
２４ 画面複雑度算出器
２５ 画像特性検出器
２５Ａ，２５J ACTcur検出器
２５Ｂ，２５Ｋ ACTpred検出器
２５Ｃ，２５Ｌ ACTmv検出器
２５Ｇ，25Ｍ ピクチャアクティビティ算出器
２９ 平均画面複雑度算出器
３０ 仮想バッファ初期値ｄ0算出器（量子化スケールの初期値を決定する手段）
ActRatio (現在の画像のアクティビティ)／(基準アクティビティ)
ACTcur 原画像アクティビティ
ACTi, ACTp, ACTb 現在の画像のアクティビティ
ACTi-p, ACTp-p, ACTb-p 直前に符号化した同じピクチャタイプの画像のアクティビティ
ACTmb マクロブロックアクティビティ
ACTmv 動きベクトル特性
ACTpred 誤差画像アクティビティ
Ｒ 符号量
Rave 平均割当符号量
Rc 画像の割当符号量
Xi, Xp, Xb 現在の画像の画面複雑度
Xi-ave, Xp-ave, Xb-ave 平均画面複雑度
Xi-p, Xp-p, Xb-p 各フレームの実測画面複雑度
ｄ0 先頭ブロックの仮想バッファ初期値
ppMq 基準量子化スケール
r 2・BitRate／PictureRate
Claims (10)
- 入力動画像を動き補償予測手段、直交変換手段、量子化手段、及び可変長符号化手段を有して符号化する動画像符号化装置において、
前記入力動画像の各画像の発生符号量を検出する手段と、
前記入力動画像の各画像の平均量子化スケールを検出する手段と、
前記入力動画像及び前記動き補償予測手段によって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るための手段と、
前記符号化画像特性を得るための手段によって得た次に符号化する画像の符号化画像特性を前記次に符号化する画像の直前のＩまたはＰピクチャの符号化画像特性とＢピクチャの符号化画像特性との平均値を基準符号化画像特性とし、この基準符号化画像特性で除算した値に、前記可変長符号化手段で予め定められた量子化スケールを乗算することにより前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定する手段と、
前記決定した次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値から、前記次に符号化する画像の各マクロブロックにおける量子化スケールを決定する手段と
を備えたことを特徴とする動画像符号化装置。 - 請求項１に記載された動画像符号化装置において、
前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定する手段は、
前記平均量子化スケールを検出する手段によって検出されたピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ)別に直前の画像における平均量子化スケールから、目標ビットレートが大きくなるに応じて量子化スケールが小さくなる関数によって基準量子化スケールを算出し、
前記符号化画像特性を得るための手段によって得られたピクチャタイプ別に直前の画像における符号化画像特性から、前記各ピクチャタイプの符号化画像特性を加算平均する関数によって基準符号化画像特性を算出し、
前記算出した基準量子化スケールと前記算出した基準符号化画像特性に対する前記現在の画像における符号化画像特性の比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数によって次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を算出し、
前記発生符号量を検出する手段によって検出された発生符号量と、目標ビットレートによる割当符号量と、の差に基づいて前記算出した量子化スケールの初期値と、過去の画像の符号化結果から得られる量子化スケールと、のいずれかを選択するようにしたことを特徴とする動画像符号化装置。 - 請求項１、請求項２のいずれかに記載された動画像符号化装置において、
前記次に符号化する画像の割当符号量を決定する手段は、
前記発生符号量を検出する手段によって検出された発生符号量、前記平均量子化スケールを検出する手段によって検出された平均量子化スケールから、過去の画像の実測画面複雑度を算出する手段と、
前記符号化画像特性を得るための手段によって得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ（Ｉピクチャ、Pピクチャ、Bピクチャ)の直前の画像において検出された符号化画像特性との比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数を、前記直前の画像における前記過去の画像の実測画面複雑度に乗算することによって現在の画像の推定画面複雑度を算出する手段と、
前記実測画面複雑度を算出する手段によって算出された過去の画像の実測画面複雑度、もしくは前記現在の画像の推定画面複雑度を算出する手段によって算出された現在の画像の推定画面複雑度と、前記発生符号量を検出する手段によって検出された発生符号量、前記平均量子化スケールを検出する手段によって検出された平均量子化スケール、前記符号化画像特性を得るための手段によって得られた符号化画像特性から、次に符号化する画像の割当符号量を決定する手段と、
を備えたことを特徴とする動画像符号化装置。 - 請求項３に記載された動画像符号化装置において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定する手段は、
前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化装置。 - 請求項１乃至請求項４のいずれかに記載された動画像符号化装置において、
前記入力動画像または動き補償予測画像の符号化画像特性を得るための手段は、前記入力動画像の画像特性を検出する手段、動き補償予測画像の誤差画像の画像特性を検出する手段、及び動き補償予測における動きベクトル特性を検出する手段より構成され、
ピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別及び予測モード別の定数を、前記検出した入力動画像の画像特性、動き補償予測画像の誤差画像の画像特性、及び動き補償予測における動きベクトル特性の前記各特性値に対して乗じた上で加算することによって、前記符号化画像特性を得ることを特徴とする動画像符号化装置。 - 入力動画像を動き補償予測ステップ、直交変換ステップ、量子化ステップ、及び可変長符号化ステップを有して符号化する動画像符号化方法において、
前記入力動画像の各画像の発生符号量を検出するステップと、
前記入力動画像の各画像の平均量子化スケールを検出するステップと、
前記入力動画像及び前記動き補償予測ステップによって生成される動き補償予測画像のうち、少なくとも前記入力動画像の輝度値の分散、または、画素間差分値によりアクティビティを検出して前記入力動画像の符号化画像特性を得るためのステップと、
前記発生符号量を得るためのステップによって得た次に符号化する画像の符号化画像特性を前記次に符号化する画像の直前のＩまたはＰピクチャの符号化画像特性とＢピクチャの符号化画像特性との平均値を基準符号化画像特性とし、この基準符号化画像特性で除算した値に、前記可変長符号化ステップで予め定められた量子化スケールを乗算することにより前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定するステップと、
前記決定した次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値から、前記次に符号化する画像の各マクロブロックにおける量子化スケールを決定するステップと、
を備えたことを特徴とする動画像符号化方法。 - 請求項６に記載された動画像符号化方法において、
前記次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を決定するステップは、
前記平均量子化スケールを検出するステップによって検出されたピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)別に直前の画像における平均量子化スケールから、目標ビットレートが大きくなるに応じて量子化スケールが小さくなる関数によって基準量子化スケールを算出し、
前記符号化画像特性を得るためのステップによって得られたピクチャタイプ別に直前の画像における符号化画像特性から、前記各ピクチャタイプの符号化画像特性を加算平均する関数によって基準符号化画像特性を算出し、
前記算出した基準量子化スケールと前記算出した基準符号化画像特性に対する前記現在の画像における符号化画像特性の比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数によって次に符号化する画像の最初のマクロブロックにおける量子化スケールの初期値を算出し、
前記発生符号量を検出するステップによって検出された発生符号量と、目標ビットレートによる割当符号量と、の差に基づいて前記算出した量子化スケールの初期値と、過去の画像の符号化結果から得られる量子化スケールと、のいずれかを選択するようにしたことを特徴とする動画像符号化方法。 - 請求項６、請求項７のいずれかに記載された動画像符号化方法において、
前記次に符号化する画像の割当符号量を決定するステップは、
前記発生符号量を検出するステップによって検出された発生符号量、前記平均量子化スケールを検出するステップによって検出された平均量子化スケールから、過去の画像の実測画面複雑度を算出するステップと、
前記符号化画像特性を得るためのステップによって得られた現在の画像の符号化画像特性と、それと同じピクチャタイプ(Iピクチャ、Pピクチャ、Bピクチャ)の直前の画像において検出された符号化画像特性との比を因数とし、この因数の入力範囲に応じて出力がステップ状の値となる非線形関数を、前記直前の画像における前記過去の画像の実測画面複雑度に乗算することによって現在の画像の推定画面複雑度を算出するステップと、
前記実測画面複雑度を算出するステップによって算出された過去の画像の実測画面複雑度、もしくは前記現在の画像の推定画面複雑度を算出するステップによって算出された現在の画像の推定画面複雑度と、前記発生符号量を検出するステップによって検出された発生符号量、前記平均量子化スケールを検出するステップによって検出された平均量子化スケール、前記符号化画像特性を得るためのステップによって得られた符号化画像特性から、次に符号化する画像の割当符号量を決定するステップと、
を備えたことを特徴とする動画像符号化方法。 - 請求項８に記載された動画像符号化方法において、
前記発生符号量と前記実測画面複雑度、もしくは前記推定画面複雑度から次に符号化する画像の割当符号量を決定するステップは、
前記実測画面複雑度の一定期間における平均値に対する前記推定画面複雑度の割合を、平均割当符号量に乗ずることによって前記割当符号量を決定することを特徴とする動画像符号化方法。 - 請求６乃至請求項９のいずれかに記載された動画像符号化方法において、
前記入力動画像または動き補償予測画像の符号化画像特性を得るためのステップは、前記入力動画像の画像特性を検出するステップ、動き補償予測画像の誤差画像の画像特性を検出するステップ、及び動き補償予測における動きベクトル特性を検出するステップより構成され、
ピクチャタイプ(Ｉピクチャ、Ｐピクチャ、Ｂピクチャ)別及び予測モード別の定数を、前記検出した入力動画像の画像特性、動き補償予測画像の誤差画像の画像特性、及び動き補償予測における動きベクトル特性の前記各特性値に対して乗じた上で加算することによって、前記符号化画像特性を得ることを特徴とする動画像符号化方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000047245A JP3812269B2 (ja) | 2000-02-24 | 2000-02-24 | 動画像符号化装置及びその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000047245A JP3812269B2 (ja) | 2000-02-24 | 2000-02-24 | 動画像符号化装置及びその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2001238217A JP2001238217A (ja) | 2001-08-31 |
| JP3812269B2 true JP3812269B2 (ja) | 2006-08-23 |
Family
ID=18569528
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000047245A Expired - Fee Related JP3812269B2 (ja) | 2000-02-24 | 2000-02-24 | 動画像符号化装置及びその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3812269B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5342391B2 (ja) * | 2009-09-25 | 2013-11-13 | 株式会社メガチップス | 画像処理装置 |
| EP2355510A1 (en) * | 2009-12-21 | 2011-08-10 | Alcatel Lucent | Method and arrangement for video coding |
| EP2355511A1 (en) * | 2009-12-21 | 2011-08-10 | Alcatel Lucent | Method and arrangement for jointly encoding a plurality of video streams |
| JP5451487B2 (ja) * | 2010-03-31 | 2014-03-26 | 株式会社メガチップス | 画像符号化装置 |
| JP5635673B2 (ja) * | 2013-12-05 | 2014-12-03 | 株式会社メガチップス | 画像符号化装置 |
-
2000
- 2000-02-24 JP JP2000047245A patent/JP3812269B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2001238217A (ja) | 2001-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3954656B2 (ja) | 画像符号化装置及び方法 | |
| KR101518358B1 (ko) | 비디오 코딩에서 프레임 복잡성, 버퍼 레벨 및 인트라 프레임들의 위치를 이용하는 버퍼 기반의 비율 제어 | |
| EP1063851B1 (en) | Apparatus and method of encoding moving picture signal | |
| CN100463523C (zh) | 帧层速率控制的视讯编码方法和*** | |
| US7903732B2 (en) | Method and apparatus for encoding a moving-picture signal by calculating the complexity of the moving-picture signal | |
| JPH10336663A (ja) | Ｍｐｅｇ２符号化用の前処理装置 | |
| JPH11346362A (ja) | リアルタイム単一パス可変ビット・レ―ト制御方法及び符号器 | |
| JP2007089035A (ja) | 動画像符号化方法、装置及びプログラム | |
| JP2001169281A (ja) | 動画像符号化装置、および動画像符号化方法 | |
| KR19980032089A (ko) | 화상 압축 부호화 장치 및 방법 | |
| JPH0974565A (ja) | 映像信号符号化システム用コントローラ | |
| JP3259702B2 (ja) | 動画像可変ビットレート符号化装置および方法 | |
| JP2001008215A (ja) | 動画像符号化装置及びその方法 | |
| JP4362795B2 (ja) | 動画像符号化装置及びその方法 | |
| JPH09322176A (ja) | 符号化モード選択方法、動画像符号化装置、符号化方法、記録方法、及び伝送方法 | |
| JP4295828B2 (ja) | 領域情報で符号化する方法 | |
| JP3173369B2 (ja) | 画像圧縮符号化装置 | |
| JP4362794B2 (ja) | 動画像符号化装置及びその方法 | |
| JP3812269B2 (ja) | 動画像符号化装置及びその方法 | |
| JP3812267B2 (ja) | 動画像符号化装置及びその方法 | |
| JP3480067B2 (ja) | 画像符号化装置及び方法 | |
| JP3858520B2 (ja) | 動画像符号化装置及びその方法 | |
| KR20040007818A (ko) | 동영상 부호화를 위한 ｄｃｔ연산량 조절 방법 및 그 장치 | |
| JP4362793B2 (ja) | 動画像符号化装置及びその方法 | |
| JPH04329089A (ja) | 動画像符号化装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20041124 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050124 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050405 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20050606 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060509 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060522 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090609 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100609 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110609 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120609 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130609 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |