JP3902948B2

JP3902948B2 - 動画像符号化装置

Info

Publication number: JP3902948B2
Application number: JP2001370521A
Authority: JP
Inventors: 整内藤; 正裕和田; 修一松本
Original assignee: KDDI R&D Laboratories Inc
Current assignee: KDDI R&D Laboratories Inc
Priority date: 2001-12-04
Filing date: 2001-12-04
Publication date: 2007-04-11
Anticipated expiration: 2021-12-04
Also published as: JP2003174648A

Description

【０００１】
【発明の属する技術分野】
本発明は動画像符号化装置に関し、特に、ビット配分を最適化して、低ビットレート下での符号化の高効率化を図るのに好適な動画像符号化装置に関する。
【０００２】
【従来の技術】
動画像符号化装置におけるビット配分の方法として、従来から、ピクチャレイヤのビット配分方法と、マクロブロックレイヤのビット配分方法とが知られている。
【０００３】
前者のピクチャレイヤのビット配分方法は、ピクチャタイプ（すなわち、Ｉ、Ｐ、Ｂピクチャ）毎に符号化難易度を定義し、該符号化難易度の比率で、予め所定のピクチャ（画面）数（例えば、１ＧＯＰ）に割り当てられたビット数を各ピクチャ毎に比例配分するものである。
【０００４】
一方、後者のマクロブロックレイヤのビット配分方法は、マクロブロック単位に発生ビット数を入力とし、目標ビット数としてＴ／ＭＢ（Ｔは前記ピクチャレイヤのビット配分で求められた当該ピクチャの目標ビット数、ＭＢはピクチャ内マクロブロック数）に相当するビット数を出力とする仮想バッファを定義したとき、マクロブロックの符号化が完了する都度、該仮想バッファの占有量ｄの更新を行い、該占有量ｄが大きい程、粗い量子化パラメータを割り当てるものである。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記のピクチャレイヤのビット配分方法は、符号化難易度の定義が厳密ではなく、最適なビット配分方法とは言えない。また、前記のマクロブロックレイヤのビット配分方法は、マクロブロック毎の発生ビット数を平滑化する作用が働くので、マクロブロック毎の符号化特性に応じた最適なビット配分ができないという問題、および前記占有量ｄの変動により、意図に反して画面内の再生画質に不均一性が生じ、主観画質に低下を招く恐れがあるという問題があった。
【０００６】
本発明は前記した従来技術の問題点に鑑みてなされたものであり、その目的は、動画像符号化におけるピクチャ単位およびマクロブロック単位のビット配分を、レート−歪み特性および視覚優先度（注視度）の規範でより厳密に行うことにより、従来方式より大幅に高効率な符号化を行うことのできる動画像符号化装置を提供することにある。
【０００７】
【課題を解決するための手段】
前記した目的を達成するために、本発明は、画面単位で処理を行う動画像符号化装置において、レート−歪みの関係を用いて、画面毎に目標量子化誤差電力を設定する第１の手段と、前記画面の矩形小領域毎にＤＣＴ係数当たりの目標量子化誤差電力を設定し、該目標量子化誤差電力を達成する量子化ステップサイズを決定する第２の手段とを具備し、局所的な符号量制御を実現するようにした点に特徴がある。
【０００８】
この特徴によれば、動画像符号化におけるピクチャ単位のビット配分をレート−歪み特性の規範で、またマクロブロック単位のビット配分を視覚優先度（注視度）の規範でより厳密に行うことができるので、従来方式より大幅に高効率な符号化を行うことが可能になる。
【０００９】
【発明の実施の形態】
以下に、図面を参照して、本発明を詳細に説明する。図１は、本発明の一実施形態の動画像符号化装置の構成を示すブロック図である。
【００１０】
画像入力Ｐiは、まず入力解析部１１と動き推定・動き補償部１９に入力する。入力解析部１１では、画像入力の例えば輝度分散等から視覚優先度ｖ_ｊが求められる。予測信号減算器１２では、画像入力Ｐiから動き補償予測信号が減算され、予測誤差信号が出力される。該予測誤差信号は、高い符号化効率を得るために、ＤＣＴ（離散コサイン変換）部１３で直交変換され、量子化器１４で量子化される。
【００１１】
なお、該ＤＣＴ部１３から得られるＤＣＴ係数に基づいて、その分散σ_ｘ ^２が求められ、後述のレート−歪み特性解析部３１に送られる。また、有意のＤＣＴ係数、例えばある値以上のＤＣＴ係数の数Ｎ_ＡＣが１ピクチャ分カウントされ、後述のビット配分制御部３２に送られる。また、前記量子化器１４は、該ビット配分制御部３２から量子化パラメータＵを得て、量子化を行う。量子化後の量子化誤差電力Ｄ’は、前記レート−歪み特性解析部３１に送られる。なお、該量子化誤差電力Ｄ’は、例えば量子化器１４の入力信号と逆量子化器１５の出力信号の差等から求められることができる。
【００１２】
量子化器１４の出力は、その後、可変長符号化（ＶＬＣ）部２０でハフマン符号化等の可変長符号に変換され、一旦バッファメモリ２１に格納された後、回線出力（ビットストリーム）Ｐoとして出力される。なお、バッファメモリ２１の占有量等を基に、次のピクチャの割当てビット数（または、発生ビット数）Ｒ’が求められ、前記レート−歪み特性解析部３１に送られる。
【００１３】
また、復号側と同一の予測信号を用いるために、量子化器１４で得られた量子化係数を逆量子化器１５で逆量子化し、逆ＤＣＴ部１６で予測誤差信号が局所的に復号される。この予測誤差信号は、局所復号加算器１７で、動き推定・動き補償部１９で生成された動き補償予測信号と加算され、フレームメモリ１８に記憶される。該動き推定・動き補償部１９では、動き補償予測信号の生成、動きベクトルＭＶの決定、および符号化モードの選択がなされる。
【００１４】
動画像符号化における最適ビット配分は、最適ビット配分部３０によりなされる。該最適ビット配分部３０は、レート−歪み特性解析部３１とビット配分制御部３２から構成される。レート−歪み特性解析部３１は、ピクチャ単位のビット配分を、またビット配分制御部３２は、マクロブロック単位のビット配分を行う。
【００１５】
以下に、本実施形態の前記最適ビット配分について、詳細に説明する。まず、該最適ビット配分の原理を説明する。最初に、ピクチャ（画面）毎に割り当てる符号化ビット数の算出を、Ｒ−Ｄ特性（レート−歪みの関係）を考慮に入れ、ピクチャ毎に目標とする量子化誤差を設定した上で厳密に行う。すなわち、ピクチャ毎に割り当てる符号化ビット数の配分を、次のＲ−Ｄ特性の式（(1−1)式〜(1-3)式）、ＧＯＰ内残ビット数Ｒ_ＧＯＰを表す式（(2)式）、およびＩ，Ｐ，Ｂピクチャにおける歪みＤの許容の度合いを表す式（(3)式）を用いて行う。
Ｄ_Ｉ＝ｆ_Ｉ（Ｒ_Ｉ，σ_ｘＩ ^２）・・・(1−1)
Ｄ_Ｐ＝ｆ_Ｐ（Ｒ_Ｐ，σ_ｘＰ ^２）・・・(1−2)
Ｄ_Ｂ＝ｆ_Ｂ（Ｒ_Ｂ，σ_ｘＢ ^２）・・・(1−3)
Ｒ_ＧＯＰ＝Ｎ_Ｉ×Ｒ_Ｉ＋Ｎ_Ｐ×Ｒ_Ｐ＋Ｎ_Ｂ×Ｒ_Ｂ・・・(2)
Ｄ_Ｉ＝Ｄ_Ｐ＝Ｄ_Ｂ／１．４・・・(3)
ここに、Ｄ_Ｉ、Ｄ_Ｐ、Ｄ_Ｂは、量子化誤差電力、Ｒ_Ｉ、Ｒ_Ｐ、Ｒ_Ｂは、割当てビット数、σ_ｘｉ ^２、σ_ｘＰ ^２、σ_ｘＢ ^２は、ＤＣＴ係数の分散、ｆ_Ｉ、ｆ_Ｐ、ｆ_Ｂは、Ｒ−Ｄ特性を表現する関数、Ｎ_Ｉ、Ｎ_Ｐ、Ｎ_Ｂは、ＧＯＰ内残ピクチャ枚数、およびＲ_ＧＯＰは、ＧＯＰ内残ビット数である。
【００１６】
なお、前記Ｒ−Ｄ特性を表現する関数ｆ_Ｉ、ｆ_Ｐ、ｆ_Ｂとして、例えば、次の関数（(4-1)式〜(4-3)式）を上げることができる。以下では、これらの式を用いて説明する。
Ｄ_Ｉ＝σ_ｘｉ ^２×２^{−２ａＩＲＩ} ・・・(4-1)
Ｄ_Ｐ＝σ_ｘＰ ^２×２^{−２ａＰＲＰ} ・・・(4-2)
Ｄ_Ｂ＝σ_ｘＢ ^２×２^{−２ａＢＲＢ} ・・・(4-3)
ここに、ａ_Ｉ、ａ_Ｐ、ａ_Ｂは、レート−歪みパラメータである。
【００１７】
また、前記(3)式は、Ｉ、Ｐピクチャは予測参照されるピクチャであり、Ｂピクチャは予測参照されないピクチャであるので、Ｂピクチャの量子化誤差の許容度合いを他のピクチャより上げる配慮をしたものである。この配慮により、全体の符号化効率を高めることができる。
【００１８】
上記のようにして、ピクチャ毎に割り当てる符号化ビット数が算出されると、次に、矩形小領域（例えば、１６画素×１６ラインのマクロブロック）毎に目標とするＤＣＴ係数量子化誤差を設定した上で、該目標を達成する量子化パラメータを、該マクロブロック毎に割り当てる処理を行う。
以上が、本実施形態の原理である。
【００１９】
次に、前記レート−歪み特性解析部３１とビット配分制御部３２の動作を、図２、図３のフローチャートを参照して詳細に説明する。まずレート−歪み特性解析部３１の動作を、図２を参照して説明する。
【００２０】
ステップＳ１では、前記画像入力Ｐiのピクチャ数を表す変数ｉを０に置く。ステップＳ２では、前記(4-1)式、(4-2）式および(4-3)式のレート−歪みパラメータａ_Ｉ、ａ_Ｐ、ａ_Ｂを初期化する。初期値としては、例えば過去に得られた該レート−歪みパラメータの平均値を用いることができる。ステップＳ３では、画像Ｐiを入力し、ステップＳ４では、該画像ＰiをＤＣＴ変換することにより得られるＤＣＴ係数の分散σ_ｘ ^２を取得する。ステップＳ５では、該画像Ｐiの符号化ピクチャタイプが、Ｉ、Ｐ、およびＢピクチャのいずれであるかの判定がなされる。
【００２１】
Ｉピクチャの場合には、ステップＳ６に進み、前記レート−歪みの関係式である(4-1)〜(4-3)式、(2）式および(3)式から、量子化誤差電力と割当てビット数（Ｄ_Ｉ，Ｒ_Ｉ）を算出する。
【００２２】
次に、ステップＳ７〜Ｓ１１に進み、該量子化誤差電力Ｄ_Ｉが、予め定められた最大値Ｄ_ＭＡＸ以上であるか、最小値Ｄ_ＭＩＮ以下であるか、あるいは該最大値Ｄ_ＭＡＸと最小値Ｄ_ＭＩＮの間であるかの判断がなされる。量子化誤差電力Ｄ_Ｉが該最大値Ｄ_ＭＡＸ以上の場合には、量子化誤差電力が大きくなりすぎるのでステップＳ８で目標量子化誤差Ｄ＝Ｄ_ＭＡＸとして、前記ビット配分制御部３２に出力する。この操作により、配分するビット数を多めに保つことができるようになり、主観画質の破綻を防ぐことができるようになる。
【００２３】
一方、量子化誤差電力Ｄ_Ｉが前記最小値Ｄ_ＭＩＮ以下の場合には、量子化誤差電力が小さくすぎるのでステップＳ１０でＤ＝Ｄ_ＭＩＮとして、前記ビット配分制御部３２に出力する。この操作により、配分するビット数を少なめに保つことができるようになり、過剰なビット配分を防ぐことができるようになる。また、Ｄ_ＭＩＮ≦Ｄ_Ｉ≦Ｄ_ＭＡＸの場合には、Ｄ＝Ｄ_Ｉとして出力する。
【００２４】
レート−歪み特性解析部３１から該目標量子化誤差Ｄが出力されると、後述の説明から明らかになるように、量子化器１４は該画像Ｐiを量子化し、可変長符号化部２０は可変長符号化してバッファメモリ２１に送出する。ステップＳ１２では、この符号化により得られた量子化誤差電力と割当（又は、発生）ビット数（Ｄ_Ｉ’，Ｒ_Ｉ’）を、それぞれ量子化器１４，バッファメモリ２１（図１参照）から取得する。なお、これに限定されず、該量子化誤差電力と割当ビット数（Ｄ_Ｉ’，Ｒ_Ｉ’）は、さらに以前の符号化済みピクチャの結果から取得するようにしてもよい。すなわち、符号化済み近傍ピクチャの結果から取得するのが好適である。
【００２５】
次に、ステップＳ１３では、該（Ｄ_Ｉ’，Ｒ_Ｉ’）を、例えば前記（4-1）式に適用して、前記レート−歪みパラメータａ_Ｉを更新する。ステップＳ１４では、ｉ＝Ｎ（Ｎは、シーケンス内ピクチャ数、例えば同一シーン内ピクチャ数）が成立するか否かの判断がなされ、この判断が否定の場合にはステップＳ１５に進む。ステップＳ１５では、ｉに１が加算され、ステップＳ３では次の画像Ｐiが動画像符号化装置に取り込まれる。
【００２６】
以下、ステップＳ５で判定される画像Ｐiのピクチャタイプ毎に、各ピクチャタイプにおける目標量子化誤差Ｄを求める動作が繰り返されるが、ＰおよびＢピクチャの処理は前記Ｉピクチャにおける処理と同様であるので、説明を省略する。前記処理の結果、ステップＳ１４の判断が肯定になると、画像Ｐi毎に目標とする量子化誤差Ｄを設定する処理を終了する。
【００２７】
次に、ビット配分制御部３２の動作を、図３を参照して説明する。この制御は、前記目標量子化誤差Ｄのピクチャのマクロブロックに関し、マクロブロック毎に目標とするＤＣＴ係数量子化誤差を設定した上で、該目標を達成する量子化パラメータを、該マクロブロック毎に割り当てる処理である。
【００２８】
ステップＳ５１では、前記レート−歪み特性解析部３１から、前記目標量子化誤差Ｄを取得する。ステップＳ５２では、ＤＣＴ部１３で変換された１ピクチャ分のＤＣＴ係数から有意のＤＣＴ係数の個数Ｎ_ＡＣを求める。ステップＳ５３では、１係数当たりの目標量子化誤差電力Ｄ_ＡＣを、Ｎ_Ｐ×Ｄ／Ｎ_ＡＣにより求める。ここに、Ｎ_Ｐはピクチャ内画素数である。
【００２９】
ステップＳ５４では、マクロブロック数を表す変数ｊを、ｊ＝０と置く。ステップＳ５５では、前記入力解析部１１（図１参照）で得られた当該マクロブロックの視覚優先度ｖ_ｊを取得する。ステップＳ５６では、１係数当たりのマクロブロックｊの目標量子化誤差電力ｄ_ＡＣ(j)を求める。該目標量子化誤差電力ｄ_ＡＣ(j)は、（ｖ_ｊ／avg（ｖ_ｊ））×Ｄ_ＡＣから求められる。ここに、avg（ｖ_ｊ）は、ｖ_ｊのピクチャ内平均を求める関数である。
【００３０】
ステップＳ５７では、Ｕ＝Ｑ_ＭＡＸ（Ｑ_ＭＡＸは、予め定められた量子化パラメータの最大値）と置かれる。ステップＳ５８では、該量子化パラメータＵを用いて量子化した結果、前記１係数当たりのマクロブロックの目標量子化誤差電力ｄ_ＡＣ(j)が達成されるか否かの判断がなされる。達成されない場合には、ステップＳ５９に進んでＵ＝１が成立するか否かの判断が行われ、この判断が否定の時には、ステップＳ６０に進んで、該Ｕから１が減じられる。そして、再度ステップＳ５８に進んで、該１減じられたＵでの量子化により前記目標量子化誤差電力ｄ_ＡＣ(j)が達成されるか否かの判断がなされる。達成された場合には、ステップＳ６１に進んで量子化パラメータとして、該Ｕが量子化器１４に出力される。一方、ステップＳ５９の判断が肯定になった時には、Ｕ＝１が量子化器１４に出力される。
【００３１】
このステップＳ５７〜Ｓ６１により、マクロブロック内の１係数当たりの目標量子化誤差電力ｄ_ＡＣ(j)を達成する量子化パラメータＵが厳密に求められることは明らかである。
【００３２】
ステップＳ６２では、ｊ＝Ｍ−１（Ｍはピクチャ内マクロブロック数）が成立するか否かの判断がなされ、この判断が否定の時にはｊに１が加算されて、再度ステップＳ５５に戻り、次のマクロブロックの視覚優先度ｖ_ｊが取得される。
【００３３】
以下、前記した動作が繰り返されて、ステップＳ６２の判断が肯定になると、当該ピクチャのマクロブロックのビット配分動作が終了する。
【００３４】
上記の図３の動作によれば、マクロブロック内の１係数当たりの目標量子化誤差電力ｄ_ＡＣ(j)を達成する量子化パラメータＵを視覚優先度（注視度）の規範で厳密に求め、これを量子化器１４に提供することができるようになる。
【００３５】
以上のように、本実施形態によれば、動画像符号化におけるピクチャ単位のビット配分をレート−歪み特性の規範で、またマクロブロック単位のビット配分を視覚優先度（注視度）の規範で、より厳密に行うことができるようになる。
【００３６】
【発明の効果】
以上の説明から明らかなように、請求項１、２の発明によれば、従来のビット配分方式のような仮想バッファの概念を持たず、各矩形小領域の発生ビット数を平均的な値に押さえ込む要素が一切ないため、マクロブロック毎のビット配分をより柔軟に実現することができる。
【００３７】
また、動画像符号化におけるピクチャ単位のビット配分をレート−歪み特性の規範で、またマクロブロック単位のビット配分を視覚優先度（注視度）の規範でより厳密に行うことができるので、従来方式より大幅に高効率な符号化を行うことが可能になる。また、本発明は、狭帯域下でのＨＤＴＶ放送等における画質劣化の解消に効果がある。
【図面の簡単な説明】
【図１】本発明の一実施形態の概略の構成を示すブロック図である。
【図２】図１のレート−歪み特性解析部の動作を示すフローチャートである。
【図３】図１のビット配分制御部の動作を示すフローチャートである。
【符号の説明】
１１・・・入力解析部、１３・・・ＤＣＴ部、１４・・・量子化部、２０・・・可変長符号化部、２１・・・バッファメモリ、３０・・・最適ビット配分部、３１・・・レート−歪み特性解析部、３２・・・ビット配分制御部。

Claims

画面単位で処理を行う動画像符号化装置において、
レート歪みの関係を用いて、画面毎に目標量子化誤差電力Ｄを設定する第１の手段と、
前記画面の矩形小領域ｊの輝度分散等から求められる視覚優先度ｖ _ｊを用いて、該画面の矩形小領域ｊ毎にＤＣＴ係数当たりの目標量子化誤差電力ｄ _ＡＣ（ｊ）を下記の (1) 式から設定し、該目標量子化誤差電力を達成する量子化ステップサイズを決定する第２の手段とを具備し、
局所的な符号量制御を実現するようにしたことを特徴とする動画像符号化装置。
ｄ _ＡＣ（ｊ）＝ｖ _ｊ／ avg （ｖ _ｊ） _× D _ＡＣ・・・ (1)
ここに、 D _ＡＣ＝Ｎ _Ｐ× Ｄ／Ｎ _ＡＣ
ただし、 avg （ｖ _ｊ）はｖ _ｊの画面内平均値、 D _ＡＣは１ＤＣＴ係数当たりの目標量子化誤差電力、Ｎ _Ｐは画面内画素数、Ｎ _ＡＣは１画面当たりの有意のＤＣＴ係数の個数