JP4130617B2 - 動画像符号化方法および動画像符号化装置 - Google Patents

Description

本発明は、画素ブロック毎に複数の符号化モードから適応的に１つのモードを選択することが可能な動画像符号化方法に関する。

複数の予測モードや、複数のブロック形状を持つ予測符号化を用いた動画像符号化方法が、ＩＴＵ−ＴとＩＳＯ／ＩＥＣとの組み合わせにより、ＩＴＵ−Ｔ Rｅｃ．Ｈ．２６４及びＩＳＯ／ＩＥＣ １４４９６−１０として審議されている（以下、Ｈ．２６４）。

Ｈ．２６４のフレーム内予測符号化では、予測ブロック毎に、４×４の予測ブロックと１６×１６の予測ブロックの形状が選択可能であり、また、複数の予測モードから予測することが可能になっている。従来の符号化方式であるＭＰＥＧ−１、ＭＰＥＧ−２、ＭＰＥＧ−４のフレーム内予測符号化では、選べる予測モードが少なかったが、Ｈ．２６４では予測ブロック形状が１６×１６画素ブロック、４×４画素ブロックのように小ブロック化されており、豊富な予測モードの中から画像の特徴に応じて最適な符号化モードを選択することが可能となっている。

フレーム間予測符号化においては、従来は８×８画素ブロックサイズ以上の予測が用いられていたが、Ｈ．２６４では４×４画素ブロックサイズでの予測が可能で、さらに既に符号化された複数枚の参照画像からの動き補償により、従来方法よりも高精度な予測が可能となっている。このように、ブロック毎に選択可能な予測モードの数を増やし、より予測効率の高い符号化モードを選択することで、符号化効率の向上が図られている。

また、発生符号量を拘束条件として、ラグランジュ未定乗数法を用いて符号化制御を行う符号量−符号化歪み最適化方法が提案されている。これは、実際に符号化して得られる発生符号量と、符号化歪み（例えば、原画像とローカルデコード画像の二乗誤差、平均二乗誤差等）から、符号化効率の最も高い符号化モードを選択する方法である。しかし、この方法の問題点として、符号化モード数及びブロック形状数が増大すると、モードの取り得る組み合わせの数だけ繰り返し符号化する必要が生じるため、実計算時間が増大する。

また、ラグランジュ未定乗数を用いた動画像符号化方法が提案されている（文献１）。この方法によると、フレーム間予測符号化において、動きベクトル情報を用い、符号化対象ブロックに関して他フレームからの参照の多少を被参照度として被参照度テーブルを作成する。この被参照度テーブルに符号量割り当てを決定する際、被参照度とラグランジュ未定乗数を１対１に対応させる。与えられた未定乗数からラグランジュコストを求めて繰り返し符号化を行う。この方法は未定乗数を被参照度を用いて決定し、発生符号量と符号化歪みは実測するために演算量が増加し、Ｈ．２６４のように予測モード、或いはブロック形状が増加した場合に対して高速化が図られていない。

また、雑音によって生じる画像データの劣化を抑制するために、１フレームに対する符号量が一定になるように、ブロック毎に量子化ステップを決定し、対象ブロックにおける発生符号量と符号化歪みを直前までに符号化されたデータから推定し、推定された発生符号量と符号化歪みの和が小さい予測モードを選択する動画像符号化方法が提案されている（文献２）。この方法はフレーム間予測符号化とフレーム内予測符号化のモード判定を考慮しているため、ある符号化モードに複数の予測モードが取りえた場合を考慮しておらず、符号化モードに対する推定値が予測モードにより変動しないため、符号化効率への改善が図られていない。
特開２００１−３２０７１２公報 特開２００２−２１８４６７公報

上述したように、ブロック毎に様々な符号化モードを選択することが可能な動画像符号化方法において、最適な符号化モードを選択するためには、予測モードの種類の増加に伴い、発生符号量や符号化歪みを得るための演算量が増大するという問題がある。また、目標符号量が小さくなればなるほど、隣り合うブロック間の画質特性の違いが顕在化し、主観画質が低下するという問題がある。

本発明では、複数の画素ブロックに対応する予測モード毎に、実際に符号化したときの発生符号量と符号化歪みを推定パラメータを用いて推定することにより、符号化効率を落とさずに、演算量の増大を抑えて、より高速な動画像符号化方法を提供することを目的とする。さらに、コスト関数に隣接ブロックとの誤差を減少させる関数を導入し、ブロック間の予測特性の違いによる画質劣化を低減し、主観画質を向上する。

本発明の第１局面は、入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の符号化モードから１つのモードを選択して、前記選択された符号化モードで、前記画素ブロック毎に符号化を行う動画像符号化方法において、画素ブロック毎及び符号化モード毎に異なる推定パラメータを生成し、該推定パラメータを用いて前記入力画像信号の画素ブロックの発生符号量と符号化歪みを推定し、前記推定された発生符号量と符号化歪みに基づいて、最適符号化モードを決定することを特徴とする動画像符号化方法を提供する。

本発明の第２局面は、画素ブロック毎及び符号化モード毎に異なる推定パラメータを生成する手段と、該推定パラメータを用いて入力画像信号の画素ブロックの発生符号量と符号化歪みを推定する手段と、前記推定された発生符号量と符号化歪みに基づいて、複数の符号化モードから最適符号化モードを決定する手段と、前記最適符号化モードで前記画素ブロック毎に符号化を行う手段とを具備することを特徴とする動画像符号化装置を提供する。

本発明によれば、発生符号量Rと符号化歪みDを予測モード毎に異なる推定パラメータを用いて計算し、また、階層的な予測モード判定、或いは隣接画素の符号化歪みを考慮したモード判定を行うことにより、画質劣化を抑えつつ、モード判定に必要な演算量を大幅に減少させることが可能となる。

図１は、本発明の実施形態に係わる動画像符号化装置の構成を示すブロック図である。

図１によると、動画像信号は符号化部１１４に入力される。この符号化部１１４の減算器１０１は入力信号を直交変換する直交変換部（例えば離散コサイン変換器）１０２および直交変換係数（DCT係数）を量子化する量子化部１０３を介して可変長符号化部１１１に接続される。量子化部１０３の出力端は局部復号器を構成する逆量子化部１０４、逆直交変換部１０５，加算器１０６を介してフレームメモリ１０７に接続される。フレームメモリ１０７の出力端は後述するフレーム間予測部１０８およびフレーム内予測部１０９の入力端に接続される。フレーム間予測部１０８およびフレーム内予測部１０９の出力端は後述するＭＢ（マクロブロック）予測モード選択部１１５に接続される。このＭＢ予測モード選択部１１５の出力端は減算器１０１および加算器１０６に夫々接続される。

可変長符号化部１１１の出力端は多重化部１１２を介して出力バッファ１１３に接続される。符号化制御部１１０は符号化部１１４を制御するために設けられている。

上記構成において、入力動画像信号は，複数の画素ブロックに分割され、画素ブロック毎にフレーム内予測部１０９及びフレーム間予測部１０８に入力される。フレーム内予測部１０９或いはフレーム間予測部１０８では、フレームメモリ１０７に記録された参照フレームを用いて、複数の予測モードの中から最適な予測モードが選択され、選ばれた予測モードを用いて予測画素信号が生成される。予測画素信号に基づいてＭＢ予測モード選択部１１５により最適な予測モードが選択される。即ち、フレーム内予測部１０９により選択された最適予測モードにより生成された予測画素信号とフレーム間予測部１０８により選択された最適予測モードにより生成された予測画像信号に基づいてＭＢ予測モード選択部１１５はフレーム間予測モードおよびフレーム内予測モードの一方の最適な予測モードを選択する。選択された予測モードに対応する予測画素信号が減算器１０１に入力される。減算器１０１により予測画素信号と入力画像信号との予測残差信号が計算される。この予測残差信号は直交変換部１０２に入力され、直交変換（例えばDCT変換）される。

直交変換係数は量子化部１０３により量子化され、量子化された直交変換係数は、ＭＢ予測モード選択部１１５から出力される予測モード情報、量子化係数等の予測方法に関する情報とともに、可変長符号化部１１１により可変長符号化される。これらの符号化データは多重化部１１２によりの多重化され、出力バッファ１１３を通して符号化データとして出力される。

また、量子化された直交変換係数は、逆量子化部１０４および逆直交変換部１０５を介して局部復号される。局部復号信号、即ち復号予測残差信号は加算器１０６において予測信号と加算されて、参照フレームとしてフレームメモリ１０７へと保存される。

符号化制御部１１０は発生符号量のフィードバック制御及び量子化特性制御などを行い、発生符号量の制御を行うレート制御や、予測部の制御、符号化全体の制御を行う。

図２から図６を用いて、具体的な予測モードの説明を行う。

本実施形態の予測符号化では、マクロブロック毎に複数のブロック形状があり、それぞれ予測モードを持っている。例えばＨ．２６４などのフレーム内予測における輝度信号では、１６個の４×４画素ブロックを持つマクロブロックと、１個の１６×１６画素ブロックを持つマクロブロックとの２通りが提案されている。４×４画素ブロックには９つの予測モードがあり、１６×１６画素ブロックには４つの予測モードがある。

図５にＨ．２６４のフレーム内予測に用いられるマクロブロックのブロック形状が示されている。Ｈ．２６４などでは、符号化対象フレームを１６個の１６×１６画素のマクロブロックに分割し、さらにフレーム内予測ではマクロブロックを１６個の４×４画素ブロックへと分割する。４×４画素ブロックの場合、フレーム内予測は４×４予測が順次１６回行われる。

図６はＨ．２６４のフレーム内予測の４×４画素ブロックにおける全予測モード、即ち垂直予測モード、水平予測モード、DC予測モード、直交左下予測モード、直交右下予測モード、垂直右予測モード、水平下予測モード、垂直左予測モードおよび水平上予測モードを示している。記号Ａ〜Ｍは既に符号化されている参照画素信号である。例えば、垂直予測モードは垂直方向に沿ってそれぞれ参照画素A,B,C,Dから予測する。DＣ予測モードは参照画素A〜DとJ〜Mまでの平均値を求め、この平均値により４×４ブロックの全画素が予測される。

図２は図１のフレーム内予測部１０９の構成を示している。これによると、図１のフレームメモリ１０７から得られる参照画像信号２０５は、ブロック形状制御部２０１にて各画素ブロックで利用される形状に分割或いは整列される。画素ブロック形状に応じて画素ブロックフレーム内予測部２１１内の４×４ブロックフレーム内予測部２０２および１６×１６ブロックフレーム内予測部２０３によってフレーム内予測モード及び各画素ブロック形状でのブロックフレーム内予測モードが選択される。

ブロック内予測モード決定部２０４は画素ブロックフレーム内予測部２０２，２０３で得られる複数の予測モードの中からモード判定（例えば、復号画素信号と入力画像信号の二乗誤差の小さい予測モードの選択）を行う。即ち、ブロック内予測モード決定部２０４は最適予測モードを判定し、予測画素信号２０７、復号画素信号２０８、直交変換係数２０９、量子化パラメータ２１０、予測モード情報２１２を出力する。ブロック内予測モード決定部２０４は、上述したモード判定の代わりに後述する推定パラメータを用いたモード判定を用いても良いし、発生符号量と符号化歪みの実測値を用いたモード判定を行っても良い。

図３および図４は４×４ブロックフレーム内予測部２０２と１６×１６ブロックフレーム内予測部２０３を示している。図２のブロック形状制御部２０１にて４×４画素ブロックが選択されたときに、図３の４×４予測部３０１へ参照画素信号２０５が入力される。４×４予測部３０１は予測画素信号３０９を予測モード決定部３０４に入力すると、予測モード決定部３０４は選択された画素ブロックの最適予測モードを決定する。

即ち、このとき、予測画素信号３０９は減算器３１０により入力画像信号２０６から減算され、予測残差信号３１１が生成される。予測残差信号３１１は符号量推定部３０２および符号化歪み推定部３０３に送られる。符号量推定部３０２は、予測モード３１９と量子化パラメータ３２０及び予測残差信号３１１を用いて、発生符号量推定値R＾（３１２）を計算する。同様に符号化歪み推定部３０３は予測モード３１９と予測画素信号３０９を用いて復号画素信号３１８と入力画像信号２０６の符号化歪み推定値D＾（３１３）を計算する。推定発生符号量R＾および推定符号化歪みD＾を用いて予測モード決定部３０４はラグランジュ未定乗数法に従って各予測モードのコストを計算し、コストが最小となる予測モードを最適予測モードとして選択し、予測モード情報３１９を出力する。更に、予測モード決定部３０４は予測画素信号３２１および量子化パラメータ３２０を選択し出力する。

予測画素信号３２１は減算器３１４より入力画像信号から減算されて予測残差信号３１５が生成される。予測残差信号３１５は直交変換部３０５及び量子化部３０６によって直交変換され、量子化される。量子化データは逆量子化部３０７及び逆直交変換部３０８を介して加算器３１６に入力され、予測画素信号３２１と加算される。これにより、復号画素信号３１８が生成される。この復号画素信号３１８は次の４×４ブロックの参照画素信号として利用される。

予測残差信号３１５の計算は冗長であるため、推定部３０２，３０３に入力される予測残差信号を保存しておき、直交変換部３０５へと直接入力してもよい。マクロブロック内の４×４画素ブロック、即ち１６個のブロックについて、それぞれ上記のモード判定処理を順次行う。４×４画素ブロックの予測モードはマクロブロックの４×４予測組み合わせ候補となりブロック内予測モード決定部２０４へと入力される。

図４の１６×１６ブロックフレーム内予測部２０３では、図２のブロック形状制御部２０１にて１６×１６画素ブロックが選択されたときに、１６×１６ブロック予測部４０１へ参照画素信号２０５が入力される。１６×１６ブロック予測部４０１は参照画像信号２０５を参照して予測画素信号４０９を生成する。予測画素信号４０９が１６×１６ブロック予測モード決定部４０４に入力されると、１６×１６ブロック予測モード決定部４０４は選択画素ブロックの形状の最適予測モードを決定する。

即ち、このとき、予測画素信号４０９が減算器４１０により入力画像信号２０６から減算されて予測残差信号４１１が生成される。この予測残差信号４１１は符号量推定部４０２及び符号化歪み推定部４０３に送られる。符号量推定部４０２は、予測モード４１９と量子化パラメータ４２０及び予測残差信号４１１を用いて、発生符号量推定値R＾（４１２）を計算する。同様に符号化歪み推定部４０３は予測モード４１９と予測画素信号４０９を用いて復号画素信号４１８と入力画像信号２０６の符号化歪み推定値D＾（４１３）を計算する。推定符号量R＾および推定符号化歪みD＾を用いて予測モード決定部４０４はラグランジュ未定乗数法に基づいて各モードのコストを計算し、コストが最小となる予測モードを最適予測モードとして選択し、予測モード情報４１９を出力する。更に、１６×１６ブロック予測モード決定部４０４は量子化パラメータ４２０および予測画素信号４２１を出力する。

予測画素信号４２１は減算器４１４で入力画像信号から減算されて予測残差信号４１５が生成される。予測残差信号４１５は直交変換部４０５及び量子化部４０６を通って直交変換および量子化される。量子化データは逆量子化部４０７及び逆直交変換部４０８を介して加算器４１６に入力され、予測画素信号４２１と加算される。これにより、復号画素信号４１８が生成される。復号画素信号４１８は次のマクロブロックの参照画素信号として利用される。

図３および図４の予測モード決定部３０４および４０４は上述したようにラグランジュの未定乗数法を用いる。ここでラグランジュコストをＪ、発生符号量をR及び符号化歪みをDとする。λはラグランジュ乗数であり、量子化パラメータに依存する。

ラグランジュ未定乗数法は、ある拘束条件を持つ最大化問題を拘束条件無しの最大化問題へと帰着させる手法であり、Thomas Wiegand and Berand Girod, “Multi-frame motion-compensated prediction for video transmission”, Kluwer Academic Publishers 2001に動画像符号化方法のモード選択が提案されている。

符号化歪みDは、予測残差信号（３１５，４１５）を直交変換し、量子化し、逆量子化し、逆直交変換した後に予測信号と加算されて得られるローカルデコード画像と原画像との誤差として計算される。また発生符号量Rは量子化した直後の直交変換係数を用いて符号化した後に得られるため、複数のモード、或いはブロック形状を有する場合、計算負荷が増大する。

本発明の実施形態の動画像符号化方法によると、推定符号化歪みD＾および推定発生符号量R＾でなる推定パラメータを予測残差信号の分散σ²および量子化パラメータQPから計算することにより、予測モードループ内での直交変換、量子化、逆量子化、逆直交変換等の処理が省かれる。また可変長符号化部、符号化歪み算出部などの構成要素を付加しないで、演算量やハードウェアコストを削減し、かつ画質劣化が抑えられる。

図１１のフローチャートを参照してフレーム内予測部１０８の処理を説明する。最初に最小コストを更新する変数min_costを初期化する。予測モードループ内では、フレーム内予測（ステップ２）、符号量推定（ステップ４）、符号化歪み推定（ステップ５）、コストＪ評価（ステップ６）を順次行う。この後、min_cost>Jが判定される（ステップ８）。この判定がＹＥＳであると、最小コストが更新され（ステップ９）、予測モードが更新される（ステップ１０）。

予測モード更新後およびmin_cost>Jの判定がＮＯのとき、予測終了が決定される（ステップ１１）。ステップ２〜１０の予測モードループが存在する予測モードの数だけ繰り返されると、予測ループが終了する。

予測ループが終了し、最小コストを与える予測モードが決定されると、直交変換（ステップ１２）、量子化（ステップ１３）、逆量子化（ステップ１４）および逆直交変換（ステップ１５）が順次行われ、参照画素が更新される（ステップ１６）。この後、処理は終了する。

本実施形態では、コスト最小の予測モードによってのみ、上記の変換処理が行われればよい。また符号量を推定しているために可変長符号化を行う必要が無い。従って、従来方法に比較して処理が大幅に高速化できる。

次に符号量推定と符号化歪み推定方法について説明する。符号化歪みは量子化パラメータQPと予測モードＩにより次式のように近似する。

発生符号量は、予測モード、量子化パラメータ、入力画像信号などに依存するが、フレーム内予測に対しては次式で近似することが出来る。

ここでＩは予測モード、a_Ι,b_Ι,c_Ι,d_Ιは予測モードＩに依存する推定パラメータであり、σ²は予測残差信号の分散を表す。推定符号化歪みをD＾、推定符号量をR＾、量子化パラメータをQPで表している。符号化歪み及び発生符号量の推定に、予測モード毎に異なる推定パラメータを用いることによって、推定精度をより向上させることが可能となる。

上記推定パラメータa_Ι,b_Ι,c_Ι,d_Ιは、下記のように予め複数のサンプル画像を用いて学習して決定しておくことが可能である。まず、サンプル画像の画素ブロック毎に予測モードを固定し、種々のサンプル画像に対して量子化パラメータを順次変えながら符号化を行い、その画像における発生符号量−符号化歪みの関係を求め、同時に予測残差信号の分散を測定する。

図７は符号化歪み推定例を示している。横軸が量子化パラメータQPの値を示しており、縦軸は実測値から得られる符号化歪みDである。点は符号化して得られる実測値であり、実線は近似曲線を表している。符号化歪みの推定に関しては、量子化パラメータの値毎に上記固定した予測モードで得られる符号化歪みの実測値Dと量子化パラメータの関係を指数近似し、該予測モードの推定パラメータを決定する。ブロック毎の発生符号量の推定においては、上記固定の予測モードで得られる符号量とlog（σ²／D＾ ）の関係を線形近似、或いは指数近似し、該予測モードの推定パラメータを決定する。このように予め決定された上記の推定パラメータを用いて、符号化歪み推定値と発生符号量推定値を予測残差信号の分散、量子化パラメータQPから計算する。これにより、予測モードループ内での複雑な処理を省き、演算量やハードウェアコストを削減し、かつ画質劣化を抑えた動画像符号化方法を提供することができる。

また、推定パラメータを用いてモード判定を行う別の実施形態では、符号化の際に、基準となる複数の量子化パラメータを用いて、数フレームだけ実際に符号化する。符号化対象画像の発生符号量Rと符号化歪みDを測定する。得られた符号量−符号化歪み曲線を近似し、マクロブロック毎の推定パラメータa_Ι,b_Ι,c_Ι,d_Ιを計算する。ここで得られた推定パラメータを用いて符号化する。このように符号化前に数フレームを符号化して推定パラメータを決定することによって、符号化対象に合った推定パラメータのセットを用いることができ、符号化効率の高い画質が得られる。

次に、第２の実施形態を説明するが、第２の実施形態では、第１の実施形態で導入した推定パラメータを用いたモード判定手法を画素ブロック毎に階層化して用いる。即ち、入力画像信号を複数の大画素ブロックに分割し、さらに大画素ブロックを複数の小画素ブロックに分割する。例えばＨ．２６４などのフレーム内予測では、図５に示すように、マクロブロックを１６×１６画素の大画素ブロックと４×４画素の小画素ブロックに分割する。

１６×１６画素ブロックにおいては、予測モード数は４通りと少ないが、４×４画素ブロックでは９通りも存在する。４×４画素ブロックでは、１マクロブロックの予測を得るために、莫大な組み合わせが考えられ、演算量が増大する。そのため計算回数の多い小画素ブロックでは、演算量の増加を抑えるために上述した推定パラメータを導入した発生符号量推定値と符号化歪み推定値を用いたモード判定を用いる。大画素ブロックでは予測モード数が少ないので画質向上のために、それぞれ発生符号量と符号化歪みを符号化処理する。この時、発生符号量と符号化歪みを実際に測定することによりモード判定を行う。大画素ブロック、小画素ブロックのような階層構造を用いることによって画質劣化を防ぎ、演算量を大幅に削減することが可能である。

小画素ブロックにおいて、推定パラメータを用いて発生符号量推定値と符号化歪み推定値を計算し、モード判定を行う例が図３に示す形態であり、そのときの処理過程が図１１のフローチャートに示される。この方法では予測モード毎に異なる推定パラメータを用いて推定を行うため精度が良い。また予測モードループ内で煩雑な処理を行わないので符号化処理が非常に高速である。

一方、大画素ブロックにおいては、発生符号量と符号化歪みを実測し、モード判定を行う実施形態は図８に示す形態であり、このときの処理過程は図１２のフローチャートに示される。

図８は図２の画素ブロックフレーム内予測部２０３を示す。これによると、参照画素信号２０５が１６×１６予測部５０１へ入力されると、１６×１６予測部５０１は予測画素信号５１２を出力する。予測画素信号５１２は減算器５０９により入力画像信号２０６から減算され、予測残差信号５１１が生成される。この予測残差信号５１１は直交変換部５０２によって直交変換（例えばDCTなど）される。直交変換により得られた直交変換係数は量子化部５０３によって量子化される。量子化変換係数は可変長符号化部５０６へと送られ、ここで可変長符号化されて発生符号量実測値R（５１３）が求められる。

また、量子化直交変換係数は逆量子化部５０４によって逆量子化され、さらに逆直交変換部５０５によって復号化され、局部復号信号が生成される。この局部復号信号は予測部５０１から得られる予測画素信号５１２と加算される。加算結果は復号画素信号５１６として符号化歪み算出部５０７へと入力される。符号化歪み算出部５０７は入力画像信号２０６と復号画素信号５１６とに基づいて符号化歪み実測値D（５１４）と発生符号量実測値R（５１３）を算出する。符号化歪み実測値D（５１４）と発生符号量実測値R（５１３）は１６×１６画素ブロック予測モード決定部５０８へ入力される。

１６×１６画素ブロック予測モード決定部５０８はラグランジュ未定乗数法を用いて符号化歪み実測値D（５１４）と発生符号量実測値R（５１３）からラグランジュコストを算出し、コスト最小の予測モードを最終予測モードとして、復号画素信号５１６、直交変換係数５１５、量子化パラメータ５１９などとともに出力する。

図１２に示すフローチャートによると、先ず、最小コストを更新する変数min_costを初期化する（ステップ０１）。フレーム内予測（ステップ０２）が実施されると、予測モードループにおいて、直交変換（ステップ１２）、量子化（ステップ１３）、逆量子化（ステップ１４）、逆直交変換（ステップ１５）、可変長符号化（ステップ１７）及び符号化歪み計算（ステップ１８）が順次行われる。この場合、予測モードが増えるとそれに伴って演算量が増大する反面、正確な発生符号量と符号化歪みが計算でき、符号化効率の高い高画質な符号化画像が得られる。

この後、符号化歪みDに基づきコスト評価が行われ（ステップ０６）、min_cost>Jが判定される（ステップ８）。この判定がＹＥＳであると、最小コストが更新され（ステップ９）、予測モードが更新される（ステップ１０）。

予測モード更新後およびmin_cost>Jの判定がＮＯのとき、予測終了が決定される（ステップ１１）。ステップ２〜１０の予測モードループが予測モードの数だけ繰り返されると、予測ループが終了する。その後、参照画素が更新され（ステップ１６）、処理は終了する。

実際に符号化を行い発生符号量Rと符号化歪みDを計算するモード判定法は、予測モード数の多い小画素ブロックに対しては演算量の増大を招くが、大画素ブロックに対してはモード数が少ないため、大きな演算量の増加とはならない。このように大画素ブロックと小画素ブロックの特徴を生かして、計算量の増加する可能性のある小画素ブロックでは、推定パラメータを導入した第１の実施例で述べた発生符号量推定値と符号化歪み推定値を用いたモード判定が行われる。大画素ブロックでは画質向上のために、それぞれ発生符号量と符号化歪みを実測値から計算することにより正確なラグランジュコストを求めたモード判定を行う。このように階層構造を用いてモード判定を行うことによって符号化効率の低下を抑えつつ演算量を大幅に削減することができ、ハードウェアコストを削減することができる。

画質向上のための別の実施形態では、小画素ブロックの最適な予測モードの組み合わせをただ１つに限定せず、上述した推定パラメータを用いたモード判定を行い、小画素ブロックで複数の組み合わせ候補の中から選ばれた、複数の予測モード情報を大画素ブロックへと送る。大画素ブロックでは、上述した実測値によるモード判定を用いて大画素ブロックの予測モードで予測された予測候補と、小画素ブロックから送られてきた小画素ブロックの予測候補の組み合わせ候補の中から、最適な予測モード、或いは予測モードの組み合わせを判定する。これにより、推定パラメータを用いて計算された発生符号量と符号化歪みの推定値が外れたときの符号化効率を上げることができる。

図９はＨ．２６４における図２のブロック内予測モード決定部２０４の例を示している。図２の画素ブロックフレーム内予測部２１１においては、４×４ブロックフレーム内予測部２０２によって予測された４×４画素ブロックの組み合わせ候補（４×４予測モードの組み合わせ）がブロック内予測モード決定部２０４へ送られる。即ち、４×４画素組み合わせ候補１（６０１），４×４画素組み合わせ候補２（６０２），４×４画素組み合わせ候補３（６０３）が候補データ制御部６０８へ入力される。

図４の１６×１６ブロックフレーム内予測部２０３では、符号量推定部４０２、符号化歪み推定部４０８、直交変換部４０５、量子化部４０６、逆量子化部４０７、逆直交変換部４０８を通らず、１６×１６予測部４０１から、１６×１６予測モード０（６０４）、１６×１６予測モード１（６０５），１６×１６予測モード２（６０６），１６×１６予測モード３（６０７）の予測情報を候補データ制御部６０８を介して、可変長符号化部６０９と符号化歪み算出部６１０へ送る。可変長符号化部６０９と符号化歪み算出部６１０は発生符号量R（６１４）と符号化歪みD（６１５）をそれぞれ実測し、これらの値を用いてラグランジュコストを計算し、モード判定を行い、最適な予測モード、或いは予測モードの組み合わせを決定し、復号画素信号６１３、予測モード情報６１６、及び直交変換係数６１７、量子化パラメータ６１８を出力する。ここで、１６×１６ブロック予測モード決定部２０３では予測モードの中から１つだけを選択しても良いし、全予測モードを出力しても良い。このように複数の小画素ブロックの組み合わせ候補と大画素ブロックの予測候補を用いて、発生符号量と符号化歪みを実測して計算し、モード判定を行うことにより、小画素ブロックのモード判定の精度が向上し画質向上効果が得られる。

第３の実施形態では、主観画質の向上のために新しいコスト関数を導入する。符号化器の様式は第１の実施形態、或いは第２の実施形態を用いても良く、モード判定におけるコスト関数に、主観画質を考慮した隣接ブロックとの符号化歪みの誤差を導入する。

符号量RがRcよりも小さいという拘束条件の下で最適な復号画素信号LDを得る確率を最大化する。

ここで、確率P(LD│I,QP)はギブス分布を仮定し、Bayesの定理を用いて次式に展開する。

ここでC=P(I,QP)であり、予測モードI，量子化パラメータQPがともに与えられる結合確率は定数となる。上記の第１項の尤度関数と第２項の事前関数はそれぞれギブス分布となり、そのエネルギー関数（コスト）はR＜Rｃの拘束条件の下で次式で定義する。

尤度関数は従来のラグランジュコストを表しており、拘束条件R＜Rｃの下で符号化歪みを最小にするラグランジュ未定乗数法の枠組みに合致する。また、事前確率関数は現ブロックと隣接ブロックとの相関の強さを表しており、隣接ブロックと現ブロックの符号化歪みをある範囲内に保つことで画像全体の主観的な画質向上効果が得られる。ここでD（I，QP）は符号化歪み、Ｓは画素ブロック中の全画素、またＮは隣接画素ブロックの全画素を表している。図１０は隣接画素ブロックの関係を示している。符号化対象ブロックの左ブロック、上ブロック、左上ブロック、右上ブロック、さらに符号化済み参照フレームの、符号化対象ブロックと同位置の参照ブロックを隣接ブロックとして符号化歪みを計算する。尤度関数ηは相関の強度を変更する乗数であり、例えば次式で表す。

隣接ブロックとの誤差が閾値θ_thより小さいときはλ_αが選ばれ、大きいときはλ_βが選ばれる。ηはラグランジュコストの符号化歪みに隣接ブロックとの相関の強度を導入するパラメータを示す。これによって画質の特徴が似たブロックでは符号化歪みが近い予測モードを取りやすくなるようλ_αを設定し、画質の特徴が大きく異なるブロックでは従来のラグランジュコストに大きな影響を与えないよう小さなλ_βを設定する。これらのパラメータを効果的に変えることで、現画素ブロックと隣接画素ブロックの符号化歪みを一定に保ち、また同時に特徴の異なるブロックの相関を弱める。これは符号化歪みに対する拘束条件としてラグランジュコストを２つの拘束条件を持つ最大化問題へと拡張していることと等価である。［数６］、［数７］を［数５］に代入し、平均場近似を行うことで次式が得られる。

ここで、両辺に対してR_sで偏微分すると、平均場近似により第二項は本式に影響を与えず、

つまりラグランジュ未定乗数法の枠組みに合致する。これにより、上述したラグランジュ未定乗数法の枠組みを変えることなく、画質の特徴が似たブロックでは符号化歪みを一定に保ち、画質の特徴が大きく異なるブロックではコストに大きな影響を与えないようになるため、ブロックノイズを視覚的に低減し、画像フレーム全体の主観画質を向上することが可能となる。

上述したように本発明によると、複数の符号化モードがあってブロック毎およびモード毎に異なるパラメータが設定されている。入力画像信号に応じてこのパラメータを用いて最適な符号化モードを推定する。

また、本発明では、フレームが大きいブロックから小さいブロックへと階層構造に分けられ、階層毎に異なる符号化モードが設定される。この場合、下階層に行くに従ってモード数が増えるので下階層では推定パラメータを用いて符号化モードが決定される。即ち、高速の推定アルゴリズムによってモード判定が行われる。上階層では候補の数が少ないので実際に符号化して発生した発生符号量と符号化歪みに基づいてモード判定を行う。即ち、モード数の組み合わせが多い階層では推定パラメータにより高速にモード判定を行い、モード数の少ない階層では実測により高精度なモード判定を行う。

更に、本発明では、モード判定にラグランジュ未定乗数法という手法を用い、ラグランジュ未定乗数法の枠組みを変えることなくラグランジュコスト計算に新たな項を導入してブロック同士の歪みが出ないような符号化モード判定が行われる。

上述のような本発明による動画像符号化装置は、動画像伝送システムおよび動画像記録装置における画像圧縮処理に適している。

本発明の実施形態に係わる動画像符号化装置のブロック回路図。 図１のフレーム内予測部のブロック回路図。 図２に示される、推定パラメータを用いた４×４画素ブロックのフレーム内予測部のブロック回路図。 図２に示される、推定パラメータを用いた１６×１６画素ブロックのフレーム内予測部のブロック回路図。 本発明の実施形態に係わる画素ブロックの分割例と予測モードを示す図。 本発明の実施形態に係わるＨ．２６４における４×４画素ブロックの予測モード例を示す図。 本発明の実施形態に係わる推定パラメータを選択する例を示す図。 本発明の実施形態に係わる符号量と符号化歪みを実測してモード判定を行う例を示す図。 本発明の実施形態に係わる複数候補からモード判定を行うモード判定を示す図。 本発明の実施形態に係わるコスト関数の隣接画素ブロックの例を示す図。 本発明の実施形態に係わる推定パラメータを用いたフレーム内予測を示すフローチャート図。 本発明の実施形態に係わる符号量と符号化歪みを実測してモード判定を行うフレーム内予測のフローチャート図。

符号の説明

１０１…減算器、１０２…直交変換部、１０３…量子化部、１０４…逆量子化部、１０５…逆直交変換部、１０６…加算器、１０７…フレームメモリ、１０８…フレーム間予測部、１０９…フレーム内予測部、１１０…符号化制御部
１１１…可変長符号化部、１１２…多重化部、１１３…出力バッファ、１１４…符号化部、１１５…ＭＢ予測モード選択部、２０１…ブロック形状制御部、２０２…４×４ブロックフレーム内予測部、２０３…１６×１６ブロックフレーム内予測部、２０４…ブロック内予測モード決定部、２０５…参照画像信号、２０６…入力画像信号、２０７…予測画素信号、２０８…復号画素信号、２０９…直交変換係数、２１０…量子化パラメータ、２１１…画素ブロックフレーム内予測部

Claims (8)

1. 入力画像信号を複数の画素ブロックに分割し、画素ブロック毎に複数の予測モードから１つのモードを選択して、前記選択された予測モードで予測を行って、前記画素ブロック毎に予測符号化を行う動画像符号化方法において、
   複数の画像を用いて、画素ブロック毎の予測残差信号の分散値と、予測モード毎および画素ブロック毎の複数の量子化パラメータでの符号化歪みの実測値および発生符号量の実測値を求め、
   量子化パラメータと符号化歪みの実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータから予測モード毎の符号化歪みを推定するための関数を規定する第１の推定パラメータを求め、
   前記第１の推定パラメータを用いて符号化歪みの推定値を予測モード毎に求め、
   前記符号化歪みの推定値に対する前記ブロック毎の予測残差信号の分散の比の値の対数値と前記発生符号量の実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータおよび予測残差信号の分散から予測モード毎およびブロック毎の発生符号量を推定するための関数を規定する第２の推定パラメータを求め、
   前記入力画像信号から求めた予測残差信号の分散と、前記画素ブロックを符号化する際の前記量子化パラメータから前記入力画像信号の画素ブロックの発生符号量と符号化歪みとを前記第１および前記第２の推定パラメータにより規定される関数を用いて推定し、
   前記推定された発生符号量と符号化歪みに基づいて計算される符号化コストが最小値となる予測モードを最適予測モードとして決定することを特徴とする動画像符号化方法。
2. 動画像信号を複数の第１の画素ブロックに分割し、前記第１の画素ブロックを複数の第２の画素ブロックに分割し、前記画素ブロックのサイズ毎に、複数の予測モードから１つの予測モードを選択し、前記選択された予測モードで予測を行って、前記画素ブロック毎に予測符号化を行う動画像符号化方法において、
   複数の画像を用いて、画素ブロック毎の予測残差信号の分散値と、予測モード毎および画素ブロック毎の複数の量子化パラメータでの符号化歪みの実測値および発生符号量の実測値を求め、
   量子化パラメータと符号化歪みの実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータから予測モード毎の符号化歪みを推定するための関数を規定する第１の推定パラメータを求め、
   前記第１の推定パラメータを用いて符号化歪みの推定値を予測モード毎に求め、
   前記符号化歪みの推定値に対する前記ブロック毎の予測残差信号の分散の比の値の対数値と前記発生符号量の実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータおよび予測残差信号の分散から予測モード毎およびブロック毎の発生符号量を推定するための関数を規定する第２の推定パラメータを求め、
   前記第２の画素ブロックに関しては、前記入力画像信号から求めた予測残差信号の分散と、前記画素ブロックを符号化する際の前記量子化パラメータから前記入力画像信号の画素ブロックの発生符号量と符号化歪みとを前記第１および前記第２の推定パラメータにより規定される関数を用いて推定し、
   前記推定された発生符号量と符号化歪みに基づいて計算される符号化コストが最小値となる予測モードを、前記複数の予測モードから、又は前記複数の予測モードの組み合わせから選択し、選択モードを最適予測モードとして決定し、
   前記第１の画素ブロックに関しては、各予測モードでの発生符号量及び符号化歪みの実測値に基づいて、前記複数の予測モードから１つの候補、又は複数の予測モードの組み合わせ候補を用いて最適予測モードの決定を行うことを特徴とする動画像符号化方法。
3. 前記符号化対象の画素ブロックの符号化コストは、
   （Ａ）発生符号量、
   （Ｂ）符号化歪み、および、
   （Ｃ）前記画像フレーム内で符号化対象の画素ブロックに隣接する符号化済み画素ブロックの第１の符号化歪み及び前記符号化対象画素ブロックと同一位置にある符号化済み画像フレームの符号化済み画素ブロックの第２の符号化歪みのうちの少なくとも１つと、前記符号化対象画素ブロックの符号化歪みとの差分、
   に基づいて、前記差分が小さくなるほど前記符号化コストが小さくなるように計算されることを特徴とする請求項１または請求項２のいずれか一項に記載の動画像符号化方法。
4. 入力動画像信号の各画像フレームを複数の画素ブロックに分割し、画素ブロック毎に複数の予測モードから１つの予測モードを選択して、前記選択された予測モードによる予測を行って、前記画素ブロック毎に予測符号化を行う動画像符号化方法において、
   前記画像フレーム内で符号化対象の画素ブロックに隣接する符号化済み画素ブロックの第１の符号化歪みを検出し、
   前記符号化対象画素ブロックと同一位置にある符号化済み画像フレームの符号化済み画素ブロックの第２の符号化歪みを検出し、
   各画素ブロックの予測モードの符号化コストを、
   （Ａ）発生符号量、
   （Ｂ）符号化歪み、および、
   （Ｃ）前記第１および第２の符号化歪みの少なくとも１つと前記符号化対象画素ブロックの符号化歪みとの差分、
   に基づいて、前記差分が小さくなるほど前記符号化コストが小さくなるように計算し、
   前記符号化コストが最小値となる予測モードを最適予測モードとして決定することを特徴とする動画像符号化方法。
5. 複数の画像を用いて、画素ブロック毎の予測残差信号の分散値と、予測モード毎および画素ブロック毎の複数の量子化パラメータでの符号化歪みの実測値および発生符号量の実測値を求める手段と、
   量子化パラメータと符号化歪みの実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータから予測モード毎の符号化歪みを推定するための関数を規定する第１の推定パラメータを求める手段と、
   前記第１の推定パラメータを用いて符号化歪みの推定値を予測モード毎に求める手段と、
   前記符号化歪みの推定値に対する前記ブロック毎の予測残差信号の分散の比の値の対数値と前記発生符号量の実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータおよび予測残差信号の分散から予測モード毎およびブロック毎の発生符号量を推定するための関数を規定する第２の推定パラメータを求める手段と、
   前記入力画像信号から求めた予測残差信号の分散と、前記画素ブロックを符号化する際の前記量子化パラメータから前記入力画像信号の画素ブロックの発生符号量と符号化歪みとを前記第１および前記第２の推定パラメータにより規定される関数を用いて推定する手段と、
   前記推定された発生符号量と符号化歪みに基づいて計算される符号化コストが最小値となる予測モードを、複数の予測モードから選択し、最適予測モードとして決定する手段と、
   前記最適予測モードで前記画素ブロック毎に符号化を行う手段と、
   を具備することを特徴とする動画像符号化装置。
6. 動画像信号を複数の第１の画素ブロックに分割し、前記第１の画素ブロックを複数の第２の画素ブロックに分割する手段と、
   複数の画像を用いて、画素ブロック毎の予測残差信号の分散値と、予測モード毎および画素ブロック毎の複数の量子化パラメータで符号化歪みの実測値および発生符号量の実測値を求める手段と、
   量子化パラメータと符号化歪みの実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータから予測モード毎の符号化歪みを推定するための関数を規定する第１の推定パラメータを求める手段と、
   前記第１の推定パラメータを用いて符号化歪みの推定値を予測モード毎に求める手段と、
   前記符号化歪みの推定値に対する前記ブロック毎の予測残差信号の分散の比の値の対数値と前記発生符号量の実測値との関係を予測モード毎に線形近似又は指数近似することにより量子化パラメータおよび予測残差信号の分散から予測モード毎およびブロック毎の発生符号量を推定するための関数を規定する第２の推定パラメータを求める手段と、
   前記第２の画素ブロックに関しては、前記入力画像信号から求めた予測残差信号の分散と、前記画素ブロックを符号化する際の前記量子化パラメータから前記入力画像信号の画素ブロックの発生符号量と符号化歪みとを前記第１および前記第２の推定パラメータにより規定される関数を用いて推定する手段と、
   前記推定された発生符号量と符号化歪みに基づいて計算される符号化コストが最小値となる予測モードを、複数の予測モードから、又は複数の予測モードの組み合わせから選択し、選択予測モードを最適予測モードとして決定する手段と、
   前記第１の画素ブロックに関しては、各予測モードでの発生符号量及び符号化歪みの実測値に基づいて、前記複数の予測モードから１つの候補、又は複数の予測モードの組み合わせ候補を用いて最適予測モードを決定する手段と、
   決定した予測モードで画素ブロック毎に符号化を行う手段と、
   を具備することを特徴とする動画像符号化装置。
7. 前記符号化対象の画素ブロックの符号化コストは、
   （Ａ）発生符号量、
   （Ｂ）符号化歪み、および、
   （Ｃ）前記画像フレーム内で符号化対象の画素ブロックに隣接する符号化済み画素ブロックの第１の符号化歪み及び前記符号化対象画素ブロックと同一位置にある符号化済み画像フレームの符号化済み画素ブロックの第２の符号化歪みのうちの少なくとも１つと、前記符号化対象画素ブロックの符号化歪みとの差分、
   に基づいて、前記差分が小さくなるほど前記符号化コストが小さくなるように計算されることを特徴とする請求項５または請求項６のいずれか一項に記載の動画像符号化装置。
8. 入力動画像信号の各画像フレームを複数の画素ブロックに分割し、画素ブロック毎に複数の予測モードから１つのモードを選択して、前記選択された予測モードで、前記画素ブロック毎に符号化を行う動画像符号化装置において、
   画像フレーム内で符号化対象の画素ブロックに隣接する符号化済み画素ブロックの第１の符号化歪みを検出する手段と、
   前記符号化対象画素ブロックと同一位置にある既符号化画像フレームの符号化済み画素ブロックの第２の符号化歪みを検出する手段と、
   前記第１および第２の符号化歪みの少なくとも１つと前記符号化対象画素ブロックの符号化歪みとの差分が小さくなる予測モードを決定する手段と、
   決定した予測モードで画素ブロック毎に符号化する手段と、
   を具備することを特徴とする動画像符号化装置。

Images