JP2010508684A - イントラ符号化選択によるビデオ符号化 - Google Patents

Abstract

方法は、画像ブロックを構成するマクロブロックの符号化モードを決定するために（１、３、４）、−予測方向のブロックの活性勾配を計算する段階、−前記方向が最小値の活性に対応するブロックのイントラ予測符号化モードを事前に選択する段階、により、マクロブロックのブロックのイントラ予測符号化モードの事前選択を実行する。

Description

本発明は、画像シーケンスを符号化する方法、特にイントラ予測モードを用いる方法に関する。

これは、データの保存又は送信のためのビデオ圧縮の分野である。ＭＥＰＧ４タイプの符号化操作におけるブロックによる圧縮スキーマには特に関心が寄せられている。

Ｈ２６４／ＭＥＰＧ４パート１０標準規格は、４画素×４ラインの４×４のサイズの画像ブロックのための９つのイントラ予測モードを規定している。図１に、これらの異なる予測モードを示す。Ｈ２６４／ＭＥＰＧ４パート１０標準規格は、１６×１６ブロックについての４つの予測モードも規定している。水平予測モード、垂直予測モード、平均値予測モード（ＤＣ）、及び、予測画素の行と列の場所に従いバイリニア補間を実行する平面予測モードである。これらの４つの予測モードでは、ＤＣＴ係数計算は、４×４のサイズの残差ブロックに対して行われる。図１の平均値予測（ＤＣ）モード又はモード２は、後にＤＣイントラ予測符号化モードとも呼ばれている。一方、他のモードは、イントラ方向予測符号化モードである。

ＭＥＰＧ４パート１０のハイ・プロファイルのバージョンでは、ＤＣＴ符号化及び予測は、残差ブロックにも適用され得る。残差ブロックとは、８×８のサイズで、現行ブロックから予測ブロックを引いたものである。これらのモードのより完全な説明は、ビデオ符号化標準Ｈ２６４／ＭＥＰＧ４−ＡＶＣのＦＲＥｘｔ（高忠実度化規格）拡張に関する新しいツールを記述している資料を参照のこと。

イントラ予測モードは、隣接ブロックの画素の輝度値を参照し、ＤＣモードにおいては現行ブロックの画素の輝度値も参照する。予測値は、予測値が作用する現行ブロックの画素位置（ｉ，ｊ）に位置付けられ、予測ブロックを構成する。無相関の場所には輝度値ゼロが割り当てられる。離散コサイン変換が適用される残差ブロックは、イントラ予測モードで、現行輝度ブロックと保持されたイントラ予測ブロックの差異により得られる。

ＭＥＰＧ４パート１０規格では、イントラ・モードで符号化を実行するために、現行の１６×１６マクロブロックを４個の８×８ブロック又は１６個の４×４ブロックに分割して、各ブロックに対して各イントラ符号化モードがテストされる。また、符号化されている現行マクロブロックの一部を再構成し、４×４イントラ予測ブロックを定め、この選択を実行する必要がある。選択は、最良の予測を定めるために、符号化コストや歪みのような、知られている基準に従い、現行マクロブロックの４×４ブロックについて計算される９つの予測ブロックの中で行われる。

知られている選択基準は、次式で表される帰納法に基づいたビットレート／歪みの基準である。
Ｊ＝ｓｓｅ＋λ・ｒａｔｅ
ここで、ｓｓｅは現行ブロックと予測ブロックとの２乗誤差和、λは係数、ｒａｔｅはブロックの符号化に用いられるビットの正確な数を表す。

ここで、Ｎは符号化されるブロックの大きさを行又は列の数で表したもの、ｉ及びｊはブロックの行又は列の相対的指標、ｓ_Ｙ及びｒ_Ｙは現行の元ブロックの輝度値、及び、復号化された又は再構成された予測ブロックの輝度値である。Ｙは、輝度コンポーネントの測定が行われることを示す。

テストされるイントラ・モードは単一のマクロブロックに適用されるので、１６×１６マクロブロックのイントラ符号化の選択に関する決定アルゴリズムは比較的簡単であり、高い計算力を要求しない。これは、テストされるブロックの隣接ブロックが利用できるように再構成されなければならない４×４及び８×８ブロックとは異なる。レート／歪みの最適な妥協解を与えるブロック符号化モードの選択基準の計算は、全ての予測モードに対して実行されなければならない。従って、その計算は、計算時間及び中央演算処理装置の処理時間を大きく消費してしまう。一部は再帰問題に起因するこの計算の複雑度は、処理回路の性能を下げてしまうか、又は、複雑な回路を必要とし、実装にコストがかかってしまう。

ある解決法は、２つのパスを実行することである。最初のパスは、最良の予測因子を選択するための演繹的な基準に基づいたものである。例えば、ＳＡＴＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ ＴｒａＮｓｆｏｒｍ Ｄｉｆｆｅｒｅｎｃｅｓ）タイプの計算がある。ＳＡＴＤは、予測ブロックと関連する残差ブロックについて、係数を与える変換、次にこれらの係数の絶対値の和を計算する。第２のパスは、最初の段階で保持されたモードに対し、より精巧な基準を用いて探索の高精度化を可能とする。しかし、このタイプの解決法は、満足できないものである。４×４ブロック及び８×８ブロックに対して９つの予測モードをテストすることが常に必要であり、処理は２つのパスで行われ、計算コスト又は処理時間を節約するにも限度があるからである。複雑度は、「ハイ・プロファイル」バージョンにおいては更に大きくなる。

本発明の目的の１つは、上述の不利点を克服することである。本発明の目的は、符号化方法を提供することである。方法は、画像のブロックを符号化するために、異なる予測方向を優位に扱うイントラ予測符号化モードを用いて画像のシーケンスを符号化する方法であって、
−前記予測方向のブロックの勾配活性（ｇｒａｄｉｅｎｔ ａｃｔｉｖｉｔｙ）を計算する段階、
−前記方向が最小値の前記勾配活性に対応するブロックのイントラ予測符号化モードを事前予測する段階、
に従い、画像ブロックを構成するマクロブロックの前記符号化モードを決定するために、マクロブロックのブロックのイントラ方向予測符号化モードの事前選択を実行する、方法。

特定の実施例によると、事前選択も、ＤＣイントラ予測符号化モードで実行される。ＤＣ活性は、種々の予測方向の勾配活性の加重平均であるブロックに割り当てられ、当該モードは、活性が最小値の活性勾配より小さい場合に事前予測される。

特定の実施例によると、前記符号化モードは、画像間符号化モード、非イントラ予測符号化モード、及びＤＣイントラ予測符号化モードも有する。

特定の実施例によると、前記ブロックの活性勾配を計算する段階は、前記ブロック内で置き換わる２Ｄ畳み込みウインドウから実行される。

特定の実施例によると、前記異なる空間的方向の畳み込みウインドウは、次式である。

特定の実施例によると、前記符号化モードを決定する段階は、コスト／歪みの選択基準から実行される。

特定の実施例によると、１６×１６マクロブロックの符号化の場合に、前記方法は、
−前記マクロブロックの各４×４ブロック及び各８×８ブロックに関連する各方向エネルギーを計算する、事前予測する段階、
−各４×４ブロック及び各８×８ブロックに対し、最低エネルギー・レベルに関するイントラ方向符号化モードに対応するイントラ予測符号化モードを事前選択する段階、
−事前選択されたモードのそれぞれに対し計算されたコスト／歪みの選択基準Ｊの値に従い、ブロック毎にイントラ予測符号化モードを選択する段階、
−前記マクロブロックを構成するブロックの選択したモードについて計算した前記基準を考慮して、前記１６×１６マクロブロックに対し計算した選択基準の値に従い、マクロブロックのモードを選択する段階、を有し、
前記最小値は、前記マクロブロックの位置及び区画の前記イントラ予測符号化モードを定める。

特定の実施例によると、コスト／歪みの選択基準Ｊは、次式に等しい。
Ｊ＝ｓｓｅ＋λ・ｒａｔｅ
ここで、ｓｓｅは現行ブロックと予測ブロックとの２乗誤差和、λは係数、ｒａｔｅはブロックの符号化に用いられるビットの正確な数を表す。

ここで、Ｎは符号化されるブロックの大きさを行又は列の数で表したもの、ｉ及びｊはブロックの行又は列の相対的指標、ｓ_Ｙ及びｒ_Ｙは現行の元ブロックの輝度値、及び、復号化された又は再構成された予測ブロックの輝度値である。

本発明は、符号化装置にも関する。前記符号化装置は、上述の画像のシーケンスを符号化する方法を実施し、マクロブロックの符号化モードを決定する事前分析回路を有し、マクロブロックのブロックの勾配を計算する回路、を有する。

本発明の主題は、あるブロックにおいて、最も高いエネルギーに対応する方向を決定することである。次に、予測ブロックがこの方向に対応するイントラ・モードが選択される。実際に、ブロックに最も近い予測を有する確率は、最も低いエネルギー・レベルの方向を有する最も低い変更された情報において最も大きくなる。これらのエネルギー・レベルは、例えば、勾配値を使うことで定められる。

畳み込みウインドウが用いられる。それぞれのウインドウは、ＭＥＰＧ４規格で提案されているイントラ符号化モードに関するそれらの方向の中のある方向に対応するブロックの中の１つの方向を優位にする。これらのウインドウは、方向エネルギー及び特に最も高いエネルギー・レベルを持った方向の計算を可能とする。

本発明により、予測因子の全てをテストすること、そして、イントラ予測モードを定めるための長く複雑な計算は、もはや必要でない。

非限定な例として提供される以下の説明及び添付の図面を参照することにより、他の特定の特徴及び利点が明らかになるだろう。

４×４ブロックをイントラ符号化する異なる予測モードを図示する。 符号化方法のフローチャートを図示する。

本発明による符号化方法は、テストされるべき４×４及び８×８予測因子の数の低減を可能とする分析アルゴリズムを実施する。画素ブロックの優位な方向を定めることは、異なる方向の勾配の分析に基づいている。これを行うため、１つの解決法は、以下の行列の計算を行うことである。実際に、当該計算は、イントラ・モードの予測のために前述したＤＣモードを除いた８つの方向に従い定められる、８つのウインドウ又は２次元畳み込みコアを含む。

方向エネルギーＥ_０からＥ_８は、次式に従って計算される。

ｉ及びｊは、符号化されるべきブロック又はその分割された部分に含まれる画素の指標である。
Ｙは、輝度値である。
ｄは、図１に示す０乃至８の異なる予測方向に対応する指標である。
＊は、畳み込み作用素である。
従って、Ｅ_ｄは、Ｎ×Ｎ畳み込みの総和である。

例えば、方向ｄ＝１及び現行ブロックの画素（１，１）、つまり行ｉ＝１、列ｊ＝１に対し、計算される値は、画素（１，２）の輝度から画素（１，０）の輝度を減算したものである。そのブロックに対し計算された値のセットからＥ_ｄを得る。従って、４×４のサイズのブロックでは１６個の値の総和になり、８×８のサイズのブロックでは６４個の値の総和になる。

逆マスクに関して、最も弱いエネルギー値Ｅ_ｄ（したがってこれは方向ｄにおいて最も小さい活性勾配に対応する）は、方向ｄ、及びイントラ符号化計算に用いられる予測因子を定める。

単に単一の予測因子を保存するだけでなく、最も低いエネルギー値を与えるｐ予測因子を選択し、それらを標準的な方法でテストし、１つのみを保存することも可能である。第１の事前選択アルゴリズムは、これらのｐ予測因子の中から体系的に事前選択する。これは、ＤＣモードに対応する。例えば、イントラ予測モードｄに従ったブロックのエネルギー値Ｅ_ｄを与える画像の元のブロックのヒストグラムが用いられる。一方、Ｅ_２の値は常にゼロとする。イントラ符号化モード決定アルゴリズム（例えば、ＲＤＯ（レート／歪み最適化）として知られるコスト／歪み最適化アルゴリズム）の実行中に、ＤＣモードが選択される確率は他のモードより実際大きい。

実行される計算の数と削減された選択によって生じる損失との間の良好な妥協解は、利用可能な９つの方向の中から３つの最低エネルギー・レベルに対応するモードを事前選択する。ただし、その３つのモードの中にはＤＣモードが含まれる。３つのモードの中から、選択されたモードが、選択基準Ｊに対する最低値を与えるモードとなる。

第２の事前選択アルゴリズムでは、ＤＣモードで特定のエネルギー値にする。この選択された値は、方向Ｄ_２を除いた全てのモードの加重平均に等しい。

Ｅ_２＝Ｅ_ａｖｒ×０．８１２５
この経験的に計算された重み付け、例えば係数０．８１２５は、他のエネルギーよりも低いＥ_２値を持つ確率が大きく、方向エネルギーが近い値を持ったとき、ＤＣモードが選ばれ易いようにする。そして、一定のエネルギーの場合、つまり明らかな方向性が現れないとき、ＤＣイントラ予測符号化モードを用いることが、最も適切であるように思える。

図２に本発明による方法のフローチャートを示す。

符号化される画像の１６×１６画素の現行マクロブロックは、段階１において考慮に入れられる。段階２の事前分析は、このマクロブロックに対し実行される。この事前分析は、前述のように、マクロブロックを構成する４個の８×８ブロック及び１６個の４×４ブロックに対してＥ_ＤＣを含む方向エネルギーＥ_ｄを計算する。

最低エネルギー値を与える２つの方向予測モード及びＤＣモードは、例えば、８×８サイズのブロックに対して４×３予測であり、及び、４×４サイズのブロックに対して１６×３予測であるように、それぞれのブロックに対して選択される。

次の段階３は、前の段階で保持されたイントラ・モードｄのそれぞれに対して選択基準計算Ｊを実行する。これは、ｍｏｄ ｄと呼ばれる。異なるイントラ・モード、すなわち、ＤＣモード又は複数の方向モードに関連して予測されたブロックは、例えば、Ｈ２６４標準及び参照されるＩＳＯ／ＩＥＣ１４４９６−１０に関する文書の「イントラ予測」という題名の８．５章、又はＩＴＵ−Ｔ勧告文書Ｈ２６４（２００６）の「イントラ予測処理」という題名の８．３章に規定されている。これらの予測されたブロックは、選択基準計算に用いられる。本段階は、このようにして、マクロブロックの４個の８×８ブロックのそれぞれ及び１６個の４×４ブロックのそれぞれに対してＪ値を与える。
Ｊ（ｍｏｄ ｄ）＝ｓｓｅ（ｓ，ｐｒｅｄ_{ｍｏｄ ｄ}）＋λ_{ｉｎｔｒａ}・ｂｌｏｃｋ_{ｃｏｎｓｔ ｍｏｄ ｄ}
−ｓｓｅは誤差の２乗の総和であり、元ブロックの画素輝度とモードｄにおける予測ブロックｐｒｅｄ_{ｍｏｄ ｄ}との差の２乗を画素毎に算出したものの総和である。
−ｂｌｏｃｋ_{ｃｏｎｓｔ}は、モードｄに対するそのブロックの符号化コストに対応する。パラメータである。
−λ_{ｉｎｔｒａ}は、モードｍｏｄ ｄに符号化する間に、符号化コスト及び歪みが重み付けされることを可能とする、予め定められた係数値である。

この段階は、次に、８×８ブロックのそれぞれに対するモードｄ及び４×４ブロックのそれぞれに対するモードｄの中で、Ｊの最低値に対応するｄモードの選択を行う。

次に続く段階４は、これらの４＋１６モード及び選択されたｄモードに関連するＪの値を再確認する。段階４では、最初のフェーズで、１６個の４×４ブロックのＪの値の総和と４個の８×８ブロックのＪの値の総和を比較する。この最初のフェーズにおいて、マクロブロックの分割及びその分割された区画のブロックのモードの両方を定めるマクロブロックに対して選択されたイントラ・モードは、マクロブロック全体に対するＪの最低値を与える。第２のフェーズは、最も効率的なイントラ符号化モードを選択するために、このようにして選択されたマクロブックの４×４又は８×８ブロックに対する予測に関するイントラ・モードと、１６×１６マクロブロックの全体に対する予測に関する１６×１６イントラ符号化モードを比較する。図には示されてない更に後の段階は、マクロブロックに対する符号化モードの最終的な選択のために、このイントラ符号化モードと、インター・タイプの符号化モードのような符号器により実施される他の符号化モードを、再び比較する。

畳み込みウインドウからマクロブロックの１６×１６イントラ予測符号化モードを処理することも、もちろん可能である。同時に水平及び垂直方向の方向のみが利用されている場合に、これらの方向に対応するウインドウを用いる４×４及び８×８イントラ予測符号化モードを処理することも可能である。これは、標準規格の「ハイ・プロファイル」バージョンに規定されている。平面モードは、例えば、水平及び垂直方向のエネルギー・レベルの総和にＤＣモードよりは幾分小さい値の重み付けをすることによって、独立して処理され得る。

本発明は、前述の符号化方法を実施する符号化装置にも関する。この装置は、マクロブロックのイントラ符号化モードを決定するための事前分析回路を有する。当該回路は、異なる方向におけるブロックの勾配活性の計算を行うマクロブロックのブロックの勾配の計算手段を有している。それぞれのブロックに対して前もって選択された事前分析回路、例えば最も低い勾配活性を与える２つのイントラ方向モード及びＤＣモード。本発明は、符号器によって実行された他のモードと比較されるマクロブロックのイントラ・モードを決定するために、これらの前もって選択されたモードにおいて、コスト／歪み基準の基づいた標準的な計算を行う。

本発明は、１６×１６マクロブロックを構成する４×４及び８×８ブロックについて詳述された。しかし、本発明は、ブロック・サイズがイントラ方向予測符号化モードを定めるために選択されたブロック・サイズの１つに対応する全てのブロック・タイプに適用される。本発明は、色差ブロックにも輝度ブロックにも全く同様に適用され得る。

本願は、データ圧縮に関し、関連する標準規格は、ＭＥＰＧ４パート１０標準規格及びイントラ方向予測符号化モードを用いる全ての将来の標準規格である。

Claims (9)

1. 画像のブロックを符号化するために、異なる予測方向を優位にするイントラ予測符号化モードを用いて画像のシーケンスを符号化する方法であって、
   −前記予測方向のブロックの勾配活性を計算する段階、
   −前記ブロックに対し、前記異なる予測方向の前記勾配活性の加重平均であるブロックのＤＣ活性を計算する段階、
   −前記方向が、前記ＤＣ活性が最小勾配活性より高い場合には最小値の前記勾配活性に対応するブロックのイントラ予測符号化モードを事前予測し、又は反対の場合には前記ＤＣ予測モードを事前予測する段階、に従い、画像ブロックを有するマクロブロックの前記符号化モードを決定するために、イントラ方向予測モード又はマクロブロックのブロックのＤＣ予測符号化モードの事前選択を実行する、方法。
2. 前記符号化モードは、画像間符号化モード、非イントラ予測符号化モード、及びＤＣイントラ予測符号化モードも有する、請求項１記載の方法。
3. 前記ブロックの活性勾配を計算する段階は、前記ブロック内で置き換わる２Ｄ畳み込みウインドウから実行される、請求項１記載の方法。
4. 
5. 前記符号化モードを決定する段階は、コスト／歪みの選択基準から実行される、請求項１記載の方法。
6. １６×１６マクロブロックの前記符号化の場合に、
   −前記マクロブロックの各４×４ブロック及び各８×８ブロックに関連する各方向エネルギーを計算する、事前予測する段階、
   −各４×４ブロック及び各８×８ブロックに対し、最低エネルギー・レベルに関するイントラ方向符号化モードに対応するイントラ予測符号化モードを事前選択する段階、
   −事前選択されたモードのそれぞれに対し計算されたコスト／歪みの選択基準の値に従い、ブロック毎にイントラ予測符号化モードを選択する段階、
   −前記マクロブロックを構成するブロックの選択したモードについて計算した前記基準を考慮して、前記１６×１６マクロブロックに対し計算した選択基準の値に従い、マクロブロックのモードを選択する段階、を有し、
   前記最小値は、前記マクロブロックの位置及び区画の前記イントラ予測符号化モードを定める、請求項１記載の方法。
7. 前記コスト／歪みの選択基準Ｊは、Ｊ＝ｓｓｅ＋λ・ｒａｔｅに等しく、ｓｓｅは現行ブロックと予測ブロックとの２乗誤差和、λは係数、ｒａｔｅはブロックの符号化に用いられるビットの正確な数である、請求項５記載の方法。
8. 
9. 符号化装置であって、請求項１に記載の方法を実施し、マクロブロックの符号化モードを決定する事前分析回路を有し、マクロブロックのブロックの勾配と、前記ブロックの異なる予測方向の勾配活性の加重平均である前記ブロックのＤＣ活性とを計算する計算回路、を有する符号化装置。

Images