JP2006513636A - インター・フレーム符号化に関する高速モード意思決定 - Google Patents

Abstract

符号器（１０）は、潜在的なモード（ブロック・サイズ）の考慮を所定の部分集合に当初は限定し、モード推定をモード意思決定とともに行うことによって符号化効率の向上を達成する。当初のモード部分集合を考慮し、部分集合におけるブロック毎の動きの推定が行われて最善の動きベクトルが確立される。歪み尺度も部分集合毎に作成される。この歪み尺度から、他のブロック・サイズについて動きを推定するか否かが判定される。否定の場合、符号化モードが推定動きによって選択される。このようにして、全ての考えられるブロック・サイズに対する動き推定を行う必要がある訳ではない。

Description

本発明は、ビデオ圧縮効率を維持する一方で、ビデオ符号化の計算量上の複雑度を低減させる手法に関する。

ビデオ・ストリームを圧縮（符号化）して記憶及び伝送を容易にする種々の手法が現存する。多くの周知の符号化手法は、空間的な類似性や時間的な類似性に依拠する。（ＪＶＴやＭＰＥＧ ＡＶＣとしても知られる）提案されているＨ．２６４符号化手法は、インター・フレーム（Ｐフレーム及びＢフレーム）の場合のインター符号化及びイントラ符号化を規定している。個々のマクロブロックの各々は、イントラ符号化を、すなわち空間的な相関を用いて、経るか、先行して符号化されたフレームからの時間的な相関を用いたインター符号化を経ることが可能である。一般的には、符号器は、符号化効率や主観的な品質の考慮点に基づいてマクロブロック毎のインター／イントラ符号化の意思決定を行う。先行フレームからうまく予測されるマクロブロックは通常、インター符号化を経る一方、先行フレームからあまりうまく予測されないマクロブロックや空間的な活動が低いマクロブロックは通常、イントラ符号化を経る。

提案されているＪＶＴ／ＩＴＵ Ｈ．２６４符号化手法は、インター符号化の場合、１６ｘ１６マクロブロックの種々のブロック・パーティションを可能にする。特に、提案されているＨ．２６４符号化手法は、１６ｘ１６のマクロブロックの１６ｘ１６、１６ｘ８、８ｘ１６及び８ｘ８のパーティション、８ｘ８の部分マクロブロックの８ｘ８、８ｘ４、４ｘ８及び４ｘ４のパーティション、更には複数の参照ピクチャを可能にする。更に、提案されているＨ．２６４の符号化手法は、スキップ・モードやイントラ・モードもサポートする。イントラ・モードには、以下ではＩＮＴＲＡ＿４ｘ４及びＩＮＴＲＡ＿１６ｘ１６として表す、４ｘ４及び１６ｘ１６の２つの種類のものが存在する。ＩＮＴＲＡ＿４ｘ４モードは９つの予測モードをサポートする一方、ＩＮＴＲＡ＿１６ｘ１６モードは４つの予測モードをサポートする。これらの選択は全て、モードの意思決定をタイムリーな方法で行うことに関連した複雑度を大いに増加させた。

よって、モードの意思決定を単純にする手法に対する必要性が存在する。

簡潔に述べれば、好適実施例によれば、複数の異なるブロック・サイズにパーティション化することができるマクロブロックを符号化する方法を備える。当初は、ブロック・サイズの部分集合が選択される。部分集合における各ブロック・サイズに関連した画像の動きが、最善の動きベクトルを確立するよう推定される。ブロック・サイズ毎に、歪みの尺度が確立される。この歪みの尺度に基づいて、部分集合内にないブロック・サイズについて動き推定が行われることとするか否かについての判定が行われる。否定の場合、符号器は、ブロック・サイズの選択部分集合の推定動きによってマクロブロックを符号化する符号化モードを選択する。

〔実施例〕
本願の原理の符号化方法をより良く分かるために、入力ビデオ・ストリームを符号化する通常のＪＶＴ符号器１０のアーキテクチャの構成図を表す図１を参照する。符号器１０は、ビデオ源（図示せず）からの入力ビデオ・フレームによってその正の入力で供給される差異ブロック１３の出力を受信する第１ブロック１２を含む。ブロック１２は差異ブロック１３から受信される各ビデオ・フレームを量子化し、更に、ブロック変換を行って、量子化フレームを、相当する変換係数群とともにもたらす。

ループ１４は、ブロック１２によって出力される、各量子化フレームと、相当する変換係数とをフィードバックして予測フレーム（Ｐフレーム又はＢフレーム）の形成を可能にする。ループ１４は、合計ブロック１６の第１入力で受信するよう、ブロック１２からの量子化フレームと変換係数との各々の逆量子化及び逆変換を行い、合計ブロック１６の出力はブロッキング解除フィルタ１８に結合される。ブロッキング解除フィルタ１８は、合計ブロック１６から受信される各ビデオ・フレームをブロック解除する。そのようなフィルタ化フレームはフレーム・メモリ２０における記憶を経て、それによって、複数の参照フレーム２２が記憶されたものをもたらす。フレーム・メモリ２０に記憶される参照フレーム２２を用いて、予測器ブロック２４は、動き推定ブロック２６によって生成される動きベクトルによって動き補償される再構築予測フレームを生成する。

ＪＶＴビデオ符号化標準は、Ｐフレーム及びＢフレームのインター符号化もイントラ符号化も可能にする。インター符号化を行うよう、差異ブロック１３はその負の出力を、セレクタ２７を介して動き補償ブロック２４に結合させている。このようにして、差異ブロック１３は１つ又は複数の動き補償参照フレーム２２を各入力ビデオ・フレームから減算することになる。セレクタ２７は、差異ブロック１３の負の出力を、イントラ符号化参照フレームを備えるイントラ・モード・ブロック２８に結合することによってイントラ符号化を行う。ＪＶＴビデオ符号化標準は、イントラ符号化の２つのブロック種類（サイズ）、すなわち。４ｘ４及び１６ｘ１６をサポートする。４ｘ４ブロック・サイズは９つの予測モード、すなわち、垂直予測、水平予測、ＤＣ予測、対角線下／左予測、対角線下／右予測、垂直―左予測、水平―下予測、垂直―右予測及び水平―上予測をサポートする。１６ｘ１６のブロック・サイズは４つの予測モード、すなわち、垂直予測、水平予測、ＤＣ予測及び平面予測をサポートする。セレクタ２７は、差異ブロックの負の入力が、動き補償予測器ブロック２４からの再構築フレームも、イントラ・モード・ブロック２８の出力も受信しない零のモードをもたらす。このモードでは、ブロック１２は、減算されていない入力ビデオ・フレームを受信する。

図１の符号器１０は、ブロック１２からの量子化フレーム及び変換係数を、動き推定器２６からの動きデータや制御データとともに合成して、符号化ビデオ・フレームをもたらす。エントロピ符号化ブロック３０の出力で生成される各符号化フレームは、記憶及び／後の伝送を行うよう、ネットワーク・アブストラクション・レイヤ（ＮＡＬ）（図示せず）に転送される。エントロピ符号器３０は、可変長符号化（ＶＬＣ）又はコンテキスト・ベースの適応２値算術符号化（ＣＡＢＡＣ）を利用することが可能である。

提案されているＨ．２６４符号化手法は、ツリー構造の階層型マクロブロック・パーティションを用いている。インター符号化された１６ｘ１６の画素マクロブロックは、１６ｘ８、８ｘ１６又は８ｘ８のマクロブロック・サイズへのパーティション化を経ることが可能である。部分マクロブロックとして知られる、８ｘ８画素のマクロブロック・パーティションも存在することがあり得る。部分マクロブロックは、サイズ８ｘ４、４ｘ８、及び４ｘ４の部分マクロブロックへのパーティション化を経ることが可能である。符号器１０は通常、特定のマクロブロックの特性に基づいてマクロブロックをパーティション及び部分マクロブロック・パーティションに分割する方法を選択して、圧縮効率及び主観的な品質を最大にする。

上記のように、符号器１０はインター予測の場合、複数の参照ピクチャを利用することが可能である。この点で、参照ピクチャ指数は特定の参照ピクチャを識別する。Ｐピクチャ（又はＰスライス）は、単一方向の予測と、許容できる参照ピクチャを管理する単一のリスト（リスト０）を利用する。リスト０及びリスト１として表す、２つの参照ピクチャ・リストは、Ｂピクチャ（又はＢスライス）に対する２つの参照ピクチャ群を管理する役目を担う。ＪＶＴビデオ符号化標準は、Ｂピクチャ（又はＢスライス）に対してリスト０又はリスト１を用いた単一方向の予測を可能にする。２つの予測が用いられる場合、リスト０の予測子とリスト１の予測子は一緒に平均がとられて最終予測子を形成する。各マクロブロック・パーティションは、別個の参照ピクチャ指数、予測種類（リスト０、リスト１、２つの予測）、及び別個の動きベクトルを有し得る。各部分マクロブロックは別個の動きベクトルを有し得るが、同じ部分マクロブロックにおける部分マクロブロック・パーティションは全て、同じ参照ピクチャ指数及び予測種類を用いる。

インター符号化マクロブロックの場合、Ｐフレームは上記マクロブロック・パーティションの他にＳＫＩＰモードもサポートし得る一方、ＢフレームはＳＫＩＰモードもＤＩＲＥＣＴモードもサポートし得る。ＳＫＩＰモードでは、動き情報符号化も残差情報符号化も何ら行われない。動きベクトルは動きベクトル予測子と同じ状態にとどまる。ＤＩＲＥＣＴモードでは、動き情報は何ら符号化されないが、予測残差は符号化される。動きベクトルは空間的又は時間的に隣接するマクロブロックから推論される。マクロブロックも部分マクロブロックもＤＩＲＥＣＴモードをサポートする。

従来は、図１の符号器１０などのＪＶＴ符号器は、イントラ・モードとインター・モードとの何れを用いて符号化するかについての意思決定を行うレート歪み最適化（ＲＤＯ）フレームワークを利用してきた。インター・モード符号化の場合、符号器は動き推定をモードの決定とは別個に検討する。動き推定はまず、全てのブロック種類について行われ、次に、符号器は、インター・モード及びイントラ・モードを用いて各ブロックを符号化するうえでのコスト（レートと歪みとの組み合わせ）を比較することによってモード決定を行う。符号器は最小のコストを備えているモードを最善のモードとして選択する。考えられるブロック・サイズが多数であれば、このようにして符号化モードを選択することはかなりの資源を費やす。

本願の原理の符号化手法は、インター・フレーム符号化を行ううえでのモード意思決定に関連した問題の多くを軽減する。本願の手法は、検討することが考えられるブロック・サイズ数を削減し、動き推定を行ううえでの先行符号化参照ピクチャの数を制限する。このようにして、一部のブロック種類についての動き推定及び参照ピクチャは不必要となる。本願の手法は検査されるイントラ・モードの数も削減する。

本願のモード選択手法の説明を簡単にするよう、モードはインター・モードとイントラ・モードとの２つの分類に分ける。説明の目的では、インター・モードはＳＫＩＰモード（及びＢピクチャの場合のＤＩＲＥＣＴモード）と、１６ｘ１６、１６ｘ８、８ｘ１６、８ｘ８、８ｘ４、４ｘ８、４ｘ４を有する種々のブロック・サイズとを有する。イントラ・モードは、ＩＮＴＲＡ４ｘ４モード及びＩＮＴＲＡ１６ｘ１６モードを有する。Ｐピクチャは本願の手法を示す最善の役目を担うが、手法はＢピクチャへの適用可能性も有する。Ｂピクチャの場合、ＳＫＩＰモードとＤＩＲＥＣＴモードは同様に扱われ、ＤＩＲＥＣＴモードは、最善のモードを選択するうえで部分マクロブロックも考慮する。

本願のモード選択手法は、動き推定をモード意思決定とともに行う。動き推定は特定のインター・モードについてそれが選択されると行われる。インター・モードの場合、ＳＫＩＰモードは動きサーチを必要とせず、よって、最低の計算量上の複雑度を有する。本願の原理によれば、ＳＫＩＰモードは別個の状態のままにとどまっており、その低複雑度のおかげで最高の優先度を受ける。ブロック・サイズに関するモード意思決定に関しては、本願の原理の手法は、歪み（エラー）尺度とブロック・サイズとの比率が単調か否かを判断する。以下に誤差表面として表すこの比率は、ブロック・サイズの減少とともに歪みが減少し続けるかの尺度を備える。

当初、誤差表面計算は、１６ｘ１６、８ｘ８及び４ｘ４の３つの初期ブロック・サイズの各々についてのみ行われる。この意味合いでは、「８ｘ８」の項は８ｘ８のパーティションのみを用いたマクロブロック全体の検査を示唆する一方、「４ｘ４」の項は４ｘ４のパーティションのみを用いたマクロブロック全体の検査を示唆する。誤差表面は、Ｊ（１６ｘ１６）＜Ｊ（８ｘ８）＜Ｊ（４ｘ４）又はＪ（１６ｘ１６）＞Ｊ（８ｘ８）＞Ｊ（４ｘ４）である場合に単調であるという特性を有し、演算子Ｊは誤差表面演算子を表す。１６ｘ１６、８ｘ８及び４ｘ４のブロック・サイズについての誤差表面の計算は、１６ｘ８の部分マクロブロック、８ｘ１６の部分マクロブロック、又はより細かい部分マクロブロックなどの他のモードを検査するか否かを判定することになる。単調な誤差表面がない場合、全ての他のブロック・サイズは検査を経なければならない。表面が単調な場合、最善の２つのブロック・サイズの間のブロック・サイズは更なる検査を必要とする。

例えば、２つの最善のブロック・サイズが、マクロブロックが大きめのブロック・パーティションを用いる傾向があるということを示唆する、１６ｘ１６や８ｘ８である場合、１６ｘ８のブロック・サイズと８ｘ１６のブロック・サイズのみが更なる検査を必要とする。逆に、最善の２つのブロック・サイズが８ｘ８や４ｘ４である場合、このことは、小さめのブロック・パーティション（又は部分マクロブロック・パーティション）によってよりうまく予測されるということを示唆し、８ｘ４のブロック・サイズと４ｘ８のブロック・サイズのみが更なる検査を必要とする。

図２は、インター・フレーム符号化に関するモード意思決定を行ううえでの本願の原理による方法の工程を流れ図形式で示す。この方法は、工程２００が実行されると開始され、工程２００では、符号器１０内の種々の構成要素が再設定される。次に、工程２０２中には、ＳＫＩＰモードについての誤差表面計算が行われる。工程２０４中には、ＳＫＩＰモードの誤差表面が第１閾値Ｔ１よりも少ないか否かが判定される。肯定の場合、ＳＫＩＰモードはインター・フレーム符号化の最善のモードとなり、ＳＫＩＰモード選択が工程２０６中に行われる。その後、マクロブロック符号化は工程２０８が実行されると終了する。

工程２０４中にＳＫＩＰモードの誤差表面がＴ１以上である場合、１６ｘ１６のブロック・サイズと８ｘ８のブロック・サイズとの各々の誤差表面は工程２１０中に確かめられる。工程２１２中に、Ｊ（ＳＫＩＰ）＜Ｊ（１６ｘ１６）であり、かつＪ（ＳＫＩＰ）＜Ｊ（８ｘ８）であるか否かが判定される。Ｊ（ＳＫＩＰ）＜Ｊ（１６ｘ１６）であり、かつＪ（ＳＫＩＰ）＜Ｊ（８ｘ８）である場合、工程２１４が行われ、動きベクトル、モード自体、及び残りの残差の符号化コストを考慮して、最善のインター・モードが選択される。さもなければ、Ｊ（ＳＫＩＰ）＜Ｊ（１６ｘ１６）であり、かつＪ（ＳＫＩＰ）＜Ｊ（８ｘ８）であるという条件が真でない場合、工程２１６が行われ、４ｘ４のモードの誤差表面が計算される。ＳＫＩＰモードのコストの、ブロック・サイズ１６ｘ１６及びブロック・サイズ８ｘ８のコストとの比較は、ＳＫＩＰモードのＲＤコストが最小である場合にＳＫＩＰモードよりも低いコストを他のブロック種類が有する確率は非常に少ないので他のインター・モードを検査する必要がなくなるという前提に基づいている。

工程２１６に続いて、工程２１８で、ＭｉｎＪ＝Ｊ（８，８）又はＭａｘＪ＝Ｊ（８ｘ８）であるか否かが検査される。肯定の場合、工程２１９で、１６ｘ８、８ｘ１６、８ｘ４及び４ｘ８のブロック・サイズの各々の誤差表面の判定が工程２１４に進む前に行われる。さもなければ、ＭｉｎＪ＝Ｊ（８，８）││ＭａｘＪ＝Ｊ（８ｘ８）が真でない場合、工程２２０が行われ、ＭａｘＪ＝Ｊ（４ｘ４）が真であるか否かが判定される。真の場合、工程２２２で、１６ｘ８及び８ｘ１６のブロック・サイズの誤差表面の判定が工程２１４に進む前に行われる。工程２２４及び工程２２２を行う場合、全ての参照ピクチャを検査する必要がある訳ではない。８ｘ４及び４ｘ８のブロック・サイズは８ｘ８のモード及び４ｘ４のモードのブロック・サイズの最善の参照ピクチャ内でしか検査しなくてよい一方で、１６ｘ８のモード及び８ｘ１６のモードのブロック・サイズは８ｘ８のモード及び１６ｘ１６のモードのブロック・サイズの最善の参照ピクチャ内で検査することを必要とするということを経験上のデータは示している。

工程２１８中及び工程２２０中に行われる比較は、誤差表面が単調であるか否かを明らかにし、それが真である場合には、工程２１９中に行われる誤差表面計算を図１の符号器１０が行う必要性を不要にする。よって、工程２１８中及び工程２２０中に行われる比較は、誤差表面の測定が行われるブロック・サイズの部分集合を絞り込み、よって符号器の計算労力を軽減する役目を担う。

工程２２０中に検査される場合にＭａｘＪ＝Ｊ（４ｘ４）が真でない場合には、工程２２４が行われ、工程２２４では、その計算がなければ計算されていない、部分マクロブロック・パーティションの誤差表面のその計算が工程２１４に進む前に行われる。よって工程２２４中に、別の判定処理が８ｘ８ブロック・サイズ毎に行われて、４つの部分マクロブロック・パーティションのうちのどの種類を用いることとするかを判定する。８ｘ４及び４ｘ８のみが検査を経る必要がある。８ｘ８及び４ｘ４の初期結果は再使用可能である。その後、２２６中に、最善のインター・モードの残差のエネルギが第２閾値Ｔ２を超えているか否かの検査が行われる。否定の場合、工程２１４中に先行して選択された最善のインター・モードによって工程２２８中に最善のモードの選択が、工程２０８に進む前に行われる（これは、インター画像の場合、インター・モードはイントラ・モードよりも高い優先度を常に有するということに基づいている。）。

工程２２６で、最善のインター・モードの残差のエネルギがＴ２を超える場合、図３に関して最もうまく説明されたように、最善イントラ・モードが検査される工程２３０が、工程２２８に進む前に行われる。インター・モードの性能は、元の信号と参照信号との差を有する残差のエネルギ（振幅の２乗）によって測定される。残差は、ブロック変換係数の絶対値の和又は、現行マクロブロックにおけるブロック変換係数の数から単純に計算することが可能である。

図３は、図２の工程２３０の実行中に行われるイントラ・モード意思決定に関連した工程を表す。図３にみられるように、インター・モード検査は、最善のインター・モードのエネルギが第３閾値Ｔ３を超えるか否かの判定が行われる工程３００が実行されると開始される。否定の場合、工程３０２中に、ＤＣモードの誤差表面の計算が、図２の工程２２８に進む前に行われる。工程３００中に最善のインター・モードのエネルギが第３閾値Ｔ３を超える場合、工程３０４中に、最善のインター・モードのエネルギは第４閾値Ｔ４を超えるか否かについて判断される。否定の場合、工程３０６中に、誤差表面が、図２の工程２２８に進む前に、垂直モード、水平モード及びＤＣモードについて確かめられる。さもなければ、工程３０８中に、イントラ・モード全ての誤差表面が、図２の工程２２８に進む前に検査される。

上記によって、インター・フレーム符号化判定及びイントラ・フレーム符号化判定に関する労力の量を削減することによってビデオ符号化の計算量上の複雑度を削減する手法を説明している。

ＪＶＴ圧縮標準によってビデオを符号化する従来の符号器を示す略構成図である。 インター・フレーム符号化に関するモードの意思決定を行ううえでの本願の原理による方法を示す流れ図である。 イントラ・フレーム符号化に関するモードの意思決定を行ううえでの本願の原理による方法を示す流れ図である。

Claims (16)

1. 複数の種々のブロック・サイズにパーティション化することができるマクロブロックを符号化する方法であって：
   （ａ）ブロック・サイズの部分集合を選択する工程；
   （ｂ）該部分集合における各ブロック・サイズに関連したデータによって表される画像の動きを推定して、該各ブロック・サイズについて最善の動きベクトルを確立する工程；
   （ｃ）該部分集合におけるブロック・サイズ毎に歪み尺度を確立する工程；及び
   （ｄ）該部分集合内にないブロック・サイズに対して動き推定を行うこととするか否かを該歪み尺度から判定する工程を備え、否定の場合、
   （ｅ）該推定動きによって該マクロブロックを符号化する符号化モードを選択する工程を備えることを特徴とする方法。
2. 請求項１記載の方法であって、ブロック・サイズの部分集合から選択する工程が、ＪＶＴ符号化を用いて符号化される１６ｘ１６のマクロブロックについて、部分サイズ１６ｘ１６、８ｘ８及び４ｘ４を選択することを特徴とする方法。
3. 請求項２記載の方法であって、該判定する工程が、１６ｘ８、８ｘ１６、８ｘ４及び４ｘ８のブロック・サイズについて動き推定を行う工程を備えることを特徴とする方法。
4. 請求項１記載の方法であって、更に、限定された参照ピクチャ群についてのみ、他のブロック・サイズについて動き推定を、該選択ブロック・サイズの部分集合について選択される最善参照ピクチャ群に基づいて行う工程を備えることを特徴とする方法。
5. 請求項１記載の方法であって、更に、誤差ブロック表面が単調として分類されるか非単調として分類されるかを該歪み尺度の相対値に基づいて判定する工程を備えることを特徴とする方法。
6. 請求項１記載の方法であって、更に、該符号化モードを選択する工程が、インター・モードとイントラ・モードとの一方を選択する工程を備えることを特徴とする方法。
7. 請求項６記載の方法であって、該判定する工程が更に、所定の閾値を超える残差を該インター・モードが有するか否かを検査する工程を備えることを特徴とする方法。
8. 請求項８記載の方法であって、該判定する工程が、限定されたイントラ・モード群について歪み尺度を判定する工程を備えることを特徴とする方法。
9. 符号器であって、複数の種々のブロック・サイズにパーティション化することができるマクロブロックを符号化する方法を行い、該方法が：
   （ａ）ブロック・サイズの部分集合を選択する工程；
   （ｂ）該部分集合における各ブロック・サイズに関連したデータによって表される画像の動きを推定して、該各ブロック・サイズについて最善の動きベクトルを確立する工程；
   （ｃ）該部分集合におけるブロック・サイズ毎に歪み尺度を確立する工程；及び
   （ｄ）該部分集合内にないブロック・サイズに対して動き推定を行うこととするか否かを該歪み尺度から判定する工程によるものであり、否定の場合、更に、
   （ｅ）該推定動きによって該マクロブロックを符号化する符号化モードを選択する工程によるものであることを特徴とする符号器。
10. 請求項９記載の符号器であって、該ブロック・サイズの部分集合から、ＪＶＴ符号化を用いて符号化される１６ｘ１６のマクロブロックについて、部分サイズ１６ｘ１６、８ｘ８及び４ｘ４を選択することによって選択ことを特徴とする符号器。
11. 請求項９記載の符号器であって、１６ｘ８、８ｘ１６、８ｘ４及び４ｘ８のブロック・サイズについて動き推定を行うことを特徴とする符号器。
12. 請求項９記載の符号器であって、限定された参照ピクチャ群についてのみ、他のブロック・サイズについて動き推定を、該選択ブロック・サイズの部分集合について選択される最善参照ピクチャ群に基づいて行うことを特徴とする符号器。
13. 請求項９記載の符号器であって、誤差ブロック表面が単調として分類されるか非単調として分類されるかを該歪み尺度の相対値に基づいて判定することを特徴とする符号器。
14. 請求項９記載の符号器であって、インター・モードとイントラ・モードとの一方から該符号化モードを選択することを特徴とする符号器。
15. 請求項１４記載の符号器であって、所定の閾値を超える残差を該インター・モードが有するか否かを検査することを特徴とする符号器。
16. 請求項１５記載の符号器であって、限定されたイントラ・モード群について歪み尺度を判定することを特徴とする符号器。

Images