JP5566455B2 - 画像系列のビデオデータを符号化する方法及びエンコーダ並びに現在のブロックを復号化する方法及びデコーダ - Google Patents

Description

本発明は、ビデオ符号化及び復号化方法に関し、より詳細には、まばら表現（ｓｐａｒｓｅ ｒｅｐｒｅｓｅｎｔａｔｉｏｎ）に基づいた画像予測のフェーズリファインメント（ｐｈａｓｅ ｒｅｆｉｎｅｍｅｎｔ）方法に関する。
本発明は、低いビットレートについて同じ品質を保持することでビデオ符号化性能を改善するエンコーダとデコーダとで使用されるツールを提案することである。本発明により対処される課題は、空間及び時間画像予測の場合における予測を改善することである。

たとえば、Ｔ．Ｗｉｅｇａｎｄ， Ｇ．Ｊ．Ｓｕｌｌｉｖａｎ， Ｇ．Ｂｊｏｎｔｅｇａａｄ及びＡ．Ｌｕｔｈｒａによる“Ｏｖｅｒｖｉｅｗ ｏｆ ｔｈｅ Ｈ．２６４／ＡＶＣ” Ｃｉｒｃｕｉｔｓ ａｎｄ Ｓｙｓｔｅｍｓ ｆｏｒ Ｖｉｄｅｏ Ｔｅｃｈｎｏｌｏｇｙ， ＩＥＥＥ Ｔｒａｎｓａｃｔｉｏｎｓ， Ｖｏｌ １３，７， ５６０−５７６， Ｊｕｌｙ ２００３と題された文献で開示されるように、現在のブロックに隣接する画素の行と列の情報に基づいて、近傍のブロックを無相関化するためにイントラ予測が実行される。幾つかの指向性モードが規定される。外挿は、予め定義された方向のうちの１つに沿って画素値を単に伝搬させることで行われる。これら幾何学的なモードに加えて、前に符号化されたサンプルに隣接させる手段が利用可能である。Ｈ．２６４／ＡＶＣイントラ符号化は、一様な領域又は指向性の構造を再構成するために非常に有効であり、特にイントラモードのうちの１つの方向が輪郭に最もフィットするときに非常に有効である。

非常にテクスチャ加工された領域における信号予測の問題に対処するため、まばらな信号の近似に基づく方法が本明細書で考慮される。まばらな近似の技法の目的は、大きく且つ冗長なセット（すなわちディクショナリ）から選択された機能の観点で、分析された信号を近似する線膨張を探すことである。ＭＰ（Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔ）アルゴリズムは、ディクショナリ（ｄｉｃｔｉｏｎａｒｙ）から、いわゆるアトム（ａｔｏｍ）を繰り返し選択することで適応的な信号表現を計算する可能性のある技法である。Ｍａｌｌａｔ，Ｓ．及びＺｈａｎｇ，Ｚによる“Ｍａｔｃｈｉｎｇ ｐｕｒｓｕｉｔｓ ｗｉｔｈ ｔｉｍｅ ｆｒｅｑｕｅｎｃｙ ｄｉｃｔｉｏｎａｒｉｅｓ”ＩＥＥＥ Ｓｉｇ． Ｐｒｏｃｅｓｓｉｎｇ４１（Ｄｅｃｅｍｂｅｒ １９９３）と題された文献を参照されたい。ここで、閉ループの空間画像予測又は外挿の問題を考える。この問題は、因果的近傍（ｃａｕｓａｌ ｎｅｉｇｈｂｏｒｈｏｏｄ）から採取された雑音の多いデータからの信号拡張の問題として見ることができる。ＭＰのまばらな表現アルゴリズムが考慮される。また、基底関数のフェーズリファインメントを通してアトミックの分解を改善する方法が提供される。

本発明の主体は、画像の系列のビデオデータの符号化方法であり、当該方法は、画像を複数のブロックに分割するステップ、ＭＰアルゴリズムに基づく空間予測を使用して現在のブロックをイントラ符号化するステップ、アトムのディクショナリから、現在のブロックの因果的近傍と最も相関するアトムを選択するステップを含み、因果的近傍と選択されたアトムとの間の２次元の空間シフトを決定するステップ、２次元の空間シフトの値を考慮して、少なくとも、新たなフェーズドアトム（ｎｅｗ ｐｈａｓｅｄ ａｔｏｍ）を生成するステップ、選択されたアトムよりも良好に相関する場合、ＭＰアルゴリズムに従って、イントラ予測のためにこの新たなアトムを使用するステップを含むことを特徴とする。

特定の実施の形態によれば、ディクショナリのアトムは、ＤＣＴ（離散コサイン変換）及び／又はＤＦＴ（離散フーリエ変換）及び／又は他の変換から抽出される。

特定の実施の形態によれば、２次元の空間シフトΔｘ，Δｙの決定は、以下の相互パワースペクトル（ｃｒｏｓｓ−ｐｏｗｅｒ ｓｐｅｃｔｒｕｍ）を計算するステップを含む。

ここでＦ_{ｉｎｐｕｔ}は、現在の残差のフーリエ変換であり、Ｆ_ａｔｏｍは、選択されたアトムのフーリエ変換であり、Ｆ＊_ａｔｏｍは、Ｆ_ａｔｏｍの複素共役に対応する。また、上記決定は、Ｃの逆フーリエ変換を計算するステップ、及び相関ピークの２次元の位置を決定するステップを含む。

特定の実施の形態によれば、因果的近傍は、現在のブロックに隣接する前に符号化されたブロックに対応する。
特定の実施の形態によれば、原信号の画素に関連するベクトルＹを与えるために画素の予測ベクトルＸが多重化されるアトムを構成するマトリクスＡは、現在のブロックに隣接する全てのブロックが考慮される領域から構築され、次いで近傍の因果的領域にない画素に対応するその行をマスクすることで圧縮される。

本発明の別の主体は、符号化の前のプロセスに従って符号化されたビデオデータの復号化方法に関し、現在のブロックの復号化のために、当該方法は、ＭＰアルゴリズムを使用することでイントラ予測を計算し、アトムのディクショナリから、復号化すべき現在の画像ブロックの因果的近傍と最も相関するアトムを選択するステップ、現在のブロックの因果的近傍と選択されたアトムとの間の２次元の空間シフトを決定するステップ、２次元の空間シフトの値を考慮して、新たなフェーズドアトムを生成するステップ、選択されたアトムよりも良好に相関する場合、この新たなアトムをイントラ予測として使用するステップを含む。
他の特徴及び利点は、限定されない例を通して、以下に示す添付図面に関して提示される記載において明らかとなるであろう。

ブロックＰの予測の因果的領域を示す図である。 シミュレーションの２つのテスト画像を示す図である。

［ＭＰ（Ｍａｔｃｈｉｎｇ Ｐｕｒｓｕｉｔ）アルゴリズム］
ＹをＮ次元のベクトルとし、ＡをＭ＞＞ＮとするＮ×Ｍ次元のマトリクスとする。Ａの列ａ_ｋは、ベクトルＹを表すために使用されるディクショナリの基底関数又はアトムとして見ることができる。なお、Ｙ＝ＡＸであるように、Ｍ次元のベクトルＸを選択する無限の方法が存在することに留意されたい。まばらな表現の狙いは、Ｙ＝ＡＸの全てのこれらの解のうちで、まばらであるもの、すなわちベクトルＸが小数の非ゼロの成分のみを有するものを選択することである。確かに、正確な再構成を極めて一般的に求めないが、以下を満足させるまばらな表現を求める。

ここでρは許容できる再構成エラーを特徴付ける。この制約を満たす最もまばらな表現を探すことはＮＰ困難であり（ＮＰ−ｈａｒｄ）、従って計算的に解決困難であるので、近似的な解を求める。ＭＰアルゴリズムは、反復アルゴリズムを介してこの問題に準最適な解を提供する。ＭＰアルゴリズムは、以下のやり方で、増加する数の非ゼロの成分を有するＭ次元ベクトルＸ_ｋの系列を生成する。最初の繰返しでＸ_０＝０であり、最初の残差ベクトルＲ_０＝Ｙ−ＡＸ_０＝Ｙが計算される。繰返しＫで、アルゴリズムは、以下の関係を満たす、現在の残差ベクトルＲ_ｋ−１＝Ｙ−ＡＸ_ｋ−１と最も高い相関を有する基底関数ａ_ｊｋを選択する。

この新たなアトムの重みｘ_ｊｋは、新たな残差ベクトルのエネルギーを最小にするように選択され、この新たな残差ベクトルは、以下に等しくなる。

新たな最適な重みがＸ_ｋ−１に導入され、Ｘ_ｋを生成する。なお、ＭＰにより、数回にわたり、同じアトムが選択される場合があることに留意されたい。この場合、係数の値は、前の値に加算される。アルゴリズムは、以下の停止基準が満たされるまで進む。

ここでρは、表現のまばらさを制御する許容パラメータである。

［ＭＰに基づく予測］
図１では、サイズ４ｎ２のその因果的近傍Ｃを使用して予測されるべきｎ×ｎ画素のブロックＰが定義される。Ｃは因果的領域であり、Ｐは予測されるべき現在のブロックであり、ＬはＰを囲んでいる全体の領域である。

９つのブロックを含み、従ってサイズ３ｎ×３ｎの画素からなる全体の領域Ｌは、以下のようにそれぞれ表される離散フーリエ関数及び／又は離散コサイン関数と関連付けされる。

ここでｍ及びｎは予測ブロックの画素の座標であり、ｐ及びｑを空間周波数とする。

これらのアトムにより、行列Ａが構築される。実験において、この行列は、９ｎ^２のアトム（ＤＣＴ又はＤＦＴ）から構成されるか、又は１８ｎ^２のアトム（ＤＣＴ又はＤＦＴ）から構成される。Ｙは、領域Ｌの画素値で形成される９ｎ^２次元のベクトルとし、Ｘは、基底関数Ｙ＝ＡＸの観点でＹの表現の係数を含むベクトルである。行列Ａは、既知の領域Ｃにない画素に対応するその行をマスクすることで変更される。これにより、ＤＣＴ基底のみが考慮される場合、そのサイズが４ｎ^２×９ｎ^２であるコンパクトなマトリクスＡ_Ｃを得ることができる。Ｙにおける対応する成分は、４ｎ^２の画素のベクトルＹ_Ｃを得るために同様に削除される。次いで、ＭＰアルゴリズムは、Ａ_Ｃ及びＹ_Ｃに適用される。

後の使用のため、予測されるべき領域Ｐに関連するサイズｎ^２×９ｎ^２及びｎ２×１のＡ_Ｐ及びＹ_Ｐが同様に定義される。

ＭＰアルゴリズムの目的は、Ｙ_Ｃのまばらな表現を取得することである。これは、表現の複雑度、すなわちＸにおける非ゼロの成分の数ｋが増加するにつれて、再構成エラーが単調に減少することを意味する。

ここで、Ｘ_ｋは、ｋステップ後に、ＭＰアルゴリズムにより提案される表現を表す。しかし、本発明は、領域Ｐの良好な予測を取得することであるので、領域Ｃの表現が良好であると、領域Ｐの関連する予測が良好である理由はない。従って、この目的を達成する、すなわちＰにおける再構成エラーを最小にする停止基準がＭＰに適用される。増加する複雑度の表現のシーケンスＸ_ｋを生成するようにアルゴリズムが実現され、それぞれのＸ_ｋについて、以下に示す予測エラーのエネルギーが計算され、一般的に減少し始めるこの予測エラーが増加するとすぐに停止される。しかし、より複雑な表現がより小さい予測誤差を得ることができない理由はないので、実際には異なって進められ、２ステップの手順が考慮される。

第一に、ＭＰアルゴリズムは、式（４）における再構成エラーに関する予め指定された閾値に到達するまで実行され、結果として得られるＸ_ｋのシーケンスは記憶される。最終的な表現が極めて多数のコンポーネント、すなわちＫを有するように閾値の値が固定される。第二のステップでは、予測されるべき領域Ｐの最小のエラーのエネルギーを与えるものとして、最適な表現が選択される。

［フェーズリファインメント（ｐｈａｓｅ ｒｅｆｉｎｅｍｅｎｔ）］
先に明らかにされたように、ＭＰアルゴリズムは、近傍のサンプルをもつ最も相関するアトムを選択する。次いで、外挿された信号の品質は、選択されたアトムの性質に大いに依存する。考慮されるアトムが信号に良好に適合する場合に、まばらさの探求が達成される。実際に、まばらさの表現の大きな問題のうちの１つは、画像における任意の種類の特徴を表すために、関連する基底関数のセットを決定することができることである。理想的なディクショナリは、低周波を再び集める平滑関数、エッジ又は輪郭のような高周波についてより空間的に位置される他の関数から構成される。

このセクションでは、この問題に対する限定的な解を発見する問題に対処する。制限されたディクショナリと連動すること、フェージングアトム（ｐｈａｓｉｎｇ ａｔｏｍ）によりその冗長度を仮想的に増加させることが提案される。主要な考えは、位相の相関により適切な空間位相をサーチすることで、入力データに最も適合させることである。

この周波数領域のアプローチは、２つの画像間の比較的過渡的な動きを推定する。まばらな予測の環境では、観測信号（第一のステップで、入力信号は因果的近傍自身であり、次いで他のステップで、入力信号は残差信号に対応する）と、選択された二次元の基底関数との間のシフトを検出することが目的である。２つの信号の空間シフトは、フーリエ領域における位相変化として反映される。ＭＰにより最も相関されたアトムの選択後に、位相相関プロセスを挿入することを選択する。これは、ループリファインメントと比較して必ずしも準最適ではない事後処理であることを留意されたい。第一のステップは、入力データと選択されたアトムとの間に存在する２次元シフトを決定することである。Ｆ_{ｉｎｐｕｔ}を入力信号のフーリエ変換とし、Ｆ_ａｔｏｍを基底関数のフーリエ変換とする。

相互パワースペクトルは、以下のように定義される。

ここでＦ＊_ａｔｏｍはＦ_ａｔｏｍの複素共役である。２つの信号間の相関Ｃは、Ｃの逆フーリエ変換を計算することで得られる。次いで、Ｃにおけるピークの２次元の位置が検出される。

プロセスの信頼性を高めるため、サブピクセルの検出が使用される。第二のステップは、空間シフト｛Δｘ，Δｙ｝の値を考慮してフェーズドアトムを生成することからなる。ディクショナリにおける基底関数の理論式は既知であるので、シフトされた関数を計算するための曖昧さはない。

［結果及び実現］
４×４，８×８及び１６×１６画素（ｎ＝４，８又は１６）のブロックの空間予測を考える。冗長なディクショナリＡを構築するためにコサイン関数が使用される。非ゼロの成分の、非常に大きい数であるＫを有する最終的な表現を生じる値に閾値が設定される。次いで、最適な表現に関連するベクトルＸが選択される。式（２）を参照されたい。全てのシミュレーションにおいて、ρは、式（２）において１に設定される。ＭＰに基づいた予測は、エンコーダシンタックスの変更なしに、ＪＭ １１．０ＫＴＡ１．２（Ｋｅｙ Ｔｅｃｈｎｉｃａｌ Ａｒｅａ）ソフトウェアに統合されている。

提案される予測モードは、それぞれのタイプのイントラ予測について１つのＡＶＣモードと置き換わる。選択されたＡＶＣモードは、より少なく選択されるモードに対応する。以下のテストに関する結果が提示される。ＭＰに基づいた予測は、３つの予測タイプが結合されるとき、或いは、イントラ４×４及び８×８のみが利用可能であるか又はイントラ４×４のみが利用可能であるときに、１つのＡＶＣモードを置き換える。なお、イントラ１６×１６予測をオフにするようにソフトウェアが調整されることに留意されたい。輝度成分及びビットレート節約のＢｊｏｎｔｅｇａａｒｄ平均のＰＳＮＲ改善を評価するため、大きな量子化レベルの範囲でシミュレーションが実行される。著者Ｇｉｓｌｅ Ｂｊｏｎｔｅｇａａｒｄによる文献“Ｃａｌｃｕｌａｔｉｏｎ ｏｆ ａｖｅｒａｇｅ ＰＳＮＲ ｄｉｆｆｅｒｅｎｃｅｓ ｂｅｔｗｅｅｎ ＲＤ ｃｕｒｖｅｓ”ＶＣＥＧ−Ｍ３３， ＩＴＵ−Ｔ Ｖｉｄｅｏ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ （ＶＣＥＧ） Ｍｅｅｔｉｎｇ， Ａｐｒｉｌ ２００１を参照されたい。表１は、３つのタイプのイントラ予測に従う、Ｂａｒｂａｒａ、及び図２で表されるテスト画像（７２０×５７６）である２つの他のピクチャであるｐｏｏｌ及びｗｏｏｌに関するＭＰ予測の結果を提示している。ソースフレームにおいて多くの２Ｄパターンが存在するときに、高いレート節約が得られる。

このイントラ予測のＭＰに基づく新たなアプローチは、Ｈ２６４／ＡＶＣの指向性モデルに比較して興味深い視点を与える。複雑なテクスチャについて、ＭＰアルゴリズムは、イントラ予測について、又は予測についても関心のある代替となることが分かる。相関のフェーズリファインメントを使用することで、アトムのフェージングにより仮想的に増加される制限されたディクショナリと共に機能することができる。フェーズリファインメントのおかげで、複雑度が低減され、再構成の信頼度が改善される。さらに、位相の相関アルゴリズムのサブピクセル精度のため、このタイプのアルゴリズムのパフォーマンスは、特に効率的である。

このアルゴリズムは、たとえば相関ピークの近傍のエネルギーの重心に基づいたシフトの決定に特に焦点を当て、そこを主要なピークと考える。

位相の相関に関する技術的背景は、たとえば著者Ｃ Ｄ Ｋｕｇｌｉｎ及びＤ Ｃ Ｈｉｎｅｓによる文献“Ｔｈｅ ｐｈａｓｅ ｃｏｒｒｅｌａｔｉｏｎ ｉｍａｇｅ ａｌｉｇｎｍｅｎｔ ｍｅｔｈｏｄ” Ｐｒｏｃ ＩＥＥＥ １９７５， Ｃｏｎｆ Ｃｙｂｅｒｎｅｔｉｃｓ ａｎｄ Ｓｏｃｉｅｔｙ ｐａｇｅｓ １６３−１６５ Ｓｅｐｔ １９７５、及び発明者Ｄ Ｔｈｏｒｅａｕ及びＣ Ｃｈｅｖａｎｃｅによる特許出願“Ｉｍａｇｅ ｍａｔｃｈｉｎｇ ｐｒｏｃｅｓｓ ａｎｄ ｄｅｖｉｃｅ ｕｓｉｎｇ ａ ｗｅｉｇｈｔｅｄ ｐｈａｓｅ ｃｏｒｒｅｌａｔｉｏｎ ｆｏｒ ｄｅｔｅｒｍｉｎｉｎｇ ａ ｓｈｉｆｔ”， ＥＰ０４８０８０７， １５．０４．１９９２に記載されている。
本出願における提案は、ビデオ圧縮画像の符号化スキームに関連する全ての応用に関連するものである。

Claims (10)

1. 画像を複数のブロックに分割し、MP（Matching Pursuit）アルゴリズムに基づく空間予測を使用して前記現在のブロックをイントラ符号化し、その理論式が既知であるアトムのディクショナリから、現在のブロックの因果的近傍に最も相関するアトムを選択する、画像の系列のビデオデータを符号化する方法であって、
   当該方法は、
   前記因果的近傍と選択されたアトムとの間の２次元の空間シフトを決定するステップと、
   前記選択されたアトムを前記２次元の空間シフトの値によってシフトして、新たなフェーズドアトムを生成するステップと、
   前記選択されたアトムよりも良好に相関する場合、前記MPアルゴリズムに従って、イントラ予測のために前記新たなフェーズドアトムを使用するステップと、
   を含むことを特徴とする方法。
2. 前記ディクショナリのアトムは、離散コサイン変換（DCT）及び離散フーリエ変換（DFT）及び／又は他の変換から抽出される、
   請求項１記載の方法。
3. 前記２次元の空間シフト（Δx，Δy）を決定するステップは、
   相互パワースペクトルCを計算するステップと、Ｆ_inputは現在の残差のフーリエ変換であり、Ｆ_atomは選択されたアトムのフーリエ変換であり、Ｆ*_atomはＦ_atomの複素共役に対応し、
   

   

   前記Cの逆フーリエ変換ｃを計算するステップと、
   以下の相関ピークの２次元の位置を決定するステップと、
   

   

   を含む請求項１記載の方法。
4. 前記因果的近傍は、前記現在のブロックに隣接する前に符号化されたブロックに対応する、
   請求項１記載の方法。
5. 原信号の画素に関連するベクトルYを与えるために、画素の予測ベクトルXが乗算される、前記アトムから構成される行列Aは、前記現在のブロックに隣接する全てのブロックを考慮した領域から構築され、近傍の因果的領域にない画素に対応するその行をマスクすることでコンパクトにされる、
   請求項１記載の方法。
6. 現在のブロックの復号化方法であって、
   当該方法は、
   MP（Matching Pursuit）アルゴリズムを使用することでイントラ予測を計算し、その理論式が既知であるアトムのディクショナリから、復号化すべき現在のブロックの因果的近傍と最も相関するアトムを選択するステップを含み、
   当該方法は、
   前記現在のブロックの前記因果的近傍と前記選択されたアトムとの間の２次元の空間シフトを決定するステップと、
   前記選択されたアトムを前記２次元の空間シフトの値によってシフトして、新たなフェーズドアトムを生成するステップと、
   前記選択されたアトムよりも良好に相関する場合に、前記新たなフェーズドアトムをイントラ予測のために使用するステップと、
   を含むことを特徴とする方法。
7. 前記２次元の空間シフト（Δx，Δy）を決定するステップは、
   相互パワースペクトルCを計算するステップと、Ｆ_inputは現在の残差のフーリエ変換であり、Ｆ_atomは選択されたアトムのフーリエ変換であり、Ｆ*_atomはＦ_atomの複素共役に対応し、
   

   

   前記Cの逆フーリエ変換ｃを計算するステップと、
   以下の相関ピークの２次元の位置を決定するステップと、
   

   

   を含む請求項６記載の方法。
8. 原信号の画素に関連するベクトルYを与えるために、画素の予測ベクトルXが乗算される、前記アトムから構成される行列Aは、前記現在のブロックに隣接する全てのブロックを考慮した領域から構築され、近傍の因果的領域にない画素に対応するその行をマスクすることでコンパクトにされる、
   請求項６記載の方法。
9. 画像を複数のブロックに分割する手段、MP（Matching Pursuit）アルゴリズムに基づく空間予測を使用して前記現在のブロックをイントラ符号化する手段、その理論式が既知であるアトムのディクショナリから、現在のブロックの因果的近傍に最も相関するアトムを選択する手段を備える、画像の系列のビデオデータを符号化するエンコーダであって、
   当該エンコーダは、
   前記因果的近傍と選択されたアトムとの間の２次元の空間シフトを決定する手段と、
   前記選択されたアトムを前記２次元の空間シフトの値によってシフトして、新たなフェーズドアトムを生成する手段と、
   前記選択されたアトムよりも良好に相関する場合、前記MPアルゴリズムに従って、イントラ予測のために前記新たなフェーズドアトムを使用する、イントラ予測手段と、
   を備えることを特徴とするエンコーダ。
10. MP（Matching Pursuit）アルゴリズムを使用することでイントラ予測を計算する手段、その理論式が既知であるアトムのディクショナリから、復号化すべき現在のブロックの因果的近傍と最も相関するアトムを選択する手段を備える、現在のブロックを復号化するデコーダであって、
    当該デコーダは、
    前記現在のブロックの前記因果的近傍と前記選択されたアトムとの間の２次元の空間シフトを決定する手段と、
    前記選択されたアトムを前記２次元の空間シフトの値によってシフトして、新たなフェーズドアトムを生成する手段と、
    前記選択されたアトムよりも良好に相関する場合に、前記MPアルゴリズムに従って、前記新たなフェーズドアトムをイントラ予測のために使用するイントラ予測手段と、
    を備えることを特徴とするデコーダ。

Images