JP6251627B2

JP6251627B2 - ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号する方法および装置

Info

Publication number: JP6251627B2
Application number: JP2014083043A
Authority: JP
Inventors: ディボラエスコーダオスカー; イン　ペン; ペンイン
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2007-10-16
Filing date: 2014-04-14
Publication date: 2017-12-20
Anticipated expiration: 2028-10-15
Also published as: WO2009051719A3; KR101579394B1; EP2213098A2; KR20150127736A; JP2011501566A; CN101822064A; KR101566564B1; KR101681443B1; KR20100074192A; JP5526032B2; US20100208827A1; BRPI0818649A2; JP2014132792A; KR20140096143A; WO2009051719A2

Description

本発明の原理は、一般に、ビデオ符号化およびビデオ復号に関する。より詳細には、ジオメトリック分割されたスーパブロック（ｇｅｏｍｅｔｒｉｃａｌｌｙｐａｒｔｉｔｉｏｎｅｄｓｕｐｅｒｂｌｏｃｋ）をビデオ符号化およびビデオ復号する方法および装置に関する。

本出願は、２００７年１０月１６日に出願された米国特許仮出願第６０／９８０，２９７号明細書の利益を主張し、同出願は、その全体が参照により本明細書に組み込まれる。

現行のビデオ符号化規格のいくつかでは、ツリー構造マクロブロック分割（ｔｒｅｅ−ｓｔｒｕｃｔｕｒｅｄｍａｃｒｏｂｌｏｃｋｐａｒｔｉｔｉｏｎｉｎｇ）が採用されている。ＩＴＵ−Ｔ（国際電気通信連合電気通信部門）Ｈ．２６１勧告（これ以降「Ｈ．２６１勧告」）、ＩＳＯ／ＩＥＣ（国際標準化機構／国際電気標準会議）ムービングピクチャエキスパートグループ（ＭｏｖｉｎｇＰｉｃｔｕｒｅＥｘｐｅｒｔｓＧｒｏｕｐ）−１規格（これ以降「ＭＰＥＧ−１規格」）、およびＩＳＯ／ＩＥＣムービングピクチャエキスパートグループ−２規格／ＩＴＵ−ＴＨ．２６２勧告（これ以降「ＭＰＥＧ−２規格」）は、１６×１６マクロブロック（ＭＢ）パーティションのみをサポートする。ＩＳＯ／ＩＥＣムービングピクチャエキスパートグループ−４パート２シンプルプロファイル（ｓｉｍｐｌｅｐｒｏｆｉｌｅ）またはＩＴＵ−ＴＨ．２６３（＋）勧告は、１６×１６マクロブロックに対して、１６×１６パーティションおよび８×８パーティションの両方をサポートする。ＩＳＯ／ＩＥＣムービングピクチャエキスパートグループ−４パート１０アドバンストビデオ符号化（ＡｄｖａｎｃｅｄＶｉｄｅｏＣｏｄｉｎｇ）規格／ＩＴＵ−ＴＨ．２６４勧告（これ以降「ＭＰＥＧ−４ＡＶＣ規格」）は、ツリー構造階層マクロブロックパーティションをサポートする。１６×１６マクロブロックは、サイズが１６×８、８×１６、または８×８のマクロブロックパーティションに分割することができる。８×８パーティションは、サブマクロブロックとしても知られる。サブマクロブロックは、サイズが８×４、４×８、および４×４のサブマクロブロックパーティションにさらに分解することができる。

Ｐ（予測（ｐｒｅｄｉｃｔｉｖｅ））フレームが符号化されるか、それともＢ（双予測（ｂｉ−ｐｒｅｄｉｃｔｉｖｅ））フレームが符号化されるかに応じて、異なる予測構成が、ツリーベースパーティションを使用して可能である。これらの予測構成は、ＭＰＥＧ−４ＡＶＣ規格のエンコーダおよび／またはデコーダにおいて利用可能な符号化モードを定義する。Ｐフレームは、参照フレームからなる第１のリストから前方時間予測を可能にし、一方、Ｂフレームは、ブロックパーティションにおける後方予測／前方予測／双予測のために、参照フレームからなるリストを最大２つ使用することを可能にする。例えば、ＰフレームおよびＢフレームのためのこれらの符号化モードの例は、以下を含み、
Ｐフレーム：

Ｂフレーム：

ここで、「ＦＷＤ」は、前方予測リストからの予測を示し、「ＢＫＷ」は、後方予測リストからの予測を示し、「ＢＩ」は、前方リストおよび後方リストの両方からの双予測を示し、「ＦＷＤ−ＦＷＤ」は、前方予測リストからの２つの予測を示し、「ＦＷＤ−ＢＫＷ」は、前方予測リストからの第１の予測と、後方予測リストからの第２の予測を示す。

また、イントラフレームは、１６×１６ブロック、８×８ブロック、および／または４×４ブロックにおける予測符号化モードを可能にし、対応するマクロブロック符号化モードは、ＩＮＴＲＡ４ｘ４、ＩＮＴＲＡ１６ｘ１６、およびＩＮＴＲＡ８ｘ８である。

ＭＰＥＧ−４ＡＶＣ規格におけるフレームパーティションは、ＭＰＥＧ−２規格などのより旧式のビデオ符号化規格において一般に使用される、単純な一様ブロックパーティションよりも効率的である。しかし、ツリーベースのフレーム分割は、２Ｄ（２次元）データのジオメトリック構造を獲得できないために、いくつかの符号化シナリオにおいては非効率的であるので、不足点がないわけではない。そのような制限を解決するため、その２次元ジオメトリを考慮することによって、２次元ビデオデータをより良く表現し、符号化する従来技術の方法（これ以降「従来技術方法」）が導入された。従来技術方法は、インター予測（ＩＮＴＥＲ１６ｘ１６ＧＥＯ、ＩＮＴＥＲ８ｘ８ＧＥＯ）およびイントラ予測（ＩＮＴＲＡ１６ｘ１６ＧＥＯ、ＩＮＴＲＡ８ｘ８ＧＥＯ）の両方のための新しい１組のモードにおいて、ウェッジパーティション（ｗｅｄｇｅｐａｒｔｉｔｉｏｎ）（すなわち、ブロックを任意の直線または曲線によって分離された２つの領域に分けるパーティション）を利用する。

従来技術方法の一実施では、ジオメトリックパーティションモード（ｇｅｏｍｅｔｒｉｃｐａｒｔｉｔｉｏｎｍｏｄｅ）を具体化するための基礎として、ＭＰＥＧ−４ＡＶＣ規格が使用される。ブロック内でのジオメトリックパーティションは、直線の陰関数表示の公式（implicit formulation of a line）によってモデル化される。図１を参照すると、画像ブロックの例示的なジオメトリック分割が、全体として参照番号１００によって示されている。全体的な画像ブロックは、全体として参照番号１２０によって示され、画像ブロック１２０の２つのパーティションは、斜線１５０のそれぞれの側に配置され、全体としてそれぞれ参照番号１３０および１４０によって示されている。

したがって、パーティションは、以下のように定義され、
ｆ（ｘ，ｙ）＝ｘｃｏｓθ＋ｙｓｉｎθ−ρ
ここで、ρ、θは、それぞれ以下のものを、表す。
ｆ（ｘ，ｙ）と直角をなす方向における原点から境界線ｆ（ｘ，ｙ）までの距離
ｆ（ｘ，ｙ）と直角をなす方向と水平座標軸ｘがなす角度
その公式からの直接的な展開として、より高次のジオメトリックパラメータを有するｆ（ｘ，ｙ）についてのより込み入ったモデルも考えられる。

各ブロックピクセル（ｘ，ｙ）は、以下のように分類される。

符号化の目的で、可能なパーティション（またはジオメトリックモード）のディクショナリが事前定義される。これは、形式的に以下のように定義することができ、

および

ここで、ΔρおよびΔθは、選択された量子化（パラメータ解像度）ステップである。θおよびρの量子化インデックスは、エッジを符号化するために送られる情報である。しかし、符号化手順において、モード１６×８およびモード８×１６が使用される場合、ρ＝０のケースでは、角度０および９０は、可能なエッジの組から除去することができる。

従来技術方法では、ジオメトリ適応動き補償モード（ｇｅｏｍｅｔｒｙ−ａｄａｐｔｉｖｅｍｏｔｉｏｎｃｏｍｐｅｎｓａｔｉｏｎｍｏｄｅ）の場合、最良の構成を見出すために、各パーティションについて、θおよびρ、ならびに動きベクトル（ｍｏｔｉｏｎｖｅｃｔｏｒ）の探索が実行される。θおよびρのすべてのペアに対して、完全探索戦略が２つの段階を踏んで行われ、最良の動きベクトルが探索される。ジオメトリ適応イントラ予測モード（ｇｅｏｍｅｔｒｙ−ａｄａｐｔｉｖｅｉｎｔｒａｐｒｅｄｉｃｔｉｏｎｍｏｄｅ）では、最良の構成を見出すために、各パーティションについて、θおよびρ、ならびに最良の説明変数（ｐｒｅｄｉｃｔｏｒ）（方向予測または統計など）の探索が実行される。

図２を参照すると、ジオメトリ適応直線を用いて分割された例示的なＩＮＴＥＲ−Ｐ画像ブロックが、全体として参照番号２００によって示されている。全体的な画像ブロックは、全体として参照番号２２０によって示され、画像ブロック２２０の２つのパーティションは、全体としてそれぞれ参照番号２３０および２４０によって示されている。

ブロックの予測補償は、Ｐモードの場合、以下のように表すことができる。

ここで

は、現在の予測を表し、

および

は、それぞれパーティションＰ２およびＰ１のためのブロック動き補償された参照である。各ＭＡＳＫ_p（ｘ，ｙ）は、各パーティションの各ピクセル（ｘ，ｙ）のための寄与重み（ｃｏｎｔｒｉｂｕｔｉｏｎｗｅｉｇｈｔ）を含む。パーティション境界にないピクセルは一般に、いかなる操作も必要としない。実際のところ、マスク値は、１または０である。パーティション境界付近のピクセルだけが、両参照からの予測値を組み合わせる必要があることがある。

したがって、ジオメトリ適応ブロック分割を使用するビデオ符号化および画像符号化は、ビデオ符号化の効率を改善するための有望な方向であると認められている。ジオメトリ適応ブロック分割は、より正確なピクチャ予測を可能にし、インター予測および／またはイントラ予測などの局所予測モデルをピクチャの構造に従って適合させることができる。しかし、ＨＤ（高精細度）ビデオおよび画像の符号化利得は、依然として高める必要がある。

例えば、インターフレーム予測におけるジオメトリ適応ブロック分割は、低解像度から中解像度のビデオコンテンツに対しては、優れた符号化効率の改善を示す。一例として、ジオメトリック分割されたブロックは、動きエッジ（ｍｏｔｉｏｎｅｄｇｅ）が存在するブロックの予測を高めるうえで特に優れている。しかし、高精細度ビデオコンテンツの場合、ジオメトリックモードによって達成される利得には限界があり、ジオメトリックモードが必要とする複雑さと均衡がとれていない。１つのあり得る理由は、高精細度コンテンツは、より大きな信号構造を有するが、既存のビデオ符号化規格において使用されるマクロブロック（ＭＢ）サイズは、１６×１６サイズに固定されている（高精細度の増加したオブジェクトサイズに合わせて適切に拡大しない）ことである。

したがって、マクロブロックのジオメトリ適応分割は、符号化される高精細度コンテンツの少なくとも多くのタイプについては、高精細度符号化において大きな相違を生み出すことができていない。実際に、信号のはるかに大きな領域と比較して十分な情報を圧縮することができない。例えば、レート−歪み（ｒａｔｅ−ｄｉｓｔｏｒｔｉｏｎ）の観点からは、僅かなパーセンテージのブロックだけしか、低減されたＲ−Ｄコストを有さないので、ジオメトリック分割されるすべてのインターブロックによって導入される符号化利得は、「一様の」動きを有するはるかに大量のブロックによって平均化される。

ＨＤビデオ符号化のための拡大されたブロックサイズ
ＭＰＥＧ−４ＡＶＣ規格の限界を克服するために、高精細度コンテンツ圧縮に対して、様々な研究努力がなされてきた。これの明白な例は、マクロブロックサイズを増加させる研究である。成果として、１６×１６よりも大きいマクロブロックサイズを可能にしたことの利点が得られている。ＭＰＥＧ−４ＡＶＣ規格ビデオコーデックを補足するために、３２×３２、３２×１６、および１６×３２などの拡張されたパーティションブロックモードが使用された。拡大マクロブロックサイズを使用した場合、相対的に大きな利得を示すそのような拡張パーティションブロックモードの使用に向けられた効率性の成果を達成することができる。

しかしながら、これまでのところ、拡大ブロックサイズの使用に関連した研究は、単純な一様の４分木パーティション（ｑｕａｄ−ｔｒｅｅｐａｒｔｉｔｉｏｎ）を具体化しただけである。４分木分割は、高精細度コンテンツに対して、より低い解像度コンテンツの場合と同じ限界を示す。４分木分割は、２Ｄ（２次元）ビデオデータおよび／または画像データのジオメトリック構造を獲得することができない。

従来技術の上記および他の難点および不都合が、本発明の原理によって対処され、本発明の原理は、ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号するための方法および装置に関する。

本発明の原理の一態様によれば、装置の発明が提供される。その装置は、ピクチャの少なくとも部分について画像データを符号化するエンコーダを含む。画像データは、ジオメトリックパーティションをピクチャブロックパーティションに適用するジオメトリック分割によって形成される。ピクチャブロックパーティションは、トップダウン分割（ｔｏｐ−ｄｏｗｎｐａｒｔｉｔｉｏｎｉｎｇ）およびボトムアップツリー結合（ｂｏｔｔｏｍ−ｕｐｔｒｅｅｊｏｉｎｉｎｇ）の少なくとも一方から取得される。

本発明の原理の別の態様によれば、方法の発明が提供される。その方法は、ピクチャの少なくとも部分について画像データを符号化するステップを含む。画像データは、ジオメトリックパーティションをピクチャブロックパーティションに適用するジオメトリック分割によって形成される。ピクチャブロックパーティションは、トップダウン分割およびボトムアップツリー結合の少なくとも一方から取得される。

本発明の原理のまた別の態様によれば、装置の発明が提供される。その装置は、ピクチャの少なくとも部分について画像データを復号するデコーダを含む。画像データは、ジオメトリックパーティションをピクチャブロックパーティションに適用するジオメトリック分割によって形成される。ピクチャブロックパーティションは、トップダウン分割およびボトムアップツリー結合の少なくとも一方から取得される。

本発明の原理のさらに別の態様によれば、方法の発明が提供される。その方法は、ピクチャの少なくとも部分について画像データを復号するステップを含む。画像データは、ジオメトリックパーティションをピクチャブロックパーティションに適用するジオメトリック分割によって形成される。ピクチャブロックパーティションは、トップダウン分割およびボトムアップツリー結合の少なくとも一方から取得される。

本発明の原理の上記および他の態様、特徴および利点は、添付の図面と併せて読まれる、例示的な実施形態についての以下の詳細な説明から明らかとなろう。

画像ブロックの例示的なジオメトリック分割についての図である。ジオメトリック適応直線を用いて分割された例示的なＩＮＴＥＲ−Ｐ画像ブロックについての図である。本発明の原理の一実施形態による、本発明の原理が適用できる例示的なエンコーダについてのブロック図である。本発明の原理の一実施形態による、本発明の原理が適用できる例示的なデコーダについてのブロック図である。本発明の原理の一実施形態による、多数のマクロブロックをもたらすボトムアップおよびトップダウン手法を使用する例示的な複合スーパブロックおよびサブブロックツリーベースフレーム分割についての図である。本発明の原理の一実施形態による、図５Ａのツリーベース分割から形成された例示的なスーパブロックおよびサブブロックについての図である。本発明の原理の一実施形態による、マクロブロックの合併から形成された例示的なスーパブロックについての図である。本発明の原理の一実施形態による、スーパブロックのデブロッキング領域を管理するための例示的な手法についての図である。本発明の原理の一実施形態による、スーパブロックのデブロッキング領域を管理するための別の例示的な手法についての図である。ＭＰＥＧ−４ＡＶＣ規格によるラスタスキャン順序付けの一例と、本発明の原理の一実施形態によるジグザグスキャン順序付けの一例についての図である。本発明の原理の一実施形態による、ピクチャの例示的なパーティションについての図である。本発明の原理の一実施形態による、ビデオ符号化のための例示的な方法についてのフローチャートである。本発明の原理の一実施形態による、ビデオ復号のための例示的な方法についてのフローチャートである。

本発明の原理は、ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号するための方法および装置に関する。

本説明は、本発明の原理を説明する。したがって、本明細書において明示的に説明されずまたは示されなくても、本発明の原理を具体化し、本発明の主旨および範囲内に含まれる様々な構成を、当業者が考案できることが理解される。

本明細書で言及されるすべての例および条件的な説明は、教育的な目的で、本発明の原理と、発明者が貢献した当技術分野を発展させる概念とについての読者の理解を助けることを意図しており、そのような具体的に言及された例および条件に限定されるものではないと解釈されたい。

さらに、本発明の原理、本発明の原理の態様および実施形態について言及する本明細書のすべての言明、ならびに本発明の原理の具体的な例は、本発明の原理の構造的な均等物および機能的な均等物の両方を包含することを意図している。加えて、そのような均等物は、現在知られている均等物および将来開発される均等物の両方、すなわち、構造に関わりなく同じ機能を実行する任意の開発された要素を含むことが意図されている。

したがって、例えば、本明細書で提示されるブロック図は、本発明の原理を具体かする例示的な回路の概念図を表すことが当業者によって理解される。同様に、フローチャート、フロー図、状態遷移図、および疑似コードなどは、コンピュータ読取り媒体内に実質的に表現され得る様々な処理である。コンピュータまたはプロセッサが明示的に示されているかどうかに関わらず、そのようなコンピュータまたはプロセッサによって、表現されたように実行され得る様々な処理を表すことが理解される。

図に示される様々な要素の機能は、専用ハードウェア、および適切なソフトウェアに関連付けられたソフトウェア実行可能ハードウェアの使用を通して提供することができる。プロセッサによって提供される場合、機能は、単一の専用プロセッサによって、単一の共用プロセッサによって、またはそのいくつかが共用されてもよい複数の個別プロセッサによって提供することができる。さらに、「プロセッサ」または「コントローラ」という用語の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に指すと解釈されるべきではなく、限定することなく、ＤＳＰ（「デジタル信号プロセッサ」）ハードウェア、ソフトウェアを保存するためのＲＯＭ（「リードオンリメモリ」）、ＲＡＭ（「ランダムアクセスメモリ」）、および不揮発性ストレージを暗黙的に含むことができる。

従来のおよび／またはカスタマイズされた他のハードウェアを含むこともできる。同様に、図に示されたスイッチはいずれも、概念的なものにすぎない。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラムコントロールと専用ロジックの対話を通して、または文脈からより具体的に理解されるような、実装者によって選択可能な人手を介した特定の技法でさえも、実施することができる。

本発明の特許請求の範囲において、指定された機能を実行するための手段として表される任意の要素は、例えば、ａ）その機能を実行する回路要素の組み合わせ、またはｂ）任意の形態の、したがって、ファームウェアもしくはマイクロコードなどを含むソフトウェアであって、機能を実行するために、そのソフトウェアを実行するための適切な回路と組み合わされるソフトウェアを含む、その機能を実行する任意の方法を包含することが意図されている。そのような請求項によって確定される本発明の原理は、言及される様々な手段によって提供される機能が、請求項が要請する方式で組み合わされ、一体化されるという事実の中に存在する。したがって、それらの機能を提供できる任意の手段は、本明細書で示される手段の均等物であると見なされる。

本明細書における、本発明の原理の「一実施形態（ｏｎｅｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態（ａｎｅｍｂｏｄｉｍｅｎｔ）」についての言及は、その実施形態に関連して説明された特定の機能、構造および特徴などが、本発明の原理の少なくとも１つの実施形態に含まれることを意味する。したがって、「一実施形態では（ｉｎｏｎｅｅｍｂｏｄｉｍｅｎｔ）」または「一実施形態では（ｉｎａｎｅｍｂｏｄｉｍｅｎｔ）」という句の出現が、本明細書の様々な箇所において見られるが、必ずしもすべてが、同じ実施形態に言及しているわけではない。さらに、「別の実施形態では（ｉｎａｎｏｔｈｅｒｅｍｂｏｄｉｍｅｎｔ）」という句は、説明された実施形態の主題を、全体的または部分的に、別の実施形態と組み合わせることを排除しない。

「および／または」および「少なくとも一方」という語句の使用は、例えば、「Ａおよび／またはＢ」および「ＡおよびＢの少なくとも一方」のケースでは、第１の列挙選択肢（Ａ）のみの選択、または第２の列挙選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含することが意図されていることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣの少なくとも１つ」のケースでは、そのような句は、第１の列挙選択肢（Ａ）のみの選択、または第２の列挙選択肢（Ｂ）のみの選択、または第３の列挙選択肢（Ｃ）のみの選択、または第１および第２の列挙選択肢（ＡおよびＢ）のみの選択、または第１および第３の列挙選択肢（ＡおよびＣ）のみの選択、または第２および第３の列挙選択肢（ＢおよびＣ）のみの選択、または３つすべての列挙選択肢（ＡおよびＢおよびＣ）の選択を包含することを意図している。これは、当技術分野および関連技術分野の当業者に容易に明らかなように、多くの項目が列挙される場合に拡張することができる。

さらに、本発明の原理の１つまたは複数の実施形態は、本明細書ではＭＰＥＧ−４ＡＶＣ規格に関して説明されるが、本発明の原理は、この規格のみに限定されない。したがって、本発明の原理の主旨を維持しながら、他のビデオ符号化規格、勧告、およびＭＰＥＧ−４ＡＶＣ規格の拡張を含む、それらの拡張に関して利用できることを理解されたい。

加えて、本明細書で使用される「スーパブロック」という用語は、例えば、ＭＰＥＧ−２規格では８よりも大きいブロックサイズを有し、ＭＰＥＧ−４ＡＶＣ規格では４よりも大きいブロックサイズを有するブロックのことを指す。もちろん、本発明の原理は、これらの規格のみに限定されず、したがって、本明細書で提供される本発明の原理の教示を与えられた場合、当技術分野および関連技術分野の当業者は、他のビデオ符号化規格および勧告に関するスーパブロックに関係し得る異なるブロックサイズを理解し、容易に確認するであろうことを理解されたい。

さらに、本明細書で使用される「ベース分割サイズ（ｂａｓｅｐａｒｔｉｔｉｏｎｉｎｇｓｉｚｅ）」という用語は一般に、ＭＰＥＧ−４ＡＶＣ規格において定義されるマクロブロックのことを指す。もちろん、上で言及されたように、本発明の原理は、ＭＰＥＧ−４ＡＶＣ規格のみに限定されず、したがって、「ベース分割サイズ」は、当技術分野および関連技術分野の当業者に容易に明らかなように、本発明の原理の主旨を維持しながらも、他のビデオ符号化規格および勧告においては異なることができる。

さらに、本明細書で説明されるデブロッキングフィルタリングは、本発明の原理の主旨を維持しながら、符号化ループおよび／または復号ループの内側または外側で実行できることを理解されたい。

図３を参照すると、ＭＰＥＧ−４ＡＶＣ規格に従ってビデオ符号化を実行することが可能なビデオエンコーダが、全体として参照番号３００によって示されている。

ビデオエンコーダ３００は、合成器３８５の非反転入力に対して信号伝達を行う出力を有するフレーム配列バッファ３１０を含む。合成器３８５の出力は、ジオメトリックおよびスーパブロック拡張を伴う変換器および量子化器３２５の第１の入力に対して信号伝達（signal communication）を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴う変換器および量子化器３２５の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うエントロピコーダ３４５の第１の入力と、ジオメトリック拡張を伴う逆変換器および逆量子化器３５０の第１の入力とに対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うエントロピコーダ３４５の出力は、合成器３９０の第１の非反転入力に対して信号伝達を行うように接続される。合成器３９０の出力は、出力バッファ３３５の第１の入力に対して信号伝達を行うように接続される。

ジオメトリック拡張およびスーパブロック拡張を伴うエンコーダコントローラ３０５の第１の出力は、フレーム配列バッファ３１０の第２の入力と、ジオメトリック拡張およびスーパブロック拡張を伴う逆変換器および逆量子化器３５０の第２の入力と、ピクチャタイプ決定モジュール３１５の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うマクロブロックタイプ（ＭＢタイプ）決定モジュール３２０の第１の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うイントラ予測モジュール３６０の第２の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うデブロッキングフィルタ３６５の第２の入力と、ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器３７０の第１の入力と、ジオメトリック拡張およびスーパブロック拡張を伴う動き推定器３７５の第１の入力と、参照ピクチャバッファ３８０の第２の入力とに対して信号伝達を行うように接続される。

ジオメトリック拡張およびスーパブロック拡張を伴うエンコーダコントローラ３０５の第２の出力は、ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）挿入器３３０の第１の入力と、ジオメトリック拡張およびスーパブロック拡張を伴う変換器および量子化器３２５の第２の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うエントロピコーダ３４５の第２の入力と、出力バッファ３３５の第２の入力と、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）およびＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）挿入器３４０の入力とに対して信号伝達を行うように接続される。

ＳＥＩ挿入器３３０の出力は、合成器３９０の第２の非反転入力に対して信号伝達を行うように接続される。

ピクチャタイプ決定モジュール３１５の第１の出力は、フレーム配列バッファ３１０の第３の入力に対して信号伝達を行うように接続される。ピクチャタイプ決定モジュール３１５の第２の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うマクロブロックタイプ決定モジュール３２０の第２の入力に対して信号伝達を行うように接続される。

ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）およびＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）挿入器３４０の出力は、合成器３９０の第３の非反転入力に対して信号伝達を行うように接続される。

ジオメトリック拡張およびスーパブロック拡張を伴う逆量子化器および逆変換器３５０の出力は、合成器３１９の第１の非反転入力に対して信号伝達を行うように接続される。合成器３１９の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うイントラ予測モジュール３６０の第１の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うデブロッキングフィルタ３６５の第１の入力とに対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うデブロッキングフィルタ３６５の出力は、参照ピクチャバッファ３８０の第１の入力に対して信号伝達を行うように接続される。参照ピクチャバッファ３８０の出力は、ジオメトリック拡張およびスーパブロック拡張を伴う動き推定器３７５の第２の入力と、ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器３７０の第３の入力とに対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴う動き推定器３７５の第１の出力は、ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器３７０の第２の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴う動き推定器３７５の第２の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うエントロピコーダ３４５の第３の入力に対して信号伝達を行うように接続される。

ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器３７０の出力は、スイッチ３９７の第１の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うイントラ予測モジュール３６０の出力は、スイッチ３９７の第２の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うマクロブロックタイプ決定モジュール３２０の出力は、スイッチ３９７の第３の入力に対して信号伝達を行うように接続される。スイッチ３９７の第３の入力は、スイッチの（制御入力すなわち第３の入力との対比で）「データ」入力が、ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器３７０によって提供されるか、それともジオメトリック拡張およびスーパブロック拡張を伴うイントラ予測モジュール３６０によって提供されるかを決定する。スイッチ３９７の出力は、合成器３１９の第２の非反転入力と、合成器３８５の反転入力と対して信号伝達を行うように接続される。

フレーム配列バッファ３１０の第１の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うエンコーダコントローラ３０５の入力は、入力ピクチャを受け取るための、エンコーダ３００の入力として利用可能である。さらに、ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）挿入器３３０の第２の入力は、メタデータを受け取るための、エンコーダ３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するための、エンコーダ３００の出力として利用可能である。

図４を参照すると、ＭＰＥＧ−４ＡＶＣ規格に従ってビデオ復号を実行することが可能なビデオデコーダが、全体として参照番号４００によって示されている。

ビデオデコーダ４００は、ジオメトリック拡張およびスーパブロック拡張を伴うエントロピデコーダ４４５の第１の入力に対して信号伝達を行うように接続される出力を有する入力バッファ４１０を含む。ジオメトリック拡張およびスーパブロック拡張を伴うエントロピデコーダ４４５の第１の出力は、ジオメトリック拡張およびスーパブロック拡張を伴う逆変換器および逆量子化器４５０の第１の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴う逆変換器および逆量子化器４５０の出力は、合成器４２５の第２の非反転入力に対して信号伝達を行うように接続される。合成器４２５の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うデブロッキングフィルタ４６５の第２の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うイントラ予測モジュール４６０の第１の入力とに対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うデブロッキングフィルタ４６５の第２の出力は、参照ピクチャバッファ４８０の第１の入力に対して信号伝達を行うように接続される。参照ピクチャバッファ４８０の出力は、ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器４７０の第２の入力に対して信号伝達を行うように接続される。

ジオメトリック拡張およびスーパブロック拡張を伴うエントロピデコーダ４４５の第２の出力は、ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器４７０の第３の入力と、ジオメトリック拡張およびスーパブロック拡張を伴うデブロッキングフィルタ４６５の第１の入力とに対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うエントロピデコーダ４４５の第３の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うデコーダコントローラ４０５の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うデコーダコントローラ４０５の第１の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うエントロピデコーダ４４５の第２の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うデコーダコントローラ４０５の第２の出力は、ジオメトリック拡張およびスーパブロック拡張を伴う逆変換器および逆量子化器４５０の第２の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うデコーダコントローラ４０５の第３の出力は、ジオメトリック拡張およびスーパブロック拡張を伴うデブロッキングフィルタ４６５の第３の入力に対して信号伝達を行うように接続される。ジオメトリック拡張を伴うデコーダコントローラ４０５の第４の出力は、ジオメトリック拡張を伴うイントラ予測モジュール４６０の第２の入力と、ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器４７０の第１の入力と、参照ピクチャバッファ４８０の第２の入力とに対して信号伝達を行うように接続される。

ジオメトリック拡張およびスーパブロック拡張を伴う動き補償器４７０の出力は、スイッチ４９７の第１の入力に対して信号伝達を行うように接続される。ジオメトリック拡張およびスーパブロック拡張を伴うイントラ予測モジュール４６０の出力は、スイッチ４９７の第２の入力に対して信号伝達を行うように接続される。スイッチ４９７の出力は、合成器４２５の第１の非反転入力に対して信号伝達を行うように接続される。

入力バッファ４１０の入力は、入力ビットストリームを受け取るための、デコーダ４００の入力として利用可能である。ジオメトリック拡張を伴うデブロッキングフィルタ４６５の第１の出力は、出力ピクチャを出力するための、デコーダ４００の出力として利用可能である。

上で言及されたように、本発明の原理は、ジオメトリック分割されたスーパブロックをビデオ符号化およびビデオ復号する方法および装置に関する。

一実施形態では、より大きなブロックサイズまたはスーパブロックの分割に基づいた新しいジオメトリ適応分割フレームワークが提案される。特に、これは、より大きなフォーマットサイズのコンテンツを有するピクチャ内の冗長性を利用するようにより良く適合される。その結果、コンテンツ解像度が増加した場合の、ジオメトリック分割されたブロックの性能の低下を小さくする、ブロックパーティションを提供することによって、ＨＤ（高精細度）ビデオコンテンツの符号化効率を改善することができる。

一実施形態では、３２×３２および６４×６４などのスーパマクロブロックサイズ（例えば、図５Ａ、図５Ｂ、および図６を参照）において、ジオメトリック分割が導入される。

図５Ａを参照すると、多数のマクロブロックをもたらすボトムアップおよびトップダウン手法を使用する例示的な複合スーパブロックおよびサブブロックツリーベースフレーム分割が、全体として参照番号５００によって示されている。マクロブロックは、全体として参照番号５１０によって示されている。図５Ｂを参照すると、図５Ａのツリーベース分割５００から形成された例示的なスーパブロックおよびサブブロックが、全体としてそれぞれ参照番号５５０および５６０によって示されている。図６を参照すると、例示的なスーパブロックが、全体として参照番号６００によって示されている。スーパブロック６００は、マクロブロック５１０の合併から形成される。（スーパブロック６００内の）左上のマクロブロックが、全体として参照番号６１０によって示されている。

スーパマクロブロックジオメトリック分割は、独立して（すなわちそれ単独で）使用することができ、または４分木分割に基づいたスーパマクロブロックの他の単純な分割の使用と組み合わせることができる。例えば、一実施形態では、Ｉｎｔｅｒ３２ｘ３２ＧＥＯモード、Ｉｎｔｅｒ３２ｘ３２モード、Ｉｎｔｅｒ３２ｘ１６モード、およびＩｎｔｅｒ１６ｘ３２モードを、インター予測用の通常のＭＰＥＧ−４ＡＶＣ規格符号化モードの他のもの（the rest）と一緒に使用することができる。先に挙げたパーティションサイズおよび符号化モードは、例示的なものにすぎない。したがって、本明細書で提供される本発明の原理の教示を与えられた場合、当技術分野および関連技術分野の当業者は、本発明の原理の主旨を維持しながら、上記および他の様々なパーティションサイズおよび符号化モード、ならびに符号化および復号に関する他の変形を企図するであろうことを理解されたい。例えば、当技術分野および関連技術分野の当業者は、より大きなコンテンツサイズに対するジオメトリック分割を使用してイントラコーディングモードを一般化する同様の手法が、本発明の原理の主旨の範囲内に明らかに含まれることを容易に理解できるであろう。

したがって、本明細書で説明される１つまたは複数の実施形態は、３２×３２という特定のスーパブロックサイズに関して、またＭＰＥＧ−４ＡＶＣ規格に関して説明されるが、本発明の原理は、そのようなサイズおよび規格に限定されない。本発明の原理の主旨を維持しながら、他のスーパブロックサイズおよび他のビデオ符号化規格、勧告ならびにそれらの拡張に関して使用することができる。

したがって、一実施形態では、表１に示されるモードに加えて、新しいスーパブロックモードであるＩＮＴＥＲ３２ｘ３２ＧＥＯが追加される。

ＩＮＴＥＲ３２ｘ３２ＧＥＯの場合、ジオメトリック分割されるより小さなサイズのブロックと同様に、パーティションエッジを記述するのに必要な情報を送る必要がある。一実施形態では、分割エッジは、１対のパラメータ（θおよびρ）によって決定することができる。各パーティションについて、適切な説明変数が符号化される。すなわち、Ｐフレームの場合、２つの動きベクトル（スーパブロックの各パーティションについて１つ）が符号化される。Ｂフレームの場合、前方予測、後方予測、または双予測など、各パーティションのための予測モードが符号化される。この情報は、符号化モードとは別個にまたは一緒に符号化することができる。Ｂフレームの場合、すべてのジオメトリックパーティションにおいて使用される予測モードに応じて、（予測リストの１つからの）１つの動きベクトル、または２つの動きベクトルが、符号化ブロックの情報の残りと一緒に符号化される。エッジ情報および／または動き情報は、関連情報を明示的に送ることによって、または関連情報をエンコーダ／デコーダにおいて暗黙的に導出することによって、符号化できることに留意されたい。実際、一実施形態では、与えられたブロックのエッジ情報が、すでに符号化／復号された利用可能なデータから導出されるように、および／または少なくとも１つのパーティションの動き情報が、すでに符号化／復号された利用可能なデータから導出されるように、暗黙的導出規則（implicit derivation rules）を定義することができる。

整列した（ｉｎｆｏｒｍａｔｉｏｎ）動きの効率的な明示的符号化は、すでに符号化／復号された利用可能なデータを使用する予測モデルに基づいた動き予測の使用を必要とする。スーパマクロブロック上でのジオメトリック分割符号化モードのための動きベクトル予測の場合、ＩＮＴＥＲ１６ｘ１６ＧＥＯと同様の手法を使用することができる。すなわち、パーティション内の動きベクトルは、各パーティションの利用可能な４×４動き隣接サブブロック（ｓｕｂ−ｂｌｏｃｋｍｏｔｉｏｎｎｅｉｇｈｂｏｒ）から、パーティションの形状に応じた各リストについて予測される。エッジパーティションが横断する隣接４×４サブブロックを与えられた場合、検討される動きベクトルは、４×４サブブロックと最も大きく重なり合うパーティションからの動きベクトルである。

残差符号化
ジオメトリック分割ブロックモードを使用する予測の後に残る残差信号(residual signal)は、変換され、量子化され、エントロピ符号化される。ＭＰＥＧ−４ＡＶＣ規格のフレームワークでは、符号化マクロブロック毎に、サイズ８×８およびサイズ４×４の変換を選択することができる。ジオメトリック分割されたスーパマクロブロックにも同じことを適用することができる。しかし、一実施形態では、スーパマクロブロックにおいてより効率的なジオメトリ適応符号化モードを用いて達成されたより平滑な残差をより良く処理するために、より大きな変換を使用する可能性を具体化することができる。スーパマクロブロック毎、スーパマクロブロック内のマクロブロックパーティション毎、およびスーパマクロブロック内のマクロブロックパーティション内のサブマクロブロックパーティション毎の少なくとも１つについて、変換のサイズを選択する可能性を可能にすることができる。一実施形態では、選択できる可能な変換は、４×４、８×８、および１６×１６である。最終的には、別の実施形態において、３２×３２変換さえも検討できよう。別の例では、４×４変換および８×８変換をサポートする、ＭＰＥＧ−４ＡＶＣ規格における既存のシンタックスを再利用することができる。しかし、１組の可能な変換を、４×４変換および８×８変換の代わりに、すなわちシンタックスのセマンティクスを変更することによって、８×８変換および１６×１６変換に変更することができる。具体的には、ＭＰＥＧ−４ＡＶＣ規格では、以下のシンタックスセマンティクスが説明されている。

ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇは、１に等しい場合、現在のマクロブロックについて、変換係数復号プロセスおよびピクチャ構成プロセスが、残差８×８ブロックのためのデブロッキングフィルタプロセスに先立って、輝度サンプルのために起動されることを規定（specify）する。ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇは、０に等しい場合、現在のマクロブロックについて、変換係数復号プロセスおよびピクチャ構成プロセスが、残差４×４ブロックのためのデブロッキングフィルタプロセスに先立って、輝度サンプルのために起動されることを規定する。ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇがビットストリーム内に存在しない場合、それは０に等しいと推測される。

セマンティクスを、以下のように変更することができる。

ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇは、１に等しい場合、現在のマクロブロックについて、変換係数復号プロセスおよびピクチャ構成プロセスが、残差８×８ブロックのためのデブロッキングフィルタプロセスに先立って、輝度サンプルのために起動されることを指定する。ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇは、０に等しい場合、現在のマクロブロックについて、変換係数復号プロセスおよびピクチャ構成プロセスが、残差１６×１６ブロックのためのデブロッキングフィルタプロセスに先立って、輝度サンプルのために起動されることを指定する。ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇがビットストリーム内に存在しない場合、それは１に等しいと推測される。

デブロッキングフィルタリング
インループデブロッキングフィルタリング（ｉｎ−ｌｏｏｐｄｅ−ｂｌｏｃｋｉｎｇｆｉｌｔｅｒｉｎｇ）は、予測のブロック構造によって、および残差符号化ＭＰＥＧ−４ＡＶＣ規格変換によって導入されるブロッキングアーチファクトを低減させる。インループデブロッキングフィルタリングは、符号化ビデオデータと、ブロック境界で隔てられたピクセル間の局所強度差とに基づいて、フィルタリング強度を適合させる。一実施形態では、スーパマクロブロックがジオメトリック分割される場合、ＩＮＴＥＲ３２ｘ３２ＧＥＯ符号化モード（すなわち４つの１６×１６マクロブロックの合併のジオメトリックパーティション）を有することができ、残差信号をコード化するために異なる変換サイズを使用することができる。一実施形態では、デブロッキングフィルタリングは、ジオメトリック分割されるスーパマクロブロックにおいて使用するために適合される。実際、マクロブロック境界の代わりに、スーパマクロブロック境界が、濃淡むらアーチファクト（ｂｌｏｃｋｙａｒｔｉｆａｃｔ）を示す可能性を有する位置であると見なされる。同時に、変換境界は、ブロッキングアーチファクトが出現し得る位置である。したがって、（１６×１６変換など）より大きなサイズの変換が使用される場合、すべての４×４ブロック境界および／または８×８ブロック境界の代わりに、１６×１６ブロック変換境界が、ブロッキングアーチファクトを示し得る。

例示的な一実施形態では、インループデブロッキングフィルタモジュールが、フィルタ強度決定のプロセスをＩＮＴＥＲ３２ｘ３２ＧＥＯモードおよび他のモード用に適合させることによって拡張される。このプロセスは今では、内部スーパブロックパーティションの特定の形状を考慮して、フィルタ強度を決定できるべきである。フィルタリングするスーパブロック境界の部分に応じて、フィルタ強度決定のプロセスは、他のＭＰＥＧ−４ＡＶＣモードによって行われるように４×４ブロックに従うことなく、（図７に示されるような）パーティション形状に従って、適切な動きベクトルおよび参照フレームを取得する。図７を参照すると、スーパブロックのデブロッキング領域を管理するための例示的な手法が、全体として参照番号７００によって示されている。動きベクトルＭＶ_P0およびＰ０からの参照フレームを用いて計算されたデブロッキング強度が、全体として参照番号７１０によって示されている。動きベクトルＭＶ_P1およびＰ１からの参照フレームを用いて計算されたデブロッキング強度が、全体として参照番号７２０によって示されている。スーパブロック７３０は、ジオメトリックパーティション（ＩＮＴＥＲ３２ｘ３２ＧＥＯモード）を使用して、４つのマクロブロック７３１、７３２、７３３、７３４から形成される。

特定のピクチャ位置におけるデブロッキング強度を設定する際、予測情報（例えば動きベクトルおよび／または参照フレームなど）が考慮される。位置を与えられると、フィルタリングされる変換ブロックサイドと最も大きく重なり合うパーティションを選択することによって、予測情報が抽出される。しかし、コーナブロックにおける計算を簡略化する第２の代替的方法は、変換ブロック全体を検討して、フィルタリングが施される両ブロック境界の最大部分を含むパーティションから動き情報および参照フレーム情報を得ることを含む。

デブロッキングインループフィルタリングをジオメトリック分割によるスーパブロック分割の使用と組み合わせるための方法の別の例は、ＩＮＴＥＲ３２ｘ３２ＧＥＯモードおよび他のモードなどの符号化モードのために、スーパブロック境界を通したある程度のフィルタリングを常に可能にすることである。同時に、スーパマクロブロックの境界に配置されていない変換ブロック（例えば図８を参照）には、スーパブロックジオメトリックモードにおいて、デブロッキングフィルタリングを適用しても良いし、または適用しなくても良い。図８を参照すると、スーパブロックのデブロッキング領域を管理するための別の例示的な手法が、全体として参照番号８００によって示されている。図８の例は、ＩＮＴＥＲ３２ｘ３２ＧＥＯスーパマクロブロックモードに関し、スーパマクロブロック８１０がそれから形成されるマクロブロック８１０と、残差についての変換ブロック８２０の位置を示している。さらに、領域８３０および８４０は、それぞれ１に等しいデブロッキングフィルタリング強度および０に等しいデブロッキングフィルタリング強度に対応する。予測パーティションの間のジオメトリック境界が、参照番号８６０によって示されている。

符号化モードシグナリング
ジオメトリック分割されたスーパマクロブロック符号化モードは、他の符号化モードに対して弁別的（distinctive）なシグナリングを必要とする。一例では、ＩＮＴＥＲ３２ｘ３２ＧＥＯの一般的使用は、新しい高レベルのシンタックス要素（例えば、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｅｎａｂｌｅ）を追加することによって、可能にされ、および／または不可にされる。このシンタックス要素は、限定することなく、例えば、スライスレベル、ピクチャレベル、シーケンスレベルで、および／またはＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）メッセージで送ることができる。デコーダでは、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｅｎａｂｌｅが１に等しい場合、ジオメトリック分割されるスーパマクロブロックの使用が可能にされる。そうではなく、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｅｎａｂｌｅが０に等しい場合、ジオメトリック分割されたスーパマクロブロックの使用は不可とされる。

ジオメトリックパーティションを有するスーパマクロブロックの使用が可能にされるケースに関する一実施形態では、マクロブロック内でのスキャニング順序は、ＩＮＴＥＲ３２ｘ３２ＧＥＯスーパマクロブロックモードにより良く適合するように、単純なラスタスキャン順序からジグザグ順序に変更される。図９を参照すると、ＭＰＥＧ−４ＡＶＣ規格によるラスタスキャン順序付けの一例と、本発明の原理の一実施形態によるジグザグスキャン順序付けの一例が、全体としてそれぞれ参照番号９００および９５０によって示されている。マクロブロックは、参照番号９１０によって示されている。ラスタスキャン順序からジグザグスキャン順序へのスキャニング順序のこの変更は、通常のＩＮＴＥＲ１６ｘ１６ＧＥＯおよび他のＭＰＥＧ−４ＡＶＣ規格符号化モード（マクロブロックレベルおよびサブマクロブロックレベルに存在する符号化モード）と併用されるＩＮＴＥＲ３２ｘ３２ＧＥＯ（スーパマクロブロックレベルに存在する符号化モード）の適応的な使用をより良く適合させる。図１０を参照すると、ピクチャの例示的なパーティションが、全体として参照番号１０００によって示されている。パーティション１０００に関して、ジオメトリック分割されたスーパマクロブロック（例えば、ＩＮＴＥＲ３２ｘ３２ＧＥＯ）１０１０が使用して、従来のマクロブロック構造を使用してピクチャのいくつかの領域が符号化されるのと同時に、１６×１６マクロブロックの合併（unions）（例えば、ＩＮＴＥＲ１６ｘ１６マクロブロック１０３０とＩＮＴＥＲ１６ｘ１６マクロブロック１０４０）を符号化する。図１０では、最下行のブロックは、従来のマクロブロック構造に対応している。

ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｅｎａｂｌｅが０に等しい場合、表１に列挙されたモードだけが、ラスタスキャニング順序を使用するマクロブロックを基礎とした符号化のために検討される。

一般性を失うことなく、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇのための他の多くの名前を考えることができ、それらは、本発明の原理の主旨の中に包含される。

スーパマクロブロックジオメトリックパーティションをいつどこで使用すべきかをデコーダに伝達するために、本発明の原理によれば、付加的な情報および／またはシンタックスを作成し、生成し、例えばスライスデータ内に挿入することができる。

一実施形態では、スーパマクロブロック分割が実行されるにも関わらず、マクロブロックシグナリング構造が維持される。これは、ＭＰＥＧ−４ＡＶＣ規格からのものなど、既存のマクロブロックタイプ符号化モードと、ＩＮＴＥＲ１６ｘ１６ＧＥＯ、ＩＮＴＥＲ８ｘ８ＧＥＯ、ＩＮＴＲＡ１６ｘ１６ＧＥＯ、およびＩＮＴＲＡ８ｘ８ＧＥＯの少なくとも１つが、選択可能モードとして、ＭＰＥＧ−４ＡＶＣ規格によって使用されるモードのリスト（例えば表１を参照）に追加された、ジオメトリ適応ブロック分割を用いる最終的な拡張のための任意の符号化モードとを再利用することを可能にする。これは、既存の従来のコーデックの一部を再利用できるので、新しいコーデックの構成を簡略化する。

上述のようなマクロブロックベースのシグナリングフレームワークと、マクロブロックスキャニング順序の変更（図９を参照）を与えられた場合、本発明の一実施形態では、ジオメトリック分割されたスーパマクロブロックが、スライスおよび／またはピクチャの与えられた位置で使用されることを、マクロブロックレベルにおけるフラグ（例えば、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇ）の追加によって通知することができる。このフラグの使用によって、モードＩＮＴＥＲ１６ｘ１６ＧＥＯを有するマクロブロックに制限することができる。これは、このフラグを使用して単純に１または０を通知することによって、導入された符号化モードＩＮＴＥＲ３２ｘ３２ＧＥＯを通知するための、そのようなモード符号化構造の再利用を可能にする。さらに、スーパマクロブロックは、マクロブロックパーティションに対して階層的に構成され、この例では、スーパマクロブロックは、２×２マクロブロックから成るので、ｘが偶数であり、ｙも偶数である（ｘ，ｙ）座標を有する位置に配置されたマクロブロックだけが、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇフラグを保有する必要がある。このため、スライス内の左上隅のマクロブロックは、（０，０）マクロブロックであると仮定する。

これに基づいて、偶数−偶数の（ｘ，ｙ）座標（例えば、（２，２））を有するマクロブロックが、ＩＮＴＥＲ１６ｘ１６ＧＥＯタイプであり、１に等しく設定されたｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇを有する場合、そのようなケースは、マクロブロック（２，２）、（２，３）、（３，２）、および（３，３）が、ジオメトリックパーティションを有するスーパマクロブロック内にグループ化されることを示す。そのようなケースでは、（ジオメトリックパーティションの角度または位置などの）ジオメトリック情報に関するマクロブロック（２，２）のシンタックスが再利用されて、スーパマクロブロックのジオメトリック情報を送ることができる。最終的に、一実施形態では、ジオメトリックパラメータがコード化される解像度は、可能な限り最良の符号化効率を達成するように、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇに応じて変更することができる。同じことが、動き情報およびスーパマクロブロック予測にも適用される。このことの結果、（２，２）マクロブロックは、符号化モードと、スーパマクロブロックデータの予測とを決定するのに必要なすべての情報を含むので、マクロブロック（２，３）、（３，２）、（３，３）においては、モード情報も、予測情報も送る必要はない。本発明の一実施形態では、そのようなマクロブロックにおいては、残差だけが送られれば良い。しかし、残差データがすべて、マクロブロック（２，２）のマクロブロックデータ構造内で送られるように方式を変更することができ、それも本発明の原理の範囲内に依然として包含されることは、当業者であれば理解されよう。ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇに応じて、マクロブロックレベルにおける残差符号化の構造を変更することが単に必要なだけである。ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇが１に等しい場合、残差スーパブロックが符号化される（すなわち３２×３２残差）。そうではなく、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇが０に等しい場合、単一のマクロブロック残差が符号化される。

本発明の一実施形態では、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇに応じて、例えば８×８または１６×１６など、残差変換のサイズも変更することができる。また、本発明の一実施形態では、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇに応じて、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇのセマンティクスを変更することができる。例えば、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇ＝１である場合に、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇ＝１である場合、８×８変換が使用され、そうではなく、ｔｒａｎｓｆｏｒｍ＿ｓｉｚｅ＿８ｘ８＿ｆｌａｇ＝０である場合、１６×１６変換が使用される。

本発明の別の実施形態では、ジオメトリックスーパマクロブロックモード（例えば、ＩＮＴＥＲ３２ｘ３２ＧＥＯ）が使用される場合であっても、依然としてマクロブロック毎に変換サイズを変更することができる。

本明細書における上記の定義および説明に基づいて、当業者は、ジオメトリックスーパマクロブロックモードが使用されるかどうかに応じて、ＣＢＰ（ＭＰＥＧ−４ＡＶＣ規格の符号化ブロックパターン（ｃｏｄｅｄｂｌｏｃｋｐａｔｔｅｒｎ））および／または変換サイズなど、残差関連のシンタックスおよびセマンティクスの様々な異なる実施を予見することができる。これの一例では、スーパマクロブロックレベルにおいてＣＢＰの新しい定義を実施し、単一のビットを使用したスーパマクロブロックレベルにおける全ゼロ残差（ｆｕｌｌｚｅｒｏｒｅｓｉｄｕａｌ）のシグナリングを可能にすることができる。本明細書で提供される本発明の原理の教示を与えられた場合、ＣＢＰに関する先に挙げた変形は、本発明の原理の主旨を維持しながら、当技術分野および関連技術分野の当業者が考え出し得る、多くの実施の１つにすぎないことを理解されたい。

ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇが０に等しい場合、マクロブロック（２，２）は、ＩＮＴＥＲ１６ｘ１６ＧＥＯマクロブロックのために定義されたように通常通り符号化される。マクロブロック（２，３）、（３，２）、（３，３）も、通常通り符号化され、一実施形態では表１で定義されたものとすることができる、すべてのマクロブロックレベルモードのための事前確立された定義に従う。

偶数−偶数位置のマクロブロックが、ＩＮＴＥＲ１６ｘ１６ＧＥＯ符号語を使用して符号化されない場合、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｆｌａｇは、データ内に挿入されず、上記の例に関して、マクロブロック（２，２）、（２，３）、（３，２）、および（３，３）は、一実施形態では表１で定義されたような通常の符号化モードを使用して、マクロブロックレベルにおいて別々に符号化される。

一実施形態では、例示的なエンコーダは、スーパマクロブロックＩＮＴＥＲ３２ｘ３２ＧＥＯの符号化効率コストを、スーパマクロブロックの同じ位置に埋め込まれた４つの１６×１６マクロブロックの合計の符号化効率コストと比較し、その後、エンコーダは、コストが最低の符号化戦略を、すなわち、ＩＮＴＥＲ３２ｘ３２ＧＥＯ符号化モードか、それとも４つのマクロブロックの符号化モードか、どちらかより低い符号化コストを有するほうを選択する。

表２は、マクロブロックレイヤのためのＭＰＥＧ−４規格シンタックス要素を示している。表３は、ジオメトリック分割されたマクロブロックおよびスーパマクロブロックをサポートすることが可能な例示的な修正マクロブロックレイヤ構造を示している。一実施形態では、ジオメトリック情報は、符号化手続きｍｂ＿ｐｒｅｄ（ｍｂ＿ｔｙｐｅ）内で処理される。この例示的な修正マクロブロック構造は、ｉｎｔｅｒ３２ｘ３２ｇｅｏ＿ｅｎａｂｌｅが１に等しいと仮定する。一実施形態では、各スーパマクロブロックグループを復号する前に、スライスレベルで、シンタックス要素ｉｓＭａｃｒｏｂｌｏｃｋＩｎＧＥＯＳｕｐｅｒＭａｃｒｏｂｌｏｃｋを０に初期化することができる。

図１１を参照すると、ビデオ符号化のための例示的な方法が、全体として参照番号１１００によって示されている。方法１１００は、スーパマクロブロック上のジオメトリ適応パーティションを、マクロブロックサイズ符号化モードと組み合わせる。

方法１１００は、開始ブロック１１０５を含み、開始ブロック１１０５は、制御をループ端ブロック１１１０に渡す。ループ端ブロック１１１０は、すべてのスーパブロックｉに関するループを開始し、制御をループ端ブロック１１１５に渡す。ループ端ブロック１１１５は、スーパブロックｉ内のすべてのマクロブロックｊに関するループを開始し、制御を機能ブロック１１２０に渡す。機能ブロック１１２０は、最良のマクロブロック符号化モードを見出し、制御を機能ブロック１１２５に渡す。機能ブロック１１２５は、最良の符号化モードおよびその符号化コストを保存し、制御をループ端ブロック１１３０に渡す。ループ端ブロック１１３０は、スーパブロックｉ内のすべてのマクロブロックｊに関するループを終了し、制御を機能ブロック１１３５に渡す。機能ブロック１１３５は、ＧＥＯスーパブロックモード（例えば、ＩＮＴＥＲ３２ｘ３２ＧＥＯ）をテストし、制御を機能ブロック１１４０に渡す。機能ブロック１１４０は、ＧＥＯスーパブロックモードの符号化コストを保存し、制御を判定ブロック１１４５に渡す。判定ブロック１１４５は、ＧＥＯスーパブロックモードの符号化コストが、スーパブロックグループ内のすべてのマクロブロックのコストの和よりも小さいかどうかを決定する。小さい場合、制御は機能ブロック１１５０に渡される。それ以外の場合、制御はループ端ブロック１１６０に渡される。

機能ブロック１１５０は、スーパブロックグループをＧＥＯスーパブロックとして符号化し、制御をループ端ブロック１１５５に渡す。ループ端ブロック１１５５は、すべてのスーパブロックｉに関するループを終了し、制御を終了ブロック１１９９に渡す。

ループ端ブロック１１６０は、スーパブロックｉ内のすべてのマクロブロックｊに関するループを開始し、制御を機能ブロック１１６５に渡す。機能ブロック１１６５は、最良の符号化モードに従って現在のマクロブロックｊを符号化し、制御をループ端ブロック１１７０に渡す。ループ端ブロック１１７０は、スーパブロックｉ内のすべてのマクロブロックｊに関するループを終了し、制御をループ端ブロック１１５５に渡す。

図１２を参照すると、ビデオ復号のための例示的な方法が、全体として参照番号１２００によって示されている。方法１２００は、スーパマクロブロック上のジオメトリ適応パーティションを、マクロブロックサイズ符号化モードと組み合わせる。

方法１２００は、開始ブロック１２０５を含み、開始ブロック１２０５は、制御をループ端ブロック１２１０に渡す。ループ端ブロック１２１０は、すべてのスーパブロックグループｉに関するループを開始し、制御をループ端ブロック１２１５に渡す。ループ端ブロック１２１５は、スーパブロックグループｉ内のすべてのマクロブロックｊに関するループを開始し、制御を判定ブロック１２２０に渡す。判定ブロック１２２０は、これがＧＥＯ符号化スーパブロックであるかどうかを決定する。ＧＥＯ符号化スーパブロックである場合、制御は機能ブロック１１２５に渡される。それ以外の場合、制御はループ端ブロック１２３５に渡される。

機能ブロック１１２５は、スーパブロックグループをＧＥＯスーパブロックとして復号し、制御をループ端ブロック１２３０に渡す。ループ端ブロック１２３０は、すべてのスーパブロックｉに関するループを終了し、制御を終了ブロック１２９９に渡す。

ループ端ブロック１２３５は、スーパブロックｉ内のすべてのマクロブロックｊに関するループを開始し、制御を機能ブロック１２４０に渡す。機能ブロック１２４０は、現在のマクロブロックｊを復号し、制御をループ端ブロック１２４５に渡す。ループ端ブロック１２４５は、スーパブロックｉ内のすべてのマクロブロックｊに関するループを終了し、制御をループ端ブロック１２３０に渡す。

本発明の多くの付随する利点／特徴のいくつかについての説明が今から与えられるが、そのいくつかは、上で言及されている。例えば、１つの利点／特徴は、ピクチャの少なくとも部分について画像データを符号化するエンコーダを有する装置である。画像データは、ジオメトリックパーティションをピクチャブロックパーティションに適用するジオメトリック分割によって形成される。ピクチャブロックパーティションは、トップダウン分割およびボトムアップツリー結合の少なくとも一方から取得される。

別の利点／特徴は、上で説明されたようなエンコーダを有する装置であり、ジオメトリック分割が、画像データを符号化するために使用される与えられたビデオ符号化規格またはビデオ符号化勧告のベース分割サイズよりも大きいパーティションサイズで使用するために使用可能にされる。

また別の利点／特徴は、上で説明されたようなエンコーダを有する装置であり、エンコーダは、ベース分割サイズよりも大きいパーティションサイズを有するジオメトリックパーティションの少なくとも１つを、ベース分割サイズを有するベースパーティションと組み合わせる。ベースパーティションは、ピクチャブロックパーティションのうちの少なくとも１つの少なくとも部分に対応する。

さらに別の利点／特徴は、上で説明されたようなエンコーダを有する装置であり、エンコーダは、部分のためのエッジ情報および動き情報の少なくとも一方について、暗黙的コード化および明示的コード化の少なくとも一方を行う。

さらに、別の利点／特徴は、上で説明されたようなエンコーダを有する装置であり、少なくとも部分に対応する残差が、パーティション境界を横断することを許可された少なくとも１つの可変サイズ変換を使用して符号化される。

さらに、別の利点／特徴は、上で説明されたようなエンコーダを有する装置であり、ジオメトリック分割を考慮してデブロッキングフィルタリングを実行するためのデブロッキングフィルタをさらに含む。

また、別の利点／特徴は、上で説明されたようなエンコーダを有する装置であり、エンコーダは、高レベルシンタックスレベル、シーケンスレベル、ピクチャレベル、スライスレベル、およびブロックレベルの少なくとも１つにおけるジオメトリックパーティションの使用を通知する。

加えて、別の利点／特徴は、上で説明されたようなエンコーダを有する装置であり、エンコーダは、暗黙的データおよび明示的データの少なくとも一方を使用して、ピクチャブロックパーティションの少なくとも１つのための局所スーパブロックに関連した情報を通知する。

本発明の原理の上記および他の特徴および利点は、本明細書の教示に基づいて、当業者によって容易に確認することができる。本発明の原理の教示は、ハードウェア、ソフトウェア、ファームウェア、専用プロセッサまたはそれらの組み合わせといった様々な形態で実施できることを理解されたい。

最も好ましくは、本発明の原理の教示は、ハードウェアとソフトウェアの組み合わせとして実施される。さらに、ソフトウェアは、プログラム記憶ユニット上に有形に具現されるアプリケーションプログラムとして実施することができる。アプリケーションプログラムは、任意の適切なアーキテクチャを備えたマシーンにアップロードし、マシーンによって実行することができる。好ましくは、機械は、１つまたは複数の「ＣＰＵ」（中央処理装置）、「ＲＡＭ」（ランダムアクセスメモリ）、および「Ｉ／Ｏ」（入出力）インタフェースなどのハードウェアを有するコンピュータプラットフォーム上で実施される。コンピュータプラットフォームは、オペレーティングシステムおよびマイクロ命令コードも含むことができる。本明細書で説明された様々なプロセスおよび機能は、マイクロ命令コードの一部もしくはアプリケーションプログラムの一部、またはそれらの任意の組み合わせとすることができ、それらは、ＣＰＵによって実行することができる。加えて、追加的なデータ記憶ユニットおよび印刷ユニットなどの様々な他の周辺ユニットを、コンピュータプラットフォームに接続することができる。

添付の図面に示された構成システムコンポーネントおよび方法のいくつかは、好ましくはソフトウェアで実施されるので、システムコンポーネント間またはプロセス機能ブロック間の実際の接続は、本発明の原理がプログラムされる仕方に応じて異なり得ることをさらに理解されたい。本明細書の教示を与えられた場合、当業者は、本発明の原理の上記および同様の実施または構成を企図することができる。

本明細書では添付の図面を参照して例示的な実施形態が説明されたが、本発明の原理は説明通りの実施形態に限定されず、本発明の原理の範囲または主旨から逸脱することなく、本発明の原理に対する様々な変更および修正が当業者によって達成できることを理解されたい。そのような変更および修正はすべて、添付の特許請求の範囲において説明される本発明の原理の範囲内に含まれることが意図されている。

Claims

ピクチャの少なくとも部分について画像データを符号化するエンコーダであって、前記画像データは、ジオメトリックパーティションをピクチャブロックパーティションに適用するジオメトリック分割によって形成され、前記ピクチャブロックパーティションは、トップダウン分割およびボトムアップツリー結合の少なくとも一方から取得される、エンコーダを備え、
前記ジオメトリック分割は、前記画像データを符号化するために使用される、所与のビデオ符号化規格またはビデオ符号化勧告のベース分割サイズよりも大きいパーティションサイズで使用するために使用可能にされ、ベース分割サイズを有するピクチャブロックパーティションの符号化がジグザグスキャン順序に従って行われる、装置。
ピクチャの少なくとも部分について画像データを符号化するステップであって、前記画像データは、ジオメトリックパーティションをピクチャブロックパーティションに適用するジオメトリック分割によって形成され、前記ピクチャブロックパーティションは、トップダウン分割およびボトムアップツリー結合の少なくとも一方から取得されるステップを含み、
前記ジオメトリック分割は、前記画像データを符号化するために使用される、所与のビデオ符号化規格またはビデオ符号化勧告のベース分割サイズよりも大きいパーティションサイズで使用するために使用可能にされ、ベース分割サイズを有するピクチャブロックパーティションの符号化がジグザグスキャン順序に従って行われる、方法。