JP2009536479A

JP2009536479A - スケーラブルビデオ符号化向け簡略化されたレイヤ間動き予測

Info

Publication number: JP2009536479A
Application number: JP2009508319A
Authority: JP
Inventors: フランソワ，エドワール; ボトロー，ヴァンサン; ヴィロン，ジェローム; シェヴァンス，クリストフ
Original assignee: Thomson Licensing SAS
Current assignee: Thomson Licensing SAS
Priority date: 2006-05-05
Filing date: 2007-04-26
Publication date: 2009-10-08
Anticipated expiration: 2027-04-26
Also published as: BRPI0711103A2; US8275037B2; ATE466453T1; KR101311656B1; US20090103615A1; EP2016774A2; KR20090015048A; CN101438596B; DE602007006177D1; WO2007128706A2; JP5011378B2; EP2016774B1; CN101438596A; WO2007128706A3

Abstract

本発明は、レイヤ間予測を使用するハイレイヤマクロブロックについて、パーティションでマクロブロックのパーティショニングを決定する方法に関する。本方法は、以下のステップを有する。ハイレイヤマクロブロックを予め決定されたサイズのオーバラップしないハイレイヤブロックに分割するステップ。それぞれハイレイヤブロックの参照画素と呼ばれる１つの画素の対応するベースレイヤ画素を決定するステップ。それぞれの参照画素について、対応するベースレイヤ画素が属するベースレイヤマクロブロック、対応するベースレイヤの画素が識別されたベースレイヤのマクロブロックに属するベースレイヤのパーティション、サブパーティションが存在する場合に、対応するベースレイヤの画素が識別されたベースレイヤパーティションに属するベースレイヤサブパーティションを識別するステップ。それぞれのハイレイヤブロックについて、PartInfo値と呼ばれる単一の値を導出するステップ。ハイレイヤブロックのそれぞれに関連するPartInfo値を比較することでマクロブロックのパーティションにおけるハイレイヤマクロブロックのパーティションを決定する。

Description

本発明は、スケーラブルビデオ符号化（SVC）に関し、より詳細には、ISO/IEC
MPEG&ITU-T VCEGのJVT（Joint
Video Team）により定義されているSVC規格で使用されるレイヤ間動き予測に関する。

最新のスケーラブル階層型符号化方法により、異なる解像度及び／又は品質レベルでデコードすることができるため、階層的に情報をエンコードすることができる。スケーラブル符号化装置により発生されるデータストリームは、ベースレイヤ及び１以上のエンハンスメントレイヤといった幾つかのレイヤに分割される。これらの装置により、固有のデータストリームを可変の伝送条件（帯域幅、誤り率等）に適合させ、受信装置の能力（CPU、受信装置の特性）にも適合することができる。空間的にスケーラブルな階層符号化（又は復号化）方法は、低解像度画像に関連するベースレイヤと呼ばれるデータの最初の部分をエンコード（又はデコード）し、このベースレイヤから、高解像度画像に関連するエンハンスメントレイヤと呼ばれる少なくとも別のデータ部分をエンコード（又はデコード）する。エンハンスメントレイヤに関連する符号化情報は、レイヤ間の遺伝的方法と呼ばれる方法によりベースレイヤに関連する符号化情報からおそらく遺伝される。導出された符号化情報は、（ブロックを幾つかのサブブロックに分割する）高解像度画像の画素ブロックに関連される分割パターン、前記ブロックに関連される符号化モード、前記ブロックを予測するために使用される画像を参照するのを可能にする幾つかのブロックに関連される動きベクトル及び１以上の画像のリファレンスインデックスを含む。参照画像は、シーケンスの別の画像を予測するために使用されるシーケンスの画像である。したがって、データストリームで明示的に符号化されない場合、エンハンスメントレイヤに関連する符号化情報（より詳細には、マクロブロックタイプ及びサブマクロブロックのタイプ）は、低解像度の画像に関連する符号化情報から導出される必要がある。符号化情報を導出する最新の方法は、そのフォーマットが２進変換により低解像度画像のフォーマットにリンクされない高解像度画像について使用される。最近の方法は、J.Reichel, H.Schwarz, M.Wienによる“Joint Scalable Video Model JSVM-5: Joint Draft 5 with
proposed changes”（JSVM５続編）と題されるISO/IEC
MPEG&ITU-T VCEG JVT-R202のJVT（Joint Video Team）からの文献で記載されるように、（テクスチャ記述の観点で）幾つかの複雑なプロセスに基づいた、ダイレクトレイヤ間動き予測方法を提案する。

本発明の目的は、有意にこのレイヤ間動き予測プロセス及びその記述を簡略化することにある。より詳細には、本発明は、前記マクロブロックのパーティションでの分割、おそらく前記パーティションのサブパーティションでの分割を判定するプロセスに関する。
本発明の別の目的は、請求項１に係る、レイヤ間予測を使用した、所与のハイレイヤのマクロブロックについてマクロブロックのタイプ及びサブマクロブロックのタイプを導出することにある。

本発明の他の特殊性及び利点は、限定されるものではない例により与えられ、添付図面に照らして与えられる以下の記載から明らかとなるであろう。

低解像度の画像に対応するロウレイヤ（ベースレイヤとも呼ばれる）及び高解像度の画像に対応するハイレイヤ（エンハンスメントレイヤとも呼ばれる）といった、２つの空間レイヤが考慮されている。図１に表されるように、エンハンスメントレイヤの画像の幅及び高さは、We及びHeによりそれぞれ定義される。ベースレイヤ画像（すなわち低解像度画像）のディメンジョンは、Wb及びHbにより定義される。低解像度画像は、エンハンスメントレイヤの画像の座標系における座標（X_orig,Y_orig）に位置される、ディメンジョンWs及びHsからなる、エンハンスメントレイや画像のサブ画像のダウンサンプリングされたバージョンである。また、低解像度及び高解像度画像は、異なるカメラにより提供される。このケースでは、低解像度画像は、高解像度画像をダウンサンプリングすることで得られず、幾何学的なパラメータは、（たとえばカメラ自身により）外部手段により提供される。スケーリングされたベースレイヤに対応するウィンドウは、クロッピングウィンドウと呼ばれる。高解像度画像部分で両方向においてレイヤ間の比によりアップサンプリングされる低解像度の画像部分を重ねるときに、対応するマクロブロックが高解像度の画像の前記マクロブロックを少なくとも部分的にカバーする場合、低解像度画像のマクロブロックは、高解像度画像のマクロブロックに対応する。エンハンスメントレイヤ画像の境界では、マクロブロックは、マクロブロックに対応するベースレイヤを有さないか、スケーリングされたベースレイヤマクロブロックにより部分的にカバーされるのみである。

レイヤ間予測を使用した所与のハイレイヤマクロブロックについて、パーティション、おそらくサブパーティション、マクロブロックタイプ及びサブマクロブロックタイプの導出プロセスは、PartInfo[x][y]と呼ばれる、４×４の整数のアレイの使用に基づいており、ｘ＝０〜３及びｙ＝０〜３である。

プロセスは、以下のステップで機能する。ステップ２０で、PartInfoのアレイ値を導出し、ステップ２２で、PartInfoアレイをクリーニングし、ステップ２４で、パーティション及びおそらくサブパーティションを決定し、ステップ２６で、マクロブロックタイプ及びサブマクロブロックタイプを導出する。これら連続するステップは、図２で表され、以下に詳細に説明される。

［PartInfo値の導出（ステップ２０）］
（xM，yM）をハイレイヤリファレンスにおける前記ハイレイヤマクロブロックの左上画素の位置とする（原点はハイレイヤ画像の左上画素に位置される）。

本発明によれば、プロセスは、前記ハイレイヤマクロブロックのそれぞれ４×４ブロック（ｘ，ｙ）ｘ＝０〜３及びｙ＝０〜３についてベースレイヤ画像における対応するマクロブロックmbBaseを識別する、すなわちそのアドレスmbAddrBaseを識別するステップを含む。このため、（Xin=4*n，Yin=4*y）をこのプロセスの入力画素位置とし、これは、対応するベースレイヤマクロブロックアドレス、前記ベースレイヤマクロブロックのベースレイヤのパーティションのインデックス、及び、前記パーティションのベースレイヤのサブパーティションのインデックスを導出し、画素（Xin，Yin）のベースレイヤにおける対応する画素を含む。

（xP，yP）をいわゆる、以下のように定義される前記ハイレイヤマクロブロックの４×４ブロックの参照画素とする。
xP＝Xin＋d，yP＝Yin+d。
この場合、ｄはインターバル［０，３］で設定される予め定義されるパラメータである。好適な実現では、ｄは１に設定される。

ベースレイヤにおける対応する位置（xB，yB）は、以下のように計算される。
xB＝（（xP＋xM−Xorg）*Wb＋Ws/2）/Ws
yB＝（（yP＋yM−Yorg）*Hb＋Hs/2）/Hs
画素（xB，yB）を有するベースレイヤマクロブロックmbBaseのアドレスmbAddrBaseは、以下のように識別される。

mbAddrBase＝（yB/16）*（Wb/16）＋（xB/16）
前記ベースレイヤマクロブロックmbBaseが存在しない場合（たとえば画素（xB，yB）はベースレイヤの画像の境界外にある）、mbAddrBaseは、利用可能ではないとしてマークされる。レイヤ間予測は、ハイレイヤマクロブロックについて禁止され、プロセスが終了される。

プロセスは、対応する４×４ブロックmbBaseのパーティション（mbPartldxBase）及びサブパーティション（subMbPartldxBase）を識別するステップを含む。パーティション（mbPartldxBase）及びサブパーティション（subMbPartldxBase）は、以下のように識別される。

mbPartldxBaseは、画素（xB，yB）を含むmbBaseのパーティションのインデックスに設定される。subMbPartldxBaseは、以下のように導出される。

mbBaseが８×８として分割された場合（４つの８×８ブロックに分割される）、subMbPartldxBaseは、画素（xB，yB）を含むmbBaseのパーティションmbPartldxBaseのサブパーティションのインデックスに設定される。さもなければ、subMbPartldxBaseは、０に設定される。

上述されたベースマクロブロック、パーティション及びサブパーティションの導出プロセスは、入力として位置（Xin＝4*x、Yin＝4*y）で印加され、４×４ブロックに対応する、ベースマクロブロックアドレスmbAddrBase、ベースレイヤパーティションのインデックスmbPartldxBase、及びサブパーティションのインデックスsubMbPartldxBaseを導出する。図３は、JSVM5の図６〜図９に定義される、マクロブロックのパーティションに依存した、可能性のあるパーティション及びサブパーティションのインデックスを与える。これは、１６*１６ルマ（luma）サンプル及び関連するクロマサンプルのパーティション、及び８*８ルマサンプル及び関連されるクロマサンプルのサブブロックのパーティションに関する。このプロセスは、PartInfo[x][y]を導出するステップを含む。PartInfo[x][y]は以下のように計算される。

アドレスmbAddrBaseのベースマクロブロックがINTRA符号化されている場合、PartInfo[x][y]＝−１であり（すなわち、イントラベースマクロブロックからの引継ぎとしてマークされる）、ブロックがイントラベースのマクロブロックから引き継ぐことを識別するため、−１以外の負の値が使用される。さもなければ、PartInfo[x][y]＝１６*mbAddrBase＋４*mbPartldxBase＋subMbPartldxBaseである。

この式は、１つの固有のセット（mbAddrBase、mbPartldxBase、subMbPartldxBase）がPartInfoの１つの固有の値を生成するために定義される。PartInfo[x][y]から、mbAddrBase、mbPartldxBase、subMbPartldxBaseは、以下のように定義される。

mbAddrBase＝PartInfo[x][y]/16
mbPartldxBase＝（PartInfo[x][y]％16）/4
subMbPartldxBase＝（PartInfo[x][y]％16）％4
［PartInfoアレイのクリーニング（ステップ２２）］
次いで、幾つかの４×４ブロックがイントラベースマクロブロックから引継ぎ、他の４×４ブロックがインターベースのマクロブロックから引継ぐコンフィギュレーションを管理するために以下のプロセスが行われる。プロセスは、−１に等しい任意のエレメントPartInfo[x][y]をその近傍のエレメントのうちの１つで置き換えることで、アレイのPartInfoをクリーニングする。このクリーニングプロセスは、はじめに、それぞれ８×８ブロックの４×４ブロックに適用される。次いで、必要な場合、８×８ブロックがクリーニングされる。プロセスは後に詳細に説明される。それぞれ８×８ブロック（Ｘ，Ｙ）、Ｘ＝０〜１及びＹ＝０〜１について、以下が行なわれる。

［４×４ブロックのクリーニング］
図４にプロセスの概要は例示される。所与の４×４ブロックのPartInfo値が−１に等しい場合、この値が−１に等しくない場合に、同じ８×８ブロックに属するその近傍の４×４ブロックのうちの１つのPartInfo値により置き換えられる。近傍の４×４ブロックは、以下の順序でスキャンされる。１．水平方向の近傍のブロック、２．垂直方向の近傍のブロック、３．対角方向の近傍のブロック。

［このプロセスの擬似コードの記述］
ステップ４０で、それぞれの４×４のブロック（ｘ，ｙ）、ｘ＝０〜１及びｙ＝０〜１について、以下が行なわれる。PartInfo[2*X+x][2*Y+y]が−１に等しい場合、以下が行われる。ステップ４２で、PartInfo[2*X+1-x][2*Y+y]が−１に等しくない場合、水平方向の近傍のコピー。PartInfo[2*X+x][2*Y+y]＝PartInfo[2*X+1-x][2*Y+y]。

さもなければ、ステップ４４で、PartInfo[2*X+x][2*Y+1-y]が−１に等しくない場合、垂直方向の近傍のコピー。PartInfo[2*X+x][2*Y+y]＝PartInfo[2*X+x][2*Y+1-y]。

さもなければ、ステップ４６で、PartInfo[2*X+1-x][2*Y+1-y]が−１に等しくない場合、対角方向の近傍のコピー。PartInfo[2*X+x][2*Y+y]＝PartInfo[2*X+1-x][2*Y+1-y]。

［８×８ブロックのクリーニング］
プロセスの概要は、図５に示される。所与の８×８ブロックについて、その最初の４×４ブロックのPartInfo値が−１に等しい場合、その４つの４×４ブロックのPartInfo値は、ハイレイヤのマクロブロックに属する近傍の８×８ブロックのそれらの値により置き換えられる。この置き換えは、考慮される近傍の８×８ブロックの最初の４×４ブロックが−１に等しくないPartInfo値を有する場合にのみ適用される。近傍の８×８ブロックが以下の順序でスキャニングされる。１．水平方向の近傍のブロック、２．垂直方向の近傍のブロック、３．対角方向の近傍のブロック。

［このプロセスの擬似コードの記述］
ステップ５０で、それぞれの８×８ブロック（Ｘ，Ｙ）、Ｘ＝０〜１及びＹ＝０〜１について、以下が行なわれる。

ステップ５２で、PartInfo[2*X][2*Y]が−１に等しい場合、以下が行われる。PartInfo[2*(1-X)][2*Y]が−１に等しくない場合、水平方向の近傍のコピー。それぞれの４×４ブロック（ｘ，ｙ）、ｘ＝０〜１及びｙ＝０〜１について、以下が行なわれる。PartInfo[2*X+x][2*Y+y]＝PartInfo[2*(1-X)][2*Y]。

さもなければ、ステップ５４で、PartInfo[2*X][2*(1-Y)]が−１に等しくない場合、垂直方向の近傍のコピー。それぞれの４×４ブロック（ｘ，ｙ）、ｘ＝０〜１及びｙ＝０〜１について、以下が行なわれる。PartInfo[2*X+x][2*Y+y]＝PartInfo[2*X][2*(1-Y)]。

さもなければ、ステップ５６で、PartInfo[2*(1-X)][2*(1-Y)]が−１に等しくない場合、対角方向の近傍のコピー。それぞれの４×４ブロック（ｘ，ｙ）、ｘ＝０〜１及びｙ＝０〜１について、以下が行なわれる。PartInfo[2*X+x][2*Y+y]＝PartInfo[2*(1-X)][2*(1-Y)]。

［パーティション、サブパーティション、マクロブロックタイプ（mbType）及びサブマクロブロックタイプ（subMbType）の導出］
このプロセスは、ハイレイヤマクロブロックタイプmbTypeを導出し、４つの８×８ブロックに分割された場合、アレイのPartInfo及びベースレイヤのマクロブロックのタイプ（符号化モードとも呼ばれる）から、インデックスblkIdxのそれぞれの８×８ブロックのサブマクロブロックタイプsubMbType[blkldx]を導出する。

［利用可能なベースレイヤデータ］
それぞれのベースレイヤのマクロブロックがどの予測リストを使用するかをその８×８ブロックのそれぞれについて示す利用可能な情報を含むことが考慮される。この情報は、２次元アレイusedPredList[mbAddr][blkldx]として記憶され、第一の次元は、マクロブロックアドレスmbAddrに対応し、第二の次元は、マクロブロックblkldx内の８×８ブロックのインデックスに対応する（０〜３の間の値を取る）。

アドレスmbAddrのマクロブロックのインデックスblkldxの８×８ブロックが、予測リストL0のみを使用する場合、usedPredList[mbAddr][blkldx]＝１であり、予測リストL1のみを使用する場合、usedPredList[mbAddr][blkldx]＝２であり、予測リストL0及びL1の両方を使用する場合、usedPredList[mbAddr][blkldx]＝３である。

JSVM5で規定されるように、マクロブロックタイプは、表１の値のなかで定義される。同様に、JSVM5で規定されるように、サブマクロブロックタイプは、表１の値の中で定義される。

［プロセスの記述］
マクロブロックタイプmbType、及び利用可能な場合、インデックスblkldxのそれぞれの８×８ブロックのサブマクロブロックタイプsubMbType[blkldx]の導出プロセスは、以下のように機能する。

［パーティションのディメンジョン及びmbTypeの導出］
このプロセスの概要は、図６に例示される。

ステップ６０で、全てのpartInfo値が−１に等しい場合、mbTypeがI_BLモードに設定される。

さもなければ、パーティショニングは、PartInfo値の分析に依存して決定される。全ての１６のPartInfo値が等しい場合、ステップ６２で、パーティショニングPartSizeが１６×１６に設定される。

ステップ６４で、予測リスト情報の導出。

partPredMode0=usePredList[partInfo[0][0]/16][((partInfo[0][0]%16)/4)]
さもなければ、８つの上のpartInfo値が等しく、８つの下のpartInfo値が等しい場合、ステップ６６で、パーティショニングpartSizeは、１６×８に設定される。ステップ６８で、上の１６×８のパーティションの予測リスト情報の導出。

partPredMode0=usePredList[partInfo[0][0]/16][((partInfo[0][0]%16)/4)]
ステップ６８で、下の１６×８のパーティションの予測リスト情報の導出。

partPredMode0=usePredList[partInfo[3][3]/16][((partInfo[3][3]%16)/4)]
さもなければ、８つの左のpartInfo値が等しく、８つの右のpartInfo値が等しい場合、ステップ７０で、パーティショニングpartSizeは、８×１６に設定される。ステップ７２で、左の８×１６のパーティションの予測リスト情報の導出。

partPredMode0=usePredList[partInfo[0][0]/16][((partInfo[0][0]%16)/4)]
ステップ７２で、右の８×１６のパーティションの予測リスト情報の導出。

partPredMode1=usePredList[partInfo[3][3]/16][((partInfo[3][3]%16)/4)]
さもなければ、ステップ７４で、パーティショニングpartSizeは、８×８に設定される。

最後に、ステップ７６で、表２を使用して、パーティショニングpartSize、導出された予測リスト情報partPredMode0及びpartPredMode1並びに考慮しているハイレイヤマクロブロックを含むスライスのタイプslice_typeに基づいてmbTypeが導出される。

［このプロセスの擬似コードの記述］
partInfo[0][0]が−１に等しくない場合、mbTypeはI_BLに等しく設定される。さもなければ、以下が行なわれる。

partSize、partPredMode0、及びpartPredMode1を以下のように導出されるテンポラリな変数とする。

ｘ，ｙ＝０.．．３でpartInfo[x,y]がpartInfo[0,0]に等しい場合、以下が行なわれる。

partSize=16×16
partPredMode0=usedPredictionLists
[partInfo[0,0]/16][(partInfo[0,0]%16)/4]
さもなければ、ｘ＝０.．．３及びｙ＝０．．．１でpartInfo[x,y]がpartInfo[0,0]に等しく、ｘ＝０.．．３及びｙ＝２．．．３でpartInfo[x,y]がpartInfo[0,2]に等しい場合、以下が行なわれる。

partSize=16×8
partPredMode0=usedPredictionLists
[partInfo[0,0]/16][(partInfo[0,0]%16)/4]
partPredMode1=2*predFlagL1Base[partInfo[3,3]/16][(partInfo[3,3]%16)/4]
さもなければ、ｘ＝０.．．１及びｙ＝０．．．３でpartInfo[x,y]がpartInfo[0,0]に等しく、ｘ＝２.．．３及びｙ＝０．．．３でpartInfo[x,y]がpartInfo[2,0]に等しい場合、以下が行なわれる。

partSize=8×16
partPredMode0=usedPredictionLists
[partInfo[0,0]/16][(partInfo[0,0]%16)/4]
partPredMode1=usedPredictionLists
[partInfo[3,3]/16][(partInfo[3,3]%16)/4]
さもなければ、partSizeは８×８に等しく設定される。

slice_type、partSize、partPredMode0及びpartPredMode1、mbTypeは、表２により規定されるように導出される。

［サブパーティションの決定及びsubMbタイプの導出］
mbTypeがP_8×8又はB_8×8に等しい場合、それぞれの８×８ブロックのサブマクロブロックのタイプは、以下のように決定される。

プロセスの概要は図７に例示される。

x0，y0＝0,…,1としてそれぞれ８×８のブロック（x0,y0）について、サブパーティションは、partInfo値の分析に依存して決定される。

ステップ８０で、予測リスト情報の導出。

partPredMode＝usedPredictionLists[partInfo[x0,y0]/16][(partInfo[x0,y0]%16)/4]
ステップ８２で、考慮される８×８ブロックの４つのpartInfo値が等しい場合、サブパーティショニングのsubPartSizeは８×８に設定される。

さもなければ、ステップ８４で、考慮される８×８ブロックの２つの上のpartInfo値及び考慮される８×８ブロックの２つの下のpartInfo値が等しい場合、サブパーティショングのsubPartSizeは８×４に設定される。

さもなければ、ステップ８６で、考慮される８×８ブロックの２つの左のpartInfo値及び考慮される８×８ブロックの２つの右のpartInfo値が等しい場合、サブパーティショングのsubPartSizeは４×８に設定される。

さもなければ、ステップ８８で、サブパーティショニングのsubPartSizeは４×４に設定される。最後に、ステップ９０で、表３を使用して、サブパーティショニングsubPartSize、導出された予測リスト情報（partPredMode）及び考慮しているハイレイヤのマクロブロックを含むスライスタイプslice_typeに基づいて、考慮される８×８ブロックのsubMbTypeが導出される。

［このプロセスの擬似コードの記述］
mbpartIdx＝０.．３についてmbTypeがP_8×8又はB_8×8に等しいとき、それぞれのパーティションのsubMbTypeの導出は、以下のように達成される。

x0,y0及びpartPredModeを以下により導出されるテンポラリな変数とする。

x0=2*(mbPartIdx%2)
y0=2*(mbPartIdx/2)
partPredMode=usedPredictionLists
[partInfo[x0,y0]/16][(partInfo[x0,y0]%16)/4]
subPartSizeを以下のように導出されるテンポラリな変数とする。

x,y=0.．1としてpartInfo[x0+x,y0+y]がpartInfo[x0,y0]に等しい場合、subPartSizeは８×８に設定される。

さもなければ、partInfo[x0,y0]がpartInfo[x0+1,y0]に等しく、partInfo[x0,y0+1]がpartInfo[x0+1,y0+1]に等しく場合、subPartSizeは８×４に設定される。

さもなければ、partInfo[x0,y0]がpartInfo[x0,y0+1]に等しく、partInfo[x0+1,y0]がpartInfo[x0+1,y0+1]に等しい場合、subPartSizeは４×８に設定される。

さもなければ、subPartSizeは４×４に設定される。

Slice_type、subPartSize、partPredModeに依存して、subMbType[mbpartIdx]は、表３により規定されるように導出される。

低空間画像と高空間画像の間の幾何学的な関係を示す図である。マクロブロックのパーティション、サブパーティション、マクロブロックタイプ及びサブマクロブロックタイプの導出プロセスの概要を示す図である。可能性のあるパーティション及びサブパーティションのインデックスを示す図である。４×４ブロックのクリーニングプロセスの概要を示す図である。８×８ブロックのクリーニングの概要を示す図である。マクロブロックパーティショニング及びｍｂＴｙｐｅ導出プロセスの概要を示す図である。サブパーティショニング及びサブＭｂＴｙｐｅ導出プロセスの概要を示す図である。

Claims

レイヤ間予測を使用するハイレイヤマクロブロックについて、パーティションでの前記マクロブロックの分割を決定するスケーラブルビデオ符号化又は復号化の一部としての方法であって、
前記ハイレイヤマクロブロックを予め決定されたサイズのオーバラップしないハイレイヤブロックに分割するステップと、
それぞれのハイレイヤブロックの、参照画素と呼ばれる、１つの画素の対応するベースレイヤ画素を決定するステップと、
それぞれの参照画素について、前記対応するベースレイヤの画素が属するベースレイヤマクロブロック、前記対応するベースレイヤの画素が前記識別されたベースレイヤのマクロブロックに属するベースレイヤのパーティション、サブパーティションが存在する場合に、前記対応するベースレイヤの画素が前記識別されたベースレイヤのパーティションに属するベースレイヤサブパーティションを識別するステップと、
前記ハイレイヤブロックのそれぞれについて、PartInfoと呼ばれる単一の値を導出するステップとを有し、
前記導出するステップは、
前記識別されたベースレイヤマクロブロックがイントラ符号化された場合に、PartInfo値を予め定義された負の値に設定するステップと、
前記識別されたベースレイヤマクロブロック、前記識別されたベースレイヤパーティション及び前記サブパーティションが存在する場合の前記識別されたベースレイヤサブパーティションに基づいて前記PartInfo値を計算するステップと、
前記ハイレイヤブロックのそれぞれに関連する前記PartInfo値をマクロブロックのパーティション間で比較することでマクロブロックのパーティションへの前記ハイレイヤマクロブロックの分割を決定するステップとを含む、
ことを特徴とする方法。
前記ベースレイヤマクロブロックは、そのアドレスmbAddBaseにより画像において識別され、前記ベースレイヤの分割は、インデックスmbPartIdxBaseにより前記ベースレイヤマクロブロックにおいて識別され、前記ベースレイヤのサブパーティションは、インデックスsubMbPartIdxBaseにより前記ベースレイヤのパーティションで識別される、
請求項１記載の方法。
前記PartInfo値は、１６*mbAddrBase＋４*mbPartIdxBase＋subMbPartIdxBaseに従って計算される、
請求項２記載の方法。
当該方法は、前記PartInfo値を導出するステップの後に、所与のハイレイヤブロックに関連し、前記予め定義された負の値に等しいそれぞれのPartInfo値を、前記予め定義された負の値に等しくないPartInfo値であって、前記所与のハイレイヤブロックの近傍のハイレイヤブロックのうちの１つと関連するPartInfo値に、係るPartInfo値が存在する場合に設定するステップを更に含む、
請求項１乃至３の何れか記載の方法。
前記ハイレイヤマクロブロックは１６×１６画素のサイズからなり、前記ハイレイヤブロックは４×４画素のサイズからなる、
請求項１乃至４の何れか記載の方法。
それぞれのハイレイヤブロックに関連するPartInfo値が同じ値に全て等しい場合、前記ハイレイヤマクロブロックは、幅１６画素及び高さ１６画素のパーティションに分割され、
前記ハイレイヤマクロブロックの上の部分の８つのハイレイヤブロックに関連するPartInfo値が同じ第一の値に全て等しく、前記ハイレイヤマクロブロックの下の部分の８つのハイレイヤブロックに関連するPartInfo値が前記第一の値とは異なる同じ第二の値の全て等しい場合、前記ハイレイヤマクロブロックは、幅１６画素及び高さ８画素の２つのパーティションに分割され、
前記ハイレイヤマクロブロックの左の部分の８つのハイレイヤブロックに関連するPartInfo値が同じ第三の値に全て等しく、前記ハイレイヤマクロブロックの右の部分の８つのハイレイヤブロックに関連するPartInfo値が前記第三の値とは異なる同じ第四の値に全て等しい場合、前記ハイレイヤマクロブロックは、幅８画素及び高さ１６画素の２つのパーティションに分割され、
さもなければ、前記ハイレイヤマクロブロックは、幅８画素及び高さ８画素の４つのパーティションに分割される、
ことを特徴とする請求項５記載の方法。
前記ハイレイヤマクロブロックは、幅８画素及び高さ８画素の４つのパーティションに分割される場合、当該方法は、前記ハイレイヤマクロブロックのそれぞれのパーティションについて、前記パーティションに属する前記ハイレイヤブロックのそれぞれに関連する前記PartInfo値をサブパーティションの間で比較することでサブパーティションにおける分割を決定するステップを更に含む、
請求項６記載の方法。
前記参照画素は、前記ハイレイヤブロックの左上画素である、
請求項１乃至７のいずれか記載の方法。