JP2013544061A - 高効率動画像符号化の制約されたパーティションサイズの装置および方法 - Google Patents

Abstract

【課題】高効率動画像符号化に関連した符号化単位および予測単位のパーティションの装置および方法を提供する。
【解決手段】 画像処理のための方法であって、前記方法は、Ｎが０より大きい第１の整数であり、κが０より大きいまたは０と等しい、深さκの２Ｎ×２ＮのリーフＣＵ（符号化単位）を受けるステップ、２Ｎ×２ＮのリーフＣＵの予測モードに基づいて、前記２Ｎ×２ＮのリーフＣＵをＮ×ＮのパーディションサイズおよびＩＮＴＥＲモードとＩＮＴＲＡモードを含む予測モードを含むセットのＰＵ（予測単位）に分割するステップ、および前記２Ｎ×２ＮのリーフＣＵがＳＣＵ（最小ＣＵ）より大きい場合、前記予測モードの前記Ｎ×Ｎのパーディションサイズを除去し、前記パーティションサイズが除去された時、制約されたセットのＰＵが形成されるステップを含む方法。
【選択図】図１２

Description

本出願は、２０１０年１１月２２日に出願された米国特許仮出願番号第６１／４１６，１８８号「Constrained NxN Partition for High Efficiency Video Coding,」からの優先権を主張するものであり、これらの全ては引用によって本願に援用される。

本発明は、画像処理に関し、特に、高効率動画像符号化に関連した符号化単位および予測単位のパーティションの装置および方法に関するものである。

高効率動画像符号化（ＨＥＶＣ）は、国際電気通信連合−電気通信標準化部門（ＩＴＵ−Ｔ）研究グループよりの動画像符号化専門家グループの動画像符号化共同研究部会（Joint Collaborative Team on Video Coding； ＪＣＴ−ＶＣ）によって開発されたアドバンスの動画像符号化システムである。ＨＥＶＣは、非常に柔軟性のあるブロック構造（ｂｌｏｃｋ ｓｔｒｕｃｔｕｒｅ）を有するブロックベースのハイブリッド動画像符号化である。符号化単位（ＣＵ）、予測単位（ＰＵ）、および変換単位（ＴＵ）の３つのブロック構想がＨＥＶＣに導入されている。全符号化構造は、再帰（ｒｅｃｕｒｓｉｖｅ）方式でＣＵ、ＰＵ、およびＴＵの各種のサイズによって特徴付けられ、各画像は、最大ＣＵ（ＬＣＵ）に分割され、各ＬＣＵは、６４×６４ピクセルを含む。次いで各ＬＣＵは、リーフＣＵまたは最小ＣＵにまるまで、より小さなＣＵに再帰的に分割される。一旦、ＣＵの階層ツリーの分割が完了すると、各リーフＣＵは、予測タイプおよびＰＵパーティションに応じて、予測単位（ＰＵ）に更に分割される。時間予測では、ＰＵタイプは、ＳＫＩＰ、ＭＥＲＧＥ、ＤＩＲＥＣＴ、およびＩＮＴＥＲモードを含む。空間予測では、ＰＵタイプは、ＩＮＴＲＡモードを含む。各２Ｎ×２ＮのリーフＣＵでは、１つのパーティションサイズが選ばれる。ＰｒｅＭｏｄｅ（予測モード）がＳＫＩＰ、ＭＥＲＧＥ、またはＤＩＲＥＣＴの時、唯一許容されるＰａｒｔＳｉｚｅ（パーティションサイズ）は、｛２Ｎ×２Ｎ｝である。ＰｒｅＭｏｄｅがＩＮＴＥＲの時、許容されるＰａｒｔＳｉｚｅは、｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ｝から選ばれる。ＰｒｅＭｏｄｅがＩＮＴＲＡの時、許容されるＰａｒｔＳｉｚｅは、｛２Ｎ×２Ｎ、Ｎ×Ｎ｝から選ばれる。

高効率動画像符号化に関連した符号化単位および予測単位のパーティションの装置および方法を提供する。

予測単位の制約されたパーティションを有する動画像符号化の装置および方法が提供される。本発明に基づいた方法は、Ｎが０より大きい第１の整数であり、κが０より大きいまたは０と等しい第１の整数である、深さκの２Ｎ×２ＮのリーフＣＵ（符号化単位）を受けるステップ、２Ｎ×２ＮのリーフＣＵの予測モードに基づいて、２Ｎ×２ＮのリーフＣＵをＮ×Ｎのパーディションサイズ、及び、ＩＮＴＥＲモードとＩＮＴＲＡモードとを含んだ予測モードを含む、セットのＰＵ（予測単位）に分割するステップ、および２Ｎ×２ＮのリーフＣＵがＳＣＵ（最小ＣＵ）より大きい場合、予測モードのＮ×Ｎのパーディションサイズを除去し、パーティションサイズが除去された時、制約されたセットのＰＵが形成されるステップを含む。代替の予測単位の制約されたパーティションを有する動画像符号化の装置および方法も挙げられている。本発明に基づいた代替の方法は、Ｎが０より大きい整数である、深さκの２Ｎ×２ＮのリーフＣＵ（符号化単位）を受けるステップを含み、２Ｎ×２ＮのリーフＣＵの各Ｎ×ＮのリーフＣＵでは、条件１を評価して、ｋ＞０かどうかを判定し、条件２を評価して、前記各Ｎ×ＮのリーフＣＵが２Ｎ×２ＮのリーフＣＵの第４のリーフＣＵであるかどうかを判定し、条件３を評価して、３つの先のリーフＣＵが深さｋを有するかどうかを判定し、且つ条件４を評価して、前記３つの先のリーフＣＵが同じタイプのモードを有し、且つＮ×Ｎのパーティションサイズを有するかどうかを判定し、条件１〜条件４が全て満たされた場合、２Ｎ×２Ｎのパーティションサイズを除去し、制約されたパーティションを形成し、且つ条件１〜条件４が全て満たされた場合、制約されたパーティションセットに基づいて前記各Ｎ×ＮのリーフＣＵを分割する。

画像データと関連する画像ビットストリームの符号化の装置および方法であって、２Ｎ×２ＮのリーフＣＵの予測モードに基づいて、Ｎ×Ｎのパーディションサイズ、及び、ＩＮＴＥＲモードとＩＮＴＲＡモードとを含んだ予測モードを含む、セットのＰＵ（予測単位）に分割される深さκの２Ｎ×２ＮのリーフＣＵ（符号化単位）を含む画像データが提供される。画像ビットストリームの符号化の方法は、２Ｎ×２ＮのリーフＣＵがＳＣＵ（最小ＣＵ）より大きいかどうかを判定するテストを実行するステップ、テストに基づいてセットのＰＵのコード名を選択するステップ、および選択されたコード名に基づいて画像ビットストリームを符号化し、ＰＵパーディションを復元するステップを含む。

四分木に基づく例示的な符号化単位パーティションを表している。 ２Ｎ×２Ｎのリーフ符号化単位の予測単位の許容されるパーティションサイズを表している。 深さκおよびκ＋１の予測単位の冗長問題の例を表している。 ＩＮＴＥＲ予測の冗長を回避する、２Ｎ×２Ｎリーフ符号化単位の制約された（ｃｏｎｓｔｒａｉｎｅｄ）パーティションセットの例を表している。 ＩＮＴＲＡ予測の冗長を回避する、２Ｎ×２Ｎリーフ符号化単位の制約された（ｃｏｎｓｔｒａｉｎｅｄ）パーティションセットの例を表している。 予測単位のパーティションに関連した情報を伝送する構文設計（ｓｙｎｔａｘ ｄｅｓｉｇｎ）の例を表している。 深さκおよびκ＋１のＩＮＴＲＡパーティションサイズの制約されたパーティションセットと関連した構文の例を表している。 深さκおよびκ＋１のＰＵパーティションの構文に関連したビットストリームの例を表している。 深さκから深さκ＋２のＰＵパーティションの構文に関連したビットストリームの例を表している。 深さκから深さκ＋２のＰＵパーティションの構文に関連したビットストリームのもう１つの例を表している。 深さκから深さκ＋３のＰＵパーティションの構文に関連したビットストリームの例を表している。 深さκから深さκ＋４のＰＵパーティションの構文に関連したビットストリームの例を表している。 ＩＮＴＥＲモードにおける深さκおよびκ＋１の予測単位の制約されたパーティションセットの例を表している。 ＩＮＴＲＡモードにおける深さκおよびκ＋１の予測単位の制約されたパーティションセットの例を表している。 ＩＮＴＥＲモードにおける深さκおよびκ＋１の予測単位のもう１つの制約されたパーティションセットの例を表している。 ＩＮＴＥＲモードにおける深さκおよびκ＋１の予測単位の制約されたパーティションセットを決定する例示的なフローチャートを表している。 ＩＮＴＲＡモードにおける深さκおよびκ＋１の予測単位のもう１つの制約されたパーティションセットの例を表している。 ＩＮＴＲＡモードにおける深さκおよびκ＋１の予測単位の制約されたパーティションセットを決定する例示的なフローチャートを表している。

符号化プロセス中、最良の可能なパフォーマンスを実現するために、レート歪み関数または他のパフォーマンス基準が通常、各種のＣＵパーティションおよびＰＵパーティションの評価に用いられている。現在のＨＥＶＣ開発にあるＰＵ設計は、なんらかの冗長性を生じさせることになり、レート歪み関数または他のパフォーマンス基準をあるＰＵ構成に繰り返し評価するようにする。例えば、冗長は、“ｄｅｐｔｈ＝κ、Ｍｏｄｅ＝ＩＮＴＥＲ、ＰａｒｔＳｉｚｅ＝Ｎ×ＮのＣＵのＰＵ”と“ｄｅｐｔｈ＝κ＋１、Ｍｏｄｅ＝ＩＮＴＥＲ、ＰａｒｔＳｉｚｅ＝２Ｎ×２ＮのＣＵのＰＵ”との間に存在する可能性がある。冗長は、不要な処理をさせ、価値あるシステムリソースを浪費する。制約されたＰＵパーティションを開発し、処理中の冗長をなくすか減少することが望ましい。また、必用な構文を設計し、エンコーダとデコーダ間の制約されたＰＵパーティションに関する情報を伝送することが望ましい。

開発中の高効率動画像符号化（ＨＥＶＣ）では、Ｈ.２６４／ＡＶＣの固定サイズのマクロブロックは、可変ブロックに取って代わられ、符号化単位（ＣＵ）と名づけられる。図１は、四分木に基づく例示的な符号化単位パーティションを表している。深さ０では、初期の符号化単位ＣＵ０、１１２は、最大ＣＵ（ＬＣＵ）である６４×６４ピクセルを含む。初期の符号化単位ＣＵ０、１１２は、ブロック１１０に表されるように四分木に分割される。分割フラグ０は基礎となるＣＵが分割されていないことを示し、一方、分割フラグ１は基礎となるＣＵが四分木によって、４つの小さい符号化単位ＣＵ１、１２２に分割されているのを示している。分割された４つの符号化単位は、０、１、２、および３で表示が付けられ、各分割された符号単位は、次の深さで更に分割される符号化単位となる。符号化単位ＣＵ０、１１２から生じた符号化単位は、ＣＵ１、１２２として呼ばれる。符号化単位が四分木によって分割された後、分割された符号化ユニットは、符号化ユニットが所定の最小ＣＵ（ＳＣＵ）サイズに達するまで、更に四分木分割される。よって、深さ１では、符号化単位ＣＵ１、１２２は、四分木分割される。また、分割フラグ０は基礎となるＣＵが分割されていないことを示し、一方分割フラグ１は基礎となるＣＵが四分木によって、４つの小さい符号化単位ＣＵ２、１３２に分割されているのを示している。符号化単位ＣＵ２、１３２は、１６×１６のサイズを有し、ブロック１３０に示される四分木分割のプロセスは、所定の最小符号化単位に達するまで継続することができる。例えば、最小符号化単位が８×８であるように選ばれた場合、深さ３の符号化単位ＣＵ３、１４２は、ブロック１４０に示されるように更に分割されない。可変サイズの符号化単位を形成する画像の四分木分割の集合は、パーティションマップを構成し、それに応じてエンコーダが入力の画像領域を処理する。復号化プロセスがそれに応じて実行されることができるように、パーティションマップはデコーダに伝送されなければならない。

符号化単位のコンセプトの他に、予測単位（ＰＵ）のコンセプトもＨＥＶＣに導入される。一旦、ＣＵの階層ツリーの分割が完了すると、各リーフＣＵは、予測タイプおよびＰＵパーティションに応じて、予測単位（ＰＵ）に更に分割される。時間予測では、ＰＵタイプは、ＳＫＩＰ、ＭＥＲＧＥ、ＤＩＲＥＣＴ、およびＩＮＴＥＲモードを含む。空間予測モードでは、ＰＵタイプは、ＩＮＴＲＡモードを含む。各２Ｎ×２ＮのリーフＣＵでは、１つのパーティションサイズが選ばれる。ＰｒｅＭｏｄｅ（予測モード）がＳＫＩＰ、ＭＥＲＧＥ、またはＤＩＲＥＣＴの時、唯一許容されるＰａｒｔＳｉｚｅ（パーティションサイズ）は、｛２Ｎ×２Ｎ｝である。図２に示されるように、ＰｒｅＭｏｄｅがＩＮＴＥＲの時、許容されるＰａｒｔＳｉｚｅは、セット｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ｝から選ばれる。ＰｒｅＭｏｄｅがＩＮＴＲＡの時、許容されるＰａｒｔＳｉｚｅは、｛２Ｎ×２Ｎ、Ｎ×Ｎ｝から選ばれる。現在のＨＥＶＣ開発のＰＵ設計は、なんらかの冗長性を生じさせることになる。例えば、図３に表されるように、冗長は、“ｄｅｐｔｈ＝κ、Ｍｏｄｅ＝ＩＮＴＥＲ、ＰａｒｔＳｉｚｅ＝Ｎ×ＮのＣＵのＰＵ”と“ｄｅｐｔｈ＝κ＋１、Ｍｏｄｅ＝ＩＮＴＥＲ、ＰａｒｔＳｉｚｅ＝２Ｎ×２ＮのＣＵのＰＵ”との間に存在する可能性がある。深さκのＰＵ３１０は、深さ（κ＋１）のＰＵ３２０として再度処理される。ＰＵ３１０は、ＩＮＴＥＲモードにおいてパーティションサイズＮ×Ｎで選択される。一方、ＰＵ３２０は、ＩＮＴＥＲモードにおいてパーティションサイズ２Ｎ’×２Ｎ’で選択され、２Ｎ’＝Ｎである。従って、同じブロックは、深さκおよび深さ（κ＋１）で２回処理される。冗長は、不要な処理をさせ、価値あるシステムリソースを浪費する。

上述の冗長をなくすために、図４に示されるように、許容されるパーティションサイズは、本発明の実施形態に基づいて制限される。ＳＣＵ（最小ＣＵ）より大きい各リーフＣＵでは、許容されるパーティションサイズは、２Ｎ×２Ｎ、２Ｎ×Ｎ、およびＮ×２Ｎである。言い換えれば、Ｎ×Ｎパーティションは、リーフＣＵがＳＣＵより大きい場合、ＩＮＴＥＲモードで許容されない。リーフＣＵサイズがＳＣＵサイズと同じ場合、全てのパーティションサイズ、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、およびＮ×Ｎが許容される。ＣＵサイズがＳＣＵサイズと同じ時、ＣＵは、更に分割されず、Ｎ×Ｎパーティションサイズを含むＣＵは、冗長性を生じさせない。表１は、ランダムアクセス高効率配置の従来のＨＥＶＣ ＰＵパーティションに対するシステムパフォーマンス比較を表している。システムパフォーマンスは、ＹＵＶコンポーネントのＢＤ−ｒａｔｅ、符号化時間、復号化時間に関連する。ＢＤ（Bjontegaard delta）−ｒａｔｅは、同じピーク信号対ノイズ比（ＰＳＮＲ）にあるビットレート節約または同じビットレートにあるＰＳＮＲ向上のデジベルのパーセンテージを測定する標準化法であり、画像圧縮の分野において広く用いられている。負のＢＤ−ｒａｔｅは、ビットレート減少を表し、正のＢＤ−ｒａｔｅは、ビットレート増加を表している。この対比表は、異なる画像テスト材料に基づいており、ＣｌａｓｓＡ、ＣｌａｓｓＢ、ＣｌａｓｓＣ、ＣｌａｓｓＤ、およびＣｌａｓｓＥと呼ばれる。表１に示されるように、ＢＤ−ｒａｔｅのパフォーマンスは、従来のＰＵパーティションよりやや高いか又はほぼ同じである。しかしながら、符号化時間は、従来のＰＵパーティションの８８％だけであり、復号化時間は、従来のＰＵパーティションの９９％だけである。

表２は、低遅延高効率配置の従来のＨＥＶＣ ＰＵパーティションに対するパフォーマンス比較を表している。同様に、ＢＤ−ｒａｔｅのパフォーマンスは、従来のＰＵパーティションよりやや高いかまたはほぼ同じである。しかしながら、符号化時間は、従来のＰＵパーティションの８６％だけであり、復号化時間は、従来のＰＵパーティションの９８％だけである。よって、本発明に基づいた、制約されたＰＵパーティションは、従来のＰＵパーティションのＢＤ−ｒａｔｅのパフォーマンスとほぼ同じを保持すると同時に、減少された符号化時間と復号化時間の利点を示している。

同様に、現在のＨＥＶＣ開発にあるＰＵ設計は、ＩＮＴＲＡモードになんらかの冗長性を生じさせることにもなる。例えば、冗長は、“ｄｅｐｔｈ＝κ、Ｍｏｄｅ＝ＩＮＴＥＲ、ＰａｒｔＳｉｚｅ＝２Ｎ×２ＮのＣＵのＰＵ”と“ｄｅｐｔｈ＝κ＋１、Ｍｏｄｅ＝ＩＮＴＥＲ、ＰａｒｔＳｉｚｅ＝Ｎ×ＮのＣＵのＰＵ”との間に存在する可能性がある。上述の冗長をなくすために、図５に示されるように、許容されるパーティションサイズは、本発明の実施形態に基づいて制限される。ＳＣＵより大きい各リーフＣＵでは、許容される唯一のパーティションサイズは、２Ｎ×２Ｎである。言い換えれば、Ｎ×Ｎパーティションは、リーフＣＵがＳＣＵより大きい場合、ＩＮＴＥＲモードで許容されない。リーフＣＵサイズがＳＣＵサイズと同じ場合、全てのパーティションサイズ、２Ｎ×２ＮおよびＮ×Ｎが許容され得る。表３は、イントラ高効率配置の従来のＨＥＶＣ ＰＵパーティションに対するシステムパフォーマンス比較を表している。ＢＤ−ｒａｔｅのパフォーマンスは、従来のＰＵパーティションよりやや高い。しかしながら、符号化時間は、従来のＰＵパーティションの７２％だけであり、復号化時間は、従来のＰＵパーティションの９８％だけである。よって、本発明に基づいた、制約されたＰＵパーティションは、ＢＤ−ｒａｔｅのパフォーマンスが僅かに低下する（最悪０.７％）が、符号化時間を実質的に減少させ、復号化時間を適度に減少させている。

上述の制約されたパーティションサイズでは、Ｎ×Ｎサイズは、ＣＵサイズがＳＣＵサイズと同じである時、許容される。しかしながら、Ｎ×Ｎのパーティションサイズは、ＣＵサイズがＳＣＵサイズと同じである時、除去される可能性もある。例えば、ＣＵサイズがＳＣＵサイズと同じである時、制約されたパーティションサイズ、２Ｎ×２Ｎ、２Ｎ×Ｎ、およびＮ×２ＮだけがＩＮＴＥＲモードで用いられることができる。処理時間の更なる減少が期待されることができる。ランダムアクセス高効率配置のテスト結果は、表４に表される。

表４に表されるように、符号化時間は、表１では、８８％から８１％に更に減少される。一方、復号化時間は、表１では、９９％から９７％に減少される。ＢＤ−ｒａｔｅのパフォーマンスは、表１のＢＤ−ｒａｔｅのパフォーマンスに比べ、低下される。低遅延高効率配置のテスト結果は、表５に表され、符号化時間は、表２では、８６％から８１％に減少され、復号化時間は、９８％から１００％に僅かに上昇する。

同様に、ＩＮＴＲＡモードでは、ＣＵサイズがＳＣＵサイズと同じである時、Ｎ×Ｎのパーティションサイズも制約されることができる。この場合、ＩＮＴＲＡモードでは、ＣＵサイズがＳＣＵサイズと同じである時、２Ｎ×２Ｎのパーティションサイズだけが許容される。ＩＮＴＲＡ高効率配置のテスト結果は、表６に表され、符号化時間は、表３では、７２％から５０％に減少され、復号化時間は、９８％から９４％に減少される。しかしながら、ＢＤ−ｒａｔｅのパフォーマンスは、最悪のケースで、５％著しく増加する。

制約されたＰＵパーティションをサポートする構文設計の例が図６に表されている。ｍｏｄｅ＿ｔａｂｌｅ＿ｉｄｘ構文要素は、低負荷エントロピー符号化（ＬＣＥＣ）の予測モードおよびパーティションモードを表している。図６のこの構文要素は、２０１０年１１月現在の従来のＨＥＶＣの構文要素と同様に見られるが、その意味はそれに応じて修正されなければならない。現在のＣＵサイズがＳＣＵサイズより大きい時、ＩＮＴＲＡおよびＩＮＴＥＲ予測モードの両方のＮ×Ｎのパーティションサイズと関連するコード名はない。ＩＮＴＲＡモードのＩスライスの２Ｎ×２Ｎのパーティションサイズと関連するコード名もない。ＩＮＴＲＡモードのＢスライスの２Ｎ×２Ｎのパーティションサイズと関連するコード名も修正される必要がある。現在のＣＵサイズがＳＣＵサイズと同じ時、ＩＮＴＲＡおよびＩＮＴＥＲ予測モードの両方のＮ×Ｎのパーティションモードのコード名は、存在する。ｉｎｔｒａ＿ｓｐｌｉｔ−ｆｌａｇ＝０の場合、ｉｎｔｒａ＿ｓｐｌｉｔ−ｆｌａｇは、２Ｎ×２Ｎのパーティションモードを表し、ｉｎｔｒａ＿ｓｐｌｉｔ−ｆｌａｇ＝１の場合、Ｎ×Ｎのパーティションモードを表す。このフラグは、ＩＮＴＲＡ予測モードが選択され、ＣＡＢＡＣが用いられた時、用いられる。現在のＣＵサイズがＳＣＵサイズより大きい時、このフラグは伝送されず、２Ｎ×２Ｎのパーティションモードが示される。ｉｎｔｅｒ＿ｐａｒｔｉｔｉｏｎｉｎｇ＿ｉｄｃ構文要素は、ＩＮＴＥＲ予測モードが選択され、ＣＡＢＡＣが用いられた時、パーティションモードを表す。図６のこの構文要素は、２０１０年１１月現在の従来のＨＥＶＣの構文要素と同様に見られるが、その意味はそれに応じて修正されなければならない。現在のＣＵサイズがＳＣＵサイズより大きい時、Ｎ×Ｎのパーティションと関連するコード名はない。現在のＣＵサイズがＳＣＵサイズと同じ時、Ｎ×Ｎのパーティションサイズと関連するコード名は、存在する。

表７は、２０１０年１１月現在の従来のＨＥＶＣに基づいたＩＮＴＥＲスライス（または画像）およびＩＮＴＥＲ予測のケースのコード名の例を表している。２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、およびＮ×Ｎの対称パーティションサイズの他に、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、およびｎＲ×２Ｎの選択的な非対称パーティションサイズも表７に挙げられている。選択的な非対称パーティションサイズに関連するコード名は、イタリック体で表されており、それらを標準の対称パーティションと区別している。標準の対称パーティションが用いられる時、コード名１、０１、００１、および０００１は、パーティションサイズ２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、およびＮ×Ｎにそれぞれ指定される。本発明に基づいた制約されたＰＵパーティションのＩＮＴＥＲスライス（または画像）およびＩＮＴＥＲ予測のケースのコード名は、表８に示されている。Ｎ×Ｎのパーティションサイズは用いられないため、コード名をＮ×Ｎのパーティションサイズに指定する必要がない。

表９は、２０１０年１１月現在の従来のＨＥＶＣに基づいたＩＮＴＥＲスライス（または画像）およびＩＮＴＲＡ予測のケースのコード名の例を表しており、２Ｎ×２ＮおよびＮ×Ｎの両方のパーティションサイズが許容される。本発明に基づいた制約されたＰＵパーティションのＩＮＴＥＲスライス（または画像）およびＩＮＴＥＲ予測のケースのコード名は、表１０に示されている。Ｎ×Ｎのパーティションサイズは用いられないため、コード名をＮ×Ｎのパーティションサイズに指定する必要がない。

表１１は、２０１０年１１月現在の従来のＨＥＶＣに基づいたＩＮＴＲＡスライス（または画像）およびＩＮＴＲＡ予測のケースのコード名の例を表しており、２Ｎ×２ＮおよびＮ×Ｎの両方のパーティションサイズが許容される。本発明に基づいた制約されたＰＵパーティションのＩＮＴＲＡスライス（または画像）およびＩＮＴＲＡ予測のケースのコード名は、表１２に示されている。Ｎ×Ｎのパーティションサイズは用いられないため、コード名をＮ×Ｎのパーティションサイズに指定する必要がない。

ＩＮＴＲＡパーティションサイズでは、２０１０年１１月現在の従来のＨＥＶＣは、深さκにある１つのビットを用いてブロックが分割されるかどうかを示し、１つのビットを用いてパーティションサイズを示す。図７に表されるパーティションの例では、従来のＨＥＶＣは、１つのビットを用いて、ブロックが分割されるのを示す。分割した後、全てのブロックは、同じサイズを有し、従来のＨＥＶＣは、もう１つのビットを用いてパーティションサイズを示す。よって、図７の例では、合計２つのビットが従来のＨＥＶＣに必要とされる。一方、修正の方法に基づいて、深さκにある１つのビットを用いて、ブロックが分割されるかどうかを示す。ブロックが分割される場合、深さ（κ＋１）にある各ブロックに１つのビットが必要とされる。よって図７の例では、合計５ビットが修正方法に必要とされる。よって、新しい構文設計が効率を向上させるのに必要とされる。

効率を向上させるため、新しい構文設計の例が図８に表されており、新しい構文要素ｆｕｒｔｈｅｒ＿ｓｐｌｉｔ＿ｆｌａｇが導入される。本発明の実施形態に基づいた新しい構文要素ｆｕｒｔｈｅｒ＿ｓｐｌｉｔ＿ｆｌａｇは、次の深さにある４つのＣＵの中の少なくとも１つが更に分割を必要とする場合、値を１に指定し、次の深さにある４つのＣＵの中のどれも更に分割を必要とするのがない場合、値を０に指定する。新しい構文設計に基づいて、パーティションを表す前記の結果のビットが図８に表される。深さκ＋１で更に分割する必要がないため、ｆｕｒｔｈｅｒ＿ｓｐｌｉｔ＿ｆｌａｇの単一のビットは、深さκ＋１にある４つのＣＵの中のどれも更に分割をしないことを示す。よって、合計２つのビットは、図８の新しい構文設計を用いた、制約されたパーティションで必要とされ、且つ新しい構文設計を用いた制約されたパーティションは、従来のＨＥＶＣと同じ効率を有する。図９Ａは、深さ（κ＋１）にある少なくとも１つのＣＵが更に分割される例を表している。深さκにあるＣＵ９１０は、９１２、９１４、９１６、および９１８でそれぞれ表示が付けられた４つのＣＵに分割される。新しい構文に基づいた結果のビットでは、９２０で表示が付けられた第１ビットはＣＵ９１０に対応する。ＣＵ９１０が分割されるため、９２０で表示が付けられたｓｐｌｉｔ＿ｆｌａｇ（κ）は、１の値を有する。次に続くビットは、ｆｕｒｔｈｅｒ＿ｓｐｌｉｔ＿ｆｌａｇに対応し、９１２、９１４、９１６、および９１８で表示が付けられた４つのＣＵの少なくとも１つが更に分割されるため、１の値を有する。９２２および９２８で表示が付けられたビットは、ＣＵ９１２および９１８にそれぞれ対応する。ＣＵ９１２および９１８は、分割されないため、対応のｓｐｌｉｔ＿ｆｌａｇ（κ＋１）ビット９２２および９２８は、０の値を有する。一方、９２４および９２６で表示が付けられたビットは、ＣＵ９１４および９１６にそれぞれ対応する。ＣＵ９１４および９１６は、分割されるため、対応のｓｐｌｉｔ＿ｆｌａｇ（κ＋１）ビット９２４および９２６は、１の値を有する。ＣＵ９１４および９１６は、深さ（κ＋２）で更に分割されないため、ビット９２４に続くビットおよびビット９２６に続くビットの両方は、図９Ａに表されるように０の値を有する。よって、新しい構文に基づいた結果のビットストリームは、８ビットを含む。一方、ＨＥＶＣのテストモデル（ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ、 ＨＭ）基づいた結果のビットストリームは、９ビットを含む。よって、新しい構文は、この例では、従来のＨＥＶＣより、更に効率的である。

図９Ｂは、深さ（κ＋１）にある１つのＣＵだけが更に分割されるもう１つの例を表している。深さκにあるＣＵ９５０は、９５２、９５４、９５６、および９５８でそれぞれ表示が付けられた４つのＣＵに分割される。深さ（κ＋１）にあるＣＵ９５６は、更に分割され、深さ（κ＋１）にある他の３つは、更に分割されない。新しい構文に基づいた結果のビットでは、９６０で表示が付けられた第１ビットはＣＵ９５０に対応する。ＣＵ９５０が分割されるため、９６０で表示が付けられたｓｐｌｉｔ＿ｆｌａｇ（κ）は、１の値を有する。次に続くビットは、ｆｕｒｔｈｅｒ＿ｓｐｌｉｔ＿ｆｌａｇに対応し、９５２、９５４、９５６、および９５８で表示が付けられた４つのＣＵの少なくとも１つが更に分割されるため、１の値を有する。９６２、９６４、および９６８で表示が付けられたビットは、ＣＵ９５２、９５４、および９５８にそれぞれ対応する。ＣＵ９５２、９５４、および９５８は、分割されないため、対応のｓｐｌｉｔ＿ｆｌａｇ（κ＋１）ビット９６２、９６４、および９６８は、０の値を有する。一方、９６６で表示が付けられたビットは、ＣＵ９５６に対応する。ＣＵ９５６は、分割されるため、対応のｓｐｌｉｔ＿ｆｌａｇ（κ＋１）ビット９６６は、１の値を有する。ＣＵ９６６は、深さ（κ＋２）で更に分割されないため、ビット９６６に続くビットは、図９Ｂに表されるように０の値を有する。新しい構文に基づいた結果のビットストリームは、７ビットを含む。一方、ＨＥＶＣのテストモデル（ＨＥＶＣ Ｔｅｓｔ Ｍｏｄｅｌ、 ＨＭ）基づいた結果のビットストリームは、９ビットを含む。よって、新しい構文は、この例では、従来のＨＥＶＣより、更に効率的である。

図１０は、図９Ａの例の更なる分割に対応した例を表しており、ＣＵ９１４のＣＵの１つおよびＣＵ９１６のＣＵの１つが更に分割され、１０１４および１０１６でそれぞれ表示が付けられる。この更なる分割を示すために、対応のビットは、１の値をビット９２４に続くビットおよびビット９２６に続くビットにそれぞれ指定することによって図１０に表される。深さκおよびκ＋１にあるビットストリームだけが図１０に表され、深さκ＋２のビットストリームは図１０の中の点線で表されている。よって、新しい構文設計は、深さκおよびκ＋１のパーティションを表すのに、６ビットを必要とし、従来のＨＥＶＣは、７ビットを必要とする。図１１は、更なる例を表しており、全てのＣＵＳ９１２、９１４、９１６、および９１８は、次の２つの深さで更に分割される。新しい構文に基づいた結果のビットストリームおよびＨＥＶＣのテストモデルは、図１１に表され、深さκおよびκ＋１のパーティションでは、新しい構文は、６ビットを必要とし、従来のＨＥＶＣは５ビットを必要とする。上述の例に表されるように、新しい構文は、従来のＨＥＶＣより、ほとんどのケースにおいて効率的である。

図１２は、ＩＮＴＥＲモードの本発明に基づいたもう１つの制約されたＰＵパーティションの例を表している。このケースでは、深さκのＩＮＴＥＲ ＣＵは、Ｎ×Ｎ ＰＵをそのまま用いることができる。しかしながら、４つの深さ（κ＋１）のＩＮＴＥＲ ＣＵは、２Ｎ’×２Ｎ’ＰＵを同時に用いることができない。図１２は、ＩＮＴＲＡモードの本発明に基づいたもう１つの制約されたＰＵパーティションの例を表している。このケースでは、深さκのＩＮＴＲＡ ＣＵは、Ｎ×Ｎ ＰＵをそのまま用いることができる。しかしながら、４つの深さ（κ＋１）のＩＮＴＥＲ ＣＵは、２Ｎ’×２Ｎ’ＰＵを同時に用いることができない。

深さκの各２Ｎ×２ＮのリーフＣＵでは、次に続く４つの条件が２Ｎ×２ＮのパーティションサイズがＩＮＴＥＲモードで許容されるかどうかを決定するのにテストされる。全ての４つの条件が満たされた場合、２Ｎ×２Ｎのパーティションは、図１４に表されるように許容されない。さもなければ、全ての４つのパーティションサイズ、２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、およびＮ×Ｎが許容される。４つの条件は、（ａ）κ＞０であるか（即ち、ＬＣＵサイズより小さい）、（ｂ）現在のＣＵがその親ＣＵの最後（第４）のリーフＣＵであるか、（ｃ）先の３つのリーフＣＵがκ”の深さ（ｄｅｐｔｈ＝κ”）を有するか、（ｄ）先の３つのリーフＣＵがＭｏｄｅ＝ＩＮＴＥＲおよびＰａｒｔＳｉｚｅ＝２Ｎ×２Ｎを有するか、である。図１５は、ＩＮＴＥＲモードにおける深さκおよびκ＋１の予測単位の制約されたパーティションセットを決定する例示的なフローチャートを表している。ブロック１５１０で４つの条件がテストされる。４つのテスト条件が満たされる場合、パーティションサイズ、２Ｎ×２Ｎは、スキップされる。即ち、パーティションサイズ｛２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ｝がブロック１５２２、１５２４、および１５２６でそれぞれテストされる。また、深さ（κ−１）の親ＣＵでは、パーティションサイズ、Ｎ×Ｎもブロック１５２８で試されてプロセスが完了する。４つのテスト条件が満たされない場合、パーティションサイズ｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ｝がブロック１５３２、１５３４、および１５３６に表されるようにそれぞれ試される。“ＣＵサイズがＳＣＵサイズと同じかどうか”の条件はブロック１５４０でテストされる。結果が肯定の場合、パーティションサイズ、Ｎ×Ｎもブロック１５４２に表されるように試される。でなければ、パーティションサイズＮ×Ｎは、スキップされてプロセスが完了する。

深さκの各２Ｎ×２ＮのリーフＣＵでは、次に続く４つの条件が２Ｎ×２ＮのパーティションサイズがＩＮＴＲＡモードで許容されるかどうかを決定するのにテストされる。全ての４つの条件が満たされた場合、２Ｎ×２Ｎのパーティションは、図１６に表されるように許容されない。さもなければ、両パーティションサイズ、２Ｎ×２ＮおよびＮ×Ｎが許容される。４つの条件は、（ａ）κ＞０であるか（即ち、ＬＣＵサイズより小さい）、（ｂ）現在のＣＵがその親ＣＵの最後（第４）のリーフＣＵであるか、（ｃ）先の３つのリーフＣＵがκ”の深さ（ｄｅｐｔｈ＝κ”）を有するか、（ｄ）先の３つのリーフＣＵがＭｏｄｅ＝ＩＮＴＲＡおよびＰａｒｔＳｉｚｅ＝２Ｎ×２Ｎを有するか、である。図１５は、ＩＮＴＲＡモードにおける深さκおよびκ＋１の予測単位の制約されたパーティションセットを決定する例示的なフローチャートを表している。４つの条件がブロック１７１０でテストされる。４つのテスト条件が満たされる場合、パーティションサイズ、２Ｎ×２Ｎは、スキップされる。即ち、パーティションサイズＮ×Ｎだけがブロック１７２２で試される。また、深さ（κ−１）の親ＣＵでは、パーティションサイズ、２Ｎ×２Ｎもブロック１７２４で試されてプロセスが完了する。４つのテスト条件が満たされない場合、パーティションサイズ２Ｎ×２Ｎがブロック１７３２に表されるように試される。“ＣＵサイズがＳＣＵサイズと同じ場合”の条件はブロック１７４０でテストされる。結果が肯定の場合、パーティションサイズ、Ｎ×Ｎもブロック１７４２に表されるように試される。でなければ、パーティションサイズＮ×Ｎは、スキップされてプロセスが完了する。

上述のように本発明に基づいた適応オフセット復元の実施形態は、各種のハードウェア、ソフトウェアコード、またはその両方の組み合わせに実行されることができる。例えば、本発明の実施形態は、画像圧縮チップ内に組み込まれた回路、または画像圧縮ソフトウェア内に組み込まれたプログラムコードであることができ、ここで述べられる処理を行う。本発明の実施形態は、デジタルシグナルプロセッサ（ＤＳＰ）で実行されるプログラムコードであることもでき、ここで述べられる処理を行う。本発明は、コンピュータプロセッサ、デジタル信号プロセッサ、マイクロプロセッサ、またはフィールドプログラマブルゲートアレイ（ＦＰＧＡ）によって実行される複数の機能を含むこともできる。本発明に統合された特定の方法を定義する装置により読み込み可能なソフトウェアコードまたはファームウェアコードを実行することによって、これらのプロセッサは、本発明に基づいて特定のタスクを実行するように構成されることができる。ソフトウェアコードまたはファームウェアコードは、異なるプログラミング言語および異なるフォーマットまたはスタイルで開発されることができる。ソフトウェアコードは、異なるターゲットプラットフォームにコンパイルされることもできる。しかしながら、異なるコードフォーマット、スタイルおよびソフトウェアコードの言語、および本発明に基づいてタスクを実行する他の手段の設定コードが本発明の思想を逸脱しない限りにおいては、本発明の保護範囲内にある。

本発明は、その思想と基本的｛きほんてき｝な特徴｛とくちょう｝から逸脱｛いつだつ｝することなく他の特定のフォームに統合され得る。上述の実施例は、本明細書中に記述される発明を限定するものでなく、あらゆる局面において例示的であると考えられる。

１１０、１２０、１３０、１４０…ブロック
１１２、１２２、１３２、１４２…符号化単位
３１０、３２０…予測ユニット
９１０、９１２、９１４、９１６、９１８…符号化単位
９２０、９２２、９２４、９２６、９２８…ビット
９５０、９５２、９５４、９５６、９５８、１０１４、１０１６…符号化単位
９６０、９６２、９６４、９６６、９６８…ビット

Claims (20)

1. 画像処理のための方法において、、
   Ｎが０より大きい第１の整数であり、κが０より大きいまたは０と等しい、深さκの２Ｎ×２Ｎの符号化単位（以下、リーフＣＵと称す）を受けるステップ、
   ２Ｎ×２ＮのリーフＣＵの予測モードに基づいて、前記２Ｎ×２ＮのリーフＣＵを、Ｎ×Ｎのパーディションサイズ、及び、ＩＮＴＥＲモードとＩＮＴＲＡモードとを含んだ予測モードを含む、セットの予測単位（以下、ＰＵと称す）に分割するステップ、および
   前記２Ｎ×２ＮのリーフＣＵがＳＣＵ（最小ＣＵ）より大きい場合、前記予測モードの前記Ｎ×Ｎのパーディションサイズを除去し、前記パーティションサイズが除去された時、制約されたセットのＰＵが形成されるステップを含む方法。
2. 前記ＩＮＴＥＲモードでは、前記セットのＰＵは、２Ｎ×２Ｎのパーディションサイズ、２Ｎ×Ｎのパーディションサイズ、およびＮ×２Ｎのパーディションサイズを更に含む請求項１に記載の方法。
3. 前記ＩＮＴＲＡモードでは、前記セットのＰＵは、２Ｎ×２Ｎのパーディションサイズを更に含む請求項１に記載の方法。
4. 次の深さの次の符号化単位のいずれかが更に分割されるかどうかを示すフラグを組み込むステップを含む請求項１に記載の方法。
5. 前記次の深さの前記次の符号化単位のいずれも分割されないことが、フラグにより示される場合には、前記次の深さの前記次の符号化単位のそれぞれの分割決定を指示する情報が組み込まれていない
   請求項４に記載の方法。
6. 画像処理のための方法において、
   Ｎが０より大きい整数であって、深さｋの２Ｎ×２Ｎの符号化単位（以下、リーフＣＵと称す）を受けるステップ、
   ２Ｎ×２ＮのリーフＣＵの各Ｎ×ＮのリーフＣＵに対して、
   条件１の評価として、ｋ＞０かどうかを判定するステップ、
   条件２の評価として、前記各Ｎ×ＮのリーフＣＵが前記２Ｎ×２ＮのリーフＣＵの４番目のリーフＣＵであるかどうかを判定するステップ、
   条件３の評価として、３つの先のリーフＣＵが前記深さｋを有するかどうかを判定するステップ、および
   条件４の評価として、前記３つの先のリーフＣＵが同じタイプのモードを有し、且つＮ×Ｎのパーティションサイズを有するかどうかを判定するステップを含み、
   前記条件１〜条件４が全て満たされた場合には、２Ｎ×２Ｎのパーティションサイズを除去し、制約されたパーティションを形成し、且つ
   、前記制約されたパーティションセットに基づいて前記各Ｎ×ＮのリーフＣＵを分割する方法。
7. 前記モードのタイプはＩＮＴＥＲである請求項６に記載の方法。
8. 前記モードのタイプはＩＮＴＲＡである請求項６に記載の方法。
9. 画像データと関連する画像ビットストリームの符号化の方法であって、前記画像データは、２Ｎ×２Ｎの符号化単位（以下、リーフＣＵと称す）の予測モードに基づいて、Ｎ×Ｎのパーディションサイズ、及び、ＩＮＴＥＲモードとＩＮＴＲＡモードとを含んだ予測モードを含む、セットの予測単位（以下、ＰＵと称す。）に分割される深さκの２Ｎ×２ＮのリーフＣＵを含み、
   前記方法は、
   前記２Ｎ×２ＮのリーフＣＵが最小のＣＵ（ＳＣＵ）より大きいかどうかを判定するテストを実行するステップ、
   前記テストに基づいて前記セットのＰＵのコード名を選択するステップ、および
   前記選択されたコード名に基づいて前記画像ビットストリームを符号化し、ＰＵパーディションを復元するステップを含む方法。
10. 前記画像ビットストリームから、次の深さの次の符号化単位のいずれかが更に分割されるかどうかを示すフラグを抽出するステップ、および
    前記フラグに基づいて前記次の深さの前記次の符号化単位の構造を復元するステップを含む請求項９に記載の方法。
11. 前記次の深さの前記次の符号化単位のいずれも分割されないことが、フラグにより示される場合には、前記次の深さの前記次の符号化単位のそれぞれの分割決定を指示する情報が組み込まれていない請求項１０に記載の方法。
12. 画像処理のための装置であって、
    Ｎが０より大きい第１の整数であり、κが０より大きいまたは０と等しい、深さκの２Ｎ×２Ｎの符号化単位（以下、リーフＣＵと称す）を受ける手段、
    ２Ｎ×２ＮのリーフＣＵの予測モードに基づいて、前記２Ｎ×２ＮのリーフＣＵを、Ｎ×Ｎのパーディションサイズ、および、ＩＮＴＥＲモードとＩＮＴＲＡモードとを含んだ予測モードを含む、セットの予測単位（以下、ＰＵと称す）に分割する手段、および
    前記２Ｎ×２ＮのリーフＣＵがＳＣＵ（最小ＣＵ）より大きい場合、前記予測モードの前記Ｎ×Ｎのパーディションサイズを除去し、前記パーティションサイズが除去された時、制約されたセットのＰＵが形成される手段を含む装置。
13. 前記ＩＮＴＥＲモードでは、前記セットのＰＵは、２Ｎ×２Ｎのパーディションサイズ、２Ｎ×Ｎのパーディションサイズ、およびＮ×２Ｎのパーディションサイズを含む請求項１２に記載の装置。
14. 前記ＩＮＴＲＡモードでは、前記セットのＰＵは、２Ｎ×２Ｎのパーディションサイズを含む請求項１２に記載の装置。
15. 前記セットのＰＵが１つ以上のＰＵを含んで前記１つ以上のＰＵのいずれかが更に分割されるかどうかを示す時、フラグを組み込む手段を更に含む請求項１に記載の装置。
16. 画像処理のための装置であって、前記装置は、
    Ｎが０より大きい整数である、深さｋの２Ｎ×２Ｎの符号化単位（以下、リーフＣＵと称す）を受ける手段、
    ２Ｎ×２ＮのリーフＣＵの各Ｎ×ＮのリーフＣＵに対して、
    条件１の評価として、ｋ＞０かどうかを判定する手段、
    条件２の評価として、前記各Ｎ×ＮのリーフＣＵが前記２Ｎ×２ＮのリーフＣＵの第４のリーフＣＵであるかどうかを判定する手段、
    条件３の評価として、３つの先のリーフＣＵが前記深さｋを有するかどうかを判定する手段、および
    条件４の評価として、前記３つの先のリーフＣＵが同じタイプのモードを有し、且つＮ×Ｎのパーティションサイズを有するかどうかを判定する手段を含み、
    前記条件１〜条件４が全て満たされた場合、２Ｎ×２Ｎのパーティションサイズを除去し、制約されたパーティションを形成し、且つ、前記制約されたパーティションセットに基づいて前記各Ｎ×ＮのリーフＣＵを分割する装置。
17. 前記モードのタイプはＩＮＴＥＲである請求項１６に記載の装置。
18. 前記モードのタイプはＩＮＴＲＡである請求項１６に記載の装置。
19. 画像データと関連する画像ビットストリームの符号化の装置であって、前記画像データは、２Ｎ×２ＮのリーフＣＵの予測モードに基づいて、Ｎ×ＮのパーディションサイズおよびＩＮＴＥＲモードとＩＮＴＲＡモードを含む予測モードを含むセットの予測単位（以下、ＰＵと称す）予測単位に分割される深さκの２Ｎ×２ＮのリーフＣＵ（符号化単位）を含み、前記装置は、
    前記２Ｎ×２ＮのリーフＣＵがＳＣＵ（最小ＣＵ）より大きいかどうかを判定するテストを実行する手段、
    前記テストに基づいて前記セットのＰＵのコード名を選択する手段、および
    前記選択されたコード名に基づいて前記画像ビットストリームを符号化し、ＰＵパーディションを復元する手段を含む装置。
20. 次の深さの次の符号単位のいずれかがさらに分割されるかどうかを示すフラグを、ビデオストリームから抽出するステップと、
    前記フラグに基づいて、前記次の深さの前記次の符号単位の構造を復元するステップを含む請求項１９記載の装置。

Images