JP6005520B2 - 映像符号化及び復号化におけるインターフレームの改善された色度変換の方法及び装置 - Google Patents

Description

本発明は、映像符号化及び復号化に関し、より詳細には、映像符号化及び復号化におけるインターフレームの改善された色度変換の方法及び装置に関する。
本出願は、2009年12月4日に提出された米国特許仮出願第61/266,537号の利益を特許請求するものであり、その内容は完全な形で本明細書に盛り込まれる。

一般的且つ効果的な映像符号化方法は、ブロックに基づくハイブリッド符号化方法と呼ばれることがあり、ブロックに基づいた時間予測及び変換符号化を使用することを含む。この方法は、本質的に、全ての映像符号化規格のコアである。

ブロックに基づくハイブリッドビデオエンコーダでは、それぞれのピクチャは、ブロックに分割される。インターフレームにおけるそれぞれのブロックは、動き補償予測及び変換符号化の組み合わせを使用して符号化される。動き補償予測により時間的な相関が除かれる一方、さらに、変換符号化は、空間領域における信号を無相関化し、エネルギーを幾つかの係数に圧縮する。

様々な国際規格について異なる変換が開発されている。ISO/IEC（International Organization for Standardization/International
Electrotechnical Commission）Moving Picture Experts Group-4 (MPEG-4) Part10 AVC（Advanced Video Coding）規格／ITU-T（International
Telecommunication Union, Telecommunication Sector）H.264勧告（以下MPEG-4 AVC規格）の前の規格では、変換ブロックサイズは、典型的に8×8である。8×8変換サイズは、変換領域にわたる局所的な遷移による波及効果を最小化するために十分に小さい一方、傾向及び周期性を捕捉するために十分に大きいという、２つの部分から成る利点を有する。

MPEG-4 AVC規格では、３つの更なる変換は、以下のように使用のために利用可能である。
・16×16モードで予測されるイントラマクロブロックにおける輝度DC係数の4×4アレイについてのアダマール変換。

・任意のマクロブロックにおける色度DC係数の2×2アレイについてのアダマール変換。

・4×4DCTに基づく変換
この4×4の小さなサイズにより、エンコーダは、動きのあるオブジェクトの境界に対して予測誤差の符号化を良好に適合し、変換のブロックサイズを動き補償の最小のブロックサイズと整合させ、変換を局所的な予測誤差信号に良好に適合させることができる。

インターフレームの輝度成分の残差データを符号化するため、エンコーダは、8×8及び4×4変換から選択する。対照的に、DC係数について2×2アダマール変換とカスケード接続される4×4変換のように、色度成分について変換が固定される。

［KTAにおけるインターピクチャの輝度及び色度残差の変換］
VCEG“key technical area”（KTA）ソフトウェアは、MPEG-4 AVC規格の確定後に、映像符号化における新たな利点を統合する共通のプラットフォームを提供している。拡大されたブロックサイズと大きな変換を使用する提案は、KTAに適合される。現在のKTAソフトウェアでは、16×16画素よりも大きい動きパーティションが実現される。特に、サイズ64×64，64×32，32×64，32×32，32×16，16×32のマクロブロックは、既存のMPEG-4 AVC規格のパーティションサイズに加えて使用される。また、高精細映像において通常な滑らかなコンテンツを良好に捕捉するために大きいブロック変換が使用される。より大きいブロック変換は、16×16，16×8及び8×16変換を含む。なお、全てのこれら新たな変換は、輝度成分に適用される。色度成分の変換は、カスケード接続された4×4変換であるMPEG-4 AVC規格と同じである。係る固定された変換は、ビデオコンテンツの特性を考慮していない。

［典型的な色度変換］
図１を参照して、ビデオエンコーダにおける色度変換の従来の方法は、参照符号１００により示される。本方法１００は、開始ブロック１１０を含み、この開始ブロックは、リームリミットブロック１２０に制御を進める。ループリミットブロック１２０は、１，．．．，（例えば入力ビデオ系列における）ピクチャ数（＃）までの範囲を有する変数ｊを使用して、第一のループ（Loop(1)）を開始し、制御をループリミットブロック１３０に進める。ループリミットブロック１３０は、１，．．．，（例えば入力ビデオ系列の現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して、第二のループ（Loop(2)）を開始し、制御を機能ブロック１４０に移す。機能ブロック１４０は、ピクチャｊにおけるブロックｉの輝度成分を符号化し、制御を機能ブロック１５０に移す。機能ブロック１５０は、固定された変換でピクチャｊにおけるブロックｉの色度成分を符号化し、制御をループリミットブロック１６０に移す。ループリミットブロック１６０は、Loop(2)を終了し、制御を機能ブロック１７０に移す。機能ブロック１７０は、Loop(1)を終了し、制御を終了ブロック１９９に移す。

図２を参照して、ビデオデコーダにおける色度復号化の従来の方法は、参照符号２００により示される。本方法２００は、開始ブロック２１０を含む、この開始ブロックは、リープリミットブロック２２０に制御を移す。ループリミットブロック２２０は、１，．．．，（例えば入力ビデオ系列における）ピクチャ数（＃）までの範囲を有する変数ｊを使用して、第一のループ（Loop(1)）を開始し、制御をループリミットブロック２３０に移す。ループリミットブロック２３０は、１，．．．，（例えば入力ビデオ系列の現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して、第二のループ（Loop(2)）を開始し、制御を機能ブロック２４０に移す。機能ブロック２４０は、ピクチャｊにおけるブロックｉの輝度成分を復号化し、制御を機能ブロック２５０に移す。機能ブロック２５０は、固定された変換でピクチャｊにおけるブロックｉの色度成分を復号化し、制御をループリミットブロック２６０に移す。ループリミットブロック２６０は、Loop(2)を終了し、制御を機能ブロック２７０に移す。機能ブロック２７０は、Loop(1)を終了し、制御を終了ブロック２９９に移す。

ここで、上述された方法１００に関して、変換は、色度について、それぞれのブロック及びそれぞれのピクチャについて固定されており、輝度成分は、適応的な変換を使用する。方法１００の一部として、ブロックの輝度成分は、おそらく適応的に選択された変換により符号化される。しかし、色度成分は、固定された変換により、常に符号化され、従って復号化される。不都合なことに、先に述べたように、係る固定された変換は、ビデオコンテンツの特性を考慮しない。

従来技術のこれらの問題点及び課題、並びに他の問題点及び課題は、本発明により解決され、本発明は、映像符号化及び復号化におけるインターフレーム（inter frame）の改善された色度変換の方法及び装置に向けられる。

本発明の態様によれば、装置が提供され、本装置は、インター符号化（inter-coding）を使用してピクチャの少なくとも１部を符号化するビデオエンコーダを含む。変換は、少なくとも１つの選択の基準に応じて、少なくとも１部の色度変換に適用するため、複数の変換のうちから適応的に選択される。

本発明の別の態様によれば、ビデオエンコーダにおける方法が提供される。本方法は、インター符号化を使用してピクチャの少なくとも１部を符号化するステップを含む。変換は、少なくとも１つの選択の基準に応じて少なくとも１部の色度成分に適用するため、複数の変換のうちから適応的に選択される。

本発明の更に別の態様によれば、装置が提供され、本装置は、インター符号化された少なくとも１部の色度成分への適用のために適応的に選択された変換を使用して、ピクチャのインター符号化された少なくとも１部を復号化するビデオデコーダを含む。変換は、少なくとも１つの選択の基準に応じて適応的に選択される。

本発明の更なる別の態様によれば、ビデオデコーダにおける方法が提供され、本方法は、インター符号化された少なくとも１部の色成分への適用のために適応的に選択される変換を使用して、ピクチャのインター符号化された少なくとも１部を復号化することを含む。変換は、少なくとも１つの選択の基準に応じて適応的に選択される。

本発明のこれらの態様、特徴及び利点、並びに他の態様、特徴及び利点は、添付図面と共に読まれる例示的な実施の形態の以下の詳細な説明から明らかとなるであろう。

本発明は、以下の例示的な図面に従って良好に理解されるであろう。
従来技術に係る、ビデオエンコーダにおける色度符号化の従来の方法を示すフローチャートである。 従来技術に係る、ビデオデコーダにおける色度復号化の従来の方法を示すフローダイアグラムである。 本発明の実施の形態に係る、本発明が適用される例示的なビデオエンコーダを示すブロック図である。 本発明の実施の形態に係る、本発明が適用される例示的なビデオデコーダを示すブロック図である。 本発明の実施の形態に係る、本発明が適用される、32×32ブロックにおけるKTAにより許容される動きのパーティションを示す図である。 本発明の実施の形態に係る、インターピクチャにおける色度成分の適応的な変換を使用した、ビデオ系列を符号化する例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、インターピクチャにおける色度成分の適応的な変換を使用した、ビデオ系列を復号化する例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、インターピクチャにおける色度成分の適応的な変換を使用した、ビデオ系列を符号化する例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、インターピクチャにおける色度成分の適応的な変換を使用した、ビデオ系列を復号化する例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、インターピクチャにおける色度成分の適応的な変換を使用した、ビデオ系列を符号化する別の例示的な方法を示すフローチャートである。 本発明の実施の形態に係る、インターピクチャにおける色度成分の適応的な変換を使用した、ビデオ系列を復号化する別の例示的な方法を示すフローチャートである。

本発明は、映像符号化及び復号化におけるインターフレームの改善された色度変換の方法及び装置に向けられる。この記載は、本発明を例示するものである。従って、本実施の形態で明示的に記載又は図示されないが、本発明を実施し、本発明の精神及び範囲に含まれる様々なアレンジメントを当業者であれば創作することができることを理解されるであろう。

本実施の形態で記載される全ての例及び条件付き言語は、当該技術分野を促進するために本発明者により与えられる本発明及び概念の理解において読者を支援することが意図され、係る具体的に示される例及び条件に限定されるものではないことが解釈される。

さらに、本発明の原理、態様及び実施の形態を引用する全ての説明は、本発明の特定の例と同様に、本発明の構造的及び機能的に等価なものの両者を包含することが意図される。さらに、係る等価なものは、現在知られている等価なものと同様に、将来において開発される等価なもの、すなわち構造に係らず、同じ機能を実行するために開発されたエレメントの両者を含むことが意図される。

従って、例えば、本実施の形態で提供されるブロック図は本発明を実施する例示的な回路の概念図を表すことが当業者により理解されるであろう。同様に、フローチャート、フローダイアグラム、状態遷移図、擬似コード等は、コンピュータ読み取り可能な媒体で実質的に表現され、コンピュータ又はプロセッサが明示的に図示されるか否かに係らず、係るコンピュータ又はプロセッサにより実行される様々な処理を表す。

図示される様々なエレメントの機能は、専用ハードウェアと同様に、適切なソフトウェアと関連してソフトウェアを実行可能なハードウェアを通して提供される。プロセッサにより提供されたとき、機能は、単一の専用プロセッサ、単一の共有されるプロセッサ、そのうちの幾つかが共有される複数の個々のプロセッサにより提供される。さらに、用語「プロセッサ」又は「コントローラ」の明示的な使用は、ソフトウェアを実行可能なハードウェアを排他的に示すように解釈されるべきではなく、限定されるものではないが、デジタルシグナルプロセッサ（DSP）ハードウェア、ソフトウェアを記憶するリードオンリメモリ（ROM）、ランダムアクセスメモリ（RAM）及び不揮発性メモリを暗黙的に含む。

コンベンショナル及び／又はカスタムである他のハードウェアが含まれる場合がある。同様に、図示されるスイッチは、概念的なものである。それらの機能は、プログラムロジックの動作を通して、専用ロジックを通して、プログラム制御及び専用ロジックの相互作用を通して、更には手動的に実行され、特定の技術は、文脈からより詳細に理解されるように実現者により選択可能である。

本発明の請求項では、指定された機能を実行する手段として表現されるエレメントは、ａ）その機能を実行する回路エレメントの組み合わせ、又はｂ）その機能を実行するソフトウェアを実行する適切な回路と組み合わされた、ファームウェア、マイクロコード等を含む任意の形態のソフトウェアを含む、その機能を実行する任意のやり方を包含することが意図される。係る請求項により定義される本発明は、様々な示される手段により提供される機能が組み合わされ、請求項が求めるやり方で纏められる事実にある。それらの機能を提供することができる任意の手段は、本実施の形態で図示される手段に等価であると考えられる。

本発明の「１実施の形態」又は「実施の形態」に対する明細書における参照は、本発明の他の変形例と同様に、本実施の形態と共に記載される特定の特徴、構造、特性等が本発明の少なくとも１つの実施の形態に含まれることを意味する。従って、記載「１実施の形態では」又は「実施の形態では」の出現は、明細書全体を通して現れる他の変形と同様に、必ずしも、同じ実施の形態を示すものではない。

以下「／」、「及び／又は」及び「〜の少なくとも１つ」の使用、例えば「Ａ／Ｂ」、「Ａ及び／又はＢ」及び「Ａ及びＢの少なくとも１つ」は、第一の列挙されたオプションＡのみの選択、又は第二の列挙されたオプションＢのみの選択、又は両方のオプションＡ及びＢの選択を包含することが意図される。更なる例として、「Ａ，Ｂ及び／又はＣ」及び「Ａ，Ｂ及びＣの少なくとも１つ」の場合、係る記載は、第一の列挙されたオプションＡのみの選択、第二の列挙されたオプションＢのみの選択、第三の列挙されたオプションＣのみの選択、第一及び第二の列挙されたオプションＡ及びＢのみの選択、第一及び第三の列挙されたオプションＡ及びＣのみの選択、第二及び第三の列挙されたオプションＢ及びＣのみの選択、又は全ての３つのオプションＡ及びＢ及びＣの選択を包含することが意図される。これは、多くのアイテムが列挙されるとき、当業者により容易に明らかとなるように拡張される。

また、本明細書で使用されたとき、単語「ピクチャ“picture”」及び「画像“image”」は、交換可能に使用され、静止画像又はビデオ系列からのピクチャを示す。知られているように、ピクチャは、フレーム又はフィールドである場合がある。

さらに、本明細書で使用されるとき、単語「信号“signal”」は、何かを対応するデコーダに示すことを示す。例えば、エンコーダは、どの特定の変換及び／又は逆変換がエンコーダ側で使用されるかをデコーダに知らせるため、変換及び／又は逆変換のグループのうちの特定の１つを指示する。このように、同じ変換は、エンコーダ側及びデコーダ側の両者で使用される。従って、例えばエンコーダは、デコーダが同じ特定の変換及び／又は逆変換を使用するように特定の変換及び／又は逆変換をデコーダに送出するか、又はデコーダが他の変換及び逆変換と同様に、特定の変換及び／又は逆変換を既に有する場合、デコーダが特定の変換及び／又は逆変換を知り、選択するのを単に可能にするシグナリングが使用される。実際の変換の送信を回避することで、ビットの節約が実現される。シグナリングは様々なやり方で達成される場合があることを理解されたい。例えば、１以上のシンタックスエレメント、フラグ等は、情報を対応するデコーダに指示するために使用される場合がある。

さらに、本明細書で使用されたとき、記載「原因となる隣接ブロック“causal neighboring block”」は、符号化又は復号化の順序の観点で、現在のブロックに先行する隣接ブロックを示す。従って、係るブロックは、現在のブロックが処理されたときに既に符号化又は復号化される。

図示及び記載のため、MPEG-4 AVC規格と共に使用されるKTAソフトウェアを通しての改善の文脈において例が記載される。しかし、本発明はMPEG-4 AVC規格と共に使用されるKTAソフトウェアを通しての改善のみに限定されるものではないことを理解されたい。本明細書で提供される本発明の教示が与えられると、当業者であれば、本発明は同様に適用可能であり、他の規格の拡張に適用されたとき又は未だ開発されていない規格に適用及び／又は組み込まれたときに少なくとも同様の利点を提供することを容易に理解されるであろう。また、規格に準拠しないが、独自定義に準拠するビデオエンコーダ及びビデオデコーダにも適用されることを更に理解されたい。

さらに、簡単さのため、本発明は4:2:0の色度フォーマットを使用して記載される。しかし、当業者は、本発明は他のフォーマット（例えば4:2:2フォーマット、4:4:4フォーマット等）にも容易に適用可能であることを容易に理解されるであろう。

図３を参照して、本発明が適用される例示的なビデオエンコーダは、参照符号３００により示される。ビデオエンコーダ３００は、結合器３８５の非反転入力と接続される出力を有するフレームオーダリングバッファ３１０を含む。結合器３８５の出力は、変換器及び量子化器３２５の第一の入力と接続される。変換器及び量子化器３２５の出力は、エントロピーコーダ３４５の第一の入力、並びに、逆変換器及び逆量子化器３５０の第一の入力と接続される。エントロピーコーダ３４５の出力は、結合器３９０の第一の非反転入力と接続される。結合器３９０の出力は、出力バッファ３３５の第一の入力と接続される。

エンコーダコントローラ３０５の第一の出力は、フレームオーダリングバッファ３１０の第二の入力、逆変換器及び逆量子化器３５０の第二の入力、ピクチャタイプ判定モジュール３１５の入力、マクロブロックタイプ（MB-type）判定モジュール３２０の第一の入力、イントラ予測モジュール３６０の第二の入力、デブロッキングフィルタ３６５の第二の入力、動き補償器３７０の第一の入力、動き予測器３７５の第一の入力、及び参照ピクチャバッファ３８０の第二の入力と接続される。

エンコーダコントローラ３０５の第二の出力は、SEI（Supplemental Enhancement Information）挿入器３３０の第一の入力、変換器及び量子化器３２５の第二の入力、エントロピーコーダ３４５の第二の入力、出力バッファ３３５の第二の入力、SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器３４０の入力に接続される。

SEI挿入器３３０の出力は、結合器３９０の第二の非反転入力と接続される。

ピクチャタイプ判定モジュール３１５の第一の出力は、フレームオーダリングバッファ３１０の第三の入力と接続される。ピクチャタイプ判定モジュール３１５の第二の出力は、マクロブロックタイプの判定モジュール３２０の第二の入力と接続される。

SPS（Sequence Parameter Set）及びPPS（Picture Parameter Set）挿入器３４０の出力は、結合器３９０の第三の非反転入力と接続される。

逆量子化器及び逆変換器３５０の出力は、結合器３１９の第一の非反転入力と接続される。結合器３１９の出力は、イントラ予測モジュール３６０の第一の入力とデブロッキングフィルタ３６５の第一の入力と接続される。デブロッキングフィルタ３６５の出力は、参照ピクチャバッファ３８０の第一の入力と接続される。参照ピクチャバッファ３８０の出力は、動き予測器３７５の第二の入力及び動き補償器３７０の第三の入力と接続される。動き予測器３７５の第一の出力は、動き補償器３７０の第二の入力と接続される。動き予測器３７５の第二の出力は、エントロピーコーダ３４５の第三の入力と接続される。

動き補償器３７０の出力は、スイッチ３９７の第一の入力と接続される。イントラ予測モジュール３６０の出力は、スイッチ３９７の第二の入力と接続される。マクロブロックタイプ判定モジュール３２０の出力は、スイッチ３９７の第三の入力と接続される。スイッチ３９７の第三の入力は、（制御入力、すなわち第三の入力と比較して）スイッチの「データ」入力が動き補償器３７０又はイントラ予測モジュール３６０により提供されるか否かを判定する。スイッチ３９７の出力は、結合器３１９の第二の非反転入力及び結合器３８５の反転入力と接続される。

フレームオーダリングバッファ３１０の第一の入力及びエンコーダコントローラ３０５の入力は、入力ピクチャを受けるため、エンコーダ１００の入力として利用可能である。さらに、SEI（Supplemental Enhancement Information）挿入器３３０の第二の入力は、メタデータを受けるため、エンコーダ３００の入力として利用可能である。出力バッファ３３５の出力は、ビットストリームを出力するため、エンコーダ３００の出力として利用可能である。

図４を参照して、本発明が適用される例示的なビデオデコーダは、参照符号４００により示される。ビデオデコーダ４００は、エントロピーデコーダ４４５の第一の入力と接続される出力を有する入力バッファ４１０を有する。エントロピーデコーダ４４５の第一の出力は、逆変換器及び逆量子化器４５５の第一の入力と接続される。逆変換器及び逆量子化器４５０の出力は、結合器４２５の第二の非反転入力と接続される。結合器４２５の出力は、デブロッキングフィルタ４６５の第二の入力及びイントラ予測モジュール４６０の第一の入力と接続される。デブロッキングフィルタ４６５の第二の出力は、参照ピクチャバッファ４８０の第一の入力と接続される。参照ピクチャバッファ４８０の出力は、動き補償器４７０の第二の入力と接続される。

エントロピーデコーダ４４５の第二の出力は、動き補償器４７０の第三の入力、デブロッキングフィルタ４６５の第一の入力、イントラ予測器４６０の第三の入力と接続される。エントロピーデコーダ４４５の第三の出力は、デコーダコントローラ４０５の入力と接続される。デコーダコントローラ４０５の第一の出力は、エントロピーデコーダ４４５の第二の入力と接続される。デコーダコントローラ４０５の第二の出力は、逆変換器及び逆量子化器４５０の第二の入力と接続される。デコーダコントローラ４０５の第三の出力は、デブロッキングフィルタ４６５の第三の入力と接続される。デコーダコントローラ４０５の第四の出力は、イントラ予測モジュール４６０の第二の入力、動き補償器４７０の第一の入力、及び参照ピクチャバッファ４８０の第二の入力と接続される。

動き補償器４７０の出力は、スイッチ４９７の第一の入力と接続される。イントラ予測モジュール４６０の出力は、スイッチ４９７の第二の入力と接続される。スイッチ４９７の出力は、結合器４２５の第一の非反転入力と接続される。

入力バッファ４１０の入力は、入力ビットストリームを受信するため、デコーダ４００の入力として利用可能である。デブロッキングフィルタ４６５の第一の出力は、出力ピクチャを出力するため、デコーダ４００の出力として利用可能である。

上述されたように、本発明は、映像符号化及び復号化におけるインターフレームの改善された色度の変換の方法及び装置に関する。すなわち、インターピクチャの色度成分の変換を改善する方法及び装置が提案され、インターフレームの色度成分の符号化効率を改善する新たな変換が提案される。１実施の形態では、インターピクチャの色度成分により多くの変換を導入し、エンコーダが複数の変換のうちから選択するのを可能にする。また、選択された変換を選択及びシグナリングする方法を開示及び記載する。

［改善された方法１：輝度情報に基づいた色度変換の決定］
KTAソフトウェアでは、32×32及び64×64のマクロブロックのサイズがサポートされる。32×32ブロックについて、既存のMPEG-4 AVC規格の動きのパーティションサイズ（16×16，16×8，8×16，8×8，8×4，4×8及び4×4）に加えて、32×32，32×16及び16×32のパーティションを使用したインター符号化も可能にされる。図５を参照して、本発明が適用される32×32ブロックにおいてKTAにより許容される動きのパーティションは、参照符号５００により示される。64×64のマクロブロックのサイズについて、64×64，64×32及び32×64が更に使用される。

より大きな変換は、高精細映像における通常滑らかなコンテンツを良好に捕捉する。インターピクチャについて、輝度成分について4×4及び8×8変換に加えて、16×16，16×8及び8×16変換が使用される。特に、サイズ16×16，16×8及び8×16のそれぞれの動きのパーティションについて、4×4及び8×8変換に加えて、16×16，16×8及び8×16変換が使用される。16×16よりも大きい動きのパーティションについて、4×4及び8×8変換に加えて、16×16変換が使用される。

色度成分における滑らかなコンテンツを良好に捕捉するため、色度についてより大きい変換を導入することを提案する。4:2:0の色度フォーマットを考慮し、色度のパーティションは、色度成分が両方向において半分であるので、その輝度成分の大きさの４分の１である。より大きい動きのパーティションのサイズは、滑らかな領域について選択されるので、動きのパーティションのサイズに比例して、変換を設計することが妥当である。１実施の形態では、パーティションサイズの変換は、最も大きい変換及び最も小さい変換の制約により使用される。例えば、動きパーティションが16×16であるとき、8×8変換（両方向において16×16の半分）が色度について使用される。動きのパーティションが64×64であるとき、最も大きい変換16×16が色度について使用される。

［改善された方法１の第一の変形例］
色度のパーティションの変換サイズは、同一場所に位置する輝度成分と色度成分との間の依存状態を反映する。１つの例では、色度の変換は、同じ動きのパーティションから輝度変換により決定される。１実施の形態では、色度変換は、最も大きい変換サイズと最も小さい変換サイズ（4×4カスケード変換）の制約により、輝度変換と揃えられるが、両方向において半分にされる（8×8輝度変換は、4×4色度変換）。

「改善された方法１の第二の変形例」
更に別の考慮に関して、色度の変換サイズは、動きのパーティションのサイズと輝度の変換のサイズの両者を判定し、両パラメータの関数として決定される。１つの例について、動きのパーティションのサイズが閾値よりも大きいとき、色度の変換サイズは、輝度変換サイズにより決定される。さもなければ、色度の変換サイズは、動きのパーティションの情報サイズにより決定される。

図６を参照して、インターピクチャにおける色度成分の適応的な変換を使用したビデオ系列を符号化する例示的な方法は、参照符号６００により示される。本方法６００は、開始ブロック６１０を含み、この開始ブロックは、制御をループリミットブロック６２０に移す。ループリミットブロック６２０は、１，．．．，（例えば入力ビデオ系列における）ピクチャ数（＃）までの範囲を有する変数ｊを使用して、第一のループ（Loop(1)）を開始し、制御をループリミットブロック６３０に移す。ループリミットブロック６３０は、１，．．．，（例えば入力ビデオ系列の現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して第二のループ（Loop(2)）を開始し、制御を機能ブロック６４０に移す。機能ブロック６４０は、ピクチャｊにおけるブロックｉの輝度成分を符号化し、制御を機能ブロック６５０に移す。機能ブロック６５０は、適応的な変換によりピクチャｊにおけるブロックｉの色度成分を符号化し、制御をループリミットブロック６６０に移す。ループリミットブロック６６０は、Loop(2)を終了し、制御を機能ブロック６７０に移す。機能ブロック６７０は、Loop(1)を終了し、制御を終了ブロック６９９に移す。機能ブロック６５０に関して、色度変換は、例えば動きのパーティションサイズ及び／又は輝度の変換サイズから適応的に決定される。

図７を参照して、インターピクチャにおける色度成分の適応的な変換を使用してビデオ系列を復号化する例示的な方法は、参照符号７００により示される。本方法７００は、開始ブロック７１０を含み、この開始ブロックは、制御をループリミットブロック７２０に移す。ループリミットブロック７２０は、１，．．．，（例えば入力ビットストリームにおける）ピクチャの数（＃）までの範囲を有する変数ｊを使用して、第一のループ（Loop(1)）を開始し、制御をループリミットブロック７３０に移す。ループリミット７３０は、１，．．．，（例えば入力ビットストリームの現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して第二のループ（Loop(2)）を開始し、制御を機能ブロック７４０に移す。機能ブロック７４０は、ピクチャｊにおけるブロックｉの輝度成分を復号化し、制御を機能ブロック７５０に移す。機能ブロック７５０は、適応的な変換によりピクチャｊにおけるブロックｉの色度成分を復号化し、制御をループリミットブロック７６０に移す。ループリミットブロック７６０は、Loop(2)を終了し、制御を機能ブロック７７０に移す。機能ブロック７７０は、Loop(1)を終了し、制御を終了ブロック７９９に移す。機能ブロック７５０に関して、色度変換は、例えば動きのパーティションのサイズ及び／又は輝度の変換のサイズから適応的に決定される。

［改善された方法１：輝度情報に独立な色度変換の決定］
上述された方法は、より多くの変換をインターピクチャの色度成分に導入する。さらに、色度の変換サイズは、輝度情報から導出され、オーバヘッドコストが不要である。他方で、色度成分と輝度成分は、極めて相関していないことがあり、従って輝度情報からの色度の変換サイズを決定することで、エンコーダは、色度成分におけるコンテンツの特性を細くすることができない。

従って、この方法に従って、それ自身の情報に基づいて色度の変換サイズを決定することが提案される。エンコーダは、どの変換を使用すべきかを決定する必要がある。１つのアプローチは、それぞれの変換のサイズを使用する速度‐歪み（RD）コストを計算し、変換サイズを選択して、最小コストを得る。変換のサイズが選択された後、変換は、示される必要がある。変換のサイズは、ブロックレベル、スライスレベル、ピクチャレベル、シーケンスレベル等に関して決定／指示される。例としてブロックレベルを使用して、それぞれのブロックについて選択された変換のサイズを指示することができる。輝度と色度との間の相関が考慮されるとき、輝度の変換サイズと色度の変換サイズとの間の差のみが符号化される必要がある。

色度の変換サイズを示すことで被ったオーバヘッドコストを更に低減するため、１つのアプローチは、係る情報を暗黙的に示すことである。特に、この情報は、エンコーダ及びデコーダの両者で同じ式を使用して導出される。１実施の形態では、最も大きい変換サイズ及び最も小さい変換サイズに関する制約により、原因となる隣接するブロックの中間の変換サイズが現在のブロックについて使用される。変換サイズに加えて、現在のブロックについて変換を導出するために、動きのパーティション情報、輝度変換情報のような他の情報を使用することができる。

図８及び図９は、エンコーダによる色度変換の対応するデコーダへの明示的な信号伝達を含む本発明の実施の形態に向けられる。

図８を参照して、インターピクチャにおける色度成分の適応的な変換を使用してビデオ系列を符号化する例示的な方法は、参照符号８００により示される。本方法８００では、色成分の変換は結果として得られるビットストリームで明示的に信号伝達される。本方法８００は、開始ブロック８１０を含み、この開始ブロックは、制御をループリミットブロック８２０に移す。ループリミットブロック８２０は、１，．．．，（例えば入力ビデオ系列における）ピクチャの数（＃）までの範囲を有する変数ｊを使用して第一のループ（Loop(1)）を開始し、制御をループリミットブロック８３０を移す。ループリミットブロック８３０は、１，．．．，（例えば入力ビデオ系列の現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して第二のループ（Loop(2)）を開始し、制御を機能ブロック８４０に移す。機能ブロック８４０は、ピクチャｊにおけるブロックｉの輝度成分を符号化し、制御を機能ブロック８５０に移す。機能ブロック８５０は、ピクチャｊにおけるブロックｉの色度の変換を符号化し、制御を機能ブロック８６０に移す。機能ブロック８６０は、決定された変換によりピクチャｊにおけるブロックｉの色度成分を符号化し、制御をループリミットブロック８７０を移す。ループリミットブロック８７０は、Loop(2)を終了し、制御を機能ブロック８８０に移す。機能ブロック８８０は、Loop(1)を終了し、制御を終了ブロック８９９に移す。機能ブロック８５０に関し、色度の変換のサイズ自身又は輝度の変化のサイズからの差が符号化される。

図９を参照して、インターピクチャにおける色度成分の適応的な変化を使用してビデオ系列を復号化する例示的な方法は、参照符号９００により示される。本方法９００において、色度の成分の変換は、入力ビットストリームから明示的に決定される。本方法９００は、開始ブロック９１０を含み、開始ブロックは、ループリミットブロック９２０を制御を移す。ループリミットブロック９２０は、１，．．．，（例えば入力ビットストリームにおける）ピクチャ数（＃）までの範囲を有する変数ｊを使用して第一のループ（Loop(1)）を開始し、制御をループリミットブロック９３０に移す。ループリミットブロック９３０は、１，．．．，（例えば入力ビットストリームの現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して第二のループ（Loop(2)）を開始し、制御を機能ブロック９４０に移す。機能ブロック９４０は、ピクチャｊにおけるブロックｉの輝度成分を復号化し、制御を機能ブロックに移す。機能ブロック９５０は、ピクチャｊにおけるブロックｉの色度変換を復号化し、色度の変換の変換サイズを決定し、制御を機能ブロック９６０に移す。機能ブロック９６０は、決定された変換によりピクチャｊにおけるブロックｉの色度成分を復号化し、制御を機能ブロック９７０に移す。ループリミットブロック９７０は、Loop(2)を終了し、制御を機能ブロック９８０に移す。機能ブロック９８０は、Loop(1)を終了し、制御を終了ブロック９９９に移す。機能ブロック９５０に関して、色度の変換サイズ自身又は輝度の変換サイズからの差が復号化されることを理解されたい。

図１０及び図１１は、エンコーダ及び対応するデコーダによる色度変換の導出を含み、従って色度の変換を明示的に信号伝達する必要を回避する本発明の実施の形態に向けられる。

図１０を参照して、インターピクチャにおける色度成分の適応的な変換を使用してビデオ系列を符号化する別の例示的な方法は、参照符号１０００により示される。本方法１０００では、色度成分の変換は、結果として得られたビットストリームで信号伝達されず、従って対応するデコーダから暗黙的に導出される。本方法１０００は、開始ブロック１０１０を含み、この開始ブロックは、制御をループリミットブロック１０２０に移す。ループリミットブロック１０２０は、１，．．．，（例えば入力ビデオ系列における）ピクチャ数（＃）までの範囲を有する変数ｊを使用して第一のループ（Loop(1)）を開始し、制御をループリミットブロック１０３０に移す。ループリミットブロック１０３０は、１，．．．，（例えば入力ビデオ系列の現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して第二のループ（Loop(2)）を開始し、制御を機能ブロック１０４０に移す。機能ブロック１０４０は、ピクチャｊにおけるブロックｉの輝度成分を符号化し、制御を機能ブロック１０５０に移す。機能ブロック１０５０は、ピクチャｊにおけるブロックｉの色度変換を符号化し、制御をループリミットブロック１０６０に移す。ループリミットブロック１０６０は、Loop(2)を終了し、制御を機能ブロック１０７０に移す。機能ブロック１０７０は、Loop(1)を終了し、制御を終了ブロック１０９９に移す。機能ブロック１０５０に関して、色度の変換サイズは、暗黙的である。色度の変換サイズは、動きのパーティション情報、輝度変換情報、及び／又は原因となる隣接ブロックについて使用される変換サイズから決定される。例えば、１実施の形態では、原因となる隣接ブロックの中間の変換サイズが現在のブロックについて使用される場合がある。

図１１を参照して、インターピクチャにおける色度成分の適応的な変換を使用してビデオ系列を復号化する別の例示的な方法は、参照符号１１００により示される。本方法１１００では、色度成分の変換は、暗黙的に導出される。本方法１１００は、開始ブロック１１１０を含み、この開始ブロックは、制御をループリミットブロック１１２０に移す。ループリミットブロック１１２０は、１，．．．，（例えば入力ビデオ系列における）ピクチャ数（＃）までの範囲を有する変数ｊを使用して第一のループ（Loop(1)）を開始し、制御をループリミットブロック１１３０に移す。ループリミットブロック１１３０は、１，．．．，（入力ビデオ系列の現在のピクチャにおける）ブロック数（＃）までの範囲を有する変数ｉを使用して第二のループ（Loop(2)）を開始し、制御を機能ブロック１１４０に移す。機能ブロック１１４０は、ピクチャｊにおけるブロックｉの輝度成分を復号化し、制御を機能ブロック１１５０に移す。機能ブロック１１５０は、ピクチャｊにおけるブロックｉの色度変換を復号化し、制御をループリミットブロック１１６０に移す。ループリミットブロック１１６０は、Loop(2)を終了し、制御を機能ブロック１１７０に移す。機能ブロック１１７０は、Loop(1)を終了し、制御を機能ブロック１１９９に移す。機能ブロック１１５０に関して、色変換サイズは暗黙的である。色度の変換サイズは、動きのパーティション情報、輝度の変換情報、及び／又は原因となる隣接ブロックについて使用される変換サイズから決定される。例えば、１実施の形態では、原因となる隣接ブロックの中間の変換サイズが現在のブロックについて使用される。

［シンタックス］
色度成分の変換サイズがそれぞれのブロックについて明示的に示されると仮定すると、本発明に適用するためにシンタックスをどのように適用するかに関する例が提供される。シンタックスは、シンタックスは、動きのパーティションレベル、スライスレベル、ピクチャレベル等のような様々なレベルで適用することができる。表１は、本発明の実施の形態に係る、変換サイズがエンコーダから対応するデコーダにダイレクトに送出される場合について、例示的なマクロブロックレイヤのシンタックスを示す。この例では、３つの変換サイズ4×4，8×8及び16×16が考慮される。表２は、色度の変換サイズと輝度の変換サイズとの間の差がエンコーダから対応するデコーダに送出される場合について、例示的なマクロブロックレイヤのシンタックスを示す。変換サイズは、色度の残差がインター符号化されるときにのみ必要とされ、すなわちmb_type!=INTRA, CodedBlockPatternChroma>0であり、現在のマクロブロックは、DIRECT又はSKIPモードとして符号化されない。

表１及び表２のシンタックスエレメントの幾つかの意味は、以下の通りである。
transform_size_chromaは、マクロブロックにおける色度の変換サイズの値を指定する。

Transform_size_chroma_lima_differenceは、マクロブロックにおける色度の変換サイズと輝度の変換サイズとの間の差を指定する。色度の変換サイズは、この値と輝度の変換サイズと加算することで得られる。

本発明の多くの結果として伴う利点／特徴の幾つかに関する説明が与えられ、そのうちの幾つかは先に説明された。例えば、１つの利点／特徴は、フレーム内符号化を使用したピクチャの少なくとも１部を符号化するビデオエンコーダを有する装置である。変換は、少なくとも１つの選択の基準に応じて、少なくとも１部の色度成分に適用するため、複数の変換のうちから適応的に選択される。

別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、少なくとも１つの選択の基準は、動きのパーティション情報と輝度変換情報の少なくとも１つを含む。

更に別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、変換は、対応するデコーダに明示的に信号伝達される。

更に別の利点／特徴は、ビデオエンコーダを有する装置であり、変換は、上述されたように対応するデコーダに明示的に信号伝達され、色度の変換サイズと輝度の変換サイズとの間の符号化された差は、対応するデコーダに明示的に信号伝達される。

さらに、別の利点／特徴は、上述されたビデオエンコーダを有する装置であり、変換に対応する色度の変換サイズは、暗黙的に導出される。

さらに、別の利点／特徴は、ビデオエンコーダを有する装置であり、変換に対応する色度の変換サイズは、上述されたように明示的に導出され、色度の変換サイズは、動きのパーティション情報、輝度の変換情報、及び少なくとも１部に関する原因となる隣接ブロックについて使用される変換サイズのうちの少なくとも１つから暗黙的に導出される。

本発明のこれらの特徴及び利点、並びに他の特徴及び利点は、本明細書における教示に基づいて当業者により容易に確かめられる場合がある。本発明の教示は、ハードウェア、ソフトウェア、ファームウェア、特定用途向けプロセッサ、又はこれらの組み合わせの様々な形式で実現される場合があることを理解されたい。

より好ましくは、本発明の教示は、ハードウェア及びソフトウェアの組み合わせとして実現される。さらに、ソフトウェアは、プログラムストレージユニットで実施されるアプリケーションプログラムとして実現される。アプリケーションプログラムは、適切なアーキテクチャを有するマシンにアップロードされ、該マシンにより実行される。好ましくは、マシンは、１以上の中央処理装置（CPU）、ランダムアクセスメモリ（RAM）、及び入力／出力（I/O）インタフェースのようなハードウェアを有するコンピュータプラットフォームで実現される。また、コンピュータプラットフォームは、オペレーティングシステム及びマイクロ命令コードを含む場合がある。本明細書で記載された様々な処理及び機能は、CPUにより実行される、マイクロ命令コードの一部、又はアプリケーションプログラムの一部或いはその組み合わせの何れかである。さらに、様々な他の周辺装置は、更なるデータストレージユニット及びプリンティングユニットのようなコンピュータプラットフォームに接続される場合がある。

添付図面に示されるシステム構成要素及び方法の幾つかはソフトウェアで実現されることが好ましいため、システム構成要素間又はプロセス機能ブロック間の実際の接続は、本発明がプログラムされるやり方に依存して異なる場合があることを更に理解されたい。本明細書で教示が与えられると、当業者は本発明のこれらの実現又はコンフィギュレーション、或いは類似の実現又はコンフィギュレーションを創作することができる。

例示的な実施の形態は添付図面を参照して本明細書で記載されたが、本発明はこれらの正確な実施の形態に限定されるものではなく、本発明の範囲又は精神から逸脱することなしに、様々な変形及び変更が当業者により実施される場合があることを理解されたい。全ての係る変形及び変更は、特許請求の範囲で述べたように本発明の範囲に含まれることが意図される。

Claims (8)

1. インター符号化を使用してピクチャの少なくとも１部を符号化するビデオエンコーダを備える装置であって、
   少なくとも１つの選択の基準に応じて、前記少なくとも１部の色度成分に適用する変換サイズを、複数の変換サイズのうちから、適応的に選択し、
   対応するデコーダに、色度と輝度の変換サイズの差を符号化したものを、マクロブロックレイヤシンタックスを用いて明示的に信号伝達する、
   装置。
2. 前記少なくとも１つの選択の基準は、動きのパーティション情報及び輝度変換情報の少なくとも１つを含む、
   請求項１記載の装置。
3. ビデオエンコーダにおける、インター符号化を使用してピクチャの少なくとも１部を符号化するステップを含む方法であって、
   少なくとも１つの選択の基準に応じて、前記少なくとも１部の色度成分に適用する変換サイズを、複数の変換サイズのうちから、適応的に選択し、
   対応するデコーダに、色度と輝度の変換サイズの差を符号化したものを、マクロブロックレイヤシンタックスを用いて明示的に信号伝達する、
   方法。
4. 前記少なくとも１つの選択の基準は、動きのパーティション情報と輝度変換情報の少なくとも１つを含む、
   請求項３記載の方法。
5. ピクチャのインター符号化された少なくとも１部の色度成分への適用のために適応的に選択された変換サイズを使用して、前記インター符号化された少なくとも１部を復号するビデオデコーダであって、前記変換サイズは少なくとも１つの選択基準に応じて適応的に選択される、ビデオデコーダを備え、
   色度と輝度の変換サイズの差を符号化したものが、対応するデコーダに、マクロブロックレイヤシンタックスを用いて明示的に信号伝達される、
   装置。
6. 前記少なくとも１つの選択の基準は、動きのパーティション情報及び輝度変換情報の少なくとも１つを含む、
   請求項５記載の装置。
7. ビデオデコーダにおけるピクチャのインター符号化された少なくとも１部の色度成分への適用のために適応的に選択された変換サイズを使用して、前記インター符号化された少なくとも１部を復号するステップであって、前記変換サイズは少なくとも１つの選択基準に応じて適応的に選択される、ステップを含み、
   色度と輝度の変換サイズの差を符号化したものが、対応するデコーダに、マクロブロックレイヤシンタックスを用いて明示的に信号伝達される、
   方法。
8. 前記少なくとも１つの選択の基準は、動きのパーティション情報と輝度変換情報の少なくとも１つを含む、
   請求項７記載の方法。

Images