JP5680674B2 - 画像及び映像コーデックにおける参照処理のための方法及びシステム - Google Patents

Description

〈関連出願への相互参照〉
本願は、ここに参照によってその全体において組み込まれる、２０１０年１月２７日に出願された、米国仮出願第６１／２９８，９０７号の優先権を主張するものである。

〈分野〉
本開示は、画像及び映像の符号化及び／又は復号システムに関する。特に、画像及び映像コーデックにおける参照処理のための方法及びシステムが開示される。

立体（３Ｄ）のユーザ体験を提供することは、コンテンツ提供者及びディスプレイ製造業者の両方にとって長年の目標であった。最近、ホームユーザに対して立体体験を提供することの緊急性が、複数の有名な３Ｄ映画や、スポーツイベント、コンサート、ドキュメンタリーなどのような他の３Ｄの素材の生産及び公開と共に増加している。ホームユーザに対して立体の３Ｄコンテンツを配信することが可能な多くの方法が提案されている。提案された或る技術では、様々なフィルタリング、サンプリング及び調整方法を用いて、２つの立体のビュー（視点）を１つのフレーム構成（フレーム互換（frame compatible））に多重化する。サンプリングは、例えば、水平、垂直、又は五点形で行われるだろう。一方で、オフセットは、２つの視点間に存在しうる冗長の良い利用を与える２つの視点間で考慮される。同様にして、調整は、横から横、上から下、ライン−交互（line-interleaved）に、チェッカーボードパッキング（checkerboard packing）などでありうる。

しかしながら、上記方法は、それぞれの視点で元の解像度の半分にダウンサンプリングすることを必要とする。それゆえ、フル解像度の３Ｄを配信することを可能とする多くの方法が提案されている。或る方法では、２つに分かれた独立のビットストリーム（同時放送）を用いる。ここで、それぞれのビットストリームは異なる視点を表す（例えば、左目、右目）。この方法は、しかしながら、ストレージとバンド帯域の条件に関して複雑である。なぜなら、２つの視点間に存在する冗長が取り除かれないからである。その冗長を取り除くよう試したこの方法の拡張が、ＭＰＥＧ−４／Ｈ．２６４映像符号化標準のマルチ映像符号化（ＭＶＣ：Multi Video Coding）の拡張として提案され、採用された。ここに参照によってその全体において組み込まれる、２００９年３月の、一般的なオーディオビジュアルサービスのためのアドバンストビデオコーディングを参照されたい（http://www.itu.intrec/recommendation.asp?type=folders&lang=e&parent=T-REC-H.264）。この方法は、ベースレイヤ画像として１つの視点、及びエンハンスメントレイヤとして他の視点又は視点群を配信するスケーラブルシステムである。この場合、視点間の冗長は、変換される動き補償に基づく方法のみを用いて取り除かれる。一方で、そのシステムは、ＭＰＥＧ−４ ＡＶＣの元々の設計と比べて予測を実行するための“知的な”参照バッファ管理に基づく。符号化効率は多少改善する（同時送信に対して２０−３０％）が、あいにく動き補償のみの変換に対する信頼は、このスキームの実行を制限する。他の視点から或る視点の予測を生成するために、アフィンモデルを用いる他の方法が、ここに参照によってその全体において組み込まれる、米国特許番号６，１４４，７０１において提案されている。

米国特許番号６，１４４，７０１

大変興味がある他の適用は、スケーラブル映像配信アプリケーション（例えば、２Ｄスケーラブル映像符号化）を含む。ここで、映像信号は、各レイヤが映像信号の異なる品質レベルや解像度（空間的又は時間的）を可能とする複数のレイヤを用いて復号されることが望まれている。

本願の課題は請求項記載の手段によって解決される。

フレーム互換３Ｄアーキテクチャの例を示す図である。 フレーム互換３Ｄアーキテクチャの例を示す図である。 図１及び２のアーキテクチャにおけるエンコーダ側の可能な具現化を示す図である。 図１及び２のアーキテクチャにおけるエンコーダ側の可能な具現化を示す図である。 図１及び２のアーキテクチャにおけるデコーダ側の可能な具現化を示す図である。 本開示による実施形態のデコーダ側の具現化を示す図である。 図６のデコーダ側の具現化に関するフローチャートを示す図である。 図６のデコーダ側の具現化に関するフローチャートを示す図である。 ２つの隣接ブロックにおけるディスパリティ補償された値を計算するための参照処理サンプルを示す図である。 処理された参照ブロックを必要とする多くのブロックを有する画像領域から、処理された参照ブロックを必要としない多くのブロックを有する画像領域を分けるために実行される事前分析を行う実施形態を説明する図である。 本開示による実施形態の第１エンコーダ側の具現化を示す図である。 本開示による実施形態の第２エンコーダ側の具現化を示す図である。

第１態様によれば、マルチ−レイヤ映像復号システムであって：第１レイヤ映像デコーダを含む、第１レイヤと；前記第１レイヤと関連付けられ、第２レイヤ映像デコーダを含む第２レイヤと；前記第１レイヤ映像デコーダの出力を処理し、前記処理済みの出力を前記第２レイヤ映像デコーダに入力するかどうかを選択するための処理セレクタと；前記処理セレクタの後段に位置し、前記処理セレクタの指示に基づき、前記第１レイヤ映像デコーダの出力を処理し、前記処理済みの出力を前記第２レイヤ映像デコーダに入力するための処理モジュールとを含む。

第２態様によれば、映像デコーダであって：符号化済みの信号を受信し、復号済みの信号を出力するのに適する復号ループと；前記復号ループに接続され、復号済みの入力信号を受信し、処理された復号済みの入力信号を前記復号ループに送信するのに適する処理モジュールと；前記処理モジュールに接続され、前記復号済みの入力信号を受信し、前記復号済みの入力信号を、前記処理モジュールに送信するか否かを選択するのに適するセレクタと、を含む。

第３の態様によれば、復号された映像情報を選択的に処理するための方法であって：第１レイヤ映像デコーダ及び第２レイヤ映像デコーダを提供する段階と；下記のいずれかを選択する段階と；（ａ）前記第１レイヤ映像デコーダの出力を処理する（ｂ）前記第１レイヤ映像デコーダの出力を処理しない、（ａ）の場合、前記第１レイヤ映像デコーダの出力を処理し、処理済みの出力を前記第２レイヤ映像デコーダに入力する段階とを含む。

第４の態様によれば、映像復号システムにおけるディスパリティ補償を選択的に実行するための方法であって：復号済みの映像信号を提供する段階と；前記復号済みの映像信号に関する情報を（ａ）用いるか、（ｂ）用いないかを選択する段階と；（ａ）の場合、前記復号済みの映像信号を処理し、前記処理された復号済みの映像信号に基づいてディスパリティ補償を実行する段階と；（ｂ）の場合、前記復号済みの映像信号のディスパリティ補償を独立して実行する段階とを含む。

第５の態様によれば、映像復号システムにおけるディスパリティ補償を選択的に実行するための方法であって：復号済みの映像信号を提供する段階と；前記復号済みの映像信号に関する情報を（ａ）用いるか、（ｂ）用いないかを選択する段階と；（ａ）の場合、第１ディスパリティ補償を実行し、前記第１ディスパリティ補償は、前記復号済みの映像信号の処理に基づき、該処理と同時に実行される、段階と；（ｂ）の場合、前記第１ディスパリティ補償とは異なる第２ディスパリティ補償を実行する段階とを含む。

第６の態様によれば、マルチ−レイヤ符号化システムであって：第１レイヤ映像エンコーダを含む、第１レイヤと；前記第１レイヤと関連付けられ、第２レイヤ映像エンコーダを含み、前記第２レイヤ映像エンコーダはディスパリティ推定モジュール及びディスパリティ補償モジュールを含む、第２レイヤと；前記第１レイヤ映像エンコーダの出力を処理し、前記処理済みの出力を前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールに入力する処理モジュールとを含む。

第７の態様によれば、マルチ−レイヤ符号化システムであって；第１レイヤ映像エンコーダを含む、第１レイヤと；前記第１レイヤと関連付けられ、第２レイヤ映像エンコーダを含み、前記第２レイヤ映像エンコーダはディスパリティ推定モジュール、ディスパリティ補償モジュール及び処理モジュールを含む、第２レイヤとを含み、前記処理モジュールは、前記ディスパリティ補償モジュールと結合され、前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールは前記第１レイヤ映像エンコーダの出力を受信する。

第８の態様によれば、マルチ−レイヤ符号化システムであって：第１レイヤ映像エンコーダを含む、第１レイヤと；前記第１レイヤと接続され、第２レイヤ映像エンコーダを含む、第２レイヤと；前記第１レイヤ映像エンコーダの出力を処理するか否かを選択するための処理セレクタと；前記処理セレクタの指示に基づき、前記第１レイヤ映像エンコーダの前記出力を処理するための処理モジュールとを含み、前記第１レイヤ映像エンコーダの処理済の出力、及び前記第１レイヤ映像エンコーダの未処理の出力は前記第２レイヤ映像エンコーダに送信される。

第９の態様によれば、第１ブロック及び第２ブロックを含む画像フレーム、又はスライスを復号するための方法であって：マルチ−レイヤ復号システムの第１レイヤデコーダで前記画像フレーム又はスライスのサンプルを復号する段階と；前記復号済みサンプルを処理する段階と；前記復号済みサンプルを、前記マルチ−レイヤ復号システムの第２レイヤデコーダに送信する段階と；前記処理された復号済みサンプルから、ディスパリティ補償処理を介して、前記画像の第１ブロックを生成する段階と；前記処理された復号済みサンプルから、ディスパリティ補償処理を介して、前記画像の第２ブロックを生成する段階とを含み、前記第２ブロックを生成するのに適した、前記処理された復号済みサンプルの一部は、メモリから取得されるか、又は前記第１ブロックを生成するために既に用いられた事前分析処理された復号済みサンプルである。

さらに、開示の実施形態は、本出願の明細書、図面及び請求項において提供される。

２００９年７月４日に出願された、米国仮出願第６１／２２３，０２７号及び２００９年４月に出願された米国仮出願６１／１７０，９９５号において、両出願とも、ここに参照によってその全体において組み込まれる。両出願のアーキテクチャは、ＭＶＣのようなスキーム（２Ｄ互換）のパフォーマンスを拡張するために用いられることができ、また、スケーラブルなフレーム互換のフル解像度３Ｄ配信スキーム又はスケーラブルなマルチ−レイヤスキーム、例えば、スケーラブルなマルチ−レイヤ２Ｄスキームの一部としても用いられることができる。ベースレイヤとエンハンスメントレイヤの２つのレイヤの支援を想定している、米国仮出願第６１／２２３，０２７号のアーキテクチャは、参照処理ユニット（ＲＰＵ：Reference Processing Unit）の構成を追加する。参照処理ユニットは、エンハンスメントレイヤのために、参照ピクチャとして用いる以前にベースレイヤから来る復号されたピクチャに対して処理ステップを課してもよい。図１と２を参照すると、フレーム互換３Ｄアーキテクチャや２Ｄ互換アーキテクチャがそれぞれ示されている。ＲＰＵの検討は、しかしながら、処理を実行する装置の計算量や必要なメモリを潜在的に増加させるだろう。

本開示は、ＲＰＵの必要なメモリを最小化し、計算量を削減しつつ実装される、米国仮出願第６１／２２３，０２７号のアーキテクチャのようなアーキテクチャを可能とする実施形態を提供する。

図３と図４は、ＲＰＵの具体的な実装を含むシステムのために用いられるエンコーダ（符号器）アーキテクチャの説明を与える。当業者であれば、本開示のいくつかの例は２つのレイヤシステムに直接的に関連するが、同じ基準が、レイヤ間に複数のＲＰＵの構成を含むマルチ−レイヤシステムに対しても適用しうるということが理解できるであろう。一例であり、限定されない、マルチ−レイヤシステムは、ベースレイヤ及び１以上のエンハンスメントレイヤを含むことができる。

図３と図４に示されるアーキテクチャによれば、ベースレイヤ（ＢＬ）の再構成された画像は、ベースレイヤ内の参照ピクチャバッファ（３０５、４０５）に記憶され、処理される（３１０、４１０）。所定の適切な情報は、エンハンスメントレイヤ（ＥＬ）に対して、適切な予測値（３１５、４１５）を得るためにビットストリームに含まれる。適切な予測は、レート歪み特性のような符号化基準、処理スキームの複雑度などのコンビネーションを用いて導かれてもよい。

その処理は、補間、ローパス、又はハイパスのフィルタリング、フェーズシフト、シャープニング、などを含んでもよい。また、特定された、例えば、米国仮出願第６１／１７０，９９５号において、フィルタの各タイプは画像全体に適用されたり、異なるフィルタは領域ごと、視点ごと、色差成分ごとなどに適用されたりしてもよい。処理されたベースレイヤの画像は、エンハンスメントレイヤの参照ピクチャバッファ（３２０、４２０）に記憶される。そして、参照処理フィルタ情報（３２５、４２５）は、デコーダのために信号化される。エンハンスメントレイヤの参照ピクチャバッファ（３２０、４２０）は、他の、過去の、基準レイヤの参照画、及び／又はエンハンスメントレイヤの再構成された画像に基づく一時的な参照画も含んでもよい。そのとき、エンハンスメントレイヤは、所定の、一般的な、レート歪み最適化決定メカニズム（３３０、４３０）で符号化される。エンハンスメントレイヤの符号化される画像のそれぞれの領域（例えばマクロブロック又は画素（ピクセル）群のブロック）に対して、そのようなメカニズム（３３０、４３０）によれば、参照ピクチャバッファ（３２０、４２０）に前もって記憶されうる利用可能な符号化されたサンプルや参照画が与えられると、最適な予測（或る符号化基準に従う）方法が決定される。レート歪み最適化（３３０、４３０）と、ディスパリティ推定（Disparity Estimation）（３３５、４３５）との処理は、適切なブロック／マクロブロックのモードと、ディスパリティベクトル、参照画、重み、オフセットなどの予測パラメータを決定する。それらのパラメータなどは、符号化されるエンハンスメントレイヤ画像の最終的な予測値を生成するためにディスパリティ補償処理（３４０、４４０）で用いられ、また、デコーダ（復号器）に対してＥＬビットストリーム内に信号化される。量子化パラメータと変換、符号化された残差情報は、この処理の後に依然として存在しうる予測誤差を減らすために信号化されてもよい。

図５は、ＲＰＵ処理のためのサポートを提供するデコーダの実装の一例を説明する図である。このデコーダにおいて、図３と図４で示したエンコーダと同様に、ベースレイヤの再構成された画像は、ＢＬ参照ピクチャバッファ（５０５）に入力され、また、ＲＰＵ（５１０）にも送信され、ＥＬ画像の予測値（５１５）を得るために処理される。この予測値は、ＥＬ参照ピクチャバッファ（５２０）に記憶され、必要に応じてディスパリティ補償処理（５２５）で用いられる。しかしながら、メモリが抑制される装置では、ＥＬ参照ピクチャバッファ（５２０）にＢＬの予測値を記憶することは、コスト的に高く実装されうる。さらに、この実装は、エンハンスメントレイヤにより実際に参照されるベースレイヤの領域がどれくらいであるかを考慮していない。それゆえ、ＲＰＵ（５１０）により処理されたサンプルは、予測のために利用されないということが起こり、従って、復号中に不必要な処理になるという結果をもたらす。そのような処理は、特にパワーが抑制された装置に対し、ほとんどコストがかからず、画素ごとの演算に関して、最善の復号性能を達成するために必要となる。

本開示のいくつかの実施形態によれば、ＲＰＵの必要なメモリと処理は、デコーダのディスパリティ補償処理に伴う参照処理の段階（ステージ）を統合することで削減できる。

図６は、本開示によるデコーダのアーキテクチャの実施形態を説明する。図５に表されるアーキテクチャから異なるところは、参照処理段階（６０５）が参照選択（６１０）の後に実行され、ディスパリティ補償処理の一部となることである。換言すると、図５に示した以前のアーキテクチャでは、参照処理（５１０）は、参照選択の前に実行され、参照選択は、ディスパリティ補償段階（５２５）で行われていた。

従って、図６の実施形態の第１結果では、完全に処理されたベースレイヤの参照画を記憶する必要がなく、ベースレイヤのデコーダにより扱われた同じメモリが必要とされても、エンハンスメントレイヤのデコーダは参照することができるので、潜在的にメモリを節約する。図６の実施形態のさらなる結果では、復号演算もかなり削減することができる。計算量の削減については、参照処理（６０５）が基本的にエンハンスメントレイヤのデコーダで“必要とされるとき”に実行されるという事実に起因する。これは、次のような場合に特に有効である。例えば、いくつかの領域が、全てのスライスでベースレイヤの再構成された画像の参照処理を必要としない場合である。これらのスライスの領域は、前に復号されたエンハンスメントレイヤピクチャからのイントラ（空間的予測）や時間的予測のような予測の他のタイプを考慮するだけでよい。

本開示を通して使用される用語“ディスパリティ（disparity）”は、時間的ディスパリティ、空間的、２Ｄや３Ｄ、品質ディスパリティ、解像度などを含む任意のタイプの差異を称する。

或る実施形態において、結合された参照処理とディスパリティ補償処理（６０５）は、図７に示すように、縦につなぐフィルタセット（a cascaded filter set）として実装されうる。この場合、符号化されるエンハンスメントレイヤの画像のそれぞれの画像領域（例えばブロック）に対し、参照セレクタ（７０５）は、ベースレイヤを参照するか、又はイントラや時間的予測のような異なるタイプの予測を用いるかにより予測値を取得するかどうかを決定する（７１０）。ベースレイヤの参照が用いられる場合（７１５）、参照処理フィルタ（７２０）が実行される。特別なタイプのフィルタ（７２０）は、ビットストリームに信号化されたＲＰＵパラメータに依存しうる。そのフィルタリング（７２０）は、ディスパリティ補償フィルタ（７２５）により要求される入力サンプルを得るために通常は実行され、他のサンプルは処理される必要がない。換言すると、フィルタリング（７２０）は、予測の目的のために適用されるのであり、視覚的／ディスプレイの目的のためではない。例えば、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４標準において、ディスパリティ補償は、参照画内の１／２の画素位置で画像サンプルを予測するのに、６タップフィルタを用いる。この場合、ディスパリティパラメータ（動きベクトル）は、参照処理される画像の１／２の画素位置に具体的に位置するとすれば、対応するディスパリティ補償されたエンハンスメントレイヤの予測値の画像サンプルを得るために、わずか６個の隣接サンプルが、参照処理された画像内で生成されるのに必要となる。異なる位置、例えば整数又は１／４画素位置は、動き補償補間のためのいかなる処理の前に、隣接サンプルの処理に関して異なる条件を有してもよい。同様の処理は、輝度及び色差の両方のサンプルに対して考慮されうる。

図７の実施形態は、デコーダにおいて、例えば動き補償された補間ブロックのような、存在するブロックの再利用を可能とする。本開示は、さらなる実施形態を開示する。それは、システムの複雑度（計算量）を削減する実施形態である。一例として、図８の実施形態では、参照処理及びディスパリティ補償フィルタ（８０５）は、両方のタスクを実行するシングルフィルタ（８０５）を生成するために共に結合されうる。例えば、参照処理とディスパリティ補償の両方が線形フィルタを用いて実行されるとき、結合されたフィルタは、２つの独立したフィルタの畳み込み演算を行うことができる。異なる例では、周波数領域のフィルタは、補間フィルタと共に結合することができ、その結果、異なるフィルタ係数を有する一つのフィルタとなる。図８に示すように、結合されたフィルタパラメータは、ＲＰＵフィルタパラメータ（８１０）及びディスパリティパラメータ（８１５）の両方に依存する。パラメータとしては、例えば、符号化されたビットストリームから生成される動きベクトルの長さがある。しかしながら、制限されたセットのできる限りのＲＰＵフィルタパラメータ（８１０）と、制限されたセットのできる限りのディスパリティ補償パラメータ（８１５）があるとすれば、全てのできる限りの結合フィルタは事前に計算されることができ、フィルタパラメータはルックアップテーブルを用いて処理される。

他の実施形態において、デコーダの計算量は、以前に計算された、いくつかの参照処理サンプル群の位置を示すマップにより削減することができる。参照画は、図９の例で作られうる。ここで、ディスパリティ補償処理は、１枚の参照画が与えられる２つの４×４ブロック、ブロックＡとブロックＢの水平１／２画素位置を計算するために必要である。ＭＰＥＧ−４ ＡＶＣにおいて、この処理は、６タップフィルタを必然的に用いてもよい。この図９に示すように、参照処理された、ブロックＡを生成するために必要であるサンプル‘Ｘ’と、ブロックＢを生成するために必要であるサンプル‘Ｘ’との間で予測をかなりオーバーラップさせる。したがって、デコーダは、ブロックＡを計算するために必要となるサンプルから全てのオーバーラップするサンプルを潜在的に記憶することができる。そして、デコーダは、計算量を削減するためにブロックＢを計算するとき、オーバーラップするサンプルを再利用する。図９に示す場合は、一例の場合を示すだけであり、同じ概念がブロックＡとブロックＢが非−隣接であるとき、ブロック同士が異なるサイズのとき、異なるディスパリティ補償フィルタが用いられるときなどでも適用することができる。一つの実施形態において、以前に計算された全ての参照処理サンプルデータがマップに記憶されてもよいことに注意されるべきである。一方、他の実施形態においては、動きと参照との情報を事前に分析することは、どの参照処理サンプルがマップに必要とされるかかつ、どのサンプルが捨てられるかを決定するためにデコーダで実行されてもよい。そのような事前分析は、任意の動き補償と残差復号を実行する前にビットストリームの情報を分析することで生じさせることができる。

さらなる実施形態において、マクロブロック（例えば１６×１６）又はサブブロック（例えば１６×１６以下）でＲＰＵの利用を可能及び不可にすることから、そのような分析により生じるデコーダの条件分岐を減らすことまで、ＲＰＵの検討事項は、領域レベルで行うことができる。

具体的に、ＲＰＵの処理と参照ピクチャ全体を記憶する代わりに、ピクチャのいくつかの領域のみを処理することができる。そのような実施形態によれば、デコーダは、まず“ＲＰＵ”に関するＭＢｓ（マクロブロック群）を探すためにビットストリームを分析する。そして、デコーダは、その情報を覚えておき、ＲＰＵ処理された参照画を生成する。もし、例えば、或る領域が予測のために使われないということが知られていたら、その領域は処理されない。一方で、もし或る領域が１つ以上のマクロブロックにより予測のために使われるのであれば、この領域に属するサンプルは生成される。

図１０の実施形態では、参照画を作成することができる。図１０の実施形態に示すデコーダは、まず、どのマクロブロックがＲＰＵ処理を必要とするかを判定する。デコーダは、復号されるピクチャ又はスライスを異なる領域に分割することもできる。分割は、固定（例えば、Ｎ×Ｍマクロブロックに対応）されてもよいし、例えば、ＲＰＵが利用する分析からの情報や、ＲＰＵ処理で利用可能な隣接ブロックをできるだけ多く含むように領域を分割すること（一般的には長方形領域）で、適応的に与えられてもよい。この方法では、デコーダは、図５に示すように、ＲＰＵ処理の利用可能なマクロブロックを有する領域のみを始めから処理するだけか、低いコストで復号中に、ＲＰＵ処理の段階的に行われた（cascaded）又は結合された（combined）バージョンを適切に計画して処理するかのいずれかを行うことができる。これは、例えば、小さいサイズ、及びシステムにおける利用可能な高速メモリを利用することで実行できる。ハイブリッド方法も検討することができる。

そのような方法において、すなわち、ＲＰＵ処理を頻繁に利用するいくつかの領域の処理は、動き補償前に実行される。一方で、孤立された領域のＲＰＵ処理は、“即座に”実行される。ＲＰＵ処理を必要とする領域を決定するための或る単純な方法では、ビットストリーム内にある参照情報を分析する。この場合、ＲＰＵ処理されたサンプルを必要とするほとんどのブロック／サブ領域に対応する領域は、ＲＰＵ処理のために選択することができる。参照情報に加えて、動き／ディスパリティベクトル情報についても、ＲＰＵ処理を必要とする領域のさらに正確なマップを生成するために利用してもよい。画像全体、又は各スライス、又はスライスの部分などに対するビットストリームを分析した後に、領域計算が実行されるということに注意する。

どの領域に対してＲＰＵ処理を利用すべきか、かつ、どの領域に対してすべきでないかを決定するためのビットストリームの分析を実行することに加えて、又は代わりに、そのような領域の決定は、既に復号されたピクチャやスライスに基づくということも可能である。具体的には、２つの隣接ピクチャ、特に同様のツールにより符号化されていれば、同様の特徴を有する可能性が高いだろう。もし、第１に復号されたピクチャがＲＰＵ処理を頻繁に行っていれば、第２ピクチャもそうなるであろう。このシナリオにおいて、図５に示した方法を利用することで、このピクチャを復号することに有利な点がありうる。しかしながら、第１ピクチャがＲＰＵ処理を利用していない、又は散発的に利用していれば、本開示に従って“即座”の方法が実行されるべきである。そのような決定は、ビットストリームを分析したり、第１に対して第２ピクチャやスライスのビットやモードが同様であるかどうかを判定したりすることで、拡張することもできる。

次の段落では、本開示の実施形態によるエンコーダのアーキテクチャが示されるだろう。詳細については後述するが、図１１や図１２に示すように、エンコーダは、最終的なディスパリティ補償のために必要でなければ、ＲＰＵ参照画を処理したり記憶したりするＲＰＵの実行を回避する。ディスパリティ推定処理における判定は、追加のメモリや計算量のいずれも回避して、オリジナル（処理されていない）の参照画（例えば図１２参照）、又は単純な処理が行われた参照画（例えば図１１参照）を用いることができる。そのような判定も、図１１や図１２の方法の段階的に行われた又は結合されたバージョンを利用することができる。例えば、その処理は、高速モード判定と結合することができ、特別な参照について確認する必要はなく、このように計算サイクルを節約しながら判定を行ってもよい。

図１１の実施形態に示すように、ＲＰＵ（１１１０）からの処理された参照画（１１０５）は、エンハンスメントレイヤの再構成ピクチャバッファ（１１１５）に挿入されず、ディスパリティ推定（１１２０）及び補償（１１２５）のためにレート歪み最適化ループで直接用いられる。ＲＤＯ（Rate Distortion Optimization）モジュールにより特定されたモードと参照選択に依存し、ディスパリティ推定モジュール（１１２０）は、特定された参照のため、ディスパリティパラメータ（例えば動きベクトル、イルミネーションパラメータ）を推定する。ディスパリティ補償モジュール（１１２５）は、特定された参照画から現在画像の予測値を得るために、推定されたディスパリティパラメータを用いる。

他の実施形態において、図１１での説明や前述したように、エンコーダは、ディスパリティ推定（１２０５）の前に、完全なＲＰＵ処理の実行を回避してもよい。しかし、エンコーダは、代わりに、ディスパリティ補償（１２１０）の一部としてレート歪み最適化ループの中で、ＲＰＵ処理を実行する。この場合、ディスパリティとＲＰＵパラメータの推定モジュール（１２０５）は、提供された参照画が、低いレイヤからのＲＰＵ処理された参照画でなければ、単純なディスパリティ推定を実行するか、必要とされるＲＰＵ処理を実行するかのいずれかを行ってもよい。ＲＰＵ処理されたサンプルがディスパリティ推定のために用いられるなら、参照処理とディスパリティ補償モジュール（１２１０）は、ディスパリティ補償のために参照処理されたサンプルを用いるだろう。それ以外のためなら、参照処理とディスパリティ補償モジュール（１２１０）は、エンハンスメントレイヤの参照ピクチャバッファ内にある時間的参照画からのサンプルを用いるだろう。これは、例えば、レート歪み最適化処理によりモード決定される際に早い終了基準が用いられるならば、有利になりうる。この場合、レート歪み最適化処理（１２１５）は、画像の１つ以上の領域に対し、時間的な予測が、必要な映像品質を提供するための所定のビットレートの制約を十分に満足するかを判定してもよい。従って、レート歪み最適化処理は、その領域に対して、ＲＰＵ処理された予測値を用いるレート−歪み特性を試さないことを選択してもよい。従って、モード決定ループの中でＲＰＵ処理を実行することで、エンコーダでも、計算量及び／又は必要なメモリをかなり削減することが可能になる。もちろん、エンコーダも、例えば明示的なフィルタなどの代わりに、より短い１Ｄや２Ｄフィルタや、固定フィルタなどのより小さな複雑性のフィルタを検討する柔軟性を有する。これは、完全な事前処理を通じてか、“即座”処理を通じてかのいずれかにより任意の決定を実行するためや、ベースレイヤの参照画が用いられるかどうかを決定するために柔軟性を有する。ベースレイヤが参照画として選択された場合のみ、最適なフィルタが、最終的な動き補償ステップのためベースレイヤを処理するために用いられる。

結果的に、本開示は、ＲＰＵを用いるコーデックの参照処理段階に対して、計算量と必要なメモリをかなり削減する方法を提示する。それゆえ、本開示は、ＲＰＵに対する提供を含まないコーデックと同様のオーダーの実装コストとなるような、そのようなコーデックのハードウェア及びソフトウェアの実装コストをもたらす。本開示で教示した出願は、映像符号化装置及び映像復号装置（ハードウェア及びソフトウェア）に限定されるものではなく、映像ディスクプレイヤー（例えばブルーレイプレイヤー）、放送、衛星、携帯の３Ｄ映像装置、ＩＰＴＶシステムなどを含む。当業者であれば、本開示の教示により、フレーム−互換３Ｄ映像システム、２Ｄ互換３Ｄ映像システム、２Ｄスケーラブル映像システム、２Ｄ又は３Ｄマルチ−ビューシステムなどの様々なシステム及び／又はアーキテクチャに適用できることを理解するであろう。

本開示で記載した方法およびシステムは、ハードウェア、ソフトウェア、ファームウェアまたはそれらの組み合わせにおいて実装されてもよい。ブロック、モジュールまたはコンポーネントとして記載される諸特徴は一緒に実装されても（たとえば集積論理デバイスのような論理デバイスにおいて）、別個に実装されても（たとえば別個の接続された論理デバイスとして）よい。本開示の方法のソフトウェア部分は、実行されたときに少なくとも部分的に記載される方法を実行する命令を含むコンピュータ可読媒体を含みうる。コンピュータ可読媒体はたとえば、ランダム・アクセス・メモリ（ＲＡＭ）および／または読み出し専用メモリ（ＲＯＭ）を含みうる。命令はプロセッサ（たとえばデジタル信号プロセッサ（ＤＳＰ）、特定用途向け集積回路（ＡＳＩＣ）またはフィールド・プログラム可能論理アレイ（ＦＰＧＡ））によって実行されてもよい。

本明細書において言及されるすべての特許および刊行物は、本開示が属する分野の当業者の技術レベルを示しうる。本開示において引用されるすべての文献は、各文献が個々にその全体において参照によって組み込まれた場合と同じ程度に、参照によって組み込まれる。

本開示は特定の方法またはシステムに限定されないことは理解しておくべきである。具体的な方法またはシステムはむろん変わりうるものである。本稿で使われる用語は個別的な実施形態を記述するためだけに使われているのであり、限定することは意図されていないことも理解しておくべきである。本明細書および付属の請求項の用法では、単数形は、内容がそうでないことを明確に示しているのでない限り、複数の被指示物を含む。用語「複数」は、内容がそうでないことを明確に示しているのでない限り、二つ以上の被指示物を含む。別途定義がされていない限り、本稿で使われるすべての科学技術用語は当業者によって普通に理解されるのと同じ意味をもつ。

本開示のいくつかの実施形態について説明してきたが、本開示の精神および範囲から外れることなく様々な修正がなされてもよいことは理解されるであろう。よって、他の実施形態も付属の請求項の範囲内にある。
いくつかの態様を記載しておく。
〔態様１〕
マルチ−レイヤ映像復号システムであって：
第１レイヤ映像デコーダを含む第１レイヤと；
前記第１レイヤと関連付けられ、第２レイヤ映像デコーダを含む第２レイヤと；
前記第１レイヤ映像デコーダの出力を処理し、前記処理済みの出力を前記第２レイヤ映像デコーダに入力するかどうかを選択するための処理セレクタと；
前記処理セレクタの後段に位置し、前記処理セレクタの指示に基づき、前記第１レイヤ映像デコーダの出力を処理し、前記処理済みの出力を前記第２レイヤ映像デコーダに入力するための処理モジュールとを含む、マルチ−レイヤ映像復号システム。
〔態様２〕
前記第２レイヤ映像デコーダは、ディスパリティ補償モジュールを含み；
前記ディスパリティ補償モジュールは、前記処理モジュールの一部である、態様１記載のマルチ−レイヤ映像システム。
〔態様３〕
前記処理モジュールは、
処理フィルタ及び前記処理フィルタの後段に位置するディスパリティ補償フィルタを含む、態様１記載のマルチ−レイヤ映像復号システム。
〔態様４〕
前記処理モジュールは、
第１ディスパリティ補償フィルタと結合された処理フィルタを含み、前記映像デコーダは、さらに第２ディスパリティ補償フィルタを含み、
前記第１ディスパリティ補償フィルタは、前記第１レイヤ映像デコーダの前記出力が処理されるとき、ディルパリティ補償を実行し、前記第２ディスパリティ補償フィルタは、前記第１レイヤ映像デコーダの前記出力が処理されないとき、ディスパリティ補償を実行する、態様１記載のマルチ−レイヤ映像復号システム。
〔態様５〕
前記処理セレクタは、
画像の領域を分析し、前記領域に実行される分析に従って分割処理を選択するための領域分析モジュールを含む、態様１記載のマルチ−レイヤ映像復号システム。
〔態様６〕
前記領域分析モジュールは、
処理が必要な大多数の要素を有する領域、及び処理が必要でない大多数の要素を有する領域間で、前記画像を分割するために前記画像の領域を分析する、態様５記載のマルチ−レイヤ映像復号システム。
〔態様７〕
前記第２レイヤ映像デコーダは、
ディスパリティ補償モジュールを含む、態様６記載のマルチ−レイヤ映像復号システム。
〔態様８〕
前記処理モジュールは、
前記ディスパリティ補償モジュールとは別で、又は前記ディスパリティ補償モジュールと結合されて、前記画像の前記領域を処理することに適する、態様７記載のマルチ−レイヤ映像復号システム。
〔態様９〕
処理が必要な大多数の要素を有する前記画像の領域は、前記ディスパリティ補償モジュールとは別の前記処理モジュールにより処理され、処理が不要な大多数の要素を有する前記画像の領域は、前記ディスパリティ補償モジュールと結合された前記処理モジュールにより処理される、態様８記載のマルチ−レイヤ映像復号システム。
〔態様１０〕
前記処理セレクタは、
処理が必要な大多数の要素を有する前記画像の領域、及び処理が不要な大多数の要素を有する前記画像の領域を定義するための領域分析モジュールを含む、態様１記載のマルチ−レイヤ映像復号システム。
〔態様１１〕
前記領域分析モジュールは、
第２レイヤのビットストリーム入力を受信し、前記第２レイヤのビットストリーム入力内に与えられる参照ピクチャ情報に基づいて前記領域を定義する、態様１０記載のマルチ−レイヤ映像復号システム。
〔態様１２〕
前記領域分析モジュールは、
参照ピクチャ情報及び動きベクトル及び／又はディスパリティベクトル情報に基づいて前記領域を定義する、態様１１記載のマルチ−レイヤ映像復号システム。
〔態様１３〕
前記領域分析モジュールは、
前記画像、前記画像のスライス、前記画像のスライスの一部に対して、前記第２レイヤのビットストリーム入力に基づいて前記領域を定義する、態様１１記載のマルチ−レイヤ映像復号システム。
〔態様１４〕
前記処理セレクタは、
画像内で、前記画像のどの領域を処理するか、又は処理しないかを選択する、態様１記載のマルチ−レイヤ映像復号システム。
〔態様１５〕
前記第２レイヤ映像デコーダによる、処理を行わない領域の決定は、以前に復号されたピクチャ、スライス、又は第２レイヤのビットストリーム情報に基づく、態様１記載のマルチ−レイヤ映像復号システム。
〔態様１６〕
前記第１レイヤは、ベースレイヤであり、
前記第２レイヤは、エンハンスメントレイヤであり、
前記マルチ−レイヤ映像復号システムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含むシステムである、態様１乃至１５いずれか一項に記載のマルチ−レイヤ映像復号システム。
〔態様１７〕
前記第１レイヤは、第１エンハンスメントレイヤであり、
前記第２レイヤは、第２エンハンスメントレイヤであり、
前記マルチ−レイヤ映像復号システムは、ベースレイヤ及び複数のエンハンスメントレイヤを含むシステムである、態様１乃至１５いずれか一項に記載のマルチ−レイヤ映像復号システム。
〔態様１８〕
前記システムは、フレーム互換３次元（３Ｄ）映像システム、２次元（２Ｄ）互換３Ｄ映像システム、２Ｄスケーラブル映像システム、及び２Ｄ又は３Ｄマルチビューシステムから選択される、態様１乃至１７いずれか一項に記載のマルチ−レイヤ映像復号システム。
〔態様１９〕
映像デコーダであって：
符号化済みの信号を受信し、復号済みの信号を出力するのに適する復号ループと；
前記復号ループに接続され、復号済みの入力信号を受信し、処理された復号済みの入力信号を前記復号ループに送信するのに適する処理モジュールと；
前記処理モジュールに接続され、前記復号済みの入力信号を受信し、前記復号済みの入力信号を、前記処理モジュールに送信するか否かを選択するのに適するセレクタと、を含む、映像デコーダ。
〔態様２０〕
前記映像デコーダは、
ベースレイヤ及び１つ以上のエンハンスメントレイヤを含む復号システムのエンハンスメントレイヤの映像デコーダである、態様１９記載の映像デコーダ。
〔態様２１〕
復号された映像情報を選択的に処理するための方法であって：
第１レイヤ映像デコーダ及び第２レイヤ映像デコーダを提供する段階と；
下記のいずれかを選択する段階と；
（ａ）前記第１レイヤ映像デコーダの出力を処理する
（ｂ）前記第１レイヤ映像デコーダの出力を処理しない
（ａ）の場合、前記第１レイヤ映像デコーダの出力を処理し、処理済みの出力を前記第２レイヤ映像デコーダに入力する段階とを含む、方法。
〔態様２２〕
処理と共にディスパリティ補償を実行する段階をさらに含む、態様２１記載の方法。
〔態様２３〕
映像復号システムにおけるディスパリティ補償を選択的に実行するための方法であって：
復号済みの映像信号を提供する段階と；
前記復号済みの映像信号に関する情報を（ａ）用いるか、（ｂ）用いないかを選択する段階と；
（ａ）の場合、前記復号済みの映像信号を処理し、前記処理された復号済みの映像信号に基づいてディスパリティ補償を実行する段階と；
（ｂ）の場合、前記復号済みの映像信号とは独立してディスパリティ補償を実行する段階とを含む、方法。
〔態様２４〕
前記映像復号システムは、第１レイヤデコーダ及び第２レイヤのデコーダを含み、
前記復号済みの映像信号は、前記第１レイヤデコーダの出力であり；
ディスパリティ補償は、前記第２レイヤのデコーダで実行される、態様２３記載の方法。
〔態様２５〕
映像復号システムにおけるディスパリティ補償を選択的に実行するための方法であって：
復号済みの映像信号を提供する段階と；
前記復号済みの映像信号に関する情報を（ａ）用いるか、（ｂ）用いないかを選択する段階と；
（ａ）の場合、第１ディスパリティ補償を実行し、前記第１ディスパリティ補償は、前記復号済みの映像信号の処理に基づき、該処理と同時に実行される、段階と；
（ｂ）の場合、前記第１ディスパリティ補償とは異なる第２ディスパリティ補償を実行する段階とを含む、方法。
〔態様２６〕
前記第１ディスパリティ補償で用いられる処理パラメータ及びディスパリティパラメータを提供する段階と；
前記第２ディスパリティ補償で用いられるディスパリティパラメータを提供する段階とさらに含み；
前記第１ディスパリティ補償で用いられる前記ディスパリティパラメータは、前記第２ディスパリティ補償で用いられる前記パラメータと同一である、態様２５記載の方法。
〔態様２７〕
前記第１レイヤは、ベースレイヤであり、
前記第２レイヤは、エンハンスメントレイヤである、態様２１乃至２６いずれか一項に記載の方法。
〔態様２８〕
前記第１レイヤは、第１エンハンスメントレイヤであり、
前記第２レイヤは、第２エンハンスメントレイヤである、態様２１乃至２６いずれか一項に記載の方法。
〔態様２９〕
マルチ−レイヤ符号化システムであって：
第１レイヤ映像エンコーダを含む、第１レイヤと；
前記第１レイヤと接続され、第２レイヤ映像エンコーダを含み、前記第２レイヤ映像エンコーダはディスパリティ推定モジュール及びディスパリティ補償モジュールを含む、第２レイヤと；
前記第１レイヤ映像エンコーダの出力を処理し、前記処理済みの出力を前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールに入力する処理モジュールとを含む、マルチ−レイヤ映像符号化システム。
〔態様３０〕
前記第１レイヤ映像エンコーダは、ピクチャ参照バッファを含み、
前記処理モジュールにより処理された前記第１レイヤ映像エンコーダの前記出力は、前記ピクチャ参照バッファの出力である、態様２９記載のマルチ−レイヤ符号化システム。
〔態様３１〕
マルチ−レイヤ符号化システムであって；
第１レイヤ映像エンコーダを含む、第１レイヤと；
前記第１レイヤと関連付けられ、第２レイヤ映像エンコーダを含み、前記第２レイヤ映像エンコーダはディスパリティ推定モジュール、ディスパリティ補償モジュール及び処理モジュールを含む、第２レイヤとを含み、
前記処理モジュールは、前記ディスパリティ補償モジュールと結合され、
前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールは前記第１レイヤ映像エンコーダの出力を受信する、マルチ−レイヤ符号化システム。
〔態様３２〕
前記第１レイヤ映像エンコーダは、ピクチャ参照バッファを含み、
前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールにより受信された前記第１レイヤ映像エンコーダの前記出力は、前記ピクチャ参照バッファの出力である、態様３１記載のマルチ−レイヤ符号化システム。
〔態様３３〕
前記ピクチャ参照バッファの前記出力は、前記ピクチャ参照バッファの処理済みの出力、又は前記ピクチャ参照バッファの未処理の出力から選択される、態様３２記載のマルチ−レイヤ符号化システム。
〔態様３４〕
前記ピクチャ参照バッファの前記出力は、前記ピクチャ参照バッファの未処理の出力であり、
前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールは、ディスパリティ推定及びディスパリティ補償それぞれの前に、前記ピクチャ参照バッファの前記出力の処理を実行する、態様３３記載のマルチ−レイヤ符号化システム。
〔態様３５〕
前記ピクチャ参照バッファの前記出力は、前記ピクチャ参照バッファの未処理の出力であり、
前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールは、ディスパリティ推定及びディスパリティ補償それぞれの前に、前記ピクチャバッファの前記出力の処理を実行しない、態様３３記載のマルチ−レイヤ符号化システム。
〔態様３６〕
マルチ−レイヤ符号化システムであって：
第１レイヤ映像エンコーダを含む、第１レイヤと；
前記第１レイヤと関連付けられ、第２レイヤ映像エンコーダを含む、第２レイヤと；
前記第１レイヤ映像エンコーダの出力を処理するか否かを選択するための処理セレクタと；
前記処理セレクタの指示に基づき、前記第１レイヤ映像エンコーダの前記出力を処理するための処理モジュールとを含み、
前記第１レイヤ映像エンコーダの処理済の出力、及び前記第１レイヤ映像エンコーダの未処理の出力は前記第２レイヤ映像エンコーダに送信される、マルチ−レイヤ符号化システム。
〔態様３７〕
前記第２レイヤ映像エンコーダは、
ディスパリティ推定モジュール及びディスパリティ補償モジュールを含み、
前記第１レイヤ映像エンコーダの処理済みの出力及び前記第１レイヤ映像エンコーダの未処理の出力は、前記ディスパリティ推定モジュール及び前記ディスパリティ補償モジュールに送信される、態様３６記載のマルチ−レイヤ符号化システム。
〔態様３８〕
前記第１レイヤ映像エンコーダは、
ピクチャ参照バッファを含み、
前記第１レイヤ映像エンコーダの前記出力は、前記ピクチャ参照バッファの出力である、態様３６又は３７記載のマルチ−レイヤ符号化システム。
〔態様３９〕
前記第１レイヤは、ベースレイヤであり、
前記第２レイヤは、エンハンスメントレイヤであり、
前記マルチ−レイヤ符号化システムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含むシステムである、態様２９乃至３８いずれか一項に記載のマルチ−レイヤ符号化システム。
〔態様４０〕
前記第１レイヤは、第１エンハンスメントレイヤであり、
前記第２レイヤは、第２エンハンスメントレイヤであり、
前記マルチ−レイヤシステムは、ベースレイヤ及び複数のエンハンスメントレイヤを含むシステムである、態様２９乃至３８いずれか一項に記載のマルチ−レイヤ符号化システム。
〔態様４１〕
第１ブロック及び第２ブロックを含む画像フレーム、又はスライスを復号するための方法であって：
マルチ−レイヤ復号システムの第１レイヤデコーダで前記画像フレーム又はスライスのサンプルを復号する段階と；
前記復号済みサンプルを処理する段階と；
前記復号済みサンプルを、前記マルチ−レイヤ復号システムの第２レイヤデコーダに送信する段階と；
前記処理された復号済みサンプルから、ディスパリティ補償処理を介して、前記画像の第１ブロックを生成する段階と；
前記処理された復号済みサンプルから、ディスパリティ補償処理を介して、前記画像の第２ブロックを生成する段階とを含み、
前記第２ブロックを生成するのに採用される、前記処理された復号済みサンプルの一部は、前記第１ブロックを生成するために既に用いられた、記憶されている又は事前分析された処理された復号済みサンプルである、方法。
〔態様４２〕
前記処理された復号済みサンプルはマップ構成を介して記憶される、態様４１記載の方法。
〔態様４３〕
前記第１ブロック及び前記第２ブロックは、前記画像フレーム又はスライスの隣接ブロックである、態様４１又は４２記載の方法。

Claims (28)

1. マルチ−レイヤ映像復号システムであって：
   第１レイヤ映像デコーダを含む第１レイヤであり、前記第１レイヤ映像デコーダは第１レイヤ参照ピクチャバッファを含む、第１レイヤと；
   前記第１レイヤと関連付けられ、第２レイヤ映像デコーダを含む第２レイヤであり、前記第２レイヤ映像デコーダは第２レイヤ参照ピクチャバッファを含む、第２レイヤと；
   前記第１レイヤ参照ピクチャバッファ及び前記第２レイヤ参照ピクチャバッファに接続される参照処理セレクタであり、前記第１レイヤ映像デコーダの出力参照ピクチャを処理し、前記処理済みの出力参照ピクチャを前記第２レイヤ映像デコーダに入力するかどうかを選択するための参照処理セレクタと；
   前記参照処理セレクタの後段に位置し、前記参照処理セレクタの指示に基づき、前記第１レイヤ映像デコーダの出力参照ピクチャを処理し、前記処理済みの出力参照ピクチャを前記第２レイヤ映像デコーダに入力するための処理モジュールであり、参照処理フィルタ及びディスパリティ補償フィルタを含む、処理モジュールとを含み、
   前記処理モジュールは、前記第１レイヤ映像デコーダの前記出力参照ピクチャが処理されるとき、参照処理とともにディスパリティ補償を実行し、
   前記処理モジュールは、前記第１レイヤ映像デコーダの前記出力参照ピクチャが処理されないとき、参照処理を行わずにディスパリティ補償を実行する、マルチ−レイヤ映像復号システム。
2. 前記参照処理セレクタは、
   画像の領域を分析し、前記領域に実行される分析に従って分割処理を選択するための領域分析モジュールを含む、請求項１記載のマルチ−レイヤ映像復号システム。
3. 前記領域分析モジュールは、
   処理が必要な大多数の要素を有する領域、及び処理が必要でない大多数の要素を有する領域間で、前記画像を分割するために前記画像の前記領域を分析する、請求項２記載のマルチ−レイヤ映像復号システム。
4. 前記マルチ−レイヤ映像復号システムは、
   前記処理モジュールとは別で、又は前記参照処理フィルタ及び前記ディスパリティ補償フィルタと結合されて、前記画像の前記領域を処理する、請求項３記載のマルチ−レイヤ映像復号システム。
5. 処理が必要な要素の大多数を有する前記画像の領域は、ディスパリティ補償モジュールとは別の前記処理モジュールにより処理され、処理が不要な要素の大多数を有する前記画像の領域は、前記参照処理フィルタ及び前記ディスパリティ補償フィルタと結合された前記処理モジュールにより処理される、請求項４記載のマルチ−レイヤ映像復号システム。
6. 前記領域分析モジュールは、
   第２レイヤビットストリーム入力を受信し、前記第２レイヤビットストリーム入力内に与えられた参照ピクチャ情報に基づいて前記領域を定義する、請求項３記載のマルチ−レイヤ映像復号システム。
7. 前記領域分析モジュールは、
   参照ピクチャ情報及び動きベクトル及び／又はディスパリティベクトル情報に基づいて前記領域を定義する、請求項６記載のマルチ−レイヤ映像復号システム。
8. 前記領域分析モジュールは、
   前記画像、前記画像のスライス、前記画像のスライスの一部に対して、前記第２レイヤビットストリーム入力に基づいて前記領域を定義する、請求項６記載のマルチ−レイヤ映像復号システム。
9. 前記参照処理セレクタは、
   画像内で、前記画像のどの領域を処理するか、又は処理しないかを選択する、請求項１記載のマルチ−レイヤ映像復号システム。
10. 前記第２レイヤ映像デコーダによる、処理を行わない領域の決定は、以前に復号されたピクチャ、スライス、又は第２レイヤのビットストリーム情報に基づく、請求項９記載のマルチ−レイヤ映像復号システム。
11. 前記第１レイヤは、ベースレイヤであり、
    前記第２レイヤは、エンハンスメントレイヤであり、
    前記マルチ−レイヤ映像復号システムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含むシステムである、請求項１乃至１０いずれか一項に記載のマルチ−レイヤ映像復号システム。
12. 前記第１レイヤは、第１エンハンスメントレイヤであり、
    前記第２レイヤは、第２エンハンスメントレイヤであり、
    前記マルチ−レイヤ映像復号システムは、ベースレイヤ及び複数のエンハンスメントレイヤを含むシステムである、請求項１乃至１０いずれか一項に記載のマルチ−レイヤ映像復号システム。
13. 前記システムは、フレーム互換３次元（３Ｄ）映像システム、２次元（２Ｄ）互換３Ｄ映像システム、２Ｄスケーラブル映像システム、及び２Ｄ又は３Ｄマルチビューシステムから選択される、請求項１乃至１２いずれか一項に記載のマルチ−レイヤ映像復号システム。
14. 映像デコーダであって：
    符号化済みの信号を受信し、復号済みの信号を出力する復号ループと；
    結合された処理モジュール及びディスパリティ補償モジュールは前記復号ループに接続され、前記処理モジュールは復号済みの入力信号を受信し、処理された復号済みの入力信号を前記復号ループに送信する、結合された処理モジュール及びディスパリティ補償モジュールと；
    前記処理モジュールに接続され、前記復号済みの入力信号を受信し、前記復号済みの入力信号を、前記結合された処理モジュール及びディスパリティ補償モジュールに送信するか否かを選択するセレクタと、を含む、映像デコーダ。
15. 前記映像デコーダは、
    ベースレイヤ及び１つ以上のエンハンスメントレイヤを含む復号システムのエンハンスメントレイヤの映像デコーダである、請求項１４記載の映像デコーダ。
16. 映像復号システムにおけるディスパリティ補償を選択的に実行するための方法であって：
    復号済みの映像信号を提供する段階と；
    前記復号済みの映像信号に関する情報を（ａ）用いるか、（ｂ）用いないかを選択する段階と；
    （ａ）の場合、前記復号済みの映像信号を処理し、前記処理された復号済みの映像信号に基づいてディスパリティ補償を実行する段階と；
    （ｂ）の場合、前記復号済みの映像信号とは独立してディスパリティ補償を実行する段階とを含む、方法。
17. 前記映像復号システムは、第１レイヤデコーダ及び第２レイヤデコーダを含み、
    前記復号済みの映像信号は、前記第１レイヤデコーダの出力であり；
    ディスパリティ補償は、前記第２レイヤデコーダで実行される、請求項１６記載の方法。
18. 映像復号システムにおけるディスパリティ補償を選択的に実行するための方法であって：
    復号済みの映像信号を提供する段階と；
    前記復号済みの映像信号に関する情報を（ａ）用いるか、（ｂ）用いないかを選択する段階と；
    （ａ）の場合、第１ディスパリティ補償を実行し、前記第１ディスパリティ補償は、前記復号済みの映像信号の処理に基づき、該処理と同時に実行される、段階と；
    （ｂ）の場合、前記第１ディスパリティ補償とは異なる第２ディスパリティ補償を実行する段階とを含む、方法。
19. 前記第１ディスパリティ補償で用いられる処理パラメータ及びディスパリティパラメータを提供する段階と；
    前記第２ディスパリティ補償で用いられるディスパリティパラメータを提供する段階とをさらに含み；
    前記第１ディスパリティ補償で用いられる前記ディスパリティパラメータは、前記第２ディスパリティ補償で用いられる前記パラメータと同一である、請求項１８記載の方法。
20. 前記第１レイヤは、ベースレイヤであり、
    前記第２レイヤは、エンハンスメントレイヤである、請求項１６乃至１９いずれか一項に記載の方法。
21. 前記第１レイヤは、第１エンハンスメントレイヤであり、
    前記第２レイヤは、第２エンハンスメントレイヤである、請求項１６乃至１９いずれか一項に記載の方法。
22. マルチ−レイヤ符号化システムであって：
    第１レイヤ映像エンコーダを含む、第１レイヤと；
    前記第１レイヤと関連付けられ、第２レイヤ映像エンコーダ、ディスパリティ補償モジュール、及びディスパリティ推定モジュールを含む、第２レイヤと；
    前記第１レイヤ映像エンコーダの出力を処理するか否かを選択するための処理セレクタと；
    前記処理セレクタの指示に基づき、前記第１レイヤ映像エンコーダの前記出力を処理するための処理モジュールとを含み、
    前記処理モジュールは前記ディスパリティ補償モジュールと結合され、
    前記第１レイヤ映像エンコーダの処理済の出力、及び前記第１レイヤ映像エンコーダの未処理の出力は前記ディスパリティ補償モジュール及び前記ディスパリティ推定モジュールに送信される、マルチ−レイヤ符号化システム。
23. 前記第１レイヤ映像エンコーダは、
    ピクチャ参照バッファを含み、
    前記第１レイヤ映像エンコーダの前記出力は、前記ピクチャ参照バッファの出力である、請求項２２記載のマルチ−レイヤ符号化システム。
24. 前記第１レイヤは、ベースレイヤであり、
    前記第２レイヤは、エンハンスメントレイヤであり、
    前記マルチ−レイヤ符号化システムは、ベースレイヤ及び１つ以上のエンハンスメントレイヤを含むシステムである、請求項２２又は２３記載のマルチ−レイヤ符号化システム。
25. 前記第１レイヤは、第１エンハンスメントレイヤであり、
    前記第２レイヤは、第２エンハンスメントレイヤであり、
    前記マルチ−レイヤシステムは、ベースレイヤ及び複数のエンハンスメントレイヤを含むシステムである、請求項２２又は２３記載のマルチ−レイヤ符号化システム。
26. 第１ブロック及び第２ブロックを含む画像フレーム、又はスライスを復号するための方法であって：
    マルチ−レイヤ復号システムの第１レイヤデコーダで前記画像フレーム又はスライスのサンプルを復号する段階と；
    前記復号済みサンプルを処理する段階と；
    前記復号済みサンプルを、前記マルチ−レイヤ復号システムの第２レイヤデコーダに送信する段階と；
    前記処理された復号済みサンプルから、ディスパリティ補償処理を介して、前記画像の第１ブロックを生成する段階と；
    前記処理された復号済みサンプルから、ディスパリティ補償処理を介して、前記画像の第２ブロックを生成する段階とを含み、
    前記第２ブロックを生成するのに用いられる前記処理された復号済みサンプルの一部は、前記第１ブロックを生成するために既に用いられた記憶されている又は事前分析された処理された復号済みサンプルである、方法。
27. 前記処理された復号済みサンプルはマップ構成を介して記憶される、請求項２６記載の方法。
28. 前記第１ブロック及び前記第２ブロックは、前記画像フレーム又はスライスの隣接ブロックである、請求項２６又は２７記載の方法。
    

Images