JP5566385B2 - 洗練された奥行きマップ - Google Patents

Description

関連出願への相互参照
本願は、2008年8月20日に出願された、「洗練された奥行きマップ」という名称の米国仮出願第61/189,552号の利益を主張する。その内容はここに参照によってあらゆる目的においてその全体において組み込まれる。

技術分野
符号化システムに関する諸実装が記載される。さまざまな具体的な実装は洗練された奥行きマップに関する。

マルチビュー・ビデオ符号化が、自由視点および三次元（3D）ビデオ・アプリケーション、家庭エンターテインメントならびに監視を含む幅広い多様な用途に役立つキー技術であることは広く認識されるに至っている。奥行きデータは一般にビュー合成のために不可欠である。

そうしたマルチビュー・アプリケーションでは、関連するビデオおよび奥行きデータの量は典型的には膨大になる。よって、独立した複数のビューのサイマルキャストを実行する現行のビデオ符号化ソリューションの符号化効率を改善する助けになる枠組みに対する、少なくとも要望が存在する。

マルチビュー・ビデオ源は、同じシーンの複数のビューを含む。結果として、典型的には複数のビュー画像の間には高度の相関が存在する。したがって、時間的冗長性に加えてビューの冗長性を活用できる。ビュー冗長性は、たとえば、異なるビューを横断したビュー予測を実行するために活用できる。

実際的なあるシナリオでは、3DVシステムが一部のビューをエンコードしてもよく、他のビューはビュー合成を使って再構成されることになる。より高い品質が要求される場合には、スキップされたビューについての残差信号が送られてもよい。さらに、合成されたピクチャーは、その後のピクチャーをエンコードするための基準〔レファレンス〕のはたらきをすることができる。

ある一般的な側面によれば、ピクチャーの集合におけるあるピクチャーについての奥行き情報がアクセスされる。そのピクチャーについての修正された奥行き情報がアクセスされる。奥行き情報と修正された奥行き情報との間の差を特徴付ける洗練（a refinement）が決定される。該洗練および奥行き情報が、ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供される。

もう一つの一般的な側面によれば、ピクチャーの集合におけるあるピクチャーについての奥行き情報がアクセスされる。そのピクチャーについての奥行き情報とそのピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練（a refinement）がアクセスされる。そのピクチャーについての修正された奥行き情報が決定される。その修正された奥行き情報を使って、ピクチャーの集合のうちの一つまたは複数のピクチャーが処理される。

一つまたは複数の実装の詳細が付属の図面および以下の記述において記載される。一つの個別的な仕方で記載されていたとしても、諸実装はさまざまな仕方で構成され、あるいは具現されうることは明らかなはずである。たとえば、ある実装は、方法として実行されてもよいし、あるいは一組の動作を実行するよう構成された装置または一組の動作を実行するための命令を記憶する装置のような装置として具現されてもよいし、信号として具現されてもよい。他の側面および特徴は、付属の図面および請求項との関連で考慮される以下の詳細な説明から明白となるであろう。

エンコーダのある実装の図である。 デコーダのある実装の図である。 ビデオ送信システムのある実装の図である。 ビデオ受信システムのある実装の図である。 ビデオ処理装置のある実装の図である。 マルチビュー・ビデオを奥行き情報とともに送信および受信するためのシステムのある実装の図である。 奥行きをもつ３つの入力ビュー（K＝3）から９個の出力ビュー（N＝9）を生成するための枠組みのある実装の図である。 仮想基準ビューを生成するために洗練された奥行きマップを使う例を示す図である。 エンコード・プロセスのある実装の図である。 図９のステップ９２０および図１２のステップ１２１０をさらに例解する図である。 洗練された奥行きマップを使って仮想基準ビューを生成するもう一つの例を示す図である。 エンコード・プロセスの実装の図である。 デコード・プロセスの実装の図である。 エンコード・プロセスの実装の図である。 デコード・プロセスの実装の図である。 エンコード・プロセスの実装の図である。 デコード・プロセスの実装の図である。 デコード・プロセスの実装の図である。

本願の原理に概括的に関係し、また少なくとも一つの実装に関係して、いくつかの状況では、後続ビューが、ビュー１を該後続ビューの位置に歪める〔変形する〕ことによって、ビュー１を基準として使用してもよいことは理解されるものとする。そのような歪めは一般に、基準ビュー１の奥行きを要求／使用する。後続ビューの予測符号化において大きな残差が生じることがありうるので、よりよい符号化結果を得るためにビュー１の奥行きを洗練しうる。そのようなプロセスは、二つの奥行きマップ（DM: depth map）を生じ、両方の奥行きマップが送られてもよいし、あるいは本願のさまざまな実装において説明されるように、一つの奥行きマップおよび一つの洗練が送られてもよい。

一つの奥行きマップは符号化のために好適で、もとの奥行きマップはデコーダにおけるレンダリング（観察者のための仮想ビューの合成）のために好適である。符号化用奥行きマップは、たとえば（符号化／復号のための）追加的な基準ビューを生成するために使われる。レンダリング用奥行きマップは、たとえば、ユーザーのための追加的なビューを生成するために使われる。これら二つの目的は異なる品質尺度をもちうる。たとえば、奥行きマップは、符号化のためには好適であっても、見るには主観的に粗末なビューを生じることがありうる。しかしながら、二つの奥行きマップを送ることは高価である。

少なくとも一つの実装では、我々は、完全な第二の奥行きマップの代わりに洗練を送ることを提案する。我々はまた、コストを考えることによって、前記洗練について逐次反復する方法をも提供する。我々はまた、ある所与の基準に対し、歪められる先の各位置（ビュー）について可能な諸洗練をももつ。我々はまた、ピクセル、パーティション、マクロブロック、スライス、フレームなどまたはそれらの一つまたは複数の組み合わせ（たとえばフレーム＋マクロブロック）ごとに信号伝達／洗練を行うこともできる。

基準ビューを歪めることのできる方法としては、ビューの奥行きを使う前方歪め（forward warping）と、あるいはビューの奥行きを歪めてその歪められた奥行きを過去を見る（look back）（逆行歪めする）ために使って、歪められた基準ビューにおける所与の位置に属する（対応する）基準ビューのピクセルを得る逆行歪め（reverse warping）とがある。

洗練はいくつかの仕方で符号化できる。たとえば、第三の成分としてである。この場合、これは他の洗練を使って予測的にエンコードされてもよい。あるいは、シーケンス中の別の画像または別のビューとしてであってもよい。

奥行き画像は、エンコーダおよびデコーダの制御外にある外部手段によって得られてもよく、レンダリング目的のために送信される。しかしながら、たった今述べたように、レンダリング目的のための奥行き画像は、符号化目的のためには効率的でないことがありうる。さらに、発明者は、奥行き画像の二つのバージョンが独立して符号化および伝送されるのは最適なソリューションでないと判断した。

少なくとも一つの実装において、我々は、洗練された奥行きマップを使うための枠組みを提案する。一つのそのような枠組みにおいて、我々は、もとの奥行き画像を修正するために使うことのできる奥行き画像の洗練信号を送信することを提案する。ある実装では、もとの奥行き画像はレンダリング目的のために使用され、修正された奥行き画像は符号化のために使用される。もとの奥行き画像の洗練は符号化効率を改善する。少なくとも一つの実装では、我々は、もとの奥行きマップの洗練を、マルチプル・ビュー・プラス奥行きシーケンス（multiple view plus depth sequence）とともに伝送することを提案する。これは圧縮効率を利することができる。

少なくとも一つの開示される実装によって取り組まれる一つの問題は、洗練された奥行きマップを使った効率的な複数ビュー符号化（multiple-view coding）である。複数ビュー・ビデオ・シーケンス（multiple-view video sequence）は、異なる視点から同じシーンを捉える二つ以上のビデオ・シーケンスのセットである。

少なくとも一つの実装はまた、品質スケーラブルな符号化にも適用できる。品質スケーラブルな符号化においては、追加的な奥行き洗練を受信することによって、符号化される／合成されるビューについてのよりよい品質を達成できる。

少なくとも一つの実装では、我々は、奥行き画像に対する洗練を使って3Dビデオの符号化効率を改善する問題に取り組むことを提案する。記載される技法が複数ビュー符号化に限定されないことを注意しておくべきである。たとえば、本願の原理は奥行きマップ・エンコードに適用されることができることを理解しておくものとする。すなわち、奥行きマップを洗練し、その洗練を、別のビューにおいて奥行きマップを予測エンコードするために使うことができる。エンコードは、たとえば、洗練された奥行きマップを「別のビュー」の位置まで歪めて、歪められたマップを、この「別のビュー」についてのもとの奥行きマップを予測エンコードするために基準として使うことを含む。

「奥行き情報（depth information）」が、奥行きに関するさまざまな種類の情報を指す一般的な用語であることを注意しておく。一つの型の奥行き情報は、「奥行きマップ（depth map）」である。これは一般に、ピクセルごとの奥行き画像をいう。他の型の奥行き情報としては、たとえば、符号化された各ピクセルについてではなく符号化された各ブロックについて単一の奥行き値を使うことが含まれる。さらに、奥行き情報は、ピクチャー全体について、あるいはたとえば前景オブジェクトに焦点を当てることによって画像全体よりも少ない部分について与えられてもよい。

本稿で記載される一つまたは複数の実装が二つの奥行きマップに関わる一方、本願の原理はこれのみに限定されるものではなく、よって、他の実装は他の数の奥行きマップに関わっていてもよいことは理解しておくものとする。たとえば、本稿で与えられる本願の原理の教示に鑑みると、他の実装は、第一および第二の奥行きマップに加えて、たとえば第三の奥行きマップ、第四の奥行きマップなどの一つまたは複数に関わってもよい。二つを超える追加的な奥行きマップの他の使用は、本願の原理の精神を維持しつつ、当業者によって容易に判別されうる。

図１は、本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ・エンコーダ１００を示している。エンコーダ１００は、変換器１１０の入力と信号通信で接続されている出力をもつ組み合わせ器１０５を含む。変換器１１０の出力は量子化器１１５の入力と信号通信で接続されている。量子化器１１５の出力は、エントロピー符号化器１２０の入力および逆量子化器１２５の入力と信号通信で接続されている。逆量子化器１２５の出力は逆変換器１３０の入力と信号通信で接続されている。逆変換器１３０の出力は、組み合わせ器１３５の第一の非反転入力と信号通信で接続されている。組み合わせ器１３５の出力は、イントラ予測器１４５の入力およびブロック解除フィルタ１５０の入力と信号通信で接続されている。ブロック解除フィルタ１５０の第一の出力は、（時間的予測用）基準ピクチャー・ストア１５５の入力および（ビュー間予測用）基準ピクチャー・ストア１６０の第一の入力と信号通信で接続されている。基準ピクチャー・ストア１５５の出力は、動き補償器１７５の第一の入力および動き推定器１８０の第一の入力と信号通信で接続されている。動き推定器１８０の出力は動き補償器１７５の第二の入力と信号通信で接続されている。基準ピクチャー・ストア１６０の出力は視差推定器１７０の第一の入力および視差補償器１６５の第一の入力と信号通信で接続されている。視差推定器１７０の出力は視差補償器１６５の第二の入力と信号通信で接続されている。

ブロック解除フィルタ１５０の第二の出力は（仮想ピクチャー生成用）基準ピクチャー・ストア１７１の入力と信号通信で接続されている。基準ピクチャー・ストア１７１の第一の出力はビュー合成器１７２の第一の入力および仮想基準ビュー・コントローラおよび奥行き洗練器１７３の第一の入力と信号通信で接続されている。仮想基準ビュー・コントローラ１７３の第一の出力はビュー合成器１７２の第二の入力と信号通信で接続されている。

エントロピー・デコーダ１２０の出力、仮想基準ビュー・コントローラ１７３の第二の出力、モード決定モジュール１９５の第一の出力およびビュー選択器１０２の第一の出力はそれぞれ、ビットストリームを出力するためのエンコーダ１００の出力として利用可能である。仮想基準ビュー・コントローラおよび奥行き洗練器１７３の第二の入力は、インバンドまたはアウトオブバンドの奥行き信号を受け取るためのエンコーダ１００の入力として利用可能である。スイッチ１８８の第一の入力（ビューiのピクチャー・データのため）および第二の入力（ビューjのピクチャー・データのため）はそれぞれ、エンコーダ１００への各入力として利用可能である。（合成されたビューを与えるための）ビュー合成器１７２の出力は、基準ピクチャー・ストア１６０の第二の入力と信号通信で接続されている。ビュー選択器１０２の第二の出力は、どの入力（たとえばビューi、ビューjのためのピクチャー・データまたは合成されたビュー）がスイッチ１８８に与えられるかを決定する。スイッチ１８８の出力は、組み合わせ器１０５の非反転入力、動き補償器１７５の第三の入力、動き推定器１８０の第二の入力および視差推定器１７０の第二の入力と信号通信で接続されている。イントラ予測器１４５の出力は、スイッチ１８５の第一の入力と信号通信で接続されている。視差補償器１６５の出力は、スイッチ１８５の第二の入力と信号通信で接続されている。動き補償器１７５の出力は、スイッチ１８５の第三の入力と信号通信で接続されている。モード決定モジュール１９５の出力は、どの入力がスイッチ１８５に与えられるかを決定する。スイッチ１８５の出力は、組み合わせ器１３５の第二の非反転入力および組み合わせ器１０５の反転入力と信号通信で接続されている。

図１の諸部分、たとえばブロック１１０、１１５および１２０などは、個別にまたはまとめて、エンコーダ、エンコード・ユニットまたはアクセス・ユニットと称されてもよい。同様に、たとえばブロック１２５、１３０、１３５および１５０は、個別にまたはまとめて、デコーダまたはデコード・ユニットと称されてもよい。

図２は、本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ・デコーダ２００を示している。デコーダ２００は、逆量子化器２１０の入力に信号通信で接続されている出力をもつエントロピー・デコーダ２０５を含む。逆量子化器の出力は、逆変換器２１５の入力と信号通信で接続されている。逆変換器２１５の出力は、組み合わせ器２２０の第一の非反転入力と信号通信で接続されている。組み合わせ器２２０の出力はブロック解除フィルタ２２５の入力およびイントラ予測器２３０の入力と信号通信で接続されている。ブロック解除フィルタ２２５の第一の出力は（時間的予測用）基準ピクチャー・ストア２４０の入力、（ビュー間予測用）基準ピクチャー・ストア２４５の第一の入力および（仮想ピクチャー生成用）基準ピクチャー・ストア２７２の入力と信号通信で接続されている。基準ピクチャー・ストア２４０の出力は、動き補償器２３５の第一の入力と信号通信で接続されている。基準ピクチャー・ストア２４５の出力は、視差補償器２５０の第一の入力と信号通信で接続されている。

ビットストリーム受領器２０１の出力は、ビットストリーム・パーサ２０２の入力と信号通信で接続されている。ビットストリーム・パーサ２０２の第一の出力（残差ビットストリームを与えるため）は、エントロピー・デコーダ２０５の入力と信号通信で接続されている。ビットストリーム・パーサ２０２の第二の出力（どの入力がスイッチ２５５によって選択されるかを制御するための制御シンタックスを与えるため）はモード選択器２２２の入力と信号通信で接続されている。ビットストリーム・パーサ２０２の第三の出力（動きベクトルを与えるため）は、動き補償器２３５の第二の入力と信号通信で接続されている。ビットストリーム・パーサ２０２の第四の出力（視差ベクトルおよび／または照明オフセットを与えるため）は視差補償器２５０の第二の入力と信号通信で接続されている。ビットストリーム・パーサ２０２の第五の出力（仮想基準ビュー・コントロールおよび奥行き洗練情報を与えるため）は、仮想基準ビュー・コントローラおよび奥行き洗練器２８８の第一の入力と信号通信で接続されている。仮想基準ビュー・コントローラおよび奥行き洗練器２８８の出力は、ビュー合成器２７１の第一の入力と信号通信で接続されている。ビュー合成器２７１の出力は、基準ピクチャー・ストア２４５の第二の入力と信号通信で接続されている。基準ピクチャー・ストア２７２の出力は、ビュー合成器２７１の第二の入力と信号通信で接続されている。照明オフセット（illumination offset）は任意的な入力であり、実装に依存して使われても使われなくてもよいことは理解しておくべきである。

スイッチ２５５の出力は、組み合わせ器２２０の第二の非反転入力と信号通信で接続されている。スイッチ２５５の第一の入力は、視差補償器２５０の出力と信号通信で接続されている。スイッチ２５５の第二の入力は、動き補償器２３５の出力と信号通信で接続されている。スイッチ２５５の第三の入力は、イントラ予測器２３０の出力と信号通信で接続されている。モード・モジュール２２２の出力は、どの入力がスイッチ２５５によって選択されるかを制御するためにスイッチ２５５と信号通信で接続されている。ブロック解除フィルタ２２５の出力はデコーダの出力として利用可能である。仮想基準コントローラおよび奥行き洗練器２８８の第二の入力は、インバンドまたはアウトオブバンドの奥行き信号を受領するために、デコーダ２００の入力として利用可能である。

図２の諸部分、たとえばビットストリーム・パーサ２０２および特定のデータもしくは情報へのアクセスを提供する他の任意のブロックは、個別にまたはまとめて、アクセス・ユニットと称されてもよい。同様に、たとえばブロック２０５、２１０、２１５、２２０および２２５は、個別にまたはまとめて、デコーダまたはデコード・ユニットと称されてもよい。

図３は、本願の原理のある実装に基づく、本願の原理が適用されうる例示的なビデオ送信システム３００を示している。ビデオ送信システム３００はたとえば、衛星、ケーブル、電話線または地上波放送などといった多様な媒体のうち任意のものを使って信号を送信するためのヘッドエンドまたは送信システムであってもよい。送信は、インターネットまたは他の何らかのネットワーク上で提供されてもよい。

ビデオ送信システム３００は、奥行きとともにビュー間スキップ・モード（inter-view skip mode）を使ってエンコードされたビデオ・コンテンツを生成および送達することができる。これは、奥行き情報または受信機側で奥行き情報を合成するために使われることのできる情報を含むエンコードされた信号（単数または複数）を生成することによって達成される。受信機側はたとえばデコーダを有していてもよい。

ビデオ送信システム３００は、エンコーダ３１０およびエンコードされた信号を送信できる送信機３２０を含む。エンコーダ３１０はビデオ情報を受領し、奥行きとともにビュー間スキップ・モードを使ってエンコードされた信号（単数または複数）を生成する。エンコーダ３１０はたとえば上で詳述したエンコーダ３００であってもよい。エンコーダ３１０は、たとえばさまざまな情報を受領し、組み立てて記憶または伝送のための構造化されたフォーマットにするための組み立て〔アセンブリー〕ユニットを含むサブモジュールを含んでいてもよい。さまざまな情報はたとえば、符号化されたまたは符号化されていないビデオ、符号化されたまたは符号化されていない奥行き情報および符号化されたまたは符号化されていない、たとえば動きベクトル、符号化モード・インジケータおよびシンタックス要素といった要素を含んでいてもよい。

送信機３２０はたとえば、エンコードされたピクチャーおよび／またはそれに関係する情報を表す一つまたは複数のビットストリームを有するプログラム信号を送信するよう適応されていてもよい。典型的な送信機は、たとえば、誤り訂正符号化を提供すること、信号中のデータをインターリーブすること、信号中のエネルギーをランダム化することおよび信号を一つまたは複数の搬送波上に変調することのうちの一つまたは複数といった機能を実行する。送信機は、アンテナ（図示せず）を含んでいてもよいし、あるいはアンテナとのインターフェースをもっていてもよい。したがって、送信機３２０の実装は、変調器を含んでいてもよいし、あるいは変調器に限定されてもよい。

図４は、本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ受信システム４００を示している。ビデオ受信システム４００は、衛星、ケーブル、電話線または地上波放送などといった多様な媒体を通じて信号を受信するよう構成されていてもよい。信号はインターネットまたは他の何らかのネットワークを通じて受信されてもよい。

ビデオ受信システム４００は、たとえば、携帯電話、コンピュータ、セットトップボックス、テレビジョンまたはエンコードされたビデオを受信して例えばデコードされたビデオをユーザーへの表示のためにまたは記憶のために提供する他の装置であってもよい。よって、ビデオ受信システム４００はその出力を、たとえば、テレビジョンの画面、コンピュータ・モニタ、コンピュータ（記憶、処理もしくは表示のために）または他の何らかの記憶、処理もしくは表示装置に提供してもよい。

ビデオ受信システム４００は、ビデオ情報を含むビデオ・コンテンツを受信および処理することができる。ビデオ受信システム４００は、たとえば本願の実装において記述される信号のようなエンコードされた信号を受信できる受信器４１０と、受信した信号をデコードできるデコーダ４２０とを含む。

受信器４１０はたとえば、エンコードされたピクチャーを表す複数のビットストリームを有するプログラム信号を受信するよう適応されていてもよい。典型的な受信器は、たとえば、変調されエンコードされたデータ信号を受信する、一つもしくは複数の搬送波からデータ信号を復調する、信号中のエネルギーをランダム化解除する、信号中のデータをインターリーブ解除するおよび信号を誤り訂正復号するのうちの一つまたは複数といった機能を実行する。受信器４１０は、アンテナ（図示せず）を含んでいてもよいし、あるいはアンテナとのインターフェースをもっていてもよい。受信器４１０の実装は、復調器を含んでいてもよいし、あるいは復調器に限定されてもよい。

デコーダ４２０は、ビデオ情報および奥行き情報を含むビデオ信号を出力する。デコーダ４２０はたとえば、上で詳述したデコーダ４００であってもよい。

図５は、本願の原理のある実施形態に基づく、本願の原理が適用されうる例示的なビデオ処理装置５００を示している。ビデオ処理装置５００はたとえば、セットトップボックスまたはエンコードされたビデオを受信してたとえばデコードされたビデオをユーザーへの表示のためまたは記憶のために提供する他の装置であってもよい。このように、ビデオ処理装置５００はその出力をテレビジョン、コンピュータ・モニタまたはコンピュータもしくは他の処理装置に提供してもよい。

ビデオ処理装置５００は、フロントエンド（FE: front-end）装置５０５およびデコーダ５１０を含む。フロントエンド装置５０５はたとえば、エンコードされたピクチャーを表す複数のビットストリームを有するプログラム信号を受信し、前記複数のビットストリームからデコードするための一つまたは複数のビットストリームを選択するよう適応された受信機であってもよい。典型的な受信機は、たとえば、変調されエンコードされたデータ信号を受信する、データ信号を復調する、データ信号の一つまたは複数のエンコード（たとえばチャネル符号化および／またはソース符号化）をデコードする、および／またはデータ信号を誤り訂正するのうちの一つまたは複数といった機能を実行する。フロントエンド装置５０５はたとえばアンテナ（図示せず）からプログラム信号を受信してもよい。フロントエンド装置５０５は受信したデータ信号をデコーダ５１０に与える。

デコーダ５１０はデータ信号５２０を受け取る。データ信号５２０はたとえば、一つまたは複数の、先進ビデオ符号化（AVC: Advanced Video Coding）、スケーラブル・ビデオ符号化（SVC: Scalable Video Coding）またはマルチビュー・ビデオ符号化（MVC: Multi-view Video Coding）互換のストリームを含みうる。

AVCとは、より特定的には、既存の国際標準化機関／国際電気標準会議（ISO/IEC）動画像専門家グループ４（MPEG-4）パート10の先進ビデオ符号化（AVC）規格／国際電気通信連合・電気通信部門（ITU-T）H.264勧告（以下では「H.264/MPEG-4 AVC規格」または「AVC規格」もしくは単に「AVC」のようなその変形）をいう。

MVCとは、より特定的には、AVC規格のマルチビュー・ビデオ符号化（MVC: multi-view video coding）拡張（付属書H）をいう。

SVCとは、より特定的には、AVC規格のスケーラブル・ビデオ符号化（SVC: scalable video coding）拡張（付属書G）をいう。これはH.264/MPEG-4 AVC、SVC拡張（「SVC拡張」または単に「SVC」）と称される。

デコーダ５１０は、受信された信号５２０の全部または一部をデコードし、出力としてデコードされたビデオ信号５３０を与える。デコードされたビデオ５３０は選択器５５０に与えられる。装置５００はまた、ユーザー入力５７０を受領するユーザー・インターフェース５６０をも含む。ユーザー・インターフェース５６０は、ユーザー入力５７０に基づく、ピクチャー選択信号５８０を選択器５５０に与える。ピクチャー選択信号５８０およびユーザー入力５７０は、利用可能なデコードされたデータの複数のピクチャー、シーケンス、スケーラブル・バージョン、ビューまたは他の選択肢のうちのどれを表示させることをユーザーが望んでいるかを示す。選択器５５０は、選択されたピクチャー（単数または複数）を出力５９０として与える。選択器５５０は、デコードされたビデオ５３０におけるピクチャーのどれを出力５９０として提供するために選択するかを選択するために、ピクチャー選択情報５８０を使う。

さまざまな実装において、選択器５５０はユーザー・インターフェース５６０を含み、他の実装においては、別個のインターフェース機能が実行されることなく選択器５５０が直接ユーザー入力５７０を受領するので、ユーザー・インターフェース５６０は設けられない。選択器５５０はたとえば、ソフトウェアにおいて実装されてもよいし、あるいは集積回路として実装されてもよい。ある実装では、選択器５５０はデコーダ５１０に組み込まれ、別の実装ではデコーダ５１０、選択器５５０およびユーザー・インターフェース５６０がみな統合される。

ある応用では、フロントエンド５０５はさまざまなテレビジョン・ショーの放送を受信し、一つを処理のために選択する。一つのショーの選択は、視聴したいチャネルのユーザー入力に基づく。フロントエンド装置５０５へのユーザー入力は図５には示されていないが、フロントエンド装置５０５はユーザー入力５７０を受領する。フロントエンド５０５は放送を受領し、放送スペクトルの関連する部分を復調し、復調されたショーの外側のエンコードがあればそれをデコードすることによって所望されるショーを処理する。フロントエンド５０５はデコードされたショーをデコーダ５１０に与える。デコーダ５１０は装置５６０および５５０を含む統合されたユニットである。デコーダ５１０はこのようにユーザー入力を受領する。該ユーザー入力は、ショーにおいて視聴することが所望されるビューの、ユーザー供給される指示である。デコーダ５１０は選択されたビューを、また他のビューからの必要とされる基準ピクチャーがあればそれも、デコードし、デコードされたビュー５９０をテレビジョン（図示せず）上での表示のために提供する。

上記の応用を続けると、ユーザーは表示されるビューを切り換えることを所望することがありうる。すると、ユーザーは新しい入力をデコーダ５１０に提供しうる。ユーザーから「ビュー変更」を受領したのち、デコーダ５１０は古いビューおよび新しいビューの両方を、また古いビューと新しいビューとの間にあるビューがあればそれも、デコードする。すなわち、デコーダ５１０は、古いビューを撮影するカメラと新しいビューを撮影するカメラとの間に物理的に位置されるカメラから撮影されたビューがあればそれをデコードする。フロントエンド装置５０５は古いビュー、新しいビューおよび中間のビューを同定する情報をも受領する。そのような情報は、たとえば、ビューの位置についての情報をもつコントローラ（図５には示さず）またはデコーダ５１０によって提供されてもよい。他の実装は、コントローラが統合されたフロントエンド装置を使用してもよい。

デコーダ５１０は、それらのデコードされたビューのすべてを出力５９０として提供する。ポストプロセッサ（図５には示さず）は、古いビューから新しいビューへのなめらかな遷移を提供するようビューどうしの間で補間し、この遷移をユーザーに対して表示する。新しいビューに遷移したのち、ポストプロセッサはデコーダ５１０およびフロントエンド装置５０５に（図示しない一つまたは複数の通信リンクを通じて）新しいビューだけが必要とされることを通知する。その後は、デコーダ５１０は新しいビューだけを出力５９０として提供する。

システム５００は、画像のシーケンスの複数のビューを受領し、表示のために単一のビューを呈示し、さまざまなビューの間でなめらかな仕方で切り換えるために使用されてもよい。なめらかな仕方は、別のビューに移るためにビュー間で補間することを含んでもよい。さらに、システム５００はユーザーに、オブジェクトまたはシーンを回転させる、あるいはオブジェクトまたはシーンの三次元表現を見ることを許容してもよい。たとえばオブジェクトの回転は、ビューからビューへと移り、ビュー間のなめらかな遷移を得るためまたは単に三次元表現を得るためにビュー間の補間をすることに対応しうる。すなわち、ユーザーは補間されたビューを、表示されるべき「ビュー」として、「選択」しうる。

本願の原理およびそれが適用されうる環境の記述に戻ると、本願の原理が有利に3Dビデオ（3DV）に適用されうることを理解しておくべきである。3Dビデオは、複数ビュー・ビデオおよび奥行き情報のための符号化された表現を含み、受信機における高品質の3Dレンダリングの生成を目標とする新たな枠組みである。これは、裸眼多視点表示をもつ3D視覚体験を可能にする。

図６は、本願の原理のある実施形態に基づく、本願の原理が適用されうる、奥行き情報とともにマルチビュー・ビデオを送信および受信するための例示的なシステム６００を示している。図６では、ビデオ・データは実線で示され、奥行きデータは破線で示され、メタデータは点線で示される。システム６００は、これに限られないが、たとえば、自由視点テレビジョン・システムであってもよい。送信機側６１０において、システム６００は、複数のソースからそれぞれ一つまたは複数のビデオ、奥行きおよびメタデータを受領するための複数の入力をもつ三次元（3D）コンテンツ生成器６２０を含む。そのようなソースは、これに限られないが、ステレオカメラ６１１、奥行きカメラ６１２、マルチカメラ・セットアップ６１３および二次元／三次元（2D/3D）変換プロセス６１４を含んでいてもよい。一つまたは複数のネットワーク６３０が、ビデオ、奥行きならびにマルチビュー・ビデオ符号化（MVC）およびデジタルビデオ放送（DVB: digital video broadcasting）に関係するメタデータのうちの一つまたは複数を送信するために使われてもよい。

受信機側６４０において、奥行き画像ベースのレンダラー６５０は、奥行き画像ベースのレンダリングを実行して、信号をさまざまな型の表示に投影する。奥行き画像ベースのレンダラー６５０は、表示配位情報およびユーザー選好を受領することができる。奥行き画像ベースのレンダラー６５０の出力は、2Dディスプレイ６６１、Mビュー3Dディスプレイ６６２および／またはヘッドトラッキング式ステレオ・ディスプレイ６６３のうちの一つまたは複数に与えられてもよい。

送信されるべきデータの量を減らすために、カメラ（V1,V2,…,V9）の密な配列は間引かれてもよく、カメラの疎な集合だけが実際にシーンを取り込む。図７は、本願の原理のある実施形態に基づく、本願の原理が適用されうる、３つの入力ビュー（K＝3）および奥行きから９個の出力ビュー（N＝9）を生成するための例示的な枠組み７００を示している。枠組み７００は、複数ビューの出力をサポートする裸眼立体視3Dディスプレイ７１０と、第一の奥行き画像ベースのレンダラー（depth image-based renderer）７２０と、第二の奥行き画像ベースのレンダラー７３０と、デコードされたデータのためのバッファ７４０とを含む。デコードされたデータは、マルチプル・ビュー・プラス奥行き（MVD: Multiple View plus Depth）として知られる表現である。９個のカメラはV1ないしV9で表されている。三つの入力ビューについての対応する奥行きマップはD1、D5およびD9で表されている。取り込まれるカメラ位置（たとえばPos1、Pos2、Pos3）の間の任意の仮想カメラ位置は、図７に示されるように、利用可能な奥行きマップ（D1、D5、D9）を使って生成できる。図７で見て取れるように、データを取り込むために使われる実際のカメラ（V1、V5およびV9）の間の基線は大きくてもよい。結果として、これらのカメラの間の相関は著しく低減し、符号化効率は時間的相関だけに依拠することになるので、これらのカメラの符号化効率は損なわれることがありうる。さらに、図７に示されるように、ビュー２、３、４、６、７および８は符号化においてはスキップされている。一方では、欠けているビューを再構成するため、デコーダはビュー１、５および９ならびにその奥行き画像を使用する。ビュー５についての奥行き画像が欠けているビューをレンダリングするために取得されることに注意されたい。他方では、ビュー１およびビュー９をビュー５に基づいてエンコードするために、ビュー５についての異なる奥行き画像が同定されうる。こうして、ビュー５についての二つの異なる奥行き画像が符号化されることになる。少なくとも一つの実装においては、我々は、他のビューを符号化するために、もとの奥行き画像に対する洗練を符号化することを提案する。

さらに、少なくとも一つの実装において、単にある種のビューの符号化をスキップする代わりに、エンコーダは、レンダリング品質を高めるために、選択されたピクチャーまたはビュー（すなわち、図７におけるビュー２、３、４、６、７および８）についての残差信号を送ることができる。

第一の実施形態および該実施形態の変形では、もとの奥行き画像は最良のレンダリング品質を目標とする。もとの奥行き画像は、DIBRに基づく3Dディスプレイによって利用されるよう、受信機側に送達される。もとの奥行きマップのエンコードおよび送信のためにはいかなるマルチビュー・ビデオ符号化枠組みが使用されることもできる。たとえば、開発中のMPEG-CパートIIIまたは3DVである。

符号化された奥行き画像がマルチビュー・ビデオ・エンコーダおよびデコーダにおいてアクセス可能であるとすると、合成されたビューを現在ビューを予測するための基準として使用することが可能である。もとの奥行き画像がマルチビュー・ビデオ信号の符号化のために最適化されていないことを考え、我々は、合成された基準ビューと現在ビューとの間の予測誤差を最小化するよう、奥行き画像に対する修正を信号伝達することを提案する。ある実施形態では、基準として使用される各ビューについて一つの奥行き洗練を信号伝達することが提案される。図８は、本願の原理のある実施形態に基づく、仮想基準ビューを生成するために洗練された奥行きマップを使う例８００を示している。図８では、VR_xyは、ビューxの洗練された奥行きを使ってビューxからビューyに合成された仮想基準（virtual reference）を表す。図８に示される一つの例では、ビュー０のほか、ビュー２が追加的な基準ビュー、仮想ビュー２を有し、この仮想ビュー２は、ビュー０の洗練された奥行きマップを使ってビュー０から合成されている。他方、ビュー０の同じ洗練された奥行きマップを使って、仮想ビュー１が、ビュー１のための追加的な基準として生成される。この実施形態では、奥行きマップ洗練は基準ビューに関連付けられている。図８では、ビュー０、２、４および６の各ビューは、一つの関連付けられた洗練された奥行きマップをもち、一方、ビュー１、３および５は関連付けられた洗練された奥行きマップをもたない。

エンコード効率を改善するために、図９および図１０に示されるように奥行きマップを洗練するための逐次反復式の方法を使うことが提案される。

図９は、本願の原理のある実施形態に基づく、フレームをエンコードする例示的な方法９００を示している。ステップ９０１では、ビューiにおいて符号化されるべきフレームがアクセスされる。ステップ９０２では、基準ピクチャー・リストが構築される。ステップ９０３では、歪められた基準ビューを構築し、基準ピクチャー・リスト中に追加するために、各基準ビューjに対してループが実行される。よって、ループが終わっていない場合、ステップ９０８はステップ９１０ではなくステップ９０４に制御を渡しうることを理解しておくべきである。ステップ９０４において、基準ビューjについて洗練された奥行きマップがあるか否かが判定される。もしあれば、制御はステップ９０６に渡される。もしそうでなければ、制御はステップ９０５に渡される。

ステップ９０６において、奥行きマップは、符号化目的のための再構成された奥行きマップに設定される。ステップ９０７において、基準ビューがビューiの位置に歪められる。ステップ９０８では、歪められた基準ビューが基準ピクチャー・リストに追加される。ステップ９１０では、フレームは、増強された（augmented）基準ピクチャー・バッファを用いてエンコードされる。ステップ９１５では、現在ビューが基準ビューであるか否かが判定される。もしそうであれば、制御はステップ９１７に渡される。そうでなければ、制御はステップ９３０に渡される。

ステップ９１７において、エンコードされた奥行きマップ（レンダリング目的用）がアクセスされる。ステップ９２０において、コール１０００（すなわち、図１０の方法１０００へのコール）がなされる。これは、このフレームのための洗練された奥行きマップ（ビュー符号化目的用）を、予測されるべき別のビューとともに、入力パラメータとして取得することを含む。ステップ９２２では、洗練された奥行きマップが利用可能であるか否かが判定される。もしそうであれば、制御はステップ９２３に渡される。そうでなければ、制御はステップ９３０に渡される。

ステップ９２３では、奥行きマップ洗練、つまり奥行きマップの二つのバージョンからの差が見出される。ステップ９２５では、該奥行きマップ洗練がエンコードされる。

ステップ９３０では、エンコードされたフレームおよびもし存在すれば（すなわち利用可能であれば）奥行き洗練がビットストリームに書き込まれる。

ステップ９０５では、奥行きマップはレンダリング目的用のエンコードされた奥行きマップに設定される。

ある実施形態ではステップ９２５がたとえば、前記洗練を、以前の洗練を基準として使って予測的にエンコードすることを含んでいてもよいことを理解しておくべきである。

ある実施形態ではステップ９２５がたとえば、ピクチャーについての階層構造のより多くのレベルのうちの一つにおける別個の情報を含む洗練を含んでもよいことをさらに理解しておくべきである。階層構造はピクセル・レベル、パーティション・レベル、マクロブロック・レベル、スライス・レベルおよびピクチャー・レベルの二つ以上を含んでいてもよい。さらに、ある実施形態では、洗練は、該洗練によって表される各ピクセルについて別個の値を含んでいる。さらに、ある実施形態では、洗練は、該洗練によって表される各マクロブロックについての別個の値を含む。ここで、所与のマクロブロックについての別個の値は該所与のマクロブロック内の各ピクセルに適用される。

ある実施形態ではピクチャーについての奥行き情報、ピクチャーについての修正された奥行き情報および洗練のうちの一つまたは複数が、ピクチャーの一部のみに適用されることも理解しておくべきである。

図１０は、本源の原理のある実施形態に基づく奥行きマップを洗練するための例示的な方法１０００を示している。方法１０００は、図９の方法９００のステップ９２０および図１２の方法１２００のステップ１２１０の一つの例示的な実装であると考えてもよい。ステップ１０１０では、現在ビューを基準として使う目標ビューが入力パラメータとして取られる。ステップ１０１５では、CodingCost_Prev〔前の符号化コスト〕が無限大の値に設定される。ステップ１０２０では、DepthMap_Curr〔現在奥行きマップ〕がもとの奥行きマップとして設定される。ステップ１０２５では、DepthMap_Currを使って目標ビューの位置における仮想ビューを生成するために、ビュー合成が実行される。ステップ１０３０では、仮想ビューを基準として使うときの符号化コストCodingCost_Curr〔現在符号化コスト〕が推定される。ステップ１０３５では、Abs(CodingCost_Prev−CodingCost_Curr)＜Threshold_Predefined〔あらかじめ定義された閾値〕であるまたはCodingCost_Curr＜Threshold_CodingCost〔符号化コスト閾値〕であるまたはCodingCostが発散するかどうかが判定される。（上記の３つの条件のうちの任意のものに関して）もしそうであれば、制御はステップ１０３６に渡される。そうでなければ、制御はステップ１０４５に渡される。

ステップ１０３６において、CodingCostが発散するか否かが判定される。もしそうであれば、制御はステップ１０３７に渡される。そうでなければ、制御はステップ１０４０に渡される。

ステップ１０３７では、奥行きマップの洗練が失敗したことが確認され、呼び出し元（caller）（すなわち、図９の方法９００のステップ９２０）に戻る。

ステップ１０４５では、DepthMap_Prev〔前の奥行きマップ〕がDepthMap_Currとして設定される。ステップ１０５０では、DepthMap_Prevに基づいて奥行き推定が実行され、DepthMap_Currが得られる。ステップ１０５５では、CodingCost_PrevがCodingCost_Currに設定される。

ステップ１０４０では、洗練された奥行きマップが設定され、呼び出し元（すなわち、方法９００のステップ９２０）に返される。

こうして、方法１０００においては、符号化コストの変化が閾値以内にはいるまたは符号化コストがThreshold_CodingCostより小さくなるまでまたは符号化コストが発散すると見出されるまで、奥行き推定、ビュー合成および符号化コスト推定が繰り返される。奥行き推定およびビュー合成は複雑なので、これは時間のかかる手順である。

奥行き洗練の符号化については、いくつかのソリューションが選択できる。一例では、奥行きマップの修正は、AVCのような既存のビデオ符号化規格を使って符号化できる。別の例では、奥行き洗練を第三のビデオ成分として扱って、ビデオ信号と一緒に符号化することができる。別の例では、マルチビュー奥行き洗練を符号化するために、MVCを使うことができる。

別の実施形態では、奥行き信号はスケーラブルに符号化されることができ、よって、異なる目的のために異なる動作点（operating point）を抽出できる。一例として、ビュー合成だけが必要とされる場合、（より低品質の奥行きマップに対応する）より低い動作点が抽出されうる。そうでなく、ビュー合成および仮想基準ビュー生成の両方が必要とされる場合、（より高品質の奥行きマップに対応する）より高い動作点が抽出されうる。

図１７は、本願の原理のある実施形態に基づく、フレームをデコードする例示的な方法１７００を示している。方法１７００は、たとえば、図９の方法９００を使ってエンコードされたフレームをデコードするために実行されてもよい。

ステップ１７０１において、エンコードされたフレームiおよび可能性としては奥行き洗練を含むビットストリームが読まれる。ステップ１７０２では、基準ピクチャー・リストが構築される。ステップ１７０３では、歪められた基準ビューを構築して基準ピクチャー・リスト中に追加するために各基準ビューjに対してループが実行される。よって、ループが終わっていない場合、ステップ１７０８はステップ１７２０ではなくステップ１７０４に制御を渡しうることを理解しておくべきである。ステップ１７０４において、基準ビューjについて洗練された奥行きマップがあるか否かが判定される。もしあれば、制御はステップ１７０６に渡される。もしそうでなければ、制御はステップ１７０５に渡される。

ステップ１７０６において、奥行きマップは、符号化目的用の再構成された洗練された奥行きマップに設定される。ステップ１７０７において、基準ビューがビューiの位置に歪められる。ステップ１７０８では、歪められた基準ビューが基準ピクチャー・リストに追加される。ステップ１７２０では、フレームは、増強された（augmented）基準ピクチャー・バッファを用いてデコードされる。ステップ１７２５では、フレーム中のすべてのスライスがデコードされたのち、デコードされたフレームが出力バッファ中に入れられる。ステップ１７３０では、現在ビューが基準ビューであるか否かが判定される。もしそうであれば、制御はステップ１７４０に渡される。そうでなければ、方法は終了される。

ステップ１７４０において、デコードされた奥行きマップ（レンダリング目的用）がアクセスされる。ステップ１７５０において、奥行きマップ洗練がデコードされる。ステップ１７６０では、関連付けられた奥行きマップが洗練される。

ステップ１７０５では、奥行きマップはレンダリング目的用のエンコードされた奥行きマップに設定される。

ある実施形態ではステップ１７５０がたとえば、前記洗練を、以前の洗練を基準として使って予測的にエンコードすることを含んでいてもよいことを理解しておくべきである。

ある実施形態ではピクチャーについての奥行き情報、ピクチャーについての修正された奥行き情報および洗練のうちの一つまたは複数が、ピクチャーの一部のみに適用されることも理解しておくべきである。

図１６および図１８にそれぞれ対応する以下の方法１６００および１８００はそれぞれ方法９００および１７００に類似しているが、ステップ１６１０および１８２０が（対応する９１０および１７２０に対して）本願の原理のある実施形態に基づいて修正されている。

図１６は、本願の原理のある実施形態に基づく、現在のビューの洗練された奥行きを使ってスライスをエンコードする例示的な方法１６００を示している。ステップ１６０１において、ビューiにおいて符号化されるべきフレームがアクセスされる。ステップ１６０２では、基準ピクチャー・リストが構築される。ステップ１６０３では、歪められた基準ビューを構築して基準ピクチャー・リスト中に追加するために各基準ビューjに対してループが実行される。よって、ループが終わっていない場合、ステップ１６０８はステップ１６１０ではなくステップ１６０４に制御を渡しうることを理解しておくべきである。ステップ１６０４において、基準ビューjについて洗練された奥行きマップがあるか否かが判定される。もしあれば、制御はステップ１６０６に渡される。そうでなければ、制御はステップ１６０５に渡される。

ステップ１６０６において、奥行きマップは、符号化目的用の再構成された奥行きマップに設定される。ステップ１６０７において、基準位置ビューjからの奥行きマップがビューiの位置に歪められる。ステップ１６０８では、ビューiとビューjとの間の、諸ブロックの諸ピクセルについての対応が得られる。ステップ１６１０では、その対応がレート・ひずみ〔ディストーション〕最適化（rate distortion optimization）に有利な場合にはそのフレームの全ブロックがその対応に基づいてエンコードされ、そうでない場合にはそのフレームの全ブロックが通常の仕方で（たとえば、特定の規格、勧告および／またはその他に従って）エンコードされる。ステップ１６１５では、現在ビューが基準ビューであるか否かが判定される。もしそうであれば、制御はステップ１６１７に渡される。そうでなければ、制御はステップ１６３０に渡される。

ステップ１６１７において、エンコードされた奥行きマップ（レンダリング目的用）がアクセスされる。ステップ１６２０において、このフレームのための洗練された奥行きマップ（ビュー符号化目的用）が、予測されるべき別のビューとともに、入力パラメータとして取得される。ステップ１６２２では、洗練された奥行きマップが利用可能であるか否かが判定される。もしそうであれば、制御はステップ１６２３に渡される。そうでなければ、制御はステップ１６３０に渡される。

ステップ１６２３において、奥行きマップ洗練、つまり奥行きマップの二つのバージョンからの差が見出される。ステップ１６２５では、奥行きマップ洗練がエンコードされる。

ステップ１６３０では、エンコードされたフレームおよびもし存在すれば（すなわち利用可能であれば）奥行き洗練がビットストリームに書き込まれる。

ステップ１６０５では、奥行きマップがレンダリング目的用のエンコードされた奥行きマップに設定される。

図１８は、本願の原理のある実施形態に基づく、フレームをデコードする例示的な方法１８００を示している。ステップ１８０１において、エンコードされたフレームiおよび可能性としては奥行き洗練を含むビットストリームが読まれる。ステップ１８０２では、基準ピクチャー・リストが構築される。ステップ１８０３では、歪められた基準ビューを構築して基準ピクチャー・リスト中に追加するために各基準ビューjに対してループが実行される。よって、ループが終わっていない場合、ステップ１８０８はステップ１８２０ではなくステップ１８０４に制御を渡しうることを理解しておくべきである。ステップ１８０４において、基準ビューjについて洗練された奥行きマップがあるか否かが判定される。もしあれば、制御はステップ１８０６に渡される。そうでなければ、制御はステップ１８０５に渡される。

ステップ１８０６において、奥行きマップは、符号化目的用の再構成された洗練された奥行きマップに設定される。ステップ１８０７において、基準位置ビューjからの奥行きマップがビューiの位置に歪められる。ステップ１８０８では、ビューiとビューjとの間のピクセルまたはブロックについての対応が得られる。ステップ１８２０では、該対応が信号伝達されている場合には該対応に基づいて現在フレームの全ブロックがデコードされ、そうでない場合には全ブロックが通常の仕方で（たとえば特定の規格、勧告および／またはその他に従って）デコードされる。ステップ１８２５では、フレーム中のすべてのスライスがデコードされたのち、デコードされたフレームが出力バッファ中に入れられる。ステップ１８３０では、現在ビューが基準ビューであるか否かが判定される。もしそうであれば、制御はステップ１８４０に渡される。そうでなければ、方法は終了される。

ステップ１８４０において、デコードされた奥行きマップ（レンダリング目的用）がアクセスされる。ステップ１８５０において、奥行きマップ洗練がデコードされる。ステップ１８６０では、関連付けられた奥行きマップが洗練される。

ステップ１８０５では、奥行きマップはレンダリング目的用のエンコードされた奥行きマップに設定される。

第二の実施形態および該第二の実施形態の変形では、同じ基準ビューが異なるビューを予測するために異なる位置に歪められたとき、同じ基準ビューについての二つ以上の奥行き洗練を信号伝達することが提案される。この場合、奥行きマップ洗練は、符号化されるべきビューに関連付けられ、参照インデックスによって同定される。図１１は、本願の原理のある実施形態に基づく、洗練された奥行きマップを使って仮想基準ビューを生成するもう一つの例１１００を示している。図１１において、RD_xyは、ビューyを予測するための合成されたビューVR_xyを生成するためのビューxの洗練された奥行きマップ（refined depth map）を表す。VR_xyは、ビューxの洗練された奥行きを使ってビューxからビューyに合成された仮想基準を表す。図１１に示される一つの例では、ビュー２はビュー０に起源をもつ一つの洗練された奥行きと関連付けられており、一方、ビュー１はそれぞれビュー０およびビュー２に起源をもつ二つの洗練された奥行きマップに関連付けられている。すなわち、ビュー０の奥行きは二つの洗練されたバージョンをもつ。この実施形態は、実施例１に比べて奥行きマップ洗練を達成するより多くの柔軟性を提供し、よって符号化効率を利する。

図１２は、本願の原理のある実施形態に基づく、洗練された奥行きマップに基づいて生成された追加的な基準ビューを用いてPまたはBスライスをエンコードする例示的な方法１２００を示している。ステップ１２０５において、各基準ビューについて、レンダリング目的用の奥行きマップがアクセスされる。ステップ１２１０において、各基準ビューについて、コール１０００がなされる。これは、このフレームのための洗練された奥行きマップ（ビュー符号化目的用）を、符号化されるべきビューとともに、入力パラメータとして取得することを含む。ステップ１２１５では、各基準ビューについて、奥行きマップ洗練、つまり奥行きマップの二つのバージョンからの差が見出される。ステップ１２２０では、どのビューが、ビデオ・ビューの予測符号化用の洗練された奥行きを送るかに関して決定がなされる。ステップ１２２５では、選択されたビューについての奥行きマップ洗練が符号化される。ステップ１２２７では、再構成された洗練された奥行きマップが取得される。ステップ１２２８では、再構成された洗練された奥行きマップを使って基準ビューが現在ビューに歪められる。ステップ１２３０では、増強された基準ピクチャー・バッファを使ってビューが符号化される。ステップ１２３５では、各基準ビューについて奥行き洗練を含むエンコードされたフレームがビットストリームに書き込まれる。

ある実施形態ではステップ１２２５がたとえば、前記洗練を、以前の洗練を基準として使って予測エンコードすることを含んでいてもよいことは理解しておくべきである。

ある実施形態ではステップ１２２５はたとえば、ピクチャーについての階層構造のより多くのレベルのうちの一つにおける別個の情報を含む洗練を含んでもよいことをさらに理解しておくべきである。階層構造はピクセル・レベル、パーティション・レベル、マクロブロック・レベル、スライス・レベルおよびピクチャー・レベルの二つ以上を含んでいてもよい。さらに、ある実施形態では、洗練は、該洗練によって表される各ピクセルについて別個の値を含んでいる。さらに、ある実施形態では、洗練は、該洗練によって表される各マクロブロックについての別個の値を含む。ここで、所与のマクロブロックについての別個の値は該所与のマクロブロック内の各ピクセルに適用される。

ある実施形態ではピクチャーについての奥行き情報、ピクチャーについての修正された奥行き情報および洗練のうちの一つまたは複数が、ピクチャーの一部のみに適用されることも理解しておくべきである。

図１２の方法１２００のステップ１２１５に関して、符号化コストを各基準ビューについての奥行きマップを洗練するための基準として取ることを提案する。圧縮の観点からは、洗練された奥行きマップのすべてが現在ビューの符号化を利することはできないかもしれず、よって、ある基準ビューの洗練されたビットマップが有用であり送信されるべきであるかどうかの判定がなされる。選択された基準ビューについて、我々は、対応する仮想基準を、基準バッファの前部に置くことを提案する。すなわちより低い参照インデックスを割り当てるのである。あるいはまた、これは、これに限られないが、たとえばシーケンス・パラメータ・セットまたはピクチャー・パラメータ・セットを含む別のより高いレベルにおいて信号伝達されることができる。ある実装では、上記の基準は、これに限られないが、次のうちの一つまたは複数を含んでいてもよい：（１）コスト関数が最後のコスト関数よりもある閾値量より大きく低くなっていない；（２）コスト関数がある閾値を下回っていない；および（３）コスト関数が上がっていないまたはある閾値回数より多く上がっていないまたはある閾値量もしくは閾値割合より多く上がっていない。

図１３は、本願の原理のある実施形態に基づく、洗練された奥行きマップから生成される仮想基準ビューによって予測されうるPまたはBスライスをデコードする例示的な方法１３００を示す。ステップ１３０５において、各基準ビューについてフレームおよび可能性としては奥行き洗練を含むビットストリームが読まれる。ステップ１３１０において、各基準ビューについて、奥行きマップ洗練がもし利用可能であればデコードされる。ステップ１３１２において、奥行き洗練を含む各基準ビューについて、デコードされた奥行きマップ（レンダリング目的用）がアクセスされる。ステップ１３１４において、各基準ビューについて、洗練された奥行きが、デコードされた奥行きマップおよびその洗練に基づいて得られる。ステップ１３１５において、デコードされた基準ビューが洗練された奥行きを使って歪められて仮想基準を生成する。ステップ１３２０において、それらの仮想基準が基準ピクチャー・バッファに入れられる。ステップ１３２５において、フレーム（またはフレーム中のスライス）が、増強された基準ピクチャー・バッファを使ってデコードされる。ステップ１３３０において、フレーム中のすべてのスライスがデコードされたのち、デコードされたフレームが出力バッファ中に入れられる。

ある実施形態ではステップ１３１０がたとえば、前記洗練を、以前の洗練を基準として使って予測エンコードすることを含んでいてもよいことは理解しておくべきである。

ある実施形態ではピクチャーについての奥行き情報、ピクチャーについての修正された奥行き情報および洗練のうちの一つまたは複数が、ピクチャーの一部のみに適用されることも理解しておくべきである。

第三の実施形態および該第三の実施形態の変形では、奥行き情報の洗練および奥行き情報の信号伝達を、さまざまな異なるレベルのうちの一つまたは複数において実行することが提案される。そのようなレベルは、たとえば、ピクセル、パーティション、マクロブロック、スライス、ピクチャー、フィールドおよびフレームを含んでいてもよい。したがって、奥行き情報の洗練がピクチャー全体（たとえばフィールドまたはフレーム）について同時に実行されてもよいが、ピクチャー全体よりも少ない部分についても（または代替的にそのような部分について）実行されてもよい。

多くの実装において、奥行き情報の洗練を生成する、可能性としてはいくつかの反復工程のそれぞれにおいて異なる洗練を生成するために、既知の技法が使われる。そのような技法は、ピクチャーについての奥行きマップ全体についての洗練を生成するために使われてもよい。同様に、そのような技法は、ピクチャー全体より少ない部分に関係する奥行き情報についての洗練を生成するために使用され、あるいは外挿されてもよい。そのような技法はたとえば、フラットな領域または高度な奥行き不連続性のある領域などといった特定の領域に奥行き洗練の焦点を当ててもよい。

第三の実施形態の一つの変形は次のようなものである。ビュー間スキップ・モード（interview skip mode）がマルチビュー・ビデオ符号化（MVC）について提案された。何らかの暗黙的な仕方によって、各ブロックについて単一の奥行き値が導出される。たとえば、ブロックの奥行きを、左上ピクセルの奥行きとして設定することが提案された。次いで、カメラ・パラメータおよび奥行き情報に基づく3D投影手順が、近隣ビューからの対応するブロックを同定する。対応するブロックが現在ブロックに十分な程度似ていたら、ビュー間スキップ・モードがビットストリームにおいて信号伝達され、現在ブロックはさらなるエンコードについてはスキップされる。

しかしながら、ブロックについての奥行きの固定的な暗黙的導出は常に効率的とは限らないことがありうる。この実施形態では、ある導出された奥行き値に対する洗練が向上されたオプションとして送信されることが提案される。奥行き洗練の信号伝達は、階層的な仕方で設計されることができ、たとえば、これに限られないがたとえばスライス；マクロブロック（16×16）；またはサブブロック（16×8、8×16、8×8、8×4、4×8または4×4）を含む異なる複数のレベルにおいて現れることができる。少なくとも一つの実装では、シンタックス要素depthfが奥行き洗練を示す。より具体的には、depthfは選択された奥行き洗練を直接的に（たとえば図９および図１０参照）またさらには奥行き洗練の予測と選択された奥行き洗練との間の差を示すことができる。

他の実装では、所与の部分（たとえば現在のマクロブロック）についての奥行き洗練が、第一の部分（たとえばピクチャーまたはスライスの最初のマクロブロック）についての奥行き洗練からの差分として信号伝達される。こうして、マクロブロックの系列についての奥行き洗練が、たとえ絶対値では比較的大きくても、小さな範囲内であれば、第一の洗練が信号伝達された後は、その系列についての残りの奥行き洗練を送信するために少数のビットが割り当てられる必要があるだけである。

さまざまな実装はまた、奥行き洗練を予測するために一つまたは複数の近隣者（neighbor）をも使う。近隣者はたとえば、（ｉ）時間的に近隣の（neighboring）ピクチャー、（ｉｉ）空間的に近隣のマクロブロックおよび（ｉｉｉ）同じまたは異なる時点からの近隣のビューの全部または一部を含んでいてもよい。

奥行き洗練をもつビュー間スキップ・モードは、少なくとも一つの実装では、シンタックスにおけるdepth_skip_flagによって信号伝達される。

図１４は、本願の原理のある実施形態に基づく、現在ビューの洗練された奥行きを使ってスライスをエンコードするための例示的な方法１４００を示している。ステップ１４０４では、アンカーおよび非アンカー・ピクチャー基準がSPS拡張において設定される。ステップ１４０８では、ビュー数が変数Nによって表され、変数iおよびjが0に初期化される。ステップ１４１０において、iがNより小さいか否かが判定される。もしそうであれば、制御はステップ１４１２に渡される。そうでなければ、制御はステップ１４３２に渡される。

ステップ１４１２では、jがビューiにおけるピクチャー数より小さいか否かが判定される。もしそうであれば、制御はステップ１４１４に渡される。そうでなければ、制御はステップ１４３８に渡される。

ステップ１４１４では、現在マクロブロックのエンコードが開始される。ステップ１４１６では、マクロブロック・モードが検査される。ステップ１４１８では、奥行きスキップ・マクロブロック・モードが検査され、奥行き洗練depthfが選択される。ステップ１４２０では、奥行きスキップが最良モードであるか否かが判定される。もしそうであれば、制御はステップ１４２２に渡される。そうでなければ、制御はステップ１４４０に渡される。

ステップ１４２２では、depth_skip_flagが1に設定され、depthfが符号化される。

ステップ１４２４では、現在のマクロブロックがエンコードされる。ステップ１４２６では、すべてのマクロブロックがエンコードされたか否かが判定される。もしそうであれば、制御はステップ１４２８に渡される。そうでなければ、制御はステップ１４１４に返される。

ステップ１４２８では、変数jがインクリメントされる。ステップ１４３０では、frame_numおよびピクチャー順カウント（POC: picture order count）がインクリメントされる。

ステップ１４３８では、変数iがインクリメントされ、frame_numおよびPOCがリセットされる。

ステップ１４４０では、depth_skip_flagが0に設定される。

ステップ１４３２では、シーケンス・パラメータ・セット（SPS: sequence parameter set）、ピクチャー・パラメータ・セット（PPS: picture parameter set）およびビュー・パラメータ・セット（VPS: view parameter set）をインバンドで信号伝達するか否かが決定される。もしそうであれば、制御はステップ１４３４に渡される。そうでなければ、制御はステップ１４４２に渡される。

ステップ１４３４では、SPS、PPSおよびVPSがインバンドで信号伝達される。ステップ１４３６では、ビットストリームはファイルに書き込まれるまたはネットワークを通じてストリーミングされる。

ステップ１４４２では、SPS、PPSおよびVPSがアウトオブバンドで信号伝達される。

図１５は、本願の原理のある実施形態に基づく、現在ビューの洗練された奥行きを使ってスライスを復号するための例示的な方法１５００を示している。ステップ１５０４では、view_idが、SPS、PPS、VPS、スライス・ヘッダまたはネットワーク抽象化層（NAL: network abstraction layer）ユニット・ヘッダからパースされる。ステップ１５０６では、他のSPSパラメータがパースされる。ステップ１５０８では、現在のピクチャーがデコードを必要とするか否かが判定される。もしそうであれば、制御はステップ１５１０に渡される。そうでなければ、制御はステップ１５３０に渡される。

ステップ１５１０では、POC(curr)〔現在のPOC〕がPOC(prev)〔前のPOC〕に等しいか否かが判定される。もしそうであれば、制御はステップ１５１２に渡される。そうでなければ、制御はステップ１５１４に渡される。

ステップ１５１２では、view_numが0に等しく設定される。

ステップ１５１４では、ビュー符号化順を決定するためにview_id情報が高いレベルでインデックス付けされ、view_numがインクリメントされる。

ステップ１５１６では、スライス・ヘッダがパースされる。ステップ１５１８では、マクロブロック・レベル・データ、depth_skip_flagおよびdepthfがパースされる。ステップ１５２０では、depth_skip_flagが1に等しいか否かが判定される。もしそうであれば、制御はステップ１５２２に渡される。そうでなければ、制御はステップ１５３２に渡される。

ステップ１５２２では、depthfが奥行き値を洗練し、奥行きスキップ・モード（depth skip mode）でマクロブロックをデコードするために使用される。

ステップ１５２４では、すべてのマクロブロックが済んだ（デコードされている）か否かが判定される。もしそうであれば、制御はステップ１５２６に渡される。そうでなければ、制御はステップ１５１８に返される。

ステップ１５２６では、現在のピクチャーがデコードされたピクチャー・バッファ（decoded picture buffer）中に挿入される。ステップ１５２８では、すべてのピクチャーがデコードされたか否かが判定される。もしそうであれば、本方法は終了される。そうでなければ、制御はステップ１５１６に返される。

ステップ１５３０では、次のピクチャーが取得される。

ステップ１５３２では、現在のマクロブロックが（ステップ１５２２の奥行きスキップ・モード以外の）他のモードを使ってデコードされる。

明細書における本願の原理の「一つの実施形態」または「ある実施形態」または「一つの実装」または「他の実装」ならびにこれらの他の変形への言及は、その実施形態との関連で記載されている特定の特徴、構造、特性などが本願の原理の少なくとも一つの実施形態に含まれることを意味する。よって、本明細書を通じた随所に現れる「一つの実施形態では」または「ある実施形態では」または「一つの実装では」または「ある実装では」といった句の出現は、必ずしもみな同じ実施形態を指すのではない。

たとえば「Ａ／Ｂ」や「Ａおよび／またはＢ」や「ＡおよびＢのうちの少なくとも一つ」という場合における、「／」や「および／または」や「少なくとも一つ」という用語の使用は、最初に挙げられたオプション（Ａ）のみの選択、または二番目に挙げられたオプション（Ｂ）のみの選択、または両方のオプション（ＡおよびＢ）の選択を包含することが意図されていることは理解しておくべきである。さらなる例として、「Ａ、Ｂおよび／またはＣ」や「Ａ、ＢおよびＣのうちの少なくとも一つ」の場合において、そのような表現は、最初に挙げられたオプション（Ａ）のみの選択、または二番目に挙げられたオプション（Ｂ）のみの選択、または三番目に挙げられたオプション（Ｃ）のみの選択、または最初および二番目に挙げられたオプション（ＡおよびＢ）のみの選択、または最初および三番目に挙げられたオプション（ＡおよびＣ）のみの選択、または二番目および三番目に挙げられたオプション（ＢおよびＣ）のみの選択、または三つすべてのオプション（ＡおよびＢおよびＣ）の選択を包含することが意図されている。当技術分野および関連する技術分野の当業者には容易に明白となるように、このことは列挙される項目がいくつの場合についても拡張できる。

諸実装は、情報の信号伝達を、これに限られないがインバンド情報、アウトオブバンド情報、データストリーム・データ、暗黙的信号伝達（implicit signaling）および明示的信号伝達（explicit signaling）を含む多様な技法を使って行いうる。インバンド情報および明示的信号伝達は、さまざまな実装および／または規格について、スライス・ヘッダ、SEIメッセージ、他の高レベル・シンタックスおよび非高レベルのシンタックスを含みうる。したがって、本稿に記載される諸実装は特定のコンテキストにおいて記載されていることもあるが、そのような記載は決して、そのような実装またはコンテキストに本願の特徴および概念を限定するものと解釈すべきではない。

本稿に記載される実装および特徴は、MPEG-4 AVC規格またはMPEG-4 AVC規格のMVC拡張またはMPEG-4 AVC規格のSVC拡張のコンテキストにおいて使用されうる。しかしながら、これらの実装および特徴は、他の規格および／または勧告（既存のまたは将来の）のコンテキストにおいて、あるいは規格および／または勧告に関わらないコンテキストにおいて使用されてもよい。

本稿において記載される諸実装は、たとえば方法またはプロセス、装置、ソフトウェア・プログラム、データ・ストリームまたは信号において実装されうる。たとえ単一の形の実装のコンテキストでのみ論じられていたとしても（たとえば方法としてのみ論じられていたとしても）、論じられる特徴の実装は他の形（たとえば装置またはプログラム）で実装されてもよい。装置はたとえば、適切なハードウェア、ソフトウェアおよびファームウェアにおいて実装されうる。方法は、たとえば、プロセッサなどのような装置において実装されてもよい。プロセッサは、処理装置一般をいい、たとえばコンピュータ、マイクロプロセッサ、集積回路またはプログラム可能な論理デバイスを含む。プロセッサはまた、たとえばコンピュータ、携帯電話、ポータブル／パーソナル・デジタル・アシスタント（「PDA」）およびエンドユーザー間での情報の通信を容易にする他の装置といった通信装置をも含む。

本稿で記載されるさまざまなプロセスおよび特徴の実装は、データのエンコードおよびデコードに関連する多様な異なる設備またはアプリケーションにおいて具現されうる。そのような設備の例は、エンコーダ、デコーダ、デコーダからの出力を処理するポストプロセッサ、エンコーダへの入力を与えるプリプロセッサ、ビデオ・コーダ、ビデオ・デコーダ、ビデオ・コーデック、ウェブ・サーバー、セットトップボックス、ラップトップ、パーソナル・コンピュータ、携帯電話、PDAおよび他の通信装置を含む。明らかなはずだが、設備はモバイルであってもよく、さらにはモバイルな乗物に組み込まれていてもよい。

さらに、方法はプロセッサによって実行される命令によって実装されてもよく、そのような命令（および／または実装によって生成されるデータ値）はプロセッサ可読な媒体上に記憶されてもよい。プロセッサ可読な媒体とは、たとえば、集積回路、ソフトウェア担体または他の記憶装置といったものであり、他の記憶装置はたとえばハードディスク、コンパクト・ディスケット、ランダム・アクセス・メモリ（「RAM」）または読み出し専用メモリ（「ROM」）といったものである。命令は、プロセッサ可読媒体上に有形的に具現されたアプリケーション・プログラムをなしていてもよい。命令は、たとえば、ハードウェア、ファームウェア、ソフトウェアまたは組み合わせの形であってもよい。命令は、たとえば、オペレーティング・システム、別個のアプリケーションまたは両者の組み合わせにおいて見出されてもよい。したがって、プロセッサは、たとえば、プロセスを実行するよう構成された装置およびプロセスを実行するための命令を有する（記憶デバイスのような）プロセッサ可読媒体を含む装置として特徴付けられてもよい。さらに、プロセッサ可読媒体は、命令に加えてまたは命令の代わりに、実装によって生成されるデータ値を記憶してもよい。

当業者には明らかなように、諸実装は、たとえば記憶または送信されうる情報を担持するようフォーマットされた多様な信号を生成しうる。情報は、たとえば、方法を実行するための命令または記載される実装の一つによって生成されるデータを含みうる。たとえば、信号は、記載された実施形態のシンタックスを書くまたは読むための規則をデータとして担持するよう、あるいは記載された実施形態によって書かれる実際のシンタックス値をデータとして担持するようフォーマットされてもよい。そのような信号は、たとえば、（たとえばスペクトルの電波周波数部分を使う）電磁波としてまたはベースバンド信号としてフォーマットされてもよい。フォーマットすることは、たとえば、データ・ストリームをエンコードし、エンコードされたデータ・ストリームを用いて搬送波〔キャリア〕を変調することを含んでいてもよい。信号が担持する情報はたとえばアナログまたはデジタル情報であってもよい。信号は、既知のように、多様な異なる有線または無線のリンクを通じて伝送されうる。信号はプロセッサ可読媒体上に記憶されてもよい。

いくつかの実装を記載してきたが、さまざまな修正をなしうることは理解されるであろう。たとえば、異なる実装の要素が組み合わされ、補足され、修正され、または除去されて他の実装を創り出してもよい。さらに、当業者は、他の構造およびプロセスが開示されたものに代用されてもよく、結果として得られる実装は、開示された実装に比べ、少なくとも実質的に同じ機能（単数または複数）を少なくとも実質的に同じ仕方で実行して少なくとも実質的に同じ結果を達成することを理解するであろう。したがって、これらおよび他の実装は、本願によって考慮されており、付属の請求項の範囲内である。
いくつかの態様を記載しておく。
〔態様１〕
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする段階と；
当該ピクチャーについての修正された奥行き情報にアクセスする段階と；
前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定する段階と；
前記洗練および前記奥行き情報を、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供する段階とを含む、
方法。
〔態様２〕
態様１記載の方法であって、
前記ピクチャーの集合が基準ビューからの基準ピクチャーおよび第二のビューからの目標ピクチャーを含み、前記基準ピクチャーは前記目標ピクチャーをエンコードする際に基準として使うものであり、前記基準ビューはある基準位置におけるものであり、前記第二のビューは前記基準位置とは異なる第二の位置におけるものであり、
当該ピクチャーは前記基準ピクチャーであり、
前記洗練および奥行き情報は、前記集合中のピクチャーをエンコードもしくはデコードするまたはさらなるピクチャーをレンダリングすることのうちの少なくとも一つにおいて使うために提供される、
方法。
〔態様３〕
前記修正された奥行き情報に基づいて前記目標ピクチャーをエンコードする段階と；
エンコードされた目標ピクチャーを、前記洗練および前記奥行き情報とともに提供する段階とをさらに含む、
態様２記載の方法。
〔態様４〕
態様３記載の方法であって、前記修正された奥行き情報に基づいて前記目標ピクチャーをエンコードする段階が：
前記基準位置からの前記修正された奥行き情報を前記第二の位置に歪める段階と；
歪められた奥行き情報に基づいて、前記基準ピクチャー中のピクセルと前記目標ピクチャー中のピクセルとの間の対応を決定する段階と；
前記対応に基づいて、前記目標ピクチャーをエンコードする段階とを含む、
方法。
〔態様５〕
態様３記載の方法であって、前記修正された奥行き情報に基づいて前記目標ピクチャーをエンコードする段階が：
前記基準位置からの、前記修正された奥行き情報に基づく前記基準ピクチャーを、前記第二の位置に歪める段階と；
歪められた基準ピクチャーに基づいて前記目標ピクチャーをエンコードする段階とを含む、
方法。
〔態様６〕
態様３記載の方法であって、
前記基準ピクチャーについての奥行き情報を修正して前記修正された奥行き情報を生成する段階をさらに含み、該修正は、前記目標ピクチャーをエンコードするための、レートおよびディストーションを組み合わせるコスト関数を低下させるようなされる、方法。
〔態様７〕
態様６記載の方法であって、前記コスト関数が：
前記洗練をエンコードするためのレート；
前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのレート；または
前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのディストーション
のうちの一つまたは複数を取り入れる、方法。
〔態様８〕
態様６記載の方法であって、前記奥行き情報を修正する段階が、各反復工程における前記コスト関数が一つまたは複数の基準条件を満たす限り、前記奥行き情報を逐次反復的に修正することを含む、方法。
〔態様９〕
態様８記載の方法であって、前記一つまたは複数の基準条件が：
前記コスト関数が最後のコスト関数よりもある閾値量より大きく下がっていない；
前記コスト関数がある閾値を下回っていない；および
前記コスト関数が上がっていないまたはある閾値回数より多く上がっていないまたはある閾値量もしくは閾値割合より大きく上がっていない、
のうちの一つまたは複数を含む、方法。
〔態様１０〕
当該ピクチャーについて前記奥行き情報を修正して前記修正された奥行き情報を生成する段階をさらに含む、態様１記載の方法。
〔態様１１〕
前記洗練を提供することが、前記洗練をエンコードしてエンコードされた洗練を提供することを含む、態様１記載の方法。
〔態様１２〕
前記洗練をエンコードすることが、前記洗練を以前の洗練を基準として使って予測エンコードすることを含む、態様１１記載の方法。
〔態様１３〕
前記洗練を決定することが、前記洗練を、前記奥行き情報と前記修正された奥行き情報との間の差に等しく設定することを含む、態様１記載の方法。
〔態様１４〕
前記ピクチャーが、前記奥行き情報を含む奥行きマップである、態様１記載の方法。
〔態様１５〕
態様２記載の方法であって、前記ピクチャーの集合が、第三のビューからのさらなる目標ピクチャーを含み、前記基準ピクチャーは前記さらなる目標ピクチャーをエンコードする際の基準としても使うものであり、前記第三のビューは前記基準位置および前記第二の位置とは異なるある第三の位置におけるものであり、当該方法はさらに：
当該ピクチャーについて第三ビューの修正された奥行き情報にアクセスする段階と；
奥行き情報と第三ビューの修正された奥行き情報との間の差を特徴付ける第三ビューの洗練を決定する段階と；
該第三ビューの洗練および前記奥行き情報を、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供する段階とを含む、
方法。
〔態様１６〕
態様１５記載の方法であって：
前記第三ビューの修正された奥行き情報に基づいて前記さらなる目標ピクチャーをエンコードする段階と
エンコードされたさらなる目標ピクチャーを、前記第三ビューの洗練および前記奥行き情報とともに提供する段階とをさらに含む、
方法。
〔態様１７〕
態様１６記載の方法であって、前記第三ビューの修正された奥行き情報に基づいて前記さらなる目標ピクチャーをエンコードする段階が：
前記基準位置からの、前記第三ビューの修正された奥行き情報に基づく前記基準ピクチャーを、前記第三の位置に歪める段階と；
第三ビューの歪められた基準ピクチャーに基づいて前記さらなる目標ピクチャーをエンコードする段階とを含む、
方法。
〔態様１８〕
前記洗練が、当該ピクチャーについての階層構造の複数のレベルのうちの一つにおいて別個の情報を含み、前記階層構造がピクセル・レベル、パーティション・レベル、マクロブロック・レベル、スライス・レベルおよびピクチャー・レベルを含む、態様１記載の方法。
〔態様１９〕
前記洗練が、該洗練によって表される各ピクセルについて別個の値を含む、態様１８記載の方法。
〔態様２０〕
前記洗練が、該洗練によって表される各マクロブロックについて別個の値を含み、所与のマクロブロックについての前記別個の値が該所与のマクロブロック内の各ピクセルに適用される、態様１８記載の方法。
〔態様２１〕
当該ピクチャーについての前記奥行き情報、当該ピクチャーについての前記修正された奥行き情報および前記洗練が当該ピクチャーの一部分にのみ適用される、態様１記載の方法。
〔態様２２〕
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする手段と；
当該ピクチャーについての修正された奥行き情報にアクセスする手段と；
前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定する手段と；
前記洗練および前記奥行き情報を、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供する手段とを含む、
装置。
〔態様２３〕
命令を記憶したプロセッサ可読媒体であって、前記命令はプロセッサに少なくとも：
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする段階と；
当該ピクチャーについての修正された奥行き情報にアクセスする段階と；
前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定する段階と；
前記洗練および前記奥行き情報を、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供する段階とを含む、
を実行させる、プロセッサ可読媒体。
〔態様２４〕
プロセッサを有する装置であって、前記プロセッサは少なくとも：
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする段階と；
当該ピクチャーについての修正された奥行き情報にアクセスする段階と；
前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定する段階と；
前記洗練および前記奥行き情報を、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供する段階とを含む、
を実行するよう構成されている、装置。
〔態様２５〕
ピクチャーの集合におけるあるピクチャーについての奥行き情報および該ピクチャーについての修正された奥行き情報にアクセスするアクセス・ユニットと；
前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定し、前記洗練および前記奥行き情報を、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供する奥行き洗練器とを有する、
装置。
〔態様２６〕
ビデオ・エンコーダとして実装される、態様２５記載の装置。
〔態様２７〕
ピクチャーの集合におけるあるピクチャーについての奥行き情報および該ピクチャーについての修正された奥行き情報にアクセスするアクセス・ユニットと；
前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定し、前記洗練および前記奥行き情報を、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する際に使うために提供する奥行き洗練器と；
前記洗練および前記奥行き情報を含む信号を変調する変調器とを有する、
装置。
〔態様２８〕
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする段階と；
当該ピクチャーについての前記奥行き情報と当該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスする段階と；
当該ピクチャーについての前記修正された奥行き情報を決定する段階と；
前記修正された奥行き情報を使って、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する段階とを含む、
方法。
〔態様２９〕
態様２８記載の方法であって：
前記ピクチャーの集合が基準ビューからの基準ピクチャーおよび第二のビューからの目標ピクチャーを含み、前記基準ピクチャーは前記目標ピクチャーをデコードする際に基準として使うものであり、前記基準ビューはある基準位置におけるものであり、前記第二のビューは前記基準位置とは異なる第二の位置におけるものであり、
当該ピクチャーは前記基準ピクチャーであり、
前記奥行き情報および前記修正された奥行き情報は、前記集合中のピクチャーをデコードするまたはさらなるピクチャーをレンダリングすることのうちの少なくとも一つにおいて使われる、
方法。
〔態様３０〕
態様２９記載の方法であって：
前記目標ピクチャーのエンコードにアクセスする段階と；
アクセスされた前記目標ピクチャーのエンコードを、前記修正された奥行き情報に基づいてデコードする段階と；
前記デコードされた目標ピクチャーを処理または表示のために提供する段階とを含む、
方法。
〔態様３１〕
態様３０記載の方法であって、アクセスされた前記目標ピクチャーのエンコードを前記修正された奥行き情報に基づいてデコードする段階が：
デコードされた基準ピクチャーにアクセスする段階と；
前記修正された奥行き情報を前記基準位置から前記第二の位置に歪める段階と；
歪められた修正された奥行き情報に基づいて、前記デコードされた基準ピクチャー中のピクセルと前記目標ピクチャー中のピクセル位置との間の対応を決定する段階と；
前記対応に基づいて、アクセスされた前記目標ピクチャーのエンコードをデコードする段階とを含む、
方法。
〔態様３２〕
態様３０記載の方法であって、アクセスされた前記目標ピクチャーのエンコードを前記修正された奥行き情報に基づいてデコードする段階が：
デコードされた基準ピクチャーにアクセスする段階と；
前記基準位置からの、前記修正された奥行き情報に基づく前記デコードされた基準ピクチャーを、前記第二の位置に歪める段階と；
歪められた基準ピクチャーに基づいて、アクセスされた前記目標ピクチャーのエンコードをデコードする段階とを含む、
方法。
〔態様３３〕
態様３２記載の方法であって、前記修正された奥行き情報は、前記奥行き情報に比べ、前記目標ピクチャーをエンコードするための、レートおよびディストーションを組み合わせるコスト関数を低下させる、方法。
〔態様３４〕
態様３３記載の方法であって、前記コスト関数が：
前記洗練をエンコードするためのレート；
前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのレート；または
前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのディストーション
のうちの一つまたは複数を取り入れる、方法。
〔態様３５〕
態様２８記載の方法であって、前記アクセスされた洗練がエンコードされた洗練を含む、態様２８記載の方法。
〔態様３６〕
前記エンコードされた洗練が、先行する洗練を基準として使って予測エンコードされたものである、態様３５記載の方法。
〔態様３７〕
前記アクセスされた洗練が、前記奥行き情報と前記修正された奥行き情報との間の差に等しい、態様２８記載の方法。
〔態様３８〕
前記ピクチャーが、前記奥行き情報を含む奥行きマップである、態様２８記載の方法。
〔態様３９〕
態様２８記載の方法であって、前記ピクチャーの集合が、第三のビューからのさらなる目標ピクチャーを含み、前記基準ピクチャーは前記さらなる目標ピクチャーをエンコードする際の基準としても使われたものであり、前記第三のビューは前記基準位置および前記第二の位置とは異なるある第三の位置におけるものであり、当該方法はさらに：
前記奥行き情報と第三ビューの修正された奥行き情報との間の差を特徴付ける第三ビューの洗練にアクセスする段階と；
当該ピクチャーについての前記第三ビューの修正された奥行き情報を決定する段階と；
前記第三ビューの修正された奥行き情報を使って、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する段階とを含む、
方法。
〔態様４０〕
態様３９記載の方法であって：
前記第三ビューの修正された奥行き情報に基づいて前記さらなる目標ピクチャーをデコードする段階と
デコードされたさらなる目標ピクチャーを、処理または表示のために提供する段階とをさらに含む、
方法。
〔態様４１〕
態様４０記載の方法であって、前記第三ビューの修正された奥行き情報に基づいて前記さらなる目標ピクチャーをデコードする段階が：
前記基準位置からの、前記第三ビューの修正された奥行き情報に基づく前記基準ピクチャーを、前記第三の位置に歪める段階と；
第三ビューの歪められた基準ピクチャーに基づいて前記さらなる目標ピクチャーをデコードする段階とを含む、
方法。
〔態様４２〕
前記洗練が、当該ピクチャーについての階層構造の複数のレベルのうちの一つにおいて別個の情報を含み、前記階層構造がピクセル・レベル、パーティション・レベル、マクロブロック・レベル、スライス・レベルおよびピクチャー・レベルを含む、態様２８記載の方法。
〔態様４３〕
前記洗練が、該洗練によって表される各ピクセルについて別個の値を含む、態様４２記載の方法。
〔態様４４〕
前記洗練が、該洗練によって表される各マクロブロックについて別個の値を含み、所与のマクロブロックについての前記別個の値が該所与のマクロブロック内の各ピクセルに適用される、態様４２記載の方法。
〔態様４５〕
当該ピクチャーについての前記奥行き情報、当該ピクチャーについての前記修正された奥行き情報および前記洗練が当該ピクチャーの一部分にのみ適用される、態様２８記載の方法。
〔態様４６〕
前記基準ピクチャーおよび前記奥行き情報を使って仮想ビューからピクチャーをレンダリングする段階をさらに含む、
態様２８記載の方法。
〔態様４７〕
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする手段と；
当該ピクチャーについての前記奥行き情報と当該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスする手段と；
当該ピクチャーについての前記修正された奥行き情報を決定する手段と；
前記修正された奥行き情報を使って、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する手段とを有する、
装置。
〔態様４８〕
命令を記憶したプロセッサ可読媒体であって、前記命令はプロセッサに少なくとも：
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする段階と；
当該ピクチャーについての前記奥行き情報と当該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスする段階と；
当該ピクチャーについての前記修正された奥行き情報を決定する段階と；
前記修正された奥行き情報を使って、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する段階とを実行させる、
プロセッサ可読媒体。
〔態様４９〕
プロセッサを有する装置であって、前記プロセッサは少なくとも：
ピクチャーの集合におけるあるピクチャーについての奥行き情報にアクセスする段階と；
当該ピクチャーについての前記奥行き情報と当該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスする段階と；
当該ピクチャーについての前記修正された奥行き情報を決定する段階と；
前記修正された奥行き情報を使って、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する段階とを実行するよう構成されている、
装置。
〔態様５０〕
ピクチャーの集合におけるあるピクチャーについての奥行き情報および当該ピクチャーについての前記奥行き情報と当該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスするアクセス・ユニットと；
当該ピクチャーについての前記修正された奥行き情報を決定し、前記修正された奥行き情報を使って、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する奥行き洗練器とを有する、
装置。
〔態様５１〕
ビデオ・エンコーダおよびビデオ・デコーダの少なくとも一つにおいて実装されている、態様５０記載の装置。
〔態様５２〕
ピクチャーの集合についての符号化されたビデオ情報、前記ピクチャーの集合におけるあるピクチャーについての奥行き情報および当該ピクチャーについての前記奥行き情報と当該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練を含む信号を受領および復調する復調器と；
ピクチャーの集合におけるあるピクチャーについての奥行き情報および当該ピクチャーについての前記奥行き情報と当該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスするアクセス・ユニットと；
当該ピクチャーについての前記修正された奥行き情報を決定し、前記修正された奥行き情報を使って、前記ピクチャーの集合のうちの一つまたは複数のピクチャーを処理する奥行き洗練器とを有する、
装置。
〔態様５３〕
情報を含むようフォーマットされたビデオ信号であって、前記ビデオ信号は：
あるピクチャーについての奥行き情報と該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練を含む奥行き洗練部分を含む、
信号。
〔態様５４〕
あるピクチャーについての奥行き情報と該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練を含む奥行き洗練部分を含む、ビデオ信号構造。
〔態様５５〕
あるピクチャーについての奥行き情報と該ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練を含む奥行き洗練部分を含む、ビデオ信号構造を記憶したプロセッサ可読媒体。
〔態様５６〕
当該プロセッサ可読媒体上に記憶された前記ビデオ信号構造がさらに：
前記ピクチャーのエンコードを含むピクチャー部分を含む、
態様５５記載のプロセッサ可読媒体。
〔態様５７〕
当該プロセッサ可読媒体上に記憶された前記ビデオ信号構造がさらに：
前記ピクチャーについての前記奥行き情報を含む奥行き情報部分を含み、前記奥行き情報と前記洗練が一緒になって前記ピクチャーについての前記修正された奥行き情報の決定を許容する、
態様５５記載のプロセッサ可読媒体。
〔態様５８〕
前記ビデオ信号構造中の前記奥行き情報が、前記ピクチャーに基づいて、ユーザーによる視聴のための一つまたは複数の追加的なピクチャーをレンダリングするために有用であり、
前記ビデオ信号構造中の前記洗練および前記奥行き情報に基づく前記修正された奥行き情報が、前記ピクチャーのエンコードをデコードするために有用である、
態様５７記載のプロセッサ可読媒体。

Claims (34)

1. ピクチャーの集合における基準ピクチャーについての奥行き情報にアクセスする段階であって、前記ピクチャーの集合が前記基準ピクチャーおよび目標ピクチャーを含み、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置における目標ビューからのものである、段階と；
   前記奥行き情報をエンコードしてエンコードされた奥行き情報を生成する段階と；
   前記基準ピクチャーについての修正された奥行き情報にアクセスする段階であって、前記修正された奥行き情報は、前記奥行き情報および前記エンコードされた奥行き情報とは異なり、前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、段階と；
   前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定する段階と；
   前記修正された奥行き情報に基づいて、前記基準ピクチャーを前記基準位置から前記目標位置に歪める段階と；
   前記歪められた基準ピクチャーに基づいて、前記目標ピクチャーをエンコードする段階と；
   前記エンコードされた目標ピクチャーを、前記洗練および前記エンコードされた奥行き情報とともに提供する段階
   とを含む、
   方法。
2. 前記目標ピクチャーをエンコードする段階が、前記歪められた基準ピクチャーを基準として使って前記目標ピクチャーを予測エンコードすることを含む、請求項１記載の方法。
3. 前記エンコードされた奥行き情報が、表示のために、前記基準ピクチャーに基づいて新しいピクチャーをレンダリングするために与えられる、請求項１記載の方法。
4. 前記コスト関数が、前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのレートを取り入れる、請求項１記載の方法。
5. 請求項１記載の方法であって、前記基準ピクチャーを歪める段階が：
   前記基準位置からの前記修正された奥行き情報を前記目標位置に歪める段階と；
   歪められた修正された奥行き情報に基づいて、前記基準ピクチャー中のピクセルと前記歪められた基準ピクチャー中の位置との間の対応を決定する段階と；
   前記対応に基づいて、前記歪められた基準ピクチャーを決定する段階とを含む、
   方法。
6. 請求項１記載の方法であって、前記基準ピクチャーを歪める段階が：
   前記修正された奥行き情報を歪めることなく、直接的に前記修正された奥行き情報を使って前記基準ピクチャーを前記基準位置から前記目標位置に歪めることを含む、
   方法。
7. 請求項１記載の方法であって、
   前記基準ピクチャーについての奥行き情報を修正して前記修正された奥行き情報を生成する段階をさらに含み、該修正は、前記目標ピクチャーをエンコードするための、レートおよびディストーションを組み合わせるコスト関数を低下させるようなされる、方法。
8. 請求項７記載の方法であって、前記コスト関数が：
   前記洗練をエンコードするためのレート；
   前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのレート；または
   前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのディストーション
   のうちの一つまたは複数を取り入れる、方法。
9. 請求項７記載の方法であって、前記奥行き情報を修正する段階が、各反復工程における前記コスト関数が一つまたは複数の基準条件を満たす限り、前記奥行き情報を逐次反復的に修正することを含む、方法。
10. 請求項９記載の方法であって、前記一つまたは複数の基準条件が：
    前記コスト関数が最後のコスト関数よりもある閾値量より大きく下がっていない；
    前記コスト関数がある閾値を下回っていない；および
    前記コスト関数が前記逐次反復的な修正の間に上がっていないまたはある閾値回数より多く上がっていないまたは前記逐次反復的な修正の間にある閾値量もしくは閾値割合より大きく上がっていない、
    のうちの一つまたは複数を含む、方法。
11. 前記基準ピクチャーについて前記奥行き情報を修正して前記修正された奥行き情報を生成する段階をさらに含む、請求項１記載の方法。
12. 前記洗練が、該洗練によって表される各ピクセルについて別個の値を含む、請求項１記載の方法。
13. 前記洗練が、該洗練によって表される各マクロブロックについて別個の値を含み、所与のマクロブロックについての前記別個の値が該所与のマクロブロック内の各ピクセルに適用される、請求項１記載の方法。
14. 当該ピクチャーについての前記奥行き情報、当該ピクチャーについての前記修正された奥行き情報および前記洗練が当該ピクチャーの一部分にのみ適用される、請求項１記載の方法。
15. ピクチャーの集合における基準ピクチャーについての奥行き情報にアクセスする手段であって、前記ピクチャーの集合が前記基準ピクチャーおよび目標ピクチャーを含み、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置における目標ビューからのものである、手段と；
    前記奥行き情報をエンコードしてエンコードされた奥行き情報を生成する手段と；
    前記基準ピクチャーについての修正された奥行き情報にアクセスする手段であって、前記修正された奥行き情報は、前記奥行き情報および前記エンコードされた奥行き情報とは異なり、前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、手段と；
    前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定する手段と；
    前記修正された奥行き情報に基づいて、前記基準ピクチャーを前記基準位置から前記目標位置に歪める手段と；
    前記歪められた基準ピクチャーに基づいて、前記目標ピクチャーをエンコードする手段と；
    前記エンコードされた目標ピクチャーを、前記洗練および前記エンコードされた奥行き情報とともに提供する手段とを含む、
    装置。
16. 命令を記憶したプロセッサ可読媒体であって、前記命令はプロセッサに少なくとも：
    ピクチャーの集合における基準ピクチャーについての奥行き情報にアクセスする段階であって、前記ピクチャーの集合が前記基準ピクチャーおよび目標ピクチャーを含み、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置における目標ビューからのものである、段階と；
    前記奥行き情報をエンコードしてエンコードされた奥行き情報を生成する段階と；
    前記基準ピクチャーについての修正された奥行き情報にアクセスする段階であって、前記修正された奥行き情報は、前記奥行き情報および前記エンコードされた奥行き情報とは異なり、前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、段階と；
    前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定する段階と；
    前記修正された奥行き情報に基づいて、前記基準ピクチャーを前記基準位置から前記目標位置に歪める段階と；
    前記歪められた基準ピクチャーに基づいて、前記目標ピクチャーをエンコードする段階と；
    前記エンコードされた目標ピクチャーを、前記洗練および前記奥行き情報とともに提供する段階とを実行させる、プロセッサ可読媒体。
17. ピクチャーの集合における基準ピクチャーについての奥行き情報にアクセスし、前記基準ピクチャーについての修正された奥行き情報にアクセスするアクセス・ユニットであって、前記ピクチャーの集合が前記基準ピクチャーおよび目標ピクチャーを含み、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置からの目標ビューからのものであり、前記修正された奥行き情報は、前記奥行き情報とは異なり、前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、アクセス・ユニットと；
    前記奥行き情報をエンコードしてエンコードされた奥行き情報を生成するエンコーダであって、エンコードされた奥行き情報は前記修正された奥行き情報とは異なる、エンコーダと；
    （ｉ）前記奥行き情報と前記修正された奥行き情報との間の差を特徴付ける洗練を決定し、
    （ｉｉ）前記修正された奥行き情報に基づいて、前記基準ピクチャーを前記基準位置から前記目標位置に歪め、
    （ｉｉｉ）前記歪められた基準ピクチャーに基づいて、前記目標ピクチャーをエンコードし、
    （ｉｖ）前記エンコードされた目標ピクチャーを、前記洗練および前記エンコードされた奥行き情報とともに提供する奥行き洗練器とを有する、
    装置。
18. ビデオ・エンコーダとして実装される、請求項１７記載の装置。
19. エンコードされた目標ピクチャーにアクセスする段階と；
    デコードされた基準ピクチャーにアクセスする段階であって、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置における目標ビューからのものである、段階と；
    前記基準ピクチャーについての奥行き情報にアクセスする段階であって、前記奥行き情報は前記基準ピクチャーの少なくとも一部についての奥行きマップを含む、段階と；
    前記基準ピクチャーについての前記奥行き情報と前記基準ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスする段階であって、前記修正された奥行き情報は、前記基準ピクチャーの少なくとも前記一部についての代替的な奥行きマップを含み、前記修正された奥行き情報は前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、段階と；
    前記基準ピクチャーについての前記修正された奥行き情報を決定する段階と；
    前記修正された奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記基準位置から前記目標位置に歪めて第一の歪められたデコードされた基準ピクチャーを生成する段階と；
    前記第一の歪められたデコードされた基準ピクチャーに基づいて、前記目標ピクチャーをデコードしてデコードされた目標ピクチャーを生成する段階と；
    前記奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記基準位置から前記基準位置とは異なる位置に歪めて、ユーザーに対する表示のための第二の歪められたデコードされた基準ピクチャーを生成する段階とを含む、
    方法。
20. 前記目標ピクチャーをデコードする段階が、前記第一の歪められたデコードされた基準ピクチャーを基準として使って前記目標ピクチャーを予測デコードすることを含む、請求項１９記載の方法。
21. 前記奥行き情報が、表示のために、前記基準ピクチャーに基づいて新しいピクチャーをレンダリングするために与えられる、請求項１９記載の方法。
22. 前記コスト関数が、前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのレートを取り入れる、請求項１９記載の方法。
23. 請求項１９記載の方法であって、前記修正された奥行き情報に基づいて前記デコードされた基準ピクチャーを歪める段階が：
    前記修正された奥行き情報を前記基準位置から前記第二の位置に歪める段階と；
    歪められた修正された奥行き情報に基づいて、前記デコードされた基準ピクチャー中のピクセルと前記第一の歪められたデコードされた基準ピクチャー中の位置との間の対応を決定する段階と；
    前記対応に基づいて、前記第一の歪められたデコードされた基準ピクチャーを決定する段階とを含む、
    方法。
24. 請求項１９記載の方法であって、前記修正された奥行き情報に基づいて前記デコードされた基準ピクチャーを歪める段階が：
    前記修正された奥行き情報を歪めることなく、直接的に前記修正された奥行き情報を使って前記デコードされた基準ピクチャーを前記基準位置から前記目標位置に歪める段階を含む、
    方法。
25. 請求項２４記載の方法であって、コスト関数がレートおよびディストーションを組み合わせる、方法。
26. 請求項２５記載の方法であって、前記コスト関数が：
    前記洗練をエンコードするためのレート；
    前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのレート；または
    前記奥行き情報ではなく前記修正された奥行き情報を使うことで導かれる、前記基準ピクチャーの歪めに基づく、前記目標ピクチャーをエンコードするためのディストーション
    のうちの一つまたは複数を取り入れる、方法。
27. 前記洗練が、該洗練によって表される各ピクセルについて別個の値を含む、請求項１９記載の方法。
28. 前記洗練が、該洗練によって表される各マクロブロックについて別個の値を含み、所与のマクロブロックについての前記別個の値が該所与のマクロブロック内の各ピクセルに適用される、請求項１９記載の方法。
29. 前記基準ピクチャーについての前記奥行き情報、前記基準ピクチャーについての前記修正された奥行き情報および前記洗練が、前記基準ピクチャーの一部分にのみ適用される、請求項１９記載の方法。
30. 前記基準ピクチャーおよび前記奥行き情報を使って仮想ビューからピクチャーをレンダリングする段階をさらに含む、
    請求項１９記載の方法。
31. エンコードされた目標ピクチャーにアクセスする手段と；
    デコードされた基準ピクチャーにアクセスする手段であって、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置における目標ビューからのものである、手段と；
    前記基準ピクチャーについての奥行き情報にアクセスする手段であって、前記奥行き情報は前記基準ピクチャーの少なくとも一部についての奥行きマップを含む、手段と；
    前記基準ピクチャーについての前記奥行き情報と前記基準ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスする手段であって、前記修正された奥行き情報は前記基準ピクチャーの少なくとも前記一部についての代替的な奥行きマップを含み、前記修正された奥行き情報は前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、手段と；
    前記基準ピクチャーについての前記修正された奥行き情報を決定する手段と；
    前記修正された奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記基準位置から前記目標位置に歪めて第一の歪められたデコードされた基準ピクチャーを生成する手段と；
    前記第一の歪められたデコードされた基準ピクチャーに基づいて、前記目標ピクチャーをデコードしてデコードされた目標ピクチャーを生成する手段と；
    前記奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記基準位置から前記基準位置とは異なる位置に歪めて、ユーザーに対する表示のための第二の歪められたデコードされた基準ピクチャーを生成する手段とを有する、
    装置。
32. 命令を記憶したプロセッサ可読媒体であって、前記命令はプロセッサに少なくとも：
    エンコードされた目標ピクチャーにアクセスする段階と；
    デコードされた基準ピクチャーにアクセスする段階であって、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置における目標ビューからのものである、段階と；
    前記基準ピクチャーについての奥行き情報にアクセスする段階であって、前記奥行き情報は前記基準ピクチャーの少なくとも一部についての奥行きマップを含む、段階と；
    前記基準ピクチャーについての前記奥行き情報と前記基準ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスする段階であって、前記修正された奥行き情報は前記基準ピクチャーの少なくとも前記一部についての代替的な奥行きマップを含み、前記修正された奥行き情報は前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、段階と；
    前記基準ピクチャーについての前記修正された奥行き情報を決定する段階と；
    前記修正された奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記基準位置から前記目標位置に歪めて第一の歪められたデコードされた基準ピクチャーを生成する段階と；
    前記第一の歪められたデコードされた基準ピクチャーに基づいて、前記目標ピクチャーをデコードしてデコードされた目標ピクチャーを生成する段階と；
    前記奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記基準位置から前記基準位置とは異なる位置に歪めて、ユーザーに対する表示のための第二の歪められたデコードされた基準ピクチャーを生成する段階とを実行させる、
    プロセッサ可読媒体。
33. （ｉ）エンコードされた目標ピクチャーにアクセスし、
    （ｉｉ）デコードされた基準ピクチャーにアクセスし、ここで、前記基準ピクチャーは基準位置における基準ビューからのものであり、前記目標ピクチャーは前記基準位置とは異なる目標位置における目標ビューからのものであり、
    （ｉｉｉ）前記基準ピクチャーについての奥行き情報にアクセスし、ここで、前記奥行き情報は、前記基準ピクチャーの少なくとも一部についての奥行きマップを含み、
    （ｉｖ）前記基準ピクチャーについての前記奥行き情報と前記基準ピクチャーについての修正された奥行き情報との間の差を特徴付ける洗練にアクセスし、ここで、前記修正された奥行き情報は前記基準ピクチャーの少なくとも前記一部についての代替的な奥行きマップを含み、前記修正された奥行き情報は前記奥行き情報に比べて、前記目標ピクチャーをエンコードするためのコスト関数を低下させる、アクセス・ユニットと；
    （ｉ）前記基準ピクチャーについての前記修正された奥行き情報を決定し、
    （ｉｉ）前記修正された奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記参照位置から前記目標位置に歪めて第一の歪められたデコードされた基準ピクチャーを生成し、
    （ｉｉｉ）前記第一の歪められたデコードされた基準ピクチャーに基づいて、前記目標ピクチャーをデコードしてデコードされた目標ピクチャーを生成し、
    （ｉｖ）前記奥行き情報に基づいて、前記デコードされた基準ピクチャーを前記基準位置から前記基準位置とは異なる位置に歪めて、ユーザーに対する表示のための第二の歪められたデコードされた基準ピクチャーを生成する奥行き洗練器とを有する、
    装置。
34. ビデオ・エンコーダおよびビデオ・デコーダの少なくとも一つにおいて実装されている、請求項３３記載の装置。

Images