JP2014523660A - スケール非依存マップ - Google Patents

Abstract

さまざまな実装が、解像度不変領域に関する解像度に固有の属性を提供する。いくつかの実装は、スケール不変セルに関するＳＣＭに基づく視差値を提供する。特定の実装は、そのような属性を含む信号または構造を提供する。さらなる実装は、そのような属性にアクセスし、属性を処理する。１つの特定の実装は、ピクチャの領域に関する属性にアクセスする。領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ。属性は、領域に固有であり、特定の解像度と第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である。属性は、特定の解像度に固有の属性をもたらすように変換される。変換された属性は、第１の整数個のピクセルに関連付けられる。その他の実装は、視差情報を使用する、例えば、字幕の配置などの後処理動作で、変換された属性を使用する。

Description

ディジタルピクチャに関する情報を提供することに関連する実装（ｉｍｐｌｅｍｅｎｔａｔｉｏｎ）が、説明される。さまざまな特定の実装は、ビデオ画像に関する視差（ｄｉｓｐａｒｉｔｙ）マップに関する。

関連出願の相互参照
本出願（ａｐｐｌｉｃａｔｉｏｎ）は、以下の米国特許仮出願、すなわち、（ｉ）２０１１年５月２６日に出願された「Ｓｃａｌｅ Ｉｎｄｅｐｅｎｄｅｎｔ Ｄｉｓｐａｒｉｔｙ Ｍａｐ」と題された第６１／４９０，１７９号明細書、および（ｉｉ）２０１１年９月２７日に出願された「Ｓｃａｌｅ−Ｉｎｄｅｐｅｎｄｅｎｔ Ｍａｐｓ」と題された第６１／６２６，４９６号明細書の出願日の利益を主張するものであり、これらの両方は、あらゆる目的でそれらの全体が参照により本明細書に組み込まれている。

２眼式立体ビデオは、左ビデオ画像および右ビデオ画像を含む２つのビデオ画像を提供する。これら２つのビデオ画像に関して、デプスおよび／または視差情報も提供され得る。デプスおよび／または視差情報は、２つのビデオ画像に対するさまざまな処理動作のために使用される可能性がある。

包括的な態様によると、ピクチャの領域に対して属性が決定される。ピクチャは、特定の解像度を有し、属性は、特定の解像度および領域に固有である。ピクチャの領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ。属性は、領域に固有であり、特定の解像度と第２の解像度との組み合わせとして決定される組み合わせ解像度（ｃｏｍｂｉｎａｔｉｏｎ ｒｅｓｏｌｕｔｉｏｎ）に固有である属性をもたらすように変換される。

別の包括的な態様によると、信号または構造が属性部分を含む。属性部分は、ピクチャの領域に関する属性を示すデータを含む。属性は、領域および組み合わせ解像度に固有である。組み合わせ解像度は、特定の解像度と第２の解像度との組み合わせとして決定される。ピクチャの領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ。

別の包括的な態様によると、ピクチャの領域に関して、属性がアクセスされる。ピクチャの領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ。属性は、領域に固有であり、特定の解像度と第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である。属性は、領域および特定の解像度に固有の属性をもたらすように変換される。変換された属性は、特定の解像度の第１の整数個のピクセルに関連付けられる。

１または複数の実装の詳細が、添付の図面、および以下の説明で示される。１つの特定の方法で示されたとしても、実装がさまざまな方法で構成または具現化され得ることは明らかであるに違いない。例えば、実装は、方法として実行されるか、または、例えば、一組の動作を実行するように構成された装置、もしくは一組の動作を実行するための命令を記憶する装置などの装置として具現化されるか、または信号で具現化される可能性がある。その他の態様および特徴は、以下の詳細な説明を添付の図面および請求項とあわせて考察することから明らかとなるであろう。

平行なカメラの実際のデプス値の図形表現の図である。 視差値の図形表現の図である。 見かけのデプス（ａｐｐａｒｅｎｔ ｄｅｐｔｈ）と視差との間の関係の図形表現の図である。 輻湊するカメラの図形表現の図である。 ２眼式立体ビデオ画像のペアにおける隠蔽の図形表現の図である。 異なるネイティブフォーマットおよび送信フォーマットを有する実装を示すブロック／フロー図である。 視差値の公倍数表現の一例の表形式の図である。 視差値の公倍数表現の送信および使用のためのプロセスの一例を示すブロック／フロー図である。 異なる解像度のピクセルのいくつかの例のブロック／図形表現の図である。 異なる解像度に関するピクセルグリッドの２つの例のブロック／図形表現の図である。 図１０のピクセルグリッドの例のうちの１番目の分離したブロック／図形表現の図である。 図１０のピクセルグリッドの例のうちの２番目の分離したブロック／図形表現の図である。 異なる解像度に関するピクセルグリッドの３つのさらなる例のブロック／図形表現の図である。 図１３のピクセルグリッドの例のうちの１番目の分離したブロック／図形表現の図である。 図１３のピクセルグリッドの例のうちの２番目の分離したブロック／図形表現の図である。 図１３のピクセルグリッドの例のうちの３番目の分離したブロック／図形表現の図である。 スケール非依存視差マップ値を処理する一例を示すブロック／フロー図である。 解像度不変領域（ｒｅｓｏｌｕｔｉｏｎ−ｉｎｖａｒｉａｎｔ ｒｅｇｉｏｎ）に関する解像度に固有の属性を処理する一例を示すブロック／フロー図である。 解像度不変領域に関する解像度に固有の属性を処理する別の例を示すブロック／フロー図である。 １または複数の実装で使用され得る送信システムの一例を示すブロック／フロー図である。 １または複数の実装で使用され得る受信システムの一例を示すブロック／フロー図である。

本出願で示される特徴の一部の事前確認として、少なくとも１つの実装が、対応するセル（複数のピクセル）にそれぞれが当てはまる（ａｐｐｌｙ）１または複数の視差値を与える視差マップの使用を説明する。実際の視差値は、任意の標準的なディスプレイの最大の解像度よりもずっと大きく、非標準解像度と呼ばれる解像度に基づく。本出願において、用語「解像度」は、概して水平解像度を指すが、垂直解像度および／または水平解像度と垂直解像度との両方を指すためにも使用され、例えば、ディスプレイのピクセル数、またはディスプレイのピクセルのブロック数、またはディジタル画像の要素数で計測される。非標準解像度は、いくつかの標準的なディスプレイ解像度のうちの１つまたは複数に容易に変換される整数である。この特定の実装において、有効ディスプレイ解像度は、いくつかの標準的なディスプレイ解像度の最小公倍数である。有効ディスプレイ解像度に対する視差値は、整数フォーマットで表される。視差値は、大きな非ディスプレイ解像度（ｎｏｎ−ｄｉｓｐｌａｙ ｒｅｓｏｌｕｔｉｏｎ）に基づいている結果として、潜在的に大きい。さらに、整数表現は、視差値が標準的なディスプレイ解像度にダウンコンバートされるときにサブピクセルの精度をもたらす。加えて、セルのサイズおよび位置は、２つ以上の解像度の整数個のピクセルと同一の広がりを持つ。実際の整数は、異なる解像度において異なる。このサイズおよび位置、ならびにセル全体に対する単一の視差値の使用は、解像度が変更されるときにセルの視差値が同じままであることを可能にする。しかし、視差値は、異なる解像度においてはさまざまな数のピクセルに関連付けられる。

上記事前確認から離れて、図１は、ビデオ画像におけるデプスの概念を示す。図１は、センサー１０７を有する右カメラ１０５と、センサー１１２を有する左カメラ１１０とを示す。両方のカメラ１０５、１１０は、物体１１５の画像を撮影している。例示を目的として、物体１１５は物理的な十字であり、十字の右側に位置する任意の詳細１１６を有する（図２参照）。右カメラ１０５は、撮影角１２０を有し、左カメラ１１０は、撮影角１２５を有する。２つの撮影角１２０、１２５は、３Ｄステレオ領域（３Ｄ ｓｔｅｒｅｏ ａｒｅａ）１３０において重なる。

物体１１５は、３Ｄステレオ領域１３０内にあるので、両方のカメラ１０５、１１０に見えており、したがって、デプスを有すると知覚され得る。物体１１５は、実際のデプス１３５を有する。実際のデプス１３５は、概して、物体１１５からカメラ１０５、１１０までの距離と呼ばれる。より詳細には、実際のデプス１３５は、物体１１５から、両方のカメラ１０５、１１０の入射瞳平面によって画定される平面であるステレオカメラベースライン（ｓｔｅｒｅｏ ｃａｍｅｒａ ｂａｓｅｌｉｎｅ）１４０までの距離と呼ばれる可能性がある。カメラの入射瞳平面は、通常、ズームレンズの中にあり、したがって、通常、物理的にアクセスできない。

また、カメラ１０５、１１０は、焦点距離１４５を有するように示されている。焦点距離１４５は、射出瞳平面からセンサー１０７、１１２までの距離である。例示を目的として、ほとんどの場合、入射瞳平面および射出瞳平面がわずかに離れているとき、それらは一致するものとして示されている。加えて、カメラ１０５、１１０は、ベースライン長（ｂａｓｅｌｉｎｅ ｌｅｎｇｔｈ）１５０を有するものとして示されている。ベースライン長１５０は、カメラ１０５、１１０の入射瞳の中心の間の距離であり、したがって、ステレオカメラベースライン１４０において計測される。

物体１１５は、カメラ１０５および１１０のそれぞれによって、センサー１０７および１１２のそれぞれの上の実像（ｒｅａｌ ｉｍａｇｅ）として撮像される。これらの実像は、センサー１０７上の詳細１１６の実像１１７と、センサー１１２上の詳細１１６の実像１１８とを含む。図１に示されるように、実像は、当技術分野で知られているように反転されている。

デプスは、視差と緊密に関連している。図２は、カメラ１１０から撮影された左画像２０５と、カメラ１０５から撮影された右画像２１０とを示す。両方の画像２０５、２１０は、詳細１１６を有する物体１１５の表現を含む。画像２１０は、詳細１１６の詳細画像２１７を含み、画像２０５は、詳細１１６の詳細画像２１８を含む。詳細１１６の一番右の点は、左画像２０５の詳細画像２１８のピクセル２２０で撮影される、右画像２１０の詳細画像２１７のピクセル２２５で撮影される。ピクセル２２０およびピクセル２２５の位置の間の水平の差が、視差２３０である。物体の画像２１７、２１８は、垂直方向に位置合わせされており、したがって、詳細１１６の画像は両方の画像２０５、２１０において垂直方向に同じ位置取りを有すると仮定される。視差２３０は、左画像２０５および右画像２１０がそれぞれ視聴者の左目および右目によって見られるとき、物体２１５までのデプスの知覚をもたらす。

図３は、視差と知覚されるデプスとの間の関係を示す。３人の観察者３０５、３０７、３０９がそれぞれのスクリーン３１０、３２０、３３０上の物体の２眼式立体映像のペアを見ているところが示されている。

第１の観察者３０５は、正の視差を有する物体の左の像３１５および物体の右の像３１７を見る。正の視差は、物体の左の像３１５がスクリーン３１０上で物体の右の像３１７の左にあるという事実を反映する。正の視差は、知覚されるまたは仮想的な物体３１９がスクリーン３１０の平面の後ろにあるように見える結果をもたらす。

第２の観察者３０７は、視差がゼロである物体の左の像３２５および物体の右の像３２７を見る。視差がゼロであることは、物体の左の像３２５がスクリーン３２０上で物体の右の像３２７と同じ水平位置にあるという事実を反映する。視差がゼロであることは、知覚されるまたは仮想的な物体３２９がスクリーン３２０と同じデプスにあるように見える結果をもたらす。

第３の観察者３０９は、負の視差を有する物体の左の像３３５および物体の右の像３３７を見る。負の視差は、物体の左の像３３５がスクリーン３３０上で物体の右の像３３７の右にあるという事実を反映する。負の視差は、知覚されるまたは仮想的な物体３３９がスクリーン３３０の平面の前にあるように見える結果をもたらす。

ここで、視差およびデプスは、文脈によってそうでないことが示されるかまたは要求されない限り、実装において交換可能なように使用される可能性があることに留意されたい。式１を用いて、我々は、視差がシーンのデプスに反比例することを知る。

ここで、「Ｄ」はデプス（図１の１３５）を示し、「ｂ」は２つのステレオ画像カメラの間のベースライン長（図１の１５０）であり、「ｆ」は各カメラの焦点距離（図１の１４５）であり、「ｄ」は２つの対応する特徴点に関する視差（図２の２３０）である。

上記の式１は、同じ焦点距離を有する平行なカメラに対して有効である。より複雑な式がその他のシナリオに関して定義され得るが、ほとんどの場合、式１が近似として使用され得る。しかし、さらに、当業者に知られているように、以下の式２が、少なくとも、輻湊するカメラのさまざまな構成に対して有効である。

ｄ_∞は、無限遠の物体に関する視差の値である。ｄ_∞は、輻湊角および焦点距離に依存し、ピクセル数ではなく（例えば）メートルで表される。焦点距離は、図１および焦点距離１４５に関連して既に検討された。輻湊角は、図４に示されている。

図４は、図１の平行な構成ではなく輻湊する構成で配置されたカメラ１０５およびカメラ１１０を含む。角４１０は、輻湊するカメラ１０５、１１０の視線を示し、角４１０は、輻湊角と呼ばれる可能性がある。

視差マップが、ビデオ画像に関する視差情報を提供するために使用される。視差マップは、概して、関連するビデオ画像内のピクセルに対応する幾何学図形的配列を有する一組の視差値を指す。

概して、密な視差マップは、通常、関連するビデオ画像の解像度と同一である空間および時間解像度の視差マップを指す。時間解像度は、例えば、フレームレートを指し、例えば、５０Ｈｚまたは６０Ｈｚのどちらかである可能性がある。したがって、密な視差マップは、概して、ピクセル位置ごとに１つの視差サンプルを有する。通常、密な視差マップの幾何学図形的配列は、対応するビデオ画像の幾何学図形的配列、例えば、以下のピクセル数の水平および垂直サイズを有する長方形と同じである。
（ｉ）１９２０×１０８０（もしくは１９２０×１２００）、
（ｉｉ）１４４０×１０８０（もしくは１４４０×９００）、
（ｉｉｉ）１２８０×７２０（もしくは１２８０×１０２４、１２８０×９６０、１２８０×９００、１２８０×８００）、
（ｉｖ）９６０×６４０（もしくは９６０×６００、９６０×５７６、９６０×５４０）、
（ｖ）２０４８×１５３６（もしくは２０４８×１１５２）、
（ｖｉ）４０９６×３０７２（もしくは４０９６×３１１２、４０９６×２３０４、４０９６×２４００、４０９６×２１６０、４０９６×７６８）、または
（ｖｉｉ）８１９２×４３０２（もしくは８１９２×８１９２、８１９２×４０９６、７６８０×４３２０）。

密な視差マップの解像度は、関連する画像の解像度とほぼ同じであるが、異なる可能性がある。１つの実装において、画像の境界の視差情報は、取得するのが難しい。したがって、その実装において、境界ピクセルにおける視差値は、視差マップに含められず、視差マップは、関連する画像よりも小さい。

概して、ダウンサンプリングされた視差マップは、ネイティブのビデオ解像度よりも小さい（例えば、４分の１の）解像度の視差マップを指す。ダウンサンプリングされた視差マップは、例えば、ピクセルのブロックごとに１つの視差値を有する。ブロックは、どちらの方向についても必ずしも整数のピクセル数ではない。１つの実装において、ダウンサンプリングされた視差マップは、水平方向に２．５ピクセルおよび垂直方向に２．５ピクセルであるブロックに関する視差値を提供する。

概して、疎な視差マップは、密でない視差マップを指す。したがって、疎な視差マップは、ダウンサンプリングされた視差マップを含む。多くのアプリケーションにおいて、疎な視差マップは、対応するビデオ画像内で容易に追跡可能と見なされる画像の特徴点に対応する制限された数の（例えば、１０００個の）ピクセルに対応する一組の視差を含む。選択される制限された数のピクセルは、概して、内容（ｃｏｎｔｅｎｔ）自体に依存する。しばしば、画像には１または２百万ピクセル以上（１２８０×７２０または１９２０×１０８０）が存在する。概して、ピクセルのサブセットの選択は、特徴点を検出することができるトラッカーツールによって自動的または準自動的に行われる。トラッカーツールは、容易に入手可能である。特徴点は、例えば、その他の画像において容易に追従され得るピクチャ内のエッジまたはコーナーの点である可能性がある。概して、物体の高コントラストのエッジを表す特徴が、ピクセルのサブセットのために好ましい。

視差マップ、またはより広く、視差情報は、さまざまな処理動作のために使用され得る。そのような動作は、例えば、コンシューマデバイス上の３Ｄエフェクトの調整、インテリジェントな字幕の配置、ＶＦＸ、およびグラフィックスの挿入のための像の内挿（ｉｎｔｅｒｐｏｌａｔｉｏｎ）（レンダリング）を含む。

１つの特定の実装においては、グラフィックスが画像の背景に挿入される。この実装においては、３Ｄ表示が、スポーツキャスターとフットボール選手との間の２眼式立体ビデオインタビューを含み、それらの両方は前景にある。背景は、スタジアムの像を含む。この例において、視差マップは、対応する視差値が所定値よりも小さい（つまり、より近い）ときに、２眼式立体ビデオインタビューからのピクセルを選択するために使用される。対照的に、視差値が所定値よりも大きい（つまり、より遠い）場合、ピクセルはグラフィックから選択される。これは、例えば、ディレクターが、実際のスタジアムの背景の前ではなくグラフィック画像の前にインタビューの関係者を示すことを可能にする。その他の変更形態においては、背景が、選手の最も新しい得点を決めたプレーのリプレー中、例えば、競技場などの別の環境で置き換えられる。

１つの実装においては、３Ｄエフェクトが、ユーザのプリファレンスに基づいて和らげられる（減らされる）。３Ｄエフェクトを減らす（視差の絶対値を減らす）ために、新しい像が、視差およびビデオ画像を用いて内挿される。例えば、新しい像は、既存の左の像と右の像との間の位置に位置を定められ、左の像および右の像のうちの一方を置き換える。したがって、新しい２眼式立体映像のペアは、より小さなベースライン長を有し、削減された視差を有し、したがって、削減された３Ｄエフェクトを有する。

別の実装においては、内挿ではなく外挿が、見かけのデプスを強調し、それによって３Ｄエフェクトを強めるために実行される。この実装においては、元の左の像および右の像のうちの一方に対する延長されたベースライン長を有する仮想カメラに対応する新しい像が、外挿される。

別の例において、視差マップは、視聴者の不快感を和らげるかまたはなくすために、ビデオ画像内の字幕をインテリジェントに配置するために使用される。例えば、字幕は、概して、字幕が隠蔽しているあらゆる物体の前にある知覚されるデプスを有するべきである。しかし、知覚されるデプスは、概して、対象の領域と同程度であり、対象の領域内にある物体から前に離れ過ぎないデプスを有するべきである。

多くの３Ｄ処理動作に関して、ダウンサンプリングされた視差マップまたはその他の疎な視差マップよりも密な視差マップが好ましい。例えば、ユーザが制御可能な３Ｄエフェクトを可能にする（ｅｎａｂｌｅ）ために視差マップが使用されるときは、概して、ピクセルごとの視差情報が好ましい。疎な視差マップ（例えば、ダウンサンプリングされた視差マップ）を使用することは合成された像の品質を劣化させる可能性があるので、ピクセルごとの視差情報は、概して、より良い結果が実現されることを可能にする。

視差値は、さまざまなフォーマットで表され得る。いくつかの実装は、記憶または送信のために以下のフォーマットを使用して視差値を表現する。
（ｉ）符号付き整数：２の補数
・（ａ）負の視差値はスクリーンの前のデプスを示す。
・（ｂ）ゼロは、スクリーン平面内の物体に関する視差値のために使用される。
（ｉｉ）１／８ピクセル単位
（ｉｉｉ）視差値を表す１６ビット
・（ａ）典型的な視差の範囲は＋８０ピクセルと−１５０ピクセルとの間で変わる。これは、概して、１９２０または２０４８の解像度を有する４０インチ（１０１．６センチメートル）ディスプレイに対して十分である。
・（ｂ）１／８ピクセルの精度で、範囲は＋６４０単位と−１２００単位との間であり、これは、１１ビット＋符号のための１ビット＝１２ビットで表され得る。
・（ｃ）（１９２０または２０４８ピクセル幅であるディスプレイの水平解像度の約４倍を有する）８ｋディスプレイで同じ３Ｄエフェクトを維持するために、我々は、通常、視差を符号化するための２つの追加のビット：１２＋２＝１４ビットを必要とする
・（ｄ）これは将来使用するための２ビットを提供する
さらに、上記のフォーマットを使用するさまざまな実装は、密な視差マップも提供する。したがって、そのような実装のための密な視差マップを完成させるために、上記の１６ビットのフォーマットが、対応するビデオ画像内のあらゆるピクセル位置に対して与えられる。

視差と、関連するデプスの変化とは、シーンの異なる像の間の隠蔽をもたらす。図５は、視聴者の脳内で組み合わさって３Ｄシーン５３０を生じる左の像５１０および右の像５２０を示す。左の像５１０、右の像５２０、および３Ｄシーン５３０は、それぞれ、太い円柱５３２、楕円５３４、および細い円柱５３６を含む３つの物体を含む。しかし、図５に示されるように、３つの物体５３２、５３４、５３６のうちの２つは、像５１０、５２０および３Ｄシーン５３０のそれぞれで異なる相対位置にある。それらの２つの物体は、太い円柱５３２および細い円柱５３６である。楕円５３４は、像５１０、５２０、および３Ｄシーン５３０のそれぞれで同じ相対位置にある。

異なる相対位置は、以下の簡潔な検討によって説明されるように隠蔽を生じる。左の像５１０は、隠蔽された領域５４５および５４８も見せる左画像５４０に示される。隠蔽された領域５４５および５４８は、左の像５１０でのみ可視であり、右の像５２０では不可視である。これは、（ｉ）隠蔽された領域５４５に対応する右の像５２０内の領域が太い円柱５３２によって覆われており、（ｉｉ）隠蔽された領域５４８に対応する右の像５２０内の領域が細い円柱５３６によって覆われているためである。

同様に、右の像５２０は、２つの隠蔽された領域５５５および５５８も見せる右画像５５０に示される。隠蔽された領域５５５、５５８は、右の像５２０でのみ可視であり、左の像５１０では不可視である。これは、（ｉ）隠蔽された領域５５５に対応する左の像５１０内の領域が太い円柱５３２によって覆われており、（ｉｉ）隠蔽された領域５５８に対応する左の像５１０内の領域が細い円柱５３６によって覆われているためである。

隠蔽が２眼式立体映像のペアに存在する可能性があるとすると、２眼式立体映像のペアに関する２つの視差マップを提供することが有用である。１つのそのような実装においては、左の視差マップが左のビデオ画像に対して与えられ、右の視差マップが右のビデオ画像に対して与えられる。知られているアルゴリズムが、標準的な視差ベクトルの方法を使用して視差値が決定され得ない各画像のピクセル位置に視差値を割当てるために使用される可能性がある。そのとき、隠蔽領域は、左の視差値と右の視差値とを比較することによって判定され得る。

左の視差値と右の視差値とを比較する例として、左目画像および対応する右目画像を考える。ピクセルＬは、行Ｎにあり、左目画像において水平座標ｘ_Ｌを有する。ピクセルＬは、視差値ｄ_Ｌを有すると判定される。ピクセルＲは、対応する右目画像の行Ｎにあり、ｘ_Ｌ＋ｄ_Ｌに最も近い水平座標を有する。ピクセルＲは、約「−ｄ_Ｌ」の視差値ｄ_Ｒを有すると判定される。そのときは、視差が互いに対応するので、高い信頼度で、ＬまたはＲに隠蔽は存在しない。つまり、ピクセルＬおよびＲは、両方とも、それらの判定された視差でおおむね互いを指す。

しかし、ｄ_Ｒが−ｄ_Ｌとほぼ同じではない場合、隠蔽が存在する可能性がある。例えば、符号を考慮に入れた後、２つの視差値が実質的に異なる場合、概して、隠蔽が存在する高い信頼度が存在する。１つの実装においては、実質的な違いは、｜ｄ_Ｌ−ｄ_Ｒ｜＞１によって示される。加えて、視差値のうちの一方（ｄＲまたはｄＬのどちらか）が利用できない場合、概して、隠蔽が存在する高い信頼度が存在する。視差値は、例えば、視差値が決定され得ないために利用できない可能性がある。隠蔽は、概して、２つの画像のうちの一方に関する。例えば、より小さい大きさを有する視差に関連するピクセルによって示されるか、または利用できない視差値に対応するピクセルによって示されるシーンの一部は、概して、他方の画像において隠蔽されていると見なされる。

視差値を表現するための１つのあり得る方法は、ビデオ画像の所与のピクセル位置に関する視差のピクセル数を表現するために整数を使用することである。視差値は、ビデオ画像の特定の水平解像度に対する視差のピクセル数を表す。したがって、視差値は、特定の水平解像度に応じて決まる。そのような実装は、有用であり、効果的である可能性がある。

しかし、その他の実装は、視差値にサブピクセルの精度を必要とする。概して、そのような実装は、視差値を表現するために浮動小数点数を使用し、したがって、小数部が視差値に含められ得る。これらの実装のうちのいくつかは、所与の水平解像度に固有の視差値を提供する。これらの実装も、有用であり、効果的である可能性がある。

他の一部の実装は、視差値を百分率の値として表現する。したがって、視差をピクセル数として表現する代わりに、視差は、水平解像度の百分率として表現される。例えば、所与のピクセル位置の視差が１０ピクセルであり、水平解像度が１９２０である場合、百分率の視差値は、（１０／１９２０）＊１００である。そのような実装は、やはり、視差にサブピクセルの精度を与えることができる。百分率の値の表現は、通常、整数表現ではなく浮動小数点表現である。例えば、水平解像度１９２０を有するディスプレイの１ピクセルの視差は、１／１９２０であり、これは０．０００５２０８または．０５２０８％である。

さらに、そのような百分率の視差値は、その他の水平解像度に直接適用（ａｐｐｌｙ）され得る。例えば、（ｉ）ビデオ画像が水平解像度１９２０を有し、（ｉｉ）ビデオ画像がユーザの家に送信され、（ｉｉｉ）ユーザのディスプレイ装置が水平解像度１４４０を有すると仮定する。このシナリオにおいては、通常、ユーザのディスプレイ装置（またはセットトップボックス、またはルータ、または何らかのその他のプロセッサーもしくは処理デバイス）が、ビデオ画像の水平解像度を１９２０から１４４０に変換し、さらに、視差値が水平解像度１４４０に対応するように視差値を変換する。変換は、例えば、百分率の視差値に水平解像度を掛けることによって実行され得る。例えば、所与のピクセル位置に関する百分率の視差が１／２％であり、水平解像度が１９２０である場合、絶対的な視差値は１／２＊１９２０／１００である。これらの実装のうちのいくつかは、ビデオ画像および視差マップの水平解像度に関係なく、視差値の送信および記憶に、百分率の視差値である単一の視差値を使用する。そのような実装も、有用であり、効果的である可能性がある。

上述のように、送信システムが、ビデオ画像の水平解像度とは異なる送信フォーマットの水平解像度を使用する可能性がある。加えて、受信システムが、ビデオ画像を表示するために異なる水平解像度を使用する可能性がある。したがって、１つの水平解像度から別の水平解像度への変換が、必要とされる可能性がある。そのような変換は、ビデオ画像の解像度を変更するだけではなく、視差値が調整されることも必要とする。概して、そのような変換は、絶対的な視差値に対して必要とされるが、百分率の視差値に対しては必要とされない。

以下の例は、さまざまな実装の間のトレードオフの一部についてのさらなる詳細を示す。

・（ｉ）１つの実装は、視差値を、所与のビデオ解像度に対して、ピクセルの１／８の正確性で、絶対値（ピクセル数）としてフォーマットする（例えば、物体が、１９２０水平ピクセルを有するビデオコンテンツで１０ピクセルの視差を有する可能性がある）。

・（ｉｉ）操作の簡潔さおよび容易さを含め、そのようなシステムの多くの利点が存在する。

・（ｉｉｉ）１つのそのようなシステムにおいては、最大で２５５ピクセルの視差を提供するための整数部分に関する８ビットと、（１／８の正確性または精度を得るための）小数部分に関する３ビットとの１１ビットが使用される。符号ビットも使用されるか、またはシステムが＋／−１２７ピクセルの視差値を提供する可能性があることに留意されたい。

・（ｉｖ）ビデオ画像が送信中に再フォーマットされる必要がある場合、視差マップも再フォーマットされ、情報の損失につながる可能性がある。例えば、図６を参照すると、実装が、水平解像度１９２０を有するネイティブのフォーマット６１０と、水平解像度１２８０（または別の実装においては１４４０）を有するようにダウンサンプリングされている送信フォーマット６２０とを使用する。ビデオ画像と同様に、デプスまたは視差マップが、概して、デプスの詳細の損失につながるサブサンプリングの前に濾波される。濾波は、濾波およびサブサンプリング動作６３０で行われる。濾波およびサブサンプリング動作は、ビデオ画像および視差画像に適用される。

・（ｖ）さらに、新しい視差値が変換され、概して損なわれる。例えば、視差マップの解像度を下げる（つまり、視差値の数を少なくする）ダウンサンプリングの後、視差値は、送信フォーマットの解像度に変換される。１９２０から１２８０になるとき、１０ピクセルの視差値は６．６６６６になる。これは、例えば、小数部分が０．１２５（１／８）の倍数にしかなれないために、６．６２５への値の切り下げを引き起こす。

・（ｖｉ）送信の後、ディスプレイが１９２０ピクセルの幅である場合、最終的な視差値は、６．６２５×１９２０／１２８０＝９．９３７５になる。値９．９３７５は、元の値１０と比較して、何らかの歪みを表す。値９．９３７５は、例えば、切り上げられるか、切り下げられるか、または最も近い整数に丸められるか、または最も近い１／８に丸められる可能性があり、おそらくは情報の損失を生じる。値が切り下げられるとした場合、損失は大きい。

１つの解決策は、すべての水平解像度に共通であることができる百分率の視差を使用することである。上述のそのような実装は、利点および欠点を有する。百分率の視差値の使用は、送信前の変換動作が省略されることを可能にする。

別の解決策は、いずれか１つのよくある解像度に固有ではない整数値を使用することである。（ピクチャは、通常、垂直方向に修正されたと想定され、その他の処理を受けていることに留意されたい。したがって、通常、水平方向の変位の観点で視差について検討すれば十分である。）この解決策は、本出願においてはいくつかの標準的なＴＶの水平解像度（７２０、９６０、１２８０、１４４０、１９２０）の最小公倍数（ｓｍａｌｌｅｓｔ ｃｏｍｍｏｎ ｍｕｌｔｉｐｌｅ）（「ＳＣＭ」）と呼ばれる１１，５２０ピクセルの基準解像度（ｒｅｆｅｒｅｎｃｅ ｒｅｓｏｌｕｔｉｏｎ）（または仮想解像度（ｖｉｒｔｕａｌ ｒｅｓｏｌｕｔｉｏｎ））を定義することを提案する。ＳＣＭは、さまざまな参考文献において「最小公倍数（ｌｏｗｅｓｔ ｃｏｍｍｏｎ ｍｕｌｔｉｐｌｅ）」または「最小公倍数（ｌｅａｓｔ ｃｏｍｍｏｎ ｍｕｌｔｉｐｌｅ）」とも呼ばれ、これらは両方ともＬＣＭと略される可能性があることに留意されたい。

このＳＣＭの解決策の少なくとも１つの実装は、以下を含むいくつかの利点を有する（その他の実装がこれらの利点のすべてを有するとは限らない）。

・（ｉ）視差値が整数であるので、視差値の判定および記憶が簡単であり、視差値は操作および処理が容易である。

・（ｉｉ）視差値が、もはや完全に絶対的ではなく、相対的な特徴を有し、したがって、ネイティブのビデオ解像度に依存しない。

・（ｉｉｉ）小数部分が必要とされない。

・（ｉｖ）視差値が、相対的であり、ネイティブのビデオ解像度に依存しないので、百分率に似ている。しかし、視差値は整数であり、したがって、最小の視差値を示すために０．００８６８％のような複雑な数を符号化する明確な必要性がない。最小の視差値は１ピクセルであり、１／１１，５２０は０．００８６８％である。

・（ｖ）視差値が１１，５２０に依拠するので、転送中に視差値をコード変換する明確な必要性が存在しない。

・（ｖｉ）ＳＣＭに基づく視差値が例えばセットトップボックス（ＳＴＢ）に到着するとき、ＳＴＢが、例えば、
○（ａ）解像度１９２０に関して視差／６
○（ｂ）解像度１４４０に関して視差／８
○（ｃ）解像度１２８０に関して視差／９
○（ｄ）解像度９６０に関して視差／１２
などの非常に単純な演算（ｏｐｅｒａｔｉｏｎ）を実行することによって所与のビデオ解像度に対する真の絶対的な視差を計算する。

・（ｖｉｉ）どのチャネルが使用されるかに関係なく、コード変換がない限り、視差情報が転送中に劣化しない。

・（ｖｉｉｉ）２ｋ、４ｋ、８ｋのような比較的新しいコンシューマ解像度に関しても、演算は実施するのが簡単であり、それはＳＴＢの処理ユニットで容易に実施可能である。概して、２ｋは水平ピクセル解像度２０４８を有する画像を指し、概して、４ｋは４０９６を指し、概して、８ｋは８１９２を指すことに留意されたい。演算は、例えば、
○（ａ）解像度２０４８に関して視差×８／４５
○（ｂ）解像度４０９６に関して視差×１６／４５
○（ｃ）解像度８１９２に関して視差×３２／４５
である。

実際には、１または複数のＳＣＭの実装は、（１）対応するビデオコンテンツの既存の水平解像度に対する視差値を判定し、（２）単純な乗算および／または除算によってそれらの視差値を１１，５２０のスケールに変換してＳＣＭ視差値（ＳＣＭ ｄｉｓｐａｒｉｔｙ ｖａｌｕｅ）を生成し、（３）コード変換なしにＳＣＭ視差値を記憶し、送信し、（４）単純な乗算および／または除算を用いて、受信されたＳＣＭ視差値を出力ディスプレイの解像度に変換する。コード変換が存在しないので、この解決策は、概して、コード変換による情報の損失（例えば、丸めの損失）を被らない。視差マップの解像度は上記プロセスによって変更されないことに留意されたい。むしろ、（既存の解像度に関する）既存の視差値が、実際の解像度とは異なる基準解像度（または仮想解像度）に基づくか、または基準解像度（または仮想解像度）を反映するようにスケール化される。

さまざまな実装は、上述の演算の逆である単純な数学的演算を実行することによって視差値を生成する。例えば、ＳＣＭ視差値を生成するために、受信された絶対的な視差値に、以下のように、１つまたは２つの整数が乗算および／または除算される。
○（ｉ）１９２０視差＊６＝ＳＣＭ視差
○（ｉｉ）１４４０視差＊８＝ＳＣＭ視差
○（ｉｉｉ）１２８０視差＊９＝ＳＣＭ視差
○（ｉｖ）９６０視差＊１２＝ＳＣＭ視差
○（ｖ）２０４８視差＊４５／８＝ＳＣＭ視差
○（ｖｉ）４０９６視差＊４５／１６＝ＳＣＭ視差
○（ｖｉｉ）８１９２視差＊４５／３２＝ＳＣＭ視差

図７は、さまざまな異なる水平解像度に関する最小公倍数を決定するプロセスのさらなる詳細を示す。列７１０は、異なる水平解像度を列挙する。列７２０は、水平解像度の最小の因数を列挙する。例えば、９６０は、２^６＊３＊５と因数分解され、ここで、２^６は２の６乗である。したがって、９６０＝６４＊３＊５である。水平解像度１２８０に関して、３^０は１に等しいことも留意される。

最初の４つの解像度９６０、１２８０、１４４０、および１９２０の最小公倍数は、２^８＊３^２＊５であり、これは１１，５２０である。解像度１１，５２０は、２の適切な累乗を乗算し、次に、２ｋ、４ｋ、および８ｋに存在しない因数３^２および５で除算することによって２ｋ、４ｋ、および８ｋの解像度で使用される。２の累乗の乗算は、さまざまな実装において、実際の乗算の演算ではなくビット単位の左シフト演算を用いて実行されることに留意されたい。図７は、１１，５２０と列６１０に示されたさまざまな解像度との間の変換を行うための変換式を与える列７３０を含む。

列６３０の変換式は、複数のよくあるディスプレイサイズ（例えば、インチまたはセンチメートルで計測されるディスプレイの物理的なサイズを指すディスプレイサイズ）によってサポートされる解像度に基づいて視差値をスケール化するために使用され得る。図６の例においては、例えば、水平解像度１９２０に基づく入力視差値が、視差値を水平解像度１１，５２０に基づく新しい視差値に変換するために、因数６によってスケール化される。新しい視差値は、水平解像度９６０、１２８０、および１４４０が解像度１１，５２０によって考慮され、解像度１１，５２０を決定する際に使用されるので、それらにも基づく。

代替的な実装は、単純に、視差の解像度１１，５２０＊２^５＝３６８，６４０を使用する。この代替的な実装においては、３６８，６４０を元の解像度に変換して戻すために乗算が必要とされない。

値１１，５２０が、さまざまな実装のために使用される。しかし、その他の実装においてはその他の値が使用される。１つの実装においては、値１１，５２０が２倍にされて２３，０４０になる。第２の実装においては、値３６８，６４０が２倍にされて７３７，２８０になる。

代替的に、水平解像度の異なる組が、さまざまな実装で使用され、異なるＳＣＭをもたらす。例えば、別の実装においては、出力解像度１９２０および１４４０だけが対象であり、したがって、実装はＳＣＭ５，７６０を使用する。そのとき、ＳＣＭ視差値を生成するために、解像度１９２０からの視差値は、因数３を乗算され、解像度１４４０からの視差値は、因数４を乗算される。

さまざまな実装はＳＣＭの実装ではないことは明らかであるに違いない。例えば、値１１，５２０でさえも、列７１０に列挙された７つすべての解像度のＳＣＭではない。正しくは、値３６８，６４０がＳＣＭである。それでもなお、本出願に記載の実装は、概して、たとえ視差値が水平解像度のすべての最小公倍数ではないとしてもＳＣＭの実装と呼ばれる。

ＳＣＭの実装はサブピクセルの精度を提供することに留意されたい。例えば、解像度１９２０に関して、視差値は、解像度１１，５２０への／からの変換を行うために因数６を使用し、これは１／６ピクセルの精度を提供する。より詳細には、１１，５２０に基づく視差値が８３である場合、１９２０に基づく視差値は１３と５／６である。これは、明らかに１／６ピクセルの精度を提供する。これは、品質と、将来のニーズのための余裕との点でさまざまな利点をもたらす。例えば、解像度１９２０が解像度２ｋによって置き換えられる場合、１１，５２０に基づく視差値は、それでも、８／４５ピクセルの精度のサブピクセルの精度を提供し、これは、１／６（７．５／４５）ピクセルよりも若干低い精度であるが、１／５（９／４５）ピクセルよりはまだ高い精度である。

ＳＣＭ解像度（ＳＣＭ ｒｅｓｏｌｕｔｉｏｎ）１１，５２０を使用する少なくとも１つの実装は、２バイト（１６ビット）フォーマットで動作する。多くの場合、典型的な視差の範囲は、１９２０×１０８０のディスプレイ（解像度）において＋８０ピクセルと−１５０ピクセルとの間で変わる。それらの数に６を掛けることは、基準解像度１１，５２０において＋４８０から−９００までの範囲をもたらす。１３８０のこの範囲は、１１ビット（２^１１＝２０４８）によって表され得る。代替的な実装は、視差の絶対値を表すための１０ビット（視差の最大の絶対値は９００である）と、符号を表すための追加のビットとを使用する。

さらに別の実装は、視差の符号が暗黙的であると見なすことによって１ビットを節約する。例えば、左の像のピクセルの視差が、視差の符号とともに符号化される。しかし、対応する右の像の対応するピクセルの視差は、反対の符号を有すると見なされる。

別の実装は、像（左の像と右の像との両方）ごとに１つの密な視差マップを提供し、それにより、隠蔽によって引き起こされる問題を減らすことができるように、密な視差マップが対応する像を示すためのビットを割当てる。別の実装は、画像（左の画像かまたは右の画像かのどちらか）と対応する密な視差マップとの間の暗黙的な関連付けを提供し、したがって、この情報に１ビットを充てる必要がない。これらの実装の変更形態は、その他の種類のマップまたは画像を導入するために１または複数の追加のビットを使用する。１つのそのような実装は、マップが（ｉ）左画像の視差マップであるか、（ｉｉ）右画像の視差マップであるか、（ｉｉｉ）隠蔽マップ（ｏｃｃｌｕｓｉｏｎ ｍａｐ）であるか、または（ｉｖ）透過マップ（ｔｒａｎｓｐａｒｅｎｃｙ ｍａｐ）であるかを示すために２ビットを使用する。１つの実装は、１６ビットフォーマットを有し、−９００から＋４８０までの範囲を示すための１１ビットを使用し、マップの種類を示すために２ビットを使用し、未使用の３ビットを有する。

図８は、１または複数の実装の動作を示すブロック／フロー図を与える。図８は、異なる実装の間のトレードオフの一部も示す。

図８は、ビデオを処理する処理チェーン８１０を含む。ビデオ画像８１１は、水平解像度１９２０を有する。しかし、処理チェーン８１０の送信フォーマットは、水平解像度１２８０を有する。したがって、ビデオ画像８１１は、水平解像度１２８０を有するビデオ画像８１３を生成するために動作８１２において濾波され、ダウンサンプリングされる。濾波およびダウンサンプリングは、処理チェーン８１０において一緒に実行される。しかし、その他の実装は、濾波およびダウンサンプリングを別々に実行する。濾波は、例えば、ビデオ画像８１１がダウンサンプリングされるときに折り返しひずみを防止する目的でビデオ画像８１１を低域通過濾波するために使用される。ビデオ画像８１３は、送信および／または記憶動作８１４で搬送される。

チェーン８１０の受信側は、ビデオ画像８１３と同じであるか、同様であるか、または異なる可能性がある受信されたビデオ画像８１５にアクセスする。例えば、１つの実装において、ビデオ画像８１５は、ビデオ画像８１３の記憶されたバージョンである。加えて、別の実装においては、ビデオ画像８１５は、情報源符号化および復号動作（図示せず）の後のビデオ画像８１３の再構成されたバージョンを表す。さらに、別の実装においては、ビデオ画像８１５は、（誤り訂正を含む）チャネルの符号化および復号動作（図示せず）の後のビデオ画像８１３の誤り訂正されたバージョンを表す。ビデオ画像８１５は、元のビデオ画像８１１におけるように水平解像度１９２０を有するビデオ画像８１７を生成するために、アップサンプリング動作８１６で処理される。

図８は、チェーン８１０で処理されるビデオ画像に対応する視差画像を処理する処理チェーン８２０も含む。視差画像８２１は、水平解像度１９２０を有し、解像度１１，５２０に基づく整数値の視差値を含む。概して、視差画像は、例えば、密な視差マップ、ダウンサンプリングされた（疎な）視差マップ、または別の疎な視差マップなどの視差情報の任意の集積を指すことに留意されたい。さらに、視差マップは、例えば、ピクチャ、フレーム、フィールド、スライス、マクロブロック、パーティション、または視差情報の何らかのその他の集まりに対応する可能性がある。

しかし、処理チェーン８２０の送信フォーマットは、水平解像度１２８０を有する。したがって、視差画像８２１は、水平解像度１２８０を有する視差画像８２３を生成するために動作８２２において濾波され、ダウンサンプリングされる。濾波およびダウンサンプリングは、処理チェーン８２０において一緒に実行される。しかし、その他の実装は、濾波およびダウンサンプリングを別々に実行する。濾波は、例えば、視差画像８２１がダウンサンプリングされるときに折り返しひずみを防止する目的で視差画像８２１の視差値を低域通過濾波するために使用される。

視差画像８２３の視差値は、整数値である。これは、さまざまな手段で実現され得る。１つの実装において、濾波およびダウンサンプリング動作の結果は、最も近い整数に丸められる。別の実装においては、すべての小数部分が単純に切り捨てられる。さらに別の実装は、視差画像８２３の視差値に浮動小数点表現を使用する。視差値は、濾波およびダウンサンプリングが視差画像８２３の解像度１２８０を生成した後でさえも、引き続き解像度１１，５２０に基づくことに留意されたい。

視差画像８２３は、送信および／または記憶動作８２４で搬送される。チェーン８２０の受信側は、受信された視差画像８２５にアクセスする。視差画像８２５は、視差画像８２３と同じであるか、同様であるか、または異なる可能性がある。例えば、１つの実装において、視差画像８２５は、視差画像８２３の記憶されたバージョンである。さらに、別の実装においては、視差画像８２５は、情報源符号化および復号動作（図示せず）の後の視差画像８２３の再構成されたバージョンを表す。さらに、別の実装においては、視差画像８２５は、（誤り訂正を含む）チャネルの符号化および復号動作（図示せず）の後の視差画像８２３の誤り訂正されたバージョンを表す。しかし、視差画像８２５の視差値は、例えば、必要に応じて丸めを使用することによって整数のままである。

視差画像８２５は、元の視差画像８２１におけるように水平解像度１９２０を有する視差画像８２７を生成するために、アップサンプリング動作８２６で処理される。動作８２６は、例えば、丸めまたは切り捨てを使用して、視差画像８２７の整数値を生成する。

視差画像８２７の視差値は、変換動作８２８で、解像度１１，５２０に基づく状態から、解像度１９２０に基づく状態に変換される。変換動作８２８は、上で説明されたように、それぞれの視差値を６で割る。変換動作８２８は、視差画像８２９を生成する。視差画像８２９の視差値は、サブピクセルの精度を保つために浮動小数点数として表される。

処理チェーン８２０が大きな利点を含むことは明らかであるに違いない。第１に、視差値は、最終的な視差画像８２９がもたらされるまで、チェーン８２０全体を通じて整数である。第２に、実際の視差値は、送信フォーマットの水平解像度がネイティブの視差マップ８２１の水平解像度と異なるという事実にもかかわらず、コード変換されない。したがって、視差値は、さまざまな異なる水平解像度に適用可能である。

そして、受信システムが、視差画像８２９を使用してビデオ画像８１７を処理する。処理は、既に説明されたように、３Ｄエフェクトの調整、字幕の配置、グラフィックスの挿入、またはＶＦＸの実行を含み得る。

図８は、比較を目的として、処理チェーン８３０も示す。処理チェーン８３０は、チェーン８１０で処理されるビデオ画像に対応する視差画像をやはり処理する。処理チェーン８３０は、処理チェーン８２０の代わりである。以下で説明されるように、チェーン８３０全体は、図８を簡潔にするために示されていないことは明らかであるに違いない。

視差画像８３１は、水平解像度１９２０を有し、浮動小数点表現を有する百分率に基づく視差値を含む。しかし、処理チェーン８３０の送信フォーマットは、水平解像度１２８０を有する。したがって、視差画像８３１は、水平解像度１２８０を有する視差画像８３３を生成するために動作８３２において濾波され、ダウンサンプリングされる。動作８３２は、例えば、濾波およびダウンサンプリング動作８１２または８２２と類似している可能性がある。視差画像８３３の百分率に基づく視差値は、引き続き浮動小数点フォーマットで表される。

処理チェーン８３０の残り（図示せず）は、処理チェーン８２０の残りと同じである。視差画像８３３は、送信および／または記憶動作で搬送される。チェーン８３０の受信側は、受信された視差画像にアクセスする。受信された視差画像が、水平解像度１９２０にアップサンプリングされ、次に、視差値が、百分率に基づく状態から解像度１９２０に基づく状態に変換される。変換動作は、上で説明されたように、百分率掛ける１９２０の操作である。しかし、処理チェーン８２０とは対照的に、処理チェーン８３０の視差画像の視差値は、常に浮動小数点フォーマットで表される。

図８は、比較を目的として、処理チェーン８４０も示す。処理チェーン８４０は、チェーン８１０で処理されるビデオ画像に対応する視差画像をやはり処理する。処理チェーン８４０は、処理チェーン８２０の代わりである。以下で説明されるように、チェーン８４０全体は、図８を簡潔にするために示されていないことは明らかであるに違いない。

視差画像８４１は、水平解像度１９２０を有し、解像度１９２０に基づき、浮動小数点表現を有する視差値を含む。しかし、処理チェーン８４０の送信フォーマットは、水平解像度１２８０を有する。したがって、視差画像８４１は、水平解像度１２８０を有する視差画像８４３を生成するために動作８４２において濾波され、ダウンサンプリングされる。動作８４２は、例えば、濾波およびダウンサンプリング動作８１２、８２２、または８２３と類似している可能性がある。視差画像８４３の視差値は、引き続き浮動小数点フォーマットで表される。

次に、視差画像８４３の視差値は、視差画像８６０を生成するために、変換動作８５０で変換される。変換動作８５０は、視差値を、水平解像度１９２０に基づく状態から水平解像度１２８０に基づく状態に変換する。視差画像８６０の視差値は、引き続き浮動小数点フォーマットで表される。

処理チェーン８４０の残り（図示せず）は、処理チェーン８２０の残りと同じである。視差画像８６０は、送信および／または記憶動作で搬送される。チェーン８４０の受信側は、受信された視差画像にアクセスする。受信された視差画像が、水平解像度１９２０にアップサンプリングされ、次に、視差値が、解像度１２８０に基づく状態から解像度１９２０に基づく状態に変換される。変換動作は、視差値に１９２０／１２８０を乗算することをともなう。処理チェーン８３０と同様に、処理チェーン８２０とは対照的に、処理チェーン８４０の視差画像の視差値は、常に浮動小数点フォーマットで表される。

処理チェーン８４０の別の実装においては、変換動作８５０が実行されない。したがって、視差画像８４３の視差値は、水平解像度１９２０に基づく視差値のままである。しかし、視差画像８４３の水平解像度は、１２８０のままである。したがって、この実装は、送信の前の変換を避け、おそらくは、受信または取得後の再変換を避ける。変換および再変換を避けることは、少なくとも一部の実装において、丸め誤差も避ける。この実装は、本出願のすべてのその他の実装と同様に、利点を有し、有用である可能性がある。しかし、視差値は、実装全体を通じて浮動小数点数で表される。

我々は、例えば、解像度１１，５２０が使用されるＳＣＭの実装に再び言及する。幅１１，５２０は、既に説明されたように、一揃いの所定の画像解像度（例えば、９６０、１２８０、１４４０、および１９２０）の幅（水平軸）の最小公倍数と呼ばれる。１１，５２０は、１２８０、１４４０、および１９２０の最小公倍数でもあることに留意されたい。

ＳＣＭを用いる水平視差の１つの計数は、「視差単位（ｄｉｓｐａｒｉｔｙ ｕｎｉｔ）」（ＤＵ）、または「水平単位（ｈｏｒｉｚｏｎｔａｌ ｕｎｉｔ）」（ＨＵ）、または「水平視差単位（ｈｏｒｉｚｏｎｔａｌ ｄｉｓｐａｒｉｔｙ ｕｎｉｔ）」（ＨＤＵ）と呼ばれる可能性がある。ＤＵによって視差を表すことは、選択された画像の幅の最小公倍数に関連して視差を効果的に表す。ＤＵによって視差を表すことは、利点を有する。ＤＵによって視差を表す１つのそのような利点は、選択された解像度のうちの１つのステレオ画像のペア内の物体に関して計算された視差が、選択された解像度のうちの異なる１つにスケール化された同じステレオ画像のペアのバージョン内の同じ物体に関して実質的に同じであることである。

例えば、図９を参照すると、同じ領域を表すが、３つの異なる解像度の画像のピクセルの３つの行９１０、９２０、および９３０が示されている。加えて、ＳＣＭ解像度１１，５２０からの視差単位を示す第４の行９４０が存在する。

一番上の行９１０は、１２８０ピクセル幅であるピクチャからのピクセルの領域を含む。一番上の行９１０は、示されるように８ピクセルを含む。実際、一番上の行９１０は、通常、アスペクト比１：１を有するピクセルに対応する画像アスペクト比１６：９を有する解像度１２８０×７２０である。したがって、一番上の行９１０のピクセルは、正方形として示される。

第２の行９２０は、行９１０と同じピクチャからのピクセルの領域を含む。しかし、行９２０は、通常、同じ画像アスペクト比１６：９を有するが、画素アスペクト比が４：３である解像度１４４０×１０８０を有する画像全体をもたらすようにピクチャが１４４０ピクセル幅になるようにリサイズされた後のピクチャから抜き出される。したがって、行９２０は、単純に行９１０のように８ピクセルを含むのではなく、示されるように９ピクセルを含む。

第３の行９３０は、行９１０および行９２０と同じピクチャからのピクセルの領域を含む。しかし、行９３０は、ピクチャが全体の画像解像度１９２０×１０８０の１９２０ピクセル幅になるようにリサイズされた後のピクチャから抜き出される。ピクチャは、検討されるその他の解像度と同様にアスペクト比１６：９を有するが、行９１０と同じように画素アスペクト比１：１（正方形のピクセル）を有する。したがって、行９３０は、単純に行９１０のように８ピクセルを含むか、行９２０のように９ピクセルを含むのではなく、示されるように１２ピクセルを含む。行９１０、行９２０、および行９３０は、すべて、ピクチャの対応する領域を表示し、同じコンテンツを含むことは明らかであるに違いない。

我々は、これらの４つの異なる解像度における視差の違いを示すための一例を与える。１つの実装において、物体は、丁度、ステレオ画像のペアのうちの一方の画像の１２８０ピクセル幅のバージョンの一番上の行９１０の一番左のピクセル９１２に現れ、丁度、ステレオ画像のペアのうちの対応する他方の目の画像の第５のピクセル９１４に現れる。視差は、一番上の行９１０の半分ほど、または（ピクセルで表すと）（５−１と計算される）丁度４である。

しかし、第３の行９３０の再スケール化（ｒｅｓｃａｌｅ）された画像で計測されるとき、物体は、ステレオ画像のペアのうちの一方の画像の一番左のピクセル９３２に現れ、丁度、ステレオ画像のペアのうちの対応する他方の目の画像の第７のピクセル９３４に現れる。したがって、第３の行９３０の半分ほどである視差は、６ピクセルある。

さらに、第２の行９２０の再スケール化された画像で計測されるとき、物体は、ステレオ画像のペアのうちの一方の画像の一番左のピクセル９２２に現れる。物体は、ステレオ画像のペアのうちの対応する他方の目の画像の第５のピクセル９２４の右半分にも現れる。したがって、第２の行９２０の半分ほどである視差は、４と１／２ピクセルある。

したがって、視差は、行９１０、９２０、および９３０の解像度のそれぞれで異なる。視差は、４ピクセルから、４と１／２ピクセルまで、６ピクセルまで変わる。

しかし、視差がＤＵで表されるとき、この同じ物体は、３つの解像度すべてにおいて３６ＤＵの視差を有する。これは、第４の行９４０を調べることによって理解され得る。第４の行９４０の再スケール化された画像で計測されるとき、物体は、ステレオ画像のペアのうちの一方の画像の一番左のＤＵ９４２に現れ、丁度、ステレオ画像のペアのうちの対応する他方の目の画像の第３７のＤＵ９４４に現れる。したがって、第４の行９４０の半分ほどである視差は、３６ＤＵある。視差を計測するためにピクセルではなくＤＵを使用することにより、ピクチャが、異なる選択された解像度の間でスケール化されるとき、この物体の視差は、再計測、再計算、またはスケール化される必要がない。

既に説明されたように、密な視差マップは、通常、（ステレオ画像のペアと呼ばれる）２眼式立体映像のペアのうちの一方の画像の各ピクセルの内容に関連する視差値を含む。視差値は、ステレオ画像のペアの他方の画像に関連する。したがって、密な視差マップは、通常、対応する画像がピクセルを有するのと同じ数の視差のエントリを含む。

高解像度（例えば、１９２０ピクセル幅）の画像に関する第１の密な視差マップから、より低い解像度の画像に関する第２の密な視差マップが、第２の密な視差マップの値に空間的に重なる第１の密な視差マップの値の加重平均（またはその他の関数）によって計算され得る。

１つの実装において、視差のダウンスケール化（ｄｏｗｎｓｃａｌｉｎｇ）関数は、加重平均である。この実装において、第２の密な視差マップの値は、積の和に等しい。合計される積は、第１のマップの各ピクセルに対応する視差を、視差値が計算されている第２のマップのピクセルのそれとのその対応するピクセルの交差の（第２のマップのピクセルに正規化された）面積と乗算した積である。

例えば、図１０に関連して、２つのピクセルグリッドの重なりの部分が示されている。第１のピクセルグリッドは、マップ１と呼ばれ、比較的高い解像度のピクチャのピクセルグリッドである。第２のピクセルグリッドは、マップ２と呼ばれ、比較的低い解像度のピクチャのピクセルグリッドである。マップ１およびマップ２は図１０にそれらの全体が示されていないことは明らかであるに違いない。図１０は、マップ１およびマップ２の重なりの部分を示す。

図１０のグリッドは、視差マップにやはり対応する。第１の視差マップは、マップ１の各ピクセル位置に関する視差値を与え、マップ１視差マップと呼ばれることがある。第２の視差マップは、マップ２の各ピクセル位置に関する視差値を与え、マップ２視差マップと呼ばれることがある。マップ１視差マップは、比較的高い解像度のピクチャの密な視差マップであり、高解像度視差マップと呼ばれることがある。マップ２視差マップは、比較的低い解像度のピクチャの密な視差マップであり、低解像度視差マップと呼ばれることがある。以降のさまざまな実装において、マップ２視差マップは、マップ１視差マップをダウンスケール化することによって生成され、反対に、マップ１視差マップは、マップ２視差マップをアップスケール化（ｕｐｓｃａｌｉｎｇ）することによって生成される。

図１１を参照すると、図１０のマップ１が、マップ２なしに分離して図１１にやはり示されている。同様に、図１２を参照すると、図１０のマップ２が、マップ１なしに分離して図１２にやはり示されている。視差マップは、概して本出願において使用されるとき、対応するピクチャの視差値を含むことは明らかであるに違いない。視差マップは、通常、対応するピクチャのピクセル（またはピクセルのグループ）に関する視差値を有すると見なされる。したがって、特に、対応するピクチャのあらゆるピクセルに関する視差値を有する密な視差マップに関して、視差マップがピクセルを有すると見なすことが便利であることがある。

（図１０と１１との両方の）マップ１は、ピクセルＰ１１、ピクセルＰ１２、ピクセルＰ１３、ピクセルＰ１４、ピクセルＰ１５、ピクセルＰ１６、ピクセルＰ１７、ピクセルＰ１８、およびピクセルＰ１９を有する対応するピクチャのピクセルグリッドを示す。（図１０と１２との両方の）マップ２は、ピクセルＰ２１、ピクセルＰ２２、ピクセルＰ２３、およびピクセルＰ２４を有する対応するピクチャのピクセルグリッドを示す。理解され得るように、マップ１のグリッドのピクセルのサイズは、マップ２のグリッドのピクセルのサイズよりも小さい。サイズの違いは、マップ１がマップ２よりも高い解像度のピクチャに関するものであるという事実を反映している。

マップ１視差マップからマップ２視差マップを形成する少なくとも１つの実装においては、マップ２のピクセルＰ２１に対応する視差値の加重平均が、積の和になる。第１の積は、マップ１のピクセルＰ１１に対応する視差値（ｄ（Ｐ１１）と呼ばれる）をピクセルＰ１１とピクセルＰ２１との交差の面積に掛けたものである。ピクセルＰ２１の面積が１と見なされることに留意されたい。残りの積は、マップ１視差マップの各視差値に関して同様である。しかし、ピクセルＰ１１、ピクセルＰ１２、ピクセルＰ１４、およびピクセルＰ１５だけが、ピクセルＰ２１との空でない交差を有する。したがって、ピクセルＰ１１、ピクセルＰ１２、ピクセルＰ１４、およびピクセルＰ１５だけが、ピクセルＰ２１に対応する視差に視差を与える。式の形式では、加重平均の視差計算を使用するピクセルＰ２１の視差は、
ｄ（Ｐ２１）＝ｄ（Ｐ１１）＊４／９＋ｄ（Ｐ１２）＊２／９＋ｄ（Ｐ１４）＊２／９＋ｄ（Ｐ１５）＊１／９
である。同様に、ピクセルＰ２４に関して、
ｄ（Ｐ２４）＝ｄ（Ｐ１５）＊１／９＋ｄ（Ｐ１６）＊２／９＋ｄ（Ｐ１８）＊２／９＋ｄ（Ｐ１９）＊４／９
である。ピクセルＰ２２およびピクセルＰ２３の視差は、同様にして計算される。

加重平均ではなく、別の関数が選択される可能性がある。例えば、別の実装は、新しいマップのピクセルの視差に関する視差のダウンスケール化関数を、交わるピクセルに対応する視差のうちの最小値と定義する。式の形式では、この視差の最小値（「または最小視差」）計算を使用するピクセル２１の視差は、
ｄ（Ｐ２１）＝ｍｉｎ（ｄ（Ｐ１１），ｄ（Ｐ１２），ｄ（Ｐ１４），ｄ（１５））
である。

マップ２のそれぞれの特定のピクセル（例えば、ピクセルＰ２１）に関して、この視差の最小値関数は、マップ２のその特定のピクセルに関する視差値に寄与するマップ１視差マップからのいかなる視差値も、マップ２のその特定のピクセルに関する視差値よりも小さくないことを保証する。視差値が小さいほど物体が視聴者に近いことを示すことを思い出されたい。したがって、視差の最小値関数は、物体が、新しい解像度において、必ず、少なくとも古い解像度における視聴者との近さと同じだけ視聴者に近いことを保証する新しい解像度に関する計算された視差マップをもたらす。

反対に、特定の実装においては、視差の最小値関数は、最も小さな負の視差に特別な影響を与える傾向がある。例えば、１つの実装において、マップ１視差マップの視差値は、小さな視差値を有するピクセルＰ１５に対応する視差値を除いてすべて大きい。それにもかかわらず、ピクセルＰ１５に関する視差値は、ピクセルＰ２１、ピクセルＰ２２、ピクセルＰ２３、およびピクセルＰ２４を含む、マップ１のピクセルＰ１５と重なるマップ２のあらゆるピクセルの視差値に影響を与える。マップ１視差マップおよびマップ２視差マップは、ピクチャに関する視差マップであることを思い出されたい。結果は、ピクチャが比較的高い解像度（マップ１のピクセルグリッド）から比較的低い解像度（マップ２のピクセルグリッド）に変更されるときに、ピクセルＰ１５に関連する視差値を有すると見なされるピクチャの部分が９倍に増えることである。その理由は、マップ２の４つのピクセルすべてが、マップ１のピクセルＰ１５と少なくとも部分的に重なり、マップ２の面積が、ピクセルＰ１５の面積の９倍であるからである。

関数は、マップ２の比較的低い解像度からマップ１の比較的高い解像度に変換するためにやはり適用され得る。例えば、加重平均の視差計算および／または視差の最小値計算が、さまざまな実装において使用される。そのような計算は、これらの計算の先の例と同じ原理にしたがう。しかし、この場合、マップ２のピクセルではなくマップ１のピクセルが１と見なされることに留意されたい。

１つのそのような実装においては、ピクセルＰ１１およびピクセルＰ１２の視差を計算するための加重平均の視差計算は、
ピクセルＰ２１がピクセルＰ１１と完全に重なるので、ｄ（Ｐ１１）＝ｄ（Ｐ２１）を与え、
ピクセルＰ１２がピクセルＰ２１によって半分覆われ、ピクセルＰ２２によって半分覆われているので、ｄ（Ｐ１２）＝ｄ（Ｐ２１）＊１／２＋ｄ（Ｐ２２）＊１／２を与える。

別のそのような実装においては、ピクセルＰ１５の視差を計算するための視差の最小値計算は、
ｄ（Ｐ１５）＝ｍｉｎ（ｄ（Ｐ２１），ｄ（Ｐ２２），ｄ（Ｐ２３），ｄ（２４））
を与える。

図１０、１１、および１２の上記の検討は、すべて、主として密な視差マップを扱う。確かに、特に、２眼式立体映像のペアの見かけのデプスを修正するための画像処理に関連して、許容できる結果のために密な視差マップを必要とする場合がある。

しかし、密な視差マップが必要とされないその他の場合が存在し、それらの場合、（密でない）疎な視差マップが許容され得る。例えば、２眼式立体表示と合成されるべき字幕（またはグラフィック、またはオンスクリーンメニュー）を配置するために、概して、字幕／グラフィック／メニューが重なる領域内の最小の（最も小さな負の）視差以下のそれに関する視差を選択する。

徹底した検査は、密な視差マップからの、字幕／グラフィック／メニューが重なるあらゆるピクセルの視差を調べる可能性がある。しかし、通常、字幕／グラフィック／メニューの視差を疎な視差マップのみと比較することによって高品質な結果が得られる可能性がある。さまざまな実装において、そのような疎な視差マップは、２ピクセルごと、または１０ピクセルごと、またはそれよりも多いピクセルごとに１つの視差値を提供する。疎な視差マップの使用は、比較的少ないデータを使用して疎な視差マップを表現する。これは、例えば、記憶または送信するデータをより少なくし、字幕／グラフィック／メニューを配置しようとするときに調べるべきデータをより少なくする。

しかし、前もって、ピクチャが異なる解像度にスケール化されるときに、疎な視差マップは、視差マップで表される視差と、基礎となるピクセルで示される物体の実際の視差とが適切に対応するように再計算または再スケール化される。例えば、あなたが完全なまたは部分的なピクセル単位で表された（密または疎な）視差マップを有し、異なる解像度に変換すると仮定すると、各ピクセル（または領域）がそれが以前覆っていたのとは異なる画像の部分をおそらく覆うので、あなたは、通常、ａ）視差値を新しい違うサイズのピクセル値にスケール化し、ｂ）新しいスケールに対して適切な視差を決定することになる。これは、例えば、（疎または密な）視差マップが異なる解像度に変換され、例えば、アップサンプリング（アップコンバートとも呼ばれる）またはダウンサンプリング（ダウンコンバートとも呼ばれる）を必要とするときに起こり得る。この変換の例は、例えば、図１０〜１２に関連して、密な視差マップに関して既に検討されている。例えば、折り返しひずみを防止または軽減するために、さまざまな変換に関して濾波が必要とされる可能性があることにも留意されたい。

密な視差マップの（例えば、マップ２からマップ１に変換する）アップサンプリングおよび（例えば、マップ１からマップ２に変換する）ダウンサンプリングの前の例は、疎な視差マップのアップサンプリングおよびダウンサンプリングにも当てはまることに留意されたい。いくつかの例が、以下に続く。

− さまざまな実装において、疎な視差マップは、選択された、まばらに位置するピクセルに関する視差値のみからなる。しかし、異なる解像度に変換すると、選択された、まばらに位置するピクセルは、異なる解像度のピクセルと重なる面積を有する。したがって、１つの実装において、（例えば）加重平均または最小値関数を使用するアップサンプリングおよび／またはダウンサンプリングが使用される。

− 別の実装において、ピクチャに関する疎な視差マップは、ピクチャからの別個のセル（ピクセルのグループ）にそれぞれが当てはまる視差値からなる。別個のセルは、ピクチャ全体を覆う。しかし、異なる解像度に変換すると、別個のセルは、異なる解像度のセルと重なる面積を有する。したがって、１つの実装において、（例えば）加重平均または最小値関数を使用するアップサンプリングおよび／またはダウンサンプリングが使用される。そのような実装の一例は、ピクセルがセルと見なされ、単一のピクセルと見なされないとき、図１０に見られる可能性がある。したがって、例えば、「ピクセル」Ｐ１１は、そのような実装において、セル（ピクセルのグループ）を表し、単に１つのピクセルを表さず、（ｄ（Ｐ１１）である）単一の視差値は、セル全体に関連付けられる。

しかし、さまざまな実装において、所定の解像度のうちのいずれかに対応するように視差値が再計算される必要がない特別な疎な視差マップが構築される。このスケール非依存視差マップは、以下で説明されるように、各セルの幅および高さを選択することによって構築される。

視差マップの各セルの幅は、ＤＵまたはその整数倍で計測されるさまざまな解像度のピクセルの幅のＳＣＭに等しくなるように選択される。１つの実装においては、所定の水平解像度１２８０、１４４０、および１９２０に対して、ＤＵでの基準ディスプレイ幅は、それらのＳＣＭ１１，５２０である。これは、解像度１２８０に関して９ＤＵの幅であり、解像度１４４０に関して８ＤＵの幅であり、解像度１９２０に関して６ＤＵであるピクセルに対応する。９ＤＵ、８ＤＵ、および６ＤＵのピクセルの幅のＳＣＭは、７２ＤＵである。したがって、７２ＤＵの水平間隔で、３つのピクチャの解像度の垂直なピクセル境界が整合する。

同様のプロセスを用いて、各セルの高さが選択され、したがって、垂直軸に対する間隔を与える。この例が構築されるビデオフォーマット（解像度とも呼ばれる）は、１２８０×７２０、１４４０×１０８０、および１９２０×１０８０である。１２８０×７２０フォーマットおよび１９２０×１０８０フォーマットにおける画素アスペクト比は１：１であるが、１４４０×１０８０フォーマットにおいては、ピクセルは、より幅が広い４：３のアスペクト比を有することに留意されたい。したがって、この技術は、非正方ピクセルに対しても、正方ピクセルに対しても機能する。

したがって、垂直解像度は、７２０および１０８０の２つだけである。これら２つの解像度のＳＣＭは、２１６０である。このＳＣＭは、例えば、水平方向のＳＣＭを計算するために既に検討されたのと同じようにして計算され、（ｉ）７２０＝２^４＊３^２＊５、（ｉｉ）１０８０＝２^３＊３^３＊５、および（ｉｉｉ）２１６０＝２^４＊３^３＊５であることを示す。したがって、この実装において、これら３つの画像フォーマットは、２１６０ＶＵ（垂直単位（ｖｅｒｔｉｃａｌ ｕｎｉｔ））の高さを有する。高さが７２０ピクセルである画像フォーマットに関して、各ピクセルは、２１６０／７２０＝高さ３ＶＵである。高さが１０８０ピクセルであるその他の画像フォーマットに関して、各ピクセルは、２１６０／１０８０＝高さ２ＶＵである。

視差マップの各セルの高さは、ＶＵまたはその整数倍で計測されるさまざまな解像度のピクセル高さのＳＣＭに等しくなるように選択される。したがって、上記の実装に関して、各セルの高さは、３ＶＵと２ＶＵとのＳＣＭであり、これは６ＶＵである。

我々は、上記の幅および高さの計算を組み合わせることができる。そのような実装においては、セルが、７２ＤＵ（またはその整数倍）の幅と、６ＶＵ（またはその整数倍）の高さとを有する。この実装は、図１３〜１６に示されており、以下で検討される。

図１３〜１６を参照すると、３つのピクセルグリッドの一部が示されている。グリッド１と呼ばれ、左斜線で描かれた第１のピクセルグリッドの一部が示されている。グリッド２と呼ばれ、右斜線で描かれた第２のピクセルグリッドの一部が示されている。グリッド３と呼ばれ、交差斜線（つまり、左斜線と右斜線との両方）で描かれた第３のピクセルグリッドの一部が示されている。３つの部分は、同一の広がりを持ち、したがって、ピクチャの同じ部分を表す。３つの部分が同一の広がりを持つという事実が、互いに重なる３つの部分を示す図１３に示されている。対照的に、図１４〜１６は、３つの部分のうちの１つだけを示す。図１４は、グリッド１の部分を分離して示す。図１５は、グリッド２の部分を分離して示す。図１６は、グリッド３の部分を分離して示す。

３つのピクセルグリッドは、３つの異なる解像度を有する。グリッド１は、解像度１９２０×１０８０を有する。グリッド２は、解像度１４４０×１０８０を有する。グリッド３は、解像度１２８０×７２０を有する。したがって、グリッド１は、最も高い水平解像度を有し、さらに、最も高い総解像度を有する。グリッド３は、最も低い（水平、垂直、および総）解像度を有する。グリッド２は、中間の水平解像度および総解像度を有する。ピクセルグリッドのそれぞれにおいて、一部のピクセルは、各グリッドのピッチをよりはっきりと示すために適切な線で斜線が引かれている。「ピッチ」は、概して、ピクセルのサイズおよび位置、ピクセルの間隔、または空間周波数（ｓｐａｔｉａｌ ｆｒｅｑｕｅｎｃｙ）を指すと理解される。

図１３〜１６は、ＶＵ単位およびＤＵ単位をそれぞれ示す縦軸および横軸も含む。ＶＵ単位およびＤＵ単位は、図１３〜１６の３つの解像度に関して、既に説明されたように決定される。したがって、グリッド１の各ピクセルは、幅６ＤＵ×高さ２ＶＵである。グリッド２の各ピクセルは、幅８ＤＵ×高さ３ＶＵである。グリッド３の各ピクセルは、幅９ＤＵ×高さ３ＶＵである。

図１３から理解され得るように、３つのグリッドすべての垂直なピクセル境界は、６ＶＵ（２ＶＵと３ＶＵとのＳＣＭ）ごとに整合する。３つのグリッドすべての水平なピクセル境界は、７２ＤＵ（６ＤＵと、８ＤＵと、９ＤＵとのＳＣＭ）ごとに整合する。

したがって、さまざまな実装に関して、視差マップのセルは、高さが６ＶＵの第１の整数倍であり、幅が７２ＤＵの第２の整数倍であるものとして定義される。セルの視差値は、グリッド１、グリッド２、またはグリッド３のいずれかのセルに対応するピクセル内の物体の視差を提供する。そのような実装において、セルの視差値は、ピクチャがグリッド１、グリッド２、およびグリッド３の３つの解像度の間で変換されるときに再計算される必要がない。むしろ、セルの視差値は、これら３つの所定のピクチャの解像度のすべてに当てはまる。

セルへと分割された結果として得られた視差マップは、ＤＵで表されたピクチャの幅をＤＵで表されたセルの幅で割った数に等しい数のセルの列を有する。セルの行の数は、ＶＵで表されたピクチャの高さをＶＵで表されたセルの高さで割った数に等しい。

図１３に示された例において、６ＶＵおよび７２ＤＵと乗算される第１の整数と第２の整数とが両方とも「１」である場合、図１３に示されるグリッドの部分は、３つのスケール非依存視差マップのセルに対応し、各セルは幅７２ＤＵおよび高さ６ＤＵである。これは、高さが低く幅広の視差マップのセルを生じることに留意されたい。これら３つのセルのそれぞれは、図１３の幅全体に広がる。第１のセルは、０ＶＵから６ＶＵまで垂直方向に延びる。第２のセルは、６ＶＵから１２ＶＵまで垂直方向に延びる。第３のセルは、１２ＶＵから１８ＶＵまで垂直方向に延びる。

代替的に、第１の整数が「３」であり、第２の整数が「１」である場合、図１３に示される３つのグリッドの部分は、単一のスケール非依存視差マップのセルに対応する。この単一のセルの横軸および縦軸は、第１の整数が「１」である上記の例のセルよりも似通った表現を有する。より似通った表現が原因で、この例におけるセルのアスペクト比は、例えば、基礎となるデータのサイズによっては、いくつかの目的のためにより効果的である可能性がある。

ＤＵおよびＶＵが同じサイズである必要はないことに留意されたい。図１３に関連して検討された例において、１つのＶＵは１つのＤＵよりも大きい。これは、例えば、７２個の水平単位のそれぞれの幅が１ＤＵであり、１８個の垂直単位のそれぞれの高さが１ＶＵである図１３で理解され得る。１ＤＵ×１ＶＵである領域（「マイクロピクセル（ｍｉｃｒｏｐｉｘｅｌ）」と呼ばれる）は、ＤＵおよびＶＵが同じサイズではないので、この例においては正方形ではない。我々が検討したように、水平解像度のＳＣＭが、いくつのＤＵが画像の水平幅を構成するかを設定するために使用され得る。同様に、そのような計算が、ＶＵおよび画像の垂直方向の高さに関して行われ得る。概して、仮定されたディスプレイの結果として得られたマイクロピクセルが正方形のマイクロピクセルである必要はない。これは、ＤＵのサイズとＶＵのサイズとが異なる可能性があるためである。マイクロピクセルが正方形ではないとしても、グリッド１およびグリッド３のピクセルは正方形であり、一方、グリッド２のピクセルは４：３の画素アスペクト比を有することに留意されたい。

視差マップがスケール非依存視差マップとして提供されるとき、視差マップの値は、所定の解像度のいずれかの対応するピクチャに対して変更なしに使用され得る。したがって、例えば、変換プロセスは必要とされない。

さまざまな実装において、スケール非依存視差マップは、セルごとに１つのピクセルだけを含むセルから構成されることに留意されたい。いくつかのそのような実装において、所定の解像度は、互いに整数倍である。これらの実装においては、最も粗い解像度の１ピクセルが、その他の（より粗さの少ない）解像度のそれぞれの整数個のピクセルに対応する。１つの特定の実装においては、最も粗い解像度の１ピクセルが、より細かい（より粗さの少ない）解像度のうちの１つの４ピクセルに対応する。

スケール非依存視差マップのセルは、異なる実装においてさまざまな利点をもたらす。例えば、さまざまな実装において、スケール非依存視差マップのセルは、解像度が変更されるとき、視差値を変換する必要性を完全になくす。別の例として、さまざまな実装において、スケール非依存視差マップのセルは、視差値と視差値が当てはまる関連する内容（例えば、物体）との間の対応を維持する。これらの利点は、以下でさらに検討される。

我々は、最初に、視差値の変換について検討する。再び図１０を参照して、ピクセルＰ１１〜Ｐ１６からなるように定義されたピクセルのグループと同一の広がりを持つようにセルのサイズが選択されると仮定する。マップ２の解像度に変換すると、マップ１のセルの境界がマップ２のいずれのあり得る（完全なピクセルの）セル境界とも完全に一列に揃わないことは明らかである。したがって、例えば、ピクセルＰ２４を含むセルの視差値は、おそらく、Ｐ１１〜Ｐ１６に関するマップ１のセルの視差と、ピクセルＰ１８〜Ｐ１９を含むマップ１のセルの視差とに基づく。そのような変換は、追加の処理リソースを必要とする。

しかし、すべての解像度のピクセル境界で整合するセル境界を提供することによって、すべての解像度のセルの視差値は、セルの外の領域の視差値を考慮する必要がない。加えて、視差値自体が、解像度のＳＣＭに基づいており、したがって、現在の（しかし最終的ではない）解像度を反映するために変換される必要がない。確かに、さまざまな実装において、視差値は、例えば、字幕の配置などの処理の前のいかなる時点においても変換される必要がない。

ここで、我々は、視差値と内容との間の対応について検討する。再び図１０を参照して、ピクセルＰ１１〜Ｐ１９およびピクセルＰ２１〜Ｐ２４が、すべて、ピクセルではなくセルであると仮定する。セルＰ１５が最も小さな視差を有し、前景の物体を含むピクセルに対応するとさらに仮定する。視差の最小値計算を用いてマップ１からマップ２に変換すると、セルＰ１５の視差が、セルＰ２１〜Ｐ２４に適用される。逆にマップ２からマップ１に再変換すると、セルＰ２１〜Ｐ２４の視差が、セルＰ１１〜Ｐ１９のすべてに適用される。したがって、２つの変換において、セルＰ１５の視差が、セルＰ１１〜Ｐ１９の領域全体に広がっている。

そのような２つの変換の例は、例えば、典型的な送信環境で起こり得る。１つの実装において、ピクチャは、送信機の処理チェーン（例えば、処理チェーン８１０の検討を参照）によって使用される解像度に変換される。そして、受信されたピクチャは、逆に元の解像度に変換される（例えば、ビデオ画像８１７の検討を参照）。実際、その他の実装は、追加の変換を含む。例えば、１つの実装においては、（ｉ）受信され、変換されたピクチャが、ピクチャをより低い解像度に変換する（第３の変換）小型スクリーンデバイス（例えば、セル電話）に提供され、（ｉｉ）次に、ユーザが、小型スクリーンデバイスからピクチャを送信し、これは、送信解像度への第４の変換を含み、（ｉｉｉ）ユーザの友人が、送信を受信し、ピクチャを表示する前にピクチャを変換する（第５の変換）。変換の回数が増えるにつれて、最小の視差が次第に広がって、グリッドのうちのますます多くの部分を占める可能性がある。

最小の視差の範囲が広がることの１つの影響は、字幕の配置が換わる可能性があることである。例えば、元のピクチャにおいて、ピクセルＰ１５内の物体は、ほとんど関心のない前景の歩道である可能性がある。ピクセルＰ１２内の人は、背景にいるが、注目の的である可能性がある。元のピクチャにおいて、字幕は、字幕テキストであり、人の見かけのデプスと同様の見かけのデプスで配置されるように意図される可能性がある。しかし、上述の２つの変換の後、ピクセルＰ１２内の人の示される視差は、今や、ピクセルＰ１５の前景の歩道と同じである。したがって、字幕テキストは、人の近くに、ただし、歩道と同じである見かけのデプスで配置されることになる。そのような結果は、視聴者に不快感を与える可能性がある。

上記の複数の変換の実装は、確かにさまざまな利点をもたらすことに留意されたい。加えて、さまざまな実装が、さらなる利点をもたらす可能性がある異なる視差変換関数を使用する。

一部の実装は、それら自体が分離されており、隣接していないセルを使用することに留意されたい。そのような実装においては、視差値は、必ずしも、より大きなセルの領域に関連付けられる必要がない。例えば、セルのサイズが削減される可能性がある。しかし、異なる解像度のセルが境界のすべてで一列に揃わないとすると、通常、基礎となる内容の何らかの不一致が存在する。したがって、そのような実装は、概して、いくつかの利点をもたらすが、必ずしもスケール非依存視差セルの利点のすべてをもたらすとは限らない。

図１７を参照すると、プロセス１７００が与えられている。プロセス１７００は、スケール非依存視差マップの生成および使用のさまざまな態様を扱う。

プロセス１７００は、どの解像度をサポートすべきかを決定すること（１７０５）を含む。例えば、本出願で検討される１または複数の実装においては、解像度１２８０×７２０、１４４０×１０８０、および１９２０×１０８０がサポートされる。

プロセス１７００は、スケール非依存セルのサイズを決定すること（１７１０）を含む。例えば、３つの解像度１２８０×７２０、１４４０×１０８０、および１９２０×１０８０に関して、最も小さなスケール非依存セルのサイズは、ＳＣＭ解像度１１，５２０×２１６０に基づいて７２ＤＵ×６ＶＵである。最も小さなスケール非依存セルのサイズに関する、１または複数の実装において使用される式は、

であり、ここで、この例に関しては、Ｒ_１、Ｒ_２、およびＲ_３は、対象の水平解像度かまたは垂直解像度かのどちらかであり、Ｎ＝３であり、「ｒ」は、（水平が考慮されているのかまたは垂直が考慮されているのかに応じてＤＵまたはＶＵでの）単位数である。したがって、例示的な水平解像度１２８０、１４４０、および１９２０に関して、内側の分子は、１１，５２０であるＳＣＭ（１２８０，１４４０，１９２０）になり、式は、

になる。

垂直解像度に関する同様の計算は、結果が６になる。したがって、スケール非依存セルのサイズは、（この場合）７２ＤＵの整数倍である幅と、（この場合）６ＶＵの整数倍である高さとを用いて選択される可能性がある。

プロセス１７００は、例えば、密な視差マップを受信することによって密な視差マップにアクセスすること（１７１５）を含む。その他の実装は、視差値を推定すること、または受信されるかもしくは推定されるかのどちらかのデプス値に基づいて視差値を計算することによって密な視差マップを生成する。さらに他の実装は、密な視差マップにアクセスしない。

プロセス１７００は、１または複数のセルの視差値を決定すること（１７２０）を含む。セルの視差値は、例えば、密な視差マップからの視差値に対する（本出願に記載の）平均関数または最小値関数を使用することによって決定される。

プロセス１７００は、１または複数のセルの視差値をＳＣＭ視差値にアップコンバートすること（１７２５）を含む。１つの実装においては、動作１７２０において決定されたセルの視差値が、この動作１７２５においてＳＣＭ視差値にアップコンバートされる。異なる実装においては、ピクセルに基づく視差値が、動作１７２０の前にＳＣＭ視差値にアップコンバートされる。したがって、異なる実装においては、動作１７２０において生成された１または複数のセルの視差値が既にＳＣＭ視差値であり、動作１７２５が省略される。

プロセス１７００は、スケール非依存視差マップをフォーマットすること（１７３０）を含む。スケール非依存視差マップは、異なる実装においてさまざまな異なる方法でフォーマットされる。いくつかの例がこの後に続き、それらのそれぞれは、所与の視差マップのセルのＳＣＭに基づくスケール非依存視差値をフォーマットする。

第１のフォーマットの実装においては、（ｉ）特定の解像度のみがサポートされ、（ｉｉ）特定のセルのサイズのみが使用されなければならず、（ｉｉｉ）セルの視差値が特定のセルの順番でフォーマットされなければならないことが理解される。したがって、例えば、セルのサイズのＤＵおよびＶＵと、視差マップ内のセルの数とが、決定され得る。この第１のフォーマットの実装においては、スケール非依存視差マップは、以下の擬似コードを用いて形成される。
ｆｏｒ（ｉ＝０；ｉ＜“セルの数”；ｉ＋＋）｛
ｃｅｌｌ（ｉ）に関するＳＣＭに基づくスケール非依存視差｝

第２のフォーマットの実装においては、異なるセルのサイズがサポートされる。しかし、それぞれのセルのサイズに関して、セルの視差値が、特定のセルの順番でフォーマットされなければならない。したがって、この第２のフォーマットの実装は、セルのサイズを選択し、それが、視差マップ内のセルの数を決定する。セルのサイズの選択は、「セルサイズフラグ（ｃｅｌｌ ｓｉｚｅ ｆｌａｇ）」を用いて示される。例えば、４つの異なるセルのサイズがサポートされる場合、２ビットのフラグが、セルのサイズの選択を指示するために使用される。この第２のフォーマットの実装においては、スケール非依存視差マップは、以下の擬似コードを用いて形成される。
“セルサイズフラグ”；
ｆｏｒ（ｉ＝０；ｉ＜“セルの数”；ｉ＋＋）｛
ｃｅｌｌ（ｉ）に関するＳＣＭに基づくスケール非依存視差｝

第１のフォーマットの実装の変更形態においては、完全な視差マップが、第１のフォーマットの実装を用いて形成される。しかし、１または複数のセルの視差値を変更する更新は、新しい視差マップ全体を形成することなく形成され得る。この変更形態においては、「更新されるセルの数」と、これらの更新されるセルのそれぞれの「セル番号」とが与えられる。この変更形態においては、スケール非依存視差マップに対する更新は、以下の擬似コードを用いて形成される。
“更新されるセルの数”；
ｆｏｒ（ｉ＝０；ｉ＜“更新されるセルの数”；ｉ＋＋）｛
“セル番号”（ｉ）；
ｃｅｌｌ（ｉ）に関するＳＣＭに基づくスケール非依存視差｝

第３のフォーマットの実装においては、限られた数のセルのみが使用される。特定のセルのサイズが、上述の第１のフォーマットの実装のように使用されると仮定される。しかし、視差値は、例えば、物体のコーナーまたは物体のエッジなどの対象の特徴を含むセルに関してのみ計算される。この第３のフォーマットの実装においては、使用される「セルの数」が決定され、セル識別子も決定される。セル識別子は、この第３のフォーマットの実装の１つの変更形態においては、例えば、例えばＤＵおよびＶＵで表された左上隅のピクセルおよび右下隅のピクセルの座標などの各セルの座標である。別の変更形態において、セル識別子は「セル番号」である。この第３のフォーマットの実装のさらに他の変更形態においては、複数のセルのサイズが使用可能であり、「セルサイズフラグ」が、上述の第２のフォーマットの実装で示されたように、選択されたセルのサイズを指示するために使用される。この第３のフォーマットの実装の１つの変更形態においては、スケール非依存視差マップは、以下の擬似コードを用いて形成される。
“セルの数”；
ｆｏｒ（ｉ＝０；ｉ＜“セルの数”；ｉ＋＋）｛
“セル番号”（ｉ）；
ｃｅｌｌ（ｉ）に関するＳＣＭに基づくスケール非依存視差｝

プロセス１７００は、スケール非依存視差マップを符号化すること（１７３５）を含む。スケール非依存視差マップは、例えば、ＳＣＭに基づく視差マップ、またはただ１つのディスプレイ解像度に関して生成された視差を提供する視差マップである。

プロセス１７００は、スケール非依存視差マップを記憶することおよび／または送信すること（１７４０）を含む。スケール非依存視差マップは、例えば、符号化されたＳＣＭに基づく視差マップ、符号化されたＳＣＭに基づかない視差マップ、符号化されていないＳＣＭに基づく視差マップ、または符号化されていないＳＣＭに基づかない視差マップである。特定のアプリケーションにおいては、符号化されていない視差マップが記憶され、符号化された視差マップが送信される。したがって、１つのアプリケーションにおいては、動作１７３０からのフォーマットされた視差マップが記憶され、さらに符号化され、動作１７３５からの符号化された視差マップが送信される。

プロセス１７００は、スケール非依存視差マップにアクセスすること（１７４５）を含む。１つの実装において、動作１７４５は、送信された符号化されたスケール非依存視差マップを受信することによってスケール非依存視差マップにアクセスする受信機で行われる。別の実装においては、動作１７４５は、記憶されたスケール非依存視差マップを取得することによってスケール非依存視差マップにアクセスするポストプロセッサーで行われる。ポストプロセッサーは、例えば、字幕に関する視差および／またはデプスを決定することなど、視差マップを使用する処理を実行するために視差マップを取得する。

プロセス１７００は、スケール非依存視差マップを復号すること（１７５０）を含む。１つの実装において、動作１７５０は、受信機が、伝送チャネルを介して視差マップを受信した後、符号化されたスケール非依存視差マップを復号することを含む。

プロセス１７００は、解像度を選択すること（１７５５）を含む。１つの実装において、解像度は、いくつかのサポートされる解像度の中から選択される。例えば、水平解像度１９２０が、１２８０、１４４０、および１９２０の中から選択される。

プロセス１７００は、１または複数のＳＣＭに基づく視差値を特定の解像度にダウンコンバートすること（１７６０）を含む。１つの実装において、ＳＣＭに基づくスケール非依存視差マップは、ＳＣＭによってサポートされるいくつかの解像度の中から選択された解像度にダウンコンバートされる。例えば、ＳＣＭ１１，５２０に基づく視差値が、視差値を６で割ることによって水平解像度１９２０にダウンコンバートされる。

プロセス１７００は、１または複数のセルを対応するピクセル位置に関連付けること（１７６５）を含む。１つの実装においては、ＳＣＭに基づくスケール非依存視差セルが、所与の解像度のピクチャ内の対応するピクセル位置にマッピングされる。さらに、所与の解像度は、ＳＣＭによってサポートされるいくつかの解像度から選択される。そのような実装は、例えば、特定のセルに関する視差が、対応するピクチャ内の特定のピクセル位置とそれらのピクセル位置に示される物体とによって特定されることを可能にする。１つの実装においては、ＳＣＭ解像度１１，５２０×２１６０が、セルのサイズ７２ＤＵ×６ＶＵとともに使用される。この実装においては、セルは、例えば、（７２ＤＵ，６ＶＵ）で始まるセルのように、その左上のコーナーの（ＤＵ，ＶＵ）座標によって特定される。そのセルに関連するピクセル位置は、セルの（ＤＵ，ＶＵ）座標をピクセルの（ＤＵ，ＶＵ）サイズで割ることによって決定される。解像度１９２０×１０８０が選択される場合、既に説明されたように、ピクセルサイズは（６ＤＵ，２ＶＵ）である。この実装に関して、（７２ＤＵ，６ＶＵ）のセルに関連するピクセル位置は、ピクセル位置（１２，３）から始まり、ピクセル位置（２４，６）まで延びる（ただしこのピクセル位置を含まない）ピクセルである。

プロセス１７００は、１または複数の関連する視差値を使用してピクチャを処理すること（１７７０）を含む。１つの実装において、視差マップからの視差値は、対応するピクチャ内のピクセル位置に関連付けられる。ピクチャはピクチャのステレオ画像のペアの一部であり、ステレオ画像のペアの各ピクチャは字幕を含む。ステレオ画像のペアのピクチャのうちの少なくとも一方は、字幕のピクセル位置に関連する視差値によって示される視差の量を字幕に与えるように処理される。

図１８を参照すると、プロセス１８００が示されている。プロセス１８００は、解像度不変領域に関する解像度に固有の属性を決定すること（１８１０）を含む。解像度に固有の属性は、解像度に依存する値を有する属性である。視差は、解像度に依存する属性の例である。

その他の解像度に固有の属性は、例えば、「粒状性（ｇｒａｉｎｉｎｅｓｓ）」または「テクスチャ特性（ｔｅｘｔｕｒｅ ｃｈａｒａｃｔｅｒｉｓｔｉｃｓ）」を含む。特定の実装においては、さまざまなテクスチャ特性が、いくつかのピクセルによって定義される。例えば、１つの実装においては、平均粒子サイズ（ｇｒａｉｎ ｓｉｚｅ）および標準偏差が、ピクセルを単位として定義される。別の実装においては、繰り返しの多いテクスチャのピッチが、ピクセルを単位として定義される。

別の解像度に固有の属性は、例えば、ピクセルで表される確実性または信頼性である。１つの実装においては、確実性／信頼性は、ピクセルで計測される予測される誤差を表す。

解像度不変領域は、第１の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ（例えば、ピクチャの）領域である。動作１８１０は、１つの実装においては、１または複数のセルの視差値を決定する動作１７２０によって実行される。

プロセス１８００は、組み合わせ解像度に関連するように属性を変換すること（１８２０）を含む。組み合わせ解像度は、第１の解像度と第２の解像度との組み合わせとして決定された解像度である。変換された属性は、領域に固有であり、組み合わせ解像度にも固有である。動作１８２０は、１つの実装においては、１または複数のセルの視差値をＳＣＭ視差値にアップコンバートする動作１７２５によって実行される。

図１９を参照すると、プロセス１９００が示されている。プロセス１９００は、ピクチャの解像度不変領域に関する組み合わせ解像度に固有の属性にアクセスすること（１９１０）を含む。属性は、解像度に依存する値を含んでおり、組み合わせ解像度および領域に固有である。加えて、解像度不変領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ（例えば、ピクチャの）領域である。さらに、組み合わせ解像度は、特定の解像度と第２の解像度との組み合わせとして決定された解像度である。動作１９１０は、１つの実装においては、スケール非依存視差マップにアクセスする動作１７４５によって実行される。

プロセス１９００は、属性が特定の解像度に関連するようにそれを変換すること（１９２０）を含む。変換された属性は、領域および特定の解像度に固有である。動作１９２０は、１つの実装においては、１または複数のＳＣＭに基づく視差値を特定の解像度にダウンコンバートする動作１７６０によって実行される。

プロセス１９００は、変換された属性を特定の解像度の領域のピクセルに関連付けること（１９３０）を含む。変換された属性は、特定の解像度の第１の整数個のピクセルに関連付けられる。動作１９３０は、１つの実装においては、１または複数のセルを対応するピクセル位置に関連付ける動作１７６５によって実行される。

ここで図２０を参照すると、上述の特徴および原理が適用され得るビデオ送信システムまたは装置２０００が示されている。ビデオ送信システムまたは装置２０００は、例えば、衛星、ケーブル、電話回線、または地上波放送などのさまざまな媒体のいずれかを使用して信号を送信するための、例えば、ヘッドエンドまたは送信システムである可能性がある。ビデオ送信システムまたは装置２０００は、さらに、または代替的に、例えば、記憶するための信号を提供するために使用される可能性がある。送信は、インターネットまたは何らかのその他のネットワークを介して行われ得る。ビデオ送信システムまたは装置２０００は、例えば、デプスおよび／または視差値を含む、例えば、デプスのインジケータなどの、例えば、ビデオコンテンツおよびその他のコンテンツを生成し、配信することができる。図２０のブロックが、ビデオ送信システムまたは装置のブロック図を提供することに加えて、ビデオ送信プロセスのフロー図を提供することは明らかであるに違いない。

ビデオ送信システムまたは装置２０００は、プロセッサー２００１から入力ビデオを受信する。１つの実装において、プロセッサー２００１は、単純に、視差画像８２１、８３１、８４１、および／またはビデオ画像８１１などの元の解像度の画像をビデオ送信システムまたは装置２０００に与える。しかし、別の実装においては、プロセッサー２００１は、例えば、ビデオ画像８１３および／または視差画像８２３、８３３、８４３などの画像を提供するための動作８１２、８２２、８３２、８４２に関連して上で説明されたように濾波およびダウンサンプリングを実行するように構成されたプロセッサーである。さらに別の実装においては、プロセッサー２００１は、例えば、視差画像８６０などの変換された視差値を有する視差画像を生成するための、例えば、動作８５０などの視差変換を実行するように構成される。さらに別の実装においては、プロセッサー２００１は、プロセス１７００のさまざまな動作、例えば、動作１７０５〜１７３０を実行するように構成される。さらに別の実装においては、プロセッサー２００１は、プロセス１８００のすべてまたは一部を実行するように構成される。さらに、プロセッサー２００１は、ビデオ送信システムまたは装置２０００にメタデータを提供し、例えば、入力画像の水平解像度と、視差値が基づく水平解像度と、視差値が百分率に基づくのか、または公倍数に基づくのかと、入力画像のうちの１つまたは複数を示すその他の情報とを示す可能性がある。

ビデオ送信システムまたは装置２０００は、符号化器２００２と、符号化された信号を送信することができる送信機２００４とを含む。符号化器２００２は、プロセッサー２００１からビデオ情報を受信する。ビデオ情報は、例えば、ビデオ画像および／または視差（もしくはデプス）画像を含む可能性がある。符号化器２００２は、ビデオ情報および／または視差情報に基づいて（１または複数の）符号化された信号を生成する。符号化器２００２は、例えば、ＡＶＣ符号化器である可能性がある。ＡＶＣ符号化器は、ビデオ情報と視差情報との両方に適用され得る。ＡＶＣは、既存の国際標準化機構／国際電気標準会議（ＩＳＯ／ＩＥＣ）の動画専門家グループ−４（ＭＰＥＧ−４：Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ−４）パート１０ 高度ビデオ符号化（ＡＶＣ：Ａｄｖａｎｃｅｄ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）規格／国際電気通信連合、電気通信部門（ＩＴＵ−Ｔ）Ｈ．２６４勧告（以降、「Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ規格」、または「ＡＶＣ規格」、「Ｈ．２６４規格」、もしくは単に「ＡＶＣ」または「Ｈ．２６４」などのその変形）を指す。

符号化器２００２は、例えば、さまざまな情報を受信し、それらの情報を記憶または送信のための構造化されたフォーマットへと組み立てるための組立ユニットを含むサブモジュールを含む可能性がある。さまざまな情報は、例えば、符号化されたまたは符号化されていないビデオと、符号化されたまたは符号化されていない視差（またはデプス）値と、例えば、動きベクトル、符号化モードインジケータ（ｃｏｄｉｎｇ ｍｏｄｅ ｉｎｄｉｃａｔｏｒ）、および構文要素（ｓｙｎｔａｘ ｅｌｅｍｅｎｔ）などの符号化されたまたは符号化されていない要素とを含む可能性がある。一部の実装において、符号化器２００２は、プロセッサー２００１を含み、したがって、プロセッサー２００１の動作を実行する。

送信機２００４は、符号化器２００２から（１または複数の）符号化された信号を受信し、１または複数の出力信号で（１または複数の）符号化された信号を送信する。送信機２００４は、例えば、符号化されたピクチャおよび／またはそれに関連する情報を表す１または複数のビットストリームを有するプログラム信号を送信するように適合され得る。典型的な送信機は、例えば、誤り訂正符号化を行うことと、信号のデータをインターリーブすることと、信号のエネルギーをランダム化することと、変調器２００６を使用して信号を１もしくは複数の搬送波に変調することとのうちの１つまたは複数などの機能を実行する。送信機２００４は、アンテナ（図示せず）を含むか、またはアンテナ（図示せず）とインターフェースを取ることができる。さらに、送信機２００４の実装は、変調器２００６に限られる可能性がある。

さらに、ビデオ送信システムまたは装置２０００は、記憶ユニット２００８に通信可能なように結合される。１つの実装において、記憶ユニット２００８は、符号化器２００２に結合され、符号化器２００２からの符号化されたビットストリームを記憶する。別の実装においては、記憶ユニット２００８は、送信機２００４に結合され、送信機２００４からのビットストリームを記憶する。送信機２００４からのビットストリームは、例えば、送信機２００４によってさらに処理された１または複数の符号化されたビットストリームを含む可能性がある。記憶ユニット２００８は、異なる実装においては、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、または何らかのその他の記憶装置のうちの１つまたは複数である。

ここで図２１を参照すると、上述の特徴および原理が適用され得るビデオ受信システムまたは装置２１００が示されている。ビデオ受信システムまたは装置２１００は、例えば、衛星、ケーブル、電話回線、または地上波放送などのさまざまな媒体を介して信号を受信するように構成され得る。信号は、インターネットまたは何らかのその他のネットワークを介して受信される可能性がある。図２１のブロックが、ビデオ受信システムまたは装置のブロック図を提供することに加えて、ビデオ受信プロセスのフロー図を提供することは明らかであるに違いない。

ビデオ受信システムまたは装置２１００は、例えば、セル電話、コンピュータ、セットトップボックス、ルータ、テレビ、または符号化されたビデオを受信し、例えば、復号されたビデオ信号を、表示する（例えば、ユーザに対して表示する）ため、処理するため、または記憶するために提供するその他のデバイスである可能性がある。したがって、ビデオ受信システムまたは装置２１００は、その出力を、例えば、テレビのスクリーン、コンピュータモニター、（記憶、処理、もしくは表示するための）コンピュータ、または何らかのその他の記憶、処理、もしくはディスプレイ装置に提供することができる。

ビデオ受信システムまたは装置２１００は、ビデオ情報を受信し、処理することができ、ビデオ情報は、例えば、ビデオ画像および／または視差（もしくはデプス）画像を含む可能性がある。ビデオ受信システムまたは装置２１００は、例えば、本出願の実装で示された信号などの符号化された信号を受信するための受信機２１０２を含む。受信機２１０２は、例えば、ビデオ画像８１５および／もしくは視差画像８２５のうちの１つもしくは複数を提供する信号、または図２０のビデオ送信システム２０００から出力された信号を受信することができる。１つの実装において、受信機２１０２は、動作１７３０に関連して検討された擬似コードの実装のうちの１つまたは複数にしたがって形成されたデータを提供する信号を受信する。別の実装においては、受信機２１０２は、プロセス１８００の出力からのデータを提供する信号を受信する。

受信機２１０２は、例えば、符号化されたピクチャを表す複数のビットストリームを有するプログラム信号を受信するように適合され得る。典型的な受信機は、例えば、変調され、符号化されたデータ信号を受信することと、復調器２１０４を使用して１もしくは複数の搬送波からデータ信号を復調することと、信号のエネルギーのランダム化を解除することと、信号のデータのインターリーブを解除することと、信号を誤り訂正復号することとのうちの１つまたは複数などの機能を実行する。受信機２１０２は、アンテナ（図示せず）を含むか、またはアンテナ（図示せず）とインターフェースを取ることができる。受信機２１０２の実装は、復調器２１０４に限られる可能性がある。

ビデオ受信システムまたは装置２１００は、復号器２１０６を含む。受信機２１０２は、受信された信号を復号器２１０６に与える。受信機２１０２によって復号器２１０６に与えられる信号は、１または複数の符号化されたビットストリームを含み得る。復号器２１０６は、例えば、ビデオ情報を含む復号されたビデオ信号などの復号された信号を出力する。復号器２１０６は、例えば、ＡＶＣ復号器である可能性がある。

さらに、ビデオ受信システムまたは装置２１００は、記憶ユニット２１０７に通信可能なように結合される。１つの実装において、記憶ユニット２１０７は、受信機２１０２に結合され、受信機２１０２が、記憶ユニット２１０７からのビットストリームにアクセスする。別の実装においては、記憶ユニット２１０７は、復号器２１０６に結合され、復号器２１０６が、記憶ユニット２１０７からのビットストリームにアクセスする。記憶ユニット２１０７からのアクセスされるビットストリームは、異なる実装においては、１または複数の符号化されたビットストリームを含む。記憶ユニット２１０７は、異なる実装においては、標準的なＤＶＤ、ブルーレイディスク、ハードドライブ、または何らかのその他の記憶装置のうちの１つまたは複数である。

１つの実装においては、復号器２１０６からの出力ビデオが、プロセッサー２１０８に与えられる。プロセッサー２１０８は、１つの実装においては、例えば、アップサンプリング動作８１６および／または８２６に関連して説明されたアップサンプリングなどのアップサンプリングを実行するように構成されたプロセッサーである。別の実装においては、プロセッサー２１０８は、例えば、動作１７５５〜１７６５のすべてもしくは一部、またはプロセス１９００を実行するように構成される。別の実装においては、プロセッサー２１０８は、例えば、動作１７７０、または例えばプロセス１９００の出力によって与えられた視差値および関連する情報を使用する後処理などの後処理を実行するように構成される。

一部の実装において、復号器２１０６は、プロセッサー２１０８を含み、したがって、プロセッサー２１０８の動作を実行する。その他の実装においては、プロセッサー２１０８は、例えば、セットトップボックス、ルータ、コンピュータ、タブレットまたはテレビなどのダウンストリームデバイスの一部である。

その他の実装は、本出願において与えられた例によって想定されている。例えば、解像度９６０×６４０、１２８０×７２０、１４４０×１０８０、および１９２０×１０８０のＳＣＭは、１１，５２０×１７，２８０である。「１７，２８０」は、例えば、本出願で上述した１１，５２０と同じようにして計算される。「１７，２８０」は、６４０＊２７に等しい。このＳＣＭは、ピクセルサイズ１２ＤＵ×２７ＶＵ、９ＤＵ×２４ＶＵ、８ＤＵ×１６ＶＵ、および６ＤＵ×１６ＶＵをそれぞれもたらす。これらのピクセルサイズは、７２ＤＵ（または整数倍）×４３２ＶＵ（または整数倍）のスケール非依存視差マップのセルサイズをもたらす。

少なくとも１つの実装は２つの視差マップが生成されることを可能にするために特別なビットを使用することに留意されたい。第１の視差マップは、「左の」像に関して計算され、第２の視差マップは、「右の」像に関して計算される。物体が隠蔽される可能性があるとすると、２つの視差マップを有することは、隠蔽の改善された処理を可能にする。例えば、対応する視差値を比較することによって、システムは、隠蔽が存在するかどうかを判定し、存在する場合、結果として生じる穴を埋めるためのステップを行うことができる。さらなる実装は、より多くの視差マップを提供し、視差マップの数に対応するように適切な数のビットを割当てる。例えば、例えばＭＶＣ（これは、ＭＶＣ拡張付きのＡＶＣ（Ａｎｎｅｘ Ｇ）を指す）などの多視点（ｍｕｌｔｉ−ｖｉｅｗ）の状況においては、あらゆる視点からあらゆる他の視点への計算された視差を示す一組の視差マップを送信することが望ましい可能性がある。代替的に、実装は、視点のサブセットに関する視差マップのみを送信する可能性がある。

視差は、例えば、動きベクトルを計算するのと同様にして計算され得る。代替的に、視差は、知られており、上で説明されているように、デプス値から計算され得る。

また、さまざまな実装は、デプス値の代わりに視差値を使用することによる利点を有する。そのような利点は、（１）デプス値が限りなく大きくなる可能性があり、したがって、表現／符号化することがより難しい一方、視差値は有限であること、（２）潜在的に非常に大きなデプス値を表現するために、多くの場合、対数のスケール化が必要とされる一方、視差値は直接表現され得ることを含む可能性がある。加えて、視差からデプスを決定することは概して容易である。焦点距離、ベースライン距離（長さ）、および輻湊平面距離などの情報を提供するために、さまざまな実装にメタデータが含まれる。輻湊平面距離は、カメラが輻湊しているときにカメラの軸が交差する距離である。カメラの軸が交差する地点は、図４において、角４１０の頂点として見られ得る。カメラが平行であるときは、輻湊平面距離は、無限大の距離にある。

本出願に記載の実装は、さまざまな属性に適用され得る。１つのそのような属性は、視差である。

− しかし、その他の実装は、解像度に固有であるその他の属性を使用する。既に説明されたように、解像度に固有の属性は、解像度に依存する値を有する属性である。視差は、解像度に依存する属性の例である。その他の例は、粒状性および信頼性を含む。

− さまざまな実装は、例えば、解像度に固有ではないデプスなどの属性を使用する。そのような属性は、解像度が変更されるときに修正される必要がないＳＣＭに基づく視差値とある面では似ている。

解像度間の変換中に視差値を決定するために加重平均または最小値関数を使用するさまざまな実装が、記載されている。その他の実装は、例えば、非加重平均、最大値（最大の視差を使用する）、最頻値（ｍｏｄｅ）、中央値、内挿、またはさまざまな濾波関数のいずれかなどの異なる関数を使用する。

一部の実装は特定の利点または欠点を有することが留意される。しかし、実装の欠点の検討は、その実装の利点を消し去ることはなく、実装が、実現可能であり、さらには推奨される実装ではないことを示すこともない。

さまざまな実装は、信号および／または信号の構造を生成または処理する。そのような信号は、特定の実装において、動作１７３０の検討で説明された擬似コードなどの擬似コードを使用して形成される。信号は、さまざまな実装において、プロセッサー２００１、符号化器２００２、送信機２００４、受信機２１０２、復号器２１０６、またはプロセッサー２１０８の出力で生成される。信号および／または信号の構造は、さまざまな実装において（例えば、プロセッサー可読媒体で）送信および／または記憶される。

特定の実装において、信号または信号の構造は、ピクチャの領域に関する属性を示すデータを含む属性部分を含む。属性は、領域および組み合わせ解像度に固有である。組み合わせ解像度は、特定の解像度と第２の解像度との組み合わせとして決定される。ピクチャの領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ。

加えて、その他の実装は、セルのサイズ、セルの位置、およびその他のメタデータに関連するデータに関する信号または信号の構造内の部分を含む。そのような信号は、さまざまな実装において、さまざまな方法のいずれかで符号化される。

本出願は、図６、８、および１７〜２１のブロック／フロー図を含む複数のブロック／フロー図を提供する。本出願のブロック／フロー図は、プロセスを示すフロー図と、装置の機能ブロックを示すブロック図との両方を示すことは明らかであるに違いない。加えて、本出願は、図１〜５の図形表現を含む複数の図形表現を提供する。本出願の図形表現は、（ｉ）例、結果、または出力と、（ｉｉ）プロセスを示すフロー図との両方を示すことは明らかであるに違いない。加えて、本出願は、少なくとも、図７の表形式の図を提供する。表形式の図は、データの表を提供し、さらに、異なる解像度における視差値を得るためのプロセスを示すことは明らかであるに違いない。さらに、本出願は、図９〜１６のブロック／図形表現を含む複数のブロック／図形表現を提供する。本出願のブロック／図形表現は、さまざまなデータフォーマットおよび解像度の態様を示すブロック図と、コンポーネントとコンポーネントの出力との間の関係を示す図形表現との両方を示すことは明らかであるに違いない。

さらに、本出願で説明された実装の動作、ブロック、入力、または出力のうちの多くは、これらの実装の説明および検討で明確に述べられていないとしても任意である。例えば、既に検討されたように、プロセス１７００の動作のいずれかが、さまざまな実装において省略される可能性がある。特定の実装の特徴の単なる説明は、特徴がすべての実装に必須であることを示すものではない。実際は、概して、その反対の結論が通常の解釈であるべきであり、すべての特徴は、そのような特徴が必要とされると述べられていない限り任意であると見なされる。特徴が必要とされると述べられている場合であっても、その必要条件は、その特定の実装にのみ当てはまるように意図されており、その他の実装は、そのような必要条件に縛られないと見なされる。

したがって、我々は、特定の特徴および態様を有する１または複数の実装を提供する。特に、我々は、密な視差マップに関連するいくつかの実装を提供し、疎な視差マップに関連するいくつかの実装も提供する。密な視差マップは、例えば、コンシューマデバイスにおける比較的複雑な３Ｄエフェクトの調整などのさまざまなアプリケーションを可能にすることができる。疎な視差マップは、例えば、ポストプロダクションでの比較的単純な字幕の配置などのさまざまなアプリケーションを可能にすることができる。しかし、これらの実装の変更形態およびさらなるアプリケーションが想定され、我々の開示の範囲内にあり、記載された実装の特徴および態様は、その他の実装のために適合され得る。

＋８０ピクセルから−１５０ピクセルまでの範囲が、１または複数の特定のディスプレイサイズに対して、上述の実装のうちの少なくとも１つで使用されることに留意されたい。しかし、その他の実装においては、それらの特定のディスプレイサイズに対してであっても、範囲の境界値および／または範囲自体のサイズを変更する異なる視差範囲が使用される。１つの実装においては、テーマパークにおける表示が、より劇的な効果のために（例えば、スクリーンから中間を超えて飛び出してくる物体を描くために）負の方向によりいっそう大きな視差を使用する。別の実装においては、業務用のデバイスが、コンシューマデバイスよりも広い視差の範囲をサポートする。

本出願に記載の実装および特徴のうちのいくつかは、ＡＶＣ規格、および／またはＭＶＣ拡張付きのＡＶＣ（Ａｎｎｅｘ Ｈ）、および／またはＳＶＣ拡張付きのＡＶＣ（Ａｎｎｅｘ Ｇ）に関連して使用され得る。加えて、これらの実装および特徴は、（既存のもしくは将来の）別の規格に関連して使用されるか、または規格とは関係のないところで使用される可能性がある。

本原理の「一実施形態」または「実施形態」または「１つの実装」または「実装」との言及およびそれらの他の変化形は、その実施形態に関連して説明された特定の特徴、構造、特性などが本原理の少なくとも１つの実施形態に含まれることを意味する。したがって、本明細書中のさまざまな場所に現れる表現「一実施形態において」または「実施形態において」または「１つの実装において」または「実装において」および任意のその他の変化形が現れることは、必ずしもすべてが同じ実施形態に言及しているとは限らない。

加えて、本出願またはその請求項は、さまざまな情報を「決定すること」に言及する可能性がある。情報を決定することは、例えば、情報を推定すること、情報を計算すること、情報を評価すること、情報を予測すること、またはメモリから情報を取得することのうちの１つまたは複数を含み得る。

さらに、本出願またはその請求項は、さまざまな情報に「アクセスすること」に言及する可能性がある。情報にアクセスすることは、例えば、情報を受信すること、情報を取得すること（例えば、メモリ）、情報を記憶すること、情報を処理すること、情報を送信すること、情報を移動すること、情報をコピーすること、情報を削除すること、情報を計算すること、情報を決定すること、情報を予測すること、または情報を推定することのうちの１つまたは複数を含み得る。

加えて、本出願またはその請求項は、さまざまな情報を「受信すること」に言及する可能性がある。受信することは、「アクセスすること」と同様に、幅広い用語であるように意図される。情報を受信することは、例えば、情報にアクセスすること、または（例えば、メモリから）情報を取得することのうちの１つまたは複数を含み得る。さらに、「受信すること」は、通常、例えば、情報の記憶、情報の処理、情報の送信、情報の移動、情報のコピー、情報の削除、情報の計算、情報の決定、情報の予測、または情報の推定などの動作中にさまざまな形で含まれる。

さまざまな実装は、「画像」および／または「ピクチャ」に言及する。用語「画像」および「ピクチャ」は、本明細書全体を通じて交換可能なように使用され、幅広い用語であるように意図される。「画像」または「ピクチャ」は、例えば、フレームまたはフィールドのすべてまたは一部である可能性がある。用語「ビデオ」は、一連の画像（またはピクチャ）を指す。画像またはピクチャは、例えば、さまざまなビデオコンポーネントのいずれかまたはそれらの組み合わせを含み得る。そのようなコンポーネントまたはそれらの組み合わせは、例えば、輝度、クロミナンス（ｃｈｒｏｍｉｎａｎｃｅ）、（ＹＵＶまたはＹＣｂＣｒまたはＹＰｂＰｒの）Ｙ、（ＹＵＶの）Ｕ、（ＹＵＶの）Ｖ、（ＹＣｂＣｒの）Ｃｂ、（ＹＣｂＣｒの）Ｃｒ、（ＹＰｂＰｒの）Ｐｂ、（ＹＰｂＰｒの）Ｐｒ、（ＲＧＢの）赤、（ＲＧＢの）緑、（ＲＧＢの）青、Ｓビデオ、およびこれらのコンポーネントのいずれかのネガ（ｎｅｇａｔｉｖｅｓ）またはポジ（ｐｏｓｉｔｉｖｅｓ）を含む。「画像」または「ピクチャ」は、さらに、または代替的に、例えば、典型的な２次元のビデオ、２Ｄビデオピクチャに関する視差マップ、２Ｄビデオピクチャに対応するデプスマップ、またはエッジマップを含む、さまざまな異なる種類の内容を指す可能性もある。

さらに、多くの実装は、「フレーム」に言及する可能性がある。しかし、そのような実装は、「ピクチャ」または「画像」に等しく適用可能であると見なされる。

「デプスマップ」または「視差マップ」または「エッジマップ」または同様の用語も、幅広い用語であるように意図される。概して、マップは、例えば、特定の種類の情報を含むピクチャを指す。しかし、マップは、その名称によって示されないその他の種類の情報を含む可能性がある。例えば、デプスマップは、通常、デプス情報を含むが、例えば、ビデオまたはエッジ情報などのその他の情報も含む可能性がある。

所与のディスプレイは、複数の異なる解像度をサポートする可能性があることが理解される。したがって、所与のディスプレイは、例えば、１２８０か、１４４０か、または１９２０かのどれかの解像度を有するビデオコンテンツを表示することができる可能性がある。それにもかかわらず、所与のディスプレイは、サポートされる最も高い解像度が１９２０であるので、多くの場合、１９２０ディスプレイと呼ばれる。大型のディスプレイが小さな解像度の画像を表示しているとき、画像の個々の要素は、複数のピクセルを含む可能性がある。例えば、ディスプレイは、水平解像度８００および１９２０をサポートすることができる場合、通常、少なくとも１９２０ピクセル幅である。ディスプレイが解像度８００の画像を表示しているとき、ディスプレイは、画像の各要素に少なくとも３ピクセル以上の部分を割当てる可能性がある。

さまざまな実装は、視差値の浮動小数点表現を使用する。そのような実装の特定の変更形態は、浮動小数点表現の代わりに、視差値の固定小数点表現を使用する。

例えば、「Ａ／Ｂ」、「Ａおよび／またはＢ」、および「ＡおよびＢのうちの少なくとも一方」の場合の以下の「／」、「および／または」、および「〜のうちの少なくとも一方」のいずれかの使用は、１番目に挙げられた選択肢（Ａ）のみの選択、または２番目に挙げられた選択肢（Ｂ）のみの選択、または両方の選択肢（ＡおよびＢ）の選択を包含するように意図されることを理解されたい。さらなる例として、「Ａ、Ｂ、および／またはＣ」および「Ａ、Ｂ、およびＣのうちの少なくとも１つ」および「Ａ、Ｂ、またはＣのうちの少なくとも１つ」の場合、そのような表現法は、１番目に挙げられた選択肢（Ａ）のみの選択、または２番目に挙げられた選択肢（Ｂ）のみの選択、または３番目に挙げられた選択肢（Ｃ）のみの選択、または１番目および２番目に挙げられた選択肢（ＡおよびＢ）のみの選択、または１番目および３番目に挙げられた選択肢（ＡおよびＣ）のみの選択、または２番目および３番目に挙げられた選択肢（ＢおよびＣ）のみの選択、または３つの選択肢すべて（ＡおよびＢおよびＣ）の選択を包含するように意図される。これは、当業者にはすぐに分かるように、列挙される項目の数に合わせて拡張され得る。

加えて、多くの実装は、符号化器（例えば、符号化器２００２）、復号器（例えば、復号器２１０６）、復号器からの出力を処理するポストプロセッサー（例えば、プロセッサー２１０８）、または符号化器に入力を与えるプリプロセッサー（例えば、プロセッサー２００１）のうちの１つまたは複数に実装され得る。本出願で検討されたプロセッサーは、さまざまな実装において、例えば、プロセス、機能、または動作を実行するように集合的に構成される複数のプロセッサー（サブプロセッサー）を確かに含む。例えば、さまざまな実装において、プロセッサー２００１およびプロセッサー２１０８は、それぞれのプロセッサー２００１および２１０８の動作を実行するように集合的に構成される複数のサブプロセッサーによってそれぞれが構成される。さらに、その他の実装が、本開示によって想定される。

本明細書に記載の実装は、例えば、方法もしくはプロセス、装置、ソフトウェアプログラム、データストリーム、または信号で実装され得る。１つの形態の実装に関連してだけ検討された（例えば、方法としてだけ検討された）としても、検討された特徴の実装は、その他の形態（例えば、装置またはプログラム）でも実装される可能性がある。装置は、例えば、適切なハードウェア、ソフトウェア、およびファームウェアで実装され得る。例えば、方法は、概して、例えば、コンピュータ、マイクロプロセッサー、集積回路、またはプログラマブルロジックデバイスを含む処理デバイスを指す、例えば、プロセッサーなどの装置で実装され得る。プロセッサーは、例えば、コンピュータ、セル電話、タブレット、ポータブル／携帯情報端末（「ＰＤＡ」）、およびエンドユーザ間の情報の通信を容易にするその他のデバイスなどの通信デバイスも含む。プロセッサーは、例えば、プロセス、機能、または動作を実行するように集合的に構成される複数のプロセッサーも含み得る。集合的な構成および実行は、例えば、特定のタスクのための専用のサブプロセッサーの使用、または並列処理の使用などの、当技術分野で知られているさまざまな技術のいずれかを使用して実現され得る。

本明細書に記載のさまざまなプロセスおよび特徴の実装は、さまざまな異なる機器またはアプリケーション、例えば特に、データの符号化と、データの復号と、像の生成と、デプスまたは視差の処理と、画像ならびに関連するデプスおよび／または視差マップのその他の処理とに関連する機器またはアプリケーションで具現化され得る。そのような機器の例は、符号化器、復号器、復号器からの出力を処理するポストプロセッサー、符号化器に入力を与えるプリプロセッサー、ビデオ符号化器、ビデオ復号器、ビデオコーデック、ウェブサーバー、セットトップボックス、ルータ、ラップトップ、パーソナルコンピュータ、タブレット、セル電話、ＰＤＡ、およびその他の通信デバイスを含む。当然明らかであるように、機器は、移動式であり、さらには移動車両に取り付けられる可能性がある。

加えて、方法は、命令がプロセッサーによって（またはそのような命令を実行するように集合的に構成された複数のプロセッサーによって）実行されることによって実施される可能性があり、そのような命令（および／または実装によって生成されるデータ値）は、例えば、集積回路、ソフトウェア担体（ｃａｒｒｉｅｒ）、または例えばハードディスク、コンパクトディスク（「ＣＤ」）、（例えば、ディジタルバーサタイルディスクもしくはディジタルビデオディスクと呼ばれることが多いＤＶＤなどの）光ディスク、ランダムアクセスメモリ（「ＲＡＭ」）、もしくは読み出し専用メモリ（「ＲＯＭ」）などのその他の記憶装置などのプロセッサー可読媒体に記憶される可能性がある。命令は、プロセッサー可読媒体に有形で具現化されたアプリケーションプログラムを形成することができる。命令は、例えば、ハードウェア、ファームウェア、ソフトウェア、または組み合わせの中にある可能性がある。命令は、例えば、オペレーティングシステム、別個のアプリケーション、または２つの組み合わせに見られる可能性がある。したがって、プロセッサーは、例えば、プロセスを実行するように構成されたデバイスと、プロセスを実行するための命令を有する（記憶装置などの）プロセッサー可読媒体を含むデバイスとの両方として特徴付けられる可能性がある。さらに、プロセッサー可読媒体は、命令に加えて、または命令の代わりに、実装によって生成されたデータ値を記憶する可能性がある。

当業者に明らかであろうように、実装は、例えば、記憶または送信され得る情報を搬送するようにフォーマットされたさまざまな信号を生成することができる。情報は、例えば、方法を実行するための命令、または説明された実装のうちの１つによって生成されたデータを含み得る。例えば、信号は、説明された実施形態の構文を書くまたは読むための規則をデータとして搬送するように、または説明された実施形態によって書かれる実際の構文値（ｓｙｎｔａｘ−ｖａｌｕｅ）をデータとして搬送するようにフォーマットされる可能性がある。そのような信号は、例えば、（例えば、スペクトルの無線周波数の部分を使用する）電磁波として、またはベースバンド信号としてフォーマットされる可能性がある。フォーマットは、例えば、データストリームの符号化と、符号化されたデータストリームによる搬送波の変調とを含む可能性がある。信号が搬送する情報は、例えば、アナログ情報またはディジタル情報である可能性がある。信号は、知られているように、さまざまな異なる有線または無線リンクを介して送信される可能性がある。信号は、プロセッサー可読媒体に記憶される可能性がある。

いくつかの実装が、説明された。しかしながら、さまざまな修正がなされ得ることが理解されるであろう。例えば、異なる実装の要素が、その他の実装をもたらすように組み合わされるか、補足されるか、修正されるか、または取り除かれる可能性がある。加えて、当業者は、その他の構造およびプロセスが、開示された構造およびプロセスの代わりにされる可能性があり、結果として得られる実装が、開示された実装と少なくとも実質的に同じ（１または複数の）機能を、少なくとも実質的に同じ（１または複数の）方法で実行して、少なくとも実質的に同じ（１または複数の）結果を実現することを理解するであろう。したがって、これらのおよびその他の実装は、本出願によって想定される。

Claims (42)

1. ピクチャの領域に関する属性を決定するステップであって、前記ピクチャは特定の解像度を有し、前記属性は前記特定の解像度および前記領域に固有であり、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ、ステップと、
   前記属性を変換して、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である属性をもたらすステップと、
   を含む、方法。
2. 前記領域のサイズは、（ｉ）前記特定の解像度におけるピクセルのピクセル寸法と、（ｉｉ）前記第２の解像度におけるピクセルのピクセル寸法との組み合わせに基づく、請求項１に記載の方法。
3. 領域の幅は、前記特定の解像度および前記第２の解像度を含む一組の解像度の中の解像度のピクセルのピクセル幅の倍数に基づき、
   領域の高さは、前記一組の解像度の中の解像度のピクセルのピクセル高さの倍数に基づく、請求項２に記載の方法。
4. 前記特定の解像度は、特定の水平解像度を含み、
   前記第２の解像度は、第２の水平解像度を含み、
   前記組み合わせ解像度は、組み合わせ水平解像度を含み、
   前記一組の解像度の中の所与の解像度の前記ピクセル幅は、前記組み合わせ水平解像度を前記所与の解像度の水平解像度で割った数に基づく、請求項３に記載の方法。
5. 前記特定の解像度は、特定の垂直解像度を含み、
   前記第２の解像度は、第２の垂直解像度を含み、
   前記組み合わせ解像度は、組み合わせ垂直解像度を含み、
   前記一組の解像度の中の所与の解像度の前記ピクセル高さは、前記組み合わせ垂直解像度を前記所与の解像度の垂直解像度で割った数に基づく、請求項３に記載の方法。
6. 前記組み合わせ解像度は、少なくとも前記特定の解像度および前記第２の解像度の倍数に基づく、請求項１に記載の方法。
7. 前記特定の解像度は、水平解像度、垂直解像度、または水平解像度と垂直解像度との両方を含む、請求項１に記載の方法。
8. 前記属性を決定するステップは、前記第１の整数個のピクセルのうちの２つ以上のピクセルに関する前記属性の値に基づいて前記領域に関する前記属性を決定するステップを含む、請求項１に記載の方法。
9. 前記属性は、視差値であり、
   前記属性を決定するステップは、視差マップからの前記属性にアクセスするステップを含む、請求項１に記載の方法。
10. 前記領域に関する変換された属性を、記憶または送信の少なくとも一方に好適なデータ構造に挿入するステップをさらに含む、請求項１に記載の方法。
11. 領域のサイズおよび領域の位置を示す情報を前記データ構造に挿入するステップをさらに含む、請求項１０に記載の方法。
12. 領域のサイズおよび領域の位置を決定するステップをさらに含む、請求項１に記載の方法。
13. 変換された属性を符号化するステップをさらに含む、請求項１に記載の方法。
14. 領域のサイズおよび領域の位置を示す情報を符号化するステップをさらに含む、請求項１に記載の方法。
15. 変換するステップは、前記属性に、前記組み合わせ解像度と前記特定の解像度との比を反映する整数を掛けるステップを含む、請求項１に記載の方法。
16. 前記属性は、デプスのインジケータを含む、請求項１に記載の方法。
17. デプスの前記インジケータは、視差値である、請求項１６に記載の方法。
18. ピクチャの領域に関する属性を決定することであって、前記ピクチャは特定の解像度を有し、前記属性は前記特定の解像度および前記領域に固有であり、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ、決定することと、
    前記属性を変換して、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である属性をもたらすことと、
    を実行するように集合的に構成された１または複数のプロセッサーを備える、装置。
19. ピクチャの領域に関する属性を決定するための手段であって、前記ピクチャは特定の解像度を有し、前記属性は前記特定の解像度および前記領域に固有であり、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ、手段と、
    前記属性を変換して、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である属性をもたらすための手段と、
    を備える、装置。
20. １または複数のプロセッサーに、
    ピクチャの領域に関する属性を決定することであって、前記ピクチャは特定の解像度を有し、前記属性は前記特定の解像度および前記領域に固有であり、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ、決定することと、
    前記属性を変換して、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である属性をもたらすことと、
    を集合的に実行させるための命令をその上に記憶する、プロセッサー可読媒体。
21. ピクチャの領域に関する属性を決定することであって、前記ピクチャは特定の解像度を有し、前記属性は前記特定の解像度および前記領域に固有であり、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持つ、決定すること、ならびに
    前記属性を変換して、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である属性をもたらすこと、
    を行うように構成されたプロセッサーと、
    変換された属性を示すデータによって信号を変調するように構成された変調器と、
    を備える、装置。
22. 情報を含むようにフォーマットされた信号であって、
    ピクチャの領域に関する属性を示すデータを含む属性部分であって、前記属性は前記領域および組み合わせ解像度に固有であり、前記組み合わせ解像度は特定の解像度と第２の解像度との組み合わせとして決定され、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、前記第２の解像度おいて第２の整数個のピクセルと同一の広がりを持つ、属性部分
    を含む、前記信号。
23. ピクチャの領域に関する属性を示すデータを含む属性部分であって、前記属性は前記領域および組み合わせ解像度に固有であり、前記組み合わせ解像度は特定の解像度と第２の解像度との組み合わせとして決定され、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、前記第２の解像度おいて第２の整数個のピクセルと同一の広がりを持つ、属性部分
    を含む、信号の構造。
24. 信号の構造をその上に記憶するプロセッサー可読媒体であって、前記信号の構造は、
    ピクチャの領域に関する属性を示すデータを含む属性部分であって、前記属性は前記領域および組み合わせ解像度に固有であり、前記組み合わせ解像度は特定の解像度と第２の解像度との組み合わせとして決定され、前記ピクチャの前記領域は、前記特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、前記第２の解像度おいて第２の整数個のピクセルと同一の広がりを持つ、属性部分
    を含む、前記プロセッサー可読媒体。
25. 前記信号の構造は、領域のサイズを示すための部分、前記ピクチャ内の領域の位置を示すための部分、領域番号を示すための部分、または前記ピクチャ内の領域の総数を示すための部分のうちの１つまたは複数をさらに含む、請求項２４に記載の媒体。
26. ピクチャの領域に関する属性にアクセスするステップであって、前記ピクチャの前記領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持ち、前記属性は、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である、ステップと、
    前記属性を変換して、前記領域および前記特定の解像度に固有の属性をもたらすステップと、
    変換された属性を、前記特定の解像度の前記第１の整数個のピクセルに関連付けるステップと、
    を含む、方法。
27. 前記領域のサイズは、（ｉ）前記特定の解像度におけるピクセルのピクセル寸法と、（ｉｉ）前記第２の解像度におけるピクセルのピクセル寸法との組み合わせに基づく、請求項２６に記載の方法。
28. 領域の幅は、前記特定の解像度および前記第２の解像度を含む一組の解像度の中の解像度のピクセルのピクセル幅の倍数に基づき、
    領域の高さは、前記一組の解像度の中の解像度のピクセルのピクセル高さの倍数に基づく、請求項２７に記載の方法。
29. 前記特定の解像度は、特定の水平解像度を含み、
    前記第２の解像度は、第２の水平解像度を含み、
    前記組み合わせ解像度は、組み合わせ水平解像度を含み、
    前記一組の解像度の中の所与の解像度の前記ピクセル幅は、前記組み合わせ水平解像度を前記所与の解像度の水平解像度で割った数に基づく、請求項２８に記載の方法。
30. 前記特定の解像度は、特定の垂直解像度を含み、
    前記第２の解像度は、第２の垂直解像度を含み、
    前記組み合わせ解像度は、組み合わせ垂直解像度を含み、
    前記一組の解像度の中の所与の解像度の前記ピクセル高さは、前記組み合わせ垂直解像度を前記所与の解像度の垂直解像度で割った数に基づく、請求項２８に記載の方法。
31. 前記組み合わせ解像度は、少なくとも前記特定の解像度および前記第２の解像度の倍数に基づく、請求項２６に記載の方法。
32. 前記特定の解像度は、水平解像度、垂直解像度、または水平解像度と垂直解像度との両方を含む、請求項２６に記載の方法。
33. 前記属性にアクセスするステップは、前記領域に関する前記属性、および前記ピクチャの１または複数のその他の領域に関する属性を与えるようにフォーマットされたデータを含むビットストリームにアクセスするステップを含む、請求項２６に記載の方法。
34. 変換するステップは、前記属性を、前記組み合わせ解像度と前記特定の解像度との比を反映する整数で割るステップを含む、請求項２６に記載の方法。
35. 前記属性は、視差値である、請求項２６に記載の方法。
36. 前記属性は、符号化された属性を含み、前記方法は、前記符号化された属性を復号するステップをさらに含む、請求項２６に記載の方法。
37. 関連付けるステップは、前記特定の解像度の前記第１の整数個のピクセルに関するピクセル位置を決定するステップを含む、請求項２６に記載の方法。
38. データ構造は、前記第１の数のピクセルのそれぞれに関して別々のフィールドを有し、関連付けるステップは、前記変換された属性を前記別々のフィールドのそれぞれに挿入するステップを含む、請求項２６に記載の方法。
39. ピクチャの領域に関する属性にアクセスすることであって、前記ピクチャの前記領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持ち、前記属性は、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である、アクセスすることと、
    前記属性を変換して、前記領域および前記特定の解像度に固有の属性をもたらすことと、
    変換された属性を、前記特定の解像度の前記第１の整数個のピクセルに関連付けることと、
    を実行するように集合的に構成された１または複数のプロセッサーを備える、装置。
40. ピクチャの領域に関する属性にアクセスするための手段であって、前記ピクチャの前記領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持ち、前記属性は、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である、手段と、
    前記属性を変換して、前記領域および前記特定の解像度に固有の属性をもたらすための手段と、
    変換された属性を、前記特定の解像度の前記第１の整数個のピクセルに関連付けるための手段と、
    を備える、装置。
41. １または複数のプロセッサーに、
    ピクチャの領域に関する属性にアクセスすることであって、前記ピクチャの前記領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持ち、前記属性は、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である、アクセスすることと、
    前記属性を変換して、前記領域および前記特定の解像度に固有の属性をもたらすことと、
    変換された属性を、前記特定の解像度の前記第１の整数個のピクセルに関連付けることと、
    を集合的に実行させるための命令をその上に記憶する、プロセッサー可読媒体。
42. ピクチャの領域に関する属性を示すデータを含む信号を復調するための復調器であって、前記ピクチャの前記領域は、特定の解像度において第１の整数個のピクセルと同一の広がりを持ち、第２の解像度において第２の整数個のピクセルと同一の広がりを持ち、前記属性は、前記領域に固有であり、前記特定の解像度と前記第２の解像度との組み合わせとして決定される組み合わせ解像度に固有である、復調器と、
    前記属性を変換して、前記領域および前記特定の解像度に固有の属性をもたらし、
    変換された属性を、前記特定の解像度の前記第１の整数個のピクセルに関連付ける
    ように構成されたプロセッサーと、
    を備える、装置。

Images