JP6302540B2 - 支援３ｄディスプレイアダプテーション - Google Patents

Description

関連出願

本願は、２０１３年４月２日出願の米国仮出願第６１／８０７，６７２号に基づく優先権を主張し、その全文が本明細書に援用される。

本発明は、広義には、立体視の画像およびディスプレイに関する。より具体的には、本発明のある実施形態は、立体ディスプレイまたは裸眼立体ディスプレイ上に立体画像を支援描画することに関する。

映画館または家庭内における消費者体験を向上させるべく、３Ｄ映像システムは大きな関心を集めている。これらのシステムは、以下のものを含む、立体視的または裸眼立体視的な提示方法を利用する。
（ｉ）アナグリフ：２枚のカラーフィルタ（通常は、片眼が赤、もう片眼がシアン）を通して光をフィルタリングすることによって左眼／右眼の分離を行う。
（ｉｉ）直線偏光：（通常）垂直方向の直線偏光子を通して左眼をフィルタリングするとともに、水平方向の直線偏光子を通して右眼用画像をフィルタリングすることによって、プロジェクタで分離を行う。
（ｉｉｉ）円偏光：（通常）左回り円偏光板を通して左眼用画像をフィルタリングするとともに、右回り円偏光板を通して右眼用画像をフィルタリングすることによって、プロジェクタで分離を行う。
（ｉｖ）シャッターメガネ：左画像および右画像を時間的に多重化することによって分離を行う。
（ｖ）スペクトル分離：左眼および右眼が、それぞれ、赤、緑および青のスペクトルの相補的な部分を受け取るように、左眼および右眼をスペクトル的にフィルタリングすることによって、プロジェクタで分離を行う。

現在市場で入手可能な３Ｄディスプレイのほとんどは、３Ｄ効果を体験するためにはユーザが特別な３Ｄメガネをかける必要がある立体テレビである。これらのディスプレイに３Ｄコンテンツを届けるには、２つの別々の視点（左視点および右視点）を提供すればよいだけである。裸眼立体視（メガネ不要）または多視点ディスプレイの実用化が迫っている。すなわち、これらのディスプレイは、ある程度の運動視差（motion parallax）をもたらす。視聴者は、動き回って異なる角度からオブジェクトを視るかのように、頭を動かし回すことができる。

従来の立体視ディスプレイは単一の３Ｄ視点を提供するが、裸眼立体視ディスプレイは、そのディスプレイの設計に基づいて、５視点、９視点、２８視点などの多視点を提供する必要がある。通常の立体コンテンツが裸眼立体視ディスプレイに提供されると、ディスプレイは深度マップを抽出し、これらの深度マップに基づいて多視点を生成または描画する。本明細書中において、用語「深度マップ」は、ある視点からのシーンオブジェクトたちの表面の距離に関する情報を含む、画像その他のビットストリームを指す。深度マップは視差マップに（あるいはその逆に）容易に変換可能であり、本明細書中の文脈において、用語「深度マップ」と「視差マップ」は同じであり相互に置き換え可能である。

特定のターゲットディスプレイ（例えば、映画館のスクリーン）に合わせて最適化された３Ｄコンテンツは、家庭の立体視ＨＤＴＶまたは多視点ＨＤＴＶ上では異なって見える可能性がある。３Ｄ視聴体験は、ディスプレイのスクリーンサイズ、多視点技術、その他のパラメータによっても異なり得る。本願発明者らが理解しているように、元々のクリエーターの（例えば、ディレクターの）表現意図（artistic intent）を損なうこと無く、３Ｄディスプレイ上に立体コンテンツを描画するための改良技術を開発することが望まれている。

本節に記載の手法は、探求し得る手法ではあるが、必ずしもこれまでに既に想到または探求された手法であるとは限らない。従って、特筆しない限り、本節に記載の手法は、本節に記載されているからといって、従来技術たり得ると解釈されるべきではない。同様に、特筆しない限り、１つ以上の手法に関して上述された問題点が、本節に基づいて、従来技術において認識されていたと解釈されるべきではない。

実施形態による３つの裸眼立体視ディスプレイについての視聴体験クオリティー（ＱＶＥ）マッピングの例を示している。 実施形態による３つの裸眼立体視ディスプレイについての視聴体験クオリティー（ＱＶＥ）マッピングの例を示している。 実施形態によるターゲットディスプレイのＱＶＥマッピングを決定する処理例を示している。 実施形態によるターゲットディスプレイのＱＶＥマッピングを決定するためのターゲットテスト画像例を示している。 実施形態による支援３Ｄディスプレイアダプテーションの処理例を示している。 実施形態による支援３Ｄディスプレイアダプテーションの処理例を示している。 実施形態による３Ｄディスプレイエミュレーションの処理例を示している。

添付図面の各図において、本発明による実施形態を例示するが、本発明はそれらによって限定されない。図中において、同様の構成要素には同様の参照符号を付している。

立体ディスプレイおよび多視点ディスプレイ上に立体画像を表示するための、支援３Ｄディスプレイアダプテーション技術を本明細書に記載する。ディスプレイは、視聴体験クオリティー（ＱＶＥ）マッピング（例えば、マッピング関数または入出力曲線）を用いて特徴付けされる。視聴体験クオリティー（ＱＶＥ）マッピングは、入力視差または深度データの関数として、その特定の３Ｄディスプレイ上における視聴体験メトリックを表す。基準３Ｄディスプレイから任意の３Ｄディスプレイへの深度データのマッピングは、深度範囲変換関数と、基準ディスプレイのＱＶＥマッピングおよびディレクターの元々の表現意図に応じて作成されたメタデータとを用いて表すことができる。以下の説明においては、便宜上、本発明を完全に理解できるように、多数の詳細事項を説明する。ただし、これらの詳細事項が無くても本発明を実施可能であることは明白であろう。他方、本発明の説明を不必要に不明瞭にしないように、周知の構造およびデバイスの細かな詳細までは説明しない。

（概要）
本明細書に記載の実施形態例は、立体ディスプレイおよび多視点ディスプレイ上に立体画像を表示するための支援３Ｄディスプレイアダプテーション技術に関する。３Ｄディスプレイは、その特定の３Ｄディスプレイ上における視聴体験メトリックを入力視差または深度データの関数として表す、視聴体験クオリティー（ＱＶＥ）マッピングによって特徴付けられる。「視覚ボケ」のメトリックに基づくＱＶＥマッピング関数の例を示す。基準ディスプレイ用の入力深度データから生成される基準深度データおよび、入力深度データと基準ディスプレイＱＶＥマッピングを用いて生成されるＱＶＥデータとの間の入出力関係を表すアーティストマッピング関数（artist's mapping function）の表現が与えられると、復号化器は基準深度データを再構築して、ターゲットディスプレイについての逆ＱＶＥマッピングを適用し、それにより、元々のアーティストの意図を損なうこと無く、そのターゲットディスプレイ用の出力深度データを生成し得る。

別の実施形態においては、既知の深度または視差で立体画像を表示し、表示された画像を２Ｄカメラで撮影し、撮影された２Ｄ画像を分析して対応ＱＶＥ値を生成することによって、３ＤディスプレイＱＶＥマッピング関数を生成する。ある実施形態においては、対応ＱＶＥ値は、入力としてテスト画像が与えられた時に、撮影された２Ｄ画像に対し所与の基準において最も近い出力を生成するガウスボケフィルタの、標準偏差の関数である。

別の実施形態においては、立体画像に対するオリジナル入力深度データを受信する。オリジナル入力深度データに応じて、基準ディスプレイを用いて、基準深度マップデータが生成される。深度範囲変換関数が、入力深度データと基準出力深度データとの間の入出力関係を表し得る。基準深度マップデータおよび基準ディスプレイＱＶＥマッピングに応じて、視聴体験クオリティー（ＱＶＥ）データが生成される。入力深度データとＱＶＥデータとの間の入出力関係を表すアーティストマッピング関数が生成され、基準深度マップデータまたはオリジナル入力深度データのいずれかと共に、受信器にメタデータとして送信される。

別の実施形態においては、３Ｄディスプレイエミュレーションシステムは、立体画像に対するオリジナル入力深度データにアクセスする。オリジナル入力深度データに応じて、基準ディスプレイを用いて、基準深度マップデータが生成される。基準深度マップデータおよび基準ディスプレイＱＶＥマッピングに応じて、視聴体験クオリティー（ＱＶＥ）データが生成される。エミュレートすべきターゲットディスプレイが、異なるモデルのターゲットディスプレイ群の中から選択され、エミュレートするターゲットディスプレイについての逆ＱＶＥマッピングにＱＶＥデータを適用することにより、エミュレートするターゲットディスプレイ用のターゲット深度データを生成する。ここで、エミュレートするターゲットディスプレイについての逆ＱＶＥマッピングは、エミュレートするターゲットディスプレイに対して決定された、入力ＱＶＥ値と出力深度値との間の入出力関係を表す。

（視聴体験クオリティーマッピング例）
立体コンテンツを制作および表示する場合、オリジナル版は、典型的に、特定のターゲットディスプレイサイズおよび視聴距離に合わせて最適化され、そして画像データおよび深度または視差データを含むビットストリームを用いて送信される。例えば、スポーツ生中継は、家庭用３ＤＨＤＴＶに送信するために最適化されたり、劇場版は、３Ｄ映画館プロジェクタ用に最適化されたりし得る。本明細書中において、用語「視差（disparity）」は、立体画像の左視点におけるオブジェクトの位置と、右視点におけるそれとの距離差を指す。立体映像処理において、視差は、典型的には、一方の視点（例えば、左画像）におけるある画像部分を他方の視点（例えば、右画像）で視聴した時の水平方向のズレ（例えば、左方向または右方向）を表す。例えば、左画像において水平位置ｈ_Lおよび右画像において水平位置ｈ_Rに位置する点は、ｈ_L−ｈ_R画素分の視差を有するものとして示され得る。

視差データは、典型的には８ビットの場合［０，２５５］の範囲のグレースケールデータとして表される、深度または「入力Ｚ」データとして表されてもよいが、他の表現を用いてもよい。ある実施形態においては、入力視差Ｄおよび以下に定義される視差限界値ｄ_minおよびｄ_maxが与えられると、範囲［０，２５５］内の視差−深度変換（Ｚ）は、以下のように定義され得る。

式（１）において、ｄ_minは復号化深度値Ｚ＝０に対応するテクスチャの、輝度画素値における入力視差値を示す。負のｄ_min値は、画面平面の手前にある仮想位置に関する。同様に、ｄ_maxは復号化深度値Ｚ＝２５５に対応するテクスチャ視点の、輝度画素値における入力視差値を示す。ｄ_maxの値は、ｄ_minよりも大きいべきである。ｄ_minおよびｄ_maxを合わせて入力視差範囲が定義され、この入力視差範囲に対して復号化深度値が均一にマッピングされる。Ｚ、ｄ_minおよびｄ_maxの値が与えられると、式（１）から逆のＺ−Ｄマッピングも以下のように得ることができる。

ただし、ｄ_minおよびｄ_maxの値は、フレーム毎、注目領域毎、シーン毎、あるいは他の適当な基準で変化し得る。例えば、第１のシーンにおいて、視差範囲が［−１０，３０］であり、第２のシーンにおいて視差が範囲［−５０，２００］内であってもよい。これらのｄ_minおよびｄ_maxの値は、メタデータまたは補助的ビットストリームデータを用いて、下流のプロセッサまたはターゲット受信器（セットトップボックスなど）に通信され得る。

フル解像度映像および良質な深度／視差マップデータを送信することは、立体ディスプレイにおいても裸眼立体ディスプレイにおいても重要である。良質な視差マップは、３Ｄコンテンツの作成プロセス中において、手作業でまたは自動的に作成できる。これらの視差マップは、典型的には、特定のディスプレイタイプ（例えば、３Ｄ映写機）用に作成されており、他の３Ｄディスプレイ（例えば、３Ｄディスプレイ付き携帯型ゲーム機またはタブレット、あるいは家庭用３ＤＨＤＴＶ）には適しておらず、よって修正が必要な場合がある。例えば、メガネを使う映写機またはメガネを使う立体ＴＶ用に視差マップが作成されている場合、その視差範囲は、典型的なメガネ不要の裸眼立体（ＡＳ３Ｄ）ディスプレイが扱える範囲を超えている可能性がある。例えば、これらの視差マップでは、ＡＳ３Ｄディスプレイの限られた性能を最適に利用できないかもしれない。さらに、ＡＳ３Ｄディスプレイは、異なる複数のメーカーが製造しており、個々に特性が異なる。よって、ある基準立体画像が与えられた時に、元々のディレクターの意図を損なうこと無く、異なる種類の３Ｄディスプレイに対して普遍的に使える視差マップを生成する必要がある。

ある実施形態においては、この問題の解決に向けた第１ステップは、特定のディスプレイ上における視聴体験クオリティー（ＱＶＥ）を、入力データの視差または深度の関数として一義的に特徴付けるマッピングまたは関数を定義することである。ある実施形態においては、これに限定される訳ではないが、視聴体験クオリティーを表すための主要パラメータと考えられるのは「視覚ボケ」である。ただし、画像ゴーストまたはクロストーク、あるいは、多視点ＡＳ３Ｄディスプレイの円錐境界における画像フリッピング（すなわち、ワイピング効果）などの他の視覚ファクターを含めるようにこれを拡張してもよい。

図１Ａにおいて、１００は、ある実施形態例による、３つの異なる裸眼立体視ディスプレイについてのＱＶＥマッピング（１１０、１２０、１３０）の例を示している。１００は、対角寸法で、１１インチディスプレイ（１１０）、２３インチディスプレイ（１２０）および５６インチディスプレイ（１３０）についてのＱＶＥマッピングを示している。本実施形態においては、後ほど詳述するように、１００のｙ軸は、０から２５５の範囲の深度値を有する入力画像に対して算出した出力ボケの大きさを示している。

図２は、ある実施形態において、特定のディスプレイのＱＶＥマッピング（例えば、１１０、１２０または１３０）を求める処理例を示している。図２に示すように、ステップ２０５において、検討対象のディスプレイおよびカメラをセッティングし、ディスプレイ上に表示されたテスト画像を撮影することによって処理を開始する。セッティングでは、ディスプレイをキャリブレーションし、ターゲットディスプレイにとって典型的な視聴距離（例えば、１１インチディスプレイの場合１．５フィート）にカメラを設置する。裸眼立体視ディスプレイの場合、ディスプレイのビューイングコーンの中心にもカメラを設置する。あるターゲット深度範囲（例えば、０〜２５５）が与えられると、テスト対象の各深度値に対して１組のテスト画像（２２５）が用意される。ただし、視差関連パラメータ（例えば、ｄ_minおよびｄ_max）は、ディスプレイ毎に変化し得る。ある実施形態においては、各テスト画像２２５は、様々な幅を有する一連の縦線を含み得る。例えば、縦線は、様々な周波数でプロットされた空間的２−Ｄ正弦波を表していてもよい。このようなテストパターンの例を図３に示す。

処理ループ２５０は、検討対象の各深度値について繰り返され、以下のステップを含む。（ａ）ステップ２１０において、ターゲットテスト画像を表示する。（ｂ）ステップ２１５において、表示画像を２Ｄ画像としてカメラで撮影する。テスト画像に内在する視差によって、カメラによる撮影画像は、オリジナルテスト画像よりも画質が劣る（例えば、より顕著なボケ）ことが予想される。最後に、（ｃ）ステップ２２０において、撮影画像を分析して、ＱＶＥメトリックを割り当てる。ＱＶＥメトリックは主観的であっても客観的であってもよく、あらかじめ決められた何らかの基準によって数値が割り当てられる。ある実施形態（１００）においては、０〜４の客観的ＱＶＥメトリックは、入力視差と同等のボケの出力を生成するガウスボケフィルタの標準偏差σを表している。そのようなメトリックの算出の一例を次に説明する。

「視覚的ボケ」が視覚的体験ファクターの主パラメータであるとすると、各テスト画像（２２５）を、１組のガウスボケフィルタまたはその他のローパスやボケフィルタなどの、多様な複数のボケフィルタ（２３０）を用いてボケさせればよい。ある実施形態においては、これらのガウスボケフィルタのそれぞれは、カーネルサイズが同じであるが、標準偏差σパラメータ（例えば、σ＝０．３〜４）が異なっていてもよい。そして、ステップ２２０において、一般的に使用されるＳＮＲ（信号雑音比）およびピークＳＮＲ基準のような誤差基準に従って、各撮影画像（２１５）をボケた画像全て（２３０）の組と比較する。そして、所与の深度について、出力ＱＶＥメトリック（例えば、ＱＶＥ＝３．０）を、その出力が撮影されたテスト画像に対し所与の基準において最もマッチするボケフィルタの、標準偏差として定義すればよい。

後に詳述するが、あるＱＶＥマッピング（例えば、ｆ_TQ（Ｚ）１１０）が与えられると、いくつかの実施形態においては、その逆関数ｆ^-1 _TQ（Ｚ）を適用して、所与のＱＶＥ値（例えば、Ｑ）に対して、対応する深度Ｚ＝ｆ_Z（Ｑ）を決定し得るようにすることが望ましい場合がある。しかし、図１Ａに示すようなＱＶＥマッピングの表現は、１つのＱＶＥ値が２つの異なる深度値にマッピングされ得るので、逆関数を定義するには不向きである。図１Ａに示すようにあるＱＶＥマッピングｆ_TQ（Ｚ）が与えられると、いくつかの実施形態においては、可逆ｆ_Q（Ｚ）マッピング関数を以下のように得ることができる。

ここで、所与の深度Ｚ、ｄ_minおよびｄ_maxについて、視差Ｄは、式（２）を用いて算出できる。図１Ａに示すｆ_TQ（Ｚ）マッピングのファミリーに対して、図１Ｂは、対応するｆ_Q（Ｚ）マッピングの例を示している。

（支援ディスプレイアダプテーションへの適用）
図４Ａは、ある実施形態における３Ｄディスプレイ用の支援ディスプレイアダプテーション処理の一例を示している。オリジナルコンテンツ４０５は、オリジナルターゲットディスプレイ（例えば、映写機）をターゲットにした、オリジナル版用に作成された画像および深度または視差データを含む。対象となる多くの場合においては、異なる種類のディスプレイをターゲットとする別の版（release）を生成するために、このコンテンツを処理し直す必要がある。

ステップ４１０は、入力深度データ４０７（例えば、Ｚ_I（ｎ）で示される）を、ポストプロダクション処理において使用される基準ディスプレイ用の、基準深度データ４１４（例えば、Ｚ_R（ｎ）で示される）へと変換する、典型的なポストプロダクション段階を示している。この処理は典型的には半自動であり、ディレクターの意図を損なわないように、オリジナルアーティスト（ディレクター、撮影監督など）からの何らかの入力４０６を利用している。この処理は、カラーグレーディング、あるいは、エンハンスドまたは高ダイナミックレンジからより低いダイナミックレンジへのカラーマッピングのような追加的な処理ステップ（図示せず）を含んでいてもよい。３Ｄコンテンツのポストプロダクションおよび配信の一実施形態（４００Ａ）において、ステップ４１０の出力は、深度範囲変換関数（例えば、ｆ_CR（Ｚ）で示され、出力４１４Ｚ_R（ｎ）＝ｆ_CR（Ｚ_I（ｎ））である）を用いて生成される出力基準深度データ４１４（例えば、Ｚ_R（ｎ））を含み得る。ある実施形態においては、処理４１０の出力は、基準深度マップデータ４１４を生成するために用いられる基準ディスプレイ用のディスプレイＱＶＥマッピング４１２の表現（例えば、ｆ_QR（Ｚ）として示される）も含んでいてもよい。基準ディスプレイＱＶＥマッピング４１２は、深度データ４１４とあわせてメタデータとして、他のメタデータと同様に送信され得る。基準ディスプレイＱＶＥマッピング４１２は、ルックアップテーブル、パラメトリック線形、区分線形または非線形関数などのパラメータとして等、当該分野では既知の様々な方法で送信されることにより、深度変換器４２０のような下流側処理ステップで再構築され得る。

基準ディスプレイＱＶＥマッピング４１２（例えば、ｆ_QR（Ｚ））および基準深度データ４１４（例えば、Ｚ_R（ｎ））が与えられると、深度変換器４２０は、ＱＶＥマッピング４１２（例えば、Ｑ_R（ｎ）＝ｆ_QR（Ｚ_R（ｎ）））に従って、深度データ４１４をＱＶＥ値４２４（例えば、Ｑ_R（ｎ）で示される）に変換することができる。いくつかの実施形態においては、ステップ４２０は、ＱＶＥ値４２４をセットトップボックス受信器または３ＤＴＶなどのような適切な受信器へと放送する、符号化器または送信器の一部であり得る。そのようなシナリオにおいては、ビットストリーム４２４は、基準ディスプレイＱＶＥマッピングに関する情報を既に含んでおり、それ以外の情報を送信する必要はない。他のいくつかの実施形態においては、ステップ４２０は、セットトップボックス受信器または３ＤＴＶのような復号化器の一部であり得る。そのようなシナリオにおいては、符号化器は、基準深度データ４１４および基準ディスプレイＱＶＥマッピング４１２の両方を送信する必要がある。旧型の受信器は、基準ディスプレイマッピング４１２を無視し、深度データを単純に処理しようと最大限努力する。しかし、次に説明するように、支援ＱＶＥマッピングメタデータを正しく解釈できる能力が与えられている新型の復号化器は、それらを用いて、ターゲットディスプレイ（４４０）上への画像データ４１２の表示をより向上させる。

ｆ_QT（Ｚ）は、ターゲットディスプレイ４４０用のＱＶＥマッピング関数４２８を示すものとする。先述のように、ｆ_QT（Ｚ）（例えば、１１０Ｂ）が与えられると、ディスプレイプロセッサは容易にその逆関数ｆ^-1 _QT（Ｚ）（ある入力ＶＱＥ値に対して、それに対応するＺ値を出力する）を構築し得る。ステップ４３０において、受信器では、１組の入力ＱＶＥ値４２４（例えば、Ｑ_R（ｎ））が与えられると、最終ターゲットディスプレイ深度データ４３２（例えば、Ｚ_T（ｎ）で示される）は以下のようにして生成され得る。

図４Ｂは、支援ディスプレイアダプテーションの別の実施形態を示している。処理４００Ａ同様、４００Ｂにおけるステップ４１０は、あるクラスのディスプレイをターゲットにした深度データを生成する。ただし、出力深度データ自身（例えば、Ｚ_R（ｎ）４１４）および基準ディスプレイＱＶＥマッピング４１２を出力するのではなく、ステップ４１０は、オリジナル深度データ４０７（例えば、Ｚ_I（ｎ））および深度範囲変換関数（ｆ_CR（Ｚ））の表現（Ｚ_R（ｎ）＝ｆ_CR（Ｚ_I（ｎ）））を出力する。

Ｚ_I（ｎ）４０７、ｆ_CR（Ｚ）および基準ディスプレイＱＶＥマッピング４１２（ｆ_QR（Ｚ））が与えられると、ステップ４２０は、Ｑ_R（ｎ）４２４がＱ_R（ｎ）＝ｆ_{QR_A}（Ｚ_I（ｎ））として表され得るような、アーティストの意図を表すマッピング関数４２２ｆ_{QR_A}（Ｚ）を生成し得る。ある実施形態においては、マッピング関数４２２ｆ_{QR_A}（Ｚ）の表現は、深度データ４０７とともにメタデータを用いて送信器または符号化器から下流側の復号化器へと送信され得る。マッピング関数４２２は、ルックアップテーブル、パラメトリック線形、区分線形または非線形関数などのパラメータとして等、当該分野では既知の様々な方法で送信され、ＱＶＥデータ−深度変換器４３０のような下流側処理ステップで再構築され得る。

Ｚ_I（ｎ）４０７、ｆ_{QR_A}（Ｚ）４２２およびターゲットディスプレイＱＶＥマッピング４２８（ｆ_QT（Ｚ））が与えられると、先述のように、処理４３０において、以下のように最終的なＺ_T（ｎ）深度データ４３２を生成し得る。

いくつかの実施形態においては、ｆ_{QR_A}（Ｚ）関数４２２に加えて、ステップ４１０において生成された深度データ変換関数４１６（ｆ_CR（Ｚ））をも受信器に送信し得る。これにより、ＱＶＥマッピングという概念を持たない旧型の復号化器が、Ｚ_T（ｎ）をＺ_T（ｎ）＝ｆ_CR（Ｚ_I（ｎ））として再構築できるようになる。

いくつかの実施形態においては、帯域幅を守り、送信データレートを最小限に抑えるために、送信器は、アーティストマッピング関数ｆ_{QR_A}（Ｚ）関数の部分表現のみを送信してもよい。その後、復号化器は、ｆ_{QR_A}（Ｚ）の近似値を再構築し得る。本明細書中の文脈において、厳密なｆ_{QR_A}（Ｚ）の使用とその近似値の使用は同じであり、相互に置き換え可能である。

（ディスプレイエミュレーション）
いくつかの実施形態においては、コンテンツ作成段階４１０において、単一の基準ディスプレイ５４０を用いて異なるターゲットディスプレイ上の視聴条件をエミュレートするために、ＱＶＥマッピング関数４０８のファミリーが用いられ得る。ある実施形態において、図５は、３Ｄディスプレイエミュレーションの処理例を示す。処理ステップ４２０および４３０がここではディスプレイエミュレーション５２０の単一ステップに統合し得ることを除いて、処理５００は処理４００Ａと同様である。

ポストプロダクション５００において、アーティスト４０６は、ディスプレイ５４０を基準ディスプレイとして用いて基準深度データ４１４を生成し得る。この処理段階において、ディスプレイエミュレーション処理５２０をバイパスし、ディスプレイ５４０は、カラーグレーディングされた画像コンテンツ５１２を基準深度データ４１４に直接基づいて表示してもよい。アーティストがもし別のディスプレイ（既存の、あるいはまたは未来のディスプレイにおける未来の、ＱＶＥマッピング関数を有している）において出力４１４がどのように見えるのかをエミュレートしたい場合は、処理４００Ａの一部として先述したステップ４２０および４３０の単純な組み合わせであるディスプレイエミュレーション５２０により生成された深度データを、ディスプレイ５４０に供給すればよい。ディスプレイエミュレーションモードにおいては、ＱＶＥマッピング関数４２８は、エミュレートするターゲットディスプレイ用のＱＶＥマッピングを表す。

表１は、本明細書中で使用される主な記号および用語をまとめたものである。

（コンピュータシステム実施例）
本発明の実施形態は、コンピュータシステム、電子回路および構成要素で構成されたシステム、マイクロコントローラ、フィールドプログラマブルゲートアレイ（ＦＰＧＡ）または他のコンフィギュラブルまたはプログラマブルロジックデバイス（ＰＬＤ）、離散時間またはデジタル信号プロセッサ（ＤＳＰ）、特定用途向けＩＣ（ＡＳＩＣ）などの集積回路（ＩＣ）デバイス、および／または、このようなシステム、デバイスまたは構成要素を１つ以上含む装置を用いて実施され得る。このコンピュータおよび／またはＩＣは、本明細書に記載のような支援３Ｄディスプレイアダプテーションに関する命令を行い、制御し、または実行し得る。このコンピュータおよび／またはＩＣは、本明細書に記載の支援３Ｄディスプレイアダプテーションに関する様々なパラメータまたは値のいずれをも演算し得る。支援３Ｄディスプレイアダプテーションの実施形態は、ハードウェア、ソフトウェア、ファームウェアおよびそれらの様々な組み合わせで実施され得る。

本発明の特定の実装は、本発明の方法をプロセッサに行わせるためのソフトウェア命令を実行するコンピュータプロセッサを含む。例えば、ディスプレイ、符号化器、セットトップボックス、トランスコーダなどの中の１つ以上のプロセッサは、そのプロセッサがアクセス可能なプログラムメモリ内にあるソフトウェア命令を実行することによって、上記のような支援３Ｄディスプレイアダプテーションの方法を実施し得る。本発明は、プログラム製品形態で提供されてもよい。このプログラム製品は、データプロセッサによって実行された時に本発明の方法をデータプロセッサに実行させるための命令を含むコンピュータ可読信号のセットを格納する任意の媒体を含み得る。本発明によるプログラム製品は、様々な形態のいずれをとっていてもよい。例えば、このプログラム製品は、フロッピーディスク（登録商標）、ハードディスクドライブを含む磁気データ記憶媒体、ＣＤ−ＲＯＭ、ＤＶＤを含む光学データ記憶媒体、ＲＯＭ、フラッシュＲＡＭなどを含む電子データ記憶媒体、などの物理的媒体を含み得る。このプログラム製品上のコンピュータ可読信号は、任意に、圧縮または暗号化されていてもよい。

上記においてある構成要素（例えば、ソフトウェアモジュール、プロセッサ、アセンブリ、デバイス、回路など）に言及している場合、その構成要素への言及（「手段」への言及を含む）は、そうでないと明記されている場合を除いて、当該構成要素の機能を果たす（例えば、機能的に均等である）あらゆる構成要素（上記した本発明の実施形態例に出てくる機能を果たす開示構造に対して構造的に均等ではない構成要素も含む）を、当該構成要素の均等物として含むものと解釈されるべきである。

（均等物、拡張物、代替物、その他）
支援３Ｄディスプレイアダプテーションに関する実施形態例を上述した。本明細書中において、各実装毎に異なり得る多数の詳細事項に言及しながら本発明の実施形態を説明した。従って、本発明が何たるか、また、本出願人が本発明であると意図するものを示す唯一且つ排他的な指標は、本願が特許になった際の請求の範囲（今後出されるあらゆる訂正を含む、特許となった特定の請求項）である。当該請求項に含まれる用語に対して本明細書中に明示したあらゆる定義が、請求項内で使用される当該用語の意味を決定するものとする。よって、請求項において明示されていない限定事項、要素、性質、特徴、利点または属性は、その請求項の範囲をいかなる意味においても限定すべきではない。従って、本明細書および図面は、限定するものではなく、例示的であるとみなされるものである。

Claims (18)

1. 視聴体験クオリティー（ＱＶＥ）マッピングを用いて３Ｄディスプレイを特徴付ける方法であって、
   前記３Ｄディスプレイ上に表示する立体画像についての、ある深度範囲の入力深度値の各値またはある視差範囲の入力視差値の各値に対して、前記３Ｄディスプレイ用の出力ＱＶＥ値を生成する工程と、
   前記出力ＱＶＥ値に応じて前記３Ｄディスプレイ用の深度データを生成する工程と、
   前記入力深度値または入力視差値と前記生成される出力ＱＶＥ値との間の視聴体験クオリティー（ＱＶＥ）マッピングを生成する工程と、を包含し、
   前記視聴体験クオリティーは視覚的ボケの度合いを含む、方法。
2. 基準３Ｄディスプレイ上に表示する立体画像についての、ある深度範囲の入力深度値の各値またはある視差範囲の入力視差値の各値に対して、前記基準３Ｄディスプレイ用の出力基準ＱＶＥ値を生成する工程と、
   前記入力深度値または入力視差値と前記生成される出力基準ＱＶＥ値との間の基準ＱＶＥマッピングを生成する工程とを包含する、請求項１に記載の方法。
3. 前記出力ＱＶＥ値を生成する工程は、
   前記３Ｄディスプレイ上に表示する立体画像についての前記入力深度または視差を有するテスト立体画像を前記３Ｄディスプレイ上に表示する工程（２１０）と、
   前記表示された画像をカメラで撮影して、２Ｄ撮影画像を生成する工程（２１５）と、
   前記２Ｄ撮影画像を分析して、前記入力深度または視差に対応する前記出力ＱＶＥ値を生成する工程（２２０）とを包含する、請求項１または２に記載の方法。
4. 前記テスト立体画像は、正弦波関数の１つ以上の２Ｄ表現を含む、請求項３に記載の方法。
5. 前記２Ｄ撮影画像を分析する工程は、
   前記テスト立体画像の視点に応じてボケフィルタを用いてボケた画像の組を生成する工程であって、前記ボケた画像の組の各ボケた画像は異なるボケパラメータを用いて生成される工程と、
   画像比較基準に従って、前記２Ｄ撮影画像を前記ボケた画像の組のうちの１つ以上のボケた画像と比較して、１つ以上の差分メトリックを決定する工程と、
   前記決定された１つ以上の差分メトリックに応じて、前記出力ＱＶＥ値を生成する工程とを包含する、請求項３に記載の方法。
6. 前記ボケフィルタはガウスフィルタを含み、前記ボケパラメータは前記ガウスフィルタの標準偏差を含み、前記出力ＱＶＥ値は、その出力および前記２Ｄ撮影画像間の差分メトリックが最小となる前記ガウスフィルタの標準偏差の関数である、請求項５に記載の方法。
7. 支援３Ｄディスプレイアダプテーションの方法であって、
   立体画像のオリジナル入力深度データ（４０７）を受信する工程と、
   基準深度マップデータ（４１４）を生成する工程であって、前記基準深度マップデータは、前記オリジナル入力深度データ（４０７）および深度範囲変換関数（４１６）に応じて生成される工程と、
   前記基準深度マップデータ（４１４）および基準ディスプレイＱＶＥマッピング（４１２）に応じて視聴体験クオリティー（ＱＶＥ）データ（４２４）を生成する工程であって、前記基準ディスプレイＱＶＥマッピングは、基準ディスプレイについて決定された、入力深度または視差値と出力ＱＶＥ値との間の入出力関係を表している工程と、
   前記ＱＶＥデータ（４２４）に応じてターゲットディスプレイ深度データ（４３２）を生成する工程と、を包含する方法。
8. 前記ＱＶＥデータ（４２４）を受信器に送信する工程をさらに包含する、請求項７に記載の方法。
9. 前記基準深度データ（４１４）および前記基準ディスプレイＱＶＥマッピング（４１２）の表現を受信器に送信する工程をさらに包含する、請求項７に記載の方法。
10. 前記オリジナル入力深度データ（４０７）、前記基準ディスプレイＱＶＥマッピング（４１２）の表現、および、前記深度範囲変換関数（４１６）の表現を受信器に送信する工程をさらに包含する、請求項７に記載の方法。
11. 復号化器における支援３Ｄディスプレイアダプテーションの方法であって、
    オリジナル入力深度データ（４０７）およびアーティストマッピング関数（４２２）の表現を前記復号化器において受信する工程であって、前記アーティストマッピング関数は、前記オリジナル入力深度データと基準ディスプレイに対して符号化器によって生成されるＱＶＥデータ（４２４）との間の入出力関係を表している工程と、
    前記アーティストマッピング関数を前記オリジナル入力深度データに適用して、復号化されたＱＶＥデータを生成する工程と、
    ターゲットディスプレイについての逆ＱＶＥマッピング（４２８）を前記復号化されたＱＶＥデータに適用して、前記ターゲットディスプレイ用のターゲット深度データ（４３２）を生成する工程であって、前記ターゲットディスプレイについての前記逆ＱＶＥマッピングは、前記ターゲットディスプレイに対して決定された、入力ＱＶＥ値と出力深度値との間の入出力関係を表している工程と、を包含する方法。
12. 復号化器における支援３Ｄディスプレイアダプテーションの方法であって、
    請求項８に記載の方法に従って符号化器によって生成されたＱＶＥデータ（４２４）を前記復号化器で受信する工程と、
    ターゲットディスプレイについての逆ＱＶＥマッピング（４２８）を前記ＱＶＥデータに適用して、前記ターゲットディスプレイ用のターゲット深度データを生成する工程であって、前記ターゲットディスプレイについての前記逆ＱＶＥマッピングは、前記ターゲットディスプレイに対して決定された、入力ＱＶＥ値と出力深度値との間の入出力関係を表している工程と、を包含する方法。
13. 復号化器における支援３Ｄディスプレイアダプテーションの方法であって、
    基準深度データ（４１４）および基準ディスプレイＱＶＥマッピング（４１２）の表現を前記復号化器で受信する工程であって、前記基準ディスプレイＱＶＥマッピングは、基準ディスプレイに対して決定された、入力深度または視差データと出力ＱＶＥ値との間の入出力関係を表している工程と、
    前記基準ディスプレイＱＶＥマッピングを前記基準深度データ（４１４）に適用して、復号化されたＱＶＥデータを生成する工程と、
    ターゲットディスプレイについての逆ＱＶＥマッピング（４２８）を前記復号化されたＱＶＥデータに適用して、前記ターゲットディスプレイ用のターゲット深度データを生成する工程であって、前記ターゲットディスプレイについての前記逆ＱＶＥマッピングは、前記ターゲットディスプレイに対して決定された、入力ＱＶＥ値と出力深度値との間の入出力関係を表している工程と、を包含する方法。
14. 復号化器における支援３Ｄディスプレイアダプテーションの方法であって、
    オリジナル入力深度データ（４０７）、深度範囲変換関数および基準ディスプレイＱＶＥマッピング（４１２）の表現を前記復号化器で受信する工程であって、前記基準ディスプレイＱＶＥマッピングは、基準ディスプレイに対して決定された、入力深度または視差データと出力ＱＶＥ値との間の入出力関係を表している工程と、
    前記深度範囲変換関数を前記オリジナル入力深度データに適用して、基準深度データ（４１４）を生成する工程と、
    前記基準ディスプレイＱＶＥマッピングを前記基準深度データ（４１４）に適用して、復号化されたＱＶＥデータを生成する工程と、
    ターゲットディスプレイについての逆ＱＶＥマッピング（４２８）を前記復号化されたＱＶＥデータに適用して、前記ターゲットディスプレイ用のターゲット深度データを生成する工程であって、前記ターゲットディスプレイについての前記逆ＱＶＥマッピングは、前記ターゲットディスプレイに対して決定された、入力ＱＶＥ値と出力深度値との間の入出力関係を表している工程と、を包含する方法。
15. ３Ｄディスプレイエミュレーションの方法であって、
    立体画像のオリジナル入力深度データ（４０７）を受信する工程と、
    基準深度マップデータ（４１４）を生成する工程であって、前記基準深度マップデータは、前記オリジナル入力深度データ（４０７）および深度範囲変換関数（４１６）に応じて生成される工程と、
    前記基準深度マップデータ（４１４）および基準ディスプレイＱＶＥマッピング（４１２）に応じて視聴体験クオリティー（ＱＶＥ）データ（４２４）を生成する工程であって、前記基準ディスプレイＱＶＥマッピングは、基準ディスプレイについて決定された、入力深度または視差データと出力ＱＶＥ値との間の入出力関係を表している工程と、
    エミュレートするターゲットディスプレイを選択する工程と、
    前記エミュレートするターゲットディスプレイについての逆ＱＶＥマッピング（４２８）を前記ＱＶＥデータ（４２４）に適用して、前記エミュレートするターゲットディスプレイ用のターゲット深度データを生成する工程であって、前記エミュレートするターゲットディスプレイについての前記逆ＱＶＥマッピングは、前記エミュレートするターゲットディスプレイに対して決定された、入力ＱＶＥ値と出力深度値との間の入出力関係を表している工程と、を包含する方法。
16. プロセッサを備え、請求項１から１５のいずれかに記載の方法を行うように構成された装置。
17. 請求項１から１５のいずれかに記載の方法を実行するためのコンピュータ実行可能命令を格納した非一時的なコンピュータ可読記憶媒体。
18. 視聴体験クオリティー（ＱＶＥ）マッピングを用いて３Ｄディスプレイを特徴付ける方法であって、
    前記３Ｄディスプレイ上に表示する立体画像についての、ある深度範囲の入力深度値の各値またはある視差範囲の入力視差値の各値に対して、前記３Ｄディスプレイ用の出力ＱＶＥ値を生成する工程と、
    前記出力ＱＶＥ値に応じて前記３Ｄディスプレイ用の深度データを生成する工程とを包含し、
    前記視聴体験クオリティー（ＱＶＥ）マッピングは、前記入力深度値または前記入力視差値と前記出力ＱＶＥ値との間の入出力関係を表しており、
    前記出力ＱＶＥ値を生成する工程は、
    前記入力深度または視差を有するテスト立体画像を前記３Ｄディスプレイ上に表示する工程（２１０）と、
    前記表示された画像をカメラで撮影して、２Ｄ撮影画像を生成する工程（２１５）と、
    前記２Ｄ撮影画像を分析して、前記入力深度または視差に対応する前記出力ＱＶＥ値を生成する工程（２２０）とを包含し、
    前記２Ｄ撮影画像を分析する工程は、
    前記テスト立体画像の視点に応じてボケフィルタを用いてボケた画像の組を生成する工程であって、前記ボケた画像の組の各ボケた画像は異なるボケパラメータを用いて生成される工程と、
    画像比較基準に従って、前記２Ｄ撮影画像を前記ボケた画像の組のうちの１つ以上のボケた画像と比較して、１つ以上の差分メトリックを決定する工程と、
    前記決定された１つ以上の差分メトリックに応じて、前記出力ＱＶＥ値を生成する工程とを包含する、方法。

Images