JP2012513146A - 表示パラメータ設定の制御 - Google Patents

Abstract

画像データの表示を制御するシステムは、第１の表示パラメータに依存して前記画像データを出力するようにソース画像データを処理するソース装置１０、例えばＢＤプレイヤを持ち、前記表示パラメータを制御するユーザ制御１５を持つ。前記画像データは、前記ソース装置から、他の表示パラメータに依存して前記画像データを表示し、前記他の表示パラメータを設定する他のユーザ制御１６を持つ表示装置１３に転送される。前記ソース装置は、前記表示装置に前記画像データとともに転送される表示制御マスク構造を提供する。前記表示装置は、前記表示制御マスク構造によって前記他の表示パラメータの設定をマスキングすることにより前記表示制御マスク構造に依存して前記画像データを表示する。有利には、３Ｄシステムにおいて、前記表示装置の深度設定は、コンテンツ作成者からのデータに基づく前記表示制御マスク構造に基づいて制御される。

Description

本発明は、画像データの表示を制御する方法に関し、前記方法は、ソース装置において、第１の表示パラメータに依存して前記画像データを出力するためにソース画像データを処理するステップであって、前記ソース装置が、前記第１の表示パラメータを制御する第１のユーザ制御要素を備える、当該処理するステップと、前記ソース装置から表示装置に前記画像データを転送するステップと、前記表示装置において、前記画像データを受信するステップと、第２の表示パラメータに依存して前記画像データを表示するステップとを有し、前記表示装置が、前記第２の表示パラメータを設定する第２のユーザ制御要素を備える。

本発明は、更に、画像データの表示を制御する装置、画像データを表示する表示装置、並びに画像データの表示を制御する信号及びコンピュータプログラムに関する。

本発明は、表示装置上で画像データ、例えばビデオをレンダリング及び表示し、ユーザにより表示パラメータ設定を制御する分野に関する。

ビデオデータをレンダリングする装置、例えばＤＶＤプレイヤのようなビデオプレイヤ又はデジタルビデオ信号をレンダリングするセットトップボックスは、周知である。文献ＵＳ５９２３６２７は、このようなレンダリング装置の例を記載している。前記レンダリング装置は、一般に、テレビセットのような表示装置に結合されるべきソース装置として使用される。画像データは、前記ソース装置からＨＤＭＩのような適切なインタフェースを介して転送される。前記ビデオプレイヤのユーザは、遠隔制御装置上のボタン又はグラフィックユーザインタフェース（ＧＵＩ）内の仮想的なボタン及び他のユーザ制御のようなユーザ制御要素のセットを与えられる。前記ユーザ制御要素は、前記ユーザが前記ビデオプレイヤ内の前記画像データのレンダリングを調節することを可能にする。

更に、前記表示装置は、更に、表示機能を調節する、例えば表示画面上のコントラスト及び色を設定するユーザ制御要素を提供する。

文献ＵＳ５９２３６２７は、ユーザがユーザ制御要素を介してレンダリングを調節することができるレンダリング装置の例を提供する。しかしながら、前記表示装置が、他のユーザ制御要素を提供すると、様々な機能が、結合された装置のセットにより構成されるレンダリングシステム内の異なる点において設定されうる。更に、前記画像データの作成者、例えば映画のディレクタは、視聴者に対する実際の表示において前記画像データのレンダリングを制御することを望むかもしれない。したがって、既知のシステムは、表示パラメータの制御がレンダリングシステム内の様々な点において与えられるという問題を持つ。

本発明の目的は、表示装置において使用される表示パラメータのより一貫した制御を提供することである。

この目的のために、本発明の第１の態様によると、冒頭の段落に記載されたような方法において、前記ソース装置において、表示制御マスク構造を提供するステップと、前記表示制御マスク構造を前記画像データとともに前記ソース装置から前記表示装置に転送するステップと、前記表示装置において、前記表示制御マスク構造を受信するステップと、前記表示制御マスク構造によって前記第２の表示パラメータの設定をマスキングすることにより前記表示制御マスク構造に依存して前記画像データを表示するステップとを有する。

この目的のために、本発明の第２の態様によると、冒頭の段落に記載されたような画像データの表示を制御する装置は、前記ソース装置から表示装置に前記画像データを転送する出力手段と、第１の表示パラメータを制御する第１のユーザ制御要素と、前記第１の表示パラメータに依存して前記出力手段に前記画像データを提供するためにソース画像データを処理する処理手段と、表示マスク構造を提供する制御マスク手段とを有し、前記出力手段が、前記表示制御マスク構造を前記画像データとともに前記装置から前記表示装置に転送する。

この目的のために、本発明の他の態様によると、前記表示装置は、ソース装置から転送された前記画像データを受信する入力手段と、第２の表示パラメータを設定する第２のユーザ制御要素と、前記第２の表示パラメータに依存して前記画像データを表示する表示手段と、表示制御マスク構造によって前記第２の表示パラメータの設定をマスキングするマスキング手段とを有し、前記入力手段が、前記画像データとともに前記表示制御マスク構造を受信し、前記表示手段が、前記表示制御マスク構造に依存して前記画像データを表示する。

この目的のために、本発明の他の態様によると、表示装置において画像データの表示を制御する信号は、前記画像データを表しており、表示制御マスク構造であって、前記表示装置において、前記表示制御マスク構造によって前記表示パラメータの設定をマスキングすることにより前記表示制御マスク構造に依存して前記画像データを表示するための前記表示制御マスク構造を有する。

この目的のために、本発明の他の態様によると、画像データの表示を制御するコンピュータプログラムにおいて、前記プログラムは、前記ソース装置及び／又は前記表示装置において、前述の方法のそれぞれのステップをプロセッサに実行させるように動作する。

これらの方策は、観察者に対して前記画像データを表示するのに使用される前記表示パラメータが、前記表示制御マスク構造により制御されるように設定されるという効果を持つ。特に、前記表示装置において前記表示パラメータを設定する前記第２のユーザ制御要素の機能は、前記表示制御マスク構造によってマスクされる。有利には、前記表示装置は、ここで、前記表示パラメータの設定に関して前記レンダリングシステムの制御される部分を構成する。この制御は、前記ソース装置から前記表示装置に前記表示制御マスク構造を転送することにより実行され、これは、有利には、前記ソース装置が、例えば前記画像データ及びマスキング情報の両方を含む記録担体から取り出された、前記画像データのソースにより示されるように制御機能又は制限を実施することを可能にする。

本発明は、以下の認識にも基づく。前記表示パラメータの設定は、画像レンダリングシステムにおいて実行され、前記画像レンダリングシステムは、前記画像データをこの後に処理する連結された装置の鎖により構成される。現在の技術水準の画像レンダリングシステムは、前記ユーザが、前記鎖の複数の段階において表示パラメータを修正することを可能にする。特に、前記ユーザは、不注意に表示パラメータを変更するかもしれず、これは、例えば映画の作成者により、前記鎖のより早い段階に故意に特定の値に設定された画像パラメータに影響を与える。例えば、前記作成者は、前記画像を非常にカラフルに設計したかもしれないが、前記ユーザは、前記表示装置において色を減少する。本発明者は、前記表示装置における設定が、適切な場合に、すなわちレンダリングされる画像データに関して動的に、制御可能にされるべきであると考える。前記ソース装置において前記表示制御マスク構造を生成すること及び前記表示装置に前記画像データとともに前記表示制御マスク構造を転送することは、このような制御を達成する。条件が変化する場合、前記マスクの新しい事例が、生成及び転送されることができる。これは、前記ソース装置が、前記画像データに依存して前記表示装置における前記ユーザ制御要素の操作を制御、制限及び／又は限定することを可能にされる。

ＵＳ５９２３６２７が、光ディスク再生装置における特別な再生機能のユーザ操作を制限し、例えば早送りスキャン機能を可能にしないマスクを提供することを記載していることに注意する。前記光ディスクは、特別な再生モードを要求するキーインタラプトをマスクするかどうかを示すマスクフラグを含む制御情報を含むことができる。このような制御が、前記記録担体の再生中にユーザ再生制御機能の一部をブロックすることにより、ディスク再生装置自体の操作に影響を与えるだけであることに注意すべきである。したがって、前記マスクは、前記画像データ自体を取りだすプロセスにおいて前記再生装置の操作に対して使用される。前記文献は、全く表示パラメータ設定に関連しない。更に、前記文献は、前記再生装置自体の中ではなく、画像処理装置の鎖内の異なる場所で実行されることができる制御機能について何も記載していない。

前記レンダリングシステムの一実施例において、前記画像データは、３Ｄ表示装置に表示するための深度情報を有し、前記第２の表示パラメータは、表示深度パラメータを有し、前記表示制御マスク構造は、少なくとも１つの深度パラメータ設定をマスキングする深度マスキング制御データを有する。その効果は、様々な要素が、前記表示制御マスク構造の制御下で特定の深度表示位置において表示されることである。深度パラメータを設定することは、従来の装置において、前記表示装置において前記ユーザにより制御されることができる他の表示設定であると以前は見なされていた。しかしながら、本発明者は、一部の画像データが、前記ユーザにおける混乱、又は歪んだ深度表示レンダリングによる邪魔な又は不愉快な効果を防ぐために前記深度パラメータ設定の注意深い制御の下でレンダリングされなければならないと考えている。このような認識から始めて、本発明者は、前記表示制御マスク構造が、深度パラメータの設定を制御するために前記表示装置に前記画像データとともに転送され、前記深度マスキング制御データを有する制御マスクが、前記ソース装置において生成されるという解決法を提供した。これは、前記ソース装置が、前記画像データによって前記表示装置において前記深度範囲を制御、制限及び／又は限定することを可能にされ、前記表示装置の深度範囲の効果的かつ正しい使用を達成するという利点を持つ。

前記装置の一実施例において、前記処理手段は、情報担体から前記ソース画像データ及び関連したマスクデータを取り出し、前記制御マスク手段は、前記マスクデータに依存して前記表示制御マスク構造を提供する。その効果は、前記表示制御マスク構造が、前記情報担体から取り出された前記マスクデータに基づいて生成されるのに対し、前記生成された表示制御マスク構造が、この後に前記表示装置に転送されることである。したがって、前記情報担体上の前記画像データの作成者は、前記表示装置における表示パラメータの設定を制御することを可能にされる。

本発明による装置及び方法の他の好適な実施例は、添付の請求項において与えられ、その開示は、参照によりここに組み込まれる。

本発明のこれら及び他の態様は、添付の図面を参照して以下の説明において例として記載される実施例を更に参照して説明され、理解される。

図面において、既に記載された要素に対応する要素は、同じ参照番号を持つ。

画像データをレンダリングするシステムを示す。 画像データの例を示す。 画像データ構造を示す。 ユーザ操作マスクテーブルのセクションを示す。 深度マスキング制御データを有する表示制御マスク構造を示す。 深度設定を持つパケットタイプを示す。 視差設定を持つＨＤＭＩデータアイランドパケットを示す。

図１は、ビデオ、グラフィックス又は他の視覚的情報のような画像データをレンダリングするシステムを示す。レンダリング装置１０は、ソース装置に結合され、表示装置１３にデータを転送する。前記レンダリング装置は、画像情報を受信する入力ユニット５１を持つ。例えば、前記入力ユニット装置は、ＤＶＤ又はブルーレイディスクのような光学記録担体５４から様々なタイプの画像情報を取りだす光ディスクユニット５８を含みうる。代替的には、前記入力ユニットは、ネットワーク５５、例えばインターネット又は放送ネットワークに結合するネットワークインタフェースユニット５９を含んでもよい。画像データは、遠隔メディアサーバ５７から取り出されてもよい。

前記レンダリング装置は、入力ユニット５１に結合され、前記画像情報を処理し、出力ユニット１２を介して前記表示装置に転送されるべき転送情報５６を生成する処理ユニット５２を持つ。処理ユニット５２は、表示装置１３に表示する転送情報５６に含まれる前記画像データを生成する。前記レンダリング装置は、コントラスト又は色パラメータのような前記画像データの表示パラメータを制御する、ここで第１のユーザ制御要素１５と称される、ユーザ制御要素を与えられる。前記ユーザ制御要素自体は、周知であり、再生及び記録機能のような前記レンダリング装置の様々な機能を制御する様々なボタン及び／又はカーソル制御機能を持ち、例えばグラフィックユーザインタフェース及び／又はメニューにより前記表示パラメータを設定する遠隔制御ユニットを含むことができる。処理ユニット５２は、前記ソース画像データを処理する回路を持ち、前記ユーザ制御要素により設定された前記表示パラメータに依存して出力ユニット１２に前記画像データを提供する。

前記レンダリング装置は、出力ユニット１２に結合された表示制御マスク構造を提供する制御マスクユニット１１を持ち、前記出力ユニットは、転送情報５６として前記装置から前記表示装置に前記画像データとともに前記表示制御マスク構造を転送する。前記表示制御マスク構造は、表示パラメータを設定する場合にユーザが実行することができる操作を決定、制限及び／又はブロック／可能にする制御データのセットである。

表示装置１３は、画像データを表示するものである。前記装置は、レンダリング装置１０のようなソース装置から転送された画像データを含む転送情報５６を受信する入力ユニット１４を持つ。前記表示装置は、コントラスト又は色パラメータのような前記表示装置の表示パラメータを設定する、ここで第２のユーザ制御要素１６と称される、ユーザ制御要素を与えられる。前記転送された画像データは、前記ユーザ制御要素からの設定コマンド及び前記表示パラメータによって処理ユニット１８において処理される。前記装置は、前記処理された画像データを表示するディスプレイ１７、例えばＬＣＤ又はプラズマスクリーンを持つ。したがって、前記画像データの表示は、前記第２のユーザ制御要素により設定される前記表示パラメータに依存して実行される。

前記表示装置は、処理ユニット１８に結合され、表示制御マスク構造によって前記第２の表示パラメータの設定のユーザ操作をマスキングするマスキングユニット１９を更に含む。入力ユニット１９は、前記画像データとともに前記表示制御マスク構造を受信する。表示ユニット１７は、前記表示制御マスク構造に依存して前記画像データを表示する。例えば、前記表示制御マスク構造は、前記処理ユニット及び表示ユニットに、色又はコントラスト設定のようなユーザ表示設定機能の一部をブロックさせる、又はこのようなパラメータをデフォルト又は所定の値にリセットさせるように前記マスキングユニットに命令することができる。

図１は、前記画像データの担体として記録担体５４を更に示す。前記記録担体は、ディスク形状であり、トラック及び中心の孔を持つ。一連の物理的に検出可能なマークにより構成される前記トラックは、情報層上に実質的に平行なトラックを構成する回転のらせん状又は同心パターンによって構成される。前記記録担体は、光学的に読み取り可能であることができ、光ディスク、例えばＣＤ、ＤＶＤ又はＢＤ（ブルーレイディスク）と称される。情報は、前記トラックに沿った光学的に検出可能なマーク、例えばピット及びランドにより前記情報層上に表される。このトラック構造は、通常は情報ブロックと称される、情報のユニットの場所を示す位置情報、例えばヘッダ及びアドレスをも有する。記録担体５４は、ＤＶＤ又はＢＤアプリケーションフォーマットのような所定の記録フォーマットで、例えばＭＰＥＧ２符号化システムによって符号された、ビデオのようなデジタル符号化された画像データを表す情報を持つ。提案されたように画像データのレンダリングの制御を適合するために、前記記録担体のトラック内のマークは、前記表示制御マスク構造、又は前記表示制御マスク構造を生成することを可能にする制御データをも具体化する。

ＢＤシステムの場合、更なる詳細は、ブルーレイディスクアソシエーション（http://www.bluraydisc.com）により発行された公的に入手可能な技術白書"Blu-ray Disc Format General August 2004"及び"Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November, 2005"において見つけられることができる。

以下、ＢＤアプリケーションフォーマットを参照する場合には、米国特許出願２００６−０１１０１１１（代理人整理番号ＮＬ０２１３５９）及びブルーレイディスクアソシエーションにより発行された白書"Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005"に開示されるアプリケーションフォーマットを特に参照する。

ＢＤシステムは、ネットワーク接続性を持つ完全にプログラム可能なアプリケーション環境をも提供され、これによりコンテンツプロバイダがインタラクティブコンテンツを作成することを可能にすることが知られている。このモードは、Java（登録商標）プラットフォームに基づき、"ＢＤ−Ｊ"として知られている。ＢＤ−Ｊは、ＥＴＳＩ ＴＳ １０１ ８１２として公的に入手可能な、デジタルビデオ放送（ＤＶＢ）−マルチメディアホームプラットフォーム（ＭＨＰ）仕様書１．０のサブセットを規定する。

一実施例において、前記レンダリングシステムは、３Ｄ画像ディスプレイ上に三次元（３Ｄ）画像データを表示する。このために、前記画像データは、３Ｄ表示装置上に表示するために深度情報を含み、
前記第２の表示パラメータが、表示深度パラメータを含み、
前記表示制御マスク構造は、少なくとも１つの深度パラメータ設定をマスキングする深度マスキング制御データを含む。図１を参照して記載される前記システムを参照すると、表示装置５３は、ここで、矢印４４により示される表示深度範囲を持つ、３Ｄディスプレイとも称されるステレオスコピックディスプレイである。前記３Ｄ画像情報は、３Ｄ画像データを含むように強化された光学記録担体５４から取り出されることができる。インターネットを介して、３Ｄ画像情報は、遠隔メディアサーバ５７から取り出されてもよい。

以下のセクションは、三次元ディスプレイの概観及び人間による深度の知覚を提供する。３Ｄディスプレイは、深度のより鮮明な知覚を提供する点で２Ｄディスプレイとは異なる。これは、単眼深度キュー及び動きに基づくキューのみを示すことができる２Ｄディスプレイより多くの深度キュー（depth cues）を提供するので、達成される。

単眼（又は静止）深度キューは、単一の目を使用して静止画像から得られることができる。画家は、しばしば、絵画において深度の感覚を作成するのに単眼キューを使用する。これらのキューは、相対的なサイズ、水平線に対する高さ、遮蔽、遠近法、テクスチャ勾配及び照明／陰影を含む。眼球運動キューは、観察者の目の筋肉の緊張から得られる深度キューである。目は、目を回転させ、目のレンズを引き伸ばす筋肉を持つ。目のレンズの伸長及び緩和は、調節（accommodation）と称され、画像に焦点を合わせる場合に行われる。レンズ筋肉の伸長又は緩和の量は、どの程度対象が遠いか又は近いかに対するキューを提供する。目の回転は、両方の目が同じ対象に焦点を合わせるように行われ、これは、輻輳と称される。最後に、運動視差は、観察者に近い対象が遠い対象より速く移動するという効果である。

両眼視差は、両方の目がわずかに異なる画像を見るという事実から得られる深度キューである。単眼深度キューは、２Ｄ視覚的表示タイプで使用されることができ、使用される。ディスプレイにおいて両眼視差を再作成するためには、前記ディスプレイが、各目が前記ディスプレイ上でわずかに異なる画像を見るような左目及び右目用のビューをセグメント化することができることを要求する。両眼視差を再作成することができるディスプレイは、我々が３Ｄ又はステレオスコピックディスプレイと称する特別なディスプレイである。前記３Ｄディスプレイは、人間の目により実際に知覚される深度寸法によって画像を表示することができ、この文書において表示深度範囲を持つ３Ｄディスプレイと称される。したがって、３Ｄディスプレイは、左目及び右目に異なるビューを提供する。

２つの異なるビューを提供することができる３Ｄディスプレイは、長い間、現役である。これらのほとんどは、左目ビュー及び右目ビューを分離する眼鏡の使用に基づく。現在、表示技術の進歩によって、眼鏡を使用することなしにステレオ視野を提供することができる新しいディスプレイが市場に参入している。これらのディスプレイは、オートステレオスコピックディスプレイと称される。

第１のアプローチは、ユーザが眼鏡なしでステレオビデオを見ることを可能にするＬＣＤディスプレイに基づく。これらは、２つの技術、レンチキュラスクリーンディスプレイ及びバリアディスプレイのいずれかに基づく。前記レンチキュラディスプレイを用いて、前記ＬＣＤは、レンチキュラレンズのシートにより覆われる。これらのレンズは、左目及び右目が異なる画素からの光を受けるように前記ディスプレイからの光を屈折させる。これは、２つの異なる画像、左目ビューに対して１つ及び右目ビューに対して１つが表示されることを可能にする。

前記レンチキュラスクリーンの代替例は、前記ＬＣＤ内の画素からの光を分離するのに前記ＬＣＤの後ろかつバックライトの前の視差バリアを使用するバリアディスプレイである。前記バリアは、前記スクリーンの前のセットポジションから左目が右目とは異なる画素を見るようになっている。前記バリアディスプレイの問題は、輝度及び解像度の損失であり、非常に狭い視角もある。これは、例えば９つのビュー及び複数の視野領域を持つ前記レンチキュラスクリーンと比較してリビングルームのテレビとして魅力を低下させる。

他のアプローチは、高いリフレッシュレート（例えば１２０Ｈｚ）でフレームを表示することができる高解像度ビーマと組み合わせてシャッタ眼鏡を使用することに基づく。シャッタ眼鏡方法では左目ビュー及び右目ビューが交互に表示されるので、高いリフレッシュレートが要求される。前記眼鏡を着用する観察者は、６０Ｈｚにおいてステレオビデオを知覚する。前記シャッタ眼鏡方法は、高品質ビデオ及び素晴らしい深度レベルを可能にする。

前記オートステレオスコピックディスプレイ及び前記シャッタ眼鏡方法は、両方とも調節−輻輳不一致を受ける。これは、これらの装置を使用して快適に見られることができる時間及び深度の量を制限する。この問題に悩まされないホログラフィック及び体積ディスプレイのような他の表示技術が存在する。本発明は、深度範囲を持つ如何なるタイプの３Ｄディスプレイに対しても使用されることができることに注意する。

前記３Ｄディスプレイに対する画像データは、電子データ、通常はデジタルデータとして利用可能であると仮定される。本発明は、このような画像データに関し、前記画像データをデジタル領域で操作する。前記画像データは、ソースから転送される場合、例えばデュアルカメラを使用することにより既に３Ｄ情報を含んでいてもよく、又は専用前処理システムが、２Ｄ画像から３Ｄ情報を（再）作成することに関連していてもよい。画像データは、スライドのように静止していてもよく、又は映画のような動画を含んでもよい。通常はグラフィックデータと称される他の画像データは、記憶された対象として利用可能であってもよく、又はアプリケーションにより要求されるとオンザフライで生成されてもよい。例えば、メニュー、ナビゲーションアイテム又はテキスト及びヘルプ注釈のようなユーザ制御情報は、他の画像データに追加されてもよい。

ステレオ画像がフォーマットされ、３Ｄ画像フォーマットと称されることができる多くの異なる方法が存在する。一部のフォーマットは、ステレオ情報をも伝える２Ｄチャネルを使用することに基づく。例えば、左ビュー及び右ビューは、インタレースされることができるか、又は横に及び上下に配置されることができる。これらの方法は、前記ステレオ情報を伝えるために解像度を犠牲にする。他のオプションは、色を犠牲にすることであり、このアプローチは、アナグリフィックステレオと称される。アナグリフィックステレオは、補色で２つの別個の重ねられた画像を表示することに基づくスペクトル多重化を使用する。色つきフィルタを持つ眼鏡を使用することにより、各目は、当該目の前の前記フィルタと同じ色の画像のみを見る。したがって、例えば、右目は、赤の画像のみを見て、左目は、緑の画像のみを見る。

異なる３Ｄフォーマットは、２Ｄ画像と、前記２Ｄ画像内の対象の深度に関する情報を伝える付加的な深度画像、いわゆる深度マップを使用する２つのビューに基づく。画像＋深度と称されるこのフォーマットは、２Ｄ画像といわゆる"深度"又は視差マップとの組み合わせである点で異なる。これは、グレイスケール画像であり、これにより、画素のグレイスケール値が、関連付けられた２Ｄ画像内の対応する画素に対する視差（又は深度マップの場合には深度）の量を示す。前記表示装置は、前記２Ｄ画像を入力として受信し、付加的なビューを計算するのに前記視差又は深度マップを使用する。これは、様々な方法で行われることができ、最も単純な形において、画素に関連付けられた前記視差値に依存してこれらの画素を左又は右にシフトする問題である。Cristoph Fenによる"Depth image based rendering, compression and transmission for a new approach on 3D TV"と題された文献は、この技術の優れた概観を与える（http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdfを参照）。

図２は、画像データの例を示す。前記画像データの左の部分は、通常はカラーの２Ｄ画像２１であり、前記画像データの右の部分は、深度マップ２２である。２Ｄ画像情報は、如何なる適切な画像フォーマットで表されてもよい。深度マップ情報は、場合により前記２Ｄ画像と比較して減少された解像度で、各画素に対する深度値を持つ付加的なデータストリームであることができる。前記深度マップにおいて、グレイスケール値は、前記２Ｄ画像内の関連付けられた画素の深度を示す。白は、観察者に近いことを示し、黒は、観察者から遠い大きな深度を示す。３Ｄディスプレイは、前記深度マップからの深度値を使用することにより及び必要とされる画素変換を計算することによりステレオに必要とされる付加的なビューを計算することができる。遮蔽は、推定又は穴埋め技術を使用して解決されることができる。遮蔽マップ、視差マップ及び／又は背景の前を移動する透明な対象に対する透明マップのような他のマップは、前記画像及び深度マップフォーマットに加えられることができる。

ビデオにステレオを加えることは、ブルーレイディスクプレイヤのようなプレイヤ装置からステレオディスプレイに送信される場合に前記ビデオのフォーマットにも影響を与える。２Ｄの場合、２Ｄビデオストリームのみが送信される（復号されたピクチャデータ）。ステレオビデオに対して、これは、（ステレオに対する）第２のビュー又は深度マップを含む第２のストリームが送信されなければならないので、増加する。これは、電気的インタフェース上で必要とされるビットレートを二倍にすることができる。異なるアプローチは、解像度を犠牲にし、前記第２のビュー又は深度マップが前記２Ｄビデオとインタレースされる又は並べて配置されるように前記ストリームをフォーマットすることである。図２は、どのようにこれが２Ｄデータ及び深度マップを送信するために行われることができるかの例を示す。ビデオにグラフィックを重ねる場合、他の別のデータストリームが使用されてもよい。

前記表示制御マスク構造を使用する様々な画像要素の組み合わせに基づいて３Ｄ画像情報をレンダリングするシステムの一例は、以下のように構成される。第一に、前記システムは、画像情報と、前記画像情報と組み合わせてレンダリングされる二次画像情報を受信する。例えば、前記様々な画像要素は、インターネットを介して光学記録担体のような単一のソースから又は複数のソースから（例えばハードディスクからのビデオストリーム、局所的に生成された３Ｄグラフィック対象又はネットワークを介する別個の３Ｄ向上ストリーム）受信されることができる。前記システムは、表示深度範囲を持つ３Ｄディスプレイ上で三次元空間内でレンダリングされるべき出力情報を生成するように前記画像情報及び前記二次画像情報を処理する。前記画像情報及び前記二次画像情報が、前記ディスプレイ上の深度に混ぜられるべきでないと仮定すると、前記レンダリング装置は、主要な画像情報及び前記二次情報に対して表示深度範囲及び／又は深度オフセットを設定し、例えば前記二次情報のメニューアイテムに対する深度オフセットの変更又は設定をブロックする前記表示装置において、対応する深度制御設定を制御する表示制御マスク構造を生成する。このような組み合わせられた画像データに対して、前記データの作成者は、前記深度に対して表示パラメータの設定を制限することを望むかもしれない。このために、提案された表示制御マスク構造は、適切なツールを提供する。

コンテンツ作成者は、対象が、様々な深度レベルで、実際に起こっていることをより近くで見えることができるという事実を用いて、２Ｄで与えられることができるものより没入できる体験を作成するのに３Ｄを使用する。たくさんの制作及びポストプロダクション時間が、フィルムを通して正確な深度値を調整するのに費やされることができる。

前記再生装置及び３Ｄディスプレイの両方が、典型的には、ユーザが対応する遠隔制御装置上のボタンの対を押すことにより３Ｄ関連設定を変更することを可能にする。ユーザが、前記ディスプレイ内の深度パラメータを変更する場合、３Ｄ体験は、もはやコンテンツ作成者により意図されたものと同じではない。ここで提案されているのは、前記ユーザが前記ディスプレイ内の深度関連設定を変更することを、前記コンテンツ作成者が防止することを可能にする前記コンテンツ作成者に対する機構である。更に、前記ユーザが、深度設定を変更する場合に、前記システムが、前記コンテンツ作成者に意図された深度設定に戻すことができるような機構が提案される。

提案された前記レンダリングシステムは、コンテンツの各ピースに対して、前記ユーザが前記深度設定を変更することを可能にされるか否かを記述する。これは、各可能な操作（前記遠隔制御装置上のボタン毎）に対して、当該操作が許可されるか否かを伝えるマスクの使用により達成される。再生装置、典型的にはＢＤプレイヤが、このようなマスクを検出する場合、これは、周知のＨＤＭＩインタフェースのようなビデオインタフェース上で送信されるコマンドを使用して前記ディスプレイにユーザ操作マスクを送信する（例えば、"High Definition Multimedia Interface Specification Version 1.3a of Nov 10 2006を参照）。これは、前記ユーザが、前記プレイヤの又は前記ディスプレイの遠隔制御装置を使用して前記深度設定を修正することを防ぐ。

前記再生装置が、前記コンテンツ作成者が意図したものを反映するために効果がどうあるべきかを記述するある数のパラメータを前記ディスプレイに送信する。これは、他の実施例において、前記ディスプレイが、現在使用中の深度設定を、前記再生装置から受信されたデフォルトのもので上書きすることを可能にする。

ここに記載される前記レンダリングシステムの主なアイデアは、上で示された問題に対する一般的な解決法を表す。以下の詳細な説明は、ＨＤＭＩインタフェースを使用するブルーレイディスク再生の特定の場合に関する。

図３は、画像データ構造を示す。この図は、記録担体、例えばタイトル、ムービーオブジェクト、プレイリスト、プレイアイテム及びクリップからなる、例えばブルーレイディスクのような光ディスク記録フォーマットにオーディオビデオデータ（ＡＶデータ）を記憶する階層的画像データ構造３１を示す。上のレベルは、様々なタイトル及びメニューの間でナビゲートすることを可能にするインデックステーブルに基づくユーザインタフェースを示す。この記載に関連したアイテムは、前記ディスクに記憶されたビデオクリップの連続部分に対応する前記プレイアイテムである。前記画像データ構造は、以下に記載されるように前記表示制御マスク構造を表すように他の制御データを含むように強化されることができる。

図４は、ユーザ操作マスクテーブルのセクションを示す。この図は、図３に示されるプレイアイテムのメタデータの一部の例を示し、特に、前記ユーザがプレイアイテムの観察中に持つことができるインタラクション−スキップ、一時停止、再生等−をリストする前記ユーザ操作マスクテーブルのセクションを示す。第２の列は、各ユーザ操作に対して、使用可能にされているか否かを示す。図４の既存の構造は、前記再生装置におけるデータ取り出し及びナビゲーション機能に関連するユーザ操作のみを規定することに注意すべきである。

図５は、深度マスキング制御データを有する表示制御マスク構造を示す。ユーザ表示パラメータ設定を規定する列及びマスキング値を規定する第２の列を持つ表示制御マスク構造４０が示される。前記構造内の各行は、ユーザ操作を規定し、マスクフィールドは、例えばユーザ操作を可能にする又はブロックする、使用されるべきマスクを示すインジケータ又はフラグを規定する。前記表示制御マスク構造は、別個のデータエンティティ又はパケットとして記憶及び転送されることができ、又は他の制御データと結合されてもよい。実際的な実施例において、図４の前記データ構造は、"将来の使用に対して予約済み（reserved for future use）"と以前にマークされたビットの一部を使用して、図５に示されるテーブルによって、ある数の新しいユーザ操作及び対応するマスクを含むように拡張されることができる。

１ビットの深度マスキング制御データフラグを有する表示制御マスク構造に基づいて、作成者は、コンテンツの各部分に対して、リストされた操作を使用可能（０にセットされたビット）又は使用不可（１にセットされたビット）にすることができる。一般に、これらの操作は、使用可能にされることができるが、特定のシーン又は部分において、前記コンテンツ作成者により意図される前記コンテンツの正しいレンダリングを保証するために使用不可にされることができる。例えば、ユーザ操作「深度増加」が禁止される一方で、−前記ユーザが気持ち悪くなり始める場合に−ユーザ操作「深度減少」が許可されるシーン（例えば戦争シーン、たくさんのカメラ移動を含むシーン）が存在してもよい。

上記の方法は、作成者が、ブルーレイプレイヤの遠隔制御装置を使用して、いずれのユーザ操作が許可されるかを決定することを可能にする。前記表示ユニット（通常はテレビ）及び前記遠隔制御装置のようなそれぞれのユーザ制御において同じ利点を一貫して持つために、前記再生装置が、前記ユーザ操作マスクについて前記テレビに通知し、前記テレビが、メッセージを理解することができ、それに応じて動作を変更し、前記ユーザからの特定の操作を許可する又は不許可にする。

様々な実施例が可能である。第１の実施例において、完全なマスクテーブル（例えば６４ビット）が送信され、第２の実施例において、前記深度設定を変更することに関する前記深度マスキング制御データを持つ前記表示制御マスク構造を表すサブセット（例えば６ビット）のみが送信される。

前記表示制御マスク構造を転送するのにも、様々な実施例が可能である。第１の実施例において、前記表示制御マスク構造は、アクティブピクチャに挿入され、例えばフレーム毎に、頻繁に繰り返される。例えば、これは、それぞれのフレームの左上隅のヘッダにマスクビットを挿入することにより、既知のフォーマットに同様に行われることができる。前記パラメータは、各フレームの左上隅を使用して送信される。１つのオプションは、第１の画素の全てのビットを使用することであるが、これらの"人工的"画素が、可視になることができる。代替的には、各画素内の１つのビット、例えば青成分の最上位ビットのみが使用される。これらのパラメータを取りだすために、前記表示装置は、より多数の画素を読み出すことを必要とするが、視覚的体験は、あまり影響を受けない。

他の実施例において、前記表示制御マスク構造は、非同期で、例えばデータストリーム内の別個のパケットとして、転送される。前記パケットは、前記ビデオと正確に同期するフレームに対して他のデータを含めることができる。第２のオプションに対して、前記深度設定を持ち、連続したビデオフレームの間のブランキング間隔内の適切な時間に挿入される新しいフレームタイプが規定されなくてはならない。実際的な実施例において、前記表示制御マスク構造は、以下に記載されるようにＨＤＭＩデータアイランド内のパケットに挿入される。

深度表示パラメータは、前記ディスプレイが前記深度情報を正確に解釈することを可能にするように前記ディスプレイに送信される。ビデオに付加的な情報を含める例は、ＩＳＯ規格２３００２−３"Representation of auxiliary video and supplmental information"（例えばISO/IEC JTC1/SC29/WG11 N8259 of July 2007を参照）に記載されている。補助ストリームのタイプに依存して、付加的な画像データは、４つ又は２つのいずれかのパラメータからなる。

オーディオビデオデータ（ＡＶ）ストリームに前記表示制御マスク構造を含める補助ビデオ情報（ＡＶＩ）を送信する他の例は、以下のとおりである。前記ＡＶＩは、ＩｎｆｏＦｒａｍｅとして前記ソース装置からデジタルテレビ（ＤＴＶ）モニタに前記ＡＶストリームにおいて運ばれる。前記ソース装置が前記補助ビデオ情報（ＡＶＩ）の送信をサポートする場合、及び前記ＤＴＶモニタが当該情報を受信することができると決定する場合、ＶＳＹＮＣ期間毎に一度前記ＤＴＶモニタに前記ＡＶＩを送信すべきである。データは、ビデオデータの次の完全なフレームに使用する。

他の実施例は、以下のシナリオを可能にする。フィルムを見ながら、ユーザは、体験を向上させるように前記深度設定を変更するが、しかしながら、特定の瞬間において、前記深度設定の変更が許可されないシーンが始まる。前記表示装置は、前記再生装置から、前記作成者により意図される深度設定を記述するある数のパラメータを受信する。この場合、前記ディスプレイは、前記深度設定を変更するユーザ操作が不許可にされる瞬間に、現在使用されている深度設定は、前記再生装置から受信された所定の値により上書きされる。

視差ベースの"３Ｄ"情報に対して、付加的なデータは、
−視差の量がゼロである値を規定するparallax_zeroと、
−前記ストリーム内の視差値の動的範囲を規定するスケーリング係数であるparallax_scaleと、
−基準ディスプレイの幅を規定するWrefと、
−前記ディスプレイに対する観察者の基準距離を規定するDrefと、
からなる。

深度ベースの"３Ｄ"情報に対して、前記パラメータは、前記スクリーンの幅に対する深度情報の範囲を記述するnknear及びnkfarである。

これらの値と別に、前記画像データは、例えば前記ディスプレイの後ろ又は前に３Ｄ空間をシフトするのに使用されるオフセット値のような他のパラメータをも含んでもよい。

前記画像データ及び前記表示制御マスク構造を転送するために、前記インタフェースは、フレーム毎に繰り返される前記アクティブピクチャにおいて、又は新しく規定されたタイプのパケットを使用してのいずれかで、これらのパラメータを伝えるように拡張されることを必要とする。以下の例は、周知のＨＤＭＩインタフェースに基づく。特に、前記表示制御マスク構造は、ここで説明されるようにＨＤＭＩのデータアイランド中に転送されることができる。データアイランド期間は、深度及びオフセット関連パラメータを送信するのに使用されることができる。

図６は、深度設定を伝えるパケットタイプを示す。第１の列において、ヘッダバイト（ＨＢ）及びペイロードバイト（ＰＢ）がリストされ、行は、前記バイトのそれぞれの機能を規定する。既知のパケットタイプは、オーディオサンプル及びクロック再生成パケットを含む。新しいタイプは、深度関連パラメータに対して、及び視差関連パラメータに対して導入されることができる。ＨＤＭＩデータアイランドパケット（例えば"High Definition Multimedia Interface Specification Version 1.3a of Nov 10 2006を参照）に従う実際的な実施例において、各パケットは、ペイロードに対して予約された２７バイトを持ち、前記パラメータの実際の値を伝えるのに使用されることができる。

図７は、視差設定を伝えるＨＤＭＩデータアイランドパケットを示す。前記視差パケット内にリストされるパラメータの意味は、上で説明されている。様々な他の深度表示パラメータが、必要であれば前記新しいパケットに含められることができる。

本発明は、プログラム可能な構成要素を使用して、ハードウェア及び／又はソフトウェアにおいて実施されることができることに注意すべきである。本発明を実施する方法は、図１を参照して説明された前記レンダリングシステムに対応する処理ステップを持つ。レンダリングコンピュータプログラムは、前記レンダリング装置においてそれぞれの処理ステップに対するソフトウェア機能を持つことができ、表示コンピュータプログラムは、前記表示装置においてそれぞれの処理ステップに対するソフトウェア機能を持つ。このようなプログラムは、パーソナルコンピュータ又は専用ビデオシステム上で実施されることができる。本発明は、光学的記録担体又はインターネットを使用する実施例により主に説明されているが、本発明は、オーサリングソフトウェア又は放送機器のような如何なる画像処理環境に対しても適切である。他の応用は、３Ｄパーソナルコンピュータ（ＰＣ）ユーザインタフェース、又は３ＤメディアセンタＰＣ、３Ｄ携帯プレイヤ及び３Ｄ携帯電話を含む。

この文書において、単語'有する'は、リストされた要素又はステップ以外の要素又はステップの存在を除外せず、要素に先行する単語'１つの'（'a'又は'an'）は、複数のこのような要素の存在を除外せず、いずれの参照符号も、請求項の範囲を限定せず、本発明が、ハードウェア及びソフトウェアの両方を用いて実施されてもよく、複数の'手段'又は'ユニット'は、同一のハードウェア又はソフトウェアアイテムにより表されてもよく、プロセッサは、場合によりハードウェア要素と協働する１以上のユニットの機能を満たし得る。更に、本発明は、前記実施例に限定されず、上記の全ての新規なフィーチャ又はフィーチャの組み合わせにある。

Claims (11)

1. 画像データの表示を制御する方法において、前記方法が、
   ソース装置において、第１の表示パラメータに依存して前記画像データを出力するようにソース画像データを処理するステップであって、前記ソース装置が、前記第１の表示パラメータを制御する第１のユーザ制御要素を備える、前記処理するステップと、
   前記ソース装置から表示装置に前記画像データを転送するステップと、
   前記表示装置において、前記画像データを受信し、第２の表示パラメータに依存して前記画像データを表示するステップであって、前記表示装置が、前記第２の表示パラメータを設定する第２のユーザ制御要素を備える、前記表示するステップと、
   を有し、
   前記方法が、
   前記ソース装置において、表示制御マスク構造を提供するステップと、
   前記ソース装置から前記表示装置に前記画像データとともに前記表示制御マスク構造を転送するステップと、
   前記表示装置において、前記表示制御マスク構造を受信し、前記表示制御マスク構造によって前記第２の表示パラメータの設定をマスキングすることにより前記表示制御マスク構造に依存して前記画像データを表示するステップと、
   を有することを特徴とする方法。
2. 前記画像データが、３Ｄ表示装置に表示するための深度情報を有し、
   前記第２の表示パラメータが、表示深度パラメータを有し、
   前記表示制御マスク構造が、少なくとも１つの深度パラメータ設定をマスキングする深度マスキング制御データを有する、
   請求項１に記載の方法。
3. 前記表示深度パラメータの設定が、深度設定、深度増加設定、深度減少設定、深度オフセット設定、深度オフセット増加設定、深度オフセット減少設定の少なくとも１つを有し、
   前記深度マスキング制御データが、前記深度パラメータ設定の少なくとも１つをマスキングする、
   請求項２に記載の方法。
4. 前記表示制御マスク構造を転送するステップが、所定のインタフェース規格によって前記画像データを転送するデジタルデータストリームに前記表示制御マスク構造を挿入するステップを有する、請求項１に記載の方法。
5. 画像データの表示を制御する装置において、前記装置が、
   前記ソース装置から表示装置に前記画像データを転送する出力手段と、
   第１の表示パラメータを制御する第１のユーザ制御要素と、
   ソース画像データを処理し、前記第１の表示パラメータに依存して前記出力手段に前記画像データを提供する処理手段と、
   を有し、
   前記装置が、表示制御マスク構造を提供する制御マスク手段を有し、
   前記出力手段が、前記装置から前記表示装置に前記画像データとともに前記表示制御マスク構造を転送する、
   ことを特徴とする装置。
6. 前記第１の表示パラメータが、３Ｄ表示装置における深度の表示を制御する表示深度パラメータを有し、前記表示制御マスク構造が、前記３Ｄ表示装置における少なくとも１つの深度パラメータ設定をマスキングする深度マスキング制御データを有する、請求項５に記載の装置。
7. 前記処理手段が、情報担体から前記ソース画像データ及び関連したマスクデータを取り出し、前記制御マスク手段が、前記マスクデータに依存して前記表示制御マスク構造を提供する、請求項５に記載の装置。
8. 画像データを表示する表示装置において、前記装置が、
   ソース装置から転送された前記画像データを受信する入力手段と、
   第２の表示パラメータを設定する第２のユーザ制御要素と、
   前記第２の表示パラメータに依存して前記画像データを表示する表示手段と、
   を有し、
   前記装置が、表示制御マスク構造によって前記第２の表示パラメータの設定をマスキングするマスキング手段を有し、
   前記入力手段が、前記画像データとともに前記表示制御マスク構造を受信し、
   前記表示手段が、前記表示制御マスク構造に依存して前記画像データを表示する、
   ことを特徴とする装置。
9. 表示装置において画像データの表示を制御する信号において、
   前記信号が、前記画像データを表し、前記表示装置が、前記画像データを受信し、表示パラメータに依存して前記画像データを表示し、前記表示装置が、前記表示パラメータを設定するユーザ制御要素を備え、
   前記信号が、表示制御マスク構造であって、前記表示装置において、前記表示制御マスク構造によって前記表示パラメータの設定をマスキングすることにより前記表示制御マスク構造に依存して前記画像データを表示する前記表示制御マスク構造を有する、
   ことを特徴とする信号。
10. 表示装置において画像データの表示を制御する記録担体において、前記記録担体が、物理的に検出可能なマークにより構成されるトラックを有し、前記マークが、前記画像データを有し、前記表示装置が、前記画像データを受信し、表示パラメータに依存して前記画像データを表示し、前記表示装置が、前記表示パラメータを設定するユーザ制御要素を備え、
    前記マークが、表示制御マスク構造であって、前記表示装置において、前記表示制御マスク構造によって前記表示パラメータの設定をマスキングすることにより前記表示制御マスク構造に依存して前記画像データを表示する前記表示制御マスク構造を有する、
    ことを特徴とする記録担体。
11. 画像データの表示を制御するコンピュータプログラムにおいて、前記プログラムが、前記ソース装置及び／又は前記表示装置において、請求項１ないし４のいずれか一項に記載の方法のそれぞれのステップをプロセッサに実行させるように動作する、コンピュータプログラム。

Images