JP5616352B2 - 三次元ｇｕｉにおける二次元グラフィックスの拡張 - Google Patents

Description

本発明は、ユーザ制御手段を介してユーザ装置を制御するための三次元画像装置上の三次元[3D]グラフィカル・ユーザインタフェース[GUI]を提供する方法に関し、ユーザ制御手段は、ユーザ・アクションを受け取って、対応する制御信号を生成するように配置される。

本発明はさらに、ユーザ制御手段を介してユーザ装置を制御するための三次元グラフィカル・ユーザインタフェースを提供するための三次元画像装置に関し、ユーザ制御手段は、ユーザ・アクションを受け取って、対応する制御信号を生成するように配置される。

本発明は、画像データ（例えばビデオ）を三次元画像装置でレンダリングして表示し、そして、遠隔制御ユニット、マウス、ジョイスティック、専用のボタン、カーソル制御ボタンなどのようなユーザ制御手段を介してGUI中のグラフィカル要素を操作する（ナビゲート、選択、活性化など）ユーザによってユーザ装置（例えば三次元画像装置自体又はそれに結合される更なるユーザ装置）を制御するためのGUIを提供する分野に関する。

例えばデジタル・ビデオ信号をレンダリングするためのDVDプレーヤー、BDプレーヤーのようなビデオ・プレーヤー又はセットトップ・ボックスのような、ビデオ・データをレンダリングする装置は周知である。レンダリング装置は、一般的に、TVセットのようなディスプレイ装置に結合されるソース装置として用いられる。画像データは、HDMIのような適切なインタフェースを介して、ソース装置から転送される。ビデオ・プレーヤーのユーザは、遠隔制御装置のボタン又はグラフィカル・ユーザインタフェース（GUI）における仮想的なボタン及び他のユーザ制御のような、１セットのユーザ制御要素を提供される。ユーザ制御要素は、ユーザがGUIを介してビデオ・プレーヤーにおける画像データのレンダリングを調整することを可能にする。

既存の装置は、二次元（2D）表示技術に基づき、例えば携帯電話において又は二次元ＰＣモニタ上で、さまざまな機能を制御する二次元GUIを利用する。さらに、三次元グラフィックス・システムが開発されている。例えば、文献WO 2008/044191は、三次元グラフィック・データを生成するためのグラフィックス・システムを記載する。三次元グラフィック・データを表すグラフィックス・ストリームが形成される。グラフィックス・ストリームは、二次元グラフィック・データを持つ第１セグメント及び深さマップを含む第２セグメントを含む。ディスプレイ装置は、データ・ストリームに基づいて三次元字幕又はグラフィックス画像をレンダリングする。

三次元GUIの開発は、既存の二次元要素が、例えば深さマップを追加することによって、三次元オブジェクトとして再形成されることを必要とする。しかしながら、新たな三次元オブジェクトを生成し、処理し、取り扱うには、強力な処理環境を必要とする。

あまり複雑でない三次元グラフィカル・ユーザインタフェースを提供することが本発明の目的である。

この目的のために、本発明の第１の態様によれば、冒頭の段落に記載される方法において、三次元グラフィカル・ユーザインタフェースの表示のためのグラフィカル制御要素を表すグラフィカル・データ構造を提供し、グラフィカル制御要素を表すための二次元［2D］画像データをグラフィカル・データ構造に提供し、三次元グラフィカル・ユーザインタフェースにおける深さ位置に2D画像データを配置するための少なくとも１つの深さパラメータをグラフィカル・データ構造に提供する。

この目的のために、本発明の第２の態様によれば、三次元画像装置は、三次元グラフィカル・ユーザインタフェースの表示のためのグラフィカル制御要素を表すグラフィカル・データ構造を受け取る入力手段であって、前記グラフィカル・データ構造が、グラフィカル制御要素を表すための二次元［2D］画像データ及び少なくとも１つの深さパラメータを持つ入力手段、並びに、三次元グラフィカル・ユーザインタフェースにおける深さ位置に2D画像データを配置するためにグラフィカル・データ構造を処理するためのグラフィック・プロセッサ手段を有する。

この目的のために、本発明のさらに別の態様では、ユーザ制御手段を介してユーザ装置を制御するための三次元画像装置上での三次元［3D］グラフィカル・ユーザインタフェースの表示のためのグラフィカル制御要素を表すグラフィカル・データ構造が提供され、ユーザ制御手段は、ユーザ・アクションを受け取って、対応する制御信号を生成するように配置され、グラフィカル・データ構造は、グラフィカル制御要素を表すための二次元［2D］画像データ及び三次元グラフィカル・ユーザインタフェースにおける深さ位置に2D画像データを配置するための少なくとも１つの深さパラメータを含む。

この目的のために、本発明のさらに別の態様では、ユーザ制御手段を介してユーザ装置を制御するための三次元画像装置上の三次元［3D］グラフィカル・ユーザインタフェースを提供するための画像データを有する記録担体が提供され、ユーザ制御手段は、ユーザ・アクションを受け取って、対応する制御信号を生成するように配置され、記録担体は、物理的に検出可能なマークによって構成されるトラックを有し、前記マークは画像データを構成し、前記画像装置は、画像データを受け取るように配置され、前記画像データは、三次元グラフィカル・ユーザインタフェースの表示のためのグラフィカル制御要素を表すグラフィカル・データ構造を有し、グラフィカル・データ構造は、グラフィカル制御要素を表すための二次元［2D］画像データ及び三次元グラフィカル・ユーザインタフェースにおける深さ位置に2D画像データを配置するための少なくとも１つの深さパラメータを有する。

この目的のために、本発明のさらに別の態様では、三次元画像装置上に三次元［3D］グラフィカル・ユーザインタフェースを提供するためのコンピュータ・プログラムが提供され、このプログラムは、プロセッサに上で定められる方法を実行させるように動作する。

上述の態様は、三次元グラフィカル・ユーザインタフェースを提供するシステムを構成する。これらの方策は、深さパラメータを追加することによって既存の2Dグラフィカル・データ構造が拡張されるシステムにおいて効果がある。グラフィカル・データ構造の画像データは2D構造を持ち、一方、追加される少なくとも１つの深さパラメータは、望ましい深さレベルに三次元表示における要素を配置することを可能にする。さらに、ユーザ制御手段は、三次元GUI空間中に配置される2Dグラフィカル要素に基づく三次元GUIを通して操作及びナビゲートするための制御信号を提供する。

本発明はさらに以下の認識に基づく。三次元グラフィカル・オブジェクトの作成及び処理は相当な処理パワーを必要とし、装置の複雑度及び価格水準を増加させる。さらに、三次元データを全く処理又は表示することができない多くのレガシー装置が存在する。本発明者らは、2Dシステムに基づくが、三次元空間中に改善された2Dグラフィカル要素を配置することに関して改善されたGUIを提供することによって、効果的な互換性がレガシー2D環境と新たな三次元システムとの間で達成されることができることが分かった。改善された2Dグラフィカル要素は、そのような要素間でのその空間におけるナビゲーションを可能にする。

システムの実施の形態において、グラフィカル・データ構造は、以下の深さパラメータのうちの少なくとも１つを有する。
- 対応する2Dグラフィカル・データ構造の追加的な引数として深さ方向における現在のグラフィカル制御要素の位置を表すための深さ位置。
-対応する2Dグラフィカル・データ構造の色モデルの追加的な座標として深さ方向における現在のグラフィカル制御要素の位置を表すための深さ位置。

効果は、深さパラメータが既存の2Dシステムと互換性のある態様で2D構造に追加されることである。これには、そのようなレガシーは追加されたパラメータを無視することができ、一方、改良されたシステムは、三次元GUIを生成するために追加された深さパラメータを利用することができるという利点がある。

システムの実施の形態において、グラフィカル・データ構造は、三次元グラフィカル・ユーザインタフェースにおける三次元ナビゲーションがグラフィカル・データ構造に関して可能にされることを示す三次元ナビゲーション・インジケータを有する。その効果は、改善されたシステムにおいて、ナビゲーション・インジケータが、深さパラメータ及びナビゲーションのための更なる深さパラメータのグラフィカル・データ構造のそれぞれのフィールド中の有効な値を含むかを示すことである。これには、グラフィカル・データ構造が三次元GUIに適しているかが容易に検出されるという利点がある。

本発明による装置及び方法の更なる好ましい実施の形態は添付の請求の範囲において与えられ、その開示は参照によって本願明細書に組み込まれる。

本発明のこれらの及び他の態様は、以下の説明において一例として記載される実施の形態から明らかであり、それらを参照して、そして添付の図面を参照して、さらに説明される。

三次元グラフィカル・ユーザインタフェースを提供するためのシステムを示す図。 画像データの例を示す図。 インタラクティブ構成構造のセクションを示す図。 三次元ナビゲーション・インジケータを持つ双方向構成構造のセクションを示す図。 グラフィカル制御要素を示す図。 三次元拡張グラフィカル制御要素を示す図。 三次元ボタン構造を示す図。 三次元パラメータを運ぶ"ダミー"ボタン構造の表現を示す図。 キー・イベント・テーブルを示す図。 Six DOF Eventクラス及びAWTEvent階層を示す図。 Java AWTコンポーネント・クラス・ツリーを示す図。 深さを含むためのComponentクラスへの拡張を示す図。 深さを含むためのLayoutManagerクラスへの拡張を示す図。 深さを含むために拡張されたComponentクラスの例を示す図。 深さを含むために拡張されたLayoutManagerクラスの例を示す図。 深さを含むためのGraphicsクラスへの拡張を示す図。 深さを含むためのColorクラスへの拡張を示す図。 深さを含むために拡張されたGraphicsクラスの例を示す図。 深さを含むために拡張されたColorクラスの例を示す図。 グラフィカル・プロセッサ・システムを示す図。

図において、すでに説明された要素に対応する要素は同じ参照符号を持つ。

図1は、三次元［3D］グラフィカル・ユーザインタフェースを提供するシステムを示す。このシステムは、画像データ（例えばビデオ、グラフィックス又は他の視覚的情報）をレンダリングすることができる。3D画像装置10は、データを3D表示装置13に転送するソース装置として結合される。なお、これらの装置は単一のユニットとして組み合わせられることもできる。3D画像装置は、画像情報を受け取るための入力ユニット51を持つ。例えば、入力ユニット装置は、DVD又はBlu-Rayディスクのような光学記録担体54からさまざまなタイプの画像情報を読み出すための光学ディスク・ユニット58を含むことができる。別の態様では、入力ユニットは、ネットワーク55（例えばインターネット又は放送ネットワーク）への結合のためのネットワーク・インターフェース・ユニット59を含むことができる。画像データは、遠隔媒体サーバ57から読み出されることができる。

3D画像装置は、出力ユニット12を介して表示装置に転送される転送情報56を生成するために画像情報を処理するための、入力ユニット51に結合される処理ユニット52を持つ。処理ユニット52は、3D表示装置13上での表示のための転送情報56中に含まれる画像データを生成するように配置される。3D画像装置は、さまざまな機能（例えばコントラスト又は色パラメータのような画像データの表示パラメータ）を制御するための、ここでは第１ユーザ制御要素15と呼ばれるユーザ制御要素を備える。特に、ユーザ制御ユニットは、ユーザ・アクション（例えばボタンを押すこと）を受け取って、対応する制御信号を生成することに応答して、信号を生成する。そのようなユーザ制御要素は周知であり、3D画像装置の再生及び記録機能のようなさまざまな機能を制御し、グラフィカル・ユーザインタフェース（GUI）におけるグラフィカル制御要素を操作するためのさまざまなボタン及び/又はカーソル制御機能を持つ遠隔制御ユニットを含むことができる。処理ユニット52は、出力ユニット12に画像データを提供するためにソース画像データを処理するための回路を持つ。処理ユニット52は、GUIの画像データを生成するため、及び以下でさらに記載されるようにGUI中に改善されたグラフィカル制御要素を配置するためのGUIユニットを持つことができる。

3D画像装置は、3Dグラフィカル・ユーザインタフェースの表示のためのグラフィカル制御要素を表すグラフィカル・データ構造を提供するためのデータ生成器ユニット(11)を持つことができる。このユニットは、グラフィカル制御要素を表すための二次元［2D］画像データをグラフィカル・データ構造に提供し、そしてさらに、3Dグラフィカル・ユーザインタフェース中のある深さ位置に2D画像データを配置するための少なくとも１つの深さパラメータをグラフィカル・データ構造に提供する。

3D表示装置13は、画像データを表示するための装置である。この装置は、3D画像装置10のようなソース装置から転送される画像データを含む転送情報56を受け取るための入力ユニット14を持つ。3D表示装置は、ディスプレイの表示パラメータ（例えばコントラスト又は色パラメータ）を設定するための、ここでは第２ユーザ制御要素16と呼ばれるユーザ制御要素を備える。転送された画像データは、処理ユニット18において処理される。

処理ユニット18は、GUIの画像データを生成するため、及び以下でさらに記載されるようにGUI中に改善されたグラフィカル制御要素を配置するためのGUIユニット19を持つことができる。GUIユニット19は、入力ユニット14を介してグラフィカル・データ構造を受け取る。

3D表示装置は、知られているように、処理された画像データを表示するためのディスプレイ17（例えば3D拡張LCD又はプラズマ・スクリーン）を備え、又は特別なゴーグルのような観察装置と協調することができる。それゆえに、画像データの表示は3Dで実行されて、ソース装置（例えば光ディスク・プレーヤー11）又は3D表示装置自体で処理された3D GUIを表示することを含む。

図1は、画像データの担体としての記録担体54をさらに示す。記録担体は、例えばハードディスクのような磁気担体又は光ディスクであることができる。記録担体はディスク形状であり、トラック及び中央のホールを持つ。物理的に検出可能なマークの系列によって構成されるトラックは、情報レイヤ上の実質的に並列の軌道を構成するターンのらせん又は同心円のパターンに従って配置される。記録担体は光学的に読取り可能であり、光ディスクと呼ばれる（例えばCD、DVD又はBD（ブルーレイ・ディスク））。情報は、トラックに沿った光学的に検出可能なマーク（例えばピット及びランド）によって情報レイヤ上で表される。トラック構造はさらに、情報のユニット（通常、情報ブロックと呼ばれる）の位置を表すための位置情報（例えばヘッダ及びアドレス）を有する。記録担体54は、DVD又はBDフォーマットのような事前に決められた記録フォーマットで、例えばMPEG2符号化システムに従って符号化された、デジタル的に符号化されたビデオのような画像データを表す情報を運ぶ。提案されるような三次元グラフィカル・ユーザインタフェースを収容するために、記録担体のトラック中のマークはさらに、グラフィカル・データ構造を表現する。

BDシステムの場合、更なる詳細は、公に利用可能な技術白書、Blu-Ray Disc associationによって発行された"Blu-ray Disc Format General August 2004"及び"Blu-ray Disc 1.C Physical Format Specifications for BD-ROM November, 2005"(http://www.bluraydisc.com)において見つけることができる。

以下において、BDアプリケーション・フォーマットを参照するとき、米国出願2006-0110111(代理人整理番号NL021359)、及び、Blu-ray Disc Association発行の白書"Blu-ray Disc Format 2.B Audio Visual Application Format Specifications for BD-ROM, March 2005"に開示されるアプリケーション・フォーマットを特に参照する。

BDシステムがさらに、ネットワーク接続性を有する完全にプログラム可能なアプリケーション環境を提供し、それによってコンテンツ・プロバイダがインタラクティブなコンテンツを作成することを可能にすることが知られている。このモードはJava^TM()3プラットフォームに基づいており、"BD-J"として知られる。BD-Jは、（ETSI TS 101 812として公に利用可能な）デジタルビデオ放送（DVB）-マルチメディア・ホーム・プラットフォーム（MHP）規格1.0のサブセットを定める。Blu-Rayプレーヤーの例は、ソニー株式会社によって販売されるソニー・プレイステーション3^TMである。

3D画像システムは、三次元（3D）画像データを3D画像ディスプレイ上に表示するように配置される。それに対して、画像データは、3D表示装置上で表示するための深さ情報を含む。図1を参照して説明されるシステムを参照して、表示装置53は、矢印44によって表される表示深さ範囲を持つ立体視ディスプレイであることができる。3D画像情報は、3D画像データを含むように改良された光学記録担体54から読み出されることができる。3D画像情報は、インターネットを介して、遠隔メディア・サーバ57から読み出されることができる。

以下のセクションは、三次元ディスプレイ及び人による深さの知覚の概要を提供する。3Dディスプレイは、より真に迫った深さの知覚を提供することができるという点で、2Dディスプレイと異なる。それらが、単眼の深さ手がかり及び動作に基づく手がかりのみを示すことができる2Dディスプレイより多くの深さ手がかりを提供するので、これは達成される。

単眼の（又は静的）深さ手がかりは、単一の目を用いて静止画像から得られる。画家は、彼らの絵において深さの知覚を生じさせるために、多くの場合、単眼の手がかりを用いる。これらの手がかりは、相対的なサイズ、水平線に対する高さ、遮蔽、視野、テクスチャー勾配及びライティング/陰影を含む。動眼（Oculomotor）手がかりは、観察者の目の筋肉の緊張から導き出される深さ手がかりである。目は、目のレンズを伸ばすため及び目を回転させるための筋肉を持つ。目のレンズの伸張及び緩和は適応と呼ばれ、画像に焦点を合わせるときに行われる。レンズの筋肉の伸張又は緩和の量は、オブジェクトがどれだけ遠いか又は近いかについての手がかりを提供する。目の回転は、両方の目が同じオブジェクトに焦点を合わせるように行われ、これは輻輳と呼ばれる。最後に、動作視差は、観察者の近くのオブジェクトが遠いオブジェクトより速く動くように見える効果である。

両眼視差は、両方の目が僅かに異なる画像を見ることから導き出される深さ手がかりである。単眼の深さ手がかりは、任意の2D画像表示タイプに用いられることができ、用いられている。ディスプレイにおいて両眼視差を再現するためには、ディスプレイが、各々がディスプレイ上で僅かに異なる画像を見るように、左及び右目のためのビューを分割することができることが必要である。両眼視差を再現することができるディスプレイは、我々が3D又は立体視ディスプレイと称する特別なディスプレイである。3Dディスプレイは、人の目によって実際に知覚される深さ次元に沿って画像を表示することができ、この文書において、表示深さ範囲を持つ3Dディスプレイと呼ばれる。したがって、3Dディスプレイは、左及び右目に異なるビューを提供する。

２つの異なるビューを提供することができる3Dディスプレイは長い間存在している。これらの大部分は、左及び右目のビューを分離するために眼鏡を用いることに基づく。現在、ディスプレイ技術の発達によって、眼鏡を用いることなくステレオ・ビューを提供することができる新たなディスプレイが市場に登場した。これらのディスプレイは、自動立体視ディスプレイと呼ばれる。

第１のアプローチは、ユーザが眼鏡を伴わずにステレオ・ビデオを見ることを可能にする液晶ディスプレイに基づく。これらは、レンチキュラ・スクリーン及びバリア・ディスプレイの２つの技術のいずれかに基づく。レンチキュラ・ディスプレイでは、LCDは、レンチキュラ・レンズのシートによって覆われる。これらのレンズは、左及び右目が異なるピクセルからの光を受け取るように、ディスプレイからの光を回析する。これは、１つが左目ビューで１つが右目ビューの２つの異なる画像が表示されることを可能とする。

レンチキュラ・スクリーンに代わるものはバリア・ディスプレイであり、それは、LCDのピクセルからの光を分離するために、LCDの後でバックライトの前に視差バリアを用いる。バリアは、スクリーンの前の規定の位置から、左目が右目とは異なるピクセルを見るようなバリアである。バリア・ディスプレイに関する問題は、輝度及び解像度の損失、及び非常に狭い視野角である。これはそれを、例えば９つのビュー及び複数の観察ゾーンを持つレンチキュラ・スクリーンと比べて、リビングルーム用テレビとしてあまり魅力の無いものにする。

更なるアプローチは、高いリフレッシュ・レート（例えば120Hz）でフレームを表示することができる高解像度ビーマーと組み合わせてシャッタ眼鏡を用いることに依然として基づく。シャッタ眼鏡方法によって左及び右目ビューが交互に表示されるので、高いリフレッシュ・レートが必要とされる。眼鏡を着用している観察者は、60Hzでステレオ・ビデオを知覚する。シャッタ眼鏡方法は、高品質のビデオ及び高レベルの深さを可能にする。

自動立体視ディスプレイ及びシャッタ眼鏡方法はともに適応-輻輳不整合を被る。これは、これらの装置を用いて快適に見られることができる深さの量及び時間を制限する。ホログラフィック及びボリュメトリック（volumetric）ディスプレイのような他の表示技術が存在し、これはこの問題を被らない。なお、本発明は、深さ範囲を持つ任意のタイプの3Dディスプレイのために用いられることができる。

3D表示のための画像データは、電子的な、通常はデジタルのデータとして利用可能であると仮定される。本発明は、そのような画像データに関連し、デジタル領域で画像データを操作する。画像データは、例えば、デュアル・カメラを用いることにより、ソースから転送されるときに既に3D情報を含むことができ、又は、専用の前処理システムが、2D画像から3D情報を(再)生成するために関与することができる。画像データは、スライドのような静止画であるか、又は動くビデオのような動画を含むことができる。記憶されたオブジェクトとして、又はアプリケーションによって必要とされるときにオンザフライで生成される、グラフィカル・データと呼ばれる他の画像データが利用可能である。例えば、メニュー、ナビゲーション・アイテム又はテキスト及びヘルプ注釈のようなユーザ制御情報が、他の画像データに追加されることができる。

ステレオ画像が3D画像フォーマットと呼ばれるフォーマットにフォーマットされる多くの異なる態様が存在する。いくつかのフォーマットは、さらにステレオ情報を運ぶために2Dチャネルを用いることに基づく。例えば、左及び右のビューは、インタレースされているか、又は、並んで及び上下に配置されることができる。これらの方法は、ステレオ情報を運ぶために、解像度を犠牲にする。他のオプションは色を犠牲にすることであり、このアプローチは、アナグラフ・ステレオと呼ばれる。アナグラフ・ステレオは、相補的な色で２つの別々のオーバレイされた画像を表示することに基づくスペクトル多重化を用いる。着色したフィルタを有する眼鏡を用いることにより、各々の目は、その目の前のフィルタと同じ色の画像だけを見る。したがって例えば、右目は赤の画像のみ、左目は緑の画像のみを見る。

別の3Dフォーマットは、2D画像と、2D画像中のオブジェクトの深さに関する情報を伝達する追加的な深さ画像（いわゆる深さマップ）とを用いる２つのビューに基づく。画像+深さと呼ばれるフォーマットは、それが、2D画像といわゆる「深さ」又は視差マップとの組み合わせである点で異なる。これは階調画像であり、ピクセルの階調値は、関連する2D画像中の対応するピクセルの視差（又は深さマップの場合には深さ）の量を表す。表示装置は、入力として2D画像を利用して追加的なビューを計算するために、視差又は深さマップを用いる。これは様々な態様で行われることができ、最も単純な形式では、ピクセルに関連付けられた視差値に依存してピクセルを左又は右にシフトすることである。Christoph Fenによるタイトル"Depth image based rendering, compression and transmission for a new approach on 3D TV"の論文は、この技術の優れた概要を与える(http://iphome.hhi.de/fehn/Publications/fehn_EI2004.pdfを参照)。

図2は、画像データの例を示す。画像データの左部分は、通常はカラーの2D画像21であり、画像データの右部分は、深さマップ22である。2D画像情報は、任意の適切な画像フォーマットで表されることができる。深さマップ情報は、場合によっては2D画像と比べて減少した解像度で、ピクセルごとの深さ値を持つ追加的なデータ・ストリームであることができる。深さマップでは、階調値が2D画像中の関連するピクセルの深さを表す。白は観察者に近いことを表し、黒は観察者から離れる大きい深さを表す。3Dディスプレイは、深さマップからの深さ値を用いることにより、及び、必要とされるピクセル変換を計算することによって、ステレオのために必要とされる追加的なビューを計算することができる。遮蔽は、推定又はホール充填技術を用いて解決されることができる。遮蔽マップ、視差マップ及び/又は背景の前を移動する透明なオブジェクトのための透明度マップのような更なるマップが、画像及び深さマップ・フォーマットに追加されることができる。

ビデオにステレオを追加することも、プレーヤー装置（例えばブルーレイ・ディスク・プレーヤー）からステレオ・ディスプレイへと送信されるときのビデオのフォーマットに影響を与える。2Dの場合、2Dビデオ・ストリームだけが送信される（復号された画像データ）。これがそのように増加させるステレオ・ビデオによって、第２ストリームは、（ステレオのための）第２のビュー又は深さマップを含んで送信される必要がある。これは、電気的インタフェース上で必要とされるビットレートを倍にする可能性がある。別のアプローチは、解像度を犠牲にして、第２のビュー又は深さマップがインタレースされるか又は2Dビデオと並んで配置されるようにストリームをフォーマットすることである。図2は、これがどのように2Dデータ及び深さマップを送信するために行われることができるかという例を示す。ビデオ上にグラフィックスをオーバレイするとき、さらに別のデータ・ストリームが用いられることができる。

提案される3D画像システムは、適切なデジタル・インタフェースを介してグラフィカル・データ構造を含む画像データを転送することができる。再生装置（一般的にはBDプレーヤー）がグラフィカル・データ構造を読み出し又は生成して、そのようなマスクを検出するとき、それは、ビデオ・インタフェース（例えば既知のHDMIインタフェース）を通じて画像データを有するグラフィカル・データ構造を送信する(例えば、"High Definition Multimedia Interface Specification Version 1.3a of Nov 10 2006参照)。

ここで説明される3D画像システムの主要なアイデアは、上述の問題の一般的なソリューションを表す。下記の詳細な説明は、ブルーレイ・ディスク（BD）再生の特定の場合に基づいたJavaプログラミングの例を用いる単なる例である。オーディオ・ビデオ・データ（ＡＶデータ）を記憶するためのBD階層画像データ構造は、Titles、Movie Objects、Play Lists、Play Items及びClipsで構成される。ユーザインタフェースは、さまざまなタイトルとメニューとの間でナビゲートすることを可能にするIndex Tableに基づく。BDの画像データ構造は、グラフィカル・ユーザインタフェースを生成するためのグラフィカル要素を含む。画像データ構造は、以下に記載されるようなグラフィカル・データ構造を表すための更なる制御データを含むことによって3D GUIに拡張されることができる。

次に、グラフィカル・ユーザインタフェース（GUI）の例について説明する。本明細書において、3D GUIは、ビデオ、動画、ゲームなどのような任意のインタラクティブ・ビデオ又は画像コンテンツの名称として用いられ、ユーザが任意の態様で相互作用する（例えば、選択、移動、変更、活性化、押下、取消など）ことができるグラフィカル要素と組み合わせて3D画像データを示すことに留意する必要がある。任意の機能がそのような要素に結合されることができる（例えば、全く何もないか、ハイライトのようなインタフェース自体内のみの機能、動画を開始することのような表示装置の機能、及び/又は、他の装置（例えば家庭警報システム若しくは電子レンジ）の機能）。

BD Publishingフォーマットは、インタラクティブ動画経験を作成するための、コンテンツ作成者のための完全なアプリケーション環境を定める。この一部は、メニュー及びボタンを作成するシステムである。これは、メニュー及びボタンのためのビットマップ画像（すなわち2D画像データ）並びにメニュー及びボタンをアニメーションにすることを可能にする構成情報を用いることに基づく。構成情報は、構成要素又はセグメントと呼ばれることができ、提案されるグラフィカル・データ構造の例である。ユーザ・インタラクション及びGUIの典型的な例は、ユーザがメニューのボタンを選択するときに、ボタンの状態及び外観が変化することである。これはさらに、コンテンツ作成者がシステムの全ての機能を制御することを可能にするライブラリの大きなセットを有するJavaプログラミング言語をブルーレイ・ディスク規格がサポートするので、全ての種類のアニメーション及びコンテンツ適応にも利用されることができる。

現在、BDは、コンテンツ作成者がユーザ選択メニューを作成するための２つのメカニズムを提供する。１つの方法は、事前に決められたHDMVインタラクティブ・グラフィックス規格を用いることであり、他の方法は、Java言語及びアプリケーション・プログラミングインタフェースの使用による。

HDMVインタラクティブ・グラフィックス規格は、ランレングス符号化ビットマップ・グラフィックスを含むMPEG-2基本ストリームに基づく。更に、BDにおいて、メタデータ構造は、コンテンツ作成者がストリーム中のグラフィック・オブジェクトに関連付けられるアニメーション効果及びナビゲーション・コマンドを指定することを可能にする。それらに関連付けられるナビゲーション・コマンドを持つグラフィカル・オブジェクトは、（メニュー）ボタンと呼ばれる。ボタンと関連付けられるアニメーション効果及びナビゲーション・コマンドを定めるメタデータ構造は、インタラクティブ構成構造と呼ばれる。

HDMVは、位置情報の代わりにキー・イベントのストリームを送信する従来の遠隔制御（例えば図1に示されるユニット15）の使用に基づいて設計される。自由な動くカーソルは利用可能でない。これを解決するために、我々は、入力装置の位置の変化をユーザ操作にマップするマッピング・スキームを提案する。この目的のために、我々は、２つの新たなインタラクティブ・ユーザ動作、Move_Forward Selected_button及びMove_Backward- Selected_buttonを定める。スクリーンから離れるように後方に位置が変化すると、１つのMove_Backward-Selected_button動作が呼び出され、スクリーンに向う位置の変化は、１つのforward selected_buttonユーザ動作を生成する。

Javaは、DVB-GEM規格(Digital Video Broadcasting (DVB) - Globally Executable MHP (GEM))に基づく１セットのライブラリを有するサン・マイクロシステムズからのJava言語を用いたプログラミング環境である。Javaプログラミング言語に関する更なる情報は、http://java.sun.com/において見つけることができ、GEM及びMHP規格は、ETSI（www.etsi.org）から利用可能である。利用可能なライブラリのセットの間でも、メニュー及びボタン並びに他のGUI要素を有するユーザインタフェースを作成する機能へのアクセスをプログラマに提供するセットが存在する。

実施の形態において、BDから知られるインタラクティブ構成セグメントは改良されて、3Dのためのインタラクティブ・グラフィカル・データ構造の２つのタイプに拡張される。グラフィカル・データ構造の１つの例は、既存の入力装置（例えばメニューをナビゲートするための矢印キー）を用いることに依存する。更なる実施例は、さらに深さにおいてナビゲートすることを可能にする入力装置の使用を可能にする。第１インタラクティブ構成グラフィカル・データ構造は、完全に下位互換性を持ち、異なる「深さ」位置を持つグラフィック・オブジェクトを参照することができるが、深さ又は「z方向」にナビゲートするための追加のキーをサポートする入力装置のための追加の構造を提供しない。3Dのための第２インタラクティブ構成グラフィカル・データ構造は、第１構成オブジェクトと同様であるが、「z方向」入力を提供する入力装置を可能にするように拡張されて、既存のプレーヤーとの互換性がない。

更に、ボタンの「z方向」又は深さ位置のためのエントリー、及び、現在選択されたボタンより深さが小さいか又は大きいボタンを示すための識別子を含むように、3Dのためのインタラクティブ構成グラフィカル・データ構造に、拡張されたボタン構造が提供される。これは、異なる深さ位置に位置するボタン間の選択を切り替えるためにユーザが遠隔制御装置のボタンを用いることを可能にする。

Javaプログラミング環境のために、我々は、深さ次元においてナビゲートすることが可能になるようにJavaインタフェースを拡張するユーザインタフェース・コンポーネントを含む更なるライブラリを追加する。さらに、深さ方向においてナビゲートするための遠隔制御装置上のキーをユーザがいつ押したかを示す２つの新たなユーザ動作及び関連したキー・イベントが提供される。

これらの変更の利点は、多くの技術上の複雑度をプレーヤー装置の実施に導入することなく、コンテンツ作成者が、単純な3Dユーザインタフェースを作成して、インタフェースをナビゲートするための適切な入力装置をユーザに使用させることを可能にすることである。

図3は、インタラクティブ構成構造のセクションを示す。このグラフィカル・データ構造は、ブルーレイ・ディスクにおいて用いられる。このテーブル中の第４のフィールドは予約されており、それはバイト位置合せのために挿入された。サイズは6ビットであり、我々は、インタラクティブ構成が3Dナビゲーションをサポートするか否かについて示す更なるフィールドを追加するために、6ビットのうちの1ビットを用いる。

図4は、（3D_Navigationと呼ばれる）3Dナビゲーション・インジケータを持つインタラクティブ構成構造のセクションを示す。このフィールドは、インタラクティブ構成が3Dナビゲーションをサポートするかどうかを示す。1ビットのフラグ（1b）は、3D（x、y及びzの3方向自由度［DOF］）ナビゲーションがサポートされていることを示し、0bは2Dナビゲーション（2DOF）のみを示す。

図5は、グラフィカル制御要素を示す。このテーブルは、単純化された表現でBDにおいて使用されるボタン構造を示す。

図6は、3Dに拡張されたグラフィカル制御要素を示す。このテーブルは、3Dグラフィカル・オブジェクトから成るが、メニューをナビゲートするための追加的な入力手段を用いないメニューのために拡張されたボタン構造のバージョンを示す。ここで、予約された7ビットがボタンの深さ位置を示すために用いられ、2DOF入力装置（例えば遠隔制御装置上の4つの矢印キー）を用いることで、異なる深さ位置に位置づけられるボタン間をユーザがナビゲートすることを可能にする。例えば、上矢印キーは、観察者からさらに離れて配置されるボタンを選択することができ、下矢印キーは、観察者により近いボタンを選択するために用いられる。なお、一般的に、8ビット（255個の値）が深さを示すために用いられるが、ここでは、7ビットのみが利用可能であるので、8ビットの値のMSビットとして7ビットを用いる。他のマッピングも可能である。

ボタン構造に深さ位置を追加することによって、コンテンツ作成者は、異なる深さにボタンを配置することができ、それらの間のz順序を作成することができ、それによって、１つのボタン（の一部）が他のボタンの上に重なり合う。例えば、ユーザが前面にないボタンを選択すると、それは完全なボタンを示すように前面へ移動して、ユーザは、続行することを望む場合、そのボタンに関連付けられた動作を選択するために、OK又はenterキーを押すことができる。

図7は3Dボタン構造を示す。このテーブルは、3DOF装置からの入力を可能にして、そして完全な3Dナビゲーションを提供するように拡張される。このボタン構造は、図6のテーブル中に示される3D_Navigationフィールドが1bに設定されるときに、インタラクティブ構成において用いられる。既存のボタン構造中に十分な予約フィールドが存在しないので、我々は、既存の装置との互換性がない新たな構造を定めた。

追加されるフィールドは、深さ位置並びに前方ボタン及び後方ボタン識別子である。深さ位置は、水平及び垂直エントリーと共に3D空間における位置を示す16ビット値である。我々は、他の位置パラメータと合わせるために16ビットを用い、実際にはさらに少ないビットで十分であるが、16ビットを用いることで、ほとんどコストをかけずに、将来のシステムのための余地が生まれる。

前方ボタン及び後方ボタン識別子フィールドは、どのボタンがこのボタンの前又は後ろに位置するか、及び、ユーザが深さ又は所謂「z方向」において、すなわちスクリーンから離れて又はスクリーンに向ってナビゲートするときに、どのボタンが選択されるべきかを示すために用いられる。前方ボタン識別子は、現在のグラフィカル制御要素の前に位置する更なるグラフィカル制御要素を示すための前方制御パラメータの例であり、一方、後方ボタン識別子は、現在のグラフィカル制御要素の後方に位置する更なるグラフィカル制御要素を示すための後方制御パラメータの例である。

いままでのところ、我々は、下位互換性を持つが2DOFナビゲーションのみをサポートする方法、及び、互換性は無いが、より将来を保証し、3DOFナビゲーションをサポートする方法の２つの方法をコンテンツ作成者が用いることを可能にする3Dのためのブルーレイ・ディスク・インタラクティブHDMVグラフィックスを拡張する好ましいソリューションを議論した。

互換性が重要な場合、他のソリューションも存在するが、これらは若干の機能を犠牲にする。図5に示されたように、ボタン構造は7つの予約ビットを持ち、これらは、ボタンの深さ位置及びこのボタンの前又は後ろにあるボタンの識別子の両方を示すために用いられることができる。例えば、3ビットが深さ位置を示すために用いられることができ、これは、コンテンツ作成者が８レベルの深さを示すことを可能にする。残りの4ビットは、後方又は前方の４つのボタンを可能にする識別子として用いられることができる。このアプローチは、ボタン構造中のいくつかの他の予約ビットとともに用いられることができるが、これらは、提案された新たな値と意味論的に一貫していない他のフィールドの一部であるので、あまり適切でない。

実施の形態において、予約ビットを用いる代わりに、「ダミー」ボタンが作成される。このボタンは、いかなる視覚的コンポーネントも、いかなるナビゲーション・コマンドも持たず、「現実の」ボタンに関連付けられる。それは単に、ボタン深さ並びに後方ボタン及び前方ボタン識別子を示すために用いられる。

図8は、3Dパラメータを担持する"ダミー"ボタン構造の表現を示す。このテーブルは、3Dボタン・パラメータを担持するために用いられる"ダミー"ボタンの例を示す。"ダミー"ボタンの識別子は、対応する「現実の」2Dボタンと関連づけられることができるような識別子である。さらに、予約7ビットは、オプションとして1ビットの先行するエントリー（自動アクション・フラグ）と一緒に、ボタンの深さ位置を示すために用いられる。水平及び垂直位置フィールドは、関連する2Dボタンのためのフィールドと同一である。上及び下ボタン識別子は、それぞれ後方及び前方ボタンの識別子を担持するために用いられる。

通常状態、選択状態及び活性化状態エントリーは、通常、ボタンを表すグラフィカル・オブジェクトを参照するために用いられる。ボタンに関連づけられたグラフィカル・オブジェクトが存在しないとき、規格による値は、0xFFFFに設定されなければならない。

BD Java環境に対しては、BD-Javaは、静的データ構造に依存せず、１セットの動作を実行する関数のライブラリに基づくプログラミング環境であるので、ソリューションは幾分異なる。基本的なグラフィカル・ユーザインタフェース要素は、java.awt.Componentクラスである。このクラスは、java.awtライブラリ中の全てのユーザインタフェースに関連したアイテムの基本的なスーパー・クラスである（例えばボタン、テキスト・フィールドなど）。完全な規格は、www.java.sun.com（http://java.sun.com/javame/reference/apis.jsp）において、Sunから入手することができる。

以下のセクションは、深さを考慮するためのJava 2Dグラフィックスの拡張を説明する。3D空間におけるインタラクティブ・グラフィック・オブジェクトの位置決めを可能にするためにjava.awtライブラリをどのように拡張するべきかが説明される。これに加えて、我々は、Java.awtライブラリ中の全てのユーザインタフェース要素に対してさらに6DOFナビゲーションを可能にするために、新たなユーザ・イベントを定める。

図9は、キー・イベント・テーブルを示す。複数の考えられるキー・イベントが、ブルーレイ・ディスクのために定められる。これらは、深さ方向のキー・イベントを考慮するために拡張される。VK_FORWARDは、スクリーンに向けた移動が意図されるキーが押される時を参照し、一方、VK_BACKWARDは、スクリーンから離れる方向に対応するキーが押されたことを示す。

対応するユーザ動作、Move Forward Selected Button及びMove Backward Selected Buttonがさらに定められる。キー・イベント及びユーザ動作に対するこの拡張は、ディスク上のJavaを用いたインタラクティブ・アプリケーションを作成することを可能にし、それによって、ユーザは、深さ方向において複数のボタンの中でナビゲートすることができ、最も前方のボタンから、スクリーン内へとさらに遠いボタンへと移動する。

6DOF入力装置をサポートするために、２つの可能性が存在する。第１は、6DOF種類のイベントをサポートするためにInputEventクラスを拡張することである。

図10は、Six DOF Eventクラス及びAWTEvent階層を示す。図は、さまざまな既存のイベント、及び6DOF入力装置からのイベントを表す追加的なSix DOF Eventを示す。

下記は、SixDofEventクラスの最も単純な定義である。それは、イベント（例えば移動、ボタン・クリック）が活性化されたときの、回転運動（ロール、ヨー及びピッチ）を含む装置の位置及び方位を記述する。

6DOFを可能にする入力装置が移動するとき、又は装置のボタンがクリックされたときに、これらのイベントが生成される。入力装置を制御することに関心があるアプリケーションは、SixDofEventListenerとして登録されることを必要とする。これらは、それらが、入力装置の現在の位置及び方位に基づいて、対応するイベントが活性化するときに持つことを望む挙動を指定することを必要とする。

あるいは、Java 3Dによって示唆されるより複雑なアプローチが適用されることができる。6DOFのサポートは、Sensorクラスによって可能にされ、それは、入力装置の位置、方位及びボタン状態の最近のN個のサンプリングされた値をアプリケーションが読み出すことを可能にする。位置及び方位は、Transform3Dオブジェクトによって、すなわち、3x3回転マトリックス、並進ベクトル及びスケーリング係数によって記述される。
public Transform3D (Matrix3d m1, Vector3d t1, double s)
これらの値は、3D空間においてボタンを選択することとは別に、例えば、オブジェクトを見回すためにユーザが頭部を動かしたときに、レンダリングされるシーンの視点を変更して、現実に起こるものを模倣するために、アプリケーションによって用いられることができる。

Javaグラフィカル・アプリケーションは、標準的なJavaライブラリを用いることができる。これらは、とりわけ、Abstract Windowing Toolkit (AWT)を有し、それは、グラフィカル・ユーザインタフェース（例えば「印刷」ボタン）を作成するため及びなんらかの表面上にグラフィックス（例えばなんらかのテキスト）を直接描画するための基本的な機能を提供する。ユーザインタフェースを開発するために、ウィンドウ、ダイアログ、ボタン、チェックボックス、スクローリング・リスト、スクロールバー、テキスト領域などを作成することを可能にするコンポーネントと呼ばれるさまざまなウィジェットが利用可能である。AWTはさらに、現在選択されている色、フォント及び他の属性を用いて、あらかじめ作成されたカンバス上に異なる形状（例えばライン、矩形、円形、自由なテキストなど）をプログラマが直接描画することを可能にするさまざまなメソッドを提供する。現在、これらは全て2Dであり、Javaグラフィックスに第３の次元を追加するために、なんらかの拡張が必要である。

三次元に向けて2D Javaグラフィックスを改良することは、3Dグラフィック・オブジェクトを作成して、それらを3D空間に配置し、カメラ視点を選択して、そのように構成されるシーンをレンダリングすることによって行われることができる。これは、2Dグラフィックスとは完全に異なるモデルであり、2Dで描画するためのものに加えて別のライブラリを追加することを必要とし、相当に計算量が多い場合があるが、質及びプログラミング柔軟性がより高いレベルに達することができる。

本発明の実施の形態において、現在の2Dグラフィックス・モデルは、深さ情報を利用するための能力によって拡張される。完全に異なる思考法で考え始めることをプログラマに強制する代わりに、既存のウィジェット及び描画メソッドは、どの深さにグラフィカル・オブジェクトが見えるか、テレビスクリーンの前か後ろかを特定する可能性を彼らに与えるように適応される。

さまざまな描画メソッド（例えばdrawLine、drawRectなど）が追加の引数としてオブジェクトの深さを許容するように適応させること、深さを表す追加の座標によって色モデルを拡張し、このようにして、オブジェクトに深さを割り当てることがそれに色を付けることと原則として等価であることの、２つの選択肢が、これを達成するために利用可能にされる。

図11は、Java AWTコンポーネント・クラス・ツリーを示す。プログラマは、ユーザインタフェースを生成するために、これらのクラスを利用することができる。以下のセクションにおいて、それらの深さを指定する能力によってこれらのオブジェクトをどのように拡張するべきかが説明され、それは、それぞれのオブジェクトにメソッドを追加することによって達成されることができる。

図12は、深さを含めるためのComponentクラスへの拡張を示す。図はクラスに追加するメソッドを示し、そうすることによって、全ての子クラスは本質的にそれらがどの深さに現れるかを指定することが可能である。さらに、コンポーネントのコンテンツが表示されることを必要とするときに呼ばれるpaint()メソッドは、三次元によって拡張されなければならない。クラスGraphics3Dの定義については図16を参照。

図13は、深さを含めるためのLayoutManagerクラスに対する拡張を示す。図は、各々のウィジェットの適正として深さを指定することの代替例を示し、使用中のレイアウト・マネージャに追加されているコンポーネントの深さを指定することを可能にするために、LayoutManagerインタフェースを変更することから成る。

図14は、深さを含むように拡張されるComponentクラスの例を示す。

図15は、深さを含むように拡張されるLayoutManagerクラスの例を示す。図14及び15の例の比較は、図12及び13に示される拡張の実施の形態を説明する。

上で述べたように、Java標準ライブラリのグラフィックス描画能力は、拡張されることを必要とする。テキスト・メッセージ及び画像と同様にライン、ポリゴン、円及び他のさまざまな形状を描画面上に直接描画することを可能にするGraphicsクラス中の全てのメソッドは、それらの深さの指標によって拡張されるべきである。

図16は、深さを含むためのGraphicsクラスに対する拡張を示す。更なる深さ整数パラメータが追加された。

あるいは、Graphicsクラス中のメソッドはそのままにしておいて、一方、色モデルは、オブジェクトの透明度を定めるα成分と同様に、更なる深さコンポーネントによって改良される。

図17は、深さを含むためのColorクラスに対する拡張を示す。この実施の形態は、次に描画されるオブジェクトの深さを変更することが、現在の色に望ましい深さ値を設定することによって達成されることを要求する。

図18は、深さを含むように拡張されるGraphicsクラスの例を示す。

図19は、深さを含むように拡張されるColorクラスの例を示す。図18及び19の例の比較は、図16及び17に示される拡張の実施の形態を説明する。

図20は、グラフィカル・プロセッサ・システムを示す。システムは、符号化されたビデオ入力信号200に基づいてビデオ出力信号207を生成する。画像データを有する入力信号は、入力バッファを含むことができる入力ユニット201において受け取られる。入力ユニットはグラフィック・プロセッサ202に結合され、グラフィック・プロセッサ202は、入力画像データを復号して、復号されたビデオ・オブジェクトをオブジェクト・ユニット203に出力し、オブジェクト・ユニット203は、オブジェクト特性（例えば拡張されたグラフィカル・データ構造から読み出される2D画像データ（例えばビットマップ））を記憶する。オブジェクト・ユニットからの画像データは、グラフィック・ユニット204の要求により用いられ、グラフィック・ユニット204は、例えば、グラフィカル・ユーザインタフェースを表示するための画像データを有する3Dビデオ出力信号を生成するために、さまざまなオブジェクトを組み合わせる。3Dビデオ出力信号は、さまざまなビデオ・プレーンを持つように配列されることができ、上で議論された任意のフォーマットにおいて深さ情報を含む。グラフィック・プロセッサ202は、さらに、上で議論されたグラフィカル制御構造を読み出して復号し、構成バッファ205中にそれぞれの構造データを記憶する。特に、そのようなデータは、画像オブジェクトを取り扱う方法を定める構成セグメントと呼ばれることができる。構成ユニットはグラフィック・アクセラレータ206に結合されて、それは2Dビデオ・データを提供するために用いられることができる。特に、拡張3Dグラフィカル・データ構造中に含まれる深さ情報は、3Dグラフィカル・ユーザインタフェース中のある深さ位置に2D画像データを配置するためのグラフィカル・データ構造中にここでは含まれる深さパラメータに基づいて3D表示信号中に2D画像データ（例えばオブジェクト・ユニット203からのビットマップ）を配置するように処理される。

概要では、異なる深さレベルにおいてウィジェット及びオブジェクトを有するグラフィカル・ユーザインタフェースの開発を可能にするために、上記は、Java AWTグラフィックス・ライブラリに対して実行されなければならないさまざまな拡張を調査する。そしてこの能力は、Javaを用いたインタラクティブ・アプリケーション（例えばブルーレイ（BD-Jセクション）及びDVB MHP）をサポートする全ての規格において利用されることができる。

最後に、これらのアプリケーションは、2D+depthフォーマットのみに限られず、stereo+depthフォーマットにも関する。この場合には、深さ値は、スクリーン面からどれだけ離れているかに関してグラフィカル・オブジェクトが出現する場所についてのプログラマの意図を表現するために用いられることができる。そしてこの値は、Bruls F.; Gunnewiek R.K.; "Flexible Stereo 3D Format"; 2007に記載されているように、第１ビューから適応された第２ビューを自動的に生成するために用いられることができる。

本発明は、プログラム可能なコンポーネントを用いて、ハードウェア及び/又はソフトウェア中に実現されることができることに留意する必要がある。本発明を実現するための方法は、図1を参照して説明される3D画像システムに対応する処理ステップを持つ。3D画像コンピュータ・プログラムは、3D画像装置におけるそれぞれの処理ステップのためのソフトウェア関数を持つことができ、表示コンピュータ・プログラムは、表示装置におけるそれぞれの処理ステップのためのソフトウェア関数を持つことができる。そのようなプログラムは、パーソナル・コンピュータ又は専用のビデオ・システムにおいて実現されることができる。本発明が主に光学記録担体又はインターネットを用いた実施の形態によって説明されたが、本発明は、オーサリング・ソフト又は放送装置のような任意の画像処理環境にも適している。更なるアプリケーションは、3Dパーソナル・コンピュータ［ＰＣ］ユーザインタフェース又は3Dメディア・センターＰＣ、3Dモバイル・プレーヤー及び3D携帯電話を含む。

なお、この文書において、用語「有する」「含む」などは、列挙されたもの以外の他の要素又はステップの存在を除外せず、単数で表される要素はそのような要素が複数存在することを除外せず、参照符号は請求の範囲を制限せず、本発明は、ハードウェア及びソフトウェアの両方によって実現されることができ、いくつかの「手段」又は「ユニット」は、ハードウェア又はソフトウェアの同一のアイテムによって表されることができ、プロセッサは、おそらくハードウェア要素と協働で、１つ以上のユニットの機能を実現することができる。さらに、本発明は、実施の形態に制限されず、上述の新規な特徴又は特徴の組み合わせのいずれにも存在する。

Claims (11)

1. 二次元（2D）画像装置及び三次元（3D）画像装置から選択される装置を制御するための複数のコマンドの2Dグラフィカル・ユーザインタフェース及び3Dグラフィカル・ユーザインタフェースを生成するために複数のデータ構造を使用する方法であって、当該方法は、
   対応する２D画像を有する前記複数のコマンドのうちの少なくとも１つを特定する１つ以上の信号を生成し、
   特定されたコマンドを表す、前記複数のデータ構造のうちの少なくとも１つを提供し、
   提供されたデータ構造中の第１フィールドに、前記特定されたコマンドを表す前記2D画像に対する参照を割り当て、提供されたデータ構造中の第２フィールドに、前記3Dグラフィカル・ユーザインタフェース中で前記2D画像を配置するための少なくとも１つの深さパラメータを割り当て、
   前記第２フィールドは２D画像装置と3D画像装置とで異なって用いられる、方法。
2. 前記深さパラメータは深さ方向における前記2D画像の位置を示し、引数及び色モデルの座標の少なくとも１つを含む、請求項１に記載の方法。
3. 前記データ構造が、前記3Dグラフィカル・ユーザインタフェースにおける3Dナビゲーションが可能にされることを示すためのフィールドを有する、請求項１に記載の方法。
4. 前記データ構造が、
   深さ方向における前記2D画像の位置を示す深さパラメータ、
   前記特定されたコマンドの前に位置する前記複数のコマンドのうちの少なくとも１つを示すための前方制御パラメータ、
   前記特定されたコマンドの後ろに位置する前記複数のコマンドのうちの少なくとも１つを示すための後方制御パラメータ、
   のうちの少なくとも１つを有する、請求項１に記載の方法。
5. 前記データ構造が、
   前記コマンドに対応するボタンを表すための2Dボタン構造、
   前記3Dグラフィカル・ユーザインタフェースにおける深さ位置に前記2D画像を配置するための前記少なくとも１つの深さパラメータを有するダミー・ボタン構造、
   を有する、請求項１に記載の方法。
6. 前記ダミー・ボタン構造が、対応する2Dパラメータのための予約された位置に少なくとも１つの深さパラメータを有する、請求項５に記載の方法。
7. 前記複数のコマンドへ制御信号を変換する、請求項１に記載の方法。
8. 二次元（2D）画像装置及び三次元（３D）画像装置から選択される装置であり、当該装置を制御するための複数のコマンドの2Dグラフィカル・ユーザインタフェース及び3Dグラフィカル・ユーザインタフェースを生成するために複数のデータ構造を用いて当該装置を制御する制御装置を備える装置であって、
   対応する２D画像を持つ前記複数のコマンドのうちの少なくとも１つを特定する１つ以上の信号を生成する生成器、
   特定されたコマンドを表す前記複数のデータ構造のうちの少なくとも１つを受信する受信器、
   受信されたデータ構造中の第１フィールドに、前記特定されたコマンドを表す前記２D画像に対する参照を割り当て、受信されたデータ構造中の第２フィールドに、少なくとも１つの深さパラメータを割り当てるプロセッサ、
   前記３Dグラフィカル・ユーザインタフェース中に参照される２D画像を表示するディスプレイ、
   を有し、
   前記第２フィールドは２D画像装置と3D画像装置とで異なって用いられる、装置。
9. 前記受信器が、記録担体から前記データ構造を読み出す、請求項８に記載の3D画像装置。
10. 前記受信器が光ディスク読み出し手段である請求項９に記載の3D画像装置。
11. コンピュータに読み込まれ当該コンピュータにより実行されて、当該コンピュータに請求項１から請求項７のいずれか一項に記載の方法を実行させるコンピュータ・プログラム。

Images