JP4129408B2 - 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法 - Google Patents
画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法 Download PDFInfo
- Publication number
- JP4129408B2 JP4129408B2 JP2003111048A JP2003111048A JP4129408B2 JP 4129408 B2 JP4129408 B2 JP 4129408B2 JP 2003111048 A JP2003111048 A JP 2003111048A JP 2003111048 A JP2003111048 A JP 2003111048A JP 4129408 B2 JP4129408 B2 JP 4129408B2
- Authority
- JP
- Japan
- Prior art keywords
- image data
- dimensional image
- control information
- information
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、３次元表示の画像データを生成する画像データ生成装置及びその方法、３次元画像データから３次元画像を再生する画像データ再生装置及びその方法に関する。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左目用画像と右目用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を可能にする。
【０００３】
図５は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
この時分割方式では、図５のように、左目用画像と右目用画像を垂直１ラインおきに交互にならんだ形で画面上に配置し、左目用画像を表示するフィールドと右目用画像を表示するフィールドを交互に切り替えて表示するものである。左目用画像及び右目用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左目用画像が表示されている時は左目側が開いて右目側が閉じ、右目用画像が表示されている時は左目側が閉じて右目側が開く。このようにすることにより、左目用画像は左目だけで、右目用画像は右目だけで、表示された画像が観察されることになり、立体視を行うことができる。
【０００４】
図６は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。図６（ａ）は、視差が生じる原理を示す図で表示装置を上から見た図である。図６（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００５】
図６（ｂ）に示すような左目用画像と右目用画像のペアがストライプ状に並んだ画像を、図６（ａ）に示すように、画像表示パネル６０１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア６０２をその前面に置くことにより、左目用画像は左目６０３だけで、右目用画像は右目６０４だけで、表示パネル６０１上に表示された画像を観察することになり、立体視を行うことができる。
【０００６】
以上のような立体視可能な画像データを記録又は伝送する場合、図５や図６（ｂ）に示した画面イメージをそのまま記録・伝送しても良いが、それ以外の方法として例えば、特許文献１において、パララクスバリア方式と同様の原理に基づくレンチキュラ方式の３次元表示に用いるデータ形式の一例が開示されている。
【０００７】
図７は、このような「レンチキュラ方式」のデータ形式の一例を示す概念図である。
すなわち、図７（ａ）に示す左目用画像７０１と図７（ｂ）に示す右目用画像７０２から、それぞれを間引きして図７（ｃ）に示す１枚の混合画像７０３を作って記録し、再生時にはこの混合画像７０３を並べ替えることにより図６（ｂ）に示したような画像が作成され、これを表示することで立体視が可能になる。図７（ｃ）のような混合画像を構成する利点としては、特に対象が動画像でこれを圧縮符号化する場合に、符号化方式の特性上、入力データが図６（ｂ）の構成よりも図７（ｃ）の構成の方が符号化効率の点で有利であることが挙げられる。
【０００８】
【特許文献１】
特開平１１−４１６２７号公報（図１）
【０００９】
【発明が解決しようとする課題】
上記の２眼式の例に限らず、３次元画像を表示するには様々な方法があり、一般的に異なる表示方式間での記録・伝送データには互換性がない。例えば、時分割方式用のデータをそのままパララクスバリア方式の３次元ディスプレイに表示することはできない。したがって、記録・伝送データに汎用性を持たせることを考慮すると、その表示方式を示すための情報を画像データと共に記録・伝送する必要がある。
【００１０】
表示方式以外にも作成時の視点数や間引き方法など、３次元表示のために必要あるいは有用なパラメータは様々あり、また将来、表示デバイスの進歩や端末の能力アップに伴い、さらに必要なパラメータが増加することも予想される。その際、３次元画像データに汎用性・互換性を持たせようとするとその記録・伝送データに格納すべきパラメータの種類も数多くなるが、一方で、ある特定の条件の下でのみ再生することを前提としたデータ構成の考慮も必要である。特に、小型携帯端末や低速の通信回線に接続して使用する画像端末等、実装資源や使用条件に制約のある装置で３次元画像を利用する場合には、オーバーヘッド削減のため、扱うデータに含まれるパラメータは必要最低限のものに絞ることが望ましい。
【００１１】
しかし、同じ３次元画像でもそれを扱う端末によって備える機能や能力が異なるため、「必要最低限」の基準が端末毎に異なる状態になるのが常である。その場合、機能・能力の最も低い端末に合わせてパラメータを制限したデータのみ作成すると、そのデータは全ての端末で再生可能になるが、一方で高機能な端末の能力を生かせなくなる。しかしながら、高機能端末用に多くのパラメータを格納したデータを作成すると、能力の低い端末にとっては、それらサポートできないパラメータを解釈しなければならないがために、無用のオーバーヘッドが増える要因になる。
【００１２】
本発明は、このような課題に鑑みてなされたものであって、３次元表示のための画像データに汎用性及び拡張性を持たせた画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法及び画像データ又は画像処理プログラムを記録した記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明によると、３次元画像データを生成することが可能な画像データ生成装置であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するパラメータ入力手段と、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成する制御情報手段と、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成する画像データ生成手段とを備える。
前記画像データ生成手段は、さらに、３次元画像であることを示す３次元画像識別情報を生成する。
【００１４】
本発明によると、３次元画像データを用いて３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析手段とを備え、
前記３次元画像データは前記制御パラメータの設定を規定するプロファイル情報を含む。
【００１５】
本発明によると、３次元画像データから３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを得るパラメータ生成手段とを備える。
【００１６】
更に、前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定する再生可否判定手段を備え、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生する。
【００１７】
本発明によると、３次元画像データを生成する画像データ生成方法であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するステップと、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成するステップと、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成するステップとを備える。
【００１８】
本発明によると、３次元画像データを用いて３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得るステップと、
前記３次元画像データに含まれるプロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記３次元画像データが再生可能と判定された場合に、前記３次元画像データを、前記パラメータに従って再生するステップとを有する。
【００１９】
本発明によると、３次元画像データから３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを生成するステップと、
前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生するステップとを有する。
【００２０】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な画像データ生成装置及びその方法、画像データ再生装置及びその方法の実施の形態について詳細に説明する。
【００２１】
第１の実施の形態
図１は、本発明の第１の実施の形態の３次元画像データ１００の構成を示す図である。図示された情報及びデータは、上の要素から下に向かって順に記録もしくは伝送されることを想定している。以下、各情報及びデータについて説明する。
【００２２】
記録もしくは伝送されるデータ中に３次元画像識別情報１０１が存在すると、これ以降に３次元画像に関するデータが続くことを意味する。バージョン情報１０２は、３次元表示に関するバージョンを示す情報である。制御情報１０３は、３次元画像の表示に関する１つ以上のパラメータで構成され、バージョン情報１０２に応じてその種類や組み合わせが決定される。制御情報１０３の具体例及びバージョン情報１０２との関連については後述する。
【００２３】
画像データ１０４は、３次元表示の可能な画像データであり、例えば、前記図５、図６（ｂ）、図７（ｃ）のようなデータ構成を持つ。画像データ１０４は、静止画、動画を問わず、また、圧縮符号化されているデータ、圧縮符号化されていないデータ、いずれでも良い。さらに、画像データ１０４とは別に、音声やテキストなど画像以外のデータを含んでいても良く、またそれらに付随する付加情報を含んでも良い。
【００２４】
次に、本実施の形態における制御情報１０３に関する例とバージョン情報１０２との関連について説明する。制御情報１０３の例として、画像データが従来技術で説明したような前記図６（ｂ）のデータ構成になっているか図７（ｃ）のデータ構成になっているかを示すパラメータがある。３次元画像を表示する際には、表示しようとする画像データがどのような構成になっているかを知らなければ正常に３次元表示ができないため、このようなパラメータは３次元画像の表示に関して必須の制御情報である。
【００２５】
制御情報１０３の他の例としては、上記のようにそのパラメータに従わなければ正常に３次元表示できないものだけでなく、３次元表示自体には必須ではないが利用すればより良好な３次元表示を得られる、という性質のパラメータもある。例えば、前記図５や図６を用いて説明したような両眼視差を利用して立体視するような表示においては、左右画像の視差量を変化させることにより奥行き感を調整することができるので、この変化させる視差量を制御情報のパラメータとして記述しておけば、元の画像データ自体を変更することなしに、元の画像データとは異なる奥行き感を持つ３次元画像データを生成することが可能である。
【００２６】
視差量を変化させるためには、具体的には、例えば前記図６（ｂ）に示す合成画像において左目用画像はそのままにしておき、右目用画像だけを左右どちらかにずらすことにより実現できる。しかし、３次元画像データを再生する再生装置にはさまざまな種類が存在し得るため、中には画像を水平方向にずらして表示する機能を備えていない再生装置が存在する可能性もある。そのような再生装置は、上記視差量を変化させるための制御情報を解釈できたとしても、その情報を表示の制御に利用することができない。同様に、画像データの構造そのものに関しても、図６（ｂ）の画像データ、図７（ｃ）の画像データ両方に対応している再生装置もあれば、図７（ｃ）にしか対応していない再生装置もあり得る。
【００２７】
そのような、機能的あるいは能力的に制限のある再生装置が、制御情報を解釈する代わりにバージョン情報を解析することによって、簡単に、含まれる画像データを適切に３次元表示できるかどうかを判定可能とするために、制御情報１０３とバージョン情報１０２を関連付けて規定する。以下、そのための仕組みに関して説明する。
【００２８】
バージョン情報１０２は、３次元画像データがどのようなデータ構造を持ち、また３次元表示の際にどのようなパラメータを必要とするかを示すものである。バージョン情報１０２としては、例えば１を最低値とする自然数を数値で表したものでも良いし、特定の文字列の組み合わせで表したものでも良い。バージョン情報１０２は、上述の通り制御情報１０３と関連しており、バージョン情報１０２毎に、そのバージョン情報１０２を持つ３次元画像データ１００が含むことができる制御情報１０３を規定する。例えば、バージョン＝「１」の３次元画像データ１００は、前記図６（ｂ）と図７（ｃ）で示した画像データの構造を区別するためのパラメータのみを制御情報１０３として含む構成とし、バージョン＝「２」の３次元画像データは、上記に加えて上述の視差量を指定するパラメータも制御情報１０３として含む構成とし、バージョン＝「３」の３次元画像データは、上記に加えてさらに別のパラメータを制御情報１０３として含む構成とする。
【００２９】
このように規定することにより、例えば視差量の調整機能を備えない再生装置では、再生しようとする３次元画像データのバージョンが１であれば、制御情報１０３で指定されたパラメータ通りに３次元画像の表示が可能だが、それ以外のバージョンの３次元画像データについては制御情報１０３で指定されたパラメータ通りに表示することができないことを、制御情報自体を解析せずに判定することが可能である。
【００３０】
上記のように、各バージョンに対応する制御情報１０３に含まれるパラメータが階層的になっているため、あるバージョンの３次元画像データを適切に３次元表示することが可能な画像データ再生装置においては、それより下位バージョンの３次元画像データも適切に３次元表示可能であることが保証される。また、前記３次元画像データの構成に関しても、将来バージョン情報や制御情報が追加になる場合の拡張が容易である。
【００３１】
なお、再生装置がバージョン情報１０２で示されるバージョンに対応していない場合に、例えば結合された多視点画像をそのまま２次元画像として表示してもよい。このとき、上記制御情報１０３を解析せずにさらに後続の画像データを正しく解析するために、３次元画像データ１００の構成としては、バージョン毎に制御情報１０３の占めるデータ長が固定であるか、又は制御情報１０３の長さを示す情報を別途格納するか、あるいは画像データ１０４の開始オフセットを別途格納する、もしくは画像データの先頭位置に特定の符号パターンが現れるようにする等、画像データ１０４の先頭位置を特定するための情報もしくは仕組みを備えていても良い。
【００３２】
次に、上記のような３次元画像データ１００を生成する画像データ生成装置について説明する。図２は、上記３次元画像データ１００を生成する画像データ生成装置の機能ブロック図である。
【００３３】
図２において、２００は３次元画像データ１００を生成することが可能な画像データ生成装置であり、画像データ生成装置２００は、１つ以上のパラメータを基に、３次元画像の表示を制御するための制御情報を生成する制御情報生成部２０１（パラメータ入力手段，制御情報手段）と、制御情報のパラメータの種類又はその組み合わせから３次元画像データのバージョンを示すバージョン情報を生成するバージョン情報生成部２０２（バージョン情報生成手段）と、前記制御情報と、前記バージョン情報と、３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部２０３（画像データ生成手段）と、生成された３次元画像データを記録又は伝送するＨＤＤ，通信部等からなる記録・伝送部２０４とを備えて構成される。
【００３４】
制御情報生成部２０１は、３次元画像の表示に関して必須のパラメータと、３次元画像の表示には必須ではないが利用すればより良好な３次元画像が得られるパラメータとを含む、パラメータを入力するパラメータ入力手段としての機能を有し、制御情報生成部２０１は、外部より入力された制御に関するパラメータを基に制御情報を生成し、バージョン情報生成部２０２では、制御情報１０３に応じたバージョン情報１０２を生成する。
【００３５】
次いで、画像データ生成部２０３では、入力された画像データと共に前記制御情報１０３及びバージョン情報１０２を含む３次元画像データ１００を生成する。この時、画像データ１０４は既に圧縮符号化されていても良いし、必要なら画像データ生成部２０３で、入力された画像データを圧縮符号化しても良い。生成された３次元画像データ１００は、記録・伝送部２０４で、記録媒体に格納されるか、外部の接続インタフェース手段もしくは通信回線等に出力される。上記記録媒体は、本画像データ生成装置２００に内蔵されるものでも良いし、外部に接続されるものであっても良い。
【００３６】
バージョン情報生成部２０２においては、どのような制御情報が存在する場合にどういうバージョンが対応するかを予め登録してあり、それに従って、制御情報生成部２０１から通知される制御情報に応じてバージョン情報を生成する。制御情報とバージョンとの対応の例に関しては、表１に示す。
【００３７】
【表１】
【００３８】
表１に示した制御情報の意味について説明する。画像データの構造とは、画像データが例えば前記図６（ｂ）のような構成をとるか前記図７（ｃ）のような構成をとるかを示すパラメータである。視差変更量とは、３次元表示における画像の奥行き感を調整するための、例えば左画像に対する右画像の水平方向へのずらし画素数を示すパラメータである。付加情報１は、３次元表示に関する別の付加的なパラメータである。以降、バージョンが上がる毎に、制御情報に含まれるパラメータが増加していく。
【００３９】
なお、上記表１ではバージョンが上がるにつれて増加する制御情報のパラメータ数は一様に１種類ずつになっているが、一様に１種類ずつである必要はなく、バージョン毎に増加するパラメータ数が変わっても良い。
次に、上記のような３次元画像データを解釈して３次元画像を再生する画像データ再生装置について説明する。
【００４０】
図３は、３次元画像データを再生する画像データ再生装置の機能ブロック図である。
図３において、３００は３次元画像データを再生することが可能な画像データ再生装置であり、画像データ再生装置３００は、３次元画像データのデータ構造を解析するデータ構造解析部３０１（３次元画像データ入力手段）と、３次元画像データのバージョン情報を解析してその３次元画像を再生可能かどうかを判定するバージョン判定部３０２（バージョン判定手段）と、制御情報１０３を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析部３０３（制御情報解析手段）と、３次元画像データ１００に含まれる３次元表示可能な画像データ１０４を、前記制御パラメータに従うデータ形式に変換する画像データ変換部３０４（画像データ変換手段）と、３次元表示可能な画像データを、３次元画像表示する画像表示部３０５（再生手段，画像表示手段）とを備えて構成される。
【００４１】
データ構造解析部３０１は、３次元画像データのバージョンを示すバージョン情報、３次元画像の表示を制御するための１つ以上のパラメータを示す制御情報、及び３次元表示可能な画像データを含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、データ構造解析部３０１は、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、バージョン情報１０２、制御情報１０３、画像データ１０４等に分離する。バージョン判定部３０２は、前記分離されたバージョンを参照して、その画像データが３次元画像として適切に再生可能であるかどうかの判定を行い、この判定結果をデータ構造解析部３０１に通知する。
【００４２】
上記判定結果が、「適切に再生可能である」の場合、データ構造解析部３０１は分離した制御情報１０３を制御情報解析部３０３に対して出力する。制御情報解析部３０３では、前記データ構造解析部３０１で分離された制御情報１０３を解析し、画像データの再生に必要なパラメータを得、画像データ変換部３０４に対して出力する。画像データ変換部３０４は、データ構造解析部３０１で分離された画像データ１０４を、制御情報解析部３０３から入力されたパラメータに従って、３次元表示に適したデータ形式に変換する。データ構造解析部３０１で分離された画像データが圧縮符号化されていた場合は、画像データ変換部３０４で画像データの復号も同時に行う。画像表示部３０５では、画像データ変換部３０４で変換された画像データを３次元画像として表示する。画像表示部３０５のような画像の表示手段は、本画像データ再生装置３００に含まれていても良いし、外部に接続される別装置であっても良い。
【００４３】
一方、上記判定結果が「適切に再生可能でない」の場合、データ構造解析部３０１及び制御情報解析部３０３は、制御情報１０３の解釈をスキップする。ここで画像データ１０４に関しては、画像データ変換部３０４が元々備えている制御パラメータを用いて、適切ではないが３次元表示が可能な画像データに変換するか、２次元画像に変換するか、あるいは、画像データの変換自体を行わないか、のいずれかの処理を行う。画像表示部３０５でこれらの画像データを表示すると、適切ではないがある程度の品質の３次元画像表示が得られるか、３次元表示ではないが画像内容が確認できる程度の２次元画像表示が得られるか、何も表示されない。あるいは、３次元画像として適切に再生できない旨の警告メッセージ画面を用意し、前記２者のケースは警告メッセージ画面を前記画像にそれぞれ重畳して表示し、最後のケースは警告メッセージ画面のみを表示するようにしても良い。前記警告メッセージ画面は、画像データ変換部３０４が生成しても良いし、画像表示部３０５が生成しても良い。
【００４４】
なお、上記のように適切に再生可能でない場合に２次元画像に変換する方法としては、例えば図６（ｂ）や図７（ｃ）の構成を持つ画像データの場合、左眼用画像のみ若しくは右眼用画像のみを用いて、水平方向に２倍に拡大若しくは補間して表示する方法がある。
【００４５】
また、前記のように、画像表示部３０５は、３次元画像だけでなく２次元画像の再生機能を備えていても良い。すなわち、画像表示部３０５は、２次元表示、３次元表示の表示モード切り替え機能を有しており、これを自動で切り替え可能な表示手段であっても良い。例えば、図３の画像データ再生装置３００においては、３次元画像識別情報の有無に従って、画像表示部３０５の表示モードが切り替わるような構成とする。すなわち、データ構造解析部３０１に入力される画像データに３次元画像識別情報が含まれる場合、画像表示部３０５では３次元表示モードで表示し、一方、データ構造解析部３０１に入力される画像データに３次元画像識別情報が含まれない場合、画像表示部３０５では２次元表示モードで表示する。
【００４６】
このように、３次元表示可能な画像データを含む３次元画像データ（図１参照）に、その３次元画像がどのようなデータ形式で記録されているか、あるいはどのような表示方法を想定しているか等を示す制御情報１０３と共に、特定の制御情報の組み合わせを表すバージョン情報１０２を付加することによって、３次元画像再生装置３００においては、バージョン情報１０２を参照することで、その３次元画像ファイルに含まれる画像データを適正に３次元表示することが可能であるかどうかを判定することができる。
【００４７】
第２の実施の形態
次に、本発明の３次元画像データに係る別の実施の形態について説明する。
図４は、本発明の第２の実施の形態の３次元画像データの伝送形態とデータ構成を示す図であり、図４（ａ）は３次元画像データを放送サービスに適用する際の伝送形態を示し、図４（ｂ）は３次元画像の番組に関する制御情報である３次元コンテンツ制御情報のデータ構成を示す。以下、個々の要素に関して説明する。
【００４８】
図４（ａ）に示すように、衛星放送局４０１は、番組即ち放送コンテンツを送信する。放送コンテンツは、番組配列情報４０２と番組データ４０３とで構成される。放送コンテンツは受信機４０４で受信され、番組データ４０３が順次結合されて番組として受信機４０４内で再構成されて再生される。
【００４９】
放送サービスにおいては任意のタイミングで受信を開始した端末が放送コンテンツのデータ種別を判別できるよう、放送コンテンツには、図４（ａ）に示した通り番組配列情報４０２が所定の周期で挿入される。番組配列情報４０２は番組を管理するための情報で、番組が３次元画像データで構成される場合は、図４（ｂ）に示すように、３次元画像識別情報をはじめとする３次元コンテンツ制御情報が番組配列情報４０２に含まれる。図４（ｂ）に示した３次元コンテンツ制御情報内の各要素は、３次元画像識別情報が前記図１の３次元画像識別情報と同等であるのをはじめ、前記図１で示した３次元画像データに含まれる各要素と同等であるため説明は省略する。ここで、図１に示す画像データ１０４は、本実施の形態においては図４（ａ）に示したような番組データ４０３として、適当なデータ長に分割されて順に伝送される。また、図４（ｂ）に示した３次元コンテンツ制御情報は番組配列情報４０２に含まれるため、そこに含まれるバージョン情報や制御情報は、図４（ａ）に示す通り繰り返し伝送されることになる。
【００５０】
前記の例では、図４（ｂ）の３次元コンテンツ制御情報が番組配列情報４０２に含まれる構成で説明しているが、該３次元コンテンツ制御情報は番組データ４０３に含まれる構成であっても良い。この場合も、上述の通り任意のタイミングで受信を開始した端末が放送コンテンツのデータ種別を判別できるよう、３次元コンテンツ制御情報は番組データ４０３の中で所定の周期で繰り返し伝送される。
【００５１】
なお、図４（ａ）においては、衛星を利用した移動体放送のサービス形態を例に図示しているが、本構成は地上波放送の形態にも適用可能であるし、受信装置に関しても移動可能な端末だけではなく据え置き型の受信装置にも適用可能であり、図４（ａ）によってサービス形態や機器構成を制限するものではない。
【００５２】
以上、各実施の形態においては、基本的に制御情報が３次元画像データあるいは３次元コンテンツ制御情報に含まれている構成について説明しているが、別の構成として、バージョン情報と制御情報の内容を予め対応付けておくことで、制御情報を全く記録・伝送せずに同等の効果を上げることも可能である。すなわち、例えばバージョン「１」の３次元画像データは、図７（ｃ）の画像データ構成を有し、それ以外のオプション情報を一切必要としない３次元画像データであることを規定し、バージョン「２」の３次元画像データは、バージョン１の前提に加えて「視差変更量」の制御情報を有する３次元画像データであることを規定する、等を複数のバージョンに関して規定しておけば、画像データ生成装置側では制御情報を生成する必要がなく、また画像データ再生装置側ではバージョン情報のみ解釈すれば適切に３次元画像を再生することが可能であるため、パラメータが増えることによる伝送効率上や処理効率上のオーバーヘッドを最小限に抑えることができる。
【００５３】
また、制御情報を全く伝送しないまでも、例えば、前記バージョン情報が、そのとりうる最も低位なもしくは最も基本的なバージョンの場合には制御情報は存在せず、それ以外の場合には制御情報が存在するような構成にすることも可能である。その場合、画像データは例えば図７（ｃ）のようなデータ構成をとるという前提条件を予め定めておき、画像データ再生装置においては、全てのバージョンの３次元画像データに関して、その前提条件に従って画像データを表示すれば良い。
【００５４】
第３の実施の形態
図８は、本発明の第３の実施の形態の３次元画像データ８００の構成を示す図である。図示された情報及びデータは、上の要素から下に向かって順に記録もしくは伝送されることを想定している。なお、本実施の形態において前述の実施の形態と同一または相当部分には同一符号を付し、その説明は繰返さない。
【００５５】
図８において、プロファイル情報８０１は、制御情報１０３の設定について、その取り得る値を定める情報である。以下、本実施の形態におけるバージョン情報１０２とプロファイル情報８０１および制御情報１０３との関連について説明する。
【００５６】
図９はバージョン＝「Ｋ」（ここでＫは自然数である）の場合の制御情報１０３の例を示す図である。図９において、パラメータ９０１からパラメータ９０８までは画像データの構造に関するパラメータであり、パラメータ９０９からパラメータ９１１は３次元画像の表示をより良好に行うためのパラメータである。９０１は水平方向の視点数Ｍを示し、９０２は垂直方向の視点数Ｎを示すためのものである（ここでＭ，Ｎは自然数、本実施の形態においては、このときの視点数をＭｘＮと表記する）。また、９０３は各視点の画像が結合されているか否かを示すためのものであり、「あり」、「なし」のいずれかの値をとる。９０４は画像結合が「あり」の場合に、画像結合時の配置方法を示し、ここでは「水平」、「垂直」のいずれかの値をとるものとする。画像配置９０４は、画像結合が「なし」の場合には省略される。なお図９では、他のパラメータの値によって省略される可能性のあるパラメータを、先頭に空白を入れて表記することとしている。
【００５７】
さらに、９０５は各視点の画像が水平方向に縮小されているか否か（「あり」、「なし」のいずれかの値をとる）を、９０６は画像が水平方向に縮小されている場合の縮小率を示す。同様に９０７は各視点の画像が垂直方向に縮小されているか否かを、９０８は画像が垂直方向に縮小されている場合の縮小率を示す。水平方向の縮小９０５および垂直方向の縮小９０７が「なし」の場合には、それぞれ縮小率９０６、９０８が省略される。
また、９０９は前述の視差量を調整する際の変化量を示し、９１０は３次元画像を２次元表示する際に表示画像として選択される視点に対応した画像を示す。
【００５８】
例えば前述の「２眼式」の場合、視点数は２ｘ１となる。視点数が２ｘ１の場合における画像データ１０４の例を図１３に示す。図１３（ａ）は画像結合なし、水平・垂直とも縮小なしの場合を示している。図１３（ｂ）は画像結合ありで、画像配置は「水平」、水平・垂直とも縮小なしの場合を、図１３（ｃ）は画像結合ありで、画像配置は「垂直」、水平・垂直とも縮小なしの場合を、図１３（ｄ）は画像結合なし、水平方向の縮小率が１／２の場合を、図１３（ｅ）は画像結合ありで、画像配置は「水平」、水平方向の縮小率が１／２の場合を、図１３（ｆ）は画像結合ありで、画像配置は「垂直」、垂直方向の縮小率が１／２の場合を示している。
【００５９】
このように画像データの構成に関するパラメータを組み合わせることで、多彩なパターンを表すことが可能であるが、実用面ではこれらすべてのパターンの利用度が高いわけではない。したがって、特定の用途で画像データを普及させることを考えると、特定のパターンのみをサポートすれば十分な場合がある。
【００６０】
例えば、デジタルカメラで３次元画像を撮影する際に、撮像面に視点の異なる被写体像を映すことのできるステレオアダプタを使用して、単眼のカメラで左右目の画像が水平方向に結合された画像を撮影することが行われる。このような場合には、図１３（ｂ）および図１３（ｅ）に示す画像が利用できれば十分であると考えられる。
【００６１】
こうした特定用途向けの再生装置が、画像データを適切に３次元表示できるか否かの判定を簡単に実行するために、プロファイル情報８０１を制御情報１０３と関連付けて規定する。以下、そのための仕組みに関して説明する。
【００６２】
プロファイル情報８０１は、３次元画像データが３次元表示の際に必要とするパラメータと、これらのパラメータの取り得る値を定めるものである。プロファイル情報８０１は、例えば１を最低値とする自然数として表したものでも良いし、特定の文字列の組み合わせで表したものでも良い。
【００６３】
表２にプロファイルとパラメータの関係の例を示す。なお、表２において「○」「△」「−」の印は再生装置において、そのパラメータをどのように扱うかを示すためのものであり、「○」はそのパラメータを必ず使用し（対応必須）、その設定値に特に制限のないことを示し、「△」はそのパラメータを使用しなくともよい（オプション）ことを示し、「−」はそのパラメータを使用しないことを示している。ただし、先に説明したように、図９で先頭に空白を付したパラメータは、表２で「○」となっていても他のパラメータの値によって省略されることがある。この場合は、省略されない場合にのみ、再生装置において対応必須という意味となる。
【００６４】
例えばデジタルカメラの例のように視点数が２ｘ１と少ない場合には視差量を変更する処理が比較的容易である反面、２次元表示の際に使用する画像は左右いずれの視点の画像を使用してもあまり変化がない。一方、例えば大画面のディスプレイで表示をするために視点数を多くすると、各視点画像間の視差量変更が複雑になる反面、２次元表示の際に使用する画像は離れた視点のものほど差が大きくなるため、２Ｄ画像指定がより意味を持つようになる。
【００６５】
したがって、デジタルカメラ向けのプロファイルとして、表２のプロファイル１（視点数は２ｘ１、画像結合は「あり」、画像配置は「水平」に固定、水平方向の縮小の有無を示すことは必須、その縮小率は１／２のみ、垂直方向の縮小はなし、視差量変更は必須、２Ｄ画像指定はオプション等々）を用い、多視点の大型ディスプレイ向けのプロファイルとして、例えば表２のプロファイル３（視点数は８ｘ８まで、画像結合の有無を示すことは必須、画像配置の値は必須、水平方向および垂直方向の縮小率は１／２、１／４、１／８に限定、視差量変更はオプション、２Ｄ画像指定は必須等々）を用いるようにしてもよい。
【００６６】
【表２】
【００６７】
このように規定することにより、特定の用途に限定した再生装置において、例えば再生しようとする３次元画像データのプロファイルが１であれば、制御情報１０３で指定されたパラメータ通りに３次元画像の表示が可能であるが、それ以外のプロファイルの３次元画像データについては、制御情報１０３で指定されたパラメータ通りに表示することができないという判定を、制御情報１０３自体を解析することなしに行うことが可能となる。
【００６８】
なお、再生装置がプロファイル情報８０１で示されるプロファイルに対応していない場合に、例えば結合された多視点画像をそのまま２次元画像として表示してもよい。このとき、上記制御情報１０３を解析せずに、さらに後続の画像データを正しく解析するために、画像データ１０４の先頭位置を特定するための情報もしくは仕組みを備えていてもよい。例えば、プロファイル毎に制御情報１０３のデータ長を固定長としてもよいし、制御情報１０３のデータ長を示す情報や画像データ１０４の開始オフセットを別途格納するようにしてもよい。あるいは画像データ１０４の先頭位置に特定の符号パターンが現れるようにしてもよい。
【００６９】
以上説明したように、プロファイル情報は、あるバージョンにおける対応必須のパラメータの種類とその設定値について規定するものである。したがって、バージョンごとに、他のバージョンとは異なるプロファイルが存在することになる。
【００７０】
次に、上記のような３次元画像データ８００を生成する画像データ生成装置について説明する。図１０は、上記３次元画像データ８００を生成する画像データ生成装置の機能ブロック図である。図１０において、１０００は３次元画像データ８００を生成することが可能な画像データ生成装置であり、画像データ生成装置１０００は、入力されたバージョン情報、プロファイル情報およびパラメータに基づき使用するパラメータを決定するパラメータ決定部１００１（パラメータ入力手段）、制御情報生成部２０１（制御情報手段）と、プロファイル情報、制御情報、バージョン情報、および３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部１００２（画像データ生成手段）と、記録・伝送部２０４とを備えて構成される。
【００７１】
パラメータ決定部１００１は、バージョン及びプロファイルに対するパラメータの設定値を予め登録してあり、入力されたバージョン情報、プロファイル情報およびパラメータに応じて、以下の動作をする。まず、バージョン情報およびプロファイル情報により使用できるパラメータの種類とその設定値の取り得る範囲を決定する。次に、入力されたパラメータの種類および設定値を検証し、これらが指定されたプロファイルの範囲内であれば、入力されたパラメータをそのまま制御情報生成部２０１に出力する。入力されたパラメータが指定されたプロファイルの範囲を越えている場合は、例えば（１）パラメータの誤りであるので、これ以降の処理は行わない、あるいは（２）パラメータを適切な範囲に修正して制御情報生成部２０１に出力する、等の動作を行う。制御情報生成部２０１は、前述のように制御情報１０３を生成し、画像データ生成部１００２に対して出力する。
【００７２】
次いで、画像データ生成部１００２では、入力された画像データと共に制御情報生成部２０１から入力された制御情報１０３、バージョン情報１０２およびプロファイル情報８０１を含む３次元画像データ８００を生成する。このとき、図８の画像データ１０４は既に圧縮符号化されていても良いし、必要なら画像データ生成部１００２で、入力された画像データを圧縮符号化してもよい。生成された３次元画像データ８００は、記録・伝送部２０４で、記録媒体に格納されるか、外部の接続インタフェース手段もしくは通信回線等に出力される。
【００７３】
次に、図８に示される３次元画像データ８００を解釈して３次元画像を再生する画像データ再生装置について説明する。図１１は、３次元画像データ８００を再生する画像データ再生装置の機能ブロック図である。図１１において、１１００は３次元画像データ８００を再生することが可能な画像データ再生装置であり、画像データ再生装置１１００は、３次元画像データのデータ構造を解析するデータ構造解析部１１０１（３次元画像データ入力手段）と、３次元画像データのプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２（再生可否判定手段）と、制御情報解析部３０３（制御情報解析手段）と、画像データ変換部３０４（画像データ変換手段）と、画像表示部３０５（再生手段、画像表示手段）とを備えて構成される。
【００７４】
データ構造解析部１１０１は、３次元画像データのプロファイルを示すプロファイル情報、３次元画像データのバージョンを示すバージョン情報、３次元画像の表示を制御するための１つ以上のパラメータを示す制御情報、及び３次元表示可能な画像データを含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、データ構造解析部１１０１は、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、プロファイル情報８０１、バージョン情報１０２、制御情報１０３、画像データ１０４等に分離する。
【００７５】
再生可否判定部１１０２は、前記分離されたバージョン情報およびプロファイルを参照して、その画像データが３次元画像として適切に再生可能であるかどうかの判定を行う。バージョン情報に関する判定は、前述の第１の実施の形態と同様である。プロファイル情報に関しては、データ構造解析部１１０１から入力されたプロファイル情報とサポートするプロファイルが一致した場合に、画像データ１０４が再生可能であると判定する。この判定結果はデータ構造解析部１１０１に通知される。判定結果を得た後の動作は、前述の第１の実施の形態と同様であるため、ここでの説明は省略する。
【００７６】
このように、３次元画像再生装置８００においてプロファイル情報８０１を参照することで、画像データを適正に３次元表示することが可能であるかどうかを判定することができる。
【００７７】
なお、各プロファイルがパラメータの設定値の組み合わせパターンを１通りしか含まないようにあらかじめ構成しておいてもよい。すなわち、バージョン情報とプロファイル情報の組み合わせから、制御情報に書かれるパラメータとその値を一意に決めておく。これによって、図８の３次元画像データ８００には制御情報１０３を一切含まないようにすることができる。この場合に生成された３次元画像データ８００を再生するための画像データ再生装置の機能ブロック図を図１２に示す。
【００７８】
図１２において、画像データ再生装置１２００は、データ構造解析部１２０１（３次元画像データ入力手段）と、再生可否判定部１１０２と、バージョン情報１０２およびプロファイル情報８０１から３次元画像の再生に必要な制御パラメータを生成するパラメータ生成部１２０２（パラメータ生成手段）と、画像データ変換部３０４（画像データ変換手段）と、画像表示部３０５（再生手段、画像表示手段）とを備えて構成される。
【００７９】
データ構造解析部１２０１は、バージョン情報１０２、プロファイル情報８０１および画像データ１０４を含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、プロファイル情報８０１、バージョン情報１０２、画像データ１０４に分離する。再生可否判定部１１０２は、前述のようにして画像データ１０４が３次元画像として適切に再生可能であるかどうかの判定を行い、判定結果をパラメータ生成部１２０２に出力する。
【００８０】
パラメータ生成部１２０２は、前記判定結果が「適切に再生可能である」場合に、データ構造解析部１２０１から入力されたバージョン情報１０２およびプロファイル情報８０１に基づき、３次元画像の再生に必要な制御パラメータを生成し、画像変換部３０４に対して出力する。このようにして、バージョン情報およびプロファイル情報のみを解釈すれば適切に３次元画像を再生することが可能であるため、パラメータが増えることによる伝送効率上や処理効率上のオーバーヘッドを最小限に抑えることができる。
【００８１】
以上のように、本実施の形態の画像データ生成装置２００は、１つ以上のパラメータを基に、３次元画像の表示を制御するための制御情報を生成する制御情報生成部２０１と、制御情報のパラメータの種類又はその組み合わせから３次元画像データのバージョンを示すバージョン情報を生成するバージョン情報生成部２０２と、前記制御情報と、前記バージョン情報と、３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部２０３とを備えて構成したので、３次元表示可能な画像データと共に、３次元画像表示のための制御情報と、制御情報の数及び種類や組み合わせなどから生成されるバージョン情報とを、３次元画像データとして記録又は伝送することができ、該３次元画像データの再生の際には、バージョン情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせを特定して、再生可能かどうかを判定することが可能である。
【００８２】
また、本実施の形態の画像データ再生装置３００は、３次元画像データのデータ構造を解析するデータ構造解析部３０１と、３次元画像データのバージョン情報を解析してその３次元画像を再生可能かどうかを判定するバージョン判定部３０２と、制御情報１０３を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析部３０３と、３次元画像データ１００に含まれる３次元表示可能な画像データ１０４を、前記制御パラメータに従うデータ形式に変換する画像データ変換部３０４と、３次元表示可能な画像データを、３次元画像表示する画像表示部３０５とを備えて構成したので、３次元画像データのバージョン情報を解析してその３次元画像データを再生可能かどうかを判定することによって、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略することができ、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することが可能である。
【００８３】
また、本実施の形態による３次元画像データ記録方式は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのバージョンを示すバージョン情報１０２を、３次元表示可能な画像データ１０４と共に記録する。ここで、上記バージョンは、３次元画像の表示に必要な制御情報１０３と対応関係にあるため、バージョン情報１０２のみ生成すれば、制御情報１０３なしに３次元画像データを生成することが可能である。
【００８４】
また、本実施の形態による３次元画像データ再生方式は、３次元画像データのバージョンを示すバージョン情報１０２を解析することでそれ以降に含まれる制御情報１０３を特定し、それによって画像データの３次元表示が適切にできるかどうかを判定し、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報１０３の解釈を省略することによって、解釈のためのオーバーヘッドを削減することが可能である。
【００８５】
また、本実施の形態による３次元画像データ１００は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのバージョンを示すバージョン情報１０２と、３次元表示可能な画像データ１０４とを含むように構成され、バージョン情報１０２は３次元画像の表示に必要な制御情報１０３と対応関係にあるため、制御情報１０３を記録又は伝送せずにバージョン情報１０２のみで３次元画像の表示を制御するためのパラメータを詳細に指定することが可能であり、制御情報１０３を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【００８６】
また、本実施の形態による３次元画像データ１００はさらに、３次元表示に必要な１つ以上のパラメータで構成される制御情報１０３を含むように構成され、該制御情報１０３に含まれるパラメータの種類や組み合わせは、前記バージョン情報１０２で示されるバージョンに関して階層構造を有し、下位バージョンの３次元画像データ１００に含まれる制御情報１０３のパラメータは、それより上位のバージョンの３次元画像データにも同様に含まれるように構成されるため、画像データ生成装置２００や画像データ再生装置３００における互換性の確保が容易であり、また、将来のバージョン情報及び制御情報の拡張も容易である。
【００８７】
また、本実施の形態の画像データ生成装置１０００は、入力されたバージョンおよびプロファイルに基づきパラメータを設定するパラメータ決定部１００１、制御情報生成部２０１と、プロファイル情報、制御情報、バージョン情報および３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部１００２と、記録・伝送部２０４とを備えて構成したので、３次元表示可能な画像データと共に、３次元画像表示のための制御情報と、制御情報の数及び種類や組み合わせなどから生成されるバージョン情報と、制御情報の設定を規定するプロファイル情報を、３次元画像データとして記録又は伝送することができ、該３次元画像データの再生の際には、バージョン情報およびプロファイル情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせ、設定値を特定して、再生可能かどうかを判定することが可能である。
【００８８】
また、本実施の形態の画像データ再生装置１１００は、３次元画像データのデータ構造を解析するデータ構造解析部１１０１と、３次元画像データのバージョン情報およびプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２と、制御情報解析部３０３と、画像データ変換部３０４と、画像表示部３０５とを備えて構成したので、３次元画像データのプロファイル情報を解析してその３次元画像データが再生可能か否かを判定することによって、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略することができ、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することが可能である。
【００８９】
また、本実施の形態の画像データ再生装置１２００は、データ構造解析部１１０１と、３次元画像データのバージョン情報およびプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２と、３次元画像データのプロファイル情報から３次元画像の再生に必要な制御パラメータを生成するパラメータ生成部１２０１と、画像データ変換部３０４と、画像表示部３０５とを備えて構成したので、３次元画像データのプロファイル情報から制御情報を生成することによって、制御情報の数が膨大である場合でも記録・伝送におけるオーバーヘッドの増大を回避することが可能である。
【００９０】
また、本実施の形態による３次元画像データ記録方式は、３次元画像であることを示す３次元画像識別情報１０１と、プロファイル情報８０１と、３次元画像データのバージョンを示すバージョン情報１０２を、３次元表示可能な画像データ１０４と共に記録する。ここで、上記バージョンは、３次元画像の表示に必要な制御情報１０３と対応関係にあるため、バージョン情報１０２のみ生成すれば、制御情報１０３なしに３次元画像データを生成することが可能である。
【００９１】
また、本実施の形態による３次元画像データ再生方式は、３次元画像データのバージョンを示すバージョン情報１０２およびプロファイルを示すプロファイル情報８０１を解析することでそれ以降に含まれる制御情報１０３の設定を特定し、それによって画像データの３次元表示が適切にできるかどうかを判定し、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報１０３の解釈を省略することによって、解釈のためのオーバーヘッドを削減することが可能である。
【００９２】
また、本実施の形態による３次元画像データ８００は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのプロファイルを示すプロファイル情報８０１と、３次元画像データのバージョンを示すバージョン情報１０２と、３次元表示可能な画像データ１０４とを含むように構成され、バージョン情報１０２およびプロファイル情報８０１は制御情報１０３と対応関係にあるため、制御情報１０３を記録又は伝送せずにプロファイル情報８０１のみで３次元画像の表示を制御するためのパラメータを詳細に指定することが可能であり、バージョン情報１０２、制御情報１０３を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【００９３】
なお、上記実施の形態の画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法は、専用の画像処理装置に適用できることは勿論のこと、カメラ付き携帯電話機／ＰＨＳの携帯通信端末、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末やパソコンなどすべての情報処理装置で実現することができる。さらに、パソコン等の情報処理装置のほか、ＨＤＤ，ＤＶＤ等の記録媒体にデータを記録する記録再生装置に適用できる。また、ディスク等の記録媒体から読み出すコンテンツは、どのような形式のものでもよい。
【００９４】
また、本実施の形態では、画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法という名称を用いたが、これは説明の便宜上であり、画像合成装置や画像処理方法等でもよいことは勿論である。
さらに、上記画面上の３次元画像の枚数や配置、色、３次元パラメータの形式等はどのようなものでもよい。
【００９５】
また、記録媒体の種類や記録方法等は限定されず、全ての装置に適用可能である。例えば、記録装置として、ＨＤＤのほかＤＶＤやＣＤ−Ｒ／ＲＷ、ＭＤ（Mini Disc）に記録するものでもよい。特に、データ転送速度やランダム・アクセス性能が高く、高速アクセスが可能なＨＤＤを記録媒体に用いれば、大量に記録した画像の中から所望の画像を瞬時に検索し、直ぐに利用することが可能になる。また、光磁気ディスク等ＨＤＤ以外の記録装置を用いてもよく、同様の効果を得ることができる。
【００９６】
さらに、上記画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【００９７】
また、以上説明した画像データ生成装置及びその方法、画像データ再生装置及びその方法は、これら装置等を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、プロセッサのメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のプロセッサがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【００９８】
ここで、上記プログラムメディアは、情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード、スマートメディア、ＩＣカード、ＳＤカード、メモリースティック等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００９９】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１００】
【発明の効果】
以上、詳述したように、本発明によれば、３次元表示のための画像データに汎用性及び拡張性を持たせることができ、以下の効果が得ることができる。
【０１０１】
本発明の画像データ生成装置によれば、３次元画像データのバージョンを示すバージョン情報およびプロファイルを示すプロファイル情報が３次元画像の表示に必要な制御情報と対応関係にあるため、３次元画像データの再生の際には、バージョン情報およびプロファイル情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせを特定して、再生可能かどうかを判定することができる。
【０１０２】
また、本発明による画像データ再生装置は、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略するため、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することができる。
【０１０３】
また、本発明による３次元画像データ再生装置及び方法は、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報の解釈を省略することによって、解釈のためのオーバーヘッドを削減することができる。
【０１０４】
また、本発明による３次元画像データは、制御情報を記録又は伝送せずにバージョン情報およびプロファイル情報により３次元画像の表示を制御するためのパラメータを詳細に指定することができ、制御情報を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の３次元画像データの構成を示す図である。
【図２】本実施の形態の画像データ生成装置の構成を示す図である。
【図３】本実施の形態の画像データ再生装置の構成を示す図である。
【図４】本発明の第２の実施の形態に係る３次元画像データの伝送形態とデータ構成を示す図である。
【図５】二眼式立体視の代表的なものの一つである「時分割方式」を説明するための概念図である。
【図６】二眼式立体視のもうひとつの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【図７】「レンチキュラ」方式の記録データ形式の一例を示す概念図である。
【図８】本発明の第３の実施の形態の３次元画像データの構成を示す図である。
【図９】バージョン＝「Ｋ」の場合の制御情報の例を示す図である。
【図１０】３次元画像データを生成する画像データ生成装置の構成を示す図である。
【図１１】３次元画像データを再生する画像データ再生装置の構成を示す図である。
【図１２】制御情報を含まない３次元画像データを再生する画像データ再生装置の構成を示す図である。
【図１３】視点数が２×１の場合における画像データの例を示す図である。
【符号の説明】
１００ ３次元画像データ
１０１ ３次元画像識別情報
１０２ バージョン情報
１０３ 制御情報
１０４ 画像データ
２００ 画像データ生成装置
２０１ 制御情報生成部（パラメータ入力手段，制御情報手段）
２０２ バージョン情報生成部（バージョン情報生成手段）
２０３ 画像データ生成部（画像データ生成手段）
２０４ 記録・伝送部
３００ 画像データ再生装置
３０１ データ構造解析部（３次元画像データ入力手段）
３０２ バージョン判定部（バージョン判定手段）
３０３ 制御情報解析部（制御情報解析手段）
３０４ 画像データ変換部（画像データ変換手段）
３０５ 画像表示部（再生手段，画像表示手段）
４０１ 放送局
４０２ 番組配列情報
４０３ 番組データ
４０４ 受信機
【発明の属する技術分野】
本発明は、３次元表示の画像データを生成する画像データ生成装置及びその方法、３次元画像データから３次元画像を再生する画像データ再生装置及びその方法に関する。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左目用画像と右目用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を可能にする。
【０００３】
図５は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
この時分割方式では、図５のように、左目用画像と右目用画像を垂直１ラインおきに交互にならんだ形で画面上に配置し、左目用画像を表示するフィールドと右目用画像を表示するフィールドを交互に切り替えて表示するものである。左目用画像及び右目用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左目用画像が表示されている時は左目側が開いて右目側が閉じ、右目用画像が表示されている時は左目側が閉じて右目側が開く。このようにすることにより、左目用画像は左目だけで、右目用画像は右目だけで、表示された画像が観察されることになり、立体視を行うことができる。
【０００４】
図６は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。図６（ａ）は、視差が生じる原理を示す図で表示装置を上から見た図である。図６（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００５】
図６（ｂ）に示すような左目用画像と右目用画像のペアがストライプ状に並んだ画像を、図６（ａ）に示すように、画像表示パネル６０１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア６０２をその前面に置くことにより、左目用画像は左目６０３だけで、右目用画像は右目６０４だけで、表示パネル６０１上に表示された画像を観察することになり、立体視を行うことができる。
【０００６】
以上のような立体視可能な画像データを記録又は伝送する場合、図５や図６（ｂ）に示した画面イメージをそのまま記録・伝送しても良いが、それ以外の方法として例えば、特許文献１において、パララクスバリア方式と同様の原理に基づくレンチキュラ方式の３次元表示に用いるデータ形式の一例が開示されている。
【０００７】
図７は、このような「レンチキュラ方式」のデータ形式の一例を示す概念図である。
すなわち、図７（ａ）に示す左目用画像７０１と図７（ｂ）に示す右目用画像７０２から、それぞれを間引きして図７（ｃ）に示す１枚の混合画像７０３を作って記録し、再生時にはこの混合画像７０３を並べ替えることにより図６（ｂ）に示したような画像が作成され、これを表示することで立体視が可能になる。図７（ｃ）のような混合画像を構成する利点としては、特に対象が動画像でこれを圧縮符号化する場合に、符号化方式の特性上、入力データが図６（ｂ）の構成よりも図７（ｃ）の構成の方が符号化効率の点で有利であることが挙げられる。
【０００８】
【特許文献１】
特開平１１−４１６２７号公報（図１）
【０００９】
【発明が解決しようとする課題】
上記の２眼式の例に限らず、３次元画像を表示するには様々な方法があり、一般的に異なる表示方式間での記録・伝送データには互換性がない。例えば、時分割方式用のデータをそのままパララクスバリア方式の３次元ディスプレイに表示することはできない。したがって、記録・伝送データに汎用性を持たせることを考慮すると、その表示方式を示すための情報を画像データと共に記録・伝送する必要がある。
【００１０】
表示方式以外にも作成時の視点数や間引き方法など、３次元表示のために必要あるいは有用なパラメータは様々あり、また将来、表示デバイスの進歩や端末の能力アップに伴い、さらに必要なパラメータが増加することも予想される。その際、３次元画像データに汎用性・互換性を持たせようとするとその記録・伝送データに格納すべきパラメータの種類も数多くなるが、一方で、ある特定の条件の下でのみ再生することを前提としたデータ構成の考慮も必要である。特に、小型携帯端末や低速の通信回線に接続して使用する画像端末等、実装資源や使用条件に制約のある装置で３次元画像を利用する場合には、オーバーヘッド削減のため、扱うデータに含まれるパラメータは必要最低限のものに絞ることが望ましい。
【００１１】
しかし、同じ３次元画像でもそれを扱う端末によって備える機能や能力が異なるため、「必要最低限」の基準が端末毎に異なる状態になるのが常である。その場合、機能・能力の最も低い端末に合わせてパラメータを制限したデータのみ作成すると、そのデータは全ての端末で再生可能になるが、一方で高機能な端末の能力を生かせなくなる。しかしながら、高機能端末用に多くのパラメータを格納したデータを作成すると、能力の低い端末にとっては、それらサポートできないパラメータを解釈しなければならないがために、無用のオーバーヘッドが増える要因になる。
【００１２】
本発明は、このような課題に鑑みてなされたものであって、３次元表示のための画像データに汎用性及び拡張性を持たせた画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法及び画像データ又は画像処理プログラムを記録した記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明によると、３次元画像データを生成することが可能な画像データ生成装置であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するパラメータ入力手段と、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成する制御情報手段と、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成する画像データ生成手段とを備える。
前記画像データ生成手段は、さらに、３次元画像であることを示す３次元画像識別情報を生成する。
【００１４】
本発明によると、３次元画像データを用いて３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析手段とを備え、
前記３次元画像データは前記制御パラメータの設定を規定するプロファイル情報を含む。
【００１５】
本発明によると、３次元画像データから３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを得るパラメータ生成手段とを備える。
【００１６】
更に、前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定する再生可否判定手段を備え、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生する。
【００１７】
本発明によると、３次元画像データを生成する画像データ生成方法であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するステップと、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成するステップと、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成するステップとを備える。
【００１８】
本発明によると、３次元画像データを用いて３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得るステップと、
前記３次元画像データに含まれるプロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記３次元画像データが再生可能と判定された場合に、前記３次元画像データを、前記パラメータに従って再生するステップとを有する。
【００１９】
本発明によると、３次元画像データから３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを生成するステップと、
前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生するステップとを有する。
【００２０】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な画像データ生成装置及びその方法、画像データ再生装置及びその方法の実施の形態について詳細に説明する。
【００２１】
第１の実施の形態
図１は、本発明の第１の実施の形態の３次元画像データ１００の構成を示す図である。図示された情報及びデータは、上の要素から下に向かって順に記録もしくは伝送されることを想定している。以下、各情報及びデータについて説明する。
【００２２】
記録もしくは伝送されるデータ中に３次元画像識別情報１０１が存在すると、これ以降に３次元画像に関するデータが続くことを意味する。バージョン情報１０２は、３次元表示に関するバージョンを示す情報である。制御情報１０３は、３次元画像の表示に関する１つ以上のパラメータで構成され、バージョン情報１０２に応じてその種類や組み合わせが決定される。制御情報１０３の具体例及びバージョン情報１０２との関連については後述する。
【００２３】
画像データ１０４は、３次元表示の可能な画像データであり、例えば、前記図５、図６（ｂ）、図７（ｃ）のようなデータ構成を持つ。画像データ１０４は、静止画、動画を問わず、また、圧縮符号化されているデータ、圧縮符号化されていないデータ、いずれでも良い。さらに、画像データ１０４とは別に、音声やテキストなど画像以外のデータを含んでいても良く、またそれらに付随する付加情報を含んでも良い。
【００２４】
次に、本実施の形態における制御情報１０３に関する例とバージョン情報１０２との関連について説明する。制御情報１０３の例として、画像データが従来技術で説明したような前記図６（ｂ）のデータ構成になっているか図７（ｃ）のデータ構成になっているかを示すパラメータがある。３次元画像を表示する際には、表示しようとする画像データがどのような構成になっているかを知らなければ正常に３次元表示ができないため、このようなパラメータは３次元画像の表示に関して必須の制御情報である。
【００２５】
制御情報１０３の他の例としては、上記のようにそのパラメータに従わなければ正常に３次元表示できないものだけでなく、３次元表示自体には必須ではないが利用すればより良好な３次元表示を得られる、という性質のパラメータもある。例えば、前記図５や図６を用いて説明したような両眼視差を利用して立体視するような表示においては、左右画像の視差量を変化させることにより奥行き感を調整することができるので、この変化させる視差量を制御情報のパラメータとして記述しておけば、元の画像データ自体を変更することなしに、元の画像データとは異なる奥行き感を持つ３次元画像データを生成することが可能である。
【００２６】
視差量を変化させるためには、具体的には、例えば前記図６（ｂ）に示す合成画像において左目用画像はそのままにしておき、右目用画像だけを左右どちらかにずらすことにより実現できる。しかし、３次元画像データを再生する再生装置にはさまざまな種類が存在し得るため、中には画像を水平方向にずらして表示する機能を備えていない再生装置が存在する可能性もある。そのような再生装置は、上記視差量を変化させるための制御情報を解釈できたとしても、その情報を表示の制御に利用することができない。同様に、画像データの構造そのものに関しても、図６（ｂ）の画像データ、図７（ｃ）の画像データ両方に対応している再生装置もあれば、図７（ｃ）にしか対応していない再生装置もあり得る。
【００２７】
そのような、機能的あるいは能力的に制限のある再生装置が、制御情報を解釈する代わりにバージョン情報を解析することによって、簡単に、含まれる画像データを適切に３次元表示できるかどうかを判定可能とするために、制御情報１０３とバージョン情報１０２を関連付けて規定する。以下、そのための仕組みに関して説明する。
【００２８】
バージョン情報１０２は、３次元画像データがどのようなデータ構造を持ち、また３次元表示の際にどのようなパラメータを必要とするかを示すものである。バージョン情報１０２としては、例えば１を最低値とする自然数を数値で表したものでも良いし、特定の文字列の組み合わせで表したものでも良い。バージョン情報１０２は、上述の通り制御情報１０３と関連しており、バージョン情報１０２毎に、そのバージョン情報１０２を持つ３次元画像データ１００が含むことができる制御情報１０３を規定する。例えば、バージョン＝「１」の３次元画像データ１００は、前記図６（ｂ）と図７（ｃ）で示した画像データの構造を区別するためのパラメータのみを制御情報１０３として含む構成とし、バージョン＝「２」の３次元画像データは、上記に加えて上述の視差量を指定するパラメータも制御情報１０３として含む構成とし、バージョン＝「３」の３次元画像データは、上記に加えてさらに別のパラメータを制御情報１０３として含む構成とする。
【００２９】
このように規定することにより、例えば視差量の調整機能を備えない再生装置では、再生しようとする３次元画像データのバージョンが１であれば、制御情報１０３で指定されたパラメータ通りに３次元画像の表示が可能だが、それ以外のバージョンの３次元画像データについては制御情報１０３で指定されたパラメータ通りに表示することができないことを、制御情報自体を解析せずに判定することが可能である。
【００３０】
上記のように、各バージョンに対応する制御情報１０３に含まれるパラメータが階層的になっているため、あるバージョンの３次元画像データを適切に３次元表示することが可能な画像データ再生装置においては、それより下位バージョンの３次元画像データも適切に３次元表示可能であることが保証される。また、前記３次元画像データの構成に関しても、将来バージョン情報や制御情報が追加になる場合の拡張が容易である。
【００３１】
なお、再生装置がバージョン情報１０２で示されるバージョンに対応していない場合に、例えば結合された多視点画像をそのまま２次元画像として表示してもよい。このとき、上記制御情報１０３を解析せずにさらに後続の画像データを正しく解析するために、３次元画像データ１００の構成としては、バージョン毎に制御情報１０３の占めるデータ長が固定であるか、又は制御情報１０３の長さを示す情報を別途格納するか、あるいは画像データ１０４の開始オフセットを別途格納する、もしくは画像データの先頭位置に特定の符号パターンが現れるようにする等、画像データ１０４の先頭位置を特定するための情報もしくは仕組みを備えていても良い。
【００３２】
次に、上記のような３次元画像データ１００を生成する画像データ生成装置について説明する。図２は、上記３次元画像データ１００を生成する画像データ生成装置の機能ブロック図である。
【００３３】
図２において、２００は３次元画像データ１００を生成することが可能な画像データ生成装置であり、画像データ生成装置２００は、１つ以上のパラメータを基に、３次元画像の表示を制御するための制御情報を生成する制御情報生成部２０１（パラメータ入力手段，制御情報手段）と、制御情報のパラメータの種類又はその組み合わせから３次元画像データのバージョンを示すバージョン情報を生成するバージョン情報生成部２０２（バージョン情報生成手段）と、前記制御情報と、前記バージョン情報と、３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部２０３（画像データ生成手段）と、生成された３次元画像データを記録又は伝送するＨＤＤ，通信部等からなる記録・伝送部２０４とを備えて構成される。
【００３４】
制御情報生成部２０１は、３次元画像の表示に関して必須のパラメータと、３次元画像の表示には必須ではないが利用すればより良好な３次元画像が得られるパラメータとを含む、パラメータを入力するパラメータ入力手段としての機能を有し、制御情報生成部２０１は、外部より入力された制御に関するパラメータを基に制御情報を生成し、バージョン情報生成部２０２では、制御情報１０３に応じたバージョン情報１０２を生成する。
【００３５】
次いで、画像データ生成部２０３では、入力された画像データと共に前記制御情報１０３及びバージョン情報１０２を含む３次元画像データ１００を生成する。この時、画像データ１０４は既に圧縮符号化されていても良いし、必要なら画像データ生成部２０３で、入力された画像データを圧縮符号化しても良い。生成された３次元画像データ１００は、記録・伝送部２０４で、記録媒体に格納されるか、外部の接続インタフェース手段もしくは通信回線等に出力される。上記記録媒体は、本画像データ生成装置２００に内蔵されるものでも良いし、外部に接続されるものであっても良い。
【００３６】
バージョン情報生成部２０２においては、どのような制御情報が存在する場合にどういうバージョンが対応するかを予め登録してあり、それに従って、制御情報生成部２０１から通知される制御情報に応じてバージョン情報を生成する。制御情報とバージョンとの対応の例に関しては、表１に示す。
【００３７】
【表１】
表１に示した制御情報の意味について説明する。画像データの構造とは、画像データが例えば前記図６（ｂ）のような構成をとるか前記図７（ｃ）のような構成をとるかを示すパラメータである。視差変更量とは、３次元表示における画像の奥行き感を調整するための、例えば左画像に対する右画像の水平方向へのずらし画素数を示すパラメータである。付加情報１は、３次元表示に関する別の付加的なパラメータである。以降、バージョンが上がる毎に、制御情報に含まれるパラメータが増加していく。
【００３９】
なお、上記表１ではバージョンが上がるにつれて増加する制御情報のパラメータ数は一様に１種類ずつになっているが、一様に１種類ずつである必要はなく、バージョン毎に増加するパラメータ数が変わっても良い。
次に、上記のような３次元画像データを解釈して３次元画像を再生する画像データ再生装置について説明する。
【００４０】
図３は、３次元画像データを再生する画像データ再生装置の機能ブロック図である。
図３において、３００は３次元画像データを再生することが可能な画像データ再生装置であり、画像データ再生装置３００は、３次元画像データのデータ構造を解析するデータ構造解析部３０１（３次元画像データ入力手段）と、３次元画像データのバージョン情報を解析してその３次元画像を再生可能かどうかを判定するバージョン判定部３０２（バージョン判定手段）と、制御情報１０３を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析部３０３（制御情報解析手段）と、３次元画像データ１００に含まれる３次元表示可能な画像データ１０４を、前記制御パラメータに従うデータ形式に変換する画像データ変換部３０４（画像データ変換手段）と、３次元表示可能な画像データを、３次元画像表示する画像表示部３０５（再生手段，画像表示手段）とを備えて構成される。
【００４１】
データ構造解析部３０１は、３次元画像データのバージョンを示すバージョン情報、３次元画像の表示を制御するための１つ以上のパラメータを示す制御情報、及び３次元表示可能な画像データを含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、データ構造解析部３０１は、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、バージョン情報１０２、制御情報１０３、画像データ１０４等に分離する。バージョン判定部３０２は、前記分離されたバージョンを参照して、その画像データが３次元画像として適切に再生可能であるかどうかの判定を行い、この判定結果をデータ構造解析部３０１に通知する。
【００４２】
上記判定結果が、「適切に再生可能である」の場合、データ構造解析部３０１は分離した制御情報１０３を制御情報解析部３０３に対して出力する。制御情報解析部３０３では、前記データ構造解析部３０１で分離された制御情報１０３を解析し、画像データの再生に必要なパラメータを得、画像データ変換部３０４に対して出力する。画像データ変換部３０４は、データ構造解析部３０１で分離された画像データ１０４を、制御情報解析部３０３から入力されたパラメータに従って、３次元表示に適したデータ形式に変換する。データ構造解析部３０１で分離された画像データが圧縮符号化されていた場合は、画像データ変換部３０４で画像データの復号も同時に行う。画像表示部３０５では、画像データ変換部３０４で変換された画像データを３次元画像として表示する。画像表示部３０５のような画像の表示手段は、本画像データ再生装置３００に含まれていても良いし、外部に接続される別装置であっても良い。
【００４３】
一方、上記判定結果が「適切に再生可能でない」の場合、データ構造解析部３０１及び制御情報解析部３０３は、制御情報１０３の解釈をスキップする。ここで画像データ１０４に関しては、画像データ変換部３０４が元々備えている制御パラメータを用いて、適切ではないが３次元表示が可能な画像データに変換するか、２次元画像に変換するか、あるいは、画像データの変換自体を行わないか、のいずれかの処理を行う。画像表示部３０５でこれらの画像データを表示すると、適切ではないがある程度の品質の３次元画像表示が得られるか、３次元表示ではないが画像内容が確認できる程度の２次元画像表示が得られるか、何も表示されない。あるいは、３次元画像として適切に再生できない旨の警告メッセージ画面を用意し、前記２者のケースは警告メッセージ画面を前記画像にそれぞれ重畳して表示し、最後のケースは警告メッセージ画面のみを表示するようにしても良い。前記警告メッセージ画面は、画像データ変換部３０４が生成しても良いし、画像表示部３０５が生成しても良い。
【００４４】
なお、上記のように適切に再生可能でない場合に２次元画像に変換する方法としては、例えば図６（ｂ）や図７（ｃ）の構成を持つ画像データの場合、左眼用画像のみ若しくは右眼用画像のみを用いて、水平方向に２倍に拡大若しくは補間して表示する方法がある。
【００４５】
また、前記のように、画像表示部３０５は、３次元画像だけでなく２次元画像の再生機能を備えていても良い。すなわち、画像表示部３０５は、２次元表示、３次元表示の表示モード切り替え機能を有しており、これを自動で切り替え可能な表示手段であっても良い。例えば、図３の画像データ再生装置３００においては、３次元画像識別情報の有無に従って、画像表示部３０５の表示モードが切り替わるような構成とする。すなわち、データ構造解析部３０１に入力される画像データに３次元画像識別情報が含まれる場合、画像表示部３０５では３次元表示モードで表示し、一方、データ構造解析部３０１に入力される画像データに３次元画像識別情報が含まれない場合、画像表示部３０５では２次元表示モードで表示する。
【００４６】
このように、３次元表示可能な画像データを含む３次元画像データ（図１参照）に、その３次元画像がどのようなデータ形式で記録されているか、あるいはどのような表示方法を想定しているか等を示す制御情報１０３と共に、特定の制御情報の組み合わせを表すバージョン情報１０２を付加することによって、３次元画像再生装置３００においては、バージョン情報１０２を参照することで、その３次元画像ファイルに含まれる画像データを適正に３次元表示することが可能であるかどうかを判定することができる。
【００４７】
第２の実施の形態
次に、本発明の３次元画像データに係る別の実施の形態について説明する。
図４は、本発明の第２の実施の形態の３次元画像データの伝送形態とデータ構成を示す図であり、図４（ａ）は３次元画像データを放送サービスに適用する際の伝送形態を示し、図４（ｂ）は３次元画像の番組に関する制御情報である３次元コンテンツ制御情報のデータ構成を示す。以下、個々の要素に関して説明する。
【００４８】
図４（ａ）に示すように、衛星放送局４０１は、番組即ち放送コンテンツを送信する。放送コンテンツは、番組配列情報４０２と番組データ４０３とで構成される。放送コンテンツは受信機４０４で受信され、番組データ４０３が順次結合されて番組として受信機４０４内で再構成されて再生される。
【００４９】
放送サービスにおいては任意のタイミングで受信を開始した端末が放送コンテンツのデータ種別を判別できるよう、放送コンテンツには、図４（ａ）に示した通り番組配列情報４０２が所定の周期で挿入される。番組配列情報４０２は番組を管理するための情報で、番組が３次元画像データで構成される場合は、図４（ｂ）に示すように、３次元画像識別情報をはじめとする３次元コンテンツ制御情報が番組配列情報４０２に含まれる。図４（ｂ）に示した３次元コンテンツ制御情報内の各要素は、３次元画像識別情報が前記図１の３次元画像識別情報と同等であるのをはじめ、前記図１で示した３次元画像データに含まれる各要素と同等であるため説明は省略する。ここで、図１に示す画像データ１０４は、本実施の形態においては図４（ａ）に示したような番組データ４０３として、適当なデータ長に分割されて順に伝送される。また、図４（ｂ）に示した３次元コンテンツ制御情報は番組配列情報４０２に含まれるため、そこに含まれるバージョン情報や制御情報は、図４（ａ）に示す通り繰り返し伝送されることになる。
【００５０】
前記の例では、図４（ｂ）の３次元コンテンツ制御情報が番組配列情報４０２に含まれる構成で説明しているが、該３次元コンテンツ制御情報は番組データ４０３に含まれる構成であっても良い。この場合も、上述の通り任意のタイミングで受信を開始した端末が放送コンテンツのデータ種別を判別できるよう、３次元コンテンツ制御情報は番組データ４０３の中で所定の周期で繰り返し伝送される。
【００５１】
なお、図４（ａ）においては、衛星を利用した移動体放送のサービス形態を例に図示しているが、本構成は地上波放送の形態にも適用可能であるし、受信装置に関しても移動可能な端末だけではなく据え置き型の受信装置にも適用可能であり、図４（ａ）によってサービス形態や機器構成を制限するものではない。
【００５２】
以上、各実施の形態においては、基本的に制御情報が３次元画像データあるいは３次元コンテンツ制御情報に含まれている構成について説明しているが、別の構成として、バージョン情報と制御情報の内容を予め対応付けておくことで、制御情報を全く記録・伝送せずに同等の効果を上げることも可能である。すなわち、例えばバージョン「１」の３次元画像データは、図７（ｃ）の画像データ構成を有し、それ以外のオプション情報を一切必要としない３次元画像データであることを規定し、バージョン「２」の３次元画像データは、バージョン１の前提に加えて「視差変更量」の制御情報を有する３次元画像データであることを規定する、等を複数のバージョンに関して規定しておけば、画像データ生成装置側では制御情報を生成する必要がなく、また画像データ再生装置側ではバージョン情報のみ解釈すれば適切に３次元画像を再生することが可能であるため、パラメータが増えることによる伝送効率上や処理効率上のオーバーヘッドを最小限に抑えることができる。
【００５３】
また、制御情報を全く伝送しないまでも、例えば、前記バージョン情報が、そのとりうる最も低位なもしくは最も基本的なバージョンの場合には制御情報は存在せず、それ以外の場合には制御情報が存在するような構成にすることも可能である。その場合、画像データは例えば図７（ｃ）のようなデータ構成をとるという前提条件を予め定めておき、画像データ再生装置においては、全てのバージョンの３次元画像データに関して、その前提条件に従って画像データを表示すれば良い。
【００５４】
第３の実施の形態
図８は、本発明の第３の実施の形態の３次元画像データ８００の構成を示す図である。図示された情報及びデータは、上の要素から下に向かって順に記録もしくは伝送されることを想定している。なお、本実施の形態において前述の実施の形態と同一または相当部分には同一符号を付し、その説明は繰返さない。
【００５５】
図８において、プロファイル情報８０１は、制御情報１０３の設定について、その取り得る値を定める情報である。以下、本実施の形態におけるバージョン情報１０２とプロファイル情報８０１および制御情報１０３との関連について説明する。
【００５６】
図９はバージョン＝「Ｋ」（ここでＫは自然数である）の場合の制御情報１０３の例を示す図である。図９において、パラメータ９０１からパラメータ９０８までは画像データの構造に関するパラメータであり、パラメータ９０９からパラメータ９１１は３次元画像の表示をより良好に行うためのパラメータである。９０１は水平方向の視点数Ｍを示し、９０２は垂直方向の視点数Ｎを示すためのものである（ここでＭ，Ｎは自然数、本実施の形態においては、このときの視点数をＭｘＮと表記する）。また、９０３は各視点の画像が結合されているか否かを示すためのものであり、「あり」、「なし」のいずれかの値をとる。９０４は画像結合が「あり」の場合に、画像結合時の配置方法を示し、ここでは「水平」、「垂直」のいずれかの値をとるものとする。画像配置９０４は、画像結合が「なし」の場合には省略される。なお図９では、他のパラメータの値によって省略される可能性のあるパラメータを、先頭に空白を入れて表記することとしている。
【００５７】
さらに、９０５は各視点の画像が水平方向に縮小されているか否か（「あり」、「なし」のいずれかの値をとる）を、９０６は画像が水平方向に縮小されている場合の縮小率を示す。同様に９０７は各視点の画像が垂直方向に縮小されているか否かを、９０８は画像が垂直方向に縮小されている場合の縮小率を示す。水平方向の縮小９０５および垂直方向の縮小９０７が「なし」の場合には、それぞれ縮小率９０６、９０８が省略される。
また、９０９は前述の視差量を調整する際の変化量を示し、９１０は３次元画像を２次元表示する際に表示画像として選択される視点に対応した画像を示す。
【００５８】
例えば前述の「２眼式」の場合、視点数は２ｘ１となる。視点数が２ｘ１の場合における画像データ１０４の例を図１３に示す。図１３（ａ）は画像結合なし、水平・垂直とも縮小なしの場合を示している。図１３（ｂ）は画像結合ありで、画像配置は「水平」、水平・垂直とも縮小なしの場合を、図１３（ｃ）は画像結合ありで、画像配置は「垂直」、水平・垂直とも縮小なしの場合を、図１３（ｄ）は画像結合なし、水平方向の縮小率が１／２の場合を、図１３（ｅ）は画像結合ありで、画像配置は「水平」、水平方向の縮小率が１／２の場合を、図１３（ｆ）は画像結合ありで、画像配置は「垂直」、垂直方向の縮小率が１／２の場合を示している。
【００５９】
このように画像データの構成に関するパラメータを組み合わせることで、多彩なパターンを表すことが可能であるが、実用面ではこれらすべてのパターンの利用度が高いわけではない。したがって、特定の用途で画像データを普及させることを考えると、特定のパターンのみをサポートすれば十分な場合がある。
【００６０】
例えば、デジタルカメラで３次元画像を撮影する際に、撮像面に視点の異なる被写体像を映すことのできるステレオアダプタを使用して、単眼のカメラで左右目の画像が水平方向に結合された画像を撮影することが行われる。このような場合には、図１３（ｂ）および図１３（ｅ）に示す画像が利用できれば十分であると考えられる。
【００６１】
こうした特定用途向けの再生装置が、画像データを適切に３次元表示できるか否かの判定を簡単に実行するために、プロファイル情報８０１を制御情報１０３と関連付けて規定する。以下、そのための仕組みに関して説明する。
【００６２】
プロファイル情報８０１は、３次元画像データが３次元表示の際に必要とするパラメータと、これらのパラメータの取り得る値を定めるものである。プロファイル情報８０１は、例えば１を最低値とする自然数として表したものでも良いし、特定の文字列の組み合わせで表したものでも良い。
【００６３】
表２にプロファイルとパラメータの関係の例を示す。なお、表２において「○」「△」「−」の印は再生装置において、そのパラメータをどのように扱うかを示すためのものであり、「○」はそのパラメータを必ず使用し（対応必須）、その設定値に特に制限のないことを示し、「△」はそのパラメータを使用しなくともよい（オプション）ことを示し、「−」はそのパラメータを使用しないことを示している。ただし、先に説明したように、図９で先頭に空白を付したパラメータは、表２で「○」となっていても他のパラメータの値によって省略されることがある。この場合は、省略されない場合にのみ、再生装置において対応必須という意味となる。
【００６４】
例えばデジタルカメラの例のように視点数が２ｘ１と少ない場合には視差量を変更する処理が比較的容易である反面、２次元表示の際に使用する画像は左右いずれの視点の画像を使用してもあまり変化がない。一方、例えば大画面のディスプレイで表示をするために視点数を多くすると、各視点画像間の視差量変更が複雑になる反面、２次元表示の際に使用する画像は離れた視点のものほど差が大きくなるため、２Ｄ画像指定がより意味を持つようになる。
【００６５】
したがって、デジタルカメラ向けのプロファイルとして、表２のプロファイル１（視点数は２ｘ１、画像結合は「あり」、画像配置は「水平」に固定、水平方向の縮小の有無を示すことは必須、その縮小率は１／２のみ、垂直方向の縮小はなし、視差量変更は必須、２Ｄ画像指定はオプション等々）を用い、多視点の大型ディスプレイ向けのプロファイルとして、例えば表２のプロファイル３（視点数は８ｘ８まで、画像結合の有無を示すことは必須、画像配置の値は必須、水平方向および垂直方向の縮小率は１／２、１／４、１／８に限定、視差量変更はオプション、２Ｄ画像指定は必須等々）を用いるようにしてもよい。
【００６６】
【表２】
このように規定することにより、特定の用途に限定した再生装置において、例えば再生しようとする３次元画像データのプロファイルが１であれば、制御情報１０３で指定されたパラメータ通りに３次元画像の表示が可能であるが、それ以外のプロファイルの３次元画像データについては、制御情報１０３で指定されたパラメータ通りに表示することができないという判定を、制御情報１０３自体を解析することなしに行うことが可能となる。
【００６８】
なお、再生装置がプロファイル情報８０１で示されるプロファイルに対応していない場合に、例えば結合された多視点画像をそのまま２次元画像として表示してもよい。このとき、上記制御情報１０３を解析せずに、さらに後続の画像データを正しく解析するために、画像データ１０４の先頭位置を特定するための情報もしくは仕組みを備えていてもよい。例えば、プロファイル毎に制御情報１０３のデータ長を固定長としてもよいし、制御情報１０３のデータ長を示す情報や画像データ１０４の開始オフセットを別途格納するようにしてもよい。あるいは画像データ１０４の先頭位置に特定の符号パターンが現れるようにしてもよい。
【００６９】
以上説明したように、プロファイル情報は、あるバージョンにおける対応必須のパラメータの種類とその設定値について規定するものである。したがって、バージョンごとに、他のバージョンとは異なるプロファイルが存在することになる。
【００７０】
次に、上記のような３次元画像データ８００を生成する画像データ生成装置について説明する。図１０は、上記３次元画像データ８００を生成する画像データ生成装置の機能ブロック図である。図１０において、１０００は３次元画像データ８００を生成することが可能な画像データ生成装置であり、画像データ生成装置１０００は、入力されたバージョン情報、プロファイル情報およびパラメータに基づき使用するパラメータを決定するパラメータ決定部１００１（パラメータ入力手段）、制御情報生成部２０１（制御情報手段）と、プロファイル情報、制御情報、バージョン情報、および３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部１００２（画像データ生成手段）と、記録・伝送部２０４とを備えて構成される。
【００７１】
パラメータ決定部１００１は、バージョン及びプロファイルに対するパラメータの設定値を予め登録してあり、入力されたバージョン情報、プロファイル情報およびパラメータに応じて、以下の動作をする。まず、バージョン情報およびプロファイル情報により使用できるパラメータの種類とその設定値の取り得る範囲を決定する。次に、入力されたパラメータの種類および設定値を検証し、これらが指定されたプロファイルの範囲内であれば、入力されたパラメータをそのまま制御情報生成部２０１に出力する。入力されたパラメータが指定されたプロファイルの範囲を越えている場合は、例えば（１）パラメータの誤りであるので、これ以降の処理は行わない、あるいは（２）パラメータを適切な範囲に修正して制御情報生成部２０１に出力する、等の動作を行う。制御情報生成部２０１は、前述のように制御情報１０３を生成し、画像データ生成部１００２に対して出力する。
【００７２】
次いで、画像データ生成部１００２では、入力された画像データと共に制御情報生成部２０１から入力された制御情報１０３、バージョン情報１０２およびプロファイル情報８０１を含む３次元画像データ８００を生成する。このとき、図８の画像データ１０４は既に圧縮符号化されていても良いし、必要なら画像データ生成部１００２で、入力された画像データを圧縮符号化してもよい。生成された３次元画像データ８００は、記録・伝送部２０４で、記録媒体に格納されるか、外部の接続インタフェース手段もしくは通信回線等に出力される。
【００７３】
次に、図８に示される３次元画像データ８００を解釈して３次元画像を再生する画像データ再生装置について説明する。図１１は、３次元画像データ８００を再生する画像データ再生装置の機能ブロック図である。図１１において、１１００は３次元画像データ８００を再生することが可能な画像データ再生装置であり、画像データ再生装置１１００は、３次元画像データのデータ構造を解析するデータ構造解析部１１０１（３次元画像データ入力手段）と、３次元画像データのプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２（再生可否判定手段）と、制御情報解析部３０３（制御情報解析手段）と、画像データ変換部３０４（画像データ変換手段）と、画像表示部３０５（再生手段、画像表示手段）とを備えて構成される。
【００７４】
データ構造解析部１１０１は、３次元画像データのプロファイルを示すプロファイル情報、３次元画像データのバージョンを示すバージョン情報、３次元画像の表示を制御するための１つ以上のパラメータを示す制御情報、及び３次元表示可能な画像データを含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、データ構造解析部１１０１は、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、プロファイル情報８０１、バージョン情報１０２、制御情報１０３、画像データ１０４等に分離する。
【００７５】
再生可否判定部１１０２は、前記分離されたバージョン情報およびプロファイルを参照して、その画像データが３次元画像として適切に再生可能であるかどうかの判定を行う。バージョン情報に関する判定は、前述の第１の実施の形態と同様である。プロファイル情報に関しては、データ構造解析部１１０１から入力されたプロファイル情報とサポートするプロファイルが一致した場合に、画像データ１０４が再生可能であると判定する。この判定結果はデータ構造解析部１１０１に通知される。判定結果を得た後の動作は、前述の第１の実施の形態と同様であるため、ここでの説明は省略する。
【００７６】
このように、３次元画像再生装置８００においてプロファイル情報８０１を参照することで、画像データを適正に３次元表示することが可能であるかどうかを判定することができる。
【００７７】
なお、各プロファイルがパラメータの設定値の組み合わせパターンを１通りしか含まないようにあらかじめ構成しておいてもよい。すなわち、バージョン情報とプロファイル情報の組み合わせから、制御情報に書かれるパラメータとその値を一意に決めておく。これによって、図８の３次元画像データ８００には制御情報１０３を一切含まないようにすることができる。この場合に生成された３次元画像データ８００を再生するための画像データ再生装置の機能ブロック図を図１２に示す。
【００７８】
図１２において、画像データ再生装置１２００は、データ構造解析部１２０１（３次元画像データ入力手段）と、再生可否判定部１１０２と、バージョン情報１０２およびプロファイル情報８０１から３次元画像の再生に必要な制御パラメータを生成するパラメータ生成部１２０２（パラメータ生成手段）と、画像データ変換部３０４（画像データ変換手段）と、画像表示部３０５（再生手段、画像表示手段）とを備えて構成される。
【００７９】
データ構造解析部１２０１は、バージョン情報１０２、プロファイル情報８０１および画像データ１０４を含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、プロファイル情報８０１、バージョン情報１０２、画像データ１０４に分離する。再生可否判定部１１０２は、前述のようにして画像データ１０４が３次元画像として適切に再生可能であるかどうかの判定を行い、判定結果をパラメータ生成部１２０２に出力する。
【００８０】
パラメータ生成部１２０２は、前記判定結果が「適切に再生可能である」場合に、データ構造解析部１２０１から入力されたバージョン情報１０２およびプロファイル情報８０１に基づき、３次元画像の再生に必要な制御パラメータを生成し、画像変換部３０４に対して出力する。このようにして、バージョン情報およびプロファイル情報のみを解釈すれば適切に３次元画像を再生することが可能であるため、パラメータが増えることによる伝送効率上や処理効率上のオーバーヘッドを最小限に抑えることができる。
【００８１】
以上のように、本実施の形態の画像データ生成装置２００は、１つ以上のパラメータを基に、３次元画像の表示を制御するための制御情報を生成する制御情報生成部２０１と、制御情報のパラメータの種類又はその組み合わせから３次元画像データのバージョンを示すバージョン情報を生成するバージョン情報生成部２０２と、前記制御情報と、前記バージョン情報と、３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部２０３とを備えて構成したので、３次元表示可能な画像データと共に、３次元画像表示のための制御情報と、制御情報の数及び種類や組み合わせなどから生成されるバージョン情報とを、３次元画像データとして記録又は伝送することができ、該３次元画像データの再生の際には、バージョン情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせを特定して、再生可能かどうかを判定することが可能である。
【００８２】
また、本実施の形態の画像データ再生装置３００は、３次元画像データのデータ構造を解析するデータ構造解析部３０１と、３次元画像データのバージョン情報を解析してその３次元画像を再生可能かどうかを判定するバージョン判定部３０２と、制御情報１０３を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析部３０３と、３次元画像データ１００に含まれる３次元表示可能な画像データ１０４を、前記制御パラメータに従うデータ形式に変換する画像データ変換部３０４と、３次元表示可能な画像データを、３次元画像表示する画像表示部３０５とを備えて構成したので、３次元画像データのバージョン情報を解析してその３次元画像データを再生可能かどうかを判定することによって、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略することができ、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することが可能である。
【００８３】
また、本実施の形態による３次元画像データ記録方式は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのバージョンを示すバージョン情報１０２を、３次元表示可能な画像データ１０４と共に記録する。ここで、上記バージョンは、３次元画像の表示に必要な制御情報１０３と対応関係にあるため、バージョン情報１０２のみ生成すれば、制御情報１０３なしに３次元画像データを生成することが可能である。
【００８４】
また、本実施の形態による３次元画像データ再生方式は、３次元画像データのバージョンを示すバージョン情報１０２を解析することでそれ以降に含まれる制御情報１０３を特定し、それによって画像データの３次元表示が適切にできるかどうかを判定し、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報１０３の解釈を省略することによって、解釈のためのオーバーヘッドを削減することが可能である。
【００８５】
また、本実施の形態による３次元画像データ１００は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのバージョンを示すバージョン情報１０２と、３次元表示可能な画像データ１０４とを含むように構成され、バージョン情報１０２は３次元画像の表示に必要な制御情報１０３と対応関係にあるため、制御情報１０３を記録又は伝送せずにバージョン情報１０２のみで３次元画像の表示を制御するためのパラメータを詳細に指定することが可能であり、制御情報１０３を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【００８６】
また、本実施の形態による３次元画像データ１００はさらに、３次元表示に必要な１つ以上のパラメータで構成される制御情報１０３を含むように構成され、該制御情報１０３に含まれるパラメータの種類や組み合わせは、前記バージョン情報１０２で示されるバージョンに関して階層構造を有し、下位バージョンの３次元画像データ１００に含まれる制御情報１０３のパラメータは、それより上位のバージョンの３次元画像データにも同様に含まれるように構成されるため、画像データ生成装置２００や画像データ再生装置３００における互換性の確保が容易であり、また、将来のバージョン情報及び制御情報の拡張も容易である。
【００８７】
また、本実施の形態の画像データ生成装置１０００は、入力されたバージョンおよびプロファイルに基づきパラメータを設定するパラメータ決定部１００１、制御情報生成部２０１と、プロファイル情報、制御情報、バージョン情報および３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部１００２と、記録・伝送部２０４とを備えて構成したので、３次元表示可能な画像データと共に、３次元画像表示のための制御情報と、制御情報の数及び種類や組み合わせなどから生成されるバージョン情報と、制御情報の設定を規定するプロファイル情報を、３次元画像データとして記録又は伝送することができ、該３次元画像データの再生の際には、バージョン情報およびプロファイル情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせ、設定値を特定して、再生可能かどうかを判定することが可能である。
【００８８】
また、本実施の形態の画像データ再生装置１１００は、３次元画像データのデータ構造を解析するデータ構造解析部１１０１と、３次元画像データのバージョン情報およびプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２と、制御情報解析部３０３と、画像データ変換部３０４と、画像表示部３０５とを備えて構成したので、３次元画像データのプロファイル情報を解析してその３次元画像データが再生可能か否かを判定することによって、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略することができ、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することが可能である。
【００８９】
また、本実施の形態の画像データ再生装置１２００は、データ構造解析部１１０１と、３次元画像データのバージョン情報およびプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２と、３次元画像データのプロファイル情報から３次元画像の再生に必要な制御パラメータを生成するパラメータ生成部１２０１と、画像データ変換部３０４と、画像表示部３０５とを備えて構成したので、３次元画像データのプロファイル情報から制御情報を生成することによって、制御情報の数が膨大である場合でも記録・伝送におけるオーバーヘッドの増大を回避することが可能である。
【００９０】
また、本実施の形態による３次元画像データ記録方式は、３次元画像であることを示す３次元画像識別情報１０１と、プロファイル情報８０１と、３次元画像データのバージョンを示すバージョン情報１０２を、３次元表示可能な画像データ１０４と共に記録する。ここで、上記バージョンは、３次元画像の表示に必要な制御情報１０３と対応関係にあるため、バージョン情報１０２のみ生成すれば、制御情報１０３なしに３次元画像データを生成することが可能である。
【００９１】
また、本実施の形態による３次元画像データ再生方式は、３次元画像データのバージョンを示すバージョン情報１０２およびプロファイルを示すプロファイル情報８０１を解析することでそれ以降に含まれる制御情報１０３の設定を特定し、それによって画像データの３次元表示が適切にできるかどうかを判定し、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報１０３の解釈を省略することによって、解釈のためのオーバーヘッドを削減することが可能である。
【００９２】
また、本実施の形態による３次元画像データ８００は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのプロファイルを示すプロファイル情報８０１と、３次元画像データのバージョンを示すバージョン情報１０２と、３次元表示可能な画像データ１０４とを含むように構成され、バージョン情報１０２およびプロファイル情報８０１は制御情報１０３と対応関係にあるため、制御情報１０３を記録又は伝送せずにプロファイル情報８０１のみで３次元画像の表示を制御するためのパラメータを詳細に指定することが可能であり、バージョン情報１０２、制御情報１０３を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【００９３】
なお、上記実施の形態の画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法は、専用の画像処理装置に適用できることは勿論のこと、カメラ付き携帯電話機／ＰＨＳの携帯通信端末、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末やパソコンなどすべての情報処理装置で実現することができる。さらに、パソコン等の情報処理装置のほか、ＨＤＤ，ＤＶＤ等の記録媒体にデータを記録する記録再生装置に適用できる。また、ディスク等の記録媒体から読み出すコンテンツは、どのような形式のものでもよい。
【００９４】
また、本実施の形態では、画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法という名称を用いたが、これは説明の便宜上であり、画像合成装置や画像処理方法等でもよいことは勿論である。
さらに、上記画面上の３次元画像の枚数や配置、色、３次元パラメータの形式等はどのようなものでもよい。
【００９５】
また、記録媒体の種類や記録方法等は限定されず、全ての装置に適用可能である。例えば、記録装置として、ＨＤＤのほかＤＶＤやＣＤ−Ｒ／ＲＷ、ＭＤ（Mini Disc）に記録するものでもよい。特に、データ転送速度やランダム・アクセス性能が高く、高速アクセスが可能なＨＤＤを記録媒体に用いれば、大量に記録した画像の中から所望の画像を瞬時に検索し、直ぐに利用することが可能になる。また、光磁気ディスク等ＨＤＤ以外の記録装置を用いてもよく、同様の効果を得ることができる。
【００９６】
さらに、上記画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【００９７】
また、以上説明した画像データ生成装置及びその方法、画像データ再生装置及びその方法は、これら装置等を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、プロセッサのメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のプロセッサがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【００９８】
ここで、上記プログラムメディアは、情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード、スマートメディア、ＩＣカード、ＳＤカード、メモリースティック等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００９９】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１００】
【発明の効果】
以上、詳述したように、本発明によれば、３次元表示のための画像データに汎用性及び拡張性を持たせることができ、以下の効果が得ることができる。
【０１０１】
本発明の画像データ生成装置によれば、３次元画像データのバージョンを示すバージョン情報およびプロファイルを示すプロファイル情報が３次元画像の表示に必要な制御情報と対応関係にあるため、３次元画像データの再生の際には、バージョン情報およびプロファイル情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせを特定して、再生可能かどうかを判定することができる。
【０１０２】
また、本発明による画像データ再生装置は、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略するため、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することができる。
【０１０３】
また、本発明による３次元画像データ再生装置及び方法は、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報の解釈を省略することによって、解釈のためのオーバーヘッドを削減することができる。
【０１０４】
また、本発明による３次元画像データは、制御情報を記録又は伝送せずにバージョン情報およびプロファイル情報により３次元画像の表示を制御するためのパラメータを詳細に指定することができ、制御情報を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の３次元画像データの構成を示す図である。
【図２】本実施の形態の画像データ生成装置の構成を示す図である。
【図３】本実施の形態の画像データ再生装置の構成を示す図である。
【図４】本発明の第２の実施の形態に係る３次元画像データの伝送形態とデータ構成を示す図である。
【図５】二眼式立体視の代表的なものの一つである「時分割方式」を説明するための概念図である。
【図６】二眼式立体視のもうひとつの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【図７】「レンチキュラ」方式の記録データ形式の一例を示す概念図である。
【図８】本発明の第３の実施の形態の３次元画像データの構成を示す図である。
【図９】バージョン＝「Ｋ」の場合の制御情報の例を示す図である。
【図１０】３次元画像データを生成する画像データ生成装置の構成を示す図である。
【図１１】３次元画像データを再生する画像データ再生装置の構成を示す図である。
【図１２】制御情報を含まない３次元画像データを再生する画像データ再生装置の構成を示す図である。
【図１３】視点数が２×１の場合における画像データの例を示す図である。
【符号の説明】
１００ ３次元画像データ
１０１ ３次元画像識別情報
１０２ バージョン情報
１０３ 制御情報
１０４ 画像データ
２００ 画像データ生成装置
２０１ 制御情報生成部（パラメータ入力手段，制御情報手段）
２０２ バージョン情報生成部（バージョン情報生成手段）
２０３ 画像データ生成部（画像データ生成手段）
２０４ 記録・伝送部
３００ 画像データ再生装置
３０１ データ構造解析部（３次元画像データ入力手段）
３０２ バージョン判定部（バージョン判定手段）
３０３ 制御情報解析部（制御情報解析手段）
３０４ 画像データ変換部（画像データ変換手段）
３０５ 画像表示部（再生手段，画像表示手段）
４０１ 放送局
４０２ 番組配列情報
４０３ 番組データ
４０４ 受信機
Claims (7)
- ３次元画像データを生成することが可能な画像データ生成装置であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するパラメータ入力手段と、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成する制御情報手段と、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成する画像データ生成手段とを備えることを特徴とする画像データ生成装置。 - 前記画像データ生成手段は、さらに、３次元画像であることを示す３次元画像識別情報を生成することを特徴とする請求項１記載の画像データ生成装置。
- ３次元画像データから３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを得るパラメータ生成手段とを備えることを特徴とする画像データ再生装置。 - さらに、前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定する再生可否判定手段を備え、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生することを特徴とする請求項３記載の画像データ再生装置。 - ３次元画像データを生成する画像データ生成方法であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するステップと、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成するステップと、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成するステップとを備えることを特徴とする画像データ生成方法。 - ３次元画像データを用いて３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得るステップと、
前記３次元画像データに含まれるプロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記３次元画像データが再生可能と判定された場合に、前記３次元画像データを、前記パラメータに従って再生するステップとを有する画像データ再生方法。 - ３次元画像データから３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを生成するステップと
前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生するステップとを有することを特徴とする画像データ再生方法。
以上
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003111048A JP4129408B2 (ja) | 2002-09-27 | 2003-04-16 | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法 |
| PCT/JP2003/012303 WO2004030375A1 (ja) | 2002-09-27 | 2003-09-26 | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法、画像データ又は画像処理プログラムを記録した記録媒体および画像データ記録装置 |
| AU2003268678A AU2003268678A1 (en) | 2002-09-27 | 2003-09-26 | Image data creation device, image data reproduction device, image data creation method, image data reproduction method, recording medium containing image data or image processing program, and image data recording device |
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002283467 | 2002-09-27 | ||
| JP2003111048A JP4129408B2 (ja) | 2002-09-27 | 2003-04-16 | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004166195A JP2004166195A (ja) | 2004-06-10 |
| JP4129408B2 true JP4129408B2 (ja) | 2008-08-06 |
Family
ID=32827832
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003111048A Expired - Lifetime JP4129408B2 (ja) | 2002-09-27 | 2003-04-16 | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4129408B2 (ja) |
Families Citing this family (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4283785B2 (ja) | 2005-05-10 | 2009-06-24 | 株式会社マーキュリーシステム | 立体視画像生成装置およびプログラム |
| KR100813961B1 (ko) * | 2005-06-14 | 2008-03-14 | 삼성전자주식회사 | 영상 수신장치 |
| KR100828358B1 (ko) * | 2005-06-14 | 2008-05-08 | 삼성전자주식회사 | 영상 디스플레이 모드 전환 방법, 장치, 및 그 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체 |
| JP5701687B2 (ja) | 2011-05-27 | 2015-04-15 | ルネサスエレクトロニクス株式会社 | 画像処理装置、画像処理方法 |
| JP5487192B2 (ja) * | 2011-12-14 | 2014-05-07 | 株式会社東芝 | 立体映像表示装置及び方法 |
-
2003
- 2003-04-16 JP JP2003111048A patent/JP4129408B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004166195A (ja) | 2004-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4942784B2 (ja) | マルチメディア情報生成装置およびマルチメディア情報再生装置 | |
| JP4879960B2 (ja) | 画像データ生成装置および画像データ再生装置 | |
| US7859529B2 (en) | Image data display apparatus | |
| CN102804787B (zh) | 在立体图像中以相对深度***三维对象 | |
| JP4251907B2 (ja) | 画像データ作成装置 | |
| JP5705250B2 (ja) | ステレオスコピック映像の部分データ区間の再生のためのステレオスコピック映像データストリーム生成方法及び装置、ステレオスコピック映像の部分データ区間の再生方法及び装置 | |
| CN101841728B (zh) | 三维图像处理装置 | |
| JP2020099045A (ja) | ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置 | |
| JP4630150B2 (ja) | 立体画像記録装置及びプログラム | |
| CN103402104B (zh) | 再现装置及其再现方法 | |
| JP2016167838A (ja) | 柔軟な出力を有する３ｄビデオ・プレーヤー | |
| JP2011525743A (ja) | 映像データ出力方法及び装置、並びに映像データ・ディスプレイ方法及び装置 | |
| MX2012000476A (es) | Metodo de procesamiento de señal y aparato para este que utiliza tamaño de pantalla de dispositivo de presentacion. | |
| US20130070052A1 (en) | Video procesing device, system, video processing method, and video processing program capable of changing depth of stereoscopic video images | |
| CN102474663A (zh) | 影像再现装置 | |
| CN102223551B (zh) | 图像处理设备和图像处理方法 | |
| JP2004274091A (ja) | 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体 | |
| CN103348685A (zh) | 图像处理装置和图像处理方法 | |
| JP4129408B2 (ja) | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法 | |
| JP4197427B2 (ja) | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法、画像データ又は画像処理プログラムを記録した記録媒体および画像データ記録方法 | |
| WO2004030375A1 (ja) | 画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法、画像データ又は画像処理プログラムを記録した記録媒体および画像データ記録装置 | |
| JP2021033354A (ja) | 通信装置およびその制御方法 | |
| JP2012039243A (ja) | 画像処理装置及びその制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080219 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080417 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080513 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080519 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4129408 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110523 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120523 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130523 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140523 Year of fee payment: 6 |
|
| EXPY | Cancellation because of completion of term |