JP4129408B2 - Image data generating apparatus, image data reproducing apparatus, image data generating method, and image data reproducing method - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元表示の画像データを生成する画像データ生成装置及びその方法、３次元画像データから３次元画像を再生する画像データ再生装置及びその方法に関する。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左目用画像と右目用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を可能にする。
【０００３】
図５は、この２眼式の代表的なものの１つである「時分割方式」を説明するための概念図である。
この時分割方式では、図５のように、左目用画像と右目用画像を垂直１ラインおきに交互にならんだ形で画面上に配置し、左目用画像を表示するフィールドと右目用画像を表示するフィールドを交互に切り替えて表示するものである。左目用画像及び右目用画像は通常の２次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左目用画像が表示されている時は左目側が開いて右目側が閉じ、右目用画像が表示されている時は左目側が閉じて右目側が開く。このようにすることにより、左目用画像は左目だけで、右目用画像は右目だけで、表示された画像が観察されることになり、立体視を行うことができる。
【０００４】
図６は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。図６（ａ）は、視差が生じる原理を示す図で表示装置を上から見た図である。図６（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００５】
図６（ｂ）に示すような左目用画像と右目用画像のペアがストライプ状に並んだ画像を、図６（ａ）に示すように、画像表示パネル６０１に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア６０２をその前面に置くことにより、左目用画像は左目６０３だけで、右目用画像は右目６０４だけで、表示パネル６０１上に表示された画像を観察することになり、立体視を行うことができる。
【０００６】
以上のような立体視可能な画像データを記録又は伝送する場合、図５や図６（ｂ）に示した画面イメージをそのまま記録・伝送しても良いが、それ以外の方法として例えば、特許文献１において、パララクスバリア方式と同様の原理に基づくレンチキュラ方式の３次元表示に用いるデータ形式の一例が開示されている。
【０００７】
図７は、このような「レンチキュラ方式」のデータ形式の一例を示す概念図である。
すなわち、図７（ａ）に示す左目用画像７０１と図７（ｂ）に示す右目用画像７０２から、それぞれを間引きして図７（ｃ）に示す１枚の混合画像７０３を作って記録し、再生時にはこの混合画像７０３を並べ替えることにより図６（ｂ）に示したような画像が作成され、これを表示することで立体視が可能になる。図７（ｃ）のような混合画像を構成する利点としては、特に対象が動画像でこれを圧縮符号化する場合に、符号化方式の特性上、入力データが図６（ｂ）の構成よりも図７（ｃ）の構成の方が符号化効率の点で有利であることが挙げられる。
【０００８】
【特許文献１】
特開平１１−４１６２７号公報（図１）
【０００９】
【発明が解決しようとする課題】
上記の２眼式の例に限らず、３次元画像を表示するには様々な方法があり、一般的に異なる表示方式間での記録・伝送データには互換性がない。例えば、時分割方式用のデータをそのままパララクスバリア方式の３次元ディスプレイに表示することはできない。したがって、記録・伝送データに汎用性を持たせることを考慮すると、その表示方式を示すための情報を画像データと共に記録・伝送する必要がある。
【００１０】
表示方式以外にも作成時の視点数や間引き方法など、３次元表示のために必要あるいは有用なパラメータは様々あり、また将来、表示デバイスの進歩や端末の能力アップに伴い、さらに必要なパラメータが増加することも予想される。その際、３次元画像データに汎用性・互換性を持たせようとするとその記録・伝送データに格納すべきパラメータの種類も数多くなるが、一方で、ある特定の条件の下でのみ再生することを前提としたデータ構成の考慮も必要である。特に、小型携帯端末や低速の通信回線に接続して使用する画像端末等、実装資源や使用条件に制約のある装置で３次元画像を利用する場合には、オーバーヘッド削減のため、扱うデータに含まれるパラメータは必要最低限のものに絞ることが望ましい。
【００１１】
しかし、同じ３次元画像でもそれを扱う端末によって備える機能や能力が異なるため、「必要最低限」の基準が端末毎に異なる状態になるのが常である。その場合、機能・能力の最も低い端末に合わせてパラメータを制限したデータのみ作成すると、そのデータは全ての端末で再生可能になるが、一方で高機能な端末の能力を生かせなくなる。しかしながら、高機能端末用に多くのパラメータを格納したデータを作成すると、能力の低い端末にとっては、それらサポートできないパラメータを解釈しなければならないがために、無用のオーバーヘッドが増える要因になる。
【００１２】
本発明は、このような課題に鑑みてなされたものであって、３次元表示のための画像データに汎用性及び拡張性を持たせた画像データ生成装置、画像データ再生装置、画像データ生成方法、画像データ再生方法及び画像データ又は画像処理プログラムを記録した記録媒体を提供することを目的とする。
【００１３】
【課題を解決するための手段】
本発明によると、３次元画像データを生成することが可能な画像データ生成装置であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するパラメータ入力手段と、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成する制御情報手段と、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成する画像データ生成手段とを備える。
前記画像データ生成手段は、さらに、３次元画像であることを示す３次元画像識別情報を生成する。
【００１４】
本発明によると、３次元画像データを用いて３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析手段とを備え、
前記３次元画像データは前記制御パラメータの設定を規定するプロファイル情報を含む。
【００１５】
本発明によると、３次元画像データから３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを得るパラメータ生成手段とを備える。
【００１６】
更に、前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定する再生可否判定手段を備え、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生する。
【００１７】
本発明によると、３次元画像データを生成する画像データ生成方法であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するステップと、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成するステップと、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成するステップとを備える。
【００１８】
本発明によると、３次元画像データを用いて３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得るステップと、
前記３次元画像データに含まれるプロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記３次元画像データが再生可能と判定された場合に、前記３次元画像データを、前記パラメータに従って再生するステップとを有する。
【００１９】
本発明によると、３次元画像データから３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを生成するステップと、
前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生するステップとを有する。
【００２０】
【発明の実施の形態】
以下、添付図面を参照しながら本発明の好適な画像データ生成装置及びその方法、画像データ再生装置及びその方法の実施の形態について詳細に説明する。
【００２１】
第１の実施の形態
図１は、本発明の第１の実施の形態の３次元画像データ１００の構成を示す図である。図示された情報及びデータは、上の要素から下に向かって順に記録もしくは伝送されることを想定している。以下、各情報及びデータについて説明する。
【００２２】
記録もしくは伝送されるデータ中に３次元画像識別情報１０１が存在すると、これ以降に３次元画像に関するデータが続くことを意味する。バージョン情報１０２は、３次元表示に関するバージョンを示す情報である。制御情報１０３は、３次元画像の表示に関する１つ以上のパラメータで構成され、バージョン情報１０２に応じてその種類や組み合わせが決定される。制御情報１０３の具体例及びバージョン情報１０２との関連については後述する。
【００２３】
画像データ１０４は、３次元表示の可能な画像データであり、例えば、前記図５、図６（ｂ）、図７（ｃ）のようなデータ構成を持つ。画像データ１０４は、静止画、動画を問わず、また、圧縮符号化されているデータ、圧縮符号化されていないデータ、いずれでも良い。さらに、画像データ１０４とは別に、音声やテキストなど画像以外のデータを含んでいても良く、またそれらに付随する付加情報を含んでも良い。
【００２４】
次に、本実施の形態における制御情報１０３に関する例とバージョン情報１０２との関連について説明する。制御情報１０３の例として、画像データが従来技術で説明したような前記図６（ｂ）のデータ構成になっているか図７（ｃ）のデータ構成になっているかを示すパラメータがある。３次元画像を表示する際には、表示しようとする画像データがどのような構成になっているかを知らなければ正常に３次元表示ができないため、このようなパラメータは３次元画像の表示に関して必須の制御情報である。
【００２５】
制御情報１０３の他の例としては、上記のようにそのパラメータに従わなければ正常に３次元表示できないものだけでなく、３次元表示自体には必須ではないが利用すればより良好な３次元表示を得られる、という性質のパラメータもある。例えば、前記図５や図６を用いて説明したような両眼視差を利用して立体視するような表示においては、左右画像の視差量を変化させることにより奥行き感を調整することができるので、この変化させる視差量を制御情報のパラメータとして記述しておけば、元の画像データ自体を変更することなしに、元の画像データとは異なる奥行き感を持つ３次元画像データを生成することが可能である。
【００２６】
視差量を変化させるためには、具体的には、例えば前記図６（ｂ）に示す合成画像において左目用画像はそのままにしておき、右目用画像だけを左右どちらかにずらすことにより実現できる。しかし、３次元画像データを再生する再生装置にはさまざまな種類が存在し得るため、中には画像を水平方向にずらして表示する機能を備えていない再生装置が存在する可能性もある。そのような再生装置は、上記視差量を変化させるための制御情報を解釈できたとしても、その情報を表示の制御に利用することができない。同様に、画像データの構造そのものに関しても、図６（ｂ）の画像データ、図７（ｃ）の画像データ両方に対応している再生装置もあれば、図７（ｃ）にしか対応していない再生装置もあり得る。
【００２７】
そのような、機能的あるいは能力的に制限のある再生装置が、制御情報を解釈する代わりにバージョン情報を解析することによって、簡単に、含まれる画像データを適切に３次元表示できるかどうかを判定可能とするために、制御情報１０３とバージョン情報１０２を関連付けて規定する。以下、そのための仕組みに関して説明する。
【００２８】
バージョン情報１０２は、３次元画像データがどのようなデータ構造を持ち、また３次元表示の際にどのようなパラメータを必要とするかを示すものである。バージョン情報１０２としては、例えば１を最低値とする自然数を数値で表したものでも良いし、特定の文字列の組み合わせで表したものでも良い。バージョン情報１０２は、上述の通り制御情報１０３と関連しており、バージョン情報１０２毎に、そのバージョン情報１０２を持つ３次元画像データ１００が含むことができる制御情報１０３を規定する。例えば、バージョン＝「１」の３次元画像データ１００は、前記図６（ｂ）と図７（ｃ）で示した画像データの構造を区別するためのパラメータのみを制御情報１０３として含む構成とし、バージョン＝「２」の３次元画像データは、上記に加えて上述の視差量を指定するパラメータも制御情報１０３として含む構成とし、バージョン＝「３」の３次元画像データは、上記に加えてさらに別のパラメータを制御情報１０３として含む構成とする。
【００２９】
このように規定することにより、例えば視差量の調整機能を備えない再生装置では、再生しようとする３次元画像データのバージョンが１であれば、制御情報１０３で指定されたパラメータ通りに３次元画像の表示が可能だが、それ以外のバージョンの３次元画像データについては制御情報１０３で指定されたパラメータ通りに表示することができないことを、制御情報自体を解析せずに判定することが可能である。
【００３０】
上記のように、各バージョンに対応する制御情報１０３に含まれるパラメータが階層的になっているため、あるバージョンの３次元画像データを適切に３次元表示することが可能な画像データ再生装置においては、それより下位バージョンの３次元画像データも適切に３次元表示可能であることが保証される。また、前記３次元画像データの構成に関しても、将来バージョン情報や制御情報が追加になる場合の拡張が容易である。
【００３１】
なお、再生装置がバージョン情報１０２で示されるバージョンに対応していない場合に、例えば結合された多視点画像をそのまま２次元画像として表示してもよい。このとき、上記制御情報１０３を解析せずにさらに後続の画像データを正しく解析するために、３次元画像データ１００の構成としては、バージョン毎に制御情報１０３の占めるデータ長が固定であるか、又は制御情報１０３の長さを示す情報を別途格納するか、あるいは画像データ１０４の開始オフセットを別途格納する、もしくは画像データの先頭位置に特定の符号パターンが現れるようにする等、画像データ１０４の先頭位置を特定するための情報もしくは仕組みを備えていても良い。
【００３２】
次に、上記のような３次元画像データ１００を生成する画像データ生成装置について説明する。図２は、上記３次元画像データ１００を生成する画像データ生成装置の機能ブロック図である。
【００３３】
図２において、２００は３次元画像データ１００を生成することが可能な画像データ生成装置であり、画像データ生成装置２００は、１つ以上のパラメータを基に、３次元画像の表示を制御するための制御情報を生成する制御情報生成部２０１（パラメータ入力手段，制御情報手段）と、制御情報のパラメータの種類又はその組み合わせから３次元画像データのバージョンを示すバージョン情報を生成するバージョン情報生成部２０２（バージョン情報生成手段）と、前記制御情報と、前記バージョン情報と、３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部２０３（画像データ生成手段）と、生成された３次元画像データを記録又は伝送するＨＤＤ，通信部等からなる記録・伝送部２０４とを備えて構成される。
【００３４】
制御情報生成部２０１は、３次元画像の表示に関して必須のパラメータと、３次元画像の表示には必須ではないが利用すればより良好な３次元画像が得られるパラメータとを含む、パラメータを入力するパラメータ入力手段としての機能を有し、制御情報生成部２０１は、外部より入力された制御に関するパラメータを基に制御情報を生成し、バージョン情報生成部２０２では、制御情報１０３に応じたバージョン情報１０２を生成する。
【００３５】
次いで、画像データ生成部２０３では、入力された画像データと共に前記制御情報１０３及びバージョン情報１０２を含む３次元画像データ１００を生成する。この時、画像データ１０４は既に圧縮符号化されていても良いし、必要なら画像データ生成部２０３で、入力された画像データを圧縮符号化しても良い。生成された３次元画像データ１００は、記録・伝送部２０４で、記録媒体に格納されるか、外部の接続インタフェース手段もしくは通信回線等に出力される。上記記録媒体は、本画像データ生成装置２００に内蔵されるものでも良いし、外部に接続されるものであっても良い。
【００３６】
バージョン情報生成部２０２においては、どのような制御情報が存在する場合にどういうバージョンが対応するかを予め登録してあり、それに従って、制御情報生成部２０１から通知される制御情報に応じてバージョン情報を生成する。制御情報とバージョンとの対応の例に関しては、表１に示す。
【００３７】
【表１】

【００３８】
表１に示した制御情報の意味について説明する。画像データの構造とは、画像データが例えば前記図６（ｂ）のような構成をとるか前記図７（ｃ）のような構成をとるかを示すパラメータである。視差変更量とは、３次元表示における画像の奥行き感を調整するための、例えば左画像に対する右画像の水平方向へのずらし画素数を示すパラメータである。付加情報１は、３次元表示に関する別の付加的なパラメータである。以降、バージョンが上がる毎に、制御情報に含まれるパラメータが増加していく。
【００３９】
なお、上記表１ではバージョンが上がるにつれて増加する制御情報のパラメータ数は一様に１種類ずつになっているが、一様に１種類ずつである必要はなく、バージョン毎に増加するパラメータ数が変わっても良い。
次に、上記のような３次元画像データを解釈して３次元画像を再生する画像データ再生装置について説明する。
【００４０】
図３は、３次元画像データを再生する画像データ再生装置の機能ブロック図である。
図３において、３００は３次元画像データを再生することが可能な画像データ再生装置であり、画像データ再生装置３００は、３次元画像データのデータ構造を解析するデータ構造解析部３０１（３次元画像データ入力手段）と、３次元画像データのバージョン情報を解析してその３次元画像を再生可能かどうかを判定するバージョン判定部３０２（バージョン判定手段）と、制御情報１０３を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析部３０３（制御情報解析手段）と、３次元画像データ１００に含まれる３次元表示可能な画像データ１０４を、前記制御パラメータに従うデータ形式に変換する画像データ変換部３０４（画像データ変換手段）と、３次元表示可能な画像データを、３次元画像表示する画像表示部３０５（再生手段，画像表示手段）とを備えて構成される。
【００４１】
データ構造解析部３０１は、３次元画像データのバージョンを示すバージョン情報、３次元画像の表示を制御するための１つ以上のパラメータを示す制御情報、及び３次元表示可能な画像データを含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、データ構造解析部３０１は、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、バージョン情報１０２、制御情報１０３、画像データ１０４等に分離する。バージョン判定部３０２は、前記分離されたバージョンを参照して、その画像データが３次元画像として適切に再生可能であるかどうかの判定を行い、この判定結果をデータ構造解析部３０１に通知する。
【００４２】
上記判定結果が、「適切に再生可能である」の場合、データ構造解析部３０１は分離した制御情報１０３を制御情報解析部３０３に対して出力する。制御情報解析部３０３では、前記データ構造解析部３０１で分離された制御情報１０３を解析し、画像データの再生に必要なパラメータを得、画像データ変換部３０４に対して出力する。画像データ変換部３０４は、データ構造解析部３０１で分離された画像データ１０４を、制御情報解析部３０３から入力されたパラメータに従って、３次元表示に適したデータ形式に変換する。データ構造解析部３０１で分離された画像データが圧縮符号化されていた場合は、画像データ変換部３０４で画像データの復号も同時に行う。画像表示部３０５では、画像データ変換部３０４で変換された画像データを３次元画像として表示する。画像表示部３０５のような画像の表示手段は、本画像データ再生装置３００に含まれていても良いし、外部に接続される別装置であっても良い。
【００４３】
一方、上記判定結果が「適切に再生可能でない」の場合、データ構造解析部３０１及び制御情報解析部３０３は、制御情報１０３の解釈をスキップする。ここで画像データ１０４に関しては、画像データ変換部３０４が元々備えている制御パラメータを用いて、適切ではないが３次元表示が可能な画像データに変換するか、２次元画像に変換するか、あるいは、画像データの変換自体を行わないか、のいずれかの処理を行う。画像表示部３０５でこれらの画像データを表示すると、適切ではないがある程度の品質の３次元画像表示が得られるか、３次元表示ではないが画像内容が確認できる程度の２次元画像表示が得られるか、何も表示されない。あるいは、３次元画像として適切に再生できない旨の警告メッセージ画面を用意し、前記２者のケースは警告メッセージ画面を前記画像にそれぞれ重畳して表示し、最後のケースは警告メッセージ画面のみを表示するようにしても良い。前記警告メッセージ画面は、画像データ変換部３０４が生成しても良いし、画像表示部３０５が生成しても良い。
【００４４】
なお、上記のように適切に再生可能でない場合に２次元画像に変換する方法としては、例えば図６（ｂ）や図７（ｃ）の構成を持つ画像データの場合、左眼用画像のみ若しくは右眼用画像のみを用いて、水平方向に２倍に拡大若しくは補間して表示する方法がある。
【００４５】
また、前記のように、画像表示部３０５は、３次元画像だけでなく２次元画像の再生機能を備えていても良い。すなわち、画像表示部３０５は、２次元表示、３次元表示の表示モード切り替え機能を有しており、これを自動で切り替え可能な表示手段であっても良い。例えば、図３の画像データ再生装置３００においては、３次元画像識別情報の有無に従って、画像表示部３０５の表示モードが切り替わるような構成とする。すなわち、データ構造解析部３０１に入力される画像データに３次元画像識別情報が含まれる場合、画像表示部３０５では３次元表示モードで表示し、一方、データ構造解析部３０１に入力される画像データに３次元画像識別情報が含まれない場合、画像表示部３０５では２次元表示モードで表示する。
【００４６】
このように、３次元表示可能な画像データを含む３次元画像データ（図１参照）に、その３次元画像がどのようなデータ形式で記録されているか、あるいはどのような表示方法を想定しているか等を示す制御情報１０３と共に、特定の制御情報の組み合わせを表すバージョン情報１０２を付加することによって、３次元画像再生装置３００においては、バージョン情報１０２を参照することで、その３次元画像ファイルに含まれる画像データを適正に３次元表示することが可能であるかどうかを判定することができる。
【００４７】
第２の実施の形態
次に、本発明の３次元画像データに係る別の実施の形態について説明する。
図４は、本発明の第２の実施の形態の３次元画像データの伝送形態とデータ構成を示す図であり、図４（ａ）は３次元画像データを放送サービスに適用する際の伝送形態を示し、図４（ｂ）は３次元画像の番組に関する制御情報である３次元コンテンツ制御情報のデータ構成を示す。以下、個々の要素に関して説明する。
【００４８】
図４（ａ）に示すように、衛星放送局４０１は、番組即ち放送コンテンツを送信する。放送コンテンツは、番組配列情報４０２と番組データ４０３とで構成される。放送コンテンツは受信機４０４で受信され、番組データ４０３が順次結合されて番組として受信機４０４内で再構成されて再生される。
【００４９】
放送サービスにおいては任意のタイミングで受信を開始した端末が放送コンテンツのデータ種別を判別できるよう、放送コンテンツには、図４（ａ）に示した通り番組配列情報４０２が所定の周期で挿入される。番組配列情報４０２は番組を管理するための情報で、番組が３次元画像データで構成される場合は、図４（ｂ）に示すように、３次元画像識別情報をはじめとする３次元コンテンツ制御情報が番組配列情報４０２に含まれる。図４（ｂ）に示した３次元コンテンツ制御情報内の各要素は、３次元画像識別情報が前記図１の３次元画像識別情報と同等であるのをはじめ、前記図１で示した３次元画像データに含まれる各要素と同等であるため説明は省略する。ここで、図１に示す画像データ１０４は、本実施の形態においては図４（ａ）に示したような番組データ４０３として、適当なデータ長に分割されて順に伝送される。また、図４（ｂ）に示した３次元コンテンツ制御情報は番組配列情報４０２に含まれるため、そこに含まれるバージョン情報や制御情報は、図４（ａ）に示す通り繰り返し伝送されることになる。
【００５０】
前記の例では、図４（ｂ）の３次元コンテンツ制御情報が番組配列情報４０２に含まれる構成で説明しているが、該３次元コンテンツ制御情報は番組データ４０３に含まれる構成であっても良い。この場合も、上述の通り任意のタイミングで受信を開始した端末が放送コンテンツのデータ種別を判別できるよう、３次元コンテンツ制御情報は番組データ４０３の中で所定の周期で繰り返し伝送される。
【００５１】
なお、図４（ａ）においては、衛星を利用した移動体放送のサービス形態を例に図示しているが、本構成は地上波放送の形態にも適用可能であるし、受信装置に関しても移動可能な端末だけではなく据え置き型の受信装置にも適用可能であり、図４（ａ）によってサービス形態や機器構成を制限するものではない。
【００５２】
以上、各実施の形態においては、基本的に制御情報が３次元画像データあるいは３次元コンテンツ制御情報に含まれている構成について説明しているが、別の構成として、バージョン情報と制御情報の内容を予め対応付けておくことで、制御情報を全く記録・伝送せずに同等の効果を上げることも可能である。すなわち、例えばバージョン「１」の３次元画像データは、図７（ｃ）の画像データ構成を有し、それ以外のオプション情報を一切必要としない３次元画像データであることを規定し、バージョン「２」の３次元画像データは、バージョン１の前提に加えて「視差変更量」の制御情報を有する３次元画像データであることを規定する、等を複数のバージョンに関して規定しておけば、画像データ生成装置側では制御情報を生成する必要がなく、また画像データ再生装置側ではバージョン情報のみ解釈すれば適切に３次元画像を再生することが可能であるため、パラメータが増えることによる伝送効率上や処理効率上のオーバーヘッドを最小限に抑えることができる。
【００５３】
また、制御情報を全く伝送しないまでも、例えば、前記バージョン情報が、そのとりうる最も低位なもしくは最も基本的なバージョンの場合には制御情報は存在せず、それ以外の場合には制御情報が存在するような構成にすることも可能である。その場合、画像データは例えば図７（ｃ）のようなデータ構成をとるという前提条件を予め定めておき、画像データ再生装置においては、全てのバージョンの３次元画像データに関して、その前提条件に従って画像データを表示すれば良い。
【００５４】
第３の実施の形態
図８は、本発明の第３の実施の形態の３次元画像データ８００の構成を示す図である。図示された情報及びデータは、上の要素から下に向かって順に記録もしくは伝送されることを想定している。なお、本実施の形態において前述の実施の形態と同一または相当部分には同一符号を付し、その説明は繰返さない。
【００５５】
図８において、プロファイル情報８０１は、制御情報１０３の設定について、その取り得る値を定める情報である。以下、本実施の形態におけるバージョン情報１０２とプロファイル情報８０１および制御情報１０３との関連について説明する。
【００５６】
図９はバージョン＝「Ｋ」（ここでＫは自然数である）の場合の制御情報１０３の例を示す図である。図９において、パラメータ９０１からパラメータ９０８までは画像データの構造に関するパラメータであり、パラメータ９０９からパラメータ９１１は３次元画像の表示をより良好に行うためのパラメータである。９０１は水平方向の視点数Ｍを示し、９０２は垂直方向の視点数Ｎを示すためのものである（ここでＭ，Ｎは自然数、本実施の形態においては、このときの視点数をＭｘＮと表記する）。また、９０３は各視点の画像が結合されているか否かを示すためのものであり、「あり」、「なし」のいずれかの値をとる。９０４は画像結合が「あり」の場合に、画像結合時の配置方法を示し、ここでは「水平」、「垂直」のいずれかの値をとるものとする。画像配置９０４は、画像結合が「なし」の場合には省略される。なお図９では、他のパラメータの値によって省略される可能性のあるパラメータを、先頭に空白を入れて表記することとしている。
【００５７】
さらに、９０５は各視点の画像が水平方向に縮小されているか否か（「あり」、「なし」のいずれかの値をとる）を、９０６は画像が水平方向に縮小されている場合の縮小率を示す。同様に９０７は各視点の画像が垂直方向に縮小されているか否かを、９０８は画像が垂直方向に縮小されている場合の縮小率を示す。水平方向の縮小９０５および垂直方向の縮小９０７が「なし」の場合には、それぞれ縮小率９０６、９０８が省略される。
また、９０９は前述の視差量を調整する際の変化量を示し、９１０は３次元画像を２次元表示する際に表示画像として選択される視点に対応した画像を示す。
【００５８】
例えば前述の「２眼式」の場合、視点数は２ｘ１となる。視点数が２ｘ１の場合における画像データ１０４の例を図１３に示す。図１３（ａ）は画像結合なし、水平・垂直とも縮小なしの場合を示している。図１３（ｂ）は画像結合ありで、画像配置は「水平」、水平・垂直とも縮小なしの場合を、図１３（ｃ）は画像結合ありで、画像配置は「垂直」、水平・垂直とも縮小なしの場合を、図１３（ｄ）は画像結合なし、水平方向の縮小率が１／２の場合を、図１３（ｅ）は画像結合ありで、画像配置は「水平」、水平方向の縮小率が１／２の場合を、図１３（ｆ）は画像結合ありで、画像配置は「垂直」、垂直方向の縮小率が１／２の場合を示している。
【００５９】
このように画像データの構成に関するパラメータを組み合わせることで、多彩なパターンを表すことが可能であるが、実用面ではこれらすべてのパターンの利用度が高いわけではない。したがって、特定の用途で画像データを普及させることを考えると、特定のパターンのみをサポートすれば十分な場合がある。
【００６０】
例えば、デジタルカメラで３次元画像を撮影する際に、撮像面に視点の異なる被写体像を映すことのできるステレオアダプタを使用して、単眼のカメラで左右目の画像が水平方向に結合された画像を撮影することが行われる。このような場合には、図１３（ｂ）および図１３（ｅ）に示す画像が利用できれば十分であると考えられる。
【００６１】
こうした特定用途向けの再生装置が、画像データを適切に３次元表示できるか否かの判定を簡単に実行するために、プロファイル情報８０１を制御情報１０３と関連付けて規定する。以下、そのための仕組みに関して説明する。
【００６２】
プロファイル情報８０１は、３次元画像データが３次元表示の際に必要とするパラメータと、これらのパラメータの取り得る値を定めるものである。プロファイル情報８０１は、例えば１を最低値とする自然数として表したものでも良いし、特定の文字列の組み合わせで表したものでも良い。
【００６３】
表２にプロファイルとパラメータの関係の例を示す。なお、表２において「○」「△」「−」の印は再生装置において、そのパラメータをどのように扱うかを示すためのものであり、「○」はそのパラメータを必ず使用し（対応必須）、その設定値に特に制限のないことを示し、「△」はそのパラメータを使用しなくともよい（オプション）ことを示し、「−」はそのパラメータを使用しないことを示している。ただし、先に説明したように、図９で先頭に空白を付したパラメータは、表２で「○」となっていても他のパラメータの値によって省略されることがある。この場合は、省略されない場合にのみ、再生装置において対応必須という意味となる。
【００６４】
例えばデジタルカメラの例のように視点数が２ｘ１と少ない場合には視差量を変更する処理が比較的容易である反面、２次元表示の際に使用する画像は左右いずれの視点の画像を使用してもあまり変化がない。一方、例えば大画面のディスプレイで表示をするために視点数を多くすると、各視点画像間の視差量変更が複雑になる反面、２次元表示の際に使用する画像は離れた視点のものほど差が大きくなるため、２Ｄ画像指定がより意味を持つようになる。
【００６５】
したがって、デジタルカメラ向けのプロファイルとして、表２のプロファイル１（視点数は２ｘ１、画像結合は「あり」、画像配置は「水平」に固定、水平方向の縮小の有無を示すことは必須、その縮小率は１／２のみ、垂直方向の縮小はなし、視差量変更は必須、２Ｄ画像指定はオプション等々）を用い、多視点の大型ディスプレイ向けのプロファイルとして、例えば表２のプロファイル３（視点数は８ｘ８まで、画像結合の有無を示すことは必須、画像配置の値は必須、水平方向および垂直方向の縮小率は１／２、１／４、１／８に限定、視差量変更はオプション、２Ｄ画像指定は必須等々）を用いるようにしてもよい。
【００６６】
【表２】

【００６７】
このように規定することにより、特定の用途に限定した再生装置において、例えば再生しようとする３次元画像データのプロファイルが１であれば、制御情報１０３で指定されたパラメータ通りに３次元画像の表示が可能であるが、それ以外のプロファイルの３次元画像データについては、制御情報１０３で指定されたパラメータ通りに表示することができないという判定を、制御情報１０３自体を解析することなしに行うことが可能となる。
【００６８】
なお、再生装置がプロファイル情報８０１で示されるプロファイルに対応していない場合に、例えば結合された多視点画像をそのまま２次元画像として表示してもよい。このとき、上記制御情報１０３を解析せずに、さらに後続の画像データを正しく解析するために、画像データ１０４の先頭位置を特定するための情報もしくは仕組みを備えていてもよい。例えば、プロファイル毎に制御情報１０３のデータ長を固定長としてもよいし、制御情報１０３のデータ長を示す情報や画像データ１０４の開始オフセットを別途格納するようにしてもよい。あるいは画像データ１０４の先頭位置に特定の符号パターンが現れるようにしてもよい。
【００６９】
以上説明したように、プロファイル情報は、あるバージョンにおける対応必須のパラメータの種類とその設定値について規定するものである。したがって、バージョンごとに、他のバージョンとは異なるプロファイルが存在することになる。
【００７０】
次に、上記のような３次元画像データ８００を生成する画像データ生成装置について説明する。図１０は、上記３次元画像データ８００を生成する画像データ生成装置の機能ブロック図である。図１０において、１０００は３次元画像データ８００を生成することが可能な画像データ生成装置であり、画像データ生成装置１０００は、入力されたバージョン情報、プロファイル情報およびパラメータに基づき使用するパラメータを決定するパラメータ決定部１００１（パラメータ入力手段）、制御情報生成部２０１（制御情報手段）と、プロファイル情報、制御情報、バージョン情報、および３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部１００２（画像データ生成手段）と、記録・伝送部２０４とを備えて構成される。
【００７１】
パラメータ決定部１００１は、バージョン及びプロファイルに対するパラメータの設定値を予め登録してあり、入力されたバージョン情報、プロファイル情報およびパラメータに応じて、以下の動作をする。まず、バージョン情報およびプロファイル情報により使用できるパラメータの種類とその設定値の取り得る範囲を決定する。次に、入力されたパラメータの種類および設定値を検証し、これらが指定されたプロファイルの範囲内であれば、入力されたパラメータをそのまま制御情報生成部２０１に出力する。入力されたパラメータが指定されたプロファイルの範囲を越えている場合は、例えば（１）パラメータの誤りであるので、これ以降の処理は行わない、あるいは（２）パラメータを適切な範囲に修正して制御情報生成部２０１に出力する、等の動作を行う。制御情報生成部２０１は、前述のように制御情報１０３を生成し、画像データ生成部１００２に対して出力する。
【００７２】
次いで、画像データ生成部１００２では、入力された画像データと共に制御情報生成部２０１から入力された制御情報１０３、バージョン情報１０２およびプロファイル情報８０１を含む３次元画像データ８００を生成する。このとき、図８の画像データ１０４は既に圧縮符号化されていても良いし、必要なら画像データ生成部１００２で、入力された画像データを圧縮符号化してもよい。生成された３次元画像データ８００は、記録・伝送部２０４で、記録媒体に格納されるか、外部の接続インタフェース手段もしくは通信回線等に出力される。
【００７３】
次に、図８に示される３次元画像データ８００を解釈して３次元画像を再生する画像データ再生装置について説明する。図１１は、３次元画像データ８００を再生する画像データ再生装置の機能ブロック図である。図１１において、１１００は３次元画像データ８００を再生することが可能な画像データ再生装置であり、画像データ再生装置１１００は、３次元画像データのデータ構造を解析するデータ構造解析部１１０１（３次元画像データ入力手段）と、３次元画像データのプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２（再生可否判定手段）と、制御情報解析部３０３（制御情報解析手段）と、画像データ変換部３０４（画像データ変換手段）と、画像表示部３０５（再生手段、画像表示手段）とを備えて構成される。
【００７４】
データ構造解析部１１０１は、３次元画像データのプロファイルを示すプロファイル情報、３次元画像データのバージョンを示すバージョン情報、３次元画像の表示を制御するための１つ以上のパラメータを示す制御情報、及び３次元表示可能な画像データを含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、データ構造解析部１１０１は、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、プロファイル情報８０１、バージョン情報１０２、制御情報１０３、画像データ１０４等に分離する。
【００７５】
再生可否判定部１１０２は、前記分離されたバージョン情報およびプロファイルを参照して、その画像データが３次元画像として適切に再生可能であるかどうかの判定を行う。バージョン情報に関する判定は、前述の第１の実施の形態と同様である。プロファイル情報に関しては、データ構造解析部１１０１から入力されたプロファイル情報とサポートするプロファイルが一致した場合に、画像データ１０４が再生可能であると判定する。この判定結果はデータ構造解析部１１０１に通知される。判定結果を得た後の動作は、前述の第１の実施の形態と同様であるため、ここでの説明は省略する。
【００７６】
このように、３次元画像再生装置８００においてプロファイル情報８０１を参照することで、画像データを適正に３次元表示することが可能であるかどうかを判定することができる。
【００７７】
なお、各プロファイルがパラメータの設定値の組み合わせパターンを１通りしか含まないようにあらかじめ構成しておいてもよい。すなわち、バージョン情報とプロファイル情報の組み合わせから、制御情報に書かれるパラメータとその値を一意に決めておく。これによって、図８の３次元画像データ８００には制御情報１０３を一切含まないようにすることができる。この場合に生成された３次元画像データ８００を再生するための画像データ再生装置の機能ブロック図を図１２に示す。
【００７８】
図１２において、画像データ再生装置１２００は、データ構造解析部１２０１（３次元画像データ入力手段）と、再生可否判定部１１０２と、バージョン情報１０２およびプロファイル情報８０１から３次元画像の再生に必要な制御パラメータを生成するパラメータ生成部１２０２（パラメータ生成手段）と、画像データ変換部３０４（画像データ変換手段）と、画像表示部３０５（再生手段、画像表示手段）とを備えて構成される。
【００７９】
データ構造解析部１２０１は、バージョン情報１０２、プロファイル情報８０１および画像データ１０４を含む３次元画像データを入力する３次元画像データ入力手段としての機能を有し、図示しない記録媒体や伝送インタフェース等から入力された３次元画像データを解析し、プロファイル情報８０１、バージョン情報１０２、画像データ１０４に分離する。再生可否判定部１１０２は、前述のようにして画像データ１０４が３次元画像として適切に再生可能であるかどうかの判定を行い、判定結果をパラメータ生成部１２０２に出力する。
【００８０】
パラメータ生成部１２０２は、前記判定結果が「適切に再生可能である」場合に、データ構造解析部１２０１から入力されたバージョン情報１０２およびプロファイル情報８０１に基づき、３次元画像の再生に必要な制御パラメータを生成し、画像変換部３０４に対して出力する。このようにして、バージョン情報およびプロファイル情報のみを解釈すれば適切に３次元画像を再生することが可能であるため、パラメータが増えることによる伝送効率上や処理効率上のオーバーヘッドを最小限に抑えることができる。
【００８１】
以上のように、本実施の形態の画像データ生成装置２００は、１つ以上のパラメータを基に、３次元画像の表示を制御するための制御情報を生成する制御情報生成部２０１と、制御情報のパラメータの種類又はその組み合わせから３次元画像データのバージョンを示すバージョン情報を生成するバージョン情報生成部２０２と、前記制御情報と、前記バージョン情報と、３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部２０３とを備えて構成したので、３次元表示可能な画像データと共に、３次元画像表示のための制御情報と、制御情報の数及び種類や組み合わせなどから生成されるバージョン情報とを、３次元画像データとして記録又は伝送することができ、該３次元画像データの再生の際には、バージョン情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせを特定して、再生可能かどうかを判定することが可能である。
【００８２】
また、本実施の形態の画像データ再生装置３００は、３次元画像データのデータ構造を解析するデータ構造解析部３０１と、３次元画像データのバージョン情報を解析してその３次元画像を再生可能かどうかを判定するバージョン判定部３０２と、制御情報１０３を解析して３次元画像の再生に必要な制御パラメータを得る制御情報解析部３０３と、３次元画像データ１００に含まれる３次元表示可能な画像データ１０４を、前記制御パラメータに従うデータ形式に変換する画像データ変換部３０４と、３次元表示可能な画像データを、３次元画像表示する画像表示部３０５とを備えて構成したので、３次元画像データのバージョン情報を解析してその３次元画像データを再生可能かどうかを判定することによって、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略することができ、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することが可能である。
【００８３】
また、本実施の形態による３次元画像データ記録方式は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのバージョンを示すバージョン情報１０２を、３次元表示可能な画像データ１０４と共に記録する。ここで、上記バージョンは、３次元画像の表示に必要な制御情報１０３と対応関係にあるため、バージョン情報１０２のみ生成すれば、制御情報１０３なしに３次元画像データを生成することが可能である。
【００８４】
また、本実施の形態による３次元画像データ再生方式は、３次元画像データのバージョンを示すバージョン情報１０２を解析することでそれ以降に含まれる制御情報１０３を特定し、それによって画像データの３次元表示が適切にできるかどうかを判定し、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報１０３の解釈を省略することによって、解釈のためのオーバーヘッドを削減することが可能である。
【００８５】
また、本実施の形態による３次元画像データ１００は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのバージョンを示すバージョン情報１０２と、３次元表示可能な画像データ１０４とを含むように構成され、バージョン情報１０２は３次元画像の表示に必要な制御情報１０３と対応関係にあるため、制御情報１０３を記録又は伝送せずにバージョン情報１０２のみで３次元画像の表示を制御するためのパラメータを詳細に指定することが可能であり、制御情報１０３を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【００８６】
また、本実施の形態による３次元画像データ１００はさらに、３次元表示に必要な１つ以上のパラメータで構成される制御情報１０３を含むように構成され、該制御情報１０３に含まれるパラメータの種類や組み合わせは、前記バージョン情報１０２で示されるバージョンに関して階層構造を有し、下位バージョンの３次元画像データ１００に含まれる制御情報１０３のパラメータは、それより上位のバージョンの３次元画像データにも同様に含まれるように構成されるため、画像データ生成装置２００や画像データ再生装置３００における互換性の確保が容易であり、また、将来のバージョン情報及び制御情報の拡張も容易である。
【００８７】
また、本実施の形態の画像データ生成装置１０００は、入力されたバージョンおよびプロファイルに基づきパラメータを設定するパラメータ決定部１００１、制御情報生成部２０１と、プロファイル情報、制御情報、バージョン情報および３次元表示可能な画像データとを含む３次元画像データを生成する画像データ生成部１００２と、記録・伝送部２０４とを備えて構成したので、３次元表示可能な画像データと共に、３次元画像表示のための制御情報と、制御情報の数及び種類や組み合わせなどから生成されるバージョン情報と、制御情報の設定を規定するプロファイル情報を、３次元画像データとして記録又は伝送することができ、該３次元画像データの再生の際には、バージョン情報およびプロファイル情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせ、設定値を特定して、再生可能かどうかを判定することが可能である。
【００８８】
また、本実施の形態の画像データ再生装置１１００は、３次元画像データのデータ構造を解析するデータ構造解析部１１０１と、３次元画像データのバージョン情報およびプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２と、制御情報解析部３０３と、画像データ変換部３０４と、画像表示部３０５とを備えて構成したので、３次元画像データのプロファイル情報を解析してその３次元画像データが再生可能か否かを判定することによって、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略することができ、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することが可能である。
【００８９】
また、本実施の形態の画像データ再生装置１２００は、データ構造解析部１１０１と、３次元画像データのバージョン情報およびプロファイル情報を解析してその３次元画像が再生可能かどうかを判定する再生可否判定部１１０２と、３次元画像データのプロファイル情報から３次元画像の再生に必要な制御パラメータを生成するパラメータ生成部１２０１と、画像データ変換部３０４と、画像表示部３０５とを備えて構成したので、３次元画像データのプロファイル情報から制御情報を生成することによって、制御情報の数が膨大である場合でも記録・伝送におけるオーバーヘッドの増大を回避することが可能である。
【００９０】
また、本実施の形態による３次元画像データ記録方式は、３次元画像であることを示す３次元画像識別情報１０１と、プロファイル情報８０１と、３次元画像データのバージョンを示すバージョン情報１０２を、３次元表示可能な画像データ１０４と共に記録する。ここで、上記バージョンは、３次元画像の表示に必要な制御情報１０３と対応関係にあるため、バージョン情報１０２のみ生成すれば、制御情報１０３なしに３次元画像データを生成することが可能である。
【００９１】
また、本実施の形態による３次元画像データ再生方式は、３次元画像データのバージョンを示すバージョン情報１０２およびプロファイルを示すプロファイル情報８０１を解析することでそれ以降に含まれる制御情報１０３の設定を特定し、それによって画像データの３次元表示が適切にできるかどうかを判定し、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報１０３の解釈を省略することによって、解釈のためのオーバーヘッドを削減することが可能である。
【００９２】
また、本実施の形態による３次元画像データ８００は、３次元画像であることを示す３次元画像識別情報１０１と、３次元画像データのプロファイルを示すプロファイル情報８０１と、３次元画像データのバージョンを示すバージョン情報１０２と、３次元表示可能な画像データ１０４とを含むように構成され、バージョン情報１０２およびプロファイル情報８０１は制御情報１０３と対応関係にあるため、制御情報１０３を記録又は伝送せずにプロファイル情報８０１のみで３次元画像の表示を制御するためのパラメータを詳細に指定することが可能であり、バージョン情報１０２、制御情報１０３を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【００９３】
なお、上記実施の形態の画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法は、専用の画像処理装置に適用できることは勿論のこと、カメラ付き携帯電話機／ＰＨＳの携帯通信端末、ＰＤＡ（Personal Digital Assistants）等の携帯情報端末やパソコンなどすべての情報処理装置で実現することができる。さらに、パソコン等の情報処理装置のほか、ＨＤＤ，ＤＶＤ等の記録媒体にデータを記録する記録再生装置に適用できる。また、ディスク等の記録媒体から読み出すコンテンツは、どのような形式のものでもよい。
【００９４】
また、本実施の形態では、画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法という名称を用いたが、これは説明の便宜上であり、画像合成装置や画像処理方法等でもよいことは勿論である。
さらに、上記画面上の３次元画像の枚数や配置、色、３次元パラメータの形式等はどのようなものでもよい。
【００９５】
また、記録媒体の種類や記録方法等は限定されず、全ての装置に適用可能である。例えば、記録装置として、ＨＤＤのほかＤＶＤやＣＤ−Ｒ／ＲＷ、ＭＤ（Mini Disc）に記録するものでもよい。特に、データ転送速度やランダム・アクセス性能が高く、高速アクセスが可能なＨＤＤを記録媒体に用いれば、大量に記録した画像の中から所望の画像を瞬時に検索し、直ぐに利用することが可能になる。また、光磁気ディスク等ＨＤＤ以外の記録装置を用いてもよく、同様の効果を得ることができる。
【００９６】
さらに、上記画像データ生成装置及びその方法、画像データ再生装置画像処理装置及びその方法を構成する回路や部材の数、種類などは前述した実施の形態に限られないことは言うまでもなく、ソフトウェアに限らずハードウェアにより実現するようにしてもよい。
【００９７】
また、以上説明した画像データ生成装置及びその方法、画像データ再生装置及びその方法は、これら装置等を機能させるためのプログラムでも実現される。このプログラムはコンピュータで読み取り可能な記録媒体に格納されている。本発明では、この記録媒体として、プロセッサのメインメモリそのものがプログラムメディアであってもよいし、また外部記憶装置としてＣＤ−ＲＯＭドライブ等のプログラム読み取り装置が設けられ、そこに記録媒体を挿入することで読み取り可能なＣＤ−ＲＯＭ等のプログラムメディアであってもよい。いずれの場合でも、格納されているプログラムはシステム制御部のプロセッサがアクセスして実行させる構成であってもよいし、あるいはいずれの場合もプログラムを読み出し、読み出されたプログラムは、図示されていないプログラム記憶エリアにダウンロードされて、そのプログラムが実行される方式であってもよい。このダウンロード用のプログラムは予め各装置に格納されているものとする。
【００９８】
ここで、上記プログラムメディアは、情報処理装置と分離可能に構成される記録媒体であり、磁気テープやカセットテープ等の磁気ディスクやＣＤ−ＲＯＭ、ＣＤ−Ｒ／ＲＷ、ＭＯ、ＭＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＤＶＤ−ＲＷ等の光ディスクのディスク系、ＰＣカード、コンパクトフラッシュカード、スマートメディア、ＩＣカード、ＳＤカード、メモリースティック等のカード系、あるいはマスクＲＯＭ、ＥＰＲＯＭ、ＥＥＰＲＯＭ、フラッシュＲＯＭ等による半導体メモリを含めた固定的にプログラムを担持する媒体であってもよい。
【００９９】
さらに、インターネット接続プロバイダ又は携帯メールサービス等の外部の通信ネットワークとの接続が可能な通信接続手段を介して通信ネットワークからプログラムをダウンロードするように、流動的にプログラムを担持する媒体であってもよい。なお、このように通信ネットワークからプログラムをダウンロードする場合には、そのダウンロード用プログラムは予め格納しておくか、あるいは別な記録楳体からインストールされるものであってもよい。なお、記録媒体に格納されている内容としてはプログラムに限定されず、データであってもよい。
【０１００】
【発明の効果】
以上、詳述したように、本発明によれば、３次元表示のための画像データに汎用性及び拡張性を持たせることができ、以下の効果が得ることができる。
【０１０１】
本発明の画像データ生成装置によれば、３次元画像データのバージョンを示すバージョン情報およびプロファイルを示すプロファイル情報が３次元画像の表示に必要な制御情報と対応関係にあるため、３次元画像データの再生の際には、バージョン情報およびプロファイル情報を解析するだけで、画像データ再生装置側で前記３次元画像データに含まれる制御情報の種類や組み合わせを特定して、再生可能かどうかを判定することができる。
【０１０２】
また、本発明による画像データ再生装置は、再生不可と判定した３次元画像データに関しては、そこに含まれる制御情報の解析を省略するため、制御情報の数が膨大である場合でも処理オーバーヘッドの増大を回避することができる。
【０１０３】
また、本発明による３次元画像データ再生装置及び方法は、３次元表示が適切にできないと判定した場合、それ以降に含まれる制御情報の解釈を省略することによって、解釈のためのオーバーヘッドを削減することができる。
【０１０４】
また、本発明による３次元画像データは、制御情報を記録又は伝送せずにバージョン情報およびプロファイル情報により３次元画像の表示を制御するためのパラメータを詳細に指定することができ、制御情報を記録・伝送しないことによって記録媒体の容量節約や伝送効率の向上を図ることができる。
【図面の簡単な説明】
【図１】本発明の第１の実施の形態の３次元画像データの構成を示す図である。
【図２】本実施の形態の画像データ生成装置の構成を示す図である。
【図３】本実施の形態の画像データ再生装置の構成を示す図である。
【図４】本発明の第２の実施の形態に係る３次元画像データの伝送形態とデータ構成を示す図である。
【図５】二眼式立体視の代表的なものの一つである「時分割方式」を説明するための概念図である。
【図６】二眼式立体視のもうひとつの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【図７】「レンチキュラ」方式の記録データ形式の一例を示す概念図である。
【図８】本発明の第３の実施の形態の３次元画像データの構成を示す図である。
【図９】バージョン＝「Ｋ」の場合の制御情報の例を示す図である。
【図１０】３次元画像データを生成する画像データ生成装置の構成を示す図である。
【図１１】３次元画像データを再生する画像データ再生装置の構成を示す図である。
【図１２】制御情報を含まない３次元画像データを再生する画像データ再生装置の構成を示す図である。
【図１３】視点数が２×１の場合における画像データの例を示す図である。
【符号の説明】
１００ ３次元画像データ
１０１ ３次元画像識別情報
１０２ バージョン情報
１０３ 制御情報
１０４ 画像データ
２００ 画像データ生成装置
２０１ 制御情報生成部（パラメータ入力手段，制御情報手段）
２０２ バージョン情報生成部（バージョン情報生成手段）
２０３ 画像データ生成部（画像データ生成手段）
２０４ 記録・伝送部
３００ 画像データ再生装置
３０１ データ構造解析部（３次元画像データ入力手段）
３０２ バージョン判定部（バージョン判定手段）
３０３ 制御情報解析部（制御情報解析手段）
３０４ 画像データ変換部（画像データ変換手段）
３０５ 画像表示部（再生手段，画像表示手段）
４０１ 放送局
４０２ 番組配列情報
４０３ 番組データ
４０４ 受信機[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image data generation apparatus and method for generating image data for three-dimensional display, and an image data reproduction apparatus and method for reproducing a three-dimensional image from three-dimensional image data.
[0002]
[Prior art]
Conventionally, various methods for displaying a three-dimensional image have been proposed. Among them, what is generally used is a so-called “binocular type” that uses binocular parallax. That is, a left-eye image and a right-eye image having binocular parallax are prepared and projected onto the left and right eyes independently to enable stereoscopic viewing.
[0003]
FIG. 5 is a conceptual diagram for explaining a “time division method” which is one of the typical two-lens type.
In this time division method, as shown in FIG. 5, the left-eye image and the right-eye image are arranged on the screen alternately in every other vertical line, and the field for displaying the left-eye image and the right-eye image are displayed. The field to be switched is displayed alternately. The image for the left eye and the image for the right eye have half the vertical resolution as compared with normal two-dimensional display. The observer wears shutter-type glasses that open and close in synchronization with the display switching cycle. The shutter used here opens the left eye side and closes the right eye side when the left eye image is displayed, and closes the left eye side and opens the right eye side when the right eye image is displayed. By doing so, the displayed image is observed only with the left eye for the left eye image and only with the right eye for the right eye image, and stereoscopic viewing can be performed.
[0004]
FIG. 6 is a conceptual diagram for explaining a “parallax barrier system”, which is another representative system of the two-lens system. FIG. 6A is a diagram illustrating the principle of the occurrence of parallax, and is a diagram of the display device as viewed from above. FIG. 6B is a diagram showing a screen displayed by the parallax barrier method.
[0005]
An image in which a pair of left-eye image and right-eye image as shown in FIG. 6B is arranged in a stripe shape is displayed on the image display panel 601 as shown in FIG. 6A and corresponds to this image. By placing a so-called parallax barrier 602 having slits at intervals in front of it, the left-eye image is only the left eye 603, the right-eye image is only the right eye 604, and the image displayed on the display panel 601 is observed. Stereoscopic view can be performed.
[0006]
When recording or transmitting the stereoscopically viewable image data as described above, the screen image shown in FIG. 5 or FIG. 6B may be recorded and transmitted as it is. 1 discloses an example of a data format used for three-dimensional display of the lenticular method based on the same principle as the parallax barrier method.
[0007]
FIG. 7 is a conceptual diagram showing an example of the data format of such a “lenticular method”.
That is, from the left-eye image 701 shown in FIG. 7A and the right-eye image 702 shown in FIG. 7B, the respective mixed images 703 shown in FIG. At the time of reproduction, the mixed image 703 is rearranged to create an image as shown in FIG. 6B, and displaying this enables stereoscopic viewing. The advantage of configuring a mixed image as shown in FIG. 7C is that, particularly when the target is a moving image and compression-encoded, the input data is more than the configuration of FIG. In addition, the configuration of FIG. 7C is advantageous in terms of encoding efficiency.
[0008]
[Patent Document 1]
Japanese Patent Laid-Open No. 11-41627 (FIG. 1)
[0009]
[Problems to be solved by the invention]
There are various methods for displaying a three-dimensional image, not limited to the above-described binocular example, and generally recording / transmission data between different display methods is not compatible. For example, time division data cannot be displayed as it is on a parallax barrier 3D display. Therefore, in consideration of making the recording / transmission data versatile, it is necessary to record / transmit information for indicating the display method together with the image data.
[0010]
In addition to the display method, there are various parameters that are necessary or useful for 3D display, such as the number of viewpoints at the time of creation and the thinning-out method. An increase is also expected. At that time, if you try to make the 3D image data versatile and compatible, there will be many types of parameters that should be stored in the recorded / transmitted data, but on the other hand, it must be reproduced only under certain conditions. It is also necessary to consider the data structure based on the above. In particular, when using 3D images on devices with restrictions on implementation resources and usage conditions, such as small mobile terminals and image terminals connected to low-speed communication lines, they are included in the data to be handled to reduce overhead. It is desirable to limit the parameters to the minimum necessary.
[0011]
However, since the functions and abilities provided by the terminals that handle the same three-dimensional image are different, the “minimum necessary” standard is usually different for each terminal. In that case, if only data whose parameters are limited in accordance with the terminal having the lowest function / capability is created, the data can be reproduced on all terminals, but on the other hand, the capability of the high-function terminal cannot be utilized. However, when data having many parameters stored for a high function terminal is created, a terminal having low capability must interpret parameters that cannot be supported, which increases unnecessary overhead.
[0012]
The present invention has been made in view of such problems, and is an image data generation device, an image data reproduction device, and an image data generation method in which image data for three-dimensional display has versatility and expandability. Another object of the present invention is to provide an image data reproducing method and a recording medium on which image data or an image processing program is recorded.
[0013]
[Means for Solving the Problems]
According to the present invention, an image data generation device capable of generating three-dimensional image data,
At least parameter input means for determining the parameter from profile information defining the setting of the parameter relating to the processing of the three-dimensional image;
Control information means for generating control information for controlling processing of the three-dimensional image based on the one or more parameters;
Image data generating means for generating three-dimensional image data including the control information, the profile information, and image data that can be three-dimensionally processed.
The image data generation unit further generates three-dimensional image identification information indicating a three-dimensional image.
[0014]
According to the present invention, there is provided an image data reproducing apparatus for reproducing a three-dimensional image using three-dimensional image data,
3D image data input means for inputting the 3D image data;
Control information analyzing means for analyzing control information included in the three-dimensional image data and obtaining control parameters necessary for reproducing the three-dimensional image;
The three-dimensional image data includes profile information that defines the setting of the control parameter.
[0015]
According to the present invention, there is provided an image data reproduction device for reproducing a three-dimensional image from three-dimensional image data,
3D image data input means for inputting the 3D image data;
Parameter generating means for obtaining control parameters required for reproducing the three-dimensional image in accordance with the profile information included in the three-dimensional image data.
[0016]
Furthermore, a reproducibility determination unit that determines whether or not the three-dimensional image data can be appropriately reproduced according to the profile information is provided.
When the three-dimensional image is determined to be reproducible by the reproducibility determining unit, the three-dimensional image data is reproduced according to the control parameter.
[0017]
According to the present invention, there is provided an image data generation method for generating three-dimensional image data,
Determining at least the parameter from profile information defining the setting of the parameter relating to the processing of the three-dimensional image;
Generating control information for controlling processing of the three-dimensional image based on the one or more parameters;
Generating three-dimensional image data including the control information, the profile information, and three-dimensionally processable image data.
[0018]
According to the present invention, there is provided an image data reproduction method for reproducing a three-dimensional image using three-dimensional image data,
Inputting the three-dimensional image data;
Analyzing control information contained in the three-dimensional image data to obtain control parameters necessary for reproducing the three-dimensional image;
Determining whether or not the three-dimensional image data can be appropriately reproduced according to profile information included in the three-dimensional image data;
And a step of reproducing the three-dimensional image data according to the parameter when it is determined that the three-dimensional image data can be reproduced.
[0019]
According to the present invention, there is provided an image data reproduction method for reproducing a three-dimensional image from three-dimensional image data,
Inputting the three-dimensional image data;
Generating control parameters required for reproduction of a three-dimensional image in accordance with profile information included in the three-dimensional image data;
Determining whether or not the three-dimensional image data can be appropriately reproduced according to the profile information;
Replaying the 3D image data according to the control parameter when the reproducibility determining means determines that the 3D image can be replayed.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, preferred embodiments of an image data generation apparatus and method, an image data reproduction apparatus and method thereof according to the present invention will be described in detail with reference to the accompanying drawings.
[0021]
First embodiment
FIG. 1 is a diagram showing a configuration of three-dimensional image data 100 according to the first embodiment of this invention. It is assumed that the illustrated information and data are recorded or transmitted in order from the upper element to the lower part. Hereinafter, each information and data will be described.
[0022]
If the three-dimensional image identification information 101 exists in the recorded or transmitted data, this means that data relating to the three-dimensional image follows. The version information 102 is information indicating a version related to three-dimensional display. The control information 103 includes one or more parameters related to the display of the three-dimensional image, and the type and combination are determined according to the version information 102. A specific example of the control information 103 and the relationship with the version information 102 will be described later.
[0023]
The image data 104 is image data that can be three-dimensionally displayed, and has, for example, a data structure as shown in FIGS. 5, 6B, and 7C. The image data 104 may be a still image or a moving image, and may be any data that is compression-encoded and data that is not compression-encoded. Further, in addition to the image data 104, data other than images such as voice and text may be included, and additional information associated therewith may be included.
[0024]
Next, the relationship between the version information 102 and the example related to the control information 103 in the present embodiment will be described. As an example of the control information 103, there is a parameter indicating whether the image data has the data configuration shown in FIG. 6B or the data configuration shown in FIG. When displaying a 3D image, such a parameter is indispensable for the display of a 3D image because normal 3D display cannot be performed unless the configuration of the image data to be displayed is known. Control information.
[0025]
Other examples of the control information 103 include not only information that cannot be normally displayed in 3D unless the parameters are followed, as well as better 3D display if not used for 3D display itself. Some parameters have the property that For example, in a display that is stereoscopically viewed using binocular parallax as described with reference to FIGS. 5 and 6, the sense of depth can be adjusted by changing the amount of parallax between the left and right images. If the parallax amount to be changed is described as a parameter of the control information, it is possible to generate 3D image data having a sense of depth different from the original image data without changing the original image data itself. Is possible.
[0026]
Specifically, the parallax amount can be changed by, for example, leaving the left-eye image as it is in the composite image shown in FIG. 6B and shifting only the right-eye image left or right. However, since there are various types of playback devices that play back three-dimensional image data, there is a possibility that some playback devices do not have a function of shifting and displaying images in the horizontal direction. Even if such a reproducing apparatus can interpret the control information for changing the amount of parallax, it cannot use the information for display control. Similarly, with respect to the structure of the image data itself, there is a reproducing apparatus that supports both the image data of FIG. 6B and the image data of FIG. 7C, and only corresponds to FIG. 7C. There may be no playback device.
[0027]
Such a functionally or capability-restricted playback device can easily determine whether or not the contained image data can be appropriately displayed in three dimensions by analyzing the version information instead of interpreting the control information. In order to make it possible, the control information 103 and the version information 102 are defined in association with each other. Hereinafter, a mechanism for this will be described.
[0028]
The version information 102 indicates what data structure the 3D image data has and what parameters are required for 3D display. As the version information 102, for example, a natural number having a minimum value of 1 may be represented by a numerical value, or may be represented by a combination of specific character strings. The version information 102 is related to the control information 103 as described above, and the control information 103 that can be included in the 3D image data 100 having the version information 102 is defined for each version information 102. For example, the three-dimensional image data 100 of version = “1” includes only the parameters for distinguishing the structure of the image data shown in FIGS. 6B and 7C as the control information 103. In addition to the above, the three-dimensional image data of version = “2” includes a parameter that specifies the above-described parallax amount as control information 103, and the three-dimensional image data of version = “3” It is assumed that another parameter is included as the control information 103.
[0029]
By defining in this way, for example, in a playback device that does not have a parallax amount adjustment function, if the version of the 3D image data to be played back is 1, the 3D image according to the parameter specified by the control information 103 However, it is possible to determine that other versions of 3D image data cannot be displayed according to the parameters specified by the control information 103 without analyzing the control information itself. .
[0030]
As described above, since the parameters included in the control information 103 corresponding to each version are hierarchical, in an image data reproducing apparatus capable of appropriately three-dimensionally displaying a certain version of three-dimensional image data. Therefore, it is ensured that lower-dimensional versions of the three-dimensional image data can be appropriately displayed in three dimensions. Also, the configuration of the three-dimensional image data can be easily expanded when future version information or control information is added.
[0031]
If the playback device does not support the version indicated by the version information 102, for example, the combined multi-viewpoint image may be displayed as it is as a two-dimensional image. At this time, in order to correctly analyze subsequent image data without analyzing the control information 103, as the configuration of the three-dimensional image data 100, the data length occupied by the control information 103 for each version is fixed, Alternatively, information indicating the length of the control information 103 is stored separately, the start offset of the image data 104 is stored separately, or a specific code pattern appears at the head position of the image data 104. Information or a mechanism for specifying the head position may be provided.
[0032]
Next, an image data generation apparatus that generates the above three-dimensional image data 100 will be described. FIG. 2 is a functional block diagram of an image data generation apparatus that generates the three-dimensional image data 100.
[0033]
In FIG. 2, reference numeral 200 denotes an image data generation apparatus capable of generating the three-dimensional image data 100. The image data generation apparatus 200 controls display of a three-dimensional image based on one or more parameters. Control information generating section 201 (parameter input means, control information means) for generating the control information of the control information, and version information generating section 202 for generating version information indicating the version of the three-dimensional image data from the parameter type of control information or a combination thereof. (Version information generation means), an image data generation unit 203 (image data generation means) that generates 3D image data including the control information, the version information, and image data that can be displayed in 3D. And a recording / transmission unit 204 including a communication unit and the like for recording or transmitting the three-dimensional image data. It is.
[0034]
The control information generation unit 201 inputs parameters including parameters that are essential for displaying a three-dimensional image and parameters that are not essential for displaying a three-dimensional image but that can be used to obtain a better three-dimensional image. The control information generation unit 201 has a function as a parameter input unit, and generates control information based on parameters relating to control input from the outside. The version information generation unit 202 uses version information 102 corresponding to the control information 103. Is generated.
[0035]
Next, the image data generation unit 203 generates three-dimensional image data 100 including the control information 103 and version information 102 together with the input image data. At this time, the image data 104 may be already compression-encoded, or the input image data may be compression-encoded by the image data generation unit 203 if necessary. The generated three-dimensional image data 100 is stored in a recording medium by the recording / transmission unit 204 or output to an external connection interface unit or a communication line. The recording medium may be built in the image data generation apparatus 200 or may be connected to the outside.
[0036]
In the version information generation unit 202, what version corresponds to what control information is present is registered in advance, and the version information corresponding to the control information notified from the control information generation unit 201 is registered accordingly. Is generated. Table 1 shows an example of correspondence between control information and version.
[0037]
[Table 1]

[0038]
The meaning of the control information shown in Table 1 will be described. The structure of the image data is a parameter indicating whether the image data has the configuration shown in FIG. 6B or the configuration shown in FIG. The parallax change amount is a parameter indicating the number of pixels shifted in the horizontal direction of the right image with respect to the left image, for example, for adjusting the sense of depth of the image in 3D display. Additional information 1 is another additional parameter related to the three-dimensional display. Thereafter, each time the version is increased, the parameters included in the control information increase.
[0039]
In Table 1 above, the number of parameters of the control information that increases as the version increases is uniformly one type. However, the number of parameters does not necessarily need to be uniform, and the number of parameters that increase for each version increases. It may change.
Next, an image data reproducing apparatus that interprets the above three-dimensional image data and reproduces the three-dimensional image will be described.
[0040]
FIG. 3 is a functional block diagram of an image data reproducing apparatus that reproduces three-dimensional image data.
In FIG. 3, reference numeral 300 denotes an image data reproducing apparatus capable of reproducing three-dimensional image data. The image data reproducing apparatus 300 analyzes a data structure analysis unit 301 (three-dimensional image) for analyzing the data structure of three-dimensional image data. Data input means), a version determination unit 302 (version determination means) for analyzing version information of the three-dimensional image data and determining whether or not the three-dimensional image can be reproduced, and a three-dimensional image by analyzing the control information 103 Control information analysis unit 303 (control information analysis means) for obtaining control parameters necessary for reproduction of the image, and image data 104 that can be displayed in three dimensions, included in the three-dimensional image data 100, is converted into a data format according to the control parameters. Data converter 304 (image data converter) and image display for displaying 3D image data that can be displayed in 3D 305 (reproducing means, image display means) configured with a.
[0041]
The data structure analysis unit 301 includes three-dimensional information including version information indicating the version of the three-dimensional image data, control information indicating one or more parameters for controlling display of the three-dimensional image, and image data capable of three-dimensional display. The data structure analysis unit 301 has a function as a three-dimensional image data input unit for inputting image data. The data structure analysis unit 301 analyzes three-dimensional image data input from a recording medium, a transmission interface, or the like (not shown), The information 103 and the image data 104 are separated. The version determination unit 302 refers to the separated version, determines whether the image data can be appropriately reproduced as a three-dimensional image, and notifies the data structure analysis unit 301 of the determination result.
[0042]
When the determination result is “appropriate reproduction is possible”, the data structure analysis unit 301 outputs the separated control information 103 to the control information analysis unit 303. The control information analysis unit 303 analyzes the control information 103 separated by the data structure analysis unit 301, obtains parameters necessary for image data reproduction, and outputs the parameters to the image data conversion unit 304. The image data conversion unit 304 converts the image data 104 separated by the data structure analysis unit 301 into a data format suitable for three-dimensional display according to the parameters input from the control information analysis unit 303. If the image data separated by the data structure analysis unit 301 has been compression-encoded, the image data conversion unit 304 also decodes the image data at the same time. The image display unit 305 displays the image data converted by the image data conversion unit 304 as a three-dimensional image. An image display unit such as the image display unit 305 may be included in the image data reproduction device 300 or may be a separate device connected to the outside.
[0043]
On the other hand, when the determination result is “not properly reproducible”, the data structure analysis unit 301 and the control information analysis unit 303 skip interpretation of the control information 103. Here, the image data 104 is converted into image data that is not appropriate but can be displayed in three dimensions, or converted into a two-dimensional image, using the control parameters originally provided in the image data converter 304, or The image data conversion itself is not performed. When these image data are displayed on the image display unit 305, a three-dimensional image display with a certain level of quality that is not appropriate can be obtained, or a two-dimensional image display that can confirm the contents of the image is obtained although it is not a three-dimensional display. Or nothing is displayed. Alternatively, a warning message screen indicating that it cannot be properly reproduced as a three-dimensional image is prepared, the two cases display the warning message screen superimposed on the image, and the last case displays only the warning message screen. You may do it. The warning message screen may be generated by the image data conversion unit 304 or the image display unit 305.
[0044]
In addition, as a method of converting to a two-dimensional image when it cannot be reproduced properly as described above, for example, in the case of image data having the configuration of FIG. 6B or FIG. 7C, only the image for the left eye or There is a method in which only the image for the right eye is used and the image is enlarged or interpolated twice in the horizontal direction.
[0045]
Further, as described above, the image display unit 305 may include a function for reproducing not only a three-dimensional image but also a two-dimensional image. That is, the image display unit 305 has a display mode switching function for two-dimensional display and three-dimensional display, and may be a display unit that can automatically switch this. For example, the image data reproduction device 300 in FIG. 3 is configured such that the display mode of the image display unit 305 is switched according to the presence or absence of the three-dimensional image identification information. That is, when the image data input to the data structure analysis unit 301 includes 3D image identification information, the image display unit 305 displays the image data in the 3D display mode, while the image data input to the data structure analysis unit 301 When the 3D image identification information is not included, the image display unit 305 displays the image in the 2D display mode.
[0046]
As described above, in what 3D image data (see FIG. 1) including 3D displayable image data is recorded in what data format, or what display method is assumed. By adding the version information 102 indicating the combination of specific control information together with the control information 103 indicating whether or not, the 3D image reproduction apparatus 300 refers to the version information 102, thereby adding the version information 102 to the 3D image file. It can be determined whether or not the included image data can be appropriately displayed in three dimensions.
[0047]
Second embodiment
Next, another embodiment according to the three-dimensional image data of the present invention will be described.
FIG. 4 is a diagram showing a transmission form and data structure of 3D image data according to the second embodiment of the present invention. FIG. 4A shows a transmission form when the 3D image data is applied to a broadcast service. FIG. 4B shows the data structure of 3D content control information, which is control information related to a 3D image program. Hereinafter, individual elements will be described.
[0048]
As shown in FIG. 4A, the satellite broadcast station 401 transmits a program, that is, broadcast content. The broadcast content is composed of program arrangement information 402 and program data 403. The broadcast content is received by the receiver 404, and the program data 403 is sequentially combined and reconstructed and reproduced as a program in the receiver 404.
[0049]
In the broadcast service, program arrangement information 402 is inserted into the broadcast content at a predetermined cycle as shown in FIG. 4A so that a terminal that has started reception at an arbitrary timing can determine the data type of the broadcast content. . The program arrangement information 402 is information for managing the program. When the program is composed of 3D image data, as shown in FIG. 4B, 3D content control including 3D image identification information is performed. Information is included in the program arrangement information 402. Each element in the three-dimensional content control information shown in FIG. 4B includes the three-dimensional image shown in FIG. 1, including that the three-dimensional image identification information is equivalent to the three-dimensional image identification information shown in FIG. Since it is equivalent to each element included in the image data, description thereof is omitted. Here, the image data 104 shown in FIG. 1 is divided into an appropriate data length and transmitted in order as program data 403 as shown in FIG. 4A in the present embodiment. Further, since the 3D content control information shown in FIG. 4B is included in the program arrangement information 402, the version information and control information included therein are repeatedly transmitted as shown in FIG. Become.
[0050]
In the above example, the configuration in which the 3D content control information in FIG. 4B is included in the program arrangement information 402 is described. However, the 3D content control information may be included in the program data 403. good. Also in this case, the three-dimensional content control information is repeatedly transmitted in the program data 403 at a predetermined cycle so that a terminal that starts receiving at an arbitrary timing as described above can determine the data type of the broadcast content.
[0051]
In FIG. 4A, a mobile broadcast service form using satellites is shown as an example. However, this configuration can be applied to a terrestrial broadcast form, and the receiving apparatus also moves. The present invention can be applied not only to a possible terminal but also to a stationary receiving apparatus, and the service form and device configuration are not limited by FIG.
[0052]
As described above, in each embodiment, the configuration in which the control information is basically included in the three-dimensional image data or the three-dimensional content control information has been described. However, as another configuration, the contents of the version information and the control information By associating with each other in advance, it is possible to achieve the same effect without recording / transmitting control information at all. That is, for example, the version “1” of the three-dimensional image data is defined as the three-dimensional image data having the image data configuration of FIG. 7C and not requiring any other optional information. 2 ”3D image data is defined as a 3D image data having control information of“ disparity change amount ”in addition to the premise of version 1, etc. There is no need to generate control information on the data generation device side, and a three-dimensional image can be appropriately reproduced if only the version information is interpreted on the image data reproduction device side. And overhead on processing efficiency can be minimized.
[0053]
In addition, even if no control information is transmitted, for example, if the version information is the lowest or most basic version that can be taken, there is no control information, otherwise control information does not exist. It is also possible to have a configuration that exists. In that case, a precondition that the image data has a data structure as shown in FIG. 7C is determined in advance, and the image data reproducing apparatus performs image processing according to the precondition for all versions of the three-dimensional image data. Display the data.
[0054]
Third embodiment
FIG. 8 is a diagram showing a configuration of the three-dimensional image data 800 according to the third embodiment of the present invention. It is assumed that the illustrated information and data are recorded or transmitted in order from the upper element to the lower part. In the present embodiment, the same or corresponding parts as those of the above-described embodiment are denoted by the same reference numerals, and description thereof will not be repeated.
[0055]
In FIG. 8, profile information 801 is information for determining possible values for the setting of the control information 103. Hereinafter, the relationship between the version information 102, the profile information 801, and the control information 103 in the present embodiment will be described.
[0056]
FIG. 9 is a diagram showing an example of the control information 103 when version = “K” (where K is a natural number). In FIG. 9, parameters 901 to 908 are parameters relating to the structure of image data, and parameters 909 to 911 are parameters for better displaying a three-dimensional image. 901 indicates the number M of horizontal viewpoints, and 902 indicates the number N of vertical viewpoints (where M and N are natural numbers, and in this embodiment, the number of viewpoints at this time is M × N). write). Reference numeral 903 denotes whether or not the images of the respective viewpoints are combined, and takes a value of “Yes” or “No”. Reference numeral 904 denotes an arrangement method at the time of image combination when the image combination is “Yes”. Here, the value is assumed to be “horizontal” or “vertical”. The image arrangement 904 is omitted when the image combination is “none”. In FIG. 9, parameters that may be omitted depending on the values of other parameters are shown with a leading blank.
[0057]
Further, 905 indicates whether or not each viewpoint image is reduced in the horizontal direction (takes a value of “Yes” or “No”), and 906 indicates reduction when the image is reduced in the horizontal direction. Indicates the rate. Similarly, 907 indicates whether or not the image at each viewpoint is reduced in the vertical direction, and 908 indicates the reduction ratio when the image is reduced in the vertical direction. When the horizontal reduction 905 and the vertical reduction 907 are “none”, the reduction ratios 906 and 908 are omitted, respectively.
Reference numeral 909 denotes a change amount when adjusting the above-described parallax amount, and 910 denotes an image corresponding to a viewpoint selected as a display image when a three-dimensional image is two-dimensionally displayed.
[0058]
For example, in the case of the “two-lens type” described above, the number of viewpoints is 2 × 1. FIG. 13 shows an example of the image data 104 when the number of viewpoints is 2 × 1. FIG. 13A shows a case where there is no image combination and no reduction in both horizontal and vertical directions. FIG. 13B shows a case where image combination is performed and the image arrangement is “horizontal” and both horizontal and vertical are not reduced. FIG. 13C shows an image combination where image arrangement is “vertical” and both horizontal and vertical. In the case of no reduction, FIG. 13 (d) shows no image combination and the horizontal reduction ratio is 1/2, FIG. 13 (e) shows image combination, the image arrangement is “horizontal”, and the horizontal direction FIG. 13F shows a case where the reduction ratio is 1/2, FIG. 13F shows a case where image combination is present, the image arrangement is “vertical”, and the reduction ratio in the vertical direction is 1/2.
[0059]
By combining parameters relating to the configuration of image data in this way, it is possible to represent various patterns. However, in practical use, the utilization of all these patterns is not high. Therefore, considering the spread of image data for a specific application, it may be sufficient to support only a specific pattern.
[0060]
For example, when a 3D image is taken with a digital camera, a left and right eye image is combined horizontally with a monocular camera using a stereo adapter that can display subject images with different viewpoints on the imaging surface. Is taken. In such a case, it is considered sufficient that the images shown in FIGS. 13B and 13E can be used.
[0061]
The profile information 801 is defined in association with the control information 103 in order to easily determine whether or not such an application-specific playback apparatus can appropriately display the image data in three dimensions. Hereinafter, a mechanism for this will be described.
[0062]
The profile information 801 defines parameters required for 3D display of 3D image data and possible values of these parameters. For example, the profile information 801 may be expressed as a natural number having a minimum value of 1, or may be expressed as a combination of specific character strings.
[0063]
Table 2 shows an example of the relationship between profiles and parameters. In Table 2, “○”, “△”, “−” marks indicate how the parameters are handled in the playback device, and “◯” always uses the parameters (required) ) Indicates that the set value is not particularly limited, “Δ” indicates that the parameter does not need to be used (optional), and “−” indicates that the parameter is not used. However, as described above, a parameter with a leading blank in FIG. 9 may be omitted depending on the values of other parameters even if “◯” in Table 2 is indicated. In this case, only when it is not omitted, it means that the playback apparatus must respond.
[0064]
For example, when the number of viewpoints is as small as 2 × 1 as in the case of a digital camera, the process of changing the amount of parallax is relatively easy, but the image used for two-dimensional display uses the image of either the left or right viewpoint. But there is not much change. On the other hand, for example, if the number of viewpoints is increased to display on a large-screen display, the change in the amount of parallax between the viewpoint images becomes complicated, but the images used for two-dimensional display differ from those of distant viewpoints. Becomes larger, the 2D image designation becomes more meaningful.
[0065]
Therefore, as a profile for a digital camera, Profile 1 in Table 2 (the number of viewpoints is 2 × 1, the image combination is “Yes”, the image layout is fixed to “Horizontal”, and it is essential to indicate whether or not the horizontal reduction is performed. For example, profile 3 in Table 2 (the number of viewpoints is 8 × 8) is used as a profile for a multi-view large display using only 1/2, no reduction in vertical direction, parallax change is required, 2D image designation is optional, etc. Until now, it is essential to indicate the presence or absence of image combination, the value of image arrangement is essential, the horizontal and vertical reduction ratios are limited to 1/2, 1/4, 1/8, parallax amount change is optional, 2D image You may make it use specification etc.).
[0066]
[Table 2]

[0067]
By defining in this way, in a playback device limited to a specific application, for example, if the profile of the 3D image data to be played back is 1, the display of the 3D image is performed according to the parameters specified in the control information 103. However, it is possible to determine that the three-dimensional image data of other profiles cannot be displayed according to the parameter specified by the control information 103 without analyzing the control information 103 itself. It becomes possible.
[0068]
If the playback device does not support the profile indicated by the profile information 801, for example, the combined multi-viewpoint image may be displayed as a two-dimensional image as it is. At this time, in order to correctly analyze subsequent image data without analyzing the control information 103, information or a mechanism for specifying the head position of the image data 104 may be provided. For example, the data length of the control information 103 may be fixed for each profile, or information indicating the data length of the control information 103 and the start offset of the image data 104 may be stored separately. Alternatively, a specific code pattern may appear at the head position of the image data 104.
[0069]
As described above, the profile information defines the types of parameters that must be supported and their set values in a certain version. Therefore, for each version, a profile different from the other versions exists.
[0070]
Next, an image data generation apparatus that generates the above three-dimensional image data 800 will be described. FIG. 10 is a functional block diagram of an image data generation apparatus that generates the three-dimensional image data 800. In FIG. 10, reference numeral 1000 denotes an image data generation apparatus capable of generating three-dimensional image data 800. The image data generation apparatus 1000 determines parameters to be used based on input version information, profile information, and parameters. An image for generating three-dimensional image data including a parameter determining unit 1001 (parameter input unit), a control information generating unit 201 (control information unit), and profile information, control information, version information, and image data that can be displayed in three dimensions. A data generation unit 1002 (image data generation means) and a recording / transmission unit 204 are provided.
[0071]
The parameter determination unit 1001 registers parameter setting values for the version and profile in advance, and performs the following operations according to the input version information, profile information, and parameters. First, the types of parameters that can be used by the version information and profile information and the possible range of the setting values are determined. Next, the type and setting value of the input parameter are verified, and if they are within the specified profile range, the input parameter is output to the control information generation unit 201 as it is. If the input parameter exceeds the specified profile range, for example, (1) it is a parameter error, so no further processing is performed, or (2) the parameter is corrected to an appropriate range. An operation such as outputting to the control information generation unit 201 is performed. The control information generation unit 201 generates the control information 103 as described above and outputs it to the image data generation unit 1002.
[0072]
Next, the image data generation unit 1002 generates three-dimensional image data 800 including the control information 103, version information 102, and profile information 801 input from the control information generation unit 201 together with the input image data. At this time, the image data 104 of FIG. 8 may be already compression-encoded, or the input image data may be compression-encoded by the image data generation unit 1002 if necessary. The generated three-dimensional image data 800 is stored in a recording medium by the recording / transmission unit 204 or output to an external connection interface unit or a communication line.
[0073]
Next, an image data reproducing apparatus that interprets the three-dimensional image data 800 shown in FIG. 8 and reproduces the three-dimensional image will be described. FIG. 11 is a functional block diagram of an image data reproducing apparatus that reproduces the three-dimensional image data 800. In FIG. 11, reference numeral 1100 denotes an image data reproducing apparatus capable of reproducing three-dimensional image data 800. The image data reproducing apparatus 1100 analyzes a data structure analysis unit 1101 (three-dimensional data) for analyzing the data structure of three-dimensional image data. An image data input unit), a reproduction availability determination unit 1102 (reproduction availability determination unit) that analyzes profile information of the 3D image data and determines whether the 3D image can be reproduced, and a control information analysis unit 303 (control An information analysis unit), an image data conversion unit 304 (image data conversion unit), and an image display unit 305 (reproduction unit, image display unit).
[0074]
The data structure analysis unit 1101 includes profile information indicating a profile of 3D image data, version information indicating the version of 3D image data, control information indicating one or more parameters for controlling display of the 3D image, and The data structure analysis unit 1101 has a function as 3D image data input means for inputting 3D image data including image data that can be displayed in 3D. The data structure analysis unit 1101 receives a 3D image input from a recording medium or a transmission interface (not shown). The image data is analyzed and separated into profile information 801, version information 102, control information 103, image data 104, and the like.
[0075]
The reproducibility determination unit 1102 refers to the separated version information and profile, and determines whether or not the image data can be appropriately reproduced as a three-dimensional image. The determination regarding the version information is the same as in the first embodiment. Regarding the profile information, when the profile information input from the data structure analysis unit 1101 matches the supported profile, it is determined that the image data 104 can be reproduced. This determination result is notified to the data structure analysis unit 1101. Since the operation after obtaining the determination result is the same as that in the first embodiment described above, description thereof is omitted here.
[0076]
In this way, by referring to the profile information 801 in the 3D image reproduction apparatus 800, it can be determined whether or not the image data can be appropriately displayed in 3D.
[0077]
Each profile may be configured in advance so as to include only one combination pattern of parameter setting values. That is, the parameter written in the control information and its value are uniquely determined from the combination of version information and profile information. As a result, the three-dimensional image data 800 shown in FIG. FIG. 12 shows a functional block diagram of an image data reproducing apparatus for reproducing the three-dimensional image data 800 generated in this case.
[0078]
In FIG. 12, an image data reproduction apparatus 1200 includes a data structure analysis unit 1201 (three-dimensional image data input means), a reproduction availability determination unit 1102, and control necessary for reproduction of a three-dimensional image from version information 102 and profile information 801. A parameter generation unit 1202 (parameter generation unit) that generates parameters, an image data conversion unit 304 (image data conversion unit), and an image display unit 305 (reproduction unit, image display unit) are configured.
[0079]
The data structure analysis unit 1201 has a function as 3D image data input means for inputting 3D image data including version information 102, profile information 801, and image data 104, and is input from a recording medium or a transmission interface (not shown). The obtained three-dimensional image data is analyzed and separated into profile information 801, version information 102, and image data 104. The reproducibility determination unit 1102 determines whether the image data 104 can be appropriately reproduced as a three-dimensional image as described above, and outputs the determination result to the parameter generation unit 1202.
[0080]
When the determination result is “appropriately reproducible”, the parameter generator 1202 controls the control parameters necessary for reproducing the three-dimensional image based on the version information 102 and the profile information 801 input from the data structure analyzer 1201. Is output to the image conversion unit 304. In this way, if only the version information and profile information are interpreted, a three-dimensional image can be properly reproduced, so that overhead in terms of transmission efficiency and processing efficiency due to an increase in parameters is minimized. Can do.
[0081]
As described above, the image data generation device 200 according to the present embodiment includes the control information generation unit 201 that generates control information for controlling display of a three-dimensional image based on one or more parameters, and the control information. A version information generating unit 202 that generates version information indicating the version of 3D image data from the types of parameters or combinations thereof, the control information, the version information, and 3D image data that can be displayed in 3D Since the image data generating unit 203 is configured to generate image data, the image data is generated from control data for three-dimensional image display, the number, type, and combination of control information together with image data that can be displayed in three dimensions. Version information can be recorded or transmitted as 3D image data. When the 3D image data is reproduced, Simply analyzing the emissions information, to identify the type and combination of control information included in the three-dimensional image data in the image data reproducing apparatus, it is possible to determine whether playable.
[0082]
In addition, the image data reproducing apparatus 300 according to the present embodiment can analyze the data structure of the three-dimensional image data, analyze the version information of the three-dimensional image data, and reproduce the three-dimensional image. A version determination unit 302 for determining whether or not, a control information analysis unit 303 for analyzing the control information 103 to obtain control parameters necessary for reproducing a three-dimensional image, and a three-dimensional displayable image included in the three-dimensional image data 100 Since the image data conversion unit 304 that converts the data 104 into a data format according to the control parameter and the image display unit 305 that displays 3D image data that can be displayed in 3D, the 3D image data is provided. By determining whether or not the 3D image data can be reproduced by analyzing the version information of the third order Respect to the image data can be omitted analysis of control information contained therein, the number it is possible to avoid an increase in processing overhead even if a large control information.
[0083]
Also, the 3D image data recording method according to the present embodiment is an image capable of 3D display of 3D image identification information 101 indicating a 3D image and version information 102 indicating the version of 3D image data. Record with data 104. Here, since the above version has a corresponding relationship with the control information 103 necessary for displaying the three-dimensional image, if only the version information 102 is generated, the three-dimensional image data can be generated without the control information 103. .
[0084]
In addition, the 3D image data reproduction method according to the present embodiment identifies the control information 103 included thereafter by analyzing the version information 102 indicating the version of the 3D image data, and thereby the 3D image data If it is determined whether the display can be performed properly and it is determined that the three-dimensional display cannot be performed appropriately, it is possible to reduce the overhead for interpretation by omitting the interpretation of the control information 103 included thereafter. It is.
[0085]
Also, the 3D image data 100 according to the present embodiment includes 3D image identification information 101 indicating a 3D image, version information 102 indicating the version of 3D image data, and image data that can be displayed in 3D. 104, and the version information 102 has a corresponding relationship with the control information 103 necessary for displaying the three-dimensional image. Therefore, only the version information 102 is recorded without transmitting or transmitting the control information 103. Parameters for controlling the display can be specified in detail, and by not recording / transmitting the control information 103, the capacity of the recording medium can be saved and the transmission efficiency can be improved.
[0086]
The three-dimensional image data 100 according to the present embodiment is further configured to include control information 103 including one or more parameters necessary for three-dimensional display, and the types of parameters included in the control information 103 The combination has a hierarchical structure with respect to the version indicated by the version information 102, and the parameters of the control information 103 included in the lower version of the 3D image data 100 are the same as those of the higher version of the 3D image data. Therefore, it is easy to ensure compatibility in the image data generation device 200 and the image data reproduction device 300, and it is easy to expand future version information and control information.
[0087]
The image data generation apparatus 1000 according to the present embodiment also includes a parameter determination unit 1001 that sets parameters based on an input version and profile, a control information generation unit 201, profile information, control information, version information, and three-dimensional display. Since the image data generation unit 1002 that generates 3D image data including the image data that can be recorded and the recording / transmission unit 204 are provided, the image data can be displayed together with the 3D displayable image data. Control information, version information generated from the number, type, and combination of control information, and profile information that defines control information settings can be recorded or transmitted as three-dimensional image data. When playing back images, simply analyze the version information and profile information. The type and combination of control information in over data reproducing apparatus included in the three-dimensional image data, to identify the set value, it is possible to determine whether playable.
[0088]
In addition, the image data reproduction apparatus 1100 according to the present embodiment analyzes a data structure analysis unit 1101 that analyzes the data structure of the three-dimensional image data, analyzes version information and profile information of the three-dimensional image data, and generates the three-dimensional image. Since it is configured to include a reproducibility determination unit 1102 that determines whether or not reproducibility, a control information analysis unit 303, an image data conversion unit 304, and an image display unit 305, the profile information of the three-dimensional image data is analyzed. By determining whether or not the three-dimensional image data can be reproduced, the analysis of the control information included in the three-dimensional image data determined to be unreproducible can be omitted. Even in the case of a huge amount, it is possible to avoid an increase in processing overhead.
[0089]
Further, the image data reproduction apparatus 1200 according to the present embodiment analyzes the version information and profile information of the three-dimensional image data and the data structure analysis unit 1101, and determines whether or not the three-dimensional image can be reproduced. Unit 1102, a parameter generation unit 1201 that generates control parameters necessary for reproducing a three-dimensional image from profile information of the three-dimensional image data, an image data conversion unit 304, and an image display unit 305. By generating the control information from the profile information of the three-dimensional image data, it is possible to avoid an increase in recording / transmission overhead even when the number of control information is enormous.
[0090]
The 3D image data recording method according to the present embodiment includes 3D image identification information 101 indicating that the image is a 3D image, profile information 801, and version information 102 indicating the version of the 3D image data. It is recorded together with image data 104 that can be dimensionally displayed. Here, since the above version has a corresponding relationship with the control information 103 necessary for displaying the three-dimensional image, if only the version information 102 is generated, the three-dimensional image data can be generated without the control information 103. .
[0091]
Further, the 3D image data reproduction method according to the present embodiment identifies the setting of the control information 103 included thereafter by analyzing the version information 102 indicating the version of the 3D image data and the profile information 801 indicating the profile. Thus, it is determined whether or not the three-dimensional display of the image data can be appropriately performed. When it is determined that the three-dimensional display cannot be appropriately performed, the interpretation of the control information 103 included thereafter is omitted, It is possible to reduce overhead.
[0092]
Further, the 3D image data 800 according to the present embodiment includes 3D image identification information 101 indicating a 3D image, profile information 801 indicating a profile of 3D image data, and a version of the 3D image data. The version information 102 and the image data 104 that can be displayed three-dimensionally are included, and the version information 102 and the profile information 801 have a corresponding relationship with the control information 103, so that the control information 103 is not recorded or transmitted. Parameters for controlling the display of a three-dimensional image can be specified in detail only with the profile information 801. By not recording / transmitting the version information 102 and the control information 103, the capacity of the recording medium can be saved and the transmission efficiency can be improved. Improvements can be made.
[0093]
Note that the image data generation device and method thereof, the image data reproduction device and the image processing device and method thereof according to the above embodiment can be applied to a dedicated image processing device, as well as a camera-equipped mobile phone / PHS mobile communication terminal. It can be realized by all information processing devices such as personal digital assistants (PDAs) and personal computers. Further, the present invention can be applied to an information processing apparatus such as a personal computer or a recording / reproducing apparatus that records data on a recording medium such as an HDD or a DVD. The content read from a recording medium such as a disc may be in any format.
[0094]
In this embodiment, the names of the image data generation apparatus and method, the image data reproduction apparatus, the image processing apparatus and the method are used, but this is for convenience of explanation, and the image composition apparatus and the image processing method are also used. Of course it is good.
Furthermore, the number and arrangement of the three-dimensional images on the screen, the color, the format of the three-dimensional parameters, etc. may be any.
[0095]
Further, the type of recording medium, the recording method, and the like are not limited and can be applied to all apparatuses. For example, the recording apparatus may be one that records on a DVD, CD-R / RW, or MD (Mini Disc) in addition to the HDD. In particular, if an HDD with high data transfer speed and random access performance and high-speed access is used as a recording medium, it is possible to instantly search for a desired image from a large number of recorded images and use it immediately. Become. A recording device other than the HDD such as a magneto-optical disk may be used, and the same effect can be obtained.
[0096]
Furthermore, it goes without saying that the above-described image data generation device and method, the image data reproduction device, the image processing device and the number and types of circuits and members constituting the method are not limited to the above-described embodiments, and are limited to software. Instead, it may be realized by hardware.
[0097]
Further, the above-described image data generation apparatus and method, and image data reproduction apparatus and method are also realized by a program for causing these apparatuses to function. This program is stored in a computer-readable recording medium. In the present invention, the main memory itself of the processor may be a program medium as the recording medium, or a program reading device such as a CD-ROM drive is provided as an external storage device, and the recording medium is inserted therein. It may be a program medium such as a CD-ROM that can be read by the computer. In any case, the stored program may be configured to be accessed and executed by the processor of the system control unit, or in any case, the program is read and the read program is not illustrated. The program may be downloaded to the program storage area and executed. This download program is assumed to be stored in advance in each device.
[0098]
Here, the program medium is a recording medium configured to be separable from the information processing apparatus, and is a magnetic disk such as magnetic tape or cassette tape, CD-ROM, CD-R / RW, MO, MD, DVD-ROM. , DVD-RAM, DVD-RW and other optical disk systems, PC cards, compact flash cards, smart media, IC cards, SD cards, memory sticks, etc., or semiconductors using mask ROM, EPROM, EEPROM, flash ROM, etc. It may be a medium that carries a fixed program including a memory.
[0099]
Further, the medium may be a medium that carries the program in a fluid manner so as to download the program from the communication network via a communication connection means that can be connected to an external communication network such as an Internet connection provider or a mobile mail service. . When the program is downloaded from the communication network in this way, the download program may be stored in advance or may be installed from another recording housing. The content stored in the recording medium is not limited to a program, and may be data.
[0100]
【The invention's effect】
As described above in detail, according to the present invention, image data for three-dimensional display can be provided with versatility and expandability, and the following effects can be obtained.
[0101]
According to the image data generation device of the present invention, the version information indicating the version of the three-dimensional image data and the profile information indicating the profile are associated with the control information necessary for displaying the three-dimensional image. At the time of reproduction, only the version information and profile information are analyzed, and the type and combination of control information included in the three-dimensional image data are specified on the image data reproduction apparatus side to determine whether reproduction is possible. Can do.
[0102]
Further, the image data reproducing apparatus according to the present invention omits the analysis of the control information included in the three-dimensional image data determined to be unreproducible, so that the processing overhead increases even when the number of control information is enormous. Can be avoided.
[0103]
In addition, when the 3D image data reproducing apparatus and method according to the present invention determines that 3D display cannot be performed properly, the overhead for interpretation is reduced by omitting interpretation of control information included thereafter. be able to.
[0104]
Also, the 3D image data according to the present invention can specify in detail parameters for controlling the display of the 3D image by version information and profile information without recording or transmitting control information, and record control information. -By not transmitting, the capacity of the recording medium can be saved and the transmission efficiency can be improved.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of three-dimensional image data according to a first embodiment of the present invention.
FIG. 2 is a diagram illustrating a configuration of an image data generation apparatus according to the present embodiment.
FIG. 3 is a diagram illustrating a configuration of an image data reproduction device according to the present embodiment.
FIG. 4 is a diagram showing a transmission form and data structure of 3D image data according to a second embodiment of the present invention.
FIG. 5 is a conceptual diagram for explaining a “time division method”, which is one of representative examples of binocular stereoscopic vision.
FIG. 6 is a conceptual diagram for explaining a “parallax barrier method”, which is another typical method of binocular stereoscopic vision.
FIG. 7 is a conceptual diagram illustrating an example of a recording data format of a “lenticular” method.
FIG. 8 is a diagram illustrating a configuration of three-dimensional image data according to a third embodiment of the present invention.
FIG. 9 is a diagram illustrating an example of control information when version = “K”;
FIG. 10 is a diagram illustrating a configuration of an image data generation device that generates three-dimensional image data.
FIG. 11 is a diagram illustrating a configuration of an image data reproduction device that reproduces three-dimensional image data.
FIG. 12 is a diagram illustrating a configuration of an image data reproduction device that reproduces three-dimensional image data that does not include control information.
FIG. 13 is a diagram illustrating an example of image data when the number of viewpoints is 2 × 1.
[Explanation of symbols]
100 3D image data
101 3D image identification information
102 Version information
103 Control information
104 Image data
200 Image data generator
201 Control information generation unit (parameter input means, control information means)
202 Version information generation unit (version information generation means)
203 Image data generation unit (image data generation means)
204 Recording / Transmission Unit
300 Image data playback device
301 Data structure analysis unit (three-dimensional image data input means)
302 Version determination unit (version determination means)
303 Control information analysis unit (control information analysis means)
304 Image data converter (image data converter)
305 Image display unit (reproduction means, image display means)
401 broadcast station
402 Program sequence information
403 program data
404 receiver

Claims (7)

３次元画像データを生成することが可能な画像データ生成装置であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するパラメータ入力手段と、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成する制御情報手段と、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成する画像データ生成手段とを備えることを特徴とする画像データ生成装置。An image data generation device capable of generating three-dimensional image data,
At least parameter input means for determining the parameter from profile information defining the setting of the parameter relating to the processing of the three-dimensional image;
Control information means for generating control information for controlling processing of the three-dimensional image based on the one or more parameters;
An image data generation apparatus comprising: image data generation means for generating three-dimensional image data including the control information, the profile information, and image data that can be three-dimensionally processed. 前記画像データ生成手段は、さらに、３次元画像であることを示す３次元画像識別情報を生成することを特徴とする請求項１記載の画像データ生成装置。  The image data generation apparatus according to claim 1, wherein the image data generation unit further generates three-dimensional image identification information indicating a three-dimensional image. ３次元画像データから３次元画像を再生する画像データ再生装置であって、
前記３次元画像データを入力する３次元画像データ入力手段と、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを得るパラメータ生成手段とを備えることを特徴とする画像データ再生装置。An image data reproducing apparatus for reproducing a three-dimensional image from three-dimensional image data,
3D image data input means for inputting the 3D image data;
An image data reproducing apparatus comprising: parameter generation means for obtaining control parameters necessary for reproducing a three-dimensional image in accordance with profile information included in the three-dimensional image data. さらに、前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定する再生可否判定手段を備え、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生することを特徴とする請求項３記載の画像データ再生装置。Furthermore, a reproducibility determination unit that determines whether or not the three-dimensional image data can be appropriately reproduced according to the profile information is provided.
The playback permission if the three-dimensional image is determined to be reproduced by the determining means, the three-dimensional image data, according to claim 3 Symbol mounting image data reproducing apparatus, characterized in that the reproduction in accordance with the control parameter. ３次元画像データを生成する画像データ生成方法であって、
少なくとも、３次元画像の処理に関するパラメータの設定を規定するプロファイル情報から前記パラメータを決定するステップと、
１つ以上の前記パラメータを基に、前記３次元画像の処理を制御するための制御情報を生成するステップと、
前記制御情報と、前記プロファイル情報と、３次元処理可能な画像データとを含む３次元画像データを生成するステップとを備えることを特徴とする画像データ生成方法。An image data generation method for generating three-dimensional image data,
Determining at least the parameter from profile information defining the setting of the parameter relating to the processing of the three-dimensional image;
Generating control information for controlling processing of the three-dimensional image based on the one or more parameters;
An image data generation method comprising: generating three-dimensional image data including the control information, the profile information, and image data that can be three-dimensionally processed. ３次元画像データを用いて３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれる制御情報を解析して３次元画像の再生に必要な制御パラメータを得るステップと、
前記３次元画像データに含まれるプロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記３次元画像データが再生可能と判定された場合に、前記３次元画像データを、前記パラメータに従って再生するステップとを有する画像データ再生方法。An image data reproduction method for reproducing a three-dimensional image using three-dimensional image data,
Inputting the three-dimensional image data;
Analyzing control information contained in the three-dimensional image data to obtain control parameters necessary for reproducing the three-dimensional image;
Determining whether or not the three-dimensional image data can be appropriately reproduced according to profile information included in the three-dimensional image data;
And a step of reproducing the three-dimensional image data according to the parameter when it is determined that the three-dimensional image data can be reproduced. ３次元画像データから３次元画像を再生する画像データ再生方法であって、
前記３次元画像データを入力するステップと、
前記３次元画像データに含まれるプロファイル情報に応じて、３次元画像の再生に必要な制御パラメータを生成するステップと
前記プロファイル情報に応じて前記３次元画像データが適切に再生可能か否かを判定するステップと、
前記再生可否判定手段により前記３次元画像が再生可能と判定された場合に、前記３次元画像データを、前記制御パラメータに従って再生するステップとを有することを特徴とする画像データ再生方法。
以上An image data reproduction method for reproducing a three-dimensional image from three-dimensional image data,
Inputting the three-dimensional image data;
Generating control parameters necessary for reproducing the three-dimensional image according to the profile information included in the three-dimensional image data, and determining whether the three-dimensional image data can be appropriately reproduced according to the profile information And steps to
And a step of reproducing the three-dimensional image data according to the control parameter when the three-dimensional image is determined to be reproducible by the reproducibility judging means.
more than

Images