JP2004349731A

JP2004349731A - Image data creating apparatus and image data reproducing apparatus

Info

Publication number: JP2004349731A
Application number: JP2003112801A
Authority: JP
Inventors: Toshio Nomura; 敏男野村; Ryuji Kitaura; 竜二北浦; Kazuto Ohara; 一人大原; Masahiro Shioi; 正宏塩井; Tadashi Uchiumi; 端内海
Original assignee: Sharp Corp
Current assignee: Sharp Corp
Priority date: 2003-04-17
Filing date: 2003-04-17
Publication date: 2004-12-09
Anticipated expiration: 2023-04-17
Also published as: CN1774937A; JP4251907B2; CN100596209C

Abstract

<P>PROBLEM TO BE SOLVED: To give versatility to image data for three-dimensional display, and to efficiently select an image of an arbitrary visual point. <P>SOLUTION: Image signals each composed of a continuous frames are inputted for each frame into an image data creating apparatus. A control unit 102 designates the presence or absence of reduction, and the presence or absence of coupling and 2D selection. An image conversion section 101 creates image data of a format designated in the presence or absence of reduction, the presence or absence of coupling. A 3D information creating section 103 makes the presence or absence of reduction, and the presence or absence of coupling and the 2D selection into a format to create 3D information required for displaying an image as 3D information. A multiplexing section 104 converts the image data and the 3D information into a predetermined format and outputs the converted data and information to the outside. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元表示するための画像データを作成する際に、画像データに属性情報を付随させる画像データ作成装置およびそのデータを再生する画像データ再生装置に関するものである。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼画像と右眼画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【０００３】
図１６は、この２眼式の代表的な方式の１つである「時分割方式」を説明するための概念図である。
【０００４】
この時分割方式は、図１６のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切り替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【０００５】
図１７は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。
【０００６】
図１７（ａ）は、視差が生じる原理を示す図である。一方、図１７（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００７】
図１７（ａ）では、図１７（ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル４０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア４０２を画像表示パネル４０１の前面に置くことにより、左眼画像は左眼４０３だけで、右眼画像は右眼４０４だけで観察することになり、立体視を行うことができる。
【０００８】
ところで、パララクスバリア方式と同様に図１７（ｂ）に示すような画像を３次元表示する方式に、「レンチキュラ方式」がある。このレンチキュラ方式で用いるための記録データ形式の一例が、後述する特許文献１において開示されている。
【０００９】
図１８は、このようなレンチキュラ方式の記録データ形式の一例を示す概念図である。図１８（ａ）に示す左眼画像５０１と図１８（ｂ）に示す右眼画像５０２から、それぞれを水平方向に１／２に間引きして図１８（ｃ）に示す１枚の混合画像５０３を作って記録する。再生時にはこの混合画像５０３を並べ替えることにより図１７（ｂ）に示したような合成画像が作成される。
【００１０】
さて、３次元画像に限った話ではないが、特許文献２にはサムネイル画像の識別のために付加情報を記憶しておき、表示装置において付加情報をサムネイル画像に重ねて表示する方法が開示されている。
【００１１】
【特許文献１】
特開平１１−４１６２７号公報
【特許文献２】
特開２００１−３３７９９４号公報
【００１２】
【発明が解決しようとする課題】
上記のように、従来の３次元表示システムにおいては、再生装置側で決められた表示方式に適するように、記録データ形式を固定した記録が行われており、記録データに汎用性を持たせることは考えられていない。
【００１３】
表示方式以外にも画像の間引き方法や、いわゆる「多眼式」における視点の数など、３次元表示に必要な情報はいろいろあるが、表示方式が単一の場合、それらの情報は記録データとして記録されない。いつも同じ表示方式を使うなら、あえてそれらの情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左眼画像と右眼画像を別々のシーケンスとして記録することもできるし、図１８（ｃ）のような左眼画像と右眼画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図１７（ｂ）のような左眼画像と右眼画像が水平方向１画素おきに並んだ合成画像を記録することもできる。当然記録形式が違えばこれを表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
【００１４】
さらに、従来の技術では、各視点の画像データを互いに独立に記録し、所望の視点の画像のみを簡単に読み出し、再生するといったことが考慮されていなかった。
【００１５】
また、従来の技術では既存の装置との互換性が十分に考えられていない。すなわち、特許文献２に開示されているシステムにおいては、付加情報を解釈できる表示システムのことだけが考えられており、それを解釈できない表示システムでは付加情報は役に立たない。
【００１６】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、３次元表示のための画像データに汎用性を持たせるとともに、任意の視点の画像を効率よく選択することを可能とする画像データ作成装置、およびそのデータを再生する画像データ再生装置を提供することにある。
【００１７】
【課題を解決するための手段】
本発明は、複数視点に対応した画像情報である主画像を作成する主画像作成部と、サムネイル画像を作成するサムネイル画像作成部と、前記主画像を３次元表示するための３次元制御情報を作成する３次元制御情報作成部と、前記主画像と前記サムネイル画像と前記３次元制御情報とを多重化する多重化部とを備えることを特徴とする画像データ作成装置である。
【００１８】
ここで、前記サムネイル画像作成部は、主画像をそのまま縮小したサムネイル画像を作成すること、主画像から１視点分の画像を抜き出してサムネイル画像を作成すること、サムネイル画像に３次元画像であることを示すシンボルを埋め込むこと、あるいは、主画像の縮小画像と主画像から１視点分の画像を抜き出して縮小した画像をピクチャーインピクチャーの形にしたサムネイル画像を作成することを特徴とする。
【００１９】
また、本発明は、入力された画像データから主画像データとサムネイルデータと３次元制御情報を分離する逆多重化部と、主画像データが３次元画像である場合にはサムネイルデータに３次元画像であることを示すシンボルを重ねたものをサムネイルとして出力するサムネイル生成部とを備えることを特徴とする画像データ再生装置である。
【００２０】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００２１】
図１は本発明における実施の形態による画像データ作成装置の構成を示すブロック図である。図１において、画像データ作成装置１００は、多視点（視点数Ｋ、ここでＫは２以上の整数である）の画像１から画像Ｋの配置方法を決定し、これらを隣接させて結合した結合画像を作成する画像結合部１０１、画像１から画像Ｋを結合するか否か（結合の有無）、画像１から画像Ｋを縮小するか否か（縮小の有無）、２次元表示の際に使用すべき画像（２Ｄ選択）、視点数および画像の配置順を指定する制御部１０２、前記縮小の有無、結合の有無、画像の配置方法、２Ｄ選択および視点数の情報をフォーマット化して３Ｄ情報を作成する３Ｄ情報作成部１０３、記録媒体や通信回線にアクセスする手段を備え、画像情報と３Ｄ情報を多重化して画像データを出力する多重化部１０４から構成される。
【００２２】
以上のように構成された画像データ作成装置１００について、その動作を説明する。
【００２３】
連続するフレームから構成される画像信号は、１フレームごとに画像データ作成装置に入力される。ここで、画像データ作成装置１００に対して画像を入力するための撮像装置は、平面内に水平方向にＭ個、垂直方向にＮ個格子状に並べられ、各撮像装置にはそれぞれ番号（視点番号）がふられているものとする（ただし、Ｍ，Ｎは１以上の整数である）。
【００２４】
図２に視点数が８の場合の設置例（設置された撮像装置を後から斜め下方に見下ろした図）を示す。ここで視点番号は、左から右、上から下の順にふるものとする。つまり撮像装置３０１が１、撮像装置３０２が２、撮像装置３０３が３、撮像装置３０４が４、同様にして撮像装置３０５〜３０８が５〜８、である。なお、本実施の形態を通して視点番号ｋの撮像装置で撮影された画像を、画像ｋ（ここでｋは１以上の整数である）と呼ぶこととする。
【００２５】
制御部１０２は、縮小の有無、結合の有無、２Ｄ選択、水平方向の視点数Ｍと垂直方向の視点数Ｎおよび画像の配置順を指定する。ここで、縮小の有無は、「縮小あり」、「縮小なし」のどちらかの値をとり、結合の有無は、「結合なし」、「結合あり」のどちらかの値をとる。２Ｄ選択は、視点番号または「指定なし」の値をとる。画像の配置順は画像の並びを視点番号で指定する。また、視点数は、図２の例ではＭ＝４、Ｎ＝２となる。
【００２６】
画像結合部１０１は、制御部１０２から入力された結合の有無が「結合なし」を示す場合、制御部１０２により指定された画像の配置順にしたがって、並列に入力された画像１から画像Ｋを直列に出力するものとする。または、各視点の画像を出力する際に、２Ｄ選択で指定された視点番号が、常に最初になるようにして出力してもよい。
【００２７】
また、画像結合部１０１は結合の有無が「結合あり」を示す場合、入力された画像１から画像Ｋまでの配置方法を選択する。配置方法は、多視点画像を水平に並べた水平配置、多視点画像を上下に並べた垂直配置および水平・垂直の両方向に並べた格子状配置の３通りが選択可能である。
【００２８】
ここで、画像の配置方法は撮像装置の設置方法と一致するとしてもよいし、一致しなくてもよい。画像の配置を撮像部の設置方法と一致させる場合、Ｍ＝１、Ｎ≧２のときには垂直配置、Ｍ≧２、Ｎ＝１のときには水平配置、それ以外のときには格子状配置となる。また、一致させない場合は、Ｍ＝１、Ｎ≧２またはＭ≧２、Ｎ＝１のときに、垂直配置と水平配置のいずれかが選択できるようにしてもよい。
【００２９】
配置方法が決まったら、制御部１０２から入力された画像の配置順にしたがって、画像を結合する。図３は、図２に示した撮像装置により撮影された画像を格子状配置にしたときの、画像の配置順の例を示す。図３において、１マスは画像を表しており、数字は視点番号である。図３（ａ）は画像の配置順が１、２、３、４、５、６、７、８と指定された場合を示し、撮像装置にふられた視点番号と同じ並びとなる。図３（ｂ）は２、３、１、４、６、７、５、８と指定された場合を示す。
【００３０】
また、制御部１０２から入力された縮小の有無が「縮小あり」を示す場合、入力された各視点の画像を縮小する。このときの縮小率は固定的なものではなく、視点数に応じて決定されるものとする。すなわち、水平方向に１／Ｍ、垂直方向に１／Ｎに縮小する。
【００３１】
このときの画像結合部１０１による結合結果の例を図４および図５に示す。図４は図２の撮像装置のうち、例えば視点番号１と２のみを使用した２視点の場合、図５は撮像装置の全てを用いた場合である。
【００３２】
図４（ａ）は「縮小なし」、「結合なし」の場合を、図４（ｂ）は「縮小なし」、「結合あり（水平配置）」の場合を、図４（ｃ）は「縮小なし」、「結合あり（垂直配置）」の場合を、図４（ｄ）は「縮小あり」、「結合なし」の場合を、図４（ｅ）は「縮小あり」、「結合あり（水平配置）」の場合を、図４（ｆ）は「縮小あり」、「結合あり（垂直配置）」の場合を示している。ここでは、「縮小あり」の場合には、画素の間引き等により、水平方向または垂直方向の解像度を１／２にしている。
【００３３】
図５は多視点画像の格子状配置の例を示しており、縮小の有無が「縮小なし」を示す場合、図５（ａ）のようになる。ここで、Ｈ、Ｖはそれぞれ縮小前の各視点画像の水平方向画素数、垂直方向ライン数である。縮小の有無が「縮小あり」を示す場合、図５（ｂ）のようになる。縮小率は水平方向に１／４、垂直方向に１／２となり、縮小後の画像のサイズは、横Ｈ画素、縦Ｖラインであり、縮小前の各視点の画像サイズと同じになる。画像の配列は撮像装置の設置方法と一致し、水平方向に４つ、垂直方向に２つの画像が並べられている。ここで画像に付された数字は視点番号を示す。画像は視点番号の小さい順に並べられており、左上が撮像部３０１で撮影した画像（視点番号１）であり、右下が撮像部３０８で撮影した画像（視点番号８）である。
【００３４】
なお、ここでは、水平方向および垂直方向の縮小率を固定として説明したが、これらは可変でもよい。可変の場合には縮小率を３Ｄ情報に記録する。また、結合の有無が「結合なし」を示す場合には、各視点の画像毎に指定するようにしてもよい。
【００３５】
３Ｄ情報作成部１０３は、縮小の有無、結合の有無、２Ｄ選択、水平方向の視点数と垂直方向の視点数、画像の配置順および配置方法をフォーマット化して、３Ｄ情報を作成する。
【００３６】
このときの３Ｄ情報の一例を図６に示す。ここで、画像順序は画像の配置が「視点番号順」か「任意順」を示す。このあとには、複数の視点番号が記録される。これらの視点番号は、結合の有無が「結合あり」を示す場合、結合画像における画像の並び方を示す。図３（ｂ）の例では第１の視点番号が２であり、以下、３、１、４、６、７、５、８の順となる。また、結合の有無が「結合なし」を示す場合、多重化される画像情報の順序を示す。画像順序が「視点番号順」を示す場合には、これらの視点番号は省略されてもよい。３Ｄ情報を作成する際には、設定値をそのまま用いてもよいし、固定長符号化または可変長符号化により符号化してもよい。
【００３７】
多重化部１０４は、画像情報と３Ｄ情報および管理情報を所定のフォーマットに変換して外部に出力する。画像の結合をしない場合には、前述したように画像結合部１０１からの出力順が制御部１０２により指定された画像の配置順であるため、画像情報が多重化される順番も画像の配列順となる。図１には図示していないが、音声や音楽を多重化する場合は、それらのデータも多重化部１０４にて多重化される。
【００３８】
ここで、符号化した画像情報を多重化部１０４に入力してもよい。図１９にこのような場合の画像データ作成装置１１０の構成を示す。画像データ作成装置１１０は符号化部１０５を備える点が図１の画像データ作成装置１００と異なっている。
【００３９】
多重化部１０４の出力先には、ＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮやモデムなどの通信デバイスが接続される。ここでは、多重化部１０４にＩＣメモリが接続されているものとする。以下では、この場合の記録フォーマットについて説明する。
【００４０】
一般にＩＣメモリを記録媒体に使用する場合には、ＩＣメモリ上にＦＡＴ（ＦｉｌｅＡｌｌｏｃａｔｉｏｎＴａｂｌｅ）などのファイルシステムが構築され、データはファイルとして記録される。ここで使用するファイル形式は、既存の形式を使用してもよいし、新規に定めた独自の形式を使用してもよい。
【００４１】
図７は画像データを記録するファイル形式を示す図である。図７では、データは図の上から下に向かう順にファイルに記録されるものとする。図７（ａ）は既存の形式を使用した場合であり、図７（ｂ）は新規の形式を用いた場合の一例である。
【００４２】
既存の形式を使用する場合、３Ｄ情報は一般に既存の形式に用意されているヘッダ部を拡張する仕組みを用いて、既存のヘッダ部の一部として記録されるものとする。ここでは、拡張されたヘッダを拡張ヘッダと呼ぶ。例えば、ファイルヘッダはＪＰＥＧではアプリケーションデータセグメントを指し、新たなアプリケーションデータセグメントを定義して３Ｄ情報を記録する。また、ＭＰＥＧ−４ではファイルヘッダはＶｉｓｕａｌＯｂｊｅｃｔＳｅｑｕｅｎｃｅまたは／およびＶｉｄｅｏＯｂｊｅｃｔＬａｙｅｒを指し、３Ｄ情報はこれらの中にユーザデータとして記録される。
【００４３】
また、既存の形式を使用する場合には、一般に使用されている拡張子をそのまま使用する。例えば、ＪＰＥＧファイルの場合、一般に．ｊｐｇという拡張子が、ＭＰＥＧファイルの場合、一般に．ｍｐｇまたは．ｍｐ４という拡張子が、ＷＭＶ（Ｗｉｎｄｏｗｓ（Ｒ）ＭｅｄｉａＶｉｄｅｏ）の場合、一般に．ｗｍｖという拡張子が用いられている。こうすることで、３次元画像の表示機能を持たない従来の再生装置でも既存の形式のファイルとして認識し、２次元画像として表示することができる。
【００４４】
一方、新規の形式を使用する場合には、例えば、図７（ｂ）のように３Ｄ情報をファイルの先頭に記録する。また、新規の形式ファイルであることがわかるように、既存形式のファイルと区別することのできるユニークな拡張子をつける。なお、図７（ａ）、（ｂ）の管理情報は作成日や作成者など、３次元画像と直接関係ない情報の記録に使用するものとする。
【００４５】
まず、結合の有無が「結合なし」を示す場合について、多視点画像の格納の仕方を説明する。ファイル形式として、図７（ａ）に示す既存形式を使用した場合、図７（ａ）の画像情報の領域に多視点の複数の画像を別々に記録する。動画像の場合には、各視点それぞれについて、複数枚のフレームデータが記録される。このときの格納例を図８に示す。動画像の場合には、各視点それぞれについて、複数枚のフレームデータが記録される。このとき、各フレームはＭｏｔｉｏｎＪＰＥＧのように各々独立して符号化してもよいし、ＭＰＥＧ−４のようにフレーム間予測を用いて差分を符号化してもよい。
【００４６】
ファイル形式として、図７（ｂ）に示す新規形式を使用した場合について説明する。新規形式では、図７（ｂ）におけるファイルヘッダおよび画像情報の部分に、既存の形式（ＪＰＥＧ、ビットマップなど）を用いる場合と、全く新しい独自の形式を用いる場合がある。したがって、これらの形式の違いを区別するために、３Ｄ情報に種別情報（画像タイプと呼ぶ）を記録する。
【００４７】
画像データの記録の仕方についてであるが、図７（ｂ）の画像情報の領域に多視点の複数の画像データを記録する。動画像の場合には、各視点それぞれについて、複数枚のフレームデータが記録される。図９に、結合の有無が「結合なし」を示す場合の格納例と３Ｄ情報の例を示す。図９のＫ個のファイルヘッダと画像情報は、単体で既存形式のファイルとして認識可能なフォーマットである。つまり、ビットマップファイルを例に説明すると、画像１から画像Ｋまでをそれぞれ独立なビットマップファイルとして記録し、３Ｄ情報、管理情報、画像１のビットマップファイルから画像Ｋのビットマップファイルを順に接続した形式となっている。
【００４８】
なお、結合の有無が「結合なし」を示す場合には、多視点の画像情報を別々の画像データとしてファイルに記録してもよい。このとき各視点の画像情報は、既存形式の場合には図７（ａ）に、新規形式の場合には図７（ｂ）に示すフォーマットで記録される。ファイルを記録する際には、既存形式のみを使用してもよいし、新規形式のみを使用してもよいし、両者を混在して使用してもよい。図１０に、既存形式を使用した場合の例を示す。視点数がＫであるため、Ｋ個のファイルが作成される。
【００４９】
このとき、３Ｄ情報作成部１０３は、視点数分だけの３Ｄ情報を作成する。ここでは、１つのファイルに記録される画像情報は１つであるため、画像順序を省略し、各ファイルがどの視点番号に対応するかを示すために視点番号を記録するものとする。このときの３Ｄ情報の一例を図１１に示す。
【００５０】
図１２は、視点数が２の場合における３Ｄ情報の一例を示す図である。ここで、撮像装置として、図２に示す撮像装置のうち、視点番号１と２を使用するものとする。視点数が２であるので、図１２（ａ）および（ｂ）の２つの３Ｄ情報が作成される。“＝”で結ばれた左側が３Ｄ情報の項目、右側がその設定値を示している。項目のうち、配置方法、水平方向の視点数、垂直方向の視点数、および２Ｄ選択は、図１２（ａ）と図１２（ｂ）で同じ値が記録される。それ以外の項目については異なっており、図１２（ａ）は視点番号１の画像で、縮小されておらず、図１２（ｂ）は視点番号２の画像で、縮小されていることを示している。
【００５１】
さらに、多視点の画像情報を別々のファイルとして記録する際には、複数記録されたファイルの中から、同じ撮像装置で撮影された多視点画像のうち、対応する視点のファイルを識別する必要がある。ここで、例えば図１の多重化部１０４において、同一の撮像装置で撮影した各視点画像のファイルを識別するための情報を、前述の管理情報に記録してもよい。図１３は、このときの管理情報の一例を示す図であり、多視点画像のファイルが、どのような名称で記録媒体上に記録されているかの情報が記録されている。図１３において、ファイル構成は「分離」、「統合」の値をとり、「分離」の場合、各視点画像が別々のファイルとして記録されていることを示し、「統合」の場合、全視点画像が１つのファイルに記録されていることを示す。視点番号から該当する画像データのファイル名を知ることができるように、視点番号とファイル名を対応させて記録している。
【００５２】
または、撮像装置で撮影した多視点画像の組が同じであることがわかるように、所定の命名規則によってファイル名をつけてもよい。例えば、前述の視点数２の場合、画像１および画像２の１組のファイル名を、それぞれ“ｓｔｅｒｅｏ１＿１．ｊｐｇ”、“ｓｔｅｒｅｏ１＿２．ｊｐｇ”とし、別の組のファイル名をそれぞれ“ｓｔｅｒｅｏ２＿１．ｊｐｇ”、“ｓｔｅｒｅｏ２＿２．ｊｐｇ”とすることにより区別する。
【００５３】
ところで、それぞれのファイルに記録される３Ｄ情報または管理情報には、重複している部分がある。例えば、図１２に示す３Ｄ情報の例では、縮小の有無と視点番号以外は同一の情報を示している。また図１３に示す管理情報の例では、管理情報の内容はすべてのファイルについて共通である。
【００５４】
したがって、これらの共通する情報（共通情報）は１つのファイルのみに記録し、他のファイルには画像データ固有の情報（個別情報）のみを記録するようにしてもよい。このときの例を図１４に示す。図１４（ａ）は、個別情報と共通情報が記録されたファイルを示しており、図１４（ｂ）は、個別情報のみが記録されたファイルを示している。この例では、図１４（ａ）のファイルは既存形式で、図１４（ｂ）のファイルは新規形式で記録し、ファイルの拡張子により、共通情報が記録されたファイルを他の個別情報のみが記録されたファイルと識別できるようにしている。また、図１４（ｂ）に示すように個別の管理情報として、共通情報の記録されたファイルのファイル名を記録するようにしてもよい。こうすることで、個別情報のみが記録されたファイルから共通情報が記録されたファイルを指定することが容易になる。
【００５５】
なお、これらのファイルを識別する方法は、上記以外にも、前述の命名規則を用いて、各視点の画像ファイルが識別できるようにし、２Ｄ選択で指定された視点番号など、特定の視点番号の画像ファイルに共通情報を記録するようにしてもよい。
【００５６】
あるいは、重複する情報を１つにまとめて、管理用のファイルを作成し、各画像ファイルには固有の情報のみを記録してもよい。管理用ファイルには画像ファイルとは異なるユニークな拡張子を使用するものとする。
【００５７】
さらに、前述のＦＡＴなどのファイルシステムでは、ファイルをまとめて管理するためにディレクトリが使用される。作成した各視点の画像ファイル１組（存在すれば管理用ファイルを含めてもよい）を、同一のディレクトリに記録するようにしてもよい。
【００５８】
結合の有無が「結合あり」を示す場合には、図７（ａ）および図７（ｂ）の画像情報の領域に１つに結合された画像の画像情報が記録される。動画像の場合には、多視点画像の対応するフレームを結合した画像が複数枚記録される。
【００５９】
なお、上記の実施の形態では視点番号のふり方を固定して画像の配置順を任意に変更できるようにしたが、画像の配置順を固定して、視点番号のふり方を任意に変更しても構わない。さらに、撮像装置の設置方法は格子状配置だけでなく、任意の配置にすることもできる。この場合には、基準となる撮像装置（視点番号は１とする）を選択し、これを原点とした座標系で位置を表現する。３Ｄ情報には視点番号順に各視点の撮像装置の位置座標を記録する。
【００６０】
また、上記の実施の形態では、新規形式のファイルの場合、３Ｄ情報および管理情報をファイルの先頭に記録しているが、新規形式のファイルはこれに限定されるものではなく、これらの格納位置はファイルヘッダの後や、画像情報の後でもよいし、図７（ａ）に示す既存形式と同じでもよい。
【００６１】
続いて、画像データ作成装置１００で作成した画像データを３次元画像として表示するための再生装置について説明する。
【００６２】
図１５は、本発明における実施の形態の画像データ再生装置の構成を示すブロック図である。図１５において、画像データ再生装置２００は、逆多重化部２０１、３Ｄ情報解析部２０２および画像変換部２０３から構成される。
【００６３】
逆多重化部２０１は、記録デバイスや通信デバイスから所定のフォーマットに多重化された画像データを読み込み、画像情報と３Ｄ情報および管理情報に分離する。図１５には図示していないが、音声や音楽が多重化されている場合は、それらのデータも逆多重化部２０１にて分離される。
【００６４】
３Ｄ情報解析部２０２は、所定のフォーマットの３Ｄ情報を解析し、項目ごとの設定値を抽出する。
【００６５】
画像変換部２０３には、通常のブラウン管や液晶パネルを用いた２次元表示装置、レンチキュラ方式、パララクスバリア方式、時分割方式などを用いた立体表示装置など、それぞれ表示形式が異なる表示装置が接続される。
【００６６】
以上のように構成された画像データ再生装置２００について、その動作を説明する。ここでは、逆多重化部２０１にＩＣメモリが接続されているものとする。前述したように、ＩＣメモリには既存形式および新規形式の画像ファイル、ならびに、管理用ファイルが記録される。画像ファイルと管理用ファイルの区別は、ファイルの拡張子によって行うことができる。ここでは、図示しない指定手段により使用者が画像ファイルまたは管理用ファイルを１つ選択するものとする。
【００６７】
まず、選択されたファイルが画像ファイルの場合について説明する。この場合、既存形式と新規形式の区別は、ファイルの拡張子によって行うことができるので、逆多重化部２０１は、再生するファイルが図７（ａ）に示す既存形式のファイルの場合、ファイルヘッダの拡張領域から３Ｄ情報を読み出す。また図７（ｂ）に示す新規形式の場合には、ファイルの先頭から３Ｄ情報を読み出す。
【００６８】
３Ｄ情報解析部２０２は、３Ｄ情報を解析し、結合の有無、縮小の有無、視点数、配置方法、２Ｄ選択などの設定値を抽出する。さらに、３次元画像として表示するための画像の視点番号を決定する。多視点の画像データを３次元画像として表示するためには、多視点の画像から視差のある２視点を選択して、左眼画像、右眼画像とすればよい。例えば、図２の撮影装置で記録された画像データの場合には、１と２、１と３、１と４、２と３、２と４など、水平方向に並んだ中から選択可能である。また、表示の際に９０°回転させれば、１と５、２と６、３と７および４と８の組を選択しても、３次元画像として表示することができる。
【００６９】
結合の有無が「結合なし」を示す場合、選択されたファイルには、図１０のように１つの視点の画像情報のみが記録されているか、または、図８のように結合されていない各視点の画像情報がすべて記録されているかのどちらかである。
【００７０】
これらを区別するためには、３Ｄ情報を解析した結果、３Ｄ情報に画像順序の情報が含まれているか否かを調べればよい。３Ｄ情報に画像順序が含まれていれば、後者である。３Ｄ情報に記録された第１の視点番号から第Ｋの視点番号までの中から立体視可能な任意の視点の組み合わせを選択する。そうでなければ、前者であり、３Ｄ情報に記録されている視点番号ｉ（ここでｉは１以上の整数である）と組み合わせることで、立体視が可能となるような視点番号を選択する。選択した視点番号は、逆多重化部２０１に対して出力される。
【００７１】
逆多重化部２０１は、入力された視点番号の画像情報をファイルから読み出して、画像変換部２０３に出力する。入力された視点番号の画像情報がファイルに記録されていない場合には、前述のような管理情報や命名規則などから該画像情報が記録されているファイルを見つけ出して、読み出すようにする。
【００７２】
または、ファイル記録されているのが１視点のみか、全視点かを区別するために、管理情報内のファイル構成を参照してもよい。ファイル構成が「分離」ならば１視点の、「統合」ならば全視点の画像情報が記録されている。
【００７３】
一方、結合の有無が「結合あり」の場合、ファイルに記録されているのは１枚の結合画像のみであるため、任意の視点番号が選択可能である。この場合には、視点番号を画像変換部２０３に対して出力する。
【００７４】
ここで、画像情報が符号化されている場合には、逆多重化した後に復号を行う。図２０にこのような場合の画像データ再生装置２１０の構成を示す。画像データ再生装置２１０は復号部２０４を備える点が図１５の画像データ再生装置２００と異なっている。
【００７５】
画像変換部２０３は、３Ｄ情報解析部２０２により入力された結合の有無、縮小の有無、視点数、配置方法、２Ｄ選択および視点番号に応じて、逆多重化部２０１により分離された画像情報を表示形式に変換する。このとき、結合の有無が「結合なし」を示すならば、視点番号により指定された画像情報がそろった時点で変換を行う。ファイルが削除された等の理由により、画像情報がそろわなかった場合、配置の最も近い視点番号の画像を代用してもよいし、２次元表示を行うようにしてもよい。結合の有無が「結合あり」の場合、視点番号により指定された視点の画像を結合画像から切り出してから変換を行う。
【００７６】
表示形式への変換であるが、例えば、画像データ再生装置２００にパララクスバリア方式の表示装置が接続されている場合には、前述の図４（ｅ）の形式が最も扱いやすく、この場合には左右画像を水平方向１画素おきに並べるだけでよい。また、図４（ｂ）の場合には、水平方向１画素おきに並べる前に左右画像を水平方向に１／２に間引きをする。いずれの場合においても、画像データに３Ｄ情報が付け加えられているので、表示装置に合った表示形式に変換することができる。
【００７７】
なお、画像情報を符号化する場合、パララクスバリア方式を例にとると、表示する画像が図１７（ｂ）のようなものであっても、図４（ｅ）のような配置の画像を符号化すると符号化効率が大きく向上する。これは図１７（ｂ）の状態よりも図４（ｅ）の状態の方が隣接画素間の相関が高くなるからである。符号化された図４（ｅ）の画像をパララクスバリア方式に用いるには、図２０の画像データ再生装置２１０において復号部２０４で画像を復号した後に画像変換部２０３で図１７（ｂ）のように並べ換えをすればよい。
【００７８】
３次元画像の表示中に２次元表示に切り替えられた場合、２Ｄ選択により指定された視点番号の画像を表示する。このとき、縮小の有無が「縮小なし」の場合はそのまま、「縮小あり」の場合には２倍に拡大して表示する。ただし、その画像が表示中でない場合には、表示中の画像のうち、いずれか１つを選択して表示してもよい。選択の仕方は例えば、視点番号の最小のもの、最大のもの、撮像装置の設置や結合画像の配置的に２Ｄ選択で指定された視点番号に距離が一番近いもの、左眼画像に用いられているもの、右眼画像に用いられているものなどがあり、ここでは特に限定しない。また、２Ｄ選択が２次元表示に使用する画像を指定していない場合には、所定の方法で表示する画像を選択することとする。
【００７９】
また、２次元表示装置が接続されている場合には、２Ｄ選択で指定された画像を表示する。表示の仕方は３次元表示装置における２次元表示と同様である。
【００８０】
また、使用者によって選択されたファイルが管理用ファイルの場合、３Ｄ情報に記録されている結合の有無は「結合なし」を示しているが、立体視可能な視点番号の任意の組み合わせを選択すればよい。画像ファイルから画像データが読み出されて、表示形式に変換されるまでの動作は、上記と同様であるため、ここでの説明は省略する。
【００８１】
また、上記の実施の形態では、管理情報に視点番号とファイル名を記録した場合について述べたが、以下のようにしてもよい。すなわち、画像データ作成装置１００において、画像情報が同じ撮像装置で撮影された一組の多視点画像であることを示す識別番号を、共通情報と個別情報に記録するようにし、画像データ再生装置２００において、ファイル名と識別番号が一致するときにのみ画像情報を読み出すようにする。識別番号は一組の多視点画像に対して１つの番号を付けてもよいし、視点ごとに異なる番号を付けてもよい。こうすることで、ファイル名の捏造による誤動作を防ぐことができる。
【００８２】
以上のように、様々な３次元画像の撮影方式で作成されたデータを統一的に扱い、３次元画像の表示機能を持たない従来の再生装置においては、２次元画像を正常に表示することができるようになるため、汎用性をもたせることができる。
【００８３】
ところで、図２１（ａ）に示すように画像ファイル中にサムネイル画像を記録する場合がある。画像ファイルの互換性を確保するために策定されたＤＣＦ（ＤｅｓｉｇｎｒｕｌｅｆｏｒＣａｍｅｒａＦｉｌｅｓｙｓｔｅｍ）規格では、たとえ主画像（画像情報）を再生できない場合であっても最低限の再生互換性を保つために、サムネイル画像の格納を義務付けている。ＤＣＦ規格では主画像の画素数に規定はないが、サムネイル画像の画素数については１６０画素×１２０画素の一種類に限定されている。
【００８４】
このような思想に則って３次元表示のための情報をファイルに記録するには、図２１（ｂ）のような形が考えられる。すなわち、図２１（ａ）の形式の画像ファイルに３Ｄ情報を追加したような形であり、図２１（ｂ）における主画像は３Ｄ画像であるものとする。
【００８５】
ここで図２１（ｂ）における主画像として、例えば図４（ｅ）のように２つの視点の画像が水平方向に１／２に縮小されて結合された画像が格納されているものとし、その画素数を６４０画素×４８０画素であるとする。また、サムネイル画像としては、主画像をそのまま１６０画素×１２０画素に縮小した画像を用いるものとすると、このファイル中に含まれる画像は図２２（ａ）のようなものになる。この場合、主画像もサムネイル画像も３Ｄ画像であると言える。
【００８６】
したがって、図２２（ａ）のような画像があった場合に、３Ｄ情報を解釈でき、且つ３Ｄ表示が可能な画像データ再生装置においては、このファイルが３Ｄを格納したものであることを示す情報を、サムネイル画像の上に重ね書きすることにより、図２３（ｃ）に示すようなサムネイル表示が可能となる。また、主画像を３Ｄ表示する際に行う画像変換を、サムネイル画像に対しても行うことにより、サムネイルを３Ｄ表示することも可能である。さらに、３Ｄ画像であることを示すシンボル（例えば図２３（ｃ）における「３Ｄ」という文字）自体にも視差を与えることにより３Ｄ表示することで、視認性をより高めることが可能である。
【００８７】
サムネイルを３Ｄ表示する際、図２２（ａ）のようなサムネイル画像を用いることにより、復号した主画像を縮小して３Ｄ表示する場合に比べて高速な描画が可能となる。サムネイル画像は小さいため、主画像のような大きな画像を一旦復号する必要がなく、復号処理が高速に行えるためである。
【００８８】
ここで、サムネイル画像は主画像をそのまま縮小したものである必要はないので、図２２（ｂ）に示すような主画像とサムネイル画像の組み合わせも考えられる。図２２（ｂ）における主画像は図２２（ａ）と同じであるが、サムネイル画像は主画像から１視点分の画像だけを取り出して、全体を１６０画素×１２０画素に縮小したものとなっている。図２２（ｂ）では主画像が水平方向に１／２縮小されている、すなわち水平方向と垂直方向の長さの比が１：２となっているため、サムネイル画像は１視点分の画像を取り出した後に水平方向に２倍拡大したものとしている。
【００８９】
図２２（ｂ）のような画像があった場合に、３Ｄ情報を解釈でき、３Ｄ表示が可能な画像データ再生装置においては、このファイルが３Ｄを格納したものであることを示す情報をサムネイル画像の上に重ね書きすることにより、図２３（ｂ）に示すようなサムネイル表示が可能となる。図２２（ｂ）のように主画像中の１視点分の画像だけを取り出してサムネイル画像とすることにより、歪みのないサムネイル表示を迅速に行うことが可能となる。
【００９０】
なお、図２２（ａ）のようなサムネイル画像であっても、サムネイル表示する際に１視点分だけを取り出し、水平方向に２倍拡大した後に３Ｄを格納したものであることを示す情報をサムネイル画像の上に重ね書きすることにより、図２３（ｂ）に示すようなサムネイル表示が可能となる。
ところで、図２２では主画像の結合の有無が「結合あり」の場合を示しているが、主画像は図４（ａ）のように「結合なし」であってもよい。主画像の結合の有無が「結合なし」の場合は、主画像として記録される複数の画像のうちの１枚を縮小したものをサムネイル画像として記録すればよい。また、先に「２Ｄ選択」情報について説明したが、主画像の結合の有無が「結合あり」であっても「結合なし」であっても、「２Ｄ選択」で指定された１視点分の画像を取り出してサムネイル画像を作成したり、サムネイル表示を行うようにしてもよい。
【００９１】
さて、これまで説明してきたような３Ｄ情報を解釈できる画像データ再生装置であれば、図２１（ｂ）のようなファイルを受け取っても適切に処理できるが、ここで３Ｄ情報を解釈できない古いタイプの画像データ再生装置を考えてみる。この画像データ再生装置には、図２０における３Ｄ情報解析部２０２も画像変換部２０３もなく、３次元ディスプレイが接続できないものとする。このような画像データ再生装置は、３Ｄ情報を解釈できないのであるから、このファイルに格納されている画像情報が２Ｄ画像であるか３Ｄ画像であるかわからず、また仮に何らかの手段で３Ｄ画像だとわかったとしても、画像変換部を持たないため画像情報を正しく再生することができない。
【００９２】
このような場合であっても、上記のＤＣＦ規格のような思想に則ってサムネイル画像が記録してあれば、サムネイル画像だけは表示できることが期待できる。そこで、本発明においては、サムネイル画像中にこのファイルが３Ｄ画像を格納したものであることを示すシンボルを埋め込んだものをサムネイル画像として記録する。例えば図２３（ａ）に示すように、画像の右下に「３Ｄ」という絵文字を重ねたものをサムネイル画像としてもよいし、図２３（ｂ）に示すように「３Ｄ」という文字を画面中央に透かしのような形で埋め込んだものをサムネイル画像としてもよい。また、図２３（ｃ）のような画像をサムネイル画像として記録しても、少なくともこのファイルが３Ｄ画像を格納したものだということが認識できる。
３Ｄであることを表すシンボルをサムネイル画像中に埋め込む場合、埋め込む位置やサイズについては、記録時にユーザーが指定できるようにしてもよい。また、複数のシンボルを準備しておいて、その中から任意のシンボルを選択できるようにしてもよい。さらに、サムネイル画像を作成する際に画像の背景領域を自動的に判別し、背景領域にシンボルを書くようにしてもよい。加えて、上記のようにサムネイル画像中に自動的に３Ｄを表すシンボルを埋め込んだ場合、一旦記録されたサムネイル画像を確認し、シンボルの位置やサイズが好ましくない場合にはサムネイル画像を作成しなおすことができるようにしてもよい。
【００９３】
このようにして記録された画像ファイルの主画像とサムネイル画像の組み合わせの例を図２４に示す。ここで主画像として図２２の場合と同様、例えば図４（ｅ）のように２つの視点の画像が水平方向に１／２に縮小されて結合された画像が格納されているものとし、その画素数を６４０画素×４８０画素であるとする。また、サムネイル画像としては主画像を１６０画素×１２０画素に縮小した画像にこのファイルが３Ｄ画像を格納したものであることを示すシンボルを埋め込んだものを用いるものとすると、図２３（ｃ）のようなサムネイル画像を格納する場合には図２４（ａ）のような組み合わせに、図２３（ｂ）のようなサムネイル画像を格納する場合には図２４（ｂ）のような組み合わせになる。
【００９４】
シンボル自体はそれが３Ｄを示すものであればテキストであってもよいし、マークであってもよいし、特定の画像であってもよい。また、サムネイル画像内におけるシンボルの位置に何ら限定はない。しかし、いずれの場合であってもサムネイル画像の一部として記録されている必要がある。逆に言えば、これらのシンボルはサムネイル画像と分離して記録されたものではない。
【００９５】
ここが重要な点である。３Ｄ情報を解釈できない画像データ再生装置において有意義なサムネイル表示を行うには、図２３に示したような画像をサムネイル画像として、予めファイル中に記録しておく必要がある。このようにすれば、画像データ再生装置は、３Ｄ画像のファイルであっても、２Ｄ画像のファイルと同じようにサムネイル画像を再生するだけで、画像の中身を確認することができ、２Ｄ画像のファイルと３Ｄ画像のファイルを区別することができる。
ところで、３Ｄ情報を解釈できる画像データ再生装置であっても、あらゆるデータ形式をサポートしているとは限らない。すなわち、例えば４眼式の３Ｄ画像だけをサポートしている画像データ再生装置は、２眼式の３Ｄ画像データを受け取っても正しく表示することができない。このような場合にサムネイル画像を表示することにより、画像内容を確認することができる。３Ｄ情報を解釈できる画像データ再生装置は、３Ｄ情報を解釈することにより、ファイルに含まれる主画像を正しく再生できるかどうか判定可能であるから、正しく再生できないデータ形式である場合にはサムネイル画像を表示するとともに、「サポート外の３Ｄデータ形式である」旨のメッセージ等を表示するようにしてもよい。
【００９６】
ここで、サムネイル画像をファイル中に記録する画像データ作成装置の例を図２８に示す。図２８の画像データ作成装置１２０においてはサムネイル画像作成部１０６を備え、符号化データ（もしくは非圧縮の画像情報）、３Ｄ情報とともにサムネイルデータを多重化部１０４において多重化してファイルを作成する。ファイルの出力先としてはＩＣメモリや光磁気ディスク、磁気テープ、ハードディスクなどの記録デバイスや、ＬＡＮやモデムなどの通信デバイスが考えられる。なお、ＤＣＦ規格ではサムネイル画像の大きさが１６０画素×１２０画素と定義されているが、一般的なサムネイル画像はこのサイズに限定されるものではない。
【００９７】
次に、図２２に示したようなサムネイル画像から図２３に示したようなサムネイル表示を行う画像データ再生装置の例を図２６に示す。図２６において図２０に示した画像データ再生装置２１０と機能が同じ部分については同じ番号を付して説明を省略する。図２６に示した画像データ再生装置２２０においては、逆多重化部２２１においてサムネイルデータが分離される。再生しようとするデータが３Ｄ画像であった場合、３Ｄ情報解析部２０２からの指示により、サムネイル生成部２２５は、サムネイルデータを復号した（非圧縮データの場合は復号する必要はない）サムネイル画像と３Ｄ画像であることを示すシンボルを重ねてサムネイル表示する。サムネイルを３Ｄ表示する場合には、サムネイル生成部２２５は、画像変換部２０３が主画像に対して行う変換と同じ処理を、サムネイル画像に対して施す。
【００９８】
また、３Ｄ表示用画像と２Ｄ表示用画像を切り替えて出力できる画像データ再生装置の例を図２７に示す。図２７において図２６に示した画像データ再生装置２２０と機能が同じ部分については同じ番号を付して説明を省略する。図２７に示した画像データ再生装置２３０において、図２４に示したような主画像およびサムネイル画像を符号化した画像データが入力された場合、復号部２０４で復号された画像情報は画像変換部２０３に送られるとともに、サムネイル生成部２２５にも送られる。制御部２２６は３Ｄ表示用画像を出力するか２Ｄ表示用画像を出力するかの指示を画像変換部２０３とサムネイル生成部２２５に与える。サムネイルの２Ｄ表示を行う場合、サムネイル生成部２２５は、図２４のようなサムネイル画像をそのまま出力してもよいし（この場合は３Ｄを示すシンボルも表示される）、入力された主画像を縮小し、画像変換部２０３と同様の処理を行うことにより３Ｄであることを示すシンボルを含まないサムネイル画像を出力してもよい。サムネイルの３Ｄ表示を行う場合は、入力された主画像を縮小し、画像変換部２０３と同様の処理を行えばよい。
【００９９】
なお、これまでの説明では、３Ｄのファイルであれば３Ｄであることを示すシンボルを、サムネイル画像に重ねて表示するものとしたが、逆に３Ｄのファイルに対してはサムネイル画像をそのまま表示し、２Ｄのファイルである場合に２Ｄであることを示すシンボルをサムネイル画像に重ねて表示してもよい。
【０１００】
また、３Ｄのファイルに対して３Ｄであることを示すシンボルをサムネイル画像に重ねて表示するのみならず、視点数や視点番号等、３Ｄ情報に含まれる情報をサムネイル画像に重ねて表示するようにしてもよい。さらに、３Ｄ情報に含まれる情報や３Ｄであることを示すシンボルは、サムネイル画像に重ねて表示するのみならず、サムネイル画像近傍の所定の位置に表示するようにしてもよい。
【０１０１】
図２５は、ファイルに格納するサムネイル画像の別の例を示したものである。２つ以上の視点の画像が結合された第１の画像と、そこから１つの視点だけを取り出した第２の画像をピクチャーインピクチャーの形にしたものである。図２５（ａ）は、第１の画像を親画像とし、第２の画像を子画像としたものであるが、図２５（ｂ）に示すように親画像と子画像を入れ替えてもよい。また、図２５（ｃ）、図２５（ｄ）は、それぞれ図２５（ａ）、図２５（ｂ）の画像に３Ｄであることを示すシンボルを埋め込んだものである。図２５（ｃ）、（ｄ）については、３Ｄであることを示すシンボルをサムネイル画像中には記録せず、サムネイル表示する際に重ねて出力するようにしてもよい。図２５のようなサムネイル表示を用いることにより、歪のない画像による画像内容確認と実際に主画像として記録されている画像の形の確認を両方同時に行うことができる。
【０１０２】
【発明の効果】
本発明によれば、主画像を３次元表示するための３次元制御情報を作成し、主画像とサムネイル画像と３次元制御情報とを多重化することにより、主画像が３次元画像である場合に、画像内容を適切に確認するためのサムネイル画像を出力することが可能となる。
【０１０３】
本発明によれば、主画像をそのまま縮小したサムネイル画像を作成することにより、サムネイル画像を３次元表示することが可能となる。
【０１０４】
本発明によれば、主画像から１視点分の画像を抜き出してサムネイル画像を作成することにより、歪みのないサムネイル画像を表示することが可能である。
【０１０５】
本発明によれば、サムネイル画像に３次元画像であることを示すシンボルを埋め込むことにより、３次元制御情報を解釈できない従来の画像データ再生装置においても、選んだファイルが３次元であることをサムネイルで判別可能である。
【０１０６】
本発明によれば、主画像の縮小画像と、主画像から１視点分の画像を抜き出して縮小した画像をピクチャーインピクチャーの形にしたサムネイル画像を作成することにより、歪のない画像による画像内容確認と実際に主画像として記録されている画像の形の確認を両方を同時に行うことが可能である。
【０１０７】
本発明によれば、主画像データが３次元画像である場合にはサムネイルデータに３次元画像であることを示すシンボルを重ねたものをサムネイルとして出力することにより、選んだファイルが２Ｄか３Ｄかをサムネイルで判別可能である。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像データ作成装置の構成を示す図である。
【図２】多視点の場合の撮像装置の設置例を示す図である。
【図３】視点番号のふり方の例を示す図である。
【図４】視点数２の場合の結合例を示す図である。
【図５】多視点画像の格子状配置を示す図である。
【図６】３Ｄ情報のフォーマット例を示す図である。
【図７】画像データのファイル形式を示す図である。
【図８】既存形式のファイルに画像データを格納する際のフォーマットの一例を示す図である。
【図９】新規形式のファイルに画像データを格納する際のフォーマットの一例を示す図である。
【図１０】多視点の画像データを別々のファイルに記録する際の画像データの格納例を示す図である。
【図１１】３Ｄ情報のフォーマット例を示す図である。
【図１２】３Ｄ情報の設定値の一例を示す図である。
【図１３】管理情報のフォーマット例を示す図である。
【図１４】多視点の画像データを別々のファイルに記録する際の一例を示す図である。
【図１５】本発明の実施の形態による画像データ再生装置の構成を示す図である。
【図１６】時分割方式における画像の表示形式を示す図である。
【図１７】パララクスバリア方式の概念を説明するための図である。
【図１８】パララクスバリア方式における画像の表示形式を説明するための図である。
【図１９】本発明の他の実施の形態による画像データ作成装置の構成を示す図である。
【図２０】本発明の他の実施の形態による画像データ再生装置の構成を示す図である。
【図２１】サムネイル画像データを３次元表示のために記録する画像ファイル形式を示す図である。
【図２２】主画像と１６０画素×１２０画素に縮小したサムネイル画像の組み合わせを示す図である。
【図２３】３Ｄ画像のデータを格納したものであることを示すシンボルを埋め込んだサムネイル画像を示す図である。
【図２４】主画像と３Ｄ画像のデータを格納したものであることを示すシンボルを埋め込んだサムネイル画像の組み合わせを示す図である。
【図２５】ピクチャーインピクチャーで表現されたサムネイルの例を示す図である。
【図２６】サムネイル画像が記録されたファイルを再生する画像データ再生装置の構成を示す図である。
【図２７】３Ｄ表示と２Ｄ表示の切り替えが可能な画像データ再生装置の構成を示す図である。
【図２８】本発明の他の実施の形態によるサムネイル画像をファイル中に記録する画像データ作成装置の構成を示す図である。
【符号の説明】
１００画像データ作成装置
１０１画像結合部
１０２制御部
１０３３Ｄ情報作成部
１０４多重化部
２００画像データ再生装置
２０１逆多重化部
２０２３Ｄ情報解析部
２０３画像変換部
３０１〜３０８撮像装置
４０１画像表示パネル
４０２パララックスバリア
４０３左眼
４０４右眼
５０１左眼画像
５０２右眼画像[0001]
TECHNICAL FIELD OF THE INVENTION
The present invention relates to an image data creating apparatus for adding attribute information to image data when creating image data for three-dimensional display, and an image data reproducing apparatus for reproducing the data.
[0002]
[Prior art]
Conventionally, various methods for displaying a three-dimensional image have been proposed. Among them, the one that is generally used is a “binocular type” that uses binocular parallax. That is, stereoscopic viewing is performed by preparing a left-eye image and a right-eye image having binocular parallax and projecting them independently to the left and right eyes.
[0003]
FIG. 16 is a conceptual diagram for explaining a “time division method” which is one of the typical two-lens methods.
[0004]
In this time division method, as shown in FIG. 16, a left-eye image and a right-eye image are arranged alternately every other pixel in the vertical direction, and the display of the left-eye image and the display of the right-eye image are alternately switched. Is displayed. The vertical resolution of the left-eye image and the right-eye image is 比べ as compared to the normal two-dimensional display. The observer wears shutter-type glasses that open and close in synchronization with the display switching cycle. The shutter used here opens the left eye side and closes the right eye side when the left eye image is displayed, and closes the left eye side and opens the right eye side when the right eye image is displayed. By doing so, the left-eye image is observed only by the left eye and the right-eye image is observed only by the right eye, and stereoscopic viewing can be performed.
[0005]
FIG. 17 is a conceptual diagram for explaining “parallel barrier method” which is another typical binocular method.
[0006]
FIG. 17A is a diagram illustrating the principle of generating parallax. On the other hand, FIG. 17B is a diagram illustrating a screen displayed by the parallax barrier method.
[0007]
In FIG. 17A, an image in which the left-eye image and the right-eye image are alternately arranged every other pixel in the horizontal direction as shown in FIG. 17B is displayed on the image display panel 401, By placing a parallax barrier 402 having slits at intervals smaller than the interval between pixels at the same viewpoint on the front of the image display panel 401, the left eye image can be observed only with the left eye 403 and the right eye image can be observed only with the right eye 404. That is, stereoscopic vision can be performed.
[0008]
By the way, there is a “lenticular method” as a method for displaying an image as shown in FIG. 17B three-dimensionally, similarly to the parallax barrier method. An example of a recording data format to be used in the lenticular method is disclosed in Japanese Patent Application Laid-Open No. H11-216, which will be described later.
[0009]
FIG. 18 is a conceptual diagram showing an example of such a lenticular recording data format. From the left-eye image 501 shown in FIG. 18 (a) and the right-eye image 502 shown in FIG. 18 (b), each of them is thinned out in half in the horizontal direction to form a single mixed image 503 shown in FIG. 18 (c). Make and record At the time of reproduction, a composite image as shown in FIG. 17B is created by rearranging the mixed image 503.
[0010]
Now, although not limited to three-dimensional images, Patent Document 2 discloses a method of storing additional information for identifying a thumbnail image and displaying the additional information on the thumbnail image on a display device. ing.
[0011]
[Patent Document 1]
JP-A-11-41627 [Patent Document 2]
JP 2001-337994 A
[Problems to be solved by the invention]
As described above, in the conventional three-dimensional display system, recording is performed in a fixed recording data format so as to be suitable for the display method determined by the reproducing apparatus, and the recording data has to have versatility. Is not considered.
[0013]
In addition to the display method, there are various types of information necessary for three-dimensional display, such as the image thinning method and the number of viewpoints in the so-called "multi-view method". Not recorded. If you always use the same display method, there is no need to record such information, but this greatly impairs the versatility of the recorded data. For example, even when data for the parallax barrier method (or lenticular method) is recorded, the left-eye image and the right-eye image can be recorded as separate sequences, and the left and right images as shown in FIG. It is also possible to record a mixed image in which the eye image and the right eye image are arranged on the left and right half of the screen, or a composite image in which the left eye image and the right eye image are arranged every other pixel in the horizontal direction as shown in FIG. Can also be recorded. Of course, if the recording format is different, the processing method for displaying this is also different, but since it is not possible to know which format was recorded from the recorded data, when a third party got the data, There is a problem that it is not possible to determine whether the display should be performed by such processing.
[0014]
Furthermore, in the related art, it has not been considered that image data of each viewpoint is recorded independently of each other, and only an image of a desired viewpoint is simply read and reproduced.
[0015]
Further, the conventional technology does not sufficiently consider compatibility with existing devices. That is, in the system disclosed in Patent Literature 2, only a display system that can interpret additional information is considered, and in a display system that cannot interpret the additional information, the additional information is useless.
[0016]
The present invention has been made in order to solve the above-described problems, and an object of the present invention is to provide image data for three-dimensional display with versatility and efficiently convert an image at an arbitrary viewpoint. It is an object of the present invention to provide an image data creation device that enables selection and an image data reproduction device that reproduces the data.
[0017]
[Means for Solving the Problems]
The present invention provides a main image creating unit that creates a main image that is image information corresponding to a plurality of viewpoints, a thumbnail image creating unit that creates a thumbnail image, and three-dimensional control information for three-dimensionally displaying the main image. An image data creating apparatus, comprising: a three-dimensional control information creating unit to create; and a multiplexing unit to multiplex the main image, the thumbnail image, and the three-dimensional control information.
[0018]
Here, the thumbnail image creation unit creates a thumbnail image in which the main image is reduced as it is, extracts an image for one viewpoint from the main image to create a thumbnail image, and the thumbnail image is a three-dimensional image. Or a thumbnail image in which a reduced image of the main image and an image for one viewpoint are extracted from the main image and reduced to form a picture-in-picture.
[0019]
The present invention also provides a demultiplexing unit for separating main image data, thumbnail data and three-dimensional control information from input image data, and a three-dimensional image when the main image data is a three-dimensional image. And a thumbnail generating unit that outputs, as a thumbnail, a superimposed symbol that indicates that the image data is reproduced.
[0020]
BEST MODE FOR CARRYING OUT THE INVENTION
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
[0021]
FIG. 1 is a block diagram showing a configuration of an image data creation device according to an embodiment of the present invention. In FIG. 1, an image data creating apparatus 100 determines an arrangement method of an image K from an image 1 of multiple viewpoints (the number of viewpoints K, where K is an integer equal to or greater than 2), and joins them by adjoining them. Image combining unit 101 for creating an image, whether to combine image K from image 1 (with or without combination), whether to reduce image K from image 1 (with or without reduction), used for two-dimensional display The control unit 102 for specifying an image to be selected (2D selection), the number of viewpoints, and the arrangement order of the images, the presence / absence of the reduction, the presence / absence of the combination, the arrangement method of the images, the 2D selection, and the information of the number of viewpoints are formatted to obtain 3D information It comprises a 3D information creation unit 103 for creating, a means for accessing a recording medium and a communication line, and a multiplexing unit 104 for multiplexing image information and 3D information and outputting image data.
[0022]
The operation of the image data creating apparatus 100 configured as described above will be described.
[0023]
An image signal composed of continuous frames is input to the image data creating device for each frame. Here, M imaging devices for inputting an image to the image data creating device 100 are arranged in a matrix in a horizontal direction and in a vertical direction by N in a lattice shape. (Where M and N are integers of 1 or more).
[0024]
FIG. 2 shows an installation example in which the number of viewpoints is eight (a diagram in which the installed imaging device is viewed obliquely downward from behind). Here, the viewpoint numbers are assigned in order from left to right and from top to bottom. That is, the number of imaging devices 301 is 1, the number of imaging devices 302 is 2, the number of imaging devices 303 is 3, and the number of imaging devices 304 is 4. Similarly, the number of imaging devices 305 to 308 is 5 to 8. Note that an image captured by an imaging device with a viewpoint number k throughout this embodiment is referred to as an image k (where k is an integer of 1 or more).
[0025]
The control unit 102 specifies the presence / absence of reduction, the presence / absence of combination, 2D selection, the number M of viewpoints in the horizontal direction, the number N of viewpoints in the vertical direction, and the arrangement order of images. Here, the presence / absence of reduction takes one of values of “with reduction” and “no reduction”, and the presence / absence of combination takes one of a value of “no combination” and “with combination”. The 2D selection takes a viewpoint number or a value of “unspecified”. The arrangement order of the images specifies the arrangement of the images by the viewpoint number. The number of viewpoints is M = 4 and N = 2 in the example of FIG.
[0026]
When the presence or absence of the combination input from the control unit 102 indicates “no combination”, the image combination unit 101 serializes the image K from the image 1 input in parallel according to the arrangement order of the images specified by the control unit 102. Output. Alternatively, when outputting the image of each viewpoint, the viewpoint number specified in the 2D selection may be output such that it is always the first.
[0027]
When the presence or absence of the combination indicates “with connection”, the image combining unit 101 selects the arrangement method from the input image 1 to the input image K. As the arrangement method, there are three types of arrangement, a horizontal arrangement in which the multi-view images are arranged horizontally, a vertical arrangement in which the multi-view images are arranged vertically, and a lattice arrangement in which the multi-view images are arranged in both horizontal and vertical directions.
[0028]
Here, the arrangement method of the image may or may not match the installation method of the imaging device. In the case where the arrangement of the images is matched with the arrangement method of the imaging unit, the arrangement is vertical when M = 1 and N ≧ 2, horizontal when M ≧ 2 and N = 1, and lattice-like otherwise. Further, when they do not match, when M = 1, N ≧ 2 or M ≧ 2, N = 1, either the vertical arrangement or the horizontal arrangement may be selected.
[0029]
When the arrangement method is determined, the images are combined according to the arrangement order of the images input from the control unit 102. FIG. 3 shows an example of the arrangement order of the images when the images photographed by the imaging device shown in FIG. 2 are arranged in a grid pattern. In FIG. 3, one square represents an image, and the numerals are viewpoint numbers. FIG. 3A shows a case where the arrangement order of the images is designated as 1, 2, 3, 4, 5, 6, 7, and 8, and the arrangement order is the same as the viewpoint number given to the imaging device. FIG. 3B shows a case where 2, 3, 1, 4, 6, 7, 5, and 8 are designated.
[0030]
When the presence or absence of reduction input from the control unit 102 indicates “with reduction”, the input image of each viewpoint is reduced. The reduction ratio at this time is not fixed, but is determined according to the number of viewpoints. That is, the image is reduced to 1 / M in the horizontal direction and 1 / N in the vertical direction.
[0031]
FIGS. 4 and 5 show examples of the result of combining by the image combining unit 101 at this time. FIG. 4 shows a case where two viewpoints using only viewpoint numbers 1 and 2 are used, for example, among the imaging devices in FIG. 2, and FIG. 5 shows a case where all the imaging devices are used.
[0032]
4A shows the case of “no reduction” and “no combination”, FIG. 4B shows the case of “no reduction” and “combination (horizontal arrangement)”, and FIG. FIG. 4D shows the case of “without reduction” and “without connection”, and FIG. 4E shows the case of “with reduction” and “with connection (horizontal arrangement)”. 4 (f) shows the case of "with reduction" and the case of "with combination (vertical arrangement)". Here, in the case of “with reduction”, the resolution in the horizontal direction or the vertical direction is reduced to により by thinning pixels or the like.
[0033]
FIG. 5 shows an example of a lattice arrangement of multi-viewpoint images. When the presence or absence of reduction indicates "no reduction", the result is as shown in FIG. Here, H and V are the number of horizontal pixels and the number of vertical lines of each viewpoint image before reduction, respectively. When the presence or absence of reduction indicates "with reduction", the result is as shown in FIG. The reduction ratio is １／ in the horizontal direction and に in the vertical direction. The size of the image after reduction is H pixels horizontally and V lines vertically, which is the same as the image size of each viewpoint before reduction. The arrangement of the images matches the installation method of the imaging device, and four images are arranged in the horizontal direction and two images are arranged in the vertical direction. Here, the numbers attached to the images indicate viewpoint numbers. The images are arranged in ascending order of viewpoint numbers. The upper left is an image photographed by the imaging unit 301 (viewpoint number 1), and the lower right is an image photographed by the imaging unit 308 (viewpoint number 8).
[0034]
Here, the reduction ratios in the horizontal and vertical directions have been described as fixed, but these may be variable. If variable, the reduction ratio is recorded in the 3D information. When the presence or absence of the combination indicates “no combination”, the designation may be performed for each image of each viewpoint.
[0035]
The 3D information creating unit 103 creates 3D information by formatting the presence or absence of reduction, the presence or absence of combination, the selection of 2D, the number of viewpoints in the horizontal direction and the number of viewpoints in the vertical direction, the arrangement order and arrangement method of images.
[0036]
FIG. 6 shows an example of the 3D information at this time. Here, the image order indicates that the arrangement of the images is “order of viewpoint numbers” or “arbitrary order”. Thereafter, a plurality of viewpoint numbers are recorded. These viewpoint numbers indicate the arrangement of the images in the combined image when the presence or absence of the combination indicates “with combination”. In the example of FIG. 3B, the first viewpoint number is 2, and in the following order, 3, 1, 4, 6, 7, 5, and 8. When the presence or absence of the combination indicates “no combination”, it indicates the order of the multiplexed image information. When the image order indicates “viewpoint number order”, these view numbers may be omitted. When creating the 3D information, the set value may be used as it is, or may be encoded by fixed-length encoding or variable-length encoding.
[0037]
The multiplexing unit 104 converts the image information, the 3D information, and the management information into a predetermined format and outputs the format to the outside. When the images are not combined, the output order from the image combining unit 101 is the arrangement order of the images specified by the control unit 102 as described above. It becomes. Although not shown in FIG. 1, when multiplexing voice and music, those data are also multiplexed by the multiplexing unit 104.
[0038]
Here, the encoded image information may be input to the multiplexing unit 104. FIG. 19 shows the configuration of the image data creating apparatus 110 in such a case. The image data creation device 110 differs from the image data creation device 100 in FIG.
[0039]
The output destination of the multiplexing unit 104 is connected to a recording device such as an IC memory, a magneto-optical disk, a magnetic tape, or a hard disk, or a communication device such as a LAN or a modem. Here, it is assumed that an IC memory is connected to the multiplexing unit 104. Hereinafter, the recording format in this case will be described.
[0040]
Generally, when an IC memory is used as a recording medium, a file system such as a FAT (File Allocation Table) is constructed on the IC memory, and data is recorded as a file. The file format used here may be an existing format or a newly defined unique format.
[0041]
FIG. 7 is a diagram showing a file format for recording image data. In FIG. 7, it is assumed that data is recorded in a file in order from the top to the bottom of the figure. FIG. 7A shows an example in which an existing format is used, and FIG. 7B shows an example in which a new format is used.
[0042]
When an existing format is used, the 3D information is generally recorded as a part of the existing header using a mechanism for expanding a header prepared in the existing format. Here, the extended header is called an extension header. For example, the file header indicates an application data segment in JPEG, defines a new application data segment, and records 3D information. In MPEG-4, a file header indicates a Visual Object Sequence or / and a Video Object Layer, and 3D information is recorded therein as user data.
[0043]
When an existing format is used, a commonly used extension is used as it is. For example, in the case of a JPEG file, generally. If the extension “.jpg” is an MPEG file, generally the extension is “.jpg”. mpg or .mpg. When the extension “mp4” is WMV (Windows (R) Media Video), the extension is generally .mp4. The extension wmv is used. By doing so, even a conventional playback device having no three-dimensional image display function can recognize a file in an existing format and display it as a two-dimensional image.
[0044]
On the other hand, when a new format is used, 3D information is recorded at the head of the file as shown in FIG. 7B, for example. In addition, a unique extension that can be distinguished from an existing format file is attached so that the file is a new format file. The management information shown in FIGS. 7A and 7B is used for recording information that is not directly related to a three-dimensional image, such as a creation date and a creator.
[0045]
First, how to store a multi-viewpoint image when the presence or absence of combination indicates “no combination” will be described. When the existing format shown in FIG. 7A is used as the file format, a plurality of multi-view images are separately recorded in the image information area of FIG. 7A. In the case of a moving image, a plurality of pieces of frame data are recorded for each viewpoint. FIG. 8 shows a storage example at this time. In the case of a moving image, a plurality of pieces of frame data are recorded for each viewpoint. At this time, each frame may be independently encoded as in Motion JPEG, or the difference may be encoded using inter-frame prediction as in MPEG-4.
[0046]
A case where a new format shown in FIG. 7B is used as the file format will be described. In the new format, an existing format (JPEG, bitmap, etc.) may be used for the file header and image information in FIG. 7B, or an entirely new original format may be used. Therefore, in order to distinguish between these formats, type information (called an image type) is recorded in the 3D information.
[0047]
Regarding the method of recording image data, a plurality of image data of multiple viewpoints are recorded in the image information area of FIG. In the case of a moving image, a plurality of pieces of frame data are recorded for each viewpoint. FIG. 9 shows an example of storage and an example of 3D information when the presence or absence of the combination indicates “no connection”. The K file headers and the image information in FIG. 9 are in a format that can be recognized as a file of an existing format by itself. In other words, taking a bitmap file as an example, images 1 to K are recorded as independent bitmap files, and 3D information, management information, and a bitmap file of image K are sequentially connected from the bitmap file of image 1 It has become a format.
[0048]
When the presence / absence of combination indicates “no combination”, multi-view image information may be recorded as separate image data in a file. At this time, the image information of each viewpoint is recorded in the format shown in FIG. 7A in the case of the existing format, and in the format shown in FIG. 7B in the case of the new format. When recording a file, only an existing format may be used, only a new format may be used, or both may be used in combination. FIG. 10 shows an example in the case of using the existing format. Since the number of viewpoints is K, K files are created.
[0049]
At this time, the 3D information creation unit 103 creates 3D information for the number of viewpoints. Here, since one image information is recorded in one file, the image order is omitted, and a viewpoint number is recorded to indicate which viewpoint number each file corresponds to. FIG. 11 shows an example of the 3D information at this time.
[0050]
FIG. 12 is a diagram illustrating an example of the 3D information when the number of viewpoints is two. Here, it is assumed that viewpoint numbers 1 and 2 among the imaging devices shown in FIG. 2 are used as the imaging devices. Since the number of viewpoints is two, two 3D information shown in FIGS. 12A and 12B are created. The left side connected by “=” indicates the item of 3D information, and the right side indicates the set value. Among the items, the same values are recorded in the arrangement method, the number of viewpoints in the horizontal direction, the number of viewpoints in the vertical direction, and the 2D selection in FIGS. 12A and 12B. The other items are different. FIG. 12A shows that the image of viewpoint number 1 is not reduced and FIG. 12B shows that the image of viewpoint number 2 is reduced. I have.
[0051]
Furthermore, when recording multi-view image information as separate files, it is necessary to identify a file of a corresponding viewpoint among multi-view images captured by the same imaging device from a plurality of recorded files. is there. Here, for example, in the multiplexing unit 104 of FIG. 1, information for identifying a file of each viewpoint image captured by the same imaging device may be recorded in the management information described above. FIG. 13 is a diagram showing an example of the management information at this time, in which information as to what name the file of the multi-view image is recorded on the recording medium is recorded. In FIG. 13, the file configuration takes values of “separation” and “integration”. In the case of “separation”, it indicates that each viewpoint image is recorded as a separate file. Is recorded in one file. The viewpoint number and the file name are recorded in association with each other so that the file name of the corresponding image data can be known from the viewpoint number.
[0052]
Alternatively, a file name may be given according to a predetermined naming rule so that the set of multi-view images captured by the imaging device is the same. For example, in the case of the number of viewpoints 2 described above, one set of file names of image 1 and image 2 is “stereo1_1.jpg” and “stereo1_2.jpg”, respectively, and another set of file names is “stereo2_1.jpg”. , “Stereo2_2.jpg”.
[0053]
By the way, the 3D information or management information recorded in each file has an overlapping part. For example, in the example of 3D information shown in FIG. 12, the same information is shown except for the presence or absence of reduction and the viewpoint number. In the example of the management information shown in FIG. 13, the contents of the management information are common to all the files.
[0054]
Therefore, the common information (common information) may be recorded in only one file, and only the information (individual information) unique to the image data may be recorded in another file. An example at this time is shown in FIG. FIG. 14A shows a file in which individual information and common information are recorded, and FIG. 14B shows a file in which only individual information is recorded. In this example, the file shown in FIG. 14A is recorded in the existing format, the file shown in FIG. 14B is recorded in the new format, and the file in which the common information is recorded becomes only the other individual information depending on the file extension. The file can be identified from the recorded file. Further, as shown in FIG. 14B, the file name of the file in which the common information is recorded may be recorded as the individual management information. This makes it easier to specify a file in which common information is recorded from a file in which only individual information is recorded.
[0055]
It should be noted that, in addition to the above, a method for identifying these files is to use the above-mentioned naming rule so that the image file of each viewpoint can be identified, and a specific viewpoint number such as a viewpoint number designated by 2D selection can be used. The common information may be recorded in the image file.
[0056]
Alternatively, overlapping information may be combined into one to create a management file, and each image file may record only unique information. It is assumed that a unique extension different from the image file is used for the management file.
[0057]
Further, in a file system such as the FAT described above, a directory is used to manage files collectively. One set of the created image files of each viewpoint (the management file may be included if it exists) may be recorded in the same directory.
[0058]
When the presence or absence of the combination indicates “with combination”, the image information of the image combined into one is recorded in the image information area of FIGS. 7A and 7B. In the case of a moving image, a plurality of images obtained by combining corresponding frames of a multi-viewpoint image are recorded.
[0059]
In the above-described embodiment, the viewpoint number is fixed and the arrangement order of the images can be changed arbitrarily. However, the image arrangement order is fixed and the viewpoint number is changed arbitrarily. It does not matter. Further, the method of installing the image pickup device is not limited to the lattice-like arrangement, but may be any arrangement. In this case, a reference imaging device (a viewpoint number is set to 1) is selected, and the position is represented by a coordinate system using this as the origin. In the 3D information, the position coordinates of the imaging device of each viewpoint are recorded in the order of the viewpoint numbers.
[0060]
Further, in the above embodiment, in the case of a file of a new format, 3D information and management information are recorded at the head of the file. However, the file of the new format is not limited to this, May be after the file header or after the image information, or may be the same as the existing format shown in FIG.
[0061]
Subsequently, a reproducing device for displaying the image data created by the image data creating device 100 as a three-dimensional image will be described.
[0062]
FIG. 15 is a block diagram illustrating a configuration of an image data reproducing device according to an embodiment of the present invention. 15, the image data reproducing apparatus 200 includes a demultiplexing unit 201, a 3D information analysis unit 202, and an image conversion unit 203.
[0063]
The demultiplexing unit 201 reads image data multiplexed into a predetermined format from a recording device or a communication device, and separates the image data into image information, 3D information, and management information. Although not shown in FIG. 15, when voice and music are multiplexed, those data are also separated by the demultiplexer 201.
[0064]
The 3D information analysis unit 202 analyzes the 3D information in a predetermined format and extracts a set value for each item.
[0065]
The image conversion unit 203 is connected to display devices having different display formats, such as a two-dimensional display device using a normal cathode ray tube or a liquid crystal panel, a three-dimensional display device using a lenticular method, a parallax barrier method, a time division method, and the like. You.
[0066]
The operation of the image data reproducing device 200 configured as described above will be described. Here, it is assumed that an IC memory is connected to the demultiplexing unit 201. As described above, the image file in the existing format and the new format and the management file are recorded in the IC memory. The distinction between the image file and the management file can be made by the file extension. Here, it is assumed that the user selects one image file or one management file by a designation unit (not shown).
[0067]
First, a case where the selected file is an image file will be described. In this case, the existing format and the new format can be distinguished from each other by the extension of the file. Therefore, when the file to be reproduced is a file of the existing format shown in FIG. 3D information is read from the extended area of. In the case of the new format shown in FIG. 7B, 3D information is read from the beginning of the file.
[0068]
The 3D information analysis unit 202 analyzes the 3D information and extracts setting values such as presence / absence of combination, presence / absence of reduction, number of viewpoints, arrangement method, and 2D selection. Further, a viewpoint number of an image to be displayed as a three-dimensional image is determined. In order to display multi-viewpoint image data as a three-dimensional image, two viewpoints having parallax may be selected from the multi-viewpoint images and used as a left-eye image and a right-eye image. For example, in the case of the image data recorded by the photographing device of FIG. 2, the image data can be selected from 1 and 2, 1 and 3, 1 and 4, 2 and 3, 2 and 4, etc. . In addition, if the image is rotated by 90 ° at the time of display, a three-dimensional image can be displayed even when a set of 1, 5, 2, 6, 3, 7, and 4 and 8 is selected.
[0069]
When the presence / absence of combination indicates “no combination”, only the image information of one viewpoint is recorded in the selected file as shown in FIG. 10, or each of the viewpoints not combined as shown in FIG. Either image information is recorded.
[0070]
In order to distinguish them, as a result of analyzing the 3D information, it is sufficient to check whether or not the image order information is included in the 3D information. If the image order is included in the 3D information, it is the latter. An arbitrary combination of viewpoints that can be stereoscopically viewed is selected from the first viewpoint number to the K-th viewpoint number recorded in the 3D information. Otherwise, the former is selected, and a viewpoint number that enables stereoscopic viewing is selected by combining with the viewpoint number i recorded in the 3D information (where i is an integer of 1 or more). The selected viewpoint number is output to demultiplexing section 201.
[0071]
The demultiplexing unit 201 reads out the image information of the input viewpoint number from the file and outputs it to the image conversion unit 203. When the image information of the input viewpoint number is not recorded in the file, the file in which the image information is recorded is found out from the management information and the naming rule as described above and read out.
[0072]
Alternatively, the file configuration in the management information may be referred to discriminate whether only one viewpoint or all viewpoints are recorded in the file. If the file configuration is “separated”, image information of one viewpoint is recorded, and if the file configuration is “integrated”, image information of all viewpoints is recorded.
[0073]
On the other hand, when the presence or absence of the combination is “with combination”, since only one combined image is recorded in the file, an arbitrary viewpoint number can be selected. In this case, the viewpoint number is output to the image conversion unit 203.
[0074]
Here, when the image information is encoded, decoding is performed after demultiplexing. FIG. 20 shows the configuration of the image data reproducing device 210 in such a case. The image data reproducing device 210 is different from the image data reproducing device 200 in FIG.
[0075]
The image conversion unit 203 converts the image information separated by the demultiplexing unit 201 according to the presence / absence of connection, presence / absence of reduction, number of viewpoints, arrangement method, 2D selection, and viewpoint number input by the 3D information analysis unit 202. Convert to display format. At this time, if the presence or absence of the combination indicates “no combination”, the conversion is performed when the image information specified by the viewpoint number is completed. If the image information is not available due to the file being deleted or the like, the image of the viewpoint number closest to the arrangement may be used instead, or two-dimensional display may be performed. When the presence or absence of the combination is “with combination”, the image of the viewpoint specified by the viewpoint number is cut out from the combined image and then converted.
[0076]
The conversion into the display format is performed. For example, when a display device of the parallax barrier system is connected to the image data reproducing device 200, the above-described format of FIG. The left and right images need only be arranged every other pixel in the horizontal direction. In the case of FIG. 4B, the left and right images are thinned out to 1/2 in the horizontal direction before being arranged every other pixel in the horizontal direction. In any case, since the 3D information is added to the image data, the image data can be converted into a display format suitable for the display device.
[0077]
When coding image information, taking the parallax barrier method as an example, even if an image to be displayed is as shown in FIG. 17B, an image having an arrangement as shown in FIG. The coding efficiency is greatly improved. This is because the correlation between adjacent pixels is higher in the state of FIG. 4E than in the state of FIG. 17B. In order to use the encoded image of FIG. 4E in the parallax barrier method, the image data reproducing device 210 of FIG. 20 decodes the image by the decoding unit 204, and then the image conversion unit 203 decodes the image as shown in FIG. What should I do?
[0078]
When the display is switched to the two-dimensional display during the display of the three-dimensional image, the image of the viewpoint number designated by the 2D selection is displayed. At this time, when the presence / absence of reduction is “no reduction”, the image is enlarged and displayed twice if “reduced”. However, when the image is not being displayed, any one of the displayed images may be selected and displayed. The selection method is used for, for example, the smallest viewpoint number, the largest viewpoint number, the arrangement closest to the viewpoint number specified by the 2D selection in the arrangement of the imaging device and the arrangement of the combined image, and the left eye image. And those used for the right eye image, and are not particularly limited here. When the 2D selection does not specify an image to be used for two-dimensional display, an image to be displayed is selected by a predetermined method.
[0079]
When a two-dimensional display device is connected, an image specified by 2D selection is displayed. The display method is the same as the two-dimensional display in the three-dimensional display device.
[0080]
When the file selected by the user is a management file, the presence / absence of combination recorded in the 3D information indicates “no combination”, but any combination of stereoscopically viewable viewpoint numbers may be selected. Just fine. The operation from the reading of the image data from the image file to the conversion to the display format is the same as described above, and the description is omitted here.
[0081]
Further, in the above-described embodiment, a case has been described in which the viewpoint number and the file name are recorded in the management information. That is, in the image data creating apparatus 100, an identification number indicating that the image information is a set of multi-view images captured by the same image capturing apparatus is recorded in the common information and the individual information, and the image data reproducing apparatus 200 , The image information is read only when the file name and the identification number match. As the identification number, one number may be assigned to a set of multi-view images, or a different number may be assigned to each viewpoint. By doing so, it is possible to prevent malfunction due to falsification of the file name.
[0082]
As described above, in a conventional reproducing apparatus which does not have a function of displaying a three-dimensional image by uniformly handling data created by various three-dimensional image shooting methods, a two-dimensional image can be displayed normally. Since it can be used, versatility can be provided.
[0083]
By the way, there is a case where a thumbnail image is recorded in an image file as shown in FIG. In the DCF (Design rule for Camera File system) standard formulated to ensure the compatibility of image files, even if the main image (image information) cannot be reproduced, the minimum reproduction compatibility must be maintained. , Storage of thumbnail images is obligatory. Although the DCF standard does not specify the number of pixels of the main image, the number of pixels of the thumbnail image is limited to one type of 160 pixels × 120 pixels.
[0084]
In order to record information for three-dimensional display in a file based on such a concept, a form as shown in FIG. 21B can be considered. That is, the 3D information is added to the image file in the format of FIG. 21A, and the main image in FIG. 21B is a 3D image.
[0085]
Here, as the main image in FIG. 21 (b), for example, as shown in FIG. 4 (e), an image obtained by reducing the image of two viewpoints in the horizontal direction and combining them is stored. It is assumed that the number of pixels is 640 pixels × 480 pixels. Also, assuming that an image obtained by reducing the main image as it is to 160 pixels × 120 pixels is used as the thumbnail image, the image included in this file is as shown in FIG. In this case, it can be said that both the main image and the thumbnail image are 3D images.
[0086]
Therefore, in the case of an image as shown in FIG. 22A, in an image data reproducing apparatus capable of interpreting 3D information and displaying 3D, information indicating that this file stores 3D. Is overwritten on the thumbnail image, a thumbnail display as shown in FIG. Also, by performing image conversion performed when the main image is displayed in 3D on the thumbnail image, the thumbnail can be displayed in 3D. Furthermore, by giving a parallax to a symbol indicating a 3D image (for example, the character “3D” in FIG. 23C) itself and displaying it in 3D, visibility can be further improved.
[0087]
When the thumbnails are displayed in 3D, the use of the thumbnail images as shown in FIG. 22A enables higher-speed drawing than in the case where the decoded main image is reduced and displayed in 3D. This is because the thumbnail image is small, so there is no need to temporarily decode a large image such as the main image, and the decoding process can be performed at high speed.
[0088]
Here, since the thumbnail image does not need to be a reduced version of the main image as it is, a combination of the main image and the thumbnail image as shown in FIG. The main image in FIG. 22 (b) is the same as that in FIG. 22 (a), but the thumbnail image is obtained by extracting only one viewpoint image from the main image and reducing the whole image to 160 × 120 pixels. I have. In FIG. 22B, the main image is reduced by １／ in the horizontal direction, that is, the ratio of the length in the horizontal direction to the length in the vertical direction is 1: 2. It is assumed that it is enlarged twice in the horizontal direction after being taken out.
[0089]
When there is an image as shown in FIG. 22B, 3D information can be interpreted, and in an image data reproducing apparatus capable of 3D display, information indicating that this file stores 3D is displayed as a thumbnail image. 23, a thumbnail display as shown in FIG. 23B becomes possible. As shown in FIG. 22B, by extracting only the image for one viewpoint from the main image and making it a thumbnail image, it is possible to quickly display a thumbnail without distortion.
[0090]
Even when the thumbnail image shown in FIG. 22A is displayed, only one viewpoint is taken out at the time of displaying the thumbnail, and information indicating that the 3D is stored after being enlarged twice in the horizontal direction is stored in the thumbnail image. By overwriting the image, a thumbnail display as shown in FIG.
By the way, FIG. 22 shows the case where the presence or absence of the combination of the main images is “with combination”, but the main image may be “without combination” as shown in FIG. When the presence or absence of the combination of the main images is “no combination”, a reduced one of the plurality of images recorded as the main image may be recorded as a thumbnail image. Also, the “2D selection” information has been described above. However, whether or not the main images are combined is “with combined” or “without combined”, the image data for one viewpoint designated by “2D selection” is used. An image may be taken out to create a thumbnail image or a thumbnail display may be performed.
[0091]
By the way, any image data reproducing apparatus that can interpret 3D information as described so far can properly process a file as shown in FIG. 21B. Consider the image data reproducing apparatus of FIG. It is assumed that neither the 3D information analysis unit 202 nor the image conversion unit 203 shown in FIG. Since such an image data reproducing device cannot interpret 3D information, it does not know whether the image information stored in this file is a 2D image or a 3D image, or if it is a 3D image by some means. Even if it is understood, image information cannot be correctly reproduced because it does not have an image conversion unit.
[0092]
Even in such a case, it can be expected that only the thumbnail image can be displayed if the thumbnail image is recorded in accordance with the concept such as the DCF standard. Therefore, in the present invention, a thumbnail image in which a symbol indicating that this file stores a 3D image is embedded is recorded as a thumbnail image. For example, as shown in FIG. 23 (a), a thumbnail image may be obtained by superimposing a pictograph “3D” on the lower right of the image, or by placing the text “3D” on the center of the screen as shown in FIG. 23 (b). An image embedded in the form of a watermark may be used as a thumbnail image. Further, even if an image as shown in FIG. 23C is recorded as a thumbnail image, it can be recognized that at least this file stores a 3D image.
When a symbol representing 3D is embedded in the thumbnail image, the user may be able to specify the position and size of the embedded image at the time of recording. Alternatively, a plurality of symbols may be prepared so that an arbitrary symbol can be selected from the prepared symbols. Further, when creating a thumbnail image, the background area of the image may be automatically determined, and a symbol may be written in the background area. In addition, when a symbol representing 3D is automatically embedded in the thumbnail image as described above, the thumbnail image once recorded is checked, and if the position or size of the symbol is not preferable, the thumbnail image is recreated. You may be able to do it.
[0093]
FIG. 24 shows an example of a combination of the main image and the thumbnail image of the image file recorded in this way. Here, as in the case of FIG. 22, for example, as shown in FIG. 4E, it is assumed that an image obtained by reducing the image of the two viewpoints in the horizontal direction and combining them is stored as the main image. It is assumed that the number of pixels is 640 pixels × 480 pixels. Assuming that an image obtained by embedding a symbol indicating that this file stores a 3D image in an image obtained by reducing the main image to 160 × 120 pixels is used as the thumbnail image, FIG. When such a thumbnail image is stored, a combination as shown in FIG. 24A is obtained, and when a thumbnail image as shown in FIG. 23B is stored, a combination as shown in FIG. 24B is obtained.
[0094]
The symbol itself may be text, a mark, or a specific image as long as it represents 3D. Further, there is no limitation on the position of the symbol in the thumbnail image. However, in any case, it must be recorded as a part of the thumbnail image. Conversely, these symbols are not recorded separately from the thumbnail images.
[0095]
This is the important point. In order to display a meaningful thumbnail in an image data reproducing apparatus that cannot interpret 3D information, it is necessary to previously record an image as shown in FIG. 23 as a thumbnail image in a file. With this configuration, the image data reproducing device can check the contents of the image by simply reproducing the thumbnail image in the same manner as the file of the 2D image, even if the file is a 3D image. Files and 3D image files can be distinguished.
By the way, even an image data reproducing device that can interpret 3D information does not necessarily support all data formats. That is, for example, an image data reproducing apparatus that supports only a four-lens 3D image cannot display correctly even if it receives two-lens 3D image data. In such a case, by displaying the thumbnail image, the image content can be confirmed. An image data reproducing apparatus capable of interpreting 3D information can determine whether or not a main image included in a file can be correctly reproduced by interpreting the 3D information. In addition to the display, a message or the like indicating that the format is an unsupported 3D data may be displayed.
[0096]
Here, FIG. 28 shows an example of an image data creating apparatus that records a thumbnail image in a file. The image data creation device 120 of FIG. 28 includes a thumbnail image creation unit 106, and multiplexes the thumbnail data along with encoded data (or uncompressed image information) and 3D information in the multiplexing unit 104 to create a file. The output destination of the file may be a recording device such as an IC memory, a magneto-optical disk, a magnetic tape, or a hard disk, or a communication device such as a LAN or a modem. In the DCF standard, the size of a thumbnail image is defined as 160 pixels × 120 pixels, but a general thumbnail image is not limited to this size.
[0097]
Next, FIG. 26 shows an example of an image data reproducing apparatus that performs a thumbnail display as shown in FIG. 23 from a thumbnail image as shown in FIG. In FIG. 26, portions having the same functions as those of the image data reproducing device 210 shown in FIG. In the image data reproducing device 220 shown in FIG. 26, the demultiplexing unit 221 separates the thumbnail data. When the data to be reproduced is a 3D image, the thumbnail generation unit 225 decodes the thumbnail data (in the case of uncompressed data, there is no need to decode the thumbnail image) according to an instruction from the 3D information analysis unit 202. A symbol indicating that the image is a 3D image is superimposed and displayed as a thumbnail. When displaying a thumbnail in 3D, the thumbnail generation unit 225 performs the same process on the thumbnail image as the conversion performed by the image conversion unit 203 on the main image.
[0098]
FIG. 27 shows an example of an image data reproducing apparatus capable of switching and outputting a 3D display image and a 2D display image. In FIG. 27, portions having the same functions as those of the image data reproducing device 220 shown in FIG. When image data obtained by encoding the main image and the thumbnail image as shown in FIG. 24 is input to the image data reproducing device 230 shown in FIG. 27, the image information decoded by the decoding unit 204 is And to the thumbnail generation unit 225. The control unit 226 gives an instruction to output the 3D display image or the 2D display image to the image conversion unit 203 and the thumbnail generation unit 225. When performing the 2D display of the thumbnail, the thumbnail generation unit 225 may output the thumbnail image as shown in FIG. 24 as it is (in this case, a symbol indicating 3D is also displayed), or reduce the input main image. Then, a thumbnail image that does not include a symbol indicating that the image is 3D may be output by performing the same processing as that performed by the image conversion unit 203. When performing the 3D display of the thumbnail, the input main image may be reduced and the same processing as that performed by the image conversion unit 203 may be performed.
[0099]
In the above description, in the case of a 3D file, a symbol indicating that the image is 3D is displayed so as to be superimposed on the thumbnail image. Conversely, for a 3D file, the thumbnail image is displayed as it is. If the file is a 2D file, a symbol indicating that the file is 2D may be displayed on the thumbnail image.
[0100]
In addition to displaying a 3D file with a symbol indicating 3D on a thumbnail image, information included in the 3D information, such as the number of viewpoints and viewpoint numbers, is displayed on the thumbnail image. You may. Further, the information included in the 3D information and the symbol indicating 3D may be displayed not only on the thumbnail image but also on a predetermined position near the thumbnail image.
[0101]
FIG. 25 shows another example of a thumbnail image stored in a file. A first image in which images from two or more viewpoints are combined, and a second image obtained by extracting only one viewpoint from the first image are in the form of a picture-in-picture. Although FIG. 25A shows the first image as the parent image and the second image as the child image, the parent image and the child image may be exchanged as shown in FIG. 25B. FIGS. 25C and 25D show the images of FIGS. 25A and 25B, respectively, in which a symbol indicating 3D is embedded. In FIGS. 25 (c) and 25 (d), a symbol indicating 3D may not be recorded in the thumbnail image, but may be output when the thumbnail is displayed. By using the thumbnail display as shown in FIG. 25, it is possible to simultaneously check both the image content using an image without distortion and the shape of the image actually recorded as the main image.
[0102]
【The invention's effect】
According to the present invention, when the main image is a three-dimensional image, three-dimensional control information for three-dimensionally displaying the main image is created, and the main image, the thumbnail image, and the three-dimensional control information are multiplexed. In addition, it is possible to output a thumbnail image for appropriately confirming the image content.
[0103]
According to the present invention, a thumbnail image can be displayed three-dimensionally by creating a thumbnail image in which the main image is reduced as it is.
[0104]
According to the present invention, it is possible to display a distortion-free thumbnail image by extracting an image for one viewpoint from the main image and creating a thumbnail image.
[0105]
According to the present invention, by embedding a symbol indicating a three-dimensional image in a thumbnail image, even in a conventional image data reproducing apparatus that cannot interpret three-dimensional control information, it is possible to determine that a selected file is three-dimensional. Can be determined.
[0106]
According to the present invention, by creating a thumbnail image in which a reduced image of a main image and an image for one viewpoint are extracted from the main image and reduced to form a picture-in-picture, image content by an image without distortion is obtained. It is possible to perform both the confirmation and the confirmation of the shape of the image actually recorded as the main image at the same time.
[0107]
According to the present invention, if the main image data is a three-dimensional image, the thumbnail file is output as a thumbnail with a symbol indicating that the main image data is a three-dimensional image, so that the selected file is 2D or 3D. Can be determined by the thumbnail.
[Brief description of the drawings]
FIG. 1 is a diagram showing a configuration of an image data creation device according to an embodiment of the present invention.
FIG. 2 is a diagram illustrating an example of installation of an imaging device in a case of multiple viewpoints.
FIG. 3 is a diagram illustrating an example of how to assign viewpoint numbers.
FIG. 4 is a diagram illustrating an example of a combination when the number of viewpoints is two;
FIG. 5 is a diagram showing a lattice arrangement of multi-viewpoint images.
FIG. 6 is a diagram showing a format example of 3D information.
FIG. 7 is a diagram showing a file format of image data.
FIG. 8 is a diagram showing an example of a format when image data is stored in a file of an existing format.
FIG. 9 is a diagram illustrating an example of a format when image data is stored in a file of a new format.
FIG. 10 is a diagram showing a storage example of image data when recording multi-view image data in separate files.
FIG. 11 is a diagram showing a format example of 3D information.
FIG. 12 is a diagram illustrating an example of set values of 3D information.
FIG. 13 is a diagram illustrating a format example of management information.
FIG. 14 is a diagram illustrating an example when recording multi-viewpoint image data in separate files.
FIG. 15 is a diagram showing a configuration of an image data reproducing device according to an embodiment of the present invention.
FIG. 16 is a diagram showing a display format of an image in a time division system.
FIG. 17 is a diagram for explaining the concept of the parallax barrier method.
FIG. 18 is a diagram for explaining a display format of an image in the parallax barrier method.
FIG. 19 is a diagram showing a configuration of an image data creation device according to another embodiment of the present invention.
FIG. 20 is a diagram showing a configuration of an image data reproducing device according to another embodiment of the present invention.
FIG. 21 is a diagram showing an image file format for recording thumbnail image data for three-dimensional display.
FIG. 22 is a diagram showing a combination of a main image and thumbnail images reduced to 160 × 120 pixels.
FIG. 23 is a diagram showing a thumbnail image in which a symbol indicating that data of a 3D image is stored is embedded.
FIG. 24 is a diagram showing a combination of thumbnail images in which a symbol indicating that data of a main image and 3D images are stored is embedded.
FIG. 25 is a diagram illustrating an example of a thumbnail represented by picture-in-picture.
FIG. 26 is a diagram illustrating a configuration of an image data reproducing apparatus that reproduces a file in which thumbnail images are recorded.
FIG. 27 is a diagram illustrating a configuration of an image data reproducing device capable of switching between 3D display and 2D display.
FIG. 28 is a diagram showing a configuration of an image data creating apparatus that records a thumbnail image in a file according to another embodiment of the present invention.
[Explanation of symbols]
REFERENCE SIGNS LIST 100 image data creation device 101 image combination unit 102 control unit 103 3D information creation unit 104 multiplexing unit 200 image data reproduction device 201 demultiplexing unit 202 3D information analysis unit 203 image conversion units 301 to 308 imaging device 401 image display panel 402 Parallax barrier 403 Left eye 404 Right eye 501 Left eye image 502 Right eye image

Claims

複数視点に対応した画像情報である主画像を作成する主画像作成部と、サムネイル画像を作成するサムネイル画像作成部と、前記主画像を３次元表示するための３次元制御情報を作成する３次元制御情報作成部と、前記主画像と前記サムネイル画像と前記３次元制御情報とを多重化する多重化部とを備えることを特徴とする画像データ作成装置。A main image creating unit that creates a main image that is image information corresponding to a plurality of viewpoints; a thumbnail image creating unit that creates a thumbnail image; and a three-dimensional unit that creates three-dimensional control information for three-dimensionally displaying the main image. An image data creation device, comprising: a control information creation unit; and a multiplexing unit that multiplexes the main image, the thumbnail image, and the three-dimensional control information.

前記サムネイル画像作成部は、主画像をそのまま縮小したサムネイル画像を作成することを特徴とする請求項１に記載の画像データ作成装置。The image data creation device according to claim 1, wherein the thumbnail image creation unit creates a thumbnail image obtained by reducing a main image as it is.

前記サムネイル画像作成部は、主画像から１視点分の画像を抜き出してサムネイル画像を作成することを特徴とする請求項１に記載の画像データ作成装置。2. The image data creating apparatus according to claim 1, wherein the thumbnail image creating unit extracts an image for one viewpoint from the main image to create a thumbnail image.

前記サムネイル画像作成部は、サムネイル画像に３次元画像であることを示すシンボルを埋め込むことを特徴とする請求項１に記載の画像データ作成装置。The image data creation device according to claim 1, wherein the thumbnail image creation unit embeds a symbol indicating a three-dimensional image in the thumbnail image.

前記サムネイル画像作成部は、主画像の縮小画像と、主画像から１視点分の画像を抜き出して縮小した画像をピクチャーインピクチャーの形にしたサムネイル画像を作成することを特徴とする請求項１に記載の画像データ作成装置。2. The thumbnail image creating unit according to claim 1, wherein the thumbnail image creating unit creates a thumbnail image in which a reduced image of the main image and an image obtained by extracting an image of one viewpoint from the main image and reducing the image are in a picture-in-picture form. Image data creation device as described.

入力された画像データから主画像データとサムネイルデータと３次元制御情報を分離する逆多重化部と、主画像データが３次元画像である場合にはサムネイルデータに３次元画像であることを示すシンボルを重ねたものをサムネイルとして出力するサムネイル生成部とを備えることを特徴とする画像データ再生装置。A demultiplexer for separating main image data, thumbnail data and three-dimensional control information from the input image data, and a symbol indicating that the main image data is a three-dimensional image if the main image data is a three-dimensional image An image data reproducing apparatus, comprising: a thumbnail generating unit that outputs, as a thumbnail, a product obtained by superimposing the thumbnails.