JP2004336492A - 画像処理装置および画像処理方法 - Google Patents

Abstract

【課題】特別な３次元表示装置を備えなくとも汎用性を持たせた３次元画像データの記録と記録した画像の内容確認を容易に行うことを可能とする。
【解決手段】コーデック部１０７は多重分離部１０８により分離された符号化画像データを所定の形式で復号し、得られた画像データを画像メモリ１０４に出力する。制御部１０６は、画像メモリ１０４の復号画像を表示するための処理を画像変換部１０５に開始させる。多重分離部１０８から記録データが３次元画像データであることが通知された場合、制御部１０６は、どの表示方式を使用するかを決定する。制御部１０６は画像変換部１０５へ画像データの表示方式を指定して変換開始を通知し、画像変換部１０５は画像メモリ１０４から復号画像を読み出し、３Ｄ情報格納部１０３から３Ｄ情報を読み出して、復号画像を表示用の画像に変換する。
【選択図】 図１

Description

【０００１】
【発明の属する技術分野】
本発明は、３次元表示するための画像データを作成する際に、画像データに属性情報を付随させたり、そのデータを再生する画像処理装置および画像処理方法に関するものである。
【０００２】
【従来の技術】
従来、３次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「２眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼画像と右眼画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【０００３】
図９は、この２眼式の代表的な方式の１つである「時分割方式」を説明するための概念図である。
【０００４】
この時分割方式は、図９のように、左眼画像と右眼画像が垂直方向１画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切替えて表示されるものである。左眼画像および右眼画像は通常の２次元表示時に比べて垂直解像度が１／２になっている。観察者はディスプレイの切替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【０００５】
図１０は、２眼式のもう１つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。図１０（ａ）は、視差が生じる原理を示す図である。一方、図１０（ｂ）は、パララクスバリア方式で表示される画面を示す図である。
【０００６】
図１０（ａ）では、図１０（ｂ）に示すような左眼画像と右眼画像が水平方向１画素おきに交互にならんだ形に配置された画像を、画像表示パネル４０１に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア４０２を画像表示パネル４０１の前面に置くことにより、左眼画像は左眼４０３だけで、右眼画像は右眼４０４だけで観察することになり、立体視を行うことができる。
【０００７】
ところで、パララクスバリア方式と同様に図１０（ｂ）に示すような画像を３次元表示する方式に、「レンチキュラ方式」がある。このレンチキュラ方式で用いるための記録データ形式の一例が、特開平１１−４１６２７号公報において開示されている。
【０００８】
図１１は、このようなレンチキュラ方式の記録データ形式の一例を示す概念図である。図１１（ａ）に示す左眼画像５０１と図１１（ｂ）に示す右眼画像５０２から、それぞれを水平方向に１／２に間引きして図１１（ｃ）に示す１枚の混合画像５０３を作って記録する。再生時にはこの混合画像５０３を並べ替えることにより図１０（ｂ）に示したような合成画像が作成される。
【０００９】
【発明が解決しようとする課題】
上記のように、従来の３次元表示システムにおいては、再生装置側で決められた表示方式に適するように、記録データ形式を固定した記録が行われており、記録データに汎用性を持たせることは考えられていない。
【００１０】
表示方式以外にも視点数や間引き方法など、３次元表示に必要な情報はいろいろあるが、表示方式が単一の場合、それらの情報は記録データとして記録されない。いつも同じ表示方式を使うなら、あえてそれらの情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式（あるいはレンチキュラ方式）用のデータを記録する場合に限っても、左眼画像と右眼画像を別々のシーケンスとして記録することもできるし、図１１（ｃ）のような左眼画像と右眼画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図１０（ｂ）のような左眼画像と右眼画像が水平方向１画素おきに並んだ合成画像を記録することもできる。当然記録形式が違えばこれを表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
【００１１】
また、被写体を撮影する際には撮影画像を確認するための表示手段が必要であるが、３次元表示を行うことが可能な３次元表示デバイスは、２次元画像のみを表示するための通常の表示デバイスと比較して高価である。したがって、撮影装置に３次元表示デバイスを装備した場合、製品のコストが高くなるという問題がある。
【００１２】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、特別な３次元表示装置を備えなくとも汎用性を持たせた３次元画像データの記録と記録した画像の内容確認を容易に行うことを可能とする画像処理装置および画像処理方法を提供することにある。
【００１３】
【課題を解決するための手段】
上記目的を達成するために、２以上の視点の画像からなる多視点画像を処理する画像処理装置において、前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換手段と、前記方式の少なくとも２つを切替えて前記表示用画像の出力を制御する制御手段とを備えたことを特徴とする。
【００１４】
また本発明は、前記方式は、単視点の画像から表示用画像を得る第１の方式と、複数視点の画像から表示用画像を得る第２の方式を含むことを特徴とする。
【００１５】
また本発明は、前記第２の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする。
【００１６】
また本発明は、前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って２つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする請求項２または３に記載の画像処理装置。
【００１７】
また本発明は、前記多視点画像を３次元表示するための制御情報を指定する制御情報指定手段を備え、前記画像変換手段は前記制御情報に応じて前記多視点画像を処理することを特徴とする。
【００１８】
また本発明は、前記画像変換手段は各視点の画像の一部の領域を用いて変換することを特徴とする。
【００１９】
また本発明は、前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする。
【００２０】
また本発明は、記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする。
【００２１】
また本発明は、前記付加情報は前記表示方式を示す情報であることを特徴とする。
【００２２】
また、本発明は、２以上の視点の画像からなる多視点画像を処理する画像処理方法において、前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換ステップと、前記方式の少なくとも２つを切替えて前記表示用画像の出力を制御する制御ステップとを有することを特徴とする。
【００２３】
また本発明は、前記方式は、単視点の画像から表示用画像を得る第１の方式と、複数視点の画像から表示用画像を得る第２の方式を含むことを特徴とする。
【００２４】
また本発明は、前記第２の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする。
【００２５】
また本発明は、前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って２つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする。
【００２６】
また本発明は、前記多視点画像を３次元表示するための制御情報を指定する制御情報指定ステップを備え、前記画像変換ステップは前記制御情報に応じて前記多視点画像を処理することを特徴とする。
【００２７】
また本発明は、前記画像変換ステップは各視点の画像の一部の領域を用いて変換することを特徴とする。
【００２８】
また本発明は、前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする。
【００２９】
また本発明は、記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする。
【００３０】
また本発明は、前記付加情報は前記表示方式を示す情報であることを特徴とする。
【００３１】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【００３２】
図１は本発明の実施の形態による画像処理装置の構成例を示すブロック図である。図１において、１００は被写体像を撮影して得られる画像データを記録媒体に記録し、また記録媒体に記録された画像データを再生することのできる画像処理装置、２００はＩＣメモリカードや光ディスクなどの画像処理装置１００に着脱可能な記録媒体である。
【００３３】
画像処理装置１００はＣＣＤなどの撮像素子やオートフォーカス回路を備えた撮像部１０１、撮影動作や再生動作を選択的に切替えるための機能選択部１０２、画像データを３次元表示するための制御情報である３Ｄ情報を格納する３Ｄ情報格納部１０３（制御情報指定手段）、画像データを保持するための画像メモリ１０４、前記３Ｄ情報に従って画像データを変換する画像変換部１０５（画像変換手段）、各部の動作を制御するための制御部１０６（制御手段）、画像データを所定の方式で符号化し、また符号化された画像データを復号するコーデック部１０７、画像データと３Ｄ情報を多重化して記録媒体２００に記録し、また多重化された画像データと３Ｄ情報を分離する多重分離部１０８、２次元表示デバイスを備えた表示部１０９および操作ボタンなどを備えた操作部１１０から構成される。
【００３４】
なお、簡単化のために図示しないが、図１において、制御部１０６とその他の構成要素との間は、制御のために相互に接続されているものとする。
本実施の形態では、３次元表示用の画像を撮影するために、撮像部１０１の撮像面に複数の被写体像を結像することの可能なステレオアダプタを用いるものとする。図２は前記ステレオアダプタを装着して撮影した画像の構成を説明するための図である。図２（ａ）はステレオアダプタを装着しない状態で撮影した場合を示しており、図２（ｂ）は、本実施の形態で使用する、画角が１／２になるタイプのステレオアダプタを装着して撮影した場合の例を示している（図中の数字は説明のために視点番号を示したもので、本来の画像には付されるものではない）。ただし、本発明はこれに限定されるものではなく、他のタイプのステレオアダプタを使用してもよいし、複数のカメラを使用する多眼式の撮像部を使用してもよい。
【００３５】
以上のように構成された画像処理装置１００について、その動作を説明する。以下の説明では静止画像を撮影／再生する場合について述べるが、本発明はこれに限定されるものではなく、動画像についても適用可能である。
【００３６】
はじめに撮影時の動作について説明する。図３に撮影動作の処理の流れ図を示す。撮影を開始する前に、ユーザは機能選択部１０２を操作して、撮影動作の選択を行う。２次元画像を撮影する際には通常撮影動作を選択し、３次元画像を撮影する際には、撮像部１０１に前述のステレオアダプタを装着してステレオ撮影動作を選択する。機能選択部１０２は選択された撮影動作を制御部１０６に対して通知する。
【００３７】
制御部１０６は撮像部１０１による画像の取り込みを開始する。撮像部１０１により所定の周期で画像１フレームの取り込みが行われ、画像データが画像メモリ１０４に対して出力される（ＳＴ１０１）。
【００３８】
ユーザにより操作部１１０の操作ボタンが押されると、制御部１０６はコーデック部１０７に対して符号化の開始を通知する（ＳＴ１０２）。コーデック部１０７は画像メモリ１０４から画像データを読み出し、所定の方式で符号化処理を行った後、得られた符号化画像データを多重分離部１０８に対して出力し、制御部１０６に対して符号化終了を通知する（ＳＴ１０３）。ここで使用する符号化方式は、画像データを静止画として記録する場合には、静止画符号化方式の国際標準であるＪＰＥＧを用いてもよいし、それ以外の方式を用いてもよい。また、画像データを動画として記録する場合には、動画像符号化方式の国際標準であるＭＰＥＧ−４を用いてもよいし、それ以外の方式を用いてもよい。
【００３９】
次いで制御部１０６は多重分離部１０８に対して多重化の開始を通知する。通知を受けると多重分離部１０８は、ステレオ撮影動作ではＳＴ１０５へ進み、通常動作ではＳＴ１０８に進む（ＳＴ１０４）。
【００４０】
ステレオ撮影動作では、３Ｄ情報格納部１０３から３Ｄ情報を読み込み（ＳＴ１０５）、該３Ｄ情報とコーデック部１０７から入力された符号化画像データとを多重化して所定の記録形式にフォーマット化し（ＳＴ１０６）、記録媒体２００に記録する（ＳＴ１０７）。ここで３Ｄ情報は固定長符号化により符号化されるものとするが、符号化方式は可変長符号化を用いてもよいし、可変長符号化と固定長符号化の両方を用いてもよい。
【００４１】
また通常撮影動作では、コーデック部１０７から入力された符号化画像データを所定の記録形式にフォーマット化（ＳＴ１０８）し、記録媒体２００に記録する（ＳＴ１０７）。
【００４２】
なお、図１には図示しないが、制御部１０６は撮影日時や画像データの色空間情報、記録装置名などの付随情報を多重分離部１０８に対して指定し、画像データと共に記録するようにしてもよい。
【００４３】
ここで３Ｄ情報について説明する。図４は３Ｄ情報の例を示す図である。図４において、４０１は３Ｄ情報開始コードであり、３Ｄ情報の開始を表す固定値のデータである。４０２はバージョン情報であり、３Ｄ情報の互換性を示すためのものである。４０３は水平方向の視点数を示し、４０４は垂直方向の視点数を示すためのものである。また、４０５は各視点の画像が結合されているか否かを示すためのものであり、「あり」、「なし」のいずれかの値をとる。４０６は画像結合が「あり」の場合に、画像結合時の配置方法を示し、ここでは「水平」、「垂直」のいずれかの値をとるものとする。画像配置４０６は、画像結合が「なし」の場合には省略される。なお図４では、他のパラメータの値によって省略される可能性のあるパラメータを、先頭に空白を入れて表記することとしている。
【００４４】
さらに、４０７は各視点の画像が水平方向に縮小されているか否か（「あり」、「なし」のいずれかの値をとる）を、４０８は画像が水平方向に縮小されている場合の縮小率を示す。同様に４０９は各視点の画像が垂直方向に縮小されているか否かを、４１０は画像が垂直方向に縮小されている場合の縮小率を示す。水平方向の縮小４０７および垂直方向の縮小４０９が「なし」の場合には、それぞれ縮小率４０８、４１０が省略される。パラメータ４０３からパラメータ４１０までは画像データの構造に関するパラメータである。また４１１については後述する。
【００４５】
図５は、図２（ｂ）で示した画像データに対応した３Ｄ情報の例を示す図であり、“＝”で結ばれた左側が３Ｄ情報のパラメータ名を、右側がその設定値を表している。図２（ｂ）で示したように、左右の２視点の画像が水平方向に結合されており、水平方向について１／２に縮小されていることを示している。なお、垂直方向には縮小されていないため、垂直方向の縮小比は省略されている。以上のように、３Ｄ情報におけるパラメータはステレオアダプタの種類等によって一意に決定されるものであるので、予めユーザ等により設定がなされて３Ｄ情報格納部１０３に格納されているものとする。
【００４６】
続いて、記録媒体２００に記録されている画像データを再生して表示部１０９に表示する再生動作について説明する。図６に再生動作時における処理の流れ図を示す。以下、図６を参照しながら再生動作について説明する。
【００４７】
再生動作が開始されると制御部１０６は多重分離部１０８に対して分離の開始を通知する。多重分離部１０８は、記録媒体２００から所定の記録形式にフォーマット化された記録データを読み出す（ＳＴ２０１）。さらに、多重分離部１０８は、前記記録形式に従って該記録データの先頭から構文を解析し、記録データ中から符号化画像データを抽出する（ＳＴ２０２）。さらに、前述の３Ｄ情報開始コードが存在するか判定を行い（ＳＴ２０３）、前記３Ｄ情報開始コードが存在する場合にはＳＴ２０４へ進み、それ以外の場合にはＳＴ２０５へ進む。ＳＴ２０４では、３Ｄ情報を抽出し、制御部１０６に対して３次元画像データであることを通知する。符号化画像データはコーデック部１０７に出力され、３Ｄ情報は３Ｄ情報格納部１０３に対して出力される。
【００４８】
コーデック部１０７は多重分離部１０８により分離された符号化画像データを所定の方式で復号し、得られた画像データを画像メモリ１０４に出力すると共に、復号終了を制御部１０６に対して通知する（ＳＴ２０５）。
【００４９】
図６のＳＴ２０６では、多重分離部１０８から記録データが３次元画像データであることが通知された場合にはＳＴ２０７に進み、そうでなければＳＴ２１０へ進む。
【００５０】
次に制御部１０６は、いずれの表示方式を使用するかを決定する（ＳＴ２０７）。ここで、表示部１０９における表示方式は、画像データに含まれる多視点画像のうち、任意の視点の画像を選択して、２次元画像として表示する方式（ここでは、この方式を表示方式Ａと呼ぶことにする）と、付随する３Ｄ情報とは無関係に、多視点画像を２次元画像とみなして、そのまま表示する方式（ここでは、この方式を表示方式Ｂと呼ぶことにする）と、多視点画像を並べ替えて表示する方式（表示方式Ｃ）３通りの表示の仕方が可能であるものとする。
これらの表示方式は、画像処理装置において予め設定された方式を使用してもよいし、機能選択部１０２または操作部１１０によりユーザが切替えられるようにしてもよい。さらに、撮影時に予め記録データに記録機器名を付加しておき、再生時に記録機器名を読み出して、自端末の名称と一致した場合には所定の表示方式を使用し、それ以外の場合にはその他の表示形式を使用するようにして決定してもよい。
【００５１】
制御部１０６は画像変換部１０５へ画像データの表示方式を指定して変換開始を通知し、画像変換部１０５は画像メモリ１０４から復号画像を読み出し、また３Ｄ情報格納部１０３から３Ｄ情報を読み出して、復号画像を表示用の画像に変換する（ＳＴ２０８）。指定された表示方式に変換された表示用画像が表示部１０９に表示される（ＳＴ２０９）。
【００５２】
図７は画像変換部１０５の構成例を示すブロック図である。図７に示すように画像変換部１０５は画像メモリ１０４から復号画像データを読み出す画像読出し部７０１、拡大処理および縮小処理を行う拡大／縮小部７０２および表示部１０９に表示用画像データを出力する画像配置部７０３から構成される。また、図７において、復号画像の格納領域の先頭を示す読み出し先頭アドレス、視点番号、復号画像のサイズを示す画像サイズ、表示サイズ、表示用画像の格納領域の先頭アドレスを示す書き込み先頭アドレスは制御部１０６から指定されるものとする。
【００５３】
ここで各表示方式における画像の変換について、画像メモリ１０４に記録されている復号画像が図２（ｂ）に示される２視点の画像の場合を例に説明する。
まず、表示方式Ａの場合についてであるが、画像変換部１０５は３Ｄ情報格納部１０３から読み出した３Ｄ情報を解釈し、画像メモリ１０４に記録されている画像データが、水平方向に１／２に縮小した画像を水平方向に結合した形式であることを知ることができる。したがって、画像読み出し部７０１は、制御部１０６から指定された読み出し先頭アドレス、画像サイズ、視点番号から復号画像データの読み出し先アドレスを計算し、拡大／縮小部７０２に画像データを読み出す。拡大／縮小部７０２は、水平方向に２倍に拡大処理を行い、縦横比の正しい２次元画像を得る。さらに、必要ならば表示サイズとなるように拡大処理または縮小処理を行ってもよい。画像配置部７０３は、書き込み先頭アドレスや表示サイズから出力アドレスを計算し、表示用画像を該出力アドレスで示される領域に出力する。この例では２視点の画像を取り上げたために、２視点から任意の１視点を選んでいるが、Ｎ視点からＭ視点を選ぶようにすることができる（ただしＭ＜Ｎ、ＭおよびＮは自然数である）。この場合、視点数の数Ｎだけ制御部１０６から視点番号が指定されるので、各視点番号について、上記の処理をＮ回実行する。
【００５４】
ここで２次元画像として使用する画像は、制御部１０６が任意に指定することができる。制御部１０６から特に指定されない場合には、３Ｄ情報の２Ｄ画像指定パラメータで指定される視点に対応する画像を含むように選択して使用してもよいし、ユーザにより選択された視点に対応した画像を使用してもよいし、画像処理装置において予め定められた視点に対応した画像を選択して使用してもよい。
次に表示方式Ｂの場合について説明する。画像読出し部７０１は画像メモリ１０４の読出し先頭アドレスの指す領域から画像データを読み出し、拡大／縮小部７０２は必要に応じて拡大処理または縮小処理を行い、画像配置部７０３表示用画像を表示部１０９の書き込み先頭アドレスで示される領域に出力する。
【００５５】
最後に表示方式Ｃの場合について説明する。画像データが図２（ｂ）に示される２視点の画像の場合、画像読出し部７０１は画像メモリ部１０４から視点番号２の付された画像を読み出す。画像配置部７０３は図２（ｂ）の視点番号１の付された画像の位置となるように出力アドレスを計算し、表示用画像を表示部１０９に出力する。同様にして視点番号１の付された画像を読み出して、図２（ｂ）の視点番号２の付された画像の位置に書き込む。図８はこのときの並べ替えの結果を示す図である。図８は図２（ｂ）の左右の画像が入れ替わった形になる。
【００５６】
なお、いずれの表示方式においても、画像読出し部７０１は、指定された視点番号の画像全体（多視点画像を含む）を読み出すだけでなく、切出す領域の位置とサイズを指定することで、画像の領域の一部を読み出すようにしてもよい。ここで、切出す領域の位置とサイズは予め定められた値を使用するが、撮影時に３Ｄ情報のパラメータとして記録しておき、再生時に記録データに記録された値を使用するようにしてもよい。
【００５７】
以上のようにすることで、操作部１１０がユーザに操作される都度、様々な表示を切替えることができる。例えば、図２（ｂ）に示した画像の場合には、はじめに表示方式Ａで左眼画像（視点番号１）を選択して表示し、次に操作部１１０が操作されたら表示方式Ａで右眼画像（視点番号２）を表示し、さらに操作部１１０が操作されたら表示形式Ｂで２視点画像を表示する。以降、操作部１１０が操作されるたびに、左眼画像と右眼画像と２視点画像の表示を切替える。こうすることで、特別な３次元表示デバイスを備えなくとも、記録した画像データの内容確認を容易に行うことができる。
【００５８】
なお、２次元画像データを再生する場合には、多重分離部１０８において３Ｄ情報が分離されないため、図６のＳＴ２０６においてＳＴ２１０に分岐する。このとき画像変換部１０５は前述の表示方式Ｂの場合と同様にして、復号された画像を表示部１０９に表示する。
【００５９】
また撮影動作時においても、画像メモリ１０４に取り込まれた画像データを表示部１０９に表示してもよい。この場合の表示部１０９における撮影画像の表示の仕方は、再生動作時における復号画像の表示の仕方と同様である。このとき、機能選択部１０２により選択的に表示方式Ａ、表示方式Ｂ、表示方式Ｃを切替えられるようにしてもよいし、以下のようにしてもよい。
【００６０】
すなわち、前述の表示形式Ａは表示部１０９の全画面に任意の視点の画像が表示されるため、１つの視点を表示させると画像全体の構図を把握するのに適している。一方、表示形式Ｂはステレオペア画像が表示されるので、左右眼の画像が枠内にほぼ均等に移っているかを確認するのに適している。したがって、制御部１０６は始めに表示方式Ａで表示するようにしておき、例えばシャッタボタンを軽めに押すなど、操作部１１０がユーザにより操作された時点で、表示方式Ｂに切替えるようにしてもよい。
【００６１】
さらに、撮影時に選択した表示形式を、画像データの記録時に３Ｄ情報のパラメータの１つとして記録し、再生時に記録データに記録された表示形式にしたがって、画像データを表示するようにしてもよい。
【００６２】
なお、上記の実施の形態においては、３Ｄ情報と画像データと多重化して記録媒体に記録しているが、３Ｄ情報と画像データを対応付けて、互いに独立に記録するようにしてもよい。
【００６３】
また、上記の実施の形態においては、表示方式Ｃとして多視点画像の配置上並べ替えているが、さらに、画像処理変換部１０５における処理を切替えることで、図９や図１０（ｂ）に示すように、左眼画像と右眼画像を短冊状のブロックに分解し、前記ブロックを垂直方向または水平方向に交互に並べた表示方式としてもよい。この表示方式では、画像の撮影時や再生時において、画像の視差の大きさを目視で確認することができる。またこのとき、各視点の画像ごとに異なる色で表示するようにしてもよい。例えば、右眼画像を青、左眼画像を赤のモノトーンで表示する。これにより、この表示方式で表示された画像内において、各視点の表示位置がわかるようになり、また特定の色だけを透過するメガネをかけることにより、ユーザが３次元画像として見ることができる。
【００６４】
【発明の効果】
以上の説明したように、本発明によれば、３次元画像データに画像の構造を示す情報を付加することにより、様々な３次元表示方式で使用することのできる３次元画像データを作成することができるという有利な効果が得られる。
【００６５】
また、任意の視点の画像を２次元画像として表示する方式と、多視点画像を２次元画像とみなして表示する方式と、複数の表示方法を適宜切替えて使用することで、特別な３次元表示装置を備えなくとも３次元画像データの記録と記録した画像の内容確認を容易に行えるという有利な効果が得られる。
【図面の簡単な説明】
【図１】本発明の実施の形態による画像処理装置の構成例を示す図である。
【図２】ステレオアダプタで撮影した画像の構成を説明するための図である。
【図３】撮影動作時の処理の流れを示す図である。
【図４】３Ｄ情報に含まれるパラメータの例を示す図である。
【図５】３Ｄ情報の設定例を示す図である。
【図６】再生動作時の処理の流れを示す図である。
【図７】画像変換部１０５の構成例を示す図である。
【図８】表示方式Ｃにおける表示用画像の例を示す図である。
【図９】時分割方式における画像の表示形式を示す図である。
【図１０】パララクスバリア方式の概念を説明するための図である。
【図１１】パララクスバリア方式における画像の表示形式を説明するための図である。
【符号の説明】
１００ 画像データ作成装置
１０１ 撮像部
１０２ 機能選択部
１０３ ３Ｄ情報格納部（制御情報指定手段）
１０４ 画像メモリ
１０５ 画像変換部（画像変換手段）
１０６ 制御部（制御手段）
１０７ コーデック部
１０８ 多重分離部
１０９ スイッチ
１０９ 表示部
１１０ 操作部

Claims (18)

1. ２以上の視点の画像からなる多視点画像を処理する画像処理装置において、
   前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換手段と、
   前記方式の少なくとも２つを切替えて前記表示用画像の出力を制御する制御手段とを備えたことを特徴とする画像処理装置。
2. 前記方式は、単視点の画像から表示用画像を得る第１の方式と、複数視点の画像から表示用画像を得る第２の方式を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記第２の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする請求項２に記載の画像処理装置。
4. 前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って２つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする請求項２または３に記載の画像処理装置。
5. 前記多視点画像を３次元表示するための制御情報を指定する制御情報指定手段を備え、
   前記画像変換手段は前記制御情報に応じて前記多視点画像を処理することを特徴とする請求項１に記載の画像処理装置。
6. 前記画像変換手段は各視点の画像の一部の領域を用いて変換することを特徴とする請求項１に記載の画像処理装置。
7. 前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする請求項１に記載の画像処理装置。
8. 記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする請求項１に記載の画像処理装置。
9. 前記付加情報は前記表示方式を示す情報であることを特徴とする請求項８に記載の画像処理装置。
10. ２以上の視点の画像からなる多視点画像を処理する画像処理方法において、
    前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換ステップと、
    前記方式の少なくとも２つを切替えて前記表示用画像の出力を制御する制御ステップとを有することを特徴とする画像処理方法。
11. 前記方式は、単視点の画像から表示用画像を得る第１の方式と、複数視点の画像から表示用画像を得る第２の方式を含むことを特徴とする請求項１０に記載の画像処理方法。
12. 前記第２の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする請求項１１に記載の画像処理方法。
13. 前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って２つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする請求項１１または１２に記載の画像処理方法。
14. 前記多視点画像を３次元表示するための制御情報を指定する制御情報指定ステップを備え、
    前記画像変換ステップは前記制御情報に応じて前記多視点画像を処理することを特徴とする請求項１０に記載の画像処理方法。
15. 前記画像変換ステップは各視点の画像の一部の領域を用いて変換することを特徴とする請求項１０に記載の画像処理方法。
16. 前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする請求項１０に記載の画像処理方法。
17. 記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする請求項１０に記載の画像処理方法。
18. 前記付加情報は前記表示方式を示す情報であることを特徴とする請求項１７に記載の画像処理方法。

Images