JP2004336492A - 画像処理装置および画像処理方法 - Google Patents
画像処理装置および画像処理方法 Download PDFInfo
- Publication number
- JP2004336492A JP2004336492A JP2003130712A JP2003130712A JP2004336492A JP 2004336492 A JP2004336492 A JP 2004336492A JP 2003130712 A JP2003130712 A JP 2003130712A JP 2003130712 A JP2003130712 A JP 2003130712A JP 2004336492 A JP2004336492 A JP 2004336492A
- Authority
- JP
- Japan
- Prior art keywords
- image
- display
- viewpoint
- image processing
- methods
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
【解決手段】コーデック部107は多重分離部108により分離された符号化画像データを所定の形式で復号し、得られた画像データを画像メモリ104に出力する。制御部106は、画像メモリ104の復号画像を表示するための処理を画像変換部105に開始させる。多重分離部108から記録データが3次元画像データであることが通知された場合、制御部106は、どの表示方式を使用するかを決定する。制御部106は画像変換部105へ画像データの表示方式を指定して変換開始を通知し、画像変換部105は画像メモリ104から復号画像を読み出し、3D情報格納部103から3D情報を読み出して、復号画像を表示用の画像に変換する。
【選択図】 図1
Description
【発明の属する技術分野】
本発明は、3次元表示するための画像データを作成する際に、画像データに属性情報を付随させたり、そのデータを再生する画像処理装置および画像処理方法に関するものである。
【0002】
【従来の技術】
従来、3次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「2眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼画像と右眼画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。
【0003】
図9は、この2眼式の代表的な方式の1つである「時分割方式」を説明するための概念図である。
【0004】
この時分割方式は、図9のように、左眼画像と右眼画像が垂直方向1画素おきに交互にならんだ形に配置され、左眼画像の表示と右眼画像の表示が交互に切替えて表示されるものである。左眼画像および右眼画像は通常の2次元表示時に比べて垂直解像度が1/2になっている。観察者はディスプレイの切替え周期に同期して開閉するシャッタ式のメガネを着用する。ここで使用するシャッタは、左眼画像が表示されている時は左眼側が開いて右眼側が閉じ、右眼画像が表示されている時は左眼側が閉じて右眼側が開く。こうすることで、左眼画像は左眼だけで、右眼画像は右眼だけで観察されることになり、立体視を行うことができる。
【0005】
図10は、2眼式のもう1つの代表的な方式である「パララクスバリア方式」を説明するための概念図である。図10(a)は、視差が生じる原理を示す図である。一方、図10(b)は、パララクスバリア方式で表示される画面を示す図である。
【0006】
図10(a)では、図10(b)に示すような左眼画像と右眼画像が水平方向1画素おきに交互にならんだ形に配置された画像を、画像表示パネル401に表示し、同一視点の画素の間隔よりも狭い間隔でスリットを持つパララクスバリア402を画像表示パネル401の前面に置くことにより、左眼画像は左眼403だけで、右眼画像は右眼404だけで観察することになり、立体視を行うことができる。
【0007】
ところで、パララクスバリア方式と同様に図10(b)に示すような画像を3次元表示する方式に、「レンチキュラ方式」がある。このレンチキュラ方式で用いるための記録データ形式の一例が、特開平11−41627号公報において開示されている。
【0008】
図11は、このようなレンチキュラ方式の記録データ形式の一例を示す概念図である。図11(a)に示す左眼画像501と図11(b)に示す右眼画像502から、それぞれを水平方向に1/2に間引きして図11(c)に示す1枚の混合画像503を作って記録する。再生時にはこの混合画像503を並べ替えることにより図10(b)に示したような合成画像が作成される。
【0009】
【発明が解決しようとする課題】
上記のように、従来の3次元表示システムにおいては、再生装置側で決められた表示方式に適するように、記録データ形式を固定した記録が行われており、記録データに汎用性を持たせることは考えられていない。
【0010】
表示方式以外にも視点数や間引き方法など、3次元表示に必要な情報はいろいろあるが、表示方式が単一の場合、それらの情報は記録データとして記録されない。いつも同じ表示方式を使うなら、あえてそれらの情報を記録する必要がないからだが、このために記録データの汎用性が著しく損なわれている。例えば、パララクスバリア方式(あるいはレンチキュラ方式)用のデータを記録する場合に限っても、左眼画像と右眼画像を別々のシーケンスとして記録することもできるし、図11(c)のような左眼画像と右眼画像が画面半分ずつ左右に並んだ混合画像を記録することもできるし、図10(b)のような左眼画像と右眼画像が水平方向1画素おきに並んだ合成画像を記録することもできる。当然記録形式が違えばこれを表示するための処理方法も異なるが、記録されたデータからはどの形式で記録されたかを知ることができないため、第三者がそのデータを手にした時、どのような処理によって表示すればよいのかがわからないという問題がある。
【0011】
また、被写体を撮影する際には撮影画像を確認するための表示手段が必要であるが、3次元表示を行うことが可能な3次元表示デバイスは、2次元画像のみを表示するための通常の表示デバイスと比較して高価である。したがって、撮影装置に3次元表示デバイスを装備した場合、製品のコストが高くなるという問題がある。
【0012】
本発明は、以上のような問題点を解決するためになされたものであって、その目的は、特別な3次元表示装置を備えなくとも汎用性を持たせた3次元画像データの記録と記録した画像の内容確認を容易に行うことを可能とする画像処理装置および画像処理方法を提供することにある。
【0013】
【課題を解決するための手段】
上記目的を達成するために、2以上の視点の画像からなる多視点画像を処理する画像処理装置において、前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換手段と、前記方式の少なくとも2つを切替えて前記表示用画像の出力を制御する制御手段とを備えたことを特徴とする。
【0014】
また本発明は、前記方式は、単視点の画像から表示用画像を得る第1の方式と、複数視点の画像から表示用画像を得る第2の方式を含むことを特徴とする。
【0015】
また本発明は、前記第2の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする。
【0016】
また本発明は、前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って2つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする請求項2または3に記載の画像処理装置。
【0017】
また本発明は、前記多視点画像を3次元表示するための制御情報を指定する制御情報指定手段を備え、前記画像変換手段は前記制御情報に応じて前記多視点画像を処理することを特徴とする。
【0018】
また本発明は、前記画像変換手段は各視点の画像の一部の領域を用いて変換することを特徴とする。
【0019】
また本発明は、前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする。
【0020】
また本発明は、記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする。
【0021】
また本発明は、前記付加情報は前記表示方式を示す情報であることを特徴とする。
【0022】
また、本発明は、2以上の視点の画像からなる多視点画像を処理する画像処理方法において、前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換ステップと、前記方式の少なくとも2つを切替えて前記表示用画像の出力を制御する制御ステップとを有することを特徴とする。
【0023】
また本発明は、前記方式は、単視点の画像から表示用画像を得る第1の方式と、複数視点の画像から表示用画像を得る第2の方式を含むことを特徴とする。
【0024】
また本発明は、前記第2の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする。
【0025】
また本発明は、前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って2つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする。
【0026】
また本発明は、前記多視点画像を3次元表示するための制御情報を指定する制御情報指定ステップを備え、前記画像変換ステップは前記制御情報に応じて前記多視点画像を処理することを特徴とする。
【0027】
また本発明は、前記画像変換ステップは各視点の画像の一部の領域を用いて変換することを特徴とする。
【0028】
また本発明は、前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする。
【0029】
また本発明は、記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする。
【0030】
また本発明は、前記付加情報は前記表示方式を示す情報であることを特徴とする。
【0031】
【発明の実施の形態】
以下、本発明の実施の形態について、図面を参照しながら説明する。
【0032】
図1は本発明の実施の形態による画像処理装置の構成例を示すブロック図である。図1において、100は被写体像を撮影して得られる画像データを記録媒体に記録し、また記録媒体に記録された画像データを再生することのできる画像処理装置、200はICメモリカードや光ディスクなどの画像処理装置100に着脱可能な記録媒体である。
【0033】
画像処理装置100はCCDなどの撮像素子やオートフォーカス回路を備えた撮像部101、撮影動作や再生動作を選択的に切替えるための機能選択部102、画像データを3次元表示するための制御情報である3D情報を格納する3D情報格納部103(制御情報指定手段)、画像データを保持するための画像メモリ104、前記3D情報に従って画像データを変換する画像変換部105(画像変換手段)、各部の動作を制御するための制御部106(制御手段)、画像データを所定の方式で符号化し、また符号化された画像データを復号するコーデック部107、画像データと3D情報を多重化して記録媒体200に記録し、また多重化された画像データと3D情報を分離する多重分離部108、2次元表示デバイスを備えた表示部109および操作ボタンなどを備えた操作部110から構成される。
【0034】
なお、簡単化のために図示しないが、図1において、制御部106とその他の構成要素との間は、制御のために相互に接続されているものとする。
本実施の形態では、3次元表示用の画像を撮影するために、撮像部101の撮像面に複数の被写体像を結像することの可能なステレオアダプタを用いるものとする。図2は前記ステレオアダプタを装着して撮影した画像の構成を説明するための図である。図2(a)はステレオアダプタを装着しない状態で撮影した場合を示しており、図2(b)は、本実施の形態で使用する、画角が1/2になるタイプのステレオアダプタを装着して撮影した場合の例を示している(図中の数字は説明のために視点番号を示したもので、本来の画像には付されるものではない)。ただし、本発明はこれに限定されるものではなく、他のタイプのステレオアダプタを使用してもよいし、複数のカメラを使用する多眼式の撮像部を使用してもよい。
【0035】
以上のように構成された画像処理装置100について、その動作を説明する。以下の説明では静止画像を撮影/再生する場合について述べるが、本発明はこれに限定されるものではなく、動画像についても適用可能である。
【0036】
はじめに撮影時の動作について説明する。図3に撮影動作の処理の流れ図を示す。撮影を開始する前に、ユーザは機能選択部102を操作して、撮影動作の選択を行う。2次元画像を撮影する際には通常撮影動作を選択し、3次元画像を撮影する際には、撮像部101に前述のステレオアダプタを装着してステレオ撮影動作を選択する。機能選択部102は選択された撮影動作を制御部106に対して通知する。
【0037】
制御部106は撮像部101による画像の取り込みを開始する。撮像部101により所定の周期で画像1フレームの取り込みが行われ、画像データが画像メモリ104に対して出力される(ST101)。
【0038】
ユーザにより操作部110の操作ボタンが押されると、制御部106はコーデック部107に対して符号化の開始を通知する(ST102)。コーデック部107は画像メモリ104から画像データを読み出し、所定の方式で符号化処理を行った後、得られた符号化画像データを多重分離部108に対して出力し、制御部106に対して符号化終了を通知する(ST103)。ここで使用する符号化方式は、画像データを静止画として記録する場合には、静止画符号化方式の国際標準であるJPEGを用いてもよいし、それ以外の方式を用いてもよい。また、画像データを動画として記録する場合には、動画像符号化方式の国際標準であるMPEG−4を用いてもよいし、それ以外の方式を用いてもよい。
【0039】
次いで制御部106は多重分離部108に対して多重化の開始を通知する。通知を受けると多重分離部108は、ステレオ撮影動作ではST105へ進み、通常動作ではST108に進む(ST104)。
【0040】
ステレオ撮影動作では、3D情報格納部103から3D情報を読み込み(ST105)、該3D情報とコーデック部107から入力された符号化画像データとを多重化して所定の記録形式にフォーマット化し(ST106)、記録媒体200に記録する(ST107)。ここで3D情報は固定長符号化により符号化されるものとするが、符号化方式は可変長符号化を用いてもよいし、可変長符号化と固定長符号化の両方を用いてもよい。
【0041】
また通常撮影動作では、コーデック部107から入力された符号化画像データを所定の記録形式にフォーマット化(ST108)し、記録媒体200に記録する(ST107)。
【0042】
なお、図1には図示しないが、制御部106は撮影日時や画像データの色空間情報、記録装置名などの付随情報を多重分離部108に対して指定し、画像データと共に記録するようにしてもよい。
【0043】
ここで3D情報について説明する。図4は3D情報の例を示す図である。図4において、401は3D情報開始コードであり、3D情報の開始を表す固定値のデータである。402はバージョン情報であり、3D情報の互換性を示すためのものである。403は水平方向の視点数を示し、404は垂直方向の視点数を示すためのものである。また、405は各視点の画像が結合されているか否かを示すためのものであり、「あり」、「なし」のいずれかの値をとる。406は画像結合が「あり」の場合に、画像結合時の配置方法を示し、ここでは「水平」、「垂直」のいずれかの値をとるものとする。画像配置406は、画像結合が「なし」の場合には省略される。なお図4では、他のパラメータの値によって省略される可能性のあるパラメータを、先頭に空白を入れて表記することとしている。
【0044】
さらに、407は各視点の画像が水平方向に縮小されているか否か(「あり」、「なし」のいずれかの値をとる)を、408は画像が水平方向に縮小されている場合の縮小率を示す。同様に409は各視点の画像が垂直方向に縮小されているか否かを、410は画像が垂直方向に縮小されている場合の縮小率を示す。水平方向の縮小407および垂直方向の縮小409が「なし」の場合には、それぞれ縮小率408、410が省略される。パラメータ403からパラメータ410までは画像データの構造に関するパラメータである。また411については後述する。
【0045】
図5は、図2(b)で示した画像データに対応した3D情報の例を示す図であり、“=”で結ばれた左側が3D情報のパラメータ名を、右側がその設定値を表している。図2(b)で示したように、左右の2視点の画像が水平方向に結合されており、水平方向について1/2に縮小されていることを示している。なお、垂直方向には縮小されていないため、垂直方向の縮小比は省略されている。以上のように、3D情報におけるパラメータはステレオアダプタの種類等によって一意に決定されるものであるので、予めユーザ等により設定がなされて3D情報格納部103に格納されているものとする。
【0046】
続いて、記録媒体200に記録されている画像データを再生して表示部109に表示する再生動作について説明する。図6に再生動作時における処理の流れ図を示す。以下、図6を参照しながら再生動作について説明する。
【0047】
再生動作が開始されると制御部106は多重分離部108に対して分離の開始を通知する。多重分離部108は、記録媒体200から所定の記録形式にフォーマット化された記録データを読み出す(ST201)。さらに、多重分離部108は、前記記録形式に従って該記録データの先頭から構文を解析し、記録データ中から符号化画像データを抽出する(ST202)。さらに、前述の3D情報開始コードが存在するか判定を行い(ST203)、前記3D情報開始コードが存在する場合にはST204へ進み、それ以外の場合にはST205へ進む。ST204では、3D情報を抽出し、制御部106に対して3次元画像データであることを通知する。符号化画像データはコーデック部107に出力され、3D情報は3D情報格納部103に対して出力される。
【0048】
コーデック部107は多重分離部108により分離された符号化画像データを所定の方式で復号し、得られた画像データを画像メモリ104に出力すると共に、復号終了を制御部106に対して通知する(ST205)。
【0049】
図6のST206では、多重分離部108から記録データが3次元画像データであることが通知された場合にはST207に進み、そうでなければST210へ進む。
【0050】
次に制御部106は、いずれの表示方式を使用するかを決定する(ST207)。ここで、表示部109における表示方式は、画像データに含まれる多視点画像のうち、任意の視点の画像を選択して、2次元画像として表示する方式(ここでは、この方式を表示方式Aと呼ぶことにする)と、付随する3D情報とは無関係に、多視点画像を2次元画像とみなして、そのまま表示する方式(ここでは、この方式を表示方式Bと呼ぶことにする)と、多視点画像を並べ替えて表示する方式(表示方式C)3通りの表示の仕方が可能であるものとする。
これらの表示方式は、画像処理装置において予め設定された方式を使用してもよいし、機能選択部102または操作部110によりユーザが切替えられるようにしてもよい。さらに、撮影時に予め記録データに記録機器名を付加しておき、再生時に記録機器名を読み出して、自端末の名称と一致した場合には所定の表示方式を使用し、それ以外の場合にはその他の表示形式を使用するようにして決定してもよい。
【0051】
制御部106は画像変換部105へ画像データの表示方式を指定して変換開始を通知し、画像変換部105は画像メモリ104から復号画像を読み出し、また3D情報格納部103から3D情報を読み出して、復号画像を表示用の画像に変換する(ST208)。指定された表示方式に変換された表示用画像が表示部109に表示される(ST209)。
【0052】
図7は画像変換部105の構成例を示すブロック図である。図7に示すように画像変換部105は画像メモリ104から復号画像データを読み出す画像読出し部701、拡大処理および縮小処理を行う拡大/縮小部702および表示部109に表示用画像データを出力する画像配置部703から構成される。また、図7において、復号画像の格納領域の先頭を示す読み出し先頭アドレス、視点番号、復号画像のサイズを示す画像サイズ、表示サイズ、表示用画像の格納領域の先頭アドレスを示す書き込み先頭アドレスは制御部106から指定されるものとする。
【0053】
ここで各表示方式における画像の変換について、画像メモリ104に記録されている復号画像が図2(b)に示される2視点の画像の場合を例に説明する。
まず、表示方式Aの場合についてであるが、画像変換部105は3D情報格納部103から読み出した3D情報を解釈し、画像メモリ104に記録されている画像データが、水平方向に1/2に縮小した画像を水平方向に結合した形式であることを知ることができる。したがって、画像読み出し部701は、制御部106から指定された読み出し先頭アドレス、画像サイズ、視点番号から復号画像データの読み出し先アドレスを計算し、拡大/縮小部702に画像データを読み出す。拡大/縮小部702は、水平方向に2倍に拡大処理を行い、縦横比の正しい2次元画像を得る。さらに、必要ならば表示サイズとなるように拡大処理または縮小処理を行ってもよい。画像配置部703は、書き込み先頭アドレスや表示サイズから出力アドレスを計算し、表示用画像を該出力アドレスで示される領域に出力する。この例では2視点の画像を取り上げたために、2視点から任意の1視点を選んでいるが、N視点からM視点を選ぶようにすることができる(ただしM<N、MおよびNは自然数である)。この場合、視点数の数Nだけ制御部106から視点番号が指定されるので、各視点番号について、上記の処理をN回実行する。
【0054】
ここで2次元画像として使用する画像は、制御部106が任意に指定することができる。制御部106から特に指定されない場合には、3D情報の2D画像指定パラメータで指定される視点に対応する画像を含むように選択して使用してもよいし、ユーザにより選択された視点に対応した画像を使用してもよいし、画像処理装置において予め定められた視点に対応した画像を選択して使用してもよい。
次に表示方式Bの場合について説明する。画像読出し部701は画像メモリ104の読出し先頭アドレスの指す領域から画像データを読み出し、拡大/縮小部702は必要に応じて拡大処理または縮小処理を行い、画像配置部703表示用画像を表示部109の書き込み先頭アドレスで示される領域に出力する。
【0055】
最後に表示方式Cの場合について説明する。画像データが図2(b)に示される2視点の画像の場合、画像読出し部701は画像メモリ部104から視点番号2の付された画像を読み出す。画像配置部703は図2(b)の視点番号1の付された画像の位置となるように出力アドレスを計算し、表示用画像を表示部109に出力する。同様にして視点番号1の付された画像を読み出して、図2(b)の視点番号2の付された画像の位置に書き込む。図8はこのときの並べ替えの結果を示す図である。図8は図2(b)の左右の画像が入れ替わった形になる。
【0056】
なお、いずれの表示方式においても、画像読出し部701は、指定された視点番号の画像全体(多視点画像を含む)を読み出すだけでなく、切出す領域の位置とサイズを指定することで、画像の領域の一部を読み出すようにしてもよい。ここで、切出す領域の位置とサイズは予め定められた値を使用するが、撮影時に3D情報のパラメータとして記録しておき、再生時に記録データに記録された値を使用するようにしてもよい。
【0057】
以上のようにすることで、操作部110がユーザに操作される都度、様々な表示を切替えることができる。例えば、図2(b)に示した画像の場合には、はじめに表示方式Aで左眼画像(視点番号1)を選択して表示し、次に操作部110が操作されたら表示方式Aで右眼画像(視点番号2)を表示し、さらに操作部110が操作されたら表示形式Bで2視点画像を表示する。以降、操作部110が操作されるたびに、左眼画像と右眼画像と2視点画像の表示を切替える。こうすることで、特別な3次元表示デバイスを備えなくとも、記録した画像データの内容確認を容易に行うことができる。
【0058】
なお、2次元画像データを再生する場合には、多重分離部108において3D情報が分離されないため、図6のST206においてST210に分岐する。このとき画像変換部105は前述の表示方式Bの場合と同様にして、復号された画像を表示部109に表示する。
【0059】
また撮影動作時においても、画像メモリ104に取り込まれた画像データを表示部109に表示してもよい。この場合の表示部109における撮影画像の表示の仕方は、再生動作時における復号画像の表示の仕方と同様である。このとき、機能選択部102により選択的に表示方式A、表示方式B、表示方式Cを切替えられるようにしてもよいし、以下のようにしてもよい。
【0060】
すなわち、前述の表示形式Aは表示部109の全画面に任意の視点の画像が表示されるため、1つの視点を表示させると画像全体の構図を把握するのに適している。一方、表示形式Bはステレオペア画像が表示されるので、左右眼の画像が枠内にほぼ均等に移っているかを確認するのに適している。したがって、制御部106は始めに表示方式Aで表示するようにしておき、例えばシャッタボタンを軽めに押すなど、操作部110がユーザにより操作された時点で、表示方式Bに切替えるようにしてもよい。
【0061】
さらに、撮影時に選択した表示形式を、画像データの記録時に3D情報のパラメータの1つとして記録し、再生時に記録データに記録された表示形式にしたがって、画像データを表示するようにしてもよい。
【0062】
なお、上記の実施の形態においては、3D情報と画像データと多重化して記録媒体に記録しているが、3D情報と画像データを対応付けて、互いに独立に記録するようにしてもよい。
【0063】
また、上記の実施の形態においては、表示方式Cとして多視点画像の配置上並べ替えているが、さらに、画像処理変換部105における処理を切替えることで、図9や図10(b)に示すように、左眼画像と右眼画像を短冊状のブロックに分解し、前記ブロックを垂直方向または水平方向に交互に並べた表示方式としてもよい。この表示方式では、画像の撮影時や再生時において、画像の視差の大きさを目視で確認することができる。またこのとき、各視点の画像ごとに異なる色で表示するようにしてもよい。例えば、右眼画像を青、左眼画像を赤のモノトーンで表示する。これにより、この表示方式で表示された画像内において、各視点の表示位置がわかるようになり、また特定の色だけを透過するメガネをかけることにより、ユーザが3次元画像として見ることができる。
【0064】
【発明の効果】
以上の説明したように、本発明によれば、3次元画像データに画像の構造を示す情報を付加することにより、様々な3次元表示方式で使用することのできる3次元画像データを作成することができるという有利な効果が得られる。
【0065】
また、任意の視点の画像を2次元画像として表示する方式と、多視点画像を2次元画像とみなして表示する方式と、複数の表示方法を適宜切替えて使用することで、特別な3次元表示装置を備えなくとも3次元画像データの記録と記録した画像の内容確認を容易に行えるという有利な効果が得られる。
【図面の簡単な説明】
【図1】本発明の実施の形態による画像処理装置の構成例を示す図である。
【図2】ステレオアダプタで撮影した画像の構成を説明するための図である。
【図3】撮影動作時の処理の流れを示す図である。
【図4】3D情報に含まれるパラメータの例を示す図である。
【図5】3D情報の設定例を示す図である。
【図6】再生動作時の処理の流れを示す図である。
【図7】画像変換部105の構成例を示す図である。
【図8】表示方式Cにおける表示用画像の例を示す図である。
【図9】時分割方式における画像の表示形式を示す図である。
【図10】パララクスバリア方式の概念を説明するための図である。
【図11】パララクスバリア方式における画像の表示形式を説明するための図である。
【符号の説明】
100 画像データ作成装置
101 撮像部
102 機能選択部
103 3D情報格納部(制御情報指定手段)
104 画像メモリ
105 画像変換部(画像変換手段)
106 制御部(制御手段)
107 コーデック部
108 多重分離部
109 スイッチ
109 表示部
110 操作部
Claims (18)
- 2以上の視点の画像からなる多視点画像を処理する画像処理装置において、
前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換手段と、
前記方式の少なくとも2つを切替えて前記表示用画像の出力を制御する制御手段とを備えたことを特徴とする画像処理装置。 - 前記方式は、単視点の画像から表示用画像を得る第1の方式と、複数視点の画像から表示用画像を得る第2の方式を含むことを特徴とする請求項1に記載の画像処理装置。
- 前記第2の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする請求項2に記載の画像処理装置。
- 前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って2つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする請求項2または3に記載の画像処理装置。
- 前記多視点画像を3次元表示するための制御情報を指定する制御情報指定手段を備え、
前記画像変換手段は前記制御情報に応じて前記多視点画像を処理することを特徴とする請求項1に記載の画像処理装置。 - 前記画像変換手段は各視点の画像の一部の領域を用いて変換することを特徴とする請求項1に記載の画像処理装置。
- 前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする請求項1に記載の画像処理装置。
- 記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする請求項1に記載の画像処理装置。
- 前記付加情報は前記表示方式を示す情報であることを特徴とする請求項8に記載の画像処理装置。
- 2以上の視点の画像からなる多視点画像を処理する画像処理方法において、
前記多視点画像を処理して表示用画像を得る方式を複数用いる画像変換ステップと、
前記方式の少なくとも2つを切替えて前記表示用画像の出力を制御する制御ステップとを有することを特徴とする画像処理方法。 - 前記方式は、単視点の画像から表示用画像を得る第1の方式と、複数視点の画像から表示用画像を得る第2の方式を含むことを特徴とする請求項10に記載の画像処理方法。
- 前記第2の方式は、各視点の画像を短冊状のブロックに分割し、異なる視点の画像に属する前記ブロックを交互に並べて表示用画像を得る方式であることを特徴とする請求項11に記載の画像処理方法。
- 前記多視点画像を記録媒体に記録する際に、所定の操作がなされた場合に限って2つの方式のいずれか一方を実行し、それ以外の場合には他方の方式を実行することを特徴とする請求項11または12に記載の画像処理方法。
- 前記多視点画像を3次元表示するための制御情報を指定する制御情報指定ステップを備え、
前記画像変換ステップは前記制御情報に応じて前記多視点画像を処理することを特徴とする請求項10に記載の画像処理方法。 - 前記画像変換ステップは各視点の画像の一部の領域を用いて変換することを特徴とする請求項10に記載の画像処理方法。
- 前記多視点画像を記録媒体に記録する際に、複数の方式のいずれを選択したかを示す表示情報を付加することを特徴とする請求項10に記載の画像処理方法。
- 記録媒体に記録された多視点画像を再生する際に、前記記録媒体に前記多視点画像と共に記録された付加情報を用いて複数の方式のいずれかを選択することを特徴とする請求項10に記載の画像処理方法。
- 前記付加情報は前記表示方式を示す情報であることを特徴とする請求項17に記載の画像処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003130712A JP2004336492A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置および画像処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2003130712A JP2004336492A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置および画像処理方法 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2004336492A true JP2004336492A (ja) | 2004-11-25 |
Family
ID=33506139
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2003130712A Pending JP2004336492A (ja) | 2003-05-08 | 2003-05-08 | 画像処理装置および画像処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2004336492A (ja) |
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042645A (ja) * | 2006-08-08 | 2008-02-21 | Nikon Corp | カメラおよび画像表示装置並びに画像記憶装置 |
JP2008141515A (ja) * | 2006-12-01 | 2008-06-19 | Fujifilm Corp | 画像出力システム、画像生成装置および画像生成方法 |
JP2010268492A (ja) * | 2010-06-30 | 2010-11-25 | Fujifilm Corp | 画像出力システム、画像生成装置および画像生成方法 |
JP2011114863A (ja) * | 2009-11-23 | 2011-06-09 | Samsung Electronics Co Ltd | 3D映像の提供方法、3D映像の変換方法、GUI提供方法及びこれを適用した3Dディスプレイ装置、そして3D映像の提供システム{Methodforproviding3Dimage、methodforconverting3Dimage、GUIprovidingmethodrelatedto3Dimageand3Ddisplayapparatusandsystemforproviding3Dimage} |
JP2011114866A (ja) * | 2009-11-23 | 2011-06-09 | Samsung Electronics Co Ltd | 3D映像提供方法及びこれを適用した3Dディスプレイ装置{Methodforproviding3Dimageand3Ddisplayapparatus} |
JP2012506649A (ja) * | 2008-10-21 | 2012-03-15 | スリーディースイッチ ソシエタ ア レスポンサビリタ リミタータ | 立体画像をエンコード及びデコードするためのシステム |
JP2012178709A (ja) * | 2011-02-25 | 2012-09-13 | Toshiba Corp | 映像信号処理モードの切替え装置及び切替え方法 |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0530538A (ja) * | 1991-07-24 | 1993-02-05 | Olympus Optical Co Ltd | 画像記録装置および画像再生装置 |
JPH05122733A (ja) * | 1991-10-28 | 1993-05-18 | Nippon Hoso Kyokai <Nhk> | 3次元画像表示装置 |
JPH08317425A (ja) * | 1995-05-19 | 1996-11-29 | Olympus Optical Co Ltd | 電子カメラ |
JPH10336705A (ja) * | 1997-06-02 | 1998-12-18 | Canon Inc | 複眼カメラ |
JPH11191895A (ja) * | 1996-12-04 | 1999-07-13 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置 |
JP2000197074A (ja) * | 1998-12-25 | 2000-07-14 | Canon Inc | 立体映像再生装置及び出力装置及びその制御方法及び記憶媒体 |
JP2001197521A (ja) * | 2000-01-06 | 2001-07-19 | Toppan Printing Co Ltd | 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体 |
JP2003111101A (ja) * | 2001-09-26 | 2003-04-11 | Sanyo Electric Co Ltd | 立体画像処理方法、装置、およびシステム |
-
2003
- 2003-05-08 JP JP2003130712A patent/JP2004336492A/ja active Pending
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0530538A (ja) * | 1991-07-24 | 1993-02-05 | Olympus Optical Co Ltd | 画像記録装置および画像再生装置 |
JPH05122733A (ja) * | 1991-10-28 | 1993-05-18 | Nippon Hoso Kyokai <Nhk> | 3次元画像表示装置 |
JPH08317425A (ja) * | 1995-05-19 | 1996-11-29 | Olympus Optical Co Ltd | 電子カメラ |
JPH11191895A (ja) * | 1996-12-04 | 1999-07-13 | Matsushita Electric Ind Co Ltd | 高解像度および立体映像記録用光ディスク、光ディスク再生装置、および光ディスク記録装置 |
JPH10336705A (ja) * | 1997-06-02 | 1998-12-18 | Canon Inc | 複眼カメラ |
JP2000197074A (ja) * | 1998-12-25 | 2000-07-14 | Canon Inc | 立体映像再生装置及び出力装置及びその制御方法及び記憶媒体 |
JP2001197521A (ja) * | 2000-01-06 | 2001-07-19 | Toppan Printing Co Ltd | 撮像装置、撮像方法及び撮像条件に係るデータを記録した記録媒体 |
JP2003111101A (ja) * | 2001-09-26 | 2003-04-11 | Sanyo Electric Co Ltd | 立体画像処理方法、装置、およびシステム |
Cited By (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008042645A (ja) * | 2006-08-08 | 2008-02-21 | Nikon Corp | カメラおよび画像表示装置並びに画像記憶装置 |
JP2008141515A (ja) * | 2006-12-01 | 2008-06-19 | Fujifilm Corp | 画像出力システム、画像生成装置および画像生成方法 |
JP4605400B2 (ja) * | 2006-12-01 | 2011-01-05 | 富士フイルム株式会社 | 画像出力システム、画像生成装置および画像生成方法 |
US8237778B2 (en) | 2006-12-01 | 2012-08-07 | Fujifilm Corporation | Image output system, image generating device and method of generating image |
JP2012506649A (ja) * | 2008-10-21 | 2012-03-15 | スリーディースイッチ ソシエタ ア レスポンサビリタ リミタータ | 立体画像をエンコード及びデコードするためのシステム |
JP2011114863A (ja) * | 2009-11-23 | 2011-06-09 | Samsung Electronics Co Ltd | 3D映像の提供方法、3D映像の変換方法、GUI提供方法及びこれを適用した3Dディスプレイ装置、そして3D映像の提供システム{Methodforproviding3Dimage、methodforconverting3Dimage、GUIprovidingmethodrelatedto3Dimageand3Ddisplayapparatusandsystemforproviding3Dimage} |
JP2011114866A (ja) * | 2009-11-23 | 2011-06-09 | Samsung Electronics Co Ltd | 3D映像提供方法及びこれを適用した3Dディスプレイ装置{Methodforproviding3Dimageand3Ddisplayapparatus} |
JP2015167362A (ja) * | 2009-11-23 | 2015-09-24 | 三星電子株式会社Samsung Electronics Co.,Ltd. | 3D映像の提供方法、3D映像の変換方法、GUI提供方法及びこれを適用した3Dディスプレイ装置、そして3D映像の提供システム{Methodforproviding3Dimage、methodforconverting3Dimage、GUIprovidingmethodrelatedto3Dimageand3Ddisplayapparatusandsystemforproviding3Dimage} |
JP2010268492A (ja) * | 2010-06-30 | 2010-11-25 | Fujifilm Corp | 画像出力システム、画像生成装置および画像生成方法 |
JP2012178709A (ja) * | 2011-02-25 | 2012-09-13 | Toshiba Corp | 映像信号処理モードの切替え装置及び切替え方法 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10341636B2 (en) | Broadcast receiver and video data processing method thereof | |
JP4630149B2 (ja) | 画像処理装置 | |
US7679616B2 (en) | Image data generation apparatus for adding attribute information regarding image pickup conditions to image data, image data reproduction apparatus for reproducing image data according to added attribute information, and image data recording medium related thereto | |
JP4693900B2 (ja) | 画像処理装置 | |
JP4134027B2 (ja) | 画像符号化装置、画像復号装置、及び画像記録装置 | |
US7889196B2 (en) | 3-dimensional image creating apparatus, 3-dimensional image reproducing apparatus, 3-dimensional image processing apparatus, 3-dimensional image processing program and recording medium recorded with the program | |
JP4630150B2 (ja) | 立体画像記録装置及びプログラム | |
KR20080066408A (ko) | 3차원 영상 처리 장치 및 방법 | |
JP4181446B2 (ja) | 立体画像表示装置 | |
JP4259884B2 (ja) | 画像データ作成装置およびそのデータを再生する画像データ再生装置 | |
JP2002077943A (ja) | 画像取り扱い装置 | |
WO2004093469A1 (ja) | 立体視画像処理装置、立体視画像提供方法、画像表示方法 | |
JP2005094168A (ja) | ファイル構造及びそれを用いる画像記録装置並びに画像再生装置 | |
JP2011211450A (ja) | 立体映像表示装置、立体映像撮像装置および立体映像表示方法 | |
JP2004274091A (ja) | 画像データ作成装置、画像データ再生装置、画像データ記録方式および画像データ記録媒体 | |
CN104604222B (zh) | 用于产生、传送和接收立体图像的方法及有关设备 | |
JP2005184377A (ja) | 画像変換装置及びそれを用いた画像記録装置 | |
JP4657258B2 (ja) | 立体画像表示装置およびその方法 | |
JP2004336492A (ja) | 画像処理装置および画像処理方法 | |
JP4173684B2 (ja) | 立体画像作成装置 | |
JP4668602B2 (ja) | 立体視画像生成装置および方法並びにプログラム | |
JP2002209232A (ja) | 複眼カメラ | |
EP2685730A1 (en) | Playback device, playback method, and program | |
WO2013080555A1 (ja) | 立体視映像データ生成装置及び立体視映像再生装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050810 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20071207 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20071218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080215 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20081028 |