JP2012034215A - 画像処理装置および方法、並びにプログラム - Google Patents

Abstract

【課題】より簡単に３Ｄ映像の輻輳点のずれの発生を抑制できるようにする。
【解決手段】撮像部２３−１および撮像部２３−２は、光学系２２から入射した光を光電変換することにより、立体画像を表示するための左眼用のＬ画像と右眼用のＲ画像を撮像する。和信号演算部２５は、Ｌ画像とＲ画像の和を求めて、和信号を生成し、信号切り替え部３０を介して表示部３１に供給する。表示部３１は、供給された和信号に基づいて画像を表示させる。和信号に基づく画像は、Ｌ画像とＲ画像を重ね合わせたものであるから、被写体の撮像中に和信号に基づく画像を表示することで、ユーザは左右の映像のずれを確認しながら、より高精度にフォーカス調整をすることができ、その結果、輻輳点のずれの発生を抑制することができる。本発明は、カメラに適用することができる。
【選択図】図１

Description

本発明は画像処理装置および方法、並びにプログラムに関し、特に、より簡単に３Ｄ映像の輻輳点のずれの発生を抑制することができるようにした画像処理装置および方法、並びにプログラムに関する。

いわゆる単レンズステレオ３Ｄカメラで撮像される立体映像では、主題となるフォーカスのあっている被写体は、その立体映像が表示される表示画面の位置に定位するという特徴がある。すなわち、立体映像を構成する左眼映像と右眼映像を表示画面に表示させたときに、それらの左右の映像のフォーカスのあっている同じ被写体が、表示画面上において殆ど重なることになる。

そのため、偏光眼鏡やシャッタ眼鏡等が利用されて立体映像が視聴される表示装置においては、ユーザが偏光眼鏡等を装着せずに、表示装置に表示された映像を鑑賞すると、その映像は２Ｄ（２次元）映像として見える。また、ユーザが、偏光眼鏡等を装着して、表示装置に表示された映像を鑑賞すると、その映像は３Ｄ（３次元）映像として見える（例えば、特許文献１参照）。このように、偏光眼鏡等を利用する表示装置は、２Ｄ映像と３Ｄ映像の互換性を持つという特徴を有している。

特開２０１０−６２７６７号公報

ところで、単レンズステレオ３Ｄカメラで立体映像が撮像される場合、撮影者は、左眼映像または右眼映像の何れかをビューワに表示させて、ビューワに表示された片眼の映像を確認しながら、フォーカス、ズーム、アイリス等のレンズ調整を行なう。このように、片眼の映像を見ながら撮像を行なうと、わずかなフォーカスずれが生じてしまうことがある。

単レンズステレオ３Ｄカメラにおいて、微小なフォーカス調整のずれが生じると、得られた立体映像を表示装置に表示させた場合に、左眼映像と右眼映像の輻輳点の位置も表示画面からずれてしまい、２Ｄ映像と３Ｄ映像の互換性が失われてしまう。

本発明は、このような状況に鑑みてなされたものであり、より簡単に３Ｄ映像の輻輳点のずれの発生を抑制することができるようにするものである。

本発明の第１の側面の画像処理装置は、被写体を立体表示するための互いに視差を有する画像を撮像して、前記画像の画像信号を生成する撮像手段と、前記視差を有する画像の画像信号を加算することで加算信号を生成する加算信号演算手段と、前記視差を有する画像の撮像中に、前記加算信号に基づく画像を表示する表示手段とを備える。

画像処理装置には、前記画像信号の差を求めることで差信号を生成する差信号演算手段と、前記加算信号および前記差信号を符号化する符号化手段とをさらに設けることができる。

前記符号化手段には、前記加算信号および前記差信号を階層符号化させることができる。

画像処理装置には、前記画像信号に基づく画像、前記加算信号に基づく画像、または前記差信号に基づく画像の何れかが前記表示手段に表示されるように、画像の表示を切り替える切り替え手段をさらに設けることができる。

前記撮像手段には、光学系を介して前記被写体から入射した異なる光束を受光することで、前記視差を有する画像を撮像する複数の撮像部を設けることができる。

前記加算信号演算手段には、３以上の前記画像信号を加算して得られた信号を、加算した前記画像信号の数で除算することにより前記加算信号を生成させ、前記画像信号と前記加算信号の差を求めることで差信号を生成する差信号演算手段と、前記加算信号および前記差信号を符号化する符号化手段とをさらに設けることができる。

本発明の第１の側面の画像処理方法またはプログラムは、被写体を立体表示するための互いに視差を有する画像の撮像を制御して、前記画像の画像信号を生成させ、前記視差を有する画像の画像信号を加算することで加算信号を生成し、前記視差を有する画像の撮像中に、前記加算信号に基づく画像を表示させるステップを含む。

本発明の第１の側面においては、被写体を立体表示するための互いに視差を有する画像が撮像されて、前記画像の画像信号が生成され、前記視差を有する画像の画像信号を加算することで加算信号が生成され、前記視差を有する画像の撮像中に、前記加算信号に基づく画像が表示される。

本発明の第２の側面の画像処理装置は、被写体を立体表示するための互いに視差を有する画像を撮像して得られた画像信号を加算して生成された加算信号であって、所定の符号化方式により符号化されている加算信号を受信する受信手段と、受信された前記加算信号を復号する復号手段と、復号された前記加算信号に基づく画像を表示する表示手段とを備える。

前記加算信号を階層符号化し、前記復号手段には、階層符号化により得られた各階層の前記加算信号のうち、最下層から、指定された解像度の画像が得られる階層までの前記加算信号を復号させることができる。

前記受信手段には、前記被写体を撮像する撮像装置から前記加算信号を受信させ、前記表示手段には、前記撮像装置における前記被写体の撮像中に、前記加算信号に基づく画像を表示させることができる。

本発明の第２の側面の画像処理方法またはプログラムは、被写体を立体表示するための互いに視差を有する画像を撮像して得られた画像信号を加算して生成された加算信号であって、所定の符号化方式により符号化されている加算信号の受信を制御し、受信された前記加算信号を復号し、復号された前記加算信号に基づく画像の表示を制御するステップを含む。

本発明の第２の側面においては、被写体を立体表示するための互いに視差を有する画像を撮像して得られた画像信号を加算して生成された加算信号であって、所定の符号化方式により符号化されている加算信号が受信され、受信された前記加算信号が復号され、復号された前記加算信号に基づく画像が表示される。

本発明の第１の側面および第２の側面によれば、より簡単に３Ｄ映像の輻輳点のずれの発生を抑制することができる。

本発明を適用した撮像装置の一実施の形態の構成例を示す図である。 撮像処理を説明するフローチャートである。 信号再生装置の構成例を示す図である。 再生処理を説明するフローチャートである。 信号再生装置の他の構成例を示す図である。 再生処理を説明するフローチャートである。 信号再生部の構成例を示す図である。 編集点記録処理を説明するフローチャートである。 撮像装置の構成例を示す図である。 撮像処理を説明するフローチャートである。 撮像装置の構成例を示す図である。 撮像処理を説明するフローチャートである。 信号再生装置の構成例を示す図である。 再生処理を説明するフローチャートである。 コンピュータの構成例を示すブロック図である。

以下、図面を参照して、本発明を適用した実施の形態について説明する。

〈第１の実施の形態〉
［撮像装置の構成］
図１は、本発明を適用した撮像装置の一実施の形態の構成例を示す図である。

撮像装置１１は、いわゆる単レンズステレオ３Ｄカメラであり、被写体からの光を撮像して、左眼用の画像信号であるＬ信号と、右眼用の画像信号であるＲ信号とから構成される立体画像信号を得る。

ここで、左眼用のＬ信号とは、立体画像信号に基づいて立体画像を表示させる場合に、ユーザの左眼に観察される画像を表示させる信号であり、右眼用のＲ信号とは、ユーザの右眼に観察される画像を表示させる信号である。また、立体画像信号は動画像信号である。

撮像装置１１は、同期信号生成部２１、光学系２２、撮像部２３−１、撮像部２３−２、ガンマ変換部２４−１、ガンマ変換部２４−２、和信号演算部２５、差信号演算部２６、符号化部２７、信号転送部２８、記録部２９、信号切り替え部３０、および表示部３１から構成される。

同期信号生成部２１は、外部から、所定周波数のクロックである外部同期信号の供給を受け、供給された外部同期信号と同じ周波数および位相の同期信号を生成し、撮像部２３−１および撮像部２３−２に供給する。なお、同期信号生成部２１に外部同期信号が供給されない場合には、同期信号生成部２１が、いわゆる自走式で予め定めた周波数の同期信号を生成するようにしてもよい。

光学系２２は、例えば複数のレンズなどから構成され、被写体から入射した光を撮像部２３−１および撮像部２３−２に導く。例えば、光学系２２の入射瞳には、被写体から入射した光を２つの光束に分離するミラーなどが設けられており、分離された２つの光束がそれぞれ撮像部２３−１と撮像部２３−２に導かれる。より具体的には、光学系２２の入射瞳に入射した光は、その光の光路上に配置された傾斜方向の異なる２つのミラーにより、２つの光束に分離される（例えば、特開２０１０−８１５８０号公報参照）。

撮像部２３−１および撮像部２３−２は、同期信号生成部２１から供給された同期信号に同期して、光学系２２から入射した光を光電変換することで、Ｌ信号およびＲ信号を生成し、ガンマ変換部２４−１およびガンマ変換部２４−２に供給する。

ガンマ変換部２４−１およびガンマ変換部２４−２は、撮像部２３−１および撮像部２３−２から供給されたＬ信号およびＲ信号にガンマ変換を施し、和信号演算部２５、差信号演算部２６、および信号切り替え部３０に供給する。

なお、以下、撮像部２３−１および撮像部２３−２を個々に区別する必要のない場合、単に撮像部２３とも称し、ガンマ変換部２４−１およびガンマ変換部２４−２を個々に区別する必要のない場合、単にガンマ変換部２４とも称する。

和信号演算部２５は、ガンマ変換部２４−１およびガンマ変換部２４−２から供給されたＬ信号とＲ信号の和を求め、その結果得られた和信号を符号化部２７および信号切り替え部３０に供給する。差信号演算部２６は、ガンマ変換部２４−１およびガンマ変換部２４−２から供給されたＬ信号とＲ信号の差を求め、その結果得られた差信号を符号化部２７および信号切り替え部３０に供給する。

符号化部２７は、和信号演算部２５からの和信号を符号化する和信号符号化部４１と、差信号演算部２６からの差信号を符号化する差信号符号化部４２とを備えており、符号化により得られた和信号および差信号を、記録部２９と信号転送部２８に供給する。

信号転送部２８は、符号化部２７から供給された和信号と差信号を、図示せぬインターネット等の通信網や、ケーブルなどを介して接続されている装置に転送（送信）する。また、記録部２９は、ハードディスク等から構成され、符号化部２７から供給された和信号と差信号を記録する。

信号切り替え部３０は、ガンマ変換部２４から供給されたＬ信号とＲ信号、和信号演算部２５から供給された和信号、および差信号演算部２６から供給された差信号のうちの何れか１つの信号を表示部３１に供給し、表示させる。

［撮像処理の説明］
ところで、ユーザが撮像装置１１を操作して、被写体の撮像開始を指示すると、撮像装置１１は撮像処理を開始して被写体を撮像し、立体画像信号を生成する。以下、図２のフローチャートを参照して、撮像装置１１による撮像処理について説明する。

ステップＳ１１において、撮像部２３は被写体を撮像する。すなわち、光学系２２は、被写体から入射してきた被写体を集光して２つの光束に分離させ、撮像部２３−１と撮像部２３−２に入射させる。

撮像部２３−１と撮像部２３−２は、同期信号生成部２１から供給された同期信号に同期して、光学系２２から入射した光を光電変換することで、被写体を撮像する。この同期信号により、Ｌ信号とＲ信号の同じフレームの画像が、常に同じ時刻に撮像されることになる。撮像部２３−１と撮像部２３−２は、光電変換により得られたＬ信号とＲ信号を、ガンマ変換部２４−１およびガンマ変換部２４−２に供給する。

ステップＳ１２において、ガンマ変換部２４−１およびガンマ変換部２４−２は、撮像部２３−１および撮像部２３−２から供給されたＬ信号とＲ信号に対して、ガンマ変換を行なう。これにより、Ｌ信号とＲ信号はガンマ補正される。ガンマ変換部２４−１およびガンマ変換部２４−２は、ガンマ変換を施したＬ信号とＲ信号を、和信号演算部２５、差信号演算部２６、および信号切り替え部３０に供給する。

例えば、ガンマ変換では、入力値、すなわちガンマ変換前のＬ信号またはＲ信号の値をｘとし、出力値、すなわちガンマ変換後のＬ信号またはＲ信号の値をｙとしたときに、ｙ＝ｘ^(1/2.2)とされる。したがって、入力値を横軸とし、出力値を縦軸としたときのガンマ変換の入出力特性を示す曲線は、縦軸の上方向にふくらんだ形状（上方向に凸）の曲線となる。なお、ガンマ変換におけるべき指数は、(1/2.2)に限らず、他の値であってもよい。

なお、ガンマ変換部２４において、Ｌ信号やＲ信号に対して、ガンマ変換の他、画質改善のために欠陥補正、ホワイトバランス調整、シェーディング調整などの補正処理が行われるようにしてもよい。

ステップＳ１３において、和信号演算部２５は、ガンマ変換部２４から供給されたＬ信号とＲ信号の和を求めることで和信号を生成し、和信号符号化部４１および信号切り替え部３０に供給する。すなわち、和信号演算部２５は、所定のフレームのＬ信号とＲ信号について、Ｌ信号の画像（以下、Ｌ画像とも称する）上の画素の画素値と、その画素と同じ位置にあるＲ信号の画像（以下、Ｒ画像とも称する）上の画素の画素値との和を求め、求めた和を和信号の画像の画素の画素値とする。

なお、和信号の画像の各画素の画素値は、同じフレームの同じ位置にあるＬ画像の画素の画素値とＲ画像の画素の画素値の和であると説明したが、Ｌ画像とＲ画像の同じ位置にある画素の画素値の和を正規化して得られる値を、和信号の画素の画素値としてもよい。Ｌ画像とＲ画像の画素の和を和信号の画素とする場合も、Ｌ画像とＲ画像の画素の和を正規化して得られた値（例えば平均値）を和信号の画素とする場合も、結局は和信号の画像は、Ｌ画像とＲ画像を重ね合わせた画像となる。つまり、画像のダイナミックレンジのみが異なることになる。

ステップＳ１４において、差信号演算部２６は、ガンマ変換部２４から供給されたＬ信号とＲ信号の差を求めることで差信号を生成し、差信号符号化部４２および信号切り替え部３０に供給する。すなわち、差信号演算部２６は、所定のフレームのＬ信号とＲ信号について、Ｌ画像上の画素の画素値から、その画素と同じ位置にあるＲ画像上の画素の画素値を減算し、その結果得られた画素値の差を差信号の画像の画素の画素値とする。

なお、差信号においても和信号の場合と同様に、Ｌ画像とＲ画像の差が正規化されて、差信号の画素の画素値とされてもよい。また、後段の符号化器（差信号符号化部４２）の入力として負の値をとれない場合には、差信号が負の値をとらないように、予め定められたオフセット値を加えてもよい。

ステップＳ１５において、信号切り替え部３０は、ガンマ変換部２４からのＬ信号とＲ信号、和信号演算部２５からの和信号、および差信号演算部２６からの差信号のうち、ユーザにより指定された信号を表示部３１に供給し、表示させる。

これにより、ユーザは、撮像装置１１を操作して被写体を撮像しているときに、Ｌ信号、Ｒ信号、和信号、または差信号のうちの何れか１つの信号の画像を表示部３１に表示させることができる。したがって、ユーザは、表示される画像を所望のものに切り替えて、表示部３１に表示された画像を見ながら、被写体の撮像を行なうことができる。

例えば、表示部３１に和信号の画像が表示された場合、和信号の画像は、Ｌ画像とＲ画像を重ね合わせた画像であるから、ユーザは、左眼用のＬ画像と右眼用のＲ画像とにずれがないかを確認しながら、撮像を行なうことができる。

単レンズステレオ３Ｄカメラである撮像装置１１では、光学系２２のフォーカス位置と輻輳点が一致する特徴がある。そのため、ユーザが表示部３１に表示された和信号の画像を見ながら、輻輳点が表示部３１の表示画面の位置となるように、つまり和信号の画像上において、Ｌ画像とＲ画像のそれぞれに含まれる同一被写体が重なるように、光学系２２のレンズ調整を行なうことは、フォーカス位置を高精度に合わせることに相当する。

したがって、ユーザは、表示部３１に表示される和信号の画像を見ながら、その画像上において、注目する被写体の左右の画像が重なるように光学系２２のレンズ調整を行なうという簡単な操作で、注目する被写体に確実にフォーカスを合わせることができる。撮像装置１１では、簡単な操作で、高精度に注目する被写体にフォーカスを合わせることができるので、得られた立体画像を再生したときに、その注目する被写体を表示画面に定位させることができる。つまり、より簡単に立体画像の輻輳点のずれの発生を抑制することができる。

このように、和信号の画像を表示部３１に表示させれば、ユーザは、フォーカス位置だけでなく、Ｌ画像とＲ画像のずれ量も確認しながら、立体画像を撮像することができる。

また、例えば、表示部３１に表示される画像信号を、Ｌ信号やＲ信号に切り替えれば、ユーザは、従来と同様に、Ｌ画像やＲ画像を見ながら、片眼の映像のフォーカスを合わせるレンズ操作をしながら、立体画像の撮像を行うことができる。さらに、表示部３１の表示を、差信号に切り替えれば、ユーザは、Ｌ画像とＲ画像のずれ成分のみを表示させて、高精度に左右の画像のずれをなくすように、光学系２２のレンズ操作を行なうことができる。

ステップＳ１５において、ユーザにより指定された信号の画像が表示部３１に表示されると、ステップＳ１６において、符号化部２７は、和信号と差信号を符号化して信号転送部２８と記録部２９に供給する。

すなわち、和信号符号化部４１は、和信号演算部２５から供給された和信号を所定の符号化方式で符号化し、差信号符号化部４２は、差信号演算部２６から供給された差信号を所定の符号化方式で符号化する。

ここで、和信号と差信号の符号化時における符号化方式は、例えば、MPEG（Moving Picture Experts Group）やJPEG2000（Joint Photographic Experts Group）、AVC（Advanced Video Coding）などとすることができる。例えば、符号化方式としてJPEG2000など、ウェーブレット変換を利用して、同一画像を解像度の異なる複数の画像に分割して階層符号化する方式を採用すれば、和信号と差信号の転送先において、必要な解像度の画像を、少ない処理量で得ることができる。

ステップＳ１７において、信号転送部２８は、符号化部２７から供給された和信号と差信号を他の装置に転送する。また、記録部２９は、符号化部２７から供給された和信号と差信号を記録する。

ステップＳ１８において、撮像装置１１は、被写体の撮像を終了するか否かを判定する。例えば、ユーザにより撮像の終了が指示された場合、終了すると判定される。

ステップＳ１８において、終了しないと判定された場合、処理はステップＳ１１に戻り、上述した処理が繰り返される。これに対して、ステップＳ１８において、終了すると判定された場合、撮像装置１１の各部は行っている処理を停止し、撮像処理は終了する。

このようにして、撮像装置１１は、被写体の撮像中に、被写体の撮像により得られたＬ信号とＲ信号から、それらの和信号を生成し、和信号に基づく画像を表示する。このように、被写体の撮像中に和信号に基づく画像を表示させることで、左右の画像のずれ量を確認しながら被写体の撮像を行なうことができ、より簡単かつ高精度にフォーカス調整を行なうことができる。その結果、撮像により得られる立体画像の輻輳点のずれの発生を抑制することができ、立体画像に２Ｄ映像と３Ｄ映像の互換性を持たせることができる。

なお、以上においては、撮像装置１１として単レンズステレオ３Ｄカメラを例に説明したが、本発明は、左眼映像と右眼映像の輻輳点およびフォーカス位置が、表示画面の奥行き方向の所定位置で一致するように構成された２レンズ３Ｄカメラにも適用することができる。２レンズ３Ｄカメラは、輻輳点の調整とフォーカス位置の調整は、それぞれ独立に調整が行なわれるが、左眼映像と右眼映像の重ね合わせ映像を表示して、撮影者がレンズ操作を行なえば、立体画像に２Ｄ映像と３Ｄ映像の互換性を持たせることができる。

［信号再生装置の構成］
また、図１の撮像装置１１から出力された和信号と差信号は、例えば図３に示す信号再生装置６１に受信され、再生される。

図３に示す信号再生装置６１は、信号転送部７１、記録再生部７２、切り替え部７３、復号部７４、逆ガンマ変換部７５−１、逆ガンマ変換部７５−２、Ｌ信号生成部７６、Ｒ信号生成部７７、および表示部７８から構成される。

信号転送部７１は、撮像装置１１から送信された和信号と差信号を受信して切り替え部７３に供給する。なお、信号転送部７１により受信された和信号と差信号は、記録再生部７２に供給されて記録されてもよい。

記録再生部７２は、記録している和信号と差信号を切り替え部７３に供給する。切り替え部７３は、信号転送部７１または記録再生部７２の何れか一方から供給された和信号と差信号を復号部７４に供給する。

復号部７４は、切り替え部７３からの和信号を復号する和信号復号部８１と、切り替え部７３からの差信号を復号する差信号復号部８２を備えており、復号された和信号と差信号を、逆ガンマ変換部７５−１と逆ガンマ変換部７５−２に供給する。ここで、復号部７４における復号方式は、撮像装置１１における符号化方式に対応する方式とされる。

逆ガンマ変換部７５−１および逆ガンマ変換部７５−２は、復号部７４から供給された和信号と差信号を逆ガンマ変換し、Ｌ信号生成部７６およびＲ信号生成部７７に供給する。なお、以下、逆ガンマ変換部７５−１および逆ガンマ変換部７５−２を個々に区別する必要のない場合、単に逆ガンマ変換部７５とも称する。

Ｌ信号生成部７６は、逆ガンマ変換部７５−１および逆ガンマ変換部７５−２から供給された和信号と差信号からＬ信号を生成し、表示部７８に供給する。Ｒ信号生成部７７は、逆ガンマ変換部７５−１および逆ガンマ変換部７５−２から供給された和信号と差信号からＲ信号を生成し、表示部７８に供給する。

表示部７８は、Ｌ信号生成部７６から供給されたＬ信号と、Ｒ信号生成部７７から供給されたＲ信号とに基づいて、例えば偏光眼鏡を利用して立体画像を視聴する所定の表示方式で、画像を立体表示する。すなわち、偏光眼鏡等を装着しているユーザの右眼にＲ画像が観察され、左眼にＬ画像が観察されるように、Ｌ画像とＲ画像を表示する。

［再生処理の説明］
図３に示した信号再生装置６１は、ユーザにより立体画像の表示が指示されると、その指示に応じて再生処理を行い、立体画像を表示する。以下、図４のフローチャートを参照して、信号再生装置６１による再生処理について説明する。

ステップＳ４１において、切り替え部７３は、再生が指示された立体画像の立体画像信号を取得する。すなわち、切り替え部７３は、信号転送部７１または記録再生部７２から、ユーザにより指定された立体画像信号を構成する和信号と差信号を取得して復号部７４に供給する。

ステップＳ４２において、復号部７４は、切り替え部７３から供給された和信号と差信号を復号し、逆ガンマ変換部７５に供給する。具体的には、和信号復号部８１により和信号が復号されて逆ガンマ変換部７５−１に供給され、差信号復号部８２により差信号が復号されて逆ガンマ変換部７５−２に供給される。

ステップＳ４３において、逆ガンマ変換部７５−１および逆ガンマ変換部７５−２は、和信号復号部８１および差信号復号部８２から供給された和信号と差信号に対して、逆ガンマ変換を行い、Ｌ信号生成部７６およびＲ信号生成部７７に供給する。

例えば、逆ガンマ変換では入力値、すなわち逆ガンマ変換前の和信号または差信号の値をｘとし、出力値、すなわち逆ガンマ変換後の和信号または差信号の値をｙとしたときに、ｙ＝ｘ^(2.2)とされる。したがって、入力値を横軸とし、出力値を縦軸としたときの逆ガンマ変換の入出力特性を示す曲線は、縦軸の下方向にふくらんだ形状（下方向に凸）の曲線となる。なお、逆ガンマ変換におけるべき指数は、(2.2)に限らず、他の値であってもよい。

ステップＳ４４において、Ｌ信号生成部７６は、逆ガンマ変換部７５から供給された和信号と差信号の和を２で除算することによりＬ信号を生成し、表示部７８に供給する。また、ステップＳ４５において、Ｒ信号生成部７７は、逆ガンマ変換部７５から供給された和信号と差信号の差を２で除算することによりＲ信号を生成し、表示部７８に供給する。すなわち、和信号から差信号が減算されて２で除算される。

ステップＳ４６において、表示部７８は、Ｌ信号生成部７６およびＲ信号生成部７７から供給されたＬ信号とＲ信号に基づいて、立体画像を表示させ、再生処理は終了する。なお、表示部７８における立体画像の表示方式は、偏光眼鏡方式、時分割シャッタ方式、レンチキュラ方式など、どのような方式であってもよい。

このようにして信号再生装置６１は、符号化された和信号と差信号を復号して、Ｌ信号とＲ信号を演算により抽出し、立体画像を表示させる。なお、信号再生装置６１においても、立体画像、Ｌ画像、Ｒ画像、和信号の画像、または差信号の画像の何れかが表示されるように、表示の切り替えが行なわれてもよい。

〈第２の実施の形態〉
［信号再生装置の構成］
また、例えば、撮像装置１１が遠隔制御される場合などには、信号再生装置６１において、フォーカス操作のために和信号の画像が表示されるようにしてもよい。そのような場合、信号再生装置６１は、例えば図５に示すように構成される。なお、図５において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

図５の信号再生装置６１は、信号転送部７１、和信号復号部８１、逆ガンマ変換部７５、および表示部７８から構成される。この信号再生装置６１では、信号転送部７１で受信された和信号が和信号復号部８１で復号された後、逆ガンマ変換部７５で逆ガンマ変換され、表示部７８に表示される。

［再生処理の説明］
次に、図６のフローチャートを参照して、図５の信号再生装置６１により行なわれる再生処理について説明する。

ステップＳ７１において、信号転送部７１は、撮像装置１１から送信されてきた和信号を受信し、和信号復号部８１に供給する。

ステップＳ７２において、和信号復号部８１は、信号転送部７１から供給された和信号を復号し、逆ガンマ変換部７５に供給する。

例えば、和信号が階層符号化されている場合、和信号復号部８１は、ユーザにより指定された解像度の画像が得られるように、和信号の必要なデータを用いて復号を行なう。具体的には、階層符号化された和信号のうち、復号に欠くことのできない、最低解像度の画像を得るための最下層のデータから、指定された解像度の画像を得るための階層のデータまでの各階層のデータが用いられて、和信号の復号が行なわれる。

このように、和信号の必要な解像度成分だけを復号すれば、和信号を受信してから表示するまでの処理量をより少なくすることができ、より迅速に和信号の画像を表示させることができる。

なお、ユーザにより和信号の解像度（階層）が指定された場合に、信号転送部７１が、和信号の最下層から指定された階層までの符号化データを撮像装置１１に要求して、復号に必要な和信号のデータだけが受信されるようにしてもよい。

ステップＳ７３において、逆ガンマ変換部７５は、和信号復号部８１から供給された和信号に逆ガンマ変換を行なって表示部７８に供給する。なお、ステップＳ７３における逆ガンマ変換では、図４のステップＳ４３の処理と同様の処理が行われる。そして、ステップＳ７４において、表示部７８は、逆ガンマ変換部７５から供給された和信号に基づいて画像を表示して、再生処理は終了する。

ユーザは、表示部７８に表示された和信号の画像を確認しながら、撮像装置１１の遠隔操作等を行なう。この場合においても、図２を参照して説明した撮像処理と同様に、ユーザは被写体の撮像中に、表示された和信号の画像を見て左右の画像のずれ量を確認しながら被写体の撮像を行なうことができ、より簡単にフォーカスずれの発生を抑制することができる。

図５の信号再生装置６１は、和信号のみを復号および表示する構成とされているので、この信号再生装置６１によれば、装置の小型化、低コスト化、省電力化、および処理の高速化を実現することができる。

〈第３の実施の形態〉
［信号再生部の構成］
また、撮像装置１１で符号化された和信号と差信号を利用する装置として、和信号と差信号からなる立体画像（動画像）の編集を行なう編集装置などが考えられる。図７は、そのような編集装置に組み込まれる信号再生部の構成例を示す図である。

信号再生部１１１は、入力部１２１、制御部１２２、記録再生部７２、和信号復号部８１、逆ガンマ変換部７５、および表示部７８から構成される。なお、図７において、図３における場合と対応する部分には、同一の符号を付してあり、その説明は適宜省略する。

入力部１２１は、ユーザにより操作されると、その操作に応じた信号を制御部１２２に供給する。制御部１２２は、入力部１２１からの信号に応じて、和信号復号部８１に和信号の復号を指示したり、記録再生部７２に記録されている和信号と差信号を編集したりする。記録再生部７２は、撮像装置１１による被写体の撮像で得られた和信号と差信号を記録する。

［編集点記録処理の説明］
このような信号再生部１１１をユーザが操作し、記録再生部７２に記録されている和信号と差信号の編集を指示すると、信号再生部１１１は編集点記録処理を開始する。以下、図８のフローチャートを参照して、信号再生部１１１により行なわれる編集点記録処理について説明する。

ステップＳ１０１において、和信号復号部８１は、表示すべき立体画像の和信号を記録再生部７２から取得して、復号する。すなわち、ユーザが入力部１２１を操作して立体画像を指定し、その立体画像の編集の開始を指示すると、制御部１２２は、ユーザにより指定された立体画像を構成する和信号の復号を、和信号復号部８１に指示する。すると、和信号復号部８１は、制御部１２２の指示に従って和信号を復号し、逆ガンマ変換部７５に供給する。ここで、例えば和信号が階層符号化されており、ユーザにより、表示する和信号の画像の解像度が指定された場合には、必要な解像度の和信号の復号が行なわれる。

ステップＳ１０２において、逆ガンマ変換部７５は、和信号復号部８１からの和信号に逆ガンマ変換を施し、表示部７８に供給する。なお、ステップＳ１０２における逆ガンマ変換では、図４のステップＳ４３の処理と同様の処理が行われる。そして、ステップＳ１０３において、表示部７８は、逆ガンマ変換部７５から供給された和信号に基づいて、和信号の画像を表示する。

このようにして、和信号の画像が表示されると、ユーザは、適宜、入力部１２１を操作して、表示された画像の早送りや早戻し再生等を行ないながら、立体画像の編集点、すなわち切り出そうとするシーンの開始点と終了点の指定を行なう。

ステップＳ１０４において、制御部１２２は、ユーザにより編集点が指定されたか否かを判定する。ステップＳ１０４において、編集点が指定されたと判定された場合、ステップＳ１０５において、制御部１２２は、入力部１２１からの信号に基づいて、立体画像における指定された編集点を記録再生部７２に記録する。すなわち、編集点として指定された、立体画像の開始点と終了点の再生時刻が記録される。

ステップＳ１０５において編集点が記録されたか、またはステップＳ１０４において、編集点が指定されなかったと判定された場合、ステップＳ１０６において、制御部１２２は、処理を終了するか否かを判定する。例えば、ユーザが立体画像の全ての編集点を指定して、編集の終了を指示した場合、処理を終了すると判定される。

ステップＳ１０６において、処理を終了しないと判定された場合、処理はステップＳ１０１に戻り、上述した処理が繰り返される。すなわち、立体画像の次のフレームが復号されて表示され、ユーザの操作に応じて編集点が記録される。

これに対して、ステップＳ１０６において、処理を終了すると判定された場合、編集点記録処理は終了する。

また、信号再生部１１１は、編集点記録処理の終了後、記録再生部７２に記録された編集点に基づいて立体画像の編集を行なう。すなわち、編集点記録処理が終了した時点では、立体画像から切り出される各シーンを特定する編集点のみが指定されており、実際には立体画像は編集されていない。

そこで、信号再生部１１１は、編集点記録処理の実行後、ユーザにより指定された編集点に基づいて、記録再生部７２に記録されている立体画像を構成する和信号と差信号のそれぞれから、編集点により特定されるシーンを切り出して、編集を行なう。すなわち、和信号におけるユーザにより指定された各シーンが切り出されて接続され、新たな和信号とされるとともに、差信号におけるユーザにより指定された各シーンが切り出されて接続され、新たな差信号とされる。そして、このようにして得られた新たな和信号と差信号からなる動画像が、編集後の立体画像とされる。

以上のようにして、信号再生部１１１は、記録している立体画像を構成する和信号と差信号のうち、和信号のみを読み出して復号し、表示させるとともにユーザの操作に応じて編集点を記録する。そして、信号再生部１１１は、全ての編集点を記録し、編集点記録処理が終了すると、その後、ユーザの操作によらず、記録している編集点に基づいて立体画像の編集を行なう。

このように、信号再生部１１１では、編集点の指定時には、和信号のみが復号されて表示されるので、和信号と差信号の両方を復号して立体画像を表示させる場合と比べて、より少ない処理で、迅速に編集に必要な画像を表示させることができる。特に、和信号が階層符号化されている場合には、必要な解像度の画像を得ることができればよく、全階層の和信号を復号する必要はないので、より少ない処理量で迅速に和信号の画像を表示することができる。

また、実際の編集処理は、編集点が指定されて編集点記録処理が終了した後、信号再生部１１１により行なわれるので、ユーザは特に何もする必要がなく、編集作業に必要な時間をより短くすることができる。

なお、和信号の画像には、Ｌ画像上の被写体とＲ画像上の被写体とが表示されるので、ユーザは和信号の画像を見ながら、左眼用のＬ画像と右眼用のＲ画像とにずれがないかなどを確認しながら切り出すべきシーンを選ぶことができる。

例えば、パーソナルコンピュータ等の計算機ベースの編集システムでは、立体画像の編集時に、Ｌ画像とＲ画像の両方を復号して立体画像を表示しようとすると、計算機の処理能力が不足することがある。そうすると、実時間、つまり撮像に要した時間と同じ時間で立体画像の復号と表示を行なえなくなってしまう恐れがある。

これに対して、信号再生部１１１では、和信号のみを復号して表示させるので、従来のようにＬ画像とＲ画像の両方を復号する場合と比べて、復号に必要な計算能力が半分ですみ、より高速に和信号の復号と表示を行なうことができる。

さらに、信号再生部１１１は、和信号のみを復号および表示する構成とされているので、この信号再生部１１１によれば、装置の小型化、低コスト化、省電力化、および処理の高速化を実現することができる。

〈第４の実施の形態〉
［撮像装置の構成］
また、図１では２つの撮像部２３が、それぞれＬ画像とＲ画像を撮像する例について説明したが、１つの撮像部により被写体を撮像して得られた画像を分割することで、Ｌ画像とＲ画像を得るようにしてもよい。

そのような場合、撮像装置は、例えば図９に示すように構成される。なお、図９において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

図９の撮像装置１５１は、同期信号生成部２１、光学系１６１、撮像部１６２、映像分離部１６３、和信号演算部２５、差信号演算部２６、符号化部２７、信号転送部２８、記録部２９、および表示部３１から構成される。

光学系１６１は、例えばレンズや偏光素子から構成され、被写体からの光を撮像部１６２に導く。撮像部１６２は、光学系１６１から入射した光を光電変換することにより、被写体の観察位置（視点位置）が異なるＬ画像とＲ画像を撮像する。

より詳細には、撮像部１６２の受光面の各画素には、被写体からの光のうち、Ｌ画像を得るための光が入射する画素と、Ｒ画像を得るための光が入射する画素とがある。例えば、光学系１６１を構成する偏光素子は、特定の偏光方向の光のみを抽出することで、被写体からの光を、Ｌ画像を得るための光とＲ画像を得るための光に分離し、それらの光を各画素に入射させる。

つまり、光学系１６１の入射瞳の位置に設けられた偏光素子と、撮像部１６２の受光面の各画素に設けられた偏光素子とによって、撮像部１６２の各画素には、Ｌ画像を得るための光、またはＲ画像を得るための光の何れか一方のみが入射するようになされている。したがって、撮像部１６２での撮像により得られた１つの画像には、Ｌ画像成分とＲ画像成分とが含まれることになる。撮像部１６２により撮像された画像は、映像分離部１６３に供給される。

映像分離部１６３は、撮像部１６２から供給された画像から、Ｌ画像成分とＲ画像成分をそれぞれ抽出することにより、撮像部１６２からの画像をＬ画像とＲ画像に分離し、和信号演算部２５および差信号演算部２６に供給する。

なお、撮像装置１５１では、表示部３１にはＬ画像とＲ画像から得られた和信号の画像のみが表示される。また、撮像装置１５１に、Ｌ画像やＲ画像に対するガンマ変換を行なうガンマ変換部が設けられるようにしてもよい。

［撮像処理の説明］
次に、撮像装置１５１の動作について説明する。

ユーザが撮像装置１５１を操作して、被写体の撮像開始を指示すると、撮像装置１５１は撮像処理を開始して被写体を撮像し、立体画像信号を生成する。以下、図１０のフローチャートを参照して、撮像装置１５１による撮像処理について説明する。

ステップＳ１３１において、撮像部１６２は被写体を撮像する。すなわち、光学系１６１は、被写体から入射した光を、Ｌ画像を得るための光とＲ画像を得るための光に分離して、それらの光を撮像部１６２の各画素に入射させる。撮像部１６２は、同期信号生成部２１から供給された同期信号に同期して、光学系１６１から入射した光を光電変換することで、被写体を撮像し、その結果得られた画像を映像分離部１６３に供給する。

ステップＳ１３２において、映像分離部１６３は、撮像部１６２から供給された画像のＬ画像成分とＲ画像成分とを分離し、必要に応じて補完処理を行なうことにより、Ｌ画像とＲ画像を生成して和信号演算部２５および差信号演算部２６に供給する。

ステップＳ１３３において、和信号演算部２５は、映像分離部１６３から供給されたＬ画像とＲ画像から和信号を生成し、符号化部２７および表示部３１に供給する。そして、ステップＳ１３４において、差信号演算部２６は、映像分離部１６３から供給されたＬ画像とＲ画像から差信号を生成し、符号化部２７に供給する。

ステップＳ１３５において、表示部３１は、和信号演算部２５から供給された和信号に基づいて画像を表示する。さらに、ステップＳ１３６において、符号化部２７は、和信号演算部２５および差信号演算部２６から供給された和信号および差信号を符号化し、信号転送部２８と記録部２９に供給する。

その後、ステップＳ１３７およびステップＳ１３８の処理が行われて撮像処理は終了するが、これらの処理は図２のステップＳ１７およびステップＳ１８の処理と同様であるので、その説明は省略する。

このようにして、撮像装置１５１は、１つの撮像部１６２で撮像された画像から、Ｌ画像とＲ画像を生成する。

なお、光学系１６１では、偏光素子を利用して、Ｌ画像を得るための光とＲ画像を得るための光を分離すると説明したが、シャッタを利用して、光学系１６１の入射瞳に入射した光束の右半分と左半分とを、時分割で交互に撮像部１６２に入射させるようにしてもよい（例えば、特開２００１−６１１６５号公報参照）。そのような場合、撮像部１６２において、Ｌ画像とＲ画像とが交互に撮像されることになる。

〈第５の実施の形態〉
［撮像装置の構成］
また、図１においては、Ｌ画像とＲ画像とからなる立体画像を撮像する例について説明したが、視聴する位置によって異なる視点の立体画像が表示される、多視点画像を撮像するようにしてもよい。そのような場合、例えば撮像装置は図１１に示すように構成される。

例えば、図１１の撮像装置１９１は、Ｎ視点画像を撮像するライトフィールドカメラなどとされる。撮像装置１９１は、同期信号生成部２１、光学系２０１、撮像部２０２、映像分離部２０３、平均信号演算部２０４、差信号演算部２０５−１乃至差信号演算部２０５−（Ｎ−１）、符号化部２０６、信号転送部２８、記録部２９、および表示部３１から構成される。なお、図１１において、図１における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

光学系２０１は、例えば複数のレンズなどから構成され、被写体から入射した光を撮像部２０２に導く。撮像部２０２は、同期信号生成部２１から供給された同期信号に同期して、光学系２０１から入射した光を光電変換することで、Ｎ個（但し、３≦N）の異なる視点の画像成分が含まれる多視点信号を生成し、映像分離部２０３に供給する。

例えば、撮像部２０２の受光面の各画素には、被写体からの光のうちのどの視点の光束が入射するかが定められており、光学系２０１に設けられたマイクロレンズアレイにより、被写体からの光が複数の各視点の光束に分割されて、撮像部２０２の画素に導かれる。

映像分離部２０３は、撮像部２０２における各視点の画素の配置に基づいて、撮像部２０２から供給された多視点信号を視点ごとの画像信号に分離して、平均信号演算部２０４および差信号演算部２０５−１乃至差信号演算部２０５−（Ｎ−１）に供給する。なお、以下、多視点信号から分離された、Ｎ個の各視点の画像信号のそれぞれを、画像信号Ｐ１乃至画像信号ＰＮと呼ぶこととする。

平均信号演算部２０４は、映像分離部２０３から供給された画像信号Ｐ１乃至画像信号ＰＮの各画素の画素値の平均値を求めて、求めた平均値を新たな画素の画素値とすることにより、平均信号を生成する。この平均信号に基づく画像（以下、平均画像と称する）の各画素は、Ｎ個の各視点の画像の同じ位置にある画素の平均値である。

平均信号演算部２０４は、生成した平均信号を表示部３１、符号化部２０６、および差信号演算部２０５−１乃至差信号演算部２０５−（Ｎ−１）に供給する。

差信号演算部２０５−１乃至差信号演算部２０５−（Ｎ−１）は、映像分離部２０３から供給された画像信号Ｐ１乃至画像信号Ｐ（Ｎ−１）と、平均信号演算部２０４から供給された平均信号との差を求めることにより、差信号Ｄ１乃至差信号Ｄ（Ｎ−１）を生成し、符号化部２０６に供給する。

なお、以下、差信号演算部２０５−１乃至差信号演算部２０５−（Ｎ−１）を個々に区別する必要のない場合、単に差信号演算部２０５とも称する。また、以下、画像信号Ｐ１乃至画像信号ＰＮを個々に区別する必要のない場合、単に画像信号Ｐとも称し、差信号Ｄ１乃至差信号Ｄ（Ｎ−１）を個々に区別する必要のない場合、単に差信号Ｄとも称する。

符号化部２０６は、平均信号演算部２０４からの平均信号を符号化する平均信号符号化部２１１と、差信号演算部２０５からの差信号Ｄを符号化する差信号符号化部２１２−１乃至差信号符号化部２１２−（Ｎ−１）とを備えている。符号化部２０６は、符号化により得られた平均信号と差信号Ｄを、記録部２９と信号転送部２８に供給する。

なお、以下、差信号符号化部２１２−１乃至差信号符号化部２１２−（Ｎ−１）のそれぞれを個々に区別する必要のない場合、単に差信号符号化部２１２と称する。

［撮像処理の説明］
ところで、ユーザが撮像装置１９１を操作して、被写体の撮像開始を指示すると、撮像装置１９１は撮像処理を開始して被写体を撮像し、多視点信号を生成する。以下、図１２のフローチャートを参照して、撮像装置１９１による撮像処理について説明する。

ステップＳ１６１において、撮像部２０２は被写体を撮像する。すなわち、光学系２０１は、被写体から入射してきた各視点の光束を集光して撮像部２０２に入射させ、撮像部２０２は、光学系２０１から入射した各光束を光電変換することで、被写体を撮像する。そして、撮像部２０２は、撮像により得られた多視点信号を映像分離部２０３に供給する。

ステップＳ１６２において、映像分離部２０３は、撮像部２０２から供給された多視点信号を、視点ごとの画像信号Ｐに分離して、平均信号演算部２０４および差信号演算部２０５に供給する。なお、映像分離部２０３において、各視点の画像信号Ｐにガンマ変換や、欠陥補正、ホワイトバランス調整等の補正処理が施されるようにしてもよい。

ステップＳ１６３において、平均信号演算部２０４は、映像分離部２０３から供給された画像信号Ｐ１乃至画像信号ＰＮの平均値を求めることで、平均信号を生成し、表示部３１、平均信号符号化部２１１、および差信号演算部２０５に供給する。すなわち、各画像信号Ｐの和が、視点数Ｎ（画像信号Ｐの数）で除算されて平均信号が生成される。

ステップＳ１６４において、差信号演算部２０５は、映像分離部２０３から供給された画像信号Ｐから、平均信号演算部２０４から供給された平均信号を減算して、差信号Ｄを生成し、差信号符号化部２１２に供給する。例えば差信号演算部２０５−１では、画像信号Ｐ１と平均信号の差が求められ、差信号Ｄ１が生成される。

ステップＳ１６５において、表示部３１は、平均信号演算部２０４から供給された平均信号に基づいて、平均画像を表示する。この平均画像は、各視点から見た被写体の画像を重ね合わせた画像であるから、ユーザは、表示部３１に表示された平均画像を見て、各視点の画像にずれがないかを確認しながら、撮像を行なうことができる。これにより、より簡単に多視点画像の輻輳点のずれの発生を抑制することができる。

ステップＳ１６６において、符号化部２０６は、平均信号演算部２０４からの平均信号と、差信号演算部２０５からの差信号Ｄとを符号化し、信号転送部２８および記録部２９に供給する。すなわち、平均信号符号化部２１１により平均信号が符号化され、差信号符号化部２１２により差信号Ｄが符号化される。

ステップＳ１６７において、信号転送部２８は、符号化部２０６から供給された平均信号と差信号Ｄを他の装置に転送する。また、記録部２９は、符号化部２０６から供給された平均信号と差信号Ｄを記録する。

ステップＳ１６８において、撮像装置１９１は、被写体の撮像を終了するか否かを判定する。例えば、ユーザにより撮像の終了が指示された場合、終了すると判定される。

ステップＳ１６８において、終了しないと判定された場合、処理はステップＳ１６１に戻り、上述した処理が繰り返される。これに対して、ステップＳ１６８において、終了すると判定された場合、撮像装置１９１の各部は行っている処理を停止し、撮像処理は終了する。

このようにして、撮像装置１９１は、被写体の撮像中に、被写体の撮像により得られた各視点の画像信号Ｐから平均信号を生成し、平均画像を表示する。このように、被写体の撮像中に平均画像を表示させることで、各視点の画像のずれ量を確認しながら被写体の撮像を行なうことができ、より簡単かつ高精度にフォーカス調整を行なうことができる。その結果、撮像により得られる多視点画像の輻輳点のずれの発生を抑制することができる。

なお、撮像装置１９１は、１つの光学系２０１と撮像部２０２とから、複数の視点の成分が含まれる多視点信号を得る構成とされているが、視点ごとに光学系２０１と撮像部２０２とを設けるようにしてもよい。この場合、被写体の撮像により、直接、Ｎ個の各視点の画像信号Ｐが得られるため、映像分離部２０３を設ける必要がなくなる。

［信号再生装置の構成］
また、図１１の撮像装置１９１から出力された平均信号と差信号Ｄは、例えば図１３に示す信号再生装置２４１に受信され、再生される。

図１３に示す信号再生装置２４１は、信号転送部７１、記録再生部７２、切り替え部７３、復号部２５１、信号生成部２５２−１乃至信号生成部２５２−Ｎ、および表示部２５３から構成される。なお、図１３において、図３における場合と対応する部分には同一の符号を付してあり、その説明は適宜省略する。

復号部２５１は、切り替え部７３からの平均信号を復号する平均信号復号部２６１と、切り替え部７３からの差信号Ｄ１乃至差信号Ｄ（Ｎ−１）を復号する差信号復号部２６２−１乃至差信号復号部２６２−（Ｎ−１）を備えている。復号部２５１は、復号により得られた平均信号と差信号Ｄを信号生成部２５２−１乃至信号生成部２５２−Ｎに供給する。

なお、以下、差信号復号部２６２−１乃至差信号復号部２６２−（Ｎ−１）を個々に区別する必要のない場合、単に差信号復号部２６２と称する。

信号生成部２５２−１乃至信号生成部２５２−Ｎは、復号部２５１から供給された平均信号と差信号Ｄとから、各視点の画像信号Ｐを生成し、表示部２５３に供給する。なお、以下、信号生成部２５２−１乃至信号生成部２５２−Ｎを個々に区別する必要のない場合、単に信号生成部２５２とも称する。

表示部２５３は、信号生成部２５２から供給された、各視点の画像信号Ｐに基づいて、Ｎ視点画像を表示する。

［再生処理の説明］
図１３に示した信号再生装置２４１は、ユーザによりＮ視点画像の表示が指示されると、その指示に応じて再生処理を行い、Ｎ視点画像を表示する。以下、図１４のフローチャートを参照して、信号再生装置２４１による再生処理について説明する。

ステップＳ１９１において、切り替え部７３は、再生が指示されたＮ視点画像を取得する。すなわち、切り替え部７３は、信号転送部７１または記録再生部７２からユーザにより指定されたＮ視点画像の信号、すなわち平均信号と差信号Ｄを取得して復号部２５１に供給する。

ステップＳ１９２において、復号部２５１は、切り替え部７３から供給された平均信号と差信号Ｄを復号し、信号生成部２５２に供給する。具体的には、平均信号復号部２６１により平均信号が復号され、差信号復号部２６２により差信号Ｄが復号される。

ステップＳ１９３において、信号生成部２５２は、復号部２５１から供給された平均信号と差信号Ｄとに基づいて、各視点の画像信号Ｐを生成し、表示部２５３に供給する。

例えば、信号生成部２５２−１は、差信号Ｄ１と平均信号の和を求めることにより、画像信号Ｐ１を生成する。同様に、信号生成部２５２−２乃至信号生成部２５２−（Ｎ−１）は、差信号Ｄ２乃至差信号Ｄ（Ｎ−１）と平均信号の和を求めることにより、画像信号Ｐ２乃至画像信号Ｐ（Ｎ−１）を生成する。さらに、信号生成部２５２−Ｎは、平均信号から、差信号Ｄ１乃至差信号Ｄ（Ｎ−１）の和を減算することにより、画像信号ＰＮを生成する。

ステップＳ１９４において、表示部２５３は、信号生成部２５２から供給された各視点の画像信号Ｐ１乃至画像信号ＰＮに基づいて、レンチキュラ方式等によりＮ視点画像を表示し、再生処理は終了する。

このようにして信号再生装置２４１は、符号化された平均信号と差信号を復号して、各視点の画像信号を演算により抽出し、Ｎ視点画像を表示させる。

また、上述した撮像装置１１、信号再生装置６１、信号再生部１１１、撮像装置１５１、撮像装置１９１、および信号再生装置２４１の各部は、全てハードウェアにより実現することが可能である。また、そのような場合、これらの装置において行なわれる各処理は、並列に行うことが可能である。

上述した一連の処理は、ハードウェアにより実行することもできるし、ソフトウェアにより実行することもできる。一連の処理をソフトウェアにより実行する場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどに、プログラム記録媒体からインストールされる。

図１５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウェアの構成例を示すブロック図である。

コンピュータにおいて、CPU（Central Processing Unit）３０１，ROM（Read Only Memory）３０２，RAM（Random Access Memory）３０３は、バス３０４により相互に接続されている。

バス３０４には、さらに、入出力インターフェース３０５が接続されている。入出力インターフェース３０５には、キーボード、マウス、マイクロホンなどよりなる入力部３０６、ディスプレイ、スピーカなどよりなる出力部３０７、ハードディスクや不揮発性のメモリなどよりなる記録部３０８、ネットワークインターフェースなどよりなる通信部３０９、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア３１１を駆動するドライブ３１０が接続されている。

以上のように構成されるコンピュータでは、CPU３０１が、例えば、記録部３０８に記録されているプログラムを、入出力インターフェース３０５及びバス３０４を介して、RAM３０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（CPU３０１）が実行するプログラムは、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM(Compact Disc-Read Only Memory),DVD(Digital Versatile Disc)等）、光磁気ディスク、もしくは半導体メモリなどよりなるパッケージメディアであるリムーバブルメディア３１１に記録して、あるいは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供される。

そして、プログラムは、リムーバブルメディア３１１をドライブ３１０に装着することにより、入出力インターフェース３０５を介して、記録部３０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部３０９で受信し、記録部３０８にインストールすることができる。その他、プログラムは、ROM３０２や記録部３０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。

１１ 撮像装置， ２３−１，２３−２，２３ 撮像部， ２５ 和信号演算部， ２６ 差信号演算部， ２７ 符号化部， ３０ 信号切り替え部， ３１ 表示部， ６１ 信号再生装置， ７４ 復号部， ７６ Ｌ信号生成部， ７７ Ｒ信号生成部， ７８ 表示部， １６１ 光学系， １６２ 撮像部， １６３ 映像分離部， １９１ 撮像装置， ２０１ 光学系， ２０２ 撮像部， ２０３ 映像分離部， ２０４ 平均信号演算部， ２０５−１乃至２０５−（Ｎ−１），２０５ 差信号演算部， ２０６ 符号化部

Claims (13)

1. 被写体を立体表示するための互いに視差を有する画像を撮像して、前記画像の画像信号を生成する撮像手段と、
   前記視差を有する画像の画像信号を加算することで加算信号を生成する加算信号演算手段と、
   前記視差を有する画像の撮像中に、前記加算信号に基づく画像を表示する表示手段と
   を備える画像処理装置。
2. 前記画像信号の差を求めることで差信号を生成する差信号演算手段と、
   前記加算信号および前記差信号を符号化する符号化手段と
   をさらに備える請求項１に記載の画像処理装置。
3. 前記符号化手段は、前記加算信号および前記差信号を階層符号化する
   請求項２に記載の画像処理装置。
4. 前記画像信号に基づく画像、前記加算信号に基づく画像、または前記差信号に基づく画像の何れかが前記表示手段に表示されるように、画像の表示を切り替える切り替え手段をさらに備える
   請求項２に記載の画像処理装置。
5. 前記撮像手段は、光学系を介して前記被写体から入射した異なる光束を受光することで、前記視差を有する画像を撮像する複数の撮像部を有する
   請求項１に記載の画像処理装置。
6. 前記加算信号演算手段は、３以上の前記画像信号を加算して得られた信号を、加算した前記画像信号の数で除算することにより前記加算信号を生成し、
   前記画像信号と前記加算信号の差を求めることで差信号を生成する差信号演算手段と、
   前記加算信号および前記差信号を符号化する符号化手段と
   をさらに備える請求項１に記載の画像処理装置。
7. 被写体を立体表示するための互いに視差を有する画像を撮像して、前記画像の画像信号を生成する撮像手段と、
   前記視差を有する画像の画像信号を加算することで加算信号を生成する加算信号演算手段と、
   前記視差を有する画像の撮像中に、前記加算信号に基づく画像を表示する表示手段と
   を備える画像処理装置の画像処理方法であって、
   前記撮像手段が前記視差を有する画像を撮像し、
   前記加算信号演算手段が、前記加算信号を生成し、
   前記表示手段が前記加算信号に基づく画像を表示する
   ステップを含む画像処理方法。
8. 被写体を立体表示するための互いに視差を有する画像の撮像を制御して、前記画像の画像信号を生成させ、
   前記視差を有する画像の画像信号を加算することで加算信号を生成し、
   前記視差を有する画像の撮像中に、前記加算信号に基づく画像を表示させる
   ステップを含む処理をコンピュータに実行させるプログラム。
9. 被写体を立体表示するための互いに視差を有する画像を撮像して得られた画像信号を加算して生成された加算信号であって、所定の符号化方式により符号化されている加算信号を受信する受信手段と、
   受信された前記加算信号を復号する復号手段と、
   復号された前記加算信号に基づく画像を表示する表示手段と
   を備える画像処理装置。
10. 前記加算信号は階層符号化されており、
    前記復号手段は、階層符号化により得られた各階層の前記加算信号のうち、最下層から、指定された解像度の画像が得られる階層までの前記加算信号を復号する
    請求項９に記載の画像処理装置。
11. 前記受信手段は、前記被写体を撮像する撮像装置から前記加算信号を受信し、
    前記表示手段は、前記撮像装置における前記被写体の撮像中に、前記加算信号に基づく画像を表示する
    請求項９に記載の画像処理装置。
12. 被写体を立体表示するための互いに視差を有する画像を撮像して得られた画像信号を加算して生成された加算信号であって、所定の符号化方式により符号化されている加算信号を受信する受信手段と、
    受信された前記加算信号を復号する復号手段と、
    復号された前記加算信号に基づく画像を表示する表示手段と
    を備える画像処理装置の画像処理方法であって、
    受信手段が、前記加算信号を受信し、
    前記復号手段が、前記加算信号を復号し、
    前記表示手段が、前記加算信号に基づく画像を表示する
    ステップを含む画像処理方法。
13. 被写体を立体表示するための互いに視差を有する画像を撮像して得られた画像信号を加算して生成された加算信号であって、所定の符号化方式により符号化されている加算信号の受信を制御し、
    受信された前記加算信号を復号し、
    復号された前記加算信号に基づく画像の表示を制御する
    ステップを含む処理をコンピュータに実行させるプログラム。

Images