JP5462722B2 - 立体撮像装置、立体画像表示装置、及び立体感調整方法 - Google Patents

Description

本発明は、立体撮像装置に関し、更に詳しくは、視差を有する複数の画像を撮影する立体撮像装置に関する。また、本発明は、多視点画像を立体視可能に表示する立体画像表示装置に関する。本発明は、更に、立体撮像装置及び立体画像表示装置における立体感調整方法及び立体画像表示方法に関する。

視差を有する複数の画像（多視点画像）を用いて画像を立体視可能に表示する技術が知られている。多視点画像は、複数の視点の画像、典型的には右目用画像と左目用画像を含む。多視点画像は、同一の被写体を異なる位置から撮影することで得ることができる。多視点画像に含まれる複数の画像を組み合わせて立体視用画像を生成し、画像間の視差を利用することで立体視用画像を立体視表示することができる。

立体視表示の具体的な手法としていくつかの方式が知られている。裸眼で立体視表示を可能にする方式として、裸眼平行法が知られている。裸眼平行法では、複数の画像を並べて配置し立体視表示を行う。また、メガネを用いて立体視を行う方式として、アナグリフ方式や偏光フィルタ方式が知られている。アナグリフ方式では、複数の画像の色を、例えば赤と青のように異ならせた上で重ね合わせることで複数の画像を合成し立体視用画像を生成する。この場合、赤青メガネを通して立体視用画像を観察することで、画像の立体表示が可能である。偏光フィルタ方式では、複数の画像を、偏光方向を異ならせた上で重ね合わせて合成し立体視用画像を生成する。偏光フィルタ方式では、偏光メガネを通して立体視用画像を観察することで、画像の立体表示が可能である。

上記の他にも、パララックスバリア方式やレンチキュラー方式が知られている。これら方式では、複数の画像を垂直方向に短冊状に切り取り交互に配置することで立体視用画像を生成する。パララックスバリア方式やレンチキュラー方式では、偏光メガネなどを必要とせずに、立体視用画像を立体視可能な立体視表示モニタに表示して立体視することが可能である。また、更に別の方式として、液晶シャッタ方式やスキャンバックライト方式も知られている。液晶シャッタ方式では、表示画面上に右目用画像と左目用画像とを交互に切り替えて表示し、液晶シャッタメガネを画像の切り替えに同期して駆動することで立体視表示を行う。スキャンバックライト方式では、光学素子を液晶表示素子の表示面に貼り、左右の画像の光線方向を変えながら左右の画像を交互に高速で切り替えて表示し、残像効果によって立体視表示を行う。

一般に、立体視用画像において左目用画像と右目用画像の相対的なずれを変化させると、立体視用画像を観察するユーザが感じる立体感が変化する。すなわち、ユーザが感じる画像の飛び出し量や、引っ込み量が変化する。立体視表示では、立体視表示を観察するユーザが立体感の調整を行うことが可能であることが好ましい。これは、ユーザに応じて好のみの立体感が異なり、あるユーザは強い立体感（飛び出し量が大きい立体視表示）が好きであるのに対し、別のユーザは立体感があまり強くない方が好みであるという場合があるからである。また、ユーザが感じる立体感は立体視表示を観察するユーザに依存し、同じ立体視用画像を観察したときにあるユーザが感じる立体感と別のユーザが感じる立体感とは必ずしも一致しないという事情もある。

特許文献１及び２は、立体感調整（視差量調整）を行うことが記載された文献である。特許文献１に記載の立体画像データ処理装置は、立体感調整手段として飛び出し量調整部を有する。飛び出し量調整部は、立体視表示された立体視用画像の視差量の調整の指示を受け付ける。ユーザは、プレビュー表示を見ながら飛び出し量調整バーを操作し、好ましい立体感が得られるように視差量を調整する。立体画像データ処理装置は、ユーザが決定した視差量の調整値に従って左目用画像と右目用画像とを合成し、合成画像を立体視表示可能なフォーマットに変換して出力する。特許文献２に記載の複眼カメラは立体視表示可能な表示手段を備えている。特許文献２では、そのような表示手段を用いることで撮像中に常に立体映像が表示でき、これにより撮像しながら映像の立体感の調整を行うことができるとしている。

特許文献３は、表示される映像のオフセット（視差量）を設定する立体映像表示装置が記載された文献である。映像信号には、右目及び左目用映像と適合サイズ情報とが含まれる。適合サイズ情報は、立体映像の再生に適する画面サイズに関する情報である。立体映像表示装置は、映像信号に含まれる適合サイズ情報と、画面表示を行う表示部の表示領域に関する情報（画面サイズ情報）とに基づいて、右目映像と左目映像とのオフセット量を設定する。特許文献３では、このようにすることで、表示部の画面サイズに対応した最適な立体度（奥行き度）を調整した立体画像を得ることができるとしている。また、特許文献３には、視聴者が指示した立体度に応じて左右目映像をオフセットして表示し、視聴者が最適な立体感が得られる視差量を調整できることが記載されている。

特開２００４−１２９１８６号公報 特開平１０−９０８１４号公報 特開２００４−１８００６９号公報

特許文献１及び２では、視差量の調整後、右目用画像と左目用画像とを合成し、合成画像を所定のフォーマットに変換して出力している。従って、特許文献１及び２では、調整された立体感を後で更に調整することはできない。これに対し、特許文献３では右目用映像と左目用映像とが分かれて配信される。このため、特許文献３においては、映像信号から任意に立体感を調整することができる。しかし、特許文献３では調整された立体感の保存までは触れられてない。このため、特許文献３では、仮に好みの立体感に調整できても、後で同じ映像を観察する際には、再度立体感の調整を行う必要がある。

公知技術ではないが、特願２００９−８４７１９において、画像に関連付けて視差量調整値を記録する方式が提案されている。この技術を用いれば、任意に立体感を調整することが可能であり、かつ、後で調整した画像を観察する際に以前に調整した立体感で画像を観察することが可能である。特願２００９−８４７１９に記載の技術を用いることで、例えば撮影時に、撮影装置で撮影した画像に対して立体感調整を行い、その立体感調整の調整値を撮影画像と対応付けて記録しておき、後で表示装置を用いて画像表示を行う際に、撮影時に調整された立体感で画像表示を行うことが可能である。

しかし、特願２００９−８４７１９では、これから画像を撮影するときや、これから画像を表示して立体感調整を行うときに、ユーザが以前に行った立体感調整の調整値を利用することは記載されていない。特願２００９−８４７１９において、撮影時にユーザが立体感調整を行わない場合、以前の画像の撮影時や表示時に立体感調整を行ったときでも、背面の表示モニタには立体感調整なしの状態でスルー画が表示されることになる。また、画像表示時においても、その画像に関連付けて記録される視差量調整値が記録されていない場合、他の画像に対して視差量調整値が記録されていても、それを反映させた立体感で画像表示を行うことができない。

本発明は、上記に鑑み、ユーザが立体感調整を行わなくても、以前に行われた立体感調整の調整値を反映させた立体感で画像表示を行うことができる立体撮像装置、立体視用画像表示装置、立体感調整方法、及び立体画像表示方法を提供することを目的とする。

上記目的を達成するために、複数の視点の画像を含む多視点画像の撮影を行って該多視点画像を記録媒体に記録する撮影部と、前記多視点画像に基づいて、画像を立体視表示するための立体視用画像を生成する立体視用画像生成部と、前記立体視用画像を立体視表示が可能な表示モニタに表示させる表示処理部と、前記立体視用画像生成部に対して立体感調整値を設定し、前記立体視用画像を前記表示モニタに表示した際の立体感の調整を行う立体感制御部と、前記立体感制御部が調整した立体感調整値を前記多視点画像に関連付けて記録媒体に記録する調整値記録部と、１以上の画像に関連付けて記録された立体感調整値の代表値を求める代表値算出部とを備え、前記立体感制御部が、画像撮影時に前記立体感調整値の代表値を前記立体視用画像生成部に設定し、前記立体視用画像生成部が、前記撮影部で撮影すべき多視点画像の画角調整用の動画表示に用いられる画像に基づいて、前記設定された代表値で表わされる立体感で立体視用画像を生成し、前記表示処理部が、前記立体視用画像生成部が生成した、画角調整用の動画表示に用いられる画像の立体視用画像を表示モニタに表示させるものであることを特徴とする立体撮像装置を提供する。

ここで、立体視用画像生成部は、記録媒体に記録された多視点画像を読み出し、読み出した多視点画像に基づいて立体視用画像を生成することができる。また、立体視用画像生成部は、撮影部にてこれから撮影しようとしている多視点画像に基づいて立体視用画像を生成してもよい。

“立体感”とは、画像を表示モニタに立体視可能に表示したときに観察者が感じる画像の飛び出し具合、又は引っ込み具合と定義できる。立体感は、例えば多視点画像の撮影に用いる複数のレンズの輻輳角や多視点画像に含まれる複数の画像を重ね合わせる際のずれ量などで調整することが可能である。それらの調整値が“立体感調整値”に該当する。立体感調整値は、複数の調整値の組み合わせでもよい。

本発明の立体撮像装置では、前記調整値記録部が、前記撮影部が前記多視点画像を撮影すると、該撮影した多視点画像に関連付けて、前記代表値を立体感調整値のデフォルト値として記録媒体に記録する構成を採用できる。

また、前記調整値記録部が、前記代表値に代えて、撮影時に立体感制御部が調整した立体感調整値を前記デフォルト値として記録媒体に記録する構成としてもよい。

本発明の立体撮像装置では、前記調整値記録部が、前記デフォルト値に加えて、前記立体感制御部が調整した前記デフォルト値とは異なる立体感調整値を前記多視点画像に関連付けて記録媒体に追加記録する構成を採用してもよい。

本発明の立体撮像装置では、前記調整値記録部が、前記デフォルト値とは異なる立体感調整値を前記デフォルト値との差分として記録してもよい。

本発明の立体撮像装置では、前記立体感制御部が、ユーザからの立体感の強弱に関する指示を受け付け、該受け付けた指示に従って前記立体感調整値を変化させ、ユーザが調整のやり直しを指示すると、記録媒体から前記デフォルト値を読み出し、該読み出したデフォルト値を前記立体感調整値に設定する構成としてもよい。

本発明の立体撮像装置では、記録媒体に記録された多視点画像が１以上のグループに分かれており、前記代表値算出部が、同じグループに所属する１以上の画像に関連付けて記録された１以上の立体感調整値の代表値を求めてもよい。

本発明の立体撮像装置では、前記調整値記録部が、前記立体感調整値の代表値を前記画像に更に関連付けて記録することとしてもよい。

本発明の立体撮像装置では、前記立体感制御部が、記録媒体に記録された多視点画像の画像表示時に前記立体感調整値の代表値を前記立体視用画像生成部に設定し、前記立体視用画像生成部が、記録媒体から読み出した多視点画像に基づいて前記設定された代表値で表わされる立体感で立体視用画像を生成し、前記表示処理部が、前記立体視用画像生成部が生成した立体視用画像を表示モニタに表示させる構成とすることができる。

本発明の立体撮像装置は、記録媒体に記録された多視点画像から表示対象の画像を選択する表示画像選択部を更に備える構成を採用でき、その場合、前記立体感制御部が、前記表示対象画像として選択された多視点画像に関連付けて記録された１以上の立体感調整値を読み出し、該読み出した１以上の立体感調整値のそれぞれを前記立体視用画像生成部に設定し、前記立体視用画像生成部が、前記表示対象画像として選択された多視点画像に基づいて前記設定された１以上の立体感調整値のそれぞれで表わされる立体感で１以上の立体視用画像を生成し、前記表示処理部が、前記立体視用画像生成部が生成した１以上の立体視用画像を順次に表示モニタに表示する構成とすることができる。

本発明の立体撮像装置では、前記表示画像選択部が複数の多視点画像を表示対象画像として選択し、前記表示処理部が、一の多視点画像に対して複数の立体感調整値が関連付けられているときは、該複数の立体感調整値で生成された立体視用画像を順次に表示させた後に、次の多視点画像の立体視用画像に切り替えて表示させていく構成を採用することができる。

本発明の立体撮像装置では、上記に代えて、前記表示画像選択部が複数の多視点画像を表示対象画像として選択し、前記表示処理部が、前記表示対象画像として選択された複数の多視点画像に基づいて、各多視点画像のｉ番目（ｉ：１から立体感調整値の数）の立体感調整値で生成された複数の立体視用画像を順次に表示させた後に、ｉ＋１番目の立体感調整値で生成された複数の立体視用画像を表示させていく構成を採用することもできる。

本発明の立体撮像装置では、前記表示処理部が、立体感が弱い立体視用画像から順に前記立体視用画像を表示させてもよい。

本発明の立体撮像装置では、前記立体感制御部が、前記立体視用画像が前記表示モニタに表示された状態で立体感調整を行うこととすることができる。

本発明の立体撮像装置では、前記調整値記録部が、前記立体感調整が行われたときに立体視用画像が表示された表示モニタのモニタサイズを更に画像に関連付けて記録する構成とすることができる。

本発明の立体撮像装置は、前記表示モニタのモニタサイズを取得するモニタサイズ取得部を更に備える構成を採用することができ、その場合、前記立体感制御部が、画像の表示時に、表示する多視点画像に関連付けて記録された、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値を記録媒体から読み出す構成とすることができる。また、本発明の立体撮像装置では、前記立体感制御部が、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値が存在しないときは、前記取得されたモニタサイズに最も近いモニタサイズの立体感調整値を記録媒体から読み出す構成とすることができる。

本発明の立体撮像装置では、前記調整値記録部が、前記立体感調整が行われたときに立体視用画像が表示された表示モニタのモニタサイズと、当該モニタサイズとは異なる１以上のモニタサイズに対する係数とを更に画像に関連付けて記録する構成を採用することができる。

本発明の立体撮像装置は、前記表示モニタのモニタサイズを取得するモニタサイズ取得部を更に備える構成を採用することができ、その場合、前記立体感制御部が、画像の表示時に、表示する多視点画像に関連付けて記録された、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値を記録媒体から読み出す構成とすることができる。また、前記立体感制御部が、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値が存在しないときは、前記モニタサイズ取得部が取得したモニタサイズとは異なるモニタサイズの立体感調整値と前記係数とを記録媒体から読み出し、該読み出した立体感調整値に前記取得されたモニタサイズに該当する係数を乗じた値を前記立体感調整値とすることができる。

本発明の立体撮像装置は、前記立体感調整が行われたときに立体視用画像が表示された表示モニタのモニタサイズと前記立体感調整値とに基づいて、前記モニタサイズから前記立体感調整値を推定するための推定式のパラメータを求めるパラメータ算出部を更に備える構成を採用することができ、その場合、前記調整値記録部が、該求めたパラメータを前記立体感調整値に代えて、又はこれに加えて前記画像に関連付けて記録する構成とすることができる。

本発明の立体撮像装置は、前記表示モニタのモニタサイズを取得するモニタサイズ取得部を更に備える構成を採用することができ、その場合、前記立体感制御部が、記録媒体から前記推定式のパラメータを読み出し、該読み出したパラメータと前記モニタサイズ取得部が取得したモニタサイズとに基づいて立体感調整値を求める構成とすることができる。

本発明は、複数の視点の画像を含む多視点画像と、該多視点画像を立体視表示する際の立体感調整値とを関連付けて記憶する記録媒体から読み出された多視点画像に基づいて、画像を立体視表示するための立体視用画像を生成する立体視用画像生成部と、前記立体視用画像を立体視表示が可能な表示モニタに表示させる表示処理部と、前記立体視用画像生成部に対して前記立体感調整値の代表値を設定し、前記立体視用画像を前記表示モニタに表示した際の立体感を制御する立体感制御部と、１以上の画像に関連付けて記録された立体感調整値の代表値を求める代表値算出部とを備え、前記立体感制御部が、前記立体感調整値の代表値を前記立体視用画像生成部に設定するものであることを特徴とする立体画像表示装置を提供する。

本発明の立体画像表示装置では、前記立体制御部が前記表示モニタに表示された立体視用画像の立体感調整を行うと、該調整された立体感調整値を前記画像に関連付けて追加記録する調整値記録部を更に備える構成を採用できる。

本発明の立体画像表示装置では、前記調整値記録部が、前記立体感調整値の代表値を前記画像に関連付けて更に記録する構成とすることができる。

本発明は、複数の視点の画像を含む多視点画像の撮影を行うステップと、前記多視点画像に基づいて、画像を立体視表示するための立体視用画像を生成するステップと、前記立体視用画像を画像の立体視表示が可能な表示モニタに表示した際の立体感を調整するステップと、前記調整された立体感の調整値を前記多視点画像に関連付けて記録媒体に記録するステップと、１以上の画像に関連付けて記録された立体感調整値の代表値を求めるステップとを有し、前記撮影を行うステップにおいて、撮影すべき多視点画像の画角調整用の動画表示に用いられ画像に基づいて、前記立体感調整値の代表値で表わされる立体感で立体視用画像を生成し、該生成され立体視用画像を前記表示モニタに表示することを特徴とする立体感調整方法を提供する。

また、本発明は、複数の視点の画像を含む多視点画像と、該多視点画像を立体視表示する際の立体感調整値のデフォルト値とを関連付けて記憶する記録媒体を参照して、１以上の画像に関連付けて記録された立体感調整値の代表値を求めるステップと、記録媒体から多視点画像を読み出し、該読み出した多視点画像に基づいて、前記立体感調整値の代表値で表わされる立体感で画像を立体視表示するための立体視用画像を生成するステップと、前記立体視用画像を立体視表示が可能な表示モニタに表示するステップとを有する立体画像表示方法を提供する。

本発明の立体撮像装置及び立体感調整方法は、撮影時に、これから撮影すべき多視点画像の画角調整用の動画表示に用いられる画像（スルー画）に対して立体感調整値の代表値を設定する。このようにすることで、ユーザが撮影時に立体感調整を行わなくても、以前に行われた立体感調整の調整値を反映させた立体感で画像表示を行うことができる。

また、本発明の立体画像表示装置及び立体画像表示方法は、画像表示時に立体感調整値の代表値を設定する。このようにすることで、ユーザが立体感調整を行わず、或いは表示対象の画像に関連付けて記録された立体感調整値が存在しない場合でも、以前に行われた立体感調整の調整値を反映させた立体感で画像表示を行うことができる。

本発明の第１実施形態の立体撮像装置の外観を表す斜視図。 第１実施形態の立体撮像装置の外観を表す斜視図。 立体撮像装置の内部機能を示すブロック図。 視差量の調整を示す模式図。 撮影時の動作手順を示すフローチャート。 画像を表示し立体感調整を行う際の動作手順を示すフローチャート。 表示装置の外観を示す斜視図。 表示装置の内部構成を示すブロック図。 画像と、その画像に関連付けて記録される視差量調整値とを示す図。 画像と、その画像に関連付けて記録される視差量調整値とを示す図。 画像と、その画像に関連付けて記録される視差量調整値とを示す図。 画像と、その画像に関連付けて記録される視差量調整値とを示す図。 画像と、その画像に関連付けて記録される視差量調整値とを示す図。 本発明の第２実施形態において、画像とその画像に関連付けて記録される視差量調整値とを示す図。 第２実施形態における撮影時の立体撮像装置の動作手順を示すフローチャート。 第２実施形態における画像表示及び立体感調整の動作手順を示すフローチャート。 表示領域とデフォルト値で立体感調整を行った右目用画像の位置と立体感調整後の右目用画像の位置との関係を示す模式図。 表示領域とデフォルト値で立体感調整を行った左目用画像の位置と立体感調整後の左目用画像の位置との関係を示す模式図。 本発明の第４実施形態の立体撮像装置の内部構成を示すブロック図。 第４実施形態における立体視用画像表示の動作手順を示すフローチャート。 表示モニタに表示される立体視用画像を示す模式図。 表示モニタに表示される立体視用画像を示す模式図。 表示モニタに表示される立体視用画像を示す模式図。 視差量調整値記録ファイルの具体例を示す図。 第４実施形態において表示される画像の順序を示すブロック図。 本発明の第５実施形態における立体視用画像表示の動作手順を示すフローチャート。 第５実施形態において表示される画像の順序を示すブロック図。 本発明の第６実施形態の立体撮像装置の内部構成を示すブロック図。 第６実施形態における立体感調整の際の動作手順を示すフローチャート。 画像と、その画像に関連付けて記録される視差量調整値とを示す図。 第６実施形態における画像表示時の動作手順を示すフローチャート。 本発明の第７実施形態における立体感調整の際の動作手順を示すフローチャート。 画像と、その画像に関連付けて記録される視差量調整値及び他のモニタサイズに対する係数とを示す図。 第７実施形態における画像表示時の動作手順を示すフローチャート。 本発明の第８実施形態の立体撮像装置の内部構成を示すブロック図。 推定式の一例を示す図。 第８実施形態における立体感調整の際の動作手順を示すフローチャート。 画像と、その画像に関連付けて記録されるパラメータとを示す図。 第８実施形態における画像表示時の動作手順を示すフローチャート。

以下、図面を参照し、本発明の実施の形態を詳細に説明する。図１Ａ及び図１Ｂは、本発明の第１実施形態の立体撮像装置の外観を表している。図１Ａは立体撮像装置（複眼カメラ）１０の正面を含む斜視図であり、図１Ｂは複眼カメラ１０の背面を含む斜視図である。複眼カメラ１０は、正面側に、複数のレンズ１１（１１Ａ、１１Ｂ）と、フラッシュ１２と、レリーズ１３とを有する。また、背面側に、表示モニタ１４と操作ボタン１５とを有する。なお、図１Ａ及び図１Ｂでは図示を省略しているが、複眼カメラ１０は、外部機器との間で通信を行うための通信インタフェース、及び記録媒体を収容する記録媒体スロットを有していてもよい。

複眼カメラ１０は、多視点画像を撮影する。多視点画像は、互いに視差を有する第１視点画像から第ｎ視点画像（ｎは２以上の整数）を含む。複眼カメラ１０は、第１視点画像から第ｎ視点画像を撮影するためのｎ個のレンズ１１（ｎは２以上の整数）を有する。図１Ａでは、レンズの個数は２個（ｎ＝２）としている。レンズ１１Ａ及び１１Ｂは、それぞれ右目用画像及び左目用画像の撮影に用いられる。レンズ１１Ａとレンズ１１Ｂとの間隔は、例えば人間の右目と左目との間隔と同じ程度の間隔に設定されている。

フラッシュ１２は暗所での撮影などに用いられる。レリーズ１３は、ユーザ（撮影者）が撮影を指示するために使用される。複眼カメラ１０は、ユーザがレリーズ１３を押すと、撮影された右目用画像及び左目用画像を、カメラ内の記録媒体又は記録媒体スロットに挿入された記録媒体に格納する。右目用画像及び左目用画像は、１つのファイルとして格納されてもよいし、別個のファイルとして格納されてもよい。操作ボタン１５は、ユーザが各種設定などを行う際に使用される。

表示モニタ１４は、撮影された画像や複眼カメラ１０の各種設定を行うためのメニュー画面などを表示する。表示モニタ１４は、右目用画像及び左目用画像に基づいて生成される立体視用画像を立体視可能に表示できる。立体視表示の方式は、例えば裸眼で立体視が可能なレンチキュラー方式とすることができる。立体視表示の方式は、これには限定されず、裸眼平行法やパララックスバリア方式、スキャンバックライト方式などでもよい。表示モニタ１４における立体視表示の方式は任意でよく、必ずしも裸眼で立体視が可能な方式に限定されない。立体視表示の方式は、画像分離メガネが必要なアナグリフ方式、偏光フィルタ方式、或いは液晶シャッタ方式でもよい。

図２は、複眼カメラ１０の内部機能を示している。複眼カメラ１０は、センサ１６、Ａ／Ｄ変換器１７、画像処理部１８、操作入力部１９、カメラ制御部２０、通信インタフェース２１、記録媒体記録部２２、立体感制御部２４、立体視用画像生成部２５、調整値記録部２６、表示処理部２７、及び代表値算出部２８を更に有する。操作入力部１９は、ユーザの各種操作を入力する。図１Ａに示すレリーズ１３及び図１Ｂに示す操作ボタン１５は、操作入力部１９に含まれる。ユーザは、操作入力部１９を用いて複眼カメラ１０に対して指示を入力することで、画像の撮影、画像の表示、及び表示画像の立体感調整を行うことができる。

複眼カメラ１０は、撮影を行って多視点画像を生成・記録する撮影装置と、ユーザが撮影した多視点画像を表示する表示装置とを兼ねる。また、複眼カメラ１０は、立体視用画像の立体感の調整を行うための立体感調整装置も兼ねる。複眼カメラ１０の構成（機能）は、画像撮影に関する部分（撮影部）と、表示モニタ１４に立体視用画像を表示する部分（立体表示部）と、表示モニタ１４に表示される画像の立体感の調整を行う部分（立体感調整部）とに大別できる。複眼カメラ１０内の各部の機能は、コンピュータが所定のプログラムに従って処理を実行することでも実現可能である。

レンズ１１、センサ１６、Ａ／Ｄ変換器１７、画像処理部１８、及びカメラ制御部２０は、多視点画像の撮影を行い、撮影した画像を記録媒体２３に記録する撮影部に相当する。センサ１６は、レンズ１１により結像された画像を光電変換する。Ａ／Ｄ変換器１７は、センサ１６が出力するアナログ信号をデジタル変換する。画像処理部１８は、デジタル変換された画像信号に対して所定の画像処理を行う。画像処理は、例えばホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正などを含む。センサ１６、Ａ／Ｄ変換器１７、及び画像処理部１８は、複数のレンズ１１のそれぞれに対応して設けられている。複眼カメラ１０は、第１から第ｎまでのレンズ１１のそれぞれ対して画像を生成する。すなわち、第１視点画像〜第ｎ視点画像を生成する。

カメラ制御部２０は、画像撮影に対する制御を行う。カメラ制御部２０は、例えば撮影タイミングの決定や、撮影時のパラメータ制御などを行う。カメラ制御部２０は、例えばユーザがズーム倍率を指示したときは、ユーザが指示したズーム倍率となるようにレンズ１１を駆動する。ズームは光学的なズームだけでなく、画像処理で行うデジタルズームを含んでもよい。デジタルズームの場合、カメラ制御部２０は画像処理部１８に対してズーム倍率を指示し、画像処理部１８は画像の一部を拡大する処理を行えばよい。

記録媒体記録部２２は、記録媒体２３に対する情報の記録、及び記録媒体２３に記録された情報の読み出しを行う。カメラ制御部２０は、記録媒体記録部２２を介して、記録媒体２３に第１視点画像〜第ｎ視点画像を記録する。画像の記録形式は任意でよい。例えば複眼カメラ１０が図示しない圧縮処理部を備えており、記録媒体記録部２２が、その圧縮処理部で圧縮処理が施された画像（画像データ）を記録媒体２３に記録してもよい。記録媒体２３には、不揮発性の半導体記憶装置やハードディスクドライブなど任意の媒体を用いることができる。記録媒体２３は、例えば複眼カメラ１０に内蔵された内部メモリでもよいし、図示しないカードスロットに挿入されたカード型の記録媒体でもよい。

通信インタフェース２１は、複眼カメラ１０と外部の機器との間で通信を行う際のインタフェースである。複眼カメラ１０と外部機器との間に通信には、例えば無線通信や赤外線通信などの非接触型の通信を用いることができる。或いは複眼カメラ１０と外部との通信は、ケーブル接続による通信でもよい。複眼カメラ１０は、記録媒体２３に記録された多視点画像（第１視点画像〜第ｎ視点画像）を、通信インタフェース２１を介して外部の機器に出力することができる。或いは複眼カメラ１０は、通信インタフェース２１を介して多視点画像を入力し、入力された多視点画像を、記録媒体記録部２２を介して記録媒体２３に記録してもよい。

表示モニタ１４、立体視用画像生成部２５、及び表示処理部２７は、画像の立体視表示を行う立体視表示部に相当する。立体視用画像生成部２５は、第１視点画像〜第ｎ視点画像に基づいて、画像を立体視表示するための立体視用画像を生成する。立体視用画像生成部２５は、例えば記録媒体記録部２２を介して記録媒体２３から多視点画像を読み出し、読み出した多視点画像に基づいて立体視用画像を生成する。また、立体視用画像生成部２５は、画像撮影時は、第１〜第ｎの画像処理部１８が出力する、多視点画像の画角調整用の動画表示に用いられる画像（以下、スルー画とも呼ぶ）を入力し、入力した画像に基づいて立体視用画像（スルー画の立体視用画像）を生成してもよい。

立体視用画像生成部２５は、表示モニタ１４が採用する立体表示方式に適合する立体視用画像を生成する。例えば立体視表示方式がレンチキュラー方式で、表示モニタ１４の表示領域の偶数列が右目用画像に対応し、奇数列が左目用画像に対応している場合、立体視用画像生成部２５は、右目用画像の各列を表示モニタ１４の表示領域の偶数列に配置し、左目用画像の各列を表示領域の奇数列に配置した立体視用画像を生成する。表示処理部２７は、表示モニタ１４に立体視用画像を出力し、画像を立体視可能に表示させる。

立体感制御部２４及び調整値記録部２６は、立体視用画像の立体感調整を行う立体感調整部に相当する。立体感制御部２４は、立体視用画像生成部２５に対して立体感調整値を設定し、立体視用画像を表示モニタ１４に立体視可能に表示する際の立体感の調整を行う。立体感の調整は、多視点画像に含まれる画像間の視差量を調整することで行うものとする。立体感制御部２４は、例えばユーザの指示に基づいて、画像の飛び出し量が多くなるように、或いは画像の飛び出し量が減少するように画像間の視差量を調整する。視差量の調整は、ユーザが任意に行う調整のほか、多視点画像に基づいて行う自動調整を含んでいてもよい。ユーザは、画像撮影時及び画像撮影後の任意の時点において、立体感調整を行うことができる。

調整値記録部２６は、視差量調整値を、多視点画像に関連付けて記録媒体２３に記録する。調整値記録部２６は、画像撮影時に調整された視差量調整値をデフォルト値（既定値）として記録する。調整値記録部２６は、画像撮影後の視差量調整において、調整対象の画像に対して既にデフォルトの調整値が関連付けて記録されているときは、デフォルト値とは別に、立体感制御部２４で調整された視差量を追加で記録することができる。調整値記録部２６は、１つの画像に対して、デフォルト値以外に複数の視差量調整値を記録することができる。

なお、画像撮影時に調整されたデフォルト値が既に存在する場合おいて、新たに立体感の調整を行ったときに、ユーザにデフォルト値の変更か、或いは調整値の追加かを選択させてもよい。ユーザがデフォルト値の変更を選択した場合、調整値記録部２６は、視差量の調整値をデフォルト値として記録すればよい。ユーザが追加を選択した場合、デフォルト値は変更せずに、視差量の調整値を追加すればよい。デフォルト以外の視差量調整値が既に記録されているときは、ユーザに、記録済みの視差量調整値の上書きか、視差量調整値の追加かを選択させてもよい。

代表値算出部２８は、記録媒体２３において１以上の画像のそれぞれに関連付けて記録された視差量調整値の代表値を求める。代表値は、何らかの統計的手法で求められた視差量調整値を代表する値とする。以下では、代表値は視差量調整値の平均値とする。例えば代表値算出部２８は視差量調整値の相加平均を求める。代表値算出部２８は、画像に関連付けて記録された、デフォルト値を含む全ての視差量調整値から平均値を求めることができる。或いは代表値算出部２８は、画像に関連付けて記録された視差量調整値のうちのデフォルト値のみを平均値算出の対象としてもよい。

代表値算出部２８は、平均値の算出では、格納された全ての画像に関連付けられた視差量調整値の平均を求めることができる。或いは代表値算出部２８は、記録媒体２３に記録された多視点画像が１以上のグループに分かれているとき、グループごとに平均値を求めてもよい。多視点画像のグループ分けは代表値算出部２８が行ってもよい。グループ分けは、例えば画像の保存フォルダや画像のカテゴリに基づいて行うことができる。カテゴリなどは、画像に付加された属性情報を参照することで特定できる。代表値算出部２８は、例えば同じフォルダに格納された多視点画像をリストアップし、リストに含まれる各多視点画像に関連付けて記録された視差量調整値を調べ、それらの相加平均を求める。

立体感制御部２４は、画像撮影時に代表値算出部２８が求めた視差量調整値の代表値を立体視用画像生成部２５に設定する。立体視用画像生成部２５は、撮影部で撮影すべき多視点画像のスルー画に基づいて、立体感制御部２４が設定した代表値で表わされる立体感で立体視用画像を生成する。表示処理部２７は、立体視用画像生成部２５が生成したスルー画の立体視用画像を表示モニタ１４に表示させる。ユーザが立体感調整を行わずに多視点画像を撮影すると、調整値記録部２６は、撮影された多視点画像に関連付けて、視差量調整値の平均値を、視差量調整値のデフォルト値として記録媒体２３に記録することができる。

図３は、視差量の調整を示している。ここでは、表示領域の偶数列に右目用画像の各列を配置し、奇数列に左目用画像の各列を配置して重ね合わせることで立体視用画像を生成することを考える。紙面向って左下の点を原点と定義する。なお、図３では、画像等の重なりを明確に示すために、表示領域と各画像のｙ方向の大きさを変えて図示しているが、モニタ表示領域のｙ方向の画素数（ｙ方向の画像サイズ）と、右目用画像及び左目用画像のｙ方向の画像サイズとはそれぞれ等しいものとする。ｘ方向については、右目用画像と左目用画像とにおけるｘ方向の画像サイズは互いに等しく、立体視用画像のｘ方向の画像サイズは、右目用画像及び左目用画像におけるｘ方向の画像サイズの２倍であるとする。

立体感の調整を行わないとき、言い換えれば右目用画像と左目用画像とがもともと有している視差量で立体視表示を行う場合、立体視用画像生成部２５は、右目用画像の０列目、１列目、２列目、・・・を表示領域の０列目、２列目、４列目、・・・にそれぞれ配置し、左目用画像の０列目、１列目、２列目、・・・を表示領域の１列目、３列目、５列目、・・・にそれぞれ配置すればよい。立体視用画像生成部２５は、ユーザが立体感調整を行うと、右目用画像と左目用画像との相対的な位置をずらして重ねる。立体感制御部２４は、例えばユーザが立体感を強くする旨を指示すると、右目用画像を紙面向って右側に平行移動させ、左目用画像を紙面向って左側に平行移動させる。逆に、ユーザが立体感を弱くする旨を指示した場合、立体感制御部２４は、右目用画像を紙面向って左側に平行移動させ、左目用画像を紙面向って右側に平行移動させる。

本実施形態においては、立体感（視差量）の調整値は、立体感調整を行わないときの右目用画像及び左目用画像のｘ方向の位置と、調整後の右目用画像及び左目用画像のｘ方向の位置との差で表わすことする。例えば立体感の調整後、右目用画像が紙面向って右方向に立体視用画像のＸＲ画素（ＸＲは正の偶数）だけ移動し、右目用画像の０列目が立体視用画像（表示領域）のＸＲ列目に配置されているとき、右目用画像の視差量調整値は「右にＸＲ画素」とする。逆に、右目用画像が紙面向って左方向にＸＲ画素だけ移動している場合を考えると、右目用画像の０列目は、実際には存在しない立体視用画像の−ＸＲ列目に配置されることになる。この場合、右目用画像は１列おきに配置されることから、立体視用画像の０列目には右目用画像のＸＲ／２列目が配置される。このときの視差量の調整値を「左にＸＲ画素」とする。左方向への移動をマイナスの符号で表わせば、視差調整値は−ＸＲと表すことができる。

左目用画像が紙面向って左方向にＸＬ画素（ＸＬは正の偶数）だけ移動している場合を考えると、立体視用画像の１列目に配置されるべき左目用画像の０列目は、実際には存在しない立体視用画像の−ＸＬ＋１列目に配置されることになる。この場合、左目用画像は１列おきに配置されることから、立体視用画像の１列目には左目用画像のＸＬ／２列目が配置される。このときの視差量の調整値を「左にＸＬ画素」（−ＸＬ）とする。逆に、左目用画像が紙面向って右方向に立体視用画像のＸＬ画素だけ移動し、左目用画像の０列目が立体視用画像（表示領域）のＸＬ＋１列目に配置されているとき、左目用画像の視差量調整値は「右にＸＬ画素」（＋ＸＬ）とする。なお、右目用画像及び左目用画像は１列おきに交互に配置されるので、ＸＲ／２、ＸＬ／２を視差量調整値として定義してもよい。

図４は、撮影時の動作手順を示している。以下の動作手順の説明では、複眼カメラ１０が備えるレンズの数は２つであるとする。すなわち、複眼カメラ１０は、右目用画像の撮影に用いられるレンズ１１Ａ（図１Ａ）と、左目用画像の撮影に用いられるレンズ１１Ｂとを有しているとする。ユーザは、操作入力部１９を操作して複眼カメラを撮影可能状態にする。

代表値算出部２８は、記録媒体２３に記録された視差量調整値に基づいて、視差量調整値の平均値を求める。平均値は、例えば記録媒体２３に記録された全ての画像に対する視差調整値の平均値でもよく、或いは保存フォルダごとに求められた平均値でもよい。或いはユーザが、複眼カメラ１０が備えるシーンセレクタの機能を用いて、人物、風景、スポーツ、夜景などの中から任意に撮影シーンを選択できるようになっている場合は、撮影シーンに基づいてグループ分けを行い、画像の撮影に用いられた撮影シーンごとに視差量調整値の平均値を求めてもよい。立体感制御部２４は、視差量調整値の平均値を立体視用画像生成部２５に設定する（ステップＳ１０１）。

立体視用画像生成部２５は、右目用画像に対応するスルー画と左目用画像に対応するスルー画とに基づいて、視差量調整値の平均値で表わされる立体感で立体視用画像を生成する。表示処理部２７は、立体視用画像生成部２５が生成した立体視用画像（立体視用のスルー画）を表示モニタ１４に立体視可能に表示する（ステップＳ１０２）。カメラ制御部２０は、ユーザが撮影指示を行ったか否かを判断する（ステップＳ１０３）。ユーザが撮影指示を行わないとき、立体感制御部２４は、ユーザが立体感調整を指示したか否かを判断する（ステップＳ１０４）。ユーザが立体感調整の指示を行わないときはステップＳ１０２に戻り、スルー画を表示しつつ撮影待機する。

立体感制御部２４は、ユーザが立体感調整を指示すると、右目用画像と左目用画像との視差量の調整を行う（ステップＳ１０５）。この視差量の調整は、立体感制御部２４がスルー画に基づいて自動で行ってもよく、或いはユーザに対して視差量の調整を促し、ユーザの指示に基づいて行ってもよい。視差量の調整は、立体視用画像生成部２５が調整された視差量で立体視用画像の生成を行い、表示モニタ１４に表示された画像を確認しながら行うことが好ましい。

例えば立体感制御部２４は、表示モニタ１４に立体感の強弱を表すバーと現在の立体感の強度を表すつまみ（スライダー）とを表示し、ユーザからの立体感の強弱に関する指示を受け付ける。ユーザは、例えば操作ボタン１５（図１Ｂ）に含まれるカーソルキーの「右」「左」のキーを押してつまみを強又は弱の方向に移動させ、立体感の強弱を指示する。立体感制御部２４は、ユーザの指示に従って視差量を変化させる。例えば立体感制御部２４は、ユーザがつまみを強の方向へ進めると、右目用画像を図３の紙面向って右方向に移動させ、左目用画像を紙面向って左方向へ移動させる。逆に、ユーザがつまみを弱の方向へ進めると、立体感制御部２４は右目用画像を紙面向って左側に移動させ、左目用画像を紙面向って右側に移動させる。視差量が変更された画像は表示モニタ１４に表示される。ユーザは、表示モニタ１４を観察しながら、好みの立体感が得られるまで調整を繰り返し行うことができる。立体感制御部２４は、視差量調整値が調整範囲を超えるときには、表示モニタ１４にその旨を表示させるとよい。

ユーザが立体感調整を終えると、ステップＳ１０２に戻る。表示処理部２７は、ステップＳ１０２で、表示モニタ１４にスルー画を立体視可能に表示する。表示モニタ１４に表示されるスルー画の視差量は、立体感調整が行われるまでは視差量調整値の平均値であり、立体感調整が行われるとその調整で設定された視差量となる。

ユーザがレリーズ１３（図１Ａ）を操作すると、カメラ制御部２０は撮影が指示されたと判断し、右目用画像及び左目用画像の取り込みを指示する。記録媒体記録部２２は、右目用画像と左目用画像とを所定のフォーマットで記録媒体２３に記録する。また、調整値記録部２６は、代表値算出部２８が求めた視差量調整値の平均値、又はステップＳ１０５で調整された視差量の調整値を、右目用画像及び左目用画像と関連付けて記録媒体２３に記録する（ステップＳ１０６）。つまり、ユーザが視差量調整を行わずに撮影を行った場合、調整値記録部２６は視差量調整値の平均値を画像に関連付けて記録媒体２３に記録し、ユーザが視差量調整を行った場合は、その視差量調整において調整された視差量調整値を画像に関連付けて記録する。ステップＳ１０６で記録された視差量の調整値が、視差量調整値のデフォルト値となる。

本実施形態では、代表値算出部２８は、記録媒体２３に記録された、以前に行われた立体感調整の調整値の代表値を求める。画像撮影時、立体感制御部２４は、スルー画表示に際して視差量調整値の平均値を立体視用画像生成部２５に設定し、立体視用画像生成部２５は視差量調整値の平均値で表わされる立体感でスルー画の立体視用画像を生成する。このようにすることで、ユーザは撮影時に自身で立体感調整を行わなくても、以前の立体感調整において調整された調整値が反映された立体感で表示モニタ１４上に表示されるスルー画を観察しながら撮影を行うことができる。また、調整値記録部２６は、撮影した画像に関連付けて、視差量調整値の平均値を立体感調整値のデフォルト値として記録媒体２３に記録する。このような構成を採用する場合、ユーザは撮影時に明示的に立体感調整を行わなくても、視差量調整値の平均値をデフォルト値として撮影した画像に関連付けて記録することができる。

例えば記録媒体２３に格納された画像を撮影時に選択された撮影シーンに基づいてグループ分けしておき、グループごとに視差量調整値の平均値を求める場合を考える。画像撮影時の情報は、例えば画像データと共に記録されるＥｘｉｆ（Exchangeable Image File Format）情報を参照することで取得できる。ユーザが選択可能な撮影シーンのうちの何れかを選択すると、代表値算出部２８は、選択された撮影シーンで過去に撮影された画像の視差量調整値の平均値を求め、立体感制御部２４は、立体視用画像生成部２５に対して視差量調整値の平均値を設定する。立体視用画像生成部２５は、視差量を、視差量調整値の平均値に設定して立体視用画像を生成する。

例えばユーザが撮影シーン「風景」を選択して撮影を行う場合、今撮影しようとしている被写体と複眼カメラ１０との間の距離などは、過去に「風景」を選択して撮影された画像のおける被写体と複眼カメラ１０との間の距離などと似通っていることが考えられる。このため、「風景」で撮影された画像の視差量調整値の平均値だけ視差量を付加して表示モニタ１４にスルー画を表示すると、ユーザは適切な立体感でスルー画を観察できるものと考えられる。また、ユーザが画像を撮影した際に「風景」を選択して撮影された画像の視差量調整値の平均値をデフォルト値として撮影画像と関連付けて記録することで、適切と思われる視差量調整値をデフォルト値として設定することができると考えられる。

図５は、画像を表示し立体感調整を行う際の動作手順を示している。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ２０１）。或いは複眼カメラ１０が記録媒体２３に記録された画像の中から任意の１つを選択してもよい。代表値算出部２８は、視差量調整値の平均値を求める（ステップＳ２０２）。代表値算出部２８は、例えばステップＳ２０１で選択された画像と同じ保存フォルダに格納された画像に関連付けて記録された視差量調整値の平均値を求める（ステップＳ２０２）。立体感制御部２４は、求められた視差量調整値の平均値を立体視用画像生成部２５に設定する。立体感制御部２４は、選択された画像に関連付けて視差量調整値が記録されているときは、その視差量調整値を優先し、視差量調整値の平均値に代えて関連付けて記録された視差量調整値を設定してもよい。

立体視用画像生成部２５は、ステップＳＳ２０１で選択された画像のデータを記録媒体２３から読み出す。立体視用画像生成部２５は、読み出した画像のデータに基づいて、ステップＳ２０２で求められた視差量調整値の平均値で表わされる立体感で立体視用画像を生成する。表示処理部２７は、ステップＳ２０１で選択された画像を、表示モニタ１４に立体視表示する（ステップＳ２０３）。立体感制御部２４は、ユーザが立体感調整を指示したか否かを判断する（ステップＳ２０４）。ユーザが立体感調整の指示を行わないときは処理を終了する。ユーザが視差量の調整を指示すると、立体感制御部２４は視差量の調整を行う（ステップＳ２０５）。この視差量の調整は図４のステップＳ１０５における視差量の調整と同様な処理であり、立体感制御部２４が自動で行ってもよく、或いはユーザが任意に行ってもよい。ユーザは、表示モニタ１４に表示される画像を観察しながら、好みの立体感が得られるように視差量を調整することができる。

立体感制御部２４は、ユーザがこれまでの調整を破棄し、初期状態に戻ることを選択したか否かを判断する（ステップＳ２０６）。立体感制御部２４は、ユーザが初期状態に戻ることを選択したと判断すると、これまでの調整を破棄し、視差量を、ステップＳ２０２で求められた視差量調整値の平均値に設定する（ステップＳ２０７）。なお、ステップＳ２０１で選択された画像に関連付けて記録された視差量調整値が存在し、立体感制御部２４がその視差量調整値を立体画像生成部２５に対して設定していた場合、立体感制御部２４は、ステップＳ２０７において、視差量調整値を、選択された画像に関連付けて記録された視差量調整値に設定してもよい。このとき設定する視差量調整値はデフォルト値でよい。立体視用画像生成部２５は、ステップＳ２０７で設定された視差量で立体視用画像を生成する。表示処理部２７は立体視用画像を表示する（ステップＳ２０８）。

ステップＳ２０６でユーザが初期状態に戻ることを選択していないと判断された場合、ステップＳ２０６からステップＳ２０８へ進み、表示処理部２７が立体視用画像を表示する。このとき表示される立体視用画像は、ステップＳ２０５においてユーザが調整した視差量で生成される立体視用画像である。立体感制御部２４は、ユーザが調整終了を指示したか否かを判断する（ステップＳ２０９）。調整終了でない場合はステップＳ２０５に戻り、立体感調整を継続する。調整終了の場合、調整値記録部２６は、調整された視差量調整値をステップＳ２０１で選択された画像に関連付けて記録する（ステップＳ２１０）。

調整値記録部２６は、ステップＳ２１０において、画像の撮影時に記録されたデフォルトの視差量調整値とは別に、ステップＳ２０１で選択された画像に関連付けて視差量調整値を記録する。調整値記録部２６は、ステップＳ２０１で選択された画像に関連付けて記録されたデフォルトの視差量調整値が存在しないときは、ユーザの希望に応じて、調整された視差量をデフォルト値として記録してもよい。デフォルト値が存在する場合でも、ユーザの希望に応じて、調整された視差量調整値をデフォルト値として上書き記録してもよい。

本実施形態では、立体感制御部２４は、画像の表示時に、代表値算出部２８が求めた視差量調整値の平均値を立体視用画像生成部２５に設定する。立体視用画像生成部２５は、視差量調整値の平均値で表わされる立体感で画像表示を行う。このようにすることで、ユーザが立体感調整を行わず、或いは表示対象の画像に関連付けて記録された立体感調整値が存在しない場合でも、以前に行われた立体感調整の調整値を反映させた立体感で画像表示を行うことができる。また、立体感調整に際しては、視差量調整値の平均値で表わされる立体感から立体感調整を開始することができる。

上記の効果は、複眼カメラ１０の構成から画像撮影に関する部分を除いた構成の装置、すなわち立体視用画像の表示装置でも同様に得ることができる。図６Ａは表示装置の外観を示し、図６Ｂは内部構成を示している。表示装置５０は、図６Ａに示すように、表示モニタ５１、操作ボタン５２、及びカードスロット５３を有する。表示モニタ５１は、図１Ｂに示す複眼カメラ１０の表示モニタ１４に相当し、操作ボタン５２は、図１Ｂに示す操作ボタン１５に相当する。カードスロット５３は、カード型の記録媒体５７が挿入されるスロットである。

表示装置５０は、図６Ｂに示すように、操作入力部５４、通信インタフェース５５、記録媒体記録部５６、立体感制御部５８、立体視用画像生成部５９、調整値記録部６０、表示処理部６１、及び代表値算出部６２を更に有する。操作入力部５４は、図２に示す複眼カメラ１０の操作入力部１９に相当し、通信インタフェース５５は通信インタフェース２１に相当する。また、記録媒体記録部５６、立体感制御部５８、立体視用画像生成部５９、調整値記録部６０、表示処理部６１、及び代表値算出部６２は、それぞれ記録媒体記録部２２、立体感制御部２４、立体視用画像生成部２５、調整値記録部２６、表示処理部２７、及び代表値算出部２８に相当する。表示装置５０の構成は、表示モニタ５１に立体視用画像を表示する部分（立体表示部）と、立体視用画像の立体感の調整を行う部分（立体感調整部）とに大別できる。

ユーザは、例えば複眼カメラ１０から記録媒体２３（図２）を取り出し、これを表示装置５０のカードスロット５３へ挿入する。表示装置５０は、カードスロット５３に挿入された記録媒体５７から多視点画像を読み出し、読み出した多視点画像に基づいて立体視用画像を生成する。或いは表示装置５０は通信インタフェース５５を介して複眼カメラ１０との間で通信を行って多視点画像を受信し、受信した多視点画像に基づいて立体視用画像を生成してもよい。表示装置５０は、生成した立体視用画像を立体表示モニタ５１に視可能に表示する。

表示装置５０の立体感調整時の動作手順は、図５に示す手順と同様である。ただし、表示装置５０においては、調整値記録部６０は、画像に関連付けて記録されたデフォルト値を上書きせずに、デフォルト値とは別に視差量調整値を記録するものとする。つまり、デフォルト値は、画像撮影を行う撮影装置側でのみ記録可能としておくものとする。表示装置５０においても、ユーザが立体感調整を行わず、或いは表示対象の画像に関連付けて記録された立体感調整値が存在しない場合でも、以前に行われた立体感調整の調整値を反映させた立体感で画像表示を行うことができる。また、立体感調整に際しては、視差量調整値の平均値で表わされる立体感から立体感調整を開始することができる。

ところで、特願２００９−８４７１９では同一の画像に対して立体感の調整を複数回行うことまでは考慮されていない。例えば撮影者が撮影時に立体感調整を行ってその調整値を記録した後で、別のユーザが画像を観察して別の立体感調整値を上書き記録することもあり得る。特願２００９−８４７１９において、１つの画像に対して１つの調整値のみが記録されるとすれば、撮影者が調整した調整値は別のユーザが調整した調整値で上書きされることになり、撮影者が調整した立体感の調整値は失われる。特願２００９−８４７１９において、１つの画像に対して複数の調整値が記録可能であるとした場合でも、単に調整値が追加されていくだけであり、誰がどの装置で調整を行った調整値であるかは区別されない。

ユーザは任意に立体感を調整できるため、立体感調整値において最適な立体感を得るためには多数の調整値を試す必要がある。その際、調整値を様々に変化させていくと、一度調整を破棄して調整をやり直したくなることが考えられる。そのような場合、撮影者が調整した立体感調整値に戻れると、ユーザの利便性が向上する。しかし、特願２００９−８４７１９は撮影時に調整した立体感調整値に戻るための手段を持ち合わせておらず、撮影者の立体感調整値が上書きされると、その立体感調整値に戻ることはできない。

本実施形態において、例えば撮影時に複眼カメラ１０で立体感調整を行ってデフォルト値を設定し、その後、表示装置５０で画像を観察しているときに更に立体感調整を行う場合を考える。ユーザは、撮影後の立体感の調整では、試行錯誤して様々な視差量調整値を試し、好ましい立体感が得られる視差量調整値を探す。このとき、視差量調整値を変更して多数の立体感で立体視表示を行うと、ユーザは、撮影時のデフォルト値に対して立体感を強めているのか、或いは弱めているのかがわからなくなることが考えられる。このようなとき、一度調整を破棄して、初期状態に戻ることができると、ユーザの利便性を向上できる。

本実施形態では、画像に関連付けて視差量調整値のデフォルト値を記録しており、デフォルト値の記録後に行われた立体感調整の調整値はデフォルト値とは別に記録することが可能である。立体感制御部５８は、図５のステップＳ２０７において、ユーザが調整やり直しを指示したときに、設定する視差量調整値を、表示画像に関連付けて記録された視差量調整値のデフォルト値に戻すことができる。その場合、ユーザは撮影時に調整した立体感から立体感調整をやり直すことができる。これにより、立体感の調整に際してユーザの使い勝手を向上できるという効果が得られる。

比較例として、ユーザが調整のやり直しを指示した際に、撮影時の立体感ではなく、表示装置側で調整された立体感に戻る場合を考える。多視点画像は、ファイル移動などで任意のモニタサイズの表示装置５０に移動可能であり、移動先の表示装置５０にて多視点画像に基づく立体視用画像の表示及び立体感の調整が可能である。あるモニタサイズの表示装置（表示装置Ａ）を用いて立体感調整を行い、視差量調整値を画像に関連付けて記録したとする。その後、別のモニタサイズの表示装置（表示装置Ｂ）で立体感調整をしているとき、ユーザが調整のやり直しを指示したとする。このときに、立体感制御部５８が、表示装置Ａで調整された視差量調整値に戻したとすると、モニタサイズの違いに起因して、極端に立体感が強くなることや、逆に極端に立体感が弱くなる場合が存在する可能性がある。このため、他の表示装置で調整された視差量調整値は、調整のやり直しの際に戻る視差量調整値としてはふさわしくないと考えられる。

別の比較例として、ユーザが調整のやり直しを指示した際に、“視差量０”に戻る場合を考える。“視差量０”に戻す場合、撮影装置自身が持っている基線長・輻輳角で撮影・保存された状態に戻ることになり、被写体と撮影装置との距離関係に無関係な立体感に戻ることになる。このため、やはり極端に立体感が強い場合や極端に立体感が弱い場合が存在し、“視差量０”は調整のやり直しの際に戻る視差量調整値としてはふさわしくないと考えられる。これに対し、撮影装置側で調整された視差量調整値をデフォルト値とし、調整のやり直しの際にデフォルト値に戻す場合であれば、視差量調整値は、ユーザが見やすい立体感に調整した視差量調整値、或いは撮影装置が自動的に設定した視差量調整値に戻る。このため、表示装置側で調整された視差量調整値や視差量０に戻る場合に比して、見やすい状態に表示を戻すことができる。また、ユーザはその状態から再調整を行うことができ、その後の調整は微調整で済むため利便性が向上できる。

なお、複眼カメラ１０における表示モニタ１４のモニタサイズと、表示装置５０における表示モニタ５１のモニタサイズとは必ずしも同一でなくてよい。複眼カメラ１０と表示装置５０におけるモニタサイズが異なる場合、表示装置５０は、画像に関連付けて記録されたデフォルト値や視差量調整値に対して何らかの補正を施して用いてもよい。例えば、表示装置５０の立体感制御部５８は、モニタサイズの違いに応じた係数を用意しておき、その係数をデフォルト値や複眼カメラ１０において調整された視差量調整値に対して乗じて用いてもよい。係数を、ユーザが表示モニタを観察する際のユーザと表示モニタとの間の距離に応じて複数用意しておき、ユーザと表示モニタとの間の距離に応じて係数を使い分けてもよい。

また、画像と視差量調整値との関連付けには種々の方法が考えられる。図７Ａ〜図７Ｅは、画像と、その画像に関連付けて記録される視差量調整値とを示している。関連付けの方式は、大きく分けて、画像ファイルのヘッダにデフォルト値及び視差調整値を記録する方式と、画像ファイルとは別に視差調整値を記録するファイルを用意し、そのファイルに記録する方式との２つがある。図７Ａ及び図７Ｂは、それぞれ画像ファイルのヘッダ部分にデフォルト値及び視差量調整値を記録する例を示している。図７Ｃ〜図７Ｅは、それぞれ画像ファイルとは別個の視差調整記録用のファイルにデフォルト値及び視差調整値を記録する例を示している。

図７Ａは、多視点画像を構成する各画像が１つのファイルにまとめて保存される場合を示している。この場合は、そのファイルのヘッダに、各画像のデフォルト値及び視差調整値を記録すればよい。具体的には、右目用画像と左目用画像とを含む１つのファイルのヘッダに、右目用画像のデフォルト値（＋ＸＲ_Ｄ）及び視差調整値（＋ＸＲ）と、左目用画像のデフォルト値（−ＸＬ_Ｄ）及び視差調整値（−ＸＬ）とを記録すればよい。

図７Ｂは、多視点画像を構成する画像ごとにファイルが分かれている場合を示している。この場合は、各画像のファイルのヘッダに、それぞれ各画像のデフォルト値及び視差調整値を記録すればよい。具体的には、右目用画像のデータを含むファイルのヘッダに右目用画像のデフォルト値（＋ＸＲ_Ｄ）及び視差調整値（＋ＸＲ）を記録し、左目用画像のデータを含むファイルに左目用画像のデフォルト値（−ＸＬ_Ｄ）及び視差調整値（−ＸＬ）を記録すればよい。

図７Ｃ及び図７Ｄは、画像データのファイルとは別に視差量調整値を記録するファイルを作成し、そのファイルにデフォルト値及び視差調整値を記録する例を示している。視差量調整値を記録するためのファイル（視差調整値記録ファイル）は、例えば多視点画像に対してグループ分けを行い、グループごとに作成することができる。視差量調整値記録ファイルは、例えばテキストファイルでよい。グループ分けの手法は任意である。例えば画像の保存場所に基づいてグループ分けを行ってもよく、或いは画像に関連付けて撮影日時や画像の分類などの属性情報を記録しておき、その属性情報に基づいてグループ分けを行ってもよい。図７Ｃ及び図７Ｄでは、保存フォルダごとに画像のグループ分けを行う場合を示している。

図７Ｃは、視差量調整値記録ファイルを画像の保存フォルダに作成する場合を示している。この場合、同じフォルダ内の画像に対するデフォルト値及び視差調整値は、同じ視差調整値記録ファイル（視差量調整値．ｔｘｔ）に記録される。具体的には、あるフォルダ内に多視点画像Ａと多視点画像Ｂとが存在するとき、そのフォルダ内に作成した視差調整値記録ファイルに、多視点画像Ａの左目用画像及び右目用画像のデフォルト値と視差量調整値とを記録すると共に、多視点画像Ｂの左目用画像及び右目用画像のデフォルト値と視差量調整値とを記録すればよい。

図７Ｄは、画像ファイルの保存場所（フォルダ）とは異なる場所に視差調整値記録ファイルを作成する場合を示している。視差量調整値記録ファイルが存在する場所が、画像データのファイルの保存フォルダと異なることを除けば、デフォルト値及び視差量調整値の記録方式は図７Ｃと同様である。例えば画像データのファイルの保存フォルダとは別に、視差量調整値記録ファイルを格納するためのフォルダを用意しておく。その視差量調整値記録ファイルを格納するためのフォルダには、画像データの複数の保存フォルダに対応して、複数の視差量調整値記録ファイルを格納することができる。

図７Ｅは、画像データのファイルとは別に視差量調整値を記録するファイルを作成し、そのファイルにデフォルト値及び視差調整値を記録する別例を示している。図７Ｅにおいては、立体感調整を行った際に画像ファイルに対応してフォルダを作成し、そのフォルダ内にオリジナルの画像ファイルのコピーと、視差量調整値記録ファイルとを格納している。例えば多視点画像Ａに対して立体感調整を行った際に、多視点画像Ａに対するフォルダを作成し、そのフォルダに多視点画像Ａの画像ファイルをコピーする。また、視差量調整値記録ファイルを同じフォルダ内に作成し、そのファイル内に多視点画像Ａを構成する各画像のデフォルト値及び視差量調整値を記録する。別の多視点画像Ｂに対して立体感調整を行ったときは、多視点画像Ｂに対するフォルダを作成し、そのフォルダに多視点画像Ｂの画像ファイルをコピーすると共に、視差量調整値記録ファイルを作成し、そのファイル内に多視点画像Ｂを構成する各画像のデフォルト値及び視差量調整値を記録すればよい。

画像データ、及び視差量調整値の記録方式は、ユーザが任意に選択できるようにしてもよい。ユーザは、画像の撮影に先立って、多視点画像を構成する第１〜第ｎ視点画像を１つのファイルとして保存するか、或いはｎ個のファイルとして保存するかを選択することができる。記録媒体記録部２２は、ユーザの選択に従って多視点画像を記録媒体２３に格納すればよい。また、ユーザは、画像の撮影及び立体感調整に先立って、視差量調整値を画像データのファイルのヘッダ部分に記録するか、或いは画像データのファイルとは別の視差量調整値記録ファイルに記録するかを選択することができる。調整値記録部２６は、ユーザの選択に従って視差量調整値を画像に関連付けて記録すればよい。

次いで、本発明の第２実施形態を説明する。本実施形態の複眼カメラは、図１Ａ、図１Ｂ、及び図２に示す複眼カメラと同様な構成を有する。本実施形態は、代表値算出部２８が求めた視差量調整値の平均値を画像に関連付けて記録媒体２３に記録する点が、第１実施形態と相違する。その他の点は第１実施形態と同様である。本実施形態も、第１実施形態と同様に、複眼カメラ１０の構成から画像撮影に関する部分を除いた構成の装置に適用することができる。すなわち、図６Ａ及び図６Ｂに示す表示装置５０にも適用できる。

図８は、画像と、その画像に関連付けて記録される視差量調整値とを示している。図８は、図７Ｃと同様に、視差量調整値記録ファイルを画像の保存フォルダに作成する例を示している。図７Ｃとの違いは、視差量調整値記録ファイル（視差量調整値．ｔｘｔ）に視差量平均値ＸＲ_ａｖｇ、ＸＬ_ａｖｇが追加されている点である。視差量調整値の記録方法は上記には限定されず、ヘッダに視差量調整値を記録する方法（図７Ａ、図７Ｂ）や、画像の保存フォルダとは別のフォルダに視差量調整値記録ファイルを作成する方法（図７Ｄ）、オリジナルの画像ファイルのコピーを作成する方法（図７Ｅ）でもよい。

図９は、撮影時の動作手順を示している。調整値記録部２６は、過去の撮影時に又はその後の画像観察時に設定された視差量調整値を個別の画像に関連付けて記録媒体２３に記録すると共に、その平均値を記録媒体２３に記録している。平均値は、例えば記録媒体２３に記録された全ての画像に対する視差調整値の平均値でもよく、或いは保存フォルダごとに求められた平均値でもよい。或いはユーザが、複眼カメラ１０が備えるシーンセレクタの機能を用いて、人物、風景、スポーツ、夜景などの中から任意に撮影シーンを選択できるようになっている場合は、撮影シーンに基づいてグループ分けを行い、画像の撮影に用いられた撮影シーンごとに視差量調整値の平均値を求めてもよい。

立体感制御部２４は、記録媒体２３から視差量調整値の平均値を読み出す。立体感制御部２４は、読み出した視差量調整値の平均値を立体視用画像生成部２５に設定する（ステップＳ３０１）。立体視用画像生成部２５は、右目用画像に対応するスルー画と左目用画像に対応するスルー画とに基づいて、視差量調整値の平均値で表わされる立体感で立体視用画像を生成する。表示処理部２７は、立体視用画像生成部２５が生成した立体視用画像（立体視用のスルー画）を表示モニタ１４に立体視可能に表示する（ステップＳ３０２）。

カメラ制御部２０は、ユーザが撮影指示を行ったか否かを判断する（ステップＳ３０３）。ユーザが撮影指示を行わないとき、立体感制御部２４は、ユーザが立体感調整を指示したか否かを判断する（ステップＳ３０４）。ユーザが立体感調整の指示を行わないときはステップＳ３０２に戻り、スルー画を表示しつつ撮影待機する。立体感制御部２４は、ユーザが立体感調整を指示すると、右目用画像と左目用画像との視差量の調整を行う（ステップＳ３０５）。ユーザが立体感調整を終えると、ステップＳ３０２に戻る。表示処理部２７は、ステップＳ３０２で、表示モニタ１４にスルー画を立体視可能に表示する。表示モニタ１４に表示されるスルー画の視差量は、立体感調整が行われるまでは視差量調整値の平均値であり、立体感調整が行われるとその調整で設定された視差量となる。ステップＳ３０２からステップＳ３０５は、図４のステップＳ１０２からステップＳ１０５と同様でよい。

ユーザがレリーズ１３（図１Ａ）を操作すると、カメラ制御部２０は撮影が指示されたと判断し、右目用画像及び左目用画像の取り込みを指示する。記録媒体記録部２２は、右目用画像と左目用画像とを所定のフォーマットで記録媒体２３に記録する。また、調整値記録部２６は、ステップＳ３０５で調整された視差量の調整値を、右目用画像及び左目用画像と関連付けて記録媒体２３に記録する（ステップＳ３０６）。代表値算出部２８は視差量調整値の平均値を再計算する。調整値記録部２６は、記録媒体２３に記録された平均値を再計算された平均値で更新する（ステップＳ３０７）。

調整値記録部２６は、例えば図７Ａ及び図７Ｂの例と同様に画像ファイルのヘッダに視差量調整値が記録されている場合は、各画像のヘッダに記録された視差量調整値の平均値を更新する。調整値記録部２６は、今回撮影された画像に対しては、更新ではなく視差量調整値の平均値を新たに記録する。調整値記録部２６は、例えば図７Ｃ〜図７Ｅの例と同様に画像ファイルとは別に視差量調整値を記録するファイルが作成されている場合は、そのファイルに記録された視差量調整値の平均値を更新する。

図１０は、画像を表示し立体感調整を行う際の動作手順を示している。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ４０１）。或いは複眼カメラ１０が記録媒体２３に記録された画像の中から任意の１つを選択してもよい。立体感制御部２４は、選択された画像に関連付けて記録された視差量調整値の平均値を読み出し、立体視用画像生成部２５に設定する（ステップＳ４０２）。立体感制御部２４は、既にデフォルト値が存在する場合はデフォルト値を優先し、視差量調整値の平均値に代えてデフォルト値を読み出してもよい。

立体視用画像生成部２５は、ステップＳ４０１で選択された画像のデータを記録媒体２３から読み出す。立体視用画像生成部２５は、読み出した画像のデータに基づいて、立体感制御部２４が読み出した視差量で表わされる立体感で立体視用画像を生成する。表示処理部２７は、ステップＳ４０１で選択された画像を、表示モニタ１４に立体視表示する（ステップＳ４０３）。立体感制御部２４は、ユーザが立体感調整を指示したか否かを判断する（ステップＳ４０４）。ユーザが立体感調整の指示を行わないときは処理を終了する。ユーザが視差量の調整を指示すると、立体感制御部２４は視差量の調整を行う（ステップＳ４０５）。ユーザは、表示モニタ１４に表示される画像を観察しながら、好みの立体感が得られるように視差量を調整することができる。

立体感制御部２４は、ユーザがこれまでの調整を破棄し、初期状態に戻ることを選択したか否かを判断する（ステップＳ４０６）。立体感制御部２４は、ユーザが初期状態に戻ることを選択したと判断すると、視差量を、ステップＳ４０１で選択された画像に関連付けて記録された視差量調整値の平均値に設定する（ステップＳ４０７）。ステップＳ４０２でデフォルト値が読み出されていた場合、立体感制御部２４は、ステップＳ４０７において視差量をデフォルト値に設定してもよい。立体視用画像生成部２５は、ステップＳ４０７で設定された視差量で立体視用画像を生成する。表示処理部２７は立体視用画像を表示する（ステップＳ４０８）。

ステップＳ４０６でユーザが初期状態に戻ることを選択していないと判断された場合、ステップＳ４０６からステップＳ４０８へ進み、表示処理部２７が立体視用画像を表示する。このとき表示される立体視用画像は、ステップＳ４０５においてユーザが調整した視差量で生成される立体視用画像である。立体感制御部２４は、ユーザが調整終了を指示したか否かを判断する（ステップＳ４０９）。調整終了でない場合はステップＳ４０５に戻り、立体感調整を継続する。調整終了の場合、調整値記録部２６は、調整された視差量調整値をステップＳ４０１で選択された画像に関連付けて記録する（ステップＳ４１０）。

調整値記録部２６は、ステップＳ４１０において、ステップＳ４０１で選択された画像に関連付けて記録されたデフォルトの視差量調整値が存在しないときは、調整された視差量をデフォルト値として記録する。画像の撮影時、又はそれ以降に立体感調整が行われ、デフォルトの視差量調整値が既に存在する場合、調整値記録部２６は、デフォルト値とは別に視差量調整値を画像に関連付けて記録する。デフォルト値が存在する場合でも、ユーザの希望に応じて、調整された視差量調整値をデフォルト値として上書き記録してもよい。ステップＳ４０１、及びステップＳ４０３からステップＳ４１０は、図５のステップＳ２０１、及びステップＳ２０３からステップＳ２１０と同様でよい。代表値算出部２８は視差量調整値の平均値を再計算し、調整値記録部２６は再計算された平均値で記録媒体２３に記録された平均値を更新する（ステップＳ４１１）。

本実施形態では、調整値記録部２６は、代表値算出部２８が求めた視差量調整値の平均値を更に画像に関連付けて記録する。記録媒体２３に記録された視差量調整値の平均値を読み出して使用することで、第１実施形態と同様な効果を得ることができる。本実施形態では、視差量調整値の平均値が記録媒体２３に記録されているいため、その平均値の利用に際しては、記録媒体２３から平均値を読み出せばよく、処理を簡略化できる。

次いで、本発明の第３実施形態を説明する。本実施形態の複眼カメラは、図１Ａ、図１Ｂ、及び図２に示す複眼カメラと同様な構成を有する。本実施形態は、視差量調整値がデフォルト値に対する差分の形で記録される点が第１実施形態と相違する。その他の点は第１実施形態と同様である。本実施形態も、第１実施形態と同様に、複眼カメラ１０の構成から画像撮影に関する部分を除いた構成の装置に適用することができる。すなわち、図６Ａ及び図６Ｂに示す表示装置５０にも適用できる。

調整値記録部２６は、視差量調整値を記録する際に、記録すべき視差量調整値と、調整対象の画像に関連付けて記録されたデフォルト値との差分を求める。調整値記録部２６は、視差量調整値そのものではなく、視差量調整値のデフォルト値との差分を画像に関連付けて記録する。調整値記録部２６は、視差量調整値の記録後にデフォルト値が変更された場合は、視差量調整値の差分を再計算し、求め直した差分を画像に関連付けて記録すればよい。画像と視差量調整値（差分）との関連付け記録する方法には、図７Ａ〜図７Ｅに示す方法の何れかを用いることができる。

図１１Ａは、表示領域とデフォルト値で立体感調整を行った右目用画像の位置と立体感調整後の右目用画像の位置との関係を示している。右目用画像に対するデフォルト値が＋ＸＲ_Ｄであった場合、視差量をデフォルト値に設定して立体視用画像を生成すると、右目用画像は表示領域に対して本来の位置（視差量０の場合の位置）よりも紙面向って右方向にＸＲ_Ｄ画素だけずれる。立体感の調整後に視差量調整値が＋ＸＲ１であった場合、その視差量で立体視用画像を生成すると、右目用画像は表示領域に対して本来の位置よりも紙面向って右方向にＸＲ１だけずれる。視差調整値＋ＸＲ１のデフォルト値＋ＸＲ_Ｄに対する差分は、ΔＸＲ１＝ＸＲ１−ＸＲ_Ｄと表すことができる。

図１１Ｂは、表示領域とデフォルト値で立体感調整を行った左目用画像の位置と立体感調整後の左目用画像の位置との関係を示している。左目用画像に対するデフォルト値が−ＸＬ_Ｄであった場合、視差量をデフォルト値に設定して立体視用画像を生成すると、左目用画像は表示領域に対して本来の位置（視差量０の場合の位置）よりも紙面向って左方向にＸＬ_Ｄ画素だけずれる。立体感の調整後に視差量調整値が−ＸＬ１であった場合、その視差量で立体視用画像を生成すると、左目用画像は表示領域に対して本来の位置よりも紙面向って左方向にＸＬ１だけずれる。視差調整値−ＸＬ１のデフォルト値−ＸＬ_Ｄに対する差分は、ΔＸＬ１＝−ＸＬ１＋ＸＬ_Ｄと表すことができる。

本実施形態では、上記のように求まる視差量調整値のデフォルト値との差分（ΔＸＲ、ΔＸＬ）を画像と関連付けて記録する。本実施形態のように、視差量調整値をデフォルト値との差分で記録する場合も、第１実施形態で得られる効果と同様な効果を得ることができる。また、視差量調整値をデフォルト値との差分で表わす場合、その差分を見ることで、ユーザの調整量の傾向を知ることができるという効果もある。

続いて本発明の第４実施形態を説明する。図１２は、第４実施形態の複眼カメラの内部構成を示している。複眼カメラ１０ａの外観は図１Ａ及び図１Ｂに示す第１実施形態の複眼カメラ１０の外観と同様でよい。本実施形態の複眼カメラ１０ａは、図２に示す第１実施形態の複眼カメラ１０の構成に加えて表示画像選択部２９を有する。表示画像選択部２９は、記録媒体２３に記録された多視点画像から表示対象の多視点画像を選択する。

本実施形態では、立体感制御部２４は、画像表示に際して、表示対象画像として選択された多視点画像に関連付けて記録された１以上の視差量調整値を記録媒体２３から読み出し、立体視用画像生成部２５に設定する。立体感制御部２４が読み出す１以上の視差量調整値は、デフォルト値を含んでいてよい。立体視用画像生成部２５は、選択された多視点画像に基づいて、立体感制御部２４が読み出した１以上の視差量調整値のそれぞれで表わされる立体感で１以上の立体視用画像を生成する。

表示処理部２７は、生成された１以上の立体視用画像を順次に表示モニタ１４に表示させる。表示処理部２７は、表示対象として選択された画像が複数あり、かつ、一の多視点画像に対して複数の視差量調整値が関連付けられているときは、複数の視差量調整値で生成された立体視用画像を順次に表示させた後に、次の多視点画像の立体視用画像に切り替えて表示させていく。

図１３は、立体視用画像表示の動作手順を示している。表示画像選択部２９は、記録媒体２３に記録された画像の中から１以上の画像を表示画像として選択する（ステップＳ５０１）。表示画像選択部２９は、例えば表示処理部２７を介して記録媒体２３に記録された画像の一覧を表示モニタ１４に表示し、ユーザに表示対象画像を選択させてもよい。ユーザは、操作ボタン１５（図１Ｂ）などを操作し、画像の一覧の中から画像を１つずつ選択することができる。或いはフォルダを選択単位とし、フォルダ内の１以上の画像を一括で選択してもよい。ユーザは、ステップＳ５０１では、例えばカテゴリや撮影日時などを指定して記録媒体２３内を検索し、検索された画像を選択画像としてもよい。画像選択はユーザが行うほか、表示画像選択部２９が自動で行ってもよい。例えば表示画像選択部２９が記録媒体２３に記録された画像の中から１以上の画像を自動的にランダムで選択してもよい。

立体感制御部２４は、ステップＳ５０１で選択された１以上の画像の中から１つを選択する（ステップＳ５０２）。立体感制御部２４は、ステップＳ５０２で選択した画像に関連付けて記録された１以上の視差量調整値を読み出す（ステップＳ５０３）。視差量調整値は、視差量０で表示すべき位置からの移動量で表わされていてもよく、或いはデフォルト値が存在するときにデフォルト値から差分で表わされていてもよい。

立体感制御部２４は、例えば図７Ａ及び図７Ｂに示す例のように画像ファイルのヘッダに視差量調整値が記録されているときは、ステップＳ５０２で選択された画像の画像ファイルのヘッダから視差量調整値を読み出す。また立体感制御部２４は、例えば図７Ｃ〜図７Ｅに示す例のように画像ファイルとは異なるファイルに視差量調整値が記録されているときは、ステップＳ５０２で選択された画像の視差量調整値を記録する視差量調整値記録ファイルからその画像に関連付けられた視差量調整値を読み出す。立体感制御部２４は、画像に関連付けてデフォルト値が記録されているときは、デフォルト値も視差量調整値の１つとして読み出す。また、立体感制御部２４は、第２実施形態において説明したように、画像に関連付けて視差量調整値の平均値が更に記録されているときは、その平均値を視差量調整値のうちの１つとして読み出してもよい。

立体感制御部２４は、読み出した視差量調整値のうちの１つを選択する（ステップＳ５０４）。立体感制御部２４は、選択した視差量調整値を立体視用画像生成部２５に設定する。立体視用画像生成部２５は、選択された視差量調整値の視差量で立体視用画像を生成する（ステップＳ５０５）。表示処理部２７は、立体視用画像生成部２５が生成した立体視用画像を表示モニタ１４に表示する（ステップＳ５０６）。

立体感制御部２４は、読み出した視差量調整値に未処理の視差量調整値が存在するか否かを判断する（ステップＳ５０７）。立体感制御部２４は、未処理の視差量調整値があると判断すると、ステップＳ５０４に戻り、未処理の視差量調整値の中から１つを選択する。その後、ステップＳ５０５で、立体視用画像生成部２５が選択された視差量調整値の視差量で立体視用画像を生成し、ステップＳ５０６で、表示処理部２７が立体視用画像を表示モニタ１４に表示する。複眼カメラ１０ａは、読み出された視差量調整値の数だけステップＳ５０４〜Ｓ５０６を繰り返し実行し、読み出された視差量調整値のそれぞれで画像を表示モニタ１４に表示する。

立体感制御部２４は、ステップＳ５０７で未処理の視差量調整値が存在しないと判断すると、ステップＳ５０１で表示画像として選択された画像の中に未処理の画像が存在するか否かを判断する（ステップＳ５０８）。立体感制御部２４は、未処理の画像が存在すると判断したときはステップＳ５０２に戻り、未処理の画像の中から１つを選択する。その後、選択された画像に対してステップＳ５０３〜Ｓ５０６が実行され、関連付けて記録された視差量調整値のそれぞれで画像表示が行われる。ステップＳ５０８で未処理に画像がないと判断されたときは処理を終了する。

図１４Ａ〜図１４Ｃは、表示モニタ１４に表示される画像を示している。ここでは、ある画像に関連付けて視差量調整値が３つ記録されている場合を考える。視差量調整値のうちの１つ目はデフォルト値であり、ユーザが画像撮影時にスルー画を観察しながら調整した視差量調整値であるとする。２つ目は、画像撮影後に立体感制御部２４が右目用画像及び左目用画像に基づいて自動調整した視差量調整値であるとする。３つ目は、あるユーザが任意に調整した視差量調整値であるとする。デフォルト調整値を「調整値１」、自動調整値を「調整値２」、ユーザ調整値を「調整値３」と呼ぶこととする。「調整値３」の調整を行ったユーザと、図１３に示す手順で画像を観察するユーザとは異なるユーザであるとする。

図１４Ａは、「調整値１」で画像表示を行う例を示している。立体感制御部２４は、ステップＳ５０２で３つの調整値を読み出し、ステップＳ５０３で、まず「調整値１」を選択したとする。立体視用画像生成部２５は、ステップＳ５０４で、視差量０で位置よりも、右目用画像は紙面向って右方向にＸＲ１だけ移動し、左目用画像は紙面向って左方向にＸＬ１だけ移動した立体視用画像を生成する。ステップＳ５０５では、表示モニタ１４上に、図１４Ａに示すように右目用画像と左目用画像とがそれぞれの調整値分だけずれて重ねられた立体視用画像が表示される。

図１４Ｂは、「調整値２」で画像表示を行う例を示している。立体感制御部２４は、ステップＳ５０６で未処理の調整値があると判断してステップＳ５０３に戻り、「調整値２」を選択する。立体視用画像生成部２５は、ステップＳ５０４で、視差量０で位置よりも、右目用画像は紙面向って右方向にＸＲ２だけ移動し、左目用画像は紙面向って左方向にＸＬ２だけ移動した立体視用画像を生成する。ステップＳ５０５では、表示モニタ１４上に、図１４Ｂに示すように右目用画像と左目用画像とがそれぞれの調整値分だけずれて重ねられた立体視用画像が表示される。

図１４Ｃは、「調整値３」で画像表示を行う例を示している。立体感制御部２４は、ステップＳ５０６で未処理の調整値があると判断してステップＳ５０３に戻り、「調整値３」を選択する。立体視用画像生成部２５は、ステップＳ５０４で、視差量０で位置よりも、右目用画像は紙面向って右方向にＸＲ３だけ移動し、左目用画像は紙面向って左方向にＸＬ３だけ移動した立体視用画像を生成する。ステップＳ５０５では、表示モニタ１４上に、図１４Ｃに示すように右目用画像と左目用画像とがそれぞれの調整値分だけずれて重ねられた立体視用画像が表示される。「調整値３」で画像が表示された後、処理が終了する。

「調整値２（自動調整）」での視差（ＸＲ２＋ＸＬ２）は、「調整値１（デフォルト）」での視差（ＸＲ１＋ＸＬ１）よりも少し小さいとする。逆に、「調整値３（自動調整）」での視差（ＸＲ３＋ＸＬ３）は、「調整値１（デフォルト）」での視差（ＸＲ１＋ＸＬ１）よりも少し大きいとする。視差量調整値をデフォルト値との差分で表わすと、「調整値２」の右目用画像の視差量調整値は負の値（ΔＸＲ２＜０）となり、左目用画像の視差量調整値は正の値（ΔＸＬ２＞０）となる。一方、「調整値３」の右目用画像の視差量調整値は正の値（ΔＸＲ３＞０）となり、左目用画像の視差量調整値は負の値（ΔＸＬ３＜０）となる。立体感は、「調整値３」が最も強く、次いで「調整値１」、「調整値２」の順となる。

ユーザは、表示された画像を観察することで、自身が最も適切と感じる立体感となる調整値を任意に選択することができる。例えば立体感が強い表示が好みであれば「調整値３」を選択し、立体感が弱い表示が好みであれば「調整値２」を選択し、中くらいの立体感が好みであれば「調整値１」を選択すればよい。或いはユーザは、何れの調整値でも適切な立体感が得られないと感じたときは、自身で立体感調整を行って別の視差量調整値を記録することも可能である。

図１５は、視差量調整値記録ファイルの具体例を示している。この視差量調整値記録ファイル（視差量調整値．ｔｘｔ）は、例えば図７Ｃに示す例のように、画像の保存フォルダに対応して、その保存フォルダ内に格納された画像に対する視差量調整値を記録しているものとする。画像の保存フォルダには画像Ａ、画像Ｂ、及び画像Ｃの３つの画像が格納されており、視差量調整値記録ファイルには、画像Ａに対してデフォルト値、調整値１−１、及び調整値１−２の３つの視差量調整値が記録され、画像Ｂに対してデフォルト値のみが視差量調整値として記録され、画像Ｃに対して調整値３−１及び調整値３−２の２つの視差量調整値が記録されているとする。

図１６は、表示される画像の順序を示している。表示画像選択部２９が、ステップＳ５０１で図１５に示す視差量調整値ファイルが存在するフォルダ内の画像、すなわち画像Ａ、画像Ｂ、及び画像Ｃを表示対象の画像として選択したとする。立体感制御部２４は、ステップＳ５０２で画像Ａを選択する。立体感制御部２４は、ステップＳ５０３で、図１５に示す視差量調整値記録ファイルから画像Ａに対して記録された視差量調整値（デフォルト、調整値１−１、及び調整値１−２）を読み出す。

立体感制御部２４は、ステップＳ５０４で、読み出した視差量調整値の中からデフォルトを選択する。立体視用画像生成部２５は、ステップＳ５０５で視差量をデフォルト値として画像Ａの立体視用画像を生成し、表示処理部２７は、ステップＳ５０６で表示モニタ１４にデフォルトの視差量の画像Ａの立体視用画像を表示する。立体感制御部２４は、画像Ａの視差量調整値にはデフォルト以外の調整値があるので、ステップＳ５０７からステップＳ５０３に戻る。

立体感制御部２４は、戻ったステップＳ５０３で調整値１−１を選択する。ステップＳ５０５及びＳ５０６を経て、調整値１−１の視差量の画像Ａの立体視用画像が表示される。立体感制御部２４は、画像Ａの視差量調整値に未処理の視差量調整値が残っているか否かを調べると、調整値１−２が未処理なので、再びステップＳ５０７からステップＳ５０３に戻る。立体感制御部２４は、戻ったステップＳ５０３で調整値１−２を選択する。ステップＳ５０５及びＳ５０６を経て、調整値１−２の視差量の画像Ａの立体視用画像が表示される。

立体感制御部２４は、調整値１−２での画像Ａの立体視用画像が表示された後、ステップＳ５０６で画像Ａに対して未処理の視差量調整値がないと判断する。立体感制御部２４は、ステップＳ５０７で未処理の画像があると判断してステップＳ５０２に戻り、画像Ｂを選択する。立体感制御部２４は、ステップＳ５０３で、図１５に示す視差量調整値記録ファイルから画像Ｂに対して記録された視差量調整値（デフォルト）を読み出す。

立体感制御部２４はステップＳ５０４でデフォルトを選択し、立体視用画像生成部２５は、ステップＳ５０５で視差量をデフォルト値に設定して画像Ｂの立体視用画像を生成する。表示処理部２７は、ステップＳ５０６で表示モニタ１４にデフォルトの視差量の画像Ｂの立体視用画像を表示する。立体感制御部２４は、画像Ｂに対しては視差量調整値がデフォルトしか存在しないので未処理の視差量調整値はないと判断する。立体感制御部２４は、ステップＳ５０７で未処理の画像があると判断してステップＳ５０２に戻り、画像Ｃを選択する。

立体感制御部２４は、ステップＳ５０３で、図１５に示す視差量調整値記録ファイルから画像Ｃに対して記録された視差量調整値（調整値３−１及び調整値３−２）を読み出す。立体感制御部２４は、ステップＳ５０４で、読み出した視差量調整値の中から調整値を選択する。ステップＳ５０５及びＳ５０６を経て、調整値３−１の視差量の画像Ｃの立体視用画像が表示される。立体感制御部２４は、画像Ｃの視差量調整値には調整値３−１以外の調整値があるので、ステップＳ５０７からステップＳ５０３に戻る。

立体感制御部２４は、戻ったステップＳ５０３で調整値３−２を選択する。ステップＳ５０５及びＳ５０６を経て、調整値３−２の視差量の画像Ｃの立体視用画像が表示される。立体感制御部２４は、ステップＳ５０７で、未処理の視差量調整値はないと判断する。立体感制御部２４は、ステップＳ５０７で未処理の画像がある否かを調べると、未処理の画像はないので処理を終了する。結果、表示モニタ１４には、図１６に示すように、画像Ａ（デフォルト）、画像Ａ（調整値１−１）、画像Ａ（調整値１−２）、画像Ｂ（デフォルト）、画像Ｃ（調整値３−１）、画像Ｃ（調整値３−２）がこの順で表示される。

本実施形態では、表示画像として選択された画像に対して複数の視差量調整値が記録されているとき、立体視用画像生成部２５は複数の視差量調整値のそれぞれを用いて立体視用画像を生成し、表示モニタ１４上に順次に表示させる。このようにすることで、ユーザは、画像に関連付けて記録された複数の視差量調整値の中から自身の好みの立体感が得られる視差量調整値を選択できる。この効果は、図６に示す表示装置５０の構成に表示画像選択部２９を追加した表示装置が図１３に示す動作手順に従って動作することでも同様に得ることができる。

続いて、本発明の第５実施形態を説明する。本実施形態の複眼カメラの内部構成は、図１２に示す複眼カメラ１０ａの内部構成と同様である。本実施形態においても、第４実施形態と同様に、立体視用画像生成部２５は、読み出された視差量調整値が複数あるとき、それら複数の視差量のそれぞれで立体視用画像を生成する。本実施形態は、複数の視差量で生成された立体視用画像を表示する順序が第４実施形態におけるそれと相違する。本実施形態では、表示処理部２７は、各多視点画像のｉ番目（ｉ：１から視差量調整値の数）の視差量調整値で生成された複数の立体視用画像を順次に表示させた後に、ｉ＋１番目の視差量調整値で生成された複数の立体視用画像を表示させていく。

図１７は、立体視用画像表示の動作手順を示している。表示画像選択部２９は、記録媒体２３に記録された画像の中から１以上の画像を表示対象画像として選択する（ステップＳ６０１）。このステップＳ６０１は図１３におけるステップＳ５０１と同じでよい。ステップＳ６０１では、ユーザが画像選択を行うのに代えて、表示画像選択部２９が記録媒体２３に記録された画像の中から１以上の画像をランダムで選択してもよい。

立体感制御部２４は、ステップＳ６０１で選択された複数の画像のそれぞれに関連付けて記録された１以上の視差量調整値を読み出す（ステップＳ６０２）。視差量調整値は、視差量０で表示すべき位置からの移動量で表わされていてもよく、或いはデフォルト値が存在するときにデフォルト値から差分で表わされていてもよい。立体感制御部２４は、画像に関連付けてデフォルト値が記録されているときは、デフォルト値も視差量調整値の１つとして読み出すことができる。また、立体感制御部２４は、第２実施形態において説明したように、画像に関連付けて視差量調整値の平均値が更に記録されているときは、その平均値を視差量調整値のうちの１つとして読み出してもよい。

立体感制御部２４は変数ｉをｉ＝１に初期化する（ステップＳ６０３）。立体感制御部２４は、ステップＳ６０１で選択された１以上の画像の中から１つを選択する（ステップＳ６０４）。立体感制御部２４は、ステップＳ６０４で選択した画像に関連付けて記録されたｉ番目の視差量調整値を選択する（ステップＳ６０５）。立体感制御部２４は、ｉ番目の視差量調整値を立体視用画像生成部２５に設定する。立体視用画像生成部２５は、ステップＳ６０４で選択された多視点画像に基づいて、ｉ番目の視差量調整値の視差量で立体視用画像を生成する（ステップＳ６０６）。表示処理部２７は、立体視用画像生成部２５が生成した立体視用画像を表示モニタ１４に表示する（ステップＳ６０７）。

立体感制御部２４は、ステップＳ６０１で表示画像として選択された画像の中に未処理の画像が存在するか否かを判断する（ステップＳ６０８）。立体感制御部２４は、ステップＳ６０８で未処理の画像が存在すると判断するとステップＳ６０４に戻り、未処理の画像の中から１つを選択する。その後、ステップＳ６０５で、立体感制御部２４が選択された画像のｉ番目の視差量調整値を選択し、ステップＳ６０６で、立体視用画像生成部２５が選択された画像のｉ番目の視差量調整値の視差量で立体視用画像を生成し、ステップＳ６０７で、表示処理部２７が立体視用画像を表示モニタ１４に表示する。複眼カメラは未処理の画像がなくなるまでステップＳ６０４〜Ｓ６０７を繰り返し実行し、それぞれのｉ番目の視差量調整値で各立体視用画像を表示モニタ１４に表示する。

立体感制御部２４は、ステップＳ６０８で未処理の画像がないと判断すると、ステップＳ６０２で読み出した視差量調整値に未処理の視差量調整値が存在するか否かを判断する（ステップＳ６０９）。言い換えれば、立体感制御部２４は、少なくとも１つの多視点画像にｉ＋１番目以降の視差量調整値が存在するか否かを判断する。立体感制御部２４は、未処理の視差量調整値が存在する場合は、変数ｉをインクリメントする（ステップＳ６１０）。その後、ステップＳ６０４に戻り、未処理の画像がなくなるまでステップＳ６０４〜Ｓ６０７を繰り返し実行し、それぞれのｉ番目の視差量調整値で各立体視用画像を表示モニタ１４に表示する。複眼カメラ１０ａは、ステップＳ６０９で未処理の視差量調整値がないと判断されると処理を終了する。

図１８は、表示される画像の順序を示している。表示画像選択部２９が、ステップＳ６０１で図１５に示す視差量調整値ファイルが存在するフォルダ内の画像、すなわち画像Ａ、画像Ｂ、及び画像Ｃを表示対象の画像として選択したとする。立体感制御部２４は、図１５に示す視差量調整値ファイルから画像Ａ、画像Ｂ、画像Ｃのそれぞれに対する視差量調整値、すなわち画像Ａのデフォルト、調整値１−１、調整値１−２、画像Ｂのデフォルト、調整値３−１、及び調整値３−２を読み出す。

立体感制御部２４は、読み出した調整値を画像ごとに番号を付けて管理する。例えば画像Ａについて、デフォルトを１番目の視差量調整値、調整値１−１を２番目の視差量調整値、調整値１−２を３番目の視差量調整値とする。画像Ｂについては、デフォルトを１番目の視差量調整値とする。画像Ｃについては、調整値３−１を１番目の視差量調整値、調整値３−２を２番目の視差量調整値とする。立体感制御部２４は、ステップＳ６０３で変数ｉをｉ＝１に初期化する。

立体感制御部２４は、ステップＳ６０４で画像Ａを選択し、ステップＳ６０５で画像Ａの１番目の視差量調整値（デフォルト）を選択する。立体視用画像生成部２５は、立体視用画像生成部２５は、ステップＳ６０６で視差量をデフォルト値に設定して画像Ａの立体視用画像を生成し、表示処理部２７は、ステップＳ６０７で表示モニタ１４にデフォルトの視差量の画像Ａの立体視用画像を表示する。立体感制御部２４は、ステップＳ６０８で未処理の画像があると判断してステップＳ６０４に戻り、画像Ｂを選択する。

立体感制御部２４は、ステップＳ６０５で画像Ｂの１番目の視差量調整値（デフォルト）を選択する。ステップＳ６０６及びＳ６０７を経て、デフォルトの視差量の画像Ｂの立体視用画像が表示モニタ１４に表示される。立体感制御部２４は、ステップＳ６０８で未処理の画像があるか否かを調べ、画像Ｃが未処理のためステップＳ６０４に戻る。立体感制御部２４は、戻ったステップＳ６０４で画像Ｃを選択し、ステップＳ６０５で画像Ｃの１番目の視差量調整値（調整値３−１）を選択する。ステップＳ６０６及びＳ６０７を経て、調整値３−１の視差量の画像Ｃの立体視用画像が表示モニタ１４に表示される。

立体感制御部２４は、ステップＳ６０８で未処理の画像がないと判断して、ステップＳ６０９に進む。立体感制御部２４は、ステップＳ６０９で未処理の視差量調整値があるか否かを調べる。立体感制御部２４は、画像Ａ及び画像Ｃに未処理に視差量調整値があるため、ステップＳ６０９からステップＳ６１０に進み、変数ｉの値を１つ増加させてｉ＝２とする。その後、立体感制御部２４は、ステップＳ６０４に戻り、画像Ａを選択する。立体感制御部２４は、変数ｉをインクリメントした後に、ステップＳ６０１で選択された画像のうちでｉ番目の視差量調整値を持つ画像をリストアップしておき、ステップＳ６０４において、そのリストアップした画像の中から１つを選択するようにしてもよい。

立体感制御部２４は、ステップＳ６０５で画像Ａの２番目の視差量調整値（調整値１−１）を選択する。ステップＳ６０６及びＳ６０７を経て、調整値１−１の視差量の画像Ａの立体視用画像が表示モニタ１４に表示される。立体感制御部２４は、ステップＳ６０８で未処理の画像があるか否かを調べ、画像Ｃが未処理のためステップＳ６０４に戻る。立体感制御部２４は、戻ったステップＳ６０４で画像Ｃを選択し、ステップＳ６０５で画像Ｃの２番目の視差量調整値（調整値３−２）を選択する。画像Ｂは２番目以降の視差量調整値を持たないため、ステップＳ６０４における選択対象から外れる。ステップＳ６０６及びＳ６０７を経て、調整値３−２の視差量の画像Ｃの立体視用画像が表示モニタ１４に表示される。立体感制御部２４は、ステップＳ６０８で未処理の画像があるか否かを調べ、未処理の画像がないためステップＳ６０９へ進む。

立体感制御部２４は、ステップＳ６０９で未処理の視差量調整値があるか否かを調べる。立体感制御部２４は、画像Ａに未処理に視差量調整値があるため、ステップＳ６０９からステップＳ６１０に進み、変数ｉの値を１つ増加させてｉ＝３とする。その後、立体感制御部２４は、ステップＳ６０４に戻り、画像Ａを選択する。立体感制御部２４は、ステップＳ６０５で画像Ａの３番目の視差量調整値（調整値１−２）を選択する。画像Ｃは３番目以降の視差量調整値を持たないため、ステップＳ６０４における選択対象から外れる。ステップＳ６０６及びＳ６０７を経て、調整値１−２の視差量の画像Ａの立体視用画像が表示モニタ１４に表示される。立体感制御部２４は、ステップＳ６０８で未処理の画像があるか否かを調べ、未処理の画像がないと判断したステップＳ６０９へ進む。

立体感制御部２４は、ステップＳ６０９で未処理の視差量調整値があるか否かを調べる。立体感制御部２４は、ステップＳ６０２で読み出した視差量調整値を全て選択したため、未処理の視差量調整値はないと判断し処理を終了する。結果、表示モニタ１４には、図１８に示すように、画像Ａ（デフォルト）、画像Ｂ（デフォルト）、画像Ｃ（調整値３−１）、画像Ａ（調整値１−１）、画像Ｃ（調整値３−２）、画像Ａ（調整値１−２）がこの順で表示される。

本実施形態においても、第４実施形態と同様に、ユーザは、画像に関連付けて記録された複数の視差量調整値の中から自身の好みの立体感が得られる視差量調整値を選択できる。の効果は、図６に示す表示装置５０の構成に表示画像選択部２９を追加した表示装置が図１３に示す動作手順に従って動作することでも同様に得ることができる。

続いて、本発明の第６実施形態を説明する。図１９は、第６実施形態の複眼カメラの内部構成を示している。本実施形態の複眼カメラ１０ｂは、図２に示す第１実施形態の複眼カメラ１０の構成に加えて、モニタサイズ取得部３０を備える。複眼カメラ１０ｂの外観は図１Ａ及び図１Ｂに示す第１実施形態の複眼カメラ１０の外観と同様でよい。本実施形態は、撮影部を持たない表示装置に適用することも可能である。すなわち、図６Ｂに示す表示装置５０にモニタサイズ取得部を追加した構成とすることもできる。

本実施形態では、１つの多視点画像に対して、複数の複眼カメラ又は表示装置を用いて立体感調整を行うことを想定する。複眼カメラや表示装置における表示モニタのモニタサイズは、装置ごとに異なることが考えられる。本実施形態では、立体感調整で用いた表示モニタのモニタサイズを画像に関連付けて記録する。画像表示の際は、画像に関連付けて記録された１以上の視差量調整値の中から、画像表示を行う表示モニタのモニタサイズに応じて視差量調整値を選択する。

立体感制御部２４は、表示モニタ１４に立体視用画像が表示された状態で立体感調整を行う。モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する。モニタサイズは、例えば矩形形状の表示領域の対角線の長さで定義する。調整値記録部２６は、視差量調整値を、モニタサイズ取得部３０が取得したモニタサイズと共に画像に関連付けて記録する。言い換えれば、調整値記録部２６は、視差量調整値を記録する際に、立体感調整が行われたときに立体視用画像が表示された表示モニタ１４のモニタサイズを更に画像に関連付けて記録する。

立体感制御部２４は、画像の表示時に、画像が表示されるべき表示モニタ１４のモニタサイズをモニタサイズ取得部３０から取得する。立体感制御部２４は、表示すべき多視点画像に関連付けて記録された１以上の視差量調整値の中から、モニタサイズ取得部３０から取得したモニタサイズに該当する視差量調整値を記録媒体２３から読み出す。１以上の視差量調整値は、デフォルト値を含んでいてもよい。立体感制御部２４は、読み出した視差量調整値を立体視用画像生成部２５に設定する。

例えば、ある多視点画像に対して、モニタサイズＡでの視差量調整値Ａと、モニタサイズＢでの視差量調整値Ｂとが記録されていたとする。立体感制御部２４は、画像表示時に、モニタサイズ取得部３０が取得したモニタサイズがモニタサイズＡのときは記録媒体２３から視差量調整値Ａを読み出し、モニタサイズがモニタサイズＢのときは記録媒体２３から視差量調整値Ｂを読み出せばよい。立体感制御部２４は、モニタサイズ取得部３０が取得したモニタサイズに該当する視差量調整値が存在しないときは、そのモニタサイズに最も近いモニタサイズの視差量調整値を記録媒体から読み出せばよい。

図２０は、立体感調整の際の動作手順を示している。ここでは複眼カメラ１０ｂの動作手順として説明するが、表示装置でも動作手順は同様である。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ７０１）。或いは複眼カメラ１０ｂが記録媒体２３に記録された画像の中から任意の１つを選択してもよい。立体視用画像生成部２５は、選択された画像に基づいて立体視用画像を生成し、表示処理部２７は、立体視用画像を表示モニタ１４に表示する。ステップＳ７０１で選択された画像に関連付けて既に視差量調整値が記録されているとき、立体感制御部２４は、記録媒体２３から視差量調整値を読み出し、立体視用画像生成部２５に設定してもよい。

立体感制御部２４は、ステップＳ７０１で選択された画像の立体感調整を行う（ステップＳ７０２）。立体視用画像生成部２５は、立体感制御部２４が調整した視差量で立体視用画像を生成する。表示処理部２７は、立体視用画像を表示モニタ１４に表示する（ステップＳ７０３）。立体感制御部２４は、ユーザが調整のやり直しを指示したときは、それまでの調整を破棄して、視差量調整値を初期状態に戻してもよい。このとき戻る視差量調整値の初期状態は、視差量調整値のデフォルト値でよい。

立体感制御部２４は、ユーザが調整終了を指示したか否かを判断する（ステップＳ７０４）。調整終了でない場合はステップＳ７０２に戻り、立体感調整を継続する。調整終了の場合、モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する（ステップＳ７０５）。調整値記録部２６は、調整された視差量調整値及びステップＳ７０５で取得されたモニタサイズを、ステップＳ７０１で選択された画像に関連付けて記録する（ステップＳ７０６）。立体感調整を複眼カメラ１０ｂで行う場合、調整値記録部２６は、視差量調整値をデフォルト値として記録してもよい。

図２１は、画像と、その画像に関連付けて記録される視差量調整値とを示している。ここでは、ある画像に対して、モニタサイズが異なる３つの装置（複眼カメラ又は表示装置）で立体感調整が行った場合を考える。各装置の立体感制御部は、表示モニタのモニタサイズと視差量調整値とを、多視点画像のファイルのヘッダ部分に記録する。ファイルのヘッダには、図２１に示すように、３つの視差量調整値がモニタサイズと共に記録される。

なお、画像の保存形式は任意であり、例えば図７Ｂに示すように左目用画像と右目用画像とでファイルが分かれていてもよい。また、画像と視差量調整値との関連付けは任意であり、例えば図７Ｃ〜図７Ｅに示すように、視差量調整値を画像とを別のファイルで管理してもよい。視差量調整値のうちの一部は、デフォルト値などからの差分として表されていてもよい。例えば、図２１において、調整値２及び３の視差量調整値は、調整値１からの差分として記録されていてもよい。視差量調整値に加えて、代表値算出部２８が求めた視差量調整値の平均値を更に記録してもよい。

図２２は、画像表示時の動作手順を示している。ここでも複眼カメラ１０ｂの動作手順として説明するが、表示装置でも動作手順は同様である。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ８０１）。或いは複眼カメラ１０ｂが記録媒体２３に記録された画像の中から任意の１つを選択してもよい。モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する（ステップＳ８０２）。

立体感制御部２４は、記録媒体２３を参照し、ステップＳ８０１で選択された画像に対して、ステップＳ８０２で取得されたモニタサイズの視差量調整値が記録されているか否かを判断する（ステップＳ８０３）。立体感制御部２４は、記録されていると判断すると、ステップＳ８０２で取得されたモニタサイズの視差量調整値を記録媒体２３から読み出す（ステップＳ８０４）。一方、立体感制御部２４は、ステップＳ８０３で記録されていないと判断すると、記録媒体２３から、ステップＳ８０１で選択された画像に関連付けて記録された視差量調整値のうちで、ステップＳ８０２で取得されたモニタサイズに最も近いモニタサイズでの視差量調整値を読み出す（ステップＳ８０５）。

立体感制御部２４は、ステップＳ８０４又はＳ８０５で読み出した視差量調整値を立体視用画像生成部２５に設定する（ステップＳ８０６）。立体視用画像生成部２５は、設定された視差量調整値で立体視用画像を生成する。表示処理部２７は、立体視用画像を表示モニタ１４に表示する（ステップＳ８０７）。

例えば、記録媒体２３に図２１に示す画像データ及び視差量調整値が記録されている場合を考える。複眼カメラ１０ｂを用いて画像の表示を行う場合、表示モニタ１４のモニタサイズが３インチであるとすれば、立体感制御部２４は、ステップＳ８０４で「左目用画像−６，右目用画像＋８」の視差量調整値を読み出す。この場合、立体視用画像生成部２５は、左目用画像の各画素を本来の表示位置（視差量０の場合の表示位置）から左方向に６画素分だけずらし、右目用画像の各画素を本来の表示位置から右方向に８画素分だけずらした立体視用画像を生成する。

表示モニタ１４のモニタサイズが７インチであった場合、記録媒体２３には７インチの表示モニタ１４を見ながら立体感調整を行ったときの視差量調整値が記録されていないので、記録された３つの視差量調整値のうちの１つを使用することとする。モニタサイズに応じてユーザが感じる立体感が異なるので、調整時にユーザが調整した立体感とできるだけ同じ立体感で表示を行うためには、記録媒体２３に記録された視差量調整値のうち、７インチに最も近いモニタサイズの視差量調整値を使用することが好ましい。図２１のケースでは、３つのモニタサイズのうち、モニタサイズ７インチに最も近いモニタサイズは５インチであるので、立体感制御部２４は、ステップＳ８０５で、５インチでの視差量調整値「左目用画像−４，右目用画像＋６」を読み出せばよい。

本実施形態では、調整値記録部２６は、視差量調整値とモニタサイズとを画像に関連付けて記録する。このようにすることで、立体感調整を行ったときのモニタサイズと視差量調整値とに関連を持たせることができる。モニタサイズと視差量調整値とに関連を持たせることで、画像の表示時に、画像を表示すべき表示モニタのモニタサイズに適した視差量調整値を記録媒体から読み出すことが可能になる。

一般に、同じ視差量調整値で立体視用画像を生成した場合、モニタサイズが大きくなるに連れて、ユーザ（観察者）が感じる立体感強くなる傾向がある。従って、立体感調整を行ったときのモニタサイズよりも大きなサイズの表示モニタで画像表示を行う場合、小さなモニタサイズの表示モニタを観察しながら行った立体感調整の調整値をそのまま用いて画像表示を行うと、立体感が強くなり過ぎることが考えられる。本実施形態では、視差量調整値とモニタサイズとを画像に関連付けて記録するため、表示モニタのサイズに適した視差量調整値の選択が可能である。そのように選択した視差量調整値で画像表示を行うことで、ユーザが好ましいと感じる立体感で画像表示を行うことができる。

続いて、本発明の第７実施形態を説明する。本実施形態の複眼カメラの内部構成は、図１９に示す第６実施形態の複眼カメラ１０ｂの構成と同様である。本実施形態では、調整値記録部２６は、立体感調整が行われたときに立体視用画像が表示された表示モニタ１４のモニタサイズと、そのモニタサイズとは異なる１以上のモニタサイズに対する係数とを更に画像に関連付けて記録する。本実施形態も、第６実施形態と同様に、撮影部を持たない表示装置に適用することも可能である。

立体感制御部２４は、表示モニタ１４に立体視用画像が表示された状態で立体感調整を行う。モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する。調整値記録部２６は、視差量調整値を、モニタサイズ取得部３０が取得したモニタサイズと共に画像に関連付けて記録する。加えて、調整値記録部２６は、モニタサイズ取得部３０が取得したモニタサイズとは異なる１以上のモニタサイズに対して、視差量調整値と掛け合わせるための係数を更に画像に関連付けて記録する。係数は、ユーザと表示モニタ１４との距離に応じて変化させることもできる。

立体感制御部２４は、画像の表示時に、画像が表示される表示モニタ１４のモニタサイズをモニタサイズ取得部３０から取得する。立体感制御部２４は、表示する多視点画像に関連付けて記録された、モニタサイズ取得部３０から取得したモニタサイズに該当する視差量調整値を記録媒体２３から読み出す。立体感制御部２４は、モニタサイズ取得部３０が取得したモニタサイズに該当する視差量調整値が存在しないときは、視差量調整値と係数とを記録媒体２３から読み出し、読み出した立体感調整値に係数を乗じた値を立体感調整値とする。

例えば、ある多視点画像に対して、モニタサイズＡでの視差量調整値Ａと、モニタサイズＢに対する係数ｋ_Ｂとが記録されていたとする。立体感制御部２４は、画像表示時に、モニタサイズ取得部３０が取得したモニタサイズがモニタサイズＡのときは記録媒体２３から視差量調整値Ａを読み出す。立体感制御部２４は、モニタサイズがモニタサイズＢのときは記録媒体２３から視差量調整値Ａと係数Ｋ_Ｂとを読み出し、視差量調整値Ａ×ｋ_ＢをモニタサイズＢに対する視差量調整値とする。立体感制御部２４は、モニタサイズ取得部３０が取得したモニタサイズに対応する係数が存在しないときは、そのモニタサイズに最も近いモニタサイズに対する係数を使用すればよい。

図２３は、立体感調整の際の動作手順を示している。ここでは複眼カメラ１０ｂの動作手順として説明するが、表示装置でも動作手順は同様である。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ９０１）。或いは複眼カメラ１０ｂが記録媒体２３に記録された画像の中から任意の１つを選択してもよい。立体視用画像生成部２５は、選択された画像に基づいて立体視用画像を生成し、表示処理部２７は、立体視用画像を表示モニタ１４に表示する。ステップＳ９０１で選択された画像に関連付けて既に視差量調整値が記録されているとき、立体感制御部２４は、記録媒体２３から視差量調整値を読み出し、立体視用画像生成部２５に設定してもよい。

立体感制御部２４は、ステップＳ９０１で選択された画像の立体感調整を行う（ステップＳ９０２）。立体視用画像生成部２５は、立体感制御部２４が調整した視差量で立体視用画像を生成する。表示処理部２７は、立体視用画像を表示モニタ１４に表示する（ステップＳ９０３）。立体感制御部２４は、ユーザが調整のやり直しを指示したときは、それまでの調整を破棄して、視差量調整値を初期状態に戻してもよい。このとき戻る視差量調整値の初期状態は、視差量調整値のデフォルト値でよい。

立体感制御部２４は、ユーザが調整終了を指示したか否かを判断する（ステップＳ９０４）。調整終了でない場合はステップＳ９０２に戻り、立体感調整を継続する。調整終了の場合、モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する（ステップＳ９０５）。ここまでの各ステップは、図２０におけるステップＳ７０１〜Ｓ７０５と同様でよい。

調整値記録部２６は、調整された視差量調整値、ステップＳ９０５で取得されたモニタサイズ、及びステップＳ９０５で取得されたモニタサイズとは異なる１以上のモニタサイズに対する係数を、ステップＳ９０１で選択された画像に関連付けて記録する（ステップＳ９０６）。立体感調整を複眼カメラ１０ｂで行う場合、調整値記録部２６は、視差量調整値をデフォルト値として記録してもよい。

図２４は、画像と、その画像に関連付けて記録される視差量調整値及び他のモニタサイズに対する係数とを示している。ここでは、表示モニタ１４のモニタサイズが３インチであるとする。調整値記録部２６は、モニタサイズ３インチと、ステップＳ９０２で調整された視差量調整値「左目用画像−６，右目用画像＋８」とをファイルのヘッダに記録する。また、調整値記録部２６は、３インチ以外のモニタサイズに対する係数をファイルのヘッダに記録する。

複眼カメラ１０ｂには、自身の表示モニタ１４のモニタサイズとは異なるモニタサイズに対する係数が事前に設定されているとする。例えば自身のモニタサイズが３インチのとき、５インチ、１０インチ、１５インチのそれぞれに対する係数が事前に設定されている。調整値記録部２６は、その設定情報を参照して、各モニタサイズに対する係数を記録する。図２４の例では、モニタサイズ５インチに対して係数０．７５、１０インチに対して係数０．５、１５インチに対して係数０．２５がそれぞれ設定されており、調整値記録部２６は、３インチに対する視差量調整値と共に、各モニタサイズに対する係数をファイルのヘッダに記録する。

或いは上記に代えて、複眼カメラ１０ｂに、モニタサイズの変化に対する係数を設定しておき、その設定情報を用いて各モニタサイズに対する係数を決定してもよい。例えば、複眼カメラ１０ｂに、サイズ差が２インチであれば係数０．７５、サイズ差が７インチであれば係数０．５、サイズ差が１２インチであれば係数０．２５という情報を設定しておく。この場合、自身のモニタサイズが３インチであるとすれば、調整値記録部２６は、５インチに対する係数０．７５、１０インチに対する係数０．５、１５インチに対する係数０．２５を、３インチに対する視差量調整値と共にファイルのヘッダに記録すればよい。

なお、画像の保存形式は任意であり、例えば図７Ｂに示すように左目用画像と右目用画像とでファイルが分かれていてもよい。また、画像と視差量調整値との関連付けは任意であり、例えば図７Ｃ〜図７Ｅに示すように、視差量調整値を画像とは別のファイルで管理してもよい。画像に関連付けて複数の視差量調整値を記録する場合、視差量調整値のうちの一部は、デフォルト値などからの差分として表されていてもよい。視差量調整値に加えて、代表値算出部２８が求めた視差量調整値の平均値を更に記録してもよい。

図２５は、画像表示時の動作手順を示している。ここでも複眼カメラ１０ｂの動作手順として説明するが、表示装置でも動作手順は同様である。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ１００１）。或いは複眼カメラ１０ｂが記録媒体２３に記録された画像の中から任意の１つを選択してもよい。モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する（ステップＳ１００２）。

立体感制御部２４は、記録媒体２３から、ステップＳ１００１で選択された画像に関連付けて記録された視差量調整値を読み出す（ステップＳ１００３）。立体感制御部２４は、読み出した視差量調整値がステップＳ１００２で取得されたモニタサイズでの調整値であるか否かを判断する（ステップＳ１００４）。立体感制御部２４は、取得されたモニタサイズでの調整値であると判断すると、立体視用画像生成部２５に読み出した視差量調整値を設定する（ステップＳ１００５）。立体視用画像生成部２５は、設定された視差量調整値で立体視用画像を生成する。表示処理部２７は、立体視用画像を表示モニタ１４に表示する（ステップＳ１００９）。

立体感制御部２４は、ステップＳ１００４において、取得されたモニタサイズでの調整値ではないと判断すると、視差量調整値と共に記録媒体２３に記録された係数を読み出す（ステップＳ１００６）。立体感制御部２４は、ステップＳ１００６では、視差量調整値と共に記録された係数のうち、ステップＳ１００２で取得されたモニタサイズに対する係数を読み出す。立体感制御部２４は、該当するモニタサイズに対する係数が存在しない場合は、最も近いモニタサイズに対する係数を読み出してもよい。

立体感制御部２４は、ステップＳ１００３で読み出した視差量調整値に、ステップＳ１００５で読み出した係数を乗じる（ステップＳ１００７）。視差量調整値に係数を乗じた値が小数を含む場合は、例えば視差五入や切り捨て、切り上げなどの適切な数学的処理で値を整数化すればよい。立体感制御部２４は、係数を乗じた視差量調整値を立体視用画像生成部２５に設定する（ステップＳ１００８）。立体視用画像生成部２５は、設定された視差量調整値で立体視用画像を生成する。その後、ステップＳ１００９へ進み、表示処理部２７は、立体視用画像を表示モニタ１４に表示する。

例えば、記録媒体２３に図２４に示す画像ファイル及び視差量調整値が記録されている場合を考える。立体感制御部２４は、ステップＳ１００３において、「左目用画像−６，右目用画像＋８」の視差量調整値を読み出す。この視差量調整値はモニタサイズ３インチでの調整値である。立体感制御部２４は、ステップＳ１００２でモニタサイズ取得部３０が取得したモニタサイズが３インチであれば、ステップＳ１００４からステップＳ１００５へ進み、立体視用画像生成部２５に読み出した視差量調整値を設定する。

仮に、ステップＳ１００２でモニタサイズ取得部３０が取得したモニタサイズが５インチであったとすると、立体感制御部２４は、ステップＳ１００４からステップＳ１００６へ進んで、モニタサイズ５インチに対する係数０．７５を読み出す。立体感制御部２４は、ステップＳ１００７で視差量調整値に係数を乗じ、ステップＳ１００８でその値を視差量調整値として立体視用画像生成部２５に設定する。この場合、モニタサイズ５インチに対する係数は１よりも小さな値であるため、ステップＳ１００９ではモニタサイズ３インチでの視差量調整値よりも小さい視差量で、画像が表示されることになる。

具体的には、立体感制御部２４は、左目用画像のモニタサイズ３インチでの視差量調整値は−６に、モニタサイズ５インチに対する係数は０．７５を乗じ、その値を整数化した値（−４）を左目用画像の視差量調整値とする。また、立体感制御部２４は、右目用画像のモニタサイズ３インチでの視差量調整値＋８に、モニタサイズ５インチ対する係数０．７５を乗じ、その値（＋６）を右目用画像の視差量調整値とする。

本実施形態では、立体感調整時の表示モニタ１４のモニタサイズと画像表示時のモニタサイズとが異なるときは、視差量調整値に係数を乗じた値を視差量調整値として使用する。例えば観察時のモニタサイズが立体感調整時のモニタサイズよりも大きいときは、１より小さな値の係数を視差量調整値に乗じることで、視差量調整値をそのまま使用する場合に比して立体感を弱めて画像を表示できる。逆に、観察時のモニタサイズが立体感調整時のモニタサイズよりも小さいときは、１より大きな値の係数を視差量調整値に乗じることで、視差量調整値をそのまま使用する場合に比して、立体感を強めて画像を表示することが可能である。本実施形態では、立体感調整時と表示時とモニタサイズが異なるときでも、立体感調整時にユーザが好ましいと感じる立体感で画像表示を行うことができる。

なお、本実施形態において、異なる２つのモニタサイズにて立体感調整を行った場合、画像に関連付けて２つの視差量調整値を記録すると共に、それぞれについて他のモニタサイズに対する係数を記録してもよい。例えば、モニタサイズ３インチの表示モニタ１４で立体感調整を行ったときに、「調整値１（３インチ）、係数は５インチは０．７５、１０インチは０．５、１５インチは０．２５」という情報を画像に関連付けて記録する。その後、モニタサイズ１０インチの表示モニタ１４で立体感調整を行ったときは、上記のモニタサイズ３インチでの調整値及び係数に加えて、「調整値２（１０インチ）、係数は３インチは２、５インチは１．５、１５インチは０．５」という情報を画像に関連付けて記録してもよい。

上記のケースで、画像表示を行う際にモニタサイズが３インチであれば調整値１を視差量調整値とし、モニタサイズが１０インチであれば調整値２を視差量調整値とすればよい。表示時のモニタサイズに該当する調整値が記録されていないときに、調整値１に係数を乗じた値を調整値とするか、或いは調整値２に係数を乗じた値を調整値とするかは任意に選択できる。

例えば、視差量の変化が少ない方の調整値を選択してもよい。具体的に、表示モニタ１４のモニタサイズが５インチのとき、調整値１と調整値１×０．７５との差と、調整値２と調整値２×１．５との差とを比較し、差が小さい方の調整値を選択してもよい。このような選択を行う理由は、劇的な視差量の変化は観察するユーザの目に良いとは限らないためである。変化が少ない方の調整値を選択することで、ユーザの目の負担を軽減できる効果がある。

上記で選択できないとき、或いは上記に代えて、視差量の値（絶対値）が小さい方を選択してもよい。具体的に、表示モニタ１４のモニタサイズが５インチのとき、調整値１×０．７５と、調整値２×１．５とを比較し、絶対値が小さい方の調整値を選択してもよい。これは、視差量が大きい方の調整値を選択すると、視差量が大きくなりすぎる可能性があるためである。視差量の値が小さい方を選択することで、視差量が大きくなりすぎることを回避できる。

続いて、本発明の第８実施形態を説明する。図２６は、第８実施形態の複眼カメラの内部構成を示している。本実施形態の複眼カメラ１０ｃは、図１９に示す第６実施形態の複眼カメラ１０ｂの構成に加えて、パラメータ算出部３１を備える。複眼カメラ１０ｃの外観は図１Ａ及び図１Ｂに示す第１実施形態の複眼カメラ１０の外観と同様でよい。本実施形態は、撮影部を持たない表示装置に適用することも可能である。すなわち、図６Ｂに示す表示装置５０にパラメータ算出部を追加した構成とすることもできる。

パラメータ算出部３１は、立体感調整が行われたときに立体視用画像が表示された表示モニタのモニタサイズと視差量感調整値とに基づいて、モニタサイズから視差量調整値を推定するための推定式のパラメータを求める。推定式には、例えばモニタサイズと視差量調整値との関係を表す一次式を用いることができる。本実施形態では、調整値記録部２６は、パラメータ算出部３１で求められたパラメータを画像に関連付けて記録する。

図２７は、推定式の一例を示している。横軸（ｘ）はモニタサイズを表し、縦軸（ｙ）は視差量調整値を表す。モニタサイズと視差量調整値との関係（推定式）を、例えばｙ＝ａｘ＋ｂで表わすとする。この場合、パラメータ算出部３１が求めるパラメータは、傾きａと、切片ｂとになる。パラメータ算出部３１は、例えば異なる２つのモニタサイズで調整された視差量調整値に基づいて傾きａと切片ｂとを計算する。推定式は一次式には限定されず、より高次の推定式を用いることも可能である。

立体感制御部２４は、画像の表示時に、画像が表示される表示モニタ１４のモニタサイズをモニタサイズ取得部３０から取得する。立体感制御部２４は、表示する多視点画像に関連付けて記録された推定式のパラメータを記録媒体２３から読み出す。立体感制御部２４は、読み出した推定式のパラメータとモニタサイズとに基づいて視差量調整値を決定する。

ここで、推定式のパラメータとモニタサイズとに基づいて計算上求まる視差量調整値が、立体感調整時の視差量調整値に対して逆視となることも考えられる。例えばユーザが立体感調整において視差量０に対して立体感が強くなるように視差量を調整したのに対し、計算上求まる視差量調整値が視差量０に対して立体感を弱くするものであることもあり得る。そのような場合は、計算上求まる視差量調整値に代えて、視差量０を視差量調整値としてもよい。

図２８は、立体感調整の際の動作手順を示している。ここでは複眼カメラ１０ｃの動作手順として説明するが、表示装置でも動作手順は同様である。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ１１０１）。或いは複眼カメラ１０ｃが記録媒体２３に記録された画像の中から任意の１つを選択してもよい。立体視用画像生成部２５は、選択された画像に基づいて立体視用画像を生成し、表示処理部２７は、立体視用画像を表示モニタ１４に表示する。ステップＳ１１０１で選択された画像に関連付けて既に視差量調整値が記録されているとき、立体感制御部２４は、記録媒体２３から視差量調整値を読み出し、立体視用画像生成部２５に設定してもよい。

立体感制御部２４は、ステップＳ１１０１で選択された画像の立体感調整を行う（ステップＳ１１０２）。立体視用画像生成部２５は、立体感制御部２４が調整した視差量で立体視用画像を生成する。表示処理部２７は、立体視用画像を表示モニタ１４に表示する（ステップＳ１１０３）。立体感制御部２４は、ユーザが調整のやり直しを指示したときは、それまでの調整を破棄して、視差量調整値を初期状態に戻してもよい。このとき戻る視差量調整値の初期状態は、視差量調整値のデフォルト値でよい。

立体感制御部２４は、ユーザが調整終了を指示したか否かを判断する（ステップＳ１１０４）。調整終了でない場合はステップＳ１１０２に戻り、立体感調整を継続する。調整終了の場合、モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する（ステップＳ１１０５）。ここまでの各ステップは、図２０におけるステップＳ７０１〜Ｓ７０５と同様でよい。

パラメータ算出部３１は、調整された視差量調整値と、ステップＳ１１０５で取得されたモニタサイズとに基づいて、推定式のパラメータを計算する（ステップＳ１１０６）。パラメータ算出部３１は、ステップＳ１１０６では、記録媒体２３から以前の立体感調整における視差量調整値及びモニタサイズを読み出し、読み出した視差量調整値及びモニタサイズを利用して推定式のパラメータを計算してもよい。例えば、今回の立体感調整における視差量調整値がｙ１でモニタサイズがｘ１であり、以前の立体感調整における視差量調整値がｙ２でモニタサイズがｘ２であったとする。この場合、パラメータ算出部３１は、点（ｘ１，ｙ２）と点（ｘ２，ｙ２）とを通る直線を求め、その直線の傾きとｙ切片とを推定式のパラメータとすればよい。

調整値記録部２６は、ステップＳ１１０６で求められた推定式のパラメータを、ステップＳ１１０１で選択された画像に関連付けて記録する（ステップＳ１１０７）。このとき、調整値記録部２６は、調整された視差量調整値とモニタサイズとを更に画像に関連付けて記録してもよい。立体感調整を複眼カメラ１０ｃで行う場合、調整値記録部２６は、視差量調整値をデフォルト値として記録してもよい。

ここで、推定式に一次式を用いる場合、傾きａと切片ｂとを求めるためには、少なくとも２つのモニタサイズで調整された視差量調整値が必要である。初回の立体感調整では、以前の立体感調整における視差量調整値が存在しないため、傾きａと切片ｂとを求めることができない。初回の調整では、ステップＳ１１０６をスキップし、ステップＳ１１０７において視差量調整値及びモニタサイズを画像に関連付けて記録してもよい。或いは、パラメータのうちの１つ、例えば傾きａの初期値を決めておき、ステップＳ１１０６において、視差量調整値とモニタサイズと傾きの初期値とから切片ｂを計算し、ステップＳ１１０７において、傾きａ（初期値）と求めた切片ｂとを画像に関連付けて記録してもよい。

図２９は、画像と、その画像に関連付けて記録されるパラメータとを示している。ここでは、調整値記録部２６は、例えば推定式のパラメータとして傾きａ及び切片ｂの値をファイルのヘッダに記録する。推定式のパラメータに対して初期値を与えておく場合、記録されるパラメータは、初期値からの差分として表されていてもよい。

なお、画像の保存形式は任意であり、例えば図７Ｂに示すように左目用画像と右目用画像とでファイルが分かれていてもよい。また、画像と視差量調整値との関連付けは任意であり、例えば図７Ｃ〜図７Ｅに示すように、視差量調整値を画像とは別のファイルで管理してもよい。画像に関連付けて複数の視差量調整値を記録する場合、視差量調整値のうちの一部は、デフォルト値などからの差分として表されていてもよい。視差量調整値に加えて、代表値算出部２８が求めた視差量調整値の平均値を更に記録してもよい。

図３０は、画像表示時の動作手順を示している。ここでも複眼カメラ１０ｃの動作手順として説明するが、表示装置でも動作手順は同様である。ユーザは、記録媒体２３に記録された画像の中から１つを選択する（ステップＳ１２０１）。或いは複眼カメラ１０ｃが記録媒体２３に記録された画像の中から任意の１つを選択してもよい。モニタサイズ取得部３０は、表示モニタ１４のモニタサイズを取得する（ステップＳ１２０２）。

立体感制御部２４は、記録媒体２３から、ステップＳ１２０１で選択された画像に関連付けて記録された推定式のパラメータを読み出す（ステップＳ１２０３）。立体感制御部２４は、読み出したパラメータとステップＳ１２０２で取得されたモニタサイズとから視差量調整値を求める（ステップＳ１２０４）。例えば、立体感制御部２４は、推定式のパラメータとして傾きａと切片ｂとを読み出し、取得されたモニタサイズをＸとして、ａＸ＋ｂで計算される値を視差量調整値とする。

立体感制御部２４は、ステップＳ１２０４で求めた視差量調整値を立体視用画像生成部２５に設定する。立体視用画像生成部２５は、設定された視差量調整値で立体視用画像を生成する。表示処理部２７は、立体視用画像を表示モニタ１４に表示する（ステップＳ１２０５）。

本実施形態では、立体感調整時に、モニタサイズから視差量調整値を推定するための推定式のパラメータを画像に関連付けて記録する。画像表示時は、推定式のパラメータを読み出し、読み出したパラメータとモニタサイズ取得部３０が取得したモニタサイズとから、当該モニタサイズの視差量調整値を推定する。このような構成とすることで、未調整のモニタサイズについても、ユーザが好ましいと感じる立体感で画像表示を行うことができる。

なお、第４及び第５実施形態において、画像の表示順を立体感が弱い順にしてもよい。例えば第４実施形態において、図１３のステップＳ５０３で読み出した１以上の視差量調整値を立体感が弱い順にソートし、ステップＳ５０４において立体感が弱い順に視差量調整値を選択し、同じ画像内で立体感が弱い順に画像が表示されるようにしてもよい。また、第５実施形態において、図１７のステップＳ６０２で読み出した各画像の視差量調整値を画像ごとに立体感が弱い順にソートし、ステップＳ６０５において立体感が弱い順に視差量調整値が選択されるようにしてもよい。画像表示を立体感が弱い順で行うことで、画像を観察するユーザの目の負担を軽減できる効果がある。

第４実施形態では、上記に代えて、表示対象の全ての画像の視差量調整値を立体感が弱い順にソートし、画像の表示を行うことも可能である。例えば、表示対象の各画像の視差量調整値を立体感が弱い順にソートすると共に、各画像の立体感が最も弱い視差量調整値を求める。その視差量調整値を立体感最小視差量調整値と呼ぶ。求めた立体感最小視差量調整値を画像ごとに比較し、表示対象の画像を立体感が弱い順にソートする。具体的に図１５において、画像Ａの立体感最小視差量調整値が調整値１−１であり、画像Ｂの立体感最小視差量調整値がデフォルトであり、画像Ｃの立体感最小視差量調整値が調整値３−１であったとする。この場合、立体感の強さが調整値３−１＜調整値１−１＜デフォルト（画像Ｂ）であれば、画像Ｃ、画像Ａ、画像Ｂの順にソートする。図１３のステップＳ５０２においてこの順で画像を選択することで、立体感が弱い順に画像を表示することが可能になる。

図１３に示すフローチャートでは、ある画像について各視差量調整値で表示を行った後に次の画像の表示に移っているがこれには限定されない。例えば、表示対象の全ての画像の視差量調整値を立体感が弱い順にソートし、立体感が弱い視差量調整値の順に画像を表示していってもよい。具体的に、図１５において、立体感の強さが調整値３−１＜調整値１−１＜デフォルト（画像Ａ）＜調整値３−２＜デフォルト（画像Ｂ）＜調整値１−２であれば、図１６に示すような画像ごとの表示に代えて、画像Ｃ（調整値３−１）、画像Ａ（調整値１−１）、画像Ａ（デフォルト）、画像Ｃ（調整値３−２）、画像Ｂ（デフォルト）、画像Ａ（調整値１−２）の順で表示を行ってもよい。

上記各実施形態では、複眼カメラ１０及び表示装置５０が表示モニタ１４、５１を有している例について説明したが、複眼カメラ１０及び表示装置５０は必ずしも表示モニタを内蔵していなくてもよい。例えば複眼カメラ１０又は表示装置５０に接続ケーブルなどを用いて外部モニタを接続し、外部モニタにて画像の立体視表示及びその立体感の調整を行ってもよい。また、複眼カメラ１０及び表示装置５０が表示モニタ１４、５１を有する構成においても、複眼カメラ１０又は表示装置５０に接続ケーブルなどを用いて外部モニタを接続し、外部モニタにて画像の立体視表示及びその立体感の調整を行ってもよい。

以上、本発明をその好適な実施形態に基づいて説明したが、本発明の複眼カメラ、立体画像表示装置、及び立体感調整方法は、上記実施形態にのみ限定されるものではなく、上記実施形態の構成から種々の修正及び変更を施したものも、本発明の範囲に含まれる。

１０：複眼カメラ
１１：レンズ
１２：フラッシュ
１３：レリーズ
１４：表示モニタ
１５：操作ボタン
１６：センサ
１７：Ａ／Ｄ変換器
１８：画像処理部
１９：操作入力部
２０：カメラ制御部
２１：通信インタフェース
２２：記録媒体記録部
２３：記録媒体
２４：立体感制御部
２５：立体視用画像生成部
２６：調整値記録部
２７：表示処理部
２８：代表値算出部
２９：表示画像選択部
３０：モニタサイズ取得部
３１：パラメータ算出部
５０：表示装置
５１：表示モニタ
５２：操作ボタン
５３：カードスロット
５４：操作入力部
５５：通信インタフェース
５６：記録媒体記録部
５７：記録媒体
５８：立体感制御部
５９：立体視用画像生成部
６０：調整値記録部
６１：表示処理部

Claims (27)

1. 複数の視点の画像を含む多視点画像の撮影を行って該多視点画像を記録媒体に記録する撮影部と、
   前記多視点画像に基づいて、画像を立体視表示するための立体視用画像を生成する立体視用画像生成部と、
   前記立体視用画像を立体視表示が可能な表示モニタに表示させる表示処理部と、
   前記立体視用画像生成部に対して立体感調整値を設定し、前記立体視用画像を前記表示モニタに表示した際の立体感の調整を行う立体感制御部と、
   前記立体感制御部が調整した立体感調整値を前記多視点画像に関連付けて記録媒体に記録する調整値記録部と、
   １以上の画像に関連付けて記録された立体感調整値の代表値を求める代表値算出部とを備え、
   前記立体感制御部が、画像撮影時に前記代表値算出部で求められた代表値を立体感調整値として前記立体視用画像生成部に設定し、
   前記立体視用画像生成部が、前記撮影部で撮影すべき多視点画像の画角調整用の動画表示に用いられる画像に基づいて、前記設定された代表値に対応した立体感で立体視用画像を生成し、
   前記表示処理部が、前記立体視用画像生成部が生成した、画角調整用の動画表示に用いられる画像の立体視用画像を表示モニタに表示させるものであることを特徴とする立体撮像装置。
2. 前記調整値記録部が、前記撮影部が前記多視点画像を撮影すると、該撮影した多視点画像に関連付けて、前記代表値を立体感調整値のデフォルト値として記録媒体に記録するものであることを特徴とする請求項１に記載の立体撮像装置。
3. 前記調整値記録部が、前記代表値に代えて、撮影時に立体感制御部が調整した立体感調整値を前記デフォルト値として記録媒体に記録するものであることを特徴とする請求項２に記載の立体撮像装置。
4. 前記調整値記録部が、前記デフォルト値に加えて、前記立体感制御部が調整した前記デフォルト値とは異なる立体感調整値を前記多視点画像に関連付けて記録媒体に追加記録するものであることを特徴とする請求項２又は３に記載の立体撮像装置。
5. 前記調整値記録部が、前記デフォルト値とは異なる立体感調整値を前記デフォルト値との差分として記録するものであることを特徴とする請求項４に記載の立体撮像装置。
6. 前記立体感制御部が、ユーザからの立体感の強弱に関する指示を受け付け、該受け付けた指示に従って前記立体感調整値を変化させ、ユーザが調整のやり直しを指示すると、記録媒体から前記デフォルト値を読み出し、該読み出したデフォルト値を前記立体感調整値に設定するものであることを特徴とする請求項２から５何れかに記載の立体撮像装置。
7. 記録媒体に記録された多視点画像が１以上のグループに分かれており、前記代表値算出部が、同じグループに所属する１以上の画像に関連付けて記録された１以上の立体感調整値の代表値を求めるものであることを特徴とする請求項１から６何れかに記載の立体撮像装置。
8. 前記調整値記録部が、前記立体感調整値の代表値を前記画像に更に関連付けて記録するものであることを特徴とする請求項１から７何れかに記載の立体撮像装置。
9. 前記立体感制御部が、記録媒体に記録された多視点画像の画像表示時に前記立体感調整値の代表値を前記立体視用画像生成部に設定し、
   前記立体視用画像生成部が、記録媒体から読み出した多視点画像に基づいて前記設定された代表値で表わされる立体感で立体視用画像を生成し、
   前記表示処理部が、前記立体視用画像生成部が生成した立体視用画像を表示モニタに表示させるものであることを特徴とする請求項１から８何れかに記載の立体撮像装置。
10. 記録媒体に記録された多視点画像から表示対象の画像を選択する表示画像選択部を更に備え、
    前記立体感制御部が、前記表示対象画像として選択された多視点画像に関連付けて記録された１以上の立体感調整値を読み出し、該読み出した１以上の立体感調整値のそれぞれを前記立体視用画像生成部に設定し、
    前記立体視用画像生成部が、前記表示対象画像として選択された多視点画像に基づいて前記設定された１以上の立体感調整値のそれぞれで表わされる立体感で１以上の立体視用画像を生成し、
    前記表示処理部が、前記立体視用画像生成部が生成した１以上の立体視用画像を順次に表示モニタに表示させるものであることを特徴とする請求項１から９何れかに記載の立体撮像装置。
11. 前記表示画像選択部が複数の多視点画像を表示対象画像として選択し、
    前記表示処理部が、一の多視点画像に対して複数の立体感調整値が関連付けられているときは、該複数の立体感調整値で生成された立体視用画像を順次に表示させた後に、次の多視点画像の立体視用画像に切り替えて表示させていくものであることを特徴とする請求項１０に記載の立体撮像装置。
12. 前記表示画像選択部が複数の多視点画像を表示対象画像として選択し、
    前記表示処理部が、前記表示対象画像として選択された複数の多視点画像に基づいて、各多視点画像のｉ番目（ｉ：１から立体感調整値の数）の立体感調整値で生成された複数の立体視用画像を順次に表示させた後に、ｉ＋１番目の立体感調整値で生成された複数の立体視用画像を表示させていくものであることを特徴とする請求項１０に記載の立体撮像装置。
13. 前記表示処理部が、立体感が弱い立体視用画像から順に前記立体視用画像を表示させるものであることを特徴とする請求項１０から１２何れかに記載の立体撮像装置。
14. 前記立体感制御部が、前記立体視用画像が前記表示モニタに表示された状態で立体感調整を行うものであることを特徴とする請求項１から１３何れかに記載の立体撮像装置。
15. 前記調整値記録部が、前記立体感調整が行われたときに立体視用画像が表示された表示モニタのモニタサイズを更に画像に関連付けて記録するものであることを特徴とする請求項１４に記載の立体撮像装置。
16. 前記表示モニタのモニタサイズを取得するモニタサイズ取得部を更に備え、
    前記立体感制御部が、画像の表示時に、表示する多視点画像に関連付けて記録された、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値を記録媒体から読み出すものであることを特徴とする請求項１５に記載の立体撮像装置。
17. 前記立体感制御部が、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値が存在しないときは、前記取得されたモニタサイズに最も近いモニタサイズの立体感調整値を記録媒体から読み出すものであることを特徴とする請求項１６に記載の立体撮像装置。
18. 前記調整値記録部が、前記立体感調整が行われたときに立体視用画像が表示された表示モニタのモニタサイズと、当該モニタサイズとは異なる１以上のモニタサイズに対する係数とを更に画像に関連付けて記録するものであることを特徴とする請求項１４に記載の立体撮像装置。
19. 前記表示モニタのモニタサイズを取得するモニタサイズ取得部を更に備え、
    前記立体感制御部が、画像の表示時に、表示する多視点画像に関連付けて記録された、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値を記録媒体から読み出すものであることを特徴とする請求項１８に記載の立体撮像装置。
20. 前記立体感制御部が、前記モニタサイズ取得部が取得したモニタサイズに該当する立体感調整値が存在しないときは、前記モニタサイズ取得部が取得したモニタサイズとは異なるモニタサイズの立体感調整値と前記係数とを記録媒体から読み出し、該読み出した立体感調整値に前記取得されたモニタサイズに該当する係数を乗じた値を前記立体感調整値とするものであることを特徴とする請求項１９に記載の立体撮像装置。
21. 前記立体感調整が行われたときに立体視用画像が表示された表示モニタのモニタサイズと前記立体感調整値とに基づいて、前記モニタサイズから前記立体感調整値を推定するための推定式のパラメータを求めるパラメータ算出部を更に備え、
    前記調整値記録部が、該求めたパラメータを前記立体感調整値に代えて、又はこれに加えて前記画像に関連付けて記録するものであることを特徴とする請求項１４に記載の立体撮像装置。
22. 前記表示モニタのモニタサイズを取得するモニタサイズ取得部を更に備え、
    前記立体感制御部が、記録媒体から前記推定式のパラメータを読み出し、該読み出したパラメータと前記モニタサイズ取得部が取得したモニタサイズとに基づいて立体感調整値を求めるものであることを特徴とする請求項２１に記載の立体撮像装置。
23. 複数の視点の画像を含む多視点画像と、該多視点画像を立体視表示する際の立体感調整値とを関連付けて記憶する記録媒体から読み出された多視点画像に基づいて、画像を立体視表示するための立体視用画像を生成する立体視用画像生成部と、
    前記立体視用画像を立体視表示が可能な表示モニタに表示させる表示処理部と、
    前記立体視用画像生成部に対して前記立体感調整値を設定し、前記立体視用画像を前記表示モニタに表示した際の立体感を制御する立体感制御部と、
    １以上の画像に関連付けて記録された立体感調整値の代表値を求める代表値算出部とを備え、
    前記立体感制御部が、前記代表値算出部で求められた代表値を立体感調整値として前記立体視用画像生成部に設定し、前記立体視用画像生成部が、前記設定された代表値に対応した立体感で立体視用画像を生成するものであることを特徴とする立体画像表示装置。
24. 前記立体制御部が前記表示モニタに表示された立体視用画像の立体感調整を行うと、該調整された立体感調整値を前記画像に関連付けて追加記録する調整値記録部を更に備えることを特徴とする立体画像表示装置。
25. 前記調整値記録部が、前記立体感調整値の代表値を前記画像に関連付けて更に記録するものであることを特徴とする請求項２４に記載の立体画像表示装置。
26. 複数の視点の画像を含む多視点画像の撮影を行うステップと、
    前記多視点画像に基づいて、画像を立体視表示するための立体視用画像を生成するステップと、
    前記立体視用画像を画像の立体視表示が可能な表示モニタに表示した際の立体感を調整するステップと、
    前記調整された立体感の調整値を前記多視点画像に関連付けて記録媒体に記録するステップと、
    １以上の画像に関連付けて記録された立体感調整値の代表値を求めるステップとを有し、
    前記撮影を行うステップにおいて、撮影すべき多視点画像の画角調整用の動画表示に用いられる画像に基づいて、前記立体感調整値の代表値に対応した立体感で立体視用画像を生成し、該生成された立体視用画像を前記表示モニタに表示することを特徴とする立体感調整方法。
27. 複数の視点の画像を含む多視点画像と、該多視点画像を立体視表示する際の立体感調整値とを関連付けて記憶する記録媒体を参照して、１以上の画像に関連付けて記録された立体感調整値の代表値を求めるステップと、
    記録媒体から多視点画像を読み出し、該読み出した多視点画像に基づいて、前記立体感調整値の代表値に対応した立体感で、画像を立体視表示するための立体視用画像を生成するステップと、
    前記立体視用画像を立体視表示が可能な表示モニタに表示するステップとを有する立体画像表示方法。

Images