WO2011136190A1

WO2011136190A1 - 立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置

Info

Publication number: WO2011136190A1
Application number: PCT/JP2011/060095
Authority: WO
Inventors: 敏中村
Original assignee: 富士フイルム株式会社
Priority date: 2010-04-28
Filing date: 2011-04-25
Publication date: 2011-11-03
Also published as: JP5449536B2; US20170094267A1; US9560341B2; JPWO2011136190A1; US20130093859A1; CN102860019A; CN102860019B

Abstract

３次元画像ファイルに記録された付属情報に基づいて適切な視差量で立体画像を表示する。３Ｄ画像ファイルを読み出すとともに（ステップＳ３１）、３Ｄ表示を行うディスプレイのサイズを取得する（ステップＳ３２）。また、読み出した３Ｄ画像ファイルのメタデータから、視点画像を適切に３Ｄ表示可能な最大ディスプレイサイズを取得する（ステップＳ３３）。ステップＳ３２で取得したサイズとステップＳ３３で取得した最大ディスプレイサイズとを比較し（ステップＳ３４）、最大ディスプレイサイズの方が小さい場合には、視差ずらし又は視差圧縮を行ってから（ステップＳ３５）、３Ｄ表示を行う（ステップＳ３６）。このように最大ディスプレイサイズに基づいて適切に表示を行うことができる。

Description

立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置

　本発明は立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置に係り、特に、３次元画像ファイルに記録された立体画像を適切に再生表示する技術に関する。

　立体撮像装置は、左右に視差をもって並べられた２つの撮像部（撮像手段）を使って同一被写体を左右の視点から撮影し、左目用の画像と右目用の画像とをそれぞれ取得して記録媒体に記録している。この取得した左右の画像が記録媒体から読み出され、３次元（３Ｄ）表示が可能な３Ｄディスプレイに入力され、左目用の画像と右目用の画像とが左右の目で別々に視認できるように表示されることにより、立体画像として認識できるようになる。

　ところが、３Ｄディスプレイには様々な画面のサイズのものがあり、記録された左右の画像の視差量が、当該左右画像を再生表示しようとする３Ｄディスプレイのサイズに対して適切でない場合も存在する。このような場合、画面からの飛び出し量や引っ込み量が過大となり、自然な立体画像として認識できないという問題点が発生する。

　このような課題に対して、再生装置において、左目用の画像と右目用の画像とから任意の視点で見えるべき中間視点画像を生成することが行われている。このように、視点の異なる複数の画像から中間視点画像を生成するためには、画像間で画素の対応を求めて奥行きを推定する必要がある。

　しかし、表示時に目の疲れにくい表示（例えば視差制御）を行おうとする際に、どの奥行き範囲に対して行えばよいのかわからないという課題を有していた。このような表示を行うには、撮影時の視野角や撮像面のサイズ、レンズ中心と撮像面との距離等の条件をもとに、観察距離を適切に決定する必要がある。

　この問題を解決するために、特許文献１には、２視点以上の画像の伝送において、画像を撮像するカメラの撮像サイズ及びレンズ中心と撮像面との距離の情報を伝送する技術が開示されている。この技術によれば、表示側において撮像時の視野角の情報を得ることができる。

特開２００３－３３３６２１号公報

　しかしながら、特許文献１の技術では、表示装置側の処理が煩雑であるという欠点があった。また、データ伝送に関する技術であるため、立体画像が記録媒体に記録される場合に、これらの情報がどのように記録されるのかは開示されていない。

　本発明はこのような事情に鑑みてなされたもので、３次元画像ファイルに記録された付属情報に基づいて適切な視差量で立体画像を表示する立体画像再生装置及び方法、立体撮像装置、立体ディスプレイ装置を提供することを目的とする。

　前記目的を達成するために第一発明の立体画像再生装置は、立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得手段と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、前記取得された前記立体ディスプレイのディスプレイサイズと前記最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいか否かを判別する判別手段と、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理手段と、前記判別手段により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記画像処理手段により生成された視点画像を前記立体ディスプレイに出力し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズ以下と判別されると、前記第１の取得手段により取得された視点画像を前記立体ディスプレイに出力する出力手段とを備えたことを特徴とする。なお、ここでいう「遠景側」とは、撮像手段から被写体側に離間する遠位側を言うものであり、反対に「近景側」とは、遠景側とは反対に、被写体から撮像手段側に近づく近位側を言うものである。

　上記の第一発明によれば、立体ディスプレイのディスプレイサイズと３次元画像ファイルから取得した最大ディスプレイサイズとを比較し、立体ディスプレイのディスプレイサイズの方が大きいと判別されると、少なくとも遠景側の視差が小さくなる複数の視点画像を生成して立体ディスプレイに出力するようにしたので、適切な視差量で立体画像を表示することができる。

　また、前記目的を達成するために第二発明の立体画像再生装置は、立体視用の複数の視点画像と、該複数の視点画像における遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得手段と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する判別手段と、前記判別手段により両眼融合不能と判別されると、前記第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の遠景側の視差が小さくなる複数の視点画像を生成する画像処理手段と、前記判別手段により両眼融合不能と判別されると、前記画像処理手段により生成された視点画像を前記立体ディスプレイに出力し、前記両眼融合可能と判別されると、前記第１の取得手段により取得された視点画像を前記立体ディスプレイに出力する出力手段とを備えたことを特徴とする。

　上記第二発明によれば、３次元画像ファイルから取得した少なくとも遠景側の最大視差量と立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、３次元画像ファイルから取得した複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別し、両眼融合不能と判別した場合には少なくとも遠景側の視差が小さくなる複数の視点画像を生成して立体ディスプレイに出力するようにしたので、適切な視差量で立体画像を表示することができる。

　また、第二発明の立体画像再生装置において、前記判別手段は、前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズとに基づいて、前記複数の視点画像を前記立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段を有し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別することが好ましい。

　これにより、適切に両眼融合可能か否かを判別することができる。

　更に、第一発明及び第二発明の立体画像再生装置において、前記画像処理手段は、前記立体ディスプレイ上での前記複数の視点画像の遠景側の最大視差量を、人間の両眼間隔を示す所定値以下とする前記複数の視点画像間の視差ずらしを実施し、該視差ずらしされた視点シフト画像を生成することが好ましい。

　これにより、適切に視点画像を生成することができる。

　更にまた、第一発明及び第二発明の立体画像再生装置において、前記３次元画像ファイルの付属情報は、前記複数の視点画像における近景側の最大視差量を含み、前記立体ディスプレイ上での前記複数の視点画像の近景側の最大視差量と前記視点シフト画像の前記立体ディスプレイ上でのずらし量とを加算する加算手段と、前記加算された近景側の最大視差量に対応する画像ずれ量が前記立体ディスプレイに表示される際に両眼融合限界を越えるか否かを判別する判別手段とを備え、前記出力手段は、前記判別手段により画像ずれ量が両眼融合限界を越えると判別されると、前記第１の取得手段により取得された複数の視点画像のうちのいずれか１つを前記立体ディスプレイに出力して２次元画像を表示させることが好ましい。

　これにより、適切な画像を表示させることができる。

　加えて、第一発明及び第二発明の立体画像再生装置において、前記画像処理手段は、前記第１の取得手段により取得された複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記第１の取得手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段とを有することが好ましい。

　これにより、適切な視点画像を生成することができる。

　このとき、第一発明及び第二発明の立体画像再生装置において、前記出力手段は、前記判別手段により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別され、又は前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えると判別されると、前記第１の取得手段により取得された複数の視点画像のうちのいずれか１つを前記立体ディスプレイに出力して２次元画像を表示させ、その後、前記画像処理手段により前記仮想視点画像が生成されると、前記２次元画像に代えて前記仮想視点画像を出力することが好ましい。

　これにより、仮想視点画像の生成に時間がかかる場合であっても、立体ディスプレイに画像を表示することができる。

　また、第一発明及び第二発明の立体画像再生装置において、前記複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の表示用画像を生成する表示用画像生成手段を備え、前記画像処理手段は、前記第１の取得手段により取得した複数の視点画像の代わりに前記生成された複数の表示用画像を使用して、該複数の表示用画像間の少なくとも遠景側の視差が小さくなる複数の表示用画像を生成し、前記出力手段は、前記表示用画像生成手段により生成された表示用画像、又は前記画像処理手段により生成された表示用画像を前記立体ディスプレイに出力することが好ましい。

　これにより、適切なサイズの画像を立体ディスプレイに出力することができる。

　更に、第一発明及び第二発明の立体画像再生装置において、前記画像処理手段により生成された視点画像及び前記表示用画像生成手段により生成された表示用画像のうちの少なくとも一方を、前記３次元画像ファイルに追記し又は上書きする記録手段を備えたことが好ましい。

　これにより、次回表示する際には画像処理を行うことなく適切な視差量の画像を表示することができる。

　また、前記目的を達成するために第三発明の立体撮像装置は、複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段と、請求項１から９のいずれかに記載の立体画像再生装置とを備えたことを特徴とする。

　これにより、適切な視差量で立体画像を表示することができる。

　更に、前記目的を達成するために第四発明の立体ディスプレイ装置は、前記出力先の立体ディスプレイと、請求項１から９のいずれかに記載の立体画像再生装置とを備えたことを特徴とする。

　前記目的を達成するために第五発明の立体画像再生方法は、立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得工程と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、前記取得された前記立体ディスプレイのディスプレイサイズと前記最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいか否かを判別する判別工程と、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記第１の取得工程により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理工程と、前記判別工程により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記画像処理工程により生成された視点画像を前記立体ディスプレイに出力し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズ以下と判別されると、前記第１の取得工程により取得された視点画像を前記立体ディスプレイに出力する出力工程とを備えたことを特徴とする。

　前記目的を達成するために第六発明の立体画像再生方法は、立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像における遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得工程と、出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する判別工程と、前記判別工程により両眼融合不能と判別されると、前記第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理工程と、前記判別工程により両眼融合不能と判別されると、前記画像処理工程により生成された視点画像を前記立体ディスプレイに出力し、前記両眼融合可能と判別されると、前記第１の取得工程により取得された視点画像を前記立体ディスプレイに出力する出力工程とを備えたことを特徴とする。

　本発明によれば、３次元画像ファイルに記録された付属情報に基づいて適切な視差量で立体画像を表示することができる。

２枚の視点画像を撮影する様子を示した図３Ｄ画像ファイルのデータ構造を模式的に示した図撮影、記録処理を示したフローチャート２枚の視点画像の一例を示す図４枚の視点画像を撮影する様子を示した図３Ｄ画像ファイルのデータ構造を模式的に示した図３Ｄ画像ファイルのデータ構造のその他の態様を模式的に示した図仮想視点について説明するための図３Ｄ画像ファイルのデータ構造を模式的に示した図視差ずらしの原理を説明するための図左右の視点画像と視差ずらしを示す図撮影、記録処理を示すフローチャート３Ｄ画像ファイルのデータ構造を模式的に示した図再生表示処理を示すフローチャート最大視差量に基づく再生表示処理を示すフローチャート３Ｄ画像ファイルに記録する処理を示すフローチャート３Ｄ画像ファイルのデータ構造を模式的に示した図２Ｄ表示を行う処理を示すフローチャート最大視差量（近景）を考慮する処理を示すフローチャート立体撮像装置の外観を示す図立体撮像装置の内部構成を示すブロック図立体画像再生装置と３Ｄディスプレイの全体構成を示す図立体画像再生装置の内部構成を示すブロック図

　この発明の立体画像再生装置は、第１の取得手段、第２の取得手段、判別手段、画像処理手段及び出力手段を備えている。まず、第１の取得手段により立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから複数の視点画像及び付属情報を取得する（第１の取得工程）。また、第２の取得手段により出力先の立体ディスプレイのディスプレイサイズを取得する（第２の取得工程）。その後、判別手段により、取得された立体ディスプレイのディスプレイサイズと最大ディスプレイサイズとを比較し、立体ディスプレイのディスプレイサイズが最大ディスプレイサイズよりも大きいか否かを判別する（判別工程）。そして、画像処理手段は、立体ディスプレイのディスプレイサイズが最大ディスプレイサイズよりも大きいと判別された第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する（画像処理工程）。最後に、出力手段が、画像処理手段により生成された視点画像を立体ディスプレイに出力し、立体ディスプレイのディスプレイサイズが最大ディスプレイサイズ以下と判別されると、第１の取得手段により取得された視点画像を立体ディスプレイに出力する（出力工程）。上記構成を採用することにより、立体ディスプレイのディスプレイサイズと３次元画像ファイルから取得した最大ディスプレイサイズとを比較し、立体ディスプレイのディスプレイサイズの方が大きいと判別された場合に、少なくとも遠景側の視差が小さくなる複数の視点画像を生成して立体ディスプレイに出力することができる。その結果、適切な視差量で立体画像を表示することが可能となる。

　或いは、第１の取得手段により複数の視点画像及び付属情報を取得し、第２の取得手段により出力先の立体ディスプレイのディスプレイサイズを取得した後に、判別手段により取得した遠景側の最大視差量と立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する。そして、画像処理手段を用い、判別手段により両眼融合不能と判別されると、第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の遠景側の視差が小さくなる複数の視点画像を生成する。その後、出力手段を用い、判別手段により両眼融合不能と判別されると、画像処理手段により生成された視点画像を立体ディスプレイに出力し、両眼融合可能と判別されると、第１の取得手段により取得された視点画像を立体ディスプレイに出力する。これらのことにより、３次元画像ファイルから取得した少なくとも遠景側の最大視差量と立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、３次元画像ファイルから取得した複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別し、両眼融合不能と判別した場合には少なくとも遠景側の視差が小さくなる複数の視点画像を生成して立体ディスプレイに出力することが可能となる。その結果、適切な視差量で立体画像を表示することできる。このとき、判別手段は、取得した遠景側の最大視差量と立体ディスプレイのディスプレイサイズとに基づいて、複数の視点画像を立体ディスプレイに表示させた場合の、最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段を有し、算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別することが好ましい。なぜなら、適切に両眼融合可能か否かを判別することが可能となるからである。

　更に、上述した種々の立体画像再生装置において、画像処理手段は、立体ディスプレイ上での複数の視点画像の遠景側の最大視差量を、人間の両眼間隔を示す所定値以下とする複数の視点画像間の視差ずらしを実施し、該視差ずらしされた視点シフト画像を生成することが好ましい。なぜなら、適切に視点画像を生成することが可能となるからである。更にまた、３次元画像ファイルの付属情報は、複数の視点画像における近景側の最大視差量を含み、立体ディスプレイ上での複数の視点画像の近景側の最大視差量と視点シフト画像の立体ディスプレイ上でのずらし量とを加算する加算手段と、加算された近景側の最大視差量に対応する画像ずれ量が立体ディスプレイに表示される際に両眼融合限界を越えるか否かを判別する判別手段とを備え、出力手段は、判別手段により画像ずれ量が両眼融合限界を越えると判別されると、第１の取得手段により取得された複数の視点画像のうちのいずれか１つを立体ディスプレイに出力して２次元画像を表示させることが好ましい。なぜなら、適切な画像を表示させることが可能となるからである。加えて、画像処理手段は、第１の取得手段により取得された複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、第１の取得手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段とを有することが好ましい。なぜなら、適切な視点画像を生成することが可能となるからである。このとき、出力手段は、判別手段により立体ディスプレイのディスプレイサイズが最大ディスプレイサイズよりも大きいと判別され、又は算出された画像ずれ量が人間の両眼間隔を示す所定値を越えると判別されると、第１の取得手段により取得された複数の視点画像のうちのいずれか１つを立体ディスプレイに出力して２次元画像を表示させ、その後、画像処理手段により仮想視点画像が生成されると、２次元画像に代えて仮想視点画像を出力することが好ましい。なぜなら、仮想視点画像の生成に時間がかかる場合であっても、立体ディスプレイに画像を表示することが可能となるからである。また、複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の表示用画像を生成する表示用画像生成手段を備え、画像処理手段は、第１の取得手段により取得した複数の視点画像の代わりに生成された複数の表示用画像を使用して、該複数の表示用画像間の少なくとも遠景側の視差が小さくなる複数の表示用画像を生成し、出力手段は、表示用画像生成手段により生成された表示用画像、又は画像処理手段により生成された表示用画像を立体ディスプレイに出力することが好ましい。なぜなら、適切なサイズの画像を立体ディスプレイに出力することが可能となるからである。更に、画像処理手段により生成された視点画像及び表示用画像生成手段により生成された表示用画像のうちの少なくとも一方を、３次元画像ファイルに追記し又は上書きする記録手段を備えたことが好ましい。なぜなら、次回表示する際には画像処理を行うことなく適切な視差量の画像を表示することが可能となるからである。

　以下、添付図面に従って本発明の実施の形態の一部について詳説する。

　［第１の実施形態］
　第１の実施形態に係る３Ｄ画像ファイルについて説明する。

　図１は、２つの撮像装置１０１－２、１０１－３の夫々の撮像手段によって、被写体１００について異なる視点から２枚の視点画像を撮影する（撮像工程）様子を示した図であり、図２は、図１に示す撮像装置１０１－２、１０１－３の夫々の撮像手段によって撮影された２枚の視点画像２０１－２、２０１－３が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。

　図２に示す３Ｄ画像ファイルは、ＭＰフォーマットに準拠したＭＰファイルであり、同一被写体の複数の視点画像が連結されて１つのファイルにまとめられている。連結される各視点画像には、そのデータの先端にＳＯＩ（Start of Image）マーカが記録されるとともに、終端にＥＯＩ（End of Image）マーカが記録される。これにより、各画像の読込開始位置と終了位置を認識することができる。

　さらに各視点画像データは、画像領域と付属情報領域とから構成される。付属情報領域には、撮影機器情報や撮影モードの情報等からなるＥｘｉｆ付属情報の他、本実施形態では、画像記録時に取得した最大ディスプレイサイズ（幅、高さ、単位：ｍｍ）、画像記録時に想定した視距離（立体画像を観察する際の視認者とディスプレイとの距離）（単位：ｍｍ）、最大視差量（近景）（％）、最大視差量（遠景）（％）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、が含まれた付属情報が記録されている。

　このような３Ｄ画像ファイルを記録するための撮影、記録処理について、図３のフローチャートを用いて説明する。

　まず、複数の視点画像を取得する（ステップＳ１１）。ここでは、図１に示すように２つの撮像装置１０１－２、１０１－３によって被写体１００について１枚ずつ撮影を行い、２枚の視点画像２０１－２、２０１－３を取得する。なお、ここでは撮像装置１０１－２を視点番号２、撮像装置１０１－３を視点番号３とする。

　次に、視差量算出手段を用いて２枚の視点画像２０１－２、２０１－３から複数の特徴点を抽出し（ステップＳ１２）、特徴点毎の視差量を算出する（ステップＳ１３）。ここで、視差量とは、視点画像間で対応する特徴点の、それぞれの視点画像の左端からの距離の差を指し、単位はピクセルである。このように算出した特徴点毎の視差量から、最大視差量取得手段を用いて近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ１４）。

　図４は２枚の視点画像の一例を示す図であり、図４Ａは左視点画像２０１－２を示し、図４Ｂは右視点画像２０１－３を示している。

　図４の例では、近景側の最大視差量は２１３Ｎであり、この視差量を持つ特徴点（最大視差量位置（近景））は、それぞれ２１１Ｎ、２１２Ｎである。また、遠景側の最大視差量は２１３Ｆであり、この視差量を持つ特徴点（最大視差量位置（遠景））は、それぞれ２１１Ｆ、２１２Ｆである。即ち、この２枚の視点画像２０１－２、２０１－３に基づく立体画像を立体視した場合には、最大視差量位置（近景）が最も近くに見え、最大視差量位置（遠景）が最も離れて見えることになる。

　これら近景側の最大視差量２１３Ｎ及び遠景側の最大視差量２１３Ｆの、画像幅に対する比率（％）が、最大視差量（近景）（％）、最大視差量（遠景）（％）となる。

　このように算出した最大視差量に基づいて、最大ディスプレイサイズ取得手段を用いて最大ディスプレイサイズを取得する（ステップＳ１５）。遠景側の視差量が人間の両眼間隔を超えると、画像のその位置は両眼融合不能となり、立体視ができなくなる。したがって、ステップＳ１４で算出した最大視差量（遠景）の画像幅に対する比率（％）から、視差が人間の両眼間隔を超えない最大ディスプレイサイズを取得する。

　例えば、人間の両眼間隔を５０ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１０％であれば、立体視するのに許容される最大のディスプレイ幅は５００ｍｍとなる。即ち、幅５００ｍｍ以下のディスプレイであれば、最大視差位置（遠景）の視差量が両眼間隔５０ｍｍを超えることなく表示され、その結果、視認者は立体視画可能となる。ここで、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは２８１．２５ｍｍとなる。

　なお、人間の両眼間隔は、対象とする視認者に応じて適宜決めればよい。例えば、成人だけを対象とする場合には、６５ｍｍ等の幅広の値に設定してもよい。

　例えば、人間の両眼間隔を６５ｍｍと仮定し、最大視差量（遠景）の画像幅に対する比率が１５％であれば、立体視するのに許容される最大のディスプレイ幅は約４３３ｍｍとなる。また、縦横比が１６：９のディスプレイを想定する場合には、最大のディスプレイ高さは約２４４ｍｍとなる。

　また、人間の両眼間隔から算出するのではなく、予め最大視差量に対応する最大ディスプレイサイズが記録されているテーブルを用意しておき、このテーブルを参照することにより最大ディスプレイサイズを取得してもよい。

　最後に、記録手段を用いて２枚の視点画像２０１－２、２０１－３と、付属情報とを、図２に示すように１つの３Ｄ画像ファイルとして記録する（ステップＳ１６）。

　即ち、視点画像２０１－２についてのＳＯＩマーカに続けて、ステップＳ１５において取得した最大ディスプレイサイズ、想定した視距離、ステップＳ１４において取得した最大視差量（近景）（％）、最大視差量（遠景）（％）、ステップＳ１１における撮像装置１０１－２、１０１－３の輻輳角、基線長、視点番号、及び撮影回数を付属情報に含んで記録し、その後視点画像２０１－２の画像情報、ＥＯＩマーカを記録する。

　さらに、視点画像２０１－３のＳＯＩマーカ、付属情報、画像情報、ＥＯＩマーカを記録する。視点画像２０１－３の付属情報領域には、Ｅｘｉｆ付属情報のみを記録すればよい。

　以上のように、図２に示す３Ｄ画像ファイルを記録することができる。

　このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に立体画像再生装置によって読み出される。この際、立体画像再生装置において、３Ｄ画像ファイルの付属情報に記録されている最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、立体視可能か否かを容易に判別することができる。したがって、立体視可能と判断した場合には、記録されている画像をそのまま表示すればよく、立体画像再生装置における画面サイズに応じて視差量を調整する処理を軽減させることができる。

　また、立体画像再生装置において視差量を調整する必要がある場合には、付属情報に記録されている想定視距離や撮影回数の情報を用いることにより、適切に視差量を調整することができる。

　なお、本実施形態では、遠景側の最大視差量だけに基づいて最大ディスプレイサイズを決定したが、近景側の最大視差量を考慮して決定してもよい。近景側の最大視差量を考慮することにより、遠景側だけでなく、近景側も適切に立体視可能な最大ディスプレイサイズを決定することができるようになる。

　例えば、近景の視差量が５０ｍｍ以下となるディスプレイサイズを最大ディスプレイサイズとしてもよい。近景側の視差量が大きくなると、視認者は立体視をするのに疲労を感じるため、所定量以下とすることが好ましいからである。

　［第２の実施形態］
　第１の実施形態では、２視点から撮影した２枚の視点画像を例に説明したが、本発明に係る立体画像の視点の数は２点に限られず、多視点の視点画像であってもよい。

　図５は、４つの撮像装置１０１－１～１０１－４によって、被写体１００について異なる視点から４枚の視点画像を撮影する様子を示した図である。ここでは、撮像装置１０１－１～１０１－４の視点番号を順に１～４とする。

　図６は、この４つの撮像装置１０１－１～１０１－４によって撮影された４枚の視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、４枚の視点画像の他に、表示用画像生成手段により生成された各視点画像のサイズを縮小した表示用画像が記録されている。表示用画像としては、解像度が１９２０×１０８０のフルＨＤサイズの画像が適している。

　これらの画像は、図６に示すように、視点番号１の視点画像（以下、視点画像（１）と呼ぶ）、視点番号１の表示用画像（以下、サムネイル画像（１）と呼ぶ）、視点番号２の視点画像（以下、視点画像（２）と呼ぶ）、視点番号２の表示用画像（以下、サムネイル画像（２）と呼ぶ）、視点番号３の視点画像（以下、視点画像（３）と呼ぶ）、視点番号３の表示用画像（以下、サムネイル画像（３）と呼ぶ）、視点番号４の視点画像（以下、視点画像（４）と呼ぶ）、視点番号４の表示用画像（以下、サムネイル画像（４）と呼ぶ）、の順に記録されている。

　まず先頭画像として、基準視点である視点番号１で撮影された視点画像（１）が記録されており、その記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。

　付属情報領域には、第１の実施形態と同様に、撮影機器情報や撮影モードの情報等のＥｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、各視点画像を撮影した装置の輻輳角、基線長、撮像部配置（視点番号）、各視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。

　なお、この最大ディスプレイサイズ、最大視差量等は、当該３Ｄ画像ファイル全体を使用した場合の値が記録される。具体的には、基準視点で撮影された視点画像（１）を基準として、最も視差量が大きい視点画像（ここでは視点画像（４））から算出された最大視差量、及びこの最大視差量から取得された最大ディスプレイサイズが記録される。輻輳角、基線長等についても、同様の視点画像（ここでは視点画像（４））を撮影した装置との輻輳角、基線長が記録される。

　さらに、画像情報領域には視点画像（１）の画像情報が記録され、続いてＥＯＩマーカが記録される。

　視点画像（１）に続いて、視点画像（１）から生成されたサムネイル画像（１）が記録されており、その記録領域は、これまでと同様に、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。付属情報領域には、通常のＥｘｉｆ付属情報が記録される。

　サムネイル画像（１）に続いて、視点画像（２）が記録されている。視点画像（２）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。

　付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（２）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ、想定視距離、最大視差量（近景）、最大視差量（遠景）、２枚の視点画像を撮影した装置の輻輳角、基線長、視点番号、２枚の視点画像を取得した際の撮影回数、等の付属情報が含まれて記録されている。

　視点画像（２）に続いて、視点画像（２）から生成されたサムネイル画像（２）が記録されており、その後には視点画像（３）が記録されている。

　視点画像（３）の記録領域についても、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有しており、付属情報領域には、通常のＥｘｉｆ付属情報の他、当該視点画像（３）と基準視点で撮影された視点画像（１）とから算出された最大ディスプレイサイズ等が同様に記録されている。

　以下、視点画像（４）についても同様に記録されている。

　このように、多視点の視点画像を記録する場合には、それぞれの視点画像の付属情報として、先頭画像との関係における最大ディスプレイサイズを記録することが好ましい。

　このように記録された３Ｄ画像ファイルは、３Ｄディスプレイに表示される際に立体画像再生装置によって読み出される。この際、立体画像再生装置において、３Ｄ画像ファイルの付属情報に記録されている視点画像毎の最大ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。

　なお、多視点画像の記録順は、図６に示した順序に限定されるものではない。

　例えば、図７Ａに示すように、視点画像（１）、サムネイル画像（１）～サムネイル画像（４）、視点画像（２）～視点画像（４）の順に記録してもよい。表示用のサムネイル画像を先に記録しておくことで、表示を行うときのファイル読み出し時の画像読み込みが早くなり、３Ｄディスプレイに画像を表示するまでの所要時間の縮小が可能になる。また、各視点画像は主にプリントに使用されるものであり、プリントは所定の時間を要することから、ファイルの後半部に記録されていても、弊害が少ない。

　さらに、各サムネイル画像の記録順は、３Ｄディスプレイに表示させる際の推奨画像を先に記録するようにしてもよい。例えば、サムネイル画像（２）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｂに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（２）、サムネイル画像（３）を記録し、その後にサムネイル画像（１）、サムネイル画像（４）を記録してもよい。

　２枚の画像の視差量が小さい方が、大きなディスプレイであっても立体視可能に表示が可能である。また、中央に近い視点の画像を用いた方が、立体視に適している。したがって、このような場合には、視点番号２と視点番号３における画像が推奨されるとして、サムネイル画像（２）とサムネイル画像（３）を先に記録しておくことが好ましい。

　同様に、サムネイル画像（１）とサムネイル画像（３）による立体表示が推奨されるのであれば、図７Ｃに示すように、先頭画像の視点画像（１）の次に、サムネイル画像（１）、サムネイル画像（３）を記録し、その後にサムネイル画像（２）、サムネイル画像（４）を記録してもよい。

　立体表示における推奨画像が存在する場合には、先頭画像である視点画像（１）の付属情報に、推奨画像における最大ディスプレイサイズ、想定視距離、最大視差量を記録してもよい。

　［第３の実施形態］
　第２の実施形態のような多視点画像は、全てが実際に撮影された画像である必要はなく、仮想視点に対応した仮想視点画像を含んでいてもよい。

　例えば、図８に示すように、２つの撮像装置１０１－１、１０１－４によって、被写体１００について異なる視点（視点番号１、視点番号４）から２枚の視点画像を撮影する。さらに、仮想視点画像生成手段を用いて視点番号１と視点番号４とは異なる視点であって、実際には存在しない仮想視点における視点番号２、視点番号３の視点画像２、視点画像３を生成してもよい。仮想視点画像を生成するには、複数の撮影画像の各画素を内分する方法や、複数の撮影画像から生成された視差マップと、１枚の撮影画像を用いて生成する方法等があるが、特に限定されるものではない。

　図９Ａは、このように取得した各視点画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図である。同図の例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、これらの表示用画像であるサムネイル画像（１）、サムネイル画像（４）、及び、仮想視点画像の表示用画像であるサムネイル画像（２）、サムネイル画像（３）が記録されている。

　まず先頭画像として視点画像（１）が記録され、その後にサムネイル画像（２）、サムネイル画像（３）、サムネイル画像（１）、サムネイル画像（４）が記録され、続いて視点画像（４）が記録されている。ここでは、サムネイル画像の順序は、推奨順で記録されているが、視点の並び順に記録してもよいし、中央の視点に近い順に記録してもよい。また、サムネイル画像（２）、サムネイル画像（３）は、サムネイル画像（１）及びサムネイル画像（４）から生成してもよいし、視点画像（１）及び視点画像（４）から生成してもよい。

　これまでと同様に、各画像の記録領域は、ＳＯＩマーカ、付属情報領域、画像情報領域、及びＥＯＩマーカを有している。また、視点画像（１）の付属情報領域には、最大ディスプレイサイズ、想定視距離、最大視差量の他、各視点番号が実際に撮影が行われた視点（実視点）であるか、仮想視点であるかを示す視点情報が記録されている。

　また、表示用の画像を有さず、プリント用の視点画像だけが記録されていてもよい。図９Ｂに示す例では、実際に撮影された２枚の視点画像（１）、視点画像（４）と、仮想視点画像である視点画像（２）、視点画像（３）が記録されている。

　また、記録順としてはプリント又は表示の推奨順となっており、具体的には先頭画像として視点画像（２）が記録されており、その後に続いて視点画像（３）、視点画像（１）、視点画像（４）が記録されている。これまでと同様に、視点順に記録されていてもよい。

　このように、仮想視点画像を生成して記録することで、実視点画像として２枚の画像があれば足りることになり、撮像装置の撮像光学系の簡略化、軽量化を計ることが可能となる。

　［第４の実施形態］
　想定したサイズのディスプレイに表示すると、遠景側の視差量が人間の両眼間隔を超えると判断した場合に、当該サイズのディスプレイに表示しても立体視が可能になるように画像の視差量を調整してから記録するようにしてもよい。

　本実施形態では、視差量の調整として視差ずらしを行う。

　図１０は、視差ずらしの原理を説明するための図である。また、図１１Ａは左視点画像、図１１Ｂは右視点画像を示す図である。ここで、座標（０、Ｄ）に視認者の左目、座標（Ｘ_Ｂ、Ｄ）に視認者の右目があるとする。Ｚ＝０上に表示された左右の視点画像において、左視点画像の座標（Ｘ_Ｌ、０）、かつ右視点画像の座標（Ｘ_Ｒ、０）に表示された被写体は、座標（Ｘ_Ｐ、Ｙ_Ｐ）にあるように視認される。

　この状態で、図１１Ｂに示すように、右視点画像を左方向にＸ_Ｒ－Ｘ_Ｒ´だけシフトしたとすると、図１０に示すように被写体の右視点画像の座標が（Ｘ_Ｒ´、０）となる結果、被写体は座標（Ｘ_Ｐ´、Ｙ_Ｐ´）にあるように視認される。

　このように、視差ずらしを行うことで、視差量の調整を行うことが可能である。したがって、遠景側の視差量が人間の両眼間隔を超える場合に、視差ずらしを行うことで人間の両眼間隔内に収めることができ、適切に立体視することが可能となる。

　図１２は、本実施形態に係る３Ｄ画像ファイルを記録するための撮影、記録処理を示すフローチャートである。

　まず、複数の視点画像を取得する（ステップＳ２１）。ここでは、２枚の視点画像を撮影するものとする。次に、各２枚の視点画像から複数の特徴点を抽出し（ステップＳ２２）、特徴点毎の視差量を算出する（ステップＳ２３）。このように算出した特徴点毎の視差量から、近景側の最大視差量と遠景側の最大視差量を取得する（ステップＳ２４）。

　ここで、表示を行う想定ディスプレイについて、その表示幅を取得する。想定ディスプレイの表示幅は、予め決められて記憶されていてもよいし、ＨＤＭＩ端子等の外部接続端子によって３Ｄディスプレイが接続されている場合には、当該接続に応じた通信により３Ｄディスプレイのサイズを読み取ってもよい。

　この表示幅のディスプレイに当該立体画像を表示した場合に、遠景側の最大視差位置が立体視可能か否かを判定する（ステップＳ２５）。具体的には、表示幅と遠景側の最大視差量（％）との積を算出し、算出した積が人間の両眼間隔５０ｍｍ以上であるか否かを判定する。

　算出した積が５０ｍｍ未満の場合は、撮影した２枚の視点画像をそのまま記録する（ステップＳ２７）。例えば、図２に示すデータ構造の３Ｄ画像ファイルとして記録してもよいし、表示用サムネイル画像や仮想視点画像を生成して記録してもよい。

　算出した積が５０ｍｍ以上の場合は、遠景側の最大視差位置が立体視可能となるように、当該積が５０ｍｍ未満になるように視差ずらしを行う（ステップＳ２６）。

　視差ずらしは、図１１に示すように、右視点画像を左方向にずらすことによって行ってもよいし、左視点画像を右方向にずらすことによって行ってもよい。また、左右視点画像両方をそれぞれ近づける方向にずらしてもよい。

　視差ずらし処理が終了したら、記録を行う（ステップＳ２７）。図１３は、ここで記録する３Ｄ画像ファイルのデータ構造を模式的に示した図である。この３Ｄ画像ファイルには、撮影された２枚の原画像の他に、各原画像のサイズを縮小した視差ずらし後の表示用画像及びサムネイル画像が記録されている。ここでは、表示用画像はフルＨＤサイズの画像であり、サムネイル画像はＶＧＡサイズの画像である。サムネイル画像は、例えば撮像装置の背面に設けられた小型の液晶ディスプレイに、画像検索のために表示する際等に用いられるものである。

　これらの画像は、図１３に示すように、視点番号１の表示用画像、視点番号２の表示用画像、視点番号１のサムネイル画像、視点番号２のサムネイル画像、視点番号１の原画像、視点番号２の原画像、の順に記録されており、それぞれの記録領域は、ＳＯＩマーカ（図では省略）、付属情報領域、画像情報領域、及びＥＯＩマーカ（図では省略）を有している。

　まず先頭画像として、基準視点である視点番号１の表示用画像が記録されており、その付属情報領域には、最大視差量が記録されている。

　次に記録されているのは、視点番号２の表示用画像であり、この画像は上記の視差ずらしを行った結果の画像である。視点番号２の表示用画像の付属情報領域には、視差ずらし処理済みである情報と、そのシフト量（単位：ピクセル）が記録されている。

　続いて視点番号１のサムネイル画像が記録されており、この付属情報領域にも、最大視差量が記録されている。

　さらに、視点番号２のサムネイル画像が記録されている。このサムネイル画像は、視差ずらし後の画像であってもよいし、視点番号２の原画像から生成した画像であってもよい。

　その後には、視点番号１の原画像及び視点番号２の原画像が記録されている。視点番号１の原画像の付属情報領域にも、最大視差量が記録されている。

　このような３Ｄ画像ファイルとすることで、想定したサイズのディスプレイに表示する際に、常に遠景側の最大視差位置が立体視可能となっており、視認者に適切に立体視させることが可能となる。

　また、ＶＧＡサイズのサムネイル画像も記録したため、画像検索時の表示にも有効である。

　なお、想定したディスプレイサイズを、先頭画像の付属情報領域に記録してもよい。想定ディスプレイサイズを記録しておくことにより、立体画像再生装置において、読み出した想定ディスプレイサイズと、表示しようとしている３Ｄディスプレイの表示サイズとを比較することにより、適切に立体視可能か否かを容易に判別することができる。

　［第５の実施形態］
　次に、このように記録された３Ｄ画像ファイルを読み出して再生表示する処理について、図１４のフローチャートを用いて説明する。

　最初に、３Ｄ画像ファイルを読み込む（ステップＳ３１）。同時に、これから３Ｄ画像の表示を行うディスプレイのサイズを取得する（ステップＳ３２）。また、読み込んだ３Ｄ画像ファイルの付属情報から、３Ｄ表示を行おうとする各視点画像を適切に３Ｄ表示することができる最大ディスプレイサイズを取得する（ステップＳ３３）。

　次に、これから３Ｄ画像の表示を行うディスプレイの横幅と、最大ディスプレイサイズの幅とを比較する（ステップＳ３４）。

　最大ディスプレイサイズの幅の方が大きい場合は、３Ｄ画像ファイルに記録されている各視点画像をそのまま表示しても立体視に差し支えないため、読み出した視点画像をそのまま表示する（ステップＳ３６）。

　しかし、実際のディスプレイ幅の方が大きい場合には、読み出した視点画像をそのまま表示すると遠側の最大視差位置の視差量が人間の両眼間隔を超えてしまい、その部分が立体視できないことになる。したがって、左右の視点画像の視差量を調整する必要がある。

　視差量の調整は、視差ずらし又は視差圧縮によって行う（ステップＳ３５）。視差ずらしは、図１１を用いて説明したように、左右視点画像の一方又は両方をずらすことにより視差量を調整する。また、視差圧縮は、図８を用いて説明したように、左右の視点画像よりも視差量の小さい仮想視点の画像を生成し、生成した仮想視点の画像を表示することにより視差量を調整する。どちらによって視差量を調整するのかは、予め決めておいてもよいし、ユーザが選択可能に構成してもよい。どちらの視差量調整によっても、少なくとも遠景側の視差を小さくすることができる。

　視差ずらし又は視差圧縮によって、使用するディスプレイの幅に適した視差量に調整し、調整した画像を３Ｄ表示する（ステップＳ３６）。

　このように、付属情報として記録されている最大ディスプレイサイズを読み出し、実際に表示を行うディスプレイサイズと比較し、最大ディスプレイサイズの方が大きい場合には立体視に問題が無いとして記録されている３Ｄ画像をそのまま表示し、実際に表示を行うディスプレイサイズの方が大きい場合には立体視ができない領域があると判断して記録されている３Ｄ画像の視差量を調整してから表示することで、常に適切な３Ｄ画像を表示することが可能となる。

　なお、このような処理は、３Ｄ画像ファイルの付属情報に記録されている最大視差量を読み出すことによっても可能である。

　図１５は、最大視差量に基づいて再生表示処理を行う場合のフローチャートである。なお、図１４に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　読み込んだ３Ｄ画像ファイルの付属情報から、最大視差量（遠景）を取得する（ステップＳ４１）。この最大視差量（遠景）は、画像幅に対する比率（％）として記録されている。

　次に、ステップＳ３２において取得したディスプレイの幅と、最大視差量（遠景）との積が、５０ｍｍ以上であるか否かを判定する（ステップＳ４２）。ディスプレイの幅と最大視差量（遠景）との積は、表示された画像上の最大視差量位置（遠景）における実際の視差量となる。この視差量が人間の両眼間隔である５０ｍｍ以上となる場合には、その部分が立体視できないため、読み出した視点画像について視差ずらし又は視差圧縮による視差量の調整を行ってから（ステップＳ３５）、３Ｄ表示を行う（ステップＳ３６）。

　５０ｍｍ未満の場合には、記録されている各視点画像をそのまま表示しても差し支えないため、読み出した視点画像をそのまま表示する（ステップＳ３６）。

　このように、３Ｄ画像ファイルから読み出した最大視差量（遠景）に基づいて、再生表示を制御することができる。特に、３Ｄ画像ファイルの付属情報に最大ディスプレイサイズが記録されておらず、最大視差量のみが記録されている場合に有効である。

　なお、本実施形態においては、適切に３Ｄ表示ができないと判断した場合には、視差ずらし又は視差圧縮によって視差量を調整してからディスプレイ全体に３Ｄ表示させているが、適切な視差量になる画像サイズ、即ち最大ディスプレイサイズに相当する画像サイズで３Ｄ表示させてもよい。

　［第６の実施形態］
　また、上記のように視差ずらし又は視差圧縮して生成された画像を、３Ｄ画像ファイルに記録してもよい。図１６に、３Ｄ画像ファイルに記録する処理を行う場合のフローチャートを示す。

　ここでは、ステップＳ３５において視差ずらし又は視差圧縮によって生成された画像を、ステップＳ４３において表示用サムネイル画像として３Ｄ画像ファイルに追加又は書き換えを行っている。なお、３Ｄ画像ファイルへの追加、書き換えは、ステップＳ３６の３Ｄ表示後に行ってもよい。

　図１７は、４枚の視点画像及び視点画像から生成された４枚の表示用サムネイル画像が記録された３Ｄ画像ファイルのデータ構造を模式的に示した図であり、図１７Ａは図１６のステップＳ３１で読み込んだときの３Ｄ画像ファイルを示し、図１７ＢはステップＳ４３において書き換えた後の３Ｄ画像ファイルを示している。先頭画像である視点画像（１）の付属情報には、視点画像（１）と視点画像（４）との最大視差量（遠景）が記録されている。

　ステップＳ４１においてこの最大視差量を読み出し、ステップＳ４２において、ディスプレイの幅と最大視差量（遠景）との積が５０ｍｍ以上であると判定されると、ステップＳ３５において視差ずらし又は視差圧縮を行う。例えば、サムネイル画像（４）の視差ずらしを行った場合には、ステップＳ４３において、サムネイル画像（４）に換えて視差ずらし後のサムネイル画像（４）を記録する。また、視差ずらし後のサムネイル画像（４）の付属情報には、視差ずらし処理済みである情報と、そのシフト量（単位：ピクセル）を記録する。

　また、ステップＳ３５において視差圧縮を行う場合であれば、サムネイル画像（４）に換えて、視差圧縮後のサムネイル画像（４）を記録する。この場合には、付属情報として、視差圧縮後の最大視差量（遠景）を記録してもよい。

　ここでは、サムネイル画像（４）に換えて、視差量調整後のサムネイル画像（４）を記録したが、視差量調整後のサムネイル画像（４）を追加して記録するようにしてもよい。

　また、図１６のステップＳ３１で読み込んだときの３Ｄ画像ファイルに表示用サムネイル画像が存在しない場合であっても、表示用サムネイル画像を生成し、図１７Ｂに示すような３Ｄ画像ファイルとして記録してもよい。

　なお、視差調整を行うのはサムネイル画像に限られず、視点画像の視差調整を行ってもよい。例えば、視差画像（４）の視差調整を行うのであれば、視差画像（４）と、その視差画像（４）に基づいて生成されたサムネイル画像（４）を上書き、又は追加記録する。

　さらに、ステップＳ４２において算出した、ディスプレイの幅と最大視差量（遠景）との積を、最大ディスプレイサイズとして３Ｄ画像ファイルの先頭画像の付属情報領域に記録する態様もある。

　［第７の実施形態］
　視差圧縮の処理（仮想視点画像の生成）にはある程度の時間を要するため、すぐには視差圧縮後の画像を表示することができず、視認者に煩わしさを感じさせる可能性がある。本実施形態では、視差圧縮処理を行っている間に、３Ｄディスプレイに２Ｄ表示を行わせる。

　図１８は、２Ｄ表示を行う処理を示すフローチャートである。なお、図１６に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　ステップＳ４２において、ディスプレイの幅と最大視差量（遠景）との積が、人間の両眼間隔である５０ｍｍ以上であると判断すると、当該３Ｄ画像ファイルに記録されている視点画像又は表示用サムネイル画像のいずれかをディスプレイに２Ｄ表示させる（ステップＳ５１）。その後、視差圧縮処理を行う（ステップＳ３５）。

　視差圧縮処理が終了したら、３Ｄ画像ファイルの表示用サムネイル画像の追加又は書き換えを行い（ステップＳ４３）、視差圧縮画像をディスプレイに３Ｄ表示させる（ステップＳ３６）。３Ｄ表示を行ってから、３Ｄ画像ファイルに記録してもよい。

　このように２Ｄ表示を行うことで、視差圧縮処理を行っている間に画像を表示できない欠点を補うことができる。

　ここでは、視差圧縮を行う場合を例に説明したが、視差ずらし処理に時間がかかる場合には、視差ずらし処理を行っている間に２Ｄ表示を行うように構成してもよい。また、２Ｄ表示と同時に、視差量の調整処理を行っている旨を表示してもよい。このように表示することで、視認者は、３Ｄディスプレイに２Ｄ表示がされている理由を知ることができる。

　［第８の実施形態］
　これまでの実施形態では、最大視差量（遠景）に基づいて視差量の調整を行い、３Ｄ表示を行っているが、視差量の調整として視差ずらしを行うと、近景側の視差量が増大するという欠点がある。したがって、視差ずらしを行う場合には、最大視差量（近景）を考慮して表示を行ってもよい。

　図１９は、最大視差量（近景）を考慮して視差ずらし処理を行う場合のフローチャートである。なお、図１６に示すフローチャートと共通する部分には同一の符号を付し、その詳細な説明は省略する。

　ステップＳ４２において、表示に使用するディスプレイの幅と最大視差量（遠景）との積が、人間の両眼間隔である５０ｍｍ以上であるか否かを判断する。積が５０ｍｍより小さい場合には、３Ｄ画像ファイルに記録されている３Ｄ画像をそのまま表示しても差し支えないため、読み出した３Ｄ画像をそのまま表示する（ステップＳ６４）。

　積が５０ｍｍ以上の場合には、そのまま表示すると遠側の最大視差位置の立体視ができないため、視差量を調整する必要がある。したがって、積が５０ｍｍ未満となる視差ずらし量（必要ずらし量）を算出する（ステップＳ６１）。

　次に、算出した必要ずらし量だけ視差ずらしを行った場合に、近景側の最大視差量位置が適切に立体視可能か否かを判定する。具体的には、表示に使用するディスプレイの幅と最大視差量（近景）との積に、必要ずらし量を加算した値が、５０ｍｍ以下であるか否かを判定する（ステップＳ６２）。ここでは、近景の視差量が５０ｍｍ以下の場合を適切に立体視可能と判断しているが、この５０ｍｍの値は、適宜決めればよい。

　５０ｍｍ以下の場合には、視差ずらしを実施し（ステップＳ６３）、視差ずらしを行った画像を３Ｄディスプレイに３Ｄ表示する（ステップＳ６４）。さらに、視差ずらしを行った画像を３Ｄ画像ファイルに追加又は書き換えてもよい。

　これに対し、５０ｍｍより大きい場合には、視差ずらしを行わないと遠景側に立体視できない部分があり、遠景側の最大視差量が適切になるように視差ずらしを行うと近景側が適切に立体視できないことになるので、３Ｄ表示は行わず、３Ｄディスプレイに２Ｄ表示を行う（ステップＳ６５）。２Ｄ表示は、３Ｄ画像ファイルに記録されている視点画像又は表示用サムネイル画像のうちいずれかを表示する。２Ｄ表示とともに、ディスプレイサイズが大きすぎるために当該画像は３Ｄ表示を行わない旨を警告表示してもよい。

　このように、最大視差量（遠景）だけでなく、最大視差量（近景）も考慮して視差量の調整を行うことで、適切な３Ｄ画像を表示させることができる。

　［立体撮像装置の外観］
　次に、上記の実施形態を実現するための装置について説明する。

　図２０は本発明に係る立体撮像装置の外観を示す図であり、図２０Ａは立体撮像装置を前面側から見た斜視図であり、図２０Ｂは背面図である。

　この立体撮像装置（複眼カメラ）１０は、２Ｄ／３Ｄの静止画、及び２Ｄ／３Ｄの動画の記録再生が可能なデジタルカメラであり、図２０に示すように薄型の直方体状のカメラ本体の上面には、シャッタボタン１１、ズームボタン１２が配設されている。

　カメラ本体の前面には、カメラ本体の左右方向の幅と略一の幅を有するレンズバリア１３が、カメラ本体の上下方向に移動自在に配設されており、このレンズバリア１３を、二点鎖線で示す位置と実線で示す位置との間で上下方向に移動させることにより、左右一対の撮影光学系14-1，14-2の前面を同時に開閉できるようになっている。尚、撮影光学系14-1，14-2としては、屈曲光学系のズームレンズが使用されている。また、レンズバリア１３によるレンズ前面の開閉動作に連動して、カメラ電源をＯＮ／ＯＦＦさせることができるようになっている。

　図２０Ｂに示すようにカメラ本体の背面には、その中央部に３Ｄ用の液晶モニタ１６が配設されている。液晶モニタ１６は、複数の視差画像（右視点画像、左視点画像）をパララックスバリアによりそれぞれ所定の指向性をもった指向性画像として表示できるものである。尚、３Ｄ用の液晶モニタ１６としては、レンチキュラレンズを使用するものや、偏光メガネ、液晶シャッタメガネなどの専用メガネをかけることで右視点画像と左視点画像とを個別に見ることができるものなどが適用できる。

　上記液晶モニタ１６の左右には、各種の操作スイッチが配設されている。操作スイッチ１８Ａは、静止画撮影と動画撮影とを切り替える切替えスイッチであり、操作スイッチ１８Ｂは、右視点画像と左視点画像の視差量を調整する視差調整スイッチであり、操作スイッチ１８Ｃは２Ｄ撮像と３Ｄ撮像とを切り替える切替えスイッチである。また、操作スイッチ１８Ｄは、MENU／OKボタンと再生ボタンとを兼ねたシーソーキーであり、操作スイッチ１８Ｅは、マルチファンクションの十字キーであり、操作スイッチ１８Ｆは、DISP／BACKキーである。

　MENU／OKボタンは、液晶モニタ１６の画面上にメニューを表示させる指令を行うためのメニューボタンとしての機能と、選択内容の確定及び実行などを指令するＯＫボタンとしての機能とを兼備した操作スイッチである。再生ボタンは、撮影モードから再生モードに切り替えるボタンである。十字キーは、上下左右の４方向の指示を入力する操作スイッチであり、マクロボタン、フラッシュボタン、セルフタイマーボタン等が割り当てられており、また、メニューが選択されている場合には、そのメニュー画面から項目を選択したり、各メニューから各種設定項目の選択を指示するスイッチ（カーソル移動操作手段）として機能する。また、十字キーの左／右キーは再生モード時のコマ送り（順方向／逆方向送り）ボタンとして機能する。DISP／BACKキーは、液晶モニタ１６の表示形態を切り替えたり、メニュー画面上での指示内容の取消し、あるいは１つ前の操作状態に戻らせる時などに使用される。

　尚、図２０Ａ上で、１５はステレオマイクである。

　［立体撮像装置の内部構成］
　図２１は上記立体撮像装置１０の内部構成を示すブロック図である。

　図２１に示すように、この立体撮像装置１０は、主として複数の撮像部20-1,20-2、中央処理装置（ＣＰＵ）３２、前述したシャッタボタン１１、ズームボタン１２、及び各種の操作スイッチを含む操作部３４、表示制御部３６、液晶モニタ１６、記録制御部３８、圧縮／伸張処理部４２、デジタル信号処理部４４、ＡＥ（Automatic Exposure：自動露出）検出部４６、ＡＦ（Auto Focus：自動焦点）検出部４８、ＡＷＢ（Automatic
White Balance：自動ホワイトバランス）検出部５０、ＶＲＡＭ５２、ＲＡＭ５４、ＲＯＭ５６、及びＥＥＰＲＯＭ５８等から構成されている。尚、撮像部20-1,20-2は、互いに視差を有する左眼用画像と右眼用画像の２枚の視差画像を撮像するが、撮像部２０は、３つ以上あってもよい。

　左眼用画像を撮像する撮像部20-1は、プリズム（図示せず）、フォーカスレンズ及びズームレンズ２１からなる撮影光学系14-1(図２０)、絞り２２及びメカシャッタ２３からなる光学ユニットと、固体撮像素子（ＣＣＤ）２４と、アナログ信号処理部２５と、Ａ／Ｄ変換器２６と、画像入力コントローラ２７と、前記光学ユニットを駆動するレンズ駆動部２８、絞り駆動部２９及びシャッタ制御部３０と、ＣＣＤ２４を制御するＣＣＤ制御部３１とを備えている。尚、右眼用画像を撮像する撮像部20-2は、前記左眼用画像を撮像する撮像部20-1と同じ構成を有するため、その具体的な構成の説明は省略する。

　ＣＰＵ３２は、操作部３４からの入力に基づき所定の制御プログラムに従ってカメラ全体の動作を統括制御する。最大ディスプレイサイズの算出、視差ずらし、仮想視点画像の生成等も、ＣＰＵ３２によって行われる。

　なお、ＲＯＭ５６には、ＣＰＵ３２が実行する制御プログラム及び制御に必要な各種データ等が格納され、ＥＥＰＲＯＭ５８には、製品出荷前の調整時の調整結果を示す各種の情報、例えばＣＣＤ２４の画素欠陥情報、画像処理等に使用する補正パラメータや、最大視差量と最大ディスプレイサイズとの対応テーブル等が記憶されている。

　また、ＶＲＡＭ５２は、液晶モニタ１６に表示する表示用の画像データを一時記憶するメモリであり、ＲＡＭ５４は、ＣＰＵ３２の演算作業用領域及び画像データの一時記憶領域を含んでいる。

　撮影光学系に含まれるフォーカスレンズ及びズームレンズ２１は、レンズ駆動部２８により駆動されて光軸に沿って前後に移動する。ＣＰＵ３２は、レンズ駆動部２８の駆動を制御することにより、フォーカスレンズの位置を制御して被写体に焦点が合うように焦点調節を行うとともに、操作部３４中のズームボタン１２からのズーム指令に応じてズームレンズのズーム位置を制御してズーム倍率を変更させる。

　絞り２２は、例えば、アイリス絞りで構成されており、絞り駆動部２９に駆動されて動作する。ＣＰＵ３２は、絞り駆動部２９を介して絞り２２の開口量（絞り値）を制御し、ＣＣＤ２４への入射光量を制御する。

　メカシャッタ２３は、光路を開閉することによりＣＣＤ２４での露光時間を決めるとともに、ＣＣＤ２４からの画像信号の読み出し時に不要光がＣＣＤ２４に入射しないようにしてスミアの発生を防止する。ＣＰＵ３２は、シャッタ速度に対応する露光終了時点に同期したシャッタ閉信号をシャッタ制御部３０に出力し、メカシャッタ２３を制御する。

　ＣＣＤ２４は、２次元のカラーＣＣＤ固体撮像素子により構成されている。ＣＣＤ２４の受光面には、多数のフォトダイオードが２次元的に配列されており、各フォトダイオードには所定の配列でカラーフィルタが配置されている。

　上記構成の光学ユニットを介してＣＣＤ受光面上に結像された被写体の光学像は、このフォトダイオードによって入射光量に応じた信号電荷に変換される。各フォトダイオードに蓄積された信号電荷は、ＣＰＵ３２の指令に従ってＣＣＤ制御部３１から与えられる駆動パルスに基づいて信号電荷に応じた電圧信号（画像信号）としてＣＣＤ２４から順次読み出される。ＣＣＤ２４は、電子シャッタ機能を備えており、フォトダイオードへの電荷蓄積時間を制御することにより、露光時間（シャッタ速度）が制御される。尚、電子シャッタによりシャッタ速度に対応する電荷蓄積開始時点が制御され、前記メカシャッタ２３を閉じることにより露光終了時点（電荷蓄積終了時点）が制御される。この実施形態では、撮像素子としてＣＣＤ２４を用いているが、ＣＭＯＳセンサ等の他の構成の撮像素子を用いることもできる。

　ＣＣＤ２４から読み出されたＲ、Ｇ、Ｂのアナログ信号は、アナログ信号処理部２５により相関二重サンプリング（ＣＤＳ）や増幅が行われた後、Ａ／Ｄ変換器２６によりＲ、Ｇ、Ｂのデジタル信号に変換される。

　画像入力コントローラ２７は、所定容量のラインバッファを内蔵しており、Ａ／Ｄ変換器２６によりＡ／Ｄ変換されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)を一時蓄積したのち、バス６０を介してＲＡＭ５４に格納する。

　ＣＰＵ３２は、３Ｄ撮像モード時には左視点画像を撮像する撮像部20-1と同様に右視点画像を撮像する撮像部20-2を制御する。

　ＡＥ検出部４６は、シャッタボタン１１の半押し時に取り込まれる画像信号に基づいてＡＥ制御に必要な被写体輝度を算出し、被写体輝度（撮影ＥＶ値）を示す信号をＣＰＵ３２に出力する。ＣＰＵ３２は、入力する撮影ＥＶ値に基づいて所定のプログラム線図にしたがって複数の撮像部20-1,20-2におけるシャッタ速度（露光時間）、絞り値、撮影感度を設定する。

　ＡＦ検出部４８は、シャッタボタン１１の半押し時に取り込まれるＡＦエリアの画像信号の高周波成分の絶対値を積算し、この積算した値（ＡＦ評価値）をＣＰＵ３２に出力する。ＣＰＵ３２は、フォーカスレンズを至近から無限遠側に移動させ、ＡＦ検出部４８により検出されるＡＦ評価値が最大となる合焦位置をサーチし、その合焦位置にフォーカスレンズを移動させることにより、被写体（主要被写体）への焦点調節を行う。尚、動画撮影時には、前記ＡＦ評価値が常に最大値をとるようにフォーカスレンズを移動させる、いわゆる山登り制御が行われる。

　ＡＷＢ検出部５０は、本撮像時に取得されたＲ、Ｇ、Ｂの画像信号に基づいて自動的に光源種（被写界の色温度）を求め、予め光源種別に設定されたＲ、Ｇ、Ｂのホワイトバランスゲイン（ホワイトバランス補正値）を記憶するテーブルから対応するホワイトバランスゲインを読み出す。

　デジタル信号処理部４４は、ホワイトバランス補正回路、階調変換処理回路（例えば、ガンマ補正回路）、単板ＣＣＤのカラーフィルタ配列に伴うＲ，Ｇ，Ｂなどの色信号の空間的なズレを補間して各色信号の位置を合わせる同時化回路、輪郭補正回路、輝度・色差信号生成回路等を含み、ＲＡＭ５４に格納されたＲ、Ｇ、Ｂの画像信号(CCDRAWデータ)に対して画像処理を行う。即ち、Ｒ、Ｇ、ＢのCCDRAWデータは、デジタル信号処理部４４において、ＡＷＢ検出部５０により検出されたホワイトバランスゲインが乗算されてホワイトバランス補正が行われ、その後、階調変換処理（例えば、ガンマ補正）等の所定の処理が施された後、輝度信号（Ｙ信号）及び色差信号（Ｃｒ、Ｃｂ信号）からなるＹＣ信号に変換される。デジタル信号処理部４４により処理されたＹＣ信号はＲＡＭ５４に格納される。

　また、デジタル信号処理部４４は、複数の撮像部20-1,20-2の撮影光学系のレンズ歪補正を補正するディストーション補正回路、左右視点画像からそれぞれ所定の切り出しエリアの画像を切り出すことにより複数の撮像部20-1,20-2の撮影光学系の光軸ずれを補正する画像切り出し処理回路を含んで構成されている。

　圧縮／伸張処理部４２は、メモリカード４０への記録時にはＣＰＵ３２からの指令に従い、ＲＡＭ５４に格納されたＹＣ信号を圧縮処理し、また、メモリカード４０に記録された圧縮された圧縮データを伸張処理してＹＣ信号にする。

　記録制御部３８は、圧縮／伸張処理部４２により圧縮された圧縮データを所定形式の画像ファイル（例えば、３Ｄ静止画は、ＭＰファイル、３Ｄ動画は、モーションＪＰＥＧ、Ｈ．２６４、ＭＰＥＧ４、ＭＰＥＧ４－ＭＶＣの動画ファイル）にしてメモリカード４０に記録し、又はメモリカード４０から画像ファイルの読み出しを行う。

　また、記録制御部３８は、本発明に係るＭＰファイルを記録する際には、Ｅｘｉｆ付属情報の他、最大ディスプレイサイズ、想定視距離、最大視差量（近景）（％）、最大視差量（遠景）（％）、等を付属情報としてメモリカード４０に記録する。

　液晶モニタ１６は、撮影済み画像を表示するための画像表示部として使用されるとともに、各種設定時にＧＵＩ（グラフィカルユーザインターフェース）として使用される。また、液晶モニタ１６は、撮影モード時に画角を確認するためのライブビュー画像（以下、「スルー画」という）を表示する電子ビューファインダとして利用される。表示制御部３６は、液晶モニタ１６に３Ｄ画像を表示させる場合には、ＶＲＡＭ５２に保持されている左視点画像と右視点画像とを１画素ずつ交互に表示させる。液晶モニタ１６に設けられているパララックスバリアにより、所定の距離から観察するユーザの左右の眼には、１画素ずつ交互に配列された左右の画像がそれぞれ別々に視認される。これにより、立体視を可能にしている。

　以上のように構成された立体撮像装置１０により、上記実施形態を実現することができる。なお、ここで説明した立体撮像装置１０は、左右２視点の画像を撮影するために２つの撮像部を備えているが、３つ以上の撮像部を備えて３点以上の視点画像を撮影するように構成してもよい。例えば、図５に示すように、４つの撮像装置１０１－１～１０１－４のように４つの撮像部を備えることによって、４枚の視点画像を撮影するように構成してもよい。

　［立体画像再生装置］
　なお、第５～第８の実施形態については、撮像部を有しない立体画像再生装置において実現することも可能である。

　図２２は、本発明に係る立体画像再生装置３００と３Ｄディスプレイ３２０の全体構成を示す図である。同図に示すように、立体画像再生装置３００と３Ｄディスプレイ３２０とは、別個に構成された装置であり、通信ケーブル３１０により通信可能に接続されている。

　３Ｄディスプレイ３２０は、パララックスバリア方式やレンチキュラー方式のディスプレイであり、立体画像再生装置３００から３Ｄディスプレイ３２０に入力された左視点画像及び右視点画像を１ライン毎に交互に表示する。

　また、３Ｄディスプレイ３２０は、左視点画像及び右視点画像を時間的に交互に切り換えて表示するものでもよい。この場合は、視認者は特殊なメガネを用いて３Ｄディスプレイ３２０を視認する。

　図２３は、立体画像再生装置３００の内部構成を示すブロック図である。同図に示すように、立体画像再生装置３００は、ＣＰＵ３０１、記録制御部３０５、メモリカード３０６、表示制御部３０７、通信インターフェース３０８などを備えて構成されている。

　ＣＰＵ３０１は、ＲＯＭ３０２に記録された制御プログラムに基づいて立体画像再生装置３００全体の動作を統括制御する。ＲＡＭ３０３は、ＣＰＵ３０１の演算作業用領域として使用される。

　記録制御部３０５、表示制御部３０７は、バス３０４を介してＣＰＵ３０１と接続されている。記録制御部３０５は、メモリカード３０６に対する３Ｄ画像ファイルのデータ読み書きを制御する。メモリカード３０６は、例えば図２１に示した立体撮像装置１０のメモリカード４０と同じものであり、立体撮像装置１０において撮影された各視点画像と付属情報を含む３Ｄ画像ファイルが記録されている。

　通信インターフェース３０８は、通信ケーブル３１０が接続されるコネクタ部であり、表示制御部３０７は、これらを介して３Ｄディスプレイ３２０に立体画像を表示させる。通信インターフェース３０８、通信ケーブル３１０として、ＨＤＭＩ規格のものを採用することが考えられる。ＨＤＭＩ規格によれば、立体画像再生装置３００は、通信ケーブル３１０を介して接続されている３Ｄディスプレイ３２０のディスプレイサイズを取得することができる。

　なお、立体画像再生装置３００に、各視点画像を撮影するための複眼の撮像手段を備えさせ、撮影した視点画像をメモリカード３０６に記録するように構成してもよい。また、立体画像再生装置３００と３Ｄディスプレイ３２０を一体の装置として構成してもよい。

　１０…立体撮像装置、１６…液晶モニタ、20-1,20-2…撮像部、４０…メモリカード、４４…デジタル信号処理部、１００…被写体、１０１－１～１０１－４…撮像装置、２１１Ｎ、２１２Ｎ…最大視差量位置（近景）、２１１Ｆ、２１２Ｆ…最大視差量位置（遠景）、２１３Ｎ…近景側の最大視差量、２１３Ｆ…遠景側の最大視差量、３００…立体画像再生装置、３２０…３Ｄディスプレイ

Claims

　立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得手段と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、
　前記取得された前記立体ディスプレイのディスプレイサイズと前記最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいか否かを判別する判別手段と、
　前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理手段と、
　前記判別手段により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記画像処理手段により生成された視点画像を前記立体ディスプレイに出力し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズ以下と判別されると、前記第１の取得手段により取得された視点画像を前記立体ディスプレイに出力する出力手段と、
　を備えたことを特徴とする立体画像再生装置。
　立体視用の複数の視点画像と、該複数の視点画像における遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得手段と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得手段と、
　前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する判別手段と、
　前記判別手段により両眼融合不能と判別されると、前記第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の遠景側の視差が小さくなる複数の視点画像を生成する画像処理手段と、
　前記判別手段により両眼融合不能と判別されると、前記画像処理手段により生成された視点画像を前記立体ディスプレイに出力し、前記両眼融合可能と判別されると、前記第１の取得手段により取得された視点画像を前記立体ディスプレイに出力する出力手段と、
　を備えたことを特徴とする立体画像再生装置。
　前記判別手段は、前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズとに基づいて、前記複数の視点画像を前記立体ディスプレイに表示させた場合の、前記最大視差量に対応する立体ディスプレイ上での画像ずれ量を算出する画像ずれ量算出手段を有し、前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えるか否かより両眼融合可能か否かを判別することを特徴とする請求項２に記載の立体画像再生装置。
　前記画像処理手段は、前記立体ディスプレイ上での前記複数の視点画像の遠景側の最大視差量を、人間の両眼間隔を示す所定値以下とする前記複数の視点画像間の視差ずらしを実施し、該視差ずらしされた視点シフト画像を生成することを特徴とする請求項１から３のいずれかに記載の立体画像再生装置。
　前記３次元画像ファイルの付属情報は、前記複数の視点画像における近景側の最大視差量を含み、
　前記立体ディスプレイ上での前記複数の視点画像の近景側の最大視差量と前記視点シフト画像の前記立体ディスプレイ上でのずらし量とを加算する加算手段と、
　前記加算された近景側の最大視差量に対応する画像ずれ量が前記立体ディスプレイに表示される際に両眼融合限界を越えるか否かを判別する判別手段と、を備え、
　前記出力手段は、前記判別手段により画像ずれ量が両眼融合限界を越えると判別されると、前記第１の取得手段により取得された複数の視点画像のうちのいずれか１つを前記立体ディスプレイに出力して２次元画像を表示させることを特徴とする請求項４に記載の立体画像再生装置。
　前記画像処理手段は、前記第１の取得手段により取得された複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、前記第１の取得手段により取得された複数の視点画像のうちの少なくとも１つの視点画像と前記視差量算出手段により算出された視差量とに基づいて任意の仮想視点に対応する１又は複数の仮想視点画像を生成する仮想視点画像生成手段と、を有することを特徴とする請求項１又は２に記載の立体画像再生装置。
　前記出力手段は、前記判別手段により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別され、又は前記算出された画像ずれ量が人間の両眼間隔を示す所定値を越えると判別されると、前記第１の取得手段により取得された複数の視点画像のうちのいずれか１つを前記立体ディスプレイに出力して２次元画像を表示させ、その後、前記画像処理手段により前記仮想視点画像が生成されると、前記２次元画像に代えて前記仮想視点画像を出力することを特徴とする請求項６に記載の立体画像再生装置。
　前記複数の視点画像に基づいて該視点画像よりも画像サイズが小さい複数の表示用画像を生成する表示用画像生成手段を備え、
　前記画像処理手段は、前記第１の取得手段により取得した複数の視点画像の代わりに前記生成された複数の表示用画像を使用して、該複数の表示用画像間の少なくとも遠景側の視差が小さくなる複数の表示用画像を生成し、
　前記出力手段は、前記表示用画像生成手段により生成された表示用画像、又は前記画像処理手段により生成された表示用画像を前記立体ディスプレイに出力することを特徴とする請求項１から７のいずれかに記載の立体画像再生装置。
　前記画像処理手段により生成された視点画像及び前記表示用画像生成手段により生成された表示用画像のうちの少なくとも一方を、前記３次元画像ファイルに追記し又は上書きする記録手段を備えたことを特徴とする請求項１から８のいずれかに記載の立体画像再生装置。
　複数の視点から同一被写体を撮影した複数の視点画像を取得する撮像手段と、
　前記取得した複数の視点画像から特徴が一致する特徴点間のずれ量を示す視差量を算出する視差量算出手段と、
　前記算出した各特徴点の視差量のうちの遠景側の最大視差量を取得する最大視差量取得手段と、
　前記取得した遠景側の最大視差量に基づいて、前記複数の視点画像による立体画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを取得する最大ディスプレイサイズ取得手段と、
　前記複数の視点画像が記録される３次元画像ファイルを生成し、該３次元画像ファイルを記録媒体に記録する記録手段であって、前記複数の視点画像を前記３次元画像ファイルに記録し、かつ、前記遠景側の最大視差量及び最大ディスプレイサイズを付属情報として前記３次元画像ファイルに記録する記録手段と、
　請求項１から９のいずれかに記載の立体画像再生装置と、
　を備えたことを特徴とする立体撮像装置。
　前記出力先の立体ディスプレイと、
　請求項１から９のいずれかに記載の立体画像再生装置と、
　を備えたことを特徴とする立体ディスプレイ装置。
　立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像を立体ディスプレイに表示させる際に両眼融合可能な最大ディスプレイサイズを含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得工程と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、
　前記取得された前記立体ディスプレイのディスプレイサイズと前記最大ディスプレイサイズとを比較し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいか否かを判別する判別工程と、
　前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記第１の取得工程により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理工程と、
　前記判別工程により前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズよりも大きいと判別されると、前記画像処理工程により生成された視点画像を前記立体ディスプレイに出力し、前記立体ディスプレイのディスプレイサイズが前記最大ディスプレイサイズ以下と判別されると、前記第１の取得工程により取得された視点画像を前記立体ディスプレイに出力する出力工程と、
　を備えたことを特徴とする立体画像再生方法。
　立体視用の複数の視点画像と、該複数の視点画像に対する付属情報であって、前記複数の視点画像における遠景側の最大視差量を含む付属情報とが記録された３次元画像ファイルを読み取り、該３次元画像ファイルから前記複数の視点画像及び付属情報を取得する第１の取得工程と、
　出力先の立体ディスプレイのディスプレイサイズを取得する第２の取得工程と、
　前記取得した遠景側の最大視差量と前記立体ディスプレイのディスプレイサイズと人間の両眼間隔を示す所定値とに基づいて、前記複数の視点画像を立体ディスプレイに表示する際に両眼融合可能か否かを判別する判別工程と、
　前記判別工程により両眼融合不能と判別されると、前記第１の取得手段により取得された複数の視点画像に基づいて該複数の視点画像間の少なくとも遠景側の視差が小さくなる複数の視点画像を生成する画像処理工程と、
　前記判別工程により両眼融合不能と判別されると、前記画像処理工程により生成された視点画像を前記立体ディスプレイに出力し、前記両眼融合可能と判別されると、前記第１の取得工程により取得された視点画像を前記立体ディスプレイに出力する出力工程と、
　を備えたことを特徴とする立体画像再生方法。