JP6106415B2 - 撮影装置および表示装置 - Google Patents

Description

本発明は、撮影装置および表示装置に関する。

空間像再生方式の一つとして、インテグラルフォトグラフィが知られている（例えば、特許文献１参照）。このインテグラルフォトグラフィを適用した撮影装置は、レンズアレイを通して入射される被写体からの光束を撮影することによってインテグラル画像を生成する。そして、インテグラルフォトグラフィを適用した表示装置は、インテグラル画像を表示部に表示させることによって光束を発生させ、この光束をレンズアレイに通すことによって空間像を生成する。つまり、インテグラルフォトグラフィは、実際の被写体から到来する光束と同様の光束を表示装置に発生させる再生方式である。

特開２００１−２２８５７０号公報

インテグラルフォトグラフィによる空間像の解像度は、撮影装置の解像度に依存する。よって、インテグラルフォトグラフィによる空間像を高精細化する一つの方法として、撮影装置の解像度を高めることが有効である。

本発明は、上記事情を考慮してなされたものであり、インテグラルフォトグラフィによる高精細な空間像を得る、撮影装置及び表示装置を提供することを目的とする。

［１］上記の課題を解決するため、本発明の一態様である撮影装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に、所定の基準位置から離れるにしたがって、対応する前記レンズの光軸と撮像面の中心軸との小数画素間隔のずれを整数画素間隔に補正して配設される複数の撮像部と、を備えることを特徴とする。
［２］上記［１］記載の撮影装置において、前記複数の撮像部が撮像して得た複数の要素画像データを、前記複数の撮像部の配置に対応させて合成することにより要素画像群データを生成する画像処理部、をさらに備えることを特徴とする。
［３］上記［２］記載の撮影装置において、前記画像処理部は、前記複数の要素画像データを合成する際に、前記撮像部と前記レンズとの対において前記撮像部の前記撮像面から外側に出る前記レンズの部分に対応する画素の画素値を、画素の内挿処理を実行することにより求める、ことを特徴とする。
［４］上記［２］または［３］いずれか記載の撮影装置において、前記画像処理部は、前記要素画像群データを拡大または縮小させる、ことを特徴とする。

［５］上記の課題を解決するため、本発明の一態様である表示装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に、所定の基準位置から離れるにしたがって、対応する前記レンズの光軸と表示面の中心軸との小数画素間隔のずれを整数画素間隔に補正して配設される複数の表示部と、を備えることを特徴とする。
［６］上記［５］記載の表示装置において、要素画像群データを前記表示部の配置に対応させて分割することによって複数の要素画像データを生成し、前記複数の要素画像データを前記複数の表示部に供給する画像処理部、をさらに備えることを特徴とする。

本発明によれば、インテグラルフォトグラフィによる高精細な空間像を得ることができる。

本発明の第１実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。 図１に示したカメラアレイを被写体側から見た場合の正面図である。 カメラアレイにおけるカメラの概略の機能構成を示すブロック図である。 図１に示した表示用レンズアレイの正面図である。 カメラアレイが有する１８台のカメラそれぞれについて、ＸＹ平面内での撮像レンズおよび撮像部のずれを模式的に示す図である。 本発明の第２実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。 本発明の第３実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。 プロジェクタアレイにおけるプロジェクタの概略の機能構成を示すブロック図である。 本発明の第４実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。 本発明の第５実施形態である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。 本発明の第５実施形態の第１変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。 本発明の第５実施形態の第２変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。 デルタ配列されたカメラを模式的に示す正面図である。 本発明の第５実施形態における撮影表示システムと、同実施形態の第２変形例における撮影表示システムとについての限界解像度特性グラフを示した図である。

以下、本発明を実施するための形態について、図面を参照して詳細に説明する。
［第１の実施の形態］
本発明の第１実施形態は、カメラ装置（以下、カメラ）をアレイ状に配列させたカメラアレイを用いてインテグラルフォトグラフィによる撮影装置を実現する例である。

図１は、第１実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム１は、カメラアレイ１０と、画像処理装置（画像処理部）２０と、投影装置２１０と、拡散板２２０と、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム１において、撮影装置は、カメラアレイ１０と、画像処理装置２０とを含む。

図１には、カメラアレイ１０によって撮影される被写体Ｓが表されている。また、同図には、相互に直交する３本の軸（Ｘ軸、Ｙ軸、およびＺ軸）が表されている。Ｘ軸およびＹ軸は、それぞれ、カメラアレイ１０が有する複数のカメラに備えられた撮像部の撮像面の水平方向および垂直方向それぞれに平行な軸である。Ｚ軸は、カメラアレイ１０の各カメラが備える撮像部の撮像面に垂直に交わる軸である。つまり、Ｚ軸は、撮影装置の主光軸に平行な軸である。

カメラアレイ１０は、複数のカメラを二次元配列させて構成される。本実施形態において、カメラアレイ１０は、例えば１８台のカメラを正方格子状に配設して構成される。図１に示すように、カメラアレイ１０は、各カメラに備えられた撮像部の撮像面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行な一面上に、１８台のカメラをＸ軸方向に６台、Ｙ軸方向に３台、マトリクス状に配設して構成される。この１８台という台数は、同図を簡略化して説明を簡単にするための例である。実際には、カメラアレイ１０は、１８台に限定されることなくさらに多くのカメラを二次元配列させて構成してもよい。

カメラが備える撮像レンズは、インテグラルフォトグラフィにおける撮像用レンズアレイの要素レンズに相当する。カメラは、被写体Ｓから到来する光束を取り込み、この光束を撮像部で光電変換させることによって要素画像データを生成する。カメラアレイ１０は、１８台のカメラを同時に動作させて１８個の要素画像データを生成し、これら１８個の要素画像データを、要素画像データセットとして画像処理装置２０に供給する。

画像処理装置２０は、カメラアレイ１０が供給する要素画像データセットを取り込む。画像処理装置２０は、要素画像データセットが有する１８個の要素画像データを１８個（６個×３個）のカメラの配置に対応させて合成することにより、１フレーム分の要素画像群データを生成する。具体的に、画像処理装置２０は、１８個の要素画像データを合成する際に、例えば、撮像部と撮像レンズとの対において撮像部の撮像面から外側に出る撮像レンズの部分に対応する画素（補間画素）の画素値（補間画素値）を、画素の内挿処理を実行することによって求める。そして、画像処理装置２０は、１８個の要素画像データと、画素の内挿処理により求めた補間画素値とを合成することにより、１フレーム分の要素画像群データを生成し記憶する。

画像処理装置２０は、記憶された１８個の要素画像データについて、個体差を除去または低減するための補正処理を実行してもよい。例えば、画像処理装置２０は、要素画像間の色の属性（例えば、色相、彩度、明度）の誤差、および輝度の誤差をなくすための画像処理を実行する。画像処理装置２０は、１フレーム分の要素画像群データを、インテグラル画像データとして投影装置２１０に供給する。画像処理装置２０が要素画像データセットを合成してインテグラル画像データを得る処理（合成処理）の詳細については後述する。画像処理装置２０は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を搭載した演算処理装置、例えば、コンピュータ装置により実現される。

撮影表示システム１は、表示装置を含む。この表示装置は、投影装置２１０と、拡散板２２０と、表示用レンズアレイ２３０とを含む。この表示装置は、本実施形態である撮影装置が生成したインテグラル画像データを取り込み、このインテグラル画像データをインテグラルフォトグラフィで表示する。

投影装置２１０は、画像処理装置２０が供給するインテグラル画像データを取り込む。投影装置２１０は、インテグラル画像データを画像光に変換し、この画像光を拡散板２２０に向けて投射する。投影装置２１０は、例えば、プロジェクタ装置により実現される。

拡散板２２０は、光透過性および光拡散性をともに有する平板である。拡散板２２０は、投影装置２１０によって投影された画像光を一方の面（投影装置２１０側の面）から拡散させながら透過させて他方の面に到達させる。これにより、拡散板２２０の他方の面にインテグラル画像を表出させる。

表示用レンズアレイ２３０は、複数の要素レンズを、各光軸が平行となるようにして規則的に二次元配列させて構成した要素レンズ群である。本実施形態において、表示用レンズアレイ２３０は、カメラの台数と同数（１８個）の要素レンズをＸ軸方向に６個、Ｙ軸方向に３個、マトリクス状に配列させて構成される。つまり、表示用レンズアレイ２３０が有する要素レンズの個数とカメラアレイ１０が有するカメラの台数とは同数である。また、表示用レンズアレイ２３０における要素レンズの配列は、カメラアレイ１０におけるカメラ１１の配列と相対的に同一である。各要素レンズは、例えば凸レンズである。表示用レンズアレイ２３０は、各要素レンズの焦平面が拡散板２２０の他方の面に一致する位置に設けられる。拡散板２２０の他方の面に表示されたインテグラル画像からの光束を、表示用レンズアレイ２３０を通すことによって、被写体Ｓに対応する空間像が生成される。

撮影表示システム１において、カメラアレイ１０が有する１８台のカメラそれぞれが備える撮像部の撮像面をマトリクス状に並べて得られる解像度と、投影装置２１０が備える表示部の解像度とは等しい。また、カメラアレイ１０における１８個の撮像レンズのレンズピッチと、表示用レンズアレイ２３０における要素レンズのレンズピッチとは、相対的に等しい比率となる小数画素分である。レンズピッチとは、隣接する要素レンズの中心点間の大きさである。小数画素分とは、画素ピッチの非整数倍の大きさである。画素ピッチとは、隣接する画素の中心点間の大きさである。

図２は、図１に示したカメラアレイ１０を被写体Ｓ側から見た場合の正面図である。図２には、カメラアレイ１０が備える１８個のカメラ１１が、Ｘ軸方向に６台、Ｙ軸方向に３台、マトリクス状に配設された様子が簡略化して表されている。本実施形態では、これら１８台のカメラそれぞれの符号１１に、ハイフン「−」を介して二次元座標を表す添字（２桁の数字）を付することにより、各カメラ１１を区別する。

従来技術では、撮像レンズの光軸と撮像部の撮像面の中心軸とが一致するカメラ１１を有するカメラアレイ１０および表示用レンズアレイ２３０について、それぞれのレンズピッチが小数画素分である場合、カメラアレイ１０が出力する１８個の要素画像データを、表示用レンズアレイ２３０のレンズピッチに一致させて合成しようとすると、要素画像間に重複する領域（要素画像重複領域）が生ずる。これに対し、本実施形態では、各カメラ１１の撮像レンズの光軸と、撮像部の中心軸とを相対的に所定方向にずらすことにより、要素画像重複領域が発生しないという効果が得られる。

図３は、カメラアレイ１０におけるカメラ１１の概略の機能構成を示すブロック図である。同図に示すように、カメラ１１は、撮像レンズ１１１と、撮像部１１２と、出力部１１３と、位置調整部１１４とを備える。

撮像レンズ１１１は、取り込んだ光束を撮像部１１２の撮像面に結像させるレンズ光学系である。撮像レンズ１１１は、例えば、屈折率分布型（ＧＲａｄｉｅｎｔ ＩＮｄｅｘ Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。具体的に、撮像レンズ１１１として、以下に示す仕様の屈折率分布型レンズを用いる。すなわち、屈折率分布型レンズの光軸方向の長さをＬ、その屈折率分布型レンズの蛇行周期をＰとし、下記の式（１）を満たす仕様の屈折率分布型レンズを撮像レンズ１１１として用いる。ただし、式（１）において、ｎは正整数である。

式（１）を満たす仕様の屈折率分布型レンズを撮像レンズ１１１として用いることにより、この屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を、他方の端面上またはこの端面の外側に現出させることができる。屈折率分布型レンズの一方の端面から十分遠方に存在する被写体Ｓの正立実像を他方の端面上に現出させるためには、下記の式（２）を満たす仕様の屈折率分布型レンズを用いる。ただし、式（２）において、ｎは正整数である。

撮像レンズ１１１として、式（２）を満たす屈折率分布型レンズを用いることにより、カメラアレイ１０が生成する要素画像間のクロストークを抑制することができる。

撮像部１１２は、撮像レンズ１１１により得られる光束を光電変換することによって要素画像データを生成し、この要素画像データを出力部１１３に供給する。撮像部１１２は、例えば、ＣＣＤ（Ｃｈａｒｇｅｄ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）イメージセンサ、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）イメージセンサ等の固体撮像素子により実現される。

撮像レンズ１１１は、その焦平面が撮像部１１２の撮像面に一致するように設けられる。例えば、式（２）を満たす仕様の屈折率分布型レンズを撮像レンズ１１１として用いた場合、この屈折率分布型レンズの焦平面を、この屈折率分布型レンズにおける被写体Ｓ側と反対側の端面に一致させることができる。したがって、この場合、撮像レンズ１１１の被写体Ｓ側と反対側の端面を撮像部１１２の撮像面に接触させてカメラ１１を構成することができる。これにより、カメラ１１を小型化することができる。

出力部１１３は、撮像部１１２が供給する要素画像データを取り込み、この要素画像データを、画像処理装置２０の入力部に対応する電気的特性で送信する。

位置調整部１１４は、撮像レンズ１１１の光軸Ａに垂直な面（ＸＹ平面）内における任意の方向に、撮像レンズ１１１と撮像部１１２との位置関係を変更する光軸ずらし調整部である。具体的に、位置調整部１１４は、撮像レンズ１１１に対する撮像部１１２の位置を、例えば、撮像部１１２の中心軸Ｂが撮像レンズ１１１の光軸Ａに一致した状態を基準として、光軸Ａに対して垂直なＸ軸方向およびＹ軸方向またはいずれか一方向に任意の大きさだけ変位させる。位置調整部１１４に対する位置の変位の指定は、例えば、マニュアル操作、または、外部の制御装置からの指令による。変位の指定には、ずらし方向（Ｘ軸方向およびＹ軸方向またはいずれか一方向）およびずらし量の指定が含まれる。

すなわち、１８台のカメラ１１を有するカメラアレイ１０は、画素ピッチの非整数倍の大きさのレンズピッチを有してＺ軸に直交する第１平面上に配設される１８個の撮像レンズ１１１を備える。また、カメラアレイ１０は、第１平面と平行な第２平面上に配設される１８個の撮像部１１２を備える。これにおいて、各カメラ１１の位置調整部１１４は、カメラアレイ１０における当該カメラ１１の位置に応じて、撮像部１１２の位置を調整する。例えば、１８個の撮像部１１２の撮像面を結合して得られる一枚の撮像面において、あらかじめ、各カメラ１１の光軸Ａが貫く画素の位置を求め、各カメラ１１についての小数画素のずれ量を求めておく。そして、各カメラ１１について、小数画素のずれ量に応じた光軸Ａと撮像部１１２の中心軸Ｂとの変位量を求めておく。位置調整部１１４は、これらの変位量を用いて調整を行う。これにより、撮像レンズ１１１と撮像部１１２との位置関係は、第１平面における所定の基準位置（例えば、カメラアレイ１０における中心位置）からＸ軸方向において撮像レンズ１１１の光軸Ａが離れるにしたがって、撮像レンズ１１１の光軸Ａと撮像面の中心軸ＢとのＸ軸方向における小数画素間隔のずれを整数画素間隔に補正することができる。また、上記の基準位置からＹ軸方向において撮像レンズ１１１の光軸Ａが離れるにしたがって、撮像レンズ１１１の光軸Ａと撮像面の中心軸ＢとのＹ軸方向における小数画素間隔のずれを整数画素間隔に補正することができる。

図４は、図１に示した表示用レンズアレイ２３０の正面図である。図４は、表示用レンズアレイ２３０に、拡散板２２０に表出する画像の画素を重ね合わせた状態を模式的に示している。同図では、要素レンズに対する画素の密度を低く、つまり要素レンズに対して画素を大きく示しているが、これは説明の便宜のためであり、実際は、要素レンズに対する画素の密度はさらに高い。また、同図における表示用レンズアレイ２３０は、要素レンズをＸ軸方向およびＹ軸方向に隙間なく配列したものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおけるレンズピッチは要素レンズの直径に等しい。また、同図における画素は、互いに隙間なく格子状に配列されたものであり、この場合、Ｘ軸方向およびＹ軸方向それぞれにおける画素ピッチは画素幅に等しい。同図に示すとおり、表示用レンズアレイ２３０におけるレンズピッチは、画素ピッチの非整数倍の大きさである。すなわち、表示用レンズアレイ２３０におけるレンズピッチは、小数画素分である。

図５は、カメラアレイ１０が有する１８台のカメラ１１それぞれについて、ＸＹ平面内での撮像レンズ１１１および撮像部１１２のずれを模式的に示す図である。同図において、２個×２個の小ブロックを含む矩形は、撮像部１１２の撮像面の外形を表す。また、撮像面に含まれる小ブロックは、画素を表す。また、円形は、撮像レンズ１１１の外形を表す。同図では、撮像レンズ１１１に対する撮像部１１２の画素の密度を低く、つまり撮像レンズ１１２に対して画素を大きく示しているが、これは説明の便宜のためであり、実際は、撮像レンズ１１１に対する画素の密度はさらに高い。

ここで、各カメラ１１における、撮像レンズ１１１および撮像部１１２の位置の変位量について説明する。１８台のカメラ１１それぞれが備える撮像部１１２の撮像面を連結して得られる面上に、１８個の撮像レンズ１１１を表示用レンズアレイ２３０の要素レンズと同一の配列により設けた位置関係において、各撮像レンズ１１１の中心位置に対応する画素の第１の座標と、各撮像面の中心位置に対応する画素の第２の座標とを求める。そして、カメラ１１ごとに得られる、撮像レンズ１１１における第１の座標と撮像面における第２の座標とのずれを、Ｘ軸方向およびＹ軸方向それぞれの成分として取得し、変位量とする。

撮像レンズ１１１の光軸と撮像部１１２の中心軸との図５の位置関係を有するように調整されたカメラアレイ１０から要素画像データセットを取り込んだ画像処理装置２０は、要素画像重複領域を生じさせないで１８個の要素画像データを合成することができる。

次に、画像処理装置２０による要素画像データセットの合成処理について説明する。画像処理装置２０は、カメラアレイ１０から要素画像データセットを取り込み、この要素画像データセットが有する１８個の要素画像データを、１８台のカメラ１１の配置に対応させ連結させて、自装置に内蔵する記憶部に記憶させる。この記憶部は、例えばカメラアレイ１０が撮像する少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。

そして、画像処理装置２０は、撮像部１１２と撮像レンズ１１１との対において撮像部１１２の撮像面から外側に出る撮像レンズ１１１の部分に対応する画素（補間画素）の画素値（補間画素値）を、隣接する画素または周辺の画素の内挿処理により求める。または、画像処理装置２０は、当該要素画像の周辺の一つまたは複数の要素画像に基づいて、内挿処理等により補間画素値を求める。そして、画像処理装置２０は、１８個の要素画像データと、画素の内挿処理により求めた補間画素値とを合成することにより、１フレーム分の要素画像群データ、すなわちインテグラル画像データを生成する。

以上説明したとおり、第１実施形態である撮影装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される１８個の撮像レンズ１１１と、第１平面において所定の基準位置から第１平面上のＸ軸およびＹ軸それぞれの方向に離れるにしたがって、１８個の撮像レンズ１１１それぞれの光軸Ａと１８個の撮像レンズ１１１それぞれに対応する撮像面の中心軸ＢとのＸ軸およびＹ軸それぞれの方向における小数画素間隔のずれを整数画素間隔に補正するよう、第１平面と平行な第２平面上に配設される１８個の撮像部１１２と、を備える。

このように構成することにより、撮像レンズ１１１の光軸と撮像部１１２の中心軸との位置関係を図５に示したように調整されたカメラアレイ１０を実現することができる。そして、このカメラアレイ１０が生成する１８個の要素画像データから１フレーム分のインテグラル画像を生成する場合、要素画像重複領域を生じさせないで１８個の要素画像データを連結することができる。そして、表示側では、表示部の画素ピッチの非整数倍の大きさのレンズピッチを有する表示レンズアレイ２３０を用いて、インテグラルフォトグラフィによる空間像を得ることができる。

第１実施形態である撮影装置は、カメラ１１の撮像レンズ１１１を要素レンズとして構成したインテグラルフォトグラフィによる撮影装置である。第１実施形態である撮像装置によれば、従来の撮像用レンズアレイを用いて構成された撮影装置に対して、各要素画像の解像度を格段に高めることができる。

また、第１実施形態である撮影装置は、１８台のカメラ１１の並びに応じて、撮像レンズ１１１の光軸と撮像部１１２の中心軸とをずらして構成したカメラアレイ１０が撮像して得た１８個の要素画像データを、１８台のカメラ１１の配置に対応させて合成することにより要素画像群データを生成する画像処理装置２０をさらに備える。このように構成したことにより、画像処理装置２０は、要素画像重複領域を生じさせることなく、１８個の要素画像データを合成することができる。

ここで、画像処理装置２０は、１８個の要素画像データを合成する際に、撮像部１１２と撮像レンズ１１１との対において撮像部１１２の撮像面から外側に出る撮像レンズ１１１の部分に対応する画素の補間画素値を、画素の内挿処理を実行することにより求める。

このように構成したことにより、画像処理装置２０は、補間画素値を周辺の画素の内挿処理によって得ることができる。つまり、画像処理装置２０は、比較的簡易に要素画像データセットを合成して１フレーム分のインテグラル画像データを得ることができる。

以上により、本発明の第１実施形態である撮影装置は、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。

［第１実施形態の第１の変形例］
第１実施形態の第１変形例は、第１実施形態に対して、カメラアレイ１０が有する複数のカメラ１１それぞれが備える撮像部１１２の撮像面をマトリクス状に並べて得られる解像度と、投影装置２１０が備える表示部の解像度とが等しくない例である。

画像処理装置２０は、カメラアレイ１０から取り込んだ要素画像データセットを複数のカメラ１１の配置に対応させて合成することによって生成した要素画像群データを、この要素画像群データの解像度が、投影装置２１０における表示部の解像度に一致するよう、拡大または縮小いずれかの画像処理を行って、インテグラル画像データを生成する。

［第１実施形態の第２の変形例］
第１実施形態の第２変形例は、第１実施形態に対して、カメラアレイ１０における複数の撮像レンズ１１１のレンズピッチと、表示用レンズアレイ２３０のレンズピッチとが相対的に等しい比率であり、且つ各レンズピッチが画素ピッチの整数倍となる例である。

第２変形例におけるカメラアレイ１０が有する複数のカメラ１１は、それぞれ、撮像レンズ１１１の光軸と撮像部１１２の中心軸とを一致させている。

画像処理装置２０は、要素画像データセットが有する複数の要素画像データを複数のカメラ１１の配置に対応させて連結することにより、１フレーム分のインテグラル画像データを生成する。第２変形例においては、画像処理装置２０は、画素の内挿処理を実行しない。

［第１実施形態の第３の変形例］
第１実施形態の第３変形例は、第１実施形態に対して、カメラアレイ１０が有する複数のカメラ１１それぞれが備える撮像部１１２の撮像面をマトリクス状に並べて得られる解像度と、投影装置２１０が備える表示部の解像度とが等しくない例である。また、第３変形例は、第１実施形態に対して、カメラアレイ１０における複数の撮像レンズ１１１のレンズピッチと表示用レンズアレイ２３０のレンズピッチとが相対的に等しい比率であり、且つ各レンズピッチが画素ピッチの整数倍となる例である。

第３変形例におけるカメラアレイ１０が有する複数のカメラ１１は、それぞれ、撮像レンズ１１１の光軸と撮像部１１２の中心軸とを一致させている。

画像処理装置２０は、カメラアレイ１０から取り込んだ要素画像データセットを複数のカメラ１１の配置に対応させて連結することによって生成した要素画像群データを、この要素画像群データの解像度が、投影装置２１０における表示部の解像度に一致するよう、拡大または縮小いずれかの画像処理を行って、インテグラル画像データを生成する。第３変形例においては、画像処理装置２０は、画素の内挿処理を実行しない。

［第１実施形態の第４の変形例］
第１実施形態の第４変形例は、第１実施形態に対して、カメラアレイ１０におけるカメラ１１の配列が、表示用レンズアレイ２３０における要素レンズの配列と異なる例である。

第４変形例は、図２に示したカメラアレイ１０から、離散的にカメラ１１を削除して構成されるカメラアレイを用いるものである。例えば、本変形例では、カメラアレイとして、同図に示したカメラアレイ１０から、Ｘ軸方向およびＹ軸方向に一台おきにカメラ１１を削除した構成とする。具体的に、本変形例におけるカメラアレイは、同図のカメラアレイ１０から、カメラ１１−２１，１１−４１，１１−６１，１１−１２，１１−３２，１１−５２，１１−２３，１１−４３，１１−６３を削除して構成される。

画像処理装置２０は、上記のカメラアレイが供給する要素画像データセットを取り込む。そして、画像処理装置２０は、要素画像データセットが有する９個の要素画像データを合成する際に、例えば、要素画像間の間隙に対応する要素画像（補間要素画像）のデータ（補間要素画像データ）を、要素画像の内挿処理により求める。

カメラアレイ１０における各カメラ１１は、撮影装置の主光軸に対して直角である平面（ＸＹ平面）上に配列されるため、各要素画像における視線方向は、撮像レンズ１１１の並びに応じて徐々に変化する。つまり、隣り合う要素画像間、または、注目する要素画像とこの周辺の要素画像との間では、画像の相関が強い確率が高い。このような統計的な性質を利用し、画像処理装置２０は、補間要素画像の領域に隣接する要素画像または周辺の要素画像から視線方向を変えた補間要素画像を生成する。

画像処理装置２０は、９個の要素画像データと、要素画像の内挿処理により求めた補間要素画像と、補間画素値とを合成することにより、１フレーム分のインテグラル画像データを生成する。

第４変形例によれば、カメラアレイを構成するときのカメラ１１の密度を低くすることができ、カメラアレイのコストを低減することができる。

［第２の実施の形態］
第１実施形態における画像処理装置２０は、カメラアレイ１０から要素画像データセットを取り込み、この要素画像データセットが有する複数の要素画像データを合成することによって１フレーム分のインテグラル画像データを生成する例であった。本発明の第２実施形態は、カメラアレイ１０から要素画像データセットを取り込んだ画像処理装置が、その要素画像データセットが有する複数の要素画像データを所定のグループごとに合成することにより、フレームを領域分割した複数の分割インテグラル画像データを生成する例である。

図６は、本発明の第２実施形態である撮影装置を適用した撮影表示システムの概略の構成を示す構成図である。なお、第２実施形態において第１実施形態と同一の構成については、同一の符号を付してその説明を省略する。同図に示すように、撮影表示システム１ａは、カメラアレイ１０と、画像処理装置（画像処理部）２０ａと、３台の投影装置２１０−１，２１０−２，２１０−３と、拡散板２２０と、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム１ａにおいて、撮影装置は、カメラアレイ１０と、画像処理装置２０ａとを含む。

画像処理装置２０ａは、カメラアレイ１０が供給する要素画像データセットを取り込む。画像処理装置２０ａは、１フレームを例えばＸ軸方向に３分割して得られる分割領域ごとに、要素画像データセットが有する１８個の要素画像データを１８台のカメラ１１の配置に対応させて合成することにより、３個の分割インテグラル画像データを生成する。

具体的に、画像処理装置２０ａは、カメラ１１−１１，１１−２１，１１−１２，１１−２２，１１−１３，１１−２３が供給する６個の要素画像データを、カメラ１１−１１，１１−２１，１１−１２，１１−２２，１１−１３，１１−２３の配置に対応させて合成することにより、第１の分割インテグラル画像データを生成する。また、画像処理装置２０ａは、カメラ１１−３１，１１−４１，１１−３２，１１−４２，１１−３３，１１−４３が供給する６個の要素画像群データを、カメラ１１−３１，１１−４１，１１−３２，１１−４２，１１−３３，１１−４３の配置に対応させて合成することにより、第２の分割インテグラル画像データを生成する。また、画像処理装置２０ａは、カメラ１１−５１，１１−６１，１１−５２，１１−６２，１１−５３，１１−６３が供給する６個の要素画像群データを、カメラ１１−５１，１１−６１，１１−５２，１１−６２，１１−５３，１１−６３の配置に対応させて合成することにより、第３の分割インテグラル画像データを生成する。画像処理装置２０ａが３個の分割インテグラル画像データを生成する際に実行する内挿処理については、第１実施形態における内挿処理と同様であるため、ここでの説明を省略する。

なお、画像処理装置２０ａは、画像処理装置２０と同様に、要素画像データ間の個体差を除去または低減するための補正処理を実行してもよい。

画像処理装置２０ａは、第１の分割インテグラル画像データを投影装置２１０−１、第２の分割インテグラル画像データを投影装置２１０−２、第３の分割インテグラル画像データを投影装置２１０−３に供給する。画像処理装置２０ａは、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。

なお、画像処理装置２０ａは、３個に限定されることなく複数の分割インテグラル画像データを生成してもよい。また、１フレームを分割する方向もＸ軸方向に限ることなく、Ｙ軸方向としてもよい。また、各分割領域の面積は、同一でもよいし同一でなくてもよい。

撮影表示システム１ａは、表示装置を含む。この表示装置は、投影装置２１０−１，２１０−２，２１０−３と、拡散板２２０と、表示用レンズアレイ２３０とを含む。この表示装置は、本実施形態である撮影装置が生成した３個の分割インテグラル画像データを取り込み、これら３個の分割インテグラル画像データをインテグラルフォトグラフィで表示する。

投影装置２１０−１，２１０−２，２１０−３は、それぞれ、画像処理装置２０ａが供給する第１の分割インテグラル画像データ、第２の分割インテグラル画像データ、第３の分割インテグラル画像データそれぞれを取り込む。投影装置２１０−１，２１０−２，２１０−３は、第１の分割インテグラル画像データ、第２の分割インテグラル画像データ、第３の分割インテグラル画像データを第１の画像光、第２の画像光、第３の画像光に変換し、これら画像光を拡散板２２０に向けて投射する。投影装置２１０−１，２１０−２，２１０−３は、拡散板２２０に投影される画像光が重ならないように配置される。投影装置２１０−１，２１０−２，２１０−３は、例えば、プロジェクタ装置により実現される。

拡散板２２０は、投影装置２１０−１，２１０−２，２１０−３によって投影された第１の画像光、第２の画像光、第３の画像光を、一方の面（投影装置２１０側の面）の領域Ｄ１，Ｄ２，Ｄ３から拡散させながら透過させて他方の面に到達させる。これにより、拡散板２２０の他方の面に１フレーム分のインテグラル画像を表出させる。拡散板２２０の他方の面に表示されたインテグラル画像からの光束を、表示用レンズアレイ２３０を通すことによって、被写体Ｓに対応する空間像が生成される。

このように構成したことにより、第２実施形態における撮影表示システム１ａによれば、撮影装置は、第１実施形態と同様に、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。また、表示装置は、所定の解像度を有する投影装置２１０を用いて、前記の解像度よりも極めて高い解像度の空間像を得ることができる。

［第３の実施の形態］
図７は、本発明の第３実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム２は、撮像用レンズアレイ２４０と、拡散板２５０と、撮影装置２６０と、画像処理装置（画像処理部）３０と、プロジェクタアレイ４０とを含んで構成される。撮影表示システム２において、表示装置は、画像処理装置３０と、プロジェクタアレイ４０とを含む。

図７には、撮影装置２６０によって撮影される被写体Ｓが表されている。また、同図には、相互に直交する３本の軸（Ｘ軸、Ｙ軸、およびＺ軸）が表されている。Ｘ軸およびＹ軸は、プロジェクタアレイ４０に含まれる複数の表示素子の表示面それぞれの水平方向および垂直方向にそれぞれ平行な軸である。Ｚ軸は、プロジェクタアレイ４０の各表示素子の表示面に垂直に交わる軸である。つまり、Ｚ軸は、表示装置の主光軸に平行な軸である。

撮像用レンズアレイ２４０は、複数の要素レンズを、各光軸が平行となるようにして規則的（例えば、正方格子状）に二次元配列させて構成した要素レンズ群である。各要素レンズは、例えば凸レンズである。

拡散板２５０は、光透過性および光拡散性をともに有する平板である。拡散板２５０は、その一方の面が撮像用レンズアレイ２４０の各要素レンズの焦平面に一致する位置に設けられる。拡散板２５０は、撮像用レンズアレイ２４０からの光束を一方の面（撮像用レンズアレイ２４０側の面）から拡散させながら透過させて他方の面に到達させる。これにより、拡散板２５０の他方の面に１フレーム分の要素画像群を表出させる。

撮影装置２６０は、拡散板２５０の他方の面に表出した１フレーム分の要素画像群を撮影してインテグラル画像データを生成し、このインテグラル画像データを画像処理装置３０に供給する。

撮像用レンズアレイ２４０と拡散板２５０と撮影装置２６０とは、インテグラルフォトグラフィによる撮影システムを構成する。

プロジェクタアレイ４０は、複数のプロジェクタを二次元配列させて構成される。本実施形態において、プロジェクタアレイ４０は、例えば１８台のプロジェクタを正方格子状に配設して構成される。図７に示すように、プロジェクタアレイ４０は、各プロジェクタに備えられた表示部の表示面がＸ軸およびＹ軸を含む平面（ＸＹ平面）に平行となるよう、１８台のプロジェクタをＸ軸方向に６台、Ｙ軸方向に３台、マトリクス状に配設して構成される。この１８台という台数は、同図を簡略化して説明を簡単にするための例である。実際には、プロジェクタアレイ４０は、１８台に限定されることなくさらに多くのプロジェクタを二次元配列させて構成してもよい。

プロジェクタが備える投射レンズは、インテグラルフォトグラフィにおける表示用レンズアレイの要素レンズに相当する。

プロジェクタアレイ４０は、１８台のプロジェクタを同時に動作させる。プロジェクタアレイ４０は、画像処理装置３０が供給する要素画像データセットを取り込む。プロジェクタアレイ４０が有する１８台のプロジェクタは、要素画像データセットが有する１８個の要素画像データをそれぞれ表示部に表示させ、表示された１８個の要素画像からの光束を、それぞれ１８個の投射レンズを通して空間に放射する。

画像処理装置３０は、撮影装置２６０が供給するインテグラル画像データを取り込む。画像処理装置３０は、インテグラル画像データを１８個（６個×３個）のプロジェクタの配置に対応させて分割することにより、１フレーム分の領域が１８分割された１８個の要素画像データを生成する。画像処理装置３０が生成する１８個の要素画像データは、それぞれ整数画素数分の幅および高さを有する。そして、画像処理装置３０は、１８個の要素画像データを１フレーム分の要素画像データセットとしてプロジェクタアレイ４０に供給する。画像処理装置３０がインテグラル画像データを分割して要素画像データセットを得る処理（分割処理）の詳細については後述する。画像処理装置３０は、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。

撮影表示システム２において、撮像用レンズアレイ２４０が有する１８個の要素レンズと画素との位置関係は、１８台のプロジェクタが有する１８個の投射レンズと画素との位置関係に等しい。また、撮影装置２６０が備える撮像部の解像度と、プロジェクタアレイ４０が有する１８台のプロジェクタそれぞれが備える表示部の表示面をマトリクス状に並べて得られる解像度とは等しい。また、撮像用レンズアレイ２４０における要素レンズのレンズピッチと、プロジェクタアレイ４０における１８個の投射レンズのレンズピッチとは、相対的に等しい比率となる小数画素分である。

図８は、プロジェクタアレイ４０におけるプロジェクタの概略の機能構成を示すブロック図である。同図に示すように、プロジェクタ４１は、入力部４１１と、表示部４１２と、投射レンズ４１３と、位置調整部４１４とを備える。

入力部４１１は、画像処理装置３０が供給する要素画像データを取り込み、この要素画像データを表示部４１２に供給する。

表示部４１２は、入力部４１１が供給する要素画像データを取り込んで要素画像を表示面に表示させる。表示部４１２は、例えば液晶表示デバイスにより実現される。

投射レンズ４１３は、表示部４１２の表示面に表示された要素画像からの光束を通過させて外部に投射するレンズ光学系である。投射レンズ４１３は、例えば、第１実施形態において用いた屈折率分布型（ＧＲａｄｉｅｎｔ ＩＮｄｅｘ Ｌｅｎｓｅｓ；ＧＲＩＮ）レンズにより実現される。投射レンズ４１３は、焦平面が表示部４１２の表示面に一致するように設けられる。例えば、前述の式（２）を満たす仕様の屈折率分布型レンズを投射レンズ４１３として用いた場合、この屈折率分布型レンズの焦平面を、この屈折率分布型レンズにおける空間像側と反対側の端面に一致させることができる。したがって、この場合、投射レンズ４１３の空間像側と反対側の端面を表示部４１２の表示面に接触させてプロジェクタ４１を構成することができる。これにより、プロジェクタ４１を小型化することができる。

位置調整部４１４は、投射レンズ４１３の光軸Ｃに垂直な面（ＸＹ平面）内における任意の方向に、投射レンズ４１３と表示部４１２との位置関係を変更する光軸ずらし調整部である。具体的に、位置調整部４１４は、投射レンズ４１３に対する表示部４１２の位置を、例えば、表示部４１２の中心軸Ｄが投射レンズ４１３の光軸Ｃに一致した状態を基準として、光軸Ｃに対して垂直なＸ軸方向およびＹ軸方向またはいずれか一方向に任意の大きさだけ変位させる。位置調整部４１４に対する位置の変位の指定は、例えば、マニュアル操作、または、外部の制御装置からの指令による。変位の指定には、ずらし方向（Ｘ軸方向およびＹ軸方向またはいずれか一方向）およびずらし量の指定が含まれる。

すなわち、１８台のプロジェクタ４１を有するプロジェクタアレイ４０は、画素ピッチの非整数倍の大きさのレンズピッチを有してＺ軸に直交する第１平面上に配設される１８個の投射レンズ４１３を備える。また、プロジェクタアレイ４０は、第１平面において所定の基準位置（例えば、プロジェクタアレイ４０における中心位置）からＸ軸およびＹ軸それぞれに沿って離れるにしたがい、投射レンズ４１３の光軸Ｃと表示面の中心軸ＤとのＸ軸方向およびＹ軸方向における小数画素間隔のずれを整数画素間隔に補正するよう、第１平面と平行な第２平面上に配設される１８個の表示部４１２を備える。

ここで、各プロジェクタ４１における、投射レンズ４１３および表示部４１２の位置の変位量について説明する。１８台のプロジェクタ４１それぞれが備える表示部４１２の表示面を連結して得られる面上に、１８個の投射レンズ４１３を撮像用レンズアレイ２４０の要素レンズと同一の配列により設けた位置関係において、各投射レンズ４１３の中心位置に対応する画素の第１の座標と、各表示面の中心位置に対応する画素の第２の座標とを求める。そして、プロジェクタ４１ごとに得られる、投射レンズ４１３における第１の座標と表示面における第２の座標とのずれを、Ｘ軸方向およびＹ軸方向それぞれの成分として取得し、変位量とする。

次に、画像処理装置３０によるインテグラル画像データの分割処理について説明する。画像処理装置３０は、撮影装置２６０からインテグラル画像データを取り込み、このインテグラル画像データを自装置に内蔵する記憶部に記憶させる。この記憶部は、少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。そして、画像処理装置３０は、インテグラル画像データを１８個（６個×３個）のプロジェクタ４１の配置に対応させて分割することにより、それぞれ整数画素数分の幅および高さを有する１８個の要素画像データを取得する。

以上説明したとおり、第４実施形態である表示装置は、画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される１８個の投射レンズ４１３と、第１平面において所定の基準位置から第１平面上のＸ軸およびＹ軸それぞれの方向に離れるにしたがって、１８個の投射レンズ４１３それぞれの光軸Ｃと１８個の投射レンズ４１３それぞれに対応する表示面の中心軸ＤとのＸ軸およびＹ軸それぞれの方向における小数画素間隔のずれを整数画素間隔に補正するよう、第１平面と平行な第２平面上に配設される１８個の表示部４１２と、を備える。

つまり、第３実施形態である表示装置は、プロジェクタ４１の投射レンズ４１３を要素レンズとして構成したインテグラルフォトグラフィによる表示装置である。よって、第３実施形態である表示装置によれば、従来の表示用レンズアレイを用いて構成された表示装置に対して、各要素画像の解像度を格段に高めることができる。

また、第３実施形態である表示装置は、要素画像群データを表示部４１２の配置に対応させて分割することによって１８個の要素画像データを生成し、１８個の要素画像データを１８個の表示部４１２に供給する画像処理装置３０をさらに備える。つまり、画像処理装置３０は、１フレーム分のインテグラル画像データを、整数画素数分の幅および高さを有する１８個の要素画像データに分割する処理だけで、要素画像データセットを生成することができる。

以上により、本発明の第３実施形態である表示装置は、インテグラルフォトグラフィによって高精細な空間像を得ることができる。

［第４の実施の形態］
第３実施形態における画像処理装置３０は、撮影装置２６０からインテグラル画像データを取り込み、このインテグラル画像データを分割することによって要素画像データセットを生成する例であった。本発明の第４実施形態は、撮影領域が異なる複数の撮影装置から複数の分割インテグラル画像データを取り込んだ画像処理装置が、それら複数の分割インテグラル画像データそれぞれを分割することにより要素画像データセットを生成する例である。

図９は、本発明の第４実施形態である表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム２ａは、撮像用レンズアレイ２４０と、拡散板２５０と、３台の撮影装置２６０−１，２６０−２，２６０−３と、画像処理装置（画像処理部）３０ａと、プロジェクタアレイ４０とを含んで構成される。撮影表示システム２ａにおいて、表示装置は、画像処理装置３０ａと、プロジェクタアレイ４０とを含む。

撮影装置２６０−１，２６０−２，２６０−３は、拡散板２５０に表出した１フレーム分のインテグラル画像をＸ軸方向に３分割して得られる分割領域Ｅ１，Ｅ２，Ｅ３を撮影して３個の分割インテグラル画像データを生成し、これら３個の分割インテグラル画像データを画像処理装置３０ａに供給する。

撮像用レンズアレイ２４０と拡散板２５０と撮影装置２６０−１，２６０−２，２６０−３とは、インテグラルフォトグラフィによる撮影システムを構成する。

画像処理装置３０ａは、撮影装置２６０−１，２６０−２，２６０−３が供給する３個の分割インテグラル画像データを取り込む。画像処理装置３０ａは、３個の分割インテグラル画像データを１８個（６個×３個）のプロジェクタ４０の配置に対応させて分割することにより、１フレーム分の領域が１８分割された１８個の要素画像データを生成する。

具体的に、画像処理装置３０ａは、撮影装置２６０−１が供給する第１の分割インテグラル画像データを取り込み、この第１の分割インテグラル画像データを、プロジェクタ４１−１１，４１−２１，４１−１２，４１−２２，４１−１３，４１−２３の配置に対応させて分割することにより６個の要素画像データを生成する。また、画像処理装置３０ａは、撮影装置２６０−２が供給する第２の分割インテグラル画像データを取り込み、この第２の分割インテグラル画像データを、プロジェクタ４１−３１，４１−４１，４１−３２，４１−４２，４１−３３，４１−４３の配置に対応させて分割することにより６個の要素画像データを生成する。また、画像処理装置３０ａは、撮影装置２６０−３が供給する第３の分割インテグラル画像データを取り込み、この第３の分割インテグラル画像データを、プロジェクタ４１−５１，４１−６１，４１−５２，４１−６２，４１−５３，４１−６３の配置に対応させて分割することにより６個の要素画像データを生成する。画像処理装置３０ａが３系統の要素画像データを生成する際に実行する分割処理については、第３実施形態における分割処理と同様であるため、ここでの説明を省略する。

画像処理装置３０ａは、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。

なお、撮影装置２６０の台数は３台に限定されることなく複数であってよい。また、１フレームを分割する方向もＸ軸方向に限ることなく、Ｙ軸方向としてもよい。また、各分割領域の面積は、同一でもよいし同一でなくてもよい。これに合わせて、画像処理装置３０ａは、３個に限定されることなく複数の分割インテグラル画像データを取り込んで要素画像データセットを生成してもよい。

撮影表示システム２ａにおいて、撮像用レンズアレイ２４０が有する複数の要素レンズと画素との位置関係は、１８台のプロジェクタ４１が有する１８個の投射レンズ４１３と画素との位置関係に等しい。

［第５の実施の形態］
図１０は、本発明の第５実施形態である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム３は、カメラアレイ１０と、画像処理装置（画像処理部）５０と、プロジェクタアレイ４０ａとを含んで構成される。撮影表示システム３において、撮影装置は、カメラアレイ１０を含む。また、表示装置は、プロジェクタアレイ４０ａを含む。

プロジェクタアレイ４０ａは、第３実施形態におけるプロジェクタアレイ４０と同様の構成を有しているが、１８台のプロジェクタ４１それぞれが備える投射レンズ４１３は、カメラアレイ１０におけるカメラ１１の各撮像レンズ１１１が凸レンズであり且つ画像処理装置５０が各カメラ１１からの要素画像データを１８０度反転させる処理を実行しない場合は、前記の式（２）を満たす仕様の屈折率分布型レンズまたは凹レンズである。また、各投射レンズ４１３は、カメラ１１の各撮像レンズ１１１が凸レンズであり且つ画像処理装置５０が各カメラ１１からの要素画像データを１８０度反転させる処理を実行する場合は、凸レンズである。

撮影表示システム３は、撮像用レンズアレイに代えてカメラアレイ１０、表示用レンズアレイに代えてプロジェクタアレイ４０ａを用いて構成される、インテグラルフォトグラフィによる撮影表示システムである。カメラアレイ１０が有するカメラ１１およびプロジェクタアレイ４０ａが有するプロジェクタ４１は、同数であり、相対的に同一の配列である。

画像処理装置５０は、カメラアレイ１０が供給する要素画像データセットを取り込む。画像処理装置５０は、要素画像データセットが有する１８個の要素画像データを１８個（６個×３個）のカメラ１１の配置に対応付けて、自装置に内蔵する記憶部に記憶させる。この記憶部は、例えばカメラアレイ１０が撮像する少なくとも１フレーム分の画像データを記憶可能なフレームメモリである。画像処理装置５０は、記憶部に記憶された１８個の要素画像データについて、個体差を除去または低減するための補正処理を実行する。例えば、画像処理装置５０は、要素画像間の色の属性（例えば、色相、彩度、明度）の誤差、および輝度の誤差をなくすための画像処理を実行する。また、画像処理装置５０は、記憶部に記憶された１８個の要素画像データを読み出し、これら１８個の要素画像データを１８個（６個×３個）のプロジェクタ４１の配置に対応付けてプロジェクタアレイ４０ａに供給する。

具体的に、画像処理装置５０は、カメラ１１−１１，１１−２１，１１−３１，１１−４１，１１−５１，１１−６１，１１−１２，１１−２２，１１−３２，１１−４２，１１−５２，１１−６２，１１−１３，１１−２３，１１−３３，１１−４３，１１−５３，１１−６３から取得した要素画像データを、プロジェクタ４１−１１，４１−２１，４１−３１，４１−４１，４１−５１，４１−６１，４１−１２，４１−２２，４１−３２，４１−４２，４１−５２，４１−６２，４１−１３，４１−２３，４１−３３，４１−４３，４１−５３，４１−６３に供給する。画像処理装置５０は、ＣＰＵを搭載した演算処理装置、例えば、コンピュータ装置により実現される。

撮影表示システム３において、カメラアレイ１０における１８台のカメラ１１の配列パターンと、プロジェクタアレイ４０ａにおける１８台のプロジェクタ４１の配列パターンとは、同一である。

以上により、本発明の第５実施形態における撮影表示システムは、インテグラルフォトグラフィによって高精細な空間像を得るためのインテグラル画像データを生成することができる。また、この撮影表示システムは、インテグラルフォトグラフィによって高精細な空間像を得ることができる。

［第５実施形態の第１の変形例］
第５実施形態の第１変形例は、第５実施形態に対し、カメラアレイ１０が撮像用レンズアレイ越しに被写体を撮像し、プロジェクタアレイ４０ａがインテグラルフォトグラフィによる画像光を表示用レンズアレイ越しに投射する例である。

図１１は、第５実施形態の第１変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム３ａは、撮像用レンズアレイ２４０と、カメラアレイ１０と、画像処理装置（画像処理部）５０と、プロジェクタアレイ４０ａと、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム３ａにおいて、撮影装置は、撮像用レンズアレイ２４０とカメラアレイ１０を含む。また、表示装置は、プロジェクタアレイ４０ａと表示用レンズアレイ２３とを含む。

撮像用レンズアレイ２４０は、カメラアレイ１０の撮影範囲をカバーするよう設けられる。撮像用レンズアレイ２４０とカメラアレイ１０とのＺ軸方向の位置関係として、カメラアレイ１０は、撮像用レンズアレイ２４０の焦平面を撮像する位置に設けられる。

表示用レンズアレイ２３０は、プロジェクタアレイ４０ａの投射範囲をカバーするよう設けられる。カメラアレイ１０における各カメラ１１と撮像用レンズアレイの要素レンズとの位置関係と、プロジェクタアレイ４０ａにおける各プロジェクタ４１と表示用レンズアレイ２３０の要素レンズとの位置関係は同一である。

撮影表示システム３ａとして奥行き情報の反転を防ぐため、撮像用レンズアレイ２４０の要素レンズおよび表示用レンズアレイ２３０の要素レンズは、例えば、凸レンズおよび凹レンズの組み合わせとする。

カメラアレイ１０において、各カメラ１１は、当該カメラ１１の撮像領域が他のカメラ１１の撮像領域にできるだけ重複しないように配置される。

本変形例では、一枚の撮像用レンズアレイ２４０を１８台のカメラ１１が撮影することによって、カメラ１台あたりが取得する光線の空間的な情報量を増加させ、１８台のプロジェクタ４１が出力した画像光を一枚の表示用レンズアレイ２３０を通して投射することによって、プロジェクタ１台あたりが再生する光線の空間的な情報量を増加させる。

［第５実施形態の第２の変形例］
図１２は、第５実施形態の第２変形例である撮影装置および表示装置を適用した撮影表示システムの概略の構成を示す構成図である。同図に示すように、撮影表示システム３ｂは、撮像用レンズアレイ２４０と、拡散板２５０と、カメラアレイ１０と、画像処理装置（画像処理部）５０と、プロジェクタアレイ４０ａと、拡散板２２０と、表示用レンズアレイ２３０とを含んで構成される。撮影表示システム３ｂにおいて、撮影装置は、撮像用レンズアレイ２４０と拡散板２５０とカメラアレイ１０を含む。また、表示装置は、プロジェクタアレイ４０ａと拡散板２２０と表示用レンズアレイ２３とを含む。

拡散板２５０は、撮像用レンズアレイ２４０のカメラアレイ１０側の焦平面上に設けられる。また、拡散板２２０は、表示用レンズアレイ２３０のプロジェクタアレイ４０ａ側の焦平面上に設けられる。

第５実施形態の第１変形例では、カメラアレイ１０は撮像用レンズアレイ２４０から到来する光束を撮像したが、本変形例では、カメラアレイ１０は拡散板２５０に表出したインテグラル画像を撮像する。また、第５実施形態の第１変形例では、表示用レンズアレイ２３０は、プロジェクタアレイ４０ａが投射した画像光をそのまま要素レンズを通して投射させたが、本変形例では、表示用レンズアレイ２３０は、プロジェクタアレイ４０ａが拡散板２２０に表出させた画像に基づく光束を、要素レンズを通して投射させる。

カメラアレイ１０における各カメラと撮像用レンズアレイの要素レンズとの位置関係と、プロジェクタアレイ４０ａにおける各プロジェクタと表示用レンズアレイ２３０の要素レンズとの位置関係は同一である。

なお、カメラアレイ１０において、１８台のカメラ１１それぞれは、当該カメラ１１の撮像領域が他のカメラ１１の撮像領域にできるだけ重複しないように配置される。これにおいて、例えば、拡散板２５０のカメラアレイ１０側の表示面を、カメラアレイ１０の各カメラ１１の配置に対応させて１８個の撮影範囲ブロックに区分する。そして、カメラ１１ごとに、撮像レンズ１１１および撮像部１１２の位置のずれ量を調整したカメラアレイ１０を用いる。同様に、拡散板２２０のプロジェクタアレイ４０ａ側の表示面を、プロジェクタアレイ４０ａの各プロジェクタ４１の配置に対応させて１８個の投影範囲ブロックに区分する。そして、プロジェクタ４１ごとに、表示部４１２および投射レンズ４１３の位置のずれ量を調整したプロジェクタアレイ４０ａを用いる。

このように構成することにより、撮影表示システム３ｂの表示用レンズアレイ２３０の焦平面上に再生されるインテグラル画像は、撮影表示システム３のプロジェクタアレイ４０ａの投射レンズの焦平面上に再生されるインテグラル画像よりも精細度が高い。一方、再生されるインテグラル画像の位置が前記の位置から離れるにしたがって、その精細度の違いは小さくなり、所定の距離を境に両者の精細度が逆転する。

例えば、撮影表示システム３ｂにおける表示用レンズアレイ２３０のレンズピッチおよび焦点距離それぞれを１ミリメートル（ｍｍ）、プロジェクタアレイ４０ａの台数を表示用レンズアレイ２３０のレンズ個数の半分とした場合、撮影表示システム３ｂのプロジェクタアレイ４０ａの各プロジェクタ４１は、表示用レンズアレイ２３０において対応する４個の要素レンズの背面に要素画像を表示するために使われる。一方、撮影表示システム３におけるプロジェクタアレイ４０ａの配列ピッチおよび焦点距離それぞれを２（ｍｍ）とする。両者を比較すると、撮影表示システム３におけるプロジェクタアレイ４０ａの各プロジェクタの投射レンズピッチと撮影表示システム３ｂのレンズアレイ２３０のレンズピッチのみが異なり、表示するための画素ピッチおよび各レンズから再生される光線の角度は等しい。この場合、インテグラル方式による再生像の解像度は図１４に示す限界解像度特性グラフのようになる。同図において、横軸は焦平面から再生像までの距離（単位はメートル）であり、縦軸は限界解像度（単位はｃｙｃｌｅｓ ｐｅｒ ｄｅｇｒｅｅ；ｃｐｄ）である。また、同図において、実線の限界解像度特性グラフは撮影表示システム３ｂについてのグラフであり、破線の限界解像度特性グラフは撮影表示システム３についてのグラフである。

また、カメラアレイ１０が有するカメラ１１の台数とプロジェクタアレイ４０ａが有するプロジェクタ４１の台数とが同一でない場合、カメラ１１における画素位置とプロジェクタ４１における画素位置との対応関係をあらかじめ求めておく。そして、画像処理装置５０は、その対応関係を参照テーブル化し、この参照テーブルを画像処理装置５０に記憶させておく。画像処理装置５０は、記憶された参照テーブルを参照することによって、拡散板２５０上の画素値を拡散板２２０上に再現させる。

［その他の実施の形態］
上述した第１実施形態から第５実施形態、および変形例は、カメラ１１およびプロジェクタ４１を正方格子状に配列した例とした。これらの配列パターンは、正方格子配列に限定されることなく、例えば、図１３に示すデルタ配列としてもよい。同図はカメラアレイの例である。同図に示すように、撮像レンズをデルタ状に隙間なく配列したカメラアレイ１０ａにおいて、撮像レンズの直径をＤとすると、例えば、Ｘ軸方向のレンズピッチは行ごとにＤであり、隣接する行間においてはＤ／２である。また、Ｙ軸方向のレンズピッチは、（√３）×Ｄ／２である。

また、第１実施形態から第５実施形態、および変形例において、撮像用レンズ１１１と投射レンズ４１３との組み合わせを以下のようにしてもよい。すなわち、撮像側または表示側いずれか一方を屈折率分布型レンズとし、他方を凸レンズとする。または、いずれか一方を凸レンズとし、他方を凹レンズとする。または、撮像側および表示側の両方を凸レンズまたは屈折率分布型レンズとし、画像処理装置において各要素画像の奥行きを反転させる画像処理を実行してもよい。

また、上述した各実施形態における画像処理装置２０，２０ａ，３０，３０ａ，５０の一部の機能をコンピュータで実現するようにしてもよい。この場合、その機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録し、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませて、このコンピュータシステムが実行することによって実現してもよい。なお、このコンピュータシステムとは、オペレーティング・システム（Ｏｐｅｒａｔｉｎｇ Ｓｙｓｔｅｍ；ＯＳ）や周辺装置のハードウェアを含むものである。また、コンピュータ読み取り可能な記録媒体とは、フレキシブルディスク、光磁気ディスク、光ディスク、メモリカード等の可搬型記録媒体、コンピュータシステムに備えられる磁気ハードディスクやソリッドステートドライブ等の記憶装置のことをいう。さらに、コンピュータ読み取り可能な記録媒体とは、インターネット等のコンピュータネットワーク、および電話回線や携帯電話網を介してプログラムを送信する場合の通信回線のように、短時間の間、動的にプログラムを保持するもの、さらには、その場合のサーバ装置やクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持するものを含んでもよい。また上記のプログラムは、前述した機能の一部を実現するためのものであってもよく、さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせにより実現するものであってもよい。

以上、本発明の実施の形態について図面を参照して詳述したが、具体的な構成はその実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計等も含まれる。

１，１ａ，２，２ａ，３，３ａ，３ｂ 撮影表示システム
１０，１０ａ カメラアレイ
１１−１１，１１−２１，１１−３１，１１−４１，１１−５１，１１−６２，１１−１２，１１−２２，１１−３２，１１−４２，１１−５２，１１−６２，１１−１３，１１−２３，１１−３３，１１−４３，１１−５３，１１−６３ カメラ
２０，２０ａ，３０，３０ａ，５０ 画像処理装置（画像処理部）
４０，４０ａ プロジェクタアレイ
４１ プロジェクタ
１１１ 撮像レンズ
１１２ 撮像部
１１３ 出力部
１１４ 位置調整部
２１０−１，２１０−２，２１０−３ 投影装置
２２０ 拡散板
２３０ 表示用レンズアレイ
２４０ 撮像用レンズアレイ
２５０ 拡散板
２６０−１，２６０−２，２６０−３ 撮影装置
４１１ 入力部
４１２ 表示部
４１３ 投射レンズ
４１４ 位置調整部

Claims (6)

1. 画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、
   前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に配設される複数の撮像部と、
   前記撮像部の撮像面の中心軸と対応する前記レンズの光軸との位置関係を変更する位置調整部と、
   を備える撮影装置であって、
   前記位置調整部は、対応する前記レンズの光軸と撮像面の中心軸とのずれが整数画素間隔になるよう補正する、
   ことを特徴とする撮影装置。
2. 前記複数の撮像部が撮像して得た複数の要素画像データを、前記複数の撮像部の配置に対応させて合成することにより要素画像群データを生成する画像処理部、
   をさらに備えることを特徴とする請求項１記載の撮影装置。
3. 前記画像処理部は、前記複数の要素画像データを合成する際に、前記撮像部と前記レンズとの対において前記撮像部の前記撮像面から外側に出る前記レンズの部分に対応する画素の画素値を、画素の内挿処理を実行することにより求める、
   ことを特徴とする請求項２記載の撮影装置。
4. 前記画像処理部は、前記要素画像群データを拡大または縮小させる、
   ことを特徴とする請求項２または３いずれか記載の撮影装置。
5. 画素ピッチの非整数倍の大きさのレンズピッチを有して第１平面上に配設される複数のレンズと、
   前記複数のレンズそれぞれに対応して、前記第１平面と異なる第２平面上に配設される複数の表示部と、
   前記表示部の表示面の中心軸と対応する前記レンズの光軸との位置関係を変更する位置調整部と、
   を備える表示装置であって、
   前記位置調整部は、対応する前記レンズの光軸と表示面の中心軸とのずれが整数画素間隔になるよう補正する、
   ことを特徴とする表示装置。
6. 要素画像群データを前記表示部の配置に対応させて分割することによって複数の要素画像データを生成し、前記複数の要素画像データを前記複数の表示部に供給する画像処理部、
   をさらに備えることを特徴とする請求項５記載の表示装置。

Images