JP6114229B2 - 画像生成装置及び画像生成プログラム - Google Patents

Description

本発明は、画像生成装置及び画像生成プログラムに関する。

被写体からカメラレンズに侵入する全ての光線の向きと光量とを取得する技術が知られており、被写体を異なる視点から撮影した複数の画像の集合をライトフィールド画像という。ライトフィールド画像を得ることができるライトフィールドカメラは、被写体からカメラのレンズに侵入する全ての光線の向きと光量とを取得するために、メインレンズと、被写体との間に配置された光学要素のアレイとを有している。このアレイ内で、各光学要素は、アレイ内の他の光学要素と異なる角度からの光を受光し、異なるビューを主レンズに向ける。光検出器アレイは、アレイ内の各光学要素からの異なるビューを受像することができる。

Clemens Birklbauer and Oliver Bimber, "Panorama Light-Field Imaging," SIGGRAPH'12 ACM SIGGRAPH 2012 Talks, Article No.25, 2012

上述のような構成を有するライトフィールドカメラによって、ライトフィールド画像を利用できるようになったが、レンズやアレイなどのサイズの制約により、ライトフィールド画像の画角が限定されたものとなっている。

そこで、非特許文献１に記載された技術では、パノラマ合成技術を用いて、ライトフィールド画像の画角向上を試みている。しかし、この技術は、画像処理ベースのアプローチであり、ライトフィールド画像として画角の広い光線情報を得るには至っていない。また、物体境界などのオクルージョンや、画素値が均一であり画像対応のつきにくい箇所では、画像の結合がうまくできずに不自然な画像結合になってしまうことがある。

上記事情に鑑み、本発明は、複数のライトフィールド画像から画角を広げたライトフィールド画像を生成するとともに、画角に応じた光線情報を取得することができる画像生成装置及び画像生成プログラムを提供することを目的としている。

本発明の一態様は、メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成される複数のライトフィールド画像から新たなライトフィールド画像を生成する画像生成装置であって、前記ライトフィールド画像それぞれから複数のエピポーラ画像を生成するエピポーラ画像変換部と、前記ライトフィールド画像のうち選択されたいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像に対して他のライトフィールド画像のエピポーラ画像を結合して結合エピポーラ画像を生成するエピポーラ画像結合部と、前記結合エピポーラ画像から前記新たなライトフィールド画像を生成する画像生成部とを備えることを特徴とする画像生成装置である。

また、本発明の一態様は、上記に記載の画像生成装置において、前記エピポーラ画像変換部は、前記ライトフィールド画像において同じ列又は同じ行のマイクロレンズ画像それぞれにおける同一列の画素列又は同一行の画素行を取得し、取得した画素列又は画素行を取得元のマイクロレンズ画像の並び順に配置することでエピポーラ画像を生成することを特徴とする。

また、本発明の一態様は、上記に記載の画像生成装置において、前記エピポーラ画像結合部は、前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像と前記基準画像のエピポーラ画像との間のずれ量を算出し、前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像と前記基準画像のエピポーラ画像とを前記ずれ量に基づいて結合して結合エピポーラ画像を生成することを特徴とする。

また、本発明の一態様は、上記に記載の画像生成装置としてコンピュータを機能させるための画像生成プログラムである。

本発明によれば、複数のライトフィールド画像を複数のエピポーラ画像に変換し、エピポーラ画像を結合して生成した結合エピポーラ画像から新たなライトフィールド画像を生成することにより、複数のライトフィールド画像が有していた光線情報を新たなライトフィールド画像に含めることができ、広い画角の新たなライトフィールド画像を生成するとともに、画角に応じた光線情報を取得することが可能となる。

実施形態における画像生成装置１の構成を示すブロック図である。 画像取得部１１が取得する複数のライトフィールド画像を模式的に説明する図である。 エピポーラ画像変換部１２がエピポーラ画像を生成する処理を示すフローチャートである。 エピポーラ画像結合部１３が行う結合処理を示すフローチャートである。 画像生成部１４が出力ライトフィールド画像を生成する処理を示すフローチャートである。 エピポーラ画像変換部１２が行う処理の一例を示す図である。 エピポーラ画像結合部１３が行う処理の一例を示す図である。 画像生成部１４が行う処理の一例を示す図である。

以下、図面を参照して、本発明の実施形態における画像生成装置及び画像生成プログラムを説明する。図１は、一実施形態における画像生成装置１の構成を示すブロック図である。画像生成装置１は、複数のライトフィールド画像から、各ライトフィールドが画像よりも広い画角を有する出力ライトフィールド画像を生成する。図１に示すように、画像生成装置１は、画像取得部１１、エピポーラ画像変換部１２、エピポーラ画像結合部１３及び画像生成部１４を備えている。

画像取得部１１は、メインレンズが結像した被写体の光学像をマイクロレンズを用いて撮影した複数のライトフィールド画像を取得する。画像取得部１１が取得する複数のライトフィールド画像は、ライトフィールドカメラを移動させながら撮影を行うことにより得られたライトフィールド画像である。すなわち、複数の地点から被写体をライトフィールドカメラで撮影することにより得られた複数のライトフィールド画像であって重複領域を有する複数のライトフィールド画像を画像取得部１１は取得する。画像取得部１１が取得する各ライトフィールド画像は、複数のマイクロレンズを介して撮影された小画像（以下、マイクロレンズ画像という。）が複数並ぶことで構成されている画像である。

図２は、画像取得部１１が取得する複数のライトフィールド画像を模式的に説明する図である。図２に示すように、ライトフィールドカメラを移動させながら、ライトフィールド画像を取得する。このとき、各ライトフィールド画像は、少なくとも隣接する撮影地点間のライトフィールド画像においては、ライトフィールド画像上の被写体において重複する領域を有している。図２に示す例では、＃０番目の撮影位置でのライトフィールド画像と、＃ｍ番目の撮影位置でのライトフィールド画像とに重複領域が存在する場合を示している。なお、重複領域を有するライトフィールド画像は、異なる撮影位置におけるライトフィールドカメラの撮像素子（例えばＣＣＤやＣＭＯＳイメージセンサ）の物理的な位置が重複するようにライトフィールドカメラを移動させて取得したライトフィールド画像であってもよい。

エピポーラ画像変換部１２は、画像取得部１１が取得した複数のライトフィールド画像ごとにエピポーラ画像（ＥＰＩ：Epipolar Plane Image）を生成する。エピポーラ画像は、エピポーラ平面画像ともいわれる。図３は、エピポーラ画像変換部１２がエピポーラ画像を生成する処理を示すフローチャートである。エピポーラ画像変換部１２は、処理を開始すると、画像取得部１１が取得した複数のライトフィールド画像のうち未処理のライトフィールド画像を一つ選択する（ステップＳ１２１）。

エピポーラ画像変換部１２は、選択したライトフィールド画像を構成し行列状に並べられているマイクロレンズ画像から、未処理の行に並べられているマイクロレンズ画像を抽出する（ステップＳ１２２）。なお、ライトフィールド画像から未処理の行に含まれるマイクロレンズ画像を抽出する順序は、任意の順序でよく、例えば画像の上から順に、画像にしたから順に、又はランダムな順で抽出してもよい。

エピポーラ画像変換部１２は、抽出した行に含まれるマイクロレンズ画像それぞれから、マイクロレンズ画像における同一行の画素を行単位で抽出する（ステップＳ１２３）。ステップＳ１２３において抽出される画素は、処理対象としているライトフィールド画像における同一行の画素になっている。

エピポーラ画像変換部１２は、ステップＳ１２３において抽出した各マイクロレンズ画像における一行の画素を、時計回りに９０度又は反時計回りに９０度回転させた一列の画素として扱う。エピポーラ画像変換部１２は、各マイクロレンズ画像に対応する一列の画素をマイクロレンズ画像の並び順に配置してエピポーラ画像を生成する（ステップＳ１２４）。例えばエピポーラ画像変換部１２は、ライトフィールド画像における同一行のｎ個のマイクロレンズ画像それぞれからｍ個の画素を行単位で抽出した場合、ｍ行ｎ列に配置された画素からなるエピポーラ画像を生成することになる。

エピポーラ画像変換部１２は、選択したライトフィールド画像における全ての行に対してステップＳ１２２からステップＳ１２４までの処理を施したか否かを判定する（ステップＳ１２５）。未処理の行がある場合（ステップＳ１２５：ＮＯ）、エピポーラ画像変換部１２は、処理をステップＳ１２２に戻して、選択したライトフィールド画像の全ての行に対して処理が行われるまで、ステップＳ１２２からステップＳ１２４までの処理を繰り返す。一方、全ての行に対して処理を終えた場合（ステップＳ１２５：ＹＥＳ）、エピポーラ画像変換部１２は、処理をステップＳ１２６に進める。

エピポーラ画像変換部１２は、画像取得部１１が取得した全てのライトフィールド画像に対してステップＳ１２１からステップＳ１２５までの処理を施したか否かを判定する（ステップＳ１２６）。未処理のライトフィールド画像がある場合（ステップＳ１２６：ＮＯ）、エピポーラ画像変換部１２は、処理をステップＳ１２１に戻して、取得した全てのライトフィールド画像に対して処理が行われるまで、ステップＳ１２１からステップＳ１２５までの処理を繰り返す。一方、全てのライトフィールド画像に対して処理を終えた場合（ステップＳ１２６：ＹＥＳ）、エピポーラ画像変換部１２は、エピポーラ画像を生成する処理を終了する。

エピポーラ画像変換部１２は、上述の処理を行うことにより、複数のライトフィールド画像それぞれに対して、複数のエピポーラ画像を生成する。エピポーラ画像変換部１２は、生成した複数のエピポーラ画像と当該エピポーラ画像の元になったライトフィールド画像とを対応付けて、エピポーラ画像結合部１３に出力する。

なお、エピポーラ画像変換部１２は、各ライトフィール画像において行ごとにマイクロレンズ画像を選択することに代えて、各ライトフィールド画像において列ごとにマイクロレンズ画像を選択してもよい。この場合、エピポーラ画像変換部１２は、選択した列のマイクロレンズ画像それぞれから列単位で画素を選択し、選択した一列の画素をマイクロレンズ画像の並び順で行方向に並べることによりエピポーラ画像を生成する。

エピポーラ画像結合部１３は、エピポーラ画像変換部１２が出力する複数のエピポーラ画像を、基準となるライトフィールド画像から生成されたエピポーラ画像のエピポーラ画像空間に結合する結合処理を行う。エピポーラ画像結合部１３は、基準となるライトフィールド画像のエピポーラ画像に他のライトフィールド画像のエピポーラ画像を結合してエピポーラ画像を拡張する。以下、結合により得られたエピポーラ画像を結合エピポーラ画像という。

図４は、エピポーラ画像結合部１３が行う結合処理を示すフローチャートである。エピポーラ画像結合部１３は、エピポーラ画像変換部１２が複数のエピポーラ画像を生成した後にそれらのエピポーラ画像を取得すると、画像取得部が取得した全てのライトフィールド画像からいずれか一つのライトフィールド画像を選択する。エピポーラ画像結合部１３は、選択した一つのライトフィールド画像を基準画像に設定する（ステップＳ１３１）。なお、基準画像に設定するライトフィールド画像の選択は、画像生成装置１を操作するユーザの指示に従って選択してもよいし、他のライトフィールド画像との重畳領域が最も多いライトフィールド画像を選択してもよいし、ランダムに選択してもよい。

エピポーラ画像結合部１３は、基準画像から生成された複数のエピポーラ画像のうち、未処理のエピポーラ画像を一つ選択する（ステップＳ１３２）。エピポーラ画像結合部１３は、基準画像と重畳領域を有するライトフィールド画像から生成されたエピポーラ画像と、基準画像から生成されたエピポーラ画像とのずれ量を算出する（ステップＳ１３３）。エピポーラ画像結合部１３が算出するずれ量には、例えば二つのエピポーラ画像において類似する領域を重ね合わせた際のエピポーラ画像間のずれを示す値が用いられる。

エピポーラ画像結合部１３は、基準画像と重畳領域を有するライトフィールド画像のエピポーラ画像を、基準画像から生成されたエピポーラ画像の画像空間に、ステップＳ１３２において算出したずれ量に基づいて重畳する（ステップＳ１３４）。

エピポーラ画像結合部１３は、基準画像のエピポーラ画像に、基準画像と重畳領域を有するライトフィールド画像のエピポーラ画像を重畳した際に、複数のエピポーラ画像が重なり合う領域における画素の画素値を算出する。エピポーラ画像結合部１３は、複数のエピポーラ画像の重なり合う画素それぞれの画素値に基づいて、当該画素の新たな画素値を算出して更新する（ステップＳ１３５）。エピポーラ画像結合部１３は、基準画像のエピポーラ画像に対して、他のライトフィールド画像のエピポーラ画像を重畳し、エピポーラ画像が重なり合う領域における画素の画素値を更新することにより、結合エピポーラ画像を取得する。

エピポーラ画像結合部１３は、基準画像の全てのエピポーラ画像に対してステップＳ１３２からステップＳ１３５までの処理を施したか否かを判定する（ステップＳ１３６）。未処理のエピポーラ画像がある場合（ステップＳ１３６：ＮＯ）、エピポーラ画像結合部１３は、処理をステップＳ１３２に戻して、基準画像の全てのエピポーラ画像に対して処理が行われるまで、ステップＳ１３２からステップＳ１３５までの処理を繰り返す。一方、全てのエピポーラ画像に対して処理を終えた場合（ステップＳ１３６：ＹＥＳ）、エピポーラ画像結合部１３は、結合処理を終了する。

画像生成部１４は、エピポーラ画像結合部１３が取得した結合エピポーラ画像から画素値を抽出することにより、画角の広いライトフィールド画像を生成する。以下、画像生成部１４が生成する画角の広いライトフィールド画像を、出力ライトフィールド画像という。図５は、画像生成部１４が出力ライトフィールド画像を生成する処理を示すフローチャートである。画像生成部１４は、処理を開始すると、エピポーラ画像結合部１３が取得した複数の結合エピポーラ画像のうち、未処理の結合エピポーラ画像を一つ選択する（ステップＳ１４１）。

画像生成部１４は、選択した結合エピポーラ画像から画素列を抽出する（ステップＳ１４２）。画像生成部１４は、選択した結合エピポーラ画像と抽出した画素列の位置とに応じて定められる出力ライトフィールド画像上の位置に、抽出した画素列を配置する（ステップＳ１４３）。

画像生成部１４は、選択した結合エピポーラ画像の全ての画素列に対してステップＳ１４２及びステップＳ１４３の処理を施したか否かを判定する（ステップＳ１４４）。未処理の画素列がある場合（ステップＳ１４４：ＮＯ）、画像生成部１４は、処理をステップＳ１４２に戻して、全ての画素列に対して処理が行われるまで、ステップＳ１４２及びステップＳ１４３の処理を繰り返す。一方、全ての画素列に対して処理を終えた場合（ステップＳ１４４：ＹＥＳ）、画像生成部１４は、処理をステップＳ１４５に進める。

画像生成部１４は、全ての結合エピポーラ画像に対してステップＳ１４１からステップＳ１４４までの処理を施したか否かを判定する（ステップＳ１４５）。未処理の結合エピポーラ画像がある場合（ステップＳ１４５：ＮＯ）、画像生成部１４は、処理をステップＳ１４１に戻して、全ての結合エピポーラ画像に対して処理が行われるまで、ステップＳ１４１からステップＳ１４４までの処理を繰り返す。一方、全ての結合エピポーラ画像に対して処理を終えた場合（ステップＳ１４５：ＹＥＳ）、画像生成部１４は、抽出した画素列を配置することにより生成された出力ライトフィールド画像を出力し（ステップＳ１４６）、出力ライトフィールド画像の生成処理を終了する。

画像生成装置１は、上述の処理を行う各機能部を有することにより、複数のライトフィールド画像から、画角の広い出力ライトフィールド画像を生成するとともに、画角に応じた真に正しい光線を獲得することができる。

以下では、図を参照して、上述した画像生成装置１が画角の広い出力ライトフィールド画像を生成するときの具体的な手順を説明する。

（画像取得部１１の動作）
メインレンズと撮像素子との間にマイクロレンズアレイが設けられたプレノプティックカメラをライトフィールドカメラとして用いて撮影を行い、複数のライトフィールド画像を取得する。プレノプティックカメラの内部においては、マイクロレンズアレイ及び撮像素子を微小なピンホールカメラアレイと見なすことができるため、メインレンズによって結像されたシーンの光学像を、これらの微小なピンホールカメラアレイを用いて撮影したことになる。例えばライトフィールドカメラとしてのプレノプティックカメラを水平なレールに乗せて等間隔に動かしながら撮影することにより得られた、画像間に重畳領域を有する複数のライトフィールド画像を画像取得部１１が取得する。

（エピポーラ画像変換部１２の動作）
図６は、エピポーラ画像変換部１２が行う処理の一例を示す図である。
［ステップＳ１２２］ プレノプティックカメラで撮影したライトフィールド画像は、図６に示すように、マイクロレンズで撮影された小画像（マイクロレンズ画像）で構成されている。公知の円検出方法などを用いて、エピポーラ画像変換部１２は、マイクロレンズ画像６０１の中心位置６０２を算出し、各マイクロレンズ画像６０１を選択する。

［ステップＳ１２３］ エピポーラ画像変換部１２は、選択した行におけるマイクロレンズ画像のうち、着目しているマイクロレンズ画像６０３から同一行の画素６０４を行単位で抽出する。

［ステップＳ１２４］ 全てのマイクロレンズ又はマイクロレンズ画像の番号を２次元のパラメータ（ｘ，ｙ）で定義することができる。ここでは、ライトフィールド画像の原点を画像の左上の画素としたときに、最も左上に位置するマイクロレンズ画像の番号を（ｘ，ｙ）＝（０，０）とする。右側に隣接するマイクロレンズ画像に進むごとにｘの値は、１ずつインクリメントされ、下側に隣接するマイクロレンズ画像に進むごとにｙの値は１ずつインクリメントされる。このマイクロレンズ画像の番号に基づいて、ステップＳ１２３において抽出した行単位の画素をエピポーラ画像の空間に配置してエピポーラ画像を生成する。

なお、エピポーラ画像空間は、ｎ’−ｉ’空間で定義される空間である。ｎ’軸の値は、マイクロレンズ画像の番号（ｘ，ｙ）のうちｘ又はｙのいずれかの値に対応する。ｉ’軸の値は、マイクロレンズ画像における水平方向又は垂直方向の画素座標に対応する。なお、マイクロレンズ画像における画素座標は、マイクロレンズ画像の中心を原点とする座標系における座標である。

例えば、ライトフィールド画像において行ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一行の画素を行単位で抽出する場合には、ｎ’軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｘの値に対応し、ｉ’軸の値はマイクロレンズ画像における各画素の水平方向の画素座標に対応する。また、ライトフィールド画像において列ごとにマイクロレンズ画像を選択し、選択したマイクロレンズ画像から同一列の画素を列単位で抽出する場合には、ｎ’軸の値はマイクロレンズ画像の番号（ｘ，ｙ）のｙの値に対応し、ｉ’軸の値はマイクロレンズ画像における各画素の垂直方向の画素座標に対応する。

図６に示す例において、エピポーラ画像変換部１２は、マイクロレンズ画像６０３における中央の一行における画素６０４を行単位で抽出し、抽出した画素６０５をエピポーラ画像空間における画素列６０６に配置する。マイクロレンズ画像６０３の番号は（１，４）であり、マイクロレンズ画像６０３から抽出された画素６０４は、エピポーラ画像空間におけるｎ’＝４の位置に配置される。

［ステップＳ１２５］ エピポーラ画像変換部１２は、ステップＳ１２２からステップＳ１２４までの処理を繰り返すことにより、ライトフィールド画像における各行のマイクロレンズ画像それぞれに対して複数のエピポーラ画像を生成する。
［ステップＳ１２６］ エピポーラ画像変換部１２は、ステップＳ１２１からステップＳ１２５までの処理を繰り返すことにより、全てのライトフィールド画像ごとに複数のエピポーラ画像を生成する。すなわち、ライトフィールド画像における画素の行数分のエピポーラ画像が、ライトフィールド画像ごとに生成されることになる。

（エピポーラ画像結合部１３の動作）
図７は、エピポーラ画像結合部１３が行う処理の一例を示す図である。
［ステップＳ１３１］ エピポーラ画像結合部１３は、複数のライトフィールド画像のうち、画角を広げる対象となるライトフィールド画像を基準画像に選択し、選択したライトフィールド画像を基準画像に設定する。

［ステップＳ１３２、Ｓ１３３］ エピポーラ画像結合部１３は、基準画像のエピポーラ画像を１枚選択し、選択したエピポーラ画像に対応するｎ’−ｉ’がなすエピポーラ画像空間を基準画像のエピポーラ画像のエピポーラ画像空間とする。エピポーラ画像結合部１３は、基準画像のエピポーラ画像７０１と、基準画像と重畳領域を有するライトフィールド画像のエピポーラ画像７０２とのずれ量（Δｎ’，Δｉ’）を算出する。このとき、（Δｎ’，Δｉ’）が取り得る値の範囲は予め定められている。エピポーラ画像結合部１３は、ずれ量（Δｎ’，Δｉ’）の取り得る値ごとに、エピポーラ画像７０１とエピポーラ画像７０２との重複範囲７０３における相関値を算出する。相関値には、例えば重複範囲７０３におけるＳＳＤ（Sum of Squared Difference）などの公知の相関指標を用いる。エピポーラ画像結合部１３は、算出した相関値のうち、最も相関が高いことを示す相関値に対応する（Δｎ’，Δｉ’）をずれ量として選択する。なお、ずれ量は画素列又は画素行において同じ値をとるものであるため、各行又は各列におけるエピポーラ画像において算出したずれ量の平均値や中間値、最頻値を算出してずれ量として選択してもよい。

［ステップＳ１３４］ エピポーラ画像結合部１３は、ステップＳ１３３において取得したずれ量（Δｎ’，Δｉ’）に基づいて、基準画像と重畳領域を有するライトフィールド画像のエピポーラ画像７０２を、基準画像のエピポーラ画像７０１のエピポーラ画像空間に重畳する。

［ステップＳ１３５］ エピポーラ画像空間における重複領域７０３の各画素に対して、基エピポーラ画像７０１の画素値とエピポーラ画像７０２の画素値とが存在するため、重複領域７０３の各画素に対する画素値を決定する必要がある。ここでは、基準画像のエピポーラ画像７０１の画素と、重畳領域を有するライトフィールド画像のエピポーラ画像７０２の画素とのうち、それぞれの抽出元のマイクロレンズ画像の画像中心に近い方の画素を選択することにより、画素値を決定する。なお、最近傍の画素中心に近い画素を選択し、画素値を決定してもよい。

［ステップＳ１３６］ エピポーラ画像結合部１３は、ステップＳ１３２からステップＳ１３５までの処理を繰り返すことにより、基準画像のエピポーラ画像それぞれに対応する結合エピポーラ画像を生成する。

（画像生成部１４の動作）
図８は、画像生成部１４が行う処理の一例を示す図である。
［ステップＳ１４１、Ｓ１４２］ 画像生成部１４は、エピポーラ画像結合部１３が生成した複数の結合エピポーラ画像から一つの結合エピポーラ画像８０１を選択し、選択した結合エピポーラ画像８０１から一列の画素列８０２を抽出する。

［ステップＳ１４３］ 画像生成部１４は、抽出した画素列８０２を、出力ライトフィールド画像８０４上の対応する位置８０３に配置する。ここで、抽出した画素列８０２を配置する位置８０３は、出力ライトフィールド画像において結合エピポーラ画像８０１が対応する行のマイクロレンズ画像のうち画素列８０２のマイクロレンズ番号ｎ’に対応するマイクロレンズ画像内の画素である。また、抽出した画素列８０２を配置する位置８０３は、対応するマイクロレンズ画像内において結合エピポーラ画像８０１に対応する行の画素である。

［ステップＳ１４４］ 画像生成部１４は、選択した結合エピポーラ画像８０１の全ての画素列に対してステップＳ１４２及びステップＳ１４３の処理を繰り返し、出力ライトフィールド画像８０４上のマイクロレンズ画像行８０５における一行分の画素に対して、結合エピポーラ画像８０１の各画素列を配置する。

［ステップＳ１４５］ 画像生成部１４は、出力ライトフィールド画像８０４に上の各マイクロレンズ画像行における各画素に対して、結合エピポーラ画像の各画素列を配置するために、エピポーラ画像結合部１３が生成した全てのエピポーラ画像を用いて、ステップＳ１４１からステップＳ１４４までの処理を繰り返す。

上述のように、画像生成装置１が有する各機能部が動作することにより、複数のライトフィールド画像を結合して、画角を広げた出力ライトフィールド画像を生成することができる。また、出力ライトフィールド画像における各マイクロレンズ画像を生成する際に結合エピポーラ画像を用いて各マイクロレンズ画像を拡張することにより、画角に応じた画素値（光線情報）を取得することができる。

なお、図６から図８において示した例では、出力ライトフィールド画像における水平方向（行方向）の画角を広げる処理が行われているが、同様の処理により出力ライトフィールド画像における垂直方向（列方向）の画角を広げることが可能である。垂直方向の画角を広げる際には、例えばエピポーラ画像変換部１２が、ライトフィールド画像から列ごとにマイクロレンズ画像を抽出し、抽出した各マイクロレンズ画像から同一列の画素を抽出してエピポーラ画像を生成する。また、画像生成部１４が、出力ライトフィールド画像において、結合エピポーラ画像が対応する列のマイクロレンズ画像のうち結合エピポーラ画像の各列に対応するマイクロレンズ画像内の当該結合エピポーラ画像に対応する列の画素に、結合エピポーラ画像の各列の画素を配置する。また、水平方向及び垂直方向の両方の画角を広げる際には、水平方向及び垂直方向の両方に対応した処理を行うことになる。

また、本実施形態において、画像生成装置１は一つの装置として構成される場合について説明した。しかし、本実施形態における構成に限ることなく、画像取得部１１、エピポーラ画像変換部１２、エピポーラ画像結合部１３及び画像生成部１４それぞれが独立した装置で構成され、各装置が相互に通信可能に接続された画像生成システムとして構成してもよい。

上述した実施形態における画像生成装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。更に「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、更に前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Programmable Logic Device）やＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを用いて実現されるものであってもよい。

以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。

複数のライトフィールド画像から画角の広いライトフィールド画像を生成する際に、画角に応じた光線情報を取得することが不可欠な用途にも適用できる。

１…画像生成装置
１１…画像取得部
１２…エピポーラ画像変換部
１３…エピポーラ画像結合部
１４…画像生成部

Claims (4)

1. メインレンズが結像した被写体の光学像を複数のマイクロレンズを用いて撮像した複数のマイクロレンズ画像を含み構成される複数のライトフィールド画像から新たなライトフィールド画像を生成する画像生成装置であって、
   前記ライトフィールド画像それぞれから複数のエピポーラ画像を生成するエピポーラ画像変換部と、
   前記ライトフィールド画像のうち選択されたいずれか一つのライトフィールド画像を基準画像とし、前記基準画像のエピポーラ画像に対して他のライトフィールド画像のエピポーラ画像を結合して結合エピポーラ画像を生成するエピポーラ画像結合部と、
   前記結合エピポーラ画像から前記新たなライトフィールド画像を生成する画像生成部と
   を備えることを特徴とする画像生成装置。
2. 請求項１に記載の画像生成装置において、
   前記エピポーラ画像変換部は、
   前記ライトフィールド画像において同じ列又は同じ行のマイクロレンズ画像それぞれにおける同一列の画素列又は同一行の画素行を取得し、取得した画素列又は画素行を取得元のマイクロレンズ画像の並び順に配置することでエピポーラ画像を生成する
   ことを特徴とする画像生成装置。
3. 請求項１又は請求項２のいずれかに記載の画像生成装置において、
   前記エピポーラ画像結合部は、
   前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像と前記基準画像のエピポーラ画像との間のずれ量を算出し、前記基準画像と重複する領域を有するライトフィールド画像のエピポーラ画像と前記基準画像のエピポーラ画像とを前記ずれ量に基づいて結合して結合エピポーラ画像を生成する
   ことを特徴とする画像生成装置。
4. 請求項１から請求項３のいずれか一項に記載の画像生成装置としてコンピュータを機能させるための画像生成プログラム。