JP2013175948A - 画像生成装置、画像生成方法及びプログラム - Google Patents

Abstract

【課題】主要な被写体の撮影情報をより反映する再構成画像を生成する。
【解決手段】レイヤ定義部３２１０が再構成画像のレイヤを定義する。レイヤ画像生成部３２２０がライトフィールド画像とその奥行きマップとから、割り振られた奥行きの範囲に含まれる被写体の画像をレイヤ毎に再構成する。変換画素抽出部３２４０が、変更操作取得部３１５０が取得した操作が指定する変更被写体に対応する変換レイヤの上の対応画素を抽出する。変換行列定義部３２５０が定義した変換行列を用いてレイヤ画像を変換し、変更再構成画像生成部３２７０がレイヤ画像を重ね合わせて構図変更した画像を生成する。
【選択図】図６

Description

本発明は、画像生成装置、画像生成方法及びプログラムに関する。

写真を撮影した後に被写体の構図を修正したい場合がある。このような要求に応えるため、画像処理分野では画像をその生成後に修正する技術が知られている。
このような技術に関連して、特許文献１は画像領域を指定して画像の構図を違和感が無いように補完して変更する方法を開示している。特許文献１に記載の技術では、構図変更によって生じた間隙を、周辺の画素の画素値を用いて補正する。

また、異なる視点から撮影した被写体の画像を取得することにより、被写体からカメラのレンズに侵入する光線の位置、方向、光量に係る情報を取得する技術が知られている。このような技術に関連して、特許文献２は被写体を撮影した複数の画像（ライトフィールド画像）を取得して、該複数の画像から焦点距離・被写界深度等を変化させた被写体の画像を再構成する技術を開示している。

特表２００５−５０９９８５号公報 特表２００８−５１５１１０号公報

一つの視点から撮影した画像に含まれる被写体の情報は、光線が到達する位置とその光量（各画素の座標とその画素値にそれぞれ対応）が全てである。そのため、このような平面的な画像上で被写体の構図を変更すると、特許文献１に記載の技術を用いて補正をするにしても、被写体からの光線情報によらない補間が必要となる。そのため、構図変更した画像は、実際に被写体の構図を変更して撮影した場合と大きく異なってしまう。即ち、構図変更により、画像が被写体からの情報を反映しないものとなってしまうという問題があった。
一方、特許文献２は、被写体を複数の視点から撮影することにより、被写体の立体的な形状を示す情報や、ある視点からは隠れて見えない被写体からの光線情報等を得る技術を開示している。しかし、特許文献１は被写体の構図を変更した再構成画像を生成する方法については言及しておらず、上記の課題を解決するものではない。

本発明は上記事情に鑑みてなされたもので、再構成画像を生成するにあたって、主要な被写体の撮影情報をより反映する再構成画像を生成する画像生成装置、画像生成方法及びプログラムを提供することを目的とする。

上記目的を達成するため、本発明に係る画像生成装置は、
複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部が取得した撮影画像のサブ画像を構成する画素であるサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す係数である奥行係数を取得する奥行取得部と、
構図変更の対象となる被写体である変更被写体の位置に対応する前記サブ画素から、前記奥行取得部が取得した奥行係数が所定条件を満たすサブ画素を、当該構図変更の対象となる被写体に対応する画素である変更画素として抽出する変更画素抽出部と、
前記被写体の像を再構成した、所定の再構成面に定義される再構成画像を構成する画素である再構成画素と、当該再構成画素に対応する前記サブ画素である対応サブ画素と、の対応関係のうち、前記変更画素抽出部が抽出した変更画素と前記再構成画素との対応を変更する対応変更部と、
前記再構成画素の画素値を、前記対応変更部が変更した対応関係が定める当該再構成画素の対応サブ画素の画素値に基づいて求めることにより、前記構図変更の対象となる被写体の構図を変更した再構成画像を生成する変更再構成画像生成部と、
を有することを特徴とする。

本発明によれば、再構成画像を生成するにあたって、主要な被写体の撮影情報をより反映する再構成画像を生成できる。

本発明の実施形態１に係るデジタルカメラの構成を示す図である。 実施形態１に係るデジタルカメラの光学系の構成を示す図である。 実施形態１に係るライトフィールド画像の例を示す図であり、（ａ）はライトフィールド画像の概念図を、（ｂ）はライトフィールド画像の例を、（ｃ）はライトフィールド奥行きマップの例を示す。 実施形態１に係る光線追跡について説明するための図である。 実施形態１に係る対応リストの例を示す図である。 実施形態１に係る画像生成装置の（ａ）物理的構成と、（ｂ）機能的構成と、を示す図である。 実施形態１に係る（ａ）被写体と、（ｂ）レイヤと再構成画像と、（ｃ）再構成奥行きマップと、を示す図である。 実施形態１に係る構図変更を指示する操作を説明するため、（ａ）仮再構成画像と、（ｂ）変更被写体を選択する操作と、（ｃ）変更対象を確定する操作と、（ｄ）平行移動操作と、（ｅ）平行移動後の再構成画像と、（ｆ）縮小操作と、（ｇ）縮小後の再構成画像と、を示す図である。 実施形態１に係る（ａ）仮再構成画像と、（ｂ）仮再構成奥行きマップと、（ｃ）変更再構成画像と、（ｄ）変更再構成奥行きマップと、を示す図である。 実施形態１に係る画像出力処理を示すフローチャートである。 実施形態１に係る仮再構成画像生成処理を示すフローチャートである。 実施形態１に係る変換設定獲得処理を示すフローチャートである。 実施形態１に係る変換再構成画像生成処理を示すフローチャートである。

以下、本発明を実施するための形態に係るデジタルカメラ及び画像生成装置（再構成画像生成装置）を、図を参照しながら説明する。なお、図中同一又は相当する部分には同一符号を付す。

（実施形態１）
実施形態１に係る画像生成装置３０（再構成画像生成装置）は、図１に示すデジタルカメラ１に搭載されている。デジタルカメラ１は、以下のｉ）〜ｖｉ）の機能を持つ。
ｉ）被写体を複数の視点から撮影した複数のサブイメージからなるライトフィールド画像を撮影する機能
ｉｉ）被写体の奥行きを示す奥行き係数を求める機能
ｉｉｉ）ライトフィールド画像から被写体の画像を再構成した再構成画像を生成する機能
ｉｖ）生成した再構成画像を表示する機能
ｖ）再構成画像の構図の変更を指示する操作を受け付ける機能
ｖｉ）受付けた操作に応じて、構図を変更した再構成画像を生成する機能
画像生成装置３０は、このうち特にｖｉ）受付けた操作に応じて、構図を変更した再構成画像を生成する機能、を受け持つ。

デジタルカメラ１は、図１に示すように、撮像部１０と、画像生成装置３０を含む情報処理部２０と、記憶部４０と、インターフェース部（Ｉ／Ｆ部）５０と、から構成される。デジタルカメラ１は、このような構成により、外部から被写体の光線情報を取得して、被写体の構図を変更して表示する。

撮像部１０は、光学装置１１０と、イメージセンサ１２０と、から構成され、撮像動作を行う。

光学装置１１０は、図２に示すように、シャッタ１１１と、メインレンズＭＬと、サブレンズアレイＳＬＡ（マイクロレンズアレイ）と、から構成される。光学装置１１０は、外部（被写体）からの光線をメインレンズＭＬによって捉え、サブレンズアレイＳＬＡを構成する各サブレンズＳＬの光学中心を視点として得られる光学像をイメージセンサ１２０に投影する。

イメージセンサ１２０は、例えば、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）やＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｌｌｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子と、撮像素子が生成した電気信号を情報処理部２０に伝達する伝達部と、から構成される。イメージセンサ１２０はこのような物理構成により光学装置１１０が投影した光学像を電気信号に変換して情報処理部２０に伝達する。

シャッタ１１１は、イメージセンサ１２０への外部光の入射と遮蔽を制御する。
メインレンズＭＬは、一又は複数の凸レンズ、凹レンズ、非球面レンズ等から構成され、撮影時の被写体ＯＢの光を光学像としてメインレンズＭＬとサブレンズアレイＳＬＡとの間の仮想的な結像面ＭＩＰ上に結像させる。なお、撮影時の被写体ＯＢは、図２に示すようにメインレンズＭＬからそれぞれ異なる距離だけ離れた複数の構成物であるとする。

サブレンズアレイＳＬＡは、平面上に格子状に配置されたＭ×Ｎ個のサブレンズ（マイクロレンズ）ＳＬから構成される。サブレンズアレイＳＬＡは、メインレンズＭＬが結像面ＭＩＰ上に結像させた光学像を、それぞれのサブレンズＳＬの光学中心を視点として観測した光学像として、イメージセンサ１２０を構成するイメージセンサの撮像面ＩＥ上に結像する。メインレンズＭＬが成す平面と撮像面ＩＥが成す平面とから構成される空間をライトフィールドと呼ぶ。

メインレンズＭＬについて、最大径ＬＤと、有効径ＥＤと、が定義できる。最大径ＬＤは、メインレンズＭＬの物理的な直径である。一方、有効径ＥＤはメインレンズＭＬのうち撮影に使用できる領域の直径である。メインレンズＭＬのうち、有効径ＥＤの外部は、メインレンズＭＬに貼り付けられた各種フィルタやメインレンズＭＬ周辺の物理構造によってメインレンズに入出力する光線が遮られるため、画像を撮影・再構成するために有効でない領域（非有効領域）である。
最大径ＬＤと有効径ＥＤは、予め測定され、工場出荷時に記憶部４０に記憶されている。

図２の例では、複数の被写体ＯＢ（被写体ＯＢ１〜被写体ＯＢ３）のうち、被写体ＯＢ２のある部分ＰＯＢからの光線がメインレンズＭＬの有効径ＥＤをなす部分（有効部）を通過し、複数のサブレンズＳＬ上に投影されている。このように、ある被写体ＯＢの部分ＰＯＢから発された光が、メインレンズＭＬの有効部を通過してサブレンズアレイＳＬＡ上に投影される領域を、部分ＰＯＢのメインレンズブラーＭＬＢと呼ぶ。このうち、主光線が到達する部位をメインレンズブラー中心ＭＬＢＣと呼ぶ。

メインレンズＭＬの光学中心からメインレンズの結像面ＭＩＰまでの距離をｂ１、結像面ＭＩＰからサブレンズアレイＳＬＡがなす面までの距離をａ２、サブレンズアレイＳＬＡからイメージセンサの撮像面ＩＥの距離をｃ２とする。

撮像部１０は、上記構成により、ライトフィールドを通過する光線の情報（到達部位、光量、方向）を含んだライトフィールド画像（ＬＦＩ）を撮影する。
ブロック状の被写体ＯＢを撮影したＬＦＩの一例を図３（ａ）に示す。
このＬＦＩは、格子状に配置されたＭ×Ｎ個のサブレンズＳＬ（マイクロレンズ）のそれぞれに対応する画像（サブイメージＳＩ、Ｓ_１１〜Ｓ_ＭＮ）から構成されている。例えば、左上のサブイメージＳ_１１は、被写体ＯＢを左上から撮影した画像に相当し、右下のサブイメージＳ_ＭＮは被写体ＯＢを右下から撮影した画像に相当する。

各サブイメージは、サブイメージを結像させたサブレンズの位置に対応したＬＦＩ上の位置に配置されている。
第ｉ行のサブイメージ（横の一列のサブイメージ）Ｓｉ１〜ＳｉＮは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡの第ｉ行の横に並んだサブレンズＳＬで結像したステレオ画像に相当する。同様に、第ｊ列のサブイメージ（縦の一列のサブイメージ）Ｓ１ｊ〜ＳＭｊは、メインレンズＭＬが結像した像を、サブレンズアレイＳＬＡ（マイクロレンズアレイ）の第ｊ列の縦に並んだサブレンズＳＬで撮影したステレオ画像に相当する。なお、本実施形態では各サブイメージはグレースケール画像であり、サブイメージを構成する各画素は画素値（スカラー値）を持つ。

図１に示す情報処理部２０は、物理的にはＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、内部バスと、Ｉ／Ｏポートと、から構成される。情報処理部２０はこのような物理構成により、画像処理部２１０、奥行き推定・対応定義部２２０、画像生成装置３０、撮像制御部２３０、として機能する。

画像処理部２１０は、イメージセンサ１２０から電気信号を取得し、取得した電気信号を記憶部４０の撮像設定記憶部４１０が記憶する撮像設定情報に基づいて画像データに変換する。画像処理部２１０は、画像データと、撮像設定情報に所定の情報を加えた撮影設定情報と、を奥行き推定・対応定義部２２０に伝達する。
撮像設定記憶部４１０が記憶する撮像設定情報については後述する。

奥行き推定・対応定義部２２０は、ＬＦＩ及び撮影設定情報を受け取ると、ＬＦＩ上のサブイメージ上の各画素について、被写体の奥行きを推定する。このとき、被写体の奥行きは、その被写体に対応する画素が各サブイメージ上でズレている程度を算出する。そのズレの大きさを奥行きを示す情報とする。そして、推定した奥行きを示す係数を各画素の位置に配置した情報（ライトフィールド奥行きマップ、ＬＦＤＭ）を生成する。奥行き係数が大きいほど、その画素に写った被写体が手前（メインレンズＭＬに近い位置）にあると推定される。

ＬＦＤＭは、ＬＦＩに含まれるサブ画素のそれぞれについて、奥行きを示す係数を定義する。図３（ｂ）に示すＬＦＩに対するＬＦＤＭを、図３（ｃ）に示す。図３（ｂ）に示したような直方体の被写体を撮影したＬＦＩに対して、より奥にある部分（直方体の奥の辺）がより濃い色で、手前（正面）が薄い色で示されている。以下、同様に奥行きマップにおいてより奥にある部位を濃い画素で、手前にある部分を薄い画素で示す。
なお、ここではＬＦＩとＬＦＤＭとは分離した情報として説明したが、ＬＦＩとＬＦＤＭとは、ある座標に配置された画素について、画素値（ＬＦＩが保持する情報）と奥行き係数（ＬＦＤＭが保持する情報）とを対応づけて記録するまとまった一つのデータであってもよい。
ＬＦＤＭは、他視点画像の各画素の奥行きを推定する既知の任意の方法を用いて生成することが出来るが、本実施形態では後述する方法を用いるとする。

奥行き推定・対応定義部２２０は、さらに構図変更前の再構成画像（仮再構成画像）を構成する画素（再構成画素）と、サブ画素との対応関係を定めた対応情報を求める。対応情報とは、再構成設定が示す再構成面上に配置された再構成画像について、その再構成画素の位置にある被写体が写っているサブ画素（対応サブ画素）を示す情報である。

奥行き推定・対応定義部２２０は、再構成画素（注目画素）の対応サブ画素を抽出する既知の任意の方法によって対応情報を生成してよいが、本実施形態では以下の光線追跡により抽出する。
光線追跡の方法を、図４を参照して説明する。被写体の注目部位Ｐ（注目画素に対応）からの光線は、メインレンズの主点を通過してマイクロレンズアレイの到達位置（図４のサブレンズ上のＭＬＢＣ）に到達する。ＭＬＢＣのサブレンズ上の位置は、撮影設定に基づいて求めることが出来る。ＭＬＢＣを中心に、注目部位からの光が届いた範囲（メインレンズブラーＭＬＢ、図４の網線領域）を、レンズの特性からもとめる。メインレンズブラーＭＬＢの直径は、メインレンズＭＬと再構成面ＲＦとの距離ａ１、メインレンズと結像面ＭＩＰとの距離ｂ１（ａ１とメインレンズの焦点距離ｆＭＬから算出）、結像面ＭＩＰとサブレンズアレイＳＬＡとの距離ａ２と、メインレンズの有効径ＥＤと、から三角形の相似を用いて算出する。

次に、サブレンズアレイＳＬＡに含まれるサブレンズＳＬの内、一部又は全てがメインレンズブラーＭＬＢに含まれるサブレンズＳＬを特定する。そして、特定されたサブレンズＳＬを順次注目レンズとして選択する。

注目画素からの光線が、選択されたサブレンズによって結像される位置にある、サブ画像上の画素（対応画素）を抽出する。

具体的には、対応画素（到達点ＰＥに対応）を以下の手順で算出する。
まず、再構成面ＲＦに対応するメインレンズの焦点面までの距離ｂ１は既知の数値ａ１及びｆ_ＭＬを用い、次の式（１）から算出することが出来る。

また、ａ２は既知の数値ｃ１から、式（１）を用いて算出したｂ１を減算することで求めることができる。
さらに、被写体距離ａ１と、距離ｂ１と、既知の数値ｘ（ＰＳと光軸ＯＡとの距離）を以下の式（２）に用いて、注目部位Ｐが、光軸ＯＡからメインレンズＭＬを通して結像する点（結像点ＰＦ）までの距離ｘ’を算出する。
ｘ’＝ｘ・ｂ１／ａ１…（２）
さらに、光軸ＯＡから注目サブレンズＳＬの主点までの距離ｄ、上記の式（２）を用いて算出された距離ｘ’、マイクロレンズアレイ（サブレンズアレイＳＬＡ）から撮像面ＩＥまでの距離ｃ２、及び結像点ＰＦからサブレンズアレイＳＬＡまでの距離ａ２を以下の式（３）に用いて、到達点ＰＥと光軸ＯＡとの距離ｘ’’を算出する。

Ｙ軸方向にも同様に計算し、到達点ＰＥの位置を特定する。そして、到達点ＰＥに対応するサブイメージ上の画素を対応画素とする。

対応情報の一例である、対応リストを図５に示す。図５の対応リストは、再構成画素の再構成画像上の座標（ｘｒ，ｙｒ）と、その座標の再構成画素について光線追跡により抽出されたサブ画素のＬＦＩ上の座標（ｘｓ，ｙｓ）とその重み（ｗ）を対応付けて記録する。一つの再構成画素について、サブ画素は複数抽出される。例えば、図５の例では一つ目の再構成画素（座標（０，０））について、（ｘｓ（１，１），ｙｓ（１，１））〜（ｘｓ（１，ｋ１），ｙｓ（１，ｋ１））に位置するｋ１個のサブ画素が抽出されている。抽出されたサブ画素と再構成画素の対応の強さ（重み）が、Ｗ（１，１）〜Ｗ（１，ｋ１）である。
奥行き推定・対応定義部２２０は、このような対応情報と、ＬＦＩとＬＦＤＭとを画像生成装置３０に伝達する。

画像生成装置３０は、画像処理部２１０から伝達されたＬＦＩとＬＦＤＭを用いて、被写体の構図を変換した上で再構成した画像（変更再構成画像）を生成する。
また、画像生成装置３０は、生成した変更再構成画像を記憶部４０の画像記憶部４３０に出力する。画像生成装置３０の構成及び変更再構成画像を生成する処理の内容については後述する。

撮像制御部２３０は、記憶部４０の撮像設定記憶部４１０に記憶された撮像設定情報に基づいて撮像部１０を制御し、撮像部１０を用いて被写体ＯＢを撮影する。

記憶部４０は、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成される主記憶装置と、フラッシュメモリ、ハードディスク、等の不揮発性メモリから構成される外部記憶装置と、から構成される。
主記憶装置は外部記憶装置に記憶されている制御プログラムや情報をロードし、情報処理部２０の作業領域として用いられる。
外部記憶装置は、後述する処理を情報処理部２０に行わせるための制御プログラムと情報とをあらかじめ記憶し、これらの制御プログラムや情報を情報処理部２０の指示に従って主記憶装置に伝達する。また、情報処理部２０の指示に従って、情報処理部２０の処理に基づく情報とインターフェース部５０から伝達された情報とを記憶する。

記憶部４０は、機能的には、撮像設定記憶部４１０と、再構成設定記憶部４２０と、画像記憶部４３０と、から構成される。

撮像設定記憶部４１０は、撮像設定情報を記憶する。撮像設定情報は、撮像時に変化しうる撮像パラメータとしてメインレンズＭＬとサブレンズアレイＳＬＡとの距離、メインレンズの焦点距離ｆＭＬ、露光時間を特定する情報、Ｆ値、シャッタ速度、等を含む。また、撮像設定記憶部４１０は、各サブレンズＳＬのサブレンズアレイＳＬＡ上の位置、サブレンズアレイＳＬＡと撮像面ＩＥとの距離ｃ２等のデジタルカメラ１の物理構成に係る情報を記憶している。
撮像設定記憶部４１０は、撮像パラメータを撮像制御部２３０に伝達する。
また、撮像設定記憶部４１０は、撮像部１０がＬＦＩを撮影した撮像設定情報に、物理構成に関する情報を付加して、撮影設定情報として画像処理部２１０に伝達する。

再構成設定記憶部４２０は、初期出荷時に記憶された、あるいは操作部５３０を用いてユーザが入力した、ＬＦＩから再構成して画像を生成するための設定パラメータを記憶している。
再構成設定情報は、再構成処理の具体的内容を示す情報と再構成パラメータとから構成される。本実施形態では、再構成情報はＬＦＩから下記するレイヤを生成し、レイヤを重ねて再構成画像を生成する旨の情報と、新たな画像のフォーカス点とメインレンズＭＬとの距離を特定する情報と、を含む。

画像記憶部４３０は、画像生成装置３０が生成した出力画像を記憶する。画像記憶部４３０は、インターフェース部５０のＩ／Ｏ部５１０と表示部５２０とに、記憶した画像を伝達する。

インターフェース部（図ではＩ／Ｆ部と記述する）５０は、デジタルカメラ１とその使用者（ユーザ）あるいは外部装置とのインターフェースに係る構成であり、Ｉ／Ｏ部５１０と、表示部５２０と、操作部５３０と、から構成される。

Ｉ／Ｏ部（Ｉｎｐｕｔ／Ｏｕｔｐｕｔ部）５１０は、物理的にはＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）コネクタやビデオ出力端子と、入出力制御部と、から構成される。Ｉ／Ｏ部５１０は記憶部４０に記憶された情報を外部のコンピュータに出力し、外部から伝達された情報を記憶部４０に伝達する。

表示部５２０は、液晶表示装置や有機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）ディスプレイ等から構成され、撮像設定記憶部４１０に記憶される撮像パラメータを入力するための画面や、デジタルカメラ１を操作するための画面を表示する。また、表示部５２０は、画像記憶部４３０に記憶された画像を表示する。

操作部５３０は、例えばデジタルカメラ１に備えられた各種ボタンや表示部５２０に備えられたタッチパネルと、各種ボタンやタッチパネルに行われた操作の情報を検出して記憶部４０と情報処理部２０とに伝達する伝達部を含み、ユーザ操作の情報を記憶部４０や情報処理部２０に伝達する。

次に、画像生成装置３０の構成について、図６を参照して説明する。
画像生成装置３０は物理的には、図６（ａ）に示すように情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、から構成される。

情報処理部３１は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）から構成される。

主記憶部３２は、記憶部４０の主記憶装置と同様の物理構成を持つ。外部記憶部３３は、記憶部４０の外部記憶装置と同様の物理構成を持ち、プログラム３８を記憶している。入出力部３６は、入出力端子及びＩ／Ｏデバイスから構成され、画像生成装置３０と、情報処理部２０の各部や記憶部４０、インターフェース部５０等と、の情報の入出力を実現する。内部バス３７は、情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、を接続する。

情報処理部３１と、主記憶部３２と、外部記憶部３３と、入出力部３６と、内部バス３７と、はデジタルカメラ１の情報処理部２０の内部回路と、記憶部４０と、インターフェース部５０と、によって実現される機能ブロックであってもよい。

画像生成装置３０は、外部記憶部３３に記憶されたプログラム３８及びデータを主記憶部３２にコピーして、情報処理部３１が、主記憶部３２を使用してプログラム３８を実行することにより、後述する変更再構成画像を生成するための処理を実行する。

画像生成装置３０は、上記のような物理構成により、図６（ｂ）に示すように、入力部３１０と、再構成画像生成部３２０と、出力部３３０と、として機能する。

入力部３１０は画像生成装置３０がデジタルカメラ１の各部から情報を取得する機能を担当する部位である。入力部３１０は、ＬＦＤＭ取得部３１２０と、再構成設定取得部３１１０と、ＬＦＩ取得部３１３０と、対応取得部３１４０と、変更操作取得部３１５０と、を含む。
ＬＦＤＭ取得部３１２０は、奥行き推定・対応定義部２２０からＬＦＤＭを取得する。

再構成設定取得部３１１０は、再構成設定記憶部４２０から再構成設定情報を取得する。再構成設定情報は、再構成処理の具体的内容を示す情報と、下記する画像生成処理のために必要な情報（再構成パラメータ、閾値を示す情報）が含まれる。本実施形態では、再構成パラメータは以下の処理により再構成画像を生成することを定めているとする。
ｉ）それぞれが所定範囲の奥行き係数を持つ画素から再構成された３つのレイヤ再構成画像を一度生成し、各レイヤ再構成画像を重ねて仮再構成画像を生成する。
ｉｉ）仮再構成画像を表示し、ユーザの構図変更操作を受け付ける。
ｉｉｉ）構図変更操作に基づいて構図を変更した画像を再構成し、出力する。
このために、再構成パラメータは新たな画像のフォーカス点とメインレンズＭＬとの距離（再構成距離、距離ａ１）を特定する情報、各レイヤに対応する奥行き係数の範囲、等の情報を含む。

ＬＦＩ取得部３１３０は、画像処理部２１０が生成したＬＦＩを取得する。
対応取得部３１４０は、奥行き推定・対応定義部２２０から対応情報（図５の対応リスト）を取得する。
変更操作取得部３１５０は、操作部５３０から再構成画像の構図変更を指示する操作の情報を受け取る。
これら入力部３１０の各部は、取得した情報を再構成画像生成部３２０の各部に伝達する。

再構成画像生成部３２０は、再構成設定取得部３１１０が取得した再構成設定情報及び変更操作取得部３１５０が取得した変更操作情報にしたがって、ＬＦＤＭ取得部３１２０が取得したＬＦＤＭと、ＬＦＩ取得部３１３０が取得したＬＦＩと、対応取得部３１４０が取得した対応情報と、から被写体の構図を変換した再構成画像を生成する。
本実施形態では、構図を変更していない再構成画像である仮再構成画像（ＲＩ１）を一旦生成して出力する。そして、仮再構成画像を用いてユーザが構図変更操作を実行すると、構図変更した再構成画像である変更再構成画像を生成する。また、併せて各画素の奥行きを定めた再構成奥行きマップ（ＲＤＭ）を生成する。

このために再構成画像生成部３２０は、レイヤ定義部３２１０と、レイヤ画像生成部３２２０と、仮再構成画像生成部３２３０と、変換画素抽出部３２４０と、変換行列定義部３２５０と、変換部３２６０と、変更再構成画像生成部３２７０と、を含む。

レイヤ定義部３２１０は、再構成画像（仮再構成画像及び変更再構成画像）のレイヤを定義する。即ち、再構成画像を、複数の層（レイヤ）を重ね合わせた画像として、各レイヤに所定範囲の奥行き（奥行き係数）に対応する像を割り当てることとする。各レイヤには（仮）再構成画像と同じ解像度を持つレイヤ画像が置かれる。レイヤ定義部３２１０が定義するレイヤの数・各レイヤに割り当てられた奥行き係数は、再構成設定に従う。
ここでは、３つのレイヤを定義し、設計上想定される奥行き係数を３つに分割してそれぞれ割り当てることとする。３つのレイヤのうち最も遠方に対応するレイヤを第１レイヤ、次に遠方にあるレイヤを第２レイヤ、最も近いレイヤを第３レイヤと呼ぶ。
レイヤ定義部３２１０は、定義したレイヤの情報をレイヤ画像生成部３２２０に伝達する。

レイヤ画像生成部３２２０は、各レイヤの画像（レイヤ画像）を以下のように生成する。
（１）レイヤ画像を構成する画素（レイヤ画素）の一つを注目画素とし、注目画像の座標に対応する再構成画素の対応サブ画素を、対応情報を参照して取得し、対応画素候補とする。
（２）対応候補画素の奥行き係数を、ＬＦＤＭを参照して取得する。
（３）対応候補画素のうち、奥行き係数がレイヤに割り当てられた範囲である画素を注目画素の対応画素として抽出し、その画素値を取得する。
（４）取得された画素値に、重み付け係数をかけたものを補正画素値とする。
（５）抽出した対応画素すべてについて、補正画素値を計算し総和を取る。
（６）補正画素値の総和を、重なり面積の総和（重みの総和）で除算して注目画素の画素値とする。このとき、対応画素が無い（あるいは所定の閾値よりも少ない）場合、画素値を空値（ＮＵＬＬ）とする。
（７）各レイヤの各レイヤ画素について（１）〜（６）を実行して画素値を決定する。

レイヤ画像生成部３２２０はさらに各レイヤのレイヤ画像の奥行きマップを生成する。具体的には、ＬＦＤＭの奥行き係数を画素値として、奥行きレイヤ画像と同様に対応画素を抽出し、重み付け加算して各レイヤ画素の奥行き係数とする。あるいは、対応画素の奥行き係数のうち、最頻値を再構成画素の奥行き値としても良い。

レイヤ画像生成部３２２０は、生成したレイヤ画像とレイヤ奥行きマップとを仮再構成画像生成部３２３０に伝達する。
仮再構成画像生成部３２３０は、レイヤを重ねて仮再構成画像（構図変更前の再構成画像）を生成する。また、レイヤ奥行きマップから再構成奥行きマップ（ＲＤＭ）を生成する。

この処理を、図７を参照して説明する。撮像部１０が図７（ａ）に示したように、メインレンズＭＬから遠い位置にある被写体ＯＢ１（点線）と、中程度の位置にある被写体ＯＢ２（一点鎖線）と、近い位置にある被写体ＯＢ３（実線）を撮影したとする。ＯＢ１はレイヤ１に割り当てられた奥行き係数が示す範囲（メインレンズＭＬからの距離が所定範囲）に位置するとする。同様に、ＯＢ２はレイヤ２に、ＯＢ３はレイヤ３に、それぞれ割り当てられた奥行き係数が示す範囲に位置する。

この場合、ＬＦＩと、そのＬＦＤＭとからレイヤ画像生成部３２２０がレイヤ１についてレイヤ画像１（Ｌ１）を、レイヤ２についてレイヤ画像２（Ｌ２）を、レイヤ３についてレイヤ画像３（Ｌ３）を、それぞれ生成する（図７（ｂ））。各レイヤ画像において、対応する奥行きの範囲に被写体が無いレイヤ画素の画素値はＮＵＬＬとなり、重ねられた場合に透過処理の対象となる。
仮再構成画像生成部３２３０は、仮再構成画像を構成する画素（仮再構成画素）の画素値を、同じ座標の各レイヤの画素のうち、画素値がＮＵＬＬでない最も近いレイヤの画素値とする。この処理を全仮再構成画素について実行し、仮再構成画像（ＲＩ１）を生成する。この処理を重ね合わせ処理と言う。同様に、レイヤ奥行きマップを重ね合わせて、再構成奥行きマップ（ＲＤＭ）を生成する（図７（ｃ））。

このとき、奥のレイヤ（例えばレイヤ１）には、構図変更をしないで重ね合わせた場合に、より手前のレイヤ（例えばレイヤ２）の被写体に隠れる被写体が写っている。図７（ｂ）の例では、レイヤ１にはＯＢ１’が写っているが、より手前のレイヤ２の対応する位置にＯＢ２があるため、ＲＩ１には反映されない。ＯＢ１’は、サブレンズ（あるサブ画像を撮影した視点）の一部からは見えるが、その他のサブレンズからは見えない被写体である。このように、視点の差によってあるサブ画像には写っているが、他のサブ画像には写らない被写体が発生することをオクリュージョンと呼ぶ。また、そのような被写体に対応するサブ画素をオクリュージョン画素と呼ぶ。
ＬＦＩはそれぞれ異なる視点から撮影した複数のサブ画素から構成されるので、オクリュージョン画素が含まれる。オクリュージョン画素に対応する被写体（ＯＢ１’）は、一つの視点から撮影した場合には手前の被写体に隠れてその情報を得られない。本実施形態のデジタルカメラ１は、複数の視点（各サブレンズに対応）から被写体を撮影することで、このような隠れた被写体を撮影し、奥のレイヤに像として結ぶ。そして、この像を、構図変更した画像を生成するために用いる。

仮再構成画像生成部３２３０は、生成した仮再構成画像（ＲＩ１）を出力部３３０に伝達し、出力させる。また、と、ＲＩ１とＲＤＭ１とを変換画素抽出部３２４０に伝達する。出力部３３０は、ＲＩ１を画像記憶部４３０に記憶した上で、表示部５２０に表示させる。

表示部５２０がＲＩ１をユーザに提示して、操作部５３０がユーザからＲＩ１上の被写体を選択する操作及び選択した被写体の位置・大きさを変更する操作（構図変更操作）を受け付ける。受け付けた操作を変更操作取得部３１５０が取得する。そして、変更操作取得部３１５０が取得した操作に基づき、変換画素抽出部３２４０が各レイヤにおける構図変換の対象となる被写体が占める領域（その被写体の像が存在するレイヤ、及びレイヤ画素）を抽出する。

操作受付処理について、図８の例を参照して説明する。仮再構成画像ＲＩ１が、図８（ａ）に示したように背景（白）と、焦点面ＲＦ付近に存在する子供（灰色）と、手前に存在する障害物（黒）と、を含んでいたとする。そして、表示部５２０が表示するＲＩ１を観たユーザが、手前の障害物を移動し、あるいは縮小して、子供の画像を鑑賞する際の邪魔にならないようにすることを所望する。このとき、ユーザはまず図８（ｂ）のようにタッチパネル（表示部５２０と操作部５３０）上で障害物をなぞる等の操作により被写体を選択する。変換画素抽出部３２４０は、この操作に基づき選択された被写体に対応するレイヤ画素（即ち、これに対応するサブ画素）を、変換画素として抽出する。なお、図８の白矢印はタッチパネル上の指での操作を示す。この操作から変換画素を抽出する処理については後述する。

そして、表示部５２０が変換画素に対応する再構成画素をハイライトして表示し、ユーザに選択対象が正しいか否かを、ダイアログボックスを用いて選択させる（図８（ｃ））。ユーザがこの選択対象が間違いであると判断すると、ＮＯの部分に触れる。この場合、選択はリセットされ、デジタルカメラ１は新たな選択操作を待ち受ける。一方、現在の選択で良い場合は、ＹＥＳの部位に触れ、変換対象となる変換被写体（変換画素に対応）を確定させる。

変換画素が確定すると、次にユーザが変換パラメータを定義する操作を実行する。まず、ユーザは変換被写体の構図をどのように変更するか、操作部５３０を用いて選択する。本実施形態では、移動・回転・拡大縮小から一つを選択するとする。

例えば、移動を選んだ場合、移動方向と移動量とを指定する操作を実行する。図８（ｄ）は、このような操作の例として、タッチパネル上で変換被写体（障害物）を左方向に所定量移動する操作を示している。このような操作に応答し、画像生成装置３０は図８（ｅ）に示すように、障害物を移動した再構成画像（変更再構成画像）を生成する。

また、縮小を選んだ場合、縮小の方向（縦又は横）と縮小の程度を指定する操作を実行する。図８（ｆ）は、選択領域を二本の指で潰すような操作により、横方向に縮小する操作の例を示している。このような操作に応答し、画像生成装置３０は図８（ｇ）に示すように、障害物を縮小した再構成画像（変更再構成画像）を生成する。

ユーザは、図８（ｅ）や（ｇ）のような構図変更した再構成画像上で、さらに構図変更を指示し、所望の構図の画像が得られるまで繰り返すことが出来る。
なお、この操作は、タッチパネル上の操作に限られず、例えばダイアログボックスで移動量等のパラメータを直接入力するものであってもよい。

変換行列定義部３２５０は、この変更操作取得部３１５０が取得した変更操作から変換のためのパラメータ（変換行列）を定義する。
変換行列の例として、式（４）のアフィン変換行列について説明する。

なお、ｘとｙとは変換前の変換画素の変換レイヤにおける座標、ｘ’とｙ’は変換後の座標である。レイヤ画素は、再構成画素と、サブ画素と、を奥行き毎に対応付けたものである。そのため、レイヤ画素の座標を変換することは、再構成画素とサブ画素との対応関係を変更することと等しい。
アフィン変換の行列（変換行列）の各要素は、変換方法とそのパラメータからアフィン変換行列の各要素を定める一般的な方法によって求められる。例えば、ｘ軸方向にｘ１画素だけ平行移動する場合は、ａ１とｂ２とを１とし、ｄ１をｘ１とし、ｂ１とａ２とｄ２とを０とする。ｙ方向に１／２に縮小する場合は、ａ１を１とし、ｂ２を１／２とし、ｄ１をｂ１とａ２とｄ２とを０とする。角度θだけ回転する場合は、ａ１とｂ２とをｃｏｓθ、ｂ１を−ｓｉｎθ、ａ２をｓｉｎθとする。

なお、拡大・縮小及び回転の中心は、予め（ｘ，ｙ）及び（ｘ’，ｙ’）の座標を、原点が所望の中心となるように座標変換することで自由に定めることが出来る。本実施形態では、変換対象となる領域の重心を定め、重心を中心に回転・拡大・縮小ができるように座標変換を実行した上で、式（４）を用いてアフィン変換を実行することとする。
具体的には、重心の座標が（ｘｃ，ｙｃ）、変換画素の座標が（ｘ１，ｙ１）とすると、（ｘ，ｙ）＝（ｘ１−ｘｃ，ｙ１−ｙｃ）として式（４）を用いて（ｘ’，ｙ’）を算出し、算出後にｘ’にｘｃを、ｙ’にｙｃを加算して最終算出結果とする。なお、ここで言う重心とは、全変換画素の座標値を加算平均したものである。

なお、アフィン変換の行列の各要素を定める方法は、既知の任意の方法で代替可能である。例えば、ユーザが選択領域上の３点と、その３点の移動後の部位を指定し、点の移動ベクトルに基づいて行列を生成する方法が可能である。
また、ユーザが行列式の各要素を直接入力するとしても良い。変換行列定義部３２５０は、定義した行列を示す情報を変換部３２６０に伝達する。

変換部３２６０は、変換行列定義部３２５０から伝達された変換行列を用いて変換領域が存在するレイヤ（変換レイヤ）上で被写体の構図を変更する。同様に、また、この被写体の構図の変換に伴って、変換レイヤの奥行きマップについても、同様に変換する。変換部３２６０は変換行列を用いて画像の構図を変換する既知の任意の方法で構図変換を実行して良いが、具体的には後述する処理により構図変換を実現する。
変換部３２６０は、変換後のレイヤ画像と奥行きマップとを変更再構成画像生成部３２７０に伝達する。

変更再構成画像生成部３２７０は、構図変換した再構成画像（ＲＩ２）の各画素の画素値を決定して、変更再構成画像を生成する。同様に、ＲＩ２に対応する奥行きマップ（変換再構成奥行きマップ、ＲＤＭ２）を生成する。具体的には、変換部３２６０から伝達された各レイヤ画像を仮再構成画像生成部３２３０と同様に重ね合わせ、各再構成画素の画素値を決定する。奥行き係数についても同様に重ね合わせ、ＲＤＭ２を生成する。このとき生成されたＲＩ２とＲＤＭ２との例を、図９を参照して説明する。

図９（ａ）は、仮再構成画像ＲＩ１を示す。図９（ｂ）は、ＲＩ１の奥行きマップＲＤＭ１を示す。実線で示された部位（手前の被写体）が、ＲＤＭ１上で奥行き係数が大きい（白い）部位である。図９の例では、この部位はレイヤ３（最も近いレイヤ）に対応する。
一方、一点鎖線で示された部位（より奥の被写体）はレイヤ２に対応する。この部位は、ＲＤＭ１上では灰色で示されている。レイヤ３の同部位の画素は、対応するサブ画素が無いためＮＵＬＬ値となっている。
点線で示された被写体（背景）の部位は、ＲＤＭ１においてより黒い色で示されている。この部位は、レイヤ３とレイヤ２の画素がＮＵＬＬ値であるため、レイヤ１の画素が再構成画素に現れている。

ユーザがレイヤ２の被写体を左に移動させる操作を実行したとする。これに応答して、画像生成装置３０が生成するレイヤ２の被写体を左に移動させた画像が、図９（ｃ）のＲＩ２である。
レイヤ２の被写体が移動したことに伴い、奥行きマップ（ＲＤＭ２、図９（ｄ））でもレイヤ２に対応する灰色の部位が左に移動している。ここで、移動元の部位はより奥の被写体に対応する画素（レイヤ１の画素）の画素値で補完される。その結果、レイヤ１のＯＢ１’がＲＩ２上に現れる。

また、移動した被写体（ＯＢ２）移動先に、より手前の被写体が移っていた場合には、その被写体は手前の被写体に隠される。
具体的には、手前のレイヤ（レイヤ３）の対応する画素がＮＵＬＬでない場合は、その部位のＲＩ２の画素値は、重ね合わせ処理で手前のレイヤの画素値で上書きされ、ＲＩ２に現れない。
レイヤ奥行きマップも同様に変更するため、再構成奥行きマップにおいては、移動元の部位では奥行き係数が移動前より暗く（奥行き係数が大きく）なっている。また、移動先では、奥行き係数が大きい方（より手前のレイヤ画素）が優先されて表示される。その結果、移動先により奥行き係数が大きい画素がある場合には、移動した被写体に対応する画素はその陰に隠れ、奥行き係数が小さい画素がある場合には画素値が上書きされている。

変更再構成画像生成部３２７０は、このようにして変更再構成画像の各画素の画素値を決定して、変更再構成画像を生成する。そして、生成した変更再構成画像（ＲＩ２）を出力部３３０に出力する。

出力部３３０は、変更再構成画像生成部３２７０から伝達された変更再構成画像（ＲＩ２）を画像記憶部４３０に記憶する。その後、表示部５２０がＲＩ２を表示する。

次に、デジタルカメラ１が実行する処理について、フローチャートを参照して説明する。デジタルカメラ１は、ユーザが撮像部１０を用いて被写体を撮影すると、図１０に示す画像出力処理を開始する。

画像出力処理では、まず画像処理部２１０が撮像部１０から取得した画像情報と、撮像設定記憶部４１０から取得した撮影設定情報と、からＬＦＩを生成する（ステップＳ１０１）。そして、奥行き推定・対応定義部２２０に生成したＬＦＩと撮影設定情報を伝達する。

次に奥行き推定・対応定義部２２０が、撮影設定情報を取得する。さらに、再構成設定記憶部４２０から再構成設定情報を取得する（ステップＳ１０２）。このとき取得した撮影設定及び再構成設定は、画像生成装置３０にも伝達される。

そして、奥行き推定・対応定義部２２０が、ＬＦＩを構成する各サブ画素について奥行きを推定し、画像生成装置３０が奥行き係数を配置したＬＦＤＭを取得する（ステップＳ１０３）。
具体的には、奥行き推定・対応定義部２２０は、ＬＦＩを構成する各サブ画素について、対応する被写体の奥行きを推定し、推定した奥行きを示す奥行き係数をそのサブ画素に対応付けたＬＦＤＭを生成する。

ここで、奥行き係数はＬＦＩの画素の被写体の距離を推定する任意の方法を用いて算出してよいが、本実施形態では以下の方法で算出するとする。
ｉ）ＬＦＩを構成するあるサブ画像を注目サブ画像とする。
ｉｉ）注目サブ画像を、画素値の差が所定範囲に含まれる画素によって構成される画像領域に分割する。そして、画像領域の一つを注目領域として選択する。
ｉｉｉ）注目サブ画像の右側（無い場合は左側、この場合は以下左右逆）のサブ画像を、位置順にＳＲ１、ＳＲ２、…ＳＲｋとして抽出する。なお、ｋは設定上定められた自然数である。
ｉｖ）注目領域の重心の座標（ｘ，ｙ）を取得する。なお、この座標は、各サブ画像の中心を原点とする、サブ画像毎に独立した座標系に対して定義される。
ｖ）現在の画素ズレをｄとする。サブ画像ＳＲ１において、注目領域に対応する領域（対応領域）をＳＲ１に配置する。このとき、対応領域の重心をｄだけ右側にずらして配置する。注目領域の各画素の画素値と、対応領域の対応する画素の画素値と、の差の二乗和（ＳＳＤ）を算出する。同様に、ＳＲ２に対応領域を、２ｄだけ右側にずらして配置し、ＳＳＤを算出する。ＳＳＤをＳＲｋまでそれぞれ取得して、各ＳＳＤの差分絶対値和（ＳＳＳＤ）を求める。これをｄの評価値とする。
ｖｉ）起こりうる視差の範囲の各画素ズレｄについて評価値を算出する。そのうち、得られた絶対差分値和ＳＳＳＤが最小である画素ズレ（ｄ）を、注目領域に含まれる画素の画素ズレ係数とする。
ｖｉｉ）全てのサブ画像の全ての画素について画素ズレ係数を算出し、算出した画素ズレ係数をＬＦＤＭの奥行き係数として対応する画素の部位に配置する。

なお、各画素の画素ズレ係数は、ある画像の部位に対応する他の画像のどこにあるか決定して、位置のズレを算出する任意の既知の方法で求めることが出来る。このような処理で算出した画素ズレ係数は、注目サブ画素に対応する被写体が、各サブ画像を撮影した視点の差によって、画像毎に異なる位置に像として現れるか、その位置の差（サブ画像視差）の推定結果を示す。
ここでは、サブ画像毎の視点（サブレンズ）の位置の差をレンズ視差、レンズ視差により発生する対応する像が現れる位置の差を画像視差と呼ぶ。画像視差は、レンズ視差が大きいほど大きくなる。また、奥行き（視点と被写体との距離）が大きくなるほど小さくなる。本実施形態のように、レンズ視差が各サブ画像同士で既知である場合は、画像視差（ズレ係数）を、推定した奥行きを示す奥行き係数とすることができる。

次に、奥行き推定・対応定義部２２０が、図４で説明した光線追跡により、図５に示す対応リストを生成する。そして、画像生成装置３０が生成した対応リストを取得する。（ステップＳ１０４）。

ステップＳ１０３でＬＦＤＭを、ステップＳ１０４で対応リストを取得すると、次に画像生成装置３０はＬＦＩとＬＦＤＭと対応リストとを用いて仮再構成画像（ＲＩ１）を生成する処理（仮再構成画像生成処理）を開始する（ステップＳ１０５）。ここでは、図１１に示す仮再構成画像生成処理１を実行する。

仮再構成画像生成処理１では、まずレイヤ定義部３２１０が再構成設定情報が指定する各レイヤを取得する（ステップＳ２０１）。各レイヤには再構成設定取得部３１１０が取得した再構成設定が指示する奥行き係数の範囲が割り当てられる。また、各レイヤには、再構成画像（ＲＩ１及びＲＩ２）と同じ解像度のレイヤ画像が配置される。例えば、レイヤ１に奥行き係数（画素ズレ係数）のうち０〜３を、レイヤ２に４〜７を、レイヤ３に８〜Ｎ（Ｎは設定上ありえる最大の画像視差に対応する奥行き係数）を、それぞれ割り当てる。

なお、レイヤの数・各レイヤに割り当てられる奥行き係数は自由に設定可能である。また、レイヤ定義部３２１０が、ＬＦＤＭの各画素の奥行き係数を用いたクラスタリングにより各レイヤに属する奥行き係数の範囲を決定しても良い。このとき、クラスタリングはｋ−平均アルゴリズムを用いた方法やウォード法等の任意の既知のクラスタリング手法を用いることができる。

次に、レイヤ画像生成部３２２０が、ステップＳ２０１で定義したレイヤから、注目レイヤを選択する（ステップＳ２０２）。さらに、注目レイヤに含まれる画素（レイヤ画素）から、注目レイヤ画素を選択する（ステップＳ２０３）。

次に、レイヤ画像生成部３２２０は、サブ画素から注目レイヤ画素に対応する対応画素を抽出する（ステップＳ２０４）。具体的には、図５の対応リストのうち、再構成画素の座標が注目レイヤ画像の座標と一致する行に登録されたサブ画素を、対応候補画素とする。そして、対応候補画素のうち、ＬＦＤＭで定義された奥行き係数が注目レイヤに割り当てられた範囲に含まれる画素を、対応画素として抽出する。

次に、レイヤ画像生成部３２２０が注目レイヤ画素の画素値を算出する（ステップＳ２０４）。具体的には、ステップＳ２０４で抽出された各対応画素の画素値を、それぞれの対応画素の重みを用いて重み付き加算平均して、得られた値を注目レイヤ画素の画素値とする。このとき、対応画素の数が所定の閾値以下である場合は、画素値はＮＵＬＬとなる。この閾値は再構成設定で定義されている。

同様に、レイヤ画像生成部３２２０が注目レイヤ画素の奥行き係数を算出する（ステップＳ２０６）。具体的には、ステップＳ２０４で抽出された各対応画素についてＬＦＤＭが定義する奥行き係数を、それぞれの対応画素の重みを用いて重み付き加算平均して、得られた値を注目レイヤ画素の奥行き係数とする。

次に、注目レイヤの全レイヤ画素を注目画素として上記処理が終了したか判別する（ステップＳ２０７）。未処理のレイヤ画素がある場合には（ステップＳ２０７；ＮＯ）、次の未処理のレイヤ画素についてステップＳ２０３から処理を繰り返す。一方、全レイヤ画素を処理済みの場合（ステップＳ２０７；ＹＥＳ）、そのレイヤについては処理を終了し、処理はステップＳ２０８に移行する。

ステップＳ２０８では、ステップＳ２０１で定義された全レイヤを注目レイヤとして上記処理が終了したか判別する。未処理のレイヤがある場合には（ステップＳ２０８；ＮＯ）、次の未処理のレイヤについてステップＳ２０２から処理を繰り返す。一方、全レイヤを処理済みの場合（ステップＳ２０８；ＹＥＳ）、全レイヤについてレイヤ画像の生成が終わったと判断できるので、処理はステップＳ２０９に移行する。

ステップＳ２０９では、仮再構成画像生成部３２３０がレイヤ画像を重ね合わせて再構成画像（仮再構成画像ＲＩ１）を生成する。具体的には、ＲＩ１を構成する画素（再構成画素）それぞれについて、各レイヤ画像の対応する画素（対応レイヤ画素）を抽出する。そして、抽出した対応レイヤ画素から、画素値がＮＵＬＬでない最も手前のレイヤ（割り当てられた奥行き係数が大きいレイヤ）に属する画素の画素値を、再構成画素の画素値とする。この処理を全再構成画素について実行し、画素値を決定すれば、仮再構成画像（ＲＩ１）が生成できる。そして、仮再構成画像生成処理は終了する。

図１０に戻って、ステップＳ１０５で仮再構成画像を生成すると、次に出力部３３０が生成した再構成画像を出力して（ステップＳ１０６）、表示部５２０に表示させる。

次に、ステップＳ１０６で表示した仮再構成画像について、ユーザが実行する構図変更操作を受け付け、その操作に基づいて変換画素を抽出し、変更パラメータを定義する処理（変換設定獲得処理）を、画像生成装置３０が実行する（ステップＳ１０７）。

ステップＳ１０７で実行される変換設定獲得処理を、図１２を参照して説明する。変換設定獲得処理では、まず変更操作取得部３１５０が、ユーザの変換対象となる被写体を選択する操作を検出できたか判別する（ステップＳ３０１）。具体的には、表示部５２０と操作部５３０とから構成されるタッチパネル上で、仮再構成画像（ＲＩ１）に触れる操作が検出できたか判別する。
検出できなかった場合（ステップＳ３０１；ＮＯ）、ステップＳ３０１を繰り返して、検出できるまで待ち受ける。

一方、選択操作を検出できた場合（ステップＳ３０１；ＹＥＳ）、変換画素抽出部３２４０がその選択部位に対応するレイヤ画素（選択画素）を抽出する（ステップＳ３０２）。具体的には、タッチパネルに対するタッチ操作で、指定された位置に対応する再構成画素の座標を求める。そして、各レイヤの求めた座標に位置する画素のうち、画素値がＮＵＬＬでない最も手前のレイヤ（割り当てられた奥行き係数が大きいレイヤ）のレイヤ画素を、選択画素とする。

次に、変換画素抽出部３２４０が仮再構成画素（ＲＩ１）とその奥行きマップ（ＲＤＭ１）とを参照して、奥行き係数を取得する（ステップＳ３０３）。

次に、次の操作（次の部位を選択する操作又は選択終了操作）を待ち受ける。そして、検出した次の操作が、選択終了操作であるか否か判別する（ステップＳ３０４）。具体的には、タッチパネルから指を離す、選択終了を指示する操作を実行する、等の選択終了を示す操作を検出したか否か判別する。このような操作を検出しない場合は（ステップＳ３０４；ＮＯ）、次の部位を選択する操作に基づき、ステップＳ３０２から処理を繰り返す。

一方、選択終了操作を検出した場合は（ステップＳ３０４；ＹＥＳ）、処理はステップＳ３０５に移行する。ステップＳ３０５では、変換画素抽出部３２４０がステップＳ３０３で取得した画素値と奥行き係数に基づいて、変換すべき被写体（変換被写体）の像を含むレイヤ（変換レイヤ）と、変換被写体に対応する画素（変換画素）を抽出する。さらに、図８（ｃ）で示したように、抽出した変換画素をハイライトして表示する。

変換画素を抽出する方法は、ユーザ操作に基づいて画像上の領域を切り分けて選択する既知の任意の方法を用いることができるが、ここでは以下の方法を用いる。
ｉ）選択画素を含むレイヤを全て特定する。そのうち、所定条件を満たすレイヤを変換レイヤとして選択する。ここで、所定条件とは、そのレイヤに含まれる選択画素が所定の閾値よりも多い、全選択画素に対してそのレイヤに属する画素が所定の比率より大きい、等の条件から任意に設定する。
ｉｉ）変換レイヤ上で、画素値に基づいて選択画素と連続する画素を選択領域に編入する。具体的には、変換レイヤ上の選択画素を、最初の選択領域とする。そして、現在の選択領域に隣接する変換レイヤ上の画素のうち、現在の選択領域に含まれる画素の画素値の平均値から所定範囲内の画素値を持つ画素を選択領域に組み込む。このとき、ＮＵＬＬ値の画素は選択領域に組み込まない。この編入作業を、新たに編入される画素が無くなるまで繰り返す。最終的に選択領域に組み込まれた画素が変換画素である。
なお、変換画素が占める部分を変換領域と言う。

次に、ユーザがハイライトされた変換領域を確認して確定操作を実行するなどして、変換対象（変換画素）が確定したか否か判別する（ステップＳ３０６）。ユーザが図８（ｃ）でＮＯを選択した場合など、確定しなかった場合には（ステップＳ３０６；ＮＯ）、変換領域をリセットしてステップＳ３０１に戻る。

一方、ユーザが図８（ｃ）でＹＥＳを選択した場合など、変換領域が確定した場合は（ステップＳ３０６；ＹＥＳ）、変換画素抽出部３２４０は変換領域に含まれる画素を変換画素として確定する。そして、処理はステップＳ３０７に進む。
ステップＳ３０７では、変更操作取得部３１５０が図８（ｄ）、（ｆ）で説明したような変更操作を検出したか判別する。検出できなかった場合（ステップＳ３０７；ＮＯ）、ステップＳ３０７を繰り返して検出できるまで待ち受ける。

一方、検出できた場合（ステップＳ３０７；ＹＥＳ）、検出した変更操作に基づいて、式（４）の変換行列を生成する（ステップＳ３０８）。例えば、ｘ軸方向に縮小する操作と、縮小率を指示する操作を検出すると、その縮小率を式４のａ１の数値に代入する。
あるいは、平行移動を支持する操作と、移動ベクトル（ｄｘ，ｄｙ）を指示する操作を検出すると、ｄｘを式（４）のｄ１に、ｄｙを式（４）のｄ２に、それぞれ代入する。また、角度θだけ回転する場合は、ａ２とｂ２とをｃｏｓθ、ｂ１を−ｓｉｎθ、ａ２をｓｉｎθとする。

ステップＳ３０８で変換行列（アフィン変換行列）を生成すると、変換設定獲得処理１は終了する。

図１０に戻って、ステップＳ１０７で変換画素を抽出し、変換パラメータを求めると、変換部３２６０が変換パラメータを使って変更再構成画像を生成する処理（変更再構成画像生成処理１）を開始する（ステップＳ１０８）。

ステップＳ１０８で実行される変更再構成画像生成処理１を、図１３を参照して説明する。変更再構成画像生成処理１では、まず変換設定獲得処理で定義された変換レイヤの一つを、注目レイヤとして選択する（ステップＳ４０１）。

次に、注目レイヤ上の変換領域の重心の座標（ｘｃ，ｙｃ）を算出する（ステップＳ４０２）。

次に、変換設定獲得処理で抽出された注目レイヤ上の変換画素から、処理対象となる注目変換画素を一つ選択する。そして、注目変換画素の座標・画素値・奥行き係数を、レイヤ画像とレイヤ奥行きマップとを参照して取得する（ステップＳ４０３）。ステップＳ４０３では、さらに注目変換画素の座標を、重心を中心とした座標系に移動する。具体的には、取得した注目変換画素の座標（ｘ，ｙ）に重心の座標を減算し、（ｘ−ｘｃ，ｙ−ｙｃ）を求める。

次に、変換部３２６０がステップＳ４０３で求めた注目変換画素の座標（ｘ−ｘｃ，ｙ−ｙｃ）から、変換設定取得処理で定義した変換行列を用いて変換先の座標を算出する（ステップＳ４０４）。
具体的には、式（４）の（ｘ，ｙ）に注目変換画素の座標（ｘ−ｘｃ，ｙ−ｙｃ）を代入し、変換先の座標（ｘ’，ｙ’）を算出する。そして、重心の座標を加算して（ｘ’＋ｘｃ，ｙ’＋ｙｃ）とし、座標系を元に戻す。この（ｘ’＋ｘｃ，ｙ’＋ｙｃ）が、変換先の座標である。

次に、変換部３２６０が変換元の画素の画素値を更新する（ステップＳ４０５）。具体的には、変換前の注目レイヤの座標（ｘ，ｙ）の画素値をＮＵＬＬとし、重ね合わせにおいて透過される対象とする。併せて、注目レイヤの奥行きマップにおける、その座標の奥行き値をＮＵＬＬとする。

次に、変換部３２６０が変換先の座標（ｘ’＋ｘｃ，ｙ’＋ｙｃ）の画素値を更新する（ステップＳ４０６）。具体的には、ステップＳ４０３で取得した画素値を、変換先の画素の画素値とする。併せて、注目レイヤの奥行きマップにおける、その座標の奥行き値をステップＳ４０３で取得した奥行き値とする。このとき、変換先の画素に対してすでに前回までのループ（ステップＳ４０３〜ステップＳ４０７）で画素値が変更していた場合は、変更後の画素値が複数の変更元の画素値の平均値となるように補正して更新する。

なお、ここでは変換先の画素値がＮＵＬＬでない場合でも、変換元の画素値で上書きするとして説明した。しかし、これに限らず、変換先の画素値がＮＵＬＬである場合には上書きし、そうでない場合は変換元と変換先で奥行き係数を比較してより手前にある画素の画素値を変換後の画素値とするとしてもよい。あるいは、変換先の画素値がＮＵＬＬで無い場合は、混同が起こった旨を警告するメッセージを表示し、変換処理を終了するとしても良い。

次に、注目レイヤ上の全変換画素について上記処理が実行されたか否か判別する（ステップＳ４０７）。未処理の変換画素が注目レイヤ上にあれば（ステップＳ４０７；ＮＯ）、次の未処理の変換画素についてステップＳ４０３から処理を繰り返す。

一方、全変換画素について処理済であれば（ステップＳ４０７；ＹＥＳ）、次に全変換レイヤについて上記処理済であるか否か判別する（ステップＳ４０８）。未処理の変換レイヤがある場合（ステップＳ４０８；ＮＯ）、次の未処理の変換レイヤについてステップＳ４０１から処理を繰り返す。

一方、全変換レイヤについて構図変更処理済である場合（ステップＳ４０８；ＹＥＳ）、処理はステップＳ４０９に移行する。ステップＳ４０９では、変更再構成画像生成部３２７０が全レイヤを重ね合わせて変更再構成画像（ＲＩ２）を生成する。具体的な重ね合わせの方法は、仮再構成画像処理１（図１１）のステップＳ２０９と同様である。このとき、変換処理により全てのレイヤの画素値がＮＵＬＬである画素が有る場合は、デフォルト値（例えば青）をその画素の画素値とする。併せて、変換が撮影画像によって画素値を定義できる範囲を超えたことを示す警告メッセージを表示する。
また、ステップＳ４０９ではさらに、次の構図変更を実行する場合に備え、変換再構成奥行きマップ（ＲＤＭ２）を同様に生成する。
そして、変更再構成画像生成処理１は終了する。

ここで、再構成画像のうち、変更レイヤに属するレイヤ画素を対象として変換部３２６０で画像変換を実行して重ね合わせにより再構成画像を生成することは、再構成画素とサブ画素の対応関係を、変更被写体に対応する一部の画素についてのみ変更することと等しい。
対応情報（図５の対応リスト）には、構図変更前の（仮）再構成画像ＲＩ１における変更被写体の位置に対応する全レイヤ画素について、対応するサブ画素を定義している。このうち、変更レイヤのレイヤ画素に対応するサブ画素は、変更レイヤに割り当てられた範囲の奥行き係数を持つサブ画素である。
変換画素抽出部３２４０は、変換レイヤのレイヤ画素を変換画素として抽出する。これは、変更被写体の位置にある再構成画素（変更再構成画素）に対応するサブ画素のうち、変更被写体が写っていると想定される、所定の奥行き係数を持つサブ画素を抽出していることと同様である。
そして、変換部３２６０が変更レイヤ上で変更画素の位置を変換することは、そのレイヤ画素に対応するサブ画素を、変更元の再構成画素の対応画素から、変更先の対応画素とすることと実質的に同じである。

図１０に戻って、ステップＳ１０８で変更再構成画像を生成すると、次に出力部３３０が生成した変更再構成画像を画像記憶部４３０に出力する（ステップＳ１０９）。そして、表示部５２０又はＩ／Ｏ部５１０が変更再構成画像を外部に出力し、画像出力処理は終了する。

以上説明したように、本実施形態の画像生成装置３０は被写体の構図を変更した再構成画像を生成することができる。また、構図変更にあたって、変更対象となる被写体に対応するサブ画素を抽出して線形変換し、そうでないサブ画素については変換しない。そのため、変更後の再構成画像（ＲＩ２）に被写体の撮影情報によらない画素が現れる割合が小さい。
また、変更画素の座標変換を実行するにあたって、変更先に奥行き係数が多き（より手前の）画素が有る場合、そちらを優先して変更再構成画像を生成する。そのため、奥行きを反映して、実際に被写体を移動させた場合に近い変更再構成画像を生成することが出来る。

また、本実施形態の画像生成装置３０は、再構成画像に対して定義された複数のレイヤのうち、一部のレイヤのみについて画像変換を実行する構成を持つ。これは、奥行き係数が変更被写体が位置すると推定される範囲に属する一部の画素についてのみ対応関係を変更することと等しい。この構成により、変更対象の被写体を含まないレイヤに映し出された像はそのまま保持して構図を変更できる。このため、ＬＦＩ上に撮影された、より奥のレイヤに映し出された被写体の像が、変更元の部位に現れる。そのため、実際に被写体を移動させた場合に近い変更再構成画像を生成することが出来る。

さらに、複数のレイヤを定義して、レイヤ単位で変換処理を実行するため、レイヤ毎に連続する部位を変換部位として抽出する処理を簡便に実行することが出来る。また、変換対象となる変換画素と、そうでない画素との差異を明確に、かつ簡便に区別することが出来る。

さらに、本実施形態のデジタルカメラ１は、一旦構図変更を施さない仮再構成画像を生成し、ユーザに提示する構成を持つ。そのため、ユーザは構図変更を行わない場合の画像を確認の上、所望の変換処理を選択することができる。そのため、構図変更を実行する上で、ユーザの利便性が高い。

また、変換行列定義部３２５０が、変換操作に応じた線形変換のための変換行列を生成して、変換部３２６０がこの変換行列を用いて画像変換を実行する。このため、ユーザが指定した構図変更を、少ない計算量で達成することが出来る。

さらに、撮影パラメータ（撮影設定情報）に基づく対応情報を取得し、この対応情報に基づき仮再構成画像と変更再構成画像を生成する。そのため、撮影時の条件を反映した、精度の高い仮再構成画像と、変更再構成画像を生成できる。

（変形例）
本発明は、上記実施形態に限定されず、さまざまな変形が可能である。
例えば、上記実施形態では再構成画像に対して複数のレイヤを定義し、各レイヤについてレイヤ画像を生成した。そして、変換対象となる被写体のレイヤ画像（変換画素）を選択的に線形変換して、レイヤを重ね合わせることにより変更再構成画像を生成した。しかし、本発明において変更再構成画像を生成する方法はこれに限られない。
例えば、再構成画像に対して複数のレイヤを定義しない構成も可能である。この場合、一枚の再構成画像上の再構成画素の対応画素を抽出し、その画素値から仮再構成画像を生成する。そして、ユーザの再構成画素に対する選択操作に応じて、選択された再構成画素の対応画素のうち、奥行き係数が所定の条件を満たす対応画素を、変換対象となるサブ画素として抽出する。ここで所定の条件とは、全対応画素の奥行き係数のうち最大の数値から所定の範囲に含まれること、ユーザ指定の範囲の範囲（必ずしも手前に対応する範囲でなくても良い）に含まれること、等、任意に設定可能である。
そして、抽出したサブ画素（変換サブ画素）に対応する再構成画素の座標を、線形変換により変換して、新たな対応関係を生成する。そして、新たな対応関係に基づいて変更再構成画像を生成する。このとき、新たな対応関係において対応するとされたサブ画素のうち、最も手前の画素から所定範囲に含まれる画素のみを抽出し、抽出したサブ画素の画素値から再構成画像画素値を定めてもよい。この構成では、再構成奥行きマップあるいはレイヤ奥行きマップを生成する必要は無い。
このような構成によれば、レイヤ毎にレイヤ画像を定義する必要が無いので、必要な作業領域（メモリ）の大きさを小さくすることが出来る。

また、上記実施形態ではタッチパネル上で画像にタッチし、タッチした部位にＮＵＬＬでない画素を持つ最も手前のレイヤ上の画素を、選択画素として抽出した。そして、選択画素を基に、そのレイヤ上で連続する画素を抽出して変換対象となる変換画素を抽出した。しかし、選択画素又は変換画素を抽出する方法はこれに限られない。
例えば、ユーザが指定する所定範囲の奥行き係数に対応するレイヤ画素又はサブ画素を全て変換（サブ）画素として抽出しても良い。あるいは、仮構成画像上のユーザが指定する範囲に位置する再構成画素に対応するレイヤ画素又はサブ画素のうち、ユーザが指定する範囲の画素値を持つ画素を変換（サブ）画素として抽出しても良い。

なお、選択画素あるいは変換画素を抽出するにあたって、再構成画素について画素値が定義された最も深いレイヤの画素（あるいは最も深いサブ画素）を抽出した場合に、ユーザに警告してもよい。このような構成により、構図変更に伴って撮影情報に基づかない画素が含まれる可能性があることを通知することが出来る。あるいは、そのような画素を抽出対象から排除する構成も可能である。

さらに、ユーザ操作に基づいて変換画素情報や変換内容を定めなくても良い。
その他の例として、最も近いレイヤの被写体を、自動的に縮小する等の構成も可能である。

また、レイヤ上で構図を変換するにあたって、アフィン変換を例にとって説明したが、これに限られず、線形変換のための任意の既知の方法を用いて変換することが出来る。また線形変換に限らず、変換被写体が再構成画像上で占める領域が変化する任意の非線形変換を用いても本発明の効果を発揮することが出来る。このような補正の例として魚眼補正などが挙げられる。
また、変換の中心を、全変換画素の座標値の平均値（重心）とする例について説明したが、これに限らず、任意の座標系に座標変換して、変換の中心を定めることが出来る。例えば、変換画素のうち、最も離れた２点を抽出し、その２点の中点を原点とする座標に変換して、中点を変換の中心とするとしても良い。また、座標系を変換しなくても良い。

さらに、上記説明では、対応情報に重み係数が含まれている例について説明したが、対応情報は再構成画素に対応するサブ画素を定めた情報であればよく、重みを定義している必要は無い。
さらに、上記説明では、対応情報は撮影設定情報や再構成設定に基づいて、ＬＦＩ毎に生成するものとしたが、これに限らず、予め記憶された所定の対応情報を用いるとしてもよい。この構成は、想定される撮影パラメータが変動する余地が少なく、再構成距離が一定である場合に、許容範囲の精度を保って計算量を減少させるために好適である。

また、上記実施例では、画像をグレースケール画像であるとして説明したが、本発明の処理対象となる画像はグレースケール画像に限らない。例えば、画像は各画素にＲ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）、の三つの画素値が定義されたＲＧＢ画像であってよい。この場合、画素値をＲＧＢのベクトル値として同様に処理する。また、Ｒ、Ｇ、Ｂ、の各値をそれぞれ独立したグレースケール画像として、それぞれ上記処理を行っても良い。この構成によれば、カラー画像であるライトフィールド画像からカラー画像である再構成画像を生成できる。

その他、前記のハードウェア構成やフローチャートは一例であり、任意に変更および修正が可能である。

情報処理部３１、主記憶部３２、外部記憶部３３、などから構成される変更再構成画像生成のための処理を行う中心となる部分は、専用のシステムによらず、通常のコンピュータシステムを用いて実現可能である。たとえば、前記の動作を実行するためのコンピュータプログラムを、コンピュータが読み取り可能な記録媒体（フレキシブルディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなど）に格納して配布し、前記コンピュータプログラムをコンピュータにインストールし、変更再構成画像生成のための処理を行う中心となる部分を構成してもよい。また、インターネットなどの通信ネットワーク上のサーバ装置が有する記憶装置に前記コンピュータプログラムを格納しておき、通常のコンピュータシステムがダウンロードなどすることで画像生成装置を構成してもよい。

画像生成装置の機能を、ＯＳ（オペレーティングシステム）とアプリケーションプログラムの分担、またはＯＳとアプリケーションプログラムとの協働により実現する場合などには、アプリケーションプログラム部分のみを記録媒体や記憶装置に格納してもよい。

また、搬送波にコンピュータプログラムを重畳し、通信ネットワークを介して配信することも可能である。たとえば、通信ネットワーク上の掲示板(BBS：Bulletin Board System)に前記コンピュータプログラムを掲示し、ネットワークを介して前記コンピュータプログラムを配信してもよい。そして、このコンピュータプログラムを起動し、ＯＳの制御下で、他のアプリケーションプログラムと同様に実行することにより、前記の処理を実行できるように構成してもよい。

以上、本発明の好ましい実施形態について説明したが、本発明は係る特定の実施形態に限定されるものではなく、本発明には、特許請求の範囲に記載された発明とその均等の範囲が含まれる。以下に、本願出願の当初の特許請求の範囲に記載された発明を付記する。

（付記１）
複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得する撮影画像取得部と、
前記撮影画像取得部が取得した撮影画像のサブ画像を構成する画素であるサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す係数である奥行係数を取得する奥行取得部と、
構図変更の対象となる被写体である変更被写体の位置に対応する前記サブ画素から、前記奥行取得部が取得した奥行係数が所定条件を満たすサブ画素を、当該構図変更の対象となる被写体に対応する画素である変更画素として抽出する変更画素抽出部と、
前記被写体の像を再構成した、所定の再構成面に定義される再構成画像を構成する画素である再構成画素と、当該再構成画素に対応する前記サブ画素である対応サブ画素と、の対応関係のうち、前記変更画素抽出部が抽出した変更画素と前記再構成画素との対応を変更する対応変更部と、
前記再構成画素の画素値を、前記対応変更部が変更した対応関係が定める当該再構成画素の対応サブ画素の画素値に基づいて求めることにより、前記構図変更の対象となる被写体の構図を変更した再構成画像を生成する変更再構成画像生成部と、
を有することを特徴とする画像生成装置。

（付記２）
前記変更再構成画像生成部は、前記対応変更部が変更した対応関係において、前期変更画素と対応する再構成画素の画素値を求めるにあたって、前記変更画素の奥行係数と、前記変更画素でないサブ画素の奥行係数と、を比較して、奥行きが近い方の画素値を優先する、
ことを特徴とする付記１に記載の画像生成装置。

（付記３）
前記変更画素抽出部は、前記変更被写体の奥行きを取得し、前記奥行取得部が取得した奥行係数が、当該変更被写体の奥行きを含む所定範囲に含まれるサブ画素を、前記奥行係数が所定条件を満たすサブ画素とする、
ことを特徴とする付記１又は２に記載の画像生成装置。

（付記４）
前記再構成面に定義される再構成画像について、それぞれが所定の奥行係数の範囲を割り振られた複数のレイヤを定義するレイヤ定義部を更に備え、
前記変更画素抽出部は、前記複数のレイヤのうち、前記変更被写体に対応するレイヤを選択し、当該選択したレイヤに割り振られた範囲を、変更被写体の奥行きを含む所定範囲とする、
ことを特徴とする付記３に記載の画像生成装置。

（付記５）
前記対応変更部が変更する前の対応関係に基づいて、構図変更を伴わない再構成画像である仮再構成画像を生成する仮再構成画像生成部と、
前記仮再構成画像生成部が生成した仮再構成画像を出力する仮再構成画像出力部と、
前記仮再構成画像出力部が出力した仮再構成画像上の部位を指定する操作を受け付ける操作受付部と、
を更に備え、
前記変更画素抽出部は、前記操作受付部が受け付けた操作が指定する部位を含む部位である変更部位を、前記構図変更の対象となる被写体の位置とする、
ことを特徴とする付記１乃至４の何れか一つに記載の画像生成装置。

（付記６）
前記構図変更の内容を示す情報を取得する変更内容取得部と、
前記対応変更部が前記変更画素と前記再構成画素との対応関係を変更するための変更パラメータを、前記変更内容取得部が取得した情報が示す構図変更の内容に基づいて決定する変更パラメータ決定部と、
を更に備え、
前記対応変更部は、前記変更パラメータ決定部が決定した変更パラメータを用いて前記変更画素の対応関係を変更する、
ことを特徴とする付記１乃至５の何れか一つに記載の画像生成装置。

（付記７）
前記変更パラメータ決定部が決定する変更パラメータは、線形変換のための変換行列である、
ことを特徴とする付記６に記載の画像生成装置。

（付記８）
前記撮影画像を撮影したパラメータを取得する撮影パラメータに基づいて求められた、前記再構成画素と前記サブ画素との対応関係を示す情報を取得する対応関係取得部をさらに備え、
前記対応変更部は、前記対応関係取得部が取得した情報が示す対応関係を変更する、
ことを特徴とする付記１乃至７の何れか一つに記載の画像生成装置。

（付記９）
複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得するステップと、
前記取得した撮影画像のサブ画像を構成する画素であるサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す係数である奥行係数を取得するステップと、
構図変更の対象となる被写体の位置に対応する前記サブ画素から、前記取得した奥行係数が所定条件を満たすサブ画素を、当該構図変更の対象となる被写体に対応する画素である変更画素として抽出するステップと、
前記被写体の像を再構成した、所定の再構成面に定義される再構成画像を構成する画素である再構成画素と、当該再構成画素に対応する前記サブ画素である対応サブ画素と、の対応関係のうち、前記抽出した変更画素と前記再構成画素との対応を変更するステップと、
前記再構成画素の画素値を、前記変更した対応関係が定める当該再構成画素の対応サブ画素の画素値に基づいて求めることにより、前記構図変更の対象となる被写体の構図を変更した再構成画像を生成するステップと、
を含む画像生成方法。

（付記１０）
コンピュータに、
複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得する機能、
前記取得した撮影画像のサブ画像を構成する画素であるサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す係数である奥行係数を取得する機能、
構図変更の対象となる被写体の位置に対応する前記サブ画素から、前記取得した奥行係数が所定条件を満たすサブ画素を、当該構図変更の対象となる被写体に対応する画素である変更画素として抽出する機能、
前記被写体の像を再構成した、所定の再構成面に定義される再構成画像を構成する画素である再構成画素と、当該再構成画素に対応する前記サブ画素である対応サブ画素と、の対応関係のうち、前記抽出した変更画素と前記再構成画素との対応を変更する機能、
前記再構成画素の画素値を、前記変更した対応関係が定める当該再構成画素の対応サブ画素の画素値に基づいて求めることにより、前記構図変更の対象となる被写体の構図を変更した変更再構成画像を生成する機能、
を実現させることを特徴とするプログラム。

１…デジタルカメラ、１０…撮像部、１１０…光学装置、１１１…シャッタ、１２０…イメージセンサ、２０…情報処理部、３０…画像生成装置、３１…情報処理部、３２…主記憶部、３３…外部記憶部、３６…出力部、３７…内部バス、３８…プログラム、２１０…画像処理部、２２０…奥行き推定・対応定義部、２３０…撮像制御部、３１０…入力部、３１１０…再構成設定取得部、３１２０…ＬＦＤＭ取得部、３１３０…ＬＦＩ取得部、３１４０…対応取得部、３１５０…変更操作取得部、３２０…再構成画像生成部、３２１０…レイヤ定義部、３２２０…レイヤ画像生成部、３２３０…仮再構成画像生成部、３２４０…変換画素抽出部、３２５０…変換行列定義部、３２６０…変換部、３２７０…変更再構成画像生成部、３３０…出力部、４０…記憶部、４１０…撮像設定記憶部、４２０…再構成設定記憶部、４３０…画像記憶部、５０…インターフェース部（Ｉ／Ｆ部）、５１０…Ｉ／Ｏ部、５２０…表示部、５３０…操作部、ＬＦＩ…ライトフィールド画像、ＬＦＤＭ…ライトフィールド奥行きマップ、ＯＡ…光軸、ＯＢ…被写体、ＯＢ１…被写体、ＯＢ２…被写体、ＯＢ３…被写体、ＰＯＢ…被写体の部分、Ｐ…注目部位、ＭＬ…メインレンズ、ＰＦ…結像点、ＭＩＰ…メインレンズ結像面、ＰＥ…到達点、ＩＥ…撮像面、ＳＬＡ…サブレンズアレイ、ＳＬ…サブレンズ、ＭＬＢ…メインレンズブラー、ＭＬＢＣ…メインレンズブラー中心、Ｓ１１〜ＳＭＮ…サブ画像、ＲＤＭ…再構成奥行きマップ、ＲＤＭ１…仮再構成奥行きマップ、ＲＤＭ２…変更再構成奥行きマップ、ＲＩ１…仮再構成画像、ＲＩ２…変更再構成画像、ＲＦ…再構成面、Ｌ１〜Ｌ３…レイヤ画像

上記目的を達成するため、本発明に係る画像生成装置は、
複数の視点のそれぞれから撮影した、複数のサブ画像から構成される撮影画像を取得する画像取得部と、
前記サブ画像を構成するサブ画素から、構図変更の対象となる被写体に対応するサブ画素を変更画素として抽出する抽出部と、
所定の再構成面に定義される再構成画像を構成する再構成画素と、前記サブ画素と、の対応関係のうち、前記変更画素として抽出したサブ画素との対応関係を変更する変更部と、
前記変更した対応関係を用いて、前記サブ画素の画素値から前記再構成画素の画素値を求めることにより、前記構図変更の対象となる被写体の構図を変更した再構成画像を生成する生成部と、
を備えることを特徴とする。

レイヤ画像生成部３２２０は、各レイヤの画像（レイヤ画像）を以下のように生成する。
（１）レイヤ画像を構成する画素（レイヤ画素）の一つを注目画素とし、注目画像の座標に対応する再構成画素の対応サブ画素を、対応情報を参照して取得し、対応候補画素とする。
（２）対応候補画素の奥行き係数を、ＬＦＤＭを参照して取得する。
（３）対応候補画素のうち、奥行き係数がレイヤに割り当てられた範囲である画素を注目画素の対応画素として抽出し、その画素値を取得する。
（４）取得された画素値に、重み付け係数をかけたものを補正画素値とする。
（５）抽出した対応画素すべてについて、補正画素値を計算し総和を取る。
（６）補正画素値の総和を、重なり面積の総和（重みの総和）で除算して注目画素の画素値とする。このとき、対応画素が無い（あるいは所定の閾値よりも少ない）場合、画素値を空値（ＮＵＬＬ）とする。
（７）各レイヤの各レイヤ画素について（１）〜（６）を実行して画素値を決定する。

Claims (10)

1. 複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得する撮影画像取得部と、
   前記撮影画像取得部が取得した撮影画像のサブ画像を構成する画素であるサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す係数である奥行係数を取得する奥行取得部と、
   構図変更の対象となる被写体である変更被写体の位置に対応する前記サブ画素から、前記奥行取得部が取得した奥行係数が所定条件を満たすサブ画素を、当該構図変更の対象となる被写体に対応する画素である変更画素として抽出する変更画素抽出部と、
   前記被写体の像を再構成した、所定の再構成面に定義される再構成画像を構成する画素である再構成画素と、当該再構成画素に対応する前記サブ画素である対応サブ画素と、の対応関係のうち、前記変更画素抽出部が抽出した変更画素と前記再構成画素との対応を変更する対応変更部と、
   前記再構成画素の画素値を、前記対応変更部が変更した対応関係が定める当該再構成画素の対応サブ画素の画素値に基づいて求めることにより、前記構図変更の対象となる被写体の構図を変更した再構成画像を生成する変更再構成画像生成部と、
   を有することを特徴とする画像生成装置。
2. 前記変更再構成画像生成部は、前記対応変更部が変更した対応関係において、前期変更画素と対応する再構成画素の画素値を求めるにあたって、前記変更画素の奥行係数と、前記変更画素でないサブ画素の奥行係数と、を比較して、奥行きが近い方の画素値を優先する、
   ことを特徴とする請求項１に記載の画像生成装置。
3. 前記変更画素抽出部は、前記変更被写体の奥行きを取得し、前記奥行取得部が取得した奥行係数が、当該変更被写体の奥行きを含む所定範囲に含まれるサブ画素を、前記奥行係数が所定条件を満たすサブ画素とする、
   ことを特徴とする請求項１又は２に記載の画像生成装置。
4. 前記再構成面に定義される再構成画像について、それぞれが所定の奥行係数の範囲を割り振られた複数のレイヤを定義するレイヤ定義部を更に備え、
   前記変更画素抽出部は、前記複数のレイヤのうち、前記変更被写体に対応するレイヤを選択し、当該選択したレイヤに割り振られた範囲を、変更被写体の奥行きを含む所定範囲とする、
   ことを特徴とする請求項３に記載の画像生成装置。
5. 前記対応変更部が変更する前の対応関係に基づいて、構図変更を伴わない再構成画像である仮再構成画像を生成する仮再構成画像生成部と、
   前記仮再構成画像生成部が生成した仮再構成画像を出力する仮再構成画像出力部と、
   前記仮再構成画像出力部が出力した仮再構成画像上の部位を指定する操作を受け付ける操作受付部と、
   を更に備え、
   前記変更画素抽出部は、前記操作受付部が受け付けた操作が指定する部位を含む部位である変更部位を、前記構図変更の対象となる被写体の位置とする、
   ことを特徴とする請求項１乃至４の何れか一項に記載の画像生成装置。
6. 前記構図変更の内容を示す情報を取得する変更内容取得部と、
   前記対応変更部が前記変更画素と前記再構成画素との対応関係を変更するための変更パラメータを、前記変更内容取得部が取得した情報が示す構図変更の内容に基づいて決定する変更パラメータ決定部と、
   を更に備え、
   前記対応変更部は、前記変更パラメータ決定部が決定した変更パラメータを用いて前記変更画素の対応関係を変更する、
   ことを特徴とする請求項１乃至５の何れか一項に記載の画像生成装置。
7. 前記変更パラメータ決定部が決定する変更パラメータは、線形変換のための変換行列である、
   ことを特徴とする請求項６に記載の画像生成装置。
8. 前記撮影画像を撮影したパラメータを取得する撮影パラメータに基づいて求められた、前記再構成画素と前記サブ画素との対応関係を示す情報を取得する対応関係取得部をさらに備え、
   前記対応変更部は、前記対応関係取得部が取得した情報が示す対応関係を変更する、
   ことを特徴とする請求項１乃至７の何れか一項に記載の画像生成装置。
9. 複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得するステップと、
   前記取得した撮影画像のサブ画像を構成する画素であるサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す係数である奥行係数を取得するステップと、
   構図変更の対象となる被写体の位置に対応する前記サブ画素から、前記取得した奥行係数が所定条件を満たすサブ画素を、当該構図変更の対象となる被写体に対応する画素である変更画素として抽出するステップと、
   前記被写体の像を再構成した、所定の再構成面に定義される再構成画像を構成する画素である再構成画素と、当該再構成画素に対応する前記サブ画素である対応サブ画素と、の対応関係のうち、前記抽出した変更画素と前記再構成画素との対応を変更するステップと、
   前記再構成画素の画素値を、前記変更した対応関係が定める当該再構成画素の対応サブ画素の画素値に基づいて求めることにより、前記構図変更の対象となる被写体の構図を変更した再構成画像を生成するステップと、
   を含む画像生成方法。
10. コンピュータに、
    複数の視点のそれぞれから複数の被写体を撮影した、複数のサブ画像から構成される撮影画像を取得する機能、
    前記取得した撮影画像のサブ画像を構成する画素であるサブ画素のそれぞれについて、当該サブ画素に対応する前記被写体の奥行きを示す係数である奥行係数を取得する機能、
    構図変更の対象となる被写体の位置に対応する前記サブ画素から、前記取得した奥行係数が所定条件を満たすサブ画素を、当該構図変更の対象となる被写体に対応する画素である変更画素として抽出する機能、
    前記被写体の像を再構成した、所定の再構成面に定義される再構成画像を構成する画素である再構成画素と、当該再構成画素に対応する前記サブ画素である対応サブ画素と、の対応関係のうち、前記抽出した変更画素と前記再構成画素との対応を変更する機能、
    前記再構成画素の画素値を、前記変更した対応関係が定める当該再構成画素の対応サブ画素の画素値に基づいて求めることにより、前記構図変更の対象となる被写体の構図を変更した変更再構成画像を生成する機能、
    を実現させることを特徴とするプログラム。

Images