JP2015139019A - 画像合成装置及び画像合成プログラム - Google Patents

Abstract

【課題】被写体の撮影後に合焦位置や視点などを設定する際、リフォーカス画像の被写界深度の範囲外の位置に、違和感のない合成画像を生成する画像合成装置及び画像合成プログラムを提供する。
【解決手段】合焦位置を奥行き方向に変更可能な第１画像データにおける奥行き方向の所定位置に第２画像データを挿入して合成画像データを生成する合成画像生成部１１４ａと、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、合成画像データの合焦位置を変更する変更部１１４ｂとを備える。
【選択図】図１

Description

本発明は、画像合成装置及び画像合成プログラムに関する。

被写体の撮影後に合焦位置や視点などを設定することが可能な撮像装置が知られている。この種の撮像装置としてライトフィールドカメラがある。このライトフィールドカメラは、撮像部がカメラに入射する多数の光線をライトフィールド（光線空間）として取得する。そして、ライトフィールドカメラは、取得したライトフィールドの情報に対して画像処理を施すことで合焦位置などを奥行き方向に変更したリフォーカス画像を生成する。特許文献１には、ライトフィールドカメラで撮影されたリフォーカス画像における奥行き方向の任意の位置に二次元画像を挿入して合成画像を生成する画像合成装置が記載されている。

特開２０１０−６８０１８号公報

しかし、上記した画像合成装置においては、リフォーカス画像の被写界深度の範囲外の位置に、合焦した二次元画像が挿入されるなどのように、違和感のある合成画像が生成されてしまうおそれがある。

本発明の態様では、違和感のない合成画像を生成することを目的とする。

本発明の第１態様によれば、合焦位置を奥行き方向に変更可能な第１画像データにおける奥行き方向の所定位置に第２画像データを挿入して合成画像データを生成する合成画像生成部と、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、合成画像データの合焦位置を変更する変更部と、を備える画像合成装置が提供される。

本発明の第２態様によれば、合焦位置を奥行き方向に変更可能な第１画像データにおける奥行き方向の所定位置に、合焦位置を奥行き方向に変更可能な第２画像データを挿入して合成画像データを生成する合成画像生成部と、撮像装置から第１画像データの被写体までの距離と撮像装置から第２画像データの被写体までの距離との関係が合うように、合成画像データの合焦位置を変更する変更部と、を備える画像合成装置が提供される。

本発明の第３態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な第１画像データにおける奥行き方向の所定位置に第２画像データを挿入して合成画像データを生成する合成画像生成処理と、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、合成画像データの合焦位置を変更する変更処理と、を実行させる画像合成プログラムが提供される。

本発明の第４態様によれば、コンピュータに、合焦位置を奥行き方向に変更可能な第１画像データにおける奥行き方向の所定位置に、合焦位置を奥行き方向に変更可能な第２画像データを挿入して合成画像データを生成する合成画像生成処理と、撮像装置から第１画像データの被写体までの距離と撮像装置から第２画像データの被写体までの距離との関係が合うように、合成画像データの合焦位置を変更する変更処理と、を実行させる画像合成プログラムが提供される。

本発明の態様によれば、違和感のない合成画像を生成することができる。

画像合成装置の構成を示すブロック図である。 撮像装置の一例であるライトフィールドカメラにおける光学系部分の概略構成を示す断面図である。 撮像素子の画素配列と入射領域とを説明する図である。 ライトフィールドカメラの構成を示すブロック図である。 画像の再構成を説明する図である。 図４に示す画像処理部が実行する画像処理を説明するためのフローチャートである。 第１画像、第２画像、及び合成画像の例を示す図である。 第１実施形態の演算処理部が実行する画像合成処理を説明するためのフローチャートである。 第１実施形態のグラフィカルユーザインタフェース上の俯瞰図の表示例を示す図である。 第１実施形態のグラフィカルユーザインタフェース上の俯瞰図の表示例を示す図である。 第２実施形態の演算処理部が実行する画像合成処理を説明するためのフローチャートである。 第２実施形態のグラフィカルユーザインタフェース上の俯瞰図の表示例を示す図である。 第２実施形態のグラフィカルユーザインタフェース上の俯瞰図の表示例を示す図である。 画像合成システムの構成を示すブロック図である。 撮像装置と電子機器とが分離した構成を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。

＜第１実施形態＞
図１は、画像合成装置１０１の構成を示すブロック図である。図１に示すように、画像合成装置１０１は、撮像装置の一例であるライトフィールドカメラ１、表示装置（表示部）１０２、キーボード１０３、及びマウス１０４と接続されている。画像合成装置１０１は、ライトフィールドカメラ１で撮影された第１画像データにおける奥行き方向の任意の位置に第２画像データを挿入して合成画像データを生成する。また、画像合成装置１０１は、ライトフィールドカメラ１から第１画像データ中の被写体までの距離とライトフィールドカメラ１から第２画像データ中の被写体までの距離との関係が合うように、合成画像データの合焦位置及び被写界深度の範囲を変更する。

本実施形態において、第１画像データは、合焦位置を奥行き方向に変更可能なリフォーカス画像の画像データであり、第２画像データは、合焦位置を奥行き方向に変更不可能な二次元画像の画像データである。なお、ライトフィールドカメラ１から被写体に向かう方向を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。また、被写界深度とは、焦点が合っているように見える被写体の焦点距離の範囲のことをいう。

画像合成装置１０１は、例えば、パーソナルコンピュータで実現される。この画像合成装置１０１は、図１に示すように、演算処理部１１０及び記憶部１２０を有している。演算処理部１１０は、複数の画像データの合成に関する制御を司る。記憶部１２０は、ライトフィールドカメラ１で撮影された第１画像データや、第２画像データ、演算処理部１１０による画像合成処理に必要な各種情報（例えば画像データ中の被写体のサイズや位置を示す位置データ、撮影時のライトフィールドカメラ１から被写体までの距離を示す距離データ）などを記憶する。

演算処理部１１０は、図１に示すように、表示制御部１１１、画像入力部１１２、操作制御部１１３、及び画像合成部１１４を有している。表示制御部１１１は、例えば液晶表示ディスプレイのような表示装置１０２の表示画面５００に、使用者が画像データの合成を行う際に使用者によって操作されるグラフィカルユーザインタフェース（以下、ＧＵＩという。）などの各種画像（図１０、図１１参照）を表示する制御を行う。

画像入力部１１２は、ライトフィールドカメラ１と接続されることにより、このライトフィールドカメラ１に記憶されている第１画像データや、この第１画像データ中の被写体の位置データ及び距離データを入力する。この画像入力部１１２は、ライトフィールドカメラ１から入力した第１画像データ、位置データ、及び距離データを記憶部１２０における画像データ記憶領域に記憶する。また、画像入力部１１２は、不図示の通常のデジタルカメラ（撮像装置）と接続されることにより、このデジタルカメラに記憶されている第２画像データを入力する。この画像入力部１１２は、デジタルカメラから入力した第２画像データを記憶部１２０における画像データ記憶領域に記憶する。なお、画像入力部１１２は、インターネットなど通信ネットワーク（図示せず）を通じて画像データなど（第１画像データ、第２画像データ、位置データ、距離データ）を取得し、取得した画像データなどを記憶部１２０における画像データ記憶領域に記憶することも可能である。

操作制御部１１３は、使用者が操作可能な操作部を構成するキーボード１０３及びマウス１０４と接続される。この操作制御部１１３は、使用者によるキーボード１０３やマウス１０４の操作に応じて情報を入力し、その情報を表示制御部１１１や画像合成部１１４に出力する。

画像合成部１１４は、図１に示すように、画像生成部（合成画像生成部）１１４ａ、変更部１１４ｂ、及び記憶制御部１１４ｃを備えている。画像生成部１１４ａは、第１画像データにおける奥行き方向の所定位置に第２画像データを挿入して合成画像データを生成する処理を行う。また、画像生成部１１４ａは、必要に応じて、合成画像データ中の第１画像データ及び第２画像データの一方又は双方を加工する処理を行う。

変更部１１４ｂは、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、合成画像データの合焦位置を変更する処理を行う。また、変更部１１４ｂは、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、合成画像データの被写界深度の範囲を変更する処理を行う。記憶制御部１１４ｃは、合成画像データを記憶部１２０に記憶する処理を行う。

なお、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、及び画像合成部１１４（画像生成部１１４ａ、変更部１１４ｂ、記憶制御部１１４ｃ）のそれぞれの構成は、ＣＰＵ（Central Processing Unit）などの制御装置が記憶部１２０に記憶されている制御プログラム（画像合成プログラム）に従って実行する処理又は制御に相当する。

記憶部１２０には、画像データ（第１画像データ、第２画像データ、合成画像データ）、位置データ、及び距離データを記憶するための画像データ記憶領域が形成されている。また、記憶部１２０には、表示制御部１１１によるＧＵＩなどの表示に必要な各種情報が記憶されている。また、記憶部１２０には、上記したように、演算処理部１１０における表示制御部１１１、画像入力部１１２、操作制御部１１３、及び画像合成部１１４の処理を実行させるための制御プログラム（画像合成プログラム）なども記憶されている。

次に、図１に示したライトフィールドカメラ１の構成について説明する。図２は、撮像装置の一例であるライトフィールドカメラ１における光学系部分の概略構成を示す断面図である。なお、図２において、紙面の右方向（光軸方向）をＸ軸とし、Ｘ軸と直交する紙面の上方向をＺ軸とし、Ｘ軸及びＺ軸と直交する紙面の裏から表に向かう方向をＹ軸としている。また、図２は、ライトフィールドカメラ１における光学系部分を光軸を含む面で切断したときの断面図である。

本実施形態のライトフィールドカメラ１は、三次元空間の光線集合であるライトフィールド（光線空間）の情報を取得し、取得したライトフィールドの情報に基づいて画像を生成する。以下の説明では、ライトフィールドの情報を光線情報という。ライトフィールドカメラ１の代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラ１はリフォーカスカメラとも呼ばれる。

本実施形態のライトフィールドカメラ１は、その光学系部分として、撮影光学系（結像光学系）１１及びマイクロレンズアレイ１２を備えている。なお、図２には、ライトフィールドカメラ１における光学系部分以外の構成である撮像素子２０についても示している。

撮影光学系１１は、複数のレンズ群で構成される単焦点レンズである。撮影光学系１１は、被写体からの光束をその焦点面（結像面）近傍に結像する。また、撮影光学系１１は、撮影時に絞り値（Ｆ値）を制御する開口絞り（不図示）を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図２に示すように、撮影光学系１１の焦点面近傍にマイクロレンズアレイ１２と撮像素子２０とが順に配置されている。

マイクロレンズアレイ１２は、正のパワーを有した複数のマイクロレンズ（正レンズ）が二次元状に配置された構成となっている。なお、図２に示すマイクロレンズアレイ１２においては、３つのマイクロレンズだけがＺ軸方向に配されているが、実際はＺ軸方向及びＹ軸方向に多数のマイクロレンズが配されている。

撮像素子２０は、マイクロレンズアレイ１２の後側（撮影光学系１１の反対側）に若干の間隔をおいて配置されている。この撮像素子２０は、マイクロレンズアレイ１２の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子２０は、ＣＣＤ(Charge Coupled Device)やＣＭＯＳ(Complementary
Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。

図２の部分拡大図に示す例では、複数のマイクロレンズ１２ａ，１２ｂ，１２ｃの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ１２ａの後側に３つの画素２１ａ，２１ｂ，２１ｃが配列され、マイクロレンズ１２ｂの後側に３つの画素２２ａ，２２ｂ，２２ｃが配列され、マイクロレンズ１２ｃの後側に３つの画素２３ａ，２３ｂ，２３ｃが配列されている。

３つの画素２１ａ，２１ｂ，２１ｃがマイクロレンズ１２ａに対応する画素２１であり、３つの画素２２ａ，２２ｂ，２２ｃがマイクロレンズ１２ｂに対応する画素２２であり、３つの画素２３ａ，２３ｂ，２３ｃがマイクロレンズ１２ｃに対応する画素２３である。なお、図２の部分拡大図では、各マイクロレンズ１２ａ，１２ｂ，１２ｃに対応する画素として３つの画素を示しているが、実際はＺ軸方向及びＹ軸方向に多数の画素が配列されている（後述する図３参照）。

次に、図２を参照してライトフィールドカメラ１によるライトフィールドの取得について簡単に説明する。図２において、Ａの位置にある被写体が撮影光学系１１によってマイクロレンズアレイ１２の位置に焦点を結ぶものとする。被写体上の点Ａ１からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｃで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ｂで受光される。また、被写体上の点Ａ１からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ａを通過して撮像素子２０の画素２１ａで受光される。

同様に、被写体上の点Ａ２からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｃで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ｂで受光される。また、被写体上の点Ａ２からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｂを通過して撮像素子２０の画素２２ａで受光される。

さらに、被写体上の点Ａ３からの光線は、撮影光学系１１の瞳上の部分領域１１ａを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｃで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｂを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ｂで受光される。また、被写体上の点Ａ３からの他の光線は、撮影光学系１１の瞳上の部分領域１１ｃを通過し、マイクロレンズ１２ｃを通過して撮像素子２０の画素２３ａで受光される。このように、Ａの位置にある被写体からの光線は、マイクロレンズ１２ａ，１２ｂ，１２ｃの後側に位置する撮像素子２０の画素で受光されることによって明るさと進行方向とが光線情報として取得される。

マイクロレンズ１２ａ，１２ｂ，１２ｃそれぞれに対応する３つの画素のうち、下側の画素２１ｃ，２２ｃ，２３ｃの画素信号で生成される画像は、部分領域１１ａを通過した光線による像である。また、真中の画素２１ｂ，２２ｂ，２３ｂの画素信号で生成される画像は、部分領域１１ｂを通過した光線による像である。また、上側の画素２１ａ，２２ａ，２３ａの画素信号で生成される画像は、部分領域１１ｃを通過した光線による像である。例えば各マイクロレンズに対応する画素数がＮ個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるＮ個の再構成画像は、撮影光学系１１をＮ個の部分領域に分割して取得されるＮ個のステレオ画像群を形成する。

図３は、撮像素子２０の画素配列と入射領域とを説明する図である。なお、図３では図２のＸ軸方向から撮像素子２０を観察した様子を示す。図３に示す撮像素子２０において、画素が配列された領域を画素領域２００という。画素領域２００には例えば１０００万個以上もの画素がマトリックス状に配列されている。画素領域２００における円形の領域は、１つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域２０１，２０２・・・という。なお、マイクロレンズは例えば５８６×４４０個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図３に示す例では、１つのマイクロレンズの直径は１３画素分となっている。ただし、このような画素数分に限定されるわけではない。

上述したように、ライトフィールドカメラ１は、すべてのマイクロレンズから入射領域における同じ位置（入射領域内におけるＹ軸方向及びＺ軸方向の同じ位置）にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系１１の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図３に示すように、入射領域２０１における画素２０１ａと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域２０１における画素２０１ｂと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。

図４は、ライトフィールドカメラ１の構成を示すブロック図である。図４に示すライトフィールドカメラ１は、撮像部１０、画像処理部３０、ワークメモリ４０、表示部５０、操作部５５、記録部６０、及びシステム制御部７０を備える。撮像部１０は、撮影光学系１１、マイクロレンズアレイ１２、駆動制御部１３、撮像素子２０、及び駆動部２１を有している。撮影光学系１１及びマイクロレンズアレイ１２は、図２において説明したため、図４においては説明を省略する。

撮像素子２０の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子２０は、撮影光学系１１及びマイクロレンズアレイ１２を通過した光束を入射する。撮像素子２０は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部１０において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率（増幅率）で増幅する。また、不図示のＡ／Ｄ変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部１０は、デジタル信号の各画素の画素信号からなるＲＡＷデータを画像処理部３０に出力する。上記したライトフィールドカメラ１が取得する光線情報は、撮像部１０から出力されるＲＡＷデータで特定される。

駆動制御部１３は、撮影光学系１１が備える開口絞りの開口径調節を行うために、システム制御部７０から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部２１は、システム制御部７０からの指示信号に基づいて設定される撮像条件で撮像素子２０の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間（シャッター速度）、フレームレート、ゲインなどがあげられる。

ここで、露光時間とは、撮像素子２０の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理（表示又は記録）されるフレーム数を表す値のことをいう。フレームレートの単位はｆｐｓ（Frames Per Second）で表される。また、ゲインとは、画素信号を増幅するアンプの利得率（増幅率）のことをいう。このゲインを変更することにより、ＩＳＯ感度を変更することができる。このＩＳＯ感度は、ＩＳＯで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子２０の感度を表現する場合もＩＳＯ感度が用いられる。この場合、ＩＳＯ感度は撮像素子２０が光をとらえる能力を表す値となる。

画像処理部３０は、各画素の画素信号からなるＲＡＷデータに対して種々の画像処理を施し、所定のファイル形式（例えば、ＪＰＥＧ形式等）の画像データを生成する。画像処理部３０が生成する画像データには、静止画、動画、ライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部３０で生成された画像データを表示部５０に順次出力して表示部５０に表示される画像である。ライブビュー画像は、撮像部１０により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。

画像処理部３０は、ワークメモリ４０をワークスペースとして、各画素の画素信号からなるＲＡＷデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像処理部３０は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。

図５は、画像の再構成を説明する図である。図５に示すように、画像処理部３０は、画素領域２００における各入射領域２０１，２０２・・・に対して同じ位置にある画素２０１ａ，２０２ａ・・・の画素値（画素信号が示す値）を抽出する。画像処理部３０は、抽出した画素値を並べ直して再構成画像データ４００ａを生成する。各入射領域２０１，２０２・・・に対応する画素数がＮ個である場合、Ｎ個の再構成画像データが生成される。

画像処理部３０は、Ｎ個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像処理部３０は、平行移動後のＮ個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像処理部３０は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像処理部３０は、撮像素子２０の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像処理部３０は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。

本実施形態においては、画像処理部３０は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置（焦点距離）が異なる複数の画像データを生成する。

画像処理部３０は、ワークメモリ４０をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像処理部３０は、ベイヤー配列で得られた信号に対して色信号処理（色調補正）を行うことによりＲＧＢ画像データを生成する。また、画像処理部３０は、ＲＧＢ画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部３０は、必要に応じて、所定の圧縮形式（ＪＰＥＧ形式、ＭＰＥＧ形式等）で圧縮する処理を行う。

画像処理部３０は、画像データから一又は複数の被写体を検出する。本実施形態では、画像処理部３０は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。なお、画像処理部３０は、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行ってもよい。また、画像処理部３０は、移動する被写体（移動被写体）に対しては、時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、画像処理部３０は、顔検出に加えて、例えば特開２０１０−１６６２１号公報（ＵＳ２０１０／０００２９４０号）に記載されているように、画像データに含まれる人体を被写体として検出してもよい。

また、画像処理部３０は、検出した各被写体までの距離（焦点距離）を検出（算出）する。例えば、画像処理部３０は、複数の再構成画像データ（例えば入射領域における２つの特定位置の画素の画素値から構成される再構成画像データ）における各被写体の視差を検出し、検出した視差に基づいて各被写体までの距離を算出する。

画像処理部３０は、生成した画像データを記録部６０に出力する。また、画像処理部３０は、生成した画像データを表示部５０に出力する。また、画像処理部３０は、検出した被写体のサイズ及び画像データ中の位置を画素単位で示す位置データを記録部６０に出力する。また、画像処理部３０は、検出した各被写体までの距離を示す距離データを記録部６０に出力する。

ワークメモリ４０は、画像処理部３０による画像処理が行われる際にＲＡＷデータや画像データなどを一時的に記憶する。表示部５０は、撮像部１０で撮像された画像や各種情報を表示する。この表示部５０は、例えば液晶表示パネルなどで構成された表示画面５１を有している。なお、表示部５０に表示される画像には、静止画、動画、ライブビュー画像が含まれる。

操作部５５は、使用者によって操作されるレリーズスイッチ（静止画の撮影時に押されるスイッチ）、動画スイッチ（動画の撮影時に押されるスイッチ）、各種の操作スイッチなどである。この操作部５５は、使用者による操作に応じた信号をシステム制御部７０に出力する。記録部６０は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部６０は、カードスロットに装着された記録媒体に画像処理部３０において生成された画像データや各種データを記憶する。また、記録部６０は、内部メモリを有する。記録部６０は、画像処理部３０において生成された画像データや各種データを内部メモリに記録することも可能である。

システム制御部７０は、ライトフィールドカメラ１の全体の処理及び動作を制御する。このシステム制御部７０はＣＰＵ（Central Processing Unit）を有する。システム制御部７０は、画像処理部３０で生成された画像データを表示部５０に出力させて、表示部５０の表示画面５１に画像（ライブビュー画像、静止画、動画）を表示させる制御を行う。また、システム制御部７０は、記録部６０に記録されている画像データを読み出して表示部５０に出力させ、表示部５０の表示画面５１に画像を表示させる制御を行う。

また、システム制御部７０は、撮像素子２０の撮像面（画素領域２００）において所定の撮像条件（露光時間、フレームレート、ゲインなど）で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部２１に対して出力する。また、システム制御部７０は、画像処理部３０に所定の制御パラメータ（色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ）で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部３０に出力する。また、システム制御部７０は、画像処理部３０で生成された画像データを記録部６０に出力させて、記録部６０に画像データを記録させる制御を行う。また、システム制御部７０は、画像処理部３０で検出された各被写体の位置データ及び距離データを記録部６０に出力させて、被写体ごとに画像データと位置データ及び距離データとを対応付けて記録部６０に記録させる制御を行う。なお、システム制御部７０は、上記の制御の他に、撮影光学系１１に備えられた開口絞りの開口径調節などの制御も行う。

次に、ライトフィールドカメラ１の画像処理部３０が実行する画像処理について説明する。図６は、図４に示す画像処理部３０が実行する画像処理を説明するためのフローチャートである。図６に示す処理において、画像処理部３０は、撮像部１０から出力されるＲＡＷデータを取得する（ステップＳ１）。そして、画像処理部３０は、取得したＲＡＷデータに基づいて所定の合焦位置（焦点距離、焦点位置）の画像データを生成する（ステップＳ２）。

具体的には、上述したように、画像処理部３０は、画素領域２００における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像処理部３０は、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップＳ２において、画像処理部３０は、合焦位置が異なる複数の画像データを生成する。また、ステップＳ２で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。

次に、画像処理部３０は、ステップＳ２で生成した合焦位置が異なる複数の画像データに対して、色信号処理（色調補正）、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する（ステップＳ３）。

また、画像処理部３０は、生成した画像データから一又は複数の被写体を検出する（ステップＳ４）。画像処理部３０は、検出した一又は複数の被写体のサイズ及び位置を示す位置データをシステム制御部７０に出力する。また、画像処理部３０は、ステップＳ４で検出した一又は複数の被写体までの距離（焦点距離）を検出する（ステップＳ５）。画像処理部３０は、検出した一又は複数の被写体までの距離を示す距離データをシステム制御部７０に出力する。

その後、画像処理部３０は、合焦位置が異なる複数の画像データを記録部６０に記録する（ステップＳ６）。このとき、システム制御部７０は、画像処理部３０から出力された被写体の位置データと距離データとを被写体ごとに対応付けて記録部６０に記録する。なお、画像処理部３０は、ＲＡＷデータも画像データ等と対応付けて記録部６０に記録してもよい。

なお、記録部６０に記録された合焦位置の異なる複数の画像データ（本実施形態では、第１画像データ）、位置データ、及び距離データは、ライトフィールドカメラ１が画像合成装置１０１に接続されることにより、画像入力部１１２によって記憶部１２０の画像データ記憶領域に記憶される。

次に、第１実施形態に係る演算処理部１１０による画像合成について説明する。図７は、第１画像６０１、第２画像６０２、及び合成画像６０３の例を示す図である。本実施形態では、図７に示すように、使用者が第１画像６０１に第２画像６０２を挿入して合成画像６０３を作成する場合を例として演算処理部１１０による画像合成を説明する。ここで、第１画像６０１は、合焦位置を奥行き方向に変更可能なリフォーカス画像である。第２画像６０２は、合焦位置を奥行き方向に変更不可能な二次元画像である。また、合成画像６０３は、合焦位置を奥行き方向に変更可能なリフォーカス画像である。

図７に示す第１画像６０１には、人物Ｏ１が左側に表示されている。また、第１画像６０１には、木Ｏ２が右側に表示され、家Ｏ３が中心付近に表示されている。また、第１画像６０１において、木Ｏ２及び家Ｏ３は被写界深度の範囲外に位置しているため、これらの画像がぼけている。また、図７に示す例では、第２画像６０２は、ある二次元画像から切り出された人物の画像である。また、図７に示す例では、合成画像６０３においては、第１画像６０１における家Ｏ３の手前に第２画像６０２（人物）が配置されている。なお、第２画像６０２は人物に合焦した画像である。

図８は、第１実施形態の演算処理部１１０が実行する画像合成処理を説明するためのフローチャートである。図８に示す処理において、使用者によるキーボード１０３やマウス１０４の操作に応じて、制御プログラム（例えば画像合成を行うためのアプリケーションソフトウェアなどの画像合成プログラム）が起動されると、表示制御部１１１は、ＧＵＩの画像を記憶部１２０から読み出して表示装置１０２の表示画面５００に表示させる（ステップＳ１１）。

また、使用者によるキーボード１０３やマウス１０４の操作によって第１画像データ（例えば図７に示す第１画像６０１の画像データ）が選択されると、画像生成部１１４ａは、記憶部１２０の画像データ記憶領域に記憶されている第１画像データと、この第１画像データに対応付けられた第１画像データ中の被写体の位置データ及び距離データとを読み出して取得する（ステップＳ１２）。また、使用者によるキーボード１０３やマウス１０４の操作によって第２画像データ（例えば図７に示す第２画像６０２）が選択されると、画像生成部１１４ａは、記憶部１２０の画像データ記憶領域に記憶されている第２画像データを読み出して取得する（ステップＳ１２）。

なお、図７に示したように、第１画像データに挿入される第２画像データが、二次元の全体画像データの一部の画像データである場合は、画像生成部１１４ａは、使用者によるキーボード１０３やマウス１０４の操作に応じて全体画像データから第２画像データを切り出す処理を行う。

表示制御部１１１は、ステップＳ１２で取得した第１画像データ、位置データ、及び距離データに基づいて、第１画像データ中の各被写体Ｏ１〜Ｏ３のサイズ及び位置や、撮影時のライトフィールドカメラ１から各被写体Ｏ１〜Ｏ３までの距離を認識する。そして、表示制御部１１１は、認識した各被写体Ｏ１〜Ｏ３のサイズ、第１画像データ中の位置、及び各被写体Ｏ１〜Ｏ３までの距離に基づいて、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ３とを俯瞰したときの俯瞰図をＧＵＩ上に表示する（ステップＳ１３）。

図９及び図１０は、第１実施形態のグラフィカルユーザインタフェース（ＧＵＩ）上の俯瞰図３００の表示例を示す図である。図９及び図１０に示すように、表示装置１０２の表示画面５００には、ＧＵＩとして、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ３との距離関係、各被写体Ｏ１〜Ｏ３の合焦位置、及び第１画像データ（第２画像データの合成後は合成画像データである。以下、図９及び図１０において同様である。）の被写界深度の範囲を表す俯瞰図３００が表示される。図９及び図１０に示す俯瞰図３００では、カメラ位置ｄ０にライトフィールドカメラ１が表示され、合焦位置ｄ１に人物Ｏ１が表示され、合焦位置ｄ２に木Ｏ２が表示され、合焦位置ｄ３に家Ｏ３が表示されている。

図９に示す第１画像データの合焦位置は、人物Ｏ１の合焦位置ｄ１となっている。また、図９に示す第１画像データの被写界深度の範囲は、人物Ｏ１の合焦位置ｄ１の奥行き方向の前後の範囲となっている。すなわち、図９に示す第１画像データの被写界深度の範囲は、ライトフィールドカメラ１からの距離ｄ１ａから、ライトフィールドカメラ１からの距離ｄ１ｂまでの範囲となっている。なお、図９に示す第１画像データの合焦位置及び被写界深度の範囲は、ライトフィールドカメラ１の画像処理部３０によって自動的に設定されたものである。また、図１０に示す第１画像データの合焦位置も、人物Ｏ１の合焦位置ｄ１となっている。しかし、図１０に示す第１画像データの被写界深度の範囲は、ライトフィールドカメラ１からの距離ｄ１ａから、ライトフィールドカメラ１からの距離ｄ１ｃまでの範囲となっている。つまり、図１０に示す第１画像データの被写界深度は、図９に示す第１画像データの被写界深度よりも広くなっている。

また、図９及び図１０に示すように、表示装置１０２の表示画面５００の右上に小さな表示領域５０１が設けられている。この表示領域５０１には合成画像６０３（又は合成前は第１画像６０１）が表示される。このように、表示領域５０１に合成画像６０３を表示することによって、ＧＵＩを用いて作成中の合成画像６０３を使用者に視認させることができる。

次に、画像生成部１１４ａは、使用者によるマウス１０４の操作に応じて、第１画像データの奥行き方向の所定の位置に第２画像データを挿入して合成画像データを生成する（ステップＳ１４）。図９及び図１０に示す例では、使用者は、例えばマウス１０４のドラッグアンドドロップの操作によって、俯瞰図３００上の任意の位置（図９ではライトフィールドカメラ１からの距離ｄ１１の位置、図１０ではライトフィールドカメラ１からの距離ｄ１２の位置）に第２画像６０２を挿入する。画像生成部１１４ａは、第１画像データの奥行き方向における第２画像データの挿入位置に対応した合成画像データを生成する。そして、画像生成部１１４ａは、生成した合成画像データに基づく合成画像６０３を表示領域５０１に表示する。

変更部１１４ｂは、第２画像データの挿入位置に応じて、合成画像データの合焦位置及び被写界深度の一方又は双方を変更する（ステップＳ１５）。具体的には、変更部１１４ｂは、使用者によるマウス１０４などの操作によって合焦位置や被写界深度の範囲が指定されると、指定された距離に近い合焦位置を持つ複数の第１画像データを取得する。使用者によって指定された合焦位置の画像データは、変更部１１４ｂにより取得された複数の第１画像データの中間的な画像データである。このため、変更部１１４ｂは、取得した複数の第１画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、使用者によって指定された合焦位置の画像データを生成する。また、変更部１１４ｂは、複数の異なる合焦位置の画像データを合成することで、使用者によって指定された被写界深度の範囲の画像データを生成する。

図９に示す例では、第２画像６０２は、第１画像データにおける被写界深度の範囲内（距離ｄ１ａから距離ｄ１ｂまでの範囲内）の距離ｄ１１の位置に挿入されている。この場合、第２画像６０２は焦点が合っているように見える範囲内に位置していることから、合成画像６０３は使用者にとって違和感のない画像となっている。一方、図１０に示す例では、第２画像６０２は、第１画像データにおける当初の被写界深度の範囲外の距離ｄ１２の位置に挿入されている。この場合、第２画像６０２は焦点が合っていない範囲内に位置していることから、合成画像６０３は使用者にとって違和感のある画像となってしまう。そこで、使用者は、例えばマウス１０４の操作によって、第２画像６０２の挿入位置（距離ｄ１２の位置）が第１画像データの被写界深度の範囲に含まれるように、被写界深度の範囲を距離ｄ１ａから距離ｄ１ｃまでの範囲に変更する。

なお、変更部１１４ｂは、第２画像データの挿入位置に応じて、合成画像データの合焦位置及び被写界深度の一方又は双方を自動的に変更してもよい。この場合、変更部１１４ｂは、合成画像６０３が違和感のない画像となるように、例えば合成画像データの被写界深度を第２画像データの挿入位置を含む範囲に変更する。

次に、画像生成部１１４ａは、必要に応じて、第１画像データ及び第２画像データの一方又は双方の画像データを加工（すなわち編集）する（ステップＳ１６）。例えば、画像生成部１１４ａは、合成画像６０３が違和感のない画像となるように、使用者によるマウス１０４などの操作に応じて、第１画像６０１に含まれる被写体Ｏ１〜Ｏ３のサイズや第２画像６０２のサイズを変更する。また、第２画像データが合成画像データの被写界深度の範囲外に位置している場合には、画像生成部１１４ａは、使用者によるマウス１０４などの操作に応じて、第２画像６０２がぼけて見えるように第２画像データの解像度を変更する。なお、画像生成部１１４ａは、合成画像データの合焦位置及び被写界深度と第２画像データの挿入位置との関係に応じて、第１画像６０１に含まれる被写体Ｏ１〜Ｏ３や第２画像６０２のサイズを自動的に変更し、第２画像データの解像度を自動的に変更してもよい。

その後、記憶制御部１１４ｃは、使用者のマウス１０４などの操作に応じて、合成画像データを記憶部１２０の画像データ記憶領域に記憶する（ステップＳ１７）。

以上に説明したように、第１実施形態では、合焦位置を奥行き方向に変更可能な第１画像データにおける奥行き方向の所定位置に第２画像データを挿入して合成画像データを生成する合成画像生成部１１４ａと、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、合成画像データの合焦位置を変更する変更部１１４ｂとを備える。このような構成によれば、使用者にとって違和感のない合成画像６０３を生成することができる。例えば、合焦した第２画像データを第１画像データにおける奥行き方向の合焦位置でない位置に挿入されるなどのような違和感のある合成画像が生成されてしまうことを回避することができる。

また、第１実施形態では、変更部１１４ｂは、合成画像データの合焦位置を第２画像データの挿入位置に変更する。このような構成によれば、第２画像データが合焦位置に挿入された合成画像データを生成することができる。

また、第１実施形態では、変更部１１４ｂは、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、合成画像データの被写界深度の範囲を変更する。このような構成によれば、違和感のない合成画像データを生成することができるとともに、第２画像データを挿入可能な奥行き方向の位置の幅も広くなる。また、第１実施形態では、変更部１１４ｂは、合成画像データの被写界深度の範囲を第２画像データの挿入位置を含む範囲に変更する場合は、違和感のない合成画像データを確実に生成することができる。また、第１実施形態では、合成画像生成部１１４ａは、第１画像データにおける奥行き方向の第２画像データの挿入位置に応じて、第２画像データを編集するので、より一層、違和感のない合成画像データを生成することができる。

また、第１実施形態では、第１画像データ及び第２画像データの一方または双方における、撮像装置１と被写体との距離関係、合焦位置、及び被写界深度の範囲を表す図３００を表示部１０２に表示する表示制御部１１１を備える。このような構成によれば、撮像装置１と被写体との距離関係、合焦位置、及び被写界深度の範囲を使用者に容易に認識させることができる。従って、使用者による違和感のない合成画像データを生成する作業を容易に行わせることができる。

＜第２実施形態＞
上記した第１実施形態では、画像合成部１１４は、第１画像データに、合焦位置を変更することができない二次元画像データである第２画像データを挿入して合成画像データを生成する構成であった。これに対して、第２実施形態では、第１画像データに、合焦位置を変更可能なリフォーカス画像データである第２画像データを挿入して合成画像データを生成する。

図１１は、第２実施形態の演算処理部１１０が実行する画像合成処理を説明するためのフローチャートである。図１１に示す処理において、使用者によるキーボード１０３やマウス１０４の操作に応じて、制御プログラムが起動されると、表示制御部１１１は、ＧＵＩの画像を記憶部１２０から読み出して表示装置１０２の表示画面５００に表示させる（ステップＳ２１）。

また、使用者によるキーボード１０３やマウス１０４の操作によって第１画像データ（例えば図７に示す第１画像６０１の画像データ）が選択されると、画像生成部１１４ａは、記憶部１２０の画像データ記憶領域に記憶されている第１画像データと、この第１画像データに対応付けられた第１画像データ中の被写体の位置データ及び距離データとを読み出して取得する（ステップＳ２２）。また、使用者によるキーボード１０３やマウス１０４の操作によって第２画像データが選択されると、画像生成部１１４ａは、記憶部１２０の画像データ記憶領域に記憶されている第２画像データと、この第２画像データに対応付けられた第２画像データ中の被写体の位置データ及び距離データとを読み出して取得する（ステップＳ２２）。

表示制御部１１１は、ステップＳ２２で取得した第１画像データ、位置データ、及び距離データに基づいて、第１画像データ中の各被写体Ｏ１〜Ｏ３のサイズ及び位置や、撮影時のライトフィールドカメラ１から各被写体Ｏ１〜Ｏ３までの距離を認識する。また、表示制御部１１１は、ステップＳ２２で取得した第２画像データ、位置データ、及び距離データに基づいて、第２画像データ中の被写体Ｏ１１のサイズ及び位置や、撮影時のライトフィールドカメラ１から被写体Ｏ１１までの距離を認識する。そして、表示制御部１１１は、認識した各被写体Ｏ１〜Ｏ３のサイズ、第１画像データ中の位置、及び各被写体Ｏ１〜Ｏ３までの距離、被写体Ｏ１１のサイズ、第２画像データ中の位置、及び被写体Ｏ１１までの距離に基づいて、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ３とを俯瞰したとき、及びライトフィールドカメラ１と被写体Ｏ１１とを俯瞰したときの俯瞰図３０１をＧＵＩ上に表示する（ステップＳ２３）。

図１２及び図１３は、第２実施形態のグラフィカルユーザインタフェース（ＧＵＩ）上の俯瞰図３０１の表示例を示す図である。図１２及び図１３に示すように、表示装置１０２の表示画面５００には、ＧＵＩとして、ライトフィールドカメラ１と各被写体Ｏ１〜Ｏ３との距離関係、各被写体Ｏ１〜Ｏ３の合焦位置、及び第１画像データ（第２画像データの合成後は合成画像データである。以下、図１２及び図１３において同様である。）の被写界深度の範囲を表す第１画像の俯瞰図が表示される。また、表示装置１０２の表示画面５００には、ＧＵＩとして、ライトフィールドカメラ１と被写体Ｏ１１との距離関係、被写体Ｏ１１の合焦位置、及び第２画像データの被写界深度の範囲を表す第２画像の俯瞰図が表示される。このように、俯瞰図３０１は、第１画像の俯瞰図と第２画像の俯瞰図とから構成される。

図１２及び図１３に示す第１画像の俯瞰図では、カメラ位置ｄ０にライトフィールドカメラ１が表示され、合焦位置ｄ１に人物Ｏ１が表示され、合焦位置ｄ２に木Ｏ２が表示され、合焦位置ｄ３に家Ｏ３が表示されている。また、図１２及び図１３に示す第２画像の俯瞰図では、カメラ位置ｄ０にライトフィールドカメラ１が表示され、合焦位置ｄ２１に人物Ｏ１１が表示されている。

図１２に示す第１画像データの合焦位置は、人物Ｏ１の合焦位置ｄ１となっている。また、図１２に示す第１画像データの被写界深度の範囲は、人物Ｏ１の合焦位置ｄ１の奥行き方向の前後の範囲（距離ｄ１ａから距離ｄ１ｂまでの範囲）となっている。また、図１２に示す第２画像データの合焦位置は、人物Ｏ１１の合焦位置ｄ２１となっている。また、図１２に示す第２画像データの被写界深度の範囲は、人物Ｏ１１の合焦位置ｄ２１の奥行き方向の前後の範囲（距離ｄ２１ａから距離ｄ２１ｂまでの範囲）となっている。

また、図１３に示す第１画像データ及び第２画像データの合焦位置は、いずれも、人物Ｏ１１の合焦位置ｄ２１となっている。また、図１３に示す第１画像データ及び第２画像データの被写界深度の範囲は、いずれも、人物Ｏ１１の合焦位置ｄ２１の奥行き方向の前後の範囲（距離ｄ２１ａから距離ｄ２１ｂまでの範囲）となっている。

また、図１２及び図１３に示すように、表示装置１０２の表示画面５００の右上に小さな表示領域５０１が設けられている。この表示領域５０１には合成画像６０４（又は合成前は第１画像６０１）が表示される。

次に、変更部１１４ｂは、第２画像データの挿入位置を決定し、決定した挿入位置に応じた合成画像データの合焦位置及び被写界深度の範囲に変更する。そして、変更部１１４ｂは、変更した合成画像データの合焦位置及び被写界深度の範囲に合わせて、第１画像データの合焦位置及び被写界深度の範囲を変更するとともに、第２画像データの合焦位置及び被写界深度の範囲を変更する（ステップＳ２４）。例えば、変更部１１４ｂは、第２画像データの合焦位置及び被写界深度の範囲の一方又は双方に合わせて、合成画像データの合焦位置及び被写界深度の範囲の一方又は双方を自動的に変更し、合成画像データの合焦位置及び被写界深度の範囲に合わせて、第１画像データの合焦位置及び被写界深度の範囲の一方又は双方を変更する。なお、変更部１１４ｂは、使用者によるマウス１０４の操作に応じて、第２画像データの挿入位置を決定してもよい。

なお、変更部１１４ｂは、第１画像データ又は第２画像データの合焦位置及び被写界深度の範囲の一方又は双方に合わせて、合成画像データの合焦位置及び被写界深度の範囲の一方又は双方を自動的に変更し、合成画像データの合焦位置及び被写界深度の範囲に合わせて、第２画像データ又は第１画像データの合焦位置及び被写界深度の範囲の一方又は双方を変更してもよい。

次に、画像生成部１１４ａは、第１画像データの奥行き方向の所定の位置に第２画像データを挿入して合成画像データを生成する（ステップＳ２５）。なお、図１２及び図１３に示すように、第１画像データに挿入される第２画像データが、全体画像データの一部の画像データ（例えば人物Ｏ１１の画像データ）である場合は、画像生成部１１４ａは、使用者によるキーボード１０３やマウス１０４の操作に応じて全体画像データから第２画像データを切り出す処理を行う。

図１３に示す例では、使用者は、例えばマウス１０４のドラッグアンドドロップの操作によって、第１画像データの被写体Ｏ１〜Ｏ３までの距離と第２画像データの被写体Ｏ１１までの距離との関係が合うように、俯瞰図３０１上の所定の位置（図１３ではライトフィールドカメラ１からの距離ｄ２１の位置）に第２画像（人物Ｏ１１の画像）を挿入する。画像生成部１１４ａは、第１画像データの奥行き方向における第２画像データの挿入位置に対応した合成画像データを生成する。そして、画像生成部１１４ａは、生成した合成画像データに基づく合成画像６０４を表示領域５０１に表示する。

次に、画像生成部１１４ａは、必要に応じて、第１画像データ及び第２画像データの一方又は双方の画像データを加工（すなわち編集）する（ステップＳ２６）。例えば、画像生成部１１４ａは、使用者によるマウス１０４などの操作に応じて、第１画像６０１に含まれる被写体Ｏ１〜Ｏ３のサイズや第２画像に含まれる被写体Ｏ１１のサイズを変更する。なお、画像生成部１１４ａは、第１画像６０１に含まれる被写体Ｏ１〜Ｏ３のサイズや第２画像に含まれる被写体Ｏ１１のサイズを自動的に変更してもよい。

その後、記憶制御部１１４ｃは、使用者のマウス１０４などの操作に応じて、合成画像データを記憶部１２０の画像データ記憶領域に記憶する（ステップＳ２７）。

以上に説明したように、第２実施形態では、合焦位置を奥行き方向に変更可能な第１画像データにおける奥行き方向の所定位置に、合焦位置を奥行き方向に変更可能な第２画像データを挿入して合成画像データを生成する合成画像生成部１１４ａと、撮像装置１から第１画像データの被写体までの距離と撮像装置１から第２画像データの被写体までの距離との関係が合うように、合成画像データの合焦位置を変更する変更部１１４ｂとを備える。このような構成によれば、違和感のない合成画像データを確実に生成することができる。

また、第２実施形態では、変更部１１４ｂは、合成画像生成部１１４ａが合成画像データを生成する前に、合成画像データの合焦位置及び被写界深度に合わせて、第１画像データ及び第２画像データの合焦位置及び被写界深度を変更する。このような構成によれば、使用者による画像合成時の作業負担が軽減される。また、第２実施形態では、変更部１１４ｂは、合成画像データの合焦位置及び被写界深度の範囲を第１画像データまたは第２画像データの合焦位置及び被写界深度の範囲に変更する場合においても、違和感のない合成画像データを確実に生成することができる。

なお、変更部１１４ｂは、第１画像データと第２画像データの合成を行った後に、合成画像データの合焦位置や被写界深度の範囲を変更してもよい。また、第１画像データ、第２画像データ、及び合成画像データの合焦位置及び被写界深度の範囲は、使用者のマウス１０４などの操作によって変更されても、変更部１１４ｂによって自動的に変更されてもよい。

また、上記した第２実施形態では、変更部１１４ｂは、ライトフィールドカメラ１からの絶対距離に基づいて、第１画像データの被写体までの距離と第２画像データの被写体までの距離とが合うように合焦位置や被写界深度の範囲を変更していた。しかし、変更部１１４ｂは、ライトフィールドカメラ１からの相対距離に基づいて、第１画像データの被写体までの距離と第２画像データの被写体までの距離とが合うように合焦位置や被写界深度の範囲を変更してもよい。この場合、画像生成部１１４ａは、合成画像が違和感のないように、被写体のサイズや解像度などを変更（加工）する。

また、遠い被写体のサイズが小さく解像度が低いため、そのような被写体の画像データを第１画像データの奥行き方向の近距離に挿入すると、解像度の低い画像によって違和感が生じる。そこで、上記した第１実施形態及び第２実施形態において、表示制御部１１１は、第１画像データの被写体の解像度と第２画像データの被写体の解像度に応じて、第１画像データにおける第２画像データの挿入可能な範囲を表す俯瞰図を表示部１０２に表示する。このような構成によれば、違和感の生じない合成画像が生成可能な範囲を使用者に明示することができ、使用者の操作性が向上する。

＜画像合成システム＞
上記した各実施形態（第１実施形態、第２実施形態）及び変形例では、それぞれスタンドアローンの形態のシステムである。しかし、そのような形態のシステムには限定されない。例えばクライアントサーバシステムなどの通信ネットワークを通じて接続された画像表示システムＳＹＳについて説明する。以下の説明において、上記の第１〜第３実施形態と同一又は同等の構成部分については同一符号を付けて説明を省略または簡略化する。

図１４は、画像合成システムＳＹＳの構成を示すブロック図である。図１４に示すように、この画像表示システムＳＹＳは、クライアント端末１０１Ｂの演算処理部１１０Ｂにおいて、表示制御部１１１、画像入力部１１２、操作制御部１１３、及び通信部１１５を有している。これら表示制御部１１１、画像入力部１１２、及び操作制御部１１３は、図１に示した表示制御部１１１、画像入力部１１２、及び操作制御部１１３に相当する。また、図１４に示す記憶部１２０Ｂは、図１に示した記憶部１２０に相当する。

図１４に示すように、クライアント端末１０１Ｂの演算処理部１１０Ｂは、通信ネットワーク１８０を介してサーバ（画像合成装置）１０６とデータを送受信する通信部１１５を有している。また、サーバ１０６の演算処理部１６０は、通信ネットワーク１８０を介してクライアント端末１０１Ｂとデータを送受信する通信部１６１を有している。また、演算処理部１６０の画像合成部１６２は、クライアント端末１０１Ｂからの要求に応じて、クライアント端末１０１Ｂから送信される画像データ（第１画像データ、第２画像データ）を記憶部１７０に蓄積する。そして、画像合成部１６２は、図１に示した画像合成部１１４と同様に、画像データに基づいて画像合成の制御を実行する。

なお、通信部１１５の構成や、演算処理部１６０における通信部１６１及び画像合成部１６２の構成は、ＣＰＵなどの制御装置が記憶部１２０Ｂ，１７０に記憶されている制御プログラムに従って処理を実行することにより実現される。

使用者は、クライアント端末１０１Ｂに接続されたキーボード１０３及びマウス１０４を操作して、ライトフィールドカメラ１や記憶部１２０Ｂに記憶されている画像データを読み出し、読み出した画像データをサーバ１０６に送信する。そして、使用者は、キーボード１０３及びマウス１０４を操作して、サーバ６に対してＧＵＩの表示を要求する。サーバ１０６における画像合成部１６２は、ＧＵＩの表示の要求に応じて、ＧＵＩ上の俯瞰図の画像データ（被写体などが配置された画像データ）をクライアント端末１０１Ｂに対して送信する。クライアント端末１０１Ｂでは、通信部１１５がサーバ１０６から送信されたＧＵＩ上の俯瞰図の画像データを受信すると、表示制御部１１１が受信した俯瞰図の画像データを表示装置１０２の表示画面５００に表示する。

また、使用者は、マウス１０４などを操作して、表示画面５００に表示された俯瞰図の画像に基づいて、第１画像データにおける所定の挿入位置に第２画像データを挿入し、また合焦位置や被写界深度の範囲を変更する。通信部１１５は、使用者の操作された操作情報をサーバ１０６に送信する。サーバ１０６の画像合成部１６２は、クライアント端末１０１Ｂからの操作情報に応じて、第１画像データにおける所定の挿入位置に第２画像データを挿入し、また合焦位置や被写界深度の範囲を変更する。そして、画像合成部１６２は、そのような処理後のＧＵＩ上の俯瞰図の画像データをクライアント端末１０１Ｂに対して送信する。クライアント端末１０１Ｂでは、通信部１１５がサーバ１０６から送信されたＧＵＩ上の俯瞰図の画像データを受信すると、表示制御部１１１が受信した俯瞰図の画像データを表示装置１０２の表示画面５００に表示する。

このような処理を繰り返すことにより、画像合成部１６２は使用者が望む合成画像を生成する。そして、画像合成部１６２は、クライアント端末１０１Ｂからの合成画像データの送信要求に基づいて、生成した合成画像データをクライアント端末１０１Ｂに送信する。

このような構成によれば、クライアント端末１０１Ｂが大容量のデータを記憶しておく必要がなくなり、データ管理を一元化できるなど、コストを低減させることができる。

なお、図１４に示す画像表示システムＳＹＳでは、クライアント端末１０１Ｂの表示制御部１１１が表示制御を行っているが、これに限定されない。例えば、クライアント端末１０１Ｂは、ブラウザを備え、ブラウザを用いて図９等に示すような俯瞰図の表示内容を表示装置１０２に表示させるようにしてもよい。

＜撮像装置の変形例＞
上記した第１実施形態におけるライトフィールドカメラ１は、撮像装置１Ａと電子機器１Ｂとが分離した構成であってもよい。

図１５は、撮像装置と電子機器とが分離した構成を示すブロック図である。図１５に示す構成において、撮像装置１Ａは、被写体の撮像を行う装置であって、リフォーカス機能を備えた装置である。この撮像装置１Ａは、撮像部１０、画像処理部３０、ワークメモリ４０、操作部５５、記録部６０、及び第１システム制御部７０Ａを備える。なお、撮像装置１Ａのうち、撮像部１０、画像処理部３０、ワークメモリ４０、操作部５５、及び記録部６０の構成は、図４に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

また、電子機器１Ｂは、画像（静止画、動画、ライブビュー画像）の表示を行う装置である。この電子機器１Ｂは、表示部５０及び第２システム制御部７０Ｂを備える。なお、電子機器１Ｂのうちの表示部５０の構成は、図４に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。

第１システム制御部７０Ａは、第１通信部７５Ａを有している。また、第２システム制御部７０Ｂは、第２通信部７５Ｂを有している。第１通信部７５Ａと第２通信部７５Ｂとは、互いに有線又は無線で信号を送受信する。このような構成において、第１システム制御部７０Ａは、第１通信部７５Ａを介して画像データ（画像処理部３０が画像処理した画像データ、記録部６０に記録されている画像データ）を第２通信部７５Ｂに送信する。第２システム制御部７０Ｂは、第２通信部７５Ｂにおいて受信した画像データを表示部５０に表示させる。

なお、撮像装置１Ａは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器１Ｂは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。

以上のような構成によれば、第１実施形態及び第２実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置１Ａで撮像されている画像（リフォーカス画像）を電子機器１Ｂの表示部５０に表示させることができる。なお、撮像装置１Ａで撮像された画像データは、システム制御部７０Ａを介して画像合成装置１０１に送信されてもよく、システム制御部７０Ｂを介して画像合成装置１０１に送信されてもよい。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の１つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。

例えば、上記した各実施形態では、撮像装置の一例としてライトフィールドカメラ１を挙げていたが、これに限定されず、例えば複数のカメラを配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。

また、上記した各実施形態では、画像合成部１１４は、ライトフィールドカメラ１が撮影したリフォーカス画像を用いて、合焦位置や被写界深度の範囲を変更していた。しかし、画像合成部１１４は、フォーカスブラケット機能を備えたデジタルカメラ（撮像装置）が撮影した複数の画像を用いて、合焦位置（焦点位置）や被写界深度の範囲を変更することが可能である。すなわち、上記した第１実施形態における第１画像データ、また上記した第２実施形態における第１画像データ及び第２画像データには、デジタルカメラ（撮像装置）が合焦位置を変えながら撮像した、合焦位置の異なる複数の画像データに基づいて生成される画像データが含まれる。ここで、フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。画像合成部１１４は、使用者によって指定された合焦位置や被写界深度に応じて、合焦位置の異なる複数の画像データを適宜選択し、選択した画像データを合成することにより、合焦位置や被写界深度の範囲を変更することができる。

また、上記した各実施形態では、ライトフィールドカメラ１の画像処理部３０がＲＡＷデータに基づいて合焦位置が異なる複数の画像データを生成し、被写体を検出し、被写体までの距離を検出していた。しかし、画像合成部１１４がライトフィールドカメラ１からＲＡＷデータを取得し、取得したＲＡＷデータに基づいて、合焦位置が異なる複数の画像データを生成し、被写体を検出し、被写体までの距離を検出してもよい。また、上記した各実施形態において、第１画像データに挿入される第２画像データは１つに限らず複数であってもよい。

また、上記した各実施形態では、画像合成部１１４が複数の画像データ（第１画像データ、第２画像データ）に対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、合焦位置や被写界深度の範囲を変更していた。しかし、画像合成部１１４は、ＲＡＷデータに基づいて所定の合焦位置や被写界深度の画像データを生成することで、合焦位置や被写界深度の範囲を変更してもよい。

また、図４に示す画像処理部３０とシステム制御部７０は一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部３０の機能とシステム制御部７０の機能を担う。また、図１５に示す構成において、画像処理部３０と第１システム制御部７０Ａとは一体で構成されてもよい。この場合、１つのＣＰＵを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部３０の機能と第１システム制御部７０Ａの機能を担う。

また、上記した第１実施形態において、カラーフィルタの配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。

また、上記した各実施形態に係るライトフィールドカメラ１は、自動的に又は使用者による操作部５５などの操作に応じてズーミング調節を行うズーム機能を備えていてもよい。この場合、駆動制御部１３は、ズーミング調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばズーミング用レンズ）の駆動制御を実行する。また、ライトフィールドカメラ１は、被写体の撮影後に焦点位置を変更することが可能であるが、被写体の撮影前に自動的に焦点位置を調節するオートフォーカス機能を備えていてもよい。この場合、駆動制御部１３は、撮影光学系１１の焦点調節を行うために、システム制御部７０から送信される制御情報に基づいて撮影光学系１１（例えばフォーカシング用レンズ）の駆動制御を実行する。

また、上記した第２実施形態において、画像合成部１１４が第１画像データに第２画像データを挿入して合成画像データを生成していたが、第２画像データに第１画像データを挿入して合成画像データを生成してもよい。また、画像合成部１１４は、合焦位置や被写界深度を使用者のマウス１０４などの操作に応じて変更しても自動的に変更してもよい。

１…ライトフィールドカメラ（撮像装置）、１Ａ…撮像装置、１Ｂ…電子機器、１０１…画像合成装置、１０１Ｂ…クライアント端末、１０２…表示装置（表示部）、１０６…サーバ（画像合成装置）、１１０，１１０Ｂ…演算処理部、１１１…表示制御部、１１２…画像入力部、１１３…操作制御部、１１４…画像合成部、１１４ａ…画像生成部（合成画像生成部）、１１４ｂ…変更部、１１４ｃ…記憶制御部、１１５…通信部、１２０，１２０Ｂ…記憶部、１６０…演算処理部、１６１…通信部、１６２…画像合成部、１７０…記憶部

Claims (14)

1. 合焦位置を奥行き方向に変更可能な第１画像データにおける前記奥行き方向の所定位置に第２画像データを挿入して合成画像データを生成する合成画像生成部と、
   前記第１画像データにおける前記奥行き方向の前記第２画像データの挿入位置に応じて、前記合成画像データの合焦位置を変更する変更部と、を備える画像合成装置。
2. 前記変更部は、前記合成画像データの合焦位置を前記第２画像データの挿入位置に変更する請求項１記載の画像合成装置。
3. 前記変更部は、前記第１画像データにおける前記奥行き方向の前記第２画像データの挿入位置に応じて、前記合成画像データの被写界深度の範囲を変更する請求項１または請求項２記載の画像合成装置。
4. 前記変更部は、前記合成画像データの被写界深度の範囲を前記第２画像データの挿入位置を含む範囲に変更する請求項３記載の画像合成装置。
5. 前記第１画像データは、撮像装置が合焦位置を変えながら撮像した、前記合焦位置の異なる複数の画像データに基づいて生成される画像データを含む請求項１から４のいずれか一項に記載の画像合成装置。
6. 合焦位置を奥行き方向に変更可能な第１画像データにおける前記奥行き方向の所定位置に、合焦位置を奥行き方向に変更可能な第２画像データを挿入して合成画像データを生成する合成画像生成部と、
   撮像装置から前記第１画像データの被写体までの距離と前記撮像装置から前記第２画像データの被写体までの距離との関係が合うように、前記合成画像データの合焦位置を変更する変更部と、を備える画像合成装置。
7. 前記変更部は、前記合成画像生成部が前記合成画像データを生成する前に、前記合成画像データの合焦位置及び被写界深度に合わせて、前記第１画像データ及び前記第２画像データの合焦位置及び被写界深度を変更する請求項６記載の画像合成装置。
8. 前記変更部は、前記合成画像データの合焦位置及び被写界深度の範囲を前記第１画像データまたは前記第２画像データの合焦位置及び被写界深度の範囲に変更する請求項６または請求項７記載の画像合成装置。
9. 前記第１画像データ及び前記第２画像データは、前記撮像装置が合焦位置を変えながら撮像した、前記合焦位置の異なる複数の画像データに基づいて生成される画像データを含む請求項６から８のいずれか一項に記載の画像合成装置。
10. 前記第１画像データ及び前記第２画像データの一方または双方における、前記撮像装置と前記被写体との距離関係、前記合焦位置、及び前記被写界深度の範囲を表す図を表示部に表示する表示制御部を備える請求項１から９のいずれか一項に記載の画像合成装置。
11. 前記表示制御部は、前記第１画像データの被写体の解像度と前記第２画像データの被写体の解像度に応じて、前記第１画像データにおける前記第２画像データの挿入可能な範囲を表す図を表示部に表示する請求項１０記載の画像合成装置。
12. 前記合成画像生成部は、前記第１画像データにおける前記奥行き方向の前記第２画像データの挿入位置に応じて、前記第２画像データを編集する請求項１から１１のいずれか一項に記載の画像合成装置。
13. コンピュータに、
    合焦位置を奥行き方向に変更可能な第１画像データにおける前記奥行き方向の所定位置に第２画像データを挿入して合成画像データを生成する合成画像生成処理と、
    前記第１画像データにおける前記奥行き方向の前記第２画像データの挿入位置に応じて、前記合成画像データの合焦位置を変更する変更処理と、を実行させる画像合成プログラム。
14. コンピュータに、
    合焦位置を奥行き方向に変更可能な第１画像データにおける前記奥行き方向の所定位置に、合焦位置を奥行き方向に変更可能な第２画像データを挿入して合成画像データを生成する合成画像生成処理と、
    撮像装置から前記第１画像データの被写体までの距離と前記撮像装置から前記第２画像データの被写体までの距離との関係が合うように、前記合成画像データの合焦位置を変更する変更処理と、を実行させる画像合成プログラム。