以下、本発明の実施形態について図面を参照して説明する。ただし、本発明はこれに限定されるものではない。また、図面においては、実施形態を説明するため、一部分を大きくまたは強調して記載するなど適宜縮尺を変更して表現する場合がある。
<第1実施形態>
図1は、画像合成装置101の構成を示すブロック図である。図1に示すように、画像合成装置101は、撮像装置の一例であるライトフィールドカメラ1、表示装置(表示部)102、キーボード103、及びマウス104と接続されている。画像合成装置101は、ライトフィールドカメラ1で撮影された第1画像データにおける奥行き方向の任意の位置に第2画像データを挿入して合成画像データを生成する。また、画像合成装置101は、ライトフィールドカメラ1から第1画像データ中の被写体までの距離とライトフィールドカメラ1から第2画像データ中の被写体までの距離との関係が合うように、合成画像データの合焦位置及び被写界深度の範囲を変更する。
本実施形態において、第1画像データは、合焦位置を奥行き方向に変更可能なリフォーカス画像の画像データであり、第2画像データは、合焦位置を奥行き方向に変更不可能な二次元画像の画像データである。なお、ライトフィールドカメラ1から被写体に向かう方向を奥側の方向といい、その反対側の方向を手前側の方向をいう。また、奥側の方向及び手前側の方向を奥行き方向という。また、被写界深度とは、焦点が合っているように見える被写体の焦点距離の範囲のことをいう。
画像合成装置101は、例えば、パーソナルコンピュータで実現される。この画像合成装置101は、図1に示すように、演算処理部110及び記憶部120を有している。演算処理部110は、複数の画像データの合成に関する制御を司る。記憶部120は、ライトフィールドカメラ1で撮影された第1画像データや、第2画像データ、演算処理部110による画像合成処理に必要な各種情報(例えば画像データ中の被写体のサイズや位置を示す位置データ、撮影時のライトフィールドカメラ1から被写体までの距離を示す距離データ)などを記憶する。
演算処理部110は、図1に示すように、表示制御部111、画像入力部112、操作制御部113、及び画像合成部114を有している。表示制御部111は、例えば液晶表示ディスプレイのような表示装置102の表示画面500に、使用者が画像データの合成を行う際に使用者によって操作されるグラフィカルユーザインタフェース(以下、GUIという。)などの各種画像(図10、図11参照)を表示する制御を行う。
画像入力部112は、ライトフィールドカメラ1と接続されることにより、このライトフィールドカメラ1に記憶されている第1画像データや、この第1画像データ中の被写体の位置データ及び距離データを入力する。この画像入力部112は、ライトフィールドカメラ1から入力した第1画像データ、位置データ、及び距離データを記憶部120における画像データ記憶領域に記憶する。また、画像入力部112は、不図示の通常のデジタルカメラ(撮像装置)と接続されることにより、このデジタルカメラに記憶されている第2画像データを入力する。この画像入力部112は、デジタルカメラから入力した第2画像データを記憶部120における画像データ記憶領域に記憶する。なお、画像入力部112は、インターネットなど通信ネットワーク(図示せず)を通じて画像データなど(第1画像データ、第2画像データ、位置データ、距離データ)を取得し、取得した画像データなどを記憶部120における画像データ記憶領域に記憶することも可能である。
操作制御部113は、使用者が操作可能な操作部を構成するキーボード103及びマウス104と接続される。この操作制御部113は、使用者によるキーボード103やマウス104の操作に応じて情報を入力し、その情報を表示制御部111や画像合成部114に出力する。
画像合成部114は、図1に示すように、画像生成部(合成画像生成部)114a、変更部114b、及び記憶制御部114cを備えている。画像生成部114aは、第1画像データにおける奥行き方向の所定位置に第2画像データを挿入して合成画像データを生成する処理を行う。また、画像生成部114aは、必要に応じて、合成画像データ中の第1画像データ及び第2画像データの一方又は双方を加工する処理を行う。
変更部114bは、第1画像データにおける奥行き方向の第2画像データの挿入位置に応じて、合成画像データの合焦位置を変更する処理を行う。また、変更部114bは、第1画像データにおける奥行き方向の第2画像データの挿入位置に応じて、合成画像データの被写界深度の範囲を変更する処理を行う。記憶制御部114cは、合成画像データを記憶部120に記憶する処理を行う。
なお、演算処理部110における表示制御部111、画像入力部112、操作制御部113、及び画像合成部114(画像生成部114a、変更部114b、記憶制御部114c)のそれぞれの構成は、CPU(Central Processing Unit)などの制御装置が記憶部120に記憶されている制御プログラム(画像合成プログラム)に従って実行する処理又は制御に相当する。
記憶部120には、画像データ(第1画像データ、第2画像データ、合成画像データ)、位置データ、及び距離データを記憶するための画像データ記憶領域が形成されている。また、記憶部120には、表示制御部111によるGUIなどの表示に必要な各種情報が記憶されている。また、記憶部120には、上記したように、演算処理部110における表示制御部111、画像入力部112、操作制御部113、及び画像合成部114の処理を実行させるための制御プログラム(画像合成プログラム)なども記憶されている。
次に、図1に示したライトフィールドカメラ1の構成について説明する。図2は、撮像装置の一例であるライトフィールドカメラ1における光学系部分の概略構成を示す断面図である。なお、図2において、紙面の右方向(光軸方向)をX軸とし、X軸と直交する紙面の上方向をZ軸とし、X軸及びZ軸と直交する紙面の裏から表に向かう方向をY軸としている。また、図2は、ライトフィールドカメラ1における光学系部分を光軸を含む面で切断したときの断面図である。
本実施形態のライトフィールドカメラ1は、三次元空間の光線集合であるライトフィールド(光線空間)の情報を取得し、取得したライトフィールドの情報に基づいて画像を生成する。以下の説明では、ライトフィールドの情報を光線情報という。ライトフィールドカメラ1の代表的な機能としては、撮影後の後処理によって焦点距離を変更した画像を生成するリフォーカス機能がある。従って、ライトフィールドカメラ1はリフォーカスカメラとも呼ばれる。
本実施形態のライトフィールドカメラ1は、その光学系部分として、撮影光学系(結像光学系)11及びマイクロレンズアレイ12を備えている。なお、図2には、ライトフィールドカメラ1における光学系部分以外の構成である撮像素子20についても示している。
撮影光学系11は、複数のレンズ群で構成される単焦点レンズである。撮影光学系11は、被写体からの光束をその焦点面(結像面)近傍に結像する。また、撮影光学系11は、撮影時に絞り値(F値)を制御する開口絞り(不図示)を備えている。なお、絞り値は撮影後の画像の再構成によって変更することができるため、開口絞りの開口径は固定でもよい。図2に示すように、撮影光学系11の焦点面近傍にマイクロレンズアレイ12と撮像素子20とが順に配置されている。
マイクロレンズアレイ12は、正のパワーを有した複数のマイクロレンズ(正レンズ)が二次元状に配置された構成となっている。なお、図2に示すマイクロレンズアレイ12においては、3つのマイクロレンズだけがZ軸方向に配されているが、実際はZ軸方向及びY軸方向に多数のマイクロレンズが配されている。
撮像素子20は、マイクロレンズアレイ12の後側(撮影光学系11の反対側)に若干の間隔をおいて配置されている。この撮像素子20は、マイクロレンズアレイ12の各マイクロレンズを通過した光束を複数の光電変換素子で受光し、各々の光電変換素子が受光した光束を光電変換して複数の画素信号を生成する。複数の光電変換素子はマトリックス状に配列され、各々の光電変換素子が画素を形成する。本実施形態では、撮像素子20は、CCD(Charge Coupled Device)やCMOS(Complementary Metal-Oxide Semiconductor)などの二次元固体撮像素子で構成されている。
図2の部分拡大図に示す例では、複数のマイクロレンズ12a,12b,12cの各々の後側に複数個ずつ画素が配列されている。具体的には、マイクロレンズ12aの後側に3つの画素21a,21b,21cが配列され、マイクロレンズ12bの後側に3つの画素22a,22b,22cが配列され、マイクロレンズ12cの後側に3つの画素23a,23b,23cが配列されている。
3つの画素21a,21b,21cがマイクロレンズ12aに対応する画素21であり、3つの画素22a,22b,22cがマイクロレンズ12bに対応する画素22であり、3つの画素23a,23b,23cがマイクロレンズ12cに対応する画素23である。なお、図2の部分拡大図では、各マイクロレンズ12a,12b,12cに対応する画素として3つの画素を示しているが、実際はZ軸方向及びY軸方向に多数の画素が配列されている(後述する図3参照)。
次に、図2を参照してライトフィールドカメラ1によるライトフィールドの取得について簡単に説明する。図2において、Aの位置にある被写体が撮影光学系11によってマイクロレンズアレイ12の位置に焦点を結ぶものとする。被写体上の点A1からの光線は、撮影光学系11の瞳上の部分領域11aを通過し、マイクロレンズ12aを通過して撮像素子20の画素21cで受光される。また、被写体上の点A1からの他の光線は、撮影光学系11の瞳上の部分領域11bを通過し、マイクロレンズ12aを通過して撮像素子20の画素21bで受光される。また、被写体上の点A1からの他の光線は、撮影光学系11の瞳上の部分領域11cを通過し、マイクロレンズ12aを通過して撮像素子20の画素21aで受光される。
同様に、被写体上の点A2からの光線は、撮影光学系11の瞳上の部分領域11aを通過し、マイクロレンズ12bを通過して撮像素子20の画素22cで受光される。また、被写体上の点A2からの他の光線は、撮影光学系11の瞳上の部分領域11bを通過し、マイクロレンズ12bを通過して撮像素子20の画素22bで受光される。また、被写体上の点A2からの他の光線は、撮影光学系11の瞳上の部分領域11cを通過し、マイクロレンズ12bを通過して撮像素子20の画素22aで受光される。
さらに、被写体上の点A3からの光線は、撮影光学系11の瞳上の部分領域11aを通過し、マイクロレンズ12cを通過して撮像素子20の画素23cで受光される。また、被写体上の点A3からの他の光線は、撮影光学系11の瞳上の部分領域11bを通過し、マイクロレンズ12cを通過して撮像素子20の画素23bで受光される。また、被写体上の点A3からの他の光線は、撮影光学系11の瞳上の部分領域11cを通過し、マイクロレンズ12cを通過して撮像素子20の画素23aで受光される。このように、Aの位置にある被写体からの光線は、マイクロレンズ12a,12b,12cの後側に位置する撮像素子20の画素で受光されることによって明るさと進行方向とが光線情報として取得される。
マイクロレンズ12a,12b,12cそれぞれに対応する3つの画素のうち、下側の画素21c,22c,23cの画素信号で生成される画像は、部分領域11aを通過した光線による像である。また、真中の画素21b,22b,23bの画素信号で生成される画像は、部分領域11bを通過した光線による像である。また、上側の画素21a,22a,23aの画素信号で生成される画像は、部分領域11cを通過した光線による像である。例えば各マイクロレンズに対応する画素数がN個である場合、マイクロレンズに対して同じ位置にある画素の画素値を配列して構成されるN個の再構成画像は、撮影光学系11をN個の部分領域に分割して取得されるN個のステレオ画像群を形成する。
図3は、撮像素子20の画素配列と入射領域とを説明する図である。なお、図3では図2のX軸方向から撮像素子20を観察した様子を示す。図3に示す撮像素子20において、画素が配列された領域を画素領域200という。画素領域200には例えば1000万個以上もの画素がマトリックス状に配列されている。画素領域200における円形の領域は、1つのマイクロレンズを通過した光線が入射する領域である。従って、円形の領域は、複数のマイクロレンズごとに複数形成される。これらの領域を入射領域201,202・・・という。なお、マイクロレンズは例えば586×440個配置される。ただし、このような配置数は一例であって、これよりも多い数でも少ない数でもよい。図3に示す例では、1つのマイクロレンズの直径は13画素分となっている。ただし、このような画素数分に限定されるわけではない。
上述したように、ライトフィールドカメラ1は、すべてのマイクロレンズから入射領域における同じ位置(入射領域内におけるY軸方向及びZ軸方向の同じ位置)にある画素の画素値を抽出して再構成する。このようにして得られた再構成画像群は、撮影光学系11の異なる部分領域から被写体を観察した画像群に相当する。従って、これらの再構成画像群においては、部分領域の位置と被写体までの距離に応じた視差を有する。例えば、図3に示すように、入射領域201における画素201aと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像と、入射領域201における画素201bと同じ位置にある各マイクロレンズの画素の画素値から構成される再構成画像とで視差を有する。
図4は、ライトフィールドカメラ1の構成を示すブロック図である。図4に示すライトフィールドカメラ1は、撮像部10、画像処理部30、ワークメモリ40、表示部50、操作部55、記録部60、及びシステム制御部70を備える。撮像部10は、撮影光学系11、マイクロレンズアレイ12、駆動制御部13、撮像素子20、及び駆動部21を有している。撮影光学系11及びマイクロレンズアレイ12は、図2において説明したため、図4においては説明を省略する。
撮像素子20の撮像面には、例えばベイヤー配列のカラーフィルタアレイが配置されている。撮像素子20は、撮影光学系11及びマイクロレンズアレイ12を通過した光束を入射する。撮像素子20は、入射した光束を光電変換してアナログ信号の各画素の画素信号を生成する。撮像部10において、不図示のアンプがアナログ信号の各画素の画素信号を所定の利得率(増幅率)で増幅する。また、不図示のA/D変換部がアンプにより増幅されたアナログ信号の各画素の画素信号をデジタル信号の各画素の画素信号に変換する。そして、撮像部10は、デジタル信号の各画素の画素信号からなるRAWデータを画像処理部30に出力する。上記したライトフィールドカメラ1が取得する光線情報は、撮像部10から出力されるRAWデータで特定される。
駆動制御部13は、撮影光学系11が備える開口絞りの開口径調節を行うために、システム制御部70から送信される制御情報に基づいて開口絞りの駆動制御を実行する。駆動部21は、システム制御部70からの指示信号に基づいて設定される撮像条件で撮像素子20の駆動を制御する制御回路である。撮像条件としては、例えば、露光時間(シャッター速度)、フレームレート、ゲインなどがあげられる。
ここで、露光時間とは、撮像素子20の光電変換素子が入射光に応じた電荷の蓄積を開始してから終了するまでの時間のことをいう。また、フレームレートとは、動画において単位時間あたりに処理(表示又は記録)されるフレーム数を表す値のことをいう。フレームレートの単位はfps(Frames Per Second)で表される。また、ゲインとは、画素信号を増幅するアンプの利得率(増幅率)のことをいう。このゲインを変更することにより、ISO感度を変更することができる。このISO感度は、ISOで策定された写真フィルムの規格であり、写真フィルムがどの程度弱い光まで記録することができるかを表す。ただし、一般に、撮像素子20の感度を表現する場合もISO感度が用いられる。この場合、ISO感度は撮像素子20が光をとらえる能力を表す値となる。
画像処理部30は、各画素の画素信号からなるRAWデータに対して種々の画像処理を施し、所定のファイル形式(例えば、JPEG形式等)の画像データを生成する。画像処理部30が生成する画像データには、静止画、動画、ライブビュー画像の画像データが含まれる。ライブビュー画像は、画像処理部30で生成された画像データを表示部50に順次出力して表示部50に表示される画像である。ライブビュー画像は、撮像部10により撮像されている被写体の画像を使用者が確認するために用いられる。ライブビュー画像は、スルー画やプレビュー画像とも呼ばれる。
画像処理部30は、ワークメモリ40をワークスペースとして、各画素の画素信号からなるRAWデータに対して所定の画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。具体的には、画像処理部30は、次に示す画像処理を施すことにより任意の焦点距離に設定された画像データを生成する。
図5は、画像の再構成を説明する図である。図5に示すように、画像処理部30は、画素領域200における各入射領域201,202・・・に対して同じ位置にある画素201a,202a・・・の画素値(画素信号が示す値)を抽出する。画像処理部30は、抽出した画素値を並べ直して再構成画像データ400aを生成する。各入射領域201,202・・・に対応する画素数がN個である場合、N個の再構成画像データが生成される。
画像処理部30は、N個の再構成画像データ群を所定の焦点距離に合わせて所定量だけ平行移動させる。そして、画像処理部30は、平行移動後のN個の再構成画像データ群を加算平均する。これにより、所定の焦点距離に設定された画像データが生成される。移動量に応じた奥行きに存在する被写体は像の位置が合うのでシャープな輪郭の像が形成される。移動量に応じた奥行きに存在しない被写体の像はぼける。なお、上記した画像処理は一例であって、画像処理部30は上記した画像処理とは異なる画像処理を実行することにより、任意の焦点距離に設定された画像データを生成してもよい。例えば、画像処理部30は、撮像素子20の各画素が取得する光線を所定の演算を行うことによって算出する。そして、画像処理部30は、算出した光線を所定の焦点距離に設定した仮想的な画像面に投影することにより、所定の焦点距離に設定された画像データを生成する。
本実施形態においては、画像処理部30は、最も手前の被写体に合焦した画像データ、最も奥の被写体に合焦した画像データ、中間位置の被写体に合焦した画像データなど、焦点位置(焦点距離)が異なる複数の画像データを生成する。
画像処理部30は、ワークメモリ40をワークスペースとして、任意の焦点に設定された画像データに対して種々の画像処理を施す。例えば、画像処理部30は、ベイヤー配列で得られた信号に対して色信号処理(色調補正)を行うことによりRGB画像データを生成する。また、画像処理部30は、RGB画像データに対して、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を行う。また、画像処理部30は、必要に応じて、所定の圧縮形式(JPEG形式、MPEG形式等)で圧縮する処理を行う。
画像処理部30は、画像データから一又は複数の被写体を検出する。本実施形態では、画像処理部30は、画像データにおける明部と暗部のコントラストや色変化に基づいて被写体の領域の境界を特定して被写体を検出する。なお、画像処理部30は、人物の被写体に対しては、公知の顔検出機能を用いて被写体の検出を行ってもよい。また、画像処理部30は、移動する被写体(移動被写体)に対しては、時系列的に得られる複数の画像データを比較して移動被写体を検出してもよい。また、画像処理部30は、顔検出に加えて、例えば特開2010−16621号公報(US2010/0002940号)に記載されているように、画像データに含まれる人体を被写体として検出してもよい。
また、画像処理部30は、検出した各被写体までの距離(焦点距離)を検出(算出)する。例えば、画像処理部30は、複数の再構成画像データ(例えば入射領域における2つの特定位置の画素の画素値から構成される再構成画像データ)における各被写体の視差を検出し、検出した視差に基づいて各被写体までの距離を算出する。
画像処理部30は、生成した画像データを記録部60に出力する。また、画像処理部30は、生成した画像データを表示部50に出力する。また、画像処理部30は、検出した被写体のサイズ及び画像データ中の位置を画素単位で示す位置データを記録部60に出力する。また、画像処理部30は、検出した各被写体までの距離を示す距離データを記録部60に出力する。
ワークメモリ40は、画像処理部30による画像処理が行われる際にRAWデータや画像データなどを一時的に記憶する。表示部50は、撮像部10で撮像された画像や各種情報を表示する。この表示部50は、例えば液晶表示パネルなどで構成された表示画面51を有している。なお、表示部50に表示される画像には、静止画、動画、ライブビュー画像が含まれる。
操作部55は、使用者によって操作されるレリーズスイッチ(静止画の撮影時に押されるスイッチ)、動画スイッチ(動画の撮影時に押されるスイッチ)、各種の操作スイッチなどである。この操作部55は、使用者による操作に応じた信号をシステム制御部70に出力する。記録部60は、メモリカードなどの記憶媒体を装着可能なカードスロットを有する。記録部60は、カードスロットに装着された記録媒体に画像処理部30において生成された画像データや各種データを記憶する。また、記録部60は、内部メモリを有する。記録部60は、画像処理部30において生成された画像データや各種データを内部メモリに記録することも可能である。
システム制御部70は、ライトフィールドカメラ1の全体の処理及び動作を制御する。このシステム制御部70はCPU(Central Processing Unit)を有する。システム制御部70は、画像処理部30で生成された画像データを表示部50に出力させて、表示部50の表示画面51に画像(ライブビュー画像、静止画、動画)を表示させる制御を行う。また、システム制御部70は、記録部60に記録されている画像データを読み出して表示部50に出力させ、表示部50の表示画面51に画像を表示させる制御を行う。
また、システム制御部70は、撮像素子20の撮像面(画素領域200)において所定の撮像条件(露光時間、フレームレート、ゲインなど)で撮像を行わせるために、所定の撮像条件を指示する指示信号を駆動部21に対して出力する。また、システム制御部70は、画像処理部30に所定の制御パラメータ(色信号処理、ホワイトバランス調整、階調調整、圧縮率などの制御パラメータ)で画像処理を実行させるために、制御パラメータを指示する指示信号を画像処理部30に出力する。また、システム制御部70は、画像処理部30で生成された画像データを記録部60に出力させて、記録部60に画像データを記録させる制御を行う。また、システム制御部70は、画像処理部30で検出された各被写体の位置データ及び距離データを記録部60に出力させて、被写体ごとに画像データと位置データ及び距離データとを対応付けて記録部60に記録させる制御を行う。なお、システム制御部70は、上記の制御の他に、撮影光学系11に備えられた開口絞りの開口径調節などの制御も行う。
次に、ライトフィールドカメラ1の画像処理部30が実行する画像処理について説明する。図6は、図4に示す画像処理部30が実行する画像処理を説明するためのフローチャートである。図6に示す処理において、画像処理部30は、撮像部10から出力されるRAWデータを取得する(ステップS1)。そして、画像処理部30は、取得したRAWデータに基づいて所定の合焦位置(焦点距離、焦点位置)の画像データを生成する(ステップS2)。
具体的には、上述したように、画像処理部30は、画素領域200における各入射領域に対して同じ位置にある画素の画素値を抽出し、抽出した画素値を再構成して複数個の再構成画像データ群を生成する。そして、画像処理部30は、複数個の再構成画像データ群を所定の合焦位置に合わせて平行移動させ、平行移動後の複数個の再構成画像データ群を加算平均する。これにより、所定の合焦位置に設定された画像データが生成される。ステップS2において、画像処理部30は、合焦位置が異なる複数の画像データを生成する。また、ステップS2で生成される画像データは、静止画、動画、ライブビュー画像の画像データが含まれる。
次に、画像処理部30は、ステップS2で生成した合焦位置が異なる複数の画像データに対して、色信号処理(色調補正)、ホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの各種画像処理を実行する(ステップS3)。
また、画像処理部30は、生成した画像データから一又は複数の被写体を検出する(ステップS4)。画像処理部30は、検出した一又は複数の被写体のサイズ及び位置を示す位置データをシステム制御部70に出力する。また、画像処理部30は、ステップS4で検出した一又は複数の被写体までの距離(焦点距離)を検出する(ステップS5)。画像処理部30は、検出した一又は複数の被写体までの距離を示す距離データをシステム制御部70に出力する。
その後、画像処理部30は、合焦位置が異なる複数の画像データを記録部60に記録する(ステップS6)。このとき、システム制御部70は、画像処理部30から出力された被写体の位置データと距離データとを被写体ごとに対応付けて記録部60に記録する。なお、画像処理部30は、RAWデータも画像データ等と対応付けて記録部60に記録してもよい。
なお、記録部60に記録された合焦位置の異なる複数の画像データ(本実施形態では、第1画像データ)、位置データ、及び距離データは、ライトフィールドカメラ1が画像合成装置101に接続されることにより、画像入力部112によって記憶部120の画像データ記憶領域に記憶される。
次に、第1実施形態に係る演算処理部110による画像合成について説明する。図7は、第1画像601、第2画像602、及び合成画像603の例を示す図である。本実施形態では、図7に示すように、使用者が第1画像601に第2画像602を挿入して合成画像603を作成する場合を例として演算処理部110による画像合成を説明する。ここで、第1画像601は、合焦位置を奥行き方向に変更可能なリフォーカス画像である。第2画像602は、合焦位置を奥行き方向に変更不可能な二次元画像である。また、合成画像603は、合焦位置を奥行き方向に変更可能なリフォーカス画像である。
図7に示す第1画像601には、人物O1が左側に表示されている。また、第1画像601には、木O2が右側に表示され、家O3が中心付近に表示されている。また、第1画像601において、木O2及び家O3は被写界深度の範囲外に位置しているため、これらの画像がぼけている。また、図7に示す例では、第2画像602は、ある二次元画像から切り出された人物の画像である。また、図7に示す例では、合成画像603においては、第1画像601における家O3の手前に第2画像602(人物)が配置されている。なお、第2画像602は人物に合焦した画像である。
図8は、第1実施形態の演算処理部110が実行する画像合成処理を説明するためのフローチャートである。図8に示す処理において、使用者によるキーボード103やマウス104の操作に応じて、制御プログラム(例えば画像合成を行うためのアプリケーションソフトウェアなどの画像合成プログラム)が起動されると、表示制御部111は、GUIの画像を記憶部120から読み出して表示装置102の表示画面500に表示させる(ステップS11)。
また、使用者によるキーボード103やマウス104の操作によって第1画像データ(例えば図7に示す第1画像601の画像データ)が選択されると、画像生成部114aは、記憶部120の画像データ記憶領域に記憶されている第1画像データと、この第1画像データに対応付けられた第1画像データ中の被写体の位置データ及び距離データとを読み出して取得する(ステップS12)。また、使用者によるキーボード103やマウス104の操作によって第2画像データ(例えば図7に示す第2画像602)が選択されると、画像生成部114aは、記憶部120の画像データ記憶領域に記憶されている第2画像データを読み出して取得する(ステップS12)。
なお、図7に示したように、第1画像データに挿入される第2画像データが、二次元の全体画像データの一部の画像データである場合は、画像生成部114aは、使用者によるキーボード103やマウス104の操作に応じて全体画像データから第2画像データを切り出す処理を行う。
表示制御部111は、ステップS12で取得した第1画像データ、位置データ、及び距離データに基づいて、第1画像データ中の各被写体O1〜O3のサイズ及び位置や、撮影時のライトフィールドカメラ1から各被写体O1〜O3までの距離を認識する。そして、表示制御部111は、認識した各被写体O1〜O3のサイズ、第1画像データ中の位置、及び各被写体O1〜O3までの距離に基づいて、ライトフィールドカメラ1と各被写体O1〜O3とを俯瞰したときの俯瞰図をGUI上に表示する(ステップS13)。
図9及び図10は、第1実施形態のグラフィカルユーザインタフェース(GUI)上の俯瞰図300の表示例を示す図である。図9及び図10に示すように、表示装置102の表示画面500には、GUIとして、ライトフィールドカメラ1と各被写体O1〜O3との距離関係、各被写体O1〜O3の合焦位置、及び第1画像データ(第2画像データの合成後は合成画像データである。以下、図9及び図10において同様である。)の被写界深度の範囲を表す俯瞰図300が表示される。図9及び図10に示す俯瞰図300では、カメラ位置d0にライトフィールドカメラ1が表示され、合焦位置d1に人物O1が表示され、合焦位置d2に木O2が表示され、合焦位置d3に家O3が表示されている。
図9に示す第1画像データの合焦位置は、人物O1の合焦位置d1となっている。また、図9に示す第1画像データの被写界深度の範囲は、人物O1の合焦位置d1の奥行き方向の前後の範囲となっている。すなわち、図9に示す第1画像データの被写界深度の範囲は、ライトフィールドカメラ1からの距離d1aから、ライトフィールドカメラ1からの距離d1bまでの範囲となっている。なお、図9に示す第1画像データの合焦位置及び被写界深度の範囲は、ライトフィールドカメラ1の画像処理部30によって自動的に設定されたものである。また、図10に示す第1画像データの合焦位置も、人物O1の合焦位置d1となっている。しかし、図10に示す第1画像データの被写界深度の範囲は、ライトフィールドカメラ1からの距離d1aから、ライトフィールドカメラ1からの距離d1cまでの範囲となっている。つまり、図10に示す第1画像データの被写界深度は、図9に示す第1画像データの被写界深度よりも広くなっている。
また、図9及び図10に示すように、表示装置102の表示画面500の右上に小さな表示領域501が設けられている。この表示領域501には合成画像603(又は合成前は第1画像601)が表示される。このように、表示領域501に合成画像603を表示することによって、GUIを用いて作成中の合成画像603を使用者に視認させることができる。
次に、画像生成部114aは、使用者によるマウス104の操作に応じて、第1画像データの奥行き方向の所定の位置に第2画像データを挿入して合成画像データを生成する(ステップS14)。図9及び図10に示す例では、使用者は、例えばマウス104のドラッグアンドドロップの操作によって、俯瞰図300上の任意の位置(図9ではライトフィールドカメラ1からの距離d11の位置、図10ではライトフィールドカメラ1からの距離d12の位置)に第2画像602を挿入する。画像生成部114aは、第1画像データの奥行き方向における第2画像データの挿入位置に対応した合成画像データを生成する。そして、画像生成部114aは、生成した合成画像データに基づく合成画像603を表示領域501に表示する。
変更部114bは、第2画像データの挿入位置に応じて、合成画像データの合焦位置及び被写界深度の一方又は双方を変更する(ステップS15)。具体的には、変更部114bは、使用者によるマウス104などの操作によって合焦位置や被写界深度の範囲が指定されると、指定された距離に近い合焦位置を持つ複数の第1画像データを取得する。使用者によって指定された合焦位置の画像データは、変更部114bにより取得された複数の第1画像データの中間的な画像データである。このため、変更部114bは、取得した複数の第1画像データに対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、使用者によって指定された合焦位置の画像データを生成する。また、変更部114bは、複数の異なる合焦位置の画像データを合成することで、使用者によって指定された被写界深度の範囲の画像データを生成する。
図9に示す例では、第2画像602は、第1画像データにおける被写界深度の範囲内(距離d1aから距離d1bまでの範囲内)の距離d11の位置に挿入されている。この場合、第2画像602は焦点が合っているように見える範囲内に位置していることから、合成画像603は使用者にとって違和感のない画像となっている。一方、図10に示す例では、第2画像602は、第1画像データにおける当初の被写界深度の範囲外の距離d12の位置に挿入されている。この場合、第2画像602は焦点が合っていない範囲内に位置していることから、合成画像603は使用者にとって違和感のある画像となってしまう。そこで、使用者は、例えばマウス104の操作によって、第2画像602の挿入位置(距離d12の位置)が第1画像データの被写界深度の範囲に含まれるように、被写界深度の範囲を距離d1aから距離d1cまでの範囲に変更する。
なお、変更部114bは、第2画像データの挿入位置に応じて、合成画像データの合焦位置及び被写界深度の一方又は双方を自動的に変更してもよい。この場合、変更部114bは、合成画像603が違和感のない画像となるように、例えば合成画像データの被写界深度を第2画像データの挿入位置を含む範囲に変更する。
次に、画像生成部114aは、必要に応じて、第1画像データ及び第2画像データの一方又は双方の画像データを加工(すなわち編集)する(ステップS16)。例えば、画像生成部114aは、合成画像603が違和感のない画像となるように、使用者によるマウス104などの操作に応じて、第1画像601に含まれる被写体O1〜O3のサイズや第2画像602のサイズを変更する。また、第2画像データが合成画像データの被写界深度の範囲外に位置している場合には、画像生成部114aは、使用者によるマウス104などの操作に応じて、第2画像602がぼけて見えるように第2画像データの解像度を変更する。なお、画像生成部114aは、合成画像データの合焦位置及び被写界深度と第2画像データの挿入位置との関係に応じて、第1画像601に含まれる被写体O1〜O3や第2画像602のサイズを自動的に変更し、第2画像データの解像度を自動的に変更してもよい。
その後、記憶制御部114cは、使用者のマウス104などの操作に応じて、合成画像データを記憶部120の画像データ記憶領域に記憶する(ステップS17)。
以上に説明したように、第1実施形態では、合焦位置を奥行き方向に変更可能な第1画像データにおける奥行き方向の所定位置に第2画像データを挿入して合成画像データを生成する合成画像生成部114aと、第1画像データにおける奥行き方向の第2画像データの挿入位置に応じて、合成画像データの合焦位置を変更する変更部114bとを備える。このような構成によれば、使用者にとって違和感のない合成画像603を生成することができる。例えば、合焦した第2画像データを第1画像データにおける奥行き方向の合焦位置でない位置に挿入されるなどのような違和感のある合成画像が生成されてしまうことを回避することができる。
また、第1実施形態では、変更部114bは、合成画像データの合焦位置を第2画像データの挿入位置に変更する。このような構成によれば、第2画像データが合焦位置に挿入された合成画像データを生成することができる。
また、第1実施形態では、変更部114bは、第1画像データにおける奥行き方向の第2画像データの挿入位置に応じて、合成画像データの被写界深度の範囲を変更する。このような構成によれば、違和感のない合成画像データを生成することができるとともに、第2画像データを挿入可能な奥行き方向の位置の幅も広くなる。また、第1実施形態では、変更部114bは、合成画像データの被写界深度の範囲を第2画像データの挿入位置を含む範囲に変更する場合は、違和感のない合成画像データを確実に生成することができる。また、第1実施形態では、合成画像生成部114aは、第1画像データにおける奥行き方向の第2画像データの挿入位置に応じて、第2画像データを編集するので、より一層、違和感のない合成画像データを生成することができる。
また、第1実施形態では、第1画像データ及び第2画像データの一方または双方における、撮像装置1と被写体との距離関係、合焦位置、及び被写界深度の範囲を表す図300を表示部102に表示する表示制御部111を備える。このような構成によれば、撮像装置1と被写体との距離関係、合焦位置、及び被写界深度の範囲を使用者に容易に認識させることができる。従って、使用者による違和感のない合成画像データを生成する作業を容易に行わせることができる。
<第2実施形態>
上記した第1実施形態では、画像合成部114は、第1画像データに、合焦位置を変更することができない二次元画像データである第2画像データを挿入して合成画像データを生成する構成であった。これに対して、第2実施形態では、第1画像データに、合焦位置を変更可能なリフォーカス画像データである第2画像データを挿入して合成画像データを生成する。
図11は、第2実施形態の演算処理部110が実行する画像合成処理を説明するためのフローチャートである。図11に示す処理において、使用者によるキーボード103やマウス104の操作に応じて、制御プログラムが起動されると、表示制御部111は、GUIの画像を記憶部120から読み出して表示装置102の表示画面500に表示させる(ステップS21)。
また、使用者によるキーボード103やマウス104の操作によって第1画像データ(例えば図7に示す第1画像601の画像データ)が選択されると、画像生成部114aは、記憶部120の画像データ記憶領域に記憶されている第1画像データと、この第1画像データに対応付けられた第1画像データ中の被写体の位置データ及び距離データとを読み出して取得する(ステップS22)。また、使用者によるキーボード103やマウス104の操作によって第2画像データが選択されると、画像生成部114aは、記憶部120の画像データ記憶領域に記憶されている第2画像データと、この第2画像データに対応付けられた第2画像データ中の被写体の位置データ及び距離データとを読み出して取得する(ステップS22)。
表示制御部111は、ステップS22で取得した第1画像データ、位置データ、及び距離データに基づいて、第1画像データ中の各被写体O1〜O3のサイズ及び位置や、撮影時のライトフィールドカメラ1から各被写体O1〜O3までの距離を認識する。また、表示制御部111は、ステップS22で取得した第2画像データ、位置データ、及び距離データに基づいて、第2画像データ中の被写体O11のサイズ及び位置や、撮影時のライトフィールドカメラ1から被写体O11までの距離を認識する。そして、表示制御部111は、認識した各被写体O1〜O3のサイズ、第1画像データ中の位置、及び各被写体O1〜O3までの距離、被写体O11のサイズ、第2画像データ中の位置、及び被写体O11までの距離に基づいて、ライトフィールドカメラ1と各被写体O1〜O3とを俯瞰したとき、及びライトフィールドカメラ1と被写体O11とを俯瞰したときの俯瞰図301をGUI上に表示する(ステップS23)。
図12及び図13は、第2実施形態のグラフィカルユーザインタフェース(GUI)上の俯瞰図301の表示例を示す図である。図12及び図13に示すように、表示装置102の表示画面500には、GUIとして、ライトフィールドカメラ1と各被写体O1〜O3との距離関係、各被写体O1〜O3の合焦位置、及び第1画像データ(第2画像データの合成後は合成画像データである。以下、図12及び図13において同様である。)の被写界深度の範囲を表す第1画像の俯瞰図が表示される。また、表示装置102の表示画面500には、GUIとして、ライトフィールドカメラ1と被写体O11との距離関係、被写体O11の合焦位置、及び第2画像データの被写界深度の範囲を表す第2画像の俯瞰図が表示される。このように、俯瞰図301は、第1画像の俯瞰図と第2画像の俯瞰図とから構成される。
図12及び図13に示す第1画像の俯瞰図では、カメラ位置d0にライトフィールドカメラ1が表示され、合焦位置d1に人物O1が表示され、合焦位置d2に木O2が表示され、合焦位置d3に家O3が表示されている。また、図12及び図13に示す第2画像の俯瞰図では、カメラ位置d0にライトフィールドカメラ1が表示され、合焦位置d21に人物O11が表示されている。
図12に示す第1画像データの合焦位置は、人物O1の合焦位置d1となっている。また、図12に示す第1画像データの被写界深度の範囲は、人物O1の合焦位置d1の奥行き方向の前後の範囲(距離d1aから距離d1bまでの範囲)となっている。また、図12に示す第2画像データの合焦位置は、人物O11の合焦位置d21となっている。また、図12に示す第2画像データの被写界深度の範囲は、人物O11の合焦位置d21の奥行き方向の前後の範囲(距離d21aから距離d21bまでの範囲)となっている。
また、図13に示す第1画像データ及び第2画像データの合焦位置は、いずれも、人物O11の合焦位置d21となっている。また、図13に示す第1画像データ及び第2画像データの被写界深度の範囲は、いずれも、人物O11の合焦位置d21の奥行き方向の前後の範囲(距離d21aから距離d21bまでの範囲)となっている。
また、図12及び図13に示すように、表示装置102の表示画面500の右上に小さな表示領域501が設けられている。この表示領域501には合成画像604(又は合成前は第1画像601)が表示される。
次に、変更部114bは、第2画像データの挿入位置を決定し、決定した挿入位置に応じた合成画像データの合焦位置及び被写界深度の範囲に変更する。そして、変更部114bは、変更した合成画像データの合焦位置及び被写界深度の範囲に合わせて、第1画像データの合焦位置及び被写界深度の範囲を変更するとともに、第2画像データの合焦位置及び被写界深度の範囲を変更する(ステップS24)。例えば、変更部114bは、第2画像データの合焦位置及び被写界深度の範囲の一方又は双方に合わせて、合成画像データの合焦位置及び被写界深度の範囲の一方又は双方を自動的に変更し、合成画像データの合焦位置及び被写界深度の範囲に合わせて、第1画像データの合焦位置及び被写界深度の範囲の一方又は双方を変更する。なお、変更部114bは、使用者によるマウス104の操作に応じて、第2画像データの挿入位置を決定してもよい。
なお、変更部114bは、第1画像データ又は第2画像データの合焦位置及び被写界深度の範囲の一方又は双方に合わせて、合成画像データの合焦位置及び被写界深度の範囲の一方又は双方を自動的に変更し、合成画像データの合焦位置及び被写界深度の範囲に合わせて、第2画像データ又は第1画像データの合焦位置及び被写界深度の範囲の一方又は双方を変更してもよい。
次に、画像生成部114aは、第1画像データの奥行き方向の所定の位置に第2画像データを挿入して合成画像データを生成する(ステップS25)。なお、図12及び図13に示すように、第1画像データに挿入される第2画像データが、全体画像データの一部の画像データ(例えば人物O11の画像データ)である場合は、画像生成部114aは、使用者によるキーボード103やマウス104の操作に応じて全体画像データから第2画像データを切り出す処理を行う。
図13に示す例では、使用者は、例えばマウス104のドラッグアンドドロップの操作によって、第1画像データの被写体O1〜O3までの距離と第2画像データの被写体O11までの距離との関係が合うように、俯瞰図301上の所定の位置(図13ではライトフィールドカメラ1からの距離d21の位置)に第2画像(人物O11の画像)を挿入する。画像生成部114aは、第1画像データの奥行き方向における第2画像データの挿入位置に対応した合成画像データを生成する。そして、画像生成部114aは、生成した合成画像データに基づく合成画像604を表示領域501に表示する。
次に、画像生成部114aは、必要に応じて、第1画像データ及び第2画像データの一方又は双方の画像データを加工(すなわち編集)する(ステップS26)。例えば、画像生成部114aは、使用者によるマウス104などの操作に応じて、第1画像601に含まれる被写体O1〜O3のサイズや第2画像に含まれる被写体O11のサイズを変更する。なお、画像生成部114aは、第1画像601に含まれる被写体O1〜O3のサイズや第2画像に含まれる被写体O11のサイズを自動的に変更してもよい。
その後、記憶制御部114cは、使用者のマウス104などの操作に応じて、合成画像データを記憶部120の画像データ記憶領域に記憶する(ステップS27)。
以上に説明したように、第2実施形態では、合焦位置を奥行き方向に変更可能な第1画像データにおける奥行き方向の所定位置に、合焦位置を奥行き方向に変更可能な第2画像データを挿入して合成画像データを生成する合成画像生成部114aと、撮像装置1から第1画像データの被写体までの距離と撮像装置1から第2画像データの被写体までの距離との関係が合うように、合成画像データの合焦位置を変更する変更部114bとを備える。このような構成によれば、違和感のない合成画像データを確実に生成することができる。
また、第2実施形態では、変更部114bは、合成画像生成部114aが合成画像データを生成する前に、合成画像データの合焦位置及び被写界深度に合わせて、第1画像データ及び第2画像データの合焦位置及び被写界深度を変更する。このような構成によれば、使用者による画像合成時の作業負担が軽減される。また、第2実施形態では、変更部114bは、合成画像データの合焦位置及び被写界深度の範囲を第1画像データまたは第2画像データの合焦位置及び被写界深度の範囲に変更する場合においても、違和感のない合成画像データを確実に生成することができる。
なお、変更部114bは、第1画像データと第2画像データの合成を行った後に、合成画像データの合焦位置や被写界深度の範囲を変更してもよい。また、第1画像データ、第2画像データ、及び合成画像データの合焦位置及び被写界深度の範囲は、使用者のマウス104などの操作によって変更されても、変更部114bによって自動的に変更されてもよい。
また、上記した第2実施形態では、変更部114bは、ライトフィールドカメラ1からの絶対距離に基づいて、第1画像データの被写体までの距離と第2画像データの被写体までの距離とが合うように合焦位置や被写界深度の範囲を変更していた。しかし、変更部114bは、ライトフィールドカメラ1からの相対距離に基づいて、第1画像データの被写体までの距離と第2画像データの被写体までの距離とが合うように合焦位置や被写界深度の範囲を変更してもよい。この場合、画像生成部114aは、合成画像が違和感のないように、被写体のサイズや解像度などを変更(加工)する。
また、遠い被写体のサイズが小さく解像度が低いため、そのような被写体の画像データを第1画像データの奥行き方向の近距離に挿入すると、解像度の低い画像によって違和感が生じる。そこで、上記した第1実施形態及び第2実施形態において、表示制御部111は、第1画像データの被写体の解像度と第2画像データの被写体の解像度に応じて、第1画像データにおける第2画像データの挿入可能な範囲を表す俯瞰図を表示部102に表示する。このような構成によれば、違和感の生じない合成画像が生成可能な範囲を使用者に明示することができ、使用者の操作性が向上する。
<画像合成システム>
上記した各実施形態(第1実施形態、第2実施形態)及び変形例では、それぞれスタンドアローンの形態のシステムである。しかし、そのような形態のシステムには限定されない。例えばクライアントサーバシステムなどの通信ネットワークを通じて接続された画像表示システムSYSについて説明する。以下の説明において、上記の第1〜第3実施形態と同一又は同等の構成部分については同一符号を付けて説明を省略または簡略化する。
図14は、画像合成システムSYSの構成を示すブロック図である。図14に示すように、この画像表示システムSYSは、クライアント端末101Bの演算処理部110Bにおいて、表示制御部111、画像入力部112、操作制御部113、及び通信部115を有している。これら表示制御部111、画像入力部112、及び操作制御部113は、図1に示した表示制御部111、画像入力部112、及び操作制御部113に相当する。また、図14に示す記憶部120Bは、図1に示した記憶部120に相当する。
図14に示すように、クライアント端末101Bの演算処理部110Bは、通信ネットワーク180を介してサーバ(画像合成装置)106とデータを送受信する通信部115を有している。また、サーバ106の演算処理部160は、通信ネットワーク180を介してクライアント端末101Bとデータを送受信する通信部161を有している。また、演算処理部160の画像合成部162は、クライアント端末101Bからの要求に応じて、クライアント端末101Bから送信される画像データ(第1画像データ、第2画像データ)を記憶部170に蓄積する。そして、画像合成部162は、図1に示した画像合成部114と同様に、画像データに基づいて画像合成の制御を実行する。
なお、通信部115の構成や、演算処理部160における通信部161及び画像合成部162の構成は、CPUなどの制御装置が記憶部120B,170に記憶されている制御プログラムに従って処理を実行することにより実現される。
使用者は、クライアント端末101Bに接続されたキーボード103及びマウス104を操作して、ライトフィールドカメラ1や記憶部120Bに記憶されている画像データを読み出し、読み出した画像データをサーバ106に送信する。そして、使用者は、キーボード103及びマウス104を操作して、サーバ6に対してGUIの表示を要求する。サーバ106における画像合成部162は、GUIの表示の要求に応じて、GUI上の俯瞰図の画像データ(被写体などが配置された画像データ)をクライアント端末101Bに対して送信する。クライアント端末101Bでは、通信部115がサーバ106から送信されたGUI上の俯瞰図の画像データを受信すると、表示制御部111が受信した俯瞰図の画像データを表示装置102の表示画面500に表示する。
また、使用者は、マウス104などを操作して、表示画面500に表示された俯瞰図の画像に基づいて、第1画像データにおける所定の挿入位置に第2画像データを挿入し、また合焦位置や被写界深度の範囲を変更する。通信部115は、使用者の操作された操作情報をサーバ106に送信する。サーバ106の画像合成部162は、クライアント端末101Bからの操作情報に応じて、第1画像データにおける所定の挿入位置に第2画像データを挿入し、また合焦位置や被写界深度の範囲を変更する。そして、画像合成部162は、そのような処理後のGUI上の俯瞰図の画像データをクライアント端末101Bに対して送信する。クライアント端末101Bでは、通信部115がサーバ106から送信されたGUI上の俯瞰図の画像データを受信すると、表示制御部111が受信した俯瞰図の画像データを表示装置102の表示画面500に表示する。
このような処理を繰り返すことにより、画像合成部162は使用者が望む合成画像を生成する。そして、画像合成部162は、クライアント端末101Bからの合成画像データの送信要求に基づいて、生成した合成画像データをクライアント端末101Bに送信する。
このような構成によれば、クライアント端末101Bが大容量のデータを記憶しておく必要がなくなり、データ管理を一元化できるなど、コストを低減させることができる。
なお、図14に示す画像表示システムSYSでは、クライアント端末101Bの表示制御部111が表示制御を行っているが、これに限定されない。例えば、クライアント端末101Bは、ブラウザを備え、ブラウザを用いて図9等に示すような俯瞰図の表示内容を表示装置102に表示させるようにしてもよい。
<撮像装置の変形例>
上記した第1実施形態におけるライトフィールドカメラ1は、撮像装置1Aと電子機器1Bとが分離した構成であってもよい。
図15は、撮像装置と電子機器とが分離した構成を示すブロック図である。図15に示す構成において、撮像装置1Aは、被写体の撮像を行う装置であって、リフォーカス機能を備えた装置である。この撮像装置1Aは、撮像部10、画像処理部30、ワークメモリ40、操作部55、記録部60、及び第1システム制御部70Aを備える。なお、撮像装置1Aのうち、撮像部10、画像処理部30、ワークメモリ40、操作部55、及び記録部60の構成は、図4に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
また、電子機器1Bは、画像(静止画、動画、ライブビュー画像)の表示を行う装置である。この電子機器1Bは、表示部50及び第2システム制御部70Bを備える。なお、電子機器1Bのうちの表示部50の構成は、図4に示した構成と同様である。従って、同一構成には同一符号を付し、重複する説明を省略する。
第1システム制御部70Aは、第1通信部75Aを有している。また、第2システム制御部70Bは、第2通信部75Bを有している。第1通信部75Aと第2通信部75Bとは、互いに有線又は無線で信号を送受信する。このような構成において、第1システム制御部70Aは、第1通信部75Aを介して画像データ(画像処理部30が画像処理した画像データ、記録部60に記録されている画像データ)を第2通信部75Bに送信する。第2システム制御部70Bは、第2通信部75Bにおいて受信した画像データを表示部50に表示させる。
なお、撮像装置1Aは、例えば撮像機能と通信機能を備えたデジタルカメラ、スマートフォン、携帯電話、パーソナルコンピュータなどで構成され、電子機器1Bは、例えば通信機能を備えたスマートフォン、携帯電話、携帯型パーソナルコンピュータなどの携帯端末で構成される。
以上のような構成によれば、第1実施形態及び第2実施形態で説明した効果に加え、スマートフォンなどの携帯端末を用いて撮像装置1Aで撮像されている画像(リフォーカス画像)を電子機器1Bの表示部50に表示させることができる。なお、撮像装置1Aで撮像された画像データは、システム制御部70Aを介して画像合成装置101に送信されてもよく、システム制御部70Bを介して画像合成装置101に送信されてもよい。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は、上記実施の形態に記載の範囲には限定されない。本発明の趣旨を逸脱しない範囲で、上記実施の形態に、多様な変更または改良を加えることが可能である。また、上記の実施形態で説明した要件の1つ以上は、省略されることがある。そのような変更または改良、省略した形態も本発明の技術的範囲に含まれる。また、上記した実施形態や変形例の構成を適宜組み合わせて適用することも可能である。
例えば、上記した各実施形態では、撮像装置の一例としてライトフィールドカメラ1を挙げていたが、これに限定されず、例えば複数のカメラを配置したカメラアレイであってもよい。このようなカメラアレイにおいても視差を有する複数の画像を取得することができる。
また、上記した各実施形態では、画像合成部114は、ライトフィールドカメラ1が撮影したリフォーカス画像を用いて、合焦位置や被写界深度の範囲を変更していた。しかし、画像合成部114は、フォーカスブラケット機能を備えたデジタルカメラ(撮像装置)が撮影した複数の画像を用いて、合焦位置(焦点位置)や被写界深度の範囲を変更することが可能である。すなわち、上記した第1実施形態における第1画像データ、また上記した第2実施形態における第1画像データ及び第2画像データには、デジタルカメラ(撮像装置)が合焦位置を変えながら撮像した、合焦位置の異なる複数の画像データに基づいて生成される画像データが含まれる。ここで、フォーカスブラケットとは、連写をしながら合焦位置を変えていき、合焦位置の異なる複数の画像を撮影することをいう。画像合成部114は、使用者によって指定された合焦位置や被写界深度に応じて、合焦位置の異なる複数の画像データを適宜選択し、選択した画像データを合成することにより、合焦位置や被写界深度の範囲を変更することができる。
また、上記した各実施形態では、ライトフィールドカメラ1の画像処理部30がRAWデータに基づいて合焦位置が異なる複数の画像データを生成し、被写体を検出し、被写体までの距離を検出していた。しかし、画像合成部114がライトフィールドカメラ1からRAWデータを取得し、取得したRAWデータに基づいて、合焦位置が異なる複数の画像データを生成し、被写体を検出し、被写体までの距離を検出してもよい。また、上記した各実施形態において、第1画像データに挿入される第2画像データは1つに限らず複数であってもよい。
また、上記した各実施形態では、画像合成部114が複数の画像データ(第1画像データ、第2画像データ)に対して距離に応じた重みを加えてから平均する加重平均処理を行うことで、合焦位置や被写界深度の範囲を変更していた。しかし、画像合成部114は、RAWデータに基づいて所定の合焦位置や被写界深度の画像データを生成することで、合焦位置や被写界深度の範囲を変更してもよい。
また、図4に示す画像処理部30とシステム制御部70は一体で構成されてもよい。この場合、1つのCPUを有するシステム制御部が制御プログラムに基づいて処理を実行することにより画像処理部30の機能とシステム制御部70の機能を担う。また、図15に示す構成において、画像処理部30と第1システム制御部70Aとは一体で構成されてもよい。この場合、1つのCPUを有するシステム制御部が制御プログラムに基づいて処理を行うことにより画像処理部30の機能と第1システム制御部70Aの機能を担う。
また、上記した第1実施形態において、カラーフィルタの配列がベイヤー配列とされていたが、この配列以外の配列であってもよい。
また、上記した各実施形態に係るライトフィールドカメラ1は、自動的に又は使用者による操作部55などの操作に応じてズーミング調節を行うズーム機能を備えていてもよい。この場合、駆動制御部13は、ズーミング調節を行うために、システム制御部70から送信される制御情報に基づいて撮影光学系11(例えばズーミング用レンズ)の駆動制御を実行する。また、ライトフィールドカメラ1は、被写体の撮影後に焦点位置を変更することが可能であるが、被写体の撮影前に自動的に焦点位置を調節するオートフォーカス機能を備えていてもよい。この場合、駆動制御部13は、撮影光学系11の焦点調節を行うために、システム制御部70から送信される制御情報に基づいて撮影光学系11(例えばフォーカシング用レンズ)の駆動制御を実行する。
また、上記した第2実施形態において、画像合成部114が第1画像データに第2画像データを挿入して合成画像データを生成していたが、第2画像データに第1画像データを挿入して合成画像データを生成してもよい。また、画像合成部114は、合焦位置や被写界深度を使用者のマウス104などの操作に応じて変更しても自動的に変更してもよい。