本発明の各実施例で用いられる複数の視点の画像を生成可能な撮像装置は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子の互いに異なる受光部(画素)に導いて光電変換を行わせる撮像系を有する。
まず、図3を参照して、撮像系における撮像素子の受光部(光電変換部)と撮像光学系の瞳との関係について説明する。図3(a)は、撮像素子の受光部と撮像光学系の瞳との関係を示す説明図である。図3(a)において、MLはマイクロレンズ、CFはカラーフィルタである。EXPは撮像光学系の射出瞳である。G1、G2は光電変換部としての受光部(G1画素、G2画素)であり、1つのG1画素と1つのG2画素とが互いに対をなしている。撮像素子には、G1画素とG2画素との対(画素対または画素組)が複数配列されている(2次元状に配列されている)。対のG1画素とG2画素は、共通の(画素組ごとに1つずつ設けられた)マイクロレンズMLを介して、射出瞳EXPと共役な関係を有する。撮像素子に配列された複数のG1画素をまとめてG1画素群と称し、同様に撮像素子に配列された複数のG2画素をまとめてG2画素群と称する。
図3(b)は、図3(a)に示されるマイクロレンズMLに代えて、射出瞳EXPの位置に薄肉レンズがあると仮定した場合の撮像系を模式的に示している。G1画素は、射出瞳EXPのうち領域P1を通過した光束を受光し、G2画素は射出瞳EXPのうち領域P2を通過した光束を受光する。OSPは、撮像している物点である。なお、物点OSPには、物体が存在している必要はない。物点OSPを通った光束は、それが通過する瞳内での領域(位置)に応じてG1画素またはG2画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点OSPからの入射光が角度(視差)により分離されることに相当する。すなわち、各マイクロレンズMLに対して設けられたG1、G2画素のうちG1画素からの出力信号を用いて生成された画像信号とG2画素からの出力信号を用いて生成された画像信号とが異なる複数の視点を有する複数(ここでは一対)の画像(視点画像)となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部(画素)により受光することを、瞳分割と称する。
図3(a)、(b)において、射出瞳EXPの位置がずれる等して、前述の共役関係が完全ではなくなった場合、または、領域P1と領域P2とが部分的にオーバーラップした場合でも、本実施例では、得られた複数の画像を視点画像として扱う。
次に、図4を参照して、本実施形態における撮像装置の構成について説明する。図4は、撮像装置200のブロック図である。絞り201aおよびフォーカスレンズ201bを含む撮像光学系201は、不図示の被写体からの光を撮像素子202上に結像させる。CCDセンサやCMOSセンサ等の光電変換素子を備えて構成される撮像素子202は、図3(a)、(b)を参照して説明したように、瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素(受光部)にて受光する、瞳分割を行う。
撮像素子202は、撮像光学系201を介して形成された光学像を光電変換して、アナログ信号(画像信号)を出力する。A/Dコンバータ203は、撮像素子202から出力されたアナログ信号をデジタル信号に変換する。A/Dコンバータ203から出力されたデジタル信号は、画像処理部204に入力される。画像処理部204は、デジタル信号に対して一般に行われる画像処理を行うことにより、画像(本実施例では、互いに異なる複数の視点を有する画像)を生成する。画像処理部204は、撮像装置200に搭載された画像処理装置に相当する。画像処理部204は、複数の視点の画像(視点画像)を取得する画像取得部として機能する。また画像処理部204は、不要成分検出部(検出手段)204a、不要成分低減部(低減手段)204b、および、光源方向推定部(光源方向算出手段)211を有する。不要成分検出部204aは、各視点画像のうち後述する不要光により生じた不要な画像成分(不要成分)を検出する(不要成分があるか否かを判定する)。不要成分低減部204bは、各視点画像から不要成分を低減する補正処理を行う。光源方向推定部211は、撮像光学系201に関する情報(撮影条件情報)に基づいて光源の方向を算出する。
画像処理部204により処理されて出力された画像は、一時的に記憶部208に保持され、半導体メモリや光ディスク等の画像記録媒体209に保存される。記憶部208は、画像処理部204が動作を行う際のワークメモリの機能を兼備する。表示部205は、画像処理部204から出力された画像を表示する。
システムコントローラ210は、撮像素子202の動作、画像処理部204による処理、および、撮像光学系201(絞り201aおよびフォーカスレンズ201b)の動作をそれぞれ制御する。撮像光学系制御部206は、システムコントローラ210からの制御指示に応じて、撮像光学系201における絞り201aおよびフォーカスレンズ201bを機械的に駆動する。絞り201aは、設定された絞り値(Fナンバー)に応じてその開口径が制御される。フォーカスレンズ201bは、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス(AF)システムやマニュアルフォーカス機構によりその位置が制御される。状態検知部207は、システムコントローラ210からの指示に応じて、その時点(現在)での撮像光学系の状態(フォーカスレンズ201bの位置、絞り値、および、ズームが可能な場合の焦点距離等)を示す情報である撮像条件情報を取得する。なお撮像光学系201は、図4では撮像装置200の一部として構成されているが、一眼カメラのようにレンズ交換式の撮像光学系であってもよい。光源方向推定部211は、光源の方向を推定する。複数の視点の画像を用いて光源の方向を推定する方法は、従来から種々の方法が提案されているが、本実施例ではいずれの方法を用いてもよい。
図5は、撮像光学系201の構成および不要光の説明図である。図5(a)は、撮像光学系201の具体的な構成例を示している。STPは絞りである。IMGは撮像面であり、撮像面IMGの位置には図4に示される撮像素子202が配置される。図5(b)は、撮像光学系201に高輝度物体の例としての太陽SUNからの強い光が入射し、撮像光学系201を構成するレンズの界面で反射した光が不要光(ゴーストやフレア)として撮像面IMGに到達する様子を示している。図5(c)は、絞りSTP(または撮像光学系201の射出瞳)のうち、図3に示されるG1画素およびG2画素に入射する光束が通過する領域(瞳領域)P1、P2を示している。高輝度物体からの光束は、絞りSTPのほぼ全域を通過するが、G1画素およびG2画素に入射する光束が通過する領域は、瞳領域P1、P2に分けられる。
このような撮像装置により生成される撮影画像において、不要光が光電変換されることで現れる不要成分を検出する一つの方法について、図1および図2を参照して説明する。図1は、不要成分を除去する方法の説明図である。図2は、出力画像(撮影画像)の一例を示す模式図である。
図2(a)は、瞳分割を行った撮影により生成された撮影画像を示す。この撮影画像には、ビル等の建物とその周辺に存在する樹木などが被写体として写っている。また撮影画像中に四角い部分として示すGSTは、不要光(ゴーストやフレア等)の画像成分である不要成分である。撮影画面の外側に光源があり、本実施例では、不要光をつなぐ線の延長線上に光源を配している。なお、光源と不要光の関係は、様々な組み合わせが存在し、本実施例で説明される関係に限定されるものではない。
図1中には不要成分GSTを黒い丸で丸の中を薄く塗りつぶして示しているが、実際には、不要光の出現強度によって被写体がある程度透け、または、真っ白につぶれている場合もある。また、不要成分は撮像される被写体像に不要光が被った状態であるため、被写体像よりも高輝度化する部分である。このことは、後述する他の実施例に関しても同様である。
図1(A-1)および図1(B-1)はそれぞれ、瞳領域P1、P2を通過した光束をG1、G2画素群にて光電変換した結果として得られた一対の視点の画像(一対の視点画像)を示す。近距離被写体を撮像して得られた一対の視点画像中の画像成分には、視点に対応する差(被写体の視差成分)が明確に存在する。しかし、図1(A-1)および図1(B-1)に示すような風景等の遠距離被写体を撮像して得られた一対の視点画像内の視差成分は非常に微少量である。また、一対の視点画像にも黒い丸として模式的に示す不要成分GSTが含まれているが、その位置は視点画像間で異なる。ここでは、不要成分GSTが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い丸の不要成分の位置や輝度が互いに異なった状態であればよい。
図1(A-2)は、図1(A-1)および図1(B-1)に示される一対の視点画像のうち図1(A-1)の画像を基準画像とし、その基準画像から図1(B-1)の画像(減算画像)を差し引いて得られた画像を示す。この基準画像と減算画像との差分を示す画像(相対差分画像)には、一対の視点画像が有する差分の2次元データ(相対差分情報)として前述した視差成分と不要成分とが含まれている。しかし、前述したように風景等の遠距離被写体を撮像して得られた一対の視点画像間の視差成分は非常に微少量であるため、その影響をほぼ無視することができる。さらに、図1(A-1)の基準画像から図1(B-1)の減算画像を差し引く差分計算を行うことにより、図1(B-1)に含まれる不要成分が負値として算出される。しかし、本実施例では、後段で行われる不要成分低減処理を簡易化するため、図1(A-2)では負値を切り捨てている(すなわち、負値を0値として扱う)。このため、図1(A-2)の相対差分画像は、図1(A-1)の基準画像に含まれる不要成分のみを示していることとなる。
同様に、図1(B-2)は、図1(B-1)に示される画像を基準画像とし、その基準画像から図1(A-1)の減算画像を差し引いて得られた2次元データである相対差分情報を示す画像を示す。図1(A-2)の画像と同様に、前述の差分計算によって図1(A-1)に含まれる不要成分が負値として算出されるが、不要成分低減処理を簡易化するために、図1(B-2)では負値を切り捨てている。このため、図1(B-2)の相対差分画像は、図1(B-1)に含まれる不要成分のみを示していることとなる。このように、一対の視点画像のうち一方の画像(基準画像)から他方の画像(減算画像)を差し引くことによって得られる相対差分画像に不要成分のみを残存させる(換言すると、分離する又は抽出する)処理を行うことにより、不要成分を検出することができる。
そして、前述のように検出された図1(A-2)および図1(B-2)の不要成分を除去(低減)する補正処理を、図1(A-1)および図1(B-1)に示される元の視点画像に対して行う。これにより、図1(A-3)および図1(B-3)に示されるように、不要成分が低減された(好ましくは除去された)一対の出力画像としての視点画像を得ることができる。さらに、これら不要成分が低減された一対の視点画像を合成することで、図2(b)に示されるように、瞳分割を行わない撮像により生成された撮影画像と同等であり、かつ不要成分をほとんど含まない画像を生成することができる。
次に、図6および図7を参照して、本実施例における撮像装置の動作(不要成分の低減処理)について説明する。図6は、撮像装置200の動作を示す説明図である。図7は、撮像装置200の動作を示すフローチャートである。図7の各ステップは、コンピュータであるシステムコントローラ210および画像処理部204により、コンピュータプログラムとしての画像処理プログラムに従って実行される。
図6において、第2のタイミングt2は、システムコントローラ210が静止画撮影を指示する時間であり、ユーザにより予め設定されたインターバル撮影の撮影間隔に基づいて算出される時間を示す。第1のタイミングt1は、システムコントローラ210が静止画撮影の撮影準備を指示する時間であり、第2のタイミングt2から不要成分の検出に必要な撮影期間および検出期間pを第2のタイミングt2から引いて算出される時間を示す。第1のタイミングt1において、システムコントローラ210は、不要成分を検出するための動画撮影を開始する。動画1~動画5はフレームの撮影を示し、複数の視点画像の撮影を順次行う。検出1は、動画1で撮影した複数の視点画像を用いた不要成分を検出する処理を示す。検出2~検出5はそれぞれ動画2~動画5にそれぞれ対応する。
第2のタイミングt2において、システムコントローラ210は、検出5の不要成分の有無(不要成分が検出されたか否か)を判定する判定1の処理を開始し、判定結果に応じて静止画撮影を行う。図6(a)は、不要成分の判定の結果、瞳分割しない静止画撮影の例を示す。図6(b)は、その判定の結果、瞳分割撮影を行い、複数の視点画像から不要成分の低減処理を行う例を示す。本実施例では、第1のタイミングt1で動画撮影を開始する構成としているが、第1のタイミングt1を合図に測光および焦点検出処理を同時に開始する構成でもよい。また、ここでは高速読出しを行うために撮像素子202から加算読み出しまたは間引き読み出しをする動画撮影としているが、読み出し時間や検出時間が十分高速であれば動作撮影に限定するものではなく、全画素読み出しを行う静止画撮影でもよい。
まず、図7のステップS301において、システムコントローラ210は、ユーザにより予め設定されている第2のタイミングt2を記憶部208から読み出し、第1の撮影を開始する第1のタイミングt1を算出して記憶部208に設定する。動画1の撮影時間をf1、不要成分の検出期間をpとすると、第1のタイミングt1は以下の式(1)で求められる。
t1=t2-(f1+p) … (1)
続いてステップS302において、システムコントローラ210は、記憶部208に保持されている第1のタイミングt1とシステムコントローラ210により判定される現在時刻とを比較し、現在時刻が第1のタイミングであるか否かを判定する。現在時刻が第1のタイミングt1である場合、ステップS303に進む。一方、現在時刻が第1のタイミングt1ではない場合、ステップS302を繰り返す。
ステップS303において、システムコントローラ210は、第1の撮影を開始する。このときシステムコントローラ210は、複数の視点画像を取得する動画撮影(動画1~動画5)を開始し、複数の視点画像の合成画像を表示部205に順次スルー画として表示する。なお、ここではスルー画を表示する例としているが、ファインダを覗いて撮影する撮影方法などスルー画を表示しない場合もある。
続いてステップS304において、システムコントローラ210は、動画撮影で取得した複数の視点画像から不要成分(不要光)の検出を開始し、その検出結果を記憶部208に保持する。システムコントローラ210は、動画1の不要成分検出処理である検出1を、動画2の撮影と並行して行う。このように高速読出しを前提とした撮影方法で連続的に取得した複数の視点画像を用いて不要成分の検出を行うことにより、第2のタイミングt2の静止画撮影において得られる画像に不要成分が現れるか否かを判定することができる。
続いてステップS305において、システムコントローラ210は、記憶部208に保持されている第2のタイミングt2とシステムコントローラ210により判定される現在時刻とを比較し、現在時刻が第2のタイミングであるか否かを判定する。現在時刻が第2のタイミングt2である場合、ステップS306に進む。一方、現在時刻が第2のタイミングt2ではない場合、ステップS305を繰り返す。
ステップS306において、システムコントローラ210は、ステップS304にて得られた不要成分検出結果を記憶部208から読み出す。そしてシステムコントローラ210は、不要成分があると判定した場合、ステップS307に進む。一方、不要成分がないと判定した場合、ステップS311に進む。
ステップS307において、システムコントローラ210は、撮像素子202の構成情報である瞳分割情報を取得する。瞳分割情報とは、図3に示される画素対の情報であり、例えば図3におけるG1画素とG2画素の対を有する撮像素子においては、水平方向または垂直方向に2分割した情報として取得される。また、G11画素、G12画素、G13画素、G14画素のように水平垂直それぞれ2つずつの対を有する撮像素子においては、水平方向および垂直方向のそれぞれに2分割した情報として取得される。
続いてステップS308において、システムコントローラ210は、状態検知部207から撮像光学系201の情報(光学情報、撮影条件情報)を取得する。ここで、撮像光学系201の情報は、例えば、レンズ固有のレンズID、フォーカスレンズ201bの位置、絞り値(F値)、および、ズームが可能な場合の焦点距離等を含むが、これらに限定されるものではない。
続いてステップS309において、システムコントローラ210は、光源方向推定部211を用いて、ステップS308にて取得した撮像光学系201の情報に基づいて光源方向を推定し、撮像面に発生している光源が不要成分であるか否かを判定する。またシステムコントローラ210は、ステップS307にて取得した瞳分割情報に基づいて、不要成分の低減効果を判定する。例えば、瞳分割情報が水平2分割の場合に光源の方向が画角上において水平方向で真ん中に位置する場合、複数の視点画像における不要成分の視差が発生しないため低減効果は低いと判定される。瞳分割情報が水平垂直それぞれ2分割の場合、垂直方向の視差により不要成分を低減することができるため、低減効果は高いと判定される。続いてステップS310において、システムコントローラ210は、不要成分の低減効果が高いと判定した場合、ステップS311に進む。一方、システムコントローラ210は、不要成分の低減効果が低いと判定した場合、ステップS312に進む。
ステップS311において、システムコントローラ210は、第2の撮影として瞳分割処理を行わない静止画撮影を行い、本フローを終了する。ステップS312において、システムコントローラ210は、第3の撮影として瞳分割処理を行う静止画撮影を行い、撮像素子202から複数の視点画像をそれぞれ読み出した後に各視点画像の差分を算出して不要成分を検出する。そしてシステムコントローラ210は、不要成分を複数の視点画像から減算した後に合成することにより不要成分低減画像を作成して、本フローを終了する。
このように本実施例において、制御装置は、検出手段(不要成分検出部204a)および制御手段(システムコントローラ210)を有する。検出手段は、第1のタイミングで取得した第1の画像の不要成分を検出する。制御手段は、検出手段による不要成分の検出結果に基づいて、第1のタイミングよりも後の第2のタイミングで第2の画像を取得するための撮影処理を行う(第2の画像を取得するための処理を変更する)。
好ましくは、制御手段は、検出手段が不要成分を検出した場合、第2の画像として、複数の異なる視点の画像を取得する(S312)。一方、検出手段が不要成分を検出しない場合、第2の画像として、複数の異なる視点の画像の合成画像を取得する(S311)。また好ましくは、検出手段は、第1の画像としての複数の異なる視点の画像に含まれる不要成分を検出する。また好ましくは、制御手段は、第2のタイミングと、第1の画像の撮影時間と、不要成分の検出期間とに基づいて、第1のタイミングを算出する(式(1))。また好ましくは、制御手段は、撮像素子202に関する瞳分割情報と撮像光学系201に関する撮影条件情報とに基づいて不要成分の低減効果を判定する(S309、S310)。そして制御手段は、不要成分の低減効果があると判定した場合、第2の画像として、複数の異なる視点の画像を取得する(S312)。一方、制御手段は、不要成分の低減効果がないと判定した場合、第2の画像として、複数の異なる視点の画像の合成画像を取得する(S311)。
本実施例によれば、複数の視点画像による不要成分を静止画撮影前に予め検出することにより、静止画撮影において不要な複数の視点画像を撮影することがなくなるため、必要な場合にのみ不要成分低減処理を行うことができる。
次に、図8および図9を参照して、本発明の実施例2における撮像装置の動作(不要成分の低減処理)について説明する。図8は、撮像装置200の動作を示す説明図である。図9は、撮像装置200の動作を示すフローチャートである。図9の各ステップは、コンピュータであるシステムコントローラ210および画像処理部204により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、本実施形態における撮像装置の構成は、図4を参照して実施例1で説明した撮像装置200と同様である。
図8において、第1のタイミングt1および第2のタイミングt2はそれぞれ、実施例1と同じである。第1のタイミングt1において、システムコントローラ210は、不要成分を検出するための動画撮影を開始する。動画1~動画8は、動画の各フレームの撮影を示し、複数の視点画像の撮影を各フレームで順次行う。検出1は、動画1で撮影した複数の視点画像を用いた不要成分を検出する処理を示す。検出2~検出8は、動画2~動画8にそれぞれ対応する。第2のタイミングt2において、システムコントローラ210は、検出5の不要成分検出の有無を判定する判定1の処理を開始する。判定2~判定4は、検出6~8にそれぞれ対応する。図8(a)は、判定4による結果、不要成分を検出しない場合に、瞳分割を行わない静止画撮影を行う。図8(b)に示される第3のタイミングt3は、ユーザまたは撮像装置200により予め設定された第2のタイミングt2からの撮影遅延の許容時間(所定の期間)である。不要成分を検出しなくなるより前に第3のタイミングt3を迎えると、システムコントローラ210は瞳分割した静止画撮影を行い、複数の視点画像から不要成分低減処理を行う。
まず、図9のステップS401において、システムコントローラ210は、ユーザにより予め設定されている第3のタイミングt3を記憶部208から読み出して設定する。第3のタイミングt3を設定することにより、不要光検出の結果、不要光が消えずに撮影タイミングが大幅に遅れて撮影機会を失うことを防ぐことができる。続くステップS402~S406は、実施例1のステップS302~S306とそれぞれ同一の処理であるため、それらの説明を省略する。
続いてステップS407において、システムコントローラ210は、ステップS401にて設定された(記憶部208に保持された)第3のタイミングt3とシステムコントローラ210により判定された現在時刻とを比較する。そしてシステムコントローラ210は、現在時刻が第3のタイミングt3であるか否かを判定する。現在時刻が第3のタイミングt3である場合、ステップS409に進む。一方、現在時刻が第3のタイミングt3ではない場合、ステップS406に戻る。
ステップS408において、システムコントローラ210は、第2の撮影として瞳分割処理を行わない静止画撮影を行い、本フローを終了する。ステップS409において、システムコントローラ210は、第3の撮影として瞳分割処理を行う静止画撮影を行う。そして画像処理部204の不要成分検出部204aは、撮像素子202から複数の視点画像をそれぞれ読み出した後、各視点画像の差分を算出して不要成分を検出する。そして不要成分低減部204bは、不要成分を複数の視点画像から減算して合成することにより不要成分低減画像を作成し、本フローを終了する。
このように本実施例において、制御手段は、検出手段が第1のタイミングで取得を開始した第1の画像に不要成分がなくなったことを検出した場合、第2の画像として、複数の異なる視点の画像の合成画像を取得する(S406)。好ましくは、制御手段は、所定の許容期間が経過した場合(第3のタイミングにおいて)、第2の画像として、複数の異なる視点の画像を取得する(S407、S409)。
本実施例によれば、複数の視点画像の不要成分を静止画撮影前に予め検出し、不要成分が検出されなくなるまで静止画撮影のタイミングをずらすことにより、不要成分を低減した静止画を取得することができる。また、静止画撮影の遅延の許容時間を設けることにより、撮影機会を損失することを防ぎつつ不要成分を低減した静止画を取得することが可能となる。
次に、図10および図11を参照して、本発明の実施例3における撮像装置の動作(不要成分の低減処理)について説明する。図10は、撮像装置200の動作を示す説明図である。図11は、撮像装置200の動作を示すフローチャートである。図11の各ステップは、コンピュータであるシステムコントローラ210および画像処理部204により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、本実施形態における撮像装置の構成は、図4を参照して実施例1で説明した撮像装置200と同様である。
図10において、第1のタイミングt1および第2のタイミングt2はそれぞれ、実施例1と同じである。相関演算1は、検出1の結果を用いて新たな不要成分検出結果を算出する。相関演算2は、相関演算1の結果と検出2との結果に基づいて、新たな不要成分検出結果を算出する。同様に、相関演算3~相関演算4を求める。第1のタイミングtAおよび第2のタイミングtBは、次のコマの撮影における静止画撮影準備開始と静止画撮影の時間を示す。同様に、動画A~動画E、検出A~検出E、相関演算A~相関演算D、判定Aは、次のコマの撮影におけるそれぞれの処理を示す。例えば、相関演算は不要成分検出結果の時定数を持つことにより、検出結果のバラつきを緩やかにすることができる。また、連続の検出結果や前後のコマの相関演算結果を用いて不要成分検出の周期を算出することにより、周期的な出現可能性のある不要光を避けたタイミングを取得できるようになる。相関演算の結果は、第2のタイミングt2、tBの時間を決定し、記憶部208に保持される。第2のタイミングt2、tBとしては、不要成分を検出しない時間が指定されるため、瞳分割を行わない静止画撮影を行う。
まず、図11のステップS501において、システムコントローラ210は、予め設定されている第2のタイミングt2を記憶部208から読み出し、第1の撮影を開始する第1のタイミングt1を算出して記憶部208に設定する。続くステップS502~S504は、実施例1のステップS302~S304とそれぞれ同一の処理であるため、それらの説明を省略する。
続いてステップS505において、システムコントローラ210は、ステップS504の不要成分検出結果に基づいて、相関演算を開始する。続いてステップS506において、システムコントローラ210は、記憶部208に保持している第2のタイミングt2とシステムコントローラ210により判定される現在時刻とを比較する。そしてシステムコントローラ210は、現在時刻が第2のタイミングt2であるか否かを判定する。現在時刻が第2のタイミングt2である場合、ステップS507に進む。一方、現在時刻が第2のタイミングt2ではない場合、ステップS506の処理を繰り返す。
ステップS507において、システムコントローラ210は、ステップS505の相関演算の結果に基づいて、不要成分が検出されないタイミングである次のコマの第2のタイミングtBを予測する。そしてシステムコントローラ210は、記憶部208に保持している第2のタイミングを上書きする(第2のタイミングt2を第2のタイミングtBに変更する)。続いてステップS508において、システムコントローラ210は、第2の撮影として瞳分割処理を行わない静止画撮影を行う。続いてステップS509において、システムコントローラ210は、撮影終了か否かを判定する。撮影が終了した場合、本フローを終了する。一方、撮影が終了していない場合、ステップS501に戻る。
このように本実施例において、制御手段は、第1の画像の不要成分の相関演算を行い、相関演算の結果に基づいて不要成分の周期を取得し、不要成分の周期に基づいて第2のタイミングを設定する(S505~S507)。
本実施例によれば、複数の視点画像の不要成分を静止画撮影前に予め検出し、更にそれぞれの不要成分検出結果を用いて相関演算を行う。これにより、不要成分の発生周期を算出して静止画撮影のタイミングをずらし、不要成分を低減した静止画を取得する
ことができる。
次に、図12および図13を参照して、本発明の実施例4における撮像装置の動作(不要成分の低減処理)について説明する。図12は、撮像装置200の動作を示す説明図である。図13は、撮像装置200の動作を示すフローチャートである。図13の各ステップは、コンピュータであるシステムコントローラ210および画像処理部204により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、本実施形態における撮像装置の構成は、図4を参照して実施例1で説明した撮像装置200と同様である。
図12において、第2のタイミングt2は、実施例1と同じである。第2のタイミングtBは、次のコマの撮影における静止画撮影の時間である。第2のタイミングt(2-1)は、第2のタイミングt2における撮影の再撮影のタイミングを示す。本実施例において、システムコントローラ210は、不要光低減処理の後、不要光低減処理により不要光が低減できたか否かの判定、および、次のコマの撮影までの時間が十分あるか否かの判定を行う。例えば、ユーザにより撮影間隔が事前に設定されている場合、システムコントローラ210は、不要光低減処理後から次のコマまでの時間を算出し、瞳分割静止画の撮影時間と不要光低減の処理時間とを足した時間がこの時間に間に合うか否かを判定する。そしてシステムコントローラ210は、その判定結果を記憶部208に保持する。
まず、図13のステップS601において、システムコントローラ210は、記憶部208に保持されている第2のタイミングt2とシステムコントローラ210により決定される現在時刻とを比較する。そしてシステムコントローラ210は、現在時刻が第2のタイミングt2であるか否かを判定する。現在時刻が第2のタイミングt2である場合、ステップS602に進む。一方、現在時刻が第2のタイミングt2ではない場合、ステップS601の処理を繰り返す。
ステップS602において、システムコントローラ210は、第3の撮影として瞳分割処理を行う静止画撮影を行う。そして画像処理部204の不要成分検出部204aは、撮像素子202から複数の視点画像をそれぞれ読み出した後、各視点画像の差分を算出して不要成分を検出する。不要成分低減部204bは、不要成分を複数の視点画像から減算した後に合成することにより、不要成分低減画像を作成する。
続いてステップS603において、システムコントローラ210は、撮影が終了したか否かを判定する。撮影が終了した場合、本フローを終了する。一方、撮影が終了していない場合、ステップS604に進む。ステップS604において、システムコントローラ210は、ステップS602にて取得した不要成分低減画像に基づいて不要成分低減判定を行う(不要成分が低減されたか否かを判定する)。そしてシステムコントローラ210は、その判定結果を記憶部208に保持する。
続いてステップS605において、システムコントローラ210は、ステップS604の判定結果を記憶部208から読み出す。そしてシステムコントローラ210は、不要成分が低減されていないと判定した場合、ステップS606に進む。一方、不要成分が低減されていると判定した場合、ステップS601に戻る。
ステップS606において、システムコントローラ210は、次のコマの撮影時間までに再撮影可能か否か(次コマの時間までに余裕があるか否か)を判定する。そしてシステムコントローラ210は、時間に余裕があると判定した場合、ステップS607に進む。一方、時間に余裕がないと判定した場合、ステップS601に戻る。
ステップS607において、システムコントローラ210は、再撮影のための第2のタイミングt(2-1)を算出し、記憶部208に第2のタイミングt(2-1)を保持する。第2のタイミングt(2-1)は、第2のタイミングt2に近い時間であって、かつ再撮影により不要光を低減した静止画を取得することが可能な時間に設定される。
続いてステップS608において、システムコントローラ210は、記憶部208に保持された第2のタイミングt(2-1)とシステムコントローラ210内の現在時刻とを比較して、現在時刻が第2のタイミングt(2-1)であるか否かを判定する。現在時刻が第2のタイミングt(2-1)である場合、ステップS602に戻る。一方、現在時刻が第2のタイミングt(2-1)ではない場合、ステップS608の処理を繰り返す。
このように本実施例において、制御手段は、第2の画像として、複数の異なる視点の画像を取得する。そして制御手段は、検出手段が第2の画像の不要成分を検出し、かつ、所定の時間よりも長い余裕時間がある場合、第2のタイミングを再設定して第2の画像を取得する(S605~S608)。
本実施例によれば、静止画撮影時に複数の視点画像撮影から作成した不要成分低減画像から不要成分が低減されたか否かを判定し、低減効果が低い場合には再撮影を行う。これにより、不要成分を低減または除去した静止画を取得することができる。
(その他の実施例)
本発明は、上述の実施例の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
各実施例によれば、撮影前に検出された不要成分の検出結果に基づいて撮影処理を行うことにより、不要成分を低減した画像を取得することが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。
以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。