JP7043209B2 - 制御装置、撮像装置、制御方法、および、プログラム - Google Patents

Description

本発明は、不要光を撮影前に検出して撮影時に低減することが可能な撮像装置に関する。

近年、ＣＣＤイメージセンサやＣＭＯＳイメージセンサ等の撮像素子を備えたデジタルスチルカメラやデジタルビデオカメラ等の撮像装置が普及している。撮像装置により撮像を行うと、撮像光学系に入射した光の一部がレンズの界面やレンズを保持する部材により反射して、撮像面に撮影光束とは別の光束として到達する場合がある。撮像面に到達した撮影光束とは別の光束（以下、不要光と呼ぶ）は、密度の高いスポット像を形成したり被写体像の広範囲に被ったりして、ゴーストやフレアと呼ばれる不要成分として撮影画像中に現れる。

また、望遠レンズ等において、軸上色収差や倍率色収差の補正のために例えば最も物体側のレンズに回折光学素子が用いられることがある。このとき、撮像画角外に存在する太陽等の高強度輝度物体からの光が回折光学素子に当たることで、撮影画像全体に撮影光束とは別のぼんやりとした光束が現れる場合がある。また、タイムラプス撮影やインターバル撮影などの定点撮影において、画角内またはその近辺に光源または光源を反射する物体が出現し、撮影画像に不要成分が発生することで撮影者の意図しない失敗画像になることが想定される。

従来、ゴーストやフレアについては、光源の方向を推定し、不要光を光学的に低減する方法や不要成分をデジタル画像処理により除去する方法が提案されている。特許文献１には、撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得し、撮影条件情報に基づいて不要画像成分を決定する方法が開示されている。特許文献２には、複数の視点画像を取得し、視点画像間の被写体像の視差による像ずれ量を算出して補正することにより、精度良くゴースト像を検出する方法が開示されている。

特開２０１３－１７９５６４号公報 特開２０１１－２０５５３１号公報

特許文献１および特許文献２に開示された方法によれば、単一の撮影光学系の異なる領域を通過した光束をそれぞれ光電変換する撮像素子により生成された複数の視点画像を用いて、不要成分を除去することができる。しかしながら、特許文献１に開示された方法では、撮影後に撮像光学系の焦点距離および絞り値に関する撮影条件情報を取得して不要成分を除去するか否かを判定するため、撮影前に不要成分を除去することが可能であるか否かを判定することができない。特許文献２に開示された方法では、撮影後に複数の視点画像間の視差による像ずれ補正を行って不要成分を除去するため、同様に、撮影前に不要成分を除去することが可能であるか否かを判定することができない。

そこで本発明は、撮影前に検出された不要成分の検出結果に基づく撮影処理を行うことにより、不要成分を低減した画像を取得することが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することを目的とする。

本発明の一側面としての制御装置は、第１のタイミングで取得した第１の画像の不要成分を検出する検出手段と、前記検出手段による前記不要成分の検出結果に基づいて、前記第１のタイミングよりも後の第２のタイミングで第２の画像を取得するための撮影処理を行う制御手段とを有し、前記制御手段は、前記検出手段が前記不要成分を検出した場合、前記第２の画像として、複数の異なる視点の画像を取得し、前記検出手段が前記不要成分を検出しない場合、前記第２の画像として、前記複数の異なる視点の画像の合成画像を取得する。

本発明の他の側面としての撮像装置は、撮像光学系を介して形成された光学像を光電変換する撮像素子と、前記制御装置とを有する。

本発明の他の側面としての制御方法は、第１のタイミングで取得した第１の画像の不要成分を検出するステップと、前記不要成分の検出結果に基づいて、前記第１のタイミングよりも後の第２のタイミングで第２の画像を取得するための撮影処理を行うステップとを有し、前記撮影処理を行うステップにおいて、前記検出するステップにおいて前記不要成分を検出した場合、前記第２の画像として、複数の異なる視点の画像を取得し、前記検出するステップにおいて前記不要成分を検出しない場合、前記第２の画像として、前記複数の異なる視点の画像の合成画像を取得する。

本発明の他の側面としてのプログラムは、前記制御方法をコンピュータに実行させる。

本発明の他の目的及び特徴は、以下の実施例において説明される。

本発明によれば、撮影前に検出された不要成分の検出結果に基づく撮影処理を行うことにより、不要成分を低減した画像を取得することが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。

各実施例における不要成分を除去する方法の説明図である。 各実施例における不要成分除去の出力画像の一例を示す模式図である。 各実施例における撮像素子の受光部と撮像光学系の瞳との関係を示す模式図である。 各実施例における撮像装置の構成図である。 各実施例における撮像光学系の構成および不要光の説明図である。 実施例１における撮像装置の動作を示す説明図である。 実施例１における撮像装置の動作を示すフローチャートである。 実施例２における撮像装置の動作を示す説明図である。 実施例２における撮像装置の動作を示すフローチャートである。 実施例３における撮像装置の動作を示す説明図である。 実施例３における撮像装置の動作を示すフローチャートである。 実施例４における撮像装置の動作を示す説明図である。 実施例４における撮像装置の動作を示すフローチャートである。

以下、本発明の実施例について、図面を参照しながら詳細に説明する。

本発明の各実施例で用いられる複数の視点の画像を生成可能な撮像装置は、撮像光学系の瞳のうち互いに異なる領域を通過した複数の光束を撮像素子の互いに異なる受光部（画素）に導いて光電変換を行わせる撮像系を有する。

まず、図３を参照して、撮像系における撮像素子の受光部（光電変換部）と撮像光学系の瞳との関係について説明する。図３（ａ）は、撮像素子の受光部と撮像光学系の瞳との関係を示す説明図である。図３（ａ）において、ＭＬはマイクロレンズ、ＣＦはカラーフィルタである。ＥＸＰは撮像光学系の射出瞳である。Ｇ１、Ｇ２は光電変換部としての受光部（Ｇ１画素、Ｇ２画素）であり、１つのＧ１画素と１つのＧ２画素とが互いに対をなしている。撮像素子には、Ｇ１画素とＧ２画素との対（画素対または画素組）が複数配列されている（２次元状に配列されている）。対のＧ１画素とＧ２画素は、共通の（画素組ごとに１つずつ設けられた）マイクロレンズＭＬを介して、射出瞳ＥＸＰと共役な関係を有する。撮像素子に配列された複数のＧ１画素をまとめてＧ１画素群と称し、同様に撮像素子に配列された複数のＧ２画素をまとめてＧ２画素群と称する。

図３（ｂ）は、図３（ａ）に示されるマイクロレンズＭＬに代えて、射出瞳ＥＸＰの位置に薄肉レンズがあると仮定した場合の撮像系を模式的に示している。Ｇ１画素は、射出瞳ＥＸＰのうち領域Ｐ１を通過した光束を受光し、Ｇ２画素は射出瞳ＥＸＰのうち領域Ｐ２を通過した光束を受光する。ＯＳＰは、撮像している物点である。なお、物点ＯＳＰには、物体が存在している必要はない。物点ＯＳＰを通った光束は、それが通過する瞳内での領域（位置）に応じてＧ１画素またはＧ２画素に入射する。瞳内の互いに異なる領域を光束が通過することは、物点ＯＳＰからの入射光が角度（視差）により分離されることに相当する。すなわち、各マイクロレンズＭＬに対して設けられたＧ１、Ｇ２画素のうちＧ１画素からの出力信号を用いて生成された画像信号とＧ２画素からの出力信号を用いて生成された画像信号とが異なる複数の視点を有する複数（ここでは一対）の画像（視点画像）となる。以下の説明において、瞳内の互いに異なる領域を通過した光束を互いに異なる受光部（画素）により受光することを、瞳分割と称する。

図３（ａ）、（ｂ）において、射出瞳ＥＸＰの位置がずれる等して、前述の共役関係が完全ではなくなった場合、または、領域Ｐ１と領域Ｐ２とが部分的にオーバーラップした場合でも、本実施例では、得られた複数の画像を視点画像として扱う。

次に、図４を参照して、本実施形態における撮像装置の構成について説明する。図４は、撮像装置２００のブロック図である。絞り２０１ａおよびフォーカスレンズ２０１ｂを含む撮像光学系２０１は、不図示の被写体からの光を撮像素子２０２上に結像させる。ＣＣＤセンサやＣＭＯＳセンサ等の光電変換素子を備えて構成される撮像素子２０２は、図３（ａ）、（ｂ）を参照して説明したように、瞳内の互いに異なる領域を通過した光束を、各領域に対応する画素（受光部）にて受光する、瞳分割を行う。

撮像素子２０２は、撮像光学系２０１を介して形成された光学像を光電変換して、アナログ信号（画像信号）を出力する。Ａ／Ｄコンバータ２０３は、撮像素子２０２から出力されたアナログ信号をデジタル信号に変換する。Ａ／Ｄコンバータ２０３から出力されたデジタル信号は、画像処理部２０４に入力される。画像処理部２０４は、デジタル信号に対して一般に行われる画像処理を行うことにより、画像（本実施例では、互いに異なる複数の視点を有する画像）を生成する。画像処理部２０４は、撮像装置２００に搭載された画像処理装置に相当する。画像処理部２０４は、複数の視点の画像（視点画像）を取得する画像取得部として機能する。また画像処理部２０４は、不要成分検出部（検出手段）２０４ａ、不要成分低減部（低減手段）２０４ｂ、および、光源方向推定部（光源方向算出手段）２１１を有する。不要成分検出部２０４ａは、各視点画像のうち後述する不要光により生じた不要な画像成分（不要成分）を検出する（不要成分があるか否かを判定する）。不要成分低減部２０４ｂは、各視点画像から不要成分を低減する補正処理を行う。光源方向推定部２１１は、撮像光学系２０１に関する情報（撮影条件情報）に基づいて光源の方向を算出する。

画像処理部２０４により処理されて出力された画像は、一時的に記憶部２０８に保持され、半導体メモリや光ディスク等の画像記録媒体２０９に保存される。記憶部２０８は、画像処理部２０４が動作を行う際のワークメモリの機能を兼備する。表示部２０５は、画像処理部２０４から出力された画像を表示する。

システムコントローラ２１０は、撮像素子２０２の動作、画像処理部２０４による処理、および、撮像光学系２０１（絞り２０１ａおよびフォーカスレンズ２０１ｂ）の動作をそれぞれ制御する。撮像光学系制御部２０６は、システムコントローラ２１０からの制御指示に応じて、撮像光学系２０１における絞り２０１ａおよびフォーカスレンズ２０１ｂを機械的に駆動する。絞り２０１ａは、設定された絞り値（Ｆナンバー）に応じてその開口径が制御される。フォーカスレンズ２０１ｂは、被写体距離に応じてピント調整を行うため、不図示のオートフォーカス（ＡＦ）システムやマニュアルフォーカス機構によりその位置が制御される。状態検知部２０７は、システムコントローラ２１０からの指示に応じて、その時点（現在）での撮像光学系の状態（フォーカスレンズ２０１ｂの位置、絞り値、および、ズームが可能な場合の焦点距離等）を示す情報である撮像条件情報を取得する。なお撮像光学系２０１は、図４では撮像装置２００の一部として構成されているが、一眼カメラのようにレンズ交換式の撮像光学系であってもよい。光源方向推定部２１１は、光源の方向を推定する。複数の視点の画像を用いて光源の方向を推定する方法は、従来から種々の方法が提案されているが、本実施例ではいずれの方法を用いてもよい。

図５は、撮像光学系２０１の構成および不要光の説明図である。図５（ａ）は、撮像光学系２０１の具体的な構成例を示している。ＳＴＰは絞りである。ＩＭＧは撮像面であり、撮像面ＩＭＧの位置には図４に示される撮像素子２０２が配置される。図５（ｂ）は、撮像光学系２０１に高輝度物体の例としての太陽ＳＵＮからの強い光が入射し、撮像光学系２０１を構成するレンズの界面で反射した光が不要光（ゴーストやフレア）として撮像面ＩＭＧに到達する様子を示している。図５（ｃ）は、絞りＳＴＰ（または撮像光学系２０１の射出瞳）のうち、図３に示されるＧ１画素およびＧ２画素に入射する光束が通過する領域（瞳領域）Ｐ１、Ｐ２を示している。高輝度物体からの光束は、絞りＳＴＰのほぼ全域を通過するが、Ｇ１画素およびＧ２画素に入射する光束が通過する領域は、瞳領域Ｐ１、Ｐ２に分けられる。

このような撮像装置により生成される撮影画像において、不要光が光電変換されることで現れる不要成分を検出する一つの方法について、図１および図２を参照して説明する。図１は、不要成分を除去する方法の説明図である。図２は、出力画像（撮影画像）の一例を示す模式図である。

図２（ａ）は、瞳分割を行った撮影により生成された撮影画像を示す。この撮影画像には、ビル等の建物とその周辺に存在する樹木などが被写体として写っている。また撮影画像中に四角い部分として示すＧＳＴは、不要光（ゴーストやフレア等）の画像成分である不要成分である。撮影画面の外側に光源があり、本実施例では、不要光をつなぐ線の延長線上に光源を配している。なお、光源と不要光の関係は、様々な組み合わせが存在し、本実施例で説明される関係に限定されるものではない。

図１中には不要成分ＧＳＴを黒い丸で丸の中を薄く塗りつぶして示しているが、実際には、不要光の出現強度によって被写体がある程度透け、または、真っ白につぶれている場合もある。また、不要成分は撮像される被写体像に不要光が被った状態であるため、被写体像よりも高輝度化する部分である。このことは、後述する他の実施例に関しても同様である。

図１（Ａ－１）および図１（Ｂ－１）はそれぞれ、瞳領域Ｐ１、Ｐ２を通過した光束をＧ１、Ｇ２画素群にて光電変換した結果として得られた一対の視点の画像（一対の視点画像）を示す。近距離被写体を撮像して得られた一対の視点画像中の画像成分には、視点に対応する差（被写体の視差成分）が明確に存在する。しかし、図１（Ａ－１）および図１（Ｂ－１）に示すような風景等の遠距離被写体を撮像して得られた一対の視点画像内の視差成分は非常に微少量である。また、一対の視点画像にも黒い丸として模式的に示す不要成分ＧＳＴが含まれているが、その位置は視点画像間で異なる。ここでは、不要成分ＧＳＴが互いにオーバーラップすることなく分離された状態の例を示しているが、オーバーラップしていて輝度差がある状態でもよい。すなわち、黒い丸の不要成分の位置や輝度が互いに異なった状態であればよい。

図１（Ａ－２）は、図１（Ａ－１）および図１（Ｂ－１）に示される一対の視点画像のうち図１（Ａ－１）の画像を基準画像とし、その基準画像から図１（Ｂ－１）の画像（減算画像）を差し引いて得られた画像を示す。この基準画像と減算画像との差分を示す画像（相対差分画像）には、一対の視点画像が有する差分の２次元データ（相対差分情報）として前述した視差成分と不要成分とが含まれている。しかし、前述したように風景等の遠距離被写体を撮像して得られた一対の視点画像間の視差成分は非常に微少量であるため、その影響をほぼ無視することができる。さらに、図１（Ａ－１）の基準画像から図１（Ｂ－１）の減算画像を差し引く差分計算を行うことにより、図１（Ｂ－１）に含まれる不要成分が負値として算出される。しかし、本実施例では、後段で行われる不要成分低減処理を簡易化するため、図１（Ａ－２）では負値を切り捨てている（すなわち、負値を０値として扱う）。このため、図１（Ａ－２）の相対差分画像は、図１（Ａ－１）の基準画像に含まれる不要成分のみを示していることとなる。

同様に、図１（Ｂ－２）は、図１（Ｂ－１）に示される画像を基準画像とし、その基準画像から図１（Ａ－１）の減算画像を差し引いて得られた２次元データである相対差分情報を示す画像を示す。図１（Ａ－２）の画像と同様に、前述の差分計算によって図１（Ａ－１）に含まれる不要成分が負値として算出されるが、不要成分低減処理を簡易化するために、図１（Ｂ－２）では負値を切り捨てている。このため、図１（Ｂ－２）の相対差分画像は、図１（Ｂ－１）に含まれる不要成分のみを示していることとなる。このように、一対の視点画像のうち一方の画像（基準画像）から他方の画像（減算画像）を差し引くことによって得られる相対差分画像に不要成分のみを残存させる（換言すると、分離する又は抽出する）処理を行うことにより、不要成分を検出することができる。

そして、前述のように検出された図１（Ａ－２）および図１（Ｂ－２）の不要成分を除去（低減）する補正処理を、図１（Ａ－１）および図１（Ｂ－１）に示される元の視点画像に対して行う。これにより、図１（Ａ－３）および図１（Ｂ－３）に示されるように、不要成分が低減された（好ましくは除去された）一対の出力画像としての視点画像を得ることができる。さらに、これら不要成分が低減された一対の視点画像を合成することで、図２（ｂ）に示されるように、瞳分割を行わない撮像により生成された撮影画像と同等であり、かつ不要成分をほとんど含まない画像を生成することができる。

次に、図６および図７を参照して、本実施例における撮像装置の動作（不要成分の低減処理）について説明する。図６は、撮像装置２００の動作を示す説明図である。図７は、撮像装置２００の動作を示すフローチャートである。図７の各ステップは、コンピュータであるシステムコントローラ２１０および画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。

図６において、第２のタイミングｔ２は、システムコントローラ２１０が静止画撮影を指示する時間であり、ユーザにより予め設定されたインターバル撮影の撮影間隔に基づいて算出される時間を示す。第１のタイミングｔ１は、システムコントローラ２１０が静止画撮影の撮影準備を指示する時間であり、第２のタイミングｔ２から不要成分の検出に必要な撮影期間および検出期間ｐを第２のタイミングｔ２から引いて算出される時間を示す。第１のタイミングｔ１において、システムコントローラ２１０は、不要成分を検出するための動画撮影を開始する。動画１～動画５はフレームの撮影を示し、複数の視点画像の撮影を順次行う。検出１は、動画１で撮影した複数の視点画像を用いた不要成分を検出する処理を示す。検出２～検出５はそれぞれ動画２～動画５にそれぞれ対応する。

第２のタイミングｔ２において、システムコントローラ２１０は、検出５の不要成分の有無（不要成分が検出されたか否か）を判定する判定１の処理を開始し、判定結果に応じて静止画撮影を行う。図６（ａ）は、不要成分の判定の結果、瞳分割しない静止画撮影の例を示す。図６（ｂ）は、その判定の結果、瞳分割撮影を行い、複数の視点画像から不要成分の低減処理を行う例を示す。本実施例では、第１のタイミングｔ１で動画撮影を開始する構成としているが、第１のタイミングｔ１を合図に測光および焦点検出処理を同時に開始する構成でもよい。また、ここでは高速読出しを行うために撮像素子２０２から加算読み出しまたは間引き読み出しをする動画撮影としているが、読み出し時間や検出時間が十分高速であれば動作撮影に限定するものではなく、全画素読み出しを行う静止画撮影でもよい。

まず、図７のステップＳ３０１において、システムコントローラ２１０は、ユーザにより予め設定されている第２のタイミングｔ２を記憶部２０８から読み出し、第１の撮影を開始する第１のタイミングｔ１を算出して記憶部２０８に設定する。動画１の撮影時間をｆ１、不要成分の検出期間をｐとすると、第１のタイミングｔ１は以下の式（１）で求められる。

ｔ１＝ｔ２－（ｆ１＋ｐ） … （１）
続いてステップＳ３０２において、システムコントローラ２１０は、記憶部２０８に保持されている第１のタイミングｔ１とシステムコントローラ２１０により判定される現在時刻とを比較し、現在時刻が第１のタイミングであるか否かを判定する。現在時刻が第１のタイミングｔ１である場合、ステップＳ３０３に進む。一方、現在時刻が第１のタイミングｔ１ではない場合、ステップＳ３０２を繰り返す。

ステップＳ３０３において、システムコントローラ２１０は、第１の撮影を開始する。このときシステムコントローラ２１０は、複数の視点画像を取得する動画撮影（動画１～動画５）を開始し、複数の視点画像の合成画像を表示部２０５に順次スルー画として表示する。なお、ここではスルー画を表示する例としているが、ファインダを覗いて撮影する撮影方法などスルー画を表示しない場合もある。

続いてステップＳ３０４において、システムコントローラ２１０は、動画撮影で取得した複数の視点画像から不要成分（不要光）の検出を開始し、その検出結果を記憶部２０８に保持する。システムコントローラ２１０は、動画１の不要成分検出処理である検出１を、動画２の撮影と並行して行う。このように高速読出しを前提とした撮影方法で連続的に取得した複数の視点画像を用いて不要成分の検出を行うことにより、第２のタイミングｔ２の静止画撮影において得られる画像に不要成分が現れるか否かを判定することができる。

続いてステップＳ３０５において、システムコントローラ２１０は、記憶部２０８に保持されている第２のタイミングｔ２とシステムコントローラ２１０により判定される現在時刻とを比較し、現在時刻が第２のタイミングであるか否かを判定する。現在時刻が第２のタイミングｔ２である場合、ステップＳ３０６に進む。一方、現在時刻が第２のタイミングｔ２ではない場合、ステップＳ３０５を繰り返す。

ステップＳ３０６において、システムコントローラ２１０は、ステップＳ３０４にて得られた不要成分検出結果を記憶部２０８から読み出す。そしてシステムコントローラ２１０は、不要成分があると判定した場合、ステップＳ３０７に進む。一方、不要成分がないと判定した場合、ステップＳ３１１に進む。

ステップＳ３０７において、システムコントローラ２１０は、撮像素子２０２の構成情報である瞳分割情報を取得する。瞳分割情報とは、図３に示される画素対の情報であり、例えば図３におけるＧ１画素とＧ２画素の対を有する撮像素子においては、水平方向または垂直方向に２分割した情報として取得される。また、Ｇ１１画素、Ｇ１２画素、Ｇ１３画素、Ｇ１４画素のように水平垂直それぞれ２つずつの対を有する撮像素子においては、水平方向および垂直方向のそれぞれに２分割した情報として取得される。

続いてステップＳ３０８において、システムコントローラ２１０は、状態検知部２０７から撮像光学系２０１の情報（光学情報、撮影条件情報）を取得する。ここで、撮像光学系２０１の情報は、例えば、レンズ固有のレンズＩＤ、フォーカスレンズ２０１ｂの位置、絞り値（Ｆ値）、および、ズームが可能な場合の焦点距離等を含むが、これらに限定されるものではない。

続いてステップＳ３０９において、システムコントローラ２１０は、光源方向推定部２１１を用いて、ステップＳ３０８にて取得した撮像光学系２０１の情報に基づいて光源方向を推定し、撮像面に発生している光源が不要成分であるか否かを判定する。またシステムコントローラ２１０は、ステップＳ３０７にて取得した瞳分割情報に基づいて、不要成分の低減効果を判定する。例えば、瞳分割情報が水平２分割の場合に光源の方向が画角上において水平方向で真ん中に位置する場合、複数の視点画像における不要成分の視差が発生しないため低減効果は低いと判定される。瞳分割情報が水平垂直それぞれ２分割の場合、垂直方向の視差により不要成分を低減することができるため、低減効果は高いと判定される。続いてステップＳ３１０において、システムコントローラ２１０は、不要成分の低減効果が高いと判定した場合、ステップＳ３１１に進む。一方、システムコントローラ２１０は、不要成分の低減効果が低いと判定した場合、ステップＳ３１２に進む。

ステップＳ３１１において、システムコントローラ２１０は、第２の撮影として瞳分割処理を行わない静止画撮影を行い、本フローを終了する。ステップＳ３１２において、システムコントローラ２１０は、第３の撮影として瞳分割処理を行う静止画撮影を行い、撮像素子２０２から複数の視点画像をそれぞれ読み出した後に各視点画像の差分を算出して不要成分を検出する。そしてシステムコントローラ２１０は、不要成分を複数の視点画像から減算した後に合成することにより不要成分低減画像を作成して、本フローを終了する。

このように本実施例において、制御装置は、検出手段（不要成分検出部２０４ａ）および制御手段（システムコントローラ２１０）を有する。検出手段は、第１のタイミングで取得した第１の画像の不要成分を検出する。制御手段は、検出手段による不要成分の検出結果に基づいて、第１のタイミングよりも後の第２のタイミングで第２の画像を取得するための撮影処理を行う（第２の画像を取得するための処理を変更する）。

好ましくは、制御手段は、検出手段が不要成分を検出した場合、第２の画像として、複数の異なる視点の画像を取得する（Ｓ３１２）。一方、検出手段が不要成分を検出しない場合、第２の画像として、複数の異なる視点の画像の合成画像を取得する（Ｓ３１１）。また好ましくは、検出手段は、第１の画像としての複数の異なる視点の画像に含まれる不要成分を検出する。また好ましくは、制御手段は、第２のタイミングと、第１の画像の撮影時間と、不要成分の検出期間とに基づいて、第１のタイミングを算出する（式（１））。また好ましくは、制御手段は、撮像素子２０２に関する瞳分割情報と撮像光学系２０１に関する撮影条件情報とに基づいて不要成分の低減効果を判定する（Ｓ３０９、Ｓ３１０）。そして制御手段は、不要成分の低減効果があると判定した場合、第２の画像として、複数の異なる視点の画像を取得する（Ｓ３１２）。一方、制御手段は、不要成分の低減効果がないと判定した場合、第２の画像として、複数の異なる視点の画像の合成画像を取得する（Ｓ３１１）。

本実施例によれば、複数の視点画像による不要成分を静止画撮影前に予め検出することにより、静止画撮影において不要な複数の視点画像を撮影することがなくなるため、必要な場合にのみ不要成分低減処理を行うことができる。

次に、図８および図９を参照して、本発明の実施例２における撮像装置の動作（不要成分の低減処理）について説明する。図８は、撮像装置２００の動作を示す説明図である。図９は、撮像装置２００の動作を示すフローチャートである。図９の各ステップは、コンピュータであるシステムコントローラ２１０および画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、本実施形態における撮像装置の構成は、図４を参照して実施例１で説明した撮像装置２００と同様である。

図８において、第１のタイミングｔ１および第２のタイミングｔ２はそれぞれ、実施例１と同じである。第１のタイミングｔ１において、システムコントローラ２１０は、不要成分を検出するための動画撮影を開始する。動画１～動画８は、動画の各フレームの撮影を示し、複数の視点画像の撮影を各フレームで順次行う。検出１は、動画１で撮影した複数の視点画像を用いた不要成分を検出する処理を示す。検出２～検出８は、動画２～動画８にそれぞれ対応する。第２のタイミングｔ２において、システムコントローラ２１０は、検出５の不要成分検出の有無を判定する判定１の処理を開始する。判定２～判定４は、検出６～８にそれぞれ対応する。図８（ａ）は、判定４による結果、不要成分を検出しない場合に、瞳分割を行わない静止画撮影を行う。図８（ｂ）に示される第３のタイミングｔ３は、ユーザまたは撮像装置２００により予め設定された第２のタイミングｔ２からの撮影遅延の許容時間（所定の期間）である。不要成分を検出しなくなるより前に第３のタイミングｔ３を迎えると、システムコントローラ２１０は瞳分割した静止画撮影を行い、複数の視点画像から不要成分低減処理を行う。

まず、図９のステップＳ４０１において、システムコントローラ２１０は、ユーザにより予め設定されている第３のタイミングｔ３を記憶部２０８から読み出して設定する。第３のタイミングｔ３を設定することにより、不要光検出の結果、不要光が消えずに撮影タイミングが大幅に遅れて撮影機会を失うことを防ぐことができる。続くステップＳ４０２～Ｓ４０６は、実施例１のステップＳ３０２～Ｓ３０６とそれぞれ同一の処理であるため、それらの説明を省略する。

続いてステップＳ４０７において、システムコントローラ２１０は、ステップＳ４０１にて設定された（記憶部２０８に保持された）第３のタイミングｔ３とシステムコントローラ２１０により判定された現在時刻とを比較する。そしてシステムコントローラ２１０は、現在時刻が第３のタイミングｔ３であるか否かを判定する。現在時刻が第３のタイミングｔ３である場合、ステップＳ４０９に進む。一方、現在時刻が第３のタイミングｔ３ではない場合、ステップＳ４０６に戻る。

ステップＳ４０８において、システムコントローラ２１０は、第２の撮影として瞳分割処理を行わない静止画撮影を行い、本フローを終了する。ステップＳ４０９において、システムコントローラ２１０は、第３の撮影として瞳分割処理を行う静止画撮影を行う。そして画像処理部２０４の不要成分検出部２０４ａは、撮像素子２０２から複数の視点画像をそれぞれ読み出した後、各視点画像の差分を算出して不要成分を検出する。そして不要成分低減部２０４ｂは、不要成分を複数の視点画像から減算して合成することにより不要成分低減画像を作成し、本フローを終了する。

このように本実施例において、制御手段は、検出手段が第１のタイミングで取得を開始した第１の画像に不要成分がなくなったことを検出した場合、第２の画像として、複数の異なる視点の画像の合成画像を取得する（Ｓ４０６）。好ましくは、制御手段は、所定の許容期間が経過した場合（第３のタイミングにおいて）、第２の画像として、複数の異なる視点の画像を取得する（Ｓ４０７、Ｓ４０９）。

本実施例によれば、複数の視点画像の不要成分を静止画撮影前に予め検出し、不要成分が検出されなくなるまで静止画撮影のタイミングをずらすことにより、不要成分を低減した静止画を取得することができる。また、静止画撮影の遅延の許容時間を設けることにより、撮影機会を損失することを防ぎつつ不要成分を低減した静止画を取得することが可能となる。

次に、図１０および図１１を参照して、本発明の実施例３における撮像装置の動作（不要成分の低減処理）について説明する。図１０は、撮像装置２００の動作を示す説明図である。図１１は、撮像装置２００の動作を示すフローチャートである。図１１の各ステップは、コンピュータであるシステムコントローラ２１０および画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、本実施形態における撮像装置の構成は、図４を参照して実施例１で説明した撮像装置２００と同様である。

図１０において、第１のタイミングｔ１および第２のタイミングｔ２はそれぞれ、実施例１と同じである。相関演算１は、検出１の結果を用いて新たな不要成分検出結果を算出する。相関演算２は、相関演算１の結果と検出２との結果に基づいて、新たな不要成分検出結果を算出する。同様に、相関演算３～相関演算４を求める。第１のタイミングｔＡおよび第２のタイミングｔＢは、次のコマの撮影における静止画撮影準備開始と静止画撮影の時間を示す。同様に、動画Ａ～動画Ｅ、検出Ａ～検出Ｅ、相関演算Ａ～相関演算Ｄ、判定Ａは、次のコマの撮影におけるそれぞれの処理を示す。例えば、相関演算は不要成分検出結果の時定数を持つことにより、検出結果のバラつきを緩やかにすることができる。また、連続の検出結果や前後のコマの相関演算結果を用いて不要成分検出の周期を算出することにより、周期的な出現可能性のある不要光を避けたタイミングを取得できるようになる。相関演算の結果は、第２のタイミングｔ２、ｔＢの時間を決定し、記憶部２０８に保持される。第２のタイミングｔ２、ｔＢとしては、不要成分を検出しない時間が指定されるため、瞳分割を行わない静止画撮影を行う。

まず、図１１のステップＳ５０１において、システムコントローラ２１０は、予め設定されている第２のタイミングｔ２を記憶部２０８から読み出し、第１の撮影を開始する第１のタイミングｔ１を算出して記憶部２０８に設定する。続くステップＳ５０２～Ｓ５０４は、実施例１のステップＳ３０２～Ｓ３０４とそれぞれ同一の処理であるため、それらの説明を省略する。

続いてステップＳ５０５において、システムコントローラ２１０は、ステップＳ５０４の不要成分検出結果に基づいて、相関演算を開始する。続いてステップＳ５０６において、システムコントローラ２１０は、記憶部２０８に保持している第２のタイミングｔ２とシステムコントローラ２１０により判定される現在時刻とを比較する。そしてシステムコントローラ２１０は、現在時刻が第２のタイミングｔ２であるか否かを判定する。現在時刻が第２のタイミングｔ２である場合、ステップＳ５０７に進む。一方、現在時刻が第２のタイミングｔ２ではない場合、ステップＳ５０６の処理を繰り返す。

ステップＳ５０７において、システムコントローラ２１０は、ステップＳ５０５の相関演算の結果に基づいて、不要成分が検出されないタイミングである次のコマの第２のタイミングｔＢを予測する。そしてシステムコントローラ２１０は、記憶部２０８に保持している第２のタイミングを上書きする（第２のタイミングｔ２を第２のタイミングｔＢに変更する）。続いてステップＳ５０８において、システムコントローラ２１０は、第２の撮影として瞳分割処理を行わない静止画撮影を行う。続いてステップＳ５０９において、システムコントローラ２１０は、撮影終了か否かを判定する。撮影が終了した場合、本フローを終了する。一方、撮影が終了していない場合、ステップＳ５０１に戻る。

このように本実施例において、制御手段は、第１の画像の不要成分の相関演算を行い、相関演算の結果に基づいて不要成分の周期を取得し、不要成分の周期に基づいて第２のタイミングを設定する（Ｓ５０５～Ｓ５０７）。

本実施例によれば、複数の視点画像の不要成分を静止画撮影前に予め検出し、更にそれぞれの不要成分検出結果を用いて相関演算を行う。これにより、不要成分の発生周期を算出して静止画撮影のタイミングをずらし、不要成分を低減した静止画を取得する
ことができる。

次に、図１２および図１３を参照して、本発明の実施例４における撮像装置の動作（不要成分の低減処理）について説明する。図１２は、撮像装置２００の動作を示す説明図である。図１３は、撮像装置２００の動作を示すフローチャートである。図１３の各ステップは、コンピュータであるシステムコントローラ２１０および画像処理部２０４により、コンピュータプログラムとしての画像処理プログラムに従って実行される。なお、本実施形態における撮像装置の構成は、図４を参照して実施例１で説明した撮像装置２００と同様である。

図１２において、第２のタイミングｔ２は、実施例１と同じである。第２のタイミングｔＢは、次のコマの撮影における静止画撮影の時間である。第２のタイミングｔ（２－１）は、第２のタイミングｔ２における撮影の再撮影のタイミングを示す。本実施例において、システムコントローラ２１０は、不要光低減処理の後、不要光低減処理により不要光が低減できたか否かの判定、および、次のコマの撮影までの時間が十分あるか否かの判定を行う。例えば、ユーザにより撮影間隔が事前に設定されている場合、システムコントローラ２１０は、不要光低減処理後から次のコマまでの時間を算出し、瞳分割静止画の撮影時間と不要光低減の処理時間とを足した時間がこの時間に間に合うか否かを判定する。そしてシステムコントローラ２１０は、その判定結果を記憶部２０８に保持する。

まず、図１３のステップＳ６０１において、システムコントローラ２１０は、記憶部２０８に保持されている第２のタイミングｔ２とシステムコントローラ２１０により決定される現在時刻とを比較する。そしてシステムコントローラ２１０は、現在時刻が第２のタイミングｔ２であるか否かを判定する。現在時刻が第２のタイミングｔ２である場合、ステップＳ６０２に進む。一方、現在時刻が第２のタイミングｔ２ではない場合、ステップＳ６０１の処理を繰り返す。

ステップＳ６０２において、システムコントローラ２１０は、第３の撮影として瞳分割処理を行う静止画撮影を行う。そして画像処理部２０４の不要成分検出部２０４ａは、撮像素子２０２から複数の視点画像をそれぞれ読み出した後、各視点画像の差分を算出して不要成分を検出する。不要成分低減部２０４ｂは、不要成分を複数の視点画像から減算した後に合成することにより、不要成分低減画像を作成する。

続いてステップＳ６０３において、システムコントローラ２１０は、撮影が終了したか否かを判定する。撮影が終了した場合、本フローを終了する。一方、撮影が終了していない場合、ステップＳ６０４に進む。ステップＳ６０４において、システムコントローラ２１０は、ステップＳ６０２にて取得した不要成分低減画像に基づいて不要成分低減判定を行う（不要成分が低減されたか否かを判定する）。そしてシステムコントローラ２１０は、その判定結果を記憶部２０８に保持する。

続いてステップＳ６０５において、システムコントローラ２１０は、ステップＳ６０４の判定結果を記憶部２０８から読み出す。そしてシステムコントローラ２１０は、不要成分が低減されていないと判定した場合、ステップＳ６０６に進む。一方、不要成分が低減されていると判定した場合、ステップＳ６０１に戻る。

ステップＳ６０６において、システムコントローラ２１０は、次のコマの撮影時間までに再撮影可能か否か（次コマの時間までに余裕があるか否か）を判定する。そしてシステムコントローラ２１０は、時間に余裕があると判定した場合、ステップＳ６０７に進む。一方、時間に余裕がないと判定した場合、ステップＳ６０１に戻る。

ステップＳ６０７において、システムコントローラ２１０は、再撮影のための第２のタイミングｔ（２－１）を算出し、記憶部２０８に第２のタイミングｔ（２－１）を保持する。第２のタイミングｔ（２－１）は、第２のタイミングｔ２に近い時間であって、かつ再撮影により不要光を低減した静止画を取得することが可能な時間に設定される。

続いてステップＳ６０８において、システムコントローラ２１０は、記憶部２０８に保持された第２のタイミングｔ（２－１）とシステムコントローラ２１０内の現在時刻とを比較して、現在時刻が第２のタイミングｔ（２－１）であるか否かを判定する。現在時刻が第２のタイミングｔ（２－１）である場合、ステップＳ６０２に戻る。一方、現在時刻が第２のタイミングｔ（２－１）ではない場合、ステップＳ６０８の処理を繰り返す。

このように本実施例において、制御手段は、第２の画像として、複数の異なる視点の画像を取得する。そして制御手段は、検出手段が第２の画像の不要成分を検出し、かつ、所定の時間よりも長い余裕時間がある場合、第２のタイミングを再設定して第２の画像を取得する（Ｓ６０５～Ｓ６０８）。

本実施例によれば、静止画撮影時に複数の視点画像撮影から作成した不要成分低減画像から不要成分が低減されたか否かを判定し、低減効果が低い場合には再撮影を行う。これにより、不要成分を低減または除去した静止画を取得することができる。

（その他の実施例）
本発明は、上述の実施例の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

各実施例によれば、撮影前に検出された不要成分の検出結果に基づいて撮影処理を行うことにより、不要成分を低減した画像を取得することが可能な制御装置、撮像装置、制御方法、および、プログラムを提供することができる。

以上、本発明の好ましい実施例について説明したが、本発明はこれらの実施例に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

２０４ａ 不要成分検出部（検出手段）
２１０ システムコントローラ（制御手段）

Claims (13)

1. 第１のタイミングで取得した第１の画像の不要成分を検出する検出手段と、
   前記検出手段による前記不要成分の検出結果に基づいて、前記第１のタイミングよりも後の第２のタイミングで第２の画像を取得するための撮影処理を行う制御手段と、を有し、
   前記制御手段は、
   前記検出手段が前記不要成分を検出した場合、前記第２の画像として、複数の異なる視点の画像を取得し、
   前記検出手段が前記不要成分を検出しない場合、前記第２の画像として、前記複数の異なる視点の画像の合成画像を取得することを特徴とする制御装置。
2. 前記検出手段は、前記第１の画像としての複数の異なる視点の画像に含まれる前記不要成分を検出することを特徴とする請求項１に記載の制御装置。
3. 前記制御手段は、前記第２のタイミングと、前記第１の画像の撮影時間と、前記不要成分の検出期間とに基づいて、前記第１のタイミングを算出することを特徴とする請求項１または２に記載の制御装置。
4. 前記制御手段は、
   撮像素子に関する瞳分割情報と撮像光学系に関する撮影条件情報とに基づいて前記不要成分の低減効果を判定し、
   前記不要成分の低減効果があると判定した場合、前記第２の画像として、複数の異なる視点の画像を取得し、
   前記不要成分の低減効果がないと判定した場合、前記第２の画像として、前記複数の異なる視点の画像の合成画像を取得することを特徴とする請求項１乃至３のいずれか１項に記載の制御装置。
5. 前記撮影条件情報に基づいて光源の方向を算出する光源方向算出手段を更に有し、
   前記制御手段は、前記光源の方向と前記瞳分割情報とに基づいて前記不要成分の低減効果を判定することを特徴とする請求項４に記載の制御装置。
6. 前記制御手段は、前記検出手段が前記第１のタイミングで取得を開始した前記第１の画像に前記不要成分がなくなったことを検出した場合、前記第２の画像として、複数の異なる視点の画像の合成画像を取得することを特徴とする請求項１乃至５のいずれか１項に記載の制御装置。
7. 前記制御手段は、所定の許容期間が経過した場合、前記第２の画像として、複数の異なる視点の画像を取得することを特徴とする請求項６に記載の制御装置。
8. 前記制御手段は、
   前記第１の画像の前記不要成分の相関演算を行い、
   前記相関演算の結果に基づいて前記不要成分の周期を取得し、
   前記不要成分の周期に基づいて前記第２のタイミングを設定することを特徴とする請求項６または７に記載の制御装置。
9. 前記制御手段は、
   前記第２の画像として、複数の異なる視点の画像を取得し、
   前記検出手段が前記第２の画像の不要成分を検出し、かつ、所定の時間よりも長い余裕時間がある場合、前記第２のタイミングを再設定して前記第２の画像を取得することを特徴とする請求項６乃至８のいずれか１項に記載の制御装置。
10. 撮像光学系を介して形成された光学像を光電変換する撮像素子と、
    第１のタイミングで前記撮像素子により取得した第１の画像の不要成分を検出する検出手段と、
    前記検出手段による前記不要成分の検出結果に基づいて、前記第１のタイミングよりも後の第２のタイミングで前記撮像素子により第２の画像を取得するための撮影処理を行う制御手段と、を有し、
    前記制御手段は、
    前記検出手段が前記不要成分を検出した場合、前記第２の画像として、複数の異なる視点の画像を取得し、
    前記検出手段が前記不要成分を検出しない場合、前記第２の画像として、前記複数の異なる視点の画像の合成画像を取得することを特徴とする撮像装置。
11. 前記撮像素子は、１つのマイクロレンズに対して複数の光電変換部を有し、該マイクロレンズが２次元状に配列されており、複数の異なる視点の画像を取得することを特徴とする請求項１０に記載の撮像装置。
12. 第１のタイミングで取得した第１の画像の不要成分を検出するステップと、
    前記不要成分の検出結果に基づいて、前記第１のタイミングよりも後の第２のタイミングで第２の画像を取得するための撮影処理を行うステップと、を有し、
    前記撮影処理を行うステップにおいて、
    前記検出するステップにおいて前記不要成分を検出した場合、前記第２の画像として、複数の異なる視点の画像を取得し、
    前記検出するステップにおいて前記不要成分を検出しない場合、前記第２の画像として、前記複数の異なる視点の画像の合成画像を取得することを特徴とする制御方法。
13. 第１のタイミングで取得した第１の画像の不要成分を検出するステップと、
    前記不要成分の検出結果に基づいて、前記第１のタイミングよりも後の第２のタイミングで第２の画像を取得するための撮影処理を行うステップと、を有し、
    前記撮影処理を行うステップにおいて、
    前記検出するステップにおいて前記不要成分を検出した場合、前記第２の画像として、複数の異なる視点の画像を取得し、
    前記検出するステップにおいて前記不要成分を検出しない場合、前記第２の画像として、前記複数の異なる視点の画像の合成画像を取得する制御方法をコンピュータに実行させることを特徴とするプログラム。

Images