JP6774279B2 - 撮像装置及びその制御方法、情報処理装置、及び情報処理方法 - Google Patents

Description

本発明は撮像装置及びその制御方法、情報処理装置、及び情報処理方法に関し、更に詳しくは、電子シャッタ機能とメカニカルシャッタ機能とを併用して撮像動作を行う撮像装置及びその制御方法、情報処理装置、及び情報処理方法に関する。

従来、電子シャッタを用いて撮像動作を行う撮像装置がある。そのような撮像装置において、例えば、ＣＭＯＳセンサを用いた撮像素子では、画素毎、或いは、複数画素からなる領域毎（例えば、各ライン毎）に、まず、画素の蓄積電荷量をゼロにするリセット走査を行う。その後、リセット走査を行った画素毎或いは領域毎に、それぞれ所定の時間を経過してから信号を読み出す走査を行う。

一方、一眼レフタイプのデジタルカメラには、メカニカルシャッタであるフォーカルプレンシャッタ（以下、「メカニカルシャッタ」と称す。）と電子シャッタとを併用して撮像動作を行うものがある。この種のシャッタ機構では、メカニカルシャッタにより後幕が構成され（以下、「メカ後幕」と呼ぶ。）、後幕の走行に先行して、撮像素子の画素の電荷をリセットする電荷蓄積開始走査を行う電子シャッタを駆動することにより撮影が行われる。以下、電子シャッタによる電荷蓄積開始走査を、メカニカルシャッタの先幕の代わりとして用いることから、「電子先幕」と呼ぶ。特許文献１では、上述の電子先幕、メカ後幕のシステムにおいて、ボケ像の欠けなどが発生しない条件で露光制御可能な撮像装置が開示されている。

一方で、オートフォーカス（ＡＦ）の分野では、ケラレなどの状況に応じた適切な視野方向の切り替えなどが提案されている。特許文献２では、ローリングシャッタ動作を行いながら撮像面からの信号を利用してＡＦを行う場合において、動体を検知した場合に縦視野と横視野の重みを切り替える装置が開示されている。

特開２０１０−４１５１０号公報 特開２０１０−２７１４９９号公報

しかしながら、特許文献１においては、ボケ像の欠けなどが発生しないという撮影条件の規制を受けるため、撮影者は自由に撮影条件を設定することができない。また、特許文献２においては、ローリングシャッタ動作時に適した動作形態を提示しているが、電子先幕とメカニカルシャッタの組み合わせによって発生する課題には対応できない。

本発明は上記問題点を鑑みてなされたものであり、メカニカルシャッタと電子シャッタを併用したシャッタ機構を用いて撮影を行う場合に、電子先幕を利用した撮影においても焦点検出を適切に行えるようにすることを目的とする。

上記目的を達成するために、本発明の撮像装置は、複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、前記撮像素子を遮光するための幕を有するシャッタ手段と、前記幕による前記撮像素子の遮光の開始に先だって、前記幕の走行方向に前記撮像素子の光電変換部を順次リセットするリセット手段と、前記リセットと前記幕の走行による前記撮像素子の露光制御に応じて生じる、各マイクロレンズに対応する前記複数の光電変換部におけるケラレの有無を判断する判断手段と、前記複数の光電変換部からそれぞれ出力された信号に基づいて、位相差方式により、予め決められた測距点の焦点検出を行う焦点検出手段と、を有し、前記焦点検出手段は、前記判断手段によりケラレが有ると判断された場合に、前記測距点を中心として、前記シャッタ手段の幕の走行方向に設定された第１の焦点検出領域と、前記走行方向と垂直な方向に設定された第２の焦点検出領域とのうち、前記第２の焦点検出領域に含まれる前記光電変換部から得られた信号を優先的に用いて、前記焦点検出を行う。

本発明によれば、メカニカルシャッタと電子シャッタを併用したシャッタ機構を用いて撮影を行う場合に、電子先幕を利用した撮影においても焦点検出を適切に行うことができる。

本発明の実施形態におけるカメラシステムの中央断面図およびブロック図。 本実施形態の撮像素子の構成、及び、画素と射出瞳領域との対応を説明する図。 ケラレの発生について説明する図。 ケラレの状態及びケラレのパラメータを説明する図。 第１の実施形態における撮影動作の流れを示すフローチャート。 第１の実施形態におけるＡＦ信号の生成方法を説明する図、及び測距点の配置を示す図。 変形例におけるカメラ本体と外部処理装置とからなるシステムの一例を示す図。 第２の実施形態における撮影動作の流れを示すフローチャート。

以下、添付図面を参照して本発明を実施するための形態を詳細に説明する。ただし、本形態において例示される構成部品の寸法、形状、それらの相対配置などは、本発明が適用される装置の構成や各種条件により適宜変更されるべきものであり、本発明がそれらの例示に限定されるものではない。

＜第１の実施形態＞
以下、図１から図６を参照して、本発明の第１の実施形態について説明する。図１（ａ）は、本発明の撮像装置としてのカメラシステムの中央断面図、図１（ｂ）はカメラシステムの電気的構成を示すブロック図である。

本実施形態のカメラシステムは、主に、カメラ本体１と、カメラ本体１に着脱可能なレンズユニット２とからなる。カメラ本体１とレンズユニット２は、電気接点１１を介して電気的に接続される。

レンズユニット２は、光軸４上に配された、フォーカスレンズ、振れ補正レンズ等を含む複数のレンズ及び絞りからなる撮影光学系３と、レンズシステム制御回路１２と、レンズ駆動部１３とを含む。

撮影光学系３を介して入射した被写体からの光は、撮像素子６の撮像面に結像される。撮像素子６の表面にはマイクロレンズが格子状に配置され、いわゆるマイクロレンズアレイ（ＭＬＡ）を形成している。ＭＬＡの機能や配置の詳細については図２を用いて後述する。また、後述するように、本実施形態では、撮像素子６から出力される画像信号からは、焦点評価量及び適切な露光量が得られるので、これらの値に基づいて撮影光学系３を調整する。これにより、適切な光量の物体光で撮像素子６を露光するとともに、撮像素子６近傍で被写体像が結像する。撮像素子６は、入射した光を光電変換し、光量に応じた電気信号（画像信号）を出力する。

ここで、撮像素子６の構成について図２を参照して説明する。図２（ａ）は撮像素子６とＭＬＡ２５との関係を模式的に示す図である。図２（ｂ）は撮像素子６の画素と、各マイクロレンズとの対応を示す模式図である。

図２（ａ）に示すように、撮像素子６上にはＭＬＡ２５が設けられており、ＭＬＡ２５の前側主点は、合焦時に撮影光学系３の結像面近傍になるように配置されている。図２（ａ）はカメラ本体１の横及び正面から、ＭＬＡ２５を見た状態を示しており、カメラ本体１の正面から見ると、ＭＬＡ２５のレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡ２５を構成する各マイクロレンズを分かりやすく示すために大きく記載したが、実際には各マイクロレンズの径は画素の数倍程度の大きさしかない。

図２（ｂ）は、図２（ａ）のカメラ本体１の正面から見た図を、一部拡大した図である。図２（ｂ）に示す格子状の各枠は、撮像素子６の各画素を示している。一方、ＭＬＡ２５を構成する各マイクロレンズ２０は太い円で示している。図２（ｂ）から明らかなように、各マイクロレンズ２０に対して複数の画素が割り当てられており、図２（ｂ）の例では、５行×５列＝２５個の画素が１つのマイクロレンズ２０に対して設けられている。すなわち、各マイクロレンズ２０の大きさは、画素の大きさの縦横５倍である。以下、各マイクロレンズ２０と、２５個の画素をまとめて画素ユニットと呼ぶ。

なお、各画素ユニットにおける画素の数は、５行×５列に限るものではなく、視差を有するように縦方向及び横方向に分割することが可能であればよい。また、図２（ｂ）に示すような画素ユニットが全面に配置されていなくても良く、各マイクロレンズ２０に対して１つの画素を有する撮像用の画素ユニットの間に、所定の比率で配置されているような構成であっても良い。

図２（ｃ）は、ＭＬＡ２５によって、各マイクロレンズ２０下に設けられた画素が、射出瞳の特定の部分瞳領域と対応づけられることを示す図である。図２（ｃ）の下部分は、撮像素子６を、マイクロレンズ２０の光軸を含み、撮像素子６の長手方向が図の横方向になるように切断した図である。図２（ｃ）では、図２（ｂ）に示す各マイクロレンズ２０に対応する２５個の画素のうち、中央行の画素２０−ａ，２０−ｂ，２０−ｃ，２０−ｄ，２０−ｅ（光電変換部）を示している。一方、図２（ｃ）の上部分は、撮影光学系３の射出瞳３０面を示している。図２（ｃ）の下部分に示した撮像素子６と方向を合わせると、本来、射出瞳３０面は図２（ｃ）の紙面に対して垂直方向になるが、説明のために投影方向を変化させている。また、図２（ｃ）においては説明を簡単にするために、１次元の投影及び信号処理について説明するが、実際には、これを２次元に拡張したものになる。

図２（ｃ）の画素２０−ａ，２０−ｂ，２０−ｃ，２０−ｄ，２０−ｅは図２（ｂ）の画素２０−ａ，２０−ｂ，２０−ｃ，２０−ｄ，２０−ｅとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、ＭＬＡ２５によって各画素は合焦時に撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２０−ａと部分瞳領域３０−ａが、画素２０−ｂと部分瞳領域３０−ｂが、画素２０−ｃと部分瞳領域３０−ｃが、画素２０−ｄと部分瞳領域３０−ｄが、画素２０−ｅと部分瞳領域３０−ｅがそれぞれ対応している。すなわち、画素２０−ａには撮影光学系３の射出瞳３０面上の部分瞳領域３０−ａを通過した光束が入射する。他の画素も同様に、対応する部分瞳領域を通過した光束が入射する。結果として、射出瞳３０面上での通過領域と撮像素子６上の位置関係から、角度の情報を取得することが可能となる。

各画素ユニットを構成する２５個の画素のうち、部分瞳領域３０−ａを通過した光束を捉えている画素２０−ａの画像信号のみを集めた画像と、他の部分瞳領域を通過した光束を捉えている画素の画像信号のみを集めた画像とは、互いに視点の異なる像となる。すなわち、各画素ユニットの画素２０−ａからの画像信号のみを集めた画像は瞳領域３０−ａから見たような画像となっており、画素２０−ｅからの画像信号のみを集めた画像は瞳領域３０−ｅから見た画像となっている。

従って、一度の露光を行い、信号を適切に並べ変えることで、同じタイミングで露光された視点の異なる複数の像を得ることができる。なお、撮像素子６の信号を利用したＡＦにおいては、このような視点の異なる複数の像を用いて相関演算することで、いわゆるＡＦ動作を実現している。また、撮影動作に先だってＡＦ動作を行うのが通常のＡＦであるが、本実施形態のカメラシステムでは瞳領域を複数の方向に分割して光束を取得することが可能なので、撮影後にＡＦ動作を行う、いわゆるリフォーカス処理を行うことも可能である。

図１に戻り、画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス調整回路、ガンマ補正回路、補間演算回路、色補間処理回路等を有し、所定の画素補間処理や色変換処理を行って、記録用の画像データ及び表示用の画像データを生成する。色補間処理回路は、ベイヤ配列の信号から色補間（デモザイキング）処理を施してカラー画像を生成する。更に、画像処理部７は、撮像素子６からの信号に基づいて、合焦位置及び適切な絞り値を求める。また、画像処理部７は、撮像素子６から出力された画像信号の並べ替えを行い、視点の異なる複数の像を生成する機能を有する。更に、生成した視点の異なる複数の像から被写体の距離を算出する機能、セグメントに分割する機能、質感情報を取得する機能を有している。

メモリ部８は、実際の記憶部に加えて記録に必要な処理回路を備えており、処理回路により記録用に処理した画像信号を不図示の記録部へ出力を行うとともに、表示部９に出力する像を生成して、記憶部に保存する。また、メモリ部８は、予め定められた方法を用いて、画像、動画、音声などの圧縮を行う。

カメラシステム制御回路５は、外部操作に応動して、撮像の際のタイミング信号などを生成して出力し、撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズ釦の押下を操作検出部１０が検出すると、カメラシステム制御回路５は、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。更に、表示部９によって液晶モニタ等に情報表示を行う情報表示装置の各セグメントの状態を制御する。また、表示部９はタッチパネルになっており、操作検出部１０に接続されている。

また、カメラシステム制御回路５は、画像処理部７により求められた合焦位置及び絞り値に基づいて、電気接点１１を介してレンズシステム制御回路１２に指令を出す。レンズシステム制御回路１２は、この指令に基づいてレンズ駆動部１３を制御することにより、撮影光学系３に含まれるフォーカスレンズや絞りを駆動する。また、レンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されていても良く、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号に基づいて、レンズ駆動部１３を介して振れ補正レンズを制御する。

また、カメラ本体１はシャッタ機構１４を備えており、カメラシステム制御回路５からの指令により露光制御することが可能である。なお、本実施形態におけるシャッタ機構１４は、先幕及び後幕を備えていても、後幕のみを備えていても良く、カメラシステム制御回路５からの指令により、撮像素子６のリセット走査による電子先幕と後幕のみ（メカ後幕）を利用した露光が可能である。

次に、上記構成を有するカメラシステムにおいて、電子先幕とメカ後幕により露光制御する場合に発生するケラレについて説明する。

図３は、図３（ａ）から図３（ｄ）の順に、時間が経過したときの電子先幕及びメカ後幕の状態とその時の光線の状態を示している。図３（ａ）から図３（ｄ）において、４５は光源、４６は光源４５の結像位置、４７で示した領域は露光に寄与する光束、４７ａ及び４７ｂで示した線は光束の光軸から遠い側の端と近い側の端、４８及び４９の太線はそれぞれ電子先幕とメカ後幕を示している。また、３０は、図２（ｂ）に示すような撮影光学系３の射出瞳である。なお、電子先幕はリセット位置で定義されるので本来は線（図３の方向から見ると紙面垂直方向に延びる線なので図上では点）となるが、説明を分かりやすくするためにリセット待ち受けの画素も覆っているように図示している。また、図３（ａ）から図３（ｄ）において、シャッタは図の下から上に走行しているものとする。

シャッタ速度が速い場合には、電子先幕とメカ後幕はいわゆるスリット露光を行う。ここでいうスリット露光とは、正面から見て、電子先幕とメカ後幕が一定の間隔を保って移動しながら露光を行うことである。この一定の間隔をスリット幅Ｓとして図示している。スリット幅Ｓは一定の間隔を保っているため、射出瞳が十分遠方にあるテレセントリック光学系などでは、後述するような弊害は非常に小さい。一方で射出瞳が近くにある場合は、ここで説明する影響は大きくなる。

図３では、点光源４５の像は撮像素子６上にピントを結んでおらず、点４６に結像している例を示している。その後、光線が広がった状態で撮像素子６上に光束が届いている。図３（ａ）は、ある時点において点光源４５からの光束によって露光される様子を示している。電子先幕４８によって順次リセットされて蓄積が開始され、次にメカ後幕４９が光束を遮るまで露光が継続される。図３（ａ）に示す時点においてリセットされた画素に着目すると、露光に寄与する光束４７の光線４７ｂを受光し始める。この光線４７ｂがメカ後幕４９によって遮光されるまでの間隔、すなわちメカ後幕４９が光線４７ｂを遮断してしまうまでの幅を、露光に寄与する幅Ｒとして図示した。図３（ａ）の例から分かるように、スリット幅よりも広い幅で設定され、目論見よりも長い時間露光されることが分かる。

次に、少し時間が経過した図３（ｂ）について考える。この時、スリット幅Ｓは図３（ａ）と同じ幅である。図３（ｂ）に示す時点においてリセットされた画素に着目すると、露光に寄与する光束４７の最も光軸寄りの光束を受光し始める。この光束がメカ後幕によって遮光されるまでの間隔である露光に寄与する幅Ｒは、図３（ｂ）の例からわかるように、スリット幅Ｓよりも狭い幅となり、目論見よりも短い時間露光されることが分かる。つまり図３（ａ）よりも暗い。

さらに少し時間が経過した図３（ｃ）について考える。この時、スリット幅Ｓは図３（ａ）と同じ幅である。図３（ｃ）に示す時間においてリセットされた画素に着目すると、電子先幕によってリセットされると同時にメカ後幕で遮光されてしまうことが分かる。つまり図３（ｃ）の位置からは露光がなされない。

さらに少し時間が経過した図３（ｄ）について考える。この時、スリット幅Ｓは図３（ａ）と同じ幅である。図３（ｄ）に示す時間においてリセットされた画素に着目すると、メカ後幕が電子先幕を追い越しており、スリット幅Ｓに対応する撮像素子６の部分では露光がなされないことが分かる。

図３（ａ）から図３（ｄ）から分かるように、撮影条件によってケラレが発生する。また、露光に寄与した光束４７やケラレの状態を見ると、瞳面上での通過領域によってケラレ状態が異なっていることが分かる。本実施形態はこのことに着目して、ケラレの発生に応じて、瞳面上での通過領域という情報を活用している。

図４（ａ），（ｂ），（ｃ）は、代表的な焦点状態と、像面位置でのケラレの発生原理と、その時に発生するケラレ状態を説明する図である。図４（ｄ）はケラレを支配するパラメータの説明図である。なお、図３（ａ）から図３（ｄ）ではシャッタの走行を時間の経過とともに複数の図で説明したが、図４では１つの焦点状態を示す図と、シャッタ走行曲線とを組み合わせて説明する。

図４において、５３は電子シャッタが走行する撮像素子面、５４はメカシャッタが走行するメカシャッタ面を示しており、点光源４５からの光束が撮影光学系３により撮像素子面５３へと導かれている。図４（ａ）に示す時点において、合焦点Ｆはメカシャッタ面５４よりレンズ側にあり、点光源４５からの光束はメカシャッタ面５４、撮像素子面５３それぞれにおいて、ボケ像を形成している。

ここで、電子先幕４８が撮像素子面５３の下側より走行を開始し、撮像素子面５３上に形成されるボケ像の下端５７を通過した時に下端で露光が開始され、続いてボケ像の上端５８を通過した時にボケ像の全域で露光が開始している状態になる。同様に、露光の終了はメカ後幕４９がメカシャッタ面５４の下側から走行し、メカシャッタ面５４上に形成されるボケ像の下端５９を通過した時に下端で露光が終了され、続いてボケ像の上端６０を通過した時にボケ像の全域で露光が終了した状態になる。

ここで電子先幕４８とメカ後幕４９の時間関係を、横軸に時間、縦軸にシャッタ走行方向位置をとったグラフに示す。６１は電子先幕４８の走行の時間毎の位置を、６２はメカ後幕４９の走行の時間毎の位置を示している。

まず、露光の開始タイミングを考える。撮像素子面５３上でのボケ像の下端５７から同じシャッタ走行方向位置において紙面右方向に外挿し、電子先幕４８の走行位置６１と交差する時点６３が下端での露光開始時点となる。同様に撮像素子面５３上でのボケ像の上端５８から紙面右方向に外挿し、電子先幕４８の走行位置６１と交差する時点６４が上端の露光開始時点となる。つまり、６３から６４を繋いだ線分６３−６４が、順次下から上へとボケ像の露光が開始されていくタイミングを示している。

次に、露光の終了タイミングを考える。メカシャッタ面５４上でのボケ像の下端５９から同じシャッタ走行方向位置において紙面右方向に外挿し、メカ後幕４９の走行位置６２と交差する点６５が下端での露光終了時点となる。同様にメカシャッタ面５４上でのボケ像の上端６０から紙面右方向に外挿し、メカ後幕４９の走行位置６２と交差する点６６が上端の露光終了時点となる。ここで、露光終了のシャッタ走行方向位置はメカシャッタ面５４上でのボケ像を参照しており、撮像素子面５３上で受光されるボケ像とはシャッタ走行方向の位置が異なっている。そこで、６５および６６を同じ時間上で紙面上下方向に外挿し、撮像素子面５３上での下端、上端とそれぞれ交差する６７、６８を考える。この６７から６８を繋いだ線分６７−６８が、順次下から上へとボケ像の露光が終了されていくタイミングを示している。

以上のように求めた露光開始タイミングを示す線分６３−６４と、露光終了タイミングを示す線分６７−６８を用いることとで、ボケ像のシャッタ走行方向位置毎の露光時間を考えることができる。

まず、ボケ像の下端５７での露光時間を考えると、時点６３から時点６７までが露光時間となる。次に、ボケ像の上端５８での露光時間を考えると、露光開始の時点６４よりも露光終了の時点６８の方が早い時点であることがわかる。露光時間は負の値をとり得ないので、ボケ像の上端５８においては露光されないと言うことになる。このようにして、ボケ像の全域において露光時間を考えることができる。グラフからわかるように、露光開始タイミングを示す線分６３−６４と、露光終了タイミングを示す線分６７−６８は、点６９において交差している。つまり、ボケ像の露光時間は下端５７において最大となり、シャッタ走行方向位置が上になるに従い徐々に減少し、点６９より上の領域においては全く無くなることがわかる。７０は、この場合に受光されるべきボケ像を示している。しかしながら、領域７１においては、シャッタ走行方向位置が上になるに従い受光量が少なくなり、領域７２においては受光が全くされない欠けとなる。このようなメカニズムで、ボケ像のムラおよび欠けが発生する。

また、図４（ｂ）は図４（ａ）と合焦点が異なる状態を示している。図４（ｂ）において、合焦点Ｆは、撮像素子面５３よりも後方に位置している。この焦点状態において、図４（ａ）と同様の手順で算出すると、ボケ像は７０ｂのようになる。ボケ像７０ｂにおいて、領域７１ｂにおいてはシャッタ走行方向位置が上になるに従い受光量が多くなり、領域７２ｂにおいては受光が全くされない欠けとなる。図４（ａ）とは欠けの発生する領域が異なり、上側から下側になっている。

図４（ｃ）は撮像素子６の光軸より下の領域にて、ボケ像を受光する場合を示している。合焦点Ｆは図４（ａ）と同様に、メカシャッタ面５４よりもレンズ側にある。図４（ａ）と同様の手順で算出すると、ボケ像は７０ｃのようになる。ボケ像７０ｃでは、領域７１ｃにおいてはシャッタ走行方向位置が上になるに従い、受光量が少なくなっている。図４（ｃ）においては、ボケ像に欠けは発生していない。このように撮像素子６の下側領域においては、ボケ像の欠けは発生しにくい状態にある。

また、図４（ａ）と図４（ｂ）との比較において、合焦点Ｆがメカシャッタ面５４よりレンズ側にあるか、撮像素子面５３より背面側にあるかによってシャッタ走行方向の受光量の増減関係が逆転していた。撮像面の下側領域においても、合焦点Ｆがメカシャッタ面よりレンズ側にあるか、撮像素子面５３より背面側にあるかにより、シャッタ走行方向の受光量の増減関係は逆転する。

以上、代表的なボケ像の発生状態を場合分けして、ボケ像の露光ムラと欠けについて説明した。図４（ａ）と図４（ｂ）との比較においては合焦点Ｆがメカシャッタ面５４よりレンズ側にあるか、撮像素子面５３より背面側にあるかによってシャッタ走行方向の受光量の増減関係が逆転したが、これはＡＦにおいては重要な特性である。つまり、ＡＦ動作を行う時は合焦状態が不明であるため、事前にケラレやや露光ムラが図４（ａ）の状態にあるのか図４（ｂ）の状態にあるのかを知ることができない。すなわちケラレや露光ムラを補正することが非常に難しい。そのため本実施形態においては、ケラレが発生する条件に陥った場合に重みを変更することで、ケラレの影響を受けにくい方向でＡＦ動作を行う。

次に図４（ｄ）を参照して、ケラレを支配するパラメータについて説明する。上述した説明において、射出瞳３０を通過した光束の上線と下線を用いてケラレの影響を説明したように、ケラレの影響を求めるには、まず、瞳径８１が必要となる。この瞳径８１を求めるためには、撮影光学系３の光学情報として、射出瞳距離８２と、射出瞳距離８２と瞳径８１との比率である絞り値８３が必要となる。

次に、撮像素子面５３における、シャッタ走行方向のボケ像の像高８４が必要である。なお、ここでいうシャッタ走行方向の像高とは、通常の像高である光軸からの距離ではなく、シャッタ走行方向の位置を指すものとし、本実施形態においては、撮像素子６のｙ座標に対応する。撮像素子面５３でのボケ像を求めるため、像高８４でのデフォーカス情報８５が必要である。ただしデフォーカス量情報は事前に知り得ないので、撮影光学系３の最大デフォーカス量を用いたり、事前の（ライブビュー時などの）焦点情報を参照して、想定される最大デフォーカス量を用いるなどする。

また、メカシャッタ面５４でのボケ像を求めるため、撮像素子面５３とメカシャッタ面５４の光軸上の距離８６が必要である。これは、電子先幕４８と、メカ後幕４９との光軸上の距離と言うこともできる。そして、電子先幕４８とメカ後幕４９のシャッタ走行方向の距離間隔であるシャッタスリット幅８７が必要である。このシャッタスリット幅８７は、操作者が設定可能な撮影パラメータである、シャッタ速度に応じて決まる。そのため、シャッタスピードをパラメータと考えてもよい。

これらのパラメータのうち、シャッタスピード、絞り値は撮影条件によって定まるので、事前に求めることが難しい。そのためレリーズ操作に応じてケラレの判断を行えばよい。別の方法としては、ケラレが発生するか否かをパラメータに対応させてテーブルに設定しておき、テーブルを参照しても良い。

そして、パラメータ８１〜８７から、演算やテーブル参照を行ってケラレが発生するか否かの判断を行う。

また、判断時に厳密にボケ像の算出とケラレの判断するためには、パラメータ８１〜８７が全て必要となるが、より簡易にボケ像を算出してもよい。実際の撮影で起こりやすい状況、例えば、多くのピントの外れた被写体のピント位置はメカシャッタ面５４より手前にある、などと想定し、パラメータを固定して使うことで簡易なボケ像の算出が可能となる。さらに簡易な方法としては、シャッタ速度が規定値よりも早い場合はケラレが発生するなどとしてもよい。このようにパラメータ８１〜８７のうちの一部を利用して判断しても良い。

また、シャッタ方向の像高８４の位置によってケラレの状態が変わるので、像高８４の位置に応じて重みを切り替えても良い。すなわち、後述する図６（ｂ）に示すようにｙ方向にも複数の測距点を持つ場合に、ｙ座標によって縦目・横目の重みが均等な測距点と、横目を優先する測距点混在しても良い。

ＡＦに用いる焦点検出領域について、図６（ｂ）を用いて説明する。図６（ｂ）において、４１は撮像素子６の撮影領域に対応する枠、４２は測距点、４３は、測距点４２を中心として横方向に設定された視野枠（いわゆる横目）、４４は測距点４２を中心として縦方向に設定された視野枠（いわゆる縦目）である。本実施形態の撮像素子６は全面にＭＬＡ２５を備え、各マイクロレンズが複数の画素に対応しているので、撮像素子６のすべての領域で、射出瞳面上での通過領域を制限した光束を得ることができる。これは撮像素子６全面で焦点検出が可能であること、すなわち、測距点の設定に制約がないことを示している。

図６（ｂ）に示す例では図が煩雑にならないように、撮像素子６の撮影領域に対応する枠４１内に１５点の測距点４２を配置している。またそれぞれの測距点４２は横方向に伸びた長方形と、縦方向に伸びた長方形が重なって図示されており、いわゆるクロス測距点となっている。ＡＦの演算においては、視野枠内の信号を参照して相関演算を行う。なお、ＡＦ信号の抜き出し方については図６（ａ）を用いて後述する。複数の視野でそれぞれＡＦの演算を行った後に、２像の一致度などにより測距点の選択がなされる。

次に、図５を参照して、上記構成を有するカメラシステムにおける第１の実施形態の撮影処理について説明する。まず、撮影が開始されるとＳ１１０に進み、撮影条件の読み出しを行う。上述したように、本実施形態で対象としているケラレはいくつかのパラメータによって決まり、その中に撮影条件（シャッタ秒時や絞り）が含まれる。これは、撮影に先駆けた不図示の測光動作などにより決定され、この値を読み取る。

Ｓ１３０では、後述するＳ１９０でメモリ部８に記録される記録画像の取得を行う。撮影条件に従って、撮像素子６の電子先幕、シャッタ機構１４のメカ後幕の動作などを行い、撮像素子６を露光する。さらに撮像素子６から信号を電気的に読み出すことで画像の取得を行う。

Ｓ１４０では、上述したようにしてケラレの有無の判断を行い、ケラレが無い場合はＳ１５０に進み、ケラレが有る場合はＳ１６０に進む。

Ｓ１５０では、図６（ｂ）に示す縦目の視野枠４４と、横目の視野枠４３とで重みを均等に設定する。多点の位相差ＡＦにおいては２像の一致度などにより測距点選択がなされる技術が開示されているが、その時に方向による差はつけない。

一方、ケラレがある場合、Ｓ１６０においてケラレによる信号差が生じない方向を優先する。具体的には、本実施形態で示した電子先幕及びメカ後幕は、縦方向（図２のＹ方向）に走行するので、上述したようにこの方向の座標と瞳通過領域に応じてケラレによる信号差が発生する。そのため、本実施形態では横目を優先する。ここでいう優先とは、測距点が選ばれる重みを変更することに対応し、重みをゼロにすることで禁止することもできる。この動作により、図６（ｂ）の横目の視野枠４３が優先的に選択されるようになる。

Ｓ１７０では、リフォーカス演算を行う。図２で説明したように、本実施形態のカメラシステムは瞳領域を複数に分割して光線を取得している。この信号を利用して撮影後にＡＦすることができる。例えば位相差ＡＦの原理に基づいて、異なる瞳領域を通過した光束からなる像を生成し、その像を基線長方向（通過した瞳の重心間の方向）に像をずらしながらマッチングを行うことで、デフォーカス量を計算することができる。さらにＳ１５０およびＳ１６０の設定に従って測距点の選択を行い、デフォーカス量を決定する。

Ｓ１８０では、Ｓ１７０で求めたデフォーカス量に応じて、いわゆるリフォーカスと現像を行うことにより像を生成する。いわゆる本発明の画像合成手段の動作である。瞳面上での通過領域を制限した光束を得ることが可能な撮像装置において、像の再構成によりリフォーカスを行う技術については公知のため、ここでは詳述しない。

Ｓ１９０では、Ｓ１８０で生成した像を記録・再生し、動作を終了する。

図５に示したシーケンスに従って撮影を行うことで、露光の瞬間に焦点が若干ずれてしまった被写体に対して、リフォーカス（像の再構成と現像）によって焦点が補正された画像を記録・再生することができ高品位な画像を得ることができる。また、適当に測距点選択がなされるために、焦点を合わせるべき対象を誤る可能性を低くすることができる。

また図５では撮像から記録までの説明を行ったが、アプリケーションによってはリフォーカスを行う必要がない場合も考えられる。例えば、画像はそのまま（ＲＡＷで）記録し、デプスマップまたはデフォーカスマップを記録するような場合である。そのような場合には、図５のＳ１７０までを行ったのち、Ｓ１８０を省略して、デプスマップまたはデフォーカスマップを記録しても良い。

次に、図６（ａ）を用いて、ＡＦに用いる信号の生成方法と、ケラレの影響について説明する。図６（ａ）は図２（ｂ）と同じ方向から見た図であって、撮像素子６の一部分を抜き出した図である。実際には、ＡＦに用いる信号は図６（ｂ）に示した焦点検出枠の大きさに対応して抜き出すが、説明を簡単にするためにマイクロレンズ４ｘ４個分について説明を行う。

図６（ａ）において、９０，９１，９２，９３，９４は、各マイクロレンズ２０に対して相対的に縦方向に位置の異なる画素行を示している。また、９５，９６，９７，９８，９９は、各マイクロレンズ２０に対して相対的に横方向に位置の異なる画素列を示している。なお、１００は説明のための着目画素を示しており、画素行９４、画素列９７の位置にある。

図６（ａ）では、各マイクロレンズ２０に対して相対的に互いに異なる行の画素を、異なるハッチングで示した。これは図４で説明したように電子先幕及びメカ後幕の走行方向にケラレが発生し、瞳面上での通過領域によって光量が異なることを模式的に示している。また、図４で示したように電子先幕及びメカ後幕の走行方向に対する受光量の多寡は焦点状態などにより異なるので、ハッチングは受光量が異なることのみを示しており、濃淡は受光量の多寡に対応したものではない。

ＡＦを行う場合、射出瞳面上での通過領域が異なる光束を受光する画素群からの信号により構成される画像間の相関演算を行えば良い。ここでは、図６において縦方向に射出瞳面上の光束の通過領域が異なる画素群の行として、画素行９０と９４を考え、横方向に瞳面上での通過領域が異なる画素群の列として画素列９５と９９を考える。

まず縦目について説明する。一例として、図６の左から２列目の各マイクロレンズ２０について、画素行９０の画素からの信号を抜き出して加算したものを集めてＡ像とし、画素行９４の画素からの信号を抜き出して加算したものを集めてＢ像とする。このＡ像とＢ像に対して相関演算を行うことで、縦目のＡＦが行われる。この時、図６に示したようにＡ像とＢ像ではケラレの状態が大きく異なり、明るさが異なっている場合がある。

次に横目について説明する。一例として、図６の上から３行目の各マイクロレンズ２０について、画素列９５の画素からの信号を抜き出して加算したものを集めてＡ像とし、画素群列９９の画素からの信号を抜き出して加算したものを集めてＢ像とする。このＡ像とＢ像に対して相関演算を行うことで横目のＡＦが行われる。この時、図６に示したようにＡ像とＢ像ではケラレの状態はほぼ同じであり、明るさは揃っている。その為、画素列９５、９９から得られたＡ像とＢ像を用いて、公知の位相差方式により焦点状態を検出すると都合が良い。

上記のように、対象としているメカニカルシャッタと電子シャッタを併用したシャッタ機構でのケラレの影響を受けやすく、また、ＡＦの演算においては、瞳面上での通過領域が異なる画素群の信号を参照するので、上述した手法を用いる効果は大きい。

上記の通り第１の実施形態によれば、メカニカルシャッタと電子シャッタを併用したシャッタ機構を有する撮像装置において、電子先幕を利用した撮影においても焦点検出が適切に行い、高品位な、合焦した画像を提供することができる。

＜変形例＞
上述した第１の実施形態では、カメラ本体１内ですべての処理を行う場合について説明したが、撮影画像とその時の設定を記録しておき、後程、別の情報処理機器で処理を施しても良い。図７はこれを概念的に示した図である。カメラ本体１と情報処理機器２００は、ケーブル２０１を介した通信や不図示の公知のワイヤレス通信を行う。そして、瞳領域を複数の方向に分割して光束を取得可能な撮像装置の画像及び、画像が取得された時の射出瞳距離、撮像素子とシャッタ機構の光軸上の距離、シャッタ秒時、絞り値の少なくともいずれか１つの情報を、情報処理機器２００に通信する。情報処理機器２００は、受信した情報を入力して情報処理機器２００内の不図示のメモリ部に記録し、その後、第１の実施形態で説明した動作を行うことで、第１の実施形態と同様の効果を得ることができる。

＜第２の実施形態＞
次に、本発明の第２の実施形態について説明する。第２の実施形態は、動作のシーケンス及び処理が第１の実施形態と異なる。なお、第２の実施形態におけるカメラシステムの構成は第１の実施形態と同様であるので、ここでは説明を割愛する。従って、以下、第１の実施形態との相違点について説明する。

図８は、第２の実施形態における撮影処理を示すフローチャートである。図８のフローチャートにおいて、第１の実施形態と同じ処理には図５と同じステップ番号を付している。

動作を開始すると、Ｓ３１０において、ユーザーの指示によってライブビュー（ＬＶ）動作が開始されたか否かを判断する。第２の実施形態では撮影に先立って、画像の取得とＡＦ動作を行うことを想定している。ライブビューを開始した場合はＳ３２０に進み、そうでない場合はＳ３１０に戻って待機する。

Ｓ３２０では、ライブビュー用の画像を取得する。ここで、ライブビュー中の画像取得は、電子先幕（リセット）と電子後幕（読み出し）による電子的なシャッタにより、電荷蓄積時間を制御する。Ｓ３３０では、取得した画像に更新して表示部９に提示する。なお、Ｓ３２０からＳ３７０までを一定周期で繰り返すことにより、表示部９にライブビュー画像が提示される。

Ｓ３４０では、Ｓ３２０で取得した画像の情報を基に、第１の実施形態で説明したＡＦ演算を施し、画面内のいくつかの位置での焦点状態を検出する。そして、検出した情報をバッファする。Ｓ３５０では、Ｓ３４０で検出した焦点状態に基づいて必要に応じてフォーカスレンズを駆動し、主被写体に合焦した状態を維持する。

Ｓ３６０では、ユーザーの指示によってライブビューを終了するか否かを判断する。終了する場合にはＳ３１０に戻り、継続される場合にはＳ３７０に進む。

Ｓ３７０では、ユーザーの指示によって記録画像取得を行うトリガーを監視し、記録画像の取得を行うかどうか判断する。記録画像の取得を行う場合はＳ１１０に進み、そうでない場合はＳ３２０に進戻ってライブビューを継続する。なお、記録画像はＳ１９０でメモリ部８で記録されるのに対し、ライブビュー画像は撮影画角の確認などのために取得している画像であるため、ライブビュー画像は記録されない。

Ｓ１１０以降の処理は、Ｓ１４０からＳ４００の処理を除いて、第１の実施形態と同一なので、その他の処理の説明は割愛する。

Ｓ１４０でケラレの有無の判断を行い、ケラレが無い場合はＳ１７０に進み、ケラレがある場合はＳ４００に進む。Ｓ４００において、ケラレの補正を行う。第２の本実施形態では、Ｓ１３０での画像の取得に先だって、ライブビュー中にＳ３４０でＡＦ動作がなされている。Ｓ３４０とＳ１３０の時間的な隔たりが十分に小さい場合には、Ｓ１３０での画像取得はＳ３４０とほぼ同じピントの状態で取得されたと考えることができる。そのため、Ｓ１１０で取得した撮影条件と、Ｓ３４０で取得した焦点状態に関する情報を活用して、ケラレを補正することができる。

第１の実施形態の図４を用いて説明したように、ケラレを支配するパラメータにデフォーカス情報８５があるが、これを事前に行ったＡＦの結果を用いて代用する。このようにすることでボケ状態が推定できるので、ケラレの影響を決定することができる。すなわち、瞳面上での通過領域によらず光量が一定になるようにゲイン補正をする。図４の例であれば、各マイクロレンズ２０に対して相対的に縦方向（電子先幕及びメカ後幕の走行方向）に位置の異なる画素行９０，９１，９２，９３，９４の画素からの信号に異なる係数を掛け算して、結果として光量が一定になるようにする。

そして、図８に示したシーケンスに従って撮影を行うことで、露光時に焦点が若干ずれてしまった被写体に対して、リフォーカスによって焦点状態が補正された画像が記録・再生されることになり、高品位な画像が得られる。また、適当にゲイン調整されることから、ＡＦの信頼性が向上し、合焦すべき対象を誤る可能性を低くすることができる。

上記の通り第２の実施形態によれば、メカニカルシャッタと電子シャッタを併用したシャッタ機構を有する撮像装置において、電子先幕を利用した撮影においても焦点検出を適切に行い、高品位な、合焦した画像を提供することができる。

＜他の実施形態＞
また、本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１：カメラ本体、２：レンズユニット、５：カメラシステム制御回路、６：撮像素子、６：画像処理部、２０：マイクロレンズ、２０−ａ〜２０−ｅ：画素、１４：シャッタ機構、２００：情報処理装置

Claims (11)

1. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、
   前記撮像素子を遮光するための幕を有するシャッタ手段と、
   前記幕による前記撮像素子の遮光の開始に先だって、前記幕の走行方向に前記撮像素子の光電変換部を順次リセットするリセット手段と、
   前記リセットと前記幕の走行による前記撮像素子の露光制御に応じて生じる、各マイクロレンズに対応する前記複数の光電変換部におけるケラレの有無を判断する判断手段と、
   前記複数の光電変換部からそれぞれ出力された信号に基づいて、位相差方式により、予め決められた測距点の焦点検出を行う焦点検出手段と、を有し、
   前記焦点検出手段は、前記判断手段によりケラレが有ると判断された場合に、前記測距点を中心として、前記シャッタ手段の幕の走行方向に設定された第１の焦点検出領域と、前記走行方向と垂直な方向に設定された第２の焦点検出領域とのうち、前記第２の焦点検出領域に含まれる前記光電変換部から得られた信号を優先的に用いて、前記焦点検出を行うことを特徴とする撮像装置。
2. 前記リセットと前記幕の走行による前記撮像素子の露光制御に先立って、前記シャッタ手段を用いずに、前記リセット手段によりリセットしてから、予め決められた露光時間、経過した後に前記複数の光電変換部からそれぞれ信号を読み出すように制御する制御手段と、
   前記リセットと前記幕の走行により前記撮像素子を露光制御して前記複数の光電変換部からそれぞれ出力された信号におけるケラレの影響を補正する補正手段と、を更に有し、
   前記補正手段は、前記判断手段によりケラレが有ると判断された場合に、前記制御手段の制御により前記複数の光電変換部からそれぞれ読み出された信号と、前記ケラレの有無の判断に用いた条件とに基づいて前記補正を行い、前記焦点検出手段は、該補正された信号を用いて前記焦点検出を行うことを特徴とすることを特徴とする請求項１に記載の撮像装置。
3. 前記判断手段は、前記幕の走行方向の被写体の像高、前記撮像素子と前記シャッタ手段の光軸上の距離、シャッタ秒時、絞り値の少なくともいずれか１つを含む情報に基づいて、予め決められた演算、または、予め定められたテーブルに従って、ケラレの有無を判断することを特徴とする請求項１または２に記載の撮像装置。
4. 前記焦点検出手段により検出された前記測距点の焦点状態に基づいて、前記複数の光電変換部からそれぞれ出力された信号を処理して、合焦した画像を生成するリフォーカス手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
5. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、前記撮像素子を遮光するための幕を有するシャッタ手段と、前記幕による前記撮像素子の遮光の開始に先だって、前記幕の走行方向に前記撮像素子の光電変換部を順次リセットするリセット手段とを有する撮像装置から、前記複数の光電変換部からそれぞれ出力された画像信号と、該画像信号を取得した時の射出瞳距離、前記撮像素子と前記シャッタ手段の光軸上の距離、シャッタ秒時、及び絞り値の少なくともいずれか１つを含む情報とを入力する入力手段と、
   前記情報に基づいて、前記リセットと前記幕の走行による前記撮像素子の露光制御に応じて生じる、各マイクロレンズに対応する前記複数の光電変換部から出力された信号におけるケラレの有無を判断する判断手段と、
   前記複数の光電変換部から出力された信号に基づいて、位相差方式により、予め決められた測距点の焦点検出を行う焦点検出手段と、を有し、
   前記焦点検出手段は、前記判断手段によりケラレが有ると判断された場合に、前記測距点を中心として、前記シャッタ手段の幕の走行方向に設定された第１の焦点検出領域と、前記走行方向と垂直な方向に設定された第２の焦点検出領域とのうち、前記第２の焦点検出領域に含まれる前記光電変換部から得られた信号を優先的に用いて、前記焦点検出を行うことを特徴とする情報処理装置。
6. 前記焦点検出手段により検出された前記測距点の焦点状態に基づいて、前記複数の光電変換部からそれぞれ出力された信号を処理して、合焦した画像を生成するリフォーカス手段を更に有することを特徴とする請求項５に記載の情報処理装置。
7. 複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、前記撮像素子を遮光するための幕を有するシャッタ手段とを有する撮像装置の制御方法であって、
   リセット手段が、前記幕による前記撮像素子の遮光の開始に先だって、前記幕の走行方向に前記撮像素子の光電変換部を順次リセットするリセット工程と、
   判断手段が、前記リセットと前記幕の走行による前記撮像素子の露光制御に応じて生じる、各マイクロレンズに対応する前記複数の光電変換部におけるケラレの有無を判断する判断工程と、
   焦点検出手段が、前記複数の光電変換部からそれぞれ出力された信号に基づいて、位相差方式により、予め決められた測距点の焦点検出を行う焦点検出工程と、を有し、
   前記判断工程でケラレが有ると判断された場合に、前記焦点検出工程では、前記測距点を中心として、前記シャッタ手段の幕の走行方向に設定された第１の焦点検出領域と、前記走行方向と垂直な方向に設定された第２の焦点検出領域とのうち、前記第２の焦点検出領域に含まれる前記光電変換部から得られた信号を優先的に用いて、前記焦点検出を行うことを特徴とする撮像装置の制御方法。
8. 制御手段が、前記リセットと前記幕の走行による前記撮像素子の露光制御に先立って、前記シャッタ手段を用いずに、前記リセット手段によりリセットしてから、予め決められた露光時間、経過した後に前記複数の光電変換部からそれぞれ信号を読み出すように制御する制御工程と、
   補正手段が、前記リセットと前記幕の走行により前記撮像素子を露光制御して前記複数の光電変換部からそれぞれ出力された信号におけるケラレの影響を補正する補正工程と、を更に有し、
   前記判断工程でケラレが有ると判断された場合に、前記補正工程では、前記制御工程における制御により前記複数の光電変換部からそれぞれ読み出された信号と、前記ケラレの有無の判断に用いた条件とに基づいて、前記補正を行い、前記焦点検出工程では、該補正された信号を用いて前記焦点検出を行うことを特徴とすることを特徴とする請求項７に記載の撮像装置の制御方法。
9. 入力手段が、複数のマイクロレンズそれぞれに対して複数の光電変換部を備える撮像素子と、前記撮像素子を遮光するための幕を有するシャッタ手段と、前記幕による前記撮像素子の遮光の開始に先だって、前記幕の走行方向に前記撮像素子の光電変換部を順次リセットするリセット手段とを有する撮像装置から、前記複数の光電変換部からそれぞれ出力された画像信号と、該画像信号を取得した時の射出瞳距離、前記撮像素子と前記シャッタ手段の光軸上の距離、シャッタ秒時、及び絞り値の少なくともいずれか１つを含む情報とを入力する入力工程と、
   判断手段が、前記情報に基づいて、前記リセットと前記幕の走行による前記撮像素子の露光制御に応じて生じる、各マイクロレンズに対応する前記複数の光電変換部から出力された信号におけるケラレの有無を判断する判断工程と、
   焦点検出手段が、前記複数の光電変換部から出力された信号に基づいて、位相差方式により、予め決められた測距点の焦点検出を行う焦点検出工程と、を有し、
   前記判断工程でケラレが有ると判断された場合に、前記焦点検出工程では、前記測距点を中心として、前記シャッタ手段の幕の走行方向に設定された第１の焦点検出領域と、前記走行方向と垂直な方向に設定された第２の焦点検出領域とのうち、前記第２の焦点検出領域に含まれる前記光電変換部から得られた信号を優先的に用いて、前記焦点検出を行うことを特徴とする情報処理方法。
10. コンピュータに、請求項９に記載の情報処理方法の各工程を実行させるためのプログラム。
11. 請求項１０に記載のプログラムを記憶したコンピュータが読み取り可能な記憶媒体。

Images