JP2014135562A - 撮像装置及びその制御方法 - Google Patents

Abstract

【課題】動画撮影中にピント状態の良い記録画像を得るとともに、レンズ駆動信号を得ることを可能にした撮像装置を提供する。
【解決手段】撮像素子と、一定の周期で撮像素子の信号を得ることにより動画を生成する撮像素子制御部と、撮像素子上の画素へ入射する光束を、特定の角度で入射する光束のみに制限する光線制御部と、撮像素子から得られた信号に対して現像面を設定し、現像面に入射する光線を求めて加算することにより現像面での像を生成する現像部と、現像部から得られた像のコントラストを計算するコントラスト評価部と、コントラスト評価部の出力に基づいて、撮影レンズを制御するレンズ制御部と、コントラスト評価部の出力に基づいて、記録画像についての現像部による現像面を決定する現像面制御部とを備える。
【選択図】図３

Description

本発明は、動画撮影可能な撮像装置における画像生成技術に関するものである。

従来、動画撮影においてコントラストを活用してピント調整を行う撮像装置が提案されている。さらに近年ライトフィールドカメラと通称される、像を取得後にピント調整可能な撮像装置が提案されている。

例えば、特許文献１では、光路長が異なる位置に配置されたセンサを用いてコントラストＡＦを行う撮像装置が開示されている。特許文献２では、像を取得後にピント調整可能な撮像装置が開示されている。

特開２００２−３６５５１７号公報 特開２００７−００４４７１号公報

しかしながら、上述の特許文献に開示された従来技術では、動画撮影中に必ずしも適当な画像が得られない場合がある。すなわち特許文献１に記載の技術ではピント位置を検出可能であるが、検出されたピントが外れている場合にすぐにピント状態の良い画像を得ることはできない。特許文献２では、撮影後にピント状態を変化させた像を得る方法が開示されているが、動画撮影中のレンズの駆動と同期して適当な画像を得る方法は示されていない。

本発明は上述した課題に鑑みてなされたものであり、その目的は、動画撮影中にピント状態の良い記録画像を得るとともに、レンズ駆動信号を得ることを可能にした撮像装置を提供することである。

本発明に係わる撮像装置は、撮像素子と、一定の周期で前記撮像素子の信号を得ることにより動画を生成する撮像素子制御手段と、前記撮像素子上の画素へ入射する光束を、特定の角度で入射する光束のみに制限する光線制御手段と、前記撮像素子から得られた信号に対して現像面を設定し、前記現像面に入射する光線を求めて加算することにより前記現像面での像を生成する現像手段と、前記現像手段から得られた像のコントラストを計算するコントラスト評価手段と、前記コントラスト評価手段の出力に基づいて、撮影レンズを制御するレンズ制御手段と、前記コントラスト評価手段の出力に基づいて、記録画像についての前記現像手段による現像面を決定する現像面制御手段と、を備えることを特徴とする。

本発明によれば、動画撮影中にピント状態の良い記録画像を得るとともに、レンズ駆動信号を得ることを可能にした撮像装置を提供することが可能となる。

本発明の撮像装置の一実施形態であるデジタルカメラおよびレンズの構成を示す図である。 撮影光学系の説明図である。 一実施形態のカメラの動作を示すフローチャートである。 像の再構成を説明する図である。 フォーカスキーフレームでの動作を説明する図である。 フォーカスキーフレーム以降のフレームでの動作を説明する図である。

以下、本発明の一実施形態について、添付図面を参照して詳細に説明する。

図１（ａ）は本発明の撮像装置の一実施形態であるデジタルカメラおよび撮影レンズの中央断面図、図１（ｂ）はこのデジタルカメラの電気的構成を示すブロック図である。図１（ａ）および図１（ｂ）では、同一の符号が付してあるものはそれぞれ対応している。

図１（ａ）において、１はカメラ本体、２はカメラ本体１に装着されるレンズユニット、３はレンズユニット２に内蔵された撮影光学系を形成するレンズ、４は撮影光学系の光軸、６は撮像素子である。また、９は背面表示装置、１１はカメラ本体１とレンズユニット２の電気接点、１２はレンズユニット２に設けられたレンズシステム制御部、１４はクイックリターンミラー、１６はカメラ本体１に設けられたファインダ表示部である。

図１（ｂ）は撮像装置であるデジタルカメラおよびレンズの電気的構成を示すブロック図である。カメラ本体１およびレンズ２からなるカメラシステムは、撮像系、画像処理系、記録再生系、制御系を有する。撮像系は、撮影光学系３ 、撮像素子６を含み、画像処理系は、画像処理部７を含む。また、記録再生系は、メモリ部８、背面表示装置９を含み、制御系は、カメラシステム制御回路５、操作検出部１０、およびレンズシステム制御回路１２、レンズ駆動部１３を含む。レンズ駆動部１３は、焦点レンズ、ブレ補正レンズ、絞りなどを駆動することができる。なお、本実施形態のカメラでは、一定の周期で撮像素子６の信号を取得することにより動画を生成する。

撮像系は、物体からの光を、撮影光学系３を介して撮像素子６の撮像面に結像する光学処理系である。撮像素子６の表面（撮像素子上）にはマイクロレンズが格子状に配置されており、いわゆるマイクロレンズアレイ（以下 ＭＬＡ）を形成している。ＭＬＡは本実施形態において、光線制御手段を構成する。ＭＬＡの機能や配置の詳細については図２を用いて後述する。後述するように、撮影素子６からピント評価量／適切な露光量が得られるので、この信号に基づいて撮影光学系３が調整されることで、適切な光量の物体光を撮像素子６に露光するとともに、撮像素子６の近傍で被写体像が結像される。

画像処理部７は、内部にＡ／Ｄ変換器、ホワイトバランス回路、ガンマ補正回路、補間演算回路等を有しており、記録用の画像を生成することができる。また、本実施形態の要部である、現像手段、像シフト手段、像生成手段、コントラスト評価手段、相関計算手段等を含めることもできる。なお、本実施形態ではこれらの要素はカメラシステム制御回路５内に配置する場合を想定している。

メモリ部８は実際の記憶部に加えて記録に必要な処理回路を備えている。メモリ部８は、記憶部へ出力を行うとともに、背面表示装置９に出力する像を生成し、保存する。また、メモリ部８は、予め定められた方法を用いて画像、動画、音声などの圧縮を行う。

カメラシステム制御回路５は撮像の際のタイミング信号などを生成して出力する。また、外部操作に応動して撮像系、画像処理系、記録再生系をそれぞれ制御する。例えば、不図示のシャッターレリーズボタンの押下を操作検出部１０が検出して、撮像素子６の駆動、画像処理部７の動作、メモリ部８の圧縮処理などを制御する。さらに情報表示を行う背面表示装置９の各セグメントの状態を制御する。

制御系による光学系の調整動作について説明する。カメラシステム制御回路５には画像処理部７が接続されており、撮像素子６からの信号を元に焦点位置、絞り位置を求める。カメラシステム制御回路５は、電気接点１１を介してレンズシステム制御回路１２に指令を出し、レンズシステム制御回路１２はレンズ駆動部１３を制御する。さらにレンズシステム制御回路１２には不図示の手ぶれ検出センサが接続されており、手ぶれ補正を行うモードにおいては、手ぶれ検出センサの信号を元にレンズ駆動部１３を介してブレ補正レンズを制御する。

本実施形態の要部である撮像素子制御手段、コントラスト評価手段、現像面制御手段はカメラシステム制御回路５に備えられている。また、現像手段は画像処理部７に備えられている。さらにレンズ制御手段は、カメラシステム制御回路５、電気接点１１、レンズシステム制御回路１２およびレンズ駆動部１３からなっている。

図２は、本実施形態における撮影光学系の要部を説明する図である。本実施形態を実施するためには、いわゆる光線空間情報等といわれる光線の位置に加えて角度の情報を取得する必要がある。本実施形態では、角度情報の取得のために撮影光学系３の結像面近傍にＭＬＡを配置するとともに、ＭＬＡを構成する１つのレンズに対して複数の画素を対応させている。

図２（ａ）は撮像素子６とＭＬＡ２０の関係を模式的に示す図である。図２（ｂ）は撮像素子の画素とＭＬＡの対応を示す模式図である。図２（ｃ）はＭＬＡによってＭＬＡ下に設けられた画素が特定の瞳領域と対応づけられることを示す図である。

図２（ａ）に示すように撮像素子６上にはＭＬＡ２０が設けられており、ＭＬＡ２０の前側主点は撮影光学系３の結像面近傍になるように配置されている。図２（ａ）は撮像装置の横からと、正面からＭＬＡを見た状態を示しており、撮像装置正面から見るとＭＬＡのレンズが撮像素子６上の画素を覆うように配置されている。なお、図２（ａ）ではＭＬＡを構成する各マイクロレンズを見やすくするために、大きく記載したが、実際には各マイクロレンズは画素の数倍程度の大きさしかない。実際の大きさについては図２（ｂ）を用いて説明する。

図２（ｂ）は図２（ａ）の装置正面からの図を一部拡大した図である。図２（ｂ）に示す格子状の枠は、撮像素子６の各画素を示している。一方ＭＬＡを構成する各マイクロレンズは太い円２０ａ，２０ｂ，２０ｃ，２０ｄで示されている。図２（ｂ）から明らかなようにマイクロレンズ１つに対して複数の画素が割り当てられており、図２（ｂ）の例では、５行×５列＝２５個の画素が１つのマイクロレンズに対して設けられている。すなわち、各マイクロレンズの大きさは画素の大きさの５倍×５倍の大きさである。

図２（ｃ）は撮像素子６を、マイクロレンズの光軸を含みセンサの長手方向が図の横方向になるように切断した図である。図２（ｃ）の２１，２２，２３，２４，２５は撮像素子６の画素（１つの光電変換部）を示している。一方図２（ｃ）の上方に示した図は撮影光学系３の射出瞳面を示している。実際には、図２（ｃ）の下方に示したセンサの図と方向を合わせると、射出瞳面は図２（ｃ）の紙面垂直方向になるが、説明を分かりやすくするために投影方向を変化させている。また、図２（ｃ）においては説明を分かりやすくするために、１次元の投影／信号処理について説明する。実際の装置においては、これを容易に２次元に拡張することができる。

図２（ｃ）の画素２１，２２，２３，２４，２５は図２（ｂ）の２１ａ，２２ａ，２３ａ，２４ａ，２５ａとそれぞれ対応する位置関係にある。図２（ｃ）に示すように、マイクロレンズ２０によって各画素は撮影光学系３の射出瞳面上の特定の領域と共役になるように設計されている。図２（ｃ）の例では画素２１と領域３１が、画素２２と領域３２が、画素２３と領域３３が、画素２４と領域３４が、画素２５と領域３５がそれぞれ対応している。すなわち画素２１には撮影光学系３の射出瞳面上の領域３１を通過した光束のみが入射する。他の画素も同様である。結果として、瞳面上での通過領域と撮像素子６上の位置関係から角度の情報を取得することが可能となる。

ここで後ほどの説明を簡単にするために記号を導入する。図２（ｃ）に示すように、撮像素子６の画素ピッチをΔｘ、角度分解能をΔθとする。さらに角度の分割数をＮθ（図３の例ではＮθ＝５）とする。画素ピッチは撮像素子６の形状によって決定され、Δθは光線の角度を取得する範囲と角度分割数Ｎθで決定される。すなわち、物理的な構造（撮像素子６およびＭＬＡ２０の構造）のみによってこれらのパラメータは決定される。

本実施形態に示した撮影光学系を利用して、撮像素子６の信号からピント状態の良い記録画像を得るとともにレンズ駆動信号を得る処理について図３、図４、図５及び図６を用いて説明する。

図３は本実施形態の撮像装置の撮像動作を説明するためのフローチャートである。図３（ａ）は動画撮影全体の動作を、図３（ｂ）はコントラストＡＦ手段の動作を、図３（ｃ）は現像手段の動作をそれぞれ示している。また、図３（ｄ）は像シフト手段の動作を、図３（ｅ）は像生成手段の動作を、図３（ｆ）はコントラスト評価手段の動作を、図３（ｇ）は現像面制御手段の動作をそれぞれ示している。

図３（ａ）を用いて動画撮影について説明する。ステップＳ１は動画撮影の開始と対応しており、図１（ｂ）の操作検出部１０によってユーザの操作を検知して動画撮影開始が指示された場合に該当する。

ステップＳ２からステップＳ１１はループを形成している。つまり、ユーザからの動画撮影終了の指示、または機器から動画撮影終了の指示（バッテリー残量が規定値以下、記録メディア残量が規定値以下、時間的な制限、発熱によるシャットダウン等が該当）があるまでいわゆる無限ループを形成する。

ステップＳ３は画像取得であり、設定された時間間隔（いわゆるフレームレート）で撮像素子６から画像信号の取得を行う（取得された画像をフレームと呼ぶ）。フレームレートは事前にユーザによって設定される。

ステップＳ４はフォーカスキーフレームか否かを判断する。ここでのフォーカスキーフレームとはピント検知を行うフレームのことを指す。動画撮影を行うシステムにおいて、フォーカス検知は演算負荷が大きいため、適当なフレームごとに行うことが多い。例えば、３０フレーム／秒で０．５秒刻みにピント検知を行うには１５フレームごとにフォーカスキーフレームを設定すれば良い。この時のフォーカスキーフレーム頻度は被写体の移動速度などに依存して設定すれば良い。なお、一般的には高速に移動する被写体の場合は細かく検知して、低速の場合は粗く検知すれば良い。移動速度の上限をモード設定などから規定して、被写界深度との関係から設定する。ステップＳ４においてフォーカスキーフレームである場合にはステップＳ５に、フォーカスキーフレームでない場合にはステップＳ７に進む。

ステップＳ５ではコントラストＡＦルーチンを呼び出し、ピント状態の良い記録画像が得られる現像面の情報を得る。コントラストＡＦルーチンについては図３（ｂ）を用いて後述する。

ステップＳ６では現像面制御ルーチンを呼び出し、現在のフレームにおいてピント状態の良い記録画像が得られる現像面を決定する。現像面制御ルーチンについては図３（ｇ）を用いて後述する。

ステップＳ７では前回のフォーカスキーフレームでのピント状態の良い記録画像が得られる現像面の情報およびレンズ制御手段の状態を元に、現在のフレームにおいてピント状態の良い記録画像が得られる現像面を決定する。ステップＳ８ではステップＳ６およびステップＳ７で決定した現像面で画像の生成を行う。

ステップＳ９ではレンズ制御ルーチンを動作させる。動画撮影においてはピント状態が急激に変化することは品位を損ねる。そのため微小なピントずれの場合はゆっくりとフォーカスレンズを駆動してピント調整を行うことが望ましい。ステップＳ９はこれを制御するブロックである。具体的には、ステップＳ５で得られたピント状態の良い記録信号が得られる現像面と、現在の撮像素子の存在する面との差を予め設定された速度で埋める動作を行う。動作の詳細は、図６を用いて後述する
ステップＳ１０は画像のバッファ／圧縮／記録を行う。連続して得られたフレームを適当にバッファしながら予め定められた符号化方式によって圧縮し、メモリ部８へ記録する。

ステップＳ１２は動画撮影の終了に対応している。図３（ａ）においては画像の取得終了と同時に圧縮／記録等も終了しているが、これは説明を分かりやすくするためであり、必要に応じて後処理（Ｅｘｉｆの設定等）を施しても良い。

図３（ｂ）を用いてコントラストＡＦルーチンについて説明する。ステップＳ１３はコントラストＡＦルーチンの動作開始を示している。ステップＳ１４からステップＳ１７はループを形成しており、予め定められた評価位置に現像面を設定して画像の評価を行う。図５の例で、−２，−１，０，＋１，＋２というピント位置を設定していることと対応している。

ステップＳ１５は現像ルーチンを呼び出し、設定された現像面での像を生成する。ステップＳ１６はコントラスト評価ルーチンを呼び出し、ステップＳ１５で得られた像のコントラスト値からピント評価値を得る。コントラスト評価ルーチンの詳細については図３（ｆ）を用いて後述する。

ステップＳ１８では各現像面のピント評価値からピント評価値が最良となる現像面（コントラストが最大となる現像面）を選択してピント状態の良い記録画像が得られる現像面として出力する。ステップＳ１９で呼び出し元のステップＳ５に戻る。

図３（ｃ）を用いて現像ルーチンについて説明する。ステップＳ２６は現像ルーチンの動作開始を示している。

ステップＳ２７では像シフトルーチンを呼び出し、取得した像を通過した瞳情報（入射角度の情報）をもとに、現像面に適した量シフトさせる。なお、呼び出し元ステップＳ８ではステップＳ６およびステップＳ７で設定された面、呼び出し元ステップＳ１５ではステップＳ１４からステップＳ１７のループで設定されるピント評価面に像を生成する必要があるのでその面、を現像面と称している。像シフトルーチンの詳細については図３（ｄ）を用いて後述する。

ステップＳ２８では像生成ルーチンを呼び出し、ステップＳ２７でシフトさせた像を重ね合わせる（画素信号を加算する）ことで現像面での像を得る。これによりいわゆる現像がなされる。像生成ルーチンの詳細については図３（ｅ）を用いて後述する。ステップＳ２９において、呼び出し元のステップＳ８またはステップＳ１５に戻る。

本実施形態においては、像のシフトと加算によって現像を行う方法を例示したが、光線情報を利用して、像を取得した面とは異なる面で像を生成する方法であればどのような方法でも現像ルーチンとして利用することが出来る。

図３（ｄ）を用いて像シフトルーチンについて説明する。ステップＳ３１は像シフトルーチンの動作開始を示している。ステップＳ３２からステップＳ３５はループを形成している。ステップＳ３２では瞳分割数に応じた数だけループ計算が実行される。例えば、図２に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置に応じた計算がなされる。図５を用いて後述するように、像の再構成を考えると同じ再構成面であっても入射角度が異なると像をシフトさせる量が異なる。これを反映させるためのループである。

ステップＳ３３では各画素とそれに対応する瞳領域の情報をもとに、評価を行っている現像面での各瞳領域での像シフト量を計算する。図２を用いて説明した様に、瞳分割手段として動作するマイクロレンズアレイ２０と画素の対応は固定的であり撮影状態によって変化することは無い。この撮像素子６上の各画素とＭＬＡとの対応関係が記憶されており、各画素がどの瞳領域の光線を受光しているかが分かっているのでこれを活用している。

ステップＳ３４では同じ瞳領域を通過した光束（同じ入射角の光束）を受光した画素の信号をシフトさせる。同じ入射角の光線を得ている画素は例えば図２（ｂ）の２５ａと２５ｂが該当する。このような画素がＭＬＡを構成するマイクロレンズの数だけ存在している。像シフトルーチンについては、後に図４を用いて図解も行う。ステップＳ３６において、呼び出し元のステップＳ２７に戻る。

図３（ｅ）を用いて像生成ルーチンの動作の詳細を説明する。ステップＳ４１は像生成ルーチンの動作開始を示している。

ステップＳ４２では、ステップＳ４５での加算のための領域のデータを初期化（０で埋める）する。この時のデータ領域の大きさはＭＬＡの数分あれば良く、データの階調は元のデータの階調と瞳分割数の積を格納できるだけあれば都合がよい。例えば元のデータが８ｂｉｔで２５分割の場合、１３ｂｉｔ（＞８ｂｉｔ＋ｌｏｇ₂２５）あればデータの桁あふれを考慮する必要が無い。

ステップＳ４３からステップＳ４７はループを形成している。ステップＳ４３ではＭＬＡを構成するマイクロレンズの数に応じてループ計算が実行される。例えば、図４に示した例では、元の撮像素子の画素数÷２５（瞳分割数）がマイクロレンズの数となる。

ステップＳ４４からステップＳ４６はループを形成している。ステップＳ４４では、瞳分割数に応じた数だけループ計算が実行される。例えば、図４に示した例では、５ｘ５＝２５個に分割されていたので、２５個のそれぞれの瞳位置からの光束がステップＳ４５で加算される。シフト量が画素の整数倍でない場合は、加算ステップＳ４５において、内分されながら加算される。重なっている面積に応じて加算すればよい。像生成ルーチンについては、後に図４を用いて図解も行う。ステップＳ４８において、呼び出し元のステップＳ２８に戻る。

図３（ｆ）を用いてコントラスト評価ルーチンの動作の詳細を説明する。ステップＳ５１はコントラスト評価ルーチンの動作開始を示している。

ステップＳ５２では、コントラスト評価を行う評価枠の大きさを設定する。評価枠の大きさの設定は、小さすぎると被写体の局所的な特徴のみを評価することになり評価値が不安定になる場合があり、大きすぎると狙った被写体にピントを合わせにくくなる。撮影光学系の焦点距離などに応じて設定すれば良い。

ステップＳ５３からステップＳ５７はループを形成している。このループは評価枠の大きさに対応したループになっており、本実施形態ではコントラスト評価は１方向で行いその他の方向は加算される。

ステップＳ５４は帯域通過フィルタ（ＢＰＦ）であり、コントラスト評価を行うのに適した周波数帯の信号を選択的に取り出す。ここでいう周波数とはいわゆる空間周波数に対応しており、被写体像の明暗信号の細かさに対応している。これは、時間方向の一般的な周波数とは異なるものである。

ステップＳ５５はステップＳ５４の出力に対してピークホールドを行う。ステップＳ５６ではステップＳ５５の出力を積分する。ステップＳ５４からステップＳ５６の演算によって被写体像に含まれる特定の周波数帯の信号の大まかなコントラスト値（良い近似値）を簡易な計算で得ることが可能となる。ステップＳ５８で積分値をコントラストの評価値として設定する。ステップＳ５９で呼び出し元のステップＳ１６に戻る。

図３（ｆ）を用いて現像面制御ルーチンについて説明する。ステップＳ６１は現像面制御ルーチンの動作開始を示している。

ステップＳ６２は以下に示す式（１）を計算する。

ｚ＝ｚ0＋ｆ（ｚAF−ｚL） …（１）
ただし、ｆは現像ルーチンでの現像面への写像を表す演算子であり、ｚ0は撮影光学系３の空中結像面に対応する現像面である。ｚAFはフォーカスキーフレームで得られた空中結像面に対応する現像面からピント状態の良い記録画像が得られる現像面への距離であり、ｚLはフォーカスキーフレームからのピント調整量である。

詳細は図６を用いて後述するが、式（１）によりピント状態の良い記録画像が得られる現像面を選択することが可能となる。またｆは現像ルーチンでの現像面への写像であるが、現像ルーチンが連続した現像面で現像可能な場合はそのままの値を返し、不連続な現像面で現像可能な場合は最も近い現像面の値を返すような写像である。本実施形態では説明を分かりやすくするために不連続な現像面で現像を行うように図４、図５および図６を記載しているが、その他の面で現像可能としても本実施形態の要部に影響は無い。ステップＳ６３は現像面としてステップＳ６２で求めたｚを設定する。ステップＳ６４で呼び出し元のステップＳ６またはステップＳ７に戻る。

次に図４を用いて像シフトおよび像生成を模式的に示し、像の再構成によるコントラスト計算の有用性について述べる。図４は上から（ａ）、（ｂ）、（ｃ）と並んでいる。そして、図４（ｂ）は撮像素子６が存在して画像を取得した面を、図４（ａ）は図４（ｂ）よりも物体側の再構成面（再構成面１とする）を、図４（ｃ）は図４（ｂ）よりも物体から遠い側の再構成面（再構成面２とする）をそれぞれ示している。

図４（ｂ）において、Ｘ1,i、Ｘ2,i、Ｘ3,i、Ｘ4,i、Ｘ5,i、はそれぞれ瞳領域１、２、３、４、５を通過してマイクロレンズＸiに入射して得られたデータを示している。すなわち、添え字のうち前半は通過する瞳領域を、後半は画素の番号を示している。また、図４においても説明を簡単にするためにデータを１次元的な広がりしかもたないものとして記述している。物理的な位置との関係においては、Ｘ1,iは図２（ｃ）の領域２１から得られるデータを、Ｘ2,iは図２（ｃ）の領域２２から得られるデータを、以下添え字の３、４、５は領域２３、２４、２５に対応していることを示している。

取得面での画像を生成するためには、図４（ｂ）にあるように、マイクロレンズＸiに入射したデータを加算すればよい。具体的には、Ｓi＝Ｘ1,I ＋Ｘ2,i＋Ｘ3,i＋Ｘ4,i＋Ｘ5,iでＸiに入射した光の角度方向の積分値を得ることができる。これにより通常のカメラと同様の像が生成される。

次に再構成面１での像の生成方法を考える。図２で説明したように、本実施形態の撮影光学系は、各画素に入射する光束を特定の瞳領域に限定しているために、入射角度が既知である。この角度に沿って再構成面での各画素の位置を再構成する。具体的にはＸ1,iのように瞳領域の添え字が１のものは図４右側において４１に示すような角度で入射しているとする。以下瞳領域の添え字２，３，４，５はそれぞれ４２，４３，４４，４５に対応しているとする。この時再構成面１でのマイクロレンズＸiに入射した光束は、取得面においては、Ｘi-2からＸi+2に分散して入射していることになる。より具体的には、Ｘ1,i-2、Ｘ2,i-1、Ｘ3,i、Ｘ4,i+1、Ｘ5,i+2に分散している。Ｘiに限らず再構成面１での像を復元するためには、入射角度に応じて像をシフトさせて加算すれば良いことが分かる。再構成面１での像を生成するためには、瞳領域の添え字が１のものは右に２画素シフト、瞳領域の添え字が２のものは右に１画素シフト、瞳領域の添え字が３のものはシフトなし、瞳領域の添え字が４のものは左に１画素シフト、瞳領域の添え字が５のものは左に２画素シフトすることで入射角度に応じたシフトを与えることができる。

その後図４（ａ）の縦方向に加算することで再構成面１でのデータを得ることができる。具体的には、Ｓi＝Ｘ1,i-2＋Ｘ2,i-1＋Ｘ3,i＋Ｘ4,i+1＋Ｘ5,i+2で再構成面１において、Ｘiに入射した光の角度方向の積分値を得ることができる。これにより再構成面での画像が得られた。

ここで、再構成面１において、Ｘiに輝点があったとすると、取得面においてはＸ1,i-2、Ｘ2,i-1、Ｘ3,i、Ｘ4,i+1、Ｘ5,i+2に分散していわゆるボケ状態にある。しかしながら、上述した再構成面１での像を生成すると、再びＸiに輝点が生成されコントラストの高い像が得られる。すなわち像を再構成してコントラストを計算することで、いわゆるコントラストＡＦを行うことが可能となる。

また、図４（ｃ）から分かるように、再構成面２においても再構成面１と全く同様に像を生成することができる。再構成面を配置する方向が異なると（物体に対して反対側という意味）シフトさせる方向を反転させれば良いだけである。

図３および図４を用いて説明した様に、画像を１度しか読みださずに、像を再構成してコントラスト評価を行うことでピント状態の良い記録画像が得られる現像面を得ることは可能である。

図５を用いてフォーカスキーフレームでの動作を説明する。図５の上段は横軸に時間をとって時間的に連続するフレーム５１，５２，５３，５４，５５のうち５３がフォーカスキーフレームであることを示している。ここでフォーカスキーフレームとは図３で説明した様にピント検知を行うフレームのことを指す。

図５の中央において、５３ａ，５３ｂ，５３ｃ，５３ｄ，５３ｅはそれぞれフォーカスキーフレーム５３から再構成された像を示している。フォーカスキーフレーム５３を抜き出して（フレーム５３は、図３（ａ）のステップＳ４でＹｅｓの判断をしてステップＳ５に進むという意味）、現像面を変化させて現像して複数の像を生成する動作を示している。これは図３（ｂ）に示したループＳ１４からＳ１７において現像面を変化させてステップＳ１５によって現像された像を得る動作と対応している。

図５の下段は横軸に現像面（ピント位置、図４に示したように再構成の現像面を変えることとピント位置を変えることは等価）、縦軸にコントラスト評価値をとったグラフであり、図３（ｂ）に示したステップＳ１６で得られる評価値をグラフ化している。図５の下段において６３ａ，６３ｂ，６３ｃ，６３ｄ，６３ｅはそれぞれ再構成像５３ａ，５３ｂ，５３ｃ，５３ｄ，５３ｅのコントラスト評価値を、６４はコントラスト評価値を結ぶ近似曲線を、６５は近似曲線６４の極値（ピーク）をそれぞれ示している。また図５の中央から図５の下段に向けて伸びた破線は同じ現像面での画像と評価値の対応であることを示す線である。

図５の例ではピント状態を５つ変化させてコントラスト評価値を得る例を示している。５つという数は例示であって複数で有ればいくつでも良い。ただし、コントラストに基づくピント検知のため一般的には３つ以上の点で計算を行う。またピント状態は−２，−１，０，＋１，＋２というように示したが（それぞれ再構成像５３ａ，５３ｂ，５３ｃ，５３ｄ，５３ｅに対応）、これはピント状態（現像面）が異なることを示す指標であって物理的な意味をもつものではない。つまり現像面に対応するシフト量を示しているものではなく、図３（ｂ）のループＳ１４からＳ１７のループカウンタに対応するものである。ただし、この数字の順にピント状態が異なっていることを示している。図４の例で説明すると再構成面１、取得面、再構成面２の順に例えば−１，０，＋１に対応させる。０という値は、現在の撮影光学系のピント位置（撮影光学系の設計上の空中結像面を現像面にする位置）に設定されている。

図５の例ではピント：０の位置よりもピント：＋１に近い位置にコントラストが最大となる位置がある場合を想定して図示した。これは例えば被写体がカメラに向かって近づく（または遠ざかる）場合に対応しており、フォーカスキーフレーム取得の瞬間においては若干ピント位置がずれていることを示している。このとき図３（ｂ）のコントラストＡＦルーチンはピント評価値が最良となる現像面として図５の６５の位置を出力する。これが式（１）のｚAFとなる。またこのフレームでピント評価値が最良となる現像面を計算し直したので式（１）のｚLをリセットして０に戻す。

その結果、図３（ａ）のステップＳ６（フォーカスキーフレームでのピント検知直後の現像面制御ルーチン）においては、ｚAFはステップＳ５で得られた値、ｚL＝０、として処理され結果として図５の６５の位置を現像面として指定する。

次に図６を用いてフォーカスキーフレーム以降、次のフォーカスキーフレームまでの動作を説明する。図６の上段は図５と同様で横軸に時間をとって時間的に連続するフレーム５２，５３，５４，５５，５６，５７，５８のうち５３がフォーカスキーフレームであることを示している。図６の下段は縦方向に現像面（ピント位置）、横方向にフォーカスキーフレーム位置においてはコントラスト評価値、その他の位置においては時間をとって示した。

図５と図６で同じ番号を付した物はそれぞれ対応しており、フォーカスキーフレーム５３においてピント評価値が最良となる現像面は、６３ｃ，６３ｄの間にあり６５で示されている。また８１はフォーカスキーフレーム５３におけるピントのずれ量を、８２，８３，８４，８５，８６はそれぞれフォーカスキーフレーム５３からフレーム５４，５５，５６，５７，５８までのピント調整量である。また、８２ａはフレーム５４におけるピント調整の残り量である。

また図６においてフレーム５３，５４，５５，５６，５７，５８から縦に伸ばした破線は同じ時間であることを示す線である。さらにピント−２，−１，０，＋１，＋２の下から右方向に延びる実線は現像面の位置を示す。フォーカスキーフレーム５３以降フレーム５８まで実線が傾斜しているのは、後述するようにレンズ制御ルーチンによってピント調整が行われ、画像処理での現像面位置が変化していることを示している。

この時レンズ制御ルーチンは、いわゆるピントがずれた状態にあるのでこれを補正する方向に動作する。ただし、前述した様に動画においてはゆっくりとフォーカスレンズを駆動してピント調整を行うことが望まれるのでピントのずれ８１を直ちに修正するのではなく時間を掛けて（数フレーム以上にまたがって）修正する。この様子を図６は模式的に示している。

フォーカスキーフレーム５３でピントのずれ８１が検知されるので、レンズ制御ルーチンはレンズを動かすべき方向と量を直ちに判断できる。これをレンズ駆動部１３を利用して予め定められた速度以下にピント調整速度を調整しながら、ピントのずれが少なくなるようにピント調整を行う。また明らかに、ピント状態の良い記録画像を得るための計算（６５の位置を得る計算）を行うことで、レンズ駆動するための信号を得ることが出来る。

図６の例ではフォーカスキーフレーム５３からフレーム５４までに移動した量を８２で、フォーカスキーフレーム５３からフレーム５５までに移動した量を８３で、以下同様にフォーカスキーフレーム５３からフレーム５８までに移動した量を８６で図示した。すなわちピント調整量８２，８３，８４，８５，８６は式（１）のｚLに対応している。なお、当然ではあるがｚLはフレームごとに変化する値である。また、図６の例では８６と８１は同じ量でありフレーム５８でピント調整が完了したことを示している。レンズ制御ルーチンは、図６の例のようにピント調整を行い、調整が完了すると撮影光学系３の調整を停止させる。

フレーム５４を例にとって説明する。このフレームまでに８２に対応するピント調整が完了している。この時式（１）を考えると、（ｚAF−ｚL）によって図６のピント調整残り量８２ａが計算される。すなわち、フォーカスキーフレーム５３から光学系によってのピント調整が８２に対応する分進んだので、画像の再構成によるピント調整は、ピント調整残り量８２ａに対応するように行えばよいことを示している。

以下のフレームにおいても同様の計算を繰り返す。フレーム５８以降においては（ｚAF−ｚL）＝０となり、撮影光学系３の空中結像面を現像面として像の再構成を行えばよい。

本実施形態によると、動画撮影中にピント状態の良い記録画像を得るとともにレンズ駆動信号を得ることを可能にした撮像装置を提供することが可能となる。

なお、本発明の要部は、像の再構成によってピント調整可能な撮像装置に適用可能であり、多眼カメラなどの他の形態で視差像を得る（光線空間情報を得る）場合においても本発明を適用することが出来る。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims (3)

1. 撮像素子と、
   一定の周期で前記撮像素子の信号を得ることにより動画を生成する撮像素子制御手段と、
   前記撮像素子上の画素へ入射する光束を、特定の角度で入射する光束のみに制限する光線制御手段と、
   前記撮像素子から得られた信号に対して現像面を設定し、前記現像面に入射する光線を求めて加算することにより前記現像面での像を生成する現像手段と、
   前記現像手段から得られた像のコントラストを計算するコントラスト評価手段と、
   前記コントラスト評価手段の出力に基づいて、撮影レンズを制御するレンズ制御手段と、
   前記コントラスト評価手段の出力に基づいて、記録画像についての前記現像手段による現像面を決定する現像面制御手段と、
   を備えることを特徴とする撮像装置。
2. 前記現像面制御手段は、さらに前記レンズ制御手段の状態に基づいて、前記記録画像についての前記現像手段による現像面を決定することを特徴とする請求項１に記載の撮像装置。
3. 撮像素子を備える撮像装置を制御する方法であって、
   一定の周期で前記撮像素子の信号を得ることにより動画を生成する撮像素子制御工程と、
   前記撮像素子上の画素へ入射する光束を、特定の角度で入射する光束のみに制限する光線制御工程と、
   前記撮像素子から得られた信号に対して現像面を設定し、前記現像面に入射する光線を求めて加算することにより前記現像面での像を生成する現像工程と、
   前記現像工程において得られた像のコントラストを計算するコントラスト評価工程と、
   前記コントラスト評価工程における出力に基づいて、撮影レンズを制御するレンズ制御工程と、
   前記コントラスト評価工程における出力に基づいて、記録画像についての前記現像手段による現像面を決定する現像面制御工程と、
   を備えることを特徴とする撮像装置の制御方法。

Images