JP7066388B2

JP7066388B2 - 焦点調節装置、その制御方法、およびプログラム、記憶媒体、並びに撮像装置

Info

Publication number: JP7066388B2
Application number: JP2017234396A
Authority: JP
Inventors: 遥平松井
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-12-06
Filing date: 2017-12-06
Publication date: 2022-05-13
Anticipated expiration: 2037-12-06
Also published as: JP2019101320A

Description

本発明は、焦点調節装置、その制御方法、およびプログラム、記憶媒体、並びに撮像装置に関し、特に、電子スチルカメラなどの撮像装置に用いられる焦点調節装置に関する。

近年、電子スチルカメラなどの撮像装置では、焦点調節の際に、例えば、被写体の顔を検出して、当該顔位置において自動的に焦点調節を行う顔ＡＦが行われている（特許文献１）。さらに、瞳にピントを合わせる場合も考慮して、瞳位置で自動的に焦点調節を行う瞳ＡＦが知られている（特許文献２）。

なお、デフォーカス量などに応じて、将来の像面位置を予測する撮像装置も知られている（特許文献３）。

ところで、瞳ＡＦにおいては、瞳の大きさを考慮して、瞳の位置に測距領域を設定するが、瞳ＡＦの場合は顔ＡＦに比べてその測距領域が小さい。このため、移動する被写体にレンズを追従させてピントを合わせる所謂サーボＡＦモードにおいて瞳ＡＦを行うと、焦点調節が不安定になる。よって、特許文献１又は２においては、サーボＡＦモードにおいては瞳ＡＦの使用を禁止するか又は顔の大きさおよび被写体の動き量に応じて瞳ＡＦを禁止するようにしている。

特開２０１２－１２３３０１号公報特開２０１２－１６３５８８号公報特開２００１－２１７９４号公報

ところが、上述のように、瞳ＡＦを禁止するか又は顔の大きさなどの条件を厳しく設定すると、瞳ＡＦが使用可能な条件が限られてしまうことになる。さらに、顔又は瞳の大きさに応じて瞳ＡＦを許可するか否かを判定すると、動く被写体を撮影する際に顔ＡＦおよび瞳ＡＦが選択的に切り替わることがある。この場合、顔ＡＦから瞳ＡＦに切り替わると、測距領域の大きさが顔の大きさから瞳の大きさに変化するので、焦点調節動作が不安定になり易い。

そこで、本発明の目的は、顔ＡＦと瞳ＡＦとの切り替わりの際においても、安定してかつ精度よく焦点調節を行うことのできる焦点調節装置、その制御方法、およびプログラム、記憶媒体、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による焦点調節装置は、光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置であって、前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出手段と、前記第１の領域に含まれる所定の部位を第２の領域として検出する第２の検出手段と、前記第１の領域および前記第２の領域において像面位置を検出する第３の検出手段と、前記第３の検出手段によって検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測手段と、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御手段と、を有し、前記制御手段は、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、前記制御手段は、前記閾値を、前記第１の領域の大きさ又は前記第２の領域の大きさによって決定することを特徴とする。

本発明によれば、顔ＡＦと瞳ＡＦとの切り替わりの際においても、安定してしかも精度よく焦点調節を行うことができる。

本発明の実施の形態による焦点調節装置を備える撮像装置の一例を示すブロック図である。図１に示すカメラに備えられた撮像素子の画素構成の一例を説明するための図である。図１に示すカメラで行われる焦点調節処理の一例を説明するためのフローチャートである。図３に示す焦点検出処理の一例を説明するためのフローチャートである。図１に示す撮像素子の画素アレイ上における測距領域の一例を示す図である。図５に示す測距領域に含まれる複数の画素から取得したＡＦ用信号の一例を説明するための図である。図１に示すＡＦ信号処理部によって行われる相関演算の際のシフト量と相関量との関係を説明するための図である。図１に示すＡＦ信号処理部で行われる像ずれ量の算出を説明するための図である。図３に示す撮影前予測処理を説明するためのフローチャートである。図３に示す選択処理を説明するためのフローチャートである。図１に示す選択部で行われる差分閾値の決定手法の一例を説明するための図である。

以下に、本発明の実施の形態による焦点調節装置の一例について図面を参照して説明する。

図１は、本発明の実施の形態による焦点調節装置を備える撮像装置の一例を示すブロック図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）であり、レンズユニット１０はカメラ本体（撮像装置本体）２０に対して着脱可能である。そして、カメラ本体２０には、カメラ制御部２１２が備えられ、レンズユニット１０にはレンズ制御部１０６が備えられている。レンズ制御部１０６はレンズユニット全体の制御を統括する。カメラ制御部２１２はカメラ全体の制御を統括する。レンズ制御部１０６とカメラ制御部２１２とは、レンズマウント（図示せず）に備えられた通信端子を介して相互に通信可能である。

レンズユニット１０は、固定レンズ１０１、絞り１０２、およびフォーカスレンズ１０３を備えており、これら固定レンズ１０１、絞り１０２、およびフォーカスレンズ１０３は撮影光学系を構成する。絞り１０２は、絞り駆動部１０４によって駆動されて、後述する撮像素子２０１に対する入射光量を調節する。

フォーカスレンズ１０３はフォーカスレンズ駆動部１０５によって光軸に沿って駆動される。つまり、フォーカスレンズ１０３は光軸に沿って移動可能である。そして、フォーカスレンズ１０３の位置に応じて撮像光学系の合焦距離が変化する。レンズ制御部１０６は絞り駆動部１０４およびフォーカスレンズ駆動部１０５を制御してそれぞれ絞り１０２の開口量およびフォーカスレンズ１０３の位置を決定する。

レンズ操作部１０７は、ユーザによって操作される。レンズ操作部１０７の操作に依って、例えば、ＡＦ（オートフォーカス）およびＭＦ（マニュアルフォーカス）モードの切り替えを行うことができる。さらに、レンズ操作部１０７の操作によって、ＭＦによるフォーカスレンズの位置調整、フォーカスレンズの動作範囲設定、手ブレ補正モードの設定などを行うことができる。つまり、レンズ操作部１０７によって、ユーザはレンズユニット１０の動作に関する設定を行うことができる。

レンズ操作部１０７が操作された場合には、レンズ制御部１０６は当該操作に応じてレンズユニット１０を制御する。また、レンズ制御部１０６は、カメラ制御部２１２から受信した制御命令および制御情報に応じて絞り駆動部１０４およびフォーカスレンズ駆動部１０５を制御する。そして、レンズ制御部１０６は、レンズユニット１０の制御に係るレンズ制御情報をカメラ制御部２１２に送る。

カメラ本体２０には、ＣＣＤ又はＣＭＯＳイメージセンサなどの撮像素子２０１が備えられている。前述の撮影光学系を介して光学像が撮像素子２０１の受光面に結像する。撮像素子２０１は、２次元マトリックス状に配列された複数の画素を備えており、画素の各々に備えられたフォトダイオード（ＰＤ）によって、光学像（つまり、入射光量）に応じた信号電荷を蓄積する。カメラ制御部２１２はタイミングジェネレータ２１４を制御して駆動パルスによって各ＰＤに蓄積された信号電荷を電圧信号として読み出す。

図示の例では、撮像素子２０１に備えられた画素の各々は、２つ（一対）のＰＤＡおよびＢと、これら一対のＰＤＡおよびＢに対応して配置された１つのマイクロレンズ（ＭＬ）とを有している。画素の各々において、入射する光学像がＭＬで分割されてＰＤＡおよびＢに入射する。これらＰＤＡおよびＢから後述するＡＦ用信号として一対の画素信号（Ａ信号およびＢ信号）が出力される。また、ＰＤＡおよびＢの出力を加算することによって、画像信号（Ａ＋Ｂ信号）を得ることができる。

複数の画素から出力されたＡ信号はＡ信号同士、Ｂ信号はＢ信号同士でそれぞれ合成されて、一対の像信号とされる。これら一対の像信号は撮像面位相差検出方式によるＡＦ（以下撮像面位相差ＡＦという）に用いられるＡＦ用信号（つまり、焦点検出用信号）である。ＡＦ信号処理部２０４は、当該一対の像信号について相関演算を行ってそのずれ量である位相差（以下像ずれ量という）を算出する。さらに、ＡＦ信号処理部２０４は像ずれ量から撮影光学系のデフォーカス量（およびデフォーカス方向）を求める。

図２は、図１に示すカメラに備えられた撮像素子の画素構成の一例を説明するための図である。そして、図２（ａ）は撮像面位相差ＡＦに対応していない画素構成を示す図であり、図２（ｂ）は撮像面位相差ＡＦに対応した画素構成を示す図である。

図２（ａ）に示す例では、画素配列にベイヤー配列が用いられており、１つの画素が１つのフォトダイオード（ＰＤ）を有している。そして、Ｒは赤のカラーフィルタを示し、Ｂは青のカラーフィルタを示す。また、ＧｒおよびＧｂは緑のカラーフィルタを示す。

図２（ｂ）に示す画素構成では、画素が水平方向に２分割された２つのＰＤＡおよびＰＤＢを有している（図２（ｂ）においては、ＰＤＡおよびＰＤＢはそれぞれＡおよびＢで示されている。なお、図２（ｂ）に示す画素の分割は一例に過ぎず、垂直方向に分割するか又は水平および垂直方向に２分割ずつ（計４分割）するようにしてもよい。また、撮像素子は互いに異なる分割方向に分割された複数種類の画素を有するようにしてもよい。

再び図１を参照して、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２は、撮像素子２０１から読み出されたＡＦ用信号および撮像用信号（画像信号）について、リセットノイズを除去するための相関二重サンプリングを行う。さらに、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２はゲイン調節およびＡＤ変換処理を行って、デジタルＡＦ用信号および画像データをそれぞれＡＦ信号処理部２０４および画像入力コントローラ２０３に出力する。

画像入力コントローラ２０３は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２の出力である画像データを、バス２１を介してＳＤＲＡＭ２０９に格納する。ＳＤＲＡＭ２０９に格納された画像データは、バス２１を介して表示制御部２０５によって読み出されて、画像として表示部２０６に表示される。また、画像データを記録する録画モードにおいては、ＳＤＲＡＭ２０９に格納された画像データは記録媒体制御部２０７によって半導体メモリなどの記録媒体２０８に記録される。

ＲＯＭ２１０には、カメラ制御部２１２が実行する制御プログラムおよび処理プログラムが格納されるとともに、これらプログラムの実行に必要な各種データなどが格納されている。フラッシュＲＯＭ２１１には、ユーザによって設定されたカメラの動作に関する各種設定情報が格納される。

カメラ制御部２１２には、被写体検出部２１２１、器官検出部２１２２、ＡＦ制御部２１２３、予測部２１２４、記憶部２１２５、および選択部２１２６が備えられている。被写体検出部２１２１は、画像入力コントローラ２０３から入力された画像データに基づいて特定の被写体を検出して、画像データが示す画像における特定の被写体の位置を決定する。

さらに、被写体検出部２１２１は、画像入力コントローラ２０３から連続的に画像データを入力して、特定の被写体が移動した場合にはその移動先を判定して、特定の被写体を追従する。なお、特定の被写体とは、例えば、顔領域（顔検出領域とも呼ぶ）又はカメラ操作部２１３によって指定された位置に存在する被写体などである。

器官検出部２１２２は、被写体検出部２１２１で検出された顔被写体（顔領域又は顔検出領域と呼ぶ）において、目、鼻、および口などの器官（部位）を検出して、画像データが示す画像において当該器官の位置を決定する。後述するように、検出した特定の被写体の位置および大きさなどに関する情報は、主にＡＦを行う際の測距領域の設定に用いられる。

ＡＦ信号処理部２０４は、ＣＤＳ／ＡＧＣ／ＡＤコンバータ２０２の出力であるＡＦ用信号（一対の像信号）について相関演算を行って、一対の像信号における像ずれ量および信頼性を算出する。なお、信頼性は、後述する二像一致度と相関変化量の急峻度とを用いて算出される。さらに、ＡＦ信号処理部２０４は、画像において焦点検出およびＡＦを行うための領域である測距領域の位置およびその大きさを設定する。ＡＦ信号処理部２０４は、測距領域において求めた像ずれ量（検出量）および信頼性をカメラ制御部２１２に出力する。

カメラ制御部２１２において、ＡＦ制御部２１２３は、像ずれ量に応じたデフォーカス量に基づいて、レンズ制御部１０６に焦点位置を移動させるように指示する。さらにＡＦ制御部２１２３は、将来の像面位置を予測部２１２４を用いて予測して、光学像が予測した像面位置に結像されるためのフォーカスレンズ１０３の駆動量を求める。そして、ＡＦ制御部２１２３は当該駆動量に基づいてフォーカスレンズ１０３を駆動する指示をレンズ制御部１０６に送る。

記憶部２１２５は、撮影時刻に対応づけてデフォーカス量に基づいて算出された被写体像面位置をメモリ回路２１５に記憶する。選択部２１２６は、予測部２１２４によって求められた顔領域のデフォーカス量に応じた像面速度（顔像面速度）と、器官領域のデフォーカス量に応じた像面速度（器官像面速度）とを比較する。そして、選択部２１２６は、当該比較結果に応じて、顔像面予測位置および器官像面予測位置のいずれにフォーカスレンズ１０３を駆動するかを選択する。

カメラ制御部２１２は、カメラ全体の制御を司る。さらに、カメラ制御部２１２は、ユーザによるカメラ操作部２１３の操作に応じて、電源のＯＮ／ＯＦＦ、各種設定の変更、撮像処理、ＡＦ処理、および記録画像の再生処理などを実行する。また、カメラ制御部２１２は、レンズ制御部１０６に制御命令を送信するとともに、カメラ本体２０における各種情報をレンズ制御部１０６に送信する。そして、カメラ制御部２１２はレンズユニット１０における各種情報をレンズ制御部１０６から取得する。

なお、カメラ制御部２１２は、マイクロコンピュータによって構成され、ＲＯＭ２１０に記憶されたコンピュータプログラムを実行することによって、レンズユニット１０を含むカメラ全体の制御を司る。また、前述のように、カメラ制御部２１２は、ＡＦ信号処理部２０４によって求められた像ずれ量に基づいてデフォーカス量を算出して、当該デフォーカス量に基づいてレンズ制御部１０６によってフォーカスレンズ１０３を駆動制御する。

図３は、図１に示すカメラで行われる焦点調節処理の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、カメラ制御部２１２がコンピュータプログラムである撮像処理プログラムを実行することによって行われる。

カメラ制御部２１２は、カメラの設定およびカメラ操作部２１３からの入力に応じて焦点調節動作を行うか否かを判定する（ステップＳ３０１）。焦点調節動作を行わないと判定すると（ステップＳ３０１において、ＮＯ）、カメラ制御部２１２は待機する。一方、焦点調節動作を行うと判定すると（ステップＳ３０１において、ＹＥＳ）、カメラ制御部２１２は焦点検出処理を行う（ステップＳ３０２）。なお、焦点検出処理については後述する。

続いて、カメラ制御部２１２は、撮影前予測処理を行う（ステップＳ３０３）。撮影前予測処理においては、後述するように撮影開始スイッチがオン状態であれば、ステップＳ３０２に示す焦点検出処理における位相差検出時から撮像素子２０１による撮影時までの被写体の像面位置を予測部２１２４によって予測する。一方、撮影開始スイッチがオフ状態であれば、次の位相差検出時までの被写体の像面位置を予測部２１２４によって予測する。なお、予測方法については後述する。

次に、カメラ制御部２１２はステップＳ３０３の処理で得た顔像面速度および器官像面速度によって顔領域の像面位置と器官領域の像面位置とのいずれに合焦するようにフォーカスレンズ１０３を駆動するかを選択する（ステップＳ３０４）。なお、選択方法については後述する。

続いて、カメラ制御部２１２はステップＳ３０４の処理で選択した像面位置で合焦するためのフォーカスレンズ１０３の駆動量を算出して、当該駆動量をレンズ制御部１０６に送る（ステップＳ３０５）。

次に、カメラ制御部２１２は撮影開始スイッチがオンであるか否かを判定する（ステップＳ３０６）。撮影開始スイッチがオンであると（ステップＳ３０６において、ＹＥＳ）、カメラ制御部２１２は撮影を実行する（ステップＳ３０７）。ここでは、カメラ制御部２１２は撮影の結果得られた画像データをメモリ回路２１５に記憶する。そして、カメラ制御部２１２は、次の位相差検出時点における像面位置を予測部２１２４によって予測する（ステップＳ３０８）。カメラ制御部２１２は、予測の結果得られた像面位置（選択後の像面位置）で合焦するためのフォーカスレンズ１０３の駆動量を求めて、当該駆動量をレンズ制御部１０６に送る（ステップＳ３０９）。

続いて、カメラ制御部２１２は撮影準備スイッチがオフであるか否かを判定する（ステップＳ３１０）。そして、撮影準備スイッチがオンであると（ステップＳ３１０において、ＮＯ）、カメラ制御部２１２はステップＳ３０２の処理に戻る。一方、撮影準備スイッチがオフであると（ステップＳ３１０において、ＹＥＳ）、カメラ制御部２１２は焦点調節処理を終了する。

なお、撮影開始スイッチがオフであると（ステップＳ３０６において、ＮＯ）、カメラ制御部２１２はステップＳ３１０の処理に進む。

図４は、図３に示す焦点検出処理の一例を説明するためのフローチャートである。

カメラ制御部１２１の制御下で、ＡＦ信号処理部２０４は測距領域に含まれる複数の画素からＡＦ用信号として一対の像信号を取得する（ステップＳ４０１）。

図５は、図１に示す撮像素子の画素アレイ上における測距領域の一例を示す図である。

画素アレイ５０１上には、図示のように、測距領域５０２が設定される。測距領域５０２の両側に位置するシフト領域５０３は相関演算に必要な領域である。つまり、測距領域５０２とシフト領域５０３とを合わせた領域５０４が相関演算に必要な画素領域である。

図中ｐ、ｑ、ｓ、およびｔはそれぞれ、水平方向（ｘ軸方向）における座標を示し、ｐおよびｑはそれぞれ画素領域７０４の始点および終点のｘ座標を示す。また、ｓおよびｔはそれぞれ測距領域５０２の始点および終点のｘ座標を示す。

図６は、図５に示す測距領域５０２に含まれる複数の画素から取得したＡＦ用信号の一例を説明するための図である。そして、図６（ａ）はシフト前の一対の像信号を示す図であり、図６（ｂ）は一対の像信号をプラス方向にシフトした状態を示す図である。また、図６（ｃ）は一対の像信号をマイナス方向にシフトした状態を示す図である。

図６において、実線６０１は一対の像信号の一方（像信号Ａ）を示し、破線６０２は他方（像信号Ｂ）を示す。そして、図６（ａ）においては、シフト前の像信号ＡおよびＢがさめされており、図６（ｂ）には、像信号ＡおよびＢを図６（ａ）に示す状態からプラス方向にシフトした状態が示されている。そして、図６（ｃ）には、像信号ＡおよびＢを図６（ａ）に示す状態からマイナス方向にシフトした状態が示されている。

再び図４を参照して、ＡＦ信号処理部２０４は、一対の像信号を１画素（１ビット）ずつ相対的にシフトさせつつ、これら一対の像信号について相関量を算出する（ステップＳ４０２）。ここでは、ＡＦ信号処理部２０４は測距領域５０２に設定した複数の画素ライン（以下走査ラインという）の各々において、図６（ｂ）および図６（ｃ）に示すように像信号６０１および６０２の双方を矢印の方向に１ビットずつシフトする。これによって、ＡＦ信号処理部２０４は一対の像信号６０１および６０２の１ビット毎の相関量を算出して、これら相関量を加算平均することによって１つの平均相関量を求める。

なお、相関量を算出する際には、一対の像信号を１画素ずつ相対的にシフトさせるようにしたが、例えば、２画素ずつ相対的にシフトさせるなど複数の画素単位でシフトするようにしてもよい。さらには、走査ライン毎の相関量を加算平均することによって平均相関量を算出するようにしたが、例えば、まず走査ライン毎の一対の像信号について加算平均を行う。その後、加算平均した一対の像信号について相関量を求めるようにしてもよい。

いま、シフト量をｉ（ｉは１以上の整数）とし、最小シフト量をｐ－ｓとする。また、最大シフト量をｑ－ｔとし、ｘを測距領域５０２の開始座標とし、ｙを測距領域５０２の終了座標とする。この際、相関量ＣＯＲは以下の式（１）によって求めることができる。

図７は、図１に示すＡＦ信号処理部によって行われる相関演算の際のシフト量と相関量との関係を説明するための図である。そして、図７（ａ）はシフト量と相関量との関係を示す図であり、図７（ｂ）は相関変化量に応じて得られるよって像ぶれ量を示す図である。

図７（ａ）において、横軸はシフト量を示し、縦軸は相関量ＣＯＲを示す。シフト量に応じて変化する相関量７０１において、極値７０２および７０３の付近のうちより小さい相関量に対応するシフト量において、一対の像信号ＡおよびＢの一致度が最も高くなる。

ＡＦ信号処理部２０４は、ステップＳ４０２で求めた平均相関量に基づいて相関変化量を算出する（ステップＳ４０３）。例えば、ＡＦ信号処理部２０４は、図７（ａ）に示す相関量７０１における１シフトおきの相関量の差を相関変化量として算出する。

いま、図７（ａ）に示すように、相関量７０１において、シフト量をｉ、最小シフト量をｐ－ｓ、最大シフト量をｑ－ｔとすると、相関変化量ΔＣＯＲは以下の式（２）によって算出することができる。

図７（ｂ）に示す例では、相関量７０４において、シフト量（ｋ－２）とシフト量ｋとの差である相関変化量｜ΔＣＯＲ［ｋ－１］｜を求める例が示されている。さらに、シフト量（ｋ－１）とシフト量（Ｋ＋１）との差である相関変化量｜ΔＣＯＲ［ｋ］｜を求める例が示されている。なお、ｆｎｃ｜ｖ｜は相関量７０４の極小値である。

続いて、ＡＦ信号処理部２０４は、ステップＳ４０３で求めた相関変化量を用いて像ずれ量を算出する（ステップＳ４０４）。

図８は、図１に示すＡＦ信号処理部２０４で行われる像ずれ量の算出を説明するための図である。そして、図８（ａ）はシフト量と相関変化量との関係を示す図であり、図８（ｂ）は整数部分の算出を示す図である。

図８（ａ）には、シフト量ｉと相関変化量ΔＣＯＲとの関係が示されており、横軸はシフト量を示し、縦軸は相関変化量ΔＣＯＲを示す。シフト量に応じて変化する相関変化量８０１は、参照番号８０２および８０３で示す部分でプラスからマイナスになる。相関変化量が０となる状態をゼロクロスと呼び、一対の像信号ＡおよびＢの一致度が最も高くなる。よって、ゼロクロスが得られるシフト量が像ずれ量となる。

図８（ｂ）には、図８（ａ）に参照番号８０２で示す部分が拡大して示されている。部分８０４は相関変化量８０１の一部分である。ゼロクロスが得られるシフト量（ｋ－１＋α）は、整数部分β（＝ｋ－１）と小数部分αとに分けられる。小数部分αは、図中の三角形ＡＢＣと三角形ＡＤＥとの相似の関係から、以下の式（３）によって算出することができる。

そして、整数部分βは、図８（ｂ）から以下の式（４）によって算出することができる。

β＝ｋ－１（４）
つまり、αとβとの和から像ずれ量ＰＲＤを算出することができる。図８（ａ）に示す相関変化量ΔＣＯＲのゼロクロスが複数存在する場合には、相関変化量ΔＣＯＲの変化の急峻性が大きい方を第１のゼロクロスとする。この急峻性はＡＦの行い易さを示す指標であって、急峻性の値が大きい程、精度よくＡＦを行うことができる。急峻性ｍａｘｄｅｒは、以下の式（５）によって算出することができる。

図示の例では、相関変化量のゼロクロスが複数存在する場合には、その急峻性によって第１のゼロクロスを決定し、当該第１のゼロクロスを与えるシフト量を像ずれ量とする。

続いて、ＡＦ信号処理部２０４は、ステップＳ４０４の処理で求めた像ずれ量を用いてデフォーカス量を算出する（ステップＳ４０５）。そして、カメラ制御部２１２は当該デフォーカス量を焦点検出情報としてメモリ回路２１５に記憶する（ステップＳ４０６）。なお、ここでは、焦点検出領域におけるデフォーカス量の他に、像信号ＡおよびＢを得た時刻（撮影時刻）と像面速度とが焦点検出情報としてメモリ回路２１５に記憶される。その後、カメラ制御部２１２は焦点検出処理を終了する。

図９は、図３に示す撮影前予測処理を説明するためのフローチャートである。

撮影前予測処理では、過去の複数の像面位置とその撮影時刻の変化とに基づいて、将来の像面位置を予測する。なお、将来の像面位置の予測手法については、特許文献３に記載されているが、ここでは、統計演算によって予測を行う例について説明する。

カメラ制御部２１２において、予測部２１２４は、被写体検出部２１２１によって検出された顔領域において、ＡＦ信号処理部２０４によって検出された位相差に基づいてデフォーカス量を算出する（ステップＳ９０１）。そして、予測部２１２４は当該デフォーカス量に対応する像面位置とその撮影時刻を算出する（ステップＳ９０２）。一般に、撮像素子２０１から像信号が得られるまでにはある程度の電荷の蓄積時間を必要とする。このため、ここでは、蓄積開始時刻と終了時刻との中点を撮影時刻として、フォーカスレンズ１０３の相対的な繰り出し量にデフォーカス量を加算して、被写体の像面位置を求める。

その後、予測部２１２４は当該像面位置と撮影時刻との組を像面データとして、メモリ回路２１５に格納する（ステップＳ９０３）。メモリ回路２１５に格納された像面データに係るデータ構造はキューとなっている。よって、予め定められた数までは順にメモリ回路２１５に格納されるが、予め定められた数を超えると、最も古い像面データに最新の像面データが上書きされる。

続いて、予測部２１２４はメモリ回路２１５に格納された像面データの数が統計演算可能な数であるか否かを判定する。つまり、予測部２１２４はメモリ回路２１５に格納された像面データの数が統計演算に十分であるか否かを判定する（ステップＳ９０４）。

像面データの数が統計演算に十分である場合には（ステップＳ９０４において、ＹＥＳ）、予測部２１２４は統計演算によって予測式を決定する（ステップＳ９０５）。ステップＳ９０５における予測式の決定は特許文献３に記載されているので説明を省略するが、下記の式（６）に示すように、予測関数ｆ（ｔ）において重回帰分析によって係数α、β、およびγを統計的に決定する。なお、式（６）に示すｎは複数の代表的な動体予測撮影シーンのサンプルについて予測を行った際に、その予測誤差が最小となる値である。

ｆ（ｔ）＝α＋βｔ＋γｔｎ（６）
続いて、予測部２１２４は、予測式を用いて、メモリ回路２１５に格納された像面データの履歴に応じて予め定められた将来時刻における像面位置を予測する。そして、予測部２１２４はフォーカスレンズ１０３を予測した像面位置に合焦するために必要なレンズ駆動量を求める（ステップＳ９０６）。その後、予測部２１２４は撮影前予測処理を終了する。

一方、像面データの数が統計演算に十分でない場合には（ステップＳ９０４において、ＮＯ）、予測部２１２４は統計演算によらず、前述のデフォーカス量に基づいてレンズ駆動量を算出する（ステップＳ９０７）。そして、予測部２１２４は撮影前予測処理を終了する。

なお、図９に示す処理は、器官検出部２１２２で検出された器官領域に対しても行われる。

図１０は、図３に示す選択処理を説明するためのフローチャートである。

カメラ制御部１２１において、選択部２１２６は、被写体検出部２１２１によって検出された顔領域の像面速度（顔像面速度）と器官検出部２１２２によって検出された器官領域の像面速度（器官像面速度）を取得する（ステップＳ１００１）。そして、選択部２１２６は顔領域の大きさを取得する（ステップＳ１００２）。

なお、以下の説明では、被写体検出部２１２１によって検出された顔領域の大きさを用いるが、器官検出部２１２２によって検出された器官領域の大きさを用いるようにしてもよい。

続いて、選択部２１２６は顔像面速度およびと顔領域の大きさに基づいて、顔像面速度の差分閾値Ｔｈを決定する（ステップＳ１００３）。

図１１は、図１に示す選択部で行われる差分閾値の決定手法の一例を説明するための図である。

選択部２１２６は、図１１に示す閾値決定テーブルを有している。当該閾値決定テーブルを用いて、選択部２１２６は差分閾値Ｔｈを顔サイズＳと顔像面速度Ｖとの組み合わせによって決定する。

図示の閾値決定テーブルでは、顔サイズＳは閾値（１）および（２）（（１）＜（２））によって規定され、像面速度Ｖは閾値ＩおよびII（Ｉ＞II）によって規定される。例えば、あるタイミングで取得した顔サイズ（顔領域の大きさ）Ｓ１がＳ１＜（１）で、顔像面速度Ｖ１はＶ１＜IIであるとする。この場合、図１１に示すように、Ｓ＜（１）とII＞Ｖの交点であるＣを差分閾値Ｔｈに決定する。なお、Ａ＞Ｂ＞Ｃ＞Ｄ＞Ｅとする。つまり、検出された顔領域の大きさが大きい程、予測された顔像面速度が小さい程、差分閾値Ｔｈは小さくなる。

続いて、選択部２１２６は顔像面速度と器官像面速度との差分が差分閾値Ｔｈ以下であるか否かを判定する（ステップＳ１００４）。差分が差分閾値Ｔｈ以下（閾値以下）である場合（ステップＳ１００４において、ＹＥＳ）、選択部２１２６は像面速度の差分が差分閾値Ｔｈ以下である回数をカウントする（ステップＳ１００５）。そして、選択部２１２６はその回数が所定の回数以上であるか否かを判定する（ステップＳ１００６）。

当該回数が所定の回数以上である場合（ステップＳ１００６において、ＹＥＳ）、選択部２１２６は器官検出領域で求められた像面位置にファーカスレンズ１０３を駆動することを選択する（ステップＳ１００７）。つまり、選択部２１２６は、像面速度の差分が閾値以下の期間が所定の時間継続すると、器官検出領域で求められた像面位置を、将来の時点において焦点を合わせる予測像面位置として選択する。そして、選択部２１２６は、顔検出領域で求められた像面位置と器官検出領域で求められた像面位置との差分（位置差分）を求める（ステップＳ１００８）。

続いて、選択部２１２６は、当該位置差分をメモリ回路２１５に格納する（ステップＳ１００９）。そして、選択部２１２６は選択処理を終了する。なお、位置差分は、直近の差分又は所定の期間において求められた位置差分の平均値などであけばよい。

上記の回数が所定の回数未満である場合（ステップＳ１００６において、ＮＯ）、選択部２１２６はメモリ回路２１５に格納された位置差分が存在するか否かを判定する（ステップＳ１０１０）。位置差分が存在する場合（ステップＳ１０１０において、ＹＥＳ）、選択部２１２６は顔領域の像面位置とメモリ回路２１５に格納された位置差分とを用いて、器官領域の像面位置に相当する予測像面位置を求める。そして、選択部２１２６は当該予測像面位置にフォーカスレンズ１０３を駆動することを選択する（ステップＳ１０１１）。その後、選択部２１２６は選択処理を終了する。

一方、位置差分が存在しない場合（ステップＳ１０１０において、ＮＯ）、選択部２１２６は顔領域で求めた像面位置にフォーカスレンズ１０３を駆動することを選択する（ステップＳ１０１２）。そして、選択部２１２６は選択処理を終了する。

なお、図示はしないが、カメラ制御部２１２は表示制御部２０５を制御して、表示部２０６に焦点調節を行うためのＡＦフレームを表示する。そして、カメラ制御部２１２は将来の時点において焦点を合わせる予測像面位置を選択した際には、当該選択した予測像面位置に応じてＡＦフレームを表示する。つまり、カメラ制御部２１２は、前述のようにして顔領域又は器官領域のいずれかを焦点調節を行う領域として選択して、当該選択した領域にＡＦフレームを位置づける。

このように、本発明の実施の形態では、顔領域および器官領域の像面速度を比較して、当該比較結果に基づいて顔領域および器官領域に係る像面予測位置のいずれにフォーカスレンズを駆動するかを選択する。これによって、安定的にしかも精度よく焦点調節を行うことができる。つまり、本発明の実施の形態では、顔ＡＦと瞳ＡＦとの切り替わりの際においても、安定してしかも精度よく焦点調節を行うことができる。

なお、図１において、少なくともＡＦ信号処理部２０４、カメラ制御部２１２、メモリ回路２１５、レンズ制御部１０６、およびフォーカスレンズ駆動部１０５が焦点調節装置を構成する。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を焦点調節装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを焦点調節装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０レンズユニット
１０３フォーカスレンズ
１０６レンズ制御部
２０カメラ本体
２０１撮像素子
２０４ＡＦ信号処理部
２１２カメラ制御部
２１２１被写体検出部
２１３カメラ操作部
２１５メモリ回路

Claims

光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出手段と、
前記第１の領域に含まれる所定の部位を第２の領域として検出する第２の検出手段と、
前記第１の領域および前記第２の領域において像面位置を検出する第３の検出手段と、
前記第３の検出手段によって検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測手段と、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御手段と、
を有し、
前記制御手段は、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、
前記制御手段は、前記閾値を、前記第１の領域の大きさ又は前記第２の領域の大きさによって決定することを特徴とする焦点調節装置。
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出手段と、
前記第１の領域に含まれる所定の部位を第２の領域として検出する第２の検出手段と、
前記第１の領域および前記第２の領域において像面位置を検出する第３の検出手段と、
前記第３の検出手段によって検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測手段と、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御手段と、
を有し、
前記制御手段は、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、
前記制御手段は、前記閾値を、前記第１の領域における像面速度又は前記第２の領域における像面速度に応じて決定することを特徴とする焦点調節装置。
前記制御手段は、前記差分が前記閾値以下の場合、前記第２の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択することを特徴とする請求項１又は２に記載の焦点調節装置。
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出手段と、
前記第１の領域から所定の部位を第２の領域として検出する第２の検出手段と、
前記第１の領域および前記第２の領域において像面位置を検出する第３の検出手段と、
前記第３の検出手段によって検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測手段と、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御手段と、
を有し、
前記制御手段は、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、前記差分が閾値以下の期間が所定の時間継続すると、前記第２の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択することを特徴とする焦点調節装置。
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出手段と、
前記第１の領域から所定の部位を第２の領域として検出する第２の検出手段と、
前記第１の領域および前記第２の領域において像面位置を検出する第３の検出手段と、
前記第３の検出手段によって検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測手段と、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御手段と、
を有し、
前記制御手段は、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、前記差分が前記閾値以下の場合、前記第２の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、前記第２の領域における予測像面位置を前記将来の時点において焦点を合わせる予測像面位置として選択した際、前記第１の領域における予測像面位置と前記第２の領域における予測像面位置との差分をメモリに格納することを特徴とする焦点調節装置。
前記制御手段は、前記第１の領域における予測像面位置を前記将来の時点において焦点を合わせる予測像面位置として選択した際、前記メモリに格納した差分に基づいて、前記第２の領域における予測像面位置を予測することを特徴とする請求項５に記載の焦点調節装置。
前記制御手段は、前記メモリに格納した差分に基づいて予測された前記第２の領域における予測像面位置に焦点を合わせることを特徴とする請求項６に記載の焦点調節装置。
前記第１の領域は顔領域であり、前記第２の領域は、前記顔領域に含まれる器官であることを特徴とする請求項１乃至７のいずれか１項に記載の焦点調節装置。
前記制御手段は、前記画像が表示される表示部に焦点調節を行うためのＡＦフレームを表示し、前記将来の時点において焦点を合わせる予測像面位置を選択した際、当該選択した予測像面位置に応じて前記ＡＦフレームを表示することを特徴とする請求項１乃至８のいずれか１項に記載の焦点調節装置。
請求項１乃至９のいずれか１項に記載の焦点調節装置と、
前記フォーカスレンズを介して結像した光学像に応じた画像を出力する撮像手段と、
を有することを特徴とする撮像装置。
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置の制御方法であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出ステップと、
前記第１の領域から所定の部位を第２の領域として検出する第２の検出ステップと、
前記第１の領域および前記第２の領域において像面位置を含む焦点位置を検出する第３の検出ステップと、
前記第３の検出ステップで検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測ステップと、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御ステップと、
を有し、
前記制御ステップでは、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、
前記制御ステップでは、前記閾値を、前記第１の領域の大きさ又は前記第２の領域の大きさによって決定することを特徴とする制御方法。
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置の制御方法であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出ステップと、
前記第１の領域に含まれる所定の部位を第２の領域として検出する第２の検出ステップと、
前記第１の領域および前記第２の領域において像面位置を含む焦点位置を検出する第３の検出ステップと、
前記第３の検出ステップで検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測ステップと、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御ステップと、
を有し、
前記制御ステップでは、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、
前記制御ステップでは、前記閾値を、前記第１の領域における像面速度又は前記第２の領域における像面速度に応じて決定することを特徴とする制御方法。
光軸に沿って移動可能なフォーカスレンズを移動させて焦点調節を行う焦点調節装置の制御方法であって、
前記フォーカスレンズを介して入射した光学像に応じて得られた画像において被写体の所定の部分を第１の領域として検出する第１の検出ステップと、
前記第１の領域から所定の部位を第２の領域として検出する第２の検出ステップと、
前記第１の領域および前記第２の領域において像面位置を含む焦点位置を検出する第３の検出ステップと、
前記第３の検出ステップで検出された像面位置の履歴に基づいて、将来の所定の時点における像面位置を予測像面位置として予測する予測ステップと、
前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とに応じて、前記第１の領域に係る予測像面位置と前記第２の領域に係る予測像面位置とから前記将来の時点において焦点を合わせる予測像面位置を選択して、当該選択した予測像面位置に前記フォーカスレンズを駆動する制御ステップと、
を有し、
前記制御ステップでは、前記第１の領域における像面速度と前記第２の領域における像面速度との差分が所定の閾値を超える場合、前記第１の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択し、前記差分が閾値以下の期間が所定の時間継続すると、前記第２の領域における予測像面位置を、前記将来の時点において焦点を合わせる予測像面位置として選択することを特徴とする制御方法。
コンピュータを、請求項１乃至９のいずれか１項に記載された焦点調節装置の各手段として機能させるためのプログラム。
コンピュータを、請求項１乃至９のいずれか１項に記載された焦点調節装置の各手段として機能させるためのプログラムを格納したコンピュータが読み取り可能な記憶媒体。