JP5787634B2

JP5787634B2 - 撮像装置

Info

Publication number: JP5787634B2
Application number: JP2011132710A
Authority: JP
Inventors: 正晃上西
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-08-09
Filing date: 2011-06-14
Publication date: 2015-09-30
Anticipated expiration: 2031-06-14
Also published as: CN102377942B; US20120033127A1; JP2012058724A; CN102377942A

Description

本発明は、デジタルカメラ及びビデオカメラ等の撮像装置に利用されるオートフォーカス技術に関するものである。

従来より映像信号中の色情報や輝度情報に基づいて動体を追尾する技術が提案されている。その際、追尾している動体にピントを合わせ続けることがユーザーにより求められている。

例えば、特許文献１では、指定した対象被写体の移動に追従するようにＡＦエリアの範囲を変更するオートフォーカス装置が提案されている。また、特許文献２では、複数の測距領域を設定し、各焦点評価値に基づいて選択した測距領域の焦点評価値を加算することで、高精度な測距を可能とする自動焦点調節装置が提案されている。また、特許文献３では、同じ映像信号から、被写体の追尾領域を判断し、その領域の特定周波数成分を用いてＡＦ制御する動体追尾装置が提案されている。

特開２００５−３３８３５２号公報特開２００５−１４１０６８号公報特開平５−１４５８２２号公報

しかしながら、特許文献１では、例えば図８（Ａ）に示すように追尾領域（ａ）の中に背景などの対象被写体以外のものを含んでしまった場合に、背景にピントが合ってしまうなど、対象被写体にピントを合わせられない場合があるという問題がある。

また、特許文献２では、画面全体を動くような動体を想定してピントを合わせ続けようとすると、画面全体に測距領域を設定する必要があり、処理時間が多大にかかってしまうという問題がある。

また、特許文献３では、被写体領域を判断したあとにその領域の特定周波数成分を算出してＡＦ制御しなければならないため、処理時間が多大にかかってしまうという問題点がある。

本発明は上述した課題に鑑みてなされたものであり、その目的は、できるだけ短い処理時間で、ユーザーが指定した被写体を追尾して、その被写体にピントを合わせ続けられるようにすることである。

本発明に係わる撮像装置は、撮像光学系により結像された被写体像を光電変換する撮像素子と、前記撮像素子の出力信号から得られた画像の色情報および輝度情報の少なくとも一方に基づいて、前記撮像素子の画面上における、焦点を合わせようとする対象被写体の存在する領域である被写体領域を検出する検出手段と、前記検出手段により検出された前記被写体領域を基準として、前記撮像光学系の合焦状態を検出するための領域である複数の焦点検出領域を設定する設定手段と、前記複数の焦点検出領域のそれぞれから得られた焦点評価値に基づいて、前記複数の焦点検出領域の中から前記対象被写体が存在する焦点検出領域を選択する選択手段と、前記選択手段により選択された焦点検出領域における前記撮像素子の出力信号に基づいて、前記撮像光学系を移動させて焦点調節を行う焦点調節手段と、を備え、前記設定手段は、前記検出手段によって検出された前記被写体領域よりも広い範囲にわたって配置されるように前記複数の焦点検出領域を設定し、前記選択手段は、前記検出手段によって検出された前記被写体領域にかかる焦点検出領域であっても、前記焦点評価値が所定の条件を満たさない焦点検出領域であれば選択しないことを特徴とする。
また、本発明に係わる撮像装置は、撮像光学系により結像された被写体像を光電変換する撮像素子と、前記撮像素子の出力信号から得られた第１のフレームの画像の色情報および輝度情報の少なくとも一方に基づいて、前記撮像素子の画面上における、焦点を合わせようとする対象被写体の存在する領域である被写体領域を検出する検出手段と、前記検出手段により検出された前記被写体領域を基準として、前記撮像光学系の合焦状態を検出するための領域である複数の焦点検出領域を設定する設定手段と、前記第１のフレームの画像よりも後に得られた第２のフレームの画像の前記複数の焦点検出領域における被写体の色情報および輝度情報の少なくとも一方に基づいて、前記複数の焦点検出領域の中から前記対象被写体が存在する焦点検出領域を選択する選択手段と、前記選択手段により選択された焦点検出領域における前記撮像素子の出力信号に基づいて、前記撮像光学系を移動させて焦点調節を行う焦点調節手段と、を備え、前記設定手段は、前記検出手段によって検出された前記被写体領域よりも広い範囲にわたって配置されるように前記複数の焦点検出領域を設定し、前記選択手段は、前記検出手段によって検出された前記被写体領域にかかる焦点検出領域であっても、前記色情報および輝度情報の少なくとも一方が所定の条件を満たさない焦点検出領域であれば選択しないことを特徴とする。

本発明によれば、できるだけ短い処理時間で、ユーザーが指定した被写体を追尾して、その被写体にピントを合わせ続けることが可能となる。

本発明の第１の実施形態に係わる撮像装置の構成を示すブロック図。本発明の第１の実施形態の撮像装置の動作を表すフローチャート。図２における追尾中ＡＦ動作を説明するフローチャート。図２における合焦判定動作を説明するフローチャート。図３における合焦判定を説明する図。図３における枠選択及びフォーカス移動を説明するフローチャート。図２における通常ＡＦ動作を説明するフローチャート。図３における複数のＡＦ枠設定を説明する図。図２における追尾中ＡＦ動作の第２の実施形態を説明するフローチャート。図９における複数のＡＦ枠設定を説明する図。

（第１の実施形態）
以下、図１〜図８を参照しながら本発明の第１の実施形態について説明する。図１は本発明の撮像装置の第１の実施形態としてのデジタルカメラの構成を示すブロック図である。

図１において、１０１はズーム機構を含む撮影レンズ（撮像光学系）、１０２は光量を制御する絞り及びシャッター、１０３はＡＥ処理部、１０４は後述する撮像素子１０６上に焦点を合わせるためのフォーカスレンズ、１０５はＡＦ処理部である。１０６は撮影レンズ１０１により結像された被写体からの反射光（被写体像）を電気信号に変換し、画像信号を出力信号として出力する受光手段又は光電変換手段としての撮像素子である。１０７は撮像素子１０６の出力ノイズを除去するＣＤＳ回路やＡ／Ｄ変換前に行う非線形増幅回路を含むＡ／Ｄ変換部である。１０８は画像処理部、１０９はフォーマット変換部、１１０は高速な内蔵メモリ（例えばランダムアクセスメモリなどで、以下ＤＲＡＭと記す）、１１１はメモリーカードなどの記録媒体とそのインターフェースからなる画像記録部である。

１１２は撮影シーケンスなどシステムを制御するシステム制御部（以下、ＣＰＵと記す）、１１３は画像表示用メモリ（以下、ＶＲＡＭと記す）である。１１４は画像表示の他、操作補助のための表示やカメラ状態の表示を行うとともに、撮影時には撮影画面と、追尾領域または測距領域を表示する画像表示部である。１１５はカメラを外部から操作するための操作部、１１６は追尾ＡＦモードなどを選択するための撮影モードスイッチ、１１７はシステムに電源を投入するためのメインスイッチである。１１８はＡＦやＡＥ等の撮影スタンバイ動作を行うためのスイッチ（以下、ＳＷ１と記す）、１１９はＳＷ１の操作後、撮影を行う撮影スイッチ（以下、ＳＷ２と記す）である。

ＤＲＡＭ１１０は一時的な画像記憶手段としての高速バッファとして、あるいは画像の圧縮伸張における作業用メモリなどとして使用される。操作部１１５は、例えば次のようなものが含まれる。撮像装置の撮影機能や画像再生時の設定などの各種設定を行うメニュースイッチ、撮影レンズのズーム動作を指示するズームレバー、撮影モードと再生モードの動作モード切換えスイッチ、画像の特定位置を指示するためのタッチパネルや選択ボタンなどである。１２０は、操作部１１５により、画面内（画面上）の任意の被写体が選択されたときに、画像処理部１０８により処理された映像信号中の色情報や輝度情報によりその被写体を検出して追尾する被写体追尾部である。被写体追尾部１２０は、例えば、選択した被写体領域に含まれる色情報および輝度情報の少なくとも一方を記憶し、この記憶した情報を用いて、被写体を選択した画像とは別の画像から、選択した被写体領域と最も相関の高い領域を抽出するものである。なお、被写体追尾部１２０は、選択した被写体を検出する際に、焦点評価値を用いることはない
以下、本発明の第１の実施形態のデジタルカメラの動作について図２〜図８を用いて詳細に説明する。

図２において、Ｓ２０１では、ユーザーが操作部１１５により画面内の任意の被写体を選択することによって追尾動作中となっているかどうかを調べ、追尾動作中であればＳ２０２へ進み、そうでなければＳ２０３へ進む。ここで、撮影モードスイッチ１１６により、追尾ＡＦモードが選択されているときのみ追尾動作を可能にしてもよい。

Ｓ２０２では、後述する追尾中ＡＦ動作を行ってＳ２０３へ進む。Ｓ２０３では、スイッチＳＷ１の状態を調べ、ＯＮであればＳ２０４へ進み、ＯＮでなければＳ２０１へ戻る。Ｓ２０４では、後述する合焦フラグがＴＲＵＥかどうかを調べ、ＴＲＵＥであればＳ２０６へ進み、ＴＲＵＥでなければＳ２０５へ進む。Ｓ２０５では、後述する通常ＡＦ動作を行う。

Ｓ２０６では、後述する追尾中ＡＦ動作を行ってＳ２０７へ進む。Ｓ２０７ではスイッチＳＷ１の状態を調べ、ＯＮであればＳ２０８へ進み、ＯＮでなければＳ２０１へ戻る。Ｓ２０８ではスイッチＳＷ２の状態を調べ、ＯＮであればＳ２０９へ進み、ＯＮでなければＳ２０６へ戻る。Ｓ２０９では、撮影動作を行った後Ｓ２０１へ戻る。

図３は、図２におけるＳ２０２及びＳ２０６の追尾中ＡＦ動作を説明するフローチャートである。まず、Ｓ３０１では、現在位置を中心にスキャン範囲（１）を設定してＳ３０２へ進む。ここで、スキャン範囲（１）は、ピント変動によりライブ画像の見栄えが悪化しないように考慮して、ＡＦ精度が確保できる範囲で、できるだけ微小な範囲とする。

Ｓ３０２では、Ｓ３０１で決定したスキャン範囲（１）に基づいたスキャン開始位置へフォーカスレンズ１０４を移動させてＳ３０３へ進む。Ｓ３０３では、被写体追尾部１２０で得られる現在の追尾被写体領域の中心位置や追尾被写体領域の大きさなどの追尾情報を取得してＳ３０４へ進む。Ｓ３０４では、Ｓ３０３で取得した追尾情報を基準として、複数のＡＦ枠（焦点検出領域）を設定してＳ３０５へ進む。

ここで、複数のＡＦ枠の設定の仕方を図８（Ｂ）を用いて詳細に説明する。複数のＡＦ枠は、Ｓ３０３で取得した追尾領域（図８（Ｂ）の（ａ））の中心位置を中心として、（ｂ）に示すようにＮ×Ｍ個を設定する（図８（Ｂ）ではＮ＝３、Ｍ＝３）。各ＡＦ枠のサイズは、ＡＦ精度が確保できる範囲で、ピントが背景に行かないようにするためにできるだけ小さいサイズで設定する。従って、各ＡＦ枠のサイズは、追尾被写体領域として設定可能な最小サイズよりも小さいものとなる。また、被写体から追尾領域が外れてしまった場合にも被写体にピントを合わせられるようにするために、追尾領域よりも複数のＡＦ枠を設定する全範囲の方が広くなるように設定する。

Ｓ３０５では、ＣＰＵ１１２は、Ｓ３０４で設定した複数のＡＦ枠のうちの各ＡＦ枠において現在のフォーカスレンズ位置における合焦状態を示す焦点評価値を、ＤＲＡＭ１１０へ記憶させて、Ｓ３０６へ進む。Ｓ３０６ではフォーカスレンズ１０４の現在位置を取得してＣＰＵ１１２がその現在位置のデータをＤＲＡＭ１１０へ記憶させてＳ３０７へ進む。Ｓ３０７ではＣＰＵ１１２がフォーカスレンズ１０４の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはＳ３０９へ進み、そうでなければＳ３０８へ進む。

Ｓ３０８では、ＡＦ処理部１０５がフォーカスレンズ１０４をスキャン終了方向へ向かって所定量だけ移動させた後、Ｓ３０３に戻る。Ｓ３０９ではＳ３０５で取得した焦点評価値がピークとなる合焦位置を算出してＳ３１０へ進む。Ｓ３１０では、後述する合焦判定を行い、Ｓ３１１へ進む。Ｓ３１１では、後述する枠選択及びフォーカス移動を行い、本処理を終了する。

以下、図３におけるＳ３１０の合焦判定のサブルーチンについて図４、図５を用いて説明する。

焦点評価値は遠近競合などの場合を除けば、横軸にフォーカスレンズ位置、縦軸に焦点評価値をとると、その形は図５に示すような山状になる。そこで焦点評価値の、最大値と最小値の差、一定値（ＳｌｏｐｅＴｈｒ）以上の傾きで傾斜している部分の長さ、傾斜している部分の勾配から、山の形状を判断することにより、合焦判定を行うことができる。

合焦判定における判定結果は、以下に示すように○判定、×判定で出力される。
○判定：被写体のコントラストが十分、かつスキャンした距離範囲内の距離に被写体が存在する。
×判定：被写体のコントラストが不十分、もしくはスキャンした距離範囲外の距離に被写体が位置する。

また、×判定のうち、至近側方向のスキャンした距離範囲外に被写体が位置する場合を△判定とする。

図４は、図３におけるＳ３１０の合焦判定を説明するフローチャートである。まず、Ｓ４０１では、焦点評価値の最大値と最小値を求め、次にＳ４０２では焦点評価値が最大となるスキャンポイントを求め、Ｓ４０３へ進む。Ｓ４０３では、スキャンポイント、焦点評価値から、山の形状を判断するためのＬ、ＳＬ（図５参照）を求め、Ｓ４０４へ進む。

Ｓ４０４では、山の形状が至近側登り止まりかどうかを判断する。至近側登り止まりだと判断するのは、焦点評価値が最大値となるスキャンポイントがスキャンを行った所定範囲における近端（距離情報）であり、かつ近端のスキャンポイントにおける焦点評価値の値と、近端のスキャンポイントより１ポイント分無限遠寄りのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。至近側への登り止まりだと判断した場合はＳ４０９へ進み、そうでなければＳ４０５へ進む。

Ｓ４０５では山の形状が無限遠側への登り止まりかを判断する。無限遠側への登り止まりだと判断するのは、焦点評価値の最大値となるスキャンポイントがスキャンを行った所定範囲における無限遠端であり、かつ無限遠端スキャンポイントにおける焦点評価値の値と、無限遠端スキャンポイントより１ポイント分至近端寄りのスキャンポイントにおける焦点評価値の値の差が、所定値以上である場合である。無限遠側への登り止まりだと判断した場合は、Ｓ４０８へ進み、そうでなければＳ４０６へ進む。

Ｓ４０６では一定値以上の傾きで傾斜している部分の長さＬが所定値以上であり、かつ傾斜している部分の傾斜の平均値ＳＬ／Ｌが所定値以上であり、かつ焦点評価値の最大値（Ｍａｘ）と最小値（Ｍｉｎ）の差が所定値以上であれば、Ｓ４０７へ進む。そうでなければＳ４０８へ進む。

Ｓ４０７では得られた焦点評価値が山状となっていて、被写体にコントラストがあり、焦点調節が可能であるため、判定結果を○判定としている。Ｓ４０８では、得られた焦点評価値が山状となっておらず、被写体にコントラストがなく、焦点調節が不可能であるため判定結果を×判定としている。Ｓ４０９では得られた焦点評価値が山状となってはいないが、近端方向に登り続けている状態となっており、さらに至近側に被写体ピークが存在している可能性があるため判定結果を△判定としている。以上のようにして、合焦判定を行う。

図６は、図３におけるＳ３１１の枠選択及びフォーカス移動について説明するフローチャートである。まず、Ｓ６０１では、複数のＡＦ枠の中で△判定の枠があるかどうかを調べ、△判定の枠があればＳ６０２へ進み、なければＳ６０４へ進む。Ｓ６０２では、△判定の枠を選択してＳ６０３へ進む。ここで、△判定の枠が複数あった場合は、焦点評価値のピーク位置が最も至近である枠を選択する。さらに、その中でも焦点評価値のピーク位置が同じ枠が複数あった場合のために、枠選択の優先度を予め決めておく。

Ｓ６０４では、複数のＡＦ枠の中で○判定の枠があるかどうかを調べ、○判定の枠があればＳ６０５へ進み、なければＳ６０７へ進む。Ｓ６０５では、○判定の枠のうち焦点評価値のピーク位置が最も至近である枠を選択してＳ６０６へ進む。さらに、その中でも焦点評価値のピーク位置が同じ枠が複数あった場合のために、選択の優先度を予め決めておく。Ｓ６０６では、合焦フラグをＴＲＵＥにしてＳ６０３へ進む。

Ｓ６０７では、設定した複数のＡＦ枠の中央枠を選択してＳ６０８へ進む。Ｓ６０８では、Ｓ３０１で設定したスキャン範囲（１）の中心位置へフォーカスレンズ１０４を移動して本処理を終了する。

例えば、複数のＡＦ枠の合焦判定結果が、図８（Ｃ）のような結果になった場合は、中段左の△判定枠が選択され、その枠の焦点評価値ピーク位置にフォーカスが駆動される。

図７は、図２のＳ２０５における通常ＡＦ動作を説明するフローチャートである。Ｓ７０１では、撮影可能な距離範囲の全域を対象としたスキャン範囲（２）を設定してＳ７０２へ進む。Ｓ７０２では、操作部１１５により画面内の任意の被写体が選択されることによって追尾動作中となっているかどうかを調べ、追尾動作中であればＳ７０３へ進み、そうでなければＳ７０５へ進む。Ｓ７０３では、被写体追尾部１２０で得られる現在の追尾領域の中心位置や追尾領域の大きさなどの追尾情報を取得してＳ７０４へ進む。Ｓ７０４では、Ｓ７０３で取得した追尾情報に基づいてＡＦ枠を設定してＳ７０６へ進む。ここで、ＡＦ枠は１枠で設定するが、複数のＡＦ枠を設定してもよい。なお、ＡＦ枠を１枠で設定する場合には、ＡＦ枠のサイズを追尾領域よりも大きくしてもよい。

Ｓ７０５では、画面中央にＡＦ枠を設定してＳ７０６へ進む。ここでも、ＡＦ枠は１枠でも複数のＡＦ枠でもどちらでもよい。Ｓ７０６では、Ｓ７０１で決定したスキャン範囲（２）に基づいて、スキャン開始位置へフォーカスレンズ１０４を移動してＳ７０７へ進む。Ｓ７０７では、ＣＰＵ１１２は、Ｓ７０４またはＳ７０５で設定したＡＦ枠において現在のフォーカスレンズ位置における焦点評価値を、ＤＲＡＭ１１０へ記憶させて、Ｓ７０８へ進む。

Ｓ７０８では、フォーカスレンズ１０４の現在位置を取得してＣＰＵ１１２がその現在位置のデータをＤＲＡＭ１１０へ記憶させてＳ７０９へ進む。Ｓ７０９では、ＣＰＵ１１２がフォーカスレンズ１０４の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはＳ７１１へ進み、そうでなければＳ７１０へ進む。Ｓ７１０では、ＡＦ処理部１０５がフォーカスレンズ１０４をスキャン終了方向へ向かって所定量だけ移動させた後、Ｓ７０７に戻る。

Ｓ７１１では、Ｓ７０７で取得した焦点評価値がピークとなる合焦位置を算出してＳ７１２へ進む。Ｓ７１２では、前述した合焦判定を行ってＳ７１３へ進む。Ｓ７１３では、Ｓ７１２の合焦判定で○判定かどうかを調べ、○判定であればＳ７１４へ進み、そうでなければＳ７１５へ進む。Ｓ７１４では、焦点評価値のピーク位置へフォーカスレンズ１０４を移動させて本処理を終了する。Ｓ７１５では、定点へフォーカスレンズを移動して本処理を終了する。

以上説明したように、上記の第１の実施形態によれば、追尾領域の中心位置を中心として、追尾領域よりも広い範囲で複数のＡＦ枠を設定することで、追尾領域の中に背景を含んでしまった場合においても、追尾対象被写体にピントを合わせ続けることができる。

（第２の実施形態）
第２の実施形態では、複数のＡＦ枠の設定のしかたと枠選択のしかたが第１の実施形態とは異なる。以下、図２と図９、図１０を参照しながら、第２の実施形態における追尾中ＡＦ動作について説明する。

図９は、図２におけるＳ２０２及びＳ２０６の追尾中ＡＦ動作の第２の実施形態を説明するフローチャートである。まず、Ｓ９０１では、現在位置を中心にスキャン範囲（１）を設定してＳ９０２へ進む。ここで、スキャン範囲（１）は、ピント変動によりライブ画像の見栄えが悪化しないように考慮して、ＡＦ精度が確保できる範囲で、できるだけ微小な範囲とする。Ｓ９０２では、Ｓ９０１で決定したスキャン範囲（１）に基づいて、スキャン開始位置へフォーカスレンズ１０４を移動してＳ９０３へ進む。Ｓ９０３では、被写体追尾部１２０で得られる追尾情報を取得してＳ９０４へ進む。ここで、追尾情報とは、画面を複数のブロックに分割した中で、色情報や輝度情報により追尾被写体を含むブロックであると判断した領域（以下、追尾被写体領域と記す）のことであり、さらに判断に用いた画像フレームを露光したタイミングと対応付けて記憶しておく。例えば、図１０（Ａ）の（ａ）の実線で囲まれている領域が追尾被写体領域であると判断された場合は、その領域と、判断に用いたフレームの露光タイミングｔ＝ｔ０を対応付けて記憶しておく。

Ｓ９０４では、Ｓ９０３で取得した追尾情報に基づいて、複数のＡＦ枠を設定してＳ９０５へ進む。ここで、複数のＡＦ枠の設定は、例えば、図１０（Ｂ）の（ａ）に示すように、追尾被写体領域（図１０（Ｂ）の（ｂ））の重心位置を中心としてＮ×Ｍ個を設定する（図１０（Ｂ）の（ａ）ではＮ＝７、Ｍ＝７）。この追尾被写体領域（図１０（Ｂ）の（ｂ））は、図１０（Ａ）の（ａ）と同じ領域である。また、各ＡＦ枠は、追尾被写体領域の判断時に使用した画面分割ブロックのサイズや位置に合わせて設定する。

Ｓ９０５では、Ｓ９０４で設定した複数のＡＦ枠の各ＡＦ枠において現在のフォーカスレンズ１０４の位置における焦点評価値を、ＤＲＡＭ１１０へ記憶させて、Ｓ９０６へ進む。ここで、焦点評価値は、焦点評価値を取得した画像フレームを露光したタイミング（例えばｔ＝ｔ１）と対応付けて記憶しておく。Ｓ９０６ではフォーカスレンズ１０４の現在位置を取得してＣＰＵ１１２がその現在位置のデータをＤＲＡＭ１１０へ記憶させてＳ９０７へ進む。

Ｓ９０７では、Ｓ９０３と同様に被写体追尾部１２０で得られる追尾情報を取得してＳ９０８へ進む。例えば、図１０（Ｃ）の（ｂ）の斜線領域が追尾被写体領域であると判断された場合は、その追尾被写体領域と、判断に用いたフレームの露光タイミングｔ＝ｔ１を対応付けて記憶しておく。

Ｓ９０８では、ＣＰＵ１１２がフォーカスレンズ１０４の現在位置がスキャン終了位置と等しいかを調べ、両者が等しい場合にはＳ９１０へ進み、そうでなければＳ９０９へ進む。Ｓ９０９では、ＡＦ処理部１０５がフォーカスレンズ１０４をスキャン終了方向へ向かって所定量だけ移動させた後、Ｓ９０４に戻る。Ｓ９１０では、Ｓ９０５で取得した焦点評価値と、Ｓ９０３及びＳ９０７で取得した追尾情報に基づいて、同一画像フレームにおいて追尾被写体領域と領域が一致するＡＦ枠を選択する。そして、それらの焦点評価値を演算することで新たな焦点評価値を算出してＳ９１１へ進む。

例えば、Ｓ９０４で設定した複数のＡＦ枠が図１０（Ｃ）の（ａ）のように設定されていれば、焦点評価値を取得した画像フレームを露光したタイミングｔ＝ｔ１では、この時点における被写体の位置に関係なく、Ｓ９０４で設定したＡＦ枠における焦点評価値が求められ、記憶される。その後、被写体追尾部１２０がタイミングｔ＝ｔ１の画像フレームから追尾被写体領域（図１０（Ｃ）の（ｂ））を選択すると、記憶した焦点評価値のうち、この新たに選択された追尾被写体領域における焦点評価値を読み出して加算したものを新たな焦点評価値とする。ここで、追尾被写体領域と領域が一致するＡＦ枠が１枠しかないなど、ＡＦ精度が確保できないような場合は、周辺のＡＦ枠を所定数加算して加算値を求めてもよい。

ここで、タイミングｔ＝ｔ１の画像フレームから追尾被写体領域を検出した後に、タイミングｔ＝ｔ１の画像フレームのＡＦ枠における焦点評価値を求める構成としていない理由について説明する。被写体追尾部１２０は、画像から輝度情報および色情報の少なくとも一方を求め、かつ、予め記憶した追尾被写体領域と最も相関の高くなる領域を抽出するという演算を行うため、ＡＦ枠の焦点評価値を求めることよりも処理に時間がかかる。そのため、追尾被写体領域を検出してから、ＡＦ枠を設定して焦点評価値を求めようとすると、焦点評価値を求めるためにその画像フレームを別のメモリに記憶させておかなければならない。これに対し、本実施形態のように、前の画像フレームにおいて設定されたＡＦ枠における焦点評価値を求める構成とすれば、焦点評価値を求めるために画像フレームを別のメモリに記憶させておく必要がなくなるという利点がある。

Ｓ９１１では、Ｓ９１０で算出した焦点評価値がピークとなる合焦位置を算出してＳ９１２へ進む。Ｓ９１２では、前述した合焦判定を行い、Ｓ９１３へ進む。Ｓ９１３では、Ｓ９１２で判定した結果×判定かどうかを調べ、×判定であればＳ９１５へ進み、そうでなければＳ９１４へ進む。Ｓ９１４では、焦点評価値のピーク位置へフォーカスレンズを移動して本処理を終了する。Ｓ９１５では、Ｓ３０１で設定したスキャン範囲（１）の中心位置へフォーカスレンズ１０４を移動させて本処理を終了する。

以上説明したように第２の実施形態によれば、過去の追尾情報に基づいて複数のＡＦ枠を設定して焦点評価値を取得しておき、現在の追尾情報に基づいて複数のＡＦ枠の中からＡＦ枠を選択して新たな焦点評価値を算出することで、無駄に処理時間を増大させることなく、動いている追尾対象被写体にピントを合わせ続けることができる。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

Claims

撮像光学系により結像された被写体像を光電変換する撮像素子と、
前記撮像素子の出力信号から得られた画像の色情報および輝度情報の少なくとも一方に基づいて、前記撮像素子の画面上における、焦点を合わせようとする対象被写体の存在する領域である被写体領域を検出する検出手段と、
前記検出手段により検出された前記被写体領域を基準として、前記撮像光学系の合焦状態を検出するための領域である複数の焦点検出領域を設定する設定手段と、
前記複数の焦点検出領域のそれぞれから得られた焦点評価値に基づいて、前記複数の焦点検出領域の中から前記対象被写体が存在する焦点検出領域を選択する選択手段と、
前記選択手段により選択された焦点検出領域における前記撮像素子の出力信号に基づいて、前記撮像光学系を移動させて焦点調節を行う焦点調節手段と、を備え、
前記設定手段は、前記検出手段によって検出された前記被写体領域よりも広い範囲にわたって配置されるように前記複数の焦点検出領域を設定し、
前記選択手段は、前記検出手段によって検出された前記被写体領域にかかる焦点検出領域であっても、前記焦点評価値が所定の条件を満たさない焦点検出領域であれば選択しないことを特徴とする撮像装置。
前記複数の焦点検出領域の各々は、前記被写体領域よりも小さいことを特徴とする請求項１に記載の撮像装置。
前記複数の焦点検出領域の各々は、前記被写体領域の設定可能な最小サイズよりも小さいことを特徴とする請求項２に記載の撮像装置。
前記設定手段は、前記被写体領域の中心位置を中心として、前記複数の焦点検出領域を設定することを特徴とする請求項１乃至３のいずれか１項に記載の撮像装置。
前記選択手段は、前記複数の焦点検出領域における前記焦点評価値から得られる被写体の距離情報に基づいて、前記対象被写体が存在する焦点検出領域を選択することを特徴とする請求項１乃至４のいずれか１項に記載の撮像装置。
撮像光学系により結像された被写体像を光電変換する撮像素子と、
前記撮像素子の出力信号から得られた第１のフレームの画像の色情報および輝度情報の少なくとも一方に基づいて、前記撮像素子の画面上における、焦点を合わせようとする対象被写体の存在する領域である被写体領域を検出する検出手段と、
前記検出手段により検出された前記被写体領域を基準として、前記撮像光学系の合焦状態を検出するための領域である複数の焦点検出領域を設定する設定手段と、
前記第１のフレームの画像よりも後に得られた第２のフレームの画像の前記複数の焦点検出領域における被写体の色情報および輝度情報の少なくとも一方に基づいて、前記複数の焦点検出領域の中から前記対象被写体が存在する焦点検出領域を選択する選択手段と、
前記選択手段により選択された焦点検出領域における前記撮像素子の出力信号に基づいて、前記撮像光学系を移動させて焦点調節を行う焦点調節手段と、を備え、
前記設定手段は、前記検出手段によって検出された前記被写体領域よりも広い範囲にわたって配置されるように前記複数の焦点検出領域を設定し、
前記選択手段は、前記検出手段によって検出された前記被写体領域にかかる焦点検出領域であっても、前記色情報および輝度情報の少なくとも一方が所定の条件を満たさない焦点検出領域であれば選択しないことを特徴とする撮像装置。
前記焦点調節手段は、前記選択手段で選択した焦点検出領域における前記撮像素子の出力信号の加算値に基づいて焦点調節を行うことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。