JP7278737B2 - 撮像装置及びその制御方法、並びにプログラム - Google Patents

Description

本発明は、撮像装置及びその制御方法、並びにプログラムに関する。

デジタルカメラにおいて、得られた画像データから画像の特定領域（特徴量領域）の特徴量をもとに、被写体を追尾し、その被写体に対してピント、明るさ、色などの撮影条件を好適な状態に合わせて撮影することが一般的になっている。このとき、特許文献１のように、特徴量領域のサイズを広めに設定すると、被写体の追尾において、当該特徴量領域に対応する画像領域の探索に用いる情報が多くなるため、追尾性能が向上すると期待される。

特開平８－３２９１１０号公報

しかし、特許文献１の技術は、画像を探索する際に、画像情報に基づき特徴量領域のサイズを変更するものではない。従って、仮に、特許文献１に係る技術を被写体の追尾における特徴量領域の探索に適用して、追尾性能の向上のために特徴量領域のサイズを大きくしたとすると、逆に、追尾が失敗してしまうことがある。

例えば、特徴量領域が被写体領域よりも大きくなると、特徴量領域は、被写体の背景も含むことになる。この場合、被写体の追尾中に、例えば、カメラが大きく動く、被写体がそもそも動体であるなどといった状況が発生すると、特徴量領域内の背景情報が時間の経過に伴い変化することとなる。即ち、被写体（追尾対象）と背景との位置関係が大きく変わってしまい、同一特徴量が存在しなくなり、結果として、追尾が失敗してしまう。

本発明は、画像情報に基づき特徴量領域のサイズを決定することで、追尾状況によらず常に高い追尾性能を得ることが可能な撮像装置を提供することを目的とする。

本発明の例に係る撮像装置は、第１の画像及び第２の画像を時系列で取得可能な撮像装置であって、前記第１の画像から追尾対象としての被写体を検出する被写体検出手段と、前記第１の画像に基づき前記被写体を含む特徴量領域を登録する特徴量領域登録手段と、前記第１及び第２の画像に係る、前記被写体の動き量を含む情報に基づき、前記特徴量領域登録手段に登録された前記特徴量領域のサイズの更新を行う特徴量領域更新手段と、前記第２の画像から、前記特徴量領域更新手段でサイズが更新された前記特徴量領域に対応する画像領域の探索を行うことで、前記被写体の追尾を行う被写体追尾手段と、を備える。

本発明によれば、画像情報に基づき特徴量領域のサイズを決定することで、追尾状況によらず常に高い追尾性能を得ることが可能な撮像装置を提供できる。

撮像装置の構成例を示すブロック図である。 被写体認識部の構成例を示すブロック図である。 撮像装置の動作例を示すフローチャートである。 被写体認識処理の例を示すフローチャートである。 被写体検出処理の例を示すフローチャートである。 被写体検出処理での評価画素及び推定領域の例を示す図である。 被写体検出処理での評価領域の例を示す図である。 背景動き量の取得処理の例を示すフローチャートである。 特徴量領域の更新処理の例を示すフローチャートである。 特徴量領域のサイズと動き量の差との関係を示す図である。 特徴量領域のサイズの変更例を示す図である。 テンプレートマッチングの例を示す図である。

以下、本発明の実施形態について、図面を参照して詳細に説明する。
本発明は、被写体に対して特徴量領域を設定し、かつ当該特徴量領域に基づき、被写体を追尾すると共に当該被写体に対してピント、明るさ、色などの撮影条件を好適な状態に合わせる機能を有する撮像装置に関する。以下に説明する撮像装置は、ビデオカメラ、デジタルスチルカメラ、それらに使用可能な交換レンズなどの光学機器に適用される。

＜撮像装置＞
図１は、撮像装置の構成例を示す。
撮像装置１００は、動画、静止画などの画像の撮影及び記録が可能である。撮像装置１００内の各機能ブロックは、互いに通信可能な状態となるように、バス１６０により接続される。撮像装置１００の各機能は、主制御部１５１がプログラムを実行して各機能ブロックを制御することにより実現される。

撮像装置１００は、画像を解析し、かつその解析結果から特定の被写体領域を推定する被写体認識部１６１を備える。本実施形態は、被写体認識部１６１を用いて、画像情報（撮影時に得られる画像の情報）に基づき特徴量領域のサイズを変更可能とする点を特徴の一つとする。

ここで、画像情報は、撮影レンズ（レンズユニット）１０１、及び撮像素子１４１により、時系列で取得可能な複数の画像（複数のフレーム）に係る情報のことである。画像情報は、例えば、画面の平均輝度、ＷＢ（ホワイトバランス）、ＧＰＳ機能による位置情報などを含む。また、画像情報は、後述するように、当該複数の画像から得られる情報、例えば、被写体の動き量、背景の動き量、さらには、それらから取得される被写体（追尾対象）と背景との位置関係の変化量なども含む。

このように、本実施形態では、被写体認識部１６１により特徴量領域のサイズを変更可能とすることで、追尾状況によらず常に高い追尾性能を得ることが可能な撮像装置を実現するものである。そのため、被写体認識部１６１は、被写体検出機能と、特徴量領域登録機能と、背景の動き量取得機能と、特徴量領域更新機能と、被写体追尾機能と、を有する。これらの機能の詳細については、後述する。

撮影レンズ１０１は、固定１群レンズ１０２と、ズームレンズ１１１と、絞り１０３と、固定３群レンズ１２１と、フォーカスレンズ１３１と、ズームモータ１１２と、絞りモータ１０４と、フォーカスモータ１３２と、を備える。固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、及びフォーカスレンズ１３１は、撮影光学系を構成する。

尚、同図において、各レンズ１０２、１１１、１２１、１３１は、便宜上、１枚のレンズとして示しているが、複数のレンズの組み合わせから構成されてもよい。また、撮像装置１００がカメラシステムを構成する場合、撮影レンズ１０１は、カメラ本体と一体化されてもよいし、又はカメラ本体から着脱可能なように構成されてもよい。

絞り制御部１０５は、絞り１０３を駆動する絞りモータ１０４の動作を制御する。即ち、絞り制御部１０５は、絞り１０３の開口径を変更する。ズーム制御部１１３は、ズームレンズ１１１を駆動するズームモータ１１２の動作を制御する。即ち、ズーム制御部１１３は、撮影レンズ１０１の焦点距離（画角）を変更する。

フォーカス制御部１３３は、撮像素子１４１から得られる１対の焦点検出用信号（Ａ像及びＢ像）の位相差に基づき、撮影レンズ１０１のデフォーカス量及びデフォーカス方向を取得する。そして、フォーカス制御部１３３は、デフォーカス量及びデフォーカス方向をフォーカスモータ１３２の駆動量及び駆動方向に変換する。この駆動量及び駆動方向に基づき、フォーカス制御部１３３は、フォーカスモータ１３２の動作を制御し、フォーカスレンズ１３１を駆動することで、撮影レンズ１０１の焦点状態を制御する。

このように、フォーカス制御部１３３は、位相差検出方式の自動焦点検出（ＡＦ）を実施する。但し、フォーカス制御部１３３は、位相差検出方式によるＡＦに代えて、画像信号から得られるコントラスト評価値に基づくコントラスト検出方式を用いて、ＡＦを実行してもよい。

撮影レンズ１０１によって撮像素子１４１の結像面に形成される被写体像は、撮像素子１４１内に配置された複数の画素のそれぞれが有する光電変換素子により電気信号（画像信号）に変換される。撮像素子１４１は、例えば、ＣＣＤ、ＣＭＯＳイメージセンサなどであり、水平方向ｍ画素、及び垂直方向ｎ画素の画素アレイを備える。但し、ｎ及びｍは、それぞれ２以上の自然数である。各画素は、２つの光電変換素子（光電変換領域）を有する。撮像制御部１４３は、主制御部１５１からの指示に基づき、撮像素子１４１からの画像信号の読み出しを制御する。

撮像素子１４１から読み出された画像信号は、画像信号処理部１４２に供給される。画像信号処理部１４２は、ノイズ低減処理、Ａ／Ｄ変換処理、自動利得制御処理などの信号処理を画像信号に適用し、かつ当該信号処理が適用された画像信号を撮像制御部１４３に出力する。撮像制御部１４３は、画像信号処理部１４２から受信した画像信号をＲＡＭ（ランダム・アクセス・メモリ）１５４に保存する。

画像処理部１５２は、ＲＡＭ１５４に記憶された画像信号に対して、予め定められた画像処理を適用する。画像処理部１５２が適用する画像処理は、例えば、ホワイトバランス調整処理、色補間（デモザイク）処理、ガンマ補正処理などのいわゆる現像処理を含む。また、当該画像処理は、信号形式変換処理、スケーリング処理などを含んでもよい。当該画像処理の例としては、これらに限定されず、上述以外の処理を行っても構わない。

画像処理部１５２は、自動露出制御（ＡＥ）に用いるための、被写体輝度に関する情報などを生成することもできる。特定の被写体領域に関する情報は、被写体認識部１６１から画像処理部１５２に供給され、例えば、ホワイトバランス調整処理に利用される。尚、コントラスト検出方式によるＡＦを行う場合、画像処理部１５２は、ＡＦ評価値を生成することも可能である。画像処理部１５２は、処理済の画像信号をＲＡＭ１５４に保存する。

主制御部１５１は、ＲＡＭ１５４に一時的に保存された画像信号に所定のヘッダを追加することで、所定の記録形式のデータファイルを生成する。この時、画像圧縮解凍部１５３は、主制御部１５１からの指示に基づき、当該データファイルを符号化し、画像信号に関する情報量を圧縮してもよい。そして、主制御部１５１は、生成されたデータファイルを、例えば、メモリカードのような記録媒体１５７に記録する。

また、ＲＡＭ１５４に保存された画像信号を表示する場合、主制御部１５１は、モニタディスプレイなどの表示部１５０の表示サイズに適合するように、画像処理部１５２に対して画像信号のスケーリング処理を指示する。この後、主制御部１５１は、スケーリング処理された画像信号を、表示画像データとしてＲＡＭ１５４のビデオメモリ領域（ＶＲＡＭ領域）に書き込む。表示部１５０は、ＲＡＭ１５４のＶＲＡＭ領域から表示画像データを読み出し、例えば、ＬＣＤ、有機ＥＬディスプレイなどの表示装置に表示する。

本実施形態の撮像装置１００は、動画撮影時（撮影スタンバイ状態、又は動画記録中）において、撮影された動画を表示部１５０に即時表示することで、表示部１５０を電子ビューファインダー（ＥＶＦ）として機能させる。表示部１５０をＥＶＦとして機能させる際に表示される動画像及びそのフレーム画像は、ライブビュー画像、又はスルー画像と呼ばれる。また、撮像装置１００は、静止画撮影を行った場合にユーザが撮影結果を確認できるように、撮影した静止画を表示部１５０に一定時間表示する。これらの表示動作についても、主制御部１５１の制御によって実現される。

操作部１５６は、ユーザが撮像装置１００に指示を入力するためのスイッチ、ボタン、キー、タッチパネルなどを備える。操作部１５６による入力は、バス１６０を経由して、主制御部１５１に転送される。主制御部１５１は、操作部１５６による入力に応じた動作を実現するために各部を制御する。

主制御部１５１は、ＣＰＵ、ＭＰＵなどのプログラマブルプロセッサを１つ以上有する。主制御部１５１は、フラッシュメモリなどの記憶部１５５に記憶されたプログラムをＲＡＭ１５４に読み出し、かつ当該プログラムを実行することで、各部を制御し、撮像装置１００の各機能又は各処理を実現する。また、主制御部１５１は、被写体輝度の情報に基づき、露出条件（シャッタースピード、蓄積時間、絞り値、感度など）を自動的に決定するＡＥ処理を実行する。被写体輝度の情報は、例えば、画像処理部１５２から取得できる。主制御部１５１は、人物の顔などの被写体領域を基準として露出条件を決定することもできる。

主制御部１５１は、動画撮影時において、例えば、絞りを固定とし、電子シャッタスピード（蓄積時間）及びゲインの大きさを決定する。主制御部１５１は、この決定された露出条件（蓄積時間及びゲインの大きさ）を撮像制御部１４３に通知する。撮像制御部１４３は、主制御部１５１から通知された露出条件に従った撮影が行われるように、撮像素子１４１の動作を制御する。

被写体認識部１６１の結果は、例えば、焦点検出領域の自動設定に用いることができる。この場合、特定の被写体領域に対する追尾ＡＦ機能を実現できる。また、焦点検出領域の輝度情報に基づきＡＥ処理を行ったり、焦点検出領域の画素値に基づき画像処理（例えば、ガンマ補正処理、ホワイトバランス調整処理など）を行ったりすることもできる。尚、主制御部１５１は、現在の被写体領域の位置を表す指標（例えば、当該被写体領域を囲む矩形枠）を表示画像に重畳表示させてもよい。

バッテリ１５９は、電源管理部１５８により管理され、撮像装置１００の全体に電源を供給する。記憶部１５５は、主制御部１５１が実行するプログラム、プログラムの実行に必要な設定値、ＧＵＩデータ、ユーザ設定値などを記憶する。例えば、操作部１５６の操作により電源オフ状態から電源オン状態への移行が指示されると、記憶部１５５に記憶されたプログラムがＲＡＭ１５４に読み込まれ、かつ主制御部１５１が当該プログラムを実行する。

＜被写体認識部＞
図２は、被写体認識部の構成例を示す。
被写体認識部１６１は、被写体検出部２０１と、特徴量領域登録部２０２と、背景の動き量取得部２０３と、特徴量領域更新部２０４と、被写体追尾部２０５と、を備える。

被写体検出部２０１は、撮像素子１４１により取得され、かつ画像処理部１５２で処理された画像に基づき、被写体（追尾対象）の位置及びサイズを検出する。例えば、被写体検出部２０１は、画像処理部１５２から時系列で画像（フレーム）を取得し、各画像に含まれる追尾対象としての被写体を検出する。また、被写体検出部２０１は、被写体の位置及びサイズから、各画像内において被写体が占める領域、即ち、被写体領域を求めると共に、当該被写体領域の信頼性に関する情報を生成する。

特徴量領域登録部２０２は、被写体検出部２０１によって検出された被写体領域に基づき被写体を含む特徴量領域を決定し、かつ当該特徴量領域を登録する。ここで、特徴量領域とは、追尾対象としての被写体を追尾するに当たって、ｎフレーム（第１の画像）で設定される被写体を含む画像領域のことである。但し、ｎは、自然数（１、２、３、…）であり、ｎが大きくなるほど、時間が後であることを意味する。そして、被写体の追尾は、後述するように、ｎフレームよりも後のフレーム、例えば、（ｎ＋１）フレーム（第２の画像）において、特徴量領域に対応する画像領域を探索することにより行う。

特徴量領域登録部２０２は、被写体検出部２０１によって第１の画像から検出された被写体領域に基づき特徴量領域を登録する場合、当該特徴領域のサイズをデフォルト値（初期値）に設定する。デフォルト値は、予め決定されている。但し、デフォルト値は、ユーザが操作部１５６などを介して自由に変更できるように構成してもよいし、又はプログラムが自動的に最適値を設定できるように構成してもよい。

尚、後述する被写体追尾部２０５が特徴量領域に対応する画像領域を見つけ出して、追尾が成功となる場合には、特徴量領域登録部２０２は、既に登録されている特徴量領域に代えて、当該画像領域を新たな特徴量領域として登録する。一方、後述する被写体追尾部２０５が特徴量領域に対応する画像領域を見つけ出せず、追尾が不成功となる場合には、特徴量領域登録部２０２は、既に登録されている特徴量領域を引き続き登録する。

背景の動き量取得部２０３は、時系列で逐次供給される複数の画像に基づき、背景の動き量を取得する。背景の動き量取得部２０３は、例えば、当該複数の画像から背景を推定し、かつ推定された背景に基づき、複数の画像間の動きベクトルを検出する。これにより、背景の動き量取得部２０３は、当該動きベクトルに基づき、背景の動き量を取得できる。

また、背景の動き量取得部２０３は、ジャイロセンサ及び加速度センサのうちの少なくとも１つを用いて撮像装置１００の動きを検出し、かつ撮像装置１００の動きに基づき、背景の動き量を取得することもできる。尚、背景の動き量取得部２０３の動作の詳細については、後述する。

特徴量領域更新部２０４は、時系列で逐次供給される複数の画像に係る情報に基づき、特徴量領域登録部２０２に登録された特徴量領域のサイズの更新を行う。例えば、特徴量領域更新部２０４は、背景の動き量取得部２０３によって取得された背景の動き量と、後述する被写体追尾部２０５によって取得された被写体の動き量とに基づき、被写体と背景との位置関係の変化量を取得する。そして、特徴量領域更新部２０４は、当該変化量に基づき、特徴量領域登録部２０２に登録された特徴量領域のサイズの更新を行う。

ここで、特徴量領域登録部２０２が最初に登録する特徴量領域のサイズ（デフォルト値）は、過去に最も多く発生した被写体と背景との位置関係の変化量を基準値Δｒｅｆとした場合に、当該基準値Δｒｅｆに対応するサイズとするのが望ましい。基準値Δｒｅｆとデフォルト値との関係については、後述する。

そして、特徴量領域更新部２０４は、被写体と背景との変化量が基準値Δｒｅｆよりも大きい場合に、特徴量領域のサイズをデフォルト値よりも小さくする。また、特徴量領域更新部２０４は、当該変化量が基準値Δｒｅｆよりも小さい場合に、特徴量領域のサイズをデフォルト値よりも大きくする。さらに、特徴量領域更新部２０４は、当該変化量が大きくなるに従い特徴量領域のサイズを小さくし、かつ当該変化量が小さくなるに従い特徴量領域のサイズを大きくする。但し、特徴量領域更新部２０４は、当該変化量が閾値よりも大きい場合には、特徴量領域のサイズを一定とする。

被写体追尾部２０５は、時系列で逐次供給される複数の画像から、特徴量領域更新部２０４で更新された特徴量領域に対応する画像領域の探索を行うことで、被写体の追尾を行う。例えば、被写体追尾部２０５は、特徴量領域更新部２０４でサイズが更新された特徴量領域と類似度が最も高い画像領域を当該特徴量領域に対応する画像領域とし、当該画像領域に基づき被写体の追尾を行う。

ここで、類似度は、例えば、所定の関数で規定される評価値により判断し、被写体追尾部２０５は、当該評価値が最も低い領域を類似度が最も高い領域として決定する。また、被写体追尾部２０５は、評価値の最小値が閾値よりも大きい場合には、特徴量領域に対応する画像領域が見つけ出せなかったと結論付けることもできる。尚、探索結果は、画像内における被写体領域、信頼性、被写体の動き量などの情報を備え、主制御部１５１での各種処理に利用される。

＜撮像装置の動作例＞
図３は、撮像装置の動作例を示す。
本実施形態では、被写体検出処理、被写体追尾処理、並びに、被写体及び背景の動き量を検出する動き量検出処理を伴う動画撮影動作に関して説明する。動画撮影動作は、撮影スタンバイ時又は動画記録時に実行される。

尚、撮影スタンバイ時と動画記録時とでは、取り扱う画像（フレーム）の解像度など、細部において異なるが、被写体検出処理、被写体追尾処理、並びに、被写体及び背景の動き量を検出する動き量検出処理に係る内容は、基本的に同じである。従って、以下では、特に、撮影スタンバイ時と動画記録時とを区別することなく、説明する。

まず、Ｓ３０１において、主制御部１５１は、撮像装置１００の電源スイッチがオンであるか否かを判定する。電源スイッチがオフであれば、本フローを終了し、電源スイッチがオンであれば、本フローをＳ３０２に進める。

次に、Ｓ３０２において、主制御部１５１は、各部を制御して、１フレーム分の撮像処理を実行した後、本フローをＳ３０３に進める。本実施形態では、撮像処理として、１対の視差画像と、１画面分の撮像画像とを取得し、これらをＲＡＭ１５４に保存する。また、Ｓ３０３において、主制御部１５１は、被写体認識処理を実行するように、被写体認識部１６１に指示を出す。ここで、被写体認識処理は、被写体検出処理、被写体追尾処理、並びに、被写体及び背景の動き量を検出する動き量検出処理を含む。被写体認識部１６１での被写体認識処理の詳細については、後述する。

この後、被写体領域の位置、サイズ、及び動き量が被写体認識部１６１から主制御部１５１に通知され、かつＲＡＭ１５４に保存される。主制御部１５１は、通知された被写体領域に基づき、焦点検出領域を設定する。

次に、Ｓ３０４において、主制御部１５１は、フォーカス制御部１３３に焦点検出処理を実行させる。フォーカス制御部１３３は、１対の視差画像の焦点検出領域に含まれる複数の画素のうち、同一行に配置された複数の画素から得られる複数のＡ信号を繋ぎ合わせてＡ像を生成し、かつ複数のＢ信号を繋ぎ合わせてＢ像を生成する。そして、フォーカス制御部１３３は、Ａ像とＢ像との相対的な位置をずらしながらＡ像とＢ像の相関量を演算し、Ａ像とＢ像との類似度が最も高くなる相対位置をＡ像とＢ像との位相差（ずれ量）として求める。さらに、フォーカス制御部１３３は、当該位相差をデフォーカス量及びデフォーカス方向に変換する。

次に、Ｓ３０５において、フォーカス制御部１３３は、Ｓ３０４で求めたデフォーカス量及びデフォーカス方向に対応するレンズ駆動量及び駆動方向に従ってフォーカスモータ１３２を駆動し、フォーカスレンズ１３１を移動させる。また、レンズ駆動処理が終了すると、主制御部１５１は、本フローをＳ３０１に戻す。

以後、Ｓ３０１で電源スイッチがオフと判定されるまで、Ｓ３０２～Ｓ３０５の処理が繰り返し実行される。これにより、時系列で逐次供給される複数の画像（フレーム）に対して追尾対象としての被写体の探索が行われ、被写体追尾機能が実現される。尚、図３では被写体追尾処理を逐次供給されるフレーム毎に実行するが、主制御部１５１の処理負荷及び消費電力の軽減を目的として、被写体追尾処理を数フレーム毎に行ってもよい。

＜被写体認識処理＞
図４は、被写体認識処理の例を示す。
このフローチャートは、図３のＳ３０３のサブルーチンである。

まず、Ｓ４０１において、被写体認識部１６１は、撮像制御部１４３から画像（フレーム）を取得する。この後、Ｓ４０２において、被写体検出部２０１は、撮像制御部１４３からの画像に対して、中心位置及びサイズが異なる複数の評価領域を設定し、かつ各評価領域から被写体を検出する。被写体を検出する処理の詳細については、後述する。

次に、Ｓ４０３において、特徴量領域登録部２０２は、被写体検出部２０１によって検出された被写体領域、又は被写体追尾部２０６によって検出された前フレームの特徴量領域に対応する画像領域に基づき、特徴量領域を登録する。本実施形態では、特徴量領域の登録は、最初の１フレームでは、被写体検出部２０１の結果に基づき行われ、それ以降のフレームでは、被写体追尾部２０６の結果に基づき行われる。

次に、Ｓ４０４において、背景の動き量取得部２０３は、時系列で逐次供給される複数の画像に基づき、背景の動き量を取得する。背景の動き量を取得する処理の詳細については、後述する。この後、Ｓ４０５において、特徴量領域更新部２０４は、Ｓ４０４によって取得された背景の動き量と、後述するＳ４０６によって取得される前フレームの被写体の動き量とに基づき、特徴量領域のサイズの更新を行う。特徴量領域のサイズを更新する処理の詳細については、後述する。

次に、Ｓ４０６において、被写体追尾部２０５は、時系列で逐次供給される複数の画像から、Ｓ４０５で更新された特徴量領域に対応する画像領域を探索する。例えば、被写体追尾部２０５は、当該特徴量領域と類似度が最も高い領域を当該特徴量領域に対応する画像領域とし、当該画像領域に基づき被写体の追尾を行う。被写体を追尾する処理の詳細については、後述する。

＜被写体検出処理＞
図５は、被写体検出処理の例を示す。
このフローチャートは、図４のＳ４０２のサブルーチンである。

まず、Ｓ５０１において、被写体検出部２０１は、画像の評価を行う評価領域を決定する。例えば、図６において、６０１は、入力画像であり、６０２は、評価画素であり、６０３は、評価領域候補である。図６（Ａ）、図６（Ｂ）、及び図６（Ｃ）に示すように、各評価領域候補６０３は、互いに異なるサイズに設定される。評価画素６０２は、入力画像６０１の全画素からラスタ処理で順次選択される。

次に、Ｓ５０２において、被写体検出部２０１は、評価領域に対する外側評価領域を決定する。例えば、図７において、７０１は、入力画像であり、７０２は、評価画素であり、７０３は、評価領域であり、７０４は、外側評価領域である。図７に示すように、外側評価領域７０４の中心位置は、評価領域７０３の中心位置と同一である。また、外側評価領域７０４の中心位置から外枠までのサイズは、評価領域７０３の中心位置から外枠までのサイズよりも大きい。即ち、外側評価領域７０４は、評価領域７０３に対応する領域を除いたリング状の領域である。尚、外側評価領域７０４の中心位置から外枠までのサイズと、評価領域７０３の中心位置から外枠までのサイズとの差は、入力画像７０１のサイズに基づき決定し、例えば、入力画像７０１の水平サイズの１０％とする。

次に、Ｓ５０３において、被写体検出部２０１は、評価領域と外側評価領域に対応する画像信号の相違度を評価値として算出する。

評価値Ｄは、以下の式により算出される。

但し、ｄ_Ｈは、評価領域及び外側評価領域の色相情報から算出された相違度であり、ｐ_Ｈｉは、評価領域の色相情報がｉである画素の数を表し、ｑ_Ｈｉは、外側評価領域のうち、色相情報がｉである画素の数を表す。ｄ_Ｓ、ｐ_Ｓｉ、ｑ_Ｓｉは、それぞれ、彩度情報に関する値であり、ｄ_Ｖ、ｐ_Ｖｉ、ｑ_Ｖｉは、輝度情報に関する値である。また、ｍは、色相情報、彩度情報、輝度情報が取り得る最大値である。

次に、Ｓ５０４において、被写体検出部２０１は、未処理の評価領域があるか否か判定を行う。未処理の評価領域があれば、被写体検出部２０１は、本フローをＳ５０１に戻し、一連の処理を繰り返す。また、未処理の評価領域がなければ、被写体検出部２０１は、本フローをＳ５０５に進める。

次に、Ｓ５０５において、被写体検出部２０１は、被写体を決定する。即ち、被写体検出部２０１は、Ｓ５０３において算出した評価値のうち、最も高い評価値を有する領域を被写体として決定する。
尚、ここで説明した方法は、一例であり、被写体は、図５のフロー以外の方法により決定することも可能である。例えば、図５のフローにおいて、画像の奥行情報を加味して被写体を決定することも可能である。

＜背景の動き量の取得処理＞
図８は、背景動き量の取得処理の例を示す。
このフローチャートは、図４のＳ４０４のサブルーチンである。

図８（Ａ）は、推定された背景から、背景の動き量を取得する例である。
まず、Ｓ８０１１において、背景の動き量取得部２０２は、Ｓ４０１で逐次取得される複数の画像に基づいて、背景の推定を行う。例えば、背景の動き量取得部２０２は、Ｓ４０２の被写体検出処理により被写体が検出された場合に、当該被写体以外の画像領域を背景と推定することができる。

次に、Ｓ８０１２において、背景の動き量取得部２０２は、Ｓ４０１で逐次取得される複数の画像のうち、現フレームに係る画像と、それよりも１フレーム前のフレームに係る画像とを使用し、推定された背景（画像）から背景の動きベクトルを算出する。

最後に、Ｓ８０１３において、背景の動き量取得部２０２は、背景の動きベクトルに基づき、背景の動き量を取得する。

図８（Ｂ）は、特徴点マッチングにより複数の動きベクトルを算出し、これらから背景の動きベクトルを選択することで、背景の動き量を取得する例である。
まず、Ｓ８０２１において、背景の動き量取得部２０２は、Ｓ４０１で取得される画像内に複数の特徴点を均一に分布させ、これら均一に分布させた複数の特徴点から、特徴点毎に動きベクトルを算出する。

次に、Ｓ８０２２において、背景の動き量取得部２０２は、算出された複数の動きベクトルから背景の動きベクトルを選択する。背景の動きベクトルを選択する方法は、公知の手法を用いることができる。例えば、背景の動き量取得部２０２は、Ｓ８０２１で算出された複数の動きベクトルをヒストグラム化し、最大個数のビンに係る動きベクトルを背景の動きベクトルとして決定する。

最後に、Ｓ８０２３において、背景の動き量取得部２０２は、背景の動きベクトルに基づき、背景の動き量を取得する。

尚、背景の動きベクトルを算出するに当たり、現フレームに係る画像の１フレーム前のフレームに係る画像から当該動きベクトルの始点を検出し、かつ現フレームに係る画像から当該動きベクトルの終点を検出するのが望ましい。但し、背景の動きベクトルから取得される背景の動き量の時間に対する方向が、後述する被写体の動き量の時間に対する方向と同じであれば、当該動きベクトルの始点と終点を逆にしてもよい。

また、本実施形態では、背景の動き量を取得するに当たり、画像から算出される動きベクトルを使用したが、これに代えて、ジャイロセンサ、加速度センサなどで撮像装置の動きを検出し、当該撮像装置の動きに基づき背景の動き量を決定してもよい。

＜特徴量領域の更新処理＞
図９は、特徴量領域の更新処理の例を示す。
このフローチャートは、図４のＳ４０５のサブルーチンである。

まず、Ｓ９０１において、特徴量領域更新部２０４は、Ｓ８０１３又はＳ８０２３で取得した背景の動き量と、被写体の動き量との差を算出する。この差は、被写体と背景との位置関係の変化量に相当する。ここで、被写体の動き量は、被写体追尾部２０５が現フレームよりも前のフレームに係る画像から既に取得済みであり、例えば、ＲＡＭ１５４に記憶されている。

被写体の動き量と背景の動き量との差に関しては、特徴量領域更新部２０４は、画像の水平方向での差の絶対値と、画像の垂直方向での差の絶対値とを算出し、それらの一方、又はそれらを足し合わせた値を、被写体の動き量と背景の動き量との差とする。例えば、特徴量領域更新部２０４は、水平方向における差の絶対値、及び垂直方向における差の絶対値うち、大きな値を有するほうを、被写体の動き量と背景の動き量との差として決定する。

次に、Ｓ９０２において、特徴量領域更新部２０４は、被写体の動き量と背景の動き量との差に基づき、特徴量領域登録部２０２に登録された特徴量領域のサイズの更新を行い、本フローを終了する。

ここで、Ｓ９０２において、特徴量領域のサイズの更新を行う場合、特徴量領域更新部２０４は、被写体の動き量と背景の動き量との差、即ち、被写体と背景との位置関係の変化量が大きくなるに従い、特徴量領域のサイズを小さくする。また、特徴量領域更新部２０４は、被写体の動き量と背景の動き量との差が小さくなるに従い、特徴量領域のサイズを大きくする。

図１０は、特徴量領域のサイズと、被写体と背景との動き量の差との関係を示す。
デフォルト値（初期値）は、特徴量領域登録部２０２に最初に登録される特徴量領域のサイズである。デフォルト値に対応する動き量の差は、基準値Δｒｅｆである。

同図によれば、動き量の差が基準値Δｒｅｆよりも大きい場合（ΔＨ）には、特徴量領域のサイズは、デフォルト値からそれよりも小さい値に変化する（矢印Ａ）。また、動き量の差が基準値Δｒｅｆよりも小さい場合（ΔＬ）には、特徴量領域のサイズは、デフォルト値からそれよりも大きい値に変化する（矢印Ｂ）。即ち、動き量の差が大きくなるに従い、特徴量領域のサイズは、小さくなり、動き量の差が小さくなるに従い、特徴量領域のサイズは、大きくなる。但し、動き量の差が閾値Δｔｈよりも大きい場合には、特徴量領域のサイズは、一定となる。

図１１は、特徴量領域のサイズと動き量の差との関係を模式的に示す。
同図（Ａ）は、ｎフレームに係る画像であり、Ｓ４０３で登録された特徴量領域１１０１を示す。特徴量領域１１０１のサイズは、例えば、デフォルト値を有するものとする。同図（Ｂ）は、（ｎ＋１）フレームに係る画像であり、同図（Ａ）の画像に対して、動き量の差が無いか、又はほとんど無い場合である。同図（Ｄ）は、（ｎ＋１）フレームに係る画像であり、同図（Ａ）の画像に対して、動き量の差が大きい場合である。

同図（Ｂ）の場合、Ｓ４０５において、特徴量領域更新部２０４は、動き量の差が基準値Δｒｅｆよりも小さいと判断する。従って、同図（Ｃ）に示すように、特徴量領域更新部２０４は、特徴量領域１１０２のサイズを、同図（Ａ）に示す特徴量領域１１０１のサイズよりも大きい値に更新する。

この場合、特徴量領域１１０２は、被写体領域よりも大きくなり、被写体と背景の情報を含むことになる。即ち、（ｎ＋２）フレームに係る画像において、特徴量領域１１０２に対応する画像領域を探索する際に、探索に用いる情報が多くなり、追尾性能を向上させることができる。しかも、特徴量領域１１０２に含まれる背景情報は、変化しないか、又はほとんど変化しないため、背景情報の変化により追尾が失敗するといった事態も発生しない。

また、同図（Ｄ）の場合、Ｓ４０５において、特徴量領域更新部２０４は、動き量の差が基準値Δｒｅｆよりも大きいと判断する。従って、同図（Ｅ）に示すように、特徴量領域更新部２０４は、特徴量領域１１０３のサイズを、同図（Ａ）に示す特徴量領域１１０１のサイズよりも小さい値に更新する。

この場合、特徴量領域１１０３は、被写体領域とほぼ同じサイズとなり、背景を全く含まないか、又はほとんど含まなくなる。即ち、（ｎ＋２）フレームに係る画像において、特徴量領域１１０３に対応する画像領域を探索する際に、特徴量領域１１０３の背景情報の変化により、追尾が失敗してしまうといった事態が発生することはない。

＜被写体追尾処理＞
次に、図１２を参照して、Ｓ４０５における被写体追尾処理について説明する。
被写体追尾部２０５は、Ｓ４０４で更新された特徴量領域に対応する画像領域を探索する。探索結果は、被写体追尾部２０５の出力情報として出力される。

図１２は、テンプレートマッチングの例を示す。
特徴量領域に対応する画像領域の探索は、テンプレートマッチングにより行うことが可能である。テンプレートマッチングは、画素パターンをテンプレートとして設定し、テンプレートとの類似度が最も高い領域を画像内で探索する技術である。テンプレートと画像領域との類似度としては、対応画素間の差分絶対値和のような相関量を用いることができる。

図１２（Ａ）は、テンプレート１２０１と、その構成例１２０２と、を模式的に示す。テンプレートマッチングを行う場合、テンプレート１２０１の画素パターンが予め設定される。本実施形態では、テンプレート１２０１は、水平画素数Ｗ、及び垂直画素数Ｈのサイズを有する。そして、テンプレートマッチングは、テンプレート１２０１に含まれる画素の輝度値を用いて実行される。

テンプレート１２０１の特徴量Ｔ（ｉ，ｊ）は、図１２（Ａ）に示すような座標系を設定した場合、以下の式で表わされる。

図１２（Ｂ）は、探索領域１２０３内の画像領域１２０４と、その構成例１２０５と、を模式的に示す。探索領域１２０３は、被写体の追尾を行う後フレームに係る画像においてパターンマッチングを行う範囲を表す。探索領域１２０３は、当該画像の全体であってもよいし、又は一部であってよい。

探索領域１２０３内の座標は、（ｘ，ｙ）で表すものとする。画像領域１２０４は、探索領域１２０３から、テンプレート１２０１に対して最も類似度が高い画像領域を探索するためのもので、探索領域１２０３内をシフトする。このため、探索領域１２０３のサイズは、テンプレート１２０１のサイズ（水平画素数Ｗ、垂直画素数Ｈ）と同じに設定する。

被写体追尾部２０５は、画像領域１２０４をシフトさせる度に、画像領域１２０４に含まれる各画素の輝度値と、テンプレート１２０１に含まれる各画素の輝度値との類似度を算出する（パターンマッチング）。ここで、画像領域１２０４の特徴量Ｓ（ｉ，ｊ）は、図１２（Ｂ）に示すような座標系を設定した場合、以下の式で表わされる。

また、テンプレート１２０１と画像領域１２０４との類似性を表す評価値をＶ（ｘ，ｙ）とすると、Ｖ（ｘ，ｙ）は、以下の式に示す差分絶対和（ＳＡＤ：Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）で表される。

但し、Ｖ（ｘ，ｙ）は、画像領域１２０４の左上頂点の座標（ｘ，ｙ）における評価値として表す。

そして、被写体追尾部２０５は、画像領域１２０４を、探索領域１２０３の左上（ｘ＝０、ｙ＝０）から右方向（ｘ方向）に１画素ずつシフトさせ、各位置において評価値Ｖ（ｘ，ｙ）を算出する。また、被写体追尾部２０５は、画像領域１２０４が探索領域１２０３の右端（ｘ＝Ｘ－Ｗ）に達すると、次に、画像領域１２０４を、左端（ｘ＝０）に戻し、かつ下方向（ｙ方向）に１画素シフトさせる（ｙ＝１）。そして、被写体追尾部２０５は、再び、探索領域１２０３の左端（ｘ＝０、ｙ＝１）から右方向（ｘ方向）に１画素ずつシフトさせ、各位置において評価値Ｖ（ｘ，ｙ）を算出する。

被写体追尾部２０５は、以上の動作を、探索領域１２０３が探索領域１２０３の右下（ｘ＝Ｘ－Ｗ、ｙ＝Ｙ－Ｈ）に達するまで、繰り返す。但し、Ｘは、探索領域１２０３の水平画素数（ｘ方向の画素数）であり、Ｙは、探索領域１２０３の垂直画素数（ｙ方向の画素数）である。また、被写体追尾部２０５は、各位置において算出された各評価値Ｖ（ｘ，ｙ）のうち、最も低い評価値を有する位置Ｖ（ｘ，ｙ）での画像領域１２０４が、テンプレート１２０１に対して類似度が最も高い画像領域であると判断する。

このように、被写体追尾部２０５は、評価値Ｖ（ｘ，ｙ）が最小値を示す画素領域１２０４の位置を、特徴量領域に対応する画素領域の位置、即ち、被写体（追尾対象）の位置として決定する。尚、被写体追尾部２０５は、探索結果の信頼性が低い場合、例えば、評価値Ｖ（ｘ，ｙ）の最小値が閾値よりも大きい場合には、特徴量領域に対応する画像領域が見つけ出せなかったと決定してもよい。

本実施形態では、パターンマッチングにおいて、特徴量として輝度値を用いる例を説明したが、輝度値以外の要素（明度、色相、彩度など）を用いてもよい。また、パターンマッチングにおける評価値Ｖ（ｘ，ｙ）は、複数の要素（輝度値、明度、色相、彩度など）を考慮して決定してもよい。さらに、評価値Ｖ（ｘ，ｙ）は、ＳＡＤに代えて、正規化相互相関（ＮＣＣ： Ｎｏｒｍａｌｉｚｅｄ Ｃｒｏｓｓ－Ｃｏｒｒｅｌａｔｉｏｎ）、ＺＮＣＣなどにより表すことも可能である。

＜その他の実施形態＞
上述の実施形態の各機能又は各処理を実現するプログラムは、予め撮像装置１００内のフラッシュメモリ１５５、又はこれに代えてＲＯＭ（図示せず）にインストールしておくことが可能である。また、上述の実施形態の１以上の機能又は処理を実現するプログラムは、ネットワーク又は記憶媒体を介して撮像装置１００に供給することも可能である。この場合、撮像装置１００内の主制御部１５１、又はこれに代えて少なくとも１つのプロセッサ（図示せず）が当該供給されたプログラムを実行することで、上述の実施形態の各機能又は各処理が実現される。

また、上述の実施形態の各機能又は各処理は、上述のように、コンピュータにインストールされたプログラム（ソフトウェア）により実現可能であると共に、ハードウェア（回路）によっても実現可能である。例えば、上述の実施形態の１以上の機能又は処理は、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ ＩＣ）、ＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）などの回路でも実現可能である。

＜むすび＞
以上、本発明によれば、画像情報に基づき特徴量領域のサイズを決定することで、追尾状況によらず常に高い追尾性能を得ることが可能な撮像装置を提供できる。例えば、被写体と背景の位置関係が大きく変化する条件下での追尾においては、特徴量領域を被写体領域とほぼ同じサイズとし、被写体と背景の位置関係がほとんど変化しない条件下での追尾においては、特徴量領域を被写体領域よりも大きくする。これにより、追尾状況によらず常に高い追尾性能を得ることが可能となる。

１６１： 被写体認識部
２０１： 被写体検出部
２０２： 特徴量領域登録部
２０３： 背景の動き量取得部
２０４： 特徴量領域更新部
２０５： 被写体追尾部

Claims (15)

1. 第１の画像及び第２の画像を時系列で取得可能な撮像装置であって、
   前記第１の画像から追尾対象としての被写体を検出する被写体検出手段と、
   前記第１の画像に基づき前記被写体を含む特徴量領域を登録する特徴量領域登録手段と、
   前記第１及び第２の画像に係る、前記被写体の動き量を含む情報に基づき、前記特徴量領域登録手段に登録された前記特徴量領域のサイズの更新を行う特徴量領域更新手段と、
   前記第２の画像から、前記特徴量領域更新手段でサイズが更新された前記特徴量領域に対応する画像領域の探索を行うことで、前記被写体の追尾を行う被写体追尾手段と、を備える、
   ことを特徴とする撮像装置。
2. 前記特徴量領域登録手段は、前記第１の画像に基づき登録する前記特徴量領域のサイズを初期値とする、
   ことを特徴とする請求項１に記載の撮像装置。
3. 前記特徴量領域更新手段は、前記被写体とその背景との位置関係の変化量が基準値よりも大きい場合に、前記特徴量領域のサイズを前記初期値よりも小さくし、かつ前記変化量が前記基準値よりも小さい場合に、前記特徴量領域のサイズを前記初期値よりも大きくする、
   ことを特徴とする請求項２に記載の撮像装置。
4. 前記特徴量領域更新手段は、前記変化量が大きくなるに従い前記特徴量領域のサイズを小さくし、かつ前記変化量が小さくなるに従い前記特徴量領域のサイズを大きくする、
   ことを特徴とする請求項３に記載の撮像装置。
5. 前記特徴量領域更新手段は、前記変化量が閾値よりも大きい場合に、前記特徴量領域のサイズを一定にする、
   ことを特徴とする請求項４に記載の撮像装置。
6. 前記被写体追尾手段による前記探索が行われ、かつ前記追尾が成功の場合に、前記特徴量領域登録手段は、既に登録されている前記特徴量領域に代えて、前記探索に用いた前記特徴量領域を新たに登録する、
   ことを特徴とする請求項１乃至５のいずれか１項に記載の撮像装置。
7. 前記情報は、画面の平均輝度、ホワイトバランス、及びＧＰＳ機能による位置情報のうちの少なくとも１つを含む、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
8. 前記情報は、前記被写体の背景の動き量を含む、
   ことを特徴とする請求項１乃至６のいずれか１項に記載の撮像装置。
9. 前記第１及び第２の画像から前記背景の動き量を取得する背景の動き量取得手段をさらに備え、
   前記被写体追尾手段は、前記第１及び第２の画像から前記被写体の動き量を取得し、
   前記特徴量領域更新手段は、前記被写体の動き量及び前記背景の動き量に基づき前記特徴量領域のサイズの更新を行う、
   ことを特徴とする請求項８に記載の撮像装置。
10. 前記背景の動き量取得手段は、
    前記第１及び第２の画像から前記背景を推定し、
    前記推定された背景に基づき、前記第１及び第２の画像間の動きベクトルを検出し、
    前記動きベクトルに基づき、前記背景の動き量を取得する、
    ことを特徴とする請求項９に記載の撮像装置。
11. 前記背景の動き量取得手段は、
    ジャイロセンサ及び加速度センサの少なくとも１つにより前記撮像装置の動きを検出し、
    前記撮像装置の動きに基づき、前記背景の動き量を取得する、
    ことを特徴とする請求項９に記載の撮像装置。
12. 前記被写体の追尾に基づき前記被写体に対する撮影条件を制御する制御手段をさらに備える、
    ことを特徴とする請求項１乃至１１のいずれか１項に記載の撮像装置。
13. 第１の画像及び第２の画像を時系列で撮像する撮像素子と、
    前記第１の画像及び前記第２の画像を処理する少なくとも１つのプロセッサと、を備え、
    前記少なくとも１つのプロセッサは、
    前記第１の画像から追尾対象としての被写体を検出する被写体検出手段と、
    前記第１の画像に基づき前記被写体を含む特徴量領域を登録する特徴量領域登録手段と、
    前記第１及び第２の画像に係る、前記被写体の動き量を含む情報に基づき、前記特徴量領域登録手段に登録された前記特徴量領域のサイズの更新を行う特徴量領域更新手段と、
    前記第２の画像から、前記特徴量領域更新手段でサイズが更新された前記特徴量領域に対応する画像領域の探索を行うことで、前記被写体の追尾を行う被写体追尾手段と、を備える、
    ことを特徴とする撮像装置。
14. 第１の画像及び第２の画像を時系列で取得可能な撮像装置の制御方法であって、
    前記第１の画像から追尾対象としての被写体を検出する被写体検出工程と、
    前記第１の画像に基づき前記被写体を含む特徴量領域を登録する特徴量領域登録工程と、
    前記第１及び第２の画像に係る、前記被写体の動き量を含む情報に基づき、前記特徴量領域登録工程にて登録された前記特徴量領域のサイズの更新を行う特徴量領域更新工程と、
    前記第２の画像から、前記特徴量領域更新工程でサイズが更新された前記特徴量領域に対応する画像領域の探索を行うことで、前記被写体の追尾を行う被写体追尾工程と、を備える、
    ことを特徴とする制御方法。
15. 請求項１乃至１３のいずれか１項に記載の撮像装置の各手段としてコンピュータを機能させるためのプログラム。

Images