JP6833483B2 - 被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置 - Google Patents

Description

本発明は、被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置に関する。

一般に、デジタルカメラなどの撮像装置においては、露出決定およびピント合わせなどの撮影上の重要な処理が自動化されている。さらに、手振れなどに起因する像ぶれを防止するための防振制御装置が搭載された撮像装置を用いれば、撮影の際にユーザの撮影ミスを誘発する要因をほぼなくすことができる。

一方、移動する被写体を撮影する場合又は焦点距離が大きくなる望遠における撮影では、次のような問題がある。

移動する被写体を撮影する際、被写体が撮影画面から外れてしまうと、当該被写体をユーザ操作によって精度よく追尾するためには、ユーザの特別な技術が必要となる。また、望遠レンズを有する撮像装置で撮影を行う際には、手振れに起因する像ぶれの影響が大きくなる。このため、ユーザは被写体を撮影画面の中心に維持することが困難となる。そして、ユーザが撮影画面に被写体を戻そうと撮像装置を操作したとしても、当該操作による手ぶれ量が撮像装置によってぶれ補正されてしまう。この結果、防振制御の影響によって被写体を撮影画面又は撮影画面の中心に微調整する操作が困難となる。

このような問題に対処するため、例えば、光軸と交差する方向に光学系の一部を移動して、自動的に被写体を追尾する追尾制御装置を備える撮像装置がある（特許文献１参照）。さらに、撮影の結果得られた画像から目的とする被写体を抽出して、当該被写体の重心位置が撮影画面の中心付近となるように、回転雲台などによって被写体を追尾するようにした撮像装置がある（特許文献２参照）。

特開２０１０−９３３６２号公報 特開平７−２２６８７３号公報

ところが、特許文献２に記載の撮像装置においては、撮影画像から抽出される重心位置の推定精度が回転雲台の追尾制御に影響を与える。なお、以下の説明では、逐次供給される撮影画像から特定の被写体領域を抽出することを追跡と呼び、追跡結果による被写***置に基づいて光学系の一部又は回転雲台などの可動部を制御することを追尾と呼ぶ。

被写体の追跡において、撮影画像に追跡対象と類似する領域が存在すると、誤った領域を追跡してしまうことがある。そして、誤った追跡結果に基づいて追尾が行われると、ユーザによる撮影を大きく妨げることになる。

従って、本発明の目的は被写体の追跡の誤りに起因する追尾の誤動作を防止することのできる被写体追尾装置、その制御方法、および制御プログラム、並びに撮像装置を提供することにある。

上記の目的を達成するため、本発明による被写体追尾装置は、被写体追尾装置であって、撮影画像において、前記撮影画像における前記被写体の位置および被写体らしさを示す信頼度を求める被写体追跡手段と、前記撮影画像における被写体の位置をシフトさせるシフト手段を制御して、前記撮影画像における前記被写体の位置を、前記撮影画像における目標位置との差分が小さくなるように移動させる制御手段と、を有し、前記制御手段は、前記信頼度に基づいて前記シフト手段の制御における制御ゲインを変更して前記被写体の追尾状態を変更することを特徴とする。

本発明による撮像装置は、撮像光学系を介して結像した光学像に応じて撮影画像を得る撮像手段と、上記の被写体追尾装置と、を有することを特徴とする。

本発明による制御方法は、連続的に得られる撮影画像における被写体の位置をシフトさせるシフト手段を制御することで前記被写体を追尾する被写体追尾装置の制御方法であって、前記撮影画像において、前記撮影画像における前記被写体の位置および被写体らしさを示す信頼度を求める被写体追跡ステップと、前記シフト手段を制御して前記撮影画像における前記被写体の位置を、前記撮影画像における目標位置との差分が小さくなるように移動させる制御ステップと、を有し、前記制御ステップにおいて、前記信頼度に基づいて前記シフト手段の制御における制御ゲインを変更して前記被写体の追尾状態を変更することを特徴とする。

本発明による制御プログラムは、連続的に得られる撮影画像における被写体の位置をシフトさせるシフト手段を制御することで前記被写体を追尾する被写体追尾装置で用いられる制御プログラムであって、前記被写体追尾装置に備えられたコンピュータに、前記撮影画像において、前記撮影画像における前記被写体の位置および被写体らしさを示す信頼度を求める被写体追跡ステップと、前記シフト手段を制御して前記撮影画像における前記被写体の位置を、前記撮影画像における目標位置との差分が小さくなるように移動させる制御ステップと、を実行させ、前記制御ステップにおいて、前記信頼度に基づいて前記シフト手段の制御における制御ゲインを変更して前記被写体の追尾状態を変更することを特徴とする。

本発明によれば、被写体の追跡の誤りに起因する追尾の誤動作を防止することができる。

本発明の第１の実施形態による被写体追尾装置を備える撮像装置の一例についてその外観を模式的に示す図である。 図１に示すカメラの構成についてその一例を示す図である。 図２に示すカメラで検出された被写体の追尾を説明するための図であり、（Ａ）は被写体の追尾開始前の撮影画像を示す図、（Ｂ）は被写体の追尾開始後の撮影画像を示す図である。 図２に示す被写体追跡部で行われる被写体追跡処理の一例を説明するためのフローチャートである。 図２に示す被写体追跡部で行われるテンプレートマッチング処理を説明するための図である。 図２に示す追尾量算出部の一例を説明するためのブロック図である。 図２に示すカメラで行われる被写体追尾の一例を説明するためのフローチャートである。 本発明の第２の実施形態に係るカメラの構成についてその一例を示す図である。 図８に示すカメラにおける通知方法を説明するための図である。

以下に、本発明の実施形態による被写体の追跡の誤りに起因する追尾の誤動作を軽減することのできる被写体追尾装置、その制御方法、および制御プログラム、並びに被写体追尾装置を備える撮像装置の一例について図面を参照して説明する。なお、下記の第１の実施形態、第２の実施形態ともに、撮像装置としてデジタルカメラに本発明を適用した例について説明をするが、本発明は、デジタルカメラに限らず、デジタルビデオカメラ、監視カメラ、Ｗｅｂカメラ、携帯電話等の撮像装置にも適用可能である。また、本発明は、レンズ交換式、レンズ一体型のいずれのカメラにも適用可能である。

［第１の実施形態］
図１は、本発明の第１の実施形態による被写体追尾装置を備える撮像装置の一例についてその外観を模式的に示す図である。

図示の撮像装置は、例えば、デジタルカメラ（以下単にカメラと呼ぶ）１０１であり、カメラ筐体の上面にはレリーズボタン１０４が配置されている。ここでは、カメラ１０１の側面の方向に延びる軸をＸ軸とし、上面の方向に延びる軸をＹ軸とする。また、カメラ１０１の正面の方向に延びる軸をＺ軸とする。そして、Ｘ軸回りの回転１０３Ｐｐをピッチ（ＰＩＴＣＨ）とし、Ｙ軸回りの回転１０３ｙをヨー（ＹＡＷ）とする。

図２は、図１に示すカメラの構成についてその一例を示す図である。

図１および図２を参照して、撮像光学系の光軸１０２上には、補正レンズ１１４および撮像素子１０６が位置づけられている。撮像素子１０６は撮像光学系を介して結像した光学像に応じた電気信号（アナログ信号）を生成し、当該アナログ信号をＡ／Ｄ変換して撮影画像として出力する。なお、図示はしないが、撮像光学系にはズームレンズおよびフォーカスレンズが備えられている。角速度計１０３は、ピッチ１０３ｐおよびヨー１０３ｙにおける角度振れ（つまり、カメラ１０１のぶれ）を検出して角度振れ信号をＣＰＵ１０５に送る。ＣＰＵ１０５は、本実施形態の被写体追尾装置を構成する。

ＣＰＵ１０５において、振れ補正角度算出部１０８は、角度振れ信号に基づいて振れ補正角度を求める。例えば、振れ補正角度算出部１０８は、角度振れ信号において検出ノイズとして付加されるＤＣ成分をカットした後、積分処理を行ってカメラ１０１の角度を示す角度信号を出力する。なお、ＤＣ成分のカットには、例えば、ＨＰＦ（ハイパスフィルタ）が用いられる。そして、角度信号は敏感度調整部１０９に送られる。

敏感度調整部１０９には、ズームおよびフォーカス位置検出部１０７からズームレンズおよびフォーカスレンズの位置を示すズーム位置およびフォーカス位置が送られる。敏感度調整部１０９は、ズーム位置およびフォーカス位置に基づいて焦点距離および撮影倍率を求める。そして、敏感度調整部１０９は焦点距離および撮影倍率に応じて角度信号を増幅して振れ補正目標値とする。敏感度調整部１０９は振れ補正目標値を振れ補正量として駆動制御部１１３に送る。

なお、フォーカスレンズおよびズームレンズの位置の変化によって補正レンズ１１４の振れ補正ストロークに対するカメラ像面における振れ補正敏感度が変化するので、ここでは、ズーム位置およびフォーカス位置に基づいて振れ補正目標値を求める。

前述の補正レンズ１１４は、撮影の結果得られた画像における、追尾対象の被写体（追尾対象被写体）をシフト移動させるために用いられる。駆動制御部１１３は、後述するように、補正レンズ１１４を駆動制御して被写体の追尾を行う。さらに、駆動制御部１１３は補正レンズ１１４を光軸と異なる方向（例えば、交差する方向）に駆動して像ぶれを補正する（光学防振）。

図２に示す例では、補正レンズ１１４を用いて光学防振を行うようにしたが、像ぶれ補正手法として、撮像素子１０６を光軸に直交する面内で移動させて像ぶれ補正を行う手法を用いるようにしてもよい。さらには、撮像素子１０６の出力である撮影フレーム毎に画像の切り出し位置を変更して、振れの影響を軽減する電子防振を用いるようにしてもよい。そして、上述の複数の像ブレ補正手法を組み合わせて用いるようにしてもよい。

被写体追跡部１１０は、撮像素子１０６の出力である撮影画像を受けて、撮影画像において被写体領域の位置を抽出する。本実施形態では、被写体領域の重心位置が被写体の位置として用いられる。さらに、被写体追跡部１１０は被写体らしさを示す信頼度（尤度）を求めて、重心位置および尤度を追尾量算出部１１１に送る。追尾量算出部１１１は被写体領域の重心位置に基づいて、補正レンズ１１４によって被写体を追尾するために用いる制御量である追尾補正量を算出する。また、追尾量算出部１１１は尤度に基づいて追尾補正量を変更する。

加算器１１２は、敏感度調整部１０９の出力である振れ補正量と追尾量算出部１１１の出力である追尾補正量とを加算して、加算結果を駆動制御部１１３に送る。駆動制御部１１３は、加算器１１２の出力である加算結果に基づいて、補正レンズ１１４の駆動量を求めて、当該駆動量に基づいて補正レンズ１１４を駆動し、被写体の追尾および像ぶれ補正を行う。

図３は、図２に示すカメラで検出された被写体の追尾を説明するための図である。そして、図３（Ａ）は被写体の追尾開始前の撮影画像を示す図であり、図３（Ｂ）は被写体の追尾開始後の撮影画像を示す図である。

図３（Ａ）に示す撮影画像３０１ａにおいて、被写体３０２ａは、画像中心３０４から離れた位置に存在する。ここでは、被写体３０２ａの重心位置（被写体重心位置）が参照番号３０３ａで示されている。ＣＰＵ１０５は、追尾（追尾制御ともいう）によって被写体重心位置３０３ａを画像中心３０４に徐々に近づけて、最終的に画像中心３０４と被写体重心位置３０３ａとをほぼ一致させる。これによって、図３（Ｂ）に示すように、追尾が成功した被写体３０２ａの被写体重心位置３０３ａは画像中心３０４と一致する。

ここで、被写体追跡部１１０における被写体追跡手法について説明する。図示の例では、被写体追跡の際には、目的とする被写体を示す部分画像をテンプレートとして、当該テンプレートをシフトさせつつ撮影画像と照合して、相違度が低い領域を推定する手法（テンプレートマッチング）が用いられる。また、目的とする被写体について時間方向のスケール変換に対応するため、被写体の特徴色を抽出して、撮影画像の特徴色の分布状況に基づいて被写体領域を推定する手法も用いられる。そして、推定された被写体領域に基づいてテンプレートを更新する。

図４は、図２に示す被写体追跡部１１０で行われる被写体追跡処理の一例を説明するためのフローチャートである。

被写体追跡処理を開始すると、被写体追跡部１１０は撮像素子１０６から撮影画像を読み込む（ステップＳ４０１）。そして、被写体追跡部１１０は、撮影画像に予め指定された追跡対象である被写体が存在するか否かを判定する（ステップＳ４０２）。追跡対象の被写体が存在しないと（ステップＳ４０２において、ＮＯ）、被写体追跡部１１０は追跡対象の被写体を決定するため、撮影画像において被写体を検出する（ステップＳ４０３）。

ステップＳ４０３の処理においては、被写体追跡部１１０はユーザの指示に基づいて被写体を検出するか又は自動で被写体を検出する。ユーザの指示に基づいて被写体を検出する際には、タッチパネルおよびボタンなどを有する入力インターフェイスによって、ユーザが撮影画像において被写体の位置を指示する。そして、被写体追跡部１１０はユーザが指示した位置に基づいて被写体を検出して当該被写体領域を抽出する。

一方、自動で被写体を検出する際には、被写体追跡部１１０は顔検出を用いる。顔検出の際には、例えば、顔に関する知識（肌色情報、目・鼻・口などのパーツ）を用いる手法とニューラルネットに代表される学習アルゴリズムによって顔検出のための識別器を構成する手法などがある。また、顔検出においては、検出率向上のため、一般に、上記の手法を組み合わせて顔検出が行われる。顔検出については、例えば、特開２００２−２５１３８０号公報に記載のウェーブレット変換と画像特徴量とを用いて顔検出を行う手法が知られている。

続いて、被写体追跡部１１０は被写体領域から追跡対象である被写体の特徴量を抽出する（ステップＳ４０４）。ここでは、テンプレートマッチングを用いて追跡処理を行うので、被写体領域の画像パターンが特徴量として抽出される。さらに、特徴色の分布に基づいて被写体領域の推定を行うため、被写体領域の色ヒストグラムＨｉｎが保持される。その後、被写体追跡部１１０は被写体追跡処理を終了して、次の撮影のサンプリング周期まで待ち状態となる。

一方、追跡対象の被写体が存在すると（ステップＳ４０２において、ＹＥＳ）、被写体追跡部１１０は、テンプレートを用いてテンプレートマッチング処理を行う（ステップＳ４０５）。

図５は、図２に示す被写体追跡部１１０で行われるテンプレートマッチング処理を説明するための図である。そして、図５（Ａ）はテンプレートマッチング処理における被写体モデル（テンプレート）の一例を示す図であり、図５（Ｂ）は追跡対象の被写体を探索する画像の一例を示す図である。

ここでは、追跡対象の被写体を示す部分画像（テンプレート）５０１の画素パターンが特徴量として用いられる。そして、テンプレート５０１の特徴量５０２として画素データの輝度が用いられる。特徴量Ｔ（ｉ，ｊ）は、テンプレート内の座標を（ｉ，ｊ）、水平画素数をＷ、および垂直画素数をＨとすると、次の式（１）で表される。

図５（Ｂ）において、マッチング処理を行う範囲である探索画像５０３における座標を（ｘ，ｙ）とする。探索画像５０３においてテンプレートマッチングの評価値を得るための部分領域５０４を設定する。そして、部分領域５０４の特徴量５０５にはテンプレート５０１と同様に撮影画像の輝度が用いられる。特徴量Ｓ（ｉ，ｊ）は、部分領域５０４内の座標を（ｉ，ｊ）、水平画素数をＷ、および垂直画素数をＨとすると、次の式（２）で表される。

テンプレート５０１と部分領域５０４との類似性を評価する際には、差分絶対和、所謂ＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値が用いられる。そして、ＳＡＤ値は、次の式（３）によって求められる。

部分領域５０４を探索画像５０３の左上から順に１画素ずつずらしながら、ＳＡＤ値Ｖ（ｘ，ｙ）を求める。ＳＡＤ値Ｖ（ｘ，ｙ）が最小値を示す座標（ｘ，ｙ）がテンプレート５０１と最も類似した位置を示す。つまり、最小値を示す位置が探索画像５０３において目的とする追跡対象の被写体が存在する可能性の高い位置となる。

ここでは、特徴量として輝度（輝度信号）などの１次元情報を用いる例について説明したが、明度、色相、および彩度などの３次元情報を特徴量として用いてもよい。また、テンプレートマッチングの評価値を求める際にはＳＡＤ値を用いたが、正規化相互相関、所謂ＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｅｆｆｉｅｃｉｅｎｔ）などの手法を用いてもよい。

再び図４を参照して、被写体追跡部１１０は、テンプレートマッチング処理によって推定した位置に基づいて被写体領域の推定を行う（ステップＳ４０６）。ここでは、被写体追跡部１１０は、ステップＳ４０４で得られた被写体領域の色ヒストグラムＨｉｎと現在時刻の撮影画像の全体又は一部の色ヒストグラムＨｏｕｔとに基づいて、次の式（４）で示す情報量Ｉ（ａ）を求める。

情報量Ｉ（ａ）は、色ヒストグラムの各ビンにおいて、撮影画像全体又は一部に対する被写体領域の生起確率を示す。被写体追跡部１１０は情報量Ｉ（ａ）を現在時刻の撮影画像の各画素に適応して探索画像５０３に被写体が存在する可能性を示すマップを生成する。そして、被写体追跡部１１０は当該マップに基づいて被写体領域を推定し、推定した被写体領域の重心位置を出力する。

続いて、被写体追跡部１１０は被写体追跡の尤度を算出する（ステップＳ４０７）。被写体追跡の確からしさを妨げる要因として、例えば、被写体の変化、類似被写体の存在、追跡誤差の蓄積が挙げられる。被写体追跡部１１０はこれら要因をテンプレートマッチング処理および被写体領域の推定から得られた評価値に乗算して尤度を算出する。

上述の式（３）で求めたＳＡＤ値Ｖ（ｘ，ｙ）の最小値が大きい程、被写体の変化が大きい。よって、被写体追跡部１１０は当該最小値が大きい程尤度を小さくする。式（３）で得られたＳＡＤ値Ｖ（ｘ，ｙ）の最小値と類似するＳＡＤ値が、被写体の推定位置と所定の閾値以上離れた位置に存在する場合には、類似被写体が存在する可能性が高い。このため、被写体追跡部１１０は、被写体の推定位置から所定の閾値以上離れた位置に存在するＳＡＤ値と式（３）で得られたＳＡＤ値Ｖ（ｘ，ｙ）の最小値との類似度が高い程尤度を低くする。

なお、式（４）で得られた被写体の色特徴色を示す情報量Ｉ（ａ）について、被写体領域内の平均値（期待値）であるエントロピーＥｉｎが小さい程、被写体の変化が大きい。エントロピーＥｉｎは次の式（５）で表される。

被写体追跡部１１０は、エントロピーＥｉｎが小さい程尤度を小さくする。さらに、式（４）で示す被写体の特徴色である情報量Ｉ（ａ）について、被写体領域外の平均値（期待値）であるエントロピーＥｏｕｔが大きい程類似対象が存在する可能性が高い。エントロピーＥｏｕｔは次の式（６）で表される。

被写体追跡部１１０は、エントロピーＥｏｕｔが大きい程尤度を小さくする。さらに、被写体追跡の確からしさが一度低くなると、その後の追跡の信頼性も低くなる。このため、被写体追跡部１１０は尤度算出の際に履歴の尤度を加味する。例えば、所定の期間の尤度の平均値を現在フレームの尤度として用いる。このようにして、被写体追跡部１１０は被写体追跡の尤度を算出する。

続いて、被写体追跡部１１０は被写体特徴量を更新する（ステップＳ４０８）。ここでは、被写体追跡部１１０はステップＳ４０６の処理で推定した被写体領域に基づいてテンプレートを更新して、被写体のスケール変化に対応する。その後、被写体追跡部１１０は被写体追跡処理を終了して、次の撮影のサンプリング周期まで待ち状態となる。

図６は、図２に示す追尾量算出部１１１の一例を説明するためのブロック図である。

追尾量算出部１１１は、画像の縦方向および横方向の各々において追尾補正量を求めるが、ここでは、一方の方向の追尾補正量の算出について説明する。追尾量算出部１１１は、被写体の位置（つまり、重心位置）と画像中心位置（被写体の目標位置）との差分に基づいて、被写体を追尾するためのカウント値を算出する。追尾量算出部１１１は、カウント値をサンプリング時間毎に加算して、被写体の位置が目標位置に移動するように制御する。そして、追尾量算出部１１１は、被写体追跡部１１０の出力である尤度（被写体尤度）に基づいて、カウント値の大きさを変更して追尾の度合いを変更する。

減算器６０４は、被写***置取得部６０１が取得した被写***置の座標から画像中心位置取得部６０２が取得した画像中心位置の座標を減算する。これによって、画像中心位置と被写体の重心位置との画像上における距離（中心ずれ量）が算出される。この中心ずれ量は、画像中心をゼロとした際の符号付きのデータになる。減算器６０４の出力は、カウント値テーブル６０５に入力され、カウント値テーブル６０５から被写体重心位置と画像中心との差分の距離の大きさに応じたカウント値が出力される。なお、被写***置取得部６０１が、画像中心位置を中心（ｘ座標、ｙ座標共にゼロ）とする座標上における被写***置を取得してもよい。

なお、追尾量算出部１１１では、中心ずれ量が、閾値Ｚ以下の場合又は閾値−Ｚ以上の場合に、カウント値をゼロに設定する。これによって、画像中心から±Ｚの範囲内において追尾を行わない不感帯領域が設定される。なお、カウント値テーブル６０５は、中心ずれ量が大きくなるにつれてカウント値が大きくなるテーブルであり、カウント値の符号は中心ずれ量の符号に合わせられる。

カウント値テーブル６０５の出力は、可変ゲイン器６０６に入力される。ゲイン量算出部６０７は、被写体尤度取得部６０３が取得した被写体尤度に基づいてカウント値に係るゲイン（制御ゲイン）を算出する。ここでは、ゲイン量算出部６０７は被写体尤度が高い場合には、正しい被写体を追跡できている可能性が高いとして追尾の応答性を高めるためゲインを大きくする。一方で、被写体尤度が低い場合には、誤った被写体を追跡してしまっている可能性がある。そして、誤った追跡対象である被写体について追尾を行うとユーザの撮影を大きく妨げることとなる。このため、ゲイン量算出部６０７は、被写体尤度が低い場合には、ゲインを小さくする。このとき、被写体尤度が閾値以下の場合は、ゲインを０として追尾制御を停止してもよい。また、ゲインをゼロとする代わりに追尾スイッチ６０８をオフにすることで追尾制御を停止してもよい。そして、ゲイン量算出部６０７は算出したゲイン（ゲイン量）を可変ゲインＣｇとして可変ゲイン器６０６に設定する。

可変ゲイン器６０６の出力は信号選択部６０９に入力される。信号選択部６０９にはダウンカウント値設定部６１１のダウンカウント値および追尾スイッチ６０８の設定が入力される。信号選択部６０９は、追尾スイッチ６０８がオンであると、可変ゲイン器６０６の出力を選択する。一方、追尾スイッチ６０８がオフであると、信号選択部６０９はダウンカウント値設定部６１１の出力を選択する。そして、信号選択部６０９の出力は加算器６１０に入力される。

ダウンカウント値設定部６１１はダウンカウント値を設定する。ダウンカウント値設定部６１１には、サンプリング部６１３から追尾量前回サンプリング値が入力される。ダウンカウント値設定部６１１は、追尾量前回サンプリング値がプラスの符号である場合は、ダウンカウント値をマイナスに設定する。一方、追尾量前回サンプリング値がマイナスの符号である場合は、ダウンカウント値設定部６１１はダウンカウント値をプラスに設定する。これによって、ダウンカウント値設定部６１１は、追尾補正量の絶対値を小さくする。なお、ダウンカウント値設定部６１１は、追尾量前回サンプリング値が０±所定範囲以内である場合には、ダウンカウント値をゼロに設定する。また、追尾量前回サンプリング値は、前回サンプリングまでの追尾補正量を示す。

加算器６１０は、信号選択部６０９の出力と追尾量前回サンプリング値とを加算する。マイナスのダウンカウント値が追尾量前回サンプリング値に加算されると、追尾補正量の絶対値が小さくなる。加算器６１０の出力は上下限値設定部６１２に入力される。上下限値設定部６１２は追尾補正量を所定の上限値未満でかつ所定の下限値を超える量に設定する。上下限値設定部６１２の出力はサンプリング部６１３およびＬＰＦ６１４に入力される。ＬＰＦ６１４は高周波ノイズをカットした追尾補正量を補正レンズ量変換部６１５に送る。補正レンズ量変換部６１５は追尾補正量を補正レンズ１１４で追尾するための信号形態に変換して最終的な追尾補正量を出力する。

このようにして、追尾量算出部１１１は、画像中心位置と被写***置との差分に応じて、サンプリング毎にカウント値を求めて追尾補正量に加算し、徐々に被写***置を画像中心付近に近づける追尾を行う。

なお、上述の説明では、被写体尤度に基づいて、ゲイン量算出部６０７がゲインを設定するようにしたが、被写体尤度に加えて撮影画像の重心位置に基づいて、ゲイン量算出部６０７はゲインを設定するようにしてもよい。

前述のように、被写体追跡部１１０においては、撮影画像から目的とする被写体領域を推定する。このため、撮影画像に目的とする被写体が収まるように追尾が行われる必要がある。目的とする被写体が撮影画像の端に存在する場合には、次のフレーム以降において被写体が撮影画像から外れる可能性が高い。よって、追尾によって被写体を画像中心（目標位置）に移動させることが重要となる。

一方、目的とする被写体が画像中心（目標位置）付近に存在する場合には、次のフレーム以降において、被写体が撮影画像から外れる可能性は低い。よって、追尾の重要度は低下する。従って、被写体尤度が低い程、追尾度合い（つまり、追尾状態）が小さくなるように制御するとともに、被写体重心位置が画像中心（目標位置）に近い程追尾度合いが小さくなるように制御する。

図７は、図２に示すカメラで行われる被写体追尾の一例を説明するためのフローチャートである。なお、図示のフローチャートに係る処理は、カメラ１０１の主電源がオンされると開始し、所定のサンプリング周期で行われる。

まず、ＣＰＵ１０５は、防振ＳＷ（図示せず）がＯＮであるか否かを判定する（ステップＳ７０１）。防振ＳＷがＯＮであると（ステップＳ７０１において、ＹＥＳ）、ＣＰＵ１０５は角速度計１０３の出力を取り込む（ステップＳ７０２）。そして、ＣＰＵ１０５はカメラ１０１が振れ補正が可能な状態であるか否かを判定する（ステップＳ７０３）。ここでは、ＣＰＵ１０５はカメラ１０１が電源を供給されて角速度計１０３の出力が安定するまでの状態である場合に振れ補正が可能な状態でないと判定する。一方、カメラ１０１が角速度計１０３の出力が安定した後の状態である場合には、ＣＰＵ１０５は振れ補正が可能な状態であると判定する。これによって、電源の供給直後における角速度計１０３の出力が不安定な状態においては振れ補正が行われない。

カメラ１０１が振れ補正が可能な状態である場合には（ステップＳ７０３において、ＹＥＳ）、ＣＰＵ１０５は、前述のようにして、振れ補正角度算出部１０８および敏感度調整部１０９によって、角速度計１０３の出力に基づいて振れ補正量を求める（ステップＳ７０４）。一方、カメラ１０１が振れ補正が可能な状態でない場合には（ステップＳ７０３において、ＮＯ）、ＣＰＵ１０５は振れ補正量をゼロとする（ステップＳ７０５）。なお、防振ＳＷがＯＦＦであると（ステップＳ７０１において、ＮＯ）、ＣＰＵ１０５はステップＳ７０５の処理に進む。

ステップＳ７０４又はＳ７０５の処理の後、ＣＰＵ１０５は追尾ＳＷ（図示せず）がＯＮであるか否かを判定する（ステップＳ７０６）。追尾ＳＷがＯＮであると（ステップＳ７０６において、ＹＥＳ）、ＣＰＵ１０５は撮像素子１０６から連続的に得た撮影画像において追尾対象である被写体が存在するか否かを判定する（ステップＳ７０７）。追尾対象である被写体が存在すると（ステップＳ７０７において、ＹＥＳ）、ＣＰＵ１０５は撮影画像において被写体領域の重心位置を推定する（ステップＳ７０８）。

続いて、ＣＰＵ１０５は、前述のようにして当該重心位置に係る被写体尤度を求める（ステップＳ７０９）。なお、前述のように、ステップＳ７０８およびＳ７０９の処理は被写体追跡部１１０で行われる。そして、ＣＰＵ１０５は、追尾量算出部１１１によって被写体重心位置および被写体尤度に基づいて追尾補正量を求める（ステップＳ７１０）。

追尾対象である被写体が存在しないと（ステップＳ７０７において、ＮＯ）、ＣＰＵ１０５は追尾補正量をゼロに設定する（ステップＳ７１１）。なお、追尾ＳＷがＯＦＦであると（ステップＳ７０６において、ＮＯ）、ＣＰＵ１０５はステップＳ７１１の処理に進む。

ステップＳ７１０又はＳ７１１の処理の後、ＣＰＵ１０５は振れ補正量と追尾補正量とを加算してレンズ駆動量を算出する（ステップＳ７１２）。そして、ＣＰＵ１０５は駆動制御部１１３によって、レンズ駆動量に基づいて補正レンズ１１４を駆動制御する（ステップｓＳ７１３）。その後、ＣＰＵ１０５は被写体追尾処理を終了して次のサンプリング周期まで待ち状態となる。

このようにして、第１の実施形態では、被写体の追跡によって得られた被写体の重心位置とその尤度に基づいて、補正レンズ１１４を駆動制御する。これによって、追尾の誤動作を防止して、しかも応答性の高い追尾を行うことができる。

［第２の実施形態］
前述の第１の実施形態では、被写体尤度に基づいて追尾度合いを変更する被写体追尾装置を備える撮像装置について説明をした。これに対して、第２の実施形態では、被写体尤度に基づいて追尾度合いを変更するとともに、追尾制御が難しい状態にある場合は、追尾制御が難しいことを撮影者に通知（警告）するように指示する被写体追尾装置を備える撮像装置について説明をする。追尾制御が難しい状態にあるか否かは、被写体尤度に基づいて判断をする。なお、被写体尤度に基づいて追尾度合いを変える点については、第１の実施形態と同様のため、説明は省略する。また、第１の実施形態と同様に、カメラに被写体追尾装置を適用した形態について説明をする。

図８は本発明の第２の実施形態に係るカメラの構成についてその一例を示す図である。第２の実施形態では、被写体追尾装置としてのＣＰＵ１０５が、被写体尤度に基づいて追尾制御が難しい状態にあるか否かを判定する追尾状態判定部８０１と、追尾状態判定部８０１による判定結果に基づいて撮影者への通知を指示する通知指示部８０２とを備える点で第１の実施形態と異なる。また、第２の実施形態のカメラ１０１は、画像を表示する表示部（図９（Ａ）乃至図９（Ｄ））と、表示部に表示される画像を制御する表示制御部８０３を備え、表示制御部８０３は、通知指示部８０２からの通知指示を受けて、追尾制御が難しい状態にあることを撮影者へ通知する。

被写体追跡部１１０は、第１の実施形態と同様に、設定された追尾対象の被写体について被写体尤度を取得する。そして、取得された被写体尤度は追尾状態判定部８０１に送られる。追尾状態判定部８０１は、被写体追跡部１１０から受け取った被写体尤度に基づいて該被写体尤度が閾値以下であるか否かを判定する。そして、受け取った被写体尤度が閾値以下のとき、追尾状態判定部８０１は、被写体尤度が低いため追尾制御が難しい状態にあると判定する。一方、受け取った被写体尤度が閾値より大きいとき、追尾状態判定部８０１は、追尾制御可能な程度以上に被写体尤度が高いと判定する。追尾状態判定部８０１による判定結果は通知指示部８０２に送られる。追尾状態判定部８０１によって被写体尤度が閾値以下であると判定されたとき、通知指示部８０２は、追尾制御が難しい状態にあることを撮影者に通知するように、表示制御部８０３へ指示を送る。表示制御部８０３は、撮影者への通知指示を通知指示部８０２から受けると、表示部に表示される画像の内容を変更し、追尾制御が難しい状態にあることを撮影者に通知する。

次に、図９を用いて、追尾制御が難しい状態にあることを撮影者に通知する方法について説明をする。図９（Ａ）乃至図９（Ｄ）に示すように、カメラ１０１は、背面に表示部として機能する液晶ディスプレイ９０１を備え、ライブビュー表示により、撮影前からカメラ１０１が捉えている画像を表示することができる。また、カメラ１０１には液晶ディスプレイ９０１の下にタッチパネル９０２が配置されており、タッチ操作によって指定された被写体９０３の座標位置を取得し、追尾対象の被写体を設定することができる。タッチ操作によって指定された被写体９０３は、被写体枠９０４によって示される。表示制御部８０３は、通知指示を通知指示部８０２から受けると、液晶ディスプレイ９０１に表示されている追尾アイコン９０５の表示を変化させて、追尾制御が難しい状態にあることを撮影者に通知する。追尾制御状態の変化に伴う追尾アイコン９０５の変化の例を説明する。

図９（Ａ）において、タッチ操作により追尾対象の被写体９０３が指定されると、追尾制御が行われ、追尾制御を行っている状態であることが分かるように、液晶ディスプレイ９０１の画面（以下単に画面と呼ぶ）に追尾アイコン９０５が表示される。被写体追尾が行われていない間（被写体が指定されていない状態）は、追尾アイコン９０５は画面に表示されない。

図９（Ｂ）は、被写体指定後の状態を示す図である。時間の経過につれて、カメラの状態が図９（Ａ）、図９（Ｂ）、図９（Ｃ）、図９（Ｄ）の順で変化した場合の振れ補正量と追尾補正量とを加算した加算器１１２の出力を図９（Ｅ）に示す。また、被写***置の変化を図９（Ｆ）、被写体尤度の変化を図９（Ｇ）、追尾アイコン９０５の表示の状態を図９（Ｈ）に示す。図９（Ａ）に示すようなタッチ操作により被写体が指定されるタイミングＴ１１までは、追尾アイコン９０５は画面に表示されていない状態であり、図９（Ｂ）に示すように追尾対象の被写体が指定されると、追尾アイコン９０５が画面に表示される。その後、指定した被写体９０３が画像中心から離れていても、追尾量算出部１１１で算出された追尾補正量に基づいて追尾制御が行われることにより、図９（Ｂ）に示すように、被写体９０３は画像中心に戻される。なお、図中、被写体を指定して位置を検出したタイミングをＴ１１、追尾制御により被写体が画像中心に戻されたタイミングをＴ１２として示す。

その後、図９（Ｃ）に示すように更に被写体９０３が移動すると、更に追尾補正量を大きくして追尾制御が行われる。図９（Ｄ）に示すように類似の被写体が画面内に複数表れた場合、被写体尤度は低く設定される。本実施形態では、被写体尤度が閾値Ｔｈ１以下のとき、追尾ゲインはゼロに設定され、追尾制御を行わないように設定される。このとき、これ以上追尾を行わないことを撮影者に知らせるため、追尾アイコン９０５をグレー表示して、追尾不可能状態が撮影者に通知される（図９（Ｈ）参照）。

以上のようにして、第２の実施形態に係る被写体追尾装置は、被写体尤度が低く、追尾制御を行うことはできないと判定すると、追尾アイコン９０５の表示を変化させる指示を送る。これにより、撮影者が自らカメラをフレーミングして被写体を画像中心に移動させることを促すことができる。なお、追尾制御を行うか否かを判定する閾値と、撮影者に追尾制御が難しい状態にあることを通知する閾値とは、一致していてもよいし、異なっていてもよい。閾値が一致している場合、追尾制御を行わないことを撮影者に通知できる。追尾制御を行うか否かを判定する閾値のほうが小さい場合、追尾制御を行いながら撮影者に被写体尤度が低いことを通知でき、追尾制御が停止する前に撮影者にフレーミングを促すことができるため、一度追尾制御が停止してから再開するよりも、スムーズに追尾制御を行うことができる。

なお、第２の実施形態では、追尾アイコンの色を変化させることで撮影者に追尾制御が難しい状況にあることを通知したが、通知方法はこれに限定されない。追尾アイコンとは別に、被写体尤度が低いことを示すアイコンを液晶ディスプレイ９０１に表示してもよいし、カメラ１０１にＬＥＤランプを設け、ＬＥＤランプの点灯状態（点灯、消灯、点滅等）を被写体尤度が高い時（追尾制御ができているとき）と変化させてもよい。

上述の実施の形態では、振れ補正部材として補正レンズを用いて、当該補正レンズを光軸に交差する（例えば、直交する）面内で移動させる光学防振に適用した場合について説明した。一方、本発明は、光学防振に限らず、撮像素子を光軸に直交する面内で移動させる被写体追尾、撮像素子が出力する撮影フレームの各々における切り出し位置を変更する被写体追尾、撮像素子と撮影レンズ群を含む鏡筒とを回転駆動する被写体追尾、別のカメラをパンおよびチルトさせる回転雲台を組み合わせた被写体追尾、又は上記の複数の被写体追尾の組み合わせに適用することもできる。

上述の説明から明らかなように、図２に示す例では、補正レンズ１１４およびＣＰＵ１０５がシフト手段として機能し、ＣＰＵ１０５、角速度計１０３、およびズームおよびフォーカス位置検出部１０７が被写体追跡手段として機能する。また、ＣＰＵ１０５は制御手段として機能する。なお、少なくとも補正レンズ１１４、ＣＰＵ１０５、角速度計１０３、およびズームおよびフォーカス位置検出部１０７によって被写体追尾装置が構成される。

以上、本発明について実施の形態に基づいて説明したが、本発明は、これらの実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。

例えば、上記の実施の形態の機能を制御方法として、この制御方法を被写体追尾装置に実行させるようにすればよい。また、上述の実施の形態の機能を有するプログラムを制御プログラムとして、当該制御プログラムを被写体追尾装置が備えるコンピュータに実行させるようにしてもよい。なお、制御プログラムは、例えば、コンピュータに読み取り可能な記録媒体に記録される。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１０３ 角速度計
１０７ ズームおよびフォーカス位置検出部
１０８ 振れ補正角度算出部
１０９ 敏感度調整部
１１０ 被写体追跡部
１１１ 追尾量算出部
１１３ 駆動制御部
１１４ 補正レンズ

Claims (10)

1. 被写体追尾装置であって、
   撮影画像において、前記撮影画像における前記被写体の位置および被写体らしさを示す信頼度を求める被写体追跡手段と、
   前記撮影画像における被写体の位置をシフトさせるシフト手段を制御して、前記撮影画像における前記被写体の位置を、前記撮影画像における目標位置との差分が小さくなるように移動させる制御手段と、を有し、
   前記制御手段は、前記信頼度に基づいて前記シフト手段の制御における制御ゲインを変更して前記被写体の追尾状態を変更することを特徴とする被写体追尾装置。
2. 前記被写体追跡手段は、前記撮影画像において前記被写体を示す部分領域をテンプレートとして、前記テンプレートと当該テンプレートとして用いた部分画像を得た撮影画像よりも後に得られた撮影画像の部分領域とを照合して評価値を求め、前記評価値の分布に応じて前記信頼度を求めることを特徴とする請求項１に記載の被写体追尾装置。
3. 前記被写体追跡手段は、前記被写体の特徴色の前記撮影画像における分布に基づいて被写体領域を推定して、当該被写体領域内と被写体領域外との特徴色の分布に基づいて前記信頼度を求めることを特徴とする請求項１に記載の被写体追尾装置。
4. 前記被写体追跡手段は、前記信頼度を求める際、前記信頼度の履歴を参照して、現在の撮影画像における前記被写体の前記信頼度を求めることを特徴とする請求項１乃至３のいずれか１項に記載の被写体追尾装置。
5. 前記制御手段は、前記信頼度が低い程、前記被写体の追尾状態を低下させることを特徴とする請求項１乃至４のいずれか１項に記載の被写体追尾装置。
6. 前記制御手段は、前記撮影画像における前記被写体の前記位置が前記目標位置に近い程、前記被写体の追尾状態を低下させることを特徴とする請求項５に記載の被写体追尾装置。
7. 撮像光学系を介して結像した光学像に応じて撮影画像を得る撮像手段と、
   請求項１乃至６のいずれか１項に記載の被写体追尾装置と、
   を有することを特徴とする撮像装置。
8. 前記シフト手段は、前記撮像光学系に備えられ前記撮像光学系の光軸に交差する方向に駆動される補正レンズを備えることを特徴とする請求項７に記載の撮像装置。
9. 連続的に得られる撮影画像における被写体の位置をシフトさせるシフト手段を制御することで前記被写体を追尾する被写体追尾装置の制御方法であって、
   前記撮影画像において、前記撮影画像における前記被写体の位置および被写体らしさを示す信頼度を求める被写体追跡ステップと、
   前記シフト手段を制御して前記撮影画像における前記被写体の位置を、前記撮影画像における目標位置との差分が小さくなるように移動させる制御ステップと、を有し、
   前記制御ステップにおいて、前記信頼度に基づいて前記シフト手段の制御における制御ゲインを変更して前記被写体の追尾状態を変更することを特徴とする制御方法。
10. 連続的に得られる撮影画像における被写体の位置をシフトさせるシフト手段を制御することで前記被写体を追尾する被写体追尾装置で用いられる制御プログラムであって、
    前記被写体追尾装置に備えられたコンピュータに、
    前記撮影画像において、前記撮影画像における前記被写体の位置および被写体らしさを示す信頼度を求める被写体追跡ステップと、
    前記シフト手段を制御して前記撮影画像における前記被写体の位置を、前記撮影画像における目標位置との差分が小さくなるように移動させる制御ステップと、を実行させ、
    前記制御ステップにおいて、前記信頼度に基づいて前記シフト手段の制御における制御ゲインを変更して前記被写体の追尾状態を変更することを特徴とする制御プログラム。

Images