JP2017228082A - 追跡装置、追跡方法、及びプログラム - Google Patents

Abstract

【課題】追跡対象の画像領域を高い精度で追跡可能にすることを課題とする。
【解決手段】距離分布生成部（２０３）は、基準画像における各領域の距離を示す距離情報を生成する。被写体尤度分布生成部（２０４）は、基準画像において追跡対象の被写体として指定された位置に関する情報と距離情報とに基づいて、基準画像における被写体としての確からしさを示す尤度分布を生成する。特徴抽出部（２０２）は、尤度分布に基づいて基準画像から被写体に対応する画像領域を推定し、画像領域から被写体の追跡に用いる特徴量を算出する。
【選択図】図２

Description

本発明は、追跡対象となされている画像領域を追跡する追跡装置、追跡方法、撮像装置、表示装置、及びプログラムに関する。

時系列的に供給される画像から特定の被写体等の画像領域（以下、被写体領域とする。）を抽出し、その抽出した被写体領域を時系列の各画像において追跡する技術は非常に有用であり、例えば動画像内の人間の顔領域や人体領域等の追跡に利用されている。このような技術は、例えば、通信会議、マン・マシン・インターフェース、セキュリティ、任意の被写体を追跡するためのモニタ・システム、画像圧縮などの多くの分野で使用することができる。

また、特許文献１や特許文献２には、タッチパネルなどを用いて、撮像画像内の任意の被写体領域が指定された場合、その被写体領域を抽出及び追跡して、その被写体領域に対する焦点状態や露出状態を最適化する技術が開示されている。例えば、特許文献１には、撮像画像から顔の位置を検出（抽出）及び追跡し、その顔に対して焦点を合わせると共に最適な露出で撮像する撮影装置が開示されている。また、特許文献２には、テンプレートマッチングを用いて、特定の被写体を自動で追跡する物体追跡装置が開示されている。特許文献２の物体追跡装置は、タッチパネルなどの入力インターフェイスを用いて、撮像画像に含まれる任意の画像領域が指定されると、その画像領域をテンプレート画像として登録する。そして、物体追跡装置は、撮像画像内においてテンプレート画像と最も類似度が高いか、又は相違度の低い画像領域を推定して、その画像領域を追跡対象の被写体領域として追跡する。

特開２００５−３１８５５４号公報 特開２００１−６０２６９号公報

ところで、上述したテンプレートマッチングのような領域ベースの追跡手法では、追跡対象とする画像領域（テンプレート画像）の設定が、追跡精度に大きく影響する。例えば、適切な大きさの領域よりも小さい画像領域がテンプレート画像となされた場合、追跡対象の被写体領域を推定するのに必要な特徴量が不足し、高精度な追跡ができなくなる。また例えば、適切な大きさ領域に対して大きい画像領域がテンプレート画像となされた場合には、テンプレート画像内に被写体以外の例えば背景等が含まれてしまうことがあり、この場合、背景領域を誤って追跡してしまう可能性がある。

ここで、例えば画像情報に加えてカメラから被写体までの距離情報を参照することにより、テンプレート画像に被写体以外の背景等が含まれないようにする手法が考えられる。しかしながら、複数の被写体においてカメラからの距離が略々同じであるような場合、本来追跡すべき被写体領域とは異なる別の画像領域（別の被写体領域）を誤って追跡してしまうことがある。また、追跡対象の画像領域が、距離情報を検出することが難しいパターンの画像である場合には、精度の高い距離情報を求めることが難しくなり、追跡対象の被写体領域の検出精度が低下してしまうことがある。また、例えば処理負荷低減のために撮像画像内の一部の画像領域の距離情報しか算出できないこともあり、この場合も高精度な追跡ができなくなる。

そこで、本発明は、追跡対象の画像領域を高い精度で追跡可能にすることを目的とする。

本発明は、逐次入力される画像から目的とする被写体を追跡する追跡装置であって、基準画像における各領域の距離を示す距離情報を取得する取得手段と、前記基準画像において追跡対象の被写体として指定された位置に関する情報と、前記距離情報とに基づいて、前記基準画像における前記被写体としての確からしさを示す尤度分布を生成する生成手段と、前記尤度分布に基づいて前記基準画像から前記被写体に対応する画像領域を推定し、前記画像領域から被写体の追跡に用いる特徴量を算出する算出手段と、を備えることを特徴とする。

本発明によれば、追跡対象の画像領域を高い精度で追跡可能となる。

実施形態の撮像装置の概略構成を示す図である。 被写体追跡部の概略構成を示す図である。 被写体追跡処理の手順を示すフローチャートである。 テンプレートマッチングを説明する図である。 被写体尤度分布の処理過程を説明する図である。 被写体尤度分布生成の手順を示すフローチャートである。 被写体尤度分布にクラスを説明する図である。 撮像処理の手順を示すフローチャートである。

以下、添付図面を参照して本発明の好適な実施形態について説明する。
本実施形態の追跡装置は、一例として、被写体等を撮影した動画や静止画のデータを磁気テープや固体メモリ、光ディスクや磁気ディスクなどの各種記録メディアに記録可能なデジタルスチルカメラやビデオカメラなどに適用可能である。その他、例えば、カメラ機能を備えたスマートフォンやタブレット端末などの各種携帯端末、工業用カメラ、車載カメラ、医療用カメラなどの各種撮像装置、動画等を表示可能な表示装置等にも、本実施形態の追跡装置は適用可能である。
＜撮像装置の概略構成＞
図１を参照して、本実施形態の追跡装置の一適用例としての撮像装置１００の概略構成について説明する。
詳細は後述するが、本実施形態の撮像装置１００は、時系列的に逐次供給される画像から特定の被写体等の画像領域（被写体領域）を抽出して、その被写体領域を目的として追跡する被写体追跡機能を備えている。また、本実施形態の撮像装置１００は、特定の被写体領域を追跡する際には、後述する視差画像を用いて撮像装置１００から被写体等までの距離を推定し、その推定した距離の情報を基に、特定の被写体領域を推定する。

撮像装置１００内の各ユニットは、バス１６０を介して接続されている。各ユニットは、ＣＰＵ１５１（中央演算処理装置）により制御される。撮像装置１００のレンズユニット１０１は、固定１群レンズ１０２、ズームレンズ１１１、絞り１０３、固定３群レンズ１２１、及び、フォーカスレンズ１３１を有して構成されている。絞り制御部１０５は、ＣＰＵ１５１からの指令に従い、絞りモータ１０４（ＡＭ）を介して絞り１０３を駆動することにより、絞り１０３の開口径を調整して撮影時の光量調節を行う。ズーム制御部１１３は、ズームモータ１１２（ＺＭ）を介してズームレンズ１１１を駆動することにより、焦点距離を変更する。フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づいてフォーカスモータ１３２（ＦＭ）を駆動する駆動量を決定し、その駆動量により、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動して、焦点調節を行う。このように、フォーカス制御部１３３は、レンズユニット１０１のピント方向のずれ量に基づき、フォーカスモータ１３２を介してフォーカスレンズ１３１の移動制御を行うことにより、ＡＦ（オートフォーカス）制御を行う。フォーカスレンズ１３１は、焦点調節用レンズであり、図１では単レンズとして簡略的に描かれているが、通常複数のレンズにより構成されている。このような構成のレンズユニット１０１により、撮像素子１４１の撮像面上には被写体や背景等の光学像が結像される。

撮像素子１４１は、撮像面に結像された被写体や背景等の光学像を、光電変換により電気信号に変換する。撮像素子１４１における撮像動作は、撮像制御部１４３により制御される。撮像素子１４１は、一つのマイクロレンズを共有するようになされた複数の光電変換素子（本実施形態では第１、第２の二つの光電変換素子）により視差画像を生成可能な画素が、複数配列された構成となされている。具体的には、撮像素子１４１は、横方向がｍ個で縦方向がｎ個に配列された各画素のそれぞれに、第１、第２の二つの光電変換素子（受光領域）が配置されている。撮像素子１４１の撮像面に結像されて光電変換された画像信号は、撮像信号処理部１４２に送られる。このような撮像素子１４１の構成や光学原理は、例えば特開２００８−１５７５４号公報などに開示されている公知の技術を適用できる。

撮像信号処理部１４２は、画素毎に第１、第２の二つの光電変換素子の出力を加算することで、撮像面に結像されている光学像に対応した画像信号（撮影画像データ）を取得する。また、撮像信号処理部１４２は、各画素の第１、第２の二つの光電変換素子の出力を各々扱うことにより視差の異なる２つの画像（視差画像）の信号を取得する。本実施形態の説明では、画素毎に第１、第２の二つの光電変換素子の出力を加算することで得られる撮像画像を「Ａ＋Ｂ像」、各画素における二つの光電変換素子の出力を各々別に扱うことで各々得られる視差画像を「Ａ像」、「Ｂ像」と呼称する。本実施形態の撮像素子１４１は、第１、第２の光電変換素子が横方向（水平方向）に並ぶように配されており、このためＡ像とＢ像は水平方向に視差が生じた画像となっている。撮像信号処理部１４２から出力されるＡ＋Ｂ像の撮影画像データと、Ａ像及びＢ像の視差画像データは、撮像制御部１４３を介して、ＲＡＭ１５４（ランダム・アクセス・メモリ）に送られて一時的に蓄積される。ここで、例えば撮像装置１００において動画撮影や一定時間間隔毎の継続的な静止画撮影がなされている場合、撮像信号処理部１４２からは、Ａ＋Ｂ像の撮影画像データ、及び、Ａ像とＢ像の視差画像データが、逐次出力されてＲＡＭ１５４に蓄積される。

ＲＡＭ１５４に蓄積された画像データのうち、Ａ＋Ｂ像の撮影画像データは、画像処理部１５２に送られる。画像処理部１５２は、ＲＡＭ１５４から読み出された撮影画像データに対するガンマ補正やホワイトバランス処理などの各種画像処理を行う。また、画像処理部１５２は、画像処理後の画像データに対し、例えばモニタディスプレイ１５０に表示する際などに最適なサイズへの縮小・拡大処理をも行う。最適なサイズへの縮小・拡大処理がなされた画像データは、モニタディスプレイ１５０に送られて画像表示される。撮像装置１００の操作者（以下、ユーザと表記する。）は、モニタディスプレイ１５０の表示画像を見ることにより、リアルタイムに撮影画像を観察することができる。なお、本実施形態の撮像装置１００の設定が、画像の撮影直後にモニタディスプレイ１５０の画面上に所定時間だけ撮影画像を表示させる設定となされている場合、ユーザは、画像の撮影がなされた後直ちに、その撮影画像を確認することができる。また、ＲＡＭ１５４に蓄積されたＡ＋Ｂ像の撮影画像データは、画像圧縮解凍部１５３にも送られる。画像圧縮解凍部１５３は、ＲＡＭ１５４から読み出された撮影画像データを圧縮した後、記録メディアである画像記録媒体１５７に送る。画像記録媒体１５７は、圧縮された画像データを記録する。

ＲＡＭ１５４に蓄積された画像データのうち、Ａ像とＢ像の視差画像データは、フォーカス制御部１３３に送られる。フォーカス制御部１３３は、Ａ像、Ｂ像の視差画像から、レンズユニット１０１のピント方向のずれ量を求め、そのピント方向のズレを無くすように、フォーカスモータ１３２を介してフォーカスレンズ１３１を駆動させることでＡＦ制御を行う。

操作スイッチ１５６は、タッチパネル、各種ボタンやスイッチなどを含む入力インターフェイスであり、ボタンやスイッチは撮像装置１００の筐体等に設けられ、タッチパネルはモニタディスプレイ１５０の表示面上に配置されている。本実施形態の撮像装置１００は、モニタディスプレイ１５０の画面上に種々の機能アイコンを表示可能となされており、タッチパネルを介して、それら種々の機能アイコンがユーザにより選択操作される。操作スイッチ１５６を介してユーザから入力された操作情報は、バス１６０を介してＣＰＵ１５１に送られる。

ＣＰＵ１５１は、操作スイッチ１５６を介してユーザから操作情報が入力された場合、その操作情報に基づいて各ユニットを制御する。また、ＣＰＵ１５１は、撮像素子１４１による撮像が行われる際には、撮像素子１４１の電荷の蓄積時間や、撮像素子１４１から画像データを撮像信号処理部１４２へ出力する際のゲインの設定値等を決定する。具体的には、ＣＰＵ１５１は、操作スイッチ１５６を介してユーザから入力された操作情報による指示、或いは一時的にＲＡＭ１５４に蓄積されている画像データの画素値の大きさに基づいて、撮像素子１４１の蓄積時間や出力ゲインの設定値等を決定する。撮像制御部１４３は、ＣＰＵ１５１から蓄積時間、ゲインの設定値の指示を受け取り、それらの指示に応じて撮像素子１４１を制御する。

バッテリ１５９は、電源管理部１５８により適切に管理されており、撮像装置１００の全体に安定した電源供給を行う。フラッシュメモリ１５５は、撮像装置１００の動作に必要な制御プログラムを記憶している。ユーザの操作により撮像装置１００が起動すると（電源オフ状態から電源オン状態へ移行すると）、フラッシュメモリ１５５に格納された制御プログラムがＲＡＭ１５４の一部に読み込まれる（ロードされる）。これにより、ＣＰＵ１５１は、ＲＡＭ１５４にロードされた制御プログラムに従って撮像装置１００の動作を制御する。

また、本実施形態の撮像装置１００では、ＲＡＭ１５４に蓄積されたＡ＋Ｂ像の撮影画像データとＡ像及びＢ像の視差画像データとは、被写体追跡部１６１にも送られる。被写体追跡部１６１は、本実施形態にかかる追跡装置に相当するユニットである。以下の説明では、被写体追跡部１６１に入力されるＡ＋Ｂ像の撮影画像データを、入力画像データと表記する。詳細は後述するが、被写体追跡部１６１は、ＲＡＭ１５４から読み出されて、時系列的に逐次入力されるＡ＋Ｂ像の入力画像から、特定の被写体領域を追跡しつつ、その追跡した特定の被写体領域を抽出して出力する。また、詳細は後述するが、被写体追跡部１６１は、Ａ像及びＢ像の視差画像を基に、撮像装置１００から被写体等までの距離を推定し、その距離情報を、特定の被写体領域の追跡の際に利用する。

被写体追跡部１６１による被写体追跡の結果の情報、つまり追跡されて抽出された特定の被写体領域の情報は、バス１６０を介して、フォーカス制御部１３３、絞り制御部１０５、画像処理部１５２、ＣＰＵ１５１等の各ユニットに送られる。フォーカス制御部１３３は、追跡されている特定の被写体領域に対応した被写体をＡＦ制御対象とした撮像条件で、その被写体にピントを合わせるようにＡＦ制御を行う。また、絞り制御部１０５は、追跡されている特定の被写体領域の輝度値を用い、その被写体領域の明るさが適正となるような撮影条件で露出制御を行う。また、画像処理部１５２は、特定の被写体領域に対して最適なガンマ補正やホワイトバランス処理がなされるような画像処理を行う。また、ＣＰＵ１５１は、追跡されている特定の被写体領域を例えば囲うような矩形画像を、モニタディスプレイ１５０の画面に表示されている撮影画像に重畳表示させるような表示制御を行う。

＜被写体追跡部の概略構成＞
以下、本実施形態における被写体追跡部１６１の構成と動作について説明する。図２は、被写体追跡部１６１の概略構成を示す図である。
図２に示す被写体追跡部１６１は、照合部２０１、特徴抽出部２０２、距離分布生成部２０３、被写体尤度分布生成部２０４を有している。以下の説明では、記載の簡略化のため、被写体尤度分布生成部２０４を尤度分布生成部２０４と表記する。特徴抽出部２０２と照合部２０１は、本実施形態における推定手段の一例である。ＲＡＭ１５４から逐次読み出されて供給される、Ａ＋Ｂ像の入力画像データは照合部２０１と特徴抽出部２０２に送られ、Ａ像及びＢ像の視差画像データは距離分布生成部２０３に送られる。

特徴抽出部２０２は、算出手段の一例であり、後述する尤度分布生成部２０４から供給される被写体尤度分布の情報を基に、Ａ＋Ｂ像の入力画像データから、追跡対象の被写体領域の特徴量を抽出し、その特徴量の情報を照合部２０１に送る。本実施形態において、追跡対象の被写体領域は、例えばモニタディスプレイ１５０の画面に表示されている撮影画像上でユーザが指定した特定の被写体に対応した画像領域である。照合部２０１は、特徴抽出部２０２により抽出された被写体領域の特徴量を用いて、Ａ＋Ｂ像の入力画像に対する照合処理を行って、追跡対象の被写体領域を推定する。この照合部２０１により推定された被写体領域が、被写体追跡部１６１に逐次入力されるＡ＋Ｂ像の入力画像において追跡対象となされる特定の被写体領域である。特徴抽出部２０２における特徴量の抽出処理と、照合部２０１による照合処理の詳細については後述する。

距離分布生成部２０３は、本実施形態の取得手段の一例であり、Ａ像及びＢ像の視差画像を基に、Ａ＋Ｂ像の入力画像の所定領域について、撮像装置１００から被写体等まで距離を算出し、その距離情報から距離分布を生成する。ここで、本実施形態の場合、所定領域は例えばＡ＋Ｂ像の入力画像の各画素に相当する領域である。したがって、距離分布生成部２０３は、Ａ像及びＢ像の視差画像を用いて、Ａ＋Ｂ像の入力画像の各画素に対応した各距離情報を算出し、それら各画素の距離情報の分布を表す距離分布を生成する。なお、所定領域は、入力画像を複数に分割した小ブロックの領域であってもよい。距離分布生成処理の詳細は後述する。距離分布生成部２０３により生成された距離分布情報は、尤度分布生成部２０４に送られる。

また、尤度分布生成部２０４は、生成手段の一例であり、照合部２０１により抽出された特定の被写体領域を示す情報も供給される。尤度分布生成部２０４は、距離分布生成部２０３からの距離分布情報と照合部２０１からの被写体領域の情報とを基に、追跡対象の画像領域が特定の被写体領域である確からしさの分布を表す被写体尤度分布を生成する。尤度分布生成部２０４が距離分布情報と被写体領域の情報とを基に被写体尤度分布を生成する処理の詳細は後述する。尤度分布生成部２０４にて生成された被写体尤度分布の情報は、特徴抽出部２０２に送られる。

特徴抽出部２０２は、被写体尤度分布の情報を用い、Ａ＋Ｂ像の入力画像から、追跡対象の被写体領域を推定し、その推定した被写体領域の特徴量を抽出する。被写体尤度分布を用いた被写体領域の推定と特徴量の抽出処理の詳細は後述する。本実施形態の場合、特徴抽出部２０２は、追跡対象の被写体領域を推定する際に、被写体尤度分布の情報を利用することにより、高い精度で被写体領域の特徴量を抽出可能としている。

＜被写体追跡処理の流れ＞
図３は、本実施形態の撮像装置１００における被写体追跡処理の流れを示すフローチャートである。図３のフローチャートの処理は、撮像装置１００において撮影が開始されたときにスタートする。なお、図３のフローチャートの各処理は、本実施形態に係るプログラムを例えばＣＰＵ等が実行することにより実現されてもよい。以下の説明では、図３の各処理のステップＳ３０１〜ステップＳ３０５を、Ｓ３０１〜Ｓ３０５と略記し、このことは他のフローチャートの説明の際にも同様とする。

図３のフローチャートのＳ３０１において、ＣＰＵ１５１は、追跡発動タイミングであるか否かを判定する。本実施形態において、追跡発動タイミングとは、例えば、操作スイッチ１５６のタッチパネルを介してユーザが被写体追跡の開始を指示する操作を行ったタイミングであるとする。また本実施形態において、ユーザが被写体追跡の開始を指示する操作は、例えばモニタディスプレイ１５０の画面上に表示されている画像上で所望の被写体の位置をユーザがタッチ等するような位置指定操作であるとする。ＣＰＵ１５１は、Ｓ３０１において、追跡発動タイミングであると判定した場合（ＹＥＳと判定）にはＳ３０２に処理を進める。一方、ＣＰＵ１５１は、Ｓ３０１において、追跡発動タイミングではなく既に被写体追跡処理が実行されている場合（ＮＯと判定）には、Ｓ３０５に処理を進める。図３のフローチャートのＳ３０２、Ｓ３０５以降は、被写体追跡部１６１において行われる処理である。

以下、Ｓ３０１において追跡発動タイミングであると判定されてＳ３０２以降の処理に進んだ場合の被写体追跡部１６１の処理から説明する。
Ｓ３０２では、被写体追跡部１６１の距離分布生成部２０３は、Ａ像及びＢ像の視差画像を基に、Ａ＋Ｂ像の入力画像の各画素について、撮像装置１００から被写体等まで距離を算出し、その距離情報から距離分布を生成する。なお、所定領域が入力画像を例えば複数に分割した小ブロックの領域である場合には、距離分布生成部２０３は、それら各小ブロックの距離情報から距離分布を生成する。Ｓ３０２の後、被写体追跡部１６１の処理は、尤度分布生成部２０４にて行われるＳ３０３の処理に進む。

Ｓ３０３では、尤度分布生成部２０４は、距離分布生成部２０３から供給される距離分布の情報と、被写体追跡位置の情報とに基づいて、被写体尤度分布を生成する。ここで、追跡発動タイミングの際の被写体追跡位置は、追跡発動タイミングにおいてユーザがモニタディスプレイ１５０の画面に表示されている画像内の所望の被写体領域をタッチ等した際の位置である。本実施形態の場合、モニタディスプレイ１５０の画面をユーザがタッチした際の操作情報はタッチパネルからＣＰＵ１５１に送られ、ＣＰＵ１５１は、その操作情報を基に、被写体追跡位置の情報を生成して被写体追跡部１６１に通知する。なお、図２の例では、ＣＰＵ１５１から被写体追跡部１６１に通知される被写体追跡位置の情報の図示は省略している。Ｓ３０３における、距離分布と被写体追跡位置に基づく被写体尤度分布生成処理の詳細は後述する。Ｓ３０３の後、被写体追跡部１６１の処理は、特徴抽出部２０２にて行われるＳ３０４の処理に進む。

Ｓ３０４では、被写体追跡部１６１の特徴抽出部２０２は、Ｓ３０４で生成された被写体尤度分布と、Ａ＋Ｂ像の入力画像の例えば色情報とを用いて、追跡対象の被写体領域を推定し、その推定した被写体領域の特徴量を抽出する。Ｓ３０４による特徴量抽出の処理が完了すると、被写体追跡部１６１は、図３のフローチャートの処理を終了する。

以下、Ｓ３０１において追跡発動タイミングではなく被写体追跡が実行されていると判定されて、Ｓ３０５以降の処理に進んだ場合の被写体追跡部１６１の処理について説明する。
Ｓ３０５では、被写体追跡部１６１の照合部２０１は、ＲＡＭ１５４から読み出されて逐次入力されるＡ＋Ｂ像の各入力画像から、特定の被写体領域を推定してその被写体領域を表すデータを逐次出力する。Ｓ３０５の後、被写体追跡部１６１の処理は、Ｓ３０２〜Ｓ３０４以降の処理に進む。なお、Ｓ３０５〜Ｓ３０４の処理は、ＲＡＭ１５４から読み出されてＡ＋Ｂ像の各入力画像が逐次入力される毎に行われる。

Ｓ３０５からＳ３０２に進んだ場合、Ｓ３０２において、距離分布生成部２０３は、前述同様に、Ａ像及びＢ像の視差画像を基に、Ａ＋Ｂ像の入力画像の各画素の距離情報を求めて距離分布を生成する。

次のＳ３０３では、尤度分布生成部２０４は、距離分布生成部２０３から供給される距離分布の情報と、被写体追跡位置の情報とに基づいて、被写体尤度分布を生成する。ただし、既に被写体追跡が実行されている場合の被写体追跡位置は、照合部２０１の照合処理で抽出されている被写体領域の位置が用いられる。すなわち、Ｓ３０３における被写体追跡位置は、Ｓ３０５で推定された被写体領域に基づく位置に逐次更新される。尤度分布生成部２０４は、照合部２０１にて抽出された被写体領域の位置情報と、前述した距離分布の情報とを用いて生成した被写体尤度分布の情報を、特徴抽出部２０２に送る。そして、特徴抽出部２０２は、Ｓ３０４において前述同様に特徴量を抽出する。

このように、Ｓ３０１において追跡発動タイミングではなく被写体追跡が実行されていると判定されて、Ｓ３０５以降の処理に進んだ場合、被写体追跡部１６１は、Ｓ３０５で特定の被写体領域が抽出される毎に、Ｓ３０２からＳ３０４まで処理を進める。そして、距離分布生成部２０３によるＳ３０２の距離分布、尤度分布生成部２０４によるＳ３０３の被写体尤度分布、特徴抽出部２０２によるＳ３０４の特徴量は、それぞれ逐次更新される。そして、Ｓ３０４による特徴量抽出の処理が完了すると、被写体追跡部１６１は、図３のフローチャートの処理を終了する。

なお、追跡発動タイミングで被写体領域が抽出された後、逐次入力される各入力画像に対してＳ３０２からＳ３０４の処理を行って特徴量を更新せず、最初の入力画像（基準画像）から抽出した被写体領域に基づいて求めた特徴量を用いて各入力画像から被写体追跡を行ってもよい。この場合、距離分布生成部２０３は、基準画像における各画素の距離を示す距離分布を生成する。尤度分布生成部２０４は、基準画像において追跡対象の被写体として指定された位置の距離と、距離分布とに基づいて、基準画像における被写体としての確からしさを示す被写体尤度分布を生成する。そして、特徴抽出部２０２は、被写体尤度分布に基づいて基準画像から被写体に対応する画像領域を推定し、画像領域をテンプレートとし、被写体の追跡に用いる特徴量を算出する。この場合でも、基準画像での特徴量抽出において被写体尤度分布の情報に基づく被写体領域を抽出しているので、追跡対象の画像領域を高い精度で追跡することができる。

＜被写体追跡部の照合部の詳細＞
以下、被写体追跡部１６１の照合部２０１にて行われる処理の詳細について説明する。
照合部２０１は、特徴抽出部２０２により抽出される特徴量を用いて、ＲＡＭ１５４より逐次供給されるＡ＋Ｂ像の各入力画像から、追跡対象の被写体領域を推定して、その被写体領域を抽出する。このときの被写体領域の推定は、Ａ＋Ｂ像の入力画像内の部分領域の特徴量を照合することにより行われる。ここで、特徴量の照合の方式は、多種多様に存在するが、本実施形態では、一例として、画素パターンの類似度に基づくテンプレートマッチングによる照合方式を用いる例を挙げて説明する。

図４（ａ）と図４（ｂ）を参照して、照合部２０１で行われるテンプレートマッチングの詳細いついて説明する。図４（ａ）は、テンプレートマッチングで用いられる被写体モデル（テンプレート）の例を示している。図４（ａ）の画像４０１は、テンプレート画像として登録される画像領域（被写体領域）の画像例であり、本実施形態の場合は、前述した追跡発動タイミングにおいてユーザにより指定された位置の画像領域の画像である。本実施形態では、この画像４０１の各画素の特徴量により表される画素パターンが、被写体モデル（以下、テンプレート４０２と表記する。）として扱われる。図４（ａ）のテンプレート４０２は、格子状の各四角がそれぞれ画素に対応しており、水平方向が画素数Ｗ、垂直方向が画素数Ｈのサイズとなされているとする。また、テンプレート４０２の各画素内に記されている（ｉ，ｊ）はテンプレート内における（ｘ，ｙ）座標を表し、Ｔ（ｉ，ｊ）は各画素の特徴量を表しているとする。また、本実施形態では、テンプレート４０２の特徴量Ｔ（ｉ，ｊ）としては各画素の輝度値が用いられる。本実施形態において、テンプレート４０２の各画素の特徴量Ｔ（ｉ，ｊ）は、下記式（１）により表される。

T(i,j)＝｛T(0,0)，T(1,0)，・・・，T(W-1,H-1)｝ 式（１）

図４（ｂ）の画像４０３は、追跡対象の被写体領域が探索される範囲、つまりＡ＋Ｂ像の入力画像を表している。照合部２０１は、この入力画像４０３の範囲内において、図中矢印で示すようなラスタ順に部分領域４０４を設定、つまり、図の左上から順に１画素ずつずらしながら部分領域４０４を順次設定していく。部分領域４０４の大きさは、テンプレート４０２の大きさに対応している。照合部２０１は、この部分領域４０４に含まれる各画素の特徴量を画素パターン４０５として扱う。図４（ｂ）において、部分領域４０４の各画素の特徴量により表される画素パターン４０５は、格子状の各四角がそれぞれ画素に対応しており、水平方向が画素数Ｗ、垂直方向が画素数Ｈのサイズとなされているとする。また、画素パターン４０５の各画素内に記されている（ｉ，ｊ）は部分領域４０４内における（ｘ，ｙ）座標を表し、Ｓ（ｉ，ｊ）は各画素の特徴量を表しているとする。部分領域４０４の画素パターン４０５の特徴量としては、各画素の輝度値が用いられる。本実施形態において、部分領域４０４の画素パターン４０５の各画素の特徴量Ｓ（ｉ，ｊ）は、下記式（２）により表される。

S(i,j)＝｛S(0,0)，S(1,0)，・・・，S(W-1,H-1)｝ 式（２）

照合部２０１は、図４（ｂ）のようにラスタ順に設定される各部分領域４０４の画素パターン４０５と、図４（ａ）に示したテンプレート４０２との間で順次マッチング処理を行うことにより、それらの類似性を評価する。そして、照合部２０１は、Ａ＋Ｂ像の入力画像からラスタ順に設定される部分領域４０４毎に得られた類似性の評価値を、テンプレート評価値として生成する。

ここで、テンプレート４０２と部分領域４０４（画素パターン４０５）との類似性を評価する際の演算方法としては、一例として、差分絶対値和、いわゆるＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）値を用いることができる。ＳＤＡ値（差分絶対値和）Ｖ（ｘ，ｙ）は、下記式（３）により算出される。

このように、照合部２０１は、探索範囲の入力画像４０３内で部分領域４０４をラスタ順に１画素ずつずらしながら順に設定し、部分領域４０４の画素パターン４０５とテンプレート４０２との間のＳＡＤ値Ｖ（ｘ，ｙ）を演算する。この演算により求められたＳＡＤ値Ｖ（ｘ，ｙ）が最小値となる部分領域４０４は、探索範囲の入力画像４０３内でテンプレート４０２に最も類似した部分領域であると考えられる。照合部２０１は、ＳＡＤ値Ｖ（ｘ，ｙ）が最小値となる部分領域４０４の、入力画像４０３内における座標（ｘ，ｙ）を求める。ＳＡＤ値Ｖ（ｘ，ｙ）が最小値となる部分領域４０４の座標（ｘ，ｙ）は、探索画像の入力画像４０３内において追跡対象の被写体領域が存在する可能性の高い位置である。以下の説明では、ＳＡＤ値Ｖ（ｘ，ｙ）が最小値となる部分領域４０４の座標（ｘ，ｙ）を、被写体追跡位置と表記する。照合部２０１は、探索範囲の入力画像４０３内から、ＳＡＤ値Ｖ（ｘ，ｙ）が最小値となる部分領域４０４の座標（ｘ，ｙ）に対応した領域を抽出して、それを推定した被写体領域として出力する。また、照合部２０１は、被写体追跡位置の情報を尤度分布生成部２０４に送る。

なお、上述の説明では、特徴量として輝度値の情報（輝度値のみの一次元情報）を用いる例を挙げたが、例えば、明度、色相、彩度の三つの情報（明度、色相、彩度からなる三次元情報）を特徴量として用いてもよい。また、上述の例では、マッチング評価値の演算方法としてＳＡＤ値を挙げたが、例えば、正規化相互相関、いわゆるＮＣＣ（Ｎｏｒｍａｌｉｚｅｄ Ｃｏｒｒｅｌａｔｉｏｎ Ｃｏｆｆｉｅｃｉｅｎｔ）など異なる演算方法を用いてもよい。

＜被写体追跡部の特徴抽出部の詳細＞
以下、被写体追跡部１６１の特徴抽出部２０２にて行われる特徴抽出処理の詳細について説明する。
特徴抽出部２０２は、ユーザにより指定又は照合部２０１で照合された被写体領域の位置（被写体追跡位置）と、尤度分布生成部２０４からの被写体尤度分布とに基づいて、Ａ＋Ｂ像の入力画像の中で特定の被写体の画像領域（被写体領域）を推定する。そして、特徴抽出部２０２は、その被写体追跡位置の座標周辺の画像領域の特徴量を、特定の被写体領域の特徴量として抽出する。

ここで、特徴抽出部２０２は、被写体追跡位置の座標周辺の画像領域の色ヒストグラムを、追跡対象の被写体領域の色ヒストグラムＨinとして取得する。また、特徴抽出部２０２は、被写体領域の更に周辺の画像領域の色ヒストグラムＨoutを取得する。そして、特徴抽出部２０２は、それら色ヒストグラムＨinと色ヒストグラムＨoutを用いて、下記式（４）で表される情報量Ｉ（ａ）を算出する。なお、被写体領域の更に周辺の画像領域の色ヒストグラムＨoutは、Ａ＋Ｂ像の入力画像全体又は一部領域から取得する。

Ｉ（ａ）＝−ｌｏｇ₂Ｈin（ａ）／Ｈout（ａ） 式（４）

式（４）の情報量Ｉ（ａ）は、色ヒストグラムの各ビンにおいて、Ａ＋Ｂ像の入力画像全体又は一部領域に対する、被写体領域内の生起確率を表している。特徴抽出部２０２は、この情報量Ｉ（ａ）に基づいて、Ａ＋Ｂ像の入力画像の各画素について被写体領域内の画素である確率を表すマップを生成する。

また、特徴抽出部２０２は、尤度分布生成部２０４が後述するように距離情報に基づいて生成する被写体尤度分布、つまり、被写体領域である確率を表すマップの情報を取得する。そして、特徴抽出部２０２は、色ヒストグラムに基づくマップの確率と、距離情報に基づくマップ（被写体尤度分布）の確率とを乗算することにより、特定の被写体領域である確率を表す被写体マップを生成する。特徴抽出部２０２は、この被写体マップに基づき、Ａ＋Ｂ像の入力画像に対し、被写体領域を示す矩形をフィッティングすることで被写体領域を推定する。矩形のフィッティング処理は、被写体領域である可能性が高い画素を多く含み、被写体領域である可能性が低い画素を含みにくくする処理である。特徴抽出部２０２で推定された被写体領域の特徴量が、前述した照合部２０１のマッチングで使用されるテンプレートとなる。

＜被写体追跡部の距離分布生成部の詳細＞
以下、被写体追跡部１６１の距離分布生成部２０３にて行われる距離分布生成処理の詳細について説明する。
距離分布生成部２０３は、前述したＡ像とＢ像の視差画像により、撮像装置１００から被写体等までの距離を、Ａ＋Ｂ像の入力画像の各画素に対応させて算出する。具体的には、距離分布生成部２０３は、視差画像を用いた相関演算処理を施すことにより像ズレ量を検出して画素毎の距離を算出する。視差画像から像ズレ量を検出する方法は、例えば特開２００８−１５７５４号公報などに開示されており、この公報記載の技術では画像を小領域に分割した小ブロックごとに相関演算を行って像ズレ量を検出する。そして、距離分布生成部２０３は、像ズレ量に所定の変換係数を乗ずることにより、撮像素子１４１の撮像面における画素毎の偏差（デフォーカス量）を算出する。本実施形態では、算出したデフォーカス量を、Ａ＋Ｂ像の入力画像の各画素において被写体等までの推定距離とし、距離分布生成部２０３は、それら各推定距離を各画素に対応させて配したものを、距離分布として生成する。

また、距離分布生成部２０３は、画素毎に推定した距離情報に対して、その距離情報の信頼度を判定して、画素毎の推定距離の信頼度の分布を表す信頼度分布を生成する。以下、信頼度分布の生成例について説明する。距離分布生成部２０３は、前述したようにＡ像及びＢ像の視差画像を小領域（小ブロック）に分割し、その小ブロック毎に相関演算を行って画素毎の像ズレ量を検出している。ここで、相関演算により画像パターンの類似度を求める場合、例えば、各小ブロックの画像パターンが類似したものの集合体であたったとすると、相関演算による相関度のピーク値が出難くなり、正確な像ズレ量の検出が困難となる。したがって、距離分布生成部２０３は、相関演算の平均値とピーク値（類似度の場合は最大値）との差が小さい場合は、信頼性が低いと判断する。この信頼性は小ブロックごとに求められる。また、小ブロックの各画素の位置は座標により表されるため、距離分布生成部２０３は、各画素の距離情報の信頼度から、信頼度分布を生成することができる。距離分布生成部２０３は、距離分布の情報とともに、各画素の距離情報に対する信頼度分布の情報も、尤度分布生成部２０４に送る。

＜被写体追跡部の被写体尤度分布生成部の詳細）
以下、被写体追跡部１６１の尤度分布生成部２０４にて行われる被写体尤度分布生成処理の詳細について説明する。
尤度分布生成部２０４は、距離分布生成部２０３から受け取った距離分布及び信頼度分布の情報と、照合部２０１からの被写体領域の情報とに基づいて、特定の被写体領域である確からしさを表す被写体尤度分を生成する。被写体尤度分布について図５（ａ）〜図５（ｃ）を参照して説明する。

図５（ａ）は、Ａ＋Ｂ像の入力画像５００と、その入力画像５００内における追跡対象としての被写体５０１の一例を示している。図５（ａ）の入力画像５００内には、追跡対象である被写体５０１とは別の被写体５０２や背景５０３も存在している。図５（ａ）の入力画像５００の例では、被写体５０１と５０２が撮像装置１００からの距離が近い被写体であり、背景５０３は撮像装置１００からの距離が遠くなっているとする。

図５（ｂ）は、図５（ａ）の入力画像５００から、距離分布生成部２０３が生成した距離分布を表している。本実施形態の場合、距離分布は例えば白黒２値の画像として表される。図５（ｂ）の距離分布の画像例では、白色で表される画素からなる領域が撮像装置１００からの距離が近い被写体等の領域を表し、黒色で表される画素からなる領域が撮像装置１００からの距離が遠い被写体等の領域を表している。図５（ａ）の例では、撮像装置１００からの距離は、被写体５０１と５０２が近く、背景５０３は遠いため、図５（ｂ）の距離分布は、被写体５０１，５０２に対応した領域５１１，５１２が白色領域、背景５０３に対応した領域５１３が黒色領域となる。また、図５（ａ）の例では被写体５０１が追跡対象となされているため、図５（ｂ）の例の場合は、被写体５０１に対応した領域５１１の位置が、被写体追跡位置となる。図５（ｂ）の例では、説明を簡略にするために距離分布を白黒２値で表しているが、実際には各画素がそれぞれ距離を表すことができる多値の情報となされている。

図５（ｃ）は、図５（ｂ）の距離分布５１０を用いて、尤度分布生成部２０４が生成する被写体尤度分布５２０の一例を表している。図５（ｃ）の例では、被写体尤度分布は各画素が白黒２値により表されている。図５（ｃ）の被写体尤度分布５２０の例では、白色で表される画素からなる領域が追跡対象の被写体領域である確からしさが高い領域を表し、黒色で表される画素からなる領域が追跡対象の被写体領域である確からしさが低い領域を表している。尤度分布生成部２０４は、距離分布における各画素の距離情報の値が、被写体追跡位置に対応した距離情報の値に近い値の各画素を連結した領域を、追跡対象の被写体領域である確からしさが高いと判定する。具体的には、尤度分布生成部２０４は、被写体追跡位置を基準にしてその位置の画素の距離情報の値に対して近い値の各画素を連結した領域を、追跡対象の被写体領域である確からしさが高いと判定する。

一方、尤度分布生成部２０４は、距離分布の各画素における距離情報の値が、追跡対象の被写体領域の各画素の距離情報の値から遠い値である場合、その画素については、追跡対象の被写体領域の画素である確からしさが低いと判定する。また、尤度分布生成部２０４は、被写体追跡位置を基準にしてその位置の画素における距離情報の値に近い値ではあるが、後述するように連結しない領域（非連結の領域）の画素については、追跡対象の被写体領域の画素である確からしさが低いと判定する。

なお、追跡対象の被写体領域の各画素の距離情報の値に近い値、又は遠い値であるかどうかについては、一例として、予め設定された所定の距離閾値を用いて判定すればよい。例えば、距離情報の値が、距離閾値以内である場合には近いと判定し、一方、距離閾値を超える場合には遠いと判定することができる。被写体追跡位置を基準にした領域の連結、非連結については後述する。

図５（ｃ）の例の場合、図５（ａ）の被写体５０１に対応した領域５２１が、追跡対象の被写体領域である確からしさが高いと判定された各画素からなる領域である。この領域５２１以外の他の領域５２４は、追跡対象の被写体領域である確からしさが低いと判定された画素からなる領域である。図５（ｃ）の例では、説明を簡略にするために被写体尤度分布を白黒２値で表しているが、本実施形態の場合、実際には多値により、追跡対象の被写体領域の画素である確からしさが表されている。このように、図５（ｃ）の被写体尤度分布５０２は、図５（ｂ）の距離分布５１０の各画素の距離情報を、追跡対象の被写体領域である確からしさを表す値に変換したものとなされている。

また、尤度分布生成部２０４は、距離分布生成部２０３から距離分布情報とともに送られてくる信頼度分布情報を基に、被写体尤度判定を行うか否かを決定することも可能となされている。例えば、信頼度分布情報により、画素の距離情報の信頼性が低いと判断される場合には、その画素の距離情報を用いた被写体尤度の判定を行わないようにしてもよい。被写体尤度判定を行うか否かは、画素毎に設定可能であるため、信頼性が高い画素についてのみ、前述した追跡対象の被写体領域の確からしさの判定を行うことができる。なお、信頼性が高いか又は低いかについては、一例として、予め設定した信頼性閾値を用いて判定すればよい。例えば、信頼度分布情報の信頼度の値が、予め決めた信頼性閾値以上である場合には信頼性が高いと判定し、一方、信頼性閾値より低い場合には信頼性が低いと判定して、被写体尤度判定を行うか否かを決定することができる。

＜被写体尤度分布生成の処理の流れ＞
以下、図６及び図７（ａ）と図７（ｂ）を参照して、尤度分布生成部２０４における被写体尤度分布生成処理の流れについて説明する。図６は、前述した図３のＳ３０３の被写体尤度分布生成処理の詳細な流れを示すフローチャートである。なお、図６のフローチャートの各処理は、本実施形態に係るプログラムを例えばＣＰＵ等が実行することにより実現されてもよい。図７（ａ）と図７（ｂ）は、図６のＳ６０１における被写体尤度分布のクラスの説明に用いる図である。

図６のフローチャートのＳ６０１において、尤度分布生成部２０４は、距離分布生成部２０３から供給された距離分布における各画素を、以下のような４種にクラスタリングする。クラスタリングは、図７（ａ）に示すように、距離情報の有無、距離情報の信頼度、距離情報の値に応じて行われる。図７（ａ）に示すように、尤度分布生成部２０４は、距離分布の画素について、距離情報を有し、その距離情報の信頼度が高く、その距離情報の値が被写体追跡位置の画素の距離情報の値に近ければ、第１のクラスに分類する。本実施形態では、第１のクラスをｐｏｓｉｔｉｖｅクラスと表記する。また、尤度分布生成部２０４は、距離分布の画素について、距離情報を有し、距離情報の信頼度が高く、距離情報の値が被写体追跡位置の画素の距離情報の値から遠ければ、第２のクラスに分類する。本実施形態では、第２のクラスをｎｅｇａｔｉｖｅクラスと表記する。また、尤度分布生成部２０４は、距離分布の画素について、距離情報を有し、距離情報の信頼度が低ければ、その距離情報の値に依存せずに、第３のクラスに分類する。本実施形態では、第３のクラスをｕｎｋｎｏｗｎクラスと表記する。また、尤度分布生成部２０４は、距離分布の画素について、距離情報を有していなければ、第４のクラスに分類する。本実施形態では、題４のクラスをｎｏｎ−ｖａｌｕｅクラスと表記する。なお、距離分布生成部２０３は、処理負荷低減のために、Ａ＋Ｂ像の入力画像の一部領域のみで距離情報を求めることがある。この場合、尤度分布生成部２０４は、一部領域を除いた他の領域に対応した画素については、距離情報を有さないためｎｏｎ−ｖａｌｕｅのクラスに分類する。Ｓ６０１の後、尤度分布生成部２０４は、Ｓ６０２に処理を進める。

Ｓ６０２では、尤度分布生成部２０４は、被写体追跡位置を基準にして、ｐｏｓｉｔｉｖｅクラスとｕｎｋｎｏｗｎクラスの各画素を、連結の対象の画素としてラベリングする。これにより、尤度分布生成部２０４は、被写体追跡位置を基準に、ｐｏｓｉｔｉｖｅクラスとｕｎｋｎｏｗｎクラスの画素を連結し、一方、ｎｅｇａｔｉｖｅクラスとｎｏｎ−ｖａｌｕｅクラスの画素は連結しない。Ｓ６０２の後、尤度分布生成部２０４は、Ｓ６０３に処理を進める。

Ｓ６０３では、尤度分布生成部２０４は、Ｓ６０２ではラベリングされなかった非ラベリング画素のｐｏｓｉｔｉｖｅクラスとｕｎｋｎｏｗｎクラスを、ｎｅｇａｔｉｖｅクラスに変換する。尤度分布生成部２０４は、Ｓ６０２でラベリングされた画素については変換しない。ここで、本実施形態においては、追跡対象の被写体は、撮像装置１００からの距離が略々同一であり、且つ、一つの塊の物体等であると仮定している。Ｓ６０３の後、尤度分布生成部２０４は、Ｓ６０４に処理を進める。

Ｓ６０４では、尤度分布生成部２０４は、ｎｏｎ−ｖａｌｕｅクラスの画素に対して、ｎｏｎ−ｖａｌｕｅクラス以外の最近傍の画素のクラスを判別する。そして、尤度分布生成部２０４は、その最近傍クラスがｎｅｇａｔｉｖｅクラスであれば、ｎｏｎ−ｖａｌｕｅクラスの画素のクラスを、ｎｅｇａｔｉｖｅクラスに変換する。Ｓ６０４の後、尤度分布生成部２０４は、Ｓ６０５に処理を進める。

Ｓ６０５では、尤度分布生成部２０４は、ｎｏｎ−ｖａｌｕｅクラスの画素に対して、ｎｏｎ−ｖａｌｕｅクラス以外の最近傍の画素のクラスを判別する。そして、尤度分布生成部２０４は、その最近傍クラスがｐｏｓｉｔｉｖｅクラス又はｕｎｋｎｏｗｎクラスであれば、ｎｏｎ−ｖａｌｕｅクラスの画素のクラスを、ｕｎｋｎｏｗｎクラスに変換する。Ｓ６０５の処理後、尤度分布生成部２０４は、図６のフローチャートの処理を終了する。

以上のように、本実施形態において、被写体尤度分布の各画素は、ｐｏｓｉｔｉｖｅクラス、ｎｅｇａｔｉｖｅクラス、ｕｎｋｎｏｗｎクラスの、少なくとも３種のクラスに分類される。被写体尤度分布のクラスと各クラスの定義を図７（ｂ）に示す。図７（ｂ）に示すように、ｐｏｓｉｔｉｖｅクラスは、追跡対象の被写体領域の確からしさが高い状態を表すクラスである。ｎｅｇａｔｉｖｅクラスは、追跡対象の被写体領域の確からしさが低い状態を表すクラスである。ｕｎｋｎｏｗｎクラスは追跡対象に被写体領域の確からしさの判別が不能な状態を表すクラスである。

＜被写体追跡としての効果＞
上述したようにして尤度分布生成部２０４で生成された被写体尤度分布の情報は、特徴抽出部２０２に送られ、特徴抽出部２０２において被写体領域の推定に利用される。具体的には、特徴抽出部２０２は、前述したように、色情報のヒストグラムに基づく被写体領域の確からしさの確率に、距離情報に基づく被写体領域に確からしさの確率（つまり被写体尤度分布で示される確率）を乗算する。これにより、特定の被写体領域である確率を表す被写体マップが生成されることになる。

ここで、例えば、色情報のみに基づいて被写体領域を推定するようなことを考えた場合、例えば被写体領域内に色が異なる小領域があると、その小領域を被写体領域であるとして誤って決定してしまう可能性がある。これに対し、本実施形態の場合、被写体尤度分布におけるｐｏｓｉｔｉｖｅクラス（被写体である確からしさが高いことを示すクラス）を被写体領域推定に用いているため、色が異なる小領域を被写体領域として誤決定しまうことがなくなる。

また、例えば、色情報のみに基づいて被写体領域を推定する場合、例えば被写体領域の周囲に被写体領域と同じ色の領域があると、それら周囲の領域が被写体領域に含まれていると誤って決定してしまう可能性がある。これに対し、本実施形態の場合、被写体尤度分布におけるｎｅｇａｔｉｖｅクラス（被写体である確からしさが低いことを示すクラス）を被写体領域推定に用いているため、色が同じ周囲の領域が被写体領域に含めてしまうような誤決定を行うことがなくなる。

また例えば、距離情報のみに基づいて被写体領域を推定する場合には、距離は追跡対象の被写体領域と同じではあるが、追跡対象かどうか不明な領域を、追跡対象の被写体領域として誤って決定してしまう可能性がある。これに対し、本実施形態の場合、被写体尤度分布がｕｎｋｎｏｗｎクラス（被写体である確からしさの判別が不能なことを示すクラス）の追跡対象かどうか不明な領域については、距離情報を参照することで、追跡対象の被写体領域かどうかを決定できる。ただし、この場合、追跡対象の被写体領域かどうかの決定の精度は低くなる。

＜撮像装置の処理の流れ＞
図８は、撮影の際に前述したような被写体追跡の処理を実行する本実施形態の撮像装置１００の処理の全体の流れを示すフローチャートである。
図８のフローチャートのＳ８０１において、ＣＰＵ１５１は、撮像装置１００の状態を判別する。具体的には、ＣＰＵ１５１は、Ｓ８０１において、撮像装置１００の操作スイッチ１５６の撮影スイッチがオンの状態であれば（ＹＥＳと判定）、Ｓ８０２に処理を進める。一方、ＣＰＵ１５１は、Ｓ８０１において、撮影スイッチがオフの状態であれば（ＮＯと判定）、図８のフローチャートの処理を終了する。

Ｓ８０２では、ＣＰＵ１５１は、撮像装置１００の各ユニットを制御して、各ユニットに対して撮像のために必要な各処理を実行させる。Ｓ８０２の後、ＣＰＵ１５１は、Ｓ８０３に処理を進める。

Ｓ８０３では、ＣＰＵ１５１は、被写体追跡部１６１を制御して、前述した図３〜図７等を用いて説明した本実施形態における被写体追跡のための処理を実行させる。Ｓ８０４の後、ＣＰＵ１５１は、Ｓ８０４に処理を進める。

Ｓ８０４では、ＣＰＵ１５１は、フォーカス制御部１３３を制御して、被写体追跡部１６１で被写体追跡されている被写体領域に対応した被写体に対する焦点検出処理を行わせる。すなわちこのときのフォーカス制御部１３３では、Ａ像とＢ像の視差画像から、追跡対象の被写体に対するピント方向のズレ量（デフォーカス量）を算出する。Ｓ８０４の後、ＣＰＵ１５１は、Ｓ８０５に処理を進める。

Ｓ８０５では、フォーカス制御部１３３は、Ｓ８０４で求められズレ量を基に、レンズユニット１０１のフォーカスレンズ１３１を駆動することにより、追跡対象の被写体にピントを合わせるＡＦ制御を行う。Ｓ８０５の後、ＣＰＵ１５１は、Ｓ８０１に処理を戻す。Ｓ８０１において、撮影スイッチがオンの状態であれば、撮像装置１００では、引き続きＳ８０２〜Ｓ８０５の処理が実行される。

以上説明したように、本実施形態の撮像装置１００によれば、距離情報と被写体追跡位置の情報とを基に、距離分布から被写体追跡にとって有効な被写体尤度分布を生成し、その被写体尤度分布を基に被写体領域を追跡している。このため、本実施形態によれば、高い精度で、特定の被写体領域を追跡可能である。

＜その他の実施形態＞
上述した実施形態では、撮像装置１００が被写体追跡機能を備えている例を挙げたが、本実施形態の被写体追跡処理を実行する機器は撮像装置に限定されない。例えば、外部機器から供給、或いは記録媒体等から読み出された画像データから、表示画像を生成して画面表示する表示装置が、被写体追跡機能を備えていてもよい。なお、この場合、表示装置に入力される画像データは、前述したＡ＋Ｂ像の画像データ、Ａ像及びＢ像を含む視差画像データとなる。この例において、表示装置に搭載されているマイクロコントローラ等の制御部は、被写体追跡処理により抽出した被写体領域の情報（画像中の被写体領域の位置、大きさ等）に基づいて、画像を表示する際の表示条件を制御する。具体的には、画像中の被写体領域の位置に枠画像等のような被写体を示す画像を重畳表示等する。

また、表示装置は、距離情報を利用した特徴量の抽出を行ってもよく、距離情報を利用した特徴量抽出の前後で、被写体を示す情報を重畳表示する際の表示条件を異ならせてもよい。例えば、距離情報を利用した特徴量の抽出前は被写体の領域推定の精度が低く、一方、距離情報を利用した特徴量抽出後は被写体の領域推定の精度が高くなる。このため、距離情報を利用した特徴量抽出前には、予め決められた固定の枠を重畳表示するようにし、一方、距離情報を利用した特徴量抽出後には、被写体追跡による被写体領域に対して動的に枠の位置や大きさを変化させるような表示制御が可能となる。

本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、本発明は、上述の実施形態の各機能は回路（例えばＡＳＩＣ）とプログラムとの協働により実現することも可能である。

上述の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明は、その技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。

１００ 撮像装置、１６１ 被写体追跡部、２０１ 照合部、２０２ 特徴抽出部、２０３ 距離分布生成部、２０４ 被写体尤度分布生成部

Claims (9)

1. 逐次入力される画像から目的とする被写体を追跡する追跡装置であって、
   基準画像における各領域の距離を示す距離情報を取得する取得手段と、
   前記基準画像において追跡対象の被写体として指定された位置に関する情報と、前記距離情報とに基づいて、前記基準画像における前記被写体としての確からしさを示す尤度分布を生成する生成手段と、
   前記尤度分布に基づいて前記基準画像から前記被写体に対応する画像領域を推定し、前記画像領域から被写体の追跡に用いる特徴量を算出する算出手段と、
   を備えることを特徴とする追跡装置。
2. 前記取得手段は、前記基準画像に対応した画像であって視差が異なる視差画像から、前記各領域のデフォーカス量を算出し、前記各領域のデフォーカス量から前記距離情報を求めることを特徴とする請求項１に記載の追跡装置。
3. 前記取得手段は、前記基準画像に対応した画像であって視差が異なる視差画像から、前記各領域の距離情報の信頼性を表す情報を生成し、
   前記生成手段は、前記追跡対象の被写体として指定された位置に関する情報と前記距離情報を基に前記確からしさが高い領域として連結される対象として、前記距離情報の信頼性が低い領域を含めることを特徴とする請求項１又は２に記載の追跡装置。
4. 前記生成手段は、前記尤度分布を表す状態として、前記確からしさが高い状態と、前記確からしさが低い状態と、前記確からしさの判断が不能な状態との、少なくとも三つの状態を用い、前記基準画像の前記各領域を前記三つの状態の何れかに分類して前記尤度分布を生成することを特徴とする請求項１乃至３の何れか１項に記載の追跡装置。
5. 前記生成手段は、前記距離情報が生成されない領域については、前記距離情報が生成されている最近傍の領域の前記尤度分布の前記確からしさが低ければ、確からしさが低い領域とし、前記最近傍の領域の前記尤度分布の前記確からしさが低くなければ、確からしさが不能な領域とすることを特徴とする請求項１乃至４の何れか１項に記載の追跡装置。
6. 撮像手段と、
   前記撮像手段により撮像された画像が前記基準画像として入力される請求項１乃至５の何れか１項に記載の追跡装置と、
   前記撮像手段が撮像する際の撮像条件を、前記被写体に対応する画像領域の情報に応じて制御する制御手段と、
   を有することを特徴とする撮像装置。
7. 画像を表示する表示手段と、
   請求項１乃至５の何れか１項に記載の追跡装置と、
   前記表示手段が表示する表示条件を、前記被写体に対応する画像領域の情報に応じて制御する制御手段と、
   を有することを特徴とする表示装置。
8. 逐次入力される入力画像から追跡対象の画像領域を追跡する追跡装置の追跡方法であって、
   基準画像における各領域の距離を示す距離情報を取得するステップと、
   前記基準画像において追跡対象の被写体として指定された位置に関する情報と、前記距離情報とに基づいて、前記基準画像における前記被写体としての確からしさを示す尤度分布を生成するステップと、
   前記尤度分布に基づいて前記基準画像から前記被写体に対応する画像領域を推定し、前記画像領域から被写体の追跡に用いる特徴量を算出するステップと、
   を有することを特徴とする追跡方法。
9. コンピュータを、請求項１乃至５の何れか１項に記載の追跡装置の各手段として機能させるためのプログラム。

Images