JP7341712B2 - 画像処理装置、画像処理方法、撮像装置、およびプログラム - Google Patents

Description

本発明は、複数のフレーム画像間で特徴点を追跡する画像処理技術に関する。

手振れ等による像ブレを補正する機能を有する撮像装置は、ユーザの手振れ等で発生する撮像装置の位置姿勢変化を検出して被写体像の像ブレを抑制する。撮像装置の位置および姿勢を検出する自己推定には、ＳＦＭ（Structure from Motion）と慣性センサを用いた位置姿勢推定（Visual and Inertial Sensor Fusion）の技術とがある。この技術を応用して、実空間内に存在する物体の３次元位置と撮像装置の位置姿勢とを推定する方法が知られている。視点の異なる複数の画像において同一の特徴点を追跡し、三角測量の原理により特徴点の３次元座標を算出することで、物体の３次元位置と撮像装置の位置姿勢とを推定可能である。特徴点の追跡処理は、画像から抽出された特徴点の動きベクトルを、連続する複数のフレーム画像に亘って逐次に検出することで実現できる（特許文献１）。

特開２００７－３３４６２５号公報

しかしながら特許文献１に開示された技術では、特徴点の分布が常に画面内で一様となるように追跡の制御が行われるので、シーンによってはユーザの意図に適合した特徴点が得られない可能性がある。

本発明の目的は、推定されるユーザの着目対象に適合した特徴点の追跡制御を実現可能な画像処理装置を提供することである。

本発明の実施形態の装置は、画像を取得する取得手段と、前記画像の特徴点を抽出する抽出手段と、前記特徴点を追跡する追跡手段と、前記画像内の着目対象を推定する推定手段と、推定された前記着目対象と前記追跡手段により追跡される追跡特徴点の分布とが合致している度合いを表す合致度を算出する算出手段と、前記合致度にしたがって追跡対象の特徴点を決定して前記追跡特徴点を制御する制御手段と、を備える。

本発明によれば、推定されるユーザの着目対象に適合した特徴点の追跡制御を実現可能な画像処理装置を提供することができる。

本発明の実施形態に係る撮像装置の構成例を示すブロック図である。 本発明の実施形態の画像処理を説明するフローチャートである。 特徴点の抽出処理の説明図である。 テンプレートマッチングの説明図である。 相関値マップの説明図である。 合致度の算出処理の説明図である。 合致度と追跡継続率との関係を説明する図である。 相関値指標の例を示す図である。 追跡信頼度の説明図である。 追跡を継続する特徴点の選択方法を説明する図である。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。
図１は、本実施形態の画像処理装置１００の構成を示すブロック図である。

画像入力部１０１により画像データが入力される。例えば、本発明を撮像装置へ適用する場合、撮像光学系と、撮像素子を含む撮像部によって取得される画像データとが、画像入力部１０１に入力される。または、記憶装置や記憶媒体から読み出された画像データが、画像入力部１０１に入力される。撮像装置における画像の特徴点の追跡制御は、手振れ等による像ブレの補正処理や、複数のフレームの画像に亘る同一被写体の追尾処理等に、利用可能である。

特徴点の追跡処理では、シーンの変化に伴って、追跡対象である特徴点の分布が変化する場合がある。例えば、最初は画面内で一様に分布していた特徴点群が、追跡を継続するうちに局所領域に集中することがある。その理由は、シーンの変化によって被写体の位置や大きさが変わることで、同じ被写体を追う特徴点であっても画面内における位置や分布が変わってしまうためである。

シーンの変化の一例として、ユーザがズームアウト操作によって広角側に画角を変更する場合を想定する。この場合、ズームアウト操作前において画面の端に位置する特徴点は、ズームアウト操作後には画面の中央寄りに位置することになる。その結果、ズームアウト操作前に画面内で一様に分布している特徴点を追跡対象として決めたとしても、ズームアウト操作後には画面中央に集中した分布の特徴点が追跡されることになる。このように追跡対象とする特徴点の分布が変化する現象は、ズーミング以外に、撮像装置と被写体との距離が変化する場合や、ユーザが構図を変更する場合等に発生する。

追跡対象とする特徴点の望ましい分布は、ユーザが意図する画像内の着目対象によって異なる。例えば、ユーザの着目対象が背景である場合、画面全体の動きを万遍なく検出できるように、特徴点群が画面上で一様に分布していることが望ましい。一方、ユーザの着目対象が特定の被写体（主被写体）である場合には、主被写体の動きを重点的に検出できるように、主被写体領域とその周辺に特徴点群が集中して分布していることが望ましい。そのため、特徴点を継続的に追跡する場合、シーンの変化に伴って変化する特徴点群の分布が常にユーザの意図に適合するように追跡を制御する必要がある。そこで本実施形態は、画像や各種得られる情報からユーザが意図する画像内の着目対象を推定し、推定結果に基づいて随時追尾特徴点を更新することで、よりユーザの意図に適合した追跡が行えるようにすることを特徴とする。

領域分割部１０２は、画像入力部１０１から取得した画像データを、複数の画像領域に分割する。領域分割部１０２は、1枚の画像を複数の画像領域に分割したときの分割情報を特徴点抽出部１０３に出力する。画像領域の分割例について、図３（Ａ）を参照して説明する。図３（Ａ）は、画像を格子状の領域に分割した例を示す。つまり、画像領域は矩形状であるが、このような分割に限らず、画像領域の形状については任意である。

特徴点抽出部１０３は、領域分割部１０２からの分割情報に基づいて、画像領域ごとに所定数の特徴点を抽出する。以下では、特徴点抽出部１０３によりフレームごとに抽出される特徴点を“新規特徴点”という。また、追跡対象である特徴点を“追跡特徴点”という。本実施形態の装置は２つの情報保持部１０４，１０５を備え、第１の情報保持部１０４は特徴点抽出部１０３により抽出された新規特徴点の情報を保持する。第２の情報保持部１０５は追跡特徴点の情報を保持する。追跡特徴点は新規特徴点と区別されるが、初期フレームに関しては、新規特徴点が追跡特徴点として扱われる。

画像メモリ１０６は、画像入力部１０１から画像データを取得して、１フレーム分または複数のフレーム分のデータを一時的に記憶保持する。

特徴点追跡部１０７は、画像入力部１０１からの入力画像データと、画像メモリ１０６に記憶されている画像データと、情報保持部１０５の追跡特徴点情報とを取得する。特徴点追跡部１０７は取得した追跡特徴点情報に基づいて、画像入力部１０１および画像メモリ１０６からそれぞれ取得した画像データを比較することによって動きベクトルを検出し、これにより、複数の画像間で特徴点を追跡する。特徴点追跡部１０７は追跡結果を示す情報を、後述の合致度算出部１１０および特徴点追跡制御部１１１に出力する。

カメラ情報取得部１０８は、撮影状況の推定に必要なカメラ情報を取得する。カメラ情報とは、撮影モードの情報、主被写体情報、シャッタスピード、撮像光学系の焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報等である。

着目対象推定部１０９は、カメラ情報取得部１０８からのカメラ情報に基づいて、画像内の着目対象を推定する。撮影者が着目対象として背景と被写体のいずれに着目しているかについての、推定処理が行われる。本発明の実施上、画像内の着目対象の推定方法は、特定の方法に限定されない。

合致度算出部１１０は、着目対象推定部１０９の推定結果の出力、および特徴点追跡部１０７の追跡結果の出力に基づいて、着目対象と追跡中の特徴点分布との合致度を算出する。特徴点追跡制御部（以下、追跡制御部という）１１１は、情報保持部１０４の新規特徴点情報と、特徴点追跡部１０７の追跡結果の出力と、合致度算出部１１０が算出した合致度を取得する。追跡制御部１１１は、取得した情報に基づいて、追跡中の特徴点の各々に対して、追跡を継続するか否かを判定する。判定結果は、情報保持部１０５に保持される追跡特徴点情報に反映される。

図２から図１０（Ｄ）を参照して、画像処理装置１００が行う処理について詳細に説明する。
図２は画像処理装置１００の処理を説明するフローチャートである。

ステップＳ２０１で、特徴点抽出部１０３は、画像入力部１０１から入力されて領域分割部１０２で分割された各画像データに対して、所定数の特徴点を抽出する。抽出された特徴点の情報は、新規特徴点情報として情報保持部１０４に格納される。

図３（Ａ）は画像の領域分割例を示す模式図であり、白色で示す矩形領域は特徴点抽出領域である。この特徴点抽出領域に対して特徴点抽出部１０３が特徴点の抽出を行う。特徴点抽出領域の周辺部には、ハッチングが施された周辺領域が設けられている。抽出される特徴点の位置によっては、後述する動きベクトル検出に用いるテンプレート領域およびサーチ領域が、特徴抽出領域からはみ出す場合がある。そのため、はみ出した領域に対応させるための余剰の画像領域として、周辺領域が用意されている。

図３（Ｂ）は、格子状に分割された画像領域ごとに特徴点を抽出する方法を説明するための模式図である。この例では、画像領域ごとに１個の特徴点３０１が抽出される。図３（Ｂ）に示したように、特徴点抽出領域は、グリッドによって複数の部分領域に区切られている。本実施形態では、これらの部分領域を規定する矩形枠を“特徴点グリッド”と記す。特徴点グリッド内の特徴点３０１を、黒点で示す。また、周辺領域を構成する各矩形枠、すなわちハッチングが施された各矩形枠を、“周辺グリッド”と記す。

特徴点の抽出方法として、Harris corner検出器による方法とShi and Tomasiの方法とを説明する。以下では、画像の画素位置（ｘ，ｙ）における輝度値をＩ（ｘ，ｙ）と表記し、画像に対して水平方向および垂直方向の１次微分フィルタを適用した結果をそれぞれＩｘ，Ｉｙと表記する。特徴点抽出部１０３は、式（１）で示す自己相関行列Ｈを生成する。

式（１）において、Ｇは式（２）に示すガウス分布による平滑化を表す。

Harris corner検出器による方法では、式（３）に示す特徴評価式を用いた演算により特徴量が大きくなる画素を、特徴点として抽出する処理が行われる。

式（３）において、ｄｅｔは行列式を表し、ｔｒは対角成分の和を表す。αは定数であり、実験的に０．０４～０．１５の範囲内の値が使用される。

一方、Shi and Tomasiの方法では、式（４）に示す特徴評価式が用いられる。

式（４）のλ１，λ２は、式（１）の自己相関行列Ｈの固有値であり、ｍｉｎ（λ１，λ２）は、λ１，λ２のうちの小さい方を選択することを意味する関数である。つまり式（４）は、式（１）の自己相関行列Ｈの固有値λ１，λ２のうち小さい方の固有値を特徴量とすることを表す。Shi and Tomasiの方法を用いる場合でも、特徴量が大きくなる画素を特徴点として抽出する処理が行われる。

図２のステップＳ２０１では、分割された画像領域ごとに、式（３）または式（４）により画素の特徴量が算出され、特徴量が高い方から所定数の画素を特徴点として抽出する処理が実行される。

次のステップＳ２０２で追跡制御部１１１は、追跡特徴点情報を情報保持部１０５に設定する。初期フレームに関しては、ステップＳ２０１で情報保持部１０４に格納された新規特徴点情報を有する特徴点を、そのまま追跡対象として設定すればよい。２フレーム目以降の設定方法については後述する。

ステップＳ２０３で特徴点追跡部１０７は、ステップＳ２０２で設定された追跡特徴点に対して動きベクトルを検出することで、特徴点を追跡する。動きベクトルの検出方法としては公知の相関法やブロックマッチング法等がある。本発明の実施において動きベクトルの算出方法には、どのような方法を用いても構わない。一例として、図４（Ａ）および（Ｂ）を用いてブロックマッチング法について説明する。

図４（Ａ）および（Ｂ）は、２つの画像を用いて行うテンプレートマッチングの概要を示す模式図である。図４（Ａ）は、動きベクトル検出用の画像のうちの基準画像を例示し、図４（Ｂ）は参照画像を例示する。例えば基準画像のデータは画像メモリ１０６に保持されている過去のフレーム画像であり、参照画像のデータは画像入力部１０１から直接入力される現在の画像データである。これらの画像データを用いることで、過去のフレーム画像から現在のフレーム画像への動きベクトルを算出することができる。なお、基準画像と参照画像とを入れ替えてもよく、その場合には現在のフレーム画像から過去のフレーム画像への動きベクトルが算出される。

図４（Ａ）の基準画像内に示す領域４０１はテンプレート領域であり、図４（Ｂ）の参照画像内に示す領域４０２はサーチ領域である。特徴点追跡部１０７は基準画像にテンプレート領域４０１を配置し、参照画像にサーチ領域４０２を配置して、テンプレート領域４０１とサーチ領域４０２との相関値を算出する。ここで、テンプレート領域４０１は、ステップＳ２０１で抽出された特徴点を中心に配置される。サーチ領域４０２は、テンプレート領域４０１を上下方向および左右方向にて均等に包含するように所定の大きさで配置される。

本実施形態では、相関値の算出方法として、差分絶対値和（Sum of Absolute Difference：以下、ＳＡＤと略記する）を使用する。ＳＡＤの計算式（５）を示す。

式（５）において、ｆ（ｉ，ｊ）はテンプレート領域４０１内の座標（ｉ，ｊ）での輝度値を表す。また、ｇ（ｉ，ｊ）はサーチ領域４０２内において相関値の算出対象となる領域（以下、相関値算出領域という）４０３内の座標（ｉ，ｊ）での輝度値を表す。図４（Ｂ）には相関値算出領域４０３を、点線の矩形枠内の領域として示している。

ＳＡＤを用いる方法では領域４０２，４０３内のそれぞれの輝度値ｆ（ｉ，ｊ）とｇ（ｉ，ｊ）との差の絶対値が算出される。差の絶対値の総和を求めることで相関値Ｓ＿ＳＡＤが得られる。相関値Ｓ＿ＳＡＤの値が小さいほど、テンプレート領域４０１と相関値算出領域４０３とのテクスチャの類似度が高いことを表す。なお、ＳＡＤは一例であって、相関値の算出には、例えば差分二乗和（sum of squared differences：ＳＳＤ）や正規化相互相関（normalized cross-correlation：ＮＣＣ）を用いてもよい。

図４（Ｂ）に示すように特徴点追跡部１０７は、サーチ領域４０２の全域に亘って相関値算出領域４０３を移動させながら、相関値を順次算出する。これにより、サーチ領域４０２に対して相関値マップが生成される。以下、図５（Ａ）および（Ｂ）を用いて、相関値マップの具体例を説明する。

図５（Ａ）および（Ｂ）はサーチ領域４０２の座標系に基づいて算出した相関値マップを例示する。図５（Ａ）は、３軸の直交座標系に基づく相関値の分布を示し、Ｘ軸とＹ軸は相関値マップ座標を表し、Ｚ軸は各座標での相関値の大きさを表している。本例では３つの極小値５０１，５０２，５０３をもつ相関値マップを示す。また図５（Ｂ）は、図５（Ａ）の等高線を示しており、Ｚ軸方向から見た場合の３つの極小値５０１，５０２，５０３を示す。図５（Ｂ）の２次元相関値マップは、矢印５０４で示すように相関値をラスターに沿って並べることで、１次元で表すことができる。

図５（Ａ）および（Ｂ）に示す３つの極小値５０１，５０２，５０３のうちで相関値が最も小さいのは極小値５０１である。サーチ領域４０２内で極小値５０１が算出された領域には、テンプレート領域４０１と非常に類似したテクスチャが存在していると判定することができる。極小値５０２は二番目の極小値であり、極小値５０３は三番目の極小値である。これらは極小値５０１に次いで類似したテクスチャが存在していることを意味する。

このようにして、特徴点追跡部１０７は、テンプレート領域４０１とサーチ領域４０２との間で相関値を算出し、その値が最も小さくなる相関値算出領域４０３の位置を判定する。これにより、基準画像上のテンプレート領域４０１に対応する、参照画像上での移動先を特定することができる。特徴点追跡部１０７は、基準画像上でのテンプレート領域の位置を基準とした参照画像上での移動先への方向および移動量から、当該方向および移動量に対応した大きさを有する動きベクトルを検出する。

図２のステップＳ２０４でカメラ情報取得部１０８は、撮影状況の推定に必要なカメラ情報を取得する。本実施形態では、カメラ情報として、撮影モードの情報、主被写体情報、シャッタスピード、撮像光学系の焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報を用いるものとする。主被写体情報とは、例えば、主被写体の人物らしさおよび大きさ、主被写体の動き等の情報である。主被写体の人物らしさおよび大きさは、例えば主被写体を人物の顔とする場合、主被写体の色や輪郭の情報を用いる公知の顔検出技術によって取得できる。また主被写体の動きは、画像フレーム間の比較によって検出される動きベクトルから取得できる。奥行き情報は、測距センサを用いる方法、または、撮像画像を用いたステレオマッチング法等により検出できる。

図２のステップＳ２０５で着目対象推定部１０９は、ステップＳ２０４で取得されたカメラ情報に基づいて撮影状況を推定し、複数の被写体のうち、背景と背景以外の被写体とのいずれに着目して特徴点追跡を行うべきかを推定する。撮影時の着目対象が背景である場合、追跡特徴点は画面上で一様に分布していることが望ましい。その理由は特徴点の分布が局所的に偏っていると、特徴点が存在しない領域に含まれる背景の動き情報が得られないからである。一方、撮影時の着目対象が背景以外の被写体である場合、追跡特徴点は当該被写体の近傍に集中して分布していることが望ましい。その理由は画面上で特徴点の分布が一様であると、着目対象である被写体の動き情報が十分に得られないからである。このような理由から、着目対象推定部１０９はカメラ情報に基づき、着目対象が背景と被写体のいずれであるかを推定する。推定結果に応じて、追跡特徴点の分布を制御することができる。

カメラ情報に基づく着目対象の推定方法について具体的に説明する。まず、カメラ情報ごとに、着目対象が背景である可能性の高さを表す背景度合いと、着目対象が背景以外の被写体である可能性の高さを表す被写体度合いとが、算出される。以下、背景度合いをＤと表記し、被写体度合いをＯと表記する。ＤとＯとは、合計Ｄ＋Ｏが１になるような数値で表現する。本実施形態ではＤとＯを用いるが、背景度合いと被写体度合いのうち、いずれか一方だけを算出してもよい。

撮影モードの例は、以下の通りである。
・ポートレートモードの場合
主被写体として人物に着目して撮影が行われる可能性が高いので、Ｏ値が大きく（例えば０．９）、Ｄ値が小さく（例えば０．１）設定される。

・風景モードの場合
風景に着目して撮影が行われる可能性が高いので、Ｏ値が小さく（例えば０．１）、Ｄ値が大きく（例えば０．９）設定される。
このように、設定された撮影モードに応じて可能性の高い撮影状況を想定することで、被写体度合いおよび背景度合いが決定される。

主被写体の人物らしさについては、主被写体がより人物らしいほど、被写体に着目して撮影が行われる可能性が高い。よって、Ｏ値が大きく（例えば０．７）、Ｄ値が小さく（例えば０．３）設定される。

また、主被写体の大きさについては、主被写体が大きいほど、当該被写体に着目して撮影が行われる可能性が高い。よって、Ｏ値が大きく（例えば０．８）、Ｄ値が小さく（例えば０．２）設定される。

主被写体の動きについては、当該主被写体の動きが小さいほど、ユーザは当該被写体を捉えようとカメラを構えていることが推定され、当該被写体に着目して撮影が行われる可能性が高い。よって、Ｏ値が大きく（例えば０．６）、Ｄ値が小さく（例えば０．４）設定される。

またシャッタスピードが速いほど、高速に移動する被写体に着目して撮影が行われる可能性が高い。よって、Ｏ値が大きく（例えば０．７）、Ｄ値が小さく（例えば０．３）設定される。

カメラ情報と着目被写体との関係について、下表１に示す。

表１では、カメラ情報として、撮影モードの情報、主被写体情報、シャッタスピードを例示し、括弧内の数値は、背景度合い（Ｄ値）／被写体度合い（Ｏ値）の一例を示している。

次に、撮像光学系の焦点距離と奥行き情報について説明する。これらの情報をそれぞれ単独で使用したのでは、撮影者の意図を汲み取ることが難しい。そこで、両者を組み合わせて着目対象を推定する方法の一例を説明する。

焦点距離をｆ［ｍｍ］と表記し、撮像装置から主被写体までの距離（奥行き情報）をｄ［ｍｍ］と表記する。ｆ値およびｄ値が既知である場合、撮像面上での主被写体の大きさをＸ［ｍｍ］と表記すれば、実際の主被写体の大きさ（Ｙ［ｍｍ］と記す）は、下記式（６）により算出できる。

実際の主被写体の大きさＹの値が分かれば、像面上での主被写体の大きさＸや焦点距離ｆとの関係から、撮影者の意図を推定可能である。例えば、実際の主被写体の大きさ（Ｙ値）は小さいが、像面上での主被写体の大きさ（Ｘ値）が大きく、焦点距離ｆが長い場合、撮影者が主被写体に対して非常に着目していると推定される。そのため、Ｙ値が小さく、かつ、Ｘ値が大きく、かつ、焦点距離ｆが長いほど、被写体度合いＯ値が大きく、背景度合いＤ値が小さく設定される。

撮像装置の動きを検出する慣性センサの情報についても、当該情報を単独に用いたのでは撮影者の意図を汲み取ることが難しい。そこで、慣性センサ情報と被写体の動き情報とを組み合わせて着目対象を推定する方法の一例を説明する。その着目対象が背景以外の被写体である場合、撮影者は被写体を画角内の所定位置に収めようとカメラを動かすので、被写体の動きは撮像装置の動きに比べて相対的に小さくなる。よって、慣性センサ情報により得られるフレーム画像間でのカメラの移動量に対して、被写体の移動量が小さくなるほど、撮影者は当該被写体を捉えようとカメラを構えている可能性が高いと推定される。この場合、被写体に着目して撮影が行われる可能性が高いので、被写体度合いＯ値が大きく、背景度合いＤ値が小さく設定される。

着目対象の推定に複数のカメラ情報を利用できる場合には、カメラ情報ごとに得られる背景度合いおよび被写体度合いに対してそれぞれ重み付け加算処理が行われることで、最終的な背景度合いおよび被写体度合いが算出される。重み付け係数の値については、例えば各情報源の確からしさに基づいて設定すればよい。表１を用いて具体的に説明する。

撮影モード、主被写体の人物らしさ、主被写体の大きさ、主被写体の動き、シャッタスピードのそれぞれから得られる背景度合いをＤａ、Ｄｂ、Ｄｃ、Ｄｄ、Ｄｅと表記する。撮影モード、主被写体の人物らしさ、主被写体の大きさ、主被写体の動き、シャッタスピードのそれぞれに対応する重み付け係数をＧａ、Ｇｂ、Ｇｃ、Ｇｄ、Ｇｅと表記する。最終的な背景度合いＤは式（７）で計算できる。

例えば、重み付け係数値をＧａ＝０．３、Ｇｂ＝０．２、Ｇｃ＝０．２、Ｇｄ＝０．１、Ｇｅ＝０．２とする。ここで、Ｇａ＋Ｇｂ＋Ｇｃ＋Ｇｄ＋Ｇｅ＝１となるように各係数値が正規化されている。例えば、以下の条件を想定する。
・撮影モードが風景モード（Ｄａ＝０．９）であって、主被写体の人物らしさが高く（Ｄｂ＝０．３）、主被写体の大きさが小さく（Ｄｃ＝０．８）、主被写体の動きが小さく（Ｄｄ＝０．４）、シャッタスピードが遅い（Ｄｅ＝０．７）。

この場合、式（７）よりＤ＝０．６と算出される。最終的な被写体度合いＯ値についても、Ｄ値の場合と同様に算出できる。なお、各情報源の確からしさが同一であるか、または不明である場合には、全ての重み付け係数値を同じ値にすればよい。また、カメラ情報としてユーザ指示情報を用いる場合には、例えば背景と被写体の着目度合いをユーザが撮像装置に指示することができる。この場合に推定は無用であって、ユーザ指示情報にしたがって背景度合いと被写体度合いを決定することができる。

続いて図２のステップＳ２０６で合致度算出部１１０は合致度を算出する。合致度は、ステップＳ２０５で推定されたユーザの着目対象に対して、特徴点の位置や分布が合致している度合いを示す指標である。合致度の算出方法の一例について、図６（Ａ）乃至（Ｄ）を用いて具体的に説明する。

図６（Ａ）乃至（Ｄ）は、画像例を示す模式図であり、矩形枠内の被写体領域６０１と背景領域６０２とを示す。背景領域６０２は画面全体から被写体領域６０１を除いた領域である。白抜き三角形の記号は被写体領域６０１に位置する特徴点６０３を表し、背景領域６０２に位置する特徴点６０４を、黒点で示している。被写体領域６０１内に点線枠で示す領域６０５は、特徴点６０３を包含する領域であり、背景領域６０２内に破線枠で示す領域６０６は特徴点６０４を包含する領域である。

一例として、特徴点の総数を１０点とし、背景度合いと被写体度合いが等しく、Ｄ＝Ｏ＝０．５の場合を説明する。図６（Ａ）のように、特徴点が背景領域６０２と被写体領域６０１にそれぞれ５点ずつであって、１：１の均等な割合で存在する場合、ユーザの着目対象と特徴点の位置との合致度が高いことになる。一方、図６（Ｂ）のように、特徴点が背景領域６０２に１０点存在し、被写体領域６０１に存在しない場合には、ユーザの着目対象と特徴点の位置との合致度は低いことになる。合致度（Ｓと記す）は、例えば式（８）で計算できる。

式（８）にて、ａは背景度合いを表し、ｍは背景領域６０２に位置する特徴点６０４の割合を表す。（ａ－ｍ）^２＝｛（１－ａ）－（１－ｍ）｝^２であり、「１－ａ」は被写体度合いを表し、「１－ｍ」は被写体領域６０１に位置する特徴点６０３の割合を表す。あるいはａ、ｍをそれぞれ被写体度合い、被写体領域６０１に位置する特徴点の割合として扱ってもよい。

図６（Ａ）の場合、ａ＝ｍ＝０．５であり、式（８）を用いてＳ＝１－（０．５－０．５）２＝１となり、合致度Ｓが高い。
また図６（Ｂ）の場合、ａ＝０．５、ｍ＝１であり、式（８）を用いてＳ＝１－（０．５－１）^２＝０．７５となり、図６（Ａ）の場合よりも合致度が低い。
なお、着目対象が背景（背景度合いＤ＝１）の場合、全ての特徴点が背景領域６０２に位置すれば合致度Ｓ＝１であり、全ての特徴点が被写体領域６０１に位置すれば合致度Ｓ＝０となり、直感的に理解がし易い。

図６（Ｃ）は、被写体領域６０１に位置する特徴点と背景領域６０２に位置する特徴点の数が同じであっても、特徴点の分布のばらつきが小さい場合を例示する。図６（Ｃ）では被写体領域６０１内の限定された領域６０５内に特徴点６０３が集中して分布し、背景領域６０２内の限定された領域６０６内に特徴点６０４が集中して分布している。また、図６（Ｄ）は被写体領域６０１と背景領域６０２において、特徴点６０３、６０４の分布の偏りが大きい場合を示す。図６（Ｃ）および（Ｄ）の場合、ユーザの着目対象の動きを正確に捉えることができないので、合致度算出部１１０は合致度が低いと判断する。

合致度算出部１１０が特徴点の分布のばらつき具合や偏り具合を判断する際に、領域６０５および領域６０６を用いることができる。例えば特徴点の分布のばらつき具合に関して、被写体領域６０１に位置する特徴点６０３のばらつきが小さい場合、領域６０５の面積が小さくなる。背景領域６０２に位置する特徴点６０４のばらつきが小さい場合、領域６０６の面積が小さくなる。そのため、合致度算出部１１０は領域６０５が被写体領域６０１において占める面積の割合が高いほど、特徴点６０３の分布のばらつきが大きいと判断して合致度を高く算出する。同様に、合致度算出部１１０は、領域６０６が背景領域６０２において占める面積の割合が高いほど、特徴点６０４の分布のばらつきが大きいと判断して合致度を高く算出する。

特徴点の分布の偏り具合に関しては、被写体領域６０１に位置する特徴点６０３の偏りが大きい場合、領域６０５の重心と被写体領域６０１の重心との距離が大きくなる。また、背景領域６０２に位置する特徴点６０４の偏りが大きい場合、領域６０６の重心と背景領域６０２の重心との距離が大きくなる。そのため、合致度算出部１１０は、領域６０５の重心が被写体領域６０１の重心に近いほど、特徴点６０３の分布の偏りが小さいと判断して合致度を高く算出する。同様に、合致度算出部１１０は、領域６０６の重心が背景領域６０２の重心に近いほど、特徴点６０４の分布の偏りが小さいと判断して合致度を高く算出する。

本実施形態では、特徴点の分布のばらつき具合や偏り具合の判断に、領域６０５および６０６の面積および重心を用いる例を示すが、これらに限らない。例えば合致度算出部１１０は、特徴点６０３および６０４の座標値の分散値を用いて、特徴点の分布のばらつき具合や偏り具合を判断してもよい。その場合、特徴点の座標値の分散値が大きいほど、ばらつきが大きくて偏りが小さいと判断され、合致度が高く算出される。
以上のように、合致度算出部１１０は、背景領域または被写体領域に位置する特徴点の数、特徴点の分布のばらつき具合、特徴点の分布の偏り具合の少なくともいずれかを用いて合致度を算出する。

図２のステップＳ２０７で追跡制御部１１１は、ステップＳ２０６で算出された合致度に基づいて追跡継続率を算出する。追跡継続率は、追跡を継続する特徴点の割合を表す。図７を参照して具体的に説明する。

図７は、合致度と追跡継続率との対応付けの一例を示すグラフである。図７において、横軸は合致度Ｓを表し、縦軸は追跡継続率（０．０～１．０の値を取り得る）を示す。横軸に示す第１の閾値Ｔ１と第２の閾値Ｔ２は、Ｔ１＜Ｔ２の関係である。基本的には、合致度が高いほど、ユーザの意図に適合した特徴点を追跡している確からしさが高いことを意味するので、追跡継続率が高く算出される。図７の例では、閾値Ｔ１，Ｔ２が設定されており、合致度がＴ１以下である場合に追跡継続率がゼロであり、合致度がＴ２以上である場合に合致度が１．０である。また、図７の例では、合致度が閾値Ｔ１と閾値Ｔ２の間である区間においては、合致度の増加に伴って追跡継続率が線形的に増加する。なお、合致度と追跡継続率とを非線形関係に対応付ける方法や、合致度と追跡継続率とを段階的に対応付ける方法を採用してもよい。また、追跡を継続する特徴点の割合である追跡継続率に代えて、追跡を継続する追跡特徴点の個数を直接算出してもよい。

図２のステップＳ２０８で追跡制御部１１１は、ステップＳ２０７で算出した追跡継続率に基づいて、追跡を継続する特徴点の個数を算出し、その個数分だけ追跡を継続する特徴点を選択する。特徴点の選択処理では、合致度、追跡の信頼度や、着目対象領域の重心（この重心が着目対象に相当する）から特徴点までの距離や、動きベクトルの統計値等を指標として用いて、追跡を継続する特徴点が選択される。

例えば合致度に関して説明すると、追跡制御部１１１は追跡を継続する特徴点をランダムに選択し、合致度算出部１１０と同様の方法を用いて合致度を算出する。この処理は所定の回数に亘って繰り返し実行され、最も合致度が高くなる特徴点の組み合わせが選択される。なお、追跡制御部１１１は特徴点をランダムに選択する際、ステップＳ２０５で説明した背景度合いと被写体度合いとの比率に基づいて、背景領域と主被写体領域の各々から選択する特徴点の個数の割合を決定する。

追跡の信頼度に関して、図８および図９を参照して具体例を説明する。図８（Ａ）乃至（Ｄ）は、特徴点追跡部１０７が算出する相関値指標の説明図である。横軸は画素位置に相当する画素アドレスを示し、縦軸は相関値を示す。図８（Ａ）、（Ｂ）および（Ｄ）のグラフはいずれも、相関値の極小値の数が１つである例を示し、図８（Ｃ）のグラフは相関値の極小値の数が複数である例を示す。

図８（Ａ）に示す相関値指標Ｅａは、相関値の最大値と最小値との差分を表す。図８（Ｂ）に示す相関値指標Ｅｂは、相関値の平均値と最小値との差分Ｂを、相関値の最大値と最小値との差分Ａで除算した比率「Ｂ／Ａ」を表す。図８（Ｃ）は３つの極小値７０１，７０２，７０３が存在する例において、極小値７０１が最小値であって、極小値７０２が二番目に小さい極小値である。相関値指標Ｅｃは、極小値（最小値）７０１と極小値７０２との差分を表す。図８（Ｄ）は１つの極小値が最小値であり、相関値指標Ｅｄは最小値を表す。

図９は追跡信頼度の説明図である。図９（Ａ）は、横軸に示す相関値指標Ｅと、追跡信頼度Ｒ１との関係を例示する。相関値指標Ｅが閾値Ｔ３未満である場合、追跡信頼度Ｒ１がゼロであり、相関値指標Ｅが閾値Ｔ４（＞Ｔ３）より大きい場合、追跡信頼度Ｒ１が１である。相関値指標Ｅが閾値Ｔ３以上であって閾値Ｔ４以下である場合、相関値指標Ｅの増加に伴って追跡信頼度Ｒ１が線形的に増加する。また図９（Ｂ）は、横軸に示す特徴量の変化量と、追跡信頼度Ｒ２との関係を例示する。特徴量の変化量は、追跡前後で式（３）または式（４）により特徴量を算出し、算出された特徴量の差分を計算することで得られる。特徴量の変化量が閾値Ｔ５未満である場合、追跡信頼度Ｒ２が１であり、特徴量の変化量が閾値Ｔ６（＞Ｔ５）より大きい場合、追跡信頼度Ｒ２がゼロである。特徴量の変化量が閾値Ｔ５以上であって閾値Ｔ６以下である場合、特徴量の変化量の増加に伴って追跡信頼度Ｒ２が線形的に減少する。なお、相関値指標または特徴量の変化量と、追跡信頼度とを非線形関係に対応付ける方法や、相関値指標または特徴量の変化量と、追跡信頼度とを連続的ではなく段階的に対応付ける方法を採用してもよい。

追跡制御部１１１は、例えば特徴点の特徴量を用いて追跡の確からしさを表す追跡の信頼度を算出し、追跡の信頼度が高い方から順に特徴点を選択する。追跡制御部１１１が同一の特徴点を正しく追跡できている場合、追跡前後で特徴点の特徴量の変化は小さくなる。よって、追跡制御部１１１は、追跡前後での特徴量の変化量が小さいほど、追跡の信頼度を高く算出する（図９（Ｂ）参照）。

画像内の着目対象領域の重心から特徴点までの距離に関して、追跡制御部１１１は画像の背景領域と主被写体領域の各々の重心を算出する。背景領域に位置する特徴点に対して追跡制御部１１１は、画面全体の動きを把握するために、背景領域の重心からの距離が遠い順に特徴点を選択する。一方、主被写体領域に位置する特徴点に対して追跡制御部１１１は、主被写体の重心付近の動きを把握するために、主被写体領域の重心からの距離が近い順に特徴点を選択する。

動きベクトルの統計値に関して説明すると、追跡制御部１１１は、動きベクトルのヒストグラムを生成し、各ビンの度数に基づいて特徴点を選択する。例えば度数の低いビンに属する特徴点ほど、他とは異なる動きを検出できているので、追跡制御部１１１は、度数の高いビンに比べてより多くの特徴点を選択する。

最終的には、上記した複数の指標を組み合わせて、追跡を継続する特徴点の選択処理が行われる。以下、重み付け加算と優先順位に基づく組み合わせ方法を説明する。重み付け加算による組み合わせでは、各指標を選択の優先度を表すスコアと対応付けて、スコアの重み付け加算処理が行われる。各指標とスコアとの対応付けの例を図１０に示す。

図１０（Ａ）は、横軸に示す合致度と、縦軸に示すスコアとの対応付けを例示するグラフである。合致度が高いほど追跡が継続されるようにするため、スコアが高く算出される。

図１０（Ｂ）は、横軸に示す追跡の信頼度と、縦軸に示すスコアとの対応付けを例示するグラフである。追跡の信頼度が高いほど追跡が継続されるようにするため、スコアが高く算出される。

図１０（Ｃ）は、横軸に示す着目対象領域の重心から特徴点までの距離と、縦軸に示すスコアとの対応付けを例示するグラフである。実線のグラフ線８０１は、背景領域に位置する特徴点に対する対応付けを表しており、背景領域の重心から特徴点までの距離が大きいほど追跡が継続されるようにするため、スコアが高く算出される。一方、点線のグラフ線８０２は、被写体領域に位置する特徴点に対する対応付けを表しており、被写体領域の重心から特徴点までの距離が小さいほど追跡が継続されるようにするため、スコアが高く算出される。

図１０（Ｄ）は、横軸に示す動きベクトルの統計値（ヒストグラムにおける所属するビンの度数）と、縦軸に示すスコアとの対応付けを例示するグラフである。動きベクトルの統計値が低いほど追跡が継続されるようにするため、スコアが高く算出される。

ここで各指標に対応するスコア、つまり合致度、追跡の信頼度、着目対象領域の重心から特徴点までの距離、動きベクトルの統計値のそれぞれに対応するスコアをＲａ，Ｒｂ，Ｒｃ，Ｒｄと表記する。最終的なスコアをＲと表記すると、ＲはＲａ，Ｒｂ，Ｒｃ，Ｒｄの重み付け加算により算出される。Ｒａ，Ｒｂ，Ｒｃ，Ｒｄの重み付け係数をそれぞれＷａ，Ｗｂ，Ｗｃ，Ｗｄと表記すると、スコアＲは式（９）により計算される。

各スコアに対する重みについては、例えば各スコアの情報源の確からしさに基づいて設定される。各情報源の確からしさが同一であるか、または不明である場合には、全ての重みを同じ値に設定すればよい。スコアＲの値が高い順に、追跡を継続する特徴点を選択することで、複数の指標を加味した選択処理を実現できる。

次に、優先順位に基づく組み合わせについて説明する。この場合、追跡制御部１１１は各指標またはそれらに対応するスコアに優先順位をあらかじめ付与しておき、優先順位の高いものほど、より多くの特徴点を選択する基準として採用する。例えば、スコアの優先順位をＲａ＞Ｒｂ＞Ｒｃ＞Ｒｄとした場合を想定する。追跡制御部１１１は、追跡を継続する特徴点群のうち、４割をＲａに基づき、３割をＲｂに基づき、２割をＲｃに基づき、１割をＲｄに基づいて選択する。スコアの優先順位に基づく割合の合計が１となるように、特徴点の選択の割り当てが決定される。

図２のステップＳ２０９で画像処理装置１００は、最終フレームまで処理が完了したかどうかを判定する。最終フレームまで処理が完了している場合、一連の処理を終了する。また最終フレームまで処理が完了していない場合にはステップＳ２０２に移行する。この場合、追跡制御部１１１は、ステップＳ２０８で選択された特徴点の情報を、次のフレームでの追跡対象の特徴点情報（追跡特徴点情報）として情報保持部１０５に設定する。また追跡制御部１１１は、ステップＳ２０８で選択されなかった特徴点の個数分だけ、新たな特徴点を補填して同様に情報保持部１０５に設定する。補填する特徴点は、ステップＳ２０１で抽出された特徴点群から選択される。例えばランダムで選択する方法、またはステップＳ２０６で説明した合致度を用いて選択する方法がある。合致度算出部１１０と同様の方法で算出された合致度が高くなるように特徴点を選択することが好ましい。

本実施形態では、カメラ情報を用いて推定されたユーザの着目対象に合致するように追跡特徴点の分布を制御することで、着目対象に適合した追跡特徴点を取得できる。本実施形態によれば、特徴点を継続的に追跡する際にシーンが変化しても、常にユーザの意図に適合した特徴点の追跡制御を行うことができる。また、複数の画像に亘って特定の被写体の画像領域における特徴点を、より高い精度で追跡する制御が可能となる。

［その他の実施形態］
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００ 画像処理装置
１０３ 特徴点抽出部
１０４，１０５ 情報保持部
１０７ 特徴点追跡部
１０８ カメラ情報取得部
１０９ 着目対象推定部
１１０ 合致度算出部
１１１ 特徴点追跡制御部

Claims (22)

1. 画像を取得する取得手段と、
   前記画像の特徴点を抽出する抽出手段と、
   前記特徴点を追跡する追跡手段と、
   前記画像内の着目対象を推定する推定手段と、
   推定された前記着目対象と前記追跡手段により追跡される追跡特徴点の分布とが合致している度合いを表す合致度を算出する算出手段と、
   前記合致度にしたがって、追跡を継続する特徴点を、前記特徴点から選択する制御手段と、を備える
   ことを特徴とする画像処理装置。
2. 前記推定手段は、撮影モードの情報、主被写体情報、シャッタスピード、撮像光学系の焦点距離、奥行き情報、慣性センサ情報、ユーザ指示情報のうち、１つ以上の情報を用いて前記着目対象を推定する
   ことを特徴とする請求項１に記載の画像処理装置。
3. 前記推定手段は、前記着目対象が背景である可能性の高さを示す第１の度合いと、前記着目対象が被写体である可能性の高さを示す第２の度合いの、１つ以上を用いて前記着目対象を推定する
   ことを特徴とする請求項１または請求項２に記載の画像処理装置。
4. 前記算出手段は、前記画像の背景領域または被写体領域に位置する前記特徴点の数、前記特徴点の分布のばらつき、前記特徴点の分布の偏りのうち、１つ以上を用いて前記合致度を算出する
   ことを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記制御手段は、前記合致度が第１の値である場合に前記追跡手段による追跡を継続する前記特徴点の割合または数が、前記合致度が前記第１の値よりも小さい第２の値である場合に前記追跡手段による追跡を継続する前記特徴点の割合または数よりも大きくなるように、前記特徴点を選択する
   ことを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記制御手段は、前記合致度、前記追跡手段による追跡の信頼度、前記着目対象に相当する領域の重心から前記特徴点までの距離、前記特徴点の動きの統計値のうち、１つ以上を指標として用いて、前記追跡を継続する特徴点を選択する
   ことを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記制御手段は、前記指標ごとに定められた選択数および重みを用いた重み付け加算演算の結果に基づいて、前記追跡を継続する特徴点を選択する
   ことを特徴とする請求項６に記載の画像処理装置。
8. 前記制御手段は、予め定めた前記指標の優先順位に基づいて、前記追跡を継続する特徴点を選択することを特徴とする請求項６に記載の画像処理装置。
9. 前記制御手段は、前記合致度または前記追跡の信頼度が、より高い特徴点を、前記追跡を継続する特徴点として選択する
   ことを特徴とする請求項６に記載の画像処理装置。
10. 前記制御手段は、前記画像の背景領域の重心からの距離が大きい特徴点から順に前記追跡特徴点を決定する
    ことを特徴とする請求項６に記載の画像処理装置。
11. 前記制御手段は、前記画像の被写体領域の重心からの距離が小さい特徴点から順に前記追跡特徴点を決定する
    ことを特徴とする請求項６に記載の画像処理装置。
12. 前記制御手段は、前記特徴点の動きを表す動きベクトルの統計値を用いてヒストグラムを生成し、前記動きベクトルの度数に基づいて前記追跡を継続する特徴点を選択する
    ことを特徴とする請求項６に記載の画像処理装置。
13. 前記制御手段は、追跡を継続しないと決定された特徴点の数に対応する新たな特徴点を、追跡を行う特徴点として補填する
    ことを特徴とする請求項１から１２のいずれか１項に記載の画像処理装置。
14. 前記は、前記合致度が、より高い特徴点を、前記追跡を行う特徴点として補填する
    ことを特徴とする請求項１３に記載の画像処理装置。
15. 前記算出手段は、前記第１の度合いおよび前記画像の背景領域に位置する特徴点の割合を用いて、前記合致度を算出する
    ことを特徴とする請求項３に記載の画像処理装置。
16. 前記制御手段は、前記第２の度合いおよび前記画像の被写体領域に位置する特徴点の割合を用いて、前記合致度を算出する。
    ことを特徴とする請求項３に記載の画像処理装置。
17. 前記推定手段は、特定の被写体の画像領域を含む画像内の着目対象を推定し、且つ、
    前記追跡手段は、前記取得手段により取得される複数の画像に亘って前記特定の被写体の画像領域における前記特徴点を追跡する
    ことを特徴とする請求項１から１６のいずれか１項に記載の画像処理装置。
18. 画像を取得する取得手段と、
    前記画像の特徴点を抽出する抽出手段と、
    前記取得手段により取得される複数の画像に亘って特定の被写体の画像領域における前記特徴点を追跡する追跡手段と、
    前記特定の被写体の画像領域を含む画像内の着目対象を推定する推定手段と、
    推定された前記着目対象と前記追跡手段により追跡された特徴点の分布とが合致している度合いを表す合致度を算出する算出手段と、
    前記合致度にしたがって、追跡を継続する特徴点を前記特徴点から選択する
    ことを特徴とする画像処理装置。
19. 請求項１から１８のいずれか１項に記載の画像処理装置と、
    撮像手段と、を備える
    ことを特徴とする撮像装置。
20. 画像の特徴点を追跡する画像処理装置にて実行される画像処理方法であって、
    前記画像の特徴点を抽出する工程と、
    前記画像内の着目対象を推定する工程と、
    推定された前記着目対象と、追跡対象である追跡特徴点の分布とが合致している度合いを表す合致度を算出する工程と、
    前記合致度にしたがって、追跡を継続する特徴点を前記特徴点から選択する工程と、
    追跡対象に決定された前記特徴点を追跡する工程と、を有する
    ことを特徴とする画像処理方法。
21. 複数の画像に亘って画像の特徴点を追跡する画像処理装置にて実行される画像処理方法であって、
    前記複数の画像の特徴点を抽出する工程と、
    特定の被写体の画像領域を含む画像内の着目対象を推定する工程と、
    推定された前記着目対象と、追跡対象である追跡特徴点の分布とが合致している度合いを表す合致度を算出する工程と、
    前記合致度にしたがって追跡対象の特徴点を決定して前記追跡特徴点を制御する工程と、
    追跡対象に決定された前記特徴点を追跡する工程と、を有する
    ことを特徴とする画像処理方法。
22. 請求項２０または請求項２１に記載の各工程を画像処理装置のコンピュータに実行させるプログラム。

Images