JP7334432B2 - 物体追跡装置、監視システムおよび物体追跡方法 - Google Patents

Description

本発明は、動画像中の物体を追跡する技術に関する。

動画像（時系列画像）のあるフレームにおいて検出された物体を追跡する物体追跡は、コンピュータビジョン分野において重要な技術である。

一般的なトラッキング手法である背景差分による手法は、追跡対象の動きが止まってしまった場合にはロストしてしまう。例えば追跡対象が人物である場合、この人物が椅子に座るとロストしてしまうため、オフィス内の監視に向かない。さらに、テンプレートマッチングでは、物体が変形しテンプレートとの差異が所定の閾値以上になると、ロストしてしまう。人物の場合、人物の動作によってテンプレートと比べて大きな変形が発生するため追跡に失敗する。

これに対して、非特許文献１は、輝度勾配（ＨＯＧ特徴量）に基づく尤度と色特徴（色ヒストグラム）に基づく尤度とを合成した合成尤度に基づいて追跡対象の位置を判断する。このように形状と色に関わる特徴量を相補的に用いて追跡を行うことで、ロバストな追跡が可能である旨が報告されている。

また、特許文献１は、シーン変化を検出し、変化したシーンに対して最適な追跡性能を有する特徴量を選択して追跡を行うことを開示する。

ところで、ビルディングオートメーション（ＢＡ）やファクトリーオートメーション（ＦＡ）の分野において、画像センサにより人の「数」・「位置」・「動線」などを自動で計測し、照明や空調などの機器を最適制御するアプリケーションが必要とされている。このような用途では、できるだけ広い範囲の画像情報を取得するために、魚眼レンズ（フィッシュアイレンズ）を搭載した超広角のカメラ（魚眼カメラ、全方位カメラ、全天球カメラなどと呼ばれるが、いずれも意味は同じである。本明細書では「魚眼カメラ」の語を用いる）を利用することが多い。さらに、上記の用途では、できるだけ広い範囲の画像情報を取得するために、天井などの高所に取り付けたカメラをカメラの視点がトップ・ビューになるようにして配置する。この配置のカメラでは、人物を撮影する視点は、人物が画像の周辺にいるときには正面像になり、画像の中央にいるときには上面図となる。

魚眼カメラで撮影された画像は、撮影面内の位置により撮影対象の見た目が歪みのため変形する。さらに、カメラの視点をトップ・ビューにすると、追跡対象の位置により見た目が変化する。また、組み込み機器など、処理能力の限られた環境ではフレームレートが低いことが考えられ、フレーム間での物体の移動量や特徴量の変化が大きいという特殊性がある。したがって、従来技術の追跡手法では、精度良く追跡できない場合がある。

特開２０１５－７９５０２号公報

Bertinetto, Luca, et al. "Staple: Complementary learners for real-time tracking." Proceedings of the IEEE conference on computer vision and pattern recognition. 2016.

本発明は上記実情に鑑みなされたものであって、従来よりも精度の良い物体追跡技術を提供することを目的とする。

上記目的を達成するために本発明は、以下の構成を採用する。

本発明の第一側面は、第１フレーム画像における対象物の位置を取得する取得手段と、前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡手段と、を備える、物体追跡装置であって、前記追跡手段は、前記第２フレーム画像の対象領域から特徴量を抽出する特徴量抽出手段と、前記第２フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量に基づいて求める尤度算出手段と、前記尤度のマップにおいてピークが１つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、前記第１フレーム画像の前記対象物の位置の近傍の画像領域と前記第２フレーム画像の各ピークの近傍の画像領域との類似度を表す画像類似度を考慮して選択されるピークの位置を前記対象物の位置として特定する、位置決定手段と、を備える、ことを特徴とする物体追跡装置を提供する。

追跡の対象とする物体、すなわち「対象物」は、任意の物体であってよく、人体、顔、動物、車両などがその一例である。「対象領域」は第２フレーム画像における対象物の探索を行う領域であり、典型的には、第１フレーム画像における対象物の位置に基づいて決定される部分領域である。「画像類似度」は画像同士の類似度を表す指標であり、例えば、領域内の平均色や平均明度の差によって評価される。第１フレーム画像中の対象物の位置の近傍の画像領域と第２フレーム画像中のピークの位置の近傍の画像領域とは、同じ特徴量であることが好ましく、また、対象物（前景）の一部の領域であることが好ましく、特に、対象物（前景）の中心の一部の領域であることが好ましい。

尤度算出部によって求められる尤度のマップは、対象物が存在する位置で最大値を取ることが期待されるが、対象物とは異なる物体の位置で最大値を取ることがある。したがって、単に尤度のマップにおける最大値の位置を追跡対象物の位置として決定すると、乗り移り（ドリフト）と呼ばれる追跡エラーが発生する。そこで、本発明では、尤度のマップにおいて複数のピーク（局所的ピーク）が存在する場合に、対象物の位置近傍の画像類似度を考慮してピークを選択し、選択されたピーク位置を対象物の位置として特定する。このように画像類似度を考慮してピークを選択することにより追跡精度が向上する。

本発明の位置決定手段は、例えば、前記尤度のマップにおいてピークが複数ある場合には、尤度の値が閾値以上のピークのうち、前記画像類似度が最大であるピークの位置を前記対象物の位置として特定してもよい。この際、上記の閾値を画像類似度に応じてピークごとに決定してもよい。

本発明の尤度算出手段による尤度のマップの求め方は特に限定されないが、例えば、形状に関する特徴量である第１特徴量と、色または輝度に関する特徴量である第２特徴量に着目して尤度のマップを求めてよい。形状に関する特徴量の例として、ＨＯＧ特徴量、ＬＢＰ特徴量、ＳＨＩＦＴ特徴量、ＳＵＲＦ特徴量の少なくともいずれかが挙げられる。色に関する特徴として、色ヒストグラム、輝度ヒストグラム、Color Names特徴量の少なく
とも何れかが挙げられる。本発明の尤度算出手段は、第１特徴量に基づく第１尤度と第２特徴量に基づく第２尤度とを求め、これらを合成した合成尤度のマップを生成してもよい
。

本発明においてピーク選択の際に考慮される画像類似度は、例えば、平均色、平均輝度、代表色の少なくともいずれかを含む画像情報の差、差の絶対値、差の二乗の少なくともいずれかに基づいて決定することができる。さらに、画像類似度は、ＨＯＧなどの形状に関する特徴量または色ヒストグラムなどの色に関する特徴量の少なくともいずれかの、ヒストグラムインタセクション、バタチャリヤ係数、Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅの少なくともいずれかに基づいて決定することができる。加えて、テンプレートマッチングにより画像類似度を決定することができる。また、類似度ではなく、差の二乗和、差の絶対値和の少なくともいずれかに基づいて相違度を測定する方法を採用することができる。画像類似度は、２つの画像がどの程度類似しているかを把握可能な尺度であり、ヒストグラムインタセクションなどのように類似しているほど値が大きい指標でもよいし、差の絶対値などのように類似しているほど値が小さい指標でもよい。

また、本発明において処理対象とされる画像は、魚眼カメラにより得られた魚眼画像であってよい。「魚眼カメラ」は、魚眼レンズを搭載したカメラであり、通常のカメラに比べて超広角での撮影が可能なカメラである。全方位カメラ、全天球カメラおよび魚眼カメラはいずれも超広角カメラの一種であり、いずれも意味は同じである。魚眼カメラは、検出対象エリアの上方から検出対象エリアを見下ろすように設置されていればよい。典型的には魚眼カメラの光軸が鉛直下向きとなるように設置されるが、魚眼カメラの光軸が鉛直方向に対して傾いていても構わない。魚眼画像はひずみが大きいため、特に低フレームレートの画像ではフレーム間での物体の特徴変化が大きく、背景へのドリフトが多発する。さらに、カメラの光軸を鉛直下向きとなるように設置すると、画像における対象物の位置により対象物を撮影する視点が変化するため、特に低フレームレートの画像では、物体が大きく変形し追跡の失敗が多発する。しかし、本発明によればそのような魚眼画像においても、カメラの光軸を鉛直下向きとなるように設置しても精度の良い追跡が可能である。もっとも、本発明が処理対象とする画像は、魚眼画像に限られず、通常の画像（歪みの少ない画像や高フレームレートの画像）であっても構わない。

本発明の第二側面は、第１フレーム画像における対象物の位置を取得する取得ステップと、前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡ステップと、を含む、物体追跡方法であって、前記追跡ステップは、前記第２フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップと、前記第２フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量に基づいて求める尤度算出ステップと、前記尤度のマップにおいてピークが１つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、前記第１フレーム画像の前記対象物の位置の近傍の画像領域と前記第２フレーム画像の各ピークの近傍の画像領域との類似度を表す画像類似度を考慮して選択されるピークの位置を前記対象物の位置として特定する、位置決定ステップと、を含む、ことを特徴とする物体追跡方法を提供する。

本発明は、上記手段の少なくとも一部を有する物体追跡装置として捉えてもよいし、画像処理装置や監視システムとして捉えてもよい。また、本発明は、上記処理の少なくとも一部を含む物体追跡方法、画像処理方法、監視方法として捉えてもよい。また、本発明は、かかる方法を実現するためのプログラムやそのプログラムを非一時的に記録した記録媒体として捉えることもできる。なお、上記手段および処理の各々は可能な限り互いに組み合わせて本発明を構成することができる。

本発明によれば、従来よりも精度の良い物体追跡が行える。

図１は、本発明に係る人追跡装置の適用例を示す図である。 図２は、人追跡装置を備える監視システムの構成を示す図である。 図３は、人追跡装置が実施する全体処理のフローチャートである。 図４は、学習処理のフローチャートである。 図５は、追跡処理のフローチャートである。 図６は、追跡処理におけるピーク選択処理のフローチャートである。 図７は、追跡処理における合成尤度のマップ生成を説明する図である。 図８は、合成尤度のマップの例を示す図である。 図９は、合成尤度のマップに複数のピークがある場合のピーク選択処理を説明する図である。

＜適用例＞
図１を参照して、本発明に係る物体追跡装置の適用例を説明する。人追跡装置１は、追跡対象エリア１１の上方（例えば天井１２など）に設置された魚眼カメラ１０により得られた魚眼画像を解析して、追跡対象エリア１１内に存在する人１３を検出・追跡する装置である。この人追跡装置１は、例えば、オフィスや工場などにおいて、追跡対象エリア１１を通行する人１３の検出、認識、追跡などを行う。図１の例では、魚眼画像から検出された４つの人体それぞれの領域がバウンディングボックスで示されている。人追跡装置１の検出結果は、外部装置に出力され、例えば、人数のカウント、照明や空調など各種機器の制御、不審者の監視および動線分析などに利用される。

物体追跡は、前フレーム画像において特定された対象物の位置近傍の現フレームのターゲット領域（対象領域）を対象として、対象物と同様の特徴を有する領域の位置を特定することにより行われる。ここで、ターゲット領域内に対象物らしさを表す尤度のピークが複数現れる場合がある。人追跡装置１は、このような場合に、単に尤度が最も高いピークを対象物の位置として特定するのではなく、前フレーム画像の対象物の中心位置近傍での平均色と、現フレームのピーク位置近傍での平均色との差が最小となるピークを、対象物の位置として決定する。このように平均色を考慮してピークすなわち対象物位置を特定することで、背景へのドリフトを抑制でき、精度の良い追跡が可能となる。また、平均色の算出は演算負荷が比較的軽い処理であるため、高速な追跡が実現できる。

＜監視システム＞
図２を参照して、本発明の実施形態を説明する。図２は、本発明の実施形態に係る人追跡装置を適用した監視システムの構成を示すブロック図である。監視システム２は、魚眼カメラ１０と人追跡装置１とを備えている。

魚眼カメラ１０は、魚眼レンズを含む光学系と撮像素子（ＣＣＤやＣＭＯＳなどのイメージセンサ）を有する撮像装置である。魚眼カメラ１０は、例えば図１に示すように、追跡対象エリア１１の天井１２などに、光軸を鉛直下向きにした状態で設置され、追跡対象エリア１１の全方位（３６０度）の画像を撮影するとよい。魚眼カメラ１０は人追跡装置１に対し有線（ＵＳＢケーブル、ＬＡＮケーブルなど）または無線（ＷｉＦｉなど）で接続され、魚眼カメラ１０で撮影された画像データは人追跡装置１に取り込まれる。画像データはモノクロ画像、カラー画像のいずれでもよく、また画像データの解像度やフレームレートやフォーマットは任意である。本実施形態では、１０ｆｐｓ（１秒あたり１０枚）で取り込まれるカラー（ＲＧＢ）画像を用いることを想定している。

本実施形態の人追跡装置１は、画像入力部２０、人体検出部２１、学習部２２、記憶部
２３、追跡部２４、出力部２８を有している。

画像入力部２０は、魚眼カメラ１０から画像データを取り込む機能を有する。取り込まれた画像データは人体検出部２１および追跡部２４に引き渡される。この画像データは記憶部２３に格納されてもよい。

人体検出部２１は、人体を検出するアルゴリズムを用いて、魚眼画像から人体を検出する機能を有する。人体検出部２１によって検出された人体が、追跡部２４による追跡処理の対象となる。なお、人体検出部２１は、画像内に新たに現れた人物のみを検出してもよく、追跡対象の人物が存在している位置の近くは検出処理の対象から除外してもよい。さらに、一定の時間間隔またはフレーム間隔により、画像全体に人体検出部２１による人物の検出を行い、その後、追跡部２４による追跡処理をするＴｒａｃｋｉｎｇ－ｂｙ－ｄｅｔｅｃｔｉｏｎ方式にしてもよい。

学習部２２は、人体検出部２１が検出した、あるいは追跡部２４が特定した人体の画像から、追跡対象の人体の特徴を学習して学習結果を記憶部２３に記憶する。ここでは、学習部２２は、形状特徴に基づく評価を行うための相関フィルタと、色特徴に基づく評価を行うための色ヒストグラムと、中心位置での平均色とを求める。学習部２２は、毎フレーム学習を行い、現フレームから得られる学習結果を所定の係数で過去の学習結果に反映させて更新する。

記憶部２３は、学習部２２によって学習された学習結果を記憶する。記憶部２３は、また、利用する特徴量、各特徴量のパラメータ、学習係数、合成の際の重み係数、ピーク選択における閾値の初期値など、学習処理および追跡処理のハイパーパラメータも記憶する。

追跡部２４は、追跡対象の人物の現フレーム画像中での位置を特定する。追跡部２４は、最初は人体検出部２１による検出位置を含む領域をターゲット領域として、そのターゲット領域内から検出された人物と同様の特徴を有する物***置を特定する。それ以降は、前フレーム画像について追跡部２４が特定した位置の付近をターゲット領域として、現フレーム画像中から追跡対象の人物の位置を特定する。

特徴量抽出部２５は、ターゲット領域から物体の形状に関する特徴量と色に関する特徴量を抽出する。特徴量抽出部２５は、形状に関する特徴としてＨＯＧ特徴量を抽出し、色に関する特徴量として色ヒストグラムを抽出する。

尤度のマップ生成部２６は、抽出された特徴量と、記憶部２３に記憶されている相関フィルタおよび色ヒストグラムを用いて、ターゲット領域の各位置について追跡対象物が存在する確からしさを表す尤度のマップを生成する。尤度のマップ生成部２６は、形状特徴と相関フィルタに基づく尤度と、色特徴と色ヒストグラムに基づく尤度とを合成した合成尤度のマップを生成する。なお、尤度のマップは応答マップとも称される。

位置特定部２７は、合成尤度のマップに基づいて、現フレーム画像における追跡対象物の位置を特定する。具体的には、位置特定部２７は、合成尤度のマップにおけるピークが一つの場合にはその位置を追跡対象物の位置として特定する。一方、位置特定部２７は、ピークが複数ある場合には、前フレーム画像における対象物の中心位置近傍の平均色と、現フレーム画像におけるピーク位置中心近傍の平均色との差が最小のピークの位置を、追跡対象物の位置として特定する。平均色の差が最小であるというのは、言い換えると、平均色に基づく画像類似度が最大ということである。

出力部２８は、魚眼画像や検出結果・追跡結果などの情報を外部装置に出力する機能を有する。例えば、出力部２８は、外部装置としてのディスプレイに情報を表示してもよいし、外部装置としてのコンピュータに情報を転送してもよいし、外部装置としての照明装置や空調やＦＡ装置に対し情報や制御信号を送信してもよい。

人追跡装置１は、例えば、ＣＰＵ（プロセッサ）、メモリ、ストレージなどを備えるコンピュータにより構成することができる。その場合、図２に示す構成は、ストレージに格納されたプログラムをメモリにロードし、ＣＰＵが当該プログラムを実行することによって実現されるものである。かかるコンピュータは、パーソナルコンピュータ、サーバコンピュータ、タブレット端末、スマートフォンのような汎用的なコンピュータでもよいし、オンボードコンピュータのように組み込み型のコンピュータでもよい。あるいは、図２に示す構成の全部または一部を、ＡＳＩＣやＦＰＧＡなどで構成してもよい。あるいは、図２に示す構成の全部または一部を、クラウドコンピューティングや分散コンピューティングにより実現してもよい。

＜全体処理＞
図３は、監視システム２による人追跡処理の全体フローチャートである。図３に沿って人追跡処理の全体的な流れを説明する。

まず、ステップＳ１０１において、ユーザが人追跡装置１に対して学習および追跡のハイパーパラメータの設定を行う。ハイパーパラメータの例として、利用する特徴量、各特徴量のパラメータ、学習係数、合成の際の重み係数、ピーク選択における閾値の初期値などが挙げられる。入力されたハイパーパラメータは記憶部２３に記憶される。

次に、ステップＳ１０２において、人追跡装置１は、ターゲット領域を取得する。ターゲット領域は、追跡対象の人物が存在する領域とその周辺をあわせた領域であり、追跡対象の人物が存在する可能性が高い領域である。ターゲット領域は、追跡部２４によって処理対象とされる領域ともいえる。本実施形態では、追跡対象人物の初期位置は人体検出部２１によって検出される。ただし、追跡対象人物の初期位置は、例えば、ユーザによって入力されるなどしてもよい。

以下、ステップＳ１０４からＳ１０７の処理が繰り返し実施される。ステップＳ１０３の終了判定において終了条件を満たしたら処理を終了する。終了条件は、例えば、追跡対象人物の喪失（フレームアウト）や動画の終了とすることができる。

ステップＳ１０４において、画像入力部２０が魚眼カメラ１０から１フレームの魚眼画像を入力する。この際、魚眼画像の歪みを補正した平面展開画像を作成して以降の処理を行ってもよいが、本実施形態の監視システム２では、魚眼画像をそのまま（歪んだまま）検出や追跡の処理に用いる。

ステップＳ１０５では、現在のフレームが最初の画像であるか否かが判定される。ここで、最初の画像とは、追跡対象人物の初期位置が与えられたフレーム画像のことであり、典型的には人体検出部２１によって追跡対象人物が検出されたフレーム画像のことである。

現在のフレームが最初の画像よりも後のフレームの画像である場合には、ステップＳ１０６に進み、追跡部２４が追跡処理を実行する。追跡処理の詳細は後述する。

ステップＳ１０７では、現在のフレーム画像において対象人物が存在する領域に基づいて、学習部２２が学習処理を実行する。学習処理の詳細は後述する。

このように、追跡処理Ｓ１０６による追跡対象人物の位置特定が毎フレーム行われて、追跡が実現される。また、本実施形態の追跡手法は、追跡対象人物の特徴を毎フレーム学習する逐次学習型の追跡アルゴリズムを採用している。

＜学習処理＞
図４は、ステップＳ１０７の学習処理の詳細を示すフローチャートである。また、図７は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図４および図７を参照して学習処理について説明する。

学習部２２は、まず、現フレーム画像からターゲット領域７４を切り出す（Ｓ２０１）。図７に示すように、ターゲット領域７４は、人物の前景領域７２および背景領域７３を含む領域である。前景領域７２は追跡対象人物が存在する領域であり、背景領域は追跡対象人物が存在しない領域である。背景領域７３の大きさは、前景領域７２の大きさに応じて決定されている。例えば、前景領域７２のサイズがターゲット領域７４の全体サイズの所定の比率（例えば１／３）となるように、背景領域７３のサイズが決定されている。なお、ターゲット領域は中心が追跡対象人物の位置となるように追跡処理の最後に更新されている（図５のステップＳ３０８）ので、ターゲット領域７４の中心は追跡対象人物の中心位置と等しい。

学習部２２は、ターゲット領域７４の中心位置７１近傍の平均色を抽出して、記憶部２３に記憶する（Ｓ２０２）。ここで、中心位置７１近傍とは、中心位置７１を含む前景領域７２よりも小さい領域であり、典型的には中心位置７１を中心とする矩形領域である。この近傍領域のサイズは、固定サイズ（例えば３×３）としてもよいし、前景領域７２のサイズに応じたサイズ（例えば半分のサイズ）としてもよい。

学習部２２はまた、ターゲット領域７４内のＨＯＧ特徴量を取得する（Ｓ２０３）。ＨＯＧ特徴量は、局所領域の輝度勾配方向をヒストグラム化した特徴量であり、物体の形状・輪郭を表す特徴量と捉えられる。ここでは、ＨＯＧ特徴量を採用しているが、物体の形状・輪郭を表す他の特徴量、例えば、ＬＢＰ特徴量、ＳＨＩＦＴ特徴量、ＳＵＲＦ特徴量を採用してもよい。

学習部２２は、応答がターゲット中心にピークを持つような相関フィルタ７６を求める（Ｓ２０４）。具体的には、ＨＯＧ特徴量を抽出した後に、その特徴量自身の相関に対して、中心のみにピークを持つ理想の応答に最も近づくようなフィルタを求めることで、相関フィルタ７６が得られる。相関フィルタの計算をフーリエ空間で行う場合には、特徴量に窓関数を乗じてもよい。ＨＯＧ特徴量は次フレームの追跡処理で相関フィルタをかける際に使用するため、記憶部２３に記憶する。

学習部２２はまた、ターゲット領域７４内の色ヒストグラム７７を取得する（Ｓ２０５）。具体的には、前景領域７２と背景領域７３のそれぞれの色ヒストグラムを取得する。色ヒストグラムは色を表す特徴量であり、色を表すその他の特徴量としてColor Names (CN)特徴量を採用できる。また、色の特徴量ではなく、輝度の特徴を表す特徴量として輝度ヒストグラムを採用してもよい。

今回の学習が最初の学習であれば（Ｓ２０６－ＹＥＳ）、ステップＳ２０３，Ｓ２０５で生成した相関フィルタおよび色ヒストグラムをそのまま記憶部２３に記憶する。一方、今回の学習が２回目以降の学習であれば（Ｓ２０６－ＮＯ）、処理はステップＳ２０７に進む。

学習部２２は、ステップＳ２０７において、前回求めた相関フィルタ（記憶部２３に記憶されている相関フィルタ）と今回ステップＳ２０４で求めた相関フィルタを合成することで新たな相関フィルタを求め、記憶部２３に記憶する。また、学習部２２は、ステップＳ２０８において、前回求めた色ヒストグラム（記憶部２３に記憶されている色ヒストグラム）と、今回ステップＳ２０５で求めた色ヒストグラムを合成することで新たな色ヒストグラムを求め、記憶部２３に記憶する。合成の際の重み（学習係数）は適宜決定すればよい。

＜追跡処理＞
図５は、ステップＳ１０６の追跡処理の詳細を示すフローチャートである。また、図７は学習処理および学習結果を用いた追跡処理を説明する図である。以下、図５および図７を参照して追跡処理について説明する。

追跡部２４は、現フレーム画像からターゲット領域７５を切り出す（Ｓ３０１）。なお、ターゲット領域は中心が追跡対象人物の位置となるように前回の追跡処理の最後に更新されている（図５のステップＳ３０８）ので、ターゲット領域７４の中心は追跡対象人物の中心位置と等しい。図７において、追跡部２４の処理対象がＴ＋１フレーム目の画像である場合、Ｔフレーム目において特定された追跡対象人物の位置を中心とするターゲット領域７４に対応するターゲット領域７５が切り出される。

特徴量抽出部２５は、ターゲット領域７５内の各セルからＨＯＧ特徴量を抽出する（Ｓ３０２）。尤度のマップ生成部２６は、ターゲット領域７５内のＨＯＧ特徴量と記憶部２３に記憶されているＨＯＧ特徴量の相関に対して相関フィルタ７６をかけて尤度のマップ７８（応答マップ）を求める（Ｓ３０３）。図８Ａのグラフ８１および図８Ｂのグラフ８４がＨＯＧ特徴量に基づく尤度のマップ７８の例である。なお、尤度のマップ８１は、ターゲット領域７５内のそれぞれの位置についての追跡対象人物である確からしさ（尤度）を表すマップである。

尤度のマップ生成部２６は、ターゲット領域７５内の各画素の色と記憶部２３に記憶されている色ヒストグラム７７とから、ターゲット領域７５内の各セルが追跡対象人物（前景）である確からしさ（尤度）を表す尤度のマップ７９（応答マップ）を生成する。より具体的には、尤度のマップ生成部２６は、記憶部２３に記憶されている色ヒストグラム７７と、着目画素の色に基づいて、着目画素の前景尤度を求める。そして、各セル内に含まれる画素の前景尤度の平均を取ることで、当該セルが追跡対象の人物である尤度が求められる。図８Ａのグラフ８２および図８Ｂのグラフ８５が色ヒストグラムに基づく尤度のマップ７８の例である。

尤度のマップ生成部２６は、上記のようにして求めた相関フィルタ７６に基づく尤度のマップ７８と色ヒストグラム７７に基づく尤度のマップ７９を合成して合成尤度のマップ８０を生成する（合成の方法は特に限定されず、２つの尤度を単純に平均してもよいし、重みを付けて平均してもよい。図８Ａのグラフ８３および図８Ｂのグラフ８６が合成尤度のマップ８０（合成応答マップ）の例である。

位置特定部２７は、合成尤度のマップから１つのピークを選択して、当該ピーク位置を現フレーム画像における追跡対象人物の中心位置であると決定する（Ｓ３０７）。ここで、図８Ａに示すように、合成尤度のマップが１つのピークしか有しない場合には、当該ピークの位置が追跡対象人物の位置であるといえる。しかしながら、図８Ｂに示すように、合成応答マップが複数のピークを有する場合には、値（合成尤度）の最も高いピークを単純に選択すると、ドリフトが生じ追跡を誤る可能性がある。そこで、位置特定部２７は、図６のフローチャートに示す処理によってピークを選択することで、精度の高い追跡を実
現する。

図６のフローチャートによって行われる処理の概要を、図９を参照して簡単に説明する。図９において、Ｔフレーム目が前フレームであり、Ｔ＋１フレーム目が現フレームである。画像９１は前フレーム画像におけるターゲット領域を表し、その中心９２は対象人物が存在する位置の中心である。画像９４は現フレーム画像におけるターゲット領域を表し、その中で複数のピーク９５が抽出されている。

位置特定部２７は、現フレーム画像において抽出された複数のピーク９５のうち、前フレーム画像の追跡対象人物の中心位置９２近傍の領域９３での平均色と、現フレーム画像のピーク９５近傍の領域９６での平均色との差が、最も小さいピークを選択する。

なお、以下では説明の簡略化のために、「前フレーム画像の追跡対象人物の中心位置近傍の領域での平均色」のことを「前フレーム画像の中心平均色」と称し、「現フレーム画像のピーク位置近傍の領域における平均色」のことを「現フレーム画像のピーク位置平均色」と称する。

以下、図６を参照してより詳細に説明する。位置特定部２７は、合成尤度のマップから、局所的ピークを抽出する（Ｓ４０１）。局所的ピークは、合成尤度のマップにおいて極大値を取る位置といえる。局所的ピークは、例えば、対象画素の値が近傍画素の値以上であるか否かを判断することにより抽出すればよい。ここで検出された局所的ピークのそれぞれに対して、ステップＳ４０２以降の処理が行われる。

位置特定部２７は、現フレーム画像９４のピーク９５近傍の領域９６における平均色を抽出して、一時的に記憶する（Ｓ４０２）。平均色の求め方は特に限定されない。

位置特定部２７は、現在処理しているピークが最初のピークであるか否かを判断し（Ｓ４０３）、最初のピークであればステップＳ４０８に進み、このピークを選択する。なお、ここでの選択は暫定的な選択であり、ループ処理を抜けた後に選択されているピークが最終的な選択結果となる。位置特定部２７は、選択したピークの位置を記憶部２３に格納する。また、位置特定部２７は、現フレーム画像のピーク位置平均色と前フレーム画像の中心平均色との差を記憶部２３に格納する。

現在処理しているピークが最初のピークではない場合は、処理はステップＳ４０４に進む。位置特定部２７は、ピーク値が閾値Ａ以上であるか否かを判断する（Ｓ４０４）。この閾値Ａは、予め設定により与えられる固定値であってもよいし、各フレームの追跡処理が行われるたびに更新される値であってもよい。

ピーク値が閾値Ａ以上であれば（Ｓ４０４－ＹＥＳ）、位置特定部２７は、前フレーム画像の中心平均色と現フレーム画像のピーク位置平均色との差に応じて、閾値を補正する（ステップＳ４０５）。補正された閾値を閾値Ｂと称する。具体的には、平均色の差が大きいほど閾値を小さく、平均色の差が小さいほど閾値を大きく補正するとよい。閾値補正を行うのは、フレーム間での照明変化への頑健性を高めるためである。

位置特定部２７は、処理対象のピークにおける値が、補正閾値Ｂ以上であるか否かを判断する（Ｓ４０６）。ピーク値が補正閾値Ｂ以上であれば、位置特定部２７は、さらに、前フレーム画像の中心平均色と現フレーム画像のピーク位置平均色との差が、ピーク値が補正閾値Ｂ以上のピークの中で最小であるか判断する（Ｓ４０９）。この判断は、現在のピークにおける平均色の差が、暫定的に選択されているピークにおける平均色の差よりも小さいかという判断で置き換えてもよい。平均色の差が最小であれば（Ｓ４０９－ＹＥＳ
）、位置特定部２７は、処理対象のピークを選択し、そのピーク位置および平均色差を記憶部２３に格納する。

一方、ステップＳ４０４の判断において処理対象のピークにおける値が閾値Ａ未満である場合、または、ステップＳ４０６の判断において処理対象のピークにおける値が補正閾値Ｂ未満である場合は、処理はステップＳ４０７に進む。位置特定部２７は、ステップＳ４０７において、当該ピークの値がこれまでの最大であるか判断し、最大であれば、ステップＳ４０８において、このピークを選択する。

以上の、ステップＳ４０２からＳ４１０の処理を、ステップＳ４０１で抽出された全てのピークに対して実施することで、ピークの値が閾値以上であり、かつ、前フレーム画像の中心平均色と現フレーム画像のピーク位置平均色との差が最小のピークが選択される。

なお、上記のフローチャートにおいて、ステップＳ４０４においてピーク値が閾値Ａ以上であるか否かの判断を行っているが、この処理は省略して、補正閾値Ｂに基づく判断（Ｓ４０６）のみを行うようにしてもよい。また、ピーク値が閾値以下の場合（Ｓ４０４－ＮＯ、Ｓ４０６－ＮＯ）に、ピーク値がこれまでの最大であれば選択するようにしているが（Ｓ４０７－Ｓ４０８）、ピーク値に関わらず選択しないようにしてもよい。ピーク値が閾値以下のピークについては平均色差が大きく、その後に別のピークが選択（Ｓ４１０）されると想定されるためである。また、平均色差に基づく閾値の補正処理（Ｓ４０４）により照明変化に対する頑健性が向上するが、この処理を省略して固定の閾値を用いても構わない。

図５のフローチャートの説明に戻る。上記のようにしてステップＳ３０７のピーク選択処理が完了すると、位置特定部２７は、ターゲット領域の中心を選択されたピークの位置に更新し（Ｓ３０８）、ターゲット領域のサイズを更新する（Ｓ３０９）。このように、追跡処理が完了した後に、ターゲット領域の中心は追跡対象人物の中心位置に更新され、また、ターゲット領域のサイズも追跡結果に応じて更新される。ターゲット領域の更新サイズは、ＤＳＳＴ（Discriminative Scale Space Tracking）のように画像のピラミッド
を用いる方法で推定してもよいし、前フレームにおけるターゲット領域のサイズ、レンズ歪みの特性、カメラの視点、カメラの配置およびターゲット領域の画像における位置の少なくともいずれかに基づいて決定されてもよい。追跡処理完了後のターゲット領域の中心が追跡対象人物の中心位置であり、ターゲット領域中の前景領域が追跡対象人物の存在領域（バウンディングボックス）である。

＜本実施形態の有利な効果＞
本実施形態では、魚眼画像を平面展開せずに用いる人追跡装置において、背景へのドリフトを抑制し、精度の高い人追跡が実現できる。ドリフトは、逐次学習を行う際に追跡対象以外の特徴を誤って学習することに起因して発生する追跡の失敗である。画像中に追跡対象人物と類似する物体（背景）が存在する場合、複雑背景下の場合および遮蔽が存在する場合などに生じる。一般に、追跡対象人物に類似する物体（背景）があるとき、複雑背景下および遮蔽が存在するときには、尤度のマップにおいて複数のピークが現れる。そして、このような場合に、追跡対象以外の物体に対応するピークを誤って選択するとドリフトが生じる。本実施形態では、合成尤度のマップに複数のピークが現れる場合に、単に尤度が最大のピークを選択するのではなく、中心位置の平均色を考慮してピーク選択を行っている。これにより、追跡対象以外の物体に対応するピークを誤って選択すること、すなわちドリフトの発生を低減できる。ドリフトの発生を低減できると、追跡結果のエラーが少なくなり、精度の高い追跡が実現できる。

また、平均色の算出は演算負荷やメモリ使用量が比較的少ない処理であるため、本実施
形態の手法は、計算資源が少ない組込機器でも実現できる。

＜その他＞
上記実施形態は、本発明の構成例を例示的に説明するものに過ぎない。本発明は上記の具体的な形態には限定されることはなく、その技術的思想の範囲内で種々の変形が可能である。

例えば、上記実施形態では、合成尤度のマップにおいて複数のピークが現れたときに、平均色を考慮して選択するピークを決定している。しかしながら、前フレーム画像の追跡対象物の中心位置近傍の領域と、現フレーム画像のピーク位置近傍の領域との間の、画像類似度が最も高いピークを選択すればよい。平均色以外の画像類似度を評価する手法として、例えば、平均輝度、代表色のようにスカラーであらわされる画像情報の少なくともいずれかを特徴量として差、差の絶対値、差の二乗の少なくともいずれかを類似度の尺度とする方法を採用することができる。さらに、ＨＯＧなどの形状に関する特徴ベクトル、色ヒストグラムなどの色に関する特徴ベクトルの少なくともいずれかを抽出し、ヒストグラムインタセクション、バタチャリヤ係数、Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅの少なくともいずれかに基づいて類似度を測定する方法を採用することができる。加えて、テンプレートマッチングにより類似度を測定する方法を採用することができる。また、類似度ではなく、差の二乗和、差の絶対値和の少なくともいずれかに基づいて相違度を測定する方法を採用することができる。

また、上記の実施形態は非特許文献１に記載の手法（Stapleと呼ばれる）をベースにした追跡処理を行っているが、現フレーム画像において追跡対象物が存在する確からしさを表す尤度のマップを算出するアルゴリズムは上記実施形態の手法に限定されない。例えば、形状特徴のみに基づく尤度のマップ算出や、色特徴のみに基づく尤度のマップ算出などを行ってもよい。尤度のマップの算出も、相関フィルタをかけることよって行う以外に、ＣＮＮ（Convolutional Neural Network）、ＲＮＮ（Recurrent Neural Network）、ＬＳＴＭ（Long Short-Term Memory）のような深層学習モデルを利用して行ってもよい。本発明は、尤度のマップにおいて複数のピークが現れたときに、中心平均色などの画像類似度を考慮していずれかのピークを選択するものであり、尤度のマップ算出アルゴリズムに関係なく適用が可能である。

また、上記の実施形態では魚眼画像を平面展開せずに処理しているが、魚眼画像を平面展開した画像を処理対象としてもよいし、通常のカメラにより撮影された画像を処理対象としてもよい。

＜付記＞
（１）第１フレーム画像における対象物の位置を取得する取得手段（２１）と、
前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡手段（２４）と、
を備える、物体追跡装置（１）であって、
前記追跡手段は、
前記第２フレーム画像の対象領域から特徴量を抽出する特徴量抽出手段（２５）と、
前記第２フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量に基づいて求める尤度算出手段（２６）と、
前記尤度のマップにおいてピークが１つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、前記第１フレームの前記対象物の位置の近傍の画像領域と前記第２フレームの各ピークの近傍の画像領域との類似度を表す画像類似度を考慮して選択されるピークの位置を前記対象物の位置として特定する、位置決定手段（２７）と、
を備える、ことを特徴とする物体追跡装置（１）。

（２）第１フレーム画像における対象物の位置を取得する取得ステップ（Ｓ１０２）と、
前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡ステップと（Ｓ１０６）、
を含む、物体追跡方法であって、
前記追跡ステップは、
前記第２フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップ（Ｓ３０２，Ｓ３０４）と、
前記第２フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量に基づいて求める尤度算出ステップ（Ｓ３０３，Ｓ３０５，Ｓ３０６）と、
前記尤度のマップにおいてピークが１つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、前記第１フレームの前記対象物の位置の近傍の画像領域と前記第２フレームの各ピークの近傍の画像領域との類似度を表す画像類似度を考慮して選択されるピークの位置を前記対象物の位置として特定する、位置決定ステップ（Ｓ３０７）と、
を含む、ことを特徴とする物体追跡方法。

１：人追跡装置
２：監視システム
１０：魚眼カメラ
１１：追跡対象エリア
１２：天井
１３：人

Claims (7)

1. 対象物の特徴を記憶する記憶手段と、
   魚眼カメラにより得られた魚眼画像である第１フレーム画像における前記対象物の位置を取得する取得手段と、
   魚眼カメラにより得られた魚眼画像であり、前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡手段と、
   前記追跡手段が求めた、前記第２フレーム画像における前記対象物の位置の画像を用いて前記対象物の前記特徴を更新する学習手段と、
   を備える、物体追跡装置であって、
   前記追跡手段は、
   前記第２フレーム画像の対象領域から特徴量を抽出する特徴量抽出手段と、
   前記第２フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量および前記記憶手段に記憶されている前記対象物の特徴に基づいて求める尤度算出手段と、
   前記尤度のマップにおいてピークが１つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、尤度の値が閾値以上のピークのうち、前記第１フレーム画像の前記対象物の位置の近傍の画像領域と前記第２フレーム画像の各ピークの近傍の画像領域との平均色の差、差の絶対値、または差の二乗が最小であるピークの位置を前記対象物の位置として特定する、位置決定手段と、
   を備え、
   前記閾値は、前記平均色の差、差の絶対値、または差の二乗が小さいほど値が大きく決定される、
   ことを特徴とする物体追跡装置。
2. 前記特徴量抽出手段は、形状に関する特徴量である第１特徴量と、色または輝度に関する特徴量である第２特徴量とを抽出し、
   前記尤度算出手段は、前記第１特徴量に基づく第１尤度と前記第２特徴量に基づく第２尤度とを合成した合成尤度のマップを前記尤度のマップとして求める、
   ことを特徴とする、請求項１に記載の物体追跡装置。
3. 前記第１特徴量は、ＨＯＧ特徴量、ＬＢＰ特徴量、ＳＨＩＦＴ特徴量、ＳＵＲＦ特徴量の少なくともいずれかであり、
   前記第２特徴量は、輝度ヒストグラム、色ヒストグラム、Color Names特徴量の少なく
   ともいずれかである
   ことを特徴とする、請求項２に記載の物体追跡装置。
4. 前記ピークの位置の特定、および前記閾値の決定は、平均色の差、差の絶対値、または差の二乗に加えて、
   前記画像領域における、平均輝度、代表色の少なくともいずれかを含む画像情報の差、差の絶対値、差の二乗の少なくともいずれかに基づいて決定される、あるいは、
   前記画像領域における、形状に関する特徴量である第１特徴量または色または輝度に関する特徴量である第２特徴量の少なくともいずれかの、ヒストグラムインタセクション、バタチャリヤ係数、Ｅａｒｔｈ Ｍｏｖｅｒ’ｓ Ｄｉｓｔａｎｃｅの少なくともいずれかに基づいて行われる、
   ことを特徴とする、請求項１から３のいずれか１項に記載の物体追跡装置。
5. 請求項１から４のいずれか１項に記載の物体追跡装置と、
   前記魚眼カメラと、
   を備える監視システム。
6. 対象物の特徴を記憶する記憶ステップと
   魚眼カメラにより得られた魚眼画像である第１フレーム画像における前記対象物の位置を取得する取得ステップと、
   魚眼カメラにより得られた魚眼画像であり、前記第１フレーム画像の後のフレーム画像である第２フレーム画像から、前記対象物の位置を求める追跡ステップと、
   前記追跡ステップにおいて求めた、前記第２フレーム画像における前記対象物の位置の画像を用いて前記対象物の前記特徴を更新する学習ステップと、
   を含む、物体追跡方法であって、
   前記追跡ステップは、
   前記第２フレーム画像の対象領域から特徴量を抽出する特徴量抽出ステップと、
   前記第２フレーム画像の前記対象領域について、前記対象物が存在する確からしさを表す尤度のマップを前記特徴量および前記学習ステップにおいて更新された前記対象物の特徴に基づいて求める尤度算出ステップと、
   前記尤度のマップにおいてピークが１つの場合には、当該ピークの位置を前記対象物の位置として特定し、前記尤度のマップにおいてピークが複数ある場合には、尤度の値が閾値以上のピークのうち、前記第１フレーム画像の前記対象物の位置の近傍の画像領域と前記第２フレーム画像の各ピークの近傍の画像領域との平均色の差、差の絶対値、または差の二乗が最小であるピークの位置を前記対象物の位置として特定する、位置決定ステップと、
   を含み、
   前記閾値は、前記平均色の差、差の絶対値、または差の二乗が小さいほど値が大きく決定される、
   ことを特徴とする物体追跡方法。
7. 請求項６に記載の方法の各ステップをコンピュータに実行させるためのプログラム。

Images