JP2018200628A

JP2018200628A - Object tracking program, device and method using particle assigned with arbitrary tracker

Info

Publication number: JP2018200628A
Application number: JP2017105746A
Authority: JP
Inventors: 仁志西村; Hitoshi Nishimura; 有哉巻渕; Yuya Makibuchi; 小林　達也; Tatsuya Kobayashi; 達也小林
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2017-05-29
Filing date: 2017-05-29
Publication date: 2018-12-20
Anticipated expiration: 2037-05-29
Also published as: JP6757701B2

Abstract

To provide an object tracking program, a device and a method for assigning a most suitable tracker when generating a particle without estimating accuracy of a tracker.SOLUTION: A particle is defined as a particle s=(b, tkr) by associating a tracker tkrwith a rectangular region bat a time t. An object tracking device includes response map generation means that generates a response map at the time t by using a correlation filter for a search region based on an image region determined at a time t-1 for each time-series image where an object of tracking is reflected; particle generation means that samples N pieces of rectangular regions bat the time t for M pieces of maximum values p in the response map, assigns arbitrary one from among predetermined tracker candidates to each rectangular region bto generate each particle s, and assigns a value of the response map based on each rectangular region bto each particle sas a weight; and position determining means that determines a particle s^having a maximum weight.SELECTED DRAWING: Figure 3

Description

本発明は、追跡対象の物体が映る時系列の画像群を解析して、当該物体を追跡する物体追跡技術に関する。 The present invention relates to an object tracking technique for analyzing a time-series image group in which an object to be tracked is reflected and tracking the object.

物体追跡は、監視カメラ、ヒューマンコンピュータインタラクションや、ロボティクス等における基礎技術である。時系列の画像群が入力されると、初期フレーム（画像）について追跡対象の物体が映る画像領域が決定され、それ以降のフレームではその画像領域が順次求められる。
物体追跡技術は、コンピュータビジョン分野の中でも最も実施困難な問題の１つである。物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、正確に物体を追跡できるべく、高いロバスト性が要求される。 Object tracking is a basic technology in surveillance cameras, human computer interaction, robotics, and the like. When a time-series image group is input, an image area in which an object to be tracked is displayed for an initial frame (image) is determined, and the image areas are sequentially obtained in subsequent frames.
Object tracking technology is one of the most difficult problems to implement in the computer vision field. Even when an object is shielded / rotated / deformed or an image is shaken / changed in brightness, high robustness is required to accurately track the object.

近年、パーティクルフィルタを用いた物体追跡技術が広く利用されてきている。
「パーティクルフィルタ」とは、時間変化する観測対象の状態を推定する時系列フィルタの一種である。これは、複数のパーティクルを用いたモンテカルロ法によって、事前分布と事後分布とを近似することによって、「状態」を推定する。即ち、状態を、「物体の位置」と定義し、時間毎にその状態（位置）を推定することによって、物体を追跡する。 In recent years, an object tracking technique using a particle filter has been widely used.
A “particle filter” is a type of time-series filter that estimates the state of an observation target that changes over time. In this method, the “state” is estimated by approximating the prior distribution and the posterior distribution by the Monte Carlo method using a plurality of particles. That is, the state is defined as “the position of the object”, and the state is tracked by estimating the state (position) every time.

従来、パーティクルフィルタを用いた物体追跡技術として、単一ではなく複数の追跡器を用いて、追跡対象の見えや動きの変化に対するロバスト性を高めた技術がある（例えば非特許文献１参照）。この技術によれば、具体的には、事後分布を、追跡器の項と、状態の項とに分解する。最初に、最適な追跡器をモンテカルロ法によって推定し、次に、推定された追跡器を用いて状態を推定する。 Conventionally, as an object tracking technique using a particle filter, there is a technique that uses a plurality of trackers instead of a single one to improve robustness against changes in the appearance and movement of a tracking target (see, for example, Non-Patent Document 1). Specifically, according to this technique, the posterior distribution is decomposed into a tracker term and a state term. First, the optimal tracker is estimated by the Monte Carlo method, and then the state is estimated using the estimated tracker.

J. Kwon, and K. M. Lee, “Tracking by Sampling Trackers,” In Proc ICCV, pp.1195-1202, 2011.J. Kwon, and K. M. Lee, “Tracking by Sampling Trackers,” In Proc ICCV, pp.1195-1202, 2011. N. Dalal, and B. Triggs. “Histograms of Oriented Gradients for Human Detection,” In Proc CVPR, pp.886-893, 2005.N. Dalal, and B. Triggs. “Histograms of Oriented Gradients for Human Detection,” In Proc CVPR, pp.886-893, 2005. I. T. Jolliffe, “Principal Component Analysis,” 2nd edition, Springer, 2002.I. T. Jolliffe, “Principal Component Analysis,” 2nd edition, Springer, 2002. J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, “High-speed tracking with kernelized correlation filters,” IEEE Transactions on PAMI, vol.37, no.3, pp.583-596, 2015.J. F. Henriques, R. Caseiro, P. Martins, and J. Batista, “High-speed tracking with kernelized correlation filters,” IEEE Transactions on PAMI, vol.37, no.3, pp.583-596, 2015. Q. Tian, and M. N. Huhns, “Algorithms for subpixel registration,” Computer Vision, Graphics, and Image Processing, vol.35, no.2, pp.220-233, 1986.Q. Tian, and M. N. Huhns, “Algorithms for subpixel registration,” Computer Vision, Graphics, and Image Processing, vol.35, no.2, pp.220-233, 1986. S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, “Distributed optimization and statistical learning via the alternating direction method of multipliers,” Foundations and Trends in Machine Learning, vol.3, no.1, pp.1-122, 2010.S. Boyd, N. Parikh, E. Chu, B. Peleato, and J. Eckstein, “Distributed optimization and statistical learning via the alternating direction method of multipliers,” Foundations and Trends in Machine Learning, vol.3, no.1 , pp.1-122, 2010. J. H. Holland, “Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence,” U Michigan Press, 1975.J. H. Holland, “Adaptation in natural and artificial systems: an introductory analysis with applications to biology, control, and artificial intelligence,” U Michigan Press, 1975.

前述した非特許文献１に記載の技術によれば、物体が映る画像領域に係る追跡器は、評価用の指標に基づいて推定されるものであり、その指標は、予めオペレータによって設定されたものである。即ち、追跡器の推定精度は、その設定に大きく依存する。その設定によっては、状態（物***置）のパーティクルの数を増加させたとしても、結果的に、追跡器の推定精度を高めることはできない。 According to the technique described in Non-Patent Document 1 described above, the tracker related to the image region in which the object is reflected is estimated based on an evaluation index, and the index is set in advance by an operator. It is. That is, the estimation accuracy of the tracker greatly depends on the setting. Depending on the setting, even if the number of particles in the state (object position) is increased, the estimation accuracy of the tracker cannot be increased as a result.

そこで、本発明は、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる物体追跡プログラム、装置及び方法を提供することを目的とする。 Therefore, the present invention provides an object tracking program, apparatus, and method capable of estimating a corresponding tracker as an optimal estimator by determining optimal particles without estimating the accuracy of the tracker. Objective.

本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置に搭載されたコンピュータを機能させる物体追跡プログラムにおいて、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
してコンピュータを機能させることを特徴とする。 According to the present invention, for a time-series image group in which an object to be tracked is reflected, for each image, in an object tracking program for causing a computer mounted on a device that repeats determination of an image area related to the object to function,
Particle _{_{s t = (b t, tkr}} t) in association tracker tkr _t in the rectangular area b _t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b _t ¹ ~b _t ^N of the time t, while the sampling for the M maxima p ₁ ~p _M in response map Y, each rectangular area b _t ¹ ~b _t in ^N, it generates a particle s _t ¹ ~s _t ^N by assigning any one from among the candidates given tracker, the respective particles s _t ¹ ~s _t ^N, each rectangular area b _t ¹ ~b _a particle generation means for assigning a response map value based on _t ^N as a weight;
The computer is made to function as a position determining means for determining the particle s ^ _t having the maximum weight.

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ₁〜ｐ_Mに対して、混合正規分布によって矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングする
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
In the response map Y, the particle generating means samples the rectangular regions b _t ^{1 to} b _t ^N by a mixed normal distribution with respect to _M maximum values p _{1 to} p M in descending order from the maximum maximum value. It is also preferable to make the computer function.

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段における所定の追跡器の候補は、
現在時刻に任意に割り当てられたM個の現在追跡器tkr_t ¹〜tkr_t ^M、又は、
過去時刻に決定されたパーティクルｓ^₁〜ｓ^_t-1に基づく過去追跡器tkr^₁〜tkr^_t-1
であるようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
Predetermined tracker candidates in the particle generator are:
Current tracker of M assigned arbitrarily to the current time tkr _{_t} ¹ ~tkr _t ^M, or,
Past tracker tkr based particle s ^ _₁ ~s ^ _{_t-1} determined in the past time ^ _₁ ~tkr ^ _{_t-1}
It is also preferable to make the computer function so that

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定し、平均μとなるようにベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいて、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てるかを決定する
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
The particle generation means sets μ = 0 when only the current tracker is used, μ = 1 when only the past tracker is used, and presets 0 ≦ μ ≦ 1, and Bernoulli so that the average μ is obtained. It is also preferred to have the computer function to determine whether to assign from the current tracker or from the past tracker based on the binary uε {0,1} output by the distribution.

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、
過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
The particle generation means
When using a past tracker, select one tracker with a uniform distribution or an optimized distribution from multiple past trackers,
When using a current tracker, it is also preferable to have the computer function to select any one tracker from the M current trackers in a uniform distribution.

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段について、重みは、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値である
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
For the particle generation means, the computer functions so that the weight is the value of the response map at the relative position of each rectangular area b _t ^{1 to} b _t ^N at time t and the rectangular area b ^ _{t-1 at} time t-1. It is also preferable that

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、モードを、パーティクルフィルタモードへ移行させると共に、パーティクルフィルタモードである場合には機能しないものであり、
応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
追跡モード判定手段は、パーティクルフィルタモードである場合、応答マップにおける加重分散varが第１の所定閾値以下であれば、パーティクルフィルタモードを解除する
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
The particle generation means shifts the mode to the particle filter mode and does not function in the particle filter mode.
Further function the computer as a tracking mode determination unit that functions in the next stage of the response map generation unit,
In the case of the particle filter mode, the tracking mode determination means preferably causes the computer to function so as to cancel the particle filter mode if the weighted variance var in the response map is equal to or less than the first predetermined threshold.

本発明の物体追跡プログラムにおける他の実施形態によれば、
時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する追跡信頼度判定手段としてコンピュータを更に機能させ、
パーティクル生成手段は、追跡信頼度判定手段によって真と判定された際に機能させる
ことも好ましい。 According to another embodiment of the object tracking program of the present invention,
Further causing the computer to function as tracking reliability determination means for determining whether or not the tracking reliability is low based on a predetermined condition for the response map Y at time t;
It is also preferable that the particle generation unit function when it is determined to be true by the tracking reliability determination unit.

本発明の物体追跡プログラムにおける他の実施形態によれば、
追跡信頼度判定手段は、時刻tの応答マップＹの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
The tracking reliability determination means sets the maximum value of the response map Y at time t as the tracking reliability, and causes the computer to determine that the tracking reliability is low when the maximum value is less than a predetermined threshold as a predetermined condition. It is also preferable.

本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定手段に続いて機能する状態予測手段を更に有し、
状態予測手段は、時刻t-1の矩形領域ｂ_t-1 ¹〜ｂ_t-1 ^Nから、各パーティクルｓ_t ¹〜ｓ_t ^Nの矩形領域ｂ_t ¹〜ｂ_t ^Nへの遷移が、正規分布に基づくと仮定して、矩形領域ｂ_t ¹〜ｂ_t ^Nの位置を予測して遷移させる
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
It further has a state prediction means that functions following the particle generation means or following the tracking mode determination means in which the particle filter mode is maintained,
State predicting means, from a rectangular region of the time _{^{t-1 b t-1 1}} ~b t-1 N, the transition to the rectangular area b _{_t} ¹ ~b _t ^N of each particle s _{_t} ¹ ~s _t ^N, normal Assuming that it is based on the distribution, it is also preferable to cause the computer to function so as to predict and change the positions of the rectangular regions b _t ^{1 to} b _t ^N.

本発明の物体追跡プログラムにおける他の実施形態によれば、
状態予測手段と位置決定手段との間で機能する重み更新手段として更に機能させ、
重み更新手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nの重みを、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値であるとして更新する
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
Further function as weight updating means that functions between the state prediction means and the position determination means,
Weight updating means, responsive in the relative positions of the weight of each particle s _t ¹ ~s _t ^N, the rectangular area b ^ _t-1 of each rectangular area b _t ¹ ~b _t ^N and time t-1 at time t It is also preferred to have the computer function to update it as a map value.

本発明の物体追跡プログラムにおける他の実施形態によれば、
位置決定手段に続いて機能するリサンプリング手段として更に機能させ、
リサンプリング手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nに割り当てられた重みを用いて、より大きい重みのパーティクルｓ_tほど、その周囲により多くのパーティクルが配置するようにパーティクルｓ_t ¹〜ｓ_t ^Nをリサンプリングする
ようにコンピュータを機能させることも好ましい。 According to another embodiment of the object tracking program of the present invention,
Further function as resampling means that functions after the position determining means,
Resampling means, using the weight assigned to each particle s _{_t} ¹ ~s _t ^N, the more the particle s _t a greater weight, the particle s _t ¹ as many particles by its periphery arranged ~s _t It is also preferred to have the computer function to resample ^N.

本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す物体追跡装置において、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
を有することを特徴とする。 According to the present invention, for a time-series image group in which an object to be tracked is reflected, for each image, in the object tracking device that repeats determination of an image area related to the object,
Particle _{_{s t = (b t, tkr}} t) in association tracker tkr _t in the rectangular area b _t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b _t ¹ ~b _t ^N of the time t, while the sampling for the M maxima p ₁ ~p _M in response map Y, each rectangular area b _t ¹ ~b _t in ^N, it generates a particle s _t ¹ ~s _t ^N by assigning any one from among the candidates given tracker, the respective particles s _t ¹ ~s _t ^N, each rectangular area b _t ¹ ~b _a particle generation means for assigning a response map value based on _t ^N as a weight;
And position determining means for determining the particle s ^ _t having the maximum weight.

本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置の物体追跡方法において、
装置は、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する第１のステップと、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てる第２のステップと、
重みが最大となるパーティクルｓ^_tを決定する第３のステップと
を実行することを特徴とする。 According to the present invention, for a time-series image group in which an object to be tracked is reflected, for each image, in the object tracking method of the apparatus that repeats the determination of the image area related to the object,
The device
Particle _{_{s t = (b t, tkr}} t) in association tracker tkr _t in the rectangular area b _t at time t expressed as,
For a search region based on the image region determined at time t-1, a first step of generating a response map Y at time t using a correlation filter;
N pieces each rectangular area b _t ¹ ~b _t ^N of the time t, while the sampling for the M maxima p ₁ ~p _M in response map Y, each rectangular area b _t ¹ ~b _t in ^N, generates a particle s _t ¹ ~s _t ^N assign any one from among the candidates given tracker, the respective particles s _t ¹ ~s _t ^N, each rectangular area b _t ¹ ~ a second step of assigning a value of the response map based on b _t ^N as a weight;
And a third step of determining a particle s ^ _t having the maximum weight.

本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態（物***置）のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。 According to the object tracking program, apparatus and method of the present invention, the corresponding tracker can be estimated as the optimal estimator by determining the optimal particle without estimating the accuracy of the tracker.
That is, the tracking accuracy can be improved by increasing the number of particles in the state (object position) without explicitly setting an optimal tracker among a plurality of trackers. That is, the tracker is indirectly estimated according to the state estimation result.

物体追跡システムの構成図である。It is a block diagram of an object tracking system. 本発明における物体追跡装置の機能構成図である。It is a functional block diagram of the object tracking apparatus in this invention. 本発明の物体追跡処理を表す基本的フローチャートである。It is a basic flowchart showing the object tracking process of this invention. 特徴量抽出部の処理を表す説明図である。It is explanatory drawing showing the process of a feature-value extraction part. 応答マップ生成部の処理を表す説明図である。It is explanatory drawing showing the process of a response map production | generation part. 本発明におけるパーティクル生成部の処理を表す第１の説明図である。It is a 1st explanatory view showing processing of a particle generation part in the present invention. 本発明におけるパーティクル生成部の処理を表す第２の説明図である。It is the 2nd explanatory view showing processing of a particle generation part in the present invention. 本発明における追跡器の選択処理を表す説明図である。It is explanatory drawing showing the selection process of the tracker in this invention. 本発明における位置決定部の処理を表す説明図である。It is explanatory drawing showing the process of the position determination part in this invention. 相関フィルタ学習部の処理を表す説明図である。It is explanatory drawing showing the process of a correlation filter learning part. 本発明の物体追跡処理を表す具体的フローチャートである。It is a specific flowchart showing the object tracking process of this invention. 本発明における追跡信頼度判定部の処理を表す説明図である。It is explanatory drawing showing the process of the tracking reliability determination part in this invention.

以下、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

図１は、物体追跡システムの構成図である。 FIG. 1 is a configuration diagram of an object tracking system.

図１によれば、物体追跡システムは、物体追跡装置１と１台以上のカメラ２とが、ネットワークを介して接続されている。
各カメラ２は、追跡対象の物体を撮影可能であり、撮影した映像（時系列の画像群）を、物体追跡装置１へ送信する。カメラ２は、例えば、ＣＣＤイメージセンサやＣＭＯＳイメージセンサのような固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。勿論、カメラ２は、各画素のデプス値を出力するデプスカメラであってもよい。 Referring to FIG. 1, the object tracking system includes an object tracking device 1 and one or more cameras 2 connected via a network.
Each camera 2 can capture an object to be tracked, and transmits the captured video (a time-series image group) to the object tracking device 1. The camera 2 is, for example, a visible light, near infrared ray, or infrared imaging device that includes a solid-state imaging device such as a CCD image sensor or a CMOS image sensor. Of course, the camera 2 may be a depth camera that outputs the depth value of each pixel.

カメラ２は、物体追跡装置１との間で、例えば無線ＬＡＮや有線ＬＡＮのように直接的に接続されるものであってもよいし、例えばアクセスネットワーク及びインターネットを介して接続されるものであってもよい。アクセスネットワークとしては、無線系のＬＴＥ(Long Term Evolution)、ＷｉＭＡＸ（Worldwide Interoperability for Microwave Access）又は３Ｇ（3rd Generation）であってもよいし、有線系の光ファイバ網やＡＤＳＬ（Asymmetric Digital Subscriber Line）であってもよい。
尚、別途備えられたカメラ制御装置（図示なし）が、複数のカメラ２から出力された映像を収集し、その映像を物体追跡装置１へリアルタイムに又はバッチ的に送信するものであってもよい。 The camera 2 may be directly connected to the object tracking device 1 such as a wireless LAN or a wired LAN, or may be connected via an access network and the Internet, for example. May be. The access network may be wireless LTE (Long Term Evolution), WiMAX (Worldwide Interoperability for Microwave Access) or 3G (3rd Generation), a wired optical fiber network, or ADSL (Asymmetric Digital Subscriber Line). It may be.
A separately provided camera control device (not shown) may collect video output from the plurality of cameras 2 and transmit the video to the object tracking device 1 in real time or batchwise. .

ここで、追跡対象となる物体は、例えば人物、動物、乗り物のような移動可能な物理対象である。撮影場所も、特に限定されることなく、屋外でも屋内でもよい。また、追跡対象となり得る物体は、複数であってもよく、同行したり互いにすれ違ったり、撮影範囲の内外に移動するものであってもよい。 Here, the object to be tracked is a movable physical object such as a person, an animal, or a vehicle. The shooting location is not particularly limited and may be outdoor or indoor. There may be a plurality of objects that can be tracked, and they may accompany, pass each other, or move in and out of the shooting range.

＜物体追跡装置１＞
物体追跡装置１は、カメラ２から映像（時系列の画像群）を受信する。そして、物体追跡装置１は、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体が映る画像領域の決定を繰り返す。そして、決定された画像領域から、追跡対象を分析する。
このとき、追跡に失敗する可能性の高まる状況、例えば、追跡対象の物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、当該物体の位置を予測しながら、複数候補の画像領域（複数の仮説、パーティクル）を決定する。それら画像領域から、当該物体を検出し、その移動を追跡する。 <Object Tracking Device 1>
The object tracking device 1 receives a video (a time-series image group) from the camera 2. Then, the object tracking device 1 repeats the determination of the image area in which the object is reflected for each image with respect to the time-series image group in which the object to be tracked is reflected. Then, the tracking target is analyzed from the determined image area.
At this time, even if a situation where the possibility of tracking failure increases, for example, when an object to be tracked is shielded / rotated / deformed or image blur / brightness change occurs, multiple candidates are predicted while predicting the position of the object. Image regions (multiple hypotheses, particles) are determined. The object is detected from these image areas, and its movement is tracked.

物体追跡装置１は、カメラ２から受信した画像内に張られた画像座標系x-yでの位置座標(x, y)を、実空間に張られた世界座標系Gx-Gy-Gzでの位置座標(gx, gy, gz)へ変換する（座標変換操作）。そして、追跡対象の物体が映る画像から、実空間での位置やその変移分等の位置を算出する。例えば、前時刻t−1における追跡対象の物体の画像内の位置(x, y)が、現在時刻tにおける位置(x', y')へ変化した場合、この物体は、実空間（観測対象空間）について、前時刻t−1での位置(gx, gy, gz)から、現在時刻tでの位置(gx', gy', gz')へ移動したことが推定される。 The object tracking device 1 uses the position coordinates (x, y) in the image coordinate system xy stretched in the image received from the camera 2 as the position coordinates in the world coordinate system Gx-Gy-Gz stretched in real space. Convert to (gx, gy, gz) (coordinate conversion operation). Then, the position in the real space and the position of the transition are calculated from the image showing the object to be tracked. For example, if the position (x, y) in the image of the object to be tracked at the previous time t−1 changes to the position (x ′, y ′) at the current time t, the object It is estimated that the (space) has moved from the position (gx, gy, gz) at the previous time t−1 to the position (gx ′, gy ′, gz ′) at the current time t.

尚、カメラ２が、設置位置や、撮影向き、高さを変更可能なものである場合、画像座標系から世界座標系への座標変換は、予めキャリブレーションによって、カメラ２についての設置位置及び撮影向きに係る外部パラメータを設定しておく。 When the camera 2 can change the installation position, the shooting direction, and the height, the coordinate conversion from the image coordinate system to the world coordinate system is performed in advance by calibration, so that the installation position and shooting for the camera 2 are performed. Set external parameters for orientation.

図２は、本発明における物体追跡装置の機能構成図である。 FIG. 2 is a functional configuration diagram of the object tracking apparatus according to the present invention.

図２によれば、物体追跡装置１は、大きく以下の機能を有する。
カメラ２と通信可能な通信インタフェース１Ａ
カメラ２から受信した時系列の画像群を記憶する画像蓄積部１Ｂ
物体追跡用の情報を記憶した記憶部１Ｃ
物体追跡処理を実行する制御部１Ｄ
物体追跡結果を利用するアプリケーション１Ｅ According to FIG. 2, the object tracking device 1 has the following major functions.
Communication interface 1A capable of communicating with camera 2
An image storage unit 1B that stores a time-series image group received from the camera 2
Storage unit 1C storing information for object tracking
Control unit 1D that executes object tracking processing
Application 1E using object tracking results

記憶部１Ｃは、物体領域蓄積部と、追跡モード蓄積部と、回帰パラメータ列蓄積部と、テンプレート列蓄積部と、信頼度列蓄積部と、信頼度比列蓄積部とを有する。
物体領域蓄積部は、重みが最大のパーティクルの位置及び矩形を記憶する。
追跡モード蓄積部は、各時刻における追跡モードを記憶する。
回帰パラメータ列蓄積部は、各時刻における相関フィルタのパラメータαを記憶する。
テンプレート列蓄積部には、時刻毎に、追跡対象の物体が映る画像を記憶する。
信頼度列蓄積部及び信頼度比列蓄積部は、後述する過去の追跡器の信頼度列及び信頼度比列を記憶する。
制御部１Ｄは、カメラ２から受信した映像（画像群）について、時系列に、画像毎に物体追跡処理を繰り返す。
アプリケーション１Ｅは、画像と、矩形領域とを用いて処理する。 The storage unit 1C includes an object region storage unit, a tracking mode storage unit, a regression parameter sequence storage unit, a template sequence storage unit, a reliability sequence storage unit, and a reliability ratio sequence storage unit.
The object region storage unit stores the position and rectangle of the particle having the maximum weight.
The tracking mode storage unit stores the tracking mode at each time.
The regression parameter string storage unit stores the correlation filter parameter α at each time.
The template string storage unit stores an image showing an object to be tracked for each time.
The reliability sequence accumulating unit and the reliability ratio sequence accumulating unit store a reliability sequence and reliability ratio sequence of a past tracker described later.
The control unit 1D repeats the object tracking process for each image in time series with respect to the video (image group) received from the camera 2.
The application 1E performs processing using an image and a rectangular area.

図３は、本発明の物体追跡処理を表す基本的フローチャートである。 FIG. 3 is a basic flowchart showing the object tracking processing of the present invention.

図３によれば、制御部１Ｄは、特徴量抽出部１０と、応答マップ生成部１１１と、パーティクル生成部１２１と、位置決定部１３１と、追跡器記憶部１４と、相関フィルタ学習部１５とを有する。
これら機能構成部は、物体追跡装置１に搭載されたコンピュータによって機能されるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、物体追跡方法としても理解できる。 According to FIG. 3, the control unit 1D includes the feature quantity extraction unit 10, the response map generation unit 111, the particle generation unit 121, the position determination unit 131, the tracker storage unit 14, the correlation filter learning unit 15, Have
These functional components are realized by executing a program that functions by a computer mounted on the object tracking device 1. The processing flow of these functional components can also be understood as an object tracking method.

［特徴量抽出部１０］
特徴量抽出部１０は、画像毎に、学習した物体識別器によって、追跡対象の物体に対応する特徴量Zを出力する。例えば人物を追跡対象とする場合、物体識別器は、人物検出用に学習したものである。 [Feature Extraction Unit 10]
The feature quantity extraction unit 10 outputs the feature quantity Z corresponding to the object to be tracked by the learned object classifier for each image. For example, when a person is a tracking target, the object discriminator is learned for person detection.

物体検出のためには、例えばＨＯＧ(Histograms of Oriented Gradients)特徴量を用いることも好ましい（例えば非特許文献２参照）。ＨＯＧ特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。 For object detection, it is also preferable to use, for example, HOG (Histograms of Oriented Gradients) feature quantities (see, for example, Non-Patent Document 2). The HOG feature amount is a vector amount having a histogram of luminance gradient directions in a local region of an image and using each frequency as a component.

図４は、特徴量抽出部の処理を表す説明図である。 FIG. 4 is an explanatory diagram illustrating processing of the feature amount extraction unit.

図４によれば、時刻tの画像o_tについて、時刻t−1で推定された矩形領域ｂ^_t-1の中心を固定したまま、当該画像領域を定数倍（例えば２倍）に拡大したものを、「ｂ^_tの中心探索領域」に設定している。
そして、特徴量抽出部１０は、この「探索領域」内の画像についての特徴量Zを抽出する。この特徴量Zは、例えばＨＯＧ特徴量に対して公知の主成分分析（ＰＣＡ）（例えば非特許文献３参照）によって次元削減処理を施したものであってもよい。 According to FIG. 4, with respect to the image o _t at time t, the image area is enlarged by a constant (for example, twice) while the center of the rectangular area b ^ _t-1 estimated at time t−1 is fixed. Is set as the “b ^ _t center search area”.
Then, the feature amount extraction unit 10 extracts a feature amount Z for the image in the “search area”. For example, the feature amount Z may be obtained by subjecting the HOG feature amount to dimension reduction processing by a known principal component analysis (PCA) (see, for example, Non-Patent Document 3).

追跡対象となる物体が検出された画像領域は、矩形に設定される。勿論、矩形以外の形状であってもよい。時刻tに、物体が映る画像の矩形領域を、ｂ_t(bounding box)と定義する。
ｂ_t＝(x, y, w, h)∈Ｒ⁴
x：画像座標系x-yにおける画像領域矩形の左上の頂点のx座標
y：画像座標系x-yにおける画像領域矩形の左上の頂点のy座標
（尚、x軸正方向が右向き、y軸正方向が下向きであるとする）
w：当該矩形の横幅
h：当該矩形の縦幅（高さ）
また、観測結果を画像と定義して、時刻tまでの観測を、以下のように画像ｏの群であるとする。
ｏ_t＝(o₁, o₂, ・・・, o_t-1, o_t)
更に、時刻tで推定された矩形領域ｂ^_tを、以下のように表す。
ｂ^_t＝(x^_t, y^_t, w^_t, h^_t)
尚、追跡対象物体が映る画像の矩形領域ｂ^_tは、逐次、物体領域蓄積部に記憶される。 An image area where an object to be tracked is detected is set to a rectangle. Of course, shapes other than a rectangle may be sufficient. A rectangular area of an image in which an object is reflected at time t is defined as b _t (bounding box).
b _t = (x, y, w, h) ∈R ⁴
x: x coordinate of the top left vertex of the image area rectangle in the image coordinate system xy
y: y coordinate of the upper left vertex of the image area rectangle in the image coordinate system xy
(It is assumed that the positive x-axis direction is right and the positive y-axis direction is downward)
w: width of the rectangle
h: Vertical width (height) of the rectangle
Further, an observation result is defined as an image, and an observation up to time t is assumed to be a group of images o as follows.
o _t = (o ₁ , o ₂ , ..., o _t-1 , o _t )
Further, the rectangular area b ^ _t estimated at time t is expressed as follows.
b ^ _t = (x ^ _t , y ^ _t , w ^ _t , h ^ _t )
Note that the rectangular area b ^ _t of the image showing the tracking target object is sequentially stored in the object area storage unit.

［応答マップ生成部１１１］
応答マップ生成部１１１は、時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する。 [Response map generator 111]
The response map generation unit 111 generates a response map Y at time t using a correlation filter for the search area based on the image area determined at time t-1.

図５は、応答マップ生成部の処理を表す説明図である。 FIG. 5 is an explanatory diagram illustrating processing of the response map generation unit.

図５によれば、応答マップＹは、特徴量抽出部１０によって抽出された特徴量Zに対し、ベースサンプルXを用いたカーネル化処理と、学習済みのパラメータαの積算処理とを実行することによって、応答マップＹを算出する。応答マップＹは、以下のように表される。
Ｙ＝Ｆ^-1（ｋ^^XZ○α^）
Ｆ^-1：逆フーリエ変換の関数
ｋ：ガウシアンカーネル
^：ベクトルのフーリエ変換
○：ベクトルの要素毎の積
X：ベースサンプル
Z：ＨＯＧ特徴量
α：学習済みのパラメータ According to FIG. 5, the response map Y performs a kernelization process using the base sample X and a learned parameter α integration process on the feature quantity Z extracted by the feature quantity extraction unit 10. Thus, the response map Y is calculated. The response map Y is expressed as follows.
Y = F ⁻¹ (k ^ ^XZ ○ α ^)
F ^-1 : function of inverse Fourier transform
k: Gaussian kernel
^: Fourier transform of vector
Y: Product for each vector element
X: Base sample
Z: HOG feature
α: Trained parameter

パラメータαは、後述する相関フィルタ学習部１５によって算出されたものであり、ＫＣＦ(Kernelized Correlation Filter)に基づくものである（例えば非特許文献４参照）。これは、例えば行列の巡回性、フーリエ変換及びカーネルトリックを用いたものである。
ベースサンプルXは、例えば時刻t−1で決定された矩形領域ｂ^_t-1の画像とすることができる。 The parameter α is calculated by a correlation filter learning unit 15 described later, and is based on KCF (Kernelized Correlation Filter) (for example, see Non-Patent Document 4). This uses, for example, matrix circularity, Fourier transform, and kernel tricks.
The base sample X can be, for example, an image of the rectangular area b ^ _t−1 determined at time t−1.

フーリエ変換前のX,Z間のカーネルｋ^XZは、以下のようにガウシアンカーネルとして算出される。
ｋ^XZ＝exp（−1/σ²（||X||²＋||Z||²−２Ｆ^-1(Σ_cX^^* _c○Z^_c)））
下付きc：ＨＯＧ特徴量におけるチャネル成分
X_c：ＨＯＧ特徴量ベクトルＸのcチャネル成分
上付き*：複素共役
Σ_c：c（チャネル）についての総和（summation） The kernel k ^XZ between X and Z before Fourier transform is calculated as a Gaussian kernel as follows.
k ^XZ = exp (−1 / σ ² (|| X || ² + || Z || ² −2F ⁻¹ (Σ _c X ^ ^* _c ○ Z ^ _c ))
Subscript c: Channel component in HOG feature
X _c : c channel component of HOG feature vector X
Superscript *: Complex conjugate
Σ _c : summation about c (channel)

このように算出された応答マップＹは、図４の中心探索領域上の各位置における応答値となる。 The response map Y calculated in this way is a response value at each position on the center search region in FIG.

尚、実装上、応答マップＹの生成の際に実行されるフーリエ変換及び逆フーリエ変換は、ＦＦＴ（Fast Fourier Transform）及びＩＦＦＴ（Inverse FFT）アルゴリズムを用いて高速に処理される。 In terms of implementation, Fourier transform and inverse Fourier transform executed when generating the response map Y are processed at high speed using an FFT (Fast Fourier Transform) and IFFT (Inverse FFT) algorithm.

［パーティクル生成部１２１］
＜１．パーティクルの定義＞
本発明によれば、時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けた、パーティクルｓ_t＝(ｂ_t,tkr_t)と定義する。
ｓ_t＝(ｂ_t,tkr_t)：パーティクル（状態）
ｂ_t＝(x_t, y_t, w_t, h_t)∈Ｒ⁴：矩形領域
tkr_t∈Ｎ
Ｎ：追跡器の数
これによって、各パーティクルで別々の追跡器を用いて追跡することができる。ｂ_t及びtrk_tはそれぞれ、別の方法でサンプリングした後、連結させて、１つのパーティクルｓ_tを生成する。 [Particle generator 121]
<1. Particle Definition>
According to the present invention, associating a tracking device tkr _t in the rectangular area b _t at time t, the particle _{_{s t = (b t, tkr}} t) is defined as.
s _t = (b _t , tkr _t ): Particle (state)
b _t = (x _t , y _t , w _t , h _t ) ∈R ⁴ : rectangular area
tkr _t ∈ N
N: Number of trackers This allows each particle to be tracked using a separate tracker. b _t and trk _t respectively, after sampling in a different way, by connecting, to produce a single particle s _t.

＜２．矩形領域ｂ_tのサンプリング＞
パーティクル生成部１２１は、応答マップＹ(x,y)の中から、M個の極大値ｐ₁〜ｐ_Mの集合を、大きいものから順（降順）に導出する。
ｐ＝(x,y)：応答マップＹの中の座標
これらM個の極大値の座標点の近辺の矩形領域には、追跡対象の物体が映っている可能性が高いと仮定する。 <2. Sampling of rectangular area b _t >
The particle generation unit 121 derives a set of _M local maximum values p _{1 to} p M from the response map Y (x, y) in descending order.
p = (x, y): Coordinates in the response map Y It is assumed that there is a high possibility that the object to be tracked is reflected in the rectangular area in the vicinity of these M maximum coordinate points.

パーティクル生成部１２１は、これらの座標点の近辺にパーティクルが多く存在するようにサンプリングする。そのために、パーティクル生成部１２１は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ₁〜ｐ_Mに対して、時刻tのN個の矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングする。具体的には、以下のように、混合正規分布に従ってパーティクルをサンプリングする。
P(ｂ_t│ｐ₁,ｐ₂,・・・,ｐ_M)＝Σ_mπ_m Ｎ(ｂ_t;(ｐ_m,ｗ^_t-1,ｈ^_t-1),σ)
Ｎ：正規分布
Σ：分散共分散行列
σ：対角行列
これによって、以下のように表す。
diag(σ)=(w₁/r,h₁/r,0,0)
r：実数（r>0）
∀m,π_m＝1/Mとするのが、最も単純な方法であるが、各極大値の値に比例させてπ_mを変化させて設定してもよい。 The particle generation unit 121 samples so that many particles exist in the vicinity of these coordinate points. For this purpose, the particle generation unit 121 includes N rectangular regions b _t ¹ to b b at time t with respect to _M maximum values p _{1 to} p M in descending order from the maximum maximum value in the response map Y. _t ^N is sampled. Specifically, the particles are sampled according to the mixed normal distribution as follows.
P (b _t | p ₁ , p ₂ ,..., P _M ) = Σ _m π _m N (b _t ; (p _m , w ^ _t−1 , h ^ _t−1 ), σ)
N: Normal distribution
Σ: Variance covariance matrix
σ: Diagonal matrix This is expressed as follows.
diag (σ) = (w ₁ / r, h ₁ / r, 0,0)
r: Real number (r> 0)
Although ∀m, π _m = 1 / M is the simplest method, it may be set by changing π _m in proportion to the value of each local maximum value.

パーティクル数Nのうち、j番目（j＝1〜N）のパーティクルs_t ^jについて、各パーティクルの重みを、1/Nに設定する。 Of the number of particles N, the particle s _t ^j of the j-th (j = 1 to N), the weight of each particle is set to 1 / N.

図６は、本発明におけるパーティクル生成部の処理を表す第１の説明図である。 FIG. 6 is a first explanatory diagram showing processing of the particle generation unit in the present invention.

図６によれば、N個のパーティクルの矩形領域ｂ_t ¹〜ｂ_t ^Nが、M個の極大値ｐ₁〜ｐ_Mの周囲近辺にサンプリングされている。このように複数のパーティクルをサンプリングすることによって、ランダムな位置にサンプリングするよりも、追跡対象の物体に映る最適な位置に矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングすることができる。 According to FIG. 6, rectangular regions b _t ^{1 to} b _t ^{N of N} particles are sampled in the vicinity of the _M maximum values p _{1 to} p _M. By sampling a plurality of particles in this way, it is possible to sample the rectangular regions b _t ^{1 to} b _t ^N at optimal positions that appear in the tracking target object, rather than sampling at random positions.

＜３．追跡器tkr_tの割り当て＞
パーティクル生成部１２１は、次に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成する。 <3. Assignment of tracker tkr _t >
Particle generation unit 121, then, in each rectangular area b _t ¹ ~b _t ^N, to produce a particle s _t ¹ ~s _t ^N by assigning any one from among the candidates given tracker.

図７は、本発明におけるパーティクル生成部の処理を表す第２の説明図である。 FIG. 7 is a second explanatory diagram showing the processing of the particle generation unit in the present invention.

パーティクル生成部１２１における「所定の追跡器の候補」は、以下のものである。
現在時刻に任意に割り当てられたM個の現在追跡器tkr_t ¹〜tkr_t ^M、又は、
過去時刻に決定されたパーティクルｓ^₁〜ｓ^_t-1に基づく過去追跡器tkr^₁〜tkr^_t-1 The “predetermined tracker candidates” in the particle generator 121 are as follows.
Current tracker of M assigned arbitrarily to the current time tkr _{_t} ¹ ~tkr _t ^M, or,
Past tracker tkr based particle s ^ _₁ ~s ^ _{_t-1} determined in the past time ^ _₁ ~tkr ^ _{_t-1}

過去追跡器も選択候補とした理由は、現在追跡器の追跡精度が低下した場合であっても、過去に選択された過去追跡器を用いることによって、追跡の精度の向上を期待したものである。 The reason for selecting the past tracker as a candidate for selection is that even if the tracking accuracy of the current tracker is reduced, the use of the past tracker selected in the past is expected to improve the tracking accuracy. .

現在時刻tにおけるN個のパーティクルそれぞれに、現在追跡器又は過去追跡器の中から選択した１個の追跡器を割り当てる。ここで、追跡器は、任意の確率分布を用いて、２段階で選択される。
（Ａ）現在追跡器群又は過去追跡器群の選択
（Ｂ）追跡器の選択 One tracker selected from the current tracker or the past tracker is assigned to each of the N particles at the current time t. Here, the tracker is selected in two stages using an arbitrary probability distribution.
(A) Selection of current tracker group or past tracker group (B) Selection of tracker

（Ａ）現在追跡器群又は過去追跡器群の選択
最初に、確率分布として、例えばベルヌーイ分布を用いて、現在追跡器群又は過去追跡器群のいずれかから追跡器を選択するか、を決定する。
パーティクル生成部１２１は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定する。
μ：ハイパーパラメータ
ベルヌーイ分布によって出力される２値ｕ∈{0,1}が、平均μとなるように、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てられる。
Ｐ(u;μ)＝μ^u(１−μ)^1-u (A) Selection of current tracker group or past tracker group First, determine whether to select a tracker from either the current tracker group or the past tracker group as a probability distribution, for example, using Bernoulli distribution. To do.
The particle generation unit 121 sets 0 ≦ μ ≦ 1 in advance by setting μ = 0 when only the current tracker is used and μ = 1 when only the past tracker is used.
μ: Hyperparameter The binary uε {0,1} output by the Bernoulli distribution is assigned from the current tracker or from the past tracker so as to have an average μ.
P (u; μ) = μ ^u (1-μ) ^1-u

μの設定は、例えば現在の追跡器のみを用いる場合、μ＝0に設定すればよい。
一方で、過去の追跡器のみを用いる場合、μ＝1に設定すればよい。
過去追跡器と現在追跡器との両方を混ぜて用いる場合、0＜μ＜1に設定すればよい。 For example, when only the current tracker is used, μ may be set to μ = 0.
On the other hand, when only the past tracker is used, μ = 1 may be set.
When both the past tracker and the current tracker are used together, 0 <μ <1 may be set.

（Ｂ）追跡器の選択
次に、パーティクル生成部１２１は、例えば一様分布や最適化分布を用いて、現在追跡器群又は過去追跡器群のそれぞれの中から、１個の追跡器を選択する。以下では、それぞれの場合に分けて説明する。
（Ｂ１）過去追跡器（u＝1）の場合
（Ｂ２）現在追跡器（u＝0）の場合 (B) Selection of Tracker Next, the particle generator 121 selects one tracker from each of the current tracker group or the past tracker group using, for example, a uniform distribution or an optimized distribution. To do. Hereinafter, each case will be described separately.
(B1) In case of past tracker (u = 1) (B2) In case of current tracker (u = 0)

図８は、本発明における追跡器の選択処理を表す説明図である。 FIG. 8 is an explanatory diagram showing the selection process of the tracker in the present invention.

（Ｂ１）過去追跡器（u＝1）の場合
複数の過去追跡器tkr^₁〜tkr^_t-1の中から、確率分布Ｄsnapに従って選択される。
Ｄsnap＝Ｐ(tkr_t｜u＝１)
ここで、パーティクル生成部１２１は、複数の過去追跡器tkr^₁〜tkr^_t-1の中から一様分布又は最適化分布でいずれか1個の追跡器を選択する。
（Ｂ１ａ）一様分布
過去追跡器全てを、等確率Ｄsnap＝1/(t-1)で選択する（図８ａ参照）。
（Ｂ１ｂ）最適化分布
任意の指標を用いて過去追跡器に序列を付けて、Ｄsnapを算出する（図８ｂ参照）。
ｑ：求める確率分布
Ｃ＝(ｃ₁,ｃ₂,・・・)^Ｔ：ｑに対応する追跡器の信頼度列
Ｒ＝(ｒ₁,ｒ₂,・・・)^Ｔ：信頼度比列
目的関数は、L1正則化項を加えて、最適解として以下のように表す（例えば非特許文献６参照）。
max_qｑ^ＴＣ＋αｑ^ＴＲ＋β||ｑ||
＝max_qｑ^Ｔ(Ｃ＋αＲ）＋β||ｑ||
s.t. Σ_nｑ_n＝１
α：信頼度比の重要性を制御するパラメータ
β：スパース性を制御するパラメータ
L1正則化項によって、求めた分布が「疎」になるため、使用する追跡器の数を減少させることができる。これによって、少ない追跡器で、効率良く、追跡することができる。尚、信頼度比は、後述する追跡器記憶部１４によって記憶される。そして、信頼度比が高い追跡器は、その後、選択される確率が高くなるようにＤsnapが設定される。 (B1) In the case of past tracker (u = 1) The past tracker is selected from a plurality of past trackers tkr ^ _{1 to} tkr ^ _t-1 according to the probability distribution Dsnap.
Dsnap = P (tkr _t | u = 1)
Here, the particle generator 121 selects any one of the plurality of past trackers tkr ^ _{1 to} tkr ^ _t-1 with a uniform distribution or an optimized distribution.
(B1a) Uniform distribution All past trackers are selected with equal probability Dsnap = 1 / (t-1) (see FIG. 8a).
(B1b) Optimization distribution An arbitrary index is used to rank the past trackers and Dsnap is calculated (see FIG. 8b).
q: probability distribution to be obtained C = (c ₁ , c ₂ ,...) ^T : reliability sequence of the tracker corresponding to q R = (r ₁ , r ₂ ,...) ^T : reliability ratio sequence The function is expressed as follows as an optimal solution by adding the L1 regularization term (see, for example, Non-Patent Document 6).
max _q q ^T C + αq ^T R + β || q ||
= Max _q q ^T (C + αR) + β || q ||
st Σ _n q _n = 1
α: Parameter that controls the importance of the reliability ratio
β: Parameter for controlling sparsity
Since the obtained distribution becomes “sparse” by the L1 regularization term, the number of trackers to be used can be reduced. Thereby, it is possible to track efficiently with a small number of trackers. The reliability ratio is stored in the tracker storage unit 14 described later. Then, for a tracker with a high reliability ratio, Dsnap is set so as to increase the probability of selection thereafter.

（Ｂ２）現在追跡器（u＝0）の場合
M個の現在追跡器tkr_t ¹〜tkr_t ^Mの中から、一様分布を用いて1個の追跡器を選択する。その確率分布Ｄbranchは、例えば以下のように表される。
Ｄbranch＝Ｐ(tkr_t｜u＝0)＝1/M
現在追跡器全てを、等確率Ｄbranch＝1/Mで選択する（図８ｃ参照）。 (B2) Current tracker (u = 0)
Among the M number of current tracker tkr _{_t} ¹ ~tkr _t ^M, selects one of the tracking units by using a uniform distribution. The probability distribution Dbranch is expressed as follows, for example.
Dbranch = P (tkr _t | u = 0) = 1 / M
All current trackers are selected with equal probability Dbranch = 1 / M (see FIG. 8c).

尚、パーティクル生成部１２１における追跡器のパラメータ自体は、全て同じ（時刻tにおける1つの追跡器を複製したもの）である。その後、後述する相関フィルタ学習部１５によって、追跡器毎にパラメータが学習される。そして、追跡器の各パーティクルへの割り当ては、前述した追跡器tkr_tの割り当てに基づく。 The tracker parameters in the particle generator 121 are all the same (a duplicate of one tracker at time t). Thereafter, a parameter is learned for each tracker by a correlation filter learning unit 15 described later. The assignment of the tracker to each particle is based on the assignment of the tracker tkr _t described above.

＜４．パーティクルｓtに対する重みの割り当て＞
パーティクル生成部１２１は、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てる。
「重み」は、具体的には、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値である。 <4. Assigning weights to particles st>
Particle generation unit 121, each particle s _{_t} ¹ ~s _t ^N, the value of the response map based on the rectangular area b _{_t} ¹ ~b _t ^N, assigned as a weight.
"Weight" is, specifically, a value of a response map at the relative positions of the rectangular area b ^ _t-1 of each rectangular area b _{_t} ¹ ~b _t ^N and time t-1 at time t.

［位置決定部１３１］
位置決定部１３１は、パーティクル生成部１２１によって算出された「重み」が、最大となるパーティクルｓ^_tを決定する。そのパーティクルｓ^_tの矩形領域は、ｂ^_tと表す。
具体的には、重みが最大値となる位置は、パラボラフィッティングに基づくサブピクセル推定によって決定される（例えば非特許文献５参照）。これにより、ピクセル単位と比較して、細かな（正確な）位置座標値を決定することができる。 [Position determining unit 131]
The position determination unit 131 determines a particle s _t having the maximum “weight” calculated by the particle generation unit 121. Rectangular area of the particle s ^ _t represents the b ^ _t.
Specifically, the position where the weight becomes the maximum value is determined by subpixel estimation based on parabolic fitting (see, for example, Non-Patent Document 5). Thereby, it is possible to determine a fine (exact) position coordinate value as compared with the pixel unit.

図９は、本発明における位置決定部の処理を表す説明図である。 FIG. 9 is an explanatory diagram showing processing of the position determination unit in the present invention.

時刻tにおける応答マップＹ_tの中で、重みが最大値となる（図９の●、正解位置を中心とする）パーティクルｓ^_tの矩形領域ｂ^_tを決定する。
ｗ^＝ｗ₁、ｈ^＝ｈ₁
ｘ^＝ｉ^−ｗ^/2、ｙ^＝ｊ^−ｈ^/2
（ｘ^，ｙ^）：時刻tに決定されたパーティクルｓ_tにおける矩形領域の左上頂点
ｗ^：時刻tに決定されたパーティクルｓ_tの矩形領域の横幅
ｈ^：時刻tに決定されたパーティクルｓ_tの矩形領域の縦幅（高さ）
（ｉ^，ｊ^）：時刻tに決定されたパーティクルｓ_tの矩形領域の中心
ｗ₁：初期フレームで決定されたパーティクルｓ_tの矩形領域の横幅
ｈ₁：初期フレームで決定されたパーティクルｓ_tの矩形領域の縦幅（高さ）
尚、ｗ₁及びｈ₁について、他の値として、例えば、時刻t−1で決定されたパーティクルの矩形領域の横幅及び縦幅を用いてもよい。 In the response map Y _t at time t, the weight is the maximum value (in FIG. 9 ●, centered on the correct position) determines a rectangular area b ^ _t of the particle s ^ _t.
w ^ = w ₁ , h ^ = h ₁
x ^ = i ^ -w ^ / 2, y ^ = j ^ -h ^ / 2
(X ^, y ^): upper left corner of the rectangular area in the particle s _t determined at time t w ^: width of the rectangular region at the time t to the determined particle s _t h ^: particles was determined at time t height of the rectangular area of s _t (height)
(I ^, j ^): center of the rectangular region at the time t is determined on the particle s _t w _1: width of the rectangular area of the particle s _t determined in the initial frame h _1: the particle s as determined by the initial frame Vertical width (height) of rectangular area of _t
As other values for w ₁ and h ₁ , for example, the horizontal width and vertical width of the rectangular region of the particle determined at time t−1 may be used.

［追跡器記憶部１４］
追跡器記憶部１４は、時刻tにおけるパーティクルｓ^_t毎に、相関フィルタのパラメータα_tと、ベースサンプルｘ_tと、重みｃ_tと、信頼度比ｒ_tとをそれぞれ記憶する。
Ａ＝(α₁,α₂,・・・)^Ｔ
Ｘ＝(ｘ₁,ｘ₂,・・・)^Ｔ
Ｃ＝(ｃ₁,ｃ₂,・・・)^Ｔ
Ｒ＝(ｒ₁,ｒ₂,・・・)^Ｔ [Tracker storage unit 14]
Tracker storage unit 14, for each particle s ^ _t at time t, and the parameter alpha _t of the correlation filters, a base sample x _t, and weights c _t, and stores the reliability ratio r _t, respectively.
A = (α ₁ , α ₂ , ...) ^T
X = (x ₁ , x ₂ ,...) ^T
C = (c ₁ , c ₂ ,...) ^T
R = (r ₁ , r ₂ ,...) ^T

［相関フィルタ学習部１５］
相関フィルタ学習部１５は、時刻tで決定されたパーティクルｓ^_tの矩形領域について、ＫＦＣのパラメータαを更新する（例えば非特許文献３参照）。その後、繰り返される応答マップ生成部１１１は、時刻t+1で、更新されたパラメータαによって応答マップＹを生成する。 [Correlation filter learning unit 15]
The correlation filter learning unit 15 updates the KFC parameter α for the rectangular region of the particle s ^ _t determined at time t (see, for example, Non-Patent Document 3). Thereafter, the repeated response map generator 111 generates a response map Y with the updated parameter α at time t + 1.

図１０は、相関フィルタ学習部の処理を表す説明図である。 FIG. 10 is an explanatory diagram illustrating processing of the correlation filter learning unit.

相関フィルタ学習部１５は、最初に、決定されたパーティクルｓ^_tの矩形領域ｂ^_tについて、ＨＯＧ特徴量Xを算出する。前述した応答マップ生成部１１と同様に算出したカーネルｋ^XZを用いて、以下のようにパラメータαを更新する。
α^＝ｙ^／(ｋ^^XZ＋λ)
ｙ：リッジ(Ridge)回帰の教師データ
λ：正則化項の係数
^：フーリエ変換 The correlation filter learning unit 15 first calculates the HOG feature amount X for the rectangular region b ^ _t of the determined particle s ^ _t . Using the kernel k ^XZ calculated in the same manner as the response map generation unit 11 described above, the parameter α is updated as follows.
α ^ = y ^ / (k ^ ^XZ + λ)
y: Ridge regression teacher data
λ: coefficient of regularization term
^: Fourier transform

現在時刻tにおける追跡器tkr_t ¹, tkr_t ²,・・・, tkr_t ^M毎に、ＫＦＣのパラメータαを学習する。具体的には、全パーティクルの中をtkr_tの値ごとに分割し、各分割の中で最も重みが高いパーティクルｓ^_tの矩形領域ｂ^_tに基づいてパラメータαを更新する。 The Kα parameter α is learned for each of the trackers tkr _t ¹ , tkr _t ² ,..., Tkr _t ^{M at the} current time t. Specifically, all the particles are divided for each value of tkr _t , and the parameter α is updated based on the rectangular region b ^ _t of the particle s ^ _t having the highest weight in each division.

尚、追跡の信頼度が低下している場合、相関フィルタの学習によって追跡位置のずれが増大する可能性もある。これに対して、相関フィルタの学習を実行する頻度を、例えば数フレームに１回といった頻度にまで低下させることもできる。これにより、追跡位置のずれの増大を抑制することができる。 If the tracking reliability is lowered, the tracking position shift may increase due to the learning of the correlation filter. On the other hand, the frequency of executing the correlation filter learning can be reduced to a frequency of once every several frames, for example. As a result, an increase in tracking position deviation can be suppressed.

図１１は、本発明の物体追跡処理を表す具体的フローチャートである。 FIG. 11 is a specific flowchart showing the object tracking processing of the present invention.

図１１によれば、図３の基本フローチャートに、具体的な構成要素が追加されたものである。以下では、図３と異なる、以下の構成要素のみを説明する。
（特徴量抽出部１０）：図３と同様
（応答マップ生成部１１１）：図３と同様
［追跡モード判定部１１２］
［追跡信頼度判定部１１３］
（パーティクル生成部１２１）：図３と同様
［状態予測部１２２］
［重み更新部１２３］
（位置決定部１３１）：図３と同様
［リサンプリング部１３２］
（追跡器記憶部１４）：図３と同様
（相関フィルタ学習部１５）：図３と同様 According to FIG. 11, specific components are added to the basic flowchart of FIG. 3. In the following, only the following components that are different from FIG. 3 will be described.
(Feature extraction unit 10): Same as FIG. 3 (Response map generation unit 111): Same as FIG. 3 [Tracking mode determination unit 112]
[Tracking reliability determination unit 113]
(Particle generation unit 121): similar to FIG. 3 [state prediction unit 122]
[Weight update unit 123]
(Position determining unit 131): Similar to FIG. 3 [Resampling unit 132]
(Tracker storage unit 14): As in FIG. 3 (Correlation filter learning unit 15): As in FIG.

［追跡モード判定部１１２］
前提として、パーティクルフィルタモード又は通常モードを表す「追跡モード」を定義する。パーティクル生成部１２１は、パーティクルを生成した後、追跡モードを、パーティクルフィルタモードへ移行させる。また、パーティクル生成部１２１は、追跡モードがパーティクルフィルタモードである場合、実行されない。 [Tracking mode determination unit 112]
As a premise, a “tracking mode” representing a particle filter mode or a normal mode is defined. After generating the particles, the particle generator 121 shifts the tracking mode to the particle filter mode. Further, the particle generation unit 121 is not executed when the tracking mode is the particle filter mode.

追跡モード判定部１１２は、応答マップ生成部１１１の次段として機能する。
追跡モード判定部１１２は、追跡モードがパーティクルモードでなければ、追跡信頼度判定部１１３へ処理を移行する。
また、追跡モード判定部１１２は、追跡モードがパーティクルフィルタモードであっても、応答マップにおける加重分散varが所定閾値ε以下であれば、パーティクルフィルタモードを解除する。即ち、通常モードへ移行する。そして、追跡信頼度判定部１１３へ処理を移行する。
一方で、追跡モード判定部１１２は、追跡モードがパーティクルモードであって、且つ、応答マップにおける加重分散varが所定閾値εよりも大きい場合、後述する状態予測部１２２へ処理を移行する。
尚、追跡モード判定部１１２は、パーティクルフィルタモードへ移行してから一定時間経過後に、パーティクルフィルタモードを解除し、通常モードへ移行するものであってもよい。 The tracking mode determination unit 112 functions as the next stage of the response map generation unit 111.
If the tracking mode is not the particle mode, the tracking mode determination unit 112 shifts the processing to the tracking reliability determination unit 113.
In addition, even when the tracking mode is the particle filter mode, the tracking mode determination unit 112 cancels the particle filter mode if the weighted variance var in the response map is equal to or smaller than the predetermined threshold ε. That is, the mode is shifted to the normal mode. Then, the process proceeds to the tracking reliability determination unit 113.
On the other hand, when the tracking mode is the particle mode and the weighted variance var in the response map is larger than the predetermined threshold ε, the tracking mode determination unit 112 shifts the process to the state prediction unit 122 described later.
The tracking mode determination unit 112 may be configured to cancel the particle filter mode and shift to the normal mode after a lapse of a certain time after shifting to the particle filter mode.

＜追跡モードの判定＞
追跡モード判定部１１２は、パーティクルの収束度によって、追跡モードを判定する。具体的には、パーティクルの加重分散を用いる。n番目のパーティクルの状態をｓⁿとすると、加重平均は以下ように表される。
mean＝Σ_nｗⁿｓⁿ
矩形領域ｂと追跡器tkrとは、異なるものであるために、加重分散は、以下のように算出する。
var＝Σ_nｗⁿｄ(ｓⁿ,mean)^２
＝Σ_nｗⁿ(ｓⁿ−mean)^ＴＳ⁻¹(ｓⁿ−mean)
Ｓ：分散共分散行列
加重分散を用いることによって、各次元のスケールが正規化され、適切に収束度を測ることができる。尚、追跡モード判定部１１２について、加重分散を例として説明したが、それに代えて、若しくは合せて、マハラノビス距離、ユークリッド距離やコサイン距離等の指標を使用してもよい。 <Judging the tracking mode>
The tracking mode determination unit 112 determines the tracking mode based on the degree of particle convergence. Specifically, a weighted dispersion of particles is used. Assuming that the state of the ^nth particle is s ⁿ , the weighted average is expressed as follows.
mean = Σ _^ⁿ w _n s _n
Since the rectangular area b and the tracker tkr are different, the weighted variance is calculated as follows.
var = Σ _n w ⁿ d (s ⁿ , mean) ²
_{^{^{= Σ n w n (s n}}} -mean) T S -1 (s n -mean)
S: Variance covariance matrix By using weighted variance, the scale of each dimension is normalized, and the degree of convergence can be measured appropriately. The tracking mode determination unit 112 has been described by taking weighted variance as an example, but instead of or in combination, an index such as Mahalanobis distance, Euclidean distance, or cosine distance may be used.

var≦εであれば、パーティクルが十分に収束したとし、パーティクルフィルタモードを解除する。追跡モードを通常モードへ移行する場合、以後、全パーティクルの中で最も重みが大きいパーティクルｓ^_tに対応する追跡器tkr^_tを用いて追跡する。 If var ≦ ε, it is assumed that the particles have sufficiently converged, and the particle filter mode is canceled. When the tracking mode is shifted to the normal mode, the tracking is performed using the tracking device tkr ^ _t corresponding to the particle s ^ _t having the largest weight among all the particles.

［追跡信頼度判定部１１３］
追跡信頼度判定部１１３は、時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する。
具体的には、時刻tの応答マップＹの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する。 [Tracking reliability determination unit 113]
The tracking reliability determination unit 113 determines whether or not the tracking reliability of the response map Y at time t is low based on a predetermined condition.
Specifically, the maximum value of the response map Y at time t is set as the tracking reliability, and when the maximum value is less than a predetermined threshold as a predetermined condition, it is determined that the tracking reliability is low.

図１２は、本発明における追跡信頼度判定部の処理を表す説明図である。 FIG. 12 is an explanatory diagram showing processing of the tracking reliability determination unit in the present invention.

前述したパーティクル生成部１２１は、追跡信頼度判定部１１３によって真と判定された場合にのみ機能する。即ち、パーティクル生成部１２１は追跡の信頼度が低下し、追跡に失敗する可能性が高まった時、実行される。例えば、追跡対象物体の遮蔽、回転や、変形、画像のブレや輝度変化等が生じた場合、次段で、パーティクルを生成し直すことができる。一方で、パーティクルが十分に収束していない場合には、現状の複数のパーティクルを用いて、追跡結果を安定的に出力することができる。 The particle generation unit 121 described above functions only when it is determined to be true by the tracking reliability determination unit 113. That is, the particle generation unit 121 is executed when the reliability of tracking decreases and the possibility of tracking failure increases. For example, when the tracking target object is shielded, rotated, deformed, blurred or a change in luminance occurs, particles can be regenerated in the next stage. On the other hand, when the particles are not sufficiently converged, the tracking result can be stably output using a plurality of current particles.

［状態予測部１２２］
状態予測部１２２は、パーティクル生成部１２１に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定部１１２に続いて機能する。
状態予測部１２２は、時刻t-1の矩形領域ｂ_t-1 ¹〜ｂ_t-1 ^Nから、各パーティクルｓ_t ¹〜ｓ_t ^Nの矩形領域ｂ_t ¹〜ｂ_t ^Nへの遷移が、正規分布に基づくと仮定して、矩形領域ｂ_t ¹〜ｂ_t ^Nの位置を予測して遷移させる。 [State Prediction Unit 122]
The state prediction unit 122 functions following the particle generation unit 121 or the tracking mode determination unit 112 in which the particle filter mode is maintained.
State predicting unit 122, a rectangular region at the time _{^{t-1 b t-1 1}} ~b t-1 N, the transition to the rectangular area b _{_t} ¹ ~b _t ^N of each particle s _{_t} ¹ ~s _t ^N, Assuming that it is based on a normal distribution, the positions of the rectangular regions b _t ^{1 to} b _t ^N are predicted and transitioned.

状態予測部１２２は、パーティクル生成部１２１と同様に、矩形領域ｂ_tと追跡器tkr_tとをそれぞれ、別々の方法でサンプリングする。 Similarly to the particle generation unit 121, the state prediction unit 122 samples the rectangular region b _t and the tracker tkr _t by different methods.

＜ｂ_tのサンプリング＞
ｂ^_t-1を平均ベクトルとした正規分布に従ってパーティクルを生成する。時刻t-1におけるパーティクルの矩形領域ｂ^_t-1から、時刻tにおけるパーティクルの矩形領域ｂ_tへの遷移は、正規分布に基づくランダムウォークを仮定し、次式のように予測される。
Ｐ(ｂ_t|ｂ^_t-1)＝Ｎ(ｂ_t;ｂ^_t-1，σ)
Ｐ：条件付き確率
Ｎ：正規分布
σ：対角行列
また、パーティクルの矩形領域の大きさを変化させない場合には、以下のように表される。
diag(Σ)＝［ｗ₁/r, ｈ₁/r, 0, 0］
ｗ₁：初期フレームにおける矩形領域の横幅
ｈ₁：初期フレームにおける矩形領域の縦幅（高さ）
r： 1≦r≦min(Lw, Lh)を満たす実数 <B _t sampling>
Particles are generated according to a normal distribution with b ^ _t-1 as an average vector. From a rectangular region b ^ _t-1 particles at time t-1, the transition to the rectangular area b _t of the particle at time t, assuming a random walk based on a normal distribution, is predicted by the following equation.
P (b _t | b ^ _t−1 ) = N (b _t ; b ^ _t−1 , σ)
P: Conditional probability N: Normal distribution σ: Diagonal matrix Further, when the size of the rectangular region of the particle is not changed, it is expressed as follows.
diag (Σ) = [w ₁ / r, h ₁ / r, 0, 0]
w ₁ : width of the rectangular area in the initial frame h ₁ : vertical width (height) of the rectangular area in the initial frame
r: Real number satisfying 1 ≦ r ≦ min (Lw, Lh)

＜追跡器tkr_tのサンプリング＞
追跡器tkr_tは、ベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいてサンプリングされる。
ｕ＝1の場合、一様分布又は最適化分布に従って、追跡器tkr_tをサンプリングする。
ｕ＝0の場合、試行回数tkr^_t-1に応じて成功確率1の二項分布に従って、追跡器tkr_tをサンプリングする（図８（ｄ）参照)。
Ｄbranch＝Ｂ(tkr^_t-1，1) <Sampling of tracker tkr _t >
The tracker tkr _t is sampled based on the binary uε {0,1} output by the Bernoulli distribution.
If u = 1, the tracker tkr _t is sampled according to a uniform distribution or an optimized distribution.
When u = 0, the tracker tkr _t is sampled according to the binomial distribution with a success probability of 1 according to the number of trials tkr ^ _t−1 (see FIG. 8D).
Dbranch = B (tkr ^ _t-1 , 1)

［重み更新部１２３］
重み更新部１２３は、状態予測部１２２の次段で機能する。
重み更新部１２３は、各パーティクルｓ_t ¹〜ｓ_t ^Nの重みを、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値であるとして更新する（図７下段参照）。 [Weight update unit 123]
The weight update unit 123 functions in the next stage of the state prediction unit 122.
The weight updating unit 123, the relative positions of the weight of each particle s _t ¹ ~s _t ^N, the rectangular area b ^ _t-1 of each rectangular area b _t ¹ ~b _t ^N and time t-1 at time t The response map value is updated (see the lower part of FIG. 7).

応答マップＹは、特徴量抽出の際のパラメータcellSizeに依存して大きさが変化する。cellSizeは、特徴量Zを抽出した際のパラメータの１つであり、設定されたcellのサイズとなる（例えば３ピクセル（画素））。
res(ｏ_t,ｂ_t)＝Ｙ（(ｘ_t-ｘ^_t-1)/cellsize＋ｗＹ，(ｙ_t-ｙ^_t-1)/cellsize＋ｈＹ）
ｗＹ：横の長さ
ｈＹ：縦の長さ
重みresは、全パーティクルの和が1になるように正規化し、応答マップ値となる。 The size of the response map Y changes depending on the parameter cellSize at the time of feature amount extraction. The cellSize is one of the parameters when the feature amount Z is extracted, and is the set cell size (for example, 3 pixels (pixels)).
res (o _t , b _t ) = Y ((x _t −x ^ _t−1 ) / cellsize + wY, (y _t −y ^ _t−1 ) / cellsize + hY)
wY: Horizontal length
hY: Vertical length The weight res is normalized so that the sum of all particles becomes 1, and becomes a response map value.

以上のように得られた「重みres」は、矩形領域ｂ_tのみを用いて算出され、追跡器tkr_tを用いていない。このように、直接的に追跡器を評価しないことにより、最適な追跡器の指標をオペレータで設計する必要がなくなる。但し、結果として、間接的に追跡器を評価していることに相当する。 The “weight res” obtained as described above is calculated using only the rectangular region b _t , and does not use the tracker tkr _t . Thus, by not evaluating the tracker directly, it is not necessary for the operator to design the optimal tracker index. However, as a result, it corresponds to indirectly evaluating the tracker.

［リサンプリング部１３２］
リサンプリング部１３２は、位置決定部１３１に続いて機能する。
リサンプリング部１３２は、各パーティクルｓ_t ¹〜ｓ_t ^Nに割り当てられた重みを用いて、より大きい重みのパーティクルｓ_tほど、その周囲により多くのパーティクルが配置するように各矩形領域ｂ_t ¹〜ｂ_t ^Nをリサンプリングする。 [Resampling unit 132]
The resampling unit 132 functions following the position determining unit 131.
Resampling unit 132, by using the weight assigned to each particle s _{_t} ¹ ~s _t ^N, the more the particle s _t a greater weight, each rectangular area b _t ¹ as many particles by around to place Resample ~ b _t ^N.

これによって、重みが低くなるような矩形領域や追跡器は淘汰されていく。
具体的に、リサンプリング部１３２は、累積重み曲線を用いて乱数に基づいて、パーティクルの再配置・再構成を行うルーレット選択を用いることができる（例えば非特許文献７参照）。 As a result, the rectangular area and the tracker whose weight is lowered are deceived.
Specifically, the resampling unit 132 can use roulette selection that rearranges and reconstructs particles based on random numbers using a cumulative weight curve (see, for example, Non-Patent Document 7).

以上、詳細に説明したように、本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態（物***置）のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。 As described above in detail, according to the object tracking program, apparatus and method of the present invention, the corresponding tracker is determined as the optimal estimator by determining the optimal particle without estimating the accuracy of the tracker. Can be estimated.
That is, the tracking accuracy can be improved by increasing the number of particles in the state (object position) without explicitly setting an optimal tracker among a plurality of trackers. That is, the tracker is indirectly estimated according to the state estimation result.

尚、本発明によれば、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システムや、商店街や商業・サービス施設内における人物の入店、休憩、観戦・イベント参加や移動の状況を調査するためのマーケティング調査システム等、様々なアプリケーションに適用可能である。また、本発明は、ヒューマンコンピュータインタラクションや、ロボティクス等の技術分野についても、例えば、ロボット側の物体認識能力を大きく向上させることができる。 In addition, according to the present invention, for example, a monitoring system for monitoring a place where a large number of persons move, stay, and go in and out, a person entering a store, a break, a watching / event It can be applied to various applications such as a marketing research system for investigating the status of participation and movement. Further, the present invention can greatly improve the object recognition capability on the robot side, for example, in technical fields such as human computer interaction and robotics.

以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 For the various embodiments of the present invention described above, various changes, modifications, and omissions in the technical idea and scope of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.

１物体追跡装置
１Ａ通信インタフェース
１Ｂ画像蓄積部
１Ｃ記憶部
１Ｄ制御部
１Ｅアプリケーション
１０特徴量抽出部
１１１応答マップ生成部
１１２追跡モード判定部
１１３追跡信頼度判定部
１２１パーティクル生成部
１２２状態予測部
１２３重み更新部
１３１位置決定部
１３２リサンプリング部
１４追跡器記憶部
１５相関フィルタ学習部
２カメラ

DESCRIPTION OF SYMBOLS 1 Object tracking apparatus 1A Communication interface 1B Image storage part 1C Storage part 1D Control part 1E Application 10 Feature quantity extraction part 111 Response map generation part 112 Tracking mode determination part 113 Tracking reliability determination part 121 Particle generation part 122 State prediction part 123 Weight Update unit 131 Position determination unit 132 Resampling unit 14 Tracker storage unit 15 Correlation filter learning unit 2 Camera

Claims

追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置に搭載されたコンピュータを機能させる物体追跡プログラムにおいて、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
前記重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
してコンピュータを機能させることを特徴とする物体追跡プログラム。 For a time-series image group in which an object to be tracked is reflected, for each image, in an object tracking program that causes a computer mounted on a device that repeats determination of an image area related to the object to function,
Particle _{_{s t = (b t, tkr}} t) in association tracker tkr _t in the rectangular area b _t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b _t ¹ ~b _t ^N of the time t, while the sampling for the M maxima p ₁ ~p _M in response map Y, each rectangular area b _t ¹ ~b _t in ^N, it generates a particle s _t ¹ ~s _t ^N by assigning any one from among the candidates given tracker, the respective particles s _t ¹ ~s _t ^N, each rectangular area b _t ¹ ~b _a particle generation means for assigning a response map value based on _t ^N as a weight;
An object tracking program that causes a computer to function as position determining means for determining the particle s _t having the maximum weight.

前記パーティクル生成手段は、応答マップＹの中で、最大の極大値から降順にM個の極大値ｐ₁〜ｐ_Mに対して、混合正規分布によって矩形領域ｂ_t ¹〜ｂ_t ^Nをサンプリングする
ようにコンピュータを機能させることを特徴とする請求項１に記載の物体追跡プログラム。 In the response map Y, the particle generating means samples the rectangular regions b _t ^{1 to} b _t ^N by a mixed normal distribution with respect to _M maximum values p _{1 to} p M in descending order from the maximum maximum value. The object tracking program according to claim 1, wherein the computer functions as described above.

前記パーティクル生成手段における前記所定の追跡器の候補は、
現在時刻に任意に割り当てられたM個の現在追跡器tkr_t ¹〜tkr_t ^M、又は、
過去時刻に決定されたパーティクルｓ^₁〜ｓ^_t-1に基づく過去追跡器tkr^₁〜tkr^_t-1
であるようにコンピュータを機能させることを特徴とする請求項１又は２に記載の物体追跡プログラム。 The predetermined tracker candidate in the particle generation means is:
Current tracker of M assigned arbitrarily to the current time tkr _{_t} ¹ ~tkr _t ^M, or,
Past tracker tkr based particle s ^ _₁ ~s ^ _{_t-1} determined in the past time ^ _₁ ~tkr ^ _{_t-1}
The object tracking program according to claim 1, wherein the computer is caused to function as follows.

前記パーティクル生成手段は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定し、平均μとなるようにベルヌーイ分布によって出力される２値ｕ∈{0,1}に基づいて、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てるかを決定する
ようにコンピュータを機能させることを特徴とする請求項３に記載の物体追跡プログラム。 The particle generation means sets μ = 0 when using only the current tracker, μ = 1 when using only the past tracker, and presets 0 ≦ μ ≦ 1 so that the average μ is obtained. Characterizing the computer to determine whether to assign from the current tracker or from the past tracker based on the binary uε {0,1} output by the Bernoulli distribution The object tracking program according to claim 3.

前記パーティクル生成手段は、
前記過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
前記現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
ようにコンピュータを機能させることを特徴とする請求項３又は４に記載の物体追跡プログラム。 The particle generating means
When using the past tracker, select one tracker with a uniform distribution or an optimized distribution from a plurality of past trackers,
5. The computer according to claim 3, wherein when the current tracker is used, the computer is operated to select any one tracker from the M current trackers in a uniform distribution. Object tracking program.

前記パーティクル生成手段について、前記重みは、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値である
ようにコンピュータを機能させることを特徴とする請求項１から５のいずれか１項に記載の物体追跡プログラム。 For the particle generation means, the weight is a value of a response map at a relative position between the rectangular areas b _t ^{1 to} b _t ^N at time t and the rectangular area b ^ _{t-1 at} time t-1. The object tracking program according to claim 1, wherein:

前記パーティクル生成手段は、モードを、パーティクルフィルタモードへ移行させると共に、パーティクルフィルタモードである場合には機能しないものであり、
前記応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
前記追跡モード判定手段は、前記パーティクルフィルタモードである場合、前記応答マップにおける加重分散varが第１の所定閾値以下であれば、前記パーティクルフィルタモードを解除する
ようにコンピュータを機能させることを特徴とする請求項１から６のいずれか１項に記載の物体追跡プログラム。 The particle generating means shifts the mode to the particle filter mode and does not function in the particle filter mode.
The computer further functions as a tracking mode determination unit that functions in the next stage of the response map generation unit,
The tracking mode determination unit, when in the particle filter mode, causes the computer to function to cancel the particle filter mode if the weighted variance var in the response map is equal to or less than a first predetermined threshold. The object tracking program according to any one of claims 1 to 6.

時刻tの応答マップＹについて追跡信頼度が所定条件に基づいて低いか否かを判定する追跡信頼度判定手段としてコンピュータを更に機能させ、
前記パーティクル生成手段は、前記追跡信頼度判定手段によって真と判定された際に機能させる
ことを特徴とする請求項７に記載の物体追跡プログラム。 Further causing the computer to function as tracking reliability determination means for determining whether or not the tracking reliability is low based on a predetermined condition for the response map Y at time t;
8. The object tracking program according to claim 7, wherein the particle generation unit functions when it is determined to be true by the tracking reliability determination unit.

前記追跡信頼度判定手段は、時刻tの応答マップＹの最大値を追跡信頼度とし、前記所定条件として前記最大値が所定閾値未満である場合に、前記追跡信頼度が低いと判定する
ようにコンピュータを機能させることを特徴とする請求項８に記載の物体追跡プログラム。 The tracking reliability determination means sets the maximum value of the response map Y at time t as the tracking reliability, and determines that the tracking reliability is low when the maximum value is less than a predetermined threshold as the predetermined condition. 9. The object tracking program according to claim 8, which causes a computer to function.

前記パーティクル生成手段に続いて、又は、パーティクルフィルタモードが維持された前記追跡モード判定手段に続いて機能する状態予測手段を更に有し、
前記状態予測手段は、時刻t-1の矩形領域ｂ_t-1 ¹〜ｂ_t-1 ^Nから、各パーティクルｓ_t ¹〜ｓ_t ^Nの矩形領域ｂ_t ¹〜ｂ_t ^Nへの遷移が、正規分布に基づくと仮定して、矩形領域ｂ_t ¹〜ｂ_t ^Nの位置を予測して遷移させる
ようにコンピュータを機能させることを特徴とする請求項９に記載の物体追跡プログラム。 A state prediction unit that functions following the particle generation unit or following the tracking mode determination unit in which the particle filter mode is maintained,
It said state predicting means, of the rectangular region _{^{b t-1 1 ~b t-}} 1 N time t-1, the transition to the rectangular area b _{_t} ¹ ~b _t ^N of each particle s _{_t} ¹ ~s _t ^N, The object tracking program according to claim 9, wherein the computer is caused to function so as to predict and change the positions of the rectangular regions b _t ^{1 to} b _t ^N on the assumption that the distribution is based on a normal distribution.

前記状態予測手段と前記位置決定手段との間で機能する重み更新手段として更に機能させ、
前記重み更新手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nの重みを、時刻tの各矩形領域ｂ_t ¹〜ｂ_t ^Nと時刻t-1の矩形領域ｂ^_t-1との相対位置における応答マップの値であるとして更新する
ようにコンピュータを機能させることを特徴とする請求項１０に記載の物体追跡プログラム。 Further function as a weight update unit that functions between the state prediction unit and the position determination unit,
Said weight updating means, the weight of each particle s _t ¹ ~s _t ^N, the relative position of the rectangular area b ^ _t-1 of each rectangular area b _t ¹ ~b _t ^N and time t-1 at time t The object tracking program according to claim 10, wherein the computer is made to function so as to be updated as the value of the response map.

前記位置決定手段に続いて機能するリサンプリング手段として更に機能させ、
前記リサンプリング手段は、各パーティクルｓ_t ¹〜ｓ_t ^Nに割り当てられた重みを用いて、より大きい重みのパーティクルｓ_tほど、その周囲により多くのパーティクルが配置するように各矩形領域ｂ_t ¹〜ｂ_t ^Nをリサンプリングする
ようにコンピュータを機能させることを特徴とする請求項１から１１のいずれか１項に記載の物体追跡プログラム。 Further function as resampling means that functions following the position determining means,
The resampling means, using the weight assigned to each particle s _{_t} ¹ ~s _t ^N, the more the particle s _t a greater weight, each rectangular area b _t ¹ as many particles by around to place The object tracking program according to claim 1, wherein the computer is caused to function to resample ˜b _t ^N.

追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す物体追跡装置において、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
前記重みが最大となるパーティクルｓ^_tを決定する位置決定手段と
を有することを特徴とする物体追跡装置。 For a time-series image group in which an object to be tracked is reflected, for each image, in an object tracking device that repeats determination of an image area related to the object
Particle _{_{s t = (b t, tkr}} t) in association tracker tkr _t in the rectangular area b _t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b _t ¹ ~b _t ^N of the time t, while the sampling for the M maxima p ₁ ~p _M in response map Y, each rectangular area b _t ¹ ~b _t in ^N, it generates a particle s _t ¹ ~s _t ^N by assigning any one from among the candidates given tracker, the respective particles s _t ¹ ~s _t ^N, each rectangular area b _t ¹ ~b _a particle generation means for assigning a response map value based on _t ^N as a weight;
An object tracking device comprising position determining means for determining a particle s ^ _t having the maximum weight.

追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置の物体追跡方法において、
前記装置は、
時刻tにおける矩形領域ｂ_tに追跡器tkr_tを対応付けてパーティクルｓ_t＝(ｂ_t,tkr_t)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップＹを生成する第１のステップと、
時刻tのN個の各矩形領域ｂ_t ¹〜ｂ_t ^Nを、応答マップＹの中のM個の極大値ｐ₁〜ｐ_Mに対してサンプリングすると共に、各矩形領域ｂ_t ¹〜ｂ_t ^Nに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルｓ_t ¹〜ｓ_t ^Nを生成し、各パーティクルｓ_t ¹〜ｓ_t ^Nに、各矩形領域ｂ_t ¹〜ｂ_t ^Nに基づく応答マップの値を、重みとして割り当てる第２のステップと、
前記重みが最大となるパーティクルｓ^_tを決定する第３のステップと
を実行することを特徴とする物体追跡方法。

For a time-series image group in which an object to be tracked is reflected, for each image, in the object tracking method of the apparatus that repeats the determination of the image area related to the object,
The device is
Particle _{_{s t = (b t, tkr}} t) in association tracker tkr _t in the rectangular area b _t at time t expressed as,
For a search region based on the image region determined at time t-1, a first step of generating a response map Y at time t using a correlation filter;
N pieces each rectangular area b _t ¹ ~b _t ^N of the time t, while the sampling for the M maxima p ₁ ~p _M in response map Y, each rectangular area b _t ¹ ~b _t in ^N, generates a particle s _t ¹ ~s _t ^N assign any one from among the candidates given tracker, the respective particles s _t ¹ ~s _t ^N, each rectangular area b _t ¹ ~ a second step of assigning a value of the response map based on b _t ^N as a weight;
And a third step of determining a particle s _t having the maximum weight.