JP2018200628A - Object tracking program, device and method using particle assigned with arbitrary tracker - Google Patents
Object tracking program, device and method using particle assigned with arbitrary tracker Download PDFInfo
- Publication number
- JP2018200628A JP2018200628A JP2017105746A JP2017105746A JP2018200628A JP 2018200628 A JP2018200628 A JP 2018200628A JP 2017105746 A JP2017105746 A JP 2017105746A JP 2017105746 A JP2017105746 A JP 2017105746A JP 2018200628 A JP2018200628 A JP 2018200628A
- Authority
- JP
- Japan
- Prior art keywords
- particle
- tracker
- time
- response map
- rectangular area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 239000002245 particle Substances 0.000 title claims abstract description 177
- 238000000034 method Methods 0.000 title claims abstract description 31
- 230000004044 response Effects 0.000 claims abstract description 70
- 230000006870 function Effects 0.000 claims description 49
- 238000009826 distribution Methods 0.000 claims description 32
- 238000005070 sampling Methods 0.000 claims description 12
- 238000012952 Resampling Methods 0.000 claims description 10
- 238000009827 uniform distribution Methods 0.000 claims description 9
- 230000008859 change Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 238000003860 storage Methods 0.000 description 22
- 238000012545 processing Methods 0.000 description 16
- 230000008569 process Effects 0.000 description 14
- 238000010586 diagram Methods 0.000 description 12
- 238000000605 extraction Methods 0.000 description 10
- 239000011159 matrix material Substances 0.000 description 5
- 238000000342 Monte Carlo simulation Methods 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 2
- 238000004891 communication Methods 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 238000000513 principal component analysis Methods 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 238000005295 random walk Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
Images
Landscapes
- Image Analysis (AREA)
Abstract
Description
本発明は、追跡対象の物体が映る時系列の画像群を解析して、当該物体を追跡する物体追跡技術に関する。 The present invention relates to an object tracking technique for analyzing a time-series image group in which an object to be tracked is reflected and tracking the object.
物体追跡は、監視カメラ、ヒューマンコンピュータインタラクションや、ロボティクス等における基礎技術である。時系列の画像群が入力されると、初期フレーム(画像)について追跡対象の物体が映る画像領域が決定され、それ以降のフレームではその画像領域が順次求められる。
物体追跡技術は、コンピュータビジョン分野の中でも最も実施困難な問題の1つである。物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、正確に物体を追跡できるべく、高いロバスト性が要求される。
Object tracking is a basic technology in surveillance cameras, human computer interaction, robotics, and the like. When a time-series image group is input, an image area in which an object to be tracked is displayed for an initial frame (image) is determined, and the image areas are sequentially obtained in subsequent frames.
Object tracking technology is one of the most difficult problems to implement in the computer vision field. Even when an object is shielded / rotated / deformed or an image is shaken / changed in brightness, high robustness is required to accurately track the object.
近年、パーティクルフィルタを用いた物体追跡技術が広く利用されてきている。
「パーティクルフィルタ」とは、時間変化する観測対象の状態を推定する時系列フィルタの一種である。これは、複数のパーティクルを用いたモンテカルロ法によって、事前分布と事後分布とを近似することによって、「状態」を推定する。即ち、状態を、「物体の位置」と定義し、時間毎にその状態(位置)を推定することによって、物体を追跡する。
In recent years, an object tracking technique using a particle filter has been widely used.
A “particle filter” is a type of time-series filter that estimates the state of an observation target that changes over time. In this method, the “state” is estimated by approximating the prior distribution and the posterior distribution by the Monte Carlo method using a plurality of particles. That is, the state is defined as “the position of the object”, and the state is tracked by estimating the state (position) every time.
従来、パーティクルフィルタを用いた物体追跡技術として、単一ではなく複数の追跡器を用いて、追跡対象の見えや動きの変化に対するロバスト性を高めた技術がある(例えば非特許文献1参照)。この技術によれば、具体的には、事後分布を、追跡器の項と、状態の項とに分解する。最初に、最適な追跡器をモンテカルロ法によって推定し、次に、推定された追跡器を用いて状態を推定する。 Conventionally, as an object tracking technique using a particle filter, there is a technique that uses a plurality of trackers instead of a single one to improve robustness against changes in the appearance and movement of a tracking target (see, for example, Non-Patent Document 1). Specifically, according to this technique, the posterior distribution is decomposed into a tracker term and a state term. First, the optimal tracker is estimated by the Monte Carlo method, and then the state is estimated using the estimated tracker.
前述した非特許文献1に記載の技術によれば、物体が映る画像領域に係る追跡器は、評価用の指標に基づいて推定されるものであり、その指標は、予めオペレータによって設定されたものである。即ち、追跡器の推定精度は、その設定に大きく依存する。その設定によっては、状態(物***置)のパーティクルの数を増加させたとしても、結果的に、追跡器の推定精度を高めることはできない。
According to the technique described in Non-Patent
そこで、本発明は、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる物体追跡プログラム、装置及び方法を提供することを目的とする。 Therefore, the present invention provides an object tracking program, apparatus, and method capable of estimating a corresponding tracker as an optimal estimator by determining optimal particles without estimating the accuracy of the tracker. Objective.
本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置に搭載されたコンピュータを機能させる物体追跡プログラムにおいて、
時刻tにおける矩形領域btに追跡器tkrtを対応付けてパーティクルst=(bt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップYを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域bt 1〜bt Nを、応答マップYの中のM個の極大値p1〜pMに対してサンプリングすると共に、各矩形領域bt 1〜bt Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルst 1〜st Nを生成し、各パーティクルst 1〜st Nに、各矩形領域bt 1〜bt Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルs^tを決定する位置決定手段と
してコンピュータを機能させることを特徴とする。
According to the present invention, for a time-series image group in which an object to be tracked is reflected, for each image, in an object tracking program for causing a computer mounted on a device that repeats determination of an image area related to the object to function,
Particle s t = (b t, tkr t) in association tracker tkr t in the rectangular area b t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b t 1 ~b t N of the time t, while the sampling for the M maxima p 1 ~p M in response map Y, each rectangular area b t 1 ~b t in N, it generates a particle s t 1 ~s t N by assigning any one from among the candidates given tracker, the respective particles s t 1 ~s t N, each rectangular area b t 1 ~b a particle generation means for assigning a response map value based on t N as a weight;
The computer is made to function as a position determining means for determining the particle s ^ t having the maximum weight.
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、応答マップYの中で、最大の極大値から降順にM個の極大値p1〜pMに対して、混合正規分布によって矩形領域bt 1〜bt Nをサンプリングする
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
In the response map Y, the particle generating means samples the rectangular regions b t 1 to b t N by a mixed normal distribution with respect to M maximum values p 1 to p M in descending order from the maximum maximum value. It is also preferable to make the computer function.
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段における所定の追跡器の候補は、
現在時刻に任意に割り当てられたM個の現在追跡器tkrt 1〜tkrt M、又は、
過去時刻に決定されたパーティクルs^1〜s^t-1に基づく過去追跡器tkr^1〜tkr^t-1
であるようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
Predetermined tracker candidates in the particle generator are:
Current tracker of M assigned arbitrarily to the current time tkr t 1 ~tkr t M, or,
Past tracker tkr based particle s ^ 1 ~s ^ t-1 determined in the past time ^ 1 ~tkr ^ t-1
It is also preferable to make the computer function so that
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定し、平均μとなるようにベルヌーイ分布によって出力される2値u∈{0,1}に基づいて、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てるかを決定する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
The particle generation means sets μ = 0 when only the current tracker is used, μ = 1 when only the past tracker is used, and presets 0 ≦ μ ≦ 1, and Bernoulli so that the average μ is obtained. It is also preferred to have the computer function to determine whether to assign from the current tracker or from the past tracker based on the binary uε {0,1} output by the distribution.
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、
過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
The particle generation means
When using a past tracker, select one tracker with a uniform distribution or an optimized distribution from multiple past trackers,
When using a current tracker, it is also preferable to have the computer function to select any one tracker from the M current trackers in a uniform distribution.
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段について、重みは、時刻tの各矩形領域bt 1〜bt Nと時刻t-1の矩形領域b^t-1との相対位置における応答マップの値である
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
For the particle generation means, the computer functions so that the weight is the value of the response map at the relative position of each rectangular area b t 1 to b t N at time t and the rectangular area b ^ t-1 at time t-1. It is also preferable that
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段は、モードを、パーティクルフィルタモードへ移行させると共に、パーティクルフィルタモードである場合には機能しないものであり、
応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
追跡モード判定手段は、パーティクルフィルタモードである場合、応答マップにおける加重分散varが第1の所定閾値以下であれば、パーティクルフィルタモードを解除する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
The particle generation means shifts the mode to the particle filter mode and does not function in the particle filter mode.
Further function the computer as a tracking mode determination unit that functions in the next stage of the response map generation unit,
In the case of the particle filter mode, the tracking mode determination means preferably causes the computer to function so as to cancel the particle filter mode if the weighted variance var in the response map is equal to or less than the first predetermined threshold.
本発明の物体追跡プログラムにおける他の実施形態によれば、
時刻tの応答マップYについて追跡信頼度が所定条件に基づいて低いか否かを判定する追跡信頼度判定手段としてコンピュータを更に機能させ、
パーティクル生成手段は、追跡信頼度判定手段によって真と判定された際に機能させる
ことも好ましい。
According to another embodiment of the object tracking program of the present invention,
Further causing the computer to function as tracking reliability determination means for determining whether or not the tracking reliability is low based on a predetermined condition for the response map Y at time t;
It is also preferable that the particle generation unit function when it is determined to be true by the tracking reliability determination unit.
本発明の物体追跡プログラムにおける他の実施形態によれば、
追跡信頼度判定手段は、時刻tの応答マップYの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
The tracking reliability determination means sets the maximum value of the response map Y at time t as the tracking reliability, and causes the computer to determine that the tracking reliability is low when the maximum value is less than a predetermined threshold as a predetermined condition. It is also preferable.
本発明の物体追跡プログラムにおける他の実施形態によれば、
パーティクル生成手段に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定手段に続いて機能する状態予測手段を更に有し、
状態予測手段は、時刻t-1の矩形領域bt-1 1〜bt-1 Nから、各パーティクルst 1〜st Nの矩形領域bt 1〜bt Nへの遷移が、正規分布に基づくと仮定して、矩形領域bt 1〜bt Nの位置を予測して遷移させる
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
It further has a state prediction means that functions following the particle generation means or following the tracking mode determination means in which the particle filter mode is maintained,
State predicting means, from a rectangular region of the time t-1 b t-1 1 ~b t-1 N, the transition to the rectangular area b t 1 ~b t N of each particle s t 1 ~s t N, normal Assuming that it is based on the distribution, it is also preferable to cause the computer to function so as to predict and change the positions of the rectangular regions b t 1 to b t N.
本発明の物体追跡プログラムにおける他の実施形態によれば、
状態予測手段と位置決定手段との間で機能する重み更新手段として更に機能させ、
重み更新手段は、各パーティクルst 1〜st Nの重みを、時刻tの各矩形領域bt 1〜bt Nと時刻t-1の矩形領域b^t-1との相対位置における応答マップの値であるとして更新する
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
Further function as weight updating means that functions between the state prediction means and the position determination means,
Weight updating means, responsive in the relative positions of the weight of each particle s t 1 ~s t N, the rectangular area b ^ t-1 of each rectangular area b t 1 ~b t N and time t-1 at time t It is also preferred to have the computer function to update it as a map value.
本発明の物体追跡プログラムにおける他の実施形態によれば、
位置決定手段に続いて機能するリサンプリング手段として更に機能させ、
リサンプリング手段は、各パーティクルst 1〜st Nに割り当てられた重みを用いて、より大きい重みのパーティクルstほど、その周囲により多くのパーティクルが配置するようにパーティクルst 1〜st Nをリサンプリングする
ようにコンピュータを機能させることも好ましい。
According to another embodiment of the object tracking program of the present invention,
Further function as resampling means that functions after the position determining means,
Resampling means, using the weight assigned to each particle s t 1 ~s t N, the more the particle s t a greater weight, the particle s t 1 as many particles by its periphery arranged ~s t It is also preferred to have the computer function to resample N.
本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す物体追跡装置において、
時刻tにおける矩形領域btに追跡器tkrtを対応付けてパーティクルst=(bt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップYを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域bt 1〜bt Nを、応答マップYの中のM個の極大値p1〜pMに対してサンプリングすると共に、各矩形領域bt 1〜bt Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルst 1〜st Nを生成し、各パーティクルst 1〜st Nに、各矩形領域bt 1〜bt Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
重みが最大となるパーティクルs^tを決定する位置決定手段と
を有することを特徴とする。
According to the present invention, for a time-series image group in which an object to be tracked is reflected, for each image, in the object tracking device that repeats determination of an image area related to the object,
Particle s t = (b t, tkr t) in association tracker tkr t in the rectangular area b t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b t 1 ~b t N of the time t, while the sampling for the M maxima p 1 ~p M in response map Y, each rectangular area b t 1 ~b t in N, it generates a particle s t 1 ~s t N by assigning any one from among the candidates given tracker, the respective particles s t 1 ~s t N, each rectangular area b t 1 ~b a particle generation means for assigning a response map value based on t N as a weight;
And position determining means for determining the particle s ^ t having the maximum weight.
本発明によれば、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体に係る画像領域の決定を繰り返す装置の物体追跡方法において、
装置は、
時刻tにおける矩形領域btに追跡器tkrtを対応付けてパーティクルst=(bt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップYを生成する第1のステップと、
時刻tのN個の各矩形領域bt 1〜bt Nを、応答マップYの中のM個の極大値p1〜pMに対してサンプリングすると共に、各矩形領域bt 1〜bt Nに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルst 1〜st Nを生成し、各パーティクルst 1〜st Nに、各矩形領域bt 1〜bt Nに基づく応答マップの値を、重みとして割り当てる第2のステップと、
重みが最大となるパーティクルs^tを決定する第3のステップと
を実行することを特徴とする。
According to the present invention, for a time-series image group in which an object to be tracked is reflected, for each image, in the object tracking method of the apparatus that repeats the determination of the image area related to the object,
The device
Particle s t = (b t, tkr t) in association tracker tkr t in the rectangular area b t at time t expressed as,
For a search region based on the image region determined at time t-1, a first step of generating a response map Y at time t using a correlation filter;
N pieces each rectangular area b t 1 ~b t N of the time t, while the sampling for the M maxima p 1 ~p M in response map Y, each rectangular area b t 1 ~b t in N, generates a particle s t 1 ~s t N assign any one from among the candidates given tracker, the respective particles s t 1 ~s t N, each rectangular area b t 1 ~ a second step of assigning a value of the response map based on b t N as a weight;
And a third step of determining a particle s ^ t having the maximum weight.
本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態(物***置)のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。
According to the object tracking program, apparatus and method of the present invention, the corresponding tracker can be estimated as the optimal estimator by determining the optimal particle without estimating the accuracy of the tracker.
That is, the tracking accuracy can be improved by increasing the number of particles in the state (object position) without explicitly setting an optimal tracker among a plurality of trackers. That is, the tracker is indirectly estimated according to the state estimation result.
以下、本発明の実施形態について、図面を用いて詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
図1は、物体追跡システムの構成図である。 FIG. 1 is a configuration diagram of an object tracking system.
図1によれば、物体追跡システムは、物体追跡装置1と1台以上のカメラ2とが、ネットワークを介して接続されている。
各カメラ2は、追跡対象の物体を撮影可能であり、撮影した映像(時系列の画像群)を、物体追跡装置1へ送信する。カメラ2は、例えば、CCDイメージセンサやCMOSイメージセンサのような固体撮像素子を備えた可視光、近赤外線又は赤外線対応の撮影デバイスである。勿論、カメラ2は、各画素のデプス値を出力するデプスカメラであってもよい。
Referring to FIG. 1, the object tracking system includes an
Each
カメラ2は、物体追跡装置1との間で、例えば無線LANや有線LANのように直接的に接続されるものであってもよいし、例えばアクセスネットワーク及びインターネットを介して接続されるものであってもよい。アクセスネットワークとしては、無線系のLTE(Long Term Evolution)、WiMAX(Worldwide Interoperability for Microwave Access)又は3G(3rd Generation)であってもよいし、有線系の光ファイバ網やADSL(Asymmetric Digital Subscriber Line)であってもよい。
尚、別途備えられたカメラ制御装置(図示なし)が、複数のカメラ2から出力された映像を収集し、その映像を物体追跡装置1へリアルタイムに又はバッチ的に送信するものであってもよい。
The
A separately provided camera control device (not shown) may collect video output from the plurality of
ここで、追跡対象となる物体は、例えば人物、動物、乗り物のような移動可能な物理対象である。撮影場所も、特に限定されることなく、屋外でも屋内でもよい。また、追跡対象となり得る物体は、複数であってもよく、同行したり互いにすれ違ったり、撮影範囲の内外に移動するものであってもよい。 Here, the object to be tracked is a movable physical object such as a person, an animal, or a vehicle. The shooting location is not particularly limited and may be outdoor or indoor. There may be a plurality of objects that can be tracked, and they may accompany, pass each other, or move in and out of the shooting range.
<物体追跡装置1>
物体追跡装置1は、カメラ2から映像(時系列の画像群)を受信する。そして、物体追跡装置1は、追跡対象の物体が映る時系列の画像群について、画像毎に、当該物体が映る画像領域の決定を繰り返す。そして、決定された画像領域から、追跡対象を分析する。
このとき、追跡に失敗する可能性の高まる状況、例えば、追跡対象の物体の遮蔽・回転・変形や、画像のブレ・輝度変化が生じた場合でも、当該物体の位置を予測しながら、複数候補の画像領域(複数の仮説、パーティクル)を決定する。それら画像領域から、当該物体を検出し、その移動を追跡する。
<
The
At this time, even if a situation where the possibility of tracking failure increases, for example, when an object to be tracked is shielded / rotated / deformed or image blur / brightness change occurs, multiple candidates are predicted while predicting the position of the object. Image regions (multiple hypotheses, particles) are determined. The object is detected from these image areas, and its movement is tracked.
物体追跡装置1は、カメラ2から受信した画像内に張られた画像座標系x-yでの位置座標(x, y)を、実空間に張られた世界座標系Gx-Gy-Gzでの位置座標(gx, gy, gz)へ変換する(座標変換操作)。そして、追跡対象の物体が映る画像から、実空間での位置やその変移分等の位置を算出する。例えば、前時刻t−1における追跡対象の物体の画像内の位置(x, y)が、現在時刻tにおける位置(x', y')へ変化した場合、この物体は、実空間(観測対象空間)について、前時刻t−1での位置(gx, gy, gz)から、現在時刻tでの位置(gx', gy', gz')へ移動したことが推定される。
The
尚、カメラ2が、設置位置や、撮影向き、高さを変更可能なものである場合、画像座標系から世界座標系への座標変換は、予めキャリブレーションによって、カメラ2についての設置位置及び撮影向きに係る外部パラメータを設定しておく。
When the
図2は、本発明における物体追跡装置の機能構成図である。 FIG. 2 is a functional configuration diagram of the object tracking apparatus according to the present invention.
図2によれば、物体追跡装置1は、大きく以下の機能を有する。
カメラ2と通信可能な通信インタフェース1A
カメラ2から受信した時系列の画像群を記憶する画像蓄積部1B
物体追跡用の情報を記憶した記憶部1C
物体追跡処理を実行する制御部1D
物体追跡結果を利用するアプリケーション1E
According to FIG. 2, the
An
記憶部1Cは、物体領域蓄積部と、追跡モード蓄積部と、回帰パラメータ列蓄積部と、テンプレート列蓄積部と、信頼度列蓄積部と、信頼度比列蓄積部とを有する。
物体領域蓄積部は、重みが最大のパーティクルの位置及び矩形を記憶する。
追跡モード蓄積部は、各時刻における追跡モードを記憶する。
回帰パラメータ列蓄積部は、各時刻における相関フィルタのパラメータαを記憶する。
テンプレート列蓄積部には、時刻毎に、追跡対象の物体が映る画像を記憶する。
信頼度列蓄積部及び信頼度比列蓄積部は、後述する過去の追跡器の信頼度列及び信頼度比列を記憶する。
制御部1Dは、カメラ2から受信した映像(画像群)について、時系列に、画像毎に物体追跡処理を繰り返す。
アプリケーション1Eは、画像と、矩形領域とを用いて処理する。
The
The object region storage unit stores the position and rectangle of the particle having the maximum weight.
The tracking mode storage unit stores the tracking mode at each time.
The regression parameter string storage unit stores the correlation filter parameter α at each time.
The template string storage unit stores an image showing an object to be tracked for each time.
The reliability sequence accumulating unit and the reliability ratio sequence accumulating unit store a reliability sequence and reliability ratio sequence of a past tracker described later.
The
The
図3は、本発明の物体追跡処理を表す基本的フローチャートである。 FIG. 3 is a basic flowchart showing the object tracking processing of the present invention.
図3によれば、制御部1Dは、特徴量抽出部10と、応答マップ生成部111と、パーティクル生成部121と、位置決定部131と、追跡器記憶部14と、相関フィルタ学習部15とを有する。
これら機能構成部は、物体追跡装置1に搭載されたコンピュータによって機能されるプログラムを実行することによって実現される。また、これら機能構成部の処理の流れは、物体追跡方法としても理解できる。
According to FIG. 3, the
These functional components are realized by executing a program that functions by a computer mounted on the
[特徴量抽出部10]
特徴量抽出部10は、画像毎に、学習した物体識別器によって、追跡対象の物体に対応する特徴量Zを出力する。例えば人物を追跡対象とする場合、物体識別器は、人物検出用に学習したものである。
[Feature Extraction Unit 10]
The feature
物体検出のためには、例えばHOG(Histograms of Oriented Gradients)特徴量を用いることも好ましい(例えば非特許文献2参照)。HOG特徴量は、画像の局所領域における輝度の勾配方向をヒストグラム化し、各度数を成分としたベクトル量である。 For object detection, it is also preferable to use, for example, HOG (Histograms of Oriented Gradients) feature quantities (see, for example, Non-Patent Document 2). The HOG feature amount is a vector amount having a histogram of luminance gradient directions in a local region of an image and using each frequency as a component.
図4は、特徴量抽出部の処理を表す説明図である。 FIG. 4 is an explanatory diagram illustrating processing of the feature amount extraction unit.
図4によれば、時刻tの画像otについて、時刻t−1で推定された矩形領域b^t-1の中心を固定したまま、当該画像領域を定数倍(例えば2倍)に拡大したものを、「b^tの中心探索領域」に設定している。
そして、特徴量抽出部10は、この「探索領域」内の画像についての特徴量Zを抽出する。この特徴量Zは、例えばHOG特徴量に対して公知の主成分分析(PCA)(例えば非特許文献3参照)によって次元削減処理を施したものであってもよい。
According to FIG. 4, with respect to the image o t at time t, the image area is enlarged by a constant (for example, twice) while the center of the rectangular area b ^ t-1 estimated at time t−1 is fixed. Is set as the “b ^ t center search area”.
Then, the feature
追跡対象となる物体が検出された画像領域は、矩形に設定される。勿論、矩形以外の形状であってもよい。時刻tに、物体が映る画像の矩形領域を、bt(bounding box)と定義する。
bt=(x, y, w, h)∈R4
x:画像座標系x-yにおける画像領域矩形の左上の頂点のx座標
y:画像座標系x-yにおける画像領域矩形の左上の頂点のy座標
(尚、x軸正方向が右向き、y軸正方向が下向きであるとする)
w:当該矩形の横幅
h:当該矩形の縦幅(高さ)
また、観測結果を画像と定義して、時刻tまでの観測を、以下のように画像oの群であるとする。
ot=(o1, o2, ・・・, ot-1, ot)
更に、時刻tで推定された矩形領域b^tを、以下のように表す。
b^t=(x^t, y^t, w^t, h^t)
尚、追跡対象物体が映る画像の矩形領域b^tは、逐次、物体領域蓄積部に記憶される。
An image area where an object to be tracked is detected is set to a rectangle. Of course, shapes other than a rectangle may be sufficient. A rectangular area of an image in which an object is reflected at time t is defined as b t (bounding box).
b t = (x, y, w, h) ∈R 4
x: x coordinate of the top left vertex of the image area rectangle in the image coordinate system xy
y: y coordinate of the upper left vertex of the image area rectangle in the image coordinate system xy
(It is assumed that the positive x-axis direction is right and the positive y-axis direction is downward)
w: width of the rectangle
h: Vertical width (height) of the rectangle
Further, an observation result is defined as an image, and an observation up to time t is assumed to be a group of images o as follows.
o t = (o 1 , o 2 , ..., o t-1 , o t )
Further, the rectangular area b ^ t estimated at time t is expressed as follows.
b ^ t = (x ^ t , y ^ t , w ^ t , h ^ t )
Note that the rectangular area b ^ t of the image showing the tracking target object is sequentially stored in the object area storage unit.
[応答マップ生成部111]
応答マップ生成部111は、時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップYを生成する。
[Response map generator 111]
The response
図5は、応答マップ生成部の処理を表す説明図である。 FIG. 5 is an explanatory diagram illustrating processing of the response map generation unit.
図5によれば、応答マップYは、特徴量抽出部10によって抽出された特徴量Zに対し、ベースサンプルXを用いたカーネル化処理と、学習済みのパラメータαの積算処理とを実行することによって、応答マップYを算出する。応答マップYは、以下のように表される。
Y=F-1(k^XZ○α^)
F-1:逆フーリエ変換の関数
k:ガウシアンカーネル
^:ベクトルのフーリエ変換
○:ベクトルの要素毎の積
X:ベースサンプル
Z:HOG特徴量
α:学習済みのパラメータ
According to FIG. 5, the response map Y performs a kernelization process using the base sample X and a learned parameter α integration process on the feature quantity Z extracted by the feature
Y = F −1 (k ^ XZ ○ α ^)
F -1 : function of inverse Fourier transform
k: Gaussian kernel
^: Fourier transform of vector
Y: Product for each vector element
X: Base sample
Z: HOG feature
α: Trained parameter
パラメータαは、後述する相関フィルタ学習部15によって算出されたものであり、KCF(Kernelized Correlation Filter)に基づくものである(例えば非特許文献4参照)。これは、例えば行列の巡回性、フーリエ変換及びカーネルトリックを用いたものである。
ベースサンプルXは、例えば時刻t−1で決定された矩形領域b^t-1の画像とすることができる。
The parameter α is calculated by a correlation
The base sample X can be, for example, an image of the rectangular area b ^ t−1 determined at time t−1.
フーリエ変換前のX,Z間のカーネルkXZは、以下のようにガウシアンカーネルとして算出される。
kXZ=exp(−1/σ2(||X||2+||Z||2−2F-1(ΣcX^* c○Z^c)))
下付きc:HOG特徴量におけるチャネル成分
Xc:HOG特徴量ベクトルXのcチャネル成分
上付き*:複素共役
Σc:c(チャネル)についての総和(summation)
The kernel k XZ between X and Z before Fourier transform is calculated as a Gaussian kernel as follows.
k XZ = exp (−1 / σ 2 (|| X || 2 + || Z || 2 −2F −1 (Σ c X ^ * c ○ Z ^ c ))
Subscript c: Channel component in HOG feature
X c : c channel component of HOG feature vector X
Superscript *: Complex conjugate
Σ c : summation about c (channel)
このように算出された応答マップYは、図4の中心探索領域上の各位置における応答値となる。 The response map Y calculated in this way is a response value at each position on the center search region in FIG.
尚、実装上、応答マップYの生成の際に実行されるフーリエ変換及び逆フーリエ変換は、FFT(Fast Fourier Transform)及びIFFT(Inverse FFT)アルゴリズムを用いて高速に処理される。 In terms of implementation, Fourier transform and inverse Fourier transform executed when generating the response map Y are processed at high speed using an FFT (Fast Fourier Transform) and IFFT (Inverse FFT) algorithm.
[パーティクル生成部121]
<1.パーティクルの定義>
本発明によれば、時刻tにおける矩形領域btに追跡器tkrtを対応付けた、パーティクルst=(bt,tkrt)と定義する。
st=(bt,tkrt):パーティクル(状態)
bt=(xt, yt, wt, ht)∈R4:矩形領域
tkrt∈N
N:追跡器の数
これによって、各パーティクルで別々の追跡器を用いて追跡することができる。bt及びtrktはそれぞれ、別の方法でサンプリングした後、連結させて、1つのパーティクルstを生成する。
[Particle generator 121]
<1. Particle Definition>
According to the present invention, associating a tracking device tkr t in the rectangular area b t at time t, the particle s t = (b t, tkr t) is defined as.
s t = (b t , tkr t ): Particle (state)
b t = (x t , y t , w t , h t ) ∈R 4 : rectangular area
tkr t ∈ N
N: Number of trackers This allows each particle to be tracked using a separate tracker. b t and trk t respectively, after sampling in a different way, by connecting, to produce a single particle s t.
<2.矩形領域btのサンプリング>
パーティクル生成部121は、応答マップY(x,y)の中から、M個の極大値p1〜pMの集合を、大きいものから順(降順)に導出する。
p=(x,y):応答マップYの中の座標
これらM個の極大値の座標点の近辺の矩形領域には、追跡対象の物体が映っている可能性が高いと仮定する。
<2. Sampling of rectangular area b t >
The
p = (x, y): Coordinates in the response map Y It is assumed that there is a high possibility that the object to be tracked is reflected in the rectangular area in the vicinity of these M maximum coordinate points.
パーティクル生成部121は、これらの座標点の近辺にパーティクルが多く存在するようにサンプリングする。そのために、パーティクル生成部121は、応答マップYの中で、最大の極大値から降順にM個の極大値p1〜pMに対して、時刻tのN個の矩形領域bt 1〜bt Nをサンプリングする。具体的には、以下のように、混合正規分布に従ってパーティクルをサンプリングする。
P(bt│p1,p2,・・・,pM)=Σmπm N(bt;(pm,w^t-1,h^t-1),σ)
N:正規分布
Σ:分散共分散行列
σ:対角行列
これによって、以下のように表す。
diag(σ)=(w1/r,h1/r,0,0)
r:実数(r>0)
∀m,πm=1/Mとするのが、最も単純な方法であるが、各極大値の値に比例させてπmを変化させて設定してもよい。
The
P (b t | p 1 , p 2 ,..., P M ) = Σ m π m N (b t ; (p m , w ^ t−1 , h ^ t−1 ), σ)
N: Normal distribution
Σ: Variance covariance matrix
σ: Diagonal matrix This is expressed as follows.
diag (σ) = (w 1 / r, h 1 / r, 0,0)
r: Real number (r> 0)
Although ∀m, π m = 1 / M is the simplest method, it may be set by changing π m in proportion to the value of each local maximum value.
パーティクル数Nのうち、j番目(j=1〜N)のパーティクルst jについて、各パーティクルの重みを、1/Nに設定する。 Of the number of particles N, the particle s t j of the j-th (j = 1 to N), the weight of each particle is set to 1 / N.
図6は、本発明におけるパーティクル生成部の処理を表す第1の説明図である。 FIG. 6 is a first explanatory diagram showing processing of the particle generation unit in the present invention.
図6によれば、N個のパーティクルの矩形領域bt 1〜bt Nが、M個の極大値p1〜pMの周囲近辺にサンプリングされている。このように複数のパーティクルをサンプリングすることによって、ランダムな位置にサンプリングするよりも、追跡対象の物体に映る最適な位置に矩形領域bt 1〜bt Nをサンプリングすることができる。 According to FIG. 6, rectangular regions b t 1 to b t N of N particles are sampled in the vicinity of the M maximum values p 1 to p M. By sampling a plurality of particles in this way, it is possible to sample the rectangular regions b t 1 to b t N at optimal positions that appear in the tracking target object, rather than sampling at random positions.
<3.追跡器tkr tの割り当て>
パーティクル生成部121は、次に、各矩形領域bt 1〜bt Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルst 1〜st Nを生成する。
<3. Assignment of tracker tkr t >
図7は、本発明におけるパーティクル生成部の処理を表す第2の説明図である。 FIG. 7 is a second explanatory diagram showing the processing of the particle generation unit in the present invention.
パーティクル生成部121における「所定の追跡器の候補」は、以下のものである。
現在時刻に任意に割り当てられたM個の現在追跡器tkrt 1〜tkrt M、又は、
過去時刻に決定されたパーティクルs^1〜s^t-1に基づく過去追跡器tkr^1〜tkr^t-1
The “predetermined tracker candidates” in the
Current tracker of M assigned arbitrarily to the current time tkr t 1 ~tkr t M, or,
Past tracker tkr based particle s ^ 1 ~s ^ t-1 determined in the past time ^ 1 ~tkr ^ t-1
過去追跡器も選択候補とした理由は、現在追跡器の追跡精度が低下した場合であっても、過去に選択された過去追跡器を用いることによって、追跡の精度の向上を期待したものである。 The reason for selecting the past tracker as a candidate for selection is that even if the tracking accuracy of the current tracker is reduced, the use of the past tracker selected in the past is expected to improve the tracking accuracy. .
現在時刻tにおけるN個のパーティクルそれぞれに、現在追跡器又は過去追跡器の中から選択した1個の追跡器を割り当てる。ここで、追跡器は、任意の確率分布を用いて、2段階で選択される。
(A)現在追跡器群又は過去追跡器群の選択
(B)追跡器の選択
One tracker selected from the current tracker or the past tracker is assigned to each of the N particles at the current time t. Here, the tracker is selected in two stages using an arbitrary probability distribution.
(A) Selection of current tracker group or past tracker group (B) Selection of tracker
(A)現在追跡器群又は過去追跡器群の選択
最初に、確率分布として、例えばベルヌーイ分布を用いて、現在追跡器群又は過去追跡器群のいずれかから追跡器を選択するか、を決定する。
パーティクル生成部121は、現在追跡器のみを使用する場合をμ=0とし、過去追跡器のみを使用する場合をμ=1として、0≦μ≦1を予め設定する。
μ:ハイパーパラメータ
ベルヌーイ分布によって出力される2値u∈{0,1}が、平均μとなるように、現在追跡器の中から割り当てるか又は過去追跡器の中から割り当てられる。
P(u;μ)=μu(1−μ)1-u
(A) Selection of current tracker group or past tracker group First, determine whether to select a tracker from either the current tracker group or the past tracker group as a probability distribution, for example, using Bernoulli distribution. To do.
The
μ: Hyperparameter The binary uε {0,1} output by the Bernoulli distribution is assigned from the current tracker or from the past tracker so as to have an average μ.
P (u; μ) = μ u (1-μ) 1-u
μの設定は、例えば現在の追跡器のみを用いる場合、μ=0に設定すればよい。
一方で、過去の追跡器のみを用いる場合、μ=1に設定すればよい。
過去追跡器と現在追跡器との両方を混ぜて用いる場合、0<μ<1に設定すればよい。
For example, when only the current tracker is used, μ may be set to μ = 0.
On the other hand, when only the past tracker is used, μ = 1 may be set.
When both the past tracker and the current tracker are used together, 0 <μ <1 may be set.
(B)追跡器の選択
次に、パーティクル生成部121は、例えば一様分布や最適化分布を用いて、現在追跡器群又は過去追跡器群のそれぞれの中から、1個の追跡器を選択する。以下では、それぞれの場合に分けて説明する。
(B1)過去追跡器(u=1)の場合
(B2)現在追跡器(u=0)の場合
(B) Selection of Tracker Next, the
(B1) In case of past tracker (u = 1) (B2) In case of current tracker (u = 0)
図8は、本発明における追跡器の選択処理を表す説明図である。 FIG. 8 is an explanatory diagram showing the selection process of the tracker in the present invention.
(B1)過去追跡器(u=1)の場合
複数の過去追跡器tkr^1〜tkr^t-1の中から、確率分布Dsnapに従って選択される。
Dsnap=P(tkrt|u=1)
ここで、パーティクル生成部121は、複数の過去追跡器tkr^1〜tkr^t-1の中から一様分布又は最適化分布でいずれか1個の追跡器を選択する。
(B1a)一様分布
過去追跡器全てを、等確率Dsnap=1/(t-1)で選択する(図8a参照)。
(B1b)最適化分布
任意の指標を用いて過去追跡器に序列を付けて、Dsnapを算出する(図8b参照)。
q:求める確率分布
C=(c1,c2,・・・)T:qに対応する追跡器の信頼度列
R=(r1,r2,・・・)T:信頼度比列
目的関数は、L1正則化項を加えて、最適解として以下のように表す(例えば非特許文献6参照)。
maxqqTC+αqTR+β||q||
=maxqqT(C+αR)+β||q||
s.t. Σnqn=1
α:信頼度比の重要性を制御するパラメータ
β:スパース性を制御するパラメータ
L1正則化項によって、求めた分布が「疎」になるため、使用する追跡器の数を減少させることができる。これによって、少ない追跡器で、効率良く、追跡することができる。尚、信頼度比は、後述する追跡器記憶部14によって記憶される。そして、信頼度比が高い追跡器は、その後、選択される確率が高くなるようにDsnapが設定される。
(B1) In the case of past tracker (u = 1) The past tracker is selected from a plurality of past trackers tkr ^ 1 to tkr ^ t-1 according to the probability distribution Dsnap.
Dsnap = P (tkr t | u = 1)
Here, the
(B1a) Uniform distribution All past trackers are selected with equal probability Dsnap = 1 / (t-1) (see FIG. 8a).
(B1b) Optimization distribution An arbitrary index is used to rank the past trackers and Dsnap is calculated (see FIG. 8b).
q: probability distribution to be obtained C = (c 1 , c 2 ,...) T : reliability sequence of the tracker corresponding to q R = (r 1 , r 2 ,...) T : reliability ratio sequence The function is expressed as follows as an optimal solution by adding the L1 regularization term (see, for example, Non-Patent Document 6).
max q q T C + αq T R + β || q ||
= Max q q T (C + αR) + β || q ||
st Σ n q n = 1
α: Parameter that controls the importance of the reliability ratio
β: Parameter for controlling sparsity
Since the obtained distribution becomes “sparse” by the L1 regularization term, the number of trackers to be used can be reduced. Thereby, it is possible to track efficiently with a small number of trackers. The reliability ratio is stored in the
(B2)現在追跡器(u=0)の場合
M個の現在追跡器tkrt 1〜tkrt Mの中から、一様分布を用いて1個の追跡器を選択する。その確率分布Dbranchは、例えば以下のように表される。
Dbranch=P(tkrt|u=0)=1/M
現在追跡器全てを、等確率Dbranch=1/Mで選択する(図8c参照)。
(B2) Current tracker (u = 0)
Among the M number of current tracker tkr t 1 ~tkr t M, selects one of the tracking units by using a uniform distribution. The probability distribution Dbranch is expressed as follows, for example.
Dbranch = P (tkr t | u = 0) = 1 / M
All current trackers are selected with equal probability Dbranch = 1 / M (see FIG. 8c).
尚、パーティクル生成部121における追跡器のパラメータ自体は、全て同じ(時刻tにおける1つの追跡器を複製したもの)である。その後、後述する相関フィルタ学習部15によって、追跡器毎にパラメータが学習される。そして、追跡器の各パーティクルへの割り当ては、前述した追跡器tkrtの割り当てに基づく。
The tracker parameters in the
<4.パーティクルstに対する重みの割り当て>
パーティクル生成部121は、各パーティクルst 1〜st Nに、各矩形領域bt 1〜bt Nに基づく応答マップの値を、重みとして割り当てる。
「重み」は、具体的には、時刻tの各矩形領域bt 1〜bt Nと時刻t-1の矩形領域b^t-1との相対位置における応答マップの値である。
<4. Assigning weights to particles st>
"Weight" is, specifically, a value of a response map at the relative positions of the rectangular area b ^ t-1 of each rectangular area b t 1 ~b t N and time t-1 at time t.
[位置決定部131]
位置決定部131は、パーティクル生成部121によって算出された「重み」が、最大となるパーティクルs^tを決定する。そのパーティクルs^tの矩形領域は、b^tと表す。
具体的には、重みが最大値となる位置は、パラボラフィッティングに基づくサブピクセル推定によって決定される(例えば非特許文献5参照)。これにより、ピクセル単位と比較して、細かな(正確な)位置座標値を決定することができる。
[Position determining unit 131]
The
Specifically, the position where the weight becomes the maximum value is determined by subpixel estimation based on parabolic fitting (see, for example, Non-Patent Document 5). Thereby, it is possible to determine a fine (exact) position coordinate value as compared with the pixel unit.
図9は、本発明における位置決定部の処理を表す説明図である。 FIG. 9 is an explanatory diagram showing processing of the position determination unit in the present invention.
時刻tにおける応答マップYtの中で、重みが最大値となる(図9の●、正解位置を中心とする)パーティクルs^tの矩形領域b^tを決定する。
w^=w1、 h^=h1
x^=i^−w^/2、 y^=j^−h^/2
(x^,y^):時刻tに決定されたパーティクルstにおける矩形領域の左上頂点
w^:時刻tに決定されたパーティクルstの矩形領域の横幅
h^:時刻tに決定されたパーティクルstの矩形領域の縦幅(高さ)
(i^,j^):時刻tに決定されたパーティクルstの矩形領域の中心
w1:初期フレームで決定されたパーティクルstの矩形領域の横幅
h1:初期フレームで決定されたパーティクルstの矩形領域の縦幅(高さ)
尚、w1及びh1について、他の値として、例えば、時刻t−1で決定されたパーティクルの矩形領域の横幅及び縦幅を用いてもよい。
In the response map Y t at time t, the weight is the maximum value (in FIG. 9 ●, centered on the correct position) determines a rectangular area b ^ t of the particle s ^ t.
w ^ = w 1 , h ^ = h 1
x ^ = i ^ -w ^ / 2, y ^ = j ^ -h ^ / 2
(X ^, y ^): upper left corner of the rectangular area in the particle s t determined at time t w ^: width of the rectangular region at the time t to the determined particle s t h ^: particles was determined at time t height of the rectangular area of s t (height)
(I ^, j ^): center of the rectangular region at the time t is determined on the particle s t w 1: width of the rectangular area of the particle s t determined in the initial frame h 1: the particle s as determined by the initial frame Vertical width (height) of rectangular area of t
As other values for w 1 and h 1 , for example, the horizontal width and vertical width of the rectangular region of the particle determined at time t−1 may be used.
[追跡器記憶部14]
追跡器記憶部14は、時刻tにおけるパーティクルs^t毎に、相関フィルタのパラメータαtと、ベースサンプルxtと、重みctと、信頼度比rtとをそれぞれ記憶する。
A=(α1,α2,・・・)T
X=(x1,x2,・・・)T
C=(c1,c2,・・・)T
R=(r1,r2,・・・)T
[Tracker storage unit 14]
A = (α 1 , α 2 , ...) T
X = (x 1 , x 2 ,...) T
C = (c 1 , c 2 ,...) T
R = (r 1 , r 2 ,...) T
[相関フィルタ学習部15]
相関フィルタ学習部15は、時刻tで決定されたパーティクルs^tの矩形領域について、KFCのパラメータαを更新する(例えば非特許文献3参照)。その後、繰り返される応答マップ生成部111は、時刻t+1で、更新されたパラメータαによって応答マップYを生成する。
[Correlation filter learning unit 15]
The correlation
図10は、相関フィルタ学習部の処理を表す説明図である。 FIG. 10 is an explanatory diagram illustrating processing of the correlation filter learning unit.
相関フィルタ学習部15は、最初に、決定されたパーティクルs^tの矩形領域b^tについて、HOG特徴量Xを算出する。前述した応答マップ生成部11と同様に算出したカーネルkXZを用いて、以下のようにパラメータαを更新する。
α^=y^/(k^XZ+λ)
y:リッジ(Ridge)回帰の教師データ
λ:正則化項の係数
^:フーリエ変換
The correlation
α ^ = y ^ / (k ^ XZ + λ)
y: Ridge regression teacher data
λ: coefficient of regularization term
^: Fourier transform
現在時刻tにおける追跡器tkrt 1, tkrt 2,・・・, tkrt M毎に、KFCのパラメータαを学習する。具体的には、全パーティクルの中をtkrtの値ごとに分割し、各分割の中で最も重みが高いパーティクルs^tの矩形領域b^tに基づいてパラメータαを更新する。 The Kα parameter α is learned for each of the trackers tkr t 1 , tkr t 2 ,..., Tkr t M at the current time t. Specifically, all the particles are divided for each value of tkr t , and the parameter α is updated based on the rectangular region b ^ t of the particle s ^ t having the highest weight in each division.
尚、追跡の信頼度が低下している場合、相関フィルタの学習によって追跡位置のずれが増大する可能性もある。これに対して、相関フィルタの学習を実行する頻度を、例えば数フレームに1回といった頻度にまで低下させることもできる。これにより、追跡位置のずれの増大を抑制することができる。 If the tracking reliability is lowered, the tracking position shift may increase due to the learning of the correlation filter. On the other hand, the frequency of executing the correlation filter learning can be reduced to a frequency of once every several frames, for example. As a result, an increase in tracking position deviation can be suppressed.
図11は、本発明の物体追跡処理を表す具体的フローチャートである。 FIG. 11 is a specific flowchart showing the object tracking processing of the present invention.
図11によれば、図3の基本フローチャートに、具体的な構成要素が追加されたものである。以下では、図3と異なる、以下の構成要素のみを説明する。
(特徴量抽出部10):図3と同様
(応答マップ生成部111):図3と同様
[追跡モード判定部112]
[追跡信頼度判定部113]
(パーティクル生成部121):図3と同様
[状態予測部122]
[重み更新部123]
(位置決定部131):図3と同様
[リサンプリング部132]
(追跡器記憶部14):図3と同様
(相関フィルタ学習部15):図3と同様
According to FIG. 11, specific components are added to the basic flowchart of FIG. 3. In the following, only the following components that are different from FIG. 3 will be described.
(Feature extraction unit 10): Same as FIG. 3 (Response map generation unit 111): Same as FIG. 3 [Tracking mode determination unit 112]
[Tracking reliability determination unit 113]
(Particle generation unit 121): similar to FIG. 3 [state prediction unit 122]
[Weight update unit 123]
(Position determining unit 131): Similar to FIG. 3 [Resampling unit 132]
(Tracker storage unit 14): As in FIG. 3 (Correlation filter learning unit 15): As in FIG.
[追跡モード判定部112]
前提として、パーティクルフィルタモード又は通常モードを表す「追跡モード」を定義する。パーティクル生成部121は、パーティクルを生成した後、追跡モードを、パーティクルフィルタモードへ移行させる。また、パーティクル生成部121は、追跡モードがパーティクルフィルタモードである場合、実行されない。
[Tracking mode determination unit 112]
As a premise, a “tracking mode” representing a particle filter mode or a normal mode is defined. After generating the particles, the
追跡モード判定部112は、応答マップ生成部111の次段として機能する。
追跡モード判定部112は、追跡モードがパーティクルモードでなければ、追跡信頼度判定部113へ処理を移行する。
また、追跡モード判定部112は、追跡モードがパーティクルフィルタモードであっても、応答マップにおける加重分散varが所定閾値ε以下であれば、パーティクルフィルタモードを解除する。即ち、通常モードへ移行する。そして、追跡信頼度判定部113へ処理を移行する。
一方で、追跡モード判定部112は、追跡モードがパーティクルモードであって、且つ、応答マップにおける加重分散varが所定閾値εよりも大きい場合、後述する状態予測部122へ処理を移行する。
尚、追跡モード判定部112は、パーティクルフィルタモードへ移行してから一定時間経過後に、パーティクルフィルタモードを解除し、通常モードへ移行するものであってもよい。
The tracking
If the tracking mode is not the particle mode, the tracking
In addition, even when the tracking mode is the particle filter mode, the tracking
On the other hand, when the tracking mode is the particle mode and the weighted variance var in the response map is larger than the predetermined threshold ε, the tracking
The tracking
<追跡モードの判定>
追跡モード判定部112は、パーティクルの収束度によって、追跡モードを判定する。具体的には、パーティクルの加重分散を用いる。n番目のパーティクルの状態をsnとすると、加重平均は以下ように表される。
mean=Σnwnsn
矩形領域bと追跡器tkrとは、異なるものであるために、加重分散は、以下のように算出する。
var=Σnwnd(sn,mean)2
=Σnwn(sn−mean)TS−1(sn−mean)
S:分散共分散行列
加重分散を用いることによって、各次元のスケールが正規化され、適切に収束度を測ることができる。尚、追跡モード判定部112について、加重分散を例として説明したが、それに代えて、若しくは合せて、マハラノビス距離、ユークリッド距離やコサイン距離等の指標を使用してもよい。
<Judging the tracking mode>
The tracking
mean = Σ n w n s n
Since the rectangular area b and the tracker tkr are different, the weighted variance is calculated as follows.
var = Σ n w n d (s n , mean) 2
= Σ n w n (s n -mean) T S -1 (s n -mean)
S: Variance covariance matrix By using weighted variance, the scale of each dimension is normalized, and the degree of convergence can be measured appropriately. The tracking
var≦εであれば、パーティクルが十分に収束したとし、パーティクルフィルタモードを解除する。追跡モードを通常モードへ移行する場合、以後、全パーティクルの中で最も重みが大きいパーティクルs^tに対応する追跡器tkr^tを用いて追跡する。 If var ≦ ε, it is assumed that the particles have sufficiently converged, and the particle filter mode is canceled. When the tracking mode is shifted to the normal mode, the tracking is performed using the tracking device tkr ^ t corresponding to the particle s ^ t having the largest weight among all the particles.
[追跡信頼度判定部113]
追跡信頼度判定部113は、時刻tの応答マップYについて追跡信頼度が所定条件に基づいて低いか否かを判定する。
具体的には、時刻tの応答マップYの最大値を追跡信頼度とし、所定条件として最大値が所定閾値未満である場合に、追跡信頼度が低いと判定する。
[Tracking reliability determination unit 113]
The tracking
Specifically, the maximum value of the response map Y at time t is set as the tracking reliability, and when the maximum value is less than a predetermined threshold as a predetermined condition, it is determined that the tracking reliability is low.
図12は、本発明における追跡信頼度判定部の処理を表す説明図である。 FIG. 12 is an explanatory diagram showing processing of the tracking reliability determination unit in the present invention.
前述したパーティクル生成部121は、追跡信頼度判定部113によって真と判定された場合にのみ機能する。即ち、パーティクル生成部121は追跡の信頼度が低下し、追跡に失敗する可能性が高まった時、実行される。例えば、追跡対象物体の遮蔽、回転や、変形、画像のブレや輝度変化等が生じた場合、次段で、パーティクルを生成し直すことができる。一方で、パーティクルが十分に収束していない場合には、現状の複数のパーティクルを用いて、追跡結果を安定的に出力することができる。
The
[状態予測部122]
状態予測部122は、パーティクル生成部121に続いて、又は、パーティクルフィルタモードが維持された追跡モード判定部112に続いて機能する。
状態予測部122は、時刻t-1の矩形領域bt-1 1〜bt-1 Nから、各パーティクルst 1〜st Nの矩形領域bt 1〜bt Nへの遷移が、正規分布に基づくと仮定して、矩形領域bt 1〜bt Nの位置を予測して遷移させる。
[State Prediction Unit 122]
The
状態予測部122は、パーティクル生成部121と同様に、矩形領域btと追跡器tkrtとをそれぞれ、別々の方法でサンプリングする。
Similarly to the
<btのサンプリング>
b^t-1を平均ベクトルとした正規分布に従ってパーティクルを生成する。時刻t-1におけるパーティクルの矩形領域b^t-1から、時刻tにおけるパーティクルの矩形領域btへの遷移は、正規分布に基づくランダムウォークを仮定し、次式のように予測される。
P(bt|b^t-1)=N(bt;b^t-1,σ)
P:条件付き確率
N:正規分布
σ:対角行列
また、パーティクルの矩形領域の大きさを変化させない場合には、以下のように表される。
diag(Σ)=[w1/r, h1/r, 0, 0]
w1:初期フレームにおける矩形領域の横幅
h1:初期フレームにおける矩形領域の縦幅(高さ)
r: 1≦r≦min(Lw, Lh)を満たす実数
<B t sampling>
Particles are generated according to a normal distribution with b ^ t-1 as an average vector. From a rectangular region b ^ t-1 particles at time t-1, the transition to the rectangular area b t of the particle at time t, assuming a random walk based on a normal distribution, is predicted by the following equation.
P (b t | b ^ t−1 ) = N (b t ; b ^ t−1 , σ)
P: Conditional probability N: Normal distribution σ: Diagonal matrix Further, when the size of the rectangular region of the particle is not changed, it is expressed as follows.
diag (Σ) = [w 1 / r, h 1 / r, 0, 0]
w 1 : width of the rectangular area in the initial frame h 1 : vertical width (height) of the rectangular area in the initial frame
r: Real number satisfying 1 ≦ r ≦ min (Lw, Lh)
<追跡器tkrtのサンプリング>
追跡器tkrtは、ベルヌーイ分布によって出力される2値u∈{0,1}に基づいてサンプリングされる。
u=1の場合、一様分布又は最適化分布に従って、追跡器tkrtをサンプリングする。
u=0の場合、試行回数tkr^t-1に応じて成功確率1の二項分布に従って、追跡器tkrtをサンプリングする(図8(d)参照)。
Dbranch=B(tkr^t-1,1)
<Sampling of tracker tkr t >
The tracker tkr t is sampled based on the binary uε {0,1} output by the Bernoulli distribution.
If u = 1, the tracker tkr t is sampled according to a uniform distribution or an optimized distribution.
When u = 0, the tracker tkr t is sampled according to the binomial distribution with a success probability of 1 according to the number of trials tkr ^ t−1 (see FIG. 8D).
Dbranch = B (tkr ^ t-1 , 1)
[重み更新部123]
重み更新部123は、状態予測部122の次段で機能する。
重み更新部123は、各パーティクルst 1〜st Nの重みを、時刻tの各矩形領域bt 1〜bt Nと時刻t-1の矩形領域b^t-1との相対位置における応答マップの値であるとして更新する(図7下段参照)。
[Weight update unit 123]
The
The
応答マップYは、特徴量抽出の際のパラメータcellSizeに依存して大きさが変化する。cellSizeは、特徴量Zを抽出した際のパラメータの1つであり、設定されたcellのサイズとなる(例えば3ピクセル(画素))。
res(ot,bt)=Y((xt-x^t-1)/cellsize+wY,(yt-y^t-1)/cellsize+hY)
wY:横の長さ
hY:縦の長さ
重みresは、全パーティクルの和が1になるように正規化し、応答マップ値となる。
The size of the response map Y changes depending on the parameter cellSize at the time of feature amount extraction. The cellSize is one of the parameters when the feature amount Z is extracted, and is the set cell size (for example, 3 pixels (pixels)).
res (o t , b t ) = Y ((x t −x ^ t−1 ) / cellsize + wY, (y t −y ^ t−1 ) / cellsize + hY)
wY: Horizontal length
hY: Vertical length The weight res is normalized so that the sum of all particles becomes 1, and becomes a response map value.
以上のように得られた「重みres」は、矩形領域btのみを用いて算出され、追跡器tkrtを用いていない。このように、直接的に追跡器を評価しないことにより、最適な追跡器の指標をオペレータで設計する必要がなくなる。但し、結果として、間接的に追跡器を評価していることに相当する。 The “weight res” obtained as described above is calculated using only the rectangular region b t , and does not use the tracker tkr t . Thus, by not evaluating the tracker directly, it is not necessary for the operator to design the optimal tracker index. However, as a result, it corresponds to indirectly evaluating the tracker.
[リサンプリング部132]
リサンプリング部132は、位置決定部131に続いて機能する。
リサンプリング部132は、各パーティクルst 1〜st Nに割り当てられた重みを用いて、より大きい重みのパーティクルstほど、その周囲により多くのパーティクルが配置するように各矩形領域bt 1〜bt Nをリサンプリングする。
[Resampling unit 132]
The
これによって、重みが低くなるような矩形領域や追跡器は淘汰されていく。
具体的に、リサンプリング部132は、累積重み曲線を用いて乱数に基づいて、パーティクルの再配置・再構成を行うルーレット選択を用いることができる(例えば非特許文献7参照)。
As a result, the rectangular area and the tracker whose weight is lowered are deceived.
Specifically, the
以上、詳細に説明したように、本発明の物体追跡プログラム、装置及び方法によれば、追跡器の精度を推定することなく、最適なパーティクルの決定により、対応する追跡器を最適な推定器として推定することができる。
即ち、複数の追跡器の中で、最適な追跡器を明示的に設定することなく、状態(物***置)のパーティクル数を増やすことによって、追跡精度を向上させることができる。即ち、追跡器は、状態推定結果に従って間接的に推定される。
As described above in detail, according to the object tracking program, apparatus and method of the present invention, the corresponding tracker is determined as the optimal estimator by determining the optimal particle without estimating the accuracy of the tracker. Can be estimated.
That is, the tracking accuracy can be improved by increasing the number of particles in the state (object position) without explicitly setting an optimal tracker among a plurality of trackers. That is, the tracker is indirectly estimated according to the state estimation result.
尚、本発明によれば、例えば、多数の人物が移動・滞留したり出入りしたりする場を監視する監視システムや、商店街や商業・サービス施設内における人物の入店、休憩、観戦・イベント参加や移動の状況を調査するためのマーケティング調査システム等、様々なアプリケーションに適用可能である。また、本発明は、ヒューマンコンピュータインタラクションや、ロボティクス等の技術分野についても、例えば、ロボット側の物体認識能力を大きく向上させることができる。 In addition, according to the present invention, for example, a monitoring system for monitoring a place where a large number of persons move, stay, and go in and out, a person entering a store, a break, a watching / event It can be applied to various applications such as a marketing research system for investigating the status of participation and movement. Further, the present invention can greatly improve the object recognition capability on the robot side, for example, in technical fields such as human computer interaction and robotics.
以上に述べた本発明の種々の実施形態について、本発明の技術思想及び見地の範囲の種々の変更、修正及び省略は、当業者によれば容易に行うことができる。前述の説明はあくまで例であって、何ら制約しようとするものではない。本発明は、特許請求の範囲及びその均等物として限定するものにのみ制約される。 For the various embodiments of the present invention described above, various changes, modifications, and omissions in the technical idea and scope of the present invention can be easily made by those skilled in the art. The above description is merely an example, and is not intended to be restrictive. The invention is limited only as defined in the following claims and the equivalents thereto.
1 物体追跡装置
1A 通信インタフェース
1B 画像蓄積部
1C 記憶部
1D 制御部
1E アプリケーション
10 特徴量抽出部
111 応答マップ生成部
112 追跡モード判定部
113 追跡信頼度判定部
121 パーティクル生成部
122 状態予測部
123 重み更新部
131 位置決定部
132 リサンプリング部
14 追跡器記憶部
15 相関フィルタ学習部
2 カメラ
DESCRIPTION OF
Claims (14)
時刻tにおける矩形領域btに追跡器tkrtを対応付けてパーティクルst=(bt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップYを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域bt 1〜bt Nを、応答マップYの中のM個の極大値p1〜pMに対してサンプリングすると共に、各矩形領域bt 1〜bt Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルst 1〜st Nを生成し、各パーティクルst 1〜st Nに、各矩形領域bt 1〜bt Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
前記重みが最大となるパーティクルs^tを決定する位置決定手段と
してコンピュータを機能させることを特徴とする物体追跡プログラム。 For a time-series image group in which an object to be tracked is reflected, for each image, in an object tracking program that causes a computer mounted on a device that repeats determination of an image area related to the object to function,
Particle s t = (b t, tkr t) in association tracker tkr t in the rectangular area b t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b t 1 ~b t N of the time t, while the sampling for the M maxima p 1 ~p M in response map Y, each rectangular area b t 1 ~b t in N, it generates a particle s t 1 ~s t N by assigning any one from among the candidates given tracker, the respective particles s t 1 ~s t N, each rectangular area b t 1 ~b a particle generation means for assigning a response map value based on t N as a weight;
An object tracking program that causes a computer to function as position determining means for determining the particle s t having the maximum weight.
ようにコンピュータを機能させることを特徴とする請求項1に記載の物体追跡プログラム。 In the response map Y, the particle generating means samples the rectangular regions b t 1 to b t N by a mixed normal distribution with respect to M maximum values p 1 to p M in descending order from the maximum maximum value. The object tracking program according to claim 1, wherein the computer functions as described above.
現在時刻に任意に割り当てられたM個の現在追跡器tkrt 1〜tkrt M、又は、
過去時刻に決定されたパーティクルs^1〜s^t-1に基づく過去追跡器tkr^1〜tkr^t-1
であるようにコンピュータを機能させることを特徴とする請求項1又は2に記載の物体追跡プログラム。 The predetermined tracker candidate in the particle generation means is:
Current tracker of M assigned arbitrarily to the current time tkr t 1 ~tkr t M, or,
Past tracker tkr based particle s ^ 1 ~s ^ t-1 determined in the past time ^ 1 ~tkr ^ t-1
The object tracking program according to claim 1, wherein the computer is caused to function as follows.
ようにコンピュータを機能させることを特徴とする請求項3に記載の物体追跡プログラム。 The particle generation means sets μ = 0 when using only the current tracker, μ = 1 when using only the past tracker, and presets 0 ≦ μ ≦ 1 so that the average μ is obtained. Characterizing the computer to determine whether to assign from the current tracker or from the past tracker based on the binary uε {0,1} output by the Bernoulli distribution The object tracking program according to claim 3.
前記過去追跡器を使用する場合、複数の過去追跡器の中から一様分布又は最適化分布でいずれか1個の追跡器を選択し、
前記現在追跡器を使用する場合、M個の現在追跡器の中から一様分布でいずれか1個の追跡器を選択する
ようにコンピュータを機能させることを特徴とする請求項3又は4に記載の物体追跡プログラム。 The particle generating means
When using the past tracker, select one tracker with a uniform distribution or an optimized distribution from a plurality of past trackers,
5. The computer according to claim 3, wherein when the current tracker is used, the computer is operated to select any one tracker from the M current trackers in a uniform distribution. Object tracking program.
ようにコンピュータを機能させることを特徴とする請求項1から5のいずれか1項に記載の物体追跡プログラム。 For the particle generation means, the weight is a value of a response map at a relative position between the rectangular areas b t 1 to b t N at time t and the rectangular area b ^ t-1 at time t-1. The object tracking program according to claim 1, wherein:
前記応答マップ生成手段の次段で機能する追跡モード判定手段としてコンピュータを更に機能させ、
前記追跡モード判定手段は、前記パーティクルフィルタモードである場合、前記応答マップにおける加重分散varが第1の所定閾値以下であれば、前記パーティクルフィルタモードを解除する
ようにコンピュータを機能させることを特徴とする請求項1から6のいずれか1項に記載の物体追跡プログラム。 The particle generating means shifts the mode to the particle filter mode and does not function in the particle filter mode.
The computer further functions as a tracking mode determination unit that functions in the next stage of the response map generation unit,
The tracking mode determination unit, when in the particle filter mode, causes the computer to function to cancel the particle filter mode if the weighted variance var in the response map is equal to or less than a first predetermined threshold. The object tracking program according to any one of claims 1 to 6.
前記パーティクル生成手段は、前記追跡信頼度判定手段によって真と判定された際に機能させる
ことを特徴とする請求項7に記載の物体追跡プログラム。 Further causing the computer to function as tracking reliability determination means for determining whether or not the tracking reliability is low based on a predetermined condition for the response map Y at time t;
8. The object tracking program according to claim 7, wherein the particle generation unit functions when it is determined to be true by the tracking reliability determination unit.
ようにコンピュータを機能させることを特徴とする請求項8に記載の物体追跡プログラム。 The tracking reliability determination means sets the maximum value of the response map Y at time t as the tracking reliability, and determines that the tracking reliability is low when the maximum value is less than a predetermined threshold as the predetermined condition. 9. The object tracking program according to claim 8, which causes a computer to function.
前記状態予測手段は、時刻t-1の矩形領域bt-1 1〜bt-1 Nから、各パーティクルst 1〜st Nの矩形領域bt 1〜bt Nへの遷移が、正規分布に基づくと仮定して、矩形領域bt 1〜bt Nの位置を予測して遷移させる
ようにコンピュータを機能させることを特徴とする請求項9に記載の物体追跡プログラム。 A state prediction unit that functions following the particle generation unit or following the tracking mode determination unit in which the particle filter mode is maintained,
It said state predicting means, of the rectangular region b t-1 1 ~b t- 1 N time t-1, the transition to the rectangular area b t 1 ~b t N of each particle s t 1 ~s t N, The object tracking program according to claim 9, wherein the computer is caused to function so as to predict and change the positions of the rectangular regions b t 1 to b t N on the assumption that the distribution is based on a normal distribution.
前記重み更新手段は、各パーティクルst 1〜st Nの重みを、時刻tの各矩形領域bt 1〜bt Nと時刻t-1の矩形領域b^t-1との相対位置における応答マップの値であるとして更新する
ようにコンピュータを機能させることを特徴とする請求項10に記載の物体追跡プログラム。 Further function as a weight update unit that functions between the state prediction unit and the position determination unit,
Said weight updating means, the weight of each particle s t 1 ~s t N, the relative position of the rectangular area b ^ t-1 of each rectangular area b t 1 ~b t N and time t-1 at time t The object tracking program according to claim 10, wherein the computer is made to function so as to be updated as the value of the response map.
前記リサンプリング手段は、各パーティクルst 1〜st Nに割り当てられた重みを用いて、より大きい重みのパーティクルstほど、その周囲により多くのパーティクルが配置するように各矩形領域bt 1〜bt Nをリサンプリングする
ようにコンピュータを機能させることを特徴とする請求項1から11のいずれか1項に記載の物体追跡プログラム。 Further function as resampling means that functions following the position determining means,
The resampling means, using the weight assigned to each particle s t 1 ~s t N, the more the particle s t a greater weight, each rectangular area b t 1 as many particles by around to place The object tracking program according to claim 1, wherein the computer is caused to function to resample ˜b t N.
時刻tにおける矩形領域btに追跡器tkrtを対応付けてパーティクルst=(bt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップYを生成する応答マップ生成手段と、
時刻tのN個の各矩形領域bt 1〜bt Nを、応答マップYの中のM個の極大値p1〜pMに対してサンプリングすると共に、各矩形領域bt 1〜bt Nに、所定の追跡器の候補の中から任意の1個を割り当ててパーティクルst 1〜st Nを生成し、各パーティクルst 1〜st Nに、各矩形領域bt 1〜bt Nに基づく応答マップの値を、重みとして割り当てるパーティクル生成手段と、
前記重みが最大となるパーティクルs^tを決定する位置決定手段と
を有することを特徴とする物体追跡装置。 For a time-series image group in which an object to be tracked is reflected, for each image, in an object tracking device that repeats determination of an image area related to the object
Particle s t = (b t, tkr t) in association tracker tkr t in the rectangular area b t at time t expressed as,
Response map generating means for generating a response map Y at time t using a correlation filter for the search region based on the image region determined at time t−1;
N pieces each rectangular area b t 1 ~b t N of the time t, while the sampling for the M maxima p 1 ~p M in response map Y, each rectangular area b t 1 ~b t in N, it generates a particle s t 1 ~s t N by assigning any one from among the candidates given tracker, the respective particles s t 1 ~s t N, each rectangular area b t 1 ~b a particle generation means for assigning a response map value based on t N as a weight;
An object tracking device comprising position determining means for determining a particle s ^ t having the maximum weight.
前記装置は、
時刻tにおける矩形領域btに追跡器tkrtを対応付けてパーティクルst=(bt,tkrt)として表し、
時刻t-1で決定された画像領域に基づく探索領域について、相関フィルタを用いて時刻tの応答マップYを生成する第1のステップと、
時刻tのN個の各矩形領域bt 1〜bt Nを、応答マップYの中のM個の極大値p1〜pMに対してサンプリングすると共に、各矩形領域bt 1〜bt Nに、所定の追跡器の候補の中からの任意の1個を割り当ててパーティクルst 1〜st Nを生成し、各パーティクルst 1〜st Nに、各矩形領域bt 1〜bt Nに基づく応答マップの値を、重みとして割り当てる第2のステップと、
前記重みが最大となるパーティクルs^tを決定する第3のステップと
を実行することを特徴とする物体追跡方法。
For a time-series image group in which an object to be tracked is reflected, for each image, in the object tracking method of the apparatus that repeats the determination of the image area related to the object,
The device is
Particle s t = (b t, tkr t) in association tracker tkr t in the rectangular area b t at time t expressed as,
For a search region based on the image region determined at time t-1, a first step of generating a response map Y at time t using a correlation filter;
N pieces each rectangular area b t 1 ~b t N of the time t, while the sampling for the M maxima p 1 ~p M in response map Y, each rectangular area b t 1 ~b t in N, generates a particle s t 1 ~s t N assign any one from among the candidates given tracker, the respective particles s t 1 ~s t N, each rectangular area b t 1 ~ a second step of assigning a value of the response map based on b t N as a weight;
And a third step of determining a particle s t having the maximum weight.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105746A JP6757701B2 (en) | 2017-05-29 | 2017-05-29 | Object tracking programs, devices and methods using particles assigned any tracker |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017105746A JP6757701B2 (en) | 2017-05-29 | 2017-05-29 | Object tracking programs, devices and methods using particles assigned any tracker |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2018200628A true JP2018200628A (en) | 2018-12-20 |
JP6757701B2 JP6757701B2 (en) | 2020-09-23 |
Family
ID=64668216
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017105746A Active JP6757701B2 (en) | 2017-05-29 | 2017-05-29 | Object tracking programs, devices and methods using particles assigned any tracker |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6757701B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111582349A (en) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | Improved target tracking algorithm based on YOLOv3 and kernel correlation filtering |
KR102175491B1 (en) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | Method and apparatus for tracking object based on correlation filter |
CN115953433A (en) * | 2023-02-06 | 2023-04-11 | 宿迁学院 | Hybrid image target tracking method |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328746A (en) * | 2006-06-09 | 2007-12-20 | Sony Computer Entertainment Inc | Apparatus and method for tracking object |
JP2010511931A (en) * | 2006-12-01 | 2010-04-15 | トムソン ライセンシング | Estimating the position of an object in an image |
JP2011040993A (en) * | 2009-08-11 | 2011-02-24 | Nikon Corp | Subject homing program and camera |
-
2017
- 2017-05-29 JP JP2017105746A patent/JP6757701B2/en active Active
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007328746A (en) * | 2006-06-09 | 2007-12-20 | Sony Computer Entertainment Inc | Apparatus and method for tracking object |
JP2010511931A (en) * | 2006-12-01 | 2010-04-15 | トムソン ライセンシング | Estimating the position of an object in an image |
JP2011040993A (en) * | 2009-08-11 | 2011-02-24 | Nikon Corp | Subject homing program and camera |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102175491B1 (en) * | 2019-05-08 | 2020-11-06 | 군산대학교산학협력단 | Method and apparatus for tracking object based on correlation filter |
CN111582349A (en) * | 2020-04-30 | 2020-08-25 | 陕西师范大学 | Improved target tracking algorithm based on YOLOv3 and kernel correlation filtering |
CN115953433A (en) * | 2023-02-06 | 2023-04-11 | 宿迁学院 | Hybrid image target tracking method |
CN115953433B (en) * | 2023-02-06 | 2023-09-19 | 宿迁学院 | Hybrid image target tracking method |
Also Published As
Publication number | Publication date |
---|---|
JP6757701B2 (en) | 2020-09-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8989442B2 (en) | Robust feature fusion for multi-view object tracking | |
JP6654789B2 (en) | Apparatus, program, and method for tracking object considering multiple candidates at change points | |
EP3092619B1 (en) | Information processing apparatus and information processing method | |
US7957560B2 (en) | Unusual action detector and abnormal action detecting method | |
US11430084B2 (en) | Systems and methods for saliency-based sampling layer for neural networks | |
CN103942557B (en) | A kind of underground coal mine image pre-processing method | |
CN113239722B (en) | Deep learning based strong convection extrapolation method and system under multi-scale | |
JP6757701B2 (en) | Object tracking programs, devices and methods using particles assigned any tracker | |
Nallasivam et al. | Moving human target detection and tracking in video frames | |
Amosov et al. | Roadway gate automatic control system with the use of fuzzy inference and computer vision technologies | |
Chen et al. | Learning to count with back-propagated information | |
CN115393634A (en) | Transfer learning strategy-based small-sample target real-time detection method | |
CN108320301A (en) | A kind of target following optimization method based on tracking study detection | |
Afsar et al. | Automatic human trajectory destination prediction from video | |
Aparna | Swarm intelligence for automatic video image contrast adjustment | |
Huang | Moving object detection in low-luminance images | |
Mohanapriya et al. | A novel foreground region analysis using NCP-DBP texture pattern for robust visual tracking | |
CN108108010A (en) | A kind of brand-new static gesture detection and identifying system | |
Zerrouki et al. | Adaboost-based algorithm for human action recognition | |
Chen et al. | An EM-CI based approach to fusion of IR and visual images | |
RU2807953C1 (en) | Video tracking system for moving objects | |
Kumar et al. | Pedestrian Tracking in UAV Images With Kalman Filter Motion Estimator and Correlation Filter | |
Shetty et al. | Plant Disease Detection for Guava and Mango using YOLO and Faster R-CNN | |
Lingam et al. | Statistically tuned Gaussian background subtraction technique for UAV videos | |
CN116152699B (en) | Real-time moving target detection method for hydropower plant video monitoring system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190701 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200831 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6757701 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |