JP2015212861A - Multiple joint object tracking device, multiple joint object tracking method, and program - Google Patents
Multiple joint object tracking device, multiple joint object tracking method, and program Download PDFInfo
- Publication number
- JP2015212861A JP2015212861A JP2014094700A JP2014094700A JP2015212861A JP 2015212861 A JP2015212861 A JP 2015212861A JP 2014094700 A JP2014094700 A JP 2014094700A JP 2014094700 A JP2014094700 A JP 2014094700A JP 2015212861 A JP2015212861 A JP 2015212861A
- Authority
- JP
- Japan
- Prior art keywords
- hypothesis
- posture
- postures
- feature amount
- processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、多関節物体追跡装置、多関節物体追跡方法、及びプログラムに関する。 The present invention relates to an articulated object tracking device, an articulated object tracking method, and a program.
人体のような多関節物体を、画像情報を利用して追跡しようとするには、大きく2つの人体モデルが用いられる。人体を円筒等の単純な剛体の連結として近似する手法(例えば、非特許文献1参照)とCG(コンピュータグラフィック)などで用いられるメッシュ構造を利用した詳細な形状モデルを利用する手法(例えば、非特許文献2参照)である。 In order to track an articulated object such as a human body using image information, two human body models are mainly used. A method of approximating a human body as a connection of simple rigid bodies such as a cylinder (for example, see Non-Patent Document 1) and a method of using a detailed shape model using a mesh structure used in CG (computer graphics) (for example, non-patent document 1) Patent Document 2).
上述した従来技術の2つの手法のうち前者の手法のモデルは、簡易モデルであるため計算コストが少ないことが利点となるが、実際の人体形状との差異が大きいため追跡精度が落ちるという欠点がある。一方、後者の手法のモデルは、人体形状の精密な表現が可能であるが、計算コストが大きいことが問題となる。 Of the two methods of the prior art described above, the former method model is a simple model, so it is advantageous that the calculation cost is low. However, there is a disadvantage that tracking accuracy is lowered due to a large difference from the actual human body shape. is there. On the other hand, the model of the latter method can accurately represent the human body shape, but has a problem of high calculation cost.
上記事情に鑑み、本発明は、計算コストを抑えながら安定して多関節物体の追跡を行う多関節物体追跡装置、多関節物体追跡方法、及びプログラムを提供することを目的としている。 In view of the above circumstances, an object of the present invention is to provide an articulated object tracking device, an articulated object tracking method, and a program that can stably track an articulated object while suppressing calculation cost.
本発明の一態様は、多関節物体の初期姿勢、及び動作種類の指定を受け、前記初期姿勢に対する複数の仮説姿勢を生成する初期設定部と、多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理部と、を備えることを特徴とする多関節物体追跡装置である。 According to one aspect of the present invention, an initial setting unit that receives designation of an initial posture of an articulated object and an operation type and generates a plurality of hypothetical postures with respect to the initial posture, and a time that constitutes video data obtained by photographing the articulated object For each sequential video frame, an image feature amount acquisition process for acquiring an image feature amount from the video frame, and a hypothetical feature that calculates a feature amount of each of the hypothetical postures based on a hypothetical shape obtained by deforming a human body shape model based on the hypothetical posture The weight calculation unit calculates the weight of each hypothesis posture by comparing the feature amount of the hypothesis posture calculated by the amount calculation processing and the hypothesis feature amount calculation processing with the image feature amount calculated by the image feature amount acquisition processing. A weight calculation process, and a state estimation process for estimating a posture from a plurality of the hypothesis postures based on the weights of the hypothesis postures calculated by the weight calculation processing, Re-sampling processing for selecting a plurality of hypothesis postures near the posture estimated by the state estimation processing among the plurality of hypothesis postures based on the weights of the hypothesis postures calculated by the weight calculation processing; A tracking processing unit that repeats sampling processing for generating a hypothetical posture at the next time from the plurality of hypothetical postures selected by sampling processing using dynamics corresponding to the operation type. It is a joint object tracking device.
また、本発明の一態様は、上述した多関節物体追跡装置であって、前記初期設定部は、衣類種類の指定をさらに受け、仮説特徴量算出処理は、人体形状モデルを前記仮説姿勢及び前記衣類種類に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する、ことを特徴とする。 One aspect of the present invention is the articulated object tracking apparatus described above, wherein the initial setting unit further receives designation of a clothing type, and the hypothesis feature amount calculation processing includes the human body shape model as the hypothesis posture and the hypothesis posture. A feature amount of each hypothetical posture is calculated based on a hypothetical shape deformed based on a clothing type.
また、本発明の一態様は、上述した多関節物体追跡装置であって、前記衣類種類は、衣類メッシュ構造、変形情報、テクスチャ、及び反射情報により示される、ことを特徴とする。 One embodiment of the present invention is the above-described articulated object tracking apparatus, wherein the clothing type is indicated by a clothing mesh structure, deformation information, texture, and reflection information.
また、本発明の一態様は、多関節物体追跡装置が実行する多関節物体追跡方法であって、初期設定部が、多関節物体の初期姿勢、及び動作種類の指定を受け、前記初期姿勢に対する複数の仮説姿勢を生成する初期設定過程と、追跡処理部が、多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理過程と、を有することを特徴とする多関節物体追跡方法である。 Further, one aspect of the present invention is an articulated object tracking method executed by the articulated object tracking apparatus, wherein the initial setting unit receives designation of an initial posture and an operation type of the articulated object, and An initial setting process for generating a plurality of hypothesis postures, and an image feature amount acquisition by the tracking processing unit for acquiring an image feature amount from the video frame for each video frame in time order constituting video data obtained by photographing a multi-joint object Processing, a hypothesis feature amount calculation process for calculating each feature amount of the hypothesis posture based on a hypothesis shape obtained by deforming a human body shape model based on the hypothesis posture, and a feature amount of the hypothesis posture calculated by the hypothesis feature amount calculation process And the image feature quantity calculated by the image feature quantity acquisition process to calculate the weight of each hypothesis posture and the weight calculation process. State estimation processing for estimating a posture from a plurality of the hypothesis postures based on the weights of the hypothesis postures, and the hypothesis postures among the plurality of hypothesis postures based on the weights of the hypothesis postures calculated by the weight calculation processing. A resampling process for selecting a plurality of hypothesis attitudes near the attitude estimated by the state estimation process, and a plurality of the hypothesis attitudes selected by the resampling process, using the dynamics corresponding to the operation type, And a tracking process that repeats a sampling process for generating a hypothetical posture of time.
また、本発明の一態様は、コンピュータを、上述した多関節物体追跡装置の各部として機能させるためのプログラムである。 One embodiment of the present invention is a program for causing a computer to function as each unit of the articulated object tracking device described above.
本発明により、計算コストを抑えながら安定した多関節物体の追跡を実現することが可能となる。 According to the present invention, it is possible to realize stable tracking of an articulated object while suppressing calculation cost.
以下、図面を参照して本発明の一実施の形態を説明する。
図1は、本発明の一実施形態による多関節物体追跡装置100の構成を示す概略ブロック図である。多関節物体追跡装置100は、例えば、コンピュータ装置により実現される。同図に示すように、多関節物体追跡装置100は、映像取得部101、画像入力部102、人体形状記憶部103、衣類情報記憶部104、動作情報記憶部105、対象追跡部106、推定情報記憶部107、及び追跡結果出力部108を備えて構成される。
Hereinafter, an embodiment of the present invention will be described with reference to the drawings.
FIG. 1 is a schematic block diagram showing a configuration of an articulated
映像取得部101は、追跡対象となる多関節物体を撮影した映像データを取得する。映像取得部101は、一例として、1台または数台のカメラや、映像データベースから構成される。映像データは複数の映像フレーム(以下、「フレーム」とも記載する。)からなる。
The
画像入力部102は、映像取得部101により撮影あるいは蓄積された映像データを、推定処理を行う形式の映像データへ変換する。この変換は例えば、色相変換やフレーム補間等である。
The
人体形状記憶部103は、事前に作成された人体形状のデータからなる人体形状データベースを保持する。人体形状データベースは主に、人体メッシュ構造、変形情報、テクスチャ、反射撤のデータから成る。ここでいう変形情報とは、人物の動きに対する人体形状の変形のモデルである。この変形情報は、例えば非特許文献2のようなメッシュ構造形状モデルを利用した追跡手法に用いられるものと同様である。
The human body
衣類情報記憶部104は、事前に作成された衣類のデータからなる衣類データベースを保持する。この衣類データベースは主に、衣類メッシュ構造、変形情報、テクスチャ、反射情報のデータから成る。ここでいう変形情報とは、着用対象の人物の動きに対する変形のモデルである。この情報を用いることで、対象のテクスチャ情報の計算ができるため、照明等の変動にロバストな追跡が可能となる。
The clothing
動作情報記憶部105は、事前に作成された動作のデータからなる動作データベースを保持する。この動作データベースは主に、動作の種類と、ダイナミクス情報とを対応付けた情報から成る。この情報を用いることで、対象の特性に合致したダイナミクス情報を利用できるため、少ない計算コストで安定した追跡が可能となる。
The motion
対象追跡部106は、画像入力部102により形式変換された映像データに関して人体の関節位置の情報を、画像特徴量などを用いて解析対象の全フレームに対して追跡する。一般的には、各フレームの画像情報と人体メッシュ情報を比較することで追跡を行う。本実施形態では、これらに加えて、動作情報記憶部105の動作情報と衣類情報記憶部104の衣類情報を利用する。
The
推定情報記憶部107は、対象追跡部106において推定された多関節物体の位置の情報を保持する。
追跡結果出力部108は、対象追跡部106において推定された追跡結果を表示する。例えば、追跡結果出力部108は、映像データに基づく映像に追跡位置を重畳して表示する。
The estimated
The tracking
ここでまず、従来技術のパーティクルフィルタを用いて対象位置を追跡する場合の処理の流れを説明する。
図4は、パーティクルフィルタによる物体追跡の概念図である。一般に、パーティクルフィルタを用いる場合、追跡対象の位置候補を仮説として多数(N個)生成する。
まず、時刻tにおけるSTEP0として、仮説の位置を初期化する。各時刻において、STEP1として、各仮説の位置の特徴量を追跡対象のテンプレート特徴量と比較し、その比較により得られた類似度を重みとして算出する。STEP2として、N個の仮説の中から最も重みの大きいものをもっともらしい仮説として選択し、その時刻の推定位置(状態)とする。あるいは、仮説の重みつき平均値をその時刻の推定位置(状態)としてもよい。STEP3において、次の時刻の準備として、推定値に近い仮説が多く残るように重みの大きい仮説を複製し、小さい仮説を消滅させるリサンプリングを行う。次の時刻(時刻t+1)において、STEP4では、追跡対象の状態遷移モデルに従って仮説を移動させるサンプリングを行う。状態遷移モデルは、対象物の運動モデルに基づいて定義することが望ましいが、運動モデルの定式化が難しい場合は、等速直線運動やランダムウォークを想定する。そして、STEP1に戻る。
Here, first, the flow of processing when the target position is tracked using the conventional particle filter will be described.
FIG. 4 is a conceptual diagram of object tracking by a particle filter. Generally, when a particle filter is used, a large number (N) of position candidates to be tracked are generated as hypotheses.
First, the position of the hypothesis is initialized as STEP0 at time t. At each time, as STEP 1, the feature quantity at the position of each hypothesis is compared with the template feature quantity to be tracked, and the similarity obtained by the comparison is calculated as a weight. As STEP 2, the one having the largest weight is selected as a plausible hypothesis from the N hypotheses and set as the estimated position (state) at that time. Alternatively, the weighted average value of the hypothesis may be used as the estimated position (state) at that time. In STEP 3, as a preparation for the next time, a hypothesis having a large weight is copied so that many hypotheses close to the estimated value remain, and resampling is performed to eliminate the small hypothesis. At the next time (time t + 1), in STEP 4, sampling is performed to move the hypothesis according to the state transition model to be tracked. Although it is desirable to define the state transition model based on the motion model of the object, constant velocity linear motion or random walk is assumed when it is difficult to formulate the motion model. And it returns to STEP1.
図5は、一般的手法を用いた場合の対象追跡部106による対象追跡処理の流れを示すフロー図である。図5に示す対象追跡処理の前に、画像入力部102は、推定処理を行う形式へ変換した映像データを対象追跡部106に出力している。映像データを構成するフレーム数をTとする。
FIG. 5 is a flowchart showing the flow of the object tracking process performed by the
ステップS901において、対象追跡部106は、時刻t=0とする。
ステップS902において、対象追跡部106は、追跡対象とする物体の初期姿勢Y(0)を指定する。初期姿勢Y(0)は例えば、関節の3次元位置や3次元回転角からなる行列として表現可能である。追跡対象の位置を状態Φ(t)=Y(t)とすると、対象追跡部106は、N個の仮説姿勢Φi(t)=Yi(t)(i=1,2,…,N)を生成し、指定した初期姿勢Y(0)を中心としてこれら仮説姿勢Φi(t)が分布するように初期化する。このとき、分布には例えば平均Y(0)の正規分布等を用いることが可能である。
In step S901, the
In step S902, the
ステップS903において、対象追跡部106は、時刻tが解析フレーム数T以下であると判断した場合、下記のステップS904〜ステップS910の処理を繰り返す。
In step S903, when the
ステップS904において、対象追跡部106は、時刻tのフレームの映像データについて、追跡対象の画像特徴量であるテンプレート画像特徴量Iimage(t)を取得する。このテンプレート画像特徴量Iimage(t)は、例えば、エッジ等で人体領域を切り出し、その上で色ヒストグラムやHOG(Histograms of Oriented Gradients)特徴量等、任意のものを用いて取得することが可能である。
In step S <b> 904, the
ステップS905において、対象追跡部は、時刻tのフレーム映像に対する仮説姿勢Φi(t)(i=1,2,…,N)の特徴量Ii(t)を算出する。仮説姿勢の特徴量Ii(t)を算出するには、人体形状記憶部103に記憶されている人体形状モデルMdを仮説姿勢Φi(t)=Yi(t)(i=1,2,…,N)に基づき変形して仮説形状Md*Yi(t)を計算することで取得可能である。人体形状モデルMdは、人体形状記憶部103に記憶されている人体メッシュ構造、変形情報、テクスチャ、反射撤のデータであり、例えば、人体メッシュの頂点座標とそれぞれの変形重みを加味した行列で表現される。
In step S905, the target tracking unit calculates a feature quantity I i (t) of the hypothesis posture Φ i (t) (i = 1, 2,..., N) with respect to the frame image at time t. In order to calculate the hypothetical posture feature quantity I i (t), the human body shape model Md stored in the human body
ステップS906において、対象追跡部106は、特徴量Ii(t)とテンプレート画像特徴量Iimage(t)を比較して仮説姿勢Φi(t)の重みwi(t)を算出する。重みには例えば、特徴量Ii(t)とテンプレート画像特徴量Iimage(t)の距離を用いることが可能である。
In step S906, the
ステップS907において、対象追跡部106は、ステップS906において算出した重みwi(t)により、時刻tにおける状態Φ(t)を推定する。この推定は、仮説姿勢Φ1(t)〜ΦN(t)のうち最も大きな重みをもつ仮説姿勢を選んだり、仮説姿勢の重みつき平均をとる等の方法により行うことが可能である。対象追跡部106は、推定した状態Φ(t)を推定情報記憶部107に保存する。
In step S907, the
ステップS908において、対象追跡部106は、重みwi(t)の大きさに応じて重みの大きい仮説姿勢を複製し、重みの小さい仮説姿勢は削除することで、推定した状態付近に仮説姿勢が集まるようにリサンプリングを行う。リサンプリングは、重みと面積を比例させたルーレット方式や重みの上位10%程度を用いた複製等、様々な方式が可能である。
In step S908, the
ステップS909において、対象追跡部106は、次の時刻の準備として、追跡対象の状態遷移モデルに基づいて、仮説姿勢のサンプリングを行う。仮説姿勢のサンプリングによって次の時刻のN個の仮説姿勢Φi(t+1)=Yi(t+1)(i=1,2,…,N)を生成する。このサンプリングは一般に、等速直線やランダムウォークのモデルによって行う。
In step S909, the
ステップS909において、対象追跡部106は、時刻t=t+1として、ステップS905からの処理を同様に繰り返す。そして、ステップS903において、対象追跡部106は、時刻tが解析フレーム数Tより大きいと判断した場合、処理を終了する。
追跡結果出力部108は、対象追跡部106において推定された追跡結果を表示する。
In step S909, the
The tracking
図2は、本実施形態の手法を用いた場合の対象追跡部106による対象追跡処理の流れを示すフロー図である。同図において、図5のフロー図と同様の処理については、詳細な説明を割愛する。この対象追跡処理の前に、画像入力部102は、推定処理を行う形式へ変換した映像データを対象追跡部106に出力している。映像データを構成するフレーム数をTとする。
FIG. 2 is a flowchart showing the flow of object tracking processing by the
ステップS301において、対象追跡部106は、ステップS901と同様に、時刻t=0とする。
ステップS302において、対象追跡部106は、追跡対象とする物体の初期姿勢Y(0)、動作種類M、衣類種類Cを指定する。初期姿勢Y(0)は例えば、関節の3次元位置や3次元回転角からなる行列として表現可能である。対象追跡部106は、追跡対象の位置を状態Φ(t)=Y(t)とすると、N個の仮説姿勢Φi(t)=Yi(t)(i=1,2,…,N)を生成し、指定した初期姿勢Y(0)を中心としてこれら仮説姿勢が分布するように初期化する。このとき、分布には例えば平均Y(0)の正規分布等を用いることが可能である。
In step S301, the
In step S302, the
ステップS303において、対象追跡部106は、時刻tが解析フレーム数T以下であると判断した場合、下記のステップS304〜ステップS310の処理を繰り返す。
ステップS304の処理は、図2のステップS904の処理と同様であり、対象追跡部106は、時刻tのフレームの映像データについて、追跡対象のテンプレート画像特徴量Iimage(t)を取得する。
In step S303, when the
The processing in step S304 is the same as the processing in step S904 in FIG. 2, and the
ステップS305において、対象追跡部106は、時刻tのフレーム映像に対する仮説姿勢Φi(t)(i=1,2,…,N)の特徴量Ii(t)を算出する。仮説姿勢の特徴量を算出するには、人体形状記憶部103に記憶されている人体形状モデルMdを、仮説姿勢Φi(t)=Yi(t)(i=1,2,…,N)と、ステップS302において指定された衣類種類Cとに基づき変形し、衣類を考慮した仮説形状C*Md*Yi(t)を計算することで取得可能である。衣類種類Cは、衣類情報記憶部104に記憶されている衣類メッシュ構造、変形情報、テクスチャ、反射情報で示される衣類のデータであり、例えば、衣類メッシュの頂点座標とそれぞれの変形重みを加味した行列で表現される。
In step S305, the
ステップS306〜ステップS308の処理は、図2のステップS907〜ステップS908の処理と同様である。すなわち、ステップS306において、対象追跡部106は、各仮説姿勢の特徴量Ii(t)とテンプレート画像特徴量Iimage(t)を比較して仮説姿勢Φi(t)の重みwi(t)を算出する。ステップS307において、対象追跡部106は、重みwi(t)により、時刻tにおける状態Φ(t)を推定し、推定情報記憶部107に保存する。ステップS308において、対象追跡部106は、推定した状態付近に仮説姿勢が集まるようにリサンプリングを行う。
The processing from step S306 to step S308 is the same as the processing from step S907 to step S908 in FIG. In other words, in step S306, the
ステップS309において、対象追跡部106は、次の時刻の準備として、動作情報記憶部105に記憶している追跡対象のダイナミクスに基づいて、仮説姿勢のサンプリングを行う。このダイナミクスは、動作情報記憶部105に記憶されている動作種類の中からステップS302で指定された動作種類Mにより選択される。ここで、サンプリングは例えば、Φi(t+1)=f(Φi(t))として次の時刻のN個の仮説姿勢Φi(t+1)(i=1,2,…,N)を生成する。ここでfは、動作種類Mによって決定される関数であり、任意のものを利用可能である。一般に、パーティクルフィルタを利用した物体追跡の計算コストは仮説数Nに比例する。対象の特性に合致したダイナミクス情報を利用することで、一般的なランダムウォークを利用する場合と比較して、少ない仮説数で安定した追跡が可能となる。
In step S <b> 309, the
図3は、利用するダイナミクスによる必要仮説数の違いを説明するための図である。図5(a)のように対象のダイナミクスが既知である場合、仮説が対象の動きにマッチしているため、少ない仮説数で対象を追跡することができる。一方、図5(b)のように対象のダイナミクスが未知の場合、仮説が対象の動きを捉える確率が少なくなるため、対象を追跡するためには多くの仮説が必要である。このように、本実施形態では仮説数を少なくすることができるため、計算コストを抑えることができる。 FIG. 3 is a diagram for explaining the difference in the number of necessary hypotheses depending on the dynamics to be used. When the target dynamics are known as shown in FIG. 5A, the hypothesis matches the target motion, and therefore the target can be tracked with a small number of hypotheses. On the other hand, when the dynamics of the target is unknown as shown in FIG. 5B, the probability that the hypothesis captures the motion of the target is reduced, so that many hypotheses are necessary to track the target. Thus, in this embodiment, since the number of hypotheses can be reduced, the calculation cost can be suppressed.
ステップS309において、対象追跡部106は、時刻t=t+1として、ステップS305からの処理を同様に繰り返す。そして、ステップS303において、対象追跡部106は、時刻tが解析フレーム数Tより大きいと判断した場合、処理を終了する。
追跡結果出力部108は、対象追跡部106において推定された追跡結果を表示する。
In step S309, the
The tracking
なお、対象追跡部106は、ステップS305の処理に代えて、ステップS905の処理を行ってもよい。動作種類Mを用いることにより対象の動きにマッチした仮説が得られるため、追跡対象の服装がモデルと同じ場合や、モデルと服装が異なっており、テクスチャ以外の情報(エッジやシルエットなど)を用いる場合には、衣類種類を用いずとも、従来手法と比較してコストを抑えつつ、追跡の精度を保つことが可能となる。
また、動作種類Mを用いず、衣類種類Cのみを用いる場合でも、推定対象の服装の自由度が増すという効果がある。
The
Further, even when only the clothing type C is used without using the motion type M, there is an effect that the degree of freedom of clothing to be estimated is increased.
以上説明したように、本実施形態の多関節物体追跡装置100は、動き情報の利用により、モデルの計算コストを低下させて安定した追跡を実現する。また、本実施形態の多関節物体追跡装置100は、衣類情報の利用により、従来技術では考慮していなかった、追跡対象の服装を考慮した追跡を実現する。これにより、メッシュ構造形状モデルに対象の動き情報と衣類変形情報を付加した人体モデルを利用して多関節物体の追跡を行う。
As described above, the articulated
上述した実施形態における多関節物体追跡装置100の機能をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、OSや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ROM、CD−ROM等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであってもよく、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよい。
You may make it implement | achieve the function of the articulated
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
映像データから、映像に映っている多関節物体を追跡する技術に適用できる。 It can be applied to a technique for tracking a multi-joint object shown in a video from video data.
100…多関節物体追跡装置, 101…映像取得部, 102…画像入力部, 103…人体形状記憶部, 104…衣類情報記憶部, 105…動作情報記憶部, 106…対象追跡部(初期設定部、追跡処理部), 107…推定情報記憶部, 108…追跡結果出力部
DESCRIPTION OF
Claims (5)
多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、
前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、
人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、
前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、
前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理部と、
を備えることを特徴とする多関節物体追跡装置。 An initial setting unit that receives a designation of an initial posture of an articulated object and a motion type, and generates a plurality of hypothetical postures for the initial posture;
For each video frame in chronological order that composes video data of an articulated object,
An image feature amount acquisition process for acquiring an image feature amount from the video frame;
A hypothesis feature amount calculation process for calculating a feature amount of each of the hypothesis postures based on a hypothesis shape obtained by deforming a human body shape model based on the hypothesis posture;
A weight calculation process for calculating the weight of each hypothesis posture by comparing the feature quantity of the hypothesis posture calculated by the hypothesis feature amount calculation process with the image feature amount calculated by the image feature amount acquisition process;
A state estimation process for estimating a posture from a plurality of the hypothesis postures based on the weights of the hypothesis postures calculated by the weight calculation processing;
Resampling processing for selecting a plurality of hypothesis postures near the posture estimated by the state estimation processing among a plurality of the hypothesis postures based on the weights of the hypothesis postures calculated by the weight calculation processing;
A tracking processing unit that repeats sampling processing for generating a hypothetical posture at the next time from the plurality of hypothetical postures selected by the resampling processing using dynamics corresponding to the operation type;
An articulated object tracking device comprising:
前記追跡処理部は、前記仮説特徴量算出処理において、人体形状モデルを前記仮説姿勢及び前記衣類種類に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する、
ことを特徴とする請求項1に記載の多関節物体追跡装置。 The initial setting unit further receives a designation of clothing type,
In the hypothesis feature amount calculation process, the tracking processing unit calculates a feature amount of each hypothesis posture based on a hypothesis shape obtained by deforming a human body shape model based on the hypothesis posture and the clothing type.
The articulated object tracking device according to claim 1.
ことを特徴とする請求項2に記載の多関節物体追跡装置。 The clothing type is indicated by clothing mesh structure, deformation information, texture, and reflection information.
The articulated object tracking apparatus according to claim 2.
初期設定部が、多関節物体の初期姿勢、及び動作種類の指定を受け、前記初期姿勢に対する複数の仮説姿勢を生成する初期設定過程と、
追跡処理部が、多関節物体を撮影した映像データを構成する時刻順の映像フレーム毎に、
前記映像フレームから画像特徴量を取得する画像特徴量取得処理と、
人体形状モデルを前記仮説姿勢に基づき変形した仮説形状により前記仮説姿勢それぞれの特徴量を算出する仮説特徴量算出処理と、
前記仮説特徴量算出処理により算出された前記仮説姿勢の特徴量と前記画像特徴量取得処理により算出された前記画像特徴量とを比較して前記仮説姿勢それぞれの重みを算出する重み算出処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢から姿勢を推定する状態推定処理と、
前記重み算出処理により算出された前記仮説姿勢それぞれの重みに基づいて複数の前記仮説姿勢のうち前記状態推定処理により推定された前記姿勢付近の複数の仮説姿勢を選択するリサンプリング処理と、
前記リサンプリング処理により選択された複数の前記仮説姿勢から、前記動作種類に対応したダイナミクスを用いて次の時刻の仮説姿勢を生成するサンプリング処理とを繰り返す追跡処理過程と、
を有することを特徴とする多関節物体追跡方法。 An articulated object tracking method executed by an articulated object tracking device,
An initial setting unit receives an initial posture of an articulated object and an operation type, and generates a plurality of hypothetical postures for the initial posture; and
The tracking processing unit, for each video frame in order of time constituting the video data of the image of the articulated object,
An image feature amount acquisition process for acquiring an image feature amount from the video frame;
A hypothesis feature amount calculation process for calculating a feature amount of each of the hypothesis postures based on a hypothesis shape obtained by deforming a human body shape model based on the hypothesis posture;
A weight calculation process for calculating the weight of each hypothesis posture by comparing the feature quantity of the hypothesis posture calculated by the hypothesis feature amount calculation process with the image feature amount calculated by the image feature amount acquisition process;
A state estimation process for estimating a posture from a plurality of the hypothesis postures based on the weights of the hypothesis postures calculated by the weight calculation processing;
Resampling processing for selecting a plurality of hypothesis postures near the posture estimated by the state estimation processing among a plurality of the hypothesis postures based on the weights of the hypothesis postures calculated by the weight calculation processing;
A tracking process that repeats a sampling process for generating a hypothetical attitude at the next time from the plurality of hypothetical attitudes selected by the resampling process using dynamics corresponding to the operation type;
An articulated object tracking method characterized by comprising:
請求項1から請求項3のいずれか1項に記載の多関節物体追跡装置の各部として機能させるプログラム。 Computer
The program which functions as each part of the articulated object tracking device of any one of Claims 1-3.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014094700A JP6185879B2 (en) | 2014-05-01 | 2014-05-01 | Articulated object tracking device, articulated object tracking method, and program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014094700A JP6185879B2 (en) | 2014-05-01 | 2014-05-01 | Articulated object tracking device, articulated object tracking method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015212861A true JP2015212861A (en) | 2015-11-26 |
JP6185879B2 JP6185879B2 (en) | 2017-08-23 |
Family
ID=54697096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014094700A Active JP6185879B2 (en) | 2014-05-01 | 2014-05-01 | Articulated object tracking device, articulated object tracking method, and program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6185879B2 (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019016106A (en) * | 2017-07-05 | 2019-01-31 | 富士通株式会社 | Information processing program, information processing apparatus, information processing method, and information processing system |
KR102129771B1 (en) * | 2020-04-27 | 2020-07-03 | (주)투비소프트 | Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof |
JP2021060734A (en) * | 2019-10-04 | 2021-04-15 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Learning device, learning method, and learning program |
JP2022502809A (en) * | 2018-11-15 | 2022-01-11 | ソニーグループ株式会社 | Object tracking based on user-specified initialization points |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285358A (en) * | 2005-03-31 | 2006-10-19 | Advanced Telecommunication Research Institute International | Edge-tracking method and computer program thereof |
JP2008112211A (en) * | 2006-10-27 | 2008-05-15 | Toshiba Corp | Attitude estimation apparatus and method |
JP2012003719A (en) * | 2010-06-21 | 2012-01-05 | Nippon Telegr & Teleph Corp <Ntt> | State estimation device, state estimation method, and program |
JP2013092876A (en) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | Attitude estimation device, attitude estimation method, and attitude estimation program |
-
2014
- 2014-05-01 JP JP2014094700A patent/JP6185879B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006285358A (en) * | 2005-03-31 | 2006-10-19 | Advanced Telecommunication Research Institute International | Edge-tracking method and computer program thereof |
JP2008112211A (en) * | 2006-10-27 | 2008-05-15 | Toshiba Corp | Attitude estimation apparatus and method |
JP2012003719A (en) * | 2010-06-21 | 2012-01-05 | Nippon Telegr & Teleph Corp <Ntt> | State estimation device, state estimation method, and program |
JP2013092876A (en) * | 2011-10-25 | 2013-05-16 | Nippon Telegr & Teleph Corp <Ntt> | Attitude estimation device, attitude estimation method, and attitude estimation program |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2019016106A (en) * | 2017-07-05 | 2019-01-31 | 富士通株式会社 | Information processing program, information processing apparatus, information processing method, and information processing system |
JP2022502809A (en) * | 2018-11-15 | 2022-01-11 | ソニーグループ株式会社 | Object tracking based on user-specified initialization points |
JP7100306B2 (en) | 2018-11-15 | 2022-07-13 | ソニーグループ株式会社 | Object tracking based on user-specified initialization points |
JP2021060734A (en) * | 2019-10-04 | 2021-04-15 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Learning device, learning method, and learning program |
JP7355588B2 (en) | 2019-10-04 | 2023-10-03 | エヌ・ティ・ティ・コミュニケーションズ株式会社 | Learning devices, learning methods, learning programs |
KR102129771B1 (en) * | 2020-04-27 | 2020-07-03 | (주)투비소프트 | Cctv management system apparatus that recognizes behavior of subject of shooting in video from video taken through cctv camera and operating method thereof |
Also Published As
Publication number | Publication date |
---|---|
JP6185879B2 (en) | 2017-08-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6424293B1 (en) | Body imaging | |
US10839585B2 (en) | 4D hologram: real-time remote avatar creation and animation control | |
JP4950787B2 (en) | Image processing apparatus and method | |
JP5525407B2 (en) | Behavior model learning device, three-dimensional posture estimation device, behavior model learning method, three-dimensional posture estimation method, and program | |
JP5555207B2 (en) | 3D posture estimation apparatus, 3D posture estimation method, and program | |
JP2022503647A (en) | Cross-domain image conversion | |
JP4951498B2 (en) | Face image recognition device, face image recognition method, face image recognition program, and recording medium recording the program | |
WO2021253788A1 (en) | Three-dimensional human body model construction method and apparatus | |
EP3341919A1 (en) | Image regularization and retargeting system | |
JP2016099982A (en) | Behavior recognition device, behaviour learning device, method, and program | |
KR102270949B1 (en) | 3d human body model reconstruction apparatus and method | |
CN113449570A (en) | Image processing method and device | |
JP6185879B2 (en) | Articulated object tracking device, articulated object tracking method, and program | |
JP2021111114A (en) | Learning data generating program and learning data generation method and estimation device | |
Liu et al. | 4d human body capture from egocentric video via 3d scene grounding | |
WO2022237249A1 (en) | Three-dimensional reconstruction method, apparatus and system, medium, and computer device | |
JP2014085933A (en) | Three-dimensional posture estimation apparatus, three-dimensional posture estimation method, and program | |
Kowalski et al. | Holoface: Augmenting human-to-human interactions on hololens | |
JP2016152586A (en) | Projection mapping device, and device, method and program for video projection control | |
US9870637B2 (en) | Frame removal and replacement for stop-action animation | |
JP2010211732A (en) | Object recognition device and method | |
JP2019016164A (en) | Learning data generation device, estimation device, estimation method, and computer program | |
JP5767078B2 (en) | Posture estimation apparatus, posture estimation method, and posture estimation program | |
JP7499346B2 (en) | Joint rotation estimation based on inverse kinematics | |
CN102609956B (en) | Editing method for human motions in videos |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160720 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20170608 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170725 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170728 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6185879 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |