JP7098180B2 - 情報処理装置、情報処理方法及び情報処理プログラム - Google Patents

Description

本発明は、情報処理装置、情報処理方法及び情報処理プログラムに関する。

従来から、人物を追跡する装置が存在する。特許文献１に記載された技術は、複数のカメラで撮像される画像に基づいて人物を検出すると共に、その人物の位置座標を演算して、その人物の軌跡を追跡する。

特許４９７０１９５号公報

特許文献１に記載された技術は、人物を追跡している。しかし、特許文献１に記載された技術は、複数の人物が行き交う場所では、人物同士の重なりによってそれぞれの人物を特定できない可能性がある。また特許文献１に記載された技術では、撮影方向が異なる複数のカメラそれぞれで撮像を行う場合、複数のカメラ間では同一の人物を特定することができない可能性がある。

本発明は、被写体を検出して、その被写体の動きを追跡することが可能な情報処理装置、情報処理方法及び情報処理プログラムを提供することを目的とする。

一態様の情報処理装置は、被写体が記録される画像データに基づいて、被写体の特徴を取得する取得部と、取得部によって取得された特徴に基づいて画像データ上の被写体を特定して、被写体の移動を追跡する特定部と、特定部によって追跡される被写体に関する情報を出力するよう出力部を制御する出力制御部と、を備え、取得部は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのうち、少なくとも１つに基づいて被写体の特徴を取得する。

一態様の情報処理装置は、被写体を撮像して画像データを生成する、異なる位置に配される複数のカメラ部を備え、特定部は、取得部によって複数のカメラ部のうちの１つのカメラ部としての第１カメラ部で生成された画像データとしての第１画像データに基づいて被写体の特徴を取得した場合、その被写体の特徴を利用して、第１画像データに記録される被写体、及び、第１カメラ部を除く他のカメラ部で生成された画像データとしての第２画像データに記録される被写体を特定することとしてもよい。

一態様の情報処理装置では、取得部は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することに基づいて被写体の特徴を取得し、認識した数が所定数以上の場合、同一の被写体として特定することとしてもよい。

一態様の情報処理装置では、取得部は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのそれぞれに対して重み付けを設定し、重み付けが相対的に重く設定されたら認識事項を優先して被写体の特徴を取得することとしてもよい。

一態様の情報処理装置では、取得部は、被写体の全体の特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の全体の特徴を取得するグローバル・ブランチと、被写体の局所的な特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の局所的な特徴を取得するローカル・ブランチと、を備えることとしてもよい。

一態様の情報処理装置では、出力部は、表示部であり、出力制御部は、特定部によって特定される被写体に対して所定の態様の情報を対応付けて、被写体と所定の態様の情報とを表示するよう表示部を制御することとしてもよい。

一態様の情報処理装置では、出力制御部は、所定の態様の情報として被写体の移動の軌跡を示す画像を、その被写体の移動に応じて表示するよう表示部を制御することとしてもよい。

一態様の情報処理方法では、コンピュータが、被写体が記録される画像データに基づいて、被写体の特徴を取得する取得ステップと、取得ステップによって取得された特徴に基づいて画像データ上の被写体を特定して、被写体の移動を追跡する特定ステップと、特定ステップによって追跡される被写体に関する情報を出力するよう出力ステップを制御する出力制御ステップと、を実行し、取得ステップは、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのうち、少なくとも１つに基づいて被写体の特徴を取得することとしてもよい。

一態様の情報処理プログラムは、コンピュータに、被写体が記録される画像データに基づいて、被写体の特徴を取得する取得機能と、取得機能によって取得された特徴に基づいて画像データ上の被写体を特定して、被写体の移動を追跡する特定機能と、特定機能によって追跡される被写体に関する情報を出力するよう出力機能を制御する出力制御機能と、を実現させ、取得機能は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのうち、少なくとも１つに基づいて被写体の特徴を取得する。

一態様の情報処理装置は、画像データに基づいて被写体の特徴を取得し、取得された特徴に基づいて画像データ上の被写体を特定して、被写体の移動を追跡し、追跡される被写体に関する情報を出力する。この場合、上述した情報処理装置は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのうち、少なくとも１つに基づいて被写体の特徴を取得する。これにより、情報処理装置は、被写体を検出して、その被写体の動きを追跡することが可能である。
一態様の情報処理方法及び情報処理プログラムは、上述した一態様の情報処理装置と同様の効果を奏することができる。

一実施形態に係る情報処理装置について説明するためのブロック図である。 カメラ部によって得られる画像の一例について説明するための図である。 複数のカメラ部で得られる画像の一例について説明するための図である。（Ａ）は第１カメラ部で得られる画像の一例を示す図であり、（Ｂ）は第２カメラ部で得られる画像の一例を示す図である。 被写体に対する所定の態様の情報、及び、被写体の移動の軌跡について説明するための図である。 複数のカメラ部が配される場合の、被写体に対する所定の態様の情報、及び、被写体の移動の軌跡について説明するための図である。（Ａ）は第１カメラ部で得られる画像の一例を示す図であり、（Ｂ）は第２カメラ部で得られる画像の一例を示す図である。 一実施形態に係る情報処理方法について説明するためのフローチャートである。 ＲｅｓＮｅｔのＣｏｎｖｏｌｕｔｉｏｎ層の一例について説明するための図である。 取得部（ＲｅｓＮｅｔ）の一例について説明するための図である。

以下、本発明の一実施形態について説明する。
本明細書では、「情報」の文言を使用しているが、「情報」の文言は「データ」と言い換えることができ、「データ」の文言は「情報」と言い換えることができる。

図１は、一実施形態に係る情報処理装置１について説明するためのブロック図である。
情報処理装置１は、カメラ部１５で被写体１０１を撮像することにより画像データが生成された場合、例えば、その画像データに記録される被写体１０１を認識する等により、被写体１０１の特徴を取得する。なお、この場合、情報処理装置１には、被写体１０１（人物個人）を特定する情報が予め記憶されてなく、カメラ部１５で生成される画像データに基づいて初めて被写体１０１（人物個人）を認識する。これにより、情報処理装置１は、ある人物と他の人物とを判別することが可能になる。

情報処理装置１は、人物を認識することにより、複数のカメラ部１５で異なる位置を撮像する場合でも、１つのカメラ部１５で生成される画像データに記録される被写体１０１を認識すると（例えば、被写体Ａとして認識すると）、その被写体１０１が移動して、他のカメラ部１５で生成される画像データにその被写体１０１が記録されると被写体Ａとして認識する。

次に、情報処理装置１について詳細に説明する。

図１に示すように、情報処理装置１は、カメラ部１５、記憶部１６、通信部１７、表示部１８、取得部１２、特定部１３及び出力制御部１４を備える。取得部１２、特定部１３及び出力制御部１４は、情報処理装置１の制御部１１（例えば、演算処理装置等）の一機能として実現されてもよい。

図２は、カメラ部１５によって得られる画像の一例について説明するための図である。
カメラ部１５は、被写体１０１を撮像して画像データを生成する。カメラ部１５は、複数あり、それぞれ異なる位置に配されてもよい。すなわち、複数のカメラ部１５は、異なる位置を撮像するように配されてもよい。また、複数のカメラ部１５は、同じ位置に配されて、異なる方向を撮像するようになっていてもよい。複数のカメラ部１５の撮像範囲は、一部が重なっていてもよく、重なっていなくともよい。具体的な一例として、１つのカメラ部１５は部屋の入口付近を撮像し、他のカメラ部１５は部屋の内部（室内）を撮像することとしてもよい。カメラ部１５は、動画を撮影して画像データ（動画データ）を生成してもよい。又は、カメラ部１５は、時間的に連続して又は所定時間毎に静止画を撮影して画像データ（静止画データ）を生成してもよい。

記憶部１６は、例えば、種々の情報及びプログラム等を記憶する装置である。記憶部１６は、カメラ部１５によって生成された画像データを一時的又は非一時的に記憶することとしてもよい。

通信部１７は、情報処理装置１の外部にある装置（例えば、サーバ等）（図示せず）との間で情報の送受信が可能な装置である。

表示部１８は、例えば、文字及び画像等を表示することが可能な装置である。

取得部１２は、画像データに基づいて被写体１０１として人物を認識し、被写体１０１の特徴を取得する。情報処理装置１は、被写体１０１（人物）の特徴を取得することにより、人物個人を識別することが可能になる。
取得部１２は、カメラ部１５によって生成された画像データに基づいて被写体１０１（人物）を認識するばかりでなく、情報処理装置１の外部に配される外部カメラ（図示せず）によって生成された画像データに基づいて被写体１０１（人物）を認識することとしてもよい。また、取得部１２は、情報処理装置１の外部に配される記憶装置（例えば、サーバ等）（図示せず）に蓄積される画像データを取得し、その画像データに基づいて被写体１０１（人物）を認識することとしてもよい。

図７は、ＲｅｓＮｅｔのＣｏｎｖｏｌｕｔｉｏｎ層の一例について説明するための図である。
取得部１２は、人物を認識する場合に、例えば、ＲｅｓＮｅｔ（Ｒｅｓｉｄｕａｌ Ｎｅｔｗｏｒｋ）を利用する。
従来のニューラルネットワークは、例えば、入力層と出力層との間に複数のＣｏｎｖｏｌｕｔｉｏｎ層及びＰｏｏｌｉｎｇ層を備え、最終のＣｏｎｖｏｌｕｔｉｏｎ層と出力層との間に結合層を備える。ニューラルネットワークは、Ｃｏｎｖｏｌｕｔｉｏｎ層及びＰｏｏｌｉｎｇ層で求める最適な出力を学習するため、Ｃｏｎｖｏｌｕｔｉｏｎ層及びＰｏｏｌｉｎｇ層を増やすことにより、より高度で複雑な特徴を抽出することができる。
ＲｅｓＮｅｔは、図７に例示するように、ある１つのＣｏｎｖｏｌｕｔｉｏｎ層Ａの出力と、そのＣｏｎｖｏｌｕｔｉｏｎ層Ａへの入力とを後段のＣｏｎｖｏｌｕｔｉｏｎ層Ｂが学習する。すなわち、ＲｅｓＮｅｔは、例えば、層の入力を参照した残差関数を学習する。これにより、ＲｅｓＮｅｔは、従来のニューラルネットワークよりも適切な出力を行うことができる。

図８は、取得部１２（ＲｅｓＮｅｔ）の一例について説明するための図である。
図８に例示するように、取得部１２は、ＲｅｓＮｅｔを利用するブランチ（グローバル・ブランチ１２１及びローカル・ブランチ１２２））が並列に複数配され、各ブランチの出力が１つに結合されて、画像の推定結果を出力する。並列に配される複数のブランチは、例えば、３つであることが好ましい。実験の結果、並列に配される複数のブランチの数が４つ以上の場合、並列数が３つに比べて、出力の精度が劇的に向上しない。また、実験の結果並列に配される複数のブランチの数が２つ以下の場合、並列数が３つに比べて、出力の精度が向上しない。このため、実験の結果では、並列に配される複数のブランチは、例えば、３つであることが好ましい。

なお、本実施形態は、入力画像中の人を推定しているが、入力画像において推定する物体に応じて、最適なブランチの並列数が変わる可能性がある。このため、本実施形態は、入力画像中の種々の物体を推定することとしてもよく、この場合には、並列に配されるブランチの数を、実験等を行うことにより求めてもよい。すなわち、本実施形態では、１又は複数のブランチが並列に配されることとしてもよい。

本実施形態の取得部１２では、ＲｅｓＮｅｔを利用する、並列に配される３つのブランチは、１つのグローバル・ブランチ１２１（広域ブランチ）と、複数（少なくとも２つ）のローカル・ブランチ１２２（局所ブランチ）とを備える。

グローバル・ブランチ１２１は、被写体１０１（例えば、人物等）全体の特徴（被写体１０１（人物）の粗い特徴）を抽出する。このため、グローバル・ブランチ１２１は、例えば、被写体１０１全体の特徴（グローバル情報）を学習する。すなわち、グローバル・ブランチ１２１は、被写体１０１（例えば、人物等）の全体の特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体１０１（例えば、人物等）の全体の特徴を取得する。この際、グローバル・ブランチ１２１は、損失関数（一例として、ソフトマックス（ｓｏｆｔｍａｘ）損失及びトリプレット（ｔｒｉｐｌｅｔ）損失）が最小になるように学習を行う。
ソフトマックス損失は、入力画像の分類に影響を与えるため、損失が少ないほど入力画像（人物）の識別性能が向上する。
トリプレット損失は、入力画像を分類する際の計量に影響を与えるため、損失が少ないほど計量性能が向上する。ここで、トリプレット損失は、被写体１０１全体の画像におけるアンカー画像、正例画像及び負例画像それぞれの特徴ベクトル間の距離に関する損失である。ここで、正例画像に記録される人物は、アンカー画像に記録される被写体１０１である。負例画像に記録される人物は、アンカー画像に記録される被写体１０１とは異なる。

ローカル・ブランチ１２２は、被写体１０１（例えば、人物等）の局所的で細かい特徴を抽出する。このため、複数のローカル・ブランチ１２２は、それぞれ粒度の異なる特徴を学習する。すなわち、ローカル・ブランチ１２２は、被写体１０１（例えば、人物等）の局所的な特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体１０１（例えば、人物等）の局所的な特徴を取得する。本実施形態の場合、ローカル・ブランチ１２２は、２つであってもよい。１番目のローカル・ブランチ１２２は、例えば、被写体１０１（例えば、人物等）の細かい部分の特徴を学習する。また、２番目のローカル・ブランチ１２２は、例えば、被写体１０１（例えば、人物等）の肩、肘、足首等のより細かい身体の一部を学習する。ここで、各ローカル・ブランチ１２２では、被写体１０１全体が記録された画像をストライプ化して（一例として、人物全体の画像の水平方向に沿って分割した水平ストライプを利用して）学習する。グローバル情報のストライプ化を行うことにより、ストライプ毎の特徴がより明確になる、すなわち、被写体１０１（例えば、人物等）の局所的な特徴がより明確になる。この際、２つのローカル・ブランチ１２２それぞれは、損失関数（一例として、ソフトマックス（ｓｏｆｔｍａｘ）損失）が最小になるように学習を行う。

取得部１２は、並列に配される３つのＲｅｓＮｅｔ、すなわち、グローバル・ブランチ１２１及び２つのローカル・ブランチ１２２それぞれに１つの画像を入力させることにより、被写体１０１（例えば、人物等）の特徴を正確に抽出することができる。取得部１２は、例えば、画像に記録される被写体１０１と背景とを区別して、その被写体１０１の特徴を抽出することができる。その場合に、取得部１２は、３つのブランチそれぞれで得られる特徴に基づいて、被写体１０１を特定（識別）することができる。例えば、異なるカメラで撮像された画像それぞれを取得部１２のＲｅｓＮｅｔに通すことにより、それぞれの画像に記録される被写体１０１が同一か否かをより正確に判定することができる。
なお、本実施形態のＲｅｓＮｅｔを実際に作製し、従来のニューラルネットワークを利用した人物の判定技術と比較すると、本実施形態のＲｅｓＮｅｔは、従来の技術に比べて優れていること（より正確に被写体１０１（例えば、人物等）の推定ができること）を確認した。
上述した実施形態では、２つのローカル・ブランチ１２２が配される例について説明したが、この例に限定されることはない。例えば、ローカル・ブランチは１２２、１つ以上あってもよい。

取得部１２は、上述したＲｅｓＮｅｔを利用して、後述するように被写体１０１の特徴を取得する。すなわち、取得部１２は、被写体１０１が記録される画像データに基づいて、被写体１０１の特徴を取得する。取得部１２は、例えば、後述する（１）～（４）の認識のうち、少なくとも１つに基づいて被写体１０１の特徴を取得することとしてもよい。例えば、取得部１２は、（１）画像データに基づいて取得した被写体１０１の容姿を認識すること、（２）画像データに基づいて取得した被写体１０１の服装を認識すること、（３）画像データに基づいて取得した被写体１０１の関節位置と互いに隣接する関節位置の長さを認識すること、及び、（４）画像データ上の被写体１０１の歩容を認識することのうち、少なくとも１つを行う。

取得部１２は、カメラ部１５によって被写体１０１の撮像が開始された場合、具体的には図２に例示するように、部屋の出入口を撮像するカメラ部１５によって、その部屋に入ってきた被写体１０１の撮像が開始された場合、その被写体１０１が記録される画像データに基づいて被写体１０１の認識を行い、被写体１０１の特徴を取得する。

取得部１２は、カメラ部１５で生成された画像データに基づく画像（例えば、１又は複数のフレーム又は静止画等）のうち、被写体１０１の認識を行いやすい（又は、最も行いやすい）画像Ａに基づいて被写体１０１の認識を行ってもよい。この場合、取得部１２は、被写体１０１の認識に利用された画像Ａを記憶部１６に記憶することとしてもよい。その後、取得部１２は、その同一の被写体１０１を認識する際に、画像Ａよりもさらに認識を行いやすい画像Ｂに基づいて被写体１０１の認識を行った場合には、記憶部１６に記憶される画像Ａを画像Ｂに更新してもよく、画像Ａと共に画像Ｂを記憶部１６に記憶してもよい。
一例として、取得部１２は、画像Ａに被写体１０１の上半身が記録され、その上半身のみでその被写体１０１が認識された後、画像Ｂにその被写体１０１の全身が記録され、その全身でその被写体１０１が認識された場合には、その被写体１０１を認識するための特徴をアップデートしてもよい。すなわち、取得部１２は、画像Ａに基づいて取得される被写体１０１の特徴から、画像Ｂに基づいて取得されるその被写体１０１の特徴にアップデートしてもよい。

取得部１２は、被写体１０１の容姿を認識する場合、具体的な一例として、容姿の特徴点を取得することにより、被写体１０１の容姿を認識し、被写体１０１の容姿の特徴を取得することとしてもよい。取得部１２は、容姿を認識する場合、上記のように容姿の特徴点を取得する方法の他に、種々の方法により被写体１０１の容姿を認識することとしてもよい。ここで、被写体１０１の容姿は、被写体１０１の顔、被写体１０１の髪型、被写体１０１の体型、及び、被写体１０１の全身又は一部の任意の容姿に関する特徴であってよい。

取得部１２は、被写体１０１の服装を認識する場合、具体的な一例として、衣服の形及び衣服の色等の種々の特徴を取得することにより、被写体１０１の服装を認識して、服装の特徴を取得することとしてもよい。取得部１２は、服装を認識する場合、上記のように衣服の特徴を取得することの他に、種々の方法により被写体１０１の服装を認識することとしてもよい。

取得部１２は、被写体１０１の関節位置と、互いに隣接する関節位置の長さとを認識する場合、具体的な一例として、公知の種々の方法を利用して被写体１０１の身体の関節位置（特徴点）を取得し、取得した関節位置（特徴点）から互いに隣接する関節位置の長さを取得することにより、関節位置と互いに隣接する関節位置の長さとの特徴を取得することとしてもよい。なお、取得部１２は、被写体１０１の関節位置（特徴点）を取得する場合、公知の種々の方法を利用して、関節位置が身体のどの部位（一例として、肩、肘及び手等）かを特定することとしてもよい。

取得部１２は、被写体１０１の歩容を認識する場合、具体的な一例として、被写体１０１の歩き方、及び、被写体１０１の画像上の位置とその画像上で被写体１０１が移動する際の速さとを被写体１０１の特徴として取得することとしてもよい。取得部１２は、被写体１０１の歩容を認識する場合、被写体１０１の歩き方、並びに、被写体１０１の画像上での位置及び速さ、のうち少なくとも一方を被写体１０１の特徴として取得することとしてもよい。又は、取得部１２は、カメラ部１５で撮像される画像上の位置と、実際（例えば、部屋等の内部）の位置とが対応付けられている場合、画像に映る被写体１０１の位置に基づいて被写体１０１の実際の位置を取得し、被写体１０１の実際のその位置とその被写体１０１が移動する際の速さとを取得することとしてもよい。

取得部１２は、上述した（１）～（４）の認識に基づいて被写体１０１の特徴を取得する場合、認識した数が所定数以上であると、同一の被写体１０１として特定することとしてもよい。すなわち、例えば、取得部１２は、上述した（１）～（４）の認識を行うことにより、被写体１０１の特徴を取得して、被写体１０１を特定する。すなわち、取得部１２は、１又は複数の画像データに複数の被写体１０１が記録される場合には、上述した（１）～（４）の認識に基づいて、それらの被写体１０１が同一か否かを特定する。この場合、取得部１２は、上述した（１）～（４）の認識に基づいて被写体１０１を特定する場合、具体的な一例として（１）～（４）の認識のうち所定数（閾値）以上の認識に基づいて、同一の被写体１０１とされる際、同一の被写体１０１として特定する。取得部１２は、適宜設定された所定数（閾値）を取得することとしてもよい。具体的な一例として、取得部１２は、多数決により、すなわち、所定数（閾値）として「３」が設定されることにより、上述した（１）～（４）の認識にうち３つ以上の認識において同一の被写体１０１とされる際には、同一の被写体１０１として特定することとしてもよい。
なお、取得部１２は、上述した例示の他にも、例えば、（１）～（４）の認識それぞれにおける同一の被写体として特定の可能性が数値（例えば、（１）の認識で８０％、（２）の認識で７０％、…等））で出力される場合、（１）～（４）の数値を相加平均した平均値が閾値以上の場合に、同一の被写体として特定することとしてもよい。

取得部１２は、上述した（１）～（４）の認識それぞれに対して重み付けを設定し、重み付けが相対的に重く設定されたら認識事項を優先して被写体１０１の特徴を取得することとしてもよい。取得部１２は、具体的な一例として、重み付けを数段階（例えば、５段階又は１０段階等）で設定し、重み付けの数値が相対的に大きいほど認識事項を、重み付けの数値が相対的に小さい認識事項よりも優先する（重要視する）こととしてもよい。すなわち、取得部１２は、上述した（１）～（４）の認識事項のうち、重み付けの数値が相対的に大きい認識事項についてより注目して被写体１０１の認識を行い、被写体１０１の特徴を取得する。
なお、重み付けは、ユーザが入力することにより取得部１２に設定され、所定のタイミングで変更されてもよい。例えば、画像データに記録される被写体１０１の容姿（一例として、被写体１０１の顔）が不鮮明の場合には、容姿認識の重み付けを相対的に小さく変更し、他の認証の重み付けを相対的に大きく変更することとしてもよい。

特定部１３は、取得部１２によって取得された特徴に基づいて画像データ上の被写体１０１を特定して、被写体１０１の移動を追跡する。特定部１３は、取得部１２によって被写体１０１の特徴が取得されると、画像データ上における被写体１０１を特定する。例えば、特定部１３は、画像データ上に複数の被写体１０１が記録される場合、取得部１２によって複数の被写体１０１それぞれの特徴が取得されると、画像データ上における複数の被写体１０１をそれぞれ特定する。これにより、画像上では、複数の被写体１０１はそれぞれ別の被写体１０１として識別される。

図３は、複数のカメラ部１５で得られる画像の一例について説明するための図である。図３（Ａ）は第１カメラ部で得られる画像の一例を示す図であり、図３（Ｂ）は第２カメラ部で得られる画像の一例を示す図である。

なお、上述した一例のように、１つのカメラ部１５（第１カメラ部）が部屋の入口付近を撮像し、他のカメラ部１５（第２カメラ部）が部屋の内部（室内）を撮影している場合がある。この場合、特定部１３は、取得部１２によって複数のカメラ部１５のうちの１つのカメラ部１５としての第１カメラ部で生成された画像データとしての第１画像データに基づいて被写体１０１の特徴を取得した場合、その被写体１０１の特徴を利用して、第１画像データに記録される被写体１０１、及び、第１カメラ部を除く他のカメラ部１５で生成された画像データとしての第２画像データに記録される被写体１０１を特定することとしてもよい。

具体的な一例として、特定部１３は、第１カメラ部によって撮像された第１画像データに基づいて被写体Ａ（図３において符号「１」の吹き出しで特定される被写体）が認識されて、その被写体Ａが特定された場合、被写体Ａが室内に移動して第２カメラ部によって撮像された第２画像データに記録される場合には、第２画像データに基づいて被写体を認識した結果と、第１画像データに基づいて被写体Ａを認識した（特定した）結果とに基づいて、その被写体を被写体Ａと特定する。

特定部１３は、取得部１２によって上述した（１）～（４）の認識に基づいて被写体１０１の特徴を取得するので、第１カメラ部で撮像される部屋の入口では被写体Ａ（図３において符号「１」の吹き出しで特定される被写体）がマスクを着けていて（図３（Ａ）参照）、第２カメラ部で撮像される室内では被写体Ａがマスクを外した場合でも（図３（Ｂ）参照）、第１カメラ部及び第２カメラ部それぞれで撮像される被写体Ａが同一であると特定することが可能である。すなわち、情報処理装置１は、被写体１０１の容姿の認識の他にも、被写体１０１の服装の認識、被写体１０１の関節位置と互いに隣接する関節位置の長さの認識、及び、被写体１０１の歩容の認識も行うので、上記の例示の場合でも被写体Ａが同一であると特定することができる。
なお、特定部１３は、上述したマスクに限らず、衣服（例えば、上着及び帽子等）を脱いだ場合でも、同一の被写体１０１と特定することが可能である。

図４は、被写体１０１に対する所定の態様の情報、及び、被写体１０１の移動の軌跡１０３について説明するための図である。
図５は、複数のカメラ部１５が配される場合の、被写体１０１に対する所定の態様の情報、及び、被写体１０１の移動の軌跡１０３について説明するための図である。図５（Ａ）は第１カメラ部で得られる画像の一例を示す図であり、図５（Ｂ）は第２カメラ部で得られる画像の一例を示す図である。

出力制御部１４は、特定部１３によって追跡される被写体１０１に関する情報を出力するよう出力部を制御する。ここで、出力部は、例えば、表示部１８である。具体的な一例として、出力制御部１４は、特定部１３によって特定される被写体１０１に対して所定の態様の情報を対応付けて、被写体１０１と所定の態様の情報とを表示するよう表示部１８を制御することとしてもよい。出力制御部１４は、図４に一例を示すように、画像上における被写体１０１の近傍に、被写体１０１毎に異なる番号、文字又は記号等（以下、「番号１０２」等）を所定の態様の情報として配置して、被写体１０１とその被写体１０１に対応する番号１０２とを表示部１８に表示することとしてもよい。

出力制御部１４は、所定の態様の情報として被写体１０１の移動の軌跡１０３を示す画像を、その被写体１０１の移動に応じて表示するよう表示部１８を制御することとしてもよい。また、出力制御部１４は、画像内での被写体１０１の移動に応じて、その被写体１０１の軌跡１０３を表示部１８に表示することとしてもよい。この場合、出力制御部１４は、図４に一例を示すように、画像内に複数の被写体１０１が写る場合には、被写体１０１毎に異なる態様（例えば、色を変える、及び、軌跡の形状を変える等）で軌跡１０３を表示することとしてもよい。また、出力制御部１４は、図５に一例を示す複数のカメラ部１５で撮像する場合でも、同一の被写体１０１に対しては同一の態様、すなわち、同一の被写体１０１に対しては同一の番号１０２を付し、軌跡１０３の色又は形状も同一にして表示部１８に表示することとしてもよい。
出力制御部１４は、現在時刻により近い軌跡１０３の色を濃くし、現在時刻からより離れた軌跡１０３の色を薄くしてもよい。また、出力制御部１４は、現在時刻から所定時間以上前の軌跡１０３を削除してもよい。

なお、出力制御部１４は、図３～５に示すようにカメラ部１５によって得られる被写体１０１の画像に重ねて番号１０２及び軌跡１０３を表示するばかりでなく、室内の平面図に被写体１０１の移動の軌跡１０３を重ねた画像を表示部１８に表示することとしてもよい。その場合、出力制御部１４は、被写体１０１に対する番号１０２も表示部１８に表示することとしてもよい。

また、出力制御部１４は、被写体１０１毎の移動の軌跡１０３に関する情報を記憶部１６に記憶し、又は、通信部１７を介してサーバ（図示せず）に蓄積することとしてもよい。記憶部１６及び通信部１７は、出力部の一例であってもよい。この場合、出力制御部１４は、記憶部１６又は外部のサーバ（図示せず）に記憶される複数の被写体１０１の移動の軌跡１０３に関する情報のうち、選択した１又は複数の情報に基づいて、選択した被写体１０１の移動の軌跡１０３を表示部１８に表示することとしてもよい。

次に、一実施形態に係る情報処理方法について説明する。
図６は、一実施形態に係る情報処理方法について説明するためのフローチャートである。

ステップＳＴ１０１において、取得部１２は、被写体１０１が記録される画像データに基づいて、被写体１０１の特徴を取得する。この場合、取得部１２は、例えば、カメラ部１５によって生成された画像データに基づいて、被写体１０１の特徴を取得することとしてもよい。又は、取得部１２は、例えば、通信部１７を介して、情報処理装置１の外部にある外部カメラ（図示せず）で生成された画像データを取得し、又は、情報処理装置１の外部にある装置（例えば、サーバ等）（図示せず）に蓄積される画像データを取得して、その画像データに基づいて被写体１０１の特徴を取得することとしてもよい。

取得部１２は、例えば、（１）画像データに基づいて取得した被写体１０１の容姿を認識すること、（２）画像データに基づいて取得した被写体１０１の服装を認識すること、（３）画像データに基づいて取得した被写体１０１の関節位置と互いに隣接する関節位置の長さを認識すること、及び、（４）画像データ上の被写体１０１の歩容を認識することのうち、少なくとも１つを行うことに基づいて、被写体１０１の特徴を取得する。
この場合、取得部１２は、上述した（１）～（４）の認識に基づいて被写体１０１の特徴を取得する場合、認識した数が所定数（閾値）以上であると、同一の被写体１０１として特定することとしてもよい。
また、取得部１２は、上述した（１）～（４）の認識それぞれに対して重み付けを設定し、重み付けが相対的に重く設定されたら認識事項を優先して被写体１０１の特徴を取得することとしてもよい。

ステップＳＴ１０２において、特定部１３は、ステップＳＴ１０１で被写体１０１を認識した結果に基づいて被写体１０１を特定し、その被写体１０１の移動を追跡する。
ここで、例えば、特定部１３は、複数のカメラ部１５のうちの第１カメラ部で生成された第１画像データに基づいて取得した被写体１０１の特徴（被写体１０１の認識結果）と、第２カメラ部で生成された第２画像データに基づいて取得した被写体１０１の特徴（被写体１０１の認識結果）とが対応する場合に、その被写体１０１を同一の被写体として特定し、異なる画像データ間であっても同一の被写体１０１として追跡する。

ステップＳＴ１０３において、出力制御部１４は、ステップＳＴ１０２で特定される被写体１０１に対して所定の態様の情報（番号１０２）を対応付けて、被写体１０１と所定の態様の情報とを表示するよう表示部１８を制御することとしてもよい。出力制御部１４は、異なる画像データ間を被写体１０１が移動する（被写体１０１が異なるカメラ部１５で撮像される場所を移動する）場合でも、ステップＳＴ１０２によって特定される同一の被写体１０１に対しては同一の番号１０２を付して（画像上の被写体１０１の近傍に番号１０２を配置して）表示部１８に表示するよう制御する。

ステップＳＴ１０４において、出力制御部１４は、ステップＳＴ１０２で特定された被写体１０１が移動する場合、その被写体１０１の移動の軌跡１０３を表示するよう表示部１８を制御する。この場合、出力制御部１４は、画像内に複数の被写体１０１が写る場合には、被写体１０１毎に異なる態様（例えば、色を変える、及び、軌跡の形状を変える等）で軌跡１０３を表示することとしてもよい。また、出力制御部１４は、複数のカメラ部１５で撮像する場合でも、同一の被写体１０１に対しては同一の態様、すなわち、同一の被写体１０１に対しては同一の番号１０２を付し、軌跡１０３の色又は形状も同一にして表示部１８に表示することとしてもよい。

次に、本実施形態の効果について説明する。
情報処理装置１は、被写体１０１が記録される画像データに基づいて、被写体１０１の特徴を取得する取得部１２と、取得部１２によって取得された特徴に基づいて画像データ上の被写体１０１を特定して、被写体１０１の移動を追跡する特定部１３と、特定部１３によって追跡される被写体１０１に関する情報を出力するよう出力部を制御する出力制御部１４と、を備える。この場合、取得部１２は、（１）画像データに基づいて取得した被写体１０１の容姿を認識すること、（２）画像データに基づいて取得した被写体１０１の服装を認識すること、（３）画像データに基づいて取得した被写体１０１の関節位置と互いに隣接する関節位置の長さを認識すること、及び、（４）画像データ上の被写体１０１の歩容を認識することのうち、少なくとも１つに基づいて被写体１０１の特徴を取得する。
これにより、情報処理装置１は、被写体１０１を検出してその被写体１０１の移動を追跡することができる。また、情報処理装置１は、画像データから初めて被写体１０１を認識するので、予め被写体１０１を特定するためのデータを保有しておく必要がなく、認識処理の負荷を軽減することができる。また、情報処理装置１は、複数の被写体１０１が重なっている場合（カメラ部１５に対して被写体１０１が前後にいる場合）でも、被写体１０１の重なりが解消された時点で被写体１０１（後ろにいる被写体）の認識を行うことができるので、それぞれの被写体１０１を特定することができる。また、情報処理装置１は、上述した（１）～（４）の認識事項の少なくとも１つに基づいて被写体１０１を認識するので、複数の画像データに被写体１０１が記録される場合でも、（１）～（４）の認識事項の少なくとも１つに基づいて、同一の被写体１０１か否かを特定することができる。すなわち、情報処理装置１は、上述した（１）～（４）のいずれかの認識の結果があいまいでも、他の認識結果に基づいて、同一の被写体１０１と認識することができる。

情報処理装置１は、被写体１０１を撮像して画像データを生成する、異なる位置に配される複数のカメラ部１５を備えていてもよい。この場合、特定部１３は、取得部１２によって複数のカメラ部１５のうちの第１カメラ部で生成された第１画像データに基づいて被写体１０１の特徴を取得した場合、その被写体１０１の特徴を利用して、第１画像データに記録される被写体１０１、及び、他のカメラ部１５（第２カメラ部）で生成された第２画像データに記録される被写体１０１を特定することとしてもよい。
情報処理装置１は、第１画像データに基づいて被写体１０１を認識した結果と、第２画像データに基づいて被写体１０１を認識した結果とが対応していれば（一致していれば）、同一の被写体１０１として特定することができる。これにより、情報処理装置１は、複数のカメラ部１５で異なる位置を撮像する場合でも、移動する被写体１０１の同一性を特定することができる。

情報処理装置１では、取得部１２は、（１）画像データに基づいて取得した被写体１０１の容姿を認識すること、（２）画像データに基づいて取得した被写体１０１の服装を認識すること、（３）画像データに基づいて取得した被写体１０１の関節位置と互いに隣接する関節位置の長さを認識すること、及び、（４）画像データ上の被写体１０１の歩容を認識することに基づいて被写体１０１の特徴を取得し、認識した数が所定数以上の場合、同一の被写体１０１として特定することとしてもよい。
これにより、情報処理装置１は、上述した（１）～（４）の認識事項のうち所定数（閾値）以上の認識事項が一致していれば、同一の被写体１０１として特定することができる。

情報処理装置１では、取得部１２は、（１）画像データに基づいて取得した被写体１０１の容姿を認識すること、（２）画像データに基づいて取得した被写体１０１の服装を認識すること、（３）画像データに基づいて取得した被写体１０１の関節位置と互いに隣接する関節位置の長さを認識すること、及び、（４）画像データ上の被写体１０１の歩容を認識することのそれぞれに対して重み付けを設定し、重み付けが相対的に重く設定されたら認識事項を優先して被写体１０１の特徴を取得することとしてもよい。
これにより、情報処理装置１は、上述した（１）～（４）の認識事項に重み付けを設定することにより、重み付けが相対的に重く設定された認識事項について他の認識事項よりも注目して、被写体１０１の同一性を判断することができる。

情報処理装置１では、取得部１２は、被写体１０１の全体の特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体１０１の全体の特徴を取得するグローバル・ブランチと、被写体１０１の局所的な特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体１０１の局所的な特徴を取得するローカル・ブランチと、を備えることとしてもよい。
これにより、情報処理装置１は、被写体１０１の特徴を正確に抽出することができる。取得部１２は、例えば、画像に記録される被写体１０１と背景とを区別して、その被写体１０１の特徴を抽出することができる。その場合に、取得部１２は、３つのブランチそれぞれで得られる特徴に基づいて、被写体１０１を特定（識別）することができる。

情報処理装置１では、出力部は、表示部１８であってもよい。この場合、出力制御部１４は、特定部１３によって特定される被写体１０１に対して所定の態様の情報（番号１０２）を対応付けて、被写体１０１と所定の態様の情報とを表示するよう表示部１８を制御することとしてもよい。
これにより、情報処理装置１は、同一の被写体１０１には１つの番号１０２を対応付けるので、複数のカメラ部１５で異なる場所を撮像する場合でも、移動する同一の被写体１０１を特定することができる。

情報処理装置１では、出力制御部１４は、所定の態様の情報として被写体１０１の移動の軌跡１０３を示す画像を、その被写体１０１の移動に応じて表示するよう表示部１８を制御することとしてもよい。
これにより、情報処理装置１は、同一の被写体１０１には同一の態様（例えば、軌跡の色及び軌跡を示す形状等）の軌跡１０３を対応付けるので、複数のカメラ部１５で異なる場所を撮像する場合でも、移動する同一の被写体１０１を特定することができる。

情報処理方法では、コンピュータが、被写体１０１が記録される画像データに基づいて、被写体１０１の特徴を取得する取得ステップと、取得ステップによって取得された特徴に基づいて画像データ上の被写体１０１を特定して、被写体１０１の移動を追跡する特定ステップと、特定ステップによって追跡される被写体１０１に関する情報を出力するよう出力ステップを制御する出力制御ステップと、を実行する。この場合、取得ステップは、（１）画像データに基づいて取得した被写体１０１の容姿を認識すること、（２）画像データに基づいて取得した被写体１０１の服装を認識すること、（３）画像データに基づいて取得した被写体１０１の関節位置と互いに隣接する関節位置の長さを認識すること、及び、（４）画像データ上の被写体１０１の歩容を認識することのうち、少なくとも１つに基づいて被写体１０１の特徴を取得することとしてもよい。
これにより、情報処理方法は、被写体１０１を検出してその被写体１０１の移動を追跡することができる。また、情報処理方法は、画像データから初めて被写体１０１を認識するので、予め被写体１０１を特定するためのデータを保有しておく必要がなく、認識処理の負荷を軽減することができる。また、情報処理方法は、複数の被写体１０１が重なっている場合（カメラ部１５に対して被写体１０１が前後にいる場合）でも、被写体１０１の重なりが解消された時点で被写体１０１（後ろにいる被写体）の認識を行うことができるので、それぞれの被写体１０１を特定することができる。また、情報処理方法は、上述した（１）～（４）の認識事項の少なくとも１つに基づいて被写体１０１を認識するので、複数の画像データに被写体１０１が記録される場合でも、（１）～（４）の認識事項の少なくとも１つに基づいて、同一の被写体１０１か否かを特定することができる。すなわち、情報処理方法は、上述した（１）～（４）のいずれかの認識の結果があいまいでも、他の認識結果に基づいて、同一の被写体１０１と認識することができる。

情報処理プログラムは、コンピュータに、被写体１０１が記録される画像データに基づいて、被写体１０１の特徴を取得する取得機能と、取得機能によって取得された特徴に基づいて画像データ上の被写体１０１を特定して、被写体１０１の移動を追跡する特定機能と、特定機能によって追跡される被写体１０１に関する情報を出力するよう出力機能を制御する出力制御機能と、を実現させる。この場合、取得機能は、（１）画像データに基づいて取得した被写体１０１の容姿を認識すること、（２）画像データに基づいて取得した被写体１０１の服装を認識すること、（３）画像データに基づいて取得した被写体１０１の関節位置と互いに隣接する関節位置の長さを認識すること、及び、（４）画像データ上の被写体１０１の歩容を認識することのうち、少なくとも１つに基づいて被写体１０１の特徴を取得する。
これにより、情報処理プログラムは、被写体１０１を検出してその被写体１０１の移動を追跡することができる。また、情報処理プログラムは、画像データから初めて被写体１０１を認識するので、予め被写体１０１を特定するためのデータを保有しておく必要がなく、認識処理の負荷を軽減することができる。また、情報処理プログラムは、複数の被写体１０１が重なっている場合（カメラ部１５に対して被写体１０１が前後にいる場合）でも、被写体１０１の重なりが解消された時点で被写体１０１（後ろにいる被写体）の認識を行うことができるので、それぞれの被写体１０１を特定することができる。また、情報処理プログラムは、上述した（１）～（４）の認識事項の少なくとも１つに基づいて被写体１０１を認識するので、複数の画像データに被写体１０１が記録される場合でも、（１）～（４）の認識事項の少なくとも１つに基づいて、同一の被写体１０１か否かを特定することができる。すなわち、情報処理プログラムは、上述した（１）～（４）のいずれかの認識の結果があいまいでも、他の認識結果に基づいて、同一の被写体１０１と認識することができる。

上述した情報処理装置１の各部は、コンピュータの演算処理装置等の機能として実現されてもよい。すなわち、情報処理装置１の取得部１２、特定部１３及び出力制御部１４は、コンピュータの演算処理装置等による取得機能、特定機能及び出力制御機能としてそれぞれ実現されてもよい。
情報処理プログラムは、上述した各機能をコンピュータに実現させることができる。情報処理プログラムは、外部メモリ又は光ディスク等の、コンピュータで読み取り可能な非一時的な記録媒体に記録されていてもよい。
また、上述したように、情報処理装置１の各部は、コンピュータの演算処理装置等で実現されてもよい。その演算処理装置等は、例えば、集積回路等によって構成される。このため、情報処理装置１の各部は、演算処理装置等を構成する回路として実現されてもよい。すなわち、情報処理装置１の取得部１２、特定部１３及び出力制御部１４は、コンピュータの演算処理装置等を構成する取得回路、特定回路及び出力制御回路として実現されてもよい。
また、情報処理装置１のカメラ部１５、並びに、記憶部１６、通信部１７及び表示部１８（出力部）は、例えば、演算処理装置等の機能を含むカメラ機能、並びに、記憶機能、通信機能及び表示機能（出力機能）として実現されもよい。また、情報処理装置１のカメラ部１５、並びに、記憶部１６、通信部１７及び表示部１８（出力部）は、例えば、集積回路等によって構成されることによりカメラ回路、並びに、記憶回路、通信回路及び表示回路（出力回路）として実現されてもよい。また、情報処理装置１のカメラ部１５、並びに、記憶部１６、通信部１７及び表示部１８（出力部）は、例えば、複数のデバイスによって構成されることによりカメラ装置、並びに、記憶装置、通信装置及び表示装置（出力装置）として構成されてもよい。

１ 情報処理装置
１２ 取得部
１３ 特定部
１４ 出力制御部
１５ カメラ部
１６ 記憶部
１７ 通信部
１８ 表示部

Claims (8)

1. 被写体が記録される画像データに基づいて、被写体の特徴を取得する取得部と、
   前記取得部によって取得された特徴に基づいて画像データ上の被写体を特定して、被写体の移動を追跡する特定部と、
   前記特定部によって追跡される被写体に関する情報を出力するよう出力部を制御する出力制御部と、を備え、
   前記取得部は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのそれぞれを利用して被写体の同一性を認識し、それぞれの同一の被写体と認識される可能性の数値に基づいて相加平均を算出し、算出した結果が閾値以上の場合に同一の被写体と特定し、
   さらに、前記取得部は、
   被写体の全体の特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の全体の特徴を取得するグローバル・ブランチと、
   被写体の局所的な特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の局所的な特徴を取得する複数のローカル・ブランチと、を備え、
   前記複数のローカル・ブランチそれぞれは、粒度の異なる局所的な特徴を学習する
   情報処理装置。
2. 被写体を撮像して画像データを生成する、異なる位置に配される複数のカメラ部を備え、
   前記特定部は、取得部によって前記複数のカメラ部のうちの１つのカメラ部としての第１カメラ部で生成された画像データとしての第１画像データに基づいて被写体の特徴を取得した場合、当該被写体の特徴を利用して、第１画像データに記録される被写体、及び、前記第１カメラ部を除く他のカメラ部で生成された画像データとしての第２画像データに記録される被写体を特定する
   請求項１に記載の情報処理装置。
3. 前記取得部は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することに基づいて被写体の特徴を取得し、認識した数が所定数以上の場合、同一の被写体として特定する
   請求項１又は２に記載の情報処理装置。
4. 前記取得部は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのそれぞれに対して重み付けを設定し、重み付けが相対的に重く設定されたら認識事項を優先して被写体の特徴を取得する
   請求項３に記載の情報処理装置。
5. 前記出力部は、表示部であり、
   前記出力制御部は、前記特定部によって特定される被写体に対して所定の態様の情報を対応付けて、被写体と所定の態様の情報とを表示するよう前記表示部を制御する
   請求項１～４のいずれか１項に記載の情報処理装置。
6. 前記出力制御部は、所定の態様の情報として被写体の移動の軌跡を示す画像を、その被写体の移動に応じて表示するよう前記表示部を制御する
   請求項５に記載の情報処理装置。
7. コンピュータが、
   被写体が記録される画像データに基づいて、被写体の特徴を取得する取得ステップと、
   前記取得ステップによって取得された特徴に基づいて画像データ上の被写体を特定して、被写体の移動を追跡する特定ステップと、
   前記特定ステップによって追跡される被写体に関する情報を出力するよう出力ステップを制御する出力制御ステップと、を実行し、
   前記取得ステップは、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのそれぞれを利用して被写体の同一性を認識し、それぞれの同一の被写体と認識される可能性の数値に基づいて相加平均を算出し、算出した結果が閾値以上の場合に同一の被写体と特定し、
   さらに、前記取得ステップは、
   被写体の全体の特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の全体の特徴を取得するグローバル・ブランチと、
   被写体の局所的な特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の局所的な特徴を取得する複数のローカル・ブランチと、を備え、
   前記複数のローカル・ブランチそれぞれは、粒度の異なる局所的な特徴を学習する
   情報処理方法。
8. コンピュータに、
   被写体が記録される画像データに基づいて、被写体の特徴を取得する取得機能と、
   前記取得機能によって取得された特徴に基づいて画像データ上の被写体を特定して、被写体の移動を追跡する特定機能と、
   前記特定機能によって追跡される被写体に関する情報を出力するよう出力機能を制御する出力制御機能と、を実現させ、
   前記取得機能は、画像データに基づいて取得した被写体の容姿を認識すること、画像データに基づいて取得した被写体の服装を認識すること、画像データに基づいて取得した被写体の関節位置と互いに隣接する関節位置の長さを認識すること、及び、画像データ上の被写体の歩容を認識することのそれぞれを利用して被写体の同一性を認識し、それぞれの同一の被写体と認識される可能性の数値に基づいて相加平均を算出し、算出した結果が閾値以上の場合に同一の被写体と特定し、
   さらに、前記取得機能は、
   被写体の全体の特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の全体の特徴を取得するグローバル・ブランチと、
   被写体の局所的な特徴を学習することに応じて生成された学習モデルと、画像データとに基づいて、被写体の局所的な特徴を取得する複数のローカル・ブランチと、を備え、
   前記複数のローカル・ブランチそれぞれは、粒度の異なる局所的な特徴を学習する
   情報処理プログラム。

Images