JP6646815B2 - 人物追跡方法および人物追跡装置 - Google Patents

Description

本開示は、人物追跡方法および人物追跡装置に関する。

特許文献１は、判定手段で判定された混雑度に基づいて、複数の検出手段の１つを選択する選択手段と、選択手段で選択された検出手段により、取得手段で取得されたフレーム画像から検出された検出結果に基づいて、フレーム画像に含まれる被写体の数を計数する計数手段を有する。このようにして、混雑度が高く、被写体と被写体との重なりが生じやすくなるような場合であっても、被写体を精度よく検出し、計数することができる。

特開２００９−２１１２７４号公報

Ｄ．Ｇ．Ｌｏｗｅ、「Ｄｉｓｔｉｎｃｔｉｖｅ Ｉｍａｇｅ Ｆｅａｔｕｒｅｓ ｆｒｏｍ Ｓｃａｌｅ Ｉｎｖａｒｉａｎｔ Ｋｅｙｐｏｉｎｔｓ」、（米国）、Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｊｏｕｒｎａｌ ｏｆ Ｃｏｍｐｕｔｅｒ Ｖｉｓｉｏｎ、第６０巻、第２号、ｐ．９１−１１０、２００４

本開示は、精度良く人物を追跡する人物追跡方法を提供する。

本開示の人物追跡装置が行う人物追跡方法は、プロセッサが映像中の複数の人物の映像
内における座標をそれぞれ決定する。プロセッサは映像中の人物が密集している領域とし
て集団領域を特定する。プロセッサはある人物の映像内における座標を追跡する。プロセ
ッサはある人物の集団領域外における座標および着衣に記載された数字に基づいて、ある
人物の集団領域における座標の軌跡を決定する。集団領域外における座標は少なくとも、集団領域に進入するある人物の座標と、集団領域から退出したある人物の座標とを含む。プロセッサは、集団領域に進入するある人物の進行方向の速度に基づいて集団領域内のある人物の座標の軌跡の一部を決定し、集団領域から退出したある人物の逆方向の速度に基づいて集団領域内のある人物の座標の軌跡の一部を決定する、ことで集団領域内の軌跡を伸長する処理を行い、集団領域内のある人物の座標の軌跡の一部が、集団領域に進入するある人物の座標、または、集団領域から退出したある人物の座標と、所定の値以上乖離した場合は、集団領域内の軌跡を伸長する処理を打ち切る。

本開示における人物追跡方法および人物追跡装置は、精度良く人物を追跡するのに有効である。

図１は、実施の形態１における人物追跡装置のブロック図である。 図２は、実施の形態１における人物追跡処理のフロー図である。 図３は、実施の形態１におけるスポーツ映像を示す図である。 図４は、実施の形態１におけるスポーツ映像の前景領域を示す図である。 図５は、実施の形態１におけるスポーツ映像の前景領域がラベリングされた状態を示す図である。 図６は、実施の形態１における人物追跡処理および背番号認識処理が行われた様子を示す図である。 図７は、実施の形態１における個人軌跡伸長処理が行われた様子を示す図である。 図８は、実施の形態１における軌跡生成処理を示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために、提供されるのであって、これらにより請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜８を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における人物追跡装置のブロック図である。

人物追跡装置１００はプロセッサ１０１とストレージ１０２と入力装置１０３とディスプレイ１０４と通信部１０５とバス１１０とを有する。

プロセッサ１０１はバス１１０を介して人物追跡装置１００の他の要素を制御する。一例として汎用ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）を用いることで、プロセッサ１０１を構成することができる。また、プロセッサ１０１は所定のプログラムを実行することができる。

ストレージ１０２は他の要素から様々な情報を取得し一時的、あるいは恒久的にその情報を保持する。ストレージ１０２はいわゆる一次記憶装置と二次記憶装置の総称であり、ストレージ１０２は物理的に複数配置されても良い。ストレージ１０２の構成には例えばＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）やＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）やＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）が用いられる。

入力装置１０３は外部からの情報を受け付ける。入力装置１０３が受け付ける外部からの情報には人物追跡装置１００の操作者からの入力に関する情報などが含まれる。一例としてキーボード等の入力インターフェースを用いることで入力装置１０３を構成することができる。

ディスプレイ１０４は外部へ情報を提示する。ディスプレイ１０４は出力装置の一例である。様々な出力インターフェースを用いることで、人物追跡装置１００はディスプレイ以外の装置に出力を行うことができる。

通信部１０５は通信路を介して外部の機器と通信を行う。一例として無線ＬＡＮ通信網、３Ｇ通信網など既存の通信網と通信可能な通信インターフェースを用いることで通信部１０５を構成することができる。

以上に挙げられた人物追跡装置１００の構成は一例である。人物追跡装置１００の各構成要素の一部を統合して構成することもできる。人物追跡装置１００の各構成要素の一部を複数の要素に分割して構成することもできる。人物追跡装置１００の各構成要素の一部を省略することもできる。人物追跡装置１００に他の要素を付加して構成することもできる。

［１−２．動作］
以上に述べた人物追跡装置が人物追跡処理を行う際の動作を以下に示す。

図２は実施の形態１における人物追跡処理のフロー図である。

図２に示すフロー図の各ステップは、人物追跡装置１００のプロセッサ１０１が主として実行する。また、図２に示すフロー図の各ステップはスポーツ映像を構成する複数のフレーム画像について並行して、あるいは順次実行される。なお、本開示において「プロセッサが実行する」とは同一（単一）のプロセッサが全ての処理を実行することに限定されない。本開示において「プロセッサが実行し」とは一部分の処理が他のプロセッサによって実行される形態を含む。

本実施の形態では人物追跡処理の一例としてスポーツ映像中の選手を追跡する処理を説明する。

ステップＳ２０１において、プロセッサ１０１は選手追跡処理を開始する。本開示において選手追跡処理とはスポーツ映像中の選手の、映像内における各時点の座標を決定することをいう。本開示において座標を決定とは唯一の座標を特定する概念および、所定の幅をもって座標領域を特定する概念の双方を含む。選手追跡処理を映像の全てに行う必要はなく、一部にのみ選手追跡処理を行う形態も本開示に含まれる。プロセッサ１０１が選手追跡処理を開始するタイミングの一例としては入力装置１０３からの情報に基づいて選手追跡処理を開始することが挙げられる。

ステップＳ２０２において、プロセッサ１０１はスポーツ映像を読み出す。一例としてストレージ１０２に予め記録されたスポーツ映像をプロセッサ１０１が読み出すことで、ステップＳ２０２が実行される。他の方法としては、通信部１０５を介して外部の装置から送られるスポーツ映像をプロセッサ１０１が読み出すことでステップＳ２０２が実行される。

図３は実施の形態１におけるスポーツ映像を示す図である。

図３に示されるように、本実施の形態ではスポーツ映像の一例としてアメリカンフットボールの試合を撮影した映像を用いる。スポーツ映像としてはアメリカンフットボール以外にもサッカーやバスケットボール、アイスホッケーなどのチーム対抗スポーツの映像を用いることができる。

ステップＳ２０３において、プロセッサ１０１はスポーツ映像から前景領域を抽出する。前景領域とは背景領域と対になる概念である。スポーツ映像の背景領域としてはフィールド、設置物などが挙げられる。スポーツ映像の前景領域としては選手、ボールなどが挙げられる。本実施の形態ではスポーツ映像から選手を区別して抽出するために前景領域の抽出を行う。

プロセッサ１０１はスポーツ映像に背景差分処理を行うことで前景領域の抽出を行う。背景差分処理とは映像において時系列的に前後する画像を比較して、後の画像において前の画像に存在しない領域を特定する処理をいう。背景差分処理を行うことで前景領域が特定される。

プロセッサ１０１はスポーツ映像のＭｏＧ（Ｍｉｘｔｕｒｅ ｏｆ Ｇａｕｓｓｉａｎ Ｄｉｓｔｒｉｂｕｔｉｏｎ）を計算することでスポーツ映像の背景差分処理を行う。

図４は実施の形態１におけるスポーツ映像の前景領域を示す図である。図４において白色の部分が前景であり、黒色の部分が背景である。図４に示されるように前景領域は選手の領域とほぼ一致する。図３に示すスポーツ映像にＭｏＧの計算を用いた背景差分処理を行うことで図４に示す前景領域が抽出される。

ステップＳ２０４において、プロセッサ１０１は前景領域をラベリングする。ラベリングとは前景領域を所定の固まり毎に識別可能にすることをいう。プロセッサ１０１は前景領域の画素が連続している領域を特定し、特定した領域に識別可能な情報を付することで前景領域を所定の固まり毎に識別可能にする。プロセッサ１０１はラベリングされた領域を内包する矩形を計算することで、前景領域のラベルのサイズを定義する。

図５は実施の形態１におけるスポーツ映像の前景領域がラベリングされた状態を示す図である。図５は便宜上、ラベリングの結果を前景領域ではなくスポーツ映像に重畳した結果を示している。図５に示されるように、中央において前景領域（選手）が密集している箇所では、前景領域が連続しているので、ラベル５０１のように矩形の面積が大きくなっている。一方で、他の箇所のように、前景領域が選手一人程度の場合はラベル５０２のように矩形の面積がラベル５０１に比べて小さい。

ステップＳ２０５において、プロセッサ１０１はラベルのサイズに基づいて前景領域を個人領域と集団領域に分ける。ステップＳ２０４において説明したように、ラベルのサイズは選手の密度と密接な関係がある。ラベルのサイズが大きければ人物（選手）が密集している可能性が高く、ラベルのサイズが小さければ選手が密集している可能性が低い。プロセッサ１０１は選手が一人だけ点在しているようなラベル５０２程度の大きさのラベルのサイズを閾値として、閾値を越えるラベルに含まれる領域を集団領域、閾値以下のラベルに含まれる領域を個人領域として前景領域を分類する。本実施の形態においては個人領域を特定したことで、当該個人領域に具体的なある人物の存在が特定できたとみなして他の処理を行う。

ステップＳ２０６において、プロセッサ１０１はステップＳ２０５において個人領域と分類された領域に対して追跡処理を行う。追跡処理とは映像を構成する各フレームにおいて移動する物体の座標を特定する処理である。追跡処理の手法としては既知の技術を適用することができる。本実施の形態においてはカルマンフィルタ（Ｋａｌｍａｎ Ｆｉｌｔｅｒ）を用いた追跡処理によって、スポーツ映像を構成する各フレーム画像において個人領域の矩形がどのように推移したかを決定する。追跡処理は個人領域において行えば十分であり、集団領域において追跡処理を行う必要はない。個人領域が集団領域に吸収された場合は追跡処理を中止する。集団領域から個人領域が分離した場合は再度追跡処理を行う。個人領域が新たに出現した場合は出現した個人領域について追跡処理を行う。

ステップＳ２０７において、プロセッサ１０１はステップＳ２０５において個人領域と分類した領域に対して背番号認識処理を行う。背番号認識処理とは、個人領域に人物が存在する前提の下、当該人物の着衣に記載された数字を認識する処理である。背番号認識処理はステップＳ２０６と並行して行われても良いし、ステップＳ２０７に先行して行われても良い。

本実施の形態においてプロセッサ１０１は機械学習の一種である視点生成学習による学習結果を用いて背番号認識を行う。視点生成学習とはテンプレート画像として正面向きの背番号画像を用いて、当該背番号画像を複数の視点から捉えた画像群である視点変化画像群を生成して学習を行う手法である。

本実施の形態においてテンプレート画像は、スポーツ映像に登場する選手の背番号画像を事前に得られることが好ましいが、スポーツ映像そのものから正面向きの画像を選択することでテンプレート画像としてもよい。

プロセッサ１０１はテンプレート画像から、テンプレート画像を様々な視点から見た画像を仮想的に生成する。このようにして得られた画像を視点変化画像群と呼ぶ。テンプレート画像に対してアフィン変換を施すことで視点変化画像群を得ることができる。アフィン変換のための回転行列Ｒは以下の数式で示される。

ここでψ、θ、φはそれぞれ回転に関する角度である。角度θとφはそれぞれ、テンプレート画像を半球の底面に置いた際の半球の経度と緯度にあたる。本実施の形態では角度θおよび角度φともに−９０度から９０度までの１０度刻みの角度の値を取る。角度ψは半球の天頂からテンプレート画像に向かう視点の軸方向の回転角度である。本実施の形態では後述するように視点変化画像群から、回転角度の変化に対して不変性を有するＳＩＦＴ（Ｓｃａｌｅ−Ｉｎｖａｒｉａｎｔ Ｆｅａｔｕｒｅ Ｔｒａｎｓｆｏｒｍ）特徴点を抽出する。よって、角度ψは０度で固定とする。結果として１９×１９の３６１枚からテンプレート画像をのぞいた３６０枚の視点変化画像（群）が得られる。

プロセッサ１０１は以上のようにして得た視点変化画像からＳＩＦＴ特徴点を抽出する。ＳＩＦＴ特徴点の抽出はＤ．Ｇ．Ｌｏｗｅ（非特許文献１）などによって得られた既存のアルゴリズムを用いることで行われる。ＳＩＦＴ特徴点とは各視点変化画像で共通に出現する点のことである。プロセッサ１０１は抽出したＳＩＦＴ特徴点に対して特徴量を算出する。本実施の形態において特徴量は特徴点の周囲の輝度の勾配によって定義される。なお、特徴量は各特徴点において視点変化画像の枚数分（３６０個）定義されることになるが、計算の簡略化のためにクラスタリング処理を行って特徴量の削減（特徴量空間の縮退）を行っても良い。このようにして、背番号毎に特徴点および特徴量の算出が行われる。

プロセッサ１０１は以上のようにして得られた背番号毎の特徴点および特徴量を用いて背番号認識を行う。なお、特徴点および特徴量は他の装置によって計算された値を用いても良い。また、通常の場合、背番号の形状は選手の属するチームによって異なる。本実施の形態においては背番号認識を行うことで選手の属するチームを認識することもできる。

プロセッサ１０１は個人領域から背番号の領域を特定し、背番号の領域からＳＩＦＴ特徴量を抽出する。プロセッサ１０１は、個人領域に対して既知の人物認識を行うことで、個人領域において人物の要部（頭、腰、背骨）がどこに存在するのかを求めることができる。プロセッサ１０１は人物の背骨の領域を背番号の存在する領域として特定する。プロセッサ１０１はこのようにして抽出したＳＩＦＴ特徴量をテンプレート画像および視点変化画像群から得られたＳＩＦＴ特徴量と比較（マッチング）することで、当該背番号の領域が何番の背番号なのかを特定する。なお、ＳＩＦＴ特徴量の比較（マッチング）には既知のマッチング手法であるＢｒｕｔｅ−ｆｏｒｃｅマッチングを用いることができる。

ステップＳ２０８において、プロセッサ１０１はステップＳ２０５において集団領域と分類された領域に対して個人軌跡伸長処理を行う。

個人軌跡伸長処理について図６および図７を用いて説明を行う。

図６は実施の形態１における人物追跡処理および背番号認識処理が行われた様子を示す図である。図７は実施の形態１における個人軌跡伸長処理の様子を示す図である。

ステップＳ２０８が開始する段階においてプロセッサ１０１は人物追跡処理および背番号認識処理を完了している。よってスポーツ映像の一区間をあらわすと図６のようになる。図６においては選手が選手６０１、選手６０２、選手６０３の３人存在する。図６において＃で示す番号は背番号である。図６において矢印は選手の軌跡をあらわす。

図６に示すように、背番号認識処理により、選手６０１、選手６０２、選手６０３はそれぞれ背番号が「８１」、「２６」、「２９」と特定されている。

図６に示すように、個人領域に対する人物追跡処理により、選手６０１は他の選手に近寄らずに右から左へ移動したことが座標とともに特定されている。一方で選手６０２および選手６０３はスポーツ映像の途中で集団領域６１０に移動したため、途中で個人追跡がされていない（または個人追跡がされていたとしてもその座標の信頼性が低い）。

本実施の形態においては、集団領域６１０内における選手６０２および６０３の座標の軌跡を決定することで、スポーツ映像全体における選手の追跡を行う。

ステップＳ２０８における個人軌跡伸長処理は、集団領域６１０内における選手の座標の軌跡の決定をより精度よく行うための前処理である。よって、本開示においてステップＳ２０８を実行することは必須ではないが、行うことが望ましい。

プロセッサ１０１は、集団領域６１０に進入する選手の座標及び速度に基づいて集団領域６１０内における選手の軌跡の一部を決定する。

具体的にはプロセッサ１０１は選手６０２、選手６０３が集団領域６１０に進入する座標を含む個人領域６２１、個人領域６２２における選手６０２、選手６０３の速度ベクトルを求める。

プロセッサ１０１は、個人領域６２１、個人領域６２２における速度ベクトルを個人領域６２１、個人領域６２２のオプティカルフローを求めることで特定する。オプティカルフローの算出に必要な個人領域のサイズは一定とする。

プロセッサ１０１は速度ベクトルの示す速度と方向に基づいて、個人領域の座標から所定の距離と方向だけ個人領域が移動したことを決定することができる。よって、プロセッサ１０１は個人領域６２１、個人領域６２２が、スポーツ映像の次のフレームにおいて集団領域６１０のどの箇所に移動したかを求めることができる。

プロセッサ１０１は同様の処理を、集団領域６１０から退出した選手の座標及び速度についても行う。具体的にはプロセッサ１０１は選手６０２、選手６０３が集団領域６１０から退出する座標を含む個人領域６３１、個人領域６３２における選手６０２、選手６０３の速度ベクトルを求める。この際は個人領域６３１、個人領域６３２から集団領域へと逆向きに速度ベクトルを扱う。

プロセッサ１０１はこのように個人領域の移動先、または移動元を数フレーム（一例としては２０フレーム）に亘って求めることで、図７の破線に示すように集団領域６１０において軌跡の伸長を行うことができる。

なお、速度ベクトルによって求められた個人領域の座標が移動元あるいは移動先の座標からあまりにも乖離している場合は誤検出の可能性が高い。よって、移動元あるいは移動先から見て速度ベクトルの角度の変化が所定の閾値（一例としては２５度）の範囲外であると判定した場合はこれ以上の個人軌跡伸長処理を打ち切ることが好ましい。

プロセッサ１０１はステップＳ２０９において、背番号認識処理の結果を用いて集団領域に個人の軌跡を生成する。

プロセッサ１０１は、集団領域６１０に進入する軌跡の終点ｉおよび集団領域６１０から退出する軌跡の始点ｊの全ての組み合わせについてｉとｊを連結することの正解確率である連結確率Ｐ_ｉｊを以下の条件から求める。ここで、ステップＳ２０９において、個人軌跡伸長処理を行っている場合は、伸長した軌跡の終点、始点について同様の処理を行う。

ここでＮ_ｉｊは背番号認識処理の結果に基づいて求めることができる。

Ｔ_ｉｊは背番号認識処理の結果、あるいは、個人領域の色ヒストグラムを計算することで求めることができる。

Ｖ_ｉｊは速度の類似度を表す。Ｖ_ｉｊの定義においてａは集団領域６１０に進入する軌跡の終点における速度ベクトルと、集団領域６１０から退出した軌跡の始点における速度ベクトルとのなす角度である。

Ａ_ｉｊは到達度を表す。Ａ_ｉｊの定義においてｄは集団領域６１０に進入する軌跡の終点の座標と集団領域６１０から退出した軌跡の始点の座標との距離である。

本実施の形態において、上述した変数に対する重み付けは数式４に示すように設定した。数式３に示されるように各変数に対する重みを合計すると１になる。

以上のようにして全てのｉとｊについて連結確率Ｐ_ｉｊを求めた後に、プロセッサ１０１は実際にどのｉとｊを連結することが全体最適となるのかを求める。本実施の形態では既知のハンガリアンアルゴリズムを用いて、その集団領域においてｉｊの組み合わせによる連結確率Ｐ_ｉｊの合計が最大になるような組み合わせを特定する。

以上のようにして、プロセッサ１０１は集団領域における選手の座標の軌跡を決定する。なお、本開示の別の１形態としては速度ベクトルの代わりに単に速度のみを用いて、個人領域の移動する方向は直線運動を仮定して以上の処理を行っても良い。

図８は実施の形態１における軌跡生成処理が行われた様子を示す図である。プロセッサ１０１がステップＳ２０９を実行することで、図８に示すように図６においては不明確であった集団領域６１０内における選手６０２および６０３の座標の軌跡が、決定されている。

［１−３．効果等］
以上のように本実施の形態において、本開示の人物追跡装置１００が行う人物追跡方法は、プロセッサ１０１が映像中の複数の人物の映像内における座標をそれぞれ決定する。プロセッサ１０１は映像中の人物が密集している領域として集団領域を特定する。プロセッサ１０１はある人物の映像内における座標を追跡する。プロセッサ１０１はある人物の集団領域外における座標および着衣に記載された数字に基づいて、ある人物の集団領域における座標の軌跡を決定する。

これにより、映像内に集団領域が存在し、人物が互いに遮蔽しあうような状態が映像内で生じていても、着衣に基づく数字を手がかりに軌跡の決定を行うことができる。そのため、人物の追跡を精度良く行うことができる。

また、本開示において、プロセッサ１０１はある人物の着衣に記載された数字を表す画像を複数の視点から捉えた画像群である、視点変化画像群に基づいて行われた機械学習結果を用いることで、ある人物の着衣に記載された数字を認識する。

着衣に記載された数字は人物の体制によって形状、回転方向などが変化するが、これにより精度良く、数字を認識することができる。そのため人物の追跡をより精度良く行うことができる。

また、本開示において、映像はチーム対抗スポーツを撮影した映像であり、人物は背番号が記載されたユニフォームを着用しており、プロセッサが認識する前記番号は背番号である。

チーム対抗スポーツであれば、背番号は少なくとも１チーム内において有限であり、かつ、一意に個人を識別できる。これにより、数字の認識制度が高くなることが期待される。そのため、人物の追跡をより精度良く行うことができる。

また、本開示において、プロセッサ１０１はある人物の集団領域外における座標、およびある人物の着衣に記載された数字、およびある人物の所属するチームに基づいて、ある人物の集団領域内における座標の軌跡を決定する。

これにより、背番号に加えて、チームの情報を付加して座標の軌跡を決定することができる。そのため、人物の追跡をより精度良く行うことができる。

また、本開示において、集団領域外における座標は少なくとも、集団領域に進入するある人物の座標と、集団領域から退出したある人物の座標とを含む。

これにより、進入と退出の組み合わせを選ぶことで集団領域内の座標の軌跡を特定することができる。そのため、人物の追跡をより精度良く行うことができる。

また、本開示において、プロセッサ１０１は、集団領域に侵入するある人物の速度に基づいて集団領域内のある人物の座標の軌跡の一部を決定し、集団領域から退出したある人物の速度に基づいて集団領域内のある人物の座標の軌跡の一部を決定する。

これにより、集団領域内のある人物の座標を速度に基づいて決定することができる。そのため、人物の追跡をより精度良く行うことができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、適宜、変更、置き換え、付加、省略などを行った実施の形態にも適用可能である。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

なお、上述の実施の形態は、本開示における技術を例示するためのものであるから、請求の範囲またはその均等の範囲において種々の変更、置き換え、付加、省略などを行うことができる。

本開示は、映像内の人物を追跡して挙動を解析する装置などに適用可能である。

１００ 人物追跡装置
１０１ プロセッサ
１０２ ストレージ
１０３ 入力装置
１０４ ディスプレイ
１０５ 通信部
１１０ バス
５０１ ラベル
５０２ ラベル
６０１ 選手
６０２ 選手
６０３ 選手
６１０ 集団領域
６２１ 個人領域
６２２ 個人領域
６３１ 個人領域
６３２ 個人領域

Claims (6)

1. プロセッサが、映像中の複数の人物の前記映像内における座標をそれぞれ決定する人物追跡方法であって、
   前記プロセッサは、
   前記映像内の人物が密集している領域として集団領域を特定し、
   前記映像内におけるある人物を特定し、
   前記ある人物の映像内における座標を追跡し、
   前記ある人物の前記集団領域外における座標、および前記ある人物の着衣に記載された数字に基づいて、前記ある人物の前記集団領域内における座標の軌跡を決定し、
   前記集団領域外における座標は少なくとも、
   前記集団領域に進入する前記ある人物の座標と、
   前記集団領域から退出した前記ある人物の座標と、
   を含み、
   前記プロセッサは、
   前記集団領域に進入する前記ある人物の進行方向の速度に基づいて前記集団領域内の前記ある人物の座標の軌跡の一部を決定し、
   前記集団領域から退出した前記ある人物の逆方向の速度に基づいて前記集団領域内の前記ある人物の座標の軌跡の一部を決定する、ことで前記集団領域内の軌跡を伸長する処理を行い、
   前記集団領域内の前記ある人物の座標の軌跡の一部が、前記集団領域に進入する前記ある人物の座標、または、前記集団領域から退出した前記ある人物の座標と、所定の値以上乖離した場合は、前記集団領域内の軌跡を伸長する処理を打ち切る、
   人物追跡方法。
2. 前記集団領域内における、前記伸長された軌跡の端点を連結することの正解確率に基づいて、前記ある人物の前記集団領域内における座標の軌跡を決定する、
   請求項１に記載の人物追跡方法。
3. 前記伸長された軌跡の端点を連結することの正解確率が、前記伸長された軌跡の端点の距離に基づいて求められる、
   請求項２に記載の人物追跡方法。
4. プロセッサと、
   ストレージと、
   を有し、前記プロセッサが、前記ストレージに記録された映像中の複数の人物の前記映像内における座標をそれぞれ決定する人物追跡装置であって、
   前記プロセッサは、
   前記映像内の人物が密集している領域として集団領域を特定し、
   前記映像内におけるある人物を特定し、
   前記ある人物の映像内における座標を追跡し、
   前記ある人物の前記集団領域外における座標、および前記ある人物の着衣に記載された数字に基づいて、前記ある人物の前記集団領域内における座標の軌跡を決定し、
   前記集団領域外における座標は少なくとも、
   前記集団領域に進入する前記ある人物の座標と、
   前記集団領域から退出した前記ある人物の座標と、
   を含み、
   前記プロセッサは、
   前記集団領域に進入する前記ある人物の進行方向の速度に基づいて前記集団領域内の前記ある人物の座標の軌跡の一部を決定し、
   前記集団領域から退出した前記ある人物の逆方向の速度に基づいて前記集団領域内の前記ある人物の座標の軌跡の一部を決定する、
   ことで前記集団領域内の軌跡を伸長する処理を行い、
   前記集団領域内の前記ある人物の座標の軌跡の一部が、前記集団領域に進入する前記ある人物の座標、または、前記集団領域から退出した前記ある人物の座標と、所定の値以上乖離した場合は、前記集団領域内の軌跡を伸長する処理を打ち切る、
   人物追跡装置。
5. 前記集団領域内における、前記伸長された軌跡の端点を連結することの正解確率に基づいて、前記ある人物の前記集団領域内における座標の軌跡を決定する、
   請求項４に記載の人物追跡装置。
6. 前記伸長された軌跡の端点を連結することの正解確率が、前記伸長された軌跡の端点の距離に基づいて求められる、
   請求項５に記載の人物追跡装置。

Images