JP6324036B2 - 情報処理装置、情報処理方法及びプログラム - Google Patents

Description

本発明は、オブジェクト追跡情報の信頼度を判定し、表示するオブジェクト追跡情報の表示装置、表示方法及びプログラムに関する。

現在、スポーツの試合などにおいて選手などの複数オブジェクトをそれぞれ装置により識別して識別子を割り当てた上で、動きを自動で追跡しオブジェクトの動きを記録する方法が知られている。
しかし、オブジェクトの動きを自動で追跡する際に装置の誤認識により正しく追跡できない場合が生じる。その場合に、オペレータに装置の誤認識が生じたことを通知する方法が特許文献１に開示されている。

特許文献１に示された方法によれば、映像再生中において追跡中の選手が隠れて見えなくなるなど識別情報の確からしさが低下した場合に、該オブジェクトを強調表示し、オペレータに追跡情報の修正操作を促す。このように装置の誤認識が発生したことをオペレータに通知することにより、オペレータは装置の誤認識を把握しやすくなり、オブジェクト追跡情報の修正作業の負荷が軽減される。

米国特許第５３６３２９７号明細書

しかしながら、従来技術では映像を再生しなければ、どの時間にどのオブジェクトの追跡に関して装置の誤認識が起きたか把握できず、一目で修正すべきポイントを把握することができない。そのため、全体を再生しなければ修正箇所がわからず、オブジェクトの誤認識がないかの確認に時間がかかることがあった。
本発明は上記の課題に鑑みて成されたものであり、オブジェクト追跡情報の修正すべきポイントの把握を容易にする情報表示装置を提供することを目的とする。また、その方法、及びプログラムを提供することを目的とする。

前記課題を解決するため、本発明に係る情報処理装置は、
映像内の１つ以上のオブジェクトを追跡してオブジェクト毎にオブジェクトの識別子と時刻と位置とが対応付けられたオブジェクト追跡情報を生成する情報生成手段と、
前記オブジェクト追跡情報が対応付けられている生成元の映像を記憶する手段と、
前記情報生成手段によってオブジェクト毎に生成されるオブジェクト追跡情報の信頼度を算出する信頼度算出手段と、
複数のオブジェクト間の距離に基づいて、オブジェクト同士の交錯状態を検出する交錯状態検出手段と、
前記オブジェクト追跡情報の信頼度を時間軸上に表示させる表示制御手段と、
を備え、
前記表示制御手段が、
前記交錯状態検出手段が第１のオブジェクトと第２のオブジェクトの交錯を検出した場合に、
前記時間軸上の、前記第１のオブジェクトに対応する領域と前記第２のオブジェクトに対応する領域の、前記交錯状態検出手段が交錯を検出した交錯時刻に対応する位置に、交錯が検出されたことを示すマーカーを表示し、かつ
ユーザによる前記マーカーの選択が行われた場合に、前記第１のオブジェクトと前記第２のオブジェクトとの生成元の前記映像のうち前記交錯時刻における映像または画像を、前記記憶された生成元の映像中から切り出して表示させることを特徴とする。

本発明によれば、オブジェクト追跡情報の修正時に修正すべきポイントの把握が容易になり、オペレータの作業負荷が軽減される。

実施形態１に係るオブジェクト追跡情報表示装置のハードウェア構成の一例を示す図である。 実施形態１に係るオブジェクト追跡情報のデータフォーマットの一例である。 実施形態１に係るオブジェクト追跡情報の分析、及び画像表示の処理フローの一例を示すフローチャートである。 実施形態１に係るオブジェクト追跡情報信頼度の算出方法の一例を説明する図である。 実施形態１に係るオブジェクト追跡情報信頼度を追加したオブジェクト追跡情報のデータフォーマットの一例である。 実施形態１に係るオブジェクト追跡情報信頼度の時間軸表示の一例を示す図である。 実施形態１に係るオブジェクト交錯状態の表示方法の一例を示す図である。 実施形態１に係るオブジェクト間の交錯をオペレータに判断させるためのオブジェクト切り出し画像の表示方法の一例を示す図である。 実施形態１に係るオブジェクト追跡情報の入替え方法の一例を示す図である。 実施形態２に係るオブジェクトの動作解析情報のデータフォーマットの一例を示す図である。 実施形態２に係るイベントデータの時間軸上での表示方法の一例を示す図である。 実施形態２に係るオブジェクト追跡情報入替時のイベントデータ表示の変化の一例を示す図である。

以下、本発明に係る実施形態について、図面を参照して説明する。なお、以下の実施の形態は特許請求の範囲に関る本発明を限定するものではなく、また、本実施の形態で説明されている特徴の組み合わせの全てが本発明の解決手段に必須のものとは限らない。
本実施形態のオブジェクト追跡情報表示装置は、追跡情報生成部と、信頼度算出部と、表示手段（ディスプレイ）とを備える。
追跡情報生成部は、映像内の１つ以上のオブジェクトを追跡してオブジェクト毎にオブジェクトの識別子と時刻と位置とが対応付けられたオブジェクト追跡情報を生成する。
信頼度算出部は、前記情報生成手段によってオブジェクト毎に生成されるオブジェクト追跡情報の信頼度を算出する。
表示手段は、オブジェクト追跡情報の信頼度を時間軸上に表示する。

［実施形態１］
図１は実施形態１のオブジェクト追跡情報表示装置１００のハードウェア構成の一例を示すブロック図である。
メモリ１０９は不揮発性の外部メモリや揮発性のＲＡＭをまとめて示している。
不揮発性の外部メモリには、スポーツの試合映像データやグラフィックプロセッサ１０２、全体制御部１０３、オブジェクト追跡情報信頼度算出部１０４、オブジェクト交錯状態検出部１０５、及びオブジェクト追跡情報生成部１０６の演算結果を蓄える。
また、揮発性のＲＡＭにはグラフィックプロセッサ１０２、全体制御部１０３、オブジェクト追跡情報信頼度算出部１０４、オブジェクト交錯状態検出部１０５、及びオブジェクト追跡情報生成部１０６の演算途中のデータを一時的に蓄える。

バスシステム１０１は、グラフィックプロセッサ１０２、全体制御部１０３、オブジェクト追跡情報信頼度算出部１０４等からのメモリ１０９へのデータの読み書き要求を調停し、メモリに対するアクセスの順序を制御する仕組みを持つ。
グラフィックプロセッサ１０２は、ディスプレイ１０７へ表示する映像を生成する画像処理を行う。その処理は、メモリ１０９から読み出した映像データやオブジェクト追跡情報信頼度算出部１０４、オブジェクト交錯状態検出部１０５、オブジェクト追跡情報生成部１０６の処理結果データを用いて行われる。

全体制御部１０３は、グラフィックプロセッサ１０２、オブジェクト追跡情報信頼度算出部１０４、オブジェクト交錯状態検出部１０５、及びオブジェクト追跡情報生成部１０６に処理の指示を行い、処理順序等を制御する。
オブジェクト追跡情報信頼度算出部１０４はオブジェクト追跡情報または保存映像をバスシステム１０１を介してメモリから読み出し、各オブジェクト追跡情報の各時間帯における追跡情報の信頼度を算出する。算出された信頼度はオブジェクト交錯状態検出部１０５に直接渡されたり、再びバスシステム１０１を介してメモリ１０９に書き込まれたりする。

オブジェクト交錯状態検出部１０５はオブジェクト追跡情報信頼度算出部より受け取った信頼度に基づき、どの追跡オブジェクト同士がどの時間帯に交錯したかを検出し、結果をバスシステム１０１を介してメモリ１０９に記録する。
オブジェクト追跡情報生成部１０６は、バスシステム１０１を通してメモリ１０９から読み出した映像データ中の複数の特定オブジェクトの動きを追跡する。そして、オブジェクトの識別子、時刻、位置の対応付けを取ったオブジェクト追跡情報を生成する。
オブジェクト追跡情報は必ずしも追跡情報表示装置内で生成する必要はなく、ネットワークＩ／Ｆなどから入力され、メモリ１０９に蓄えられたものを読み出して使用してもよい。その場合、追跡情報表示装置はオブジェクト追跡情報生成部１０６を持たない構成となる。

ディスプレイ１０７はグラフィックプロセッサ１０２により処理、生成された映像を表示する。具体的にはオブジェクトの追跡を行うスポーツの試合の映像や、オブジェクト追跡情報を時間軸に沿って表示する（以下、「時間軸表示」とも記載する）。また、オブジェクト追跡情報信頼度算出部１０４、オブジェクト交錯状態検出部１０５、オブジェクト追跡情報生成部１０６の演算結果の表示なども行う。
ユーザーＩ／Ｆ１０８は、スポーツの試合映像の「再生」や、オブジェクト追跡情報の「表示」、「修正」などのオペレータからの指示を受け付け、全体制御部１０３に伝える。ユーザーＩ／Ｆ１０８は具体的にはタッチパネルやキーボード、マウスなどであるが、ここに例示したものに制限されない。

次に、図２にオブジェクト追跡情報のデータフォーマットの一例を示す。オブジェクト追跡情報は、オブジェクト識別子２００と、追跡開始時刻２０１と、追跡終了時刻２０２と、追跡開始時刻から追跡終了時刻までの間の各フレームにおけるオブジェクトの位置情報２０３とから成る。
オブジェクト追跡情報の生成は例えば以下のような方法で実現される。まず映像中のある基準フレームでスポーツにおける選手などのオブジェクトを予め学習させたパターンに基づき検出する。この時刻を追跡開始時刻２０１とする。基準フレームは予め装置が定めたタイミングを選択してもよいし、オペレータが任意に選択してもよい。これによって、検出領域のサイズ、例えば矩形領域の幅と高さ、さらに検出領域の位置が決定される。検出領域は矩形以外の形状を取ってもよい。

さらに、検出領域の詳細な特徴情報と、予め学習させたり、順次映像中から学習させたりした特徴情報とを比較することにより、オブジェクト識別子２００の割当てを行う。オブジェクト識別子２００は例えば複数選手をオブジェクトとして検出した際に、それぞれの選手を識別するために選手毎に割り当てられる識別子である。
次に、検出領域と同じサイズの画像領域を次フレームから切り出し、基準フレームのオブジェクト検出領域と対応する画素同士の画素値の差を求め、それらの和を取ることで基準フレームの検出領域と次フレームで切り出した画像領域の差異の大きさを求める。これに基づき類似度を求める。
オブジェクト検出領域、基準フレーム、次フレーム、対応する画素同士の画素値の差、類似度などについては、図４を用いて追って詳しく説明する。

類似度は例えば、基準フレームのオブジェクト領域に関する画像特徴量を所定の方法で求め、求めた画像特徴量と次フレーム上の切出し画像領域の画像特徴量とを比較する方法や、その他の方法に基づいても行うことができる。次フレーム上からの前記画像領域の切出しは次フレーム上で基準フレーム上のオブジェクト検出領域の位置を中心としたある一定範囲内から行う。そして、切り出した画像領域のそれぞれを前記方法で基準フレームのオブジェクト検出領域と類似度を求める。
そして最も類似度の高い次フレームの画像領域の位置を基準フレームのオブジェクト検出領域が次フレーム上へ動いた位置とする。これを毎フレーム繰り返すことで連続するフレームでオブジェクトの位置を追跡することができる。

図２に示すように追跡開始時刻２０１から追跡終了時刻２０２までの各フレームのオブジェクトの位置情報群が位置情報２０３となる。位置情報はオブジェクト追跡の開始時刻から終了時刻までに含まれる全映像フレーム毎に記録してもよいが、数フレーム毎などとびとびのフレームについてのみ記録し、オブジェクト追跡情報のデータ量を抑制することもできる。追跡終了時刻は追跡中のオブジェクトの追跡が失敗して追跡が途切れた時刻を設定するが、オペレータが任意に設定した時刻であっても良い。

図３を用いて本実施形態の処理フローの説明を行う。
まず、ステップＳ３００においてオブジェクト追跡情報生成部１０６がメモリ１０９から読み出した映像データを用いて前記手法により検出オブジェクト毎にオブジェクト追跡情報を生成する。
ステップＳ３０１では生成されたオブジェクト追跡情報を用いてオブジェクト追跡情報信頼度算出部１０４がオブジェクト追跡情報信頼度を算出する。オブジェクト追跡情報信頼度は例えば以下の方法で算出される。

図４はスポーツの試合において選手１〜３を追跡している例を示している。時刻ｔ−Δｔのフレームに存在するオブジェクト検出領域は４００、４０１、４０２の３つであり、オブジェクト検出領域４００内の選手は選手１、オブジェクト検出領域４０１内の選手は選手２、オブジェクト検出領域４０２内の選手は選手３である。
時刻ｔのフレームに存在するオブジェクト検出領域は４０３、４０４、４０５の３つであり、オブジェクト検出領域４０３内の選手は選手１、オブジェクト検出領域４０４内の選手は選手２、オブジェクト検出領域４０５内の選手は選手３である。
図４を用いて時刻ｔにおける選手１のオブジェクト追跡情報信頼度ｒの算出方法の例を示す。

図４中で類似度ｓは時刻ｔにおけるオブジェクト検出領域４００内のオブジェクトとそれより前の時刻ｔ−Δｔにおけるオブジェクト検出領域４０３内のオブジェクトとの類似度を示している。類似度ｓは比較する前後フレームのオブジェクト同士がより類似していると判断されるほど大きな値を取るものとする。類似度は前述したオブジェクト追跡情報生成時に求める類似度と同様にして求められる。
すなわち、時刻ｔのフレームのオブジェクト検出領域４０３の画素と、時刻ｔ−Δｔのフレームのオブジェクト検出領域４００の前記画素に対応する画素との差を取り、それらの和を求めこれを２つの画像領域の差異とする。これに基づいて類似度ｓを算出する。また、時刻ｔのフレームのオブジェクト検出領域４０３に関する画像特徴量を所定の方法で求め、その画素特徴量と時刻ｔ−Δｔのフレームのオブジェクト検出領域４００に関する画像特徴量とを比較する方法や、その他の方法に基づいても求めることができる。
時刻ｔのフレームにおける、オブジェクト検出領域４０３と４０４との距離ｄ１、及びオブジェクト検出領域４０３と４０５との距離ｄ２は、例えば、それぞれのオブジェクト検出領域の中心間の距離として求められる。

以上より、選手１のオブジェクト追跡情報信頼度ｒは類似度ｓ、距離ｄ１、距離ｄ２、適当な係数をａ、ｂとして以下の式から求められる。
ｒ＝ａ*ｓ+ｂ＊ｍｉｎ（ｄ１，ｄ２）
ただし、ｍｉｎ（）は（）内の値の最小値とする。前記の例では追跡オブジェクトが３つであるが、追跡オブジェクト数を限定するものではない。追跡オブジェクト数がＮ個（Ｎは任意の自然数）の場合は類似度を求める対象オブジェクトとそれ以外のオブジェクトとのＮ−１個の距離値の中の最小値となる。

また、本実施形態で説明するオブジェクト追跡情報信頼度ｒの算出方法は一例であり、本発明に適用可能なオブジェクト追跡情報信頼度ｒの算出方法を限定するものではない。

以上のようにしてフレーム毎に求められたオブジェクト追跡情報信頼度はオブジェクト追跡情報に図５のオブジェクト追跡情報信頼度５００として付加される。位置情報２０３と同様にして、オブジェクト追跡情報信頼度５００はオブジェクト追跡の開始時刻から終了時刻に含まれる全映像フレーム毎に記録しても良い。しかし、数フレーム毎などとびとびのフレームについてのみ記録し、オブジェクト追跡情報信頼度のデータ量を抑制することもできる。

次に、ステップＳ３０２では各追跡オブジェクトのオブジェクト追跡情報信頼度ｒを時間軸上に表示する。図６は追跡オブジェクトが選手１〜６の場合のオブジェクト追跡情報信頼度の時間軸表示方法の一例を示している。
図６では試合開始からの経過時間を時間軸にとり、選手毎に信頼度の高さの違いを、塗りつぶしパターン（間隔が広い斜線、間隔が狭い斜線、交差する斜線など）を変えることによって表示している。時間軸上での信頼度の表現は数値を表示しても良いし、他のいかなる方法であっても良い。図６中で追跡情報なしとしている領域は例えば、該当する時間帯に選手が試合に参加していないため追跡対象でない場合や、装置が選手を追跡できず追跡情報を生成できなかった場合である。

ステップＳ３０３ではオブジェクト交錯状態検出部１０５が各追跡オブジェクト同士の交錯を検出する。交錯が検出された場合はステップＳ３０４へ進み交錯が検出されなかった場合はステップＳ３１２へ進む。
オブジェクト交錯状態は、例えば同時間帯にオブジェクト追跡情報信頼度がある閾値以下かつ、複数のオブジェクト間の距離が閾値以下となった場合に検出される。

ステップＳ３０４ではオブジェクト交錯状態検出結果の表示を行う。表示例を図７に示す。図７では選手１と選手４との交錯を検出したことを示す交錯マーカー１を、選手３と選手５との交錯を検出したことを示す交錯マーカー２を、時間軸上に表示している。交錯マーカー１の位置は選手１と選手４との交錯が発生した時刻に、交錯マーカー２の位置は選手３と選手５との交錯が発生した時刻に、それぞれ対応している。このように発生している交錯毎に分類して交錯発生の表示を行う。
図７では一つの番号の割り当てられた交錯マーカーが示す交錯は２選手間のものであるが、さらに多数の選手間の交錯を検出して、１つの番号の交錯マーカーを割り当てても良い。

ステップＳ３０５ではユーザーＩ／Ｆ１０８を介してオペレータからの交錯マーカーの選択を受け付ける。選択がない場合、処理はステップＳ３１１に進み、交錯マーカーの選択があった場合、処理はステップＳ３０６に進む。
ステップＳ３０６ではオペレータに選択された交錯マーカーが関連する複数の交錯オブジェクトの画像領域の切出し画像を同時に表示する。表示例を図８に示す。

図８（ａ）は図８（ｂ）に表示する交錯オブジェクト切り出し画像に対応する時間軸表示である。図８（ａ）に示すように選手１と選手４との交錯を検出したことを示す交錯マーカー１が、選手１と選手４のそれぞれの時間軸上に表示されている。選手１の時間軸上、または、選手４の時間軸上の交錯マーカー１のいずれかが選択されると、選手１の交錯前後の画像、および選手４の交錯前後の画像が図８（ｂ）のように表示される。
このように、ある１つの交錯を示す交錯マーカーのうち１つを選択すると、その交錯に関わる選手すべての交錯前後の画像が表示される。同時表示する選手は必ずしも交錯マーカーの示す交錯に関わる選手すべてでなくても良く、例えばオペレータが選択した選手のみであっても良い。
図８（ａ）の時間軸に示す破線で囲まれた領域８１１ａ、８１１ｂ、８１４ａ、８１４ｂがそれぞれ図８（ｂ）のオブジェクト切り出し画像８２１ａ、８２１ｂ、８２４ａ、８２４ｂに対応する。
図８（ａ）の時間軸に表示される破線で囲まれた領域８１１ａおよび図８（ｂ）のオブジェクト切り出し画像８２１ａには、これらの図に示すように、共に「１ａ」という文字列が表示されていると対応関係が理解し易くなるため好ましい。
同様に、領域８１１ｂおよび画像８２１ｂには「１ｂ」という文字列、領域８１４ａおよび画像８２４ａには「４ａ」という文字列、ならびに領域８１４ｂおよび画像８２４ｂには「４ｂ」という文字列がそれぞれ表示されていることが好ましい。

図８（ｂ）のオブジェクト切り出し画像８２１ａは、図８（ａ）の選手１に関する領域８１１ａに対応するオブジェクトの切出し画像である。切り出すフレームは、追跡情報の生成元の映像に含まれ、かつ領域８１１ａに含まれるフレームであって、例えばオブジェクト追跡情報の信頼度が閾値以上かつ、交錯マーカーの示す時刻以前で最も交錯マーカーの示す時刻に近い時刻のフレームとすることができる。
図８（ｂ）のオブジェクト切り出し画像８２１ｂは、図８（ａ）の選手１に関する領域８１１ｂに対応するオブジェクトの切出し画像である。切り出すフレームは、追跡情報の生成元の映像に含まれ、かつ領域８１１ｂに含まれるフレームであって、オブジェクト追跡情報の信頼度が閾値以上かつ、交錯マーカーの示す時刻以後で最も交錯マーカーの示す時刻に近い時刻のフレームとする。
図８（ｂ）のオブジェクト切り出し画像８２４ａは、図８（ａ）の選手４に関する領域８１４ａに対応するオブジェクトの切出し画像である。切り出すフレームは、領域８１４ａに含まれるフレームであって、オブジェクト追跡情報の信頼度が閾値以上かつ、交錯マーカーの示す時刻以前で最も交錯マーカーの示す時刻に近い時刻のフレームとする。
図８（ｂ）のオブジェクト切り出し画像８２４ｂは、図８（ａ）の選手４に関する領域８１４ｂに対応するオブジェクトの切出し画像である。切り出すフレームは、領域８１４ｂに含まれるフレームであって、オブジェクト追跡情報の信頼度が閾値以上かつ、交錯マーカーの示す時刻以後で最も交錯マーカーの示す時刻に近い時刻のフレームとする。

図８（ｂ）に示す例では、選手１と選手４とが交錯した後に、装置が選手１として認識しているオブジェクトは実際には選手４であり、同様に装置が選手４として認識しているオブジェクトは実際には選手１である。
このような交錯マーカーを選択すると所定の要件を満たす静止画像を表示する方法は、交錯後も装置が追跡オブジェクトを間違えていないかを確認する方法の一例であり、交錯前後の動画を再生する方法でも良い。
例えば、交錯マーカーが選択されると、追跡情報表示装置が選択された交錯マーカーに対応すると認識しているオブジェクト領域の映像を再生する方法でも良い。再生される映像には、オブジェクト識別子が重畳表示され、そして交錯マーカーが示す時刻の前後の所定時間分が再生される。
このように交錯マーカーが選択されると、選択された交錯マーカーに対応すると装置が認識している交錯前後の対象オブジェクト領域の画像または映像を表示する。これによってオペレータは交錯前後で装置が認識している追跡オブジェクトとオブジェクト識別子の対応が誤認識により実際の対応と異なっていないかを確認し易くなる。

次に、ステップＳ３０７ではユーザーＩ／Ｆ１０８を介してオペレータのオブジェクト追跡情報入れ替え指示の受付を行う。指示がない場合はステップＳ３０９へ進み、指示がある場合はステップＳ３０８へ進む。
ステップＳ３０８ではオペレータの指示に従いオブジェクト追跡情報の入れ替えを行う。

図９（ａ）は表示画面上でのオブジェクト追跡情報の入れ替え操作の一例を示している。この例においては交錯マーカー１で示された選手１と選手４の交錯について交錯時刻ｔ１以降のオブジェクト追跡情報を選手１と選手４で入れ替える。この操作は、例えばマウスなどのポインティングデバイスを用いて破線で囲まれた領域９１１ｂを選択し、ドラッグし、破線で囲まれた領域９１４ｂにドロップすることで行うことができる。
逆に領域９１４ｂを選択し、ドラッグし、領域９１１ｂにドロップしても良い。この操作方法は一例であり、本発明の技術的範囲を制限するものではない。

図９（ｂ）は図９（ａ）に示す方法でオブジェクト追跡情報の入れ替えを行う際に実際に入れ替えられるオブジェクト追跡情報中のデータを示している。図９（ｂ）中で９００は追跡オブジェクトの追跡開始時刻２０１から交錯時刻ｔ１までの各フレームでの位置情報、９０１は追跡オブジェクトの交錯時刻ｔ１から追跡終了時刻２０２までの各フレームでの位置情報を表している。
また、９０２は追跡オブジェクトの追跡開始時刻２０１から交錯時刻ｔ１までの各フレームでのオブジェクト追跡情報信頼度、９０３は追跡オブジェクトの交錯時刻ｔ１から追跡終了時刻２０２までの各フレームでのオブジェクト追跡情報信頼度を表している。

図９（ａ）のように交錯マーカー１の示す時刻ｔ１以降の選手１と選手４のオブジェクト追跡情報を入れ替える場合、選手１と選手４それぞれを示すオブジェクト識別子が割当てられたオブジェクト追跡情報間でデータの入れ替えが行われる。
入れ替えられるデータは図９（ｂ）中の太線で囲まれている追跡終了時刻２０２、時刻ｔ１以降の追跡オブジェクトの位置情報９０１、時刻ｔ１以降の追跡オブジェクトのオブジェクト追跡情報信頼度９０３である。このようにすることで、装置の誤認識によるオブジェクト追跡情報の識別子割り当ての誤りを容易に訂正可能である。

次に、ステップＳ３０９ではオペレータのユーザーＩ／Ｆ１０８からの入力を受け付け、交錯マーカーの削除指示があるか否かを判定する。削除指示がない場合はステップＳ３１１に進み、削除指示がある場合はステップＳ３１０に進んで該削除マーカーの削除を行う。
ステップＳ３１１では追跡情報信頼度が低下した他のオブジェクト追跡情報があるか否かを判定し、なければ処理は終了となる。追跡情報信頼度が低下した他のオブジェクト追跡情報がある場合にはステップＳ３０３に戻る。

ステップＳ３１２はオブジェクト追跡情報信頼度が低下しているが、追跡オブジェクト間の交錯と判定されなかった場合の処理である。このような状況は例えば選手の追跡中に追跡対象が本来は追跡すべきではない対象、例えばサッカーにおける審判などに追跡対象が移ってしまった場合などが考えられる。このような場合においてはオペレータからユーザーＩ／Ｆ１０８を介して該オブジェクト（本来、追跡すべきオブジェクト）の再追跡指示があるか否かを判定する。
指示がなければステップＳ３１１に進み、指示がある場合はステップＳ３１３に進む。ここでの指示は具体的には例えば、追跡オブジェクトが本来追いたい選手から別の対象に移ってしまった時刻の映像フレームに戻り再度追跡対象の領域を手動でオペレータが選択することである。

ステップＳ３１３において装置はオペレータが選択した領域に含まれるオブジェクトを追跡オブジェクトとみなし、その時刻以降のオブジェクト追跡情報を生成する。例えば、審判を選手１と誤認識してしまった場合は、そのような誤認識が発生した時刻以降の選手１に関するオブジェクト追跡情報を生成する。
ステップＳ３１３の処理が終了すると処理はステップＳ３１１に移る。
以上のような処理フローによりオペレータは装置のオブジェクト追跡の誤りを容易に発見することができ、少ない操作でそれを修正可能である。

［実施形態２］
本実施形態では実施形態１におけるオブジェクト追跡情報に加え、各オブジェクトが起こすイベントなどオブジェクトの動作解析情報を記録する場合について述べる。動作解析情報とは例えばスポーツの試合における選手のシュート、パス、反則などのイベントや走行距離である。

動作解析情報のうちある瞬間に起こるイベント型のものについてはそのデータフォーマットは、例えば図１０のようにイベント識別子１０００、イベント生起時刻１００１、第１オブジェクト識別子１００２、第２オブジェクト識別子１００３から成る。
各イベント情報（イベント型の動作解析情報）は、追跡オブジェクトの動作を画像認識により判別して装置が生成するデータである。例えば装置がイベントとしてシュートの発生を検知した場合にはシュートに対応するイベント識別子１０００を割り当て、そのイベント生起時刻１００１を記録する。また、シュートを行った追跡中の選手のオブジェクト識別子を第１オブジェクト識別子１００２に割り当てる。

シュートの場合イベントに関連する選手は一名なので、第２オブジェクト識別子１００３は無効値とする。イベントがパスの場合には例えば第１オブジェクト識別子１００２にパスの出し手のオブジェクト識別子を、第２オブジェクト識別子１００３にパスの受け手のオブジェクト識別子を割り当てる。図１０の例ではオブジェクト識別子のフィールドは２つだが、フィールドの数を特定の値に制限するものではない。フィールドの数は３以上でも良い。

このようにして、生成されたイベントデータは時間軸表示上に、例えば図１１のように表示される。図１１に示す例では選手の起こすイベントとしてシュート、パス（出し手）、パス（受け手）、反則が時間軸表示上で該当する選手、時刻にマーカーで表示されている。
このとき、実施形態１に示す手法によりオブジェクト追跡情報の入れ替えを行った場合、オブジェクト追跡情報とイベントデータの対応関係がくずれてしまう。そこで、オブジェクト追跡情報の入れ替えが行われた際にはそれに同期して、イベントデータのオブジェクト識別子を入れ替える。
具体的には、入れ替えの開始時刻、すなわち交錯マーカーの示す時刻以降のイベント生起時刻１００１を持つイベントデータについて、オブジェクト追跡情報の入れ替えに同期して、第１オブジェクト識別子１００２、第２オブジェクト識別子１００３を入れ替える。

図１２にオブジェクト追跡情報入替時のイベント表示の変化の例を示す。図１２（ａ）はオブジェクト追跡情報入替前の状態を表している。時刻ｔ１の交錯マーカーを選択して、時刻ｔ１以降の選手１の破線で囲まれた領域１２０１のオブジェクト追跡情報と選手４の破線で囲まれた領域１２０２のオブジェクト追跡情報とを入れ替えた後の表示が図１２（ｂ）である。オブジェクト追跡情報の入れ替えに同期してイベントデータのオブジェクト識別子が入れ替わるため、時間軸表示上においてもイベントを示すマーカーの位置が選手１と選手４で時刻ｔ１以降のものが入れ替わっている。具体的には、マーカー１２０３が選手４に対応する位置から選手１に対応する位置へ移動し、マーカー１２０４及び１２０５が選手１に対応する位置から選手４に対応する位置へ移動する。

このようにすることで、オブジェクト追跡情報の入替に追従させてイベント情報とオブジェクト識別子との再対応付けが可能であり、イベント情報とオブジェクト識別子との対応付けをオペレータが意識する必要がなくなる。
走行距離については、オブジェクト追跡情報の位置情報２０３の各フレーム間の動き量の和から算出することができる。
例えば、フレーム１の位置情報である位置座標（ｘ１，ｙ１）とフレーム２の位置情報である位置座標（ｘ２，ｙ２）より、フレーム１からフレーム２までの動き量Ｄ（１２）を、下記式を用いて算出する。
Ｄ（１２）＝（（ｘ１−ｘ２）＾２+（ｙ１−ｙ２）＾２）＾（１/２）
同様に、フレーム２の位置情報である位置座標（ｘ２，ｙ２）とフレーム３の位置情報である位置座標（ｘ３，ｙ３）より、フレーム２からフレーム３までの動き量Ｄ（２３）を、下記式を用いて算出する。
Ｄ（２３）＝（（ｘ２−ｘ３）＾２+（ｙ２−ｙ３）＾２）＾（１/２）
そして、これらの和を算出することによって、フレーム１からフレーム３までの間の動き量を求めることができる。
なお、オブジェクト追跡情報の入れ替えを行った場合には位置情報が変化するため、その際はオブジェクト追跡情報の入れ替え後、自動で走行距離を再計算させる。
走行距離以外の例えばボールの保持時間などについても同様の方法で対応が可能である。このようにすることで、各オブジェクトの走行距離を正しく記録することが可能である。

［その他の実施形態］
以上、実施形態を詳述したが、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。

１０９ メモリ
１０１ バスシステム
１０２ グラフィックプロセッサ
１０３ 全体制御部
１０４ オブジェクト追跡情報信頼度算出部
１０５ オブジェクト交錯状態検出部
１０６ オブジェクト追跡情報生成部
１０７ ディスプレイ
１０８ ユーザーＩ／Ｆ
２００ オブジェクト識別子（オブジェクト追跡情報）
２０１ 追跡開始時刻
２０２ 追跡終了時刻
２０３ 位置情報
４００ 時刻ｔ−Δｔ 選手１
４０１ 時刻ｔ−Δｔ 選手２
４０２ 時刻ｔ−Δｔ 選手３
４０３ 時刻ｔ 選手１
４０４ 時刻ｔ 選手２
４０５ 時刻ｔ 選手３
５００ オブジェクト追跡情報信頼度
９００ 時刻ｔ１以前の位置情報
９０１ 時刻ｔ１以降の位置情報
９０２ 時刻ｔ１以前のオブジェクト追跡情報信頼度
９０３ 時刻ｔ１以降のオブジェクト追跡情報信頼度
１０００ イベント識別子
１００１ イベント生起時刻
１００２ オブジェクト識別子１（イベントデータ）
１００３ オブジェクト識別子２（イベントデータ）

Claims (9)

1. 映像内の１つ以上のオブジェクトを追跡してオブジェクト毎にオブジェクトの識別子と時刻と位置とが対応付けられたオブジェクト追跡情報を生成する情報生成手段と、
   前記オブジェクト追跡情報が対応付けられている生成元の映像を記憶する手段と、
   前記情報生成手段によってオブジェクト毎に生成されるオブジェクト追跡情報の信頼度を算出する信頼度算出手段と、
   複数のオブジェクト間の距離に基づいて、オブジェクト同士の交錯状態を検出する交錯状態検出手段と、
   前記オブジェクト追跡情報の信頼度を時間軸上に表示させる表示制御手段と、
   を備え、
   前記表示制御手段が、
   前記交錯状態検出手段が第１のオブジェクトと第２のオブジェクトの交錯を検出した場合に、
   前記時間軸上の、前記第１のオブジェクトに対応する領域と前記第２のオブジェクトに対応する領域の、前記交錯状態検出手段が交錯を検出した交錯時刻に対応する位置に、交錯が検出されたことを示すマーカーを表示し、かつ
   ユーザによる前記マーカーの選択が行われた場合に、前記第１のオブジェクトと前記第２のオブジェクトとの生成元の前記映像のうち前記交錯時刻における映像または画像を、前記記憶された生成元の映像中から切り出して表示させることを特徴とする情報処理装置。
2. 前記信頼度算出手段が、第１のオブジェクトに関する第１のフレームの映像と、第１のオブジェクトに関する第２のフレームの映像との類似度が第１の閾値以下へ低下した場合に、オブジェクト追跡情報の信頼度の低下を検出することを特徴とする請求項１に記載の情報処理装置。
3. 前記信頼度算出手段は複数の追跡オブジェクト間の距離が第２の閾値以下へ低下した場合に、オブジェクト追跡情報の信頼度の低下を検出することを特徴とする請求項１または２に記載の情報処理装置。
4. 複数の追跡オブジェクト間の距離が第３の閾値以下へ低下した場合に、オブジェクト同士の交錯状態を検出する交錯状態検出手段をさらに備えることを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
5. 前記表示制御手段が、
   前記記憶された生成元の映像中から、前記第１のオブジェクトの前記交錯時刻の前後の映像と、前記第２のオブジェクトの前記交錯時刻の前後の映像とを切り出して同時に表示することを特徴とする請求項１〜３のいずれか１項に記載の情報処理装置。
6. 前記第１のオブジェクトのオブジェクト追跡情報と前記第２のオブジェクトのオブジェクト追跡情報との入れ替え指示を受け付ける受付手段と、
   前記受付手段が入れ替え指示を受け付けた場合に、前記交錯時刻の後のオブジェクト追跡情報であって、前記第１のオブジェクトの情報として記憶されていたオブジェクト追跡情報と、前記第２のオブジェクトの情報として記憶されていたオブジェクト追跡情報とを入れ替える入替え手段と
   をさらに備えることを特徴とする請求項５に記載の情報処理装置。
7. 前記情報生成手段が、オブジェクトの動作を解析して、イベント識別子とイベント生起時刻とオブジェクト識別子とを含む動作解析情報をさらに生成し、
   前記入替え手段が、前記第１のオブジェクトと前記第２のオブジェクトに関するオブジェクト追跡情報を入れ替える際に、前記第１のオブジェクトと前記第２のオブジェクトに関する前記動作解析情報も入れ替える
   ことを特徴とする請求項６に記載の情報処理装置。
8. コンピュータを、請求項１乃至７のいずれか１項に記載の情報処理装置の各手段として機能させるためのプログラム。
9. 映像内の１つ以上のオブジェクトを追跡してオブジェクト毎にオブジェクトの識別子と時刻と位置とが対応付けられたオブジェクト追跡情報を生成する情報生成工程と、
   前記オブジェクト追跡情報が対応付けられている生成元の映像を記憶する工程と、
   前記情報生成工程によってオブジェクト毎に生成されるオブジェクト追跡情報の信頼度を算出する信頼度算出工程と、
   複数のオブジェクト間の距離に基づいて、オブジェクト同士の交錯状態を検出する交錯状態検出工程と、
   前記オブジェクト追跡情報の信頼度を時間軸上に表示させる表示工程と、
   を備え、
   前記表示工程は、
   前記交錯状態検出工程が第１のオブジェクトと第２のオブジェクトの交錯を検出した場合に、
   前記時間軸上の、前記第１のオブジェクトに対応する領域と前記第２のオブジェクトに対応する領域の、前記交錯状態検出工程が交錯を検出した交錯時刻に対応する位置に、交錯が検出されたことを示すマーカーを表示し、かつ
   ユーザによる前記マーカーの選択が行われた場合に、前記第１のオブジェクトと前記第２のオブジェクトとの生成元の前記映像のうち前記交錯時刻における映像または画像を、前記記憶された生成元の映像中から切り出して表示させることを特徴とする情報処理方法。

Images