JP2002352250A - チームプレーの解析方法、チームプレーの表示方法、チームプレー解析装置、プログラム、および記憶媒体 - Google Patents

Abstract

(57)【要約】 【課題】 動画像から時間方向に幅を持つチームプレー
を抽出し、抽象化して表示することで、チームワークを
抽出する。 【解決手段】 取得された映像における選手の軌跡に基
づいて多重解像度チームプレーを抽出する多重解像度チ
ームプレー抽出部１０と、コンテンツ作成者のインタラ
クションに応じて多重解像度チームプレーの一部を表示
する多重解像度チームプレー表示部２０と、コンテンツ
作成者によりなされた、多重解像度チームプレー表示部
２０における解像度の調整とイベントとしてピックアッ
プを望む一連のプレーを構成するグループおよびグルー
プのコラボレーションの設定とを受け付けるパラメータ
調整受付部３０と、パラメータ調整受付部３０により受
け付けられた調整および設定により作成されたチームプ
レーを選手を抽象化したグループ間のコラボレーション
の連携として表示するチームプレー表示部４０とを備え
た。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、チームプレーの解
析方法等に係り、特に、動画像から空間方向、時間方向
に幅を持つチームプレーを抽出し、抽象化して表示する
に最適な多重解像度解析方法等に関する。

【０００２】

【従来の技術】例えば、サッカーやラグビー、アメリカ
ンフットボール、バスケットボール、ハンドボール、ホ
ッケーやアイスホッケー、水球などのチームスポーツで
は、他のスポーツとは異なってプレーが流動的である。
これらのチームスポーツについて、例えばチームの戦術
を練るために、また、試合結果を把握するために等、フ
ォーメーションの検討や選手の動き等を分析する必要性
が強くなっている。

【０００３】フィールドスポーツに代表されるこれらの
チームプレーに対して統計情報を取る際に、従来では、
人海戦術により、多数の人手によってスコアを作成して
統計情報を取るランキングサービスが行なわれている。
このような人手によるインデックス付けでは、仕事量と
の兼ね合いで安価な労働力に頼らざるを得ず、かかる条
件下では、素人でも容易に判定可能なイベントであるボ
ール中心の情報収集に限定されていた。

【０００４】一方で、フィールドスポーツのチームプレ
ーの視覚化を取り上げた研究が過去に幾つか存在する。
例えば、文献１(T.Kawashima, K.Yoshino, and Y.Aoki,
"Qualitive Image Analysis of Group Behaviour," Pr
oc. of IEEE CVPR, 1994)では、ガウシアンフィルタを
使ったグループ抽出にて階層を持たせ、グループの動作
(behavior)を予め記述し、実際に抽出した階層を有する
グループの振る舞いをbehaviorに基づいて解釈する手法
が提案されている。また、文献２(T.Taki, J.Hasegawa,
and T.Fukumura, "Development of Motion Analysis S
ystem for Quantitative Evaluation of Teamwork in S
occer Games," Proc.of IEEE ICIP)では、選手が走る方
向を考慮して、個々の選手が最初に到着できる領域をdo
minant regionと定義し、フィールドを色分けしてdomin
ant regionとしての境界を表示する手法が提案されてい
る。

【０００５】

【発明が解決しようとする課題】このように、従来の技
術における視覚化分析では、ボール主体にて、例えばサ
ッカーゲームにおける選手、チームのランキングサービ
スに留まっていた。しかしながら、実際は、ボール以外
の部分でのチームワーク、かけひき(ボールのないとこ
ろでのプレー)がゲームに非常に重要な影響を与えてい
る。特に、ディフェンスプレーは、ボールのないところ
でのプレーが大きな割合を占めているのが実情である。
例えば、サッカーにおける現状のランキングサービスで
は、そのスコアリング表にてイベントとして挙げられて
いるものは、ボールに対して発生するオフェンス、ディ
フェンスのイベントと、ファウル、レッドカード、イエ
ローカードなどの実質的なプレーの外で起きるイベント
のみであり、プレーに関わる部分のインデックスはオフ
ェンス主体となってしまう。

【０００６】また、上述した文献１に用いられる階層
は、決めうちの段階的なものであり、自由に解像度を変
化させることができず、グループの解釈はアルゴリズム
に依存してしまう。更に、上述した文献２では、文献１
のbehaviorのような曖昧な部分がないことから、イベン
ト解釈へのアルゴリズムの影響は強くはない。しかしな
がら、フレーム毎の情報の視覚化でしかないため、チー
ムプレーを把握するためには時系列のdominant region
を人間が解釈する必要がある。

【０００７】このように、フィールドスポーツのプレー
本質と実際に行なわれているインデックス付けとのギャ
ップを埋める目的で、幾つかの手法が提案されている。
しかしながら、時間方向に幅を持ち、イベントに参加し
ているグループおよびグループ間におけるコラボレーシ
ョンの最終的な解釈を人間に頼らざるを得ないチームプ
レーに対し、その内容を的確に扱える手法がないのが現
状である。例えば文献１では決めうちの部分が多く、発
見の難しいイベントの抽出を助けるという目的には適さ
ない。また、文献２では、より現実に即した表示が行な
えるものの、フレーム毎の現象を表示することに止まっ
ており、時間の幅を持つ選手グループによるコラボレー
ションという意味でのチームプレーにまで踏み込んだ視
覚化は行なわれていない。

【０００８】本発明は、以上のような技術的課題を解決
するためになされたものであって、その目的とするとこ
ろは、動画像から時間方向に幅を持つチームプレーを抽
出し、抽象化して表示することで、チームワークを容易
に抽出することにある。また他の目的は、多重解像度グ
ループ間のチームワークをコンテンツ製作者に提示する
ことで、より正確なチームプレーの情報を取得すること
にある。更に他の目的は、コンテンツ製作者がチームワ
ークを構成する動作等、人間の解釈に合致するものを選
択していくことで、第三者に理解し易いコンテンツを作
成できるようにすることにある。

【０００９】

【課題を解決するための手段】かかる目的のもと、本発
明は、チームワークに参加している個々の選手や選手グ
ループと動作、動作主体、動作目的等を把握して、互い
に連鎖しているプレーを把握している。即ち、本発明
は、スポーツのチームプレーを解析するチームプレーの
解析方法であって、取得された映像の中でチームワーク
に参加している個々の選手および選手グループを任意の
時間解像度および/または任意の空間解像度において抽
出するステップと、選手の位置関係の変位から個々の選
手および選手グループにおける動作を任意の時間解像度
および/または任意の空間解像度において抽出するステ
ップと、抽出された動作の連携を抽象化して表示するス
テップと、を含むことを特徴としている。ここで、チー
ムワークとは、例えば、チームプレーの中で、同一チー
ムの複数の選手にてなされているプレーであり、例え
ば、ボール以外の部分でのチームワーク等が挙げられ
る。

【００１０】また、本発明が適用されるチームプレーの
解析方法は、映像を構成する個々のフレームにおける選
手を節点として三角形分割されたダイアグラムを構成す
るステップと、このダイアグラムを構成する三角形また
はこの三角形の辺を縮退または展開させることで、指定
された空間解像度および/または指定された時間解像度
等、任意の解像度におけるグループを抽出するステップ
とを含むことを特徴としている。

【００１１】ここで、ダイアグラムにおける位相情報の
変位である位相変位(節点の配置の変化、節点の融合、
節点の分離)を検出するステップと、検出された位相変
位を時空間においてグルーピングするステップとを更に
含むことを特徴としている。これらによれば、チームワ
ークにおける動作の多重解像度解析を行なうことができ
ると共に、チームプレーにおける任意の時空間解像度に
おける動作の抽出と、抽出した動作から動作主体、動作
目的を取り出すこと等が可能となる点で好ましい。

【００１２】更に他の観点から把えると、本発明が適用
されるチームプレーの表示方法は、任意の空間解像度の
グループである多重解像度グループと、任意の時空間解
像度でグループを扱いこの多重解像度グループ間のコラ
ボレーションを抽出するステップと、コンテンツ作成者
による解像度の調整と、イベントとしてピックアップさ
れる一連のプレーを構成する多重解像度グループおよび
この多重解像度グループのコラボレーションの選択とを
受け付けるステップと、コンテンツ作成者の調整および
選択によって作成されたチームプレーを選手を抽象化し
たグループ間のコラボレーションの連携として表示する
ステップとを含むことを特徴としている。

【００１３】ここで、コンテンツ作成者による調整およ
び選択の受け付けは、コンテンツ作成者による時間解像
度や空間解像度の閾値の設定、範囲の指定等のインタラ
クションに応じて抽出した多重解像度チームプレーの一
部を表示しながら、表示された内容に基づいてなされる
調整および選択を受け付けることを特徴としている。

【００１４】一方、本発明が適用されるチームプレー解
析装置は、取得された映像における選手の軌跡に基づい
て多重解像度チームプレーを抽出する多重解像度チーム
プレー抽出部と、コンテンツ作成者のインタラクション
に応じて多重解像度チームプレーの一部を表示する多重
解像度チームプレー表示部と、コンテンツ作成者により
なされた、多重解像度チームプレー表示部における解像
度の調整と、イベントとしてピックアップを望む一連の
プレーを構成するグループおよびグループのコラボレー
ションの設定とを受け付けるパラメータ調整受付部と、
パラメータ調整受付部により受け付けられた調整および
設定により作成されたチームプレーを選手を抽象化した
グループ間のコラボレーションの連携として表示するチ
ームプレー表示部とを備えたことを特徴としている。

【００１５】また、他の観点から把えると、本発明は、
スポーツのチームプレーを解析するためのチームプレー
の解析装置であって、取得された映像の中で、チームワ
ークに参加している個々の選手および選手グループを、
任意の時間解像度および/または任意の空間解像度にお
いて抽出する抽出手段と、抽出された選手の位置関係の
変位から、個々の選手および選手グループにおける動作
を、任意の時間解像度および/または任意の空間解像度
において抽出する動作抽出手段と、抽出された個々の選
手および選手グループにおける動作を、選手を抽象化し
たグループ間のコラボレーションの連携として表示する
表示手段とを備えることを特徴としている。

【００１６】更に、本発明が適用されるチームプレー解
析装置は、映像を構成するフレーム毎に同一チームの選
手をノードとしたチームダイアグラムを生成し、選手の
軌跡が有するフレーム毎の選手の位置をこのチームダイ
アグラムに反映して時系列に更新されるチームダイアグ
ラムの集合を多重解像度グループとして出力する多重解
像度グループ出力手段と、映像を構成するフレーム毎
に、各フレームの選手をノードとしてチームを区別せず
に動作ダイアグラムを生成し、この動作ダイアグラムの
位相更新によって得られた動作ダイアグラムを時系列に
積み上げた結果を多重解像度動作として出力する多重解
像度動作出力手段とを備えることを特徴している。

【００１７】更に本発明は、映像データを取得して再生
できるコンピュータにこれらの各機能を実現させるため
のプログラムとして把握することができる。これらのプ
ログラムは、例えば、遠隔地にあるプログラム伝送装置
からネットワークを介して、演算処理装置であるコンピ
ュータに対して提供することができる。このプログラム
伝送装置としては、プログラムを記憶させたＣＤ−ＲＯ
Ｍ、ＤＶＤ、メモリ、ハードディスク等の記憶手段と、
これらの記憶手段からプログラムを読み出し、プログラ
ムを実行する装置側にコネクタ、インターネットやＬＡ
Ｎ等のネットワークを介して伝送する伝送手段とを備え
る構成とすれば良い。また、ＣＤ−ＲＯＭ等の記憶媒体
を用いてプログラムを提供する場合も考えられる。

【００１８】また、本発明が適用されるコンピュータプ
ログラムは、ＣＤ−ＲＯＭ、ＤＶＤ等の記憶媒体によっ
て、直接、提供することもできる。かかる際に、プログ
ラムをインストールされるＰＣ等のコンピュータでは、
記憶媒体の読み取り機能を備えていれば足り、プログラ
ムをインストールされたコンピュータでは、例えば、コ
ンピュータにおけるアプリケーションの１つとしてこれ
らの処理を実行させるように構成することができる。

【００１９】

【発明の実施の形態】以下、添付図面に示す実施の形態
に基づいて本発明を詳細に説明する。本実施の形態が適
用されるチームプレーの多重解像度解析システムは、例
えば、パーソナルコンピュータ(ＰＣ)にて実行されるア
プリケーションとして適用することができる。例えば、
テレビやビデオデッキなどを接続してその画像を静止画
または動画として取り込んで保存するビデオキャプチャ
を用いてＰＣにビデオ情報を読み出し、このビデオ情報
をデジタイズして軌跡を取り出す等の作業形態に適用す
ることができる。

【００２０】本実施の形態では、このビデオ情報等の動
画像から時間方向に幅を持つチームプレーを抽出し、抽
象化して表示することで、チームワークを抽出するよう
に構成している。このチームワークの把握には、以下の
要素の理解が必要である。 (１) チームワークに参加している個々の選手、および
選手のグループの把握。 (２) 選手、および選手のグループのチームワークにお
ける動作の把握。 (３) 選手、および選手のグループのチームワークにお
ける動作主体の把握。 (４) 選手、および選手のグループのチームワークにお
ける動作目的の把握。 (５) 互いに連鎖しているプレーの把握。

【００２１】更に突き詰めると、これらの問題は、 (１) チームワークに参加している個々の選手、および
選手のグループの把握。 (２) 選手、および選手のグループの動作の把握。 に集約される。なぜならば、チームワークにおける個々
の動作主体、目的は、時空間(時間および/または空間)
における動作の主体が明らかになれば自明のことであ
り、互いに連携している個々のプレーは、動作主体と動
作目的の連鎖として取り出せるためである。本実施の形
態では、これらの２要素を、オンデマンドで時空間解像
度を変化させて、任意の時空間解像度において抽出し、
抽象化して提示することで、要素の把握を行なってい
る。

【００２２】ここで、「グループの把握」について、本
実施の形態では、固定の空間解像度ではなく、任意の空
間解像度のグループを取り出せる多重解像度グループと
して選手のグループを抽出し、任意の時空間解像度でグ
ループを扱う枠組みを提供することでチームプレーに参
加している選手グループの把握、抽出を助けるように構
成している。

【００２３】また、「グループ動作の把握」について、
本実施の形態では、フレーム毎における多重解像度グル
ープのモデルの位相が選手の配置の変動によって変化す
ることを利用している。即ち、一連の位相変位を抽出
し、これを任意の時空間解像度でグルーピングする枠組
みを提供することで、任意の時空間解像度における動作
主体、動作、動作目的を抽出する枠組みを提供し、チー
ムプレーを構成する個々のプレーの把握、抽出を助ける
ように構成している。尚、フレームの単位としては、例
えば３０Ｈｚであれば、得られた映像に対して１秒間に
３０フレームとして、個々のフレームを把握することが
できる。

【００２４】図１は、本実施の形態におけるチームプレ
ーの多重解像度解析システムの構成を説明するための図
である。このシステムでは、多重解像度グループと多重
解像度グループ間のコラボレーションを抽出し、選手の
軌跡から多重解像度チームプレーを生成する多重解像度
チームプレー抽出部１０、コンテンツ作成者が入力する
ためのスライダー等の画面と共に、コンテンツ作成者の
インタラクション(解像度の指定等)に応じて抽出された
多重解像度チームプレーの一部を表示する多重解像度チ
ームプレー表示部２０を備えている。また、例えば、多
重解像度チームプレー表示部２０のスライダーの操作等
により、コンテンツ作成者によるパラメータ調整を受け
付けるパラメータ調整受付部３０、多重解像度チームプ
レー表示部２０から入力画面等を取り除き、コンテンツ
作成者によって作成されたチームプレーを、選手を抽象
化したグループ間のコラボレーションの連携として表示
するチームプレー表示部４０とを備えている。コンテン
ツ作成者は、多重解像度チームプレー表示部２０の解像
度を調整し、イベントとしてピックアップしたい一連の
プレーを構成するグループおよびグループのコラボレー
ションを選択することで、チームプレーを作成してい
る。

【００２５】この多重解像度チームプレー抽出部１０で
は、多重解像度グループと、多重解像度グループ間のコ
ラボレーションである多重解像度動作(位相変位)とが抽
出され、入力となる選手の軌跡から任意の空間解像度、
時間解像度での選手の集合、および選手の動きを抽出で
きるデータ形式である多重解像度チームプレーが生成さ
れる。多重解像度チームプレー表示部２０では、生成さ
れた多重解像度チームプレーに基づき、コンテンツ作成
者の指定した空間解像度、時間解像度に応じた選手の動
きが表示される。

【００２６】コンテンツ作成者は、適切な選手の集合と
選手の動きを取り出せるように、空間解像度、時間解像
度を画面を見ながら設定し、パラメータ調整受付部３０
にてこの入力が受け付けられる。入力される時間解像度
としては、例えば、「何秒」といった時間の設定があ
る。また、入力される空間解像度としては、例えば、
「何メートルの範囲内」といったものがある。これらを
任意に設定することで、時間または空間の個々におい
て、「任意の解像度」の設定が可能と言える。多重解像
度チームプレー表示部２０では、設定される空間解像度
と時間解像度とを反映させ、コンテンツ作成者の設定に
よって取り出された選手の集合および選手の動きを選択
されたチームプレーとして出力している。チームプレー
表示部４０は、コンテンツ作成者によって選択されたチ
ームプレー、即ち、コンテンツ作成者によって選択され
た選手の集合、選手の動きを、実画像の上へのオーバー
レイやフィールド上の平面図に表示することによって、
チームプレーを画面出力し、視聴者のチームプレーの理
解を助けている。

【００２７】図２は、多重解像度チームプレー抽出部１
０を更に詳細に説明したブロック図である。多重解像度
チームプレー抽出部１０では、多重解像度チームプレー
が、多重解像度グループと多重解像度動作との対として
フレーム毎に出力される。この多重解像度グループは、
多重に空間解像度を持つ選手の集合である。また、多重
解像度動作は、多重に時間解像度を持つ選手の動作であ
る。多重解像度チームプレー抽出部１０は、これらの２
系統の処理からなっている。多重解像度チームプレー抽
出部１０では、選手の軌跡を入力とし、チームダイアグ
ラム生成部１１およびチームダイアグラム更新部１２に
よって多重解像度グループが出力される。また、フレー
ム毎に選手の軌跡を入力とし、動作ダイアグラム生成部
１３、動作ダイアグラム幾何情報更新部１４、幾何的異
常抽出部１５、動作ダイアグラム位相更新部１６を経て
多重解像度動作が出力される。尚、図２に示すこれらの
ループ部分は、フレーム毎の処理となる。

【００２８】チームダイアグラム生成部１１では、入力
となる選手の軌跡から、フレーム毎に、同一チームの選
手をノード(節点)としたチームダイアグラムが生成され
る。この軌跡情報の持つ選手の位置情報からダイアグラ
ムを生成するためには、既知の技術であるdelaunay三角
形分割が適用される。

【００２９】チームダイアグラム更新部１２では、選手
の軌跡が持つフレーム毎の選手の位置をチームダイアグ
ラムに反映し、チームダイアグラムを構成する個々の三
角形の外接円に他の三角形の頂点がある場合、該当する
頂点を共有する三角形と、該当する外接円を持つ三角形
の辺(稜線)とを削除し、削除された三角形の頂点を使
い、再度delaunay三角形分割を適用することによって新
しいフレームのチームダイアグラムが出力される。この
ように時系列に更新されるチームダイアグラムの集合
は、多重解像度グループとして多重解像度チームプレー
抽出部１０における一方の処理の出力となる。

【００３０】他方の処理として、動作ダイアグラム生成
部１３では、選手の軌跡における各フレームの選手を節
点(ノード)とし、チームを区別せずに作成される動作ダ
イアグラムが出力される。チームダイアグラム生成部１
１と同様に、ノードからダイアグラムを生成する部分に
はdelaunay三角形分割が用いられる。さらに、動作ダイ
アグラムでは、隣り合う三角形によって構成される四角
形において、稜線の交換によって異なるチームの選手間
の稜線が解消できる場合には稜線の交換が行なわれる。
また、抽出されたダイアグラムを構成する三角形の全て
の法線が同一方向を向くように向きが与えられる。図３
は、この稜線の交換を説明するための図である。ここで
は、黒丸で示される第１のチームの選手と白丸で示され
る第２のチームの選手とが、最初はチームを区別せずに
作成された動作ダイアグラムから、稜線の交換によって
異なるチームにおける選手間の稜線が解消された状態が
示されている。

【００３１】次に、動作ダイアグラム幾何情報更新部１
４では、フレーム毎に選手の軌跡が有する選手の位置情
報を使い、ダイアグラムの位相をそのままに節点の幾何
情報のみが更新される。

【００３２】幾何的異常抽出部１５では、動作ダイアグ
ラムにおける法線の向きが反転した三角形の有無が確認
される。もし反転した三角形があれば、反転前後におけ
る各稜線の向きベクトルの変位から三角形の法線の向き
の、反転の原因となった節点が求められる。反転の原因
となった節点の評価は、i番目の節点において以下のよ
うに定義される評価関数が用い、この評価関数の値が最
も大きい節点として求められる。

【式１】 但し、ｅ_n,i,jは動作ダイアグラムにおいて、ｎフレー
ム目における、i番目の節点を始点とし、稜線を共有す
る他の節点を終点とするベクトルの集合を表している。

【００３３】最後に、動作ダイアグラム位相更新部１６
では、幾何的異常抽出部１５において検出した、三角形
の向きにおける反転の原因となった節点に接続する稜線
を削除し、削除によってできた穴を三角形分割し直すと
共に、新たに節点を内包することになった三角形を三角
形分割するように構成されている。この位相操作の結果
は、動作ダイアグラム幾何情報更新部１４に出力され、
次の動作による更新処理に用いられる。

【００３４】図４は、動作ダイアグラム幾何情報更新部
１４による処理の様子を説明した図である。ここでは、
黒丸で示される第１のチームの選手と白丸で示される第
２のチームの選手とが示されており、図４のＡでは、ま
ず最初にチームを区別せずに動作ダイアグラムが作成さ
れた様子を示している。図４のＢでは、白丸で示される
第２のチームの選手が移動した状態にて、ダイアグラム
の位相をそのままに節点の幾何情報のみが更新されてい
る。図４のＣでは、三角形の向きにおける反転の原因と
なった節点に接続する稜線が削除されている。図４のＤ
では、削除によってできた穴を三角形分割し直すと共
に、新たに節点を内包することになった三角形に対して
三角形分割がなされた状態が示されている。

【００３５】図５は、図４に示す状態に際し、位相変位
の保持方法を説明するための図である。図４に示す状態
のとき、節点の選手の動きは、図５に示すように、この
処理で削除された三角形によって構成される領域１か
ら、新たにこの節点を内包することになった三角形であ
る領域２への移動として抽出される。このようにして抽
出された動作を、動作ダイアグラムと節点の動きとして
時系列に積み上げたものが、多重解像度動作として多重
解像度チームプレー抽出部１０における他方の処理の出
力となる。

【００３６】次に、多重解像度チームプレー表示部２０
の処理について詳述する。図６は、多重解像度チームプ
レー表示部２０を更に詳細に説明したブロック図であ
る。多重解像度チームプレー表示部２０では、抽出され
た位相変位の時空間における距離によって個々の位相変
位を節点としたダイアグラムが生成される。ここでは、
指定グループ抽出部２１、指定動作抽出部２２、および
表示部２３によって構成されている。指定グループ抽出
部２１は、利用者が指定した空間解像度を受け、多重解
像度チームプレー抽出部１０により抽出された多重解像
度チームプレーの中の多重解像度グループからこの空間
解像度における選手の集合を作成している。また、指定
動作抽出部２２では、多重解像度チームプレー抽出部１
０の他方の出力である多重解像度動作から、利用者が指
定した時間解像度における動作を作成している。

【００３７】図７は、指定グループ抽出部２１における
選手集合生成のための処理を示したフローチャートであ
る。まず、指定グループ抽出部２１では、多重解像度チ
ームプレー抽出部１０から、時系列に更新されるチーム
ダイアグラムの集合である多重解像度グループが入力さ
れる(ステップ１０１)。また、パラメータ調整受付部３
０によって受け付けられた利用者による空間解像度の指
定が入力される(ステップ１０２)。これらの入力に基づ
いて、それぞれのチームダイアグラム毎に、稜線(節点
と節点とを結ぶ辺)を、稜線の両端点における節点の空
間距離によってソートする(ステップ１０３)。そして、
最も短い稜線から順番に稜線の両端点の節点を、同一グ
ループとなるように、指定された解像度になるまでグル
ーピングして行く(ステップ１０４)。この一連の処理に
よって、抽出された多重解像度チームプレーの中の多重
解像度グループから、空間解像度における選手の集合を
作成することができる。

【００３８】図８は、指定動作抽出部２２における選手
集合生成のための処理を示したフローチャートである。
まず、指定動作抽出部２２では、多重解像度チームプレ
ー抽出部１０から、抽出された動作を動作ダイアグラム
と節点の動きとして時系列に積み上げた多重解像度動作
が入力される(ステップ１１１)。また、パラメータ調整
受付部３０によって受け付けられた利用者による時間解
像度の指定が入力される(ステップ１１２)。これらの入
力に基づいて、選手毎に取り出された個々の動作を、選
手毎に、時系列にソートする(ステップ１１３)。次に、
個々の選手において時間方向に隣り合う動作の対を要素
とするアレイを作成し、動作の対における時間距離の短
いものが前になるようにソートする(ステップ１１４)。
最後に、最も時間距離が短い動作の対から融合して行
き、指定時間解像度になるまで動作の対の融合を繰り返
す(ステップ１１５)。この一連の処理によって、利用者
が指定した時間解像度における動作が作成される。

【００３９】表示部２３では、指定グループ抽出部２１
にて抽出された指定グループと、指定動作抽出部２２に
よって抽出された動作であるプレーを、時系列にどのグ
ループがどのグループに向かっているかを交えてアニメ
ーションとして表示している。コンテンツ作成者は、時
空間解像度を調整しながら適切な選手のグルーピング、
プレーのグルーピングを行ない、多重解像度チームプレ
ーから意味のある部分のみを選択する。この選択は、パ
ラメータ調整受付部３０によって受け付けられ、表示部
２３の表示に反映される。

【００４０】最後に、図１に示すチームプレー表示部４
０では、多重解像度チームプレー表示部２０における表
示部２３のみを使い、コンテンツ作成者によって選択さ
れた選手集合と動作の組み合わせを表示している。ここ
では、抽象化されたグループ、およびその動作のみでは
なく、個々のグループの勢力範囲等を例えばボロノイダ
イアグラムとして表示することで、チームプレーの理解
を深めることができる。

【００４１】尚、チームワークにおいて互いに連鎖して
いる個々のプレーの把握は、位相変位のグルーピングを
より巨視的に行なうことで、チームプレーにおける個々
の動作の主体と目的の連鎖として抽出することができ
る。このようにして取り出した時空間において多重解像
度であるチームプレーを視覚化し、人間にとって意味の
ある部分のみを利用者に選択させることによって、「ボ
ールのないところでのプレー」を取り出すことが可能と
なる。また、取り出した「ボールのないところでのプレ
ー」は、選手をグループとして抽象化し、個々のグルー
プが主体となる動作、動作目的、個々の動作の連携を抽
象化して表示するため、第三者にも理解し易いものとな
る。

【００４２】このように、本実施の形態では、フィール
ドスポーツ等であるチームプレーの理解のために、 １．チームワークに参加している個々の選手、および選
手のグループの把握。 ２．選手、および選手のグループにおける動作の把握。 を助ける手段を提供している。より具体的には、選手の
グループを任意の時空間解像度において抽出、表示する
仕組みと、選手の位置関係の変位から、個々の動作を任
意の時空間解像度において抽出、表示する仕組みと、を
提供している。理解を容易にするために、具体例に基づ
いて、上述した本実施の形態を更に詳述する。

【００４３】本実施の形態における入力は、解析対象と
なるチームスポーツ(フィールドスポーツ等)の動画像か
ら抽出された選手の軌跡となる。図９は、選手の軌跡の
例を示した図であり、サッカーを例に挙げ、例えばビデ
オキャプチャモードにて表示された例を示している。入
力となる選手の軌跡は、チームの同定がなされているこ
とが必要条件であり、必ずしも個人が同定されている必
要はない。これは、軌跡抽出において必ず問題となり多
くの手作業を必要とするオクルージョンの処理を省略で
きるので、コンテンツ作成の手間と言う点からは大きな
意味を持つ。

【００４４】図１０は、図９に示す入力された選手の軌
跡に基づいて、多重解像度チームプレー抽出部１０の動
作ダイアグラム生成部１３にて生成されるダイアグラム
の例を示している。動作ダイアグラム生成部１３では、
前述したように、入力となる選手の軌跡情報から抽出し
た選手を節点とした拘束条件付きdelaunay diagramが生
成される。本実施の形態におけるダイアグラムは、dela
unay diagramに、三角形の三頂点はなるべく同一チーム
の選手となるように稜線を張るように拘束を与え、個々
の三角形が向きを与えたものである。こうすることで、
軌跡情報が持つ時間方向における個々の選手の情報と、
空間方向における個々の選手の関係とが完成することと
なる。図１０には、このようにして生成された個々のフ
レームにおけるダイアグラムの例が示されている。尚、
個々の三角形が向きを与えたものとして、例えば三角形
の左ねじ方向(反時計回り)を正方向とし、向きのベクト
ルを観察することによって個々の三角形の変化を認識す
ることができる。

【００４５】各フレームにおいて、このような持ち方を
することで、近傍の選手を上記のような拘束付きの稜線
で結ぶ。この稜線の長さや、個々の三角形の面積によ
り、グルーピングの解像度を変化させることによって、
グルーピングの空間解像度をオンデマンドで変化させる
ことが可能となる。また、軌跡情報の持つ個々の選手に
おける時系列の位置情報によって、グループの時間方向
における解像度を変化させることも可能となる。

【００４６】図１１(ａ),(ｂ)は、ダイアグラムからの
空間解像度の異なるグループの抽出例を示した図であ
る。図１１(ａ),(ｂ)には、それぞれ第１のチームの選
手と第２のチームの選手がディフェンスとオフェンスを
構成している状態を示している。図１１(ａ)ではディフ
ェンスである第１のチームとして２つのグルーピング、
オフェンスである第２チームとして２つのグルーピング
(その内、１つのグルーピングは１人)が示されている。
また、図１１(ｂ)では、第１のチームおよび第２のチー
ムのそれぞれが１つのグルーピングで表されている。更
に、ダイアグラムと位相的双対関係にあるボロノイダイ
アグラム(voronoi diagram)を作成したり、ダイアグラ
ムを構成する三角形や、稜線を構成する頂点の属するチ
ームに応じた色分けを行なうことで、任意の解像度にお
ける両チームの勢力圏を視覚化することが可能となる。
本実施の形態では、従来技術と異なり、このように多重
解像度で視覚化できる点に特徴がある。即ち、本実施の
形態によれば、オンデマンドで任意の解像度における勢
力圏を視覚化することが可能となる。

【００４７】動作の多重解像度解析は、ダイアグラムを
構成する節点の位置変化による個々の位相変位を抽出
し、これらを時空間距離に応じてグルーピングすること
で実現される。これらダイアグラムにおける位相変位
は、チームプレーにおける大小の状態変化に対応する。
これらの状態変化を適切な時空間解像度でグルーピング
することで、チームプレーのタイミングと、チームプレ
ーに関与した選手、チームプレーの目的を抽出すること
が可能となる。

【００４８】図１２(ａ),(ｂ),(ｃ)は、本実施の形態に
て抽出対象とされる位相変位を示した図である。図１２
(ａ)は、節点の配置の変化を示しており、選手Ａが動い
て節点の配置に変化が生じた状態を示している。また、
図１２(ｂ)は、節点の融合を示しており、選手Ａが選手
Ｂと重なり、節点が融合した状態の位相変位が示されて
いる。更に、図１２(ｃ)では、節点の分離を示してお
り、１つの節点として把握されていた選手Ａと選手Ｂと
において、選手Ｂが分離している。これらのうち、図１
２(ｂ)に示す節点の融合、図１２(ｃ)に示す節点の分離
は、入力となる選手の軌跡がチームのみの同定しかなさ
れていなければ、選手の軌跡に含まれている情報なので
容易に抽出可能である。また、選手まで同定された軌跡
情報であれば、同一フレーム内の節点間の距離によって
容易に検出することができる。残る節点の配置の変化
は、以下のような方法で抽出される。

【００４９】図１３(ａ),(ｂ)は、選手の位置関係の変
化とダイアグラムの位相を示した図である。図１３(ａ)
は、選手Ａが動いたことにより、幾何的な矛盾が生じた
状態を示しており、図１３(ｂ)は、幾何異常を解消する
位相操作がなされた状態を示している。ここでは、図１
３(ａ)に示すような選手の配置において、選手Ａが矢印
の方向に動いた場合を考える。このとき、位相を保った
まま移動させると、面の反転、三角形における他の三角
形への交差など、幾何的な矛盾が節点Ａを共有する三角
形に発生してしまう。図２に示した幾何的異常抽出部１
５にてこのような異常が抽出された場合には、動作ダイ
アグラム位相更新部１６にて、図１３(ｂ)に示すよう
に、節点Ａを共有する三角形を削除し、新たに三角形分
割がなされる。

【００５０】この一連の操作によって、節点Ａの移動前
後に節点Ａの周辺において位相変位を起こすことができ
る。そして、このダイアグラムの位相変位を観察するこ
とで、周囲の選手との配置が変化した節点を取り出すこ
とが可能となる。本実施の形態では、このようにして個
々の微細なフォーメーションの変化をチームワークにお
ける最小単位のプレーとして抽出しており、時空間にお
ける始点、終点を抽出している。また、本実施の形態で
は、これらの最小単位のプレーを任意の時空間解像度に
おいてグルーピングすることで、より抽象化したプレー
を抽出したり、フォーメーションの重要な変化をもたら
したプレーを抽出することができる。このフォーメーシ
ョンの重要な変化をもたらしたプレーの抽出は、ダイア
グラムの個々の変化に対する重要度を定義することによ
って実現することができる。

【００５１】図１４は、走り込みによるプレーの表示例
を示した図である。図１４に示すように、例えば、第２
のチームである白丸グループの選手Ａの移動は、第１の
チームである黒丸グループの形状変化に大きく関与して
いる。本実施の形態では、このような変化をまず検出
し、この変化に関与したプレーとして、図１４に示すよ
うなプレーの提示が可能となる。

【００５２】以上詳述したように、本実施の形態によれ
ば、ダイアグラムを使ったオンデマンドの選手のグルー
ピングと、ダイアグラムの位相変位を利用したチームプ
レーにおけるチームワークの検出によって、動画像を直
接評価するよりも容易に、ボールの無いところでのプレ
ーを発見することが可能となる。

【００５３】

【発明の効果】このように、本発明によれば、動画像か
ら時間方向に幅を持つチームプレーを抽出し、抽象化し
て表示することで、チームワークを容易に抽出すること
ができる。

【図面の簡単な説明】

【図１】 本実施の形態におけるチームプレーの多重解
像度解析システムの構成を説明するための図である。

【図２】 多重解像度チームプレー抽出部を更に詳細に
説明したブロック図である。

【図３】 稜線の交換を説明するための図である。

【図４】 動作ダイアグラム幾何情報更新部による処理
の様子を説明した図である。

【図５】 図４に示す状態に際して位相変位の保持方法
を説明するための図である。

【図６】 多重解像度チームプレー表示部を更に詳細に
説明したブロック図である。

【図７】 指定グループ抽出部における選手集合生成の
ための処理を示したフローチャートである。

【図８】 指定動作抽出部における選手集合生成のため
の処理を示したフローチャートである。

【図９】 選手の軌跡の例を示した図である。

【図１０】 多重解像度チームプレー抽出部の動作ダイ
アグラム生成部にて生成されるダイアグラムの例を示し
た図である。

【図１１】 (ａ),(ｂ)は、ダイアグラムからの空間解
像度の異なるグループの抽出例を示した図である。

【図１２】 (ａ),(ｂ),(ｃ)は、本実施の形態にて抽出
対象とされる位相変位を示した図である。

【図１３】 (ａ),(ｂ)は、選手の位置関係の変化とダ
イアグラムの位相を示した図である。

【図１４】 走り込みによるプレーの表示例を示した図
である。

【符号の説明】

１０…多重解像度チームプレー抽出部、１１…チームダ
イアグラム生成部、１２…チームダイアグラム更新部、
１３…動作ダイアグラム生成部、１４…動作ダイアグラ
ム幾何情報更新部、１５…幾何的異常抽出部、１６…動
作ダイアグラム位相更新部、２０…多重解像度チームプ
レー表示部、２１…指定グループ抽出部、２２…指定動
作抽出部、２３…表示部、３０…パラメータ調整受付
部、４０…チームプレー表示部

───────────────────────────────────────────────────── フロントページの続き (72)発明者 村尾 高秋 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 越後 富夫 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 益満 健 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 (72)発明者 寺口 正義 神奈川県大和市下鶴間1623番地14 日本ア イ・ビー・エム株式会社 東京基礎研究所 内 Ｆターム(参考） 5L096 EA35 HA03 HA04

Claims (20)

【特許請求の範囲】
1. 【請求項１】 スポーツのチームプレーを解析するチー
   ムプレーの解析方法であって、 取得された映像の中で、チームワークに参加している個
   々の選手および選手グループを、任意の時間解像度およ
   び/または任意の空間解像度において抽出するステップ
   と、 選手の位置関係の変位から、個々の選手および選手グル
   ープにおける動作を、任意の時間解像度および/または
   任意の空間解像度において抽出するステップと、を含む
   ことを特徴とするチームプレーの解析方法。
2. 【請求項２】 抽出された前記動作の連携を抽象化して
   表示するステップと、を更に含むことを特徴とする請求
   項１記載のチームプレーの解析方法。
3. 【請求項３】 スポーツのチームプレーを解析するチー
   ムプレーの解析方法であって、 映像を構成する個々のフレームにおける選手を節点とし
   て三角形分割されたダイアグラムを構成するステップ
   と、 前記ダイアグラムを構成する三角形または当該三角形の
   辺を縮退または展開させることで、任意の解像度におけ
   るグループを抽出するステップと、を含むことを特徴と
   するチームプレーの解析方法。
4. 【請求項４】 前記任意の解像度は、指定された空間解
   像度および/または指定された時間解像度であることを
   特徴とする請求項３記載のチームプレーの解析方法。
5. 【請求項５】 前記ダイアグラムにおける位相情報の変
   位である位相変位を検出するステップと、 検出された位相変位を時空間においてグルーピングする
   ステップと、を更に含むことを特徴とする請求項３記載
   のチームプレーの解析方法。
6. 【請求項６】 検出される前記位相変位は、節点の配置
   の変化、節点の融合、および節点の分離の少なくとも１
   つであることを特徴とする請求項５記載のチームプレー
   の解析方法。
7. 【請求項７】 任意の空間解像度のグループである多重
   解像度グループと、任意の時空間解像度でグループを扱
   い当該多重解像度グループ間のコラボレーションを抽出
   するステップと、 コンテンツ作成者による解像度の調整と、イベントとし
   てピックアップされる一連のプレーを構成する前記多重
   解像度グループおよび当該多重解像度グループのコラボ
   レーションの選択とを受け付けるステップと、 コンテンツ作成者の調整および選択によって作成された
   チームプレーを、選手を抽象化したグループ間のコラボ
   レーションの連携として表示するステップと、を含むこ
   とを特徴とするチームプレーの表示方法。
8. 【請求項８】 コンテンツ作成者による調整および選択
   の受け付けは、コンテンツ作成者のインタラクションに
   応じて抽出した多重解像度チームプレーの一部を表示し
   ながら、表示された内容に基づいてなされる調整および
   選択を受け付けることを特徴とする請求項７記載のチー
   ムプレーの表示方法。
9. 【請求項９】 取得された映像における選手の軌跡に基
   づいて多重解像度チームプレーを抽出する多重解像度チ
   ームプレー抽出部と、 コンテンツ作成者のインタラクションに応じて前記多重
   解像度チームプレーの一部を表示する多重解像度チーム
   プレー表示部と、 コンテンツ作成者によりなされた、前記多重解像度チー
   ムプレー表示部における解像度の調整と、イベントとし
   てピックアップを望む一連のプレーを構成するグループ
   およびグループのコラボレーションの設定とを受け付け
   るパラメータ調整受付部と、を備えることを特徴とする
   チームプレー解析装置。
10. 【請求項１０】 前記パラメータ調整受付部により受け
    付けられた調整および設定により作成されたチームプレ
    ーを、選手を抽象化したグループ間のコラボレーション
    の連携として表示するチームプレー表示部とを更に備え
    たことを特徴とする請求項９記載のチームプレー解析装
    置。
11. 【請求項１１】 スポーツのチームプレーを解析するた
    めのチームプレーの解析装置であって、 取得された映像の中で、チームワークに参加している個
    々の選手および選手グループを、任意の時間解像度およ
    び/または任意の空間解像度において抽出する抽出手段
    と、 前記抽出手段により抽出された選手の位置関係の変位か
    ら、個々の選手および選手グループにおける動作を、任
    意の時間解像度および/または任意の空間解像度におい
    て抽出する動作抽出手段と、 前記動作抽出手段により抽出された個々の選手および選
    手グループにおける動作を、選手を抽象化したグループ
    間のコラボレーションの連携として表示する表示手段
    と、を備えることを特徴とするチームプレー解析装置。
12. 【請求項１２】 前記抽出手段は、前記映像を構成する
    個々のフレームにおける選手を節点として三角形分割さ
    れたダイアグラムを構成し、当該ダイアグラムの三角形
    または三角形の辺を縮退または展開させて任意の解像度
    における選手グループを抽出することを特徴とする請求
    項１１記載のチームプレー解析装置。
13. 【請求項１３】 取得された映像における選手の軌跡に
    基づいて多重解像度チームプレーを抽出するチームプレ
    ー解析装置であって、 前記映像を構成するフレーム毎に同一チームの選手をノ
    ードとしたチームダイアグラムを生成し、選手の軌跡が
    有するフレーム毎の選手の位置を当該チームダイアグラ
    ムに反映して時系列に更新されるチームダイアグラムの
    集合を多重解像度グループとして出力する多重解像度グ
    ループ出力手段と、 前記映像を構成するフレーム毎に、各フレームの選手を
    ノードとしてチームを区別せずに動作ダイアグラムを生
    成し、当該動作ダイアグラムの位相更新によって得られ
    た動作ダイアグラムを時系列に積み上げた結果を多重解
    像度動作として出力する多重解像度動作出力手段と、を
    備えることを特徴とするチームプレー解析装置。
14. 【請求項１４】 前記多重解像度動作出力手段は、生成
    された動作ダイアグラムに対して、隣り合う三角形によ
    って構成される四角形において稜線の交換によって異な
    るチームの選手間の稜線が解消できる場合には稜線の交
    換を行なうことを特徴とする請求項１３記載のチームプ
    レー解析装置。
15. 【請求項１５】 コンピュータに、 取得された映像の中で、チームワークに参加している個
    々の選手および選手グループを、任意の時間解像度およ
    び/または任意の空間解像度において抽出する機能と、 選手の位置関係の変位から、個々の選手および選手グル
    ープにおける動作を、任意の時間解像度および/または
    任意の空間解像度において抽出する機能と、を実現させ
    るためのプログラム。
16. 【請求項１６】 抽出された前記動作の連携を抽象化さ
    れたグループ間のコラボレーションとして表示する機能
    と、を更に実現させるための請求項１５記載のプログラ
    ム。
17. 【請求項１７】 コンピュータに、 映像を構成する個々のフレームにおける選手を節点とし
    て三角形分割されたダイアグラムを構成する機能と、 前記ダイアグラムを構成する三角形または当該三角形の
    辺を縮退または展開させることで、任意の解像度におけ
    るグループを抽出する機能と、 前記ダイアグラムにおける位相情報の変位である位相変
    位を検出する機能と、 検出された位相変位を時空間においてグルーピングする
    機能と、を実現させるためのプログラム。
18. 【請求項１８】 コンピュータに、 任意の空間解像度のグループである多重解像度グループ
    と、任意の時空間解像度でグループを扱い当該多重解像
    度グループ間のコラボレーションを抽出する機能と、 コンテンツ作成者による解像度の調整と、イベントとし
    てピックアップされる一連のプレーを構成する前記多重
    解像度グループおよび当該多重解像度グループのコラボ
    レーションの選択とを受け付ける機能と、 コンテンツ作成者の調整および選択によって作成された
    チームプレーを、選手を抽象化したグループ間のコラボ
    レーションの連携として表示する機能と、を実現させる
    ためのプログラム。
19. 【請求項１９】 コンピュータに実行させるプログラム
    を当該コンピュータが読み取り可能に記憶した記憶媒体
    であって、 前記プログラムは、 取得された映像の中で、チームワークに参加している個
    々の選手および選手グループを、任意の時間解像度およ
    び/または任意の空間解像度において抽出する処理と、 選手の位置関係の変位から、個々の選手および選手グル
    ープにおける動作を、任意の時間解像度および/または
    任意の空間解像度において抽出する処理と、 抽出された前記動作における連携を抽象化されたグルー
    プ間のコラボレーションとして表示する処理と、を前記
    コンピュータに実行させることを特徴とする記憶媒体。
20. 【請求項２０】 コンピュータに実行させるプログラム
    を当該コンピュータが読み取り可能に記憶した記憶媒体
    であって、 前記プログラムは、 映像を構成する個々のフレームにおける選手を節点とし
    て三角形分割されたダイアグラムを構成する処理と、 前記ダイアグラムを構成する三角形または当該三角形の
    辺を縮退または展開させることで、任意の解像度におけ
    るグループを抽出する処理と、 前記ダイアグラムにおける位相情報の変位である位相変
    位を検出する処理と、 検出された位相変位を時空間においてグルーピングする
    処理と、を前記コンピュータに実行させることを特徴と
    する記憶媒体。