JP2006012012A - イベント抽出装置及びその方法及びそのプログラム - Google Patents

Abstract

【課題】 映像データの中から本当にあったイベント発生時点を正確に抽出でき、イベントの内容や発生時刻等を正確に抽出できる、イベント抽出装置を提供する。
【解決手段】 ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納する手段１１１と、ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する手段１１２と、各チームに割り当てられたゴールの位置に関するチーム情報を格納する手段１１３と、イベントのキーワードとそのキーワードが発生した時刻を格納する手段１１４と、イベントキーワードを受けて、ボール軌跡情報、選手同定情報、及びチーム情報を基にイベント情報を生成する手段１１５とを備えたイベント抽出装置１００を提供する。
【選択図】 図１

Description

サッカーや野球等のスポーツ中継の映像と共に、発生した各イベントの情報を抽出して提示するイベント抽出装置及びその方法及びそのプログラムに関する。

従来、映像データの中から視聴者が見たい特定シーンを抽出して提示する特定シーン抽出装置が知られている（特許文献１）。図９に示すように、特定シーン抽出装置９００は、動きベクトル抽出部９２１が撮影されたスポーツ映像から動きベクトルを抽出して動きベクトル管理部９２２に登録し、また、シーン分割点抽出部９２３は、登録された動きベクトルが急激に変化する時点をシーンの開始時点と認識して各シーンをシーン分割点管理部９２４に登録する。そして、シーン抽出部９２６は、分割されたシーン内の動きベクトルの特徴について、シーン動き特徴量管理部９２５を用いて、シーンの内容を特定してシーン管理部９２７へ登録している。
特開２００３−２４４６２８

しかしながら、上記特定シーン抽出装置は、動きベクトルが急激に変化した時点でシーンを管理しているものの、その時点でイベントが本当に発生しているかどうかは正確には分からず、また、その時点がイベント発生時点であったとしても、イベントの内容や発生時刻等についてまでは正確に分からないという問題があった。

本発明は、このような問題に着目し、映像データの中から本当にあったイベント発生時点を正確に抽出でき、イベントの内容や発生時刻等も正確に抽出できる、イベント抽出装置及びその方法及びそのプログラムを提供することを目的とする。

本発明の請求項１に記載の発明は、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段とを備えたことを特徴とするイベント抽出装置である。

本発明の請求項２に記載の発明は、請求項１に記載のイベント抽出装置において、前記イベント情報生成手段により生成されたイベント情報を格納するイベント情報格納手段をされに備えたことを特徴とする。

本発明の請求項３に記載の発明は、請求項１または２に記載のイベント抽出装置において、前記ボール軌跡情報のボールの位置と選手の位置からそのボールの動きを変化させた主体者を特定することを特徴とする。

本発明の請求項４に記載の発明は、請求項３に記載のイベント抽出装置において、前記主体者の所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置から前記イベントキーワードに対応するイベントの開始時刻を特定することを特徴とする。

本発明の請求項５に記載の発明は、請求項３に記載のイベント抽出装置において、各時刻のボール軌跡情報の主体者とその所属チームからイベントキーワードに対応するイベントの開始／終了時刻を特定することを特徴とする。

本発明の請求項６に記載の発明は、請求項３に記載のイベント抽出装置において、各時刻のボール軌跡情報の主体者とその所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置からイベントキーワードに対応するイベントの開始時刻を特定することを特徴とする。

本発明の請求項７に記載の発明は、請求項１乃至６の何れかに記載のイベント抽出装置において、前記イベントキーワード情報格納手段は、アナウンサーの発声をキーワードとして格納することを特徴とする。

本発明の請求項８に記載の発明は、請求項１乃至７の何れかに記載のイベント抽出装置において、映像に映るボールを認識するボール認識部と、前記認識したボールの動きベクトルを抽出するボール動きベクトル抽出部と、前記ボールの動きベクトルの変化点を抽出するボール動きベクトル変化点抽出部と、前記ボール動きベクトル変化点でのボールと選手の位置及び動きを特定するボール・選手位置及び動き特定部と、前記チーム情報格納手段に格納した選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する選手特定部と、前記特定したボールの位置と動きを基に前記ボール軌跡情報を取得するボール軌跡情報取得部と、前記ボール軌跡情報の各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得する選手同定情報を取得する選手同定情報取得部とを備えることを特徴とする。

本発明の請求項９に記載の発明は、請求項１乃至８の何れかに記載のイベント抽出装置において、前記ボール動きベクトル抽出部で抽出したボール動きベクトルを、カメラパラメータを用いて補正するボール動きベクトル補正部を備えることを特徴とする。

本発明の請求項１０に記載の発明は、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納ステップと、前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納ステップと、各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納ステップと、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納ステップと、前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成ステップと、を有することを特徴とするイベント抽出方法である。

本発明の請求項１１に記載の発明は、コンピュータを、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段として機能させるためのイベント抽出プログラムである。

本発明によれば、ボールの動きベクトルの変化点により抽出したイベント発生時点の候補を、ボール軌跡情報、選手同定情報、チーム情報、及びイベントキーワード情報を用いて、本当にあったイベント発生時点を正確に抽出でき、また、イベントの内容や発生時刻等も正確に抽出できる。

以下、本発明を実施するための最良の形態について説明する。なお、本発明は、以下の実施例に限定されるものではなく、本発明の要旨を逸脱しない範囲であれば、適宜に変更でき実施できるものとする。

はじめに、本発明のイベント抽出装置ついて説明する。図１に示すように、イベント抽出装置１００は、撮影装置により撮影されたスポーツ映像１３１の中からボールを追跡し、その動きに変化があった点をイベント発生の候補として抽出し、その時点のボールや選手の位置と動き、及びその選手の所属チーム等を特定する。また、その時点でボールに最も近い選手を主体者として特定しておく。このように特定されたイベント発生時点の候補は、アナウンサーがイベント発生の際に発した音声をキーワードとして使用し、また、イベントキーワードが有する特徴的な条件により、そのイベントが本当に行われたのか判断する。その結果、イベントの発生／終了時刻、イベントキーワードおよび主体者を関連付けてイベント情報として管理する装置である。

イベント抽出装置１００の内部構成について説明する。イベント抽出装置１００は、多視点で撮影されたスポーツ映像１３１に映るボールを認識するボール認識部１２１と、認識したボールの動きベクトルを抽出するボール動きベクトル抽出部１２２と、ボールの動きベクトルを、カメラパラメータ１３２を用いて補正するボール動きベクトル補正部１２３と、ボールの動きベクトルの変化点をイベント発生時点の候補として抽出するボール動きベクトル変化点抽出部１２４と、ボール動きベクトル変化点での映像とカメラパラメータを取得し、ボールと選手の位置及び動きを特定するボール・選手位置及び動き特定部１２５と、チーム情報格納部１１３に格納した選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する選手特定部１２６と、特定したボールの位置と動きを基にボール軌跡情報を取得するボール軌跡情報取得部１２７と、ボール動きベクトル変化点での映像とカメラパラメータ、及びその時点のボール軌跡情報を用いて、ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得する選手同定情報取得部１２８と、ボール軌跡情報、選手同定情報、チームに関する情報、及びアナウンサーの発声を用いたイベントキーワード情報を基にイベント内容を特定してイベント情報を生成するイベント内容特定部１１０とを備えている。

イベント内容特定部１１０は、ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームの情報等からなるボール軌跡情報を格納するボール軌跡情報格納部１１１と、ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納部１１２と、各チームに割り当てられた守備するゴールの位置やユニフォームの色等のチーム情報を格納するチーム情報格納部１１３と、イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納部１１４と、イベントキーワードを受けて、ボール軌跡情報格納部１１１、選手同定情報格納部１１２、及びチーム情報格納部１１３に格納されている情報を基にイベント情報を生成するイベント情報生成部１１５と、生成されたイベント情報を格納するイベント情報格納部１１６とを備えている。

次に、図２を用いてイベント抽出装置１００の全体的な動作について説明する。ステップ２０１では、多視点で撮影されたスポーツ映像からボールを認識してボール動きベクトルを抽出する。ステップ２０２では、抽出されたそれぞれのボール動きベクトルは、カメラの動きや撮影角度の変化等により誤差を持っているので、カメラパラメータを用いてボール動きベクトルを補正する。ステップ２０３では、補正されたボール動きベクトルを追跡し、ボール動きベクトルの変化点を抽出する。つまり、ステップ２０３では、ボール動きベクトルに変化が生じている点をイベントの発生時点の候補として抽出する。ボール動きベクトルに変化があればステップ２０４に進み、ボール動きベクトルに変化がなければステップ２０１に戻る。ステップ２０４では、ボール動きベクトルが変化した時点の映像とカメラパラメータを、例えば連続して３０フレーム抽出し、ボールや選手の位置と動き等の情報を特定する。図８はボール動きベクトルの変化点を連続して抽出したものであり、変化点時刻での、ボール情報、及び選手情報を表している。例えば、符号７０１及び７０２はフレームとして連続している。変化点時刻Ｔ１のボールの位置はＢ１であり、そのときの選手の位置はＰａ１，Ｐｂ１，Ｐｃ１・・・である。また、変化点時刻Ｔ２のボールの位置はＢ２であり、そのときの選手の位置はＰａ２，Ｐｂ２，Ｐｃ２・・・である。ボールの動きの特定は、Ｔ１からＴ２の間にＢ１からＢ２に動いていることから特定できる。同様に、選手の動きを特定することもできる。なお、選手の位置と動きの特定を行った後、ボール動きベクトルが変化した時点の主体者を特定する。つまり、ボールの位置情報と選手の位置情報を用いてそのボールに最も近い選手を主体者として特定しておく。ボールや選手の位置と動きを特定した後、ステップ２０５に進む。ステップ２０５では、チーム情報格納部１１３に格納された選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する。なお、チームに関する情報は、図１１に示すように、チーム名１１０１、チーム特定情報１１０２、守備ゴール位置１１０３、及びユニフォームの色１１０４等を有する。ステップ２０４およびステップ２０５でボールや選手の位置と動き、ならびに所属チームを特定した後、ステップ２０６に進む。ステップ２０６では、特定したボールの位置と動きを基にボール軌跡情報を取得し、これをボール軌跡情報格納部１１１に格納する。図９に示すように、ボール軌跡情報は、軌跡変化時刻９０１、ボール位置９０２、ボール動きベクトル９０３、主体者９０４、及び選手識別子９０６、所属チーム９０７、選手位置９０８、及び選手動きベクトル９０９等からなる選手情報９０５を有する。また、ステップ２０６では、特定したボールの位置と動き及び選手の所属チームを選手同定情報取得部１２８に送り、ステップ２０７に進む。ステップ２０７では、ボール動きベクトル変化点での映像とカメラパラメータ、及びステップ２０４およびステップ２０５で特定したその時点のボール軌跡情報が持つ選手情報を用いて、ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得し、これを選手同定情報格納部１１２に格納する。図９に示すように、選手同定情報は、選手識別子１００１を有する。ステップ２０８では、ボール軌跡情報、選手同定情報、チームに関する情報、及びイベントキーワード情報を基にイベント情報を生成して格納する。図１２に示すように、イベントキーワード情報は、イベントキーワードの発生時刻１２０１、及びイベントキーワード１２０２を有する。また、図１３に示すように、イベント情報は、イベントの発生時刻１３０１、イベントの終了時刻１３０２、キーワード１３０３、及び主体者１３０４を有する。

つづいて、図３を用いてステップ２０７で行うイベント情報の生成処理について説明する。ステップ３０１では、ボール軌跡情報、選手同定情報、チーム情報を取得する。ステップ３０２では、ボール軌跡情報の軌跡変化時刻に最も近いイベントキーワード情報をイベントキーワード情報格納部１１４から検索する。つまり、アナウンサーの発声を検索する。なお、イベントキーワード情報の検索は、ボール軌跡変化時刻の前後を何れも検索対象とする。ステップ３０３では、イベントキーワードの有無について判断する。軌跡変化時刻に対してイベントキーワードがある場合、その軌跡変化時刻ではイベントが行われている可能性があると判断して、次のステップ３０４に進む。一方、軌跡変化時刻に対してイベントキーワードがない場合、その軌跡変化時刻ではイベントが行われなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ３０４では、イベントキーワードの内容について判断する。本実施例は、シュート、パス、及びドリブルをイベントキーワードとする。イベントキーワードがシュートの場合はステップ３０５に進み、イベントキーワードがパスの場合はステップ３０６に進み、イベントキーワードがドリブルの場合はステップ３０７に進む。ステップ３０５では、ボール軌跡変化時刻において、シュートが本当に行われたのか否かについてシュートの特徴を用いて判定し、シュートが行われたと判断した場合は、このイベント情報をイベント情報格納部１０６に格納する（終了）。ステップ３０６では、ボール軌跡変化時刻において、パスが本当に行われたのか否かについてパスの特徴を用いて判定し、パスが行われたと判断した場合は、このイベント情報をイベント情報格納部１０６に格納する（終了）。ステップ３０７では、ボール軌跡変化時刻において、ドリブルが本当に行われたのか否かについてドリブルの特徴を用いて判定し、ドリブルが行われたと判断した場合は、このイベント情報をイベント情報格納部１０６に格納する（終了）。

次に、図５を用いてステップ３０５で行う「シュート」の判定処理について具体的に説明する。図４（ａ）に示すように、シュートは、選手が相手ゴールに向けてボールを蹴ることを特徴としている。つまり、この特徴を用いてイベントキーワード情報として抽出されたシュートが本当に行われているのか判定される。ステップ５０１では、イベントキーワードに「シュート」を取得する。ステップ５０２では、「シュート」の発生時刻がボール軌跡変化時刻の一定秒以内にあるか判断する。つまり、通常は、実際にボールが蹴られた後、アナウンサーが遅れて「シュート」と発するので、実際のシュートとアナウンサーが発した「シュート」とは時間的に誤差がある。ステップ５０２では、これが一定秒以内であるかどうかを判断する。一定秒以内であれば、ボール軌跡変化時刻にシュートが行われている可能性が十分にあるので、ステップ５０３に進む。一方、一定秒以内でなければ、ボール軌跡変化時刻にシュートが行われている可能性がないので、その時刻ではシュートが行われなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ５０３では、チーム情報格納部１１３から相手のゴール位置１１０３を検出する。また、ステップ５０４では、ボール軌跡変化時刻におけるボールの位置９０２と動きベクトル９０３からボールの方向を計算する。ステップ５０５では、ステップ５０３及びステップ５０４で得られた相手ゴール位置、及びボールの方向から、ボールの方向がゴールの位置にだいたい向いているかを判断する。つまり、ステップ５０５では、選手が相手ゴールに向けてボールを蹴っているかを見て、シュートの特徴を有しているかを判断する。ボールの方向がゴールの位置に向いていれば、ボール軌跡変化時刻にシュートが行われていることを判断し、ステップ５０６に進む。一方、ボールの方向がゴールの位置に向いていなければ、ボール軌跡変化時刻にシュートが行われていないと判断し、イベント情報の生成処理を終了する（終了）。ステップ５０６では、ボール軌跡変化時刻にシュートが行われたことを認識し、ステップ５０７では、ボール軌跡変化時刻の主体者をイベントの主体者として判断、つまり、その選手がシュートを行ったことを特定する。そしてステップ５０８では、ボール軌跡変化時刻をイベント発生時刻１３０２、シュートをキーワード１３０３、及び特定した選手を主体者１３０４として関連付け、これをイベント情報としてイベント情報格納部１１６に格納する（終了）。

次に、図６を用いてステップ３０６で行う「パス」の判定処理について具体的に説明する。図４（ｂ）に示すように、パスは、選手が同一チームの異なる選手に向けてボールを蹴ることを特徴としている。つまり、この特徴を用いてイベントキーワード情報として抽出されたパスが本当に行われているのか判定される。ステップ６０１では、イベントキーワードに「パス」を取得する。ステップ６０２では、「パス」の発生時刻がボール軌跡変化時刻の一定秒以内にあるか判断する。つまり、通常は、実際にボールが蹴られた後、アナウンサーが遅れて「パス」と発するので、実際のパスとアナウンサーが発した「パス」とは時間的に誤差がある。ステップ６０２では、これが一定秒以内であるかどうかを判断する。一定秒以内であれば、ボール軌跡変化時刻にパスが行われている可能性が十分にあるので、ステップ６０３に進む。一方、一定秒以内でなければ、ボール軌跡変化時刻にパスが行われている可能性がないので、その時刻ではパスが行われなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ６０３では、ボール軌跡情報格納部１１１からボール軌跡情報（Ｎ＋１）を検索する。これはボール軌跡情報（Ｎ）の主体者（Ｎ）が本当にパスを行っていたか否かを調べるためである。ステップ６０４では、ボール軌跡情報（Ｎ＋１）の有無について判断する。ボール軌跡情報（Ｎ＋１）がある場合、主体者（Ｎ）がパスを行っていた可能性が十分にあることを判断して、ステップ６０５に進む。一方、ボール軌跡情報（Ｎ＋１）がない場合、その時刻ではパスがされなかったと判断して、イベント情報の生成処理を終了する（終了）。ステップ６０５では、主体者（Ｎ）と主体者（Ｎ＋１）は同じ選手であるか否かについて判断する。つまり、ステップ６０５では、選手が同一チームの異なる選手に向けてボールを蹴るかを見て、パスの特徴を有しているか判断する。主体者（Ｎ）と主体者（Ｎ＋１）が同じ選手の場合、主体者（Ｎ）はパスをしていないことが分かり、イベント情報の生成処理を終了する（終了）。一方、主体者（Ｎ）と主体者（Ｎ＋１）が違う選手の場合、主体者（Ｎ）は主体者（Ｎ＋１）に向けてパスをしていることが分かり、ステップ６０７に進む。ステップ６０７では、ボール軌跡変化時刻にパスが行われたことを認識し、ステップ６０８では、ボール軌跡変化時刻の主体者（Ｎ）をイベントの主体者として判断、つまり、その選手がパスを行ったことを特定する。そしてステップ６０９では、ボール軌跡変化時刻をイベント発生時刻１３０２、パスをキーワード１３０３、及び特定した選手を主体者１３０４として関連付けて、これをイベント情報としてイベント情報格納部１１６に格納する（終了）。

次に、図７を用いてステップ３０７で行う「ドリブル」の判定処理について具体的に説明する。図４（ｃ）に示すように、ドリブルは、その開始から終わりまで同じ選手がボールを蹴ることを特徴としている。つまり、この特徴を用いてイベントキーワード情報として抽出されたドリブルが本当に行われているのか判定される。ステップ７０１では、イベントキーワードに「ドリブル」を取得する。ステップ７０２では、ボール軌跡変化時刻（Ｎ）をドリブルの開始点であると予測する。ステップ７０３では、ボール軌跡情報格納部１１１からボール軌跡情報（Ｎ−１）を検索する。つまり、ステップ７０２ではボール軌跡変化時刻（Ｎ）をドリブルの開始点であると予測したが、本当にその時刻からドリブルを開始しているのか調べる必要があるので、ボール軌跡変化時刻（Ｎ）の前のボール軌跡変化時刻（Ｎ−１）を検索する。ステップ７０４では、ボール軌跡情報（Ｎ−１）の有無について判断する。ボール軌跡情報（Ｎ−１）がある場合、ステップ７０２で予測したドリブルの開始点が間違っている可能性が十分にあることを判断して、ステップ７０５に進む。一方、ボール軌跡変化時刻（Ｎ−１）がない場合、ステップ７０２で予測したドリブルの開始点は間違っていないことを判断して、ステップ７０６に進む。ステップ７０５では、主体者（Ｎ）と主体者（Ｎ−１）は同じ選手であるか否かについて判断する。主体者（Ｎ）と主体者（Ｎ−１）が同じ選手の場合、ステップ７０２で予測したドリブルの開始点の前から主体者（Ｎ−１）がドリブルをしているので、ステップ７０２での予測が間違っていたことが分かる。この場合、さらにボール軌跡情報（Ｎ−１）について調べる必要があるため、ステップ７０２に戻る。一方、主体者（Ｎ）と主体者（Ｎ−１）が同じ選手でない場合、ステップ７０２で予測したドリブルの開始点は間違っていないことを判断して、ステップ７０６に進む。ステップ７０６では、ボール軌跡変化時刻（Ｎ）をドリブルの開始点であると決定してステップ７０７に進む。ステップ７０７では、ボール軌跡情報格納部１１１からボール軌跡情報（Ｎ＋１）を検索する。ここでは、ボール軌跡情報（Ｎ＋１）を用いて、主体者（Ｎ）のドリブルの終了点を検索する。ステップ７０８では、ボール軌跡情報（Ｎ＋１）の有無について判断する。ボール軌跡情報（Ｎ＋１）がある場合、ドリブルが続いている可能性が十分にあることを判断して、ステップ７０９に進む。一方、ボール軌跡情報（Ｎ＋１）がない場合、ドリブルが終わったことを判断して、ステップ７１０に進む。ステップ７０９では、主体者（Ｎ）と主体者（Ｎ＋１）は同じ選手であるか否かについて判断する。主体者（Ｎ）と主体者（Ｎ＋１）が同じ選手の場合、ドリブルが続いていることが分かり、この場合、さらにボール軌跡情報（Ｎ＋１）について調べる必要があるため、ステップ７０７に戻る。一方、主体者（Ｎ）と主体者（Ｎ＋１）が同じ選手でない場合、ドリブルが終わったことを判断して、ステップ７１０に進む。ステップ７１０では、ボール軌跡変化時刻（Ｎ）がドリブルの終了点であると決定してステップ７１１に進む。ステップ７１１では、ボール軌跡変化時刻（Ｎ）にドリブルが行われたことを認識し、ステップ７１２では、ボール軌跡変化時刻の主体者をイベントの主体者として判断、つまり、その選手がドリブルを行ったことを特定する。そしてステップ７１３では、ボール軌跡変化時刻をイベント発生時刻１３０２、ドリブルをキーワード１３０３、及び特定した選手を主体者１３０４として関連付けて、これをイベント情報としてイベント情報格納部１１６に格納する（終了）。

以上、本実施例によれば、ボールの動きベクトルの変化点をイベント発生時点の候補とし、また、この時点での映像、及びチーム情報を用いてボール軌跡情報、及び選手同定情報を特定して、特定したボール軌跡情報及び選手同定情報、ならびにチーム情報を用いて、シュート、パス、及びドリブル等のイベントキーワードを受けて、そのイベントが本当に行われているのか判定することにより、本当にあったイベント発生時点を正確に抽出でき、また、イベントの内容や発生時刻等も正確に抽出できる。なお、本実施例で説明した処理動作は、イベント抽出装置内の記憶媒体（図示しない）に格納されたイベント抽出プログラムを、その装置内のコンピュータが実行して処理を行っている。

また、上記実施例では、シュート、パス、及びドリブルについて説明したが、この他にもイベントキーワードとしてカットを用いても良い。これもイベントキーワードにカットを受けた場合、ボール軌跡情報が有する、特定された主体者やその所属チーム、ボールの位置と動きベクトル、及び守備ゴール位置等から、カットが本当に行われているのか判定することにより、その開始時刻を特定することができる。この他のイベントキーワードとなる、ゴール、キャッチ、パンチング、コーナーキック、フリーキック等も同様にイベントを特定することができる。また、上記実施例では、スポーツ中継としてサッカーを例に説明したが、野球やバスケットボール、あるいはバレーボール等のあらゆるスポーツ中継においてもイベントについて特定することができる。さらに、多視点カメラで撮影された映像からイベントを特定することを説明したが、一台のカメラでも同様の処理を行うことにより、イベントを特定することができる。

本発明のイベント抽出装置は、スポーツ中継における映像から特定のイベントを抽出できるので、視聴者や番組制作者にとって好適である。

本発明のイベント抽出装置を示すブロック図 本発明のイベント抽出装置で行う処理手順を示すフロー図 本発明のイベント内容特定部で行う処理手順を示すフロー図 各イベントのボール軌跡の特徴を示す図 キーワードにシュートを受けた場合の処理手順を示すフロー図 キーワードにパスを受けた場合の処理手順を示すフロー図 キーワードにドリブルを受けた場合の処理手順を示すフロー図 変化点抽出に伴って取得した映像の連続した各フレームの時刻Ｔｘにおけるボールや選手の位置を示す図 ボール軌跡情報を示す図 選手同定情報を示す図 チーム情報を示す図 イベントキーワード情報を示す図 イベント情報を示す図 従来の特定シーン抽出装置を示すブロック図

符号の説明

１００ イベント抽出装置
１１０ イベント内容特定部
１１１ ボール軌跡情報格納部
１１２ 選手同定情報格納部
１１３ チーム情報格納部
１１４ イベントキーワード情報格納部
１１５ イベント情報生成部
１１６ イベント情報格納部
１２１ ボール認識部
１２２ ボール動きベクトル抽出部
１２３ ボール動きベクトル補正部
１２４ ボール動きベクトル変化点抽出部
１２５ ボール・選手位置及び動き特定部
１２６ ボール軌跡情報取得部
１２７ 選手同定情報取得部
１３１ 映像格納部
１３２ カメラ情報格納部

Claims (11)

1. ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、
   前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、
   各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、
   イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、
   前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段とを備えたことを特徴とするイベント抽出装置。
2. 前記イベント情報生成手段により生成されたイベント情報を格納するイベント情報格納手段をさらに備えたことを特徴とする請求項１に記載のイベント抽出装置。
3. 前記ボール軌跡情報のボールの位置と選手の位置からそのボールの動きを変化させた主体者を特定することを特徴とする請求項１または２に記載のイベント抽出装置。
4. 前記主体者の所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置から前記イベントキーワードに対応するイベントの開始時刻を特定することを特徴とする請求項３に記載のイベント抽出装置。
5. 各時刻のボール軌跡情報の主体者とその所属チームからイベントキーワードに対応するイベントの開始／終了時刻を特定することを特徴とする請求項３に記載のイベント抽出装置。
6. 各時刻のボール軌跡情報の主体者とその所属チーム、ボールの位置と動きベクトル、および各チームに割り当てられたゴールの位置からイベントキーワードに対応するイベントの開始時刻を特定することを特徴とする請求項３に記載のイベント抽出装置。
7. 前記イベントキーワード情報格納手段は、アナウンサーの発声をキーワードとして格納することを特徴とする請求項１乃至６の何れかに記載のイベント抽出装置。
8. 映像に映るボールを認識するボール認識部と、
   前記認識したボールの動きベクトルを抽出するボール動きベクトル抽出部と、
   前記ボールの動きベクトルの変化点を抽出するボール動きベクトル変化点抽出部と、
   前記ボール動きベクトル変化点でのボールと選手の位置及び動きを特定するボール・選手位置及び動き特定部と、
   前記チーム情報格納手段に格納した選手の所属チームを特定する情報を用いて各時刻のボール軌跡情報の選手の所属チームを特定する選手特定部と、
   前記特定したボールの位置と動きを基に前記ボール軌跡情報を取得するボール軌跡情報取得部と、
   前記ボール軌跡情報の各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を取得する選手同定情報取得部とを備えることを特徴とする請求項１乃至７の何れかに記載のイベント抽出装置。
9. 前記ボール動きベクトル抽出部で抽出したボール動きベクトルを、カメラパラメータを用いて補正するボール動きベクトル補正部を備えることを特徴とする請求項１乃至８の何れかに記載のイベント抽出装置。
10. ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納ステップと、
    前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納ステップと、
    各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納ステップと、
    イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納ステップと、
    前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成ステップと、を有することを特徴とするイベント抽出方法。
11. コンピュータを、
    ボールの動きが変化した各時点の発生時刻とその時点でのボールの位置と動きベクトルおよび選手の位置とその選手の所属チームからなるボール軌跡情報を格納するボール軌跡情報格納手段と、
    前記ボールの動きが変化した各時点での選手が異なる時点の選手と同一かどうかを示す選手同定情報を格納する選手同定情報格納手段と、
    各チームに割り当てられたゴールの位置に関するチーム情報を格納するチーム情報格納手段と、
    イベントのキーワードとそのキーワードが発生した時刻を格納するイベントキーワード情報格納手段と、
    前記イベントキーワードを受けて、前記ボール軌跡情報、前記選手同定情報、及び前記チーム情報を基にイベント情報を生成するイベント情報生成手段として機能させるためのイベント抽出プログラム。

Images