JP2008022142A - 投球イベント検出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体 - Google Patents

Abstract

【課題】野球映像から投手の投球イベントの検出において、映像を1投手の区間に分割することを不要とする。
【解決手段】本発明は、時刻情報を含む投球イベント候補を取得し、映像の動作特徴を抽出し、投球イベント候補の時刻情報を用いて、動作特徴から投球イベント候補の動作を選択し、限定区間幅及び該限定区間幅の動かし方を設定し、設定された全ての限定区間内において、投球動作特徴を抽出し、投球動作特徴からメディアタイムによって利用する投球動作特徴を決定し、投球動作特徴と動作特徴を用いて、投球動作か否かの判定を行い、投球動作である場合には、該投球動作のイベントを出力する。
【選択図】図１

Description

本発明は、投球イベント検出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に係り、特に、映像コンテンツ処理技術における音響と画像とのマルチモーダル処理技術を用いて、野球映像から投手の投球部分（投球イベント）を検出するための投球イベント検出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体に関する。

野球映像から投球を検出する第１の従来技術として、映像中の緑色領域の検出や褐色領域の検出を行って、投手が投球するときの構図を検出することによって、投球イベントの特定を行う技術がある（例えば、特許文献１参照）。

また、第２の従来技術として、構図ではなく、音響解析と画像解析を協調的に利用することにより、ユニモーダルの解析に比べて、高精度に投手の投球部分を検出する手法も提案されている（例えば、非特許文献１参照）。
特開２００３−５２００３号公報 三上弾、紺谷精一、森本正志「突発音検出と教師なしクラスタリングを用いた野球映像からの投球イベント検出」PRMU2004-139, pp.31-36

しかしながら、第１の従来の方法では、グランドの状況やその試合の照明状況（ディゲーム、ナイトゲーム）などに合わせた網羅的なテンプレートを事前に作成する必要がある。

一方、第２の従来の方法は、映像に合わせて自動的に投球動作のテンプレートを作成することができるが、投手の変更に対応できないため、野球映像を１投手区間に区切ってから入力しなければならない、という欠点がある。

本発明は、上記の点に鑑みなされたもので、野球映像から投手の投球部分（以降、投球イベントと記す）の検出において、時間的な自動分割を行うことにより、動的に投球動作特徴を取得することで、野球映像を投手毎に分割することなく入力可能とする投球イベント検出方法及び装置及びプログラム及びコンピュータ読み取り可能な記録媒体を提供することを目的とする。

図１は、本発明の原理を説明するための図である。

本発明（請求項１）は、野球映像から投手の投球部分（投球イベント）を検出するための投球イベント検出方法であって、
投球イベント候補取得手段が、時刻情報を含む投球イベント候補を取得し、投球候補イベント記憶手段に格納する投球イベント候補取得ステップ（ステップ１）と、
動作特徴抽出手段が、映像の動作特徴を抽出する動作特徴抽出ステップ（ステップ２）と、
投球イベント候補動作特徴選択手段が、投球候補イベント記憶手段に記憶されている投球イベント候補の時刻情報と、動作特徴抽出ステップ（ステップ２）で抽出された動作特徴とを用いて、該投球候補イベント記憶手段の投球イベント候補の動作を選択する投球イベント候補動作特徴選択ステップ（ステップ３）と、
限定区間設定手段が、限定区間幅及び該限定区間幅の動かし方を決定する限定区間設定ステップ（ステップ４）と、
区間内投球動作特徴取得手段が、投球イベント候補動作特徴選択ステップで選択された前記投球イベント候補の動作から、限定区間設定ステップで設定された全ての限定区間内における投球動作特徴を抽出し、投球動作特徴記憶手段に格納する区間内投球動作特徴取得ステップ（ステップ５）と、
投球動作特徴選択手段が、投球動作特徴記憶手段に格納されている投球動作特徴からメディアタイムＴによって利用する投球動作特徴を決定する投球動作特徴選択ステップ（ステップ６）と、
判定手段が、投球動作特徴選択ステップ（ステップ６）で選択された投球動作特徴を用いて、メディアタイムＴに動作特徴抽出ステップ（ステップ２）で抽出された動作特徴について、投球動作か否かの判定を行い、投球動作である場合には、該投球動作のイベントを出力する判定ステップ（ステップ７）と、を行う。

また、本発明（請求項２）は、投球イベント候補取得ステップ（ステップ１）において、
投球イベント候補を取得する際に、突発音を用いる。

また、本発明（請求項３）は、動作特徴抽出ステップ（ステップ２）において、
動作特徴として、Motion History Imageを用いる。

また、本発明（請求項４）は、区間内投球動作特徴取得ステップ（ステップ５）において、
動作特徴抽出ステップ（ステップ２）の動作特徴のMotion History Imageに対して、縮小・拡大・ラベリング処理を行い、オブジェクト毎のMotion History Imageを作成する。

また、本発明（請求項５）は、投球動作特徴選択ステップ（ステップ６）において、
現メディアタイムのみならず、その近傍のメディアタイムにおける投球動作特徴も加えて利用する。

また、本発明（請求項６）は、限定区間設定ステップ（ステップ４）において、
限定区間を設定する際に、投球イベント候補の数を利用する。

また、本発明（請求項７）は、限定区間設定ステップ（ステップ４）において、
限定区間を設定する際に、一定メディアタイム間隔を利用する。

また、本発明（請求項８）は、限定区間設定ステップ（ステップ４）において、
限定区間を動かす場合に、一定投球イベント候補数だけずらす。

また、本発明（請求項９）は、限定区間設定ステップ（ステップ４）において、
限定区間を動かす場合に、一定メディアタイムだけずらす。

図２は、本発明の原理構成図である。

本発明（請求項１０）は、野球映像から投手の投球部分（投球イベント）を検出するための投球イベント検出装置であって、
映像を記憶した映像記憶手段１２と、
時刻情報を含む投球イベント候補を取得し、投球候補イベント記憶手段８に格納する投球イベント候補取得手段１と、
映像記憶手段１２の映像の動作特徴を抽出する動作特徴抽出手段２と、
投球候補イベント記憶手段８に記憶されている投球イベント候補の時刻情報と、動作特徴抽出手段２で抽出された動作特徴とを用いて、該投球候補イベント記憶手段８の投球イベント候補の動作を選択する投球イベント候補動作特徴選択手段１１と、
限定区間幅及び該限定区間幅の動かし方を決定する限定区間設定手段３と、
投球イベント候補動作特徴選択手段１１で選択された投球イベント候補の動作から、限定区間設定手段３で設定された全ての限定区間内における投球動作特徴を抽出し、投球動作特徴記憶手段９に格納する区間内投球動作特徴取得手段４と、
投球動作特徴記憶手段９に格納されている投球動作特徴からメディアタイムＴによって利用する投球動作特徴を決定する投球動作特徴選択手段６と、
投球動作特徴選択手段６で選択された投球動作特徴を用いて、メディアタイムＴに動作特徴抽出手段２で抽出された動作特徴について、投球動作か否かの判定を行い、投球動作である場合には、該投球動作のイベントを出力する判定手段７と、有する。

また、本発明（請求項１１）は、投球イベント候補取得手段１において、投球イベント候補を取得する際に、突発音を用いる。

また、本発明（請求項１２）は、動作特徴抽出手段２において、動作特徴として、Motion History Imageを用いる。

また、本発明（請求項１３）は、区間内投球動作特徴取得手段４において、動作特徴抽出手段２の動作特徴のMotion History Imageに対して、縮小・拡大・ラベリング処理を行い、オブジェクト毎のMotion History Imageを作成する。

また、本発明（請求項１４）は、投球動作特徴選択手段６において、現メディアタイムのみならず、その近傍のメディアタイムにおける投球動作特徴も加えて利用する。

また、本発明（請求項１５）は、限定区間設定手段３において、限定区間を設定する際に、投球イベント候補の数を利用する。

また、本発明（請求項１６）は、限定区間設定手段３において、限定区間を設定する際に、一定メディアタイム間隔を利用する。

また、本発明（請求項１７）は、限定区間設定手段３において、限定区間を動かす場合に、一定投球イベント候補数だけずらす。

また、本発明（請求項１８）は、限定区間設定手段３において、限定区間を動かす場合に、一定メディアタイムだけずらす。

本発明（請求項１９）は、コンピュータに、請求項１０乃至１８記載の投球イベント検出装置の各手段を実行させる投球イベント検出プログラムである。

本発明（請求項２０）は、コンピュータに、請求項１０乃至１８記載の投球イベント検出装置の各手段を実行させる投球イベント検出プログラムを格納したコンピュータ読み取り可能な記録媒体である。

第1の従来の方法によれば、野球映像からの投球イベント検出において野球映像を1投手区間に分割してから入力する必要があり、野球映像インデキシングとして不便であった。これに対し、本発明によれば、映像を1投手の区間に分割することが不要となり、高精度かつ入力に手間のかからない、投球イベントを用いた野球映像インデキシングが可能となる。

以下、図面と共に本発明の実施の形態を説明する。

図３は、本発明の一実施の形態における投球イベント検出装置の構成を示す。

同図に示す装置は、投球イベント候補取得部１、動作特徴抽出部２、限定区間設定部３、区間内投球動作特徴取得部４、投球動作特徴選択部６、判定部７、投球イベント候補記憶部8、投球イベント記憶部１０、投球イベント候補動作特徴選択部１１、映像記憶部１２から構成される。

投球イベント候補記憶部８は、投球イベント候補取得部１で取得した投球イベント候補及び時刻情報を格納する。

投球動作特徴記憶部９は、区間内投球動作特徴取得部４で取得した投球動作特徴を格納する。

投球イベント記憶部１０は、本装置の結果である投球イベントを格納する。

映像記憶部１２は、映像を格納する。

投球イベント候補取得部１は、何らかの方法により投球イベント候補を求め、投球イベント候補記憶部８に格納する。

動作特徴抽出部２は、映像記憶部１２の映像から動作特徴を抽出する。

投球イベント候補動作特徴選択部１１は、投球イベント候補記憶部8に記憶されている投球イベント候補の時刻情報を用いて、動作特徴抽出部２で抽出される投球イベント候補の動作を選択し、メモリ等の記憶手段に一時的に格納する。

限定区間設定部３は、限定区間幅及び限定区間幅の動かし方を決定する。

区間内投球動作特徴取得部４は、限定区間設定部３で設定された全ての限定区間内における、投球イベント候補動作特徴選択部１１で抽出され、メモリ等に格納されている投球イベント候補の動作から投球動作特徴を抽出し、投球動作特徴記憶部９に格納する。

投球動作特徴選択部６は、投球動作特徴記憶部９に格納されている投球動作特徴からメディアタイムによって利用する投球動作特徴を決定する。

判定部７は、投球動作特徴選択部６で選択された投球動作特徴を用いて、動作特徴抽出部２で抽出された動作特徴が投球動作か否かの判定を行い、投球動作と判定された投球動作特徴を投球イベント記憶部１０に格納する。

以下、上記の構成における動作を説明する。

図４は、本発明の一実施の形態における投球イベント検出動作のフローチャートである。

ステップ１０１） 投球イベント候補取得部１は、何らかの方法によって投球イベントの候補を検出する。例えば、映像記憶部１２の映像における打撃や捕球に伴い発生する音響を利用することが考えられる。更にその結果を投球イベント候補記憶部８に格納する。なお、音響解析には、非特許文献１の音響解析を利用して、突発音検出を、また、動作解析には、当該非特許文献１のＭＨＩ（Motion History Image）を用いる。これは、投球イベント候補ＩＤとその時刻を保持する。加えて信頼度などを保持してもかまわない。

ステップ１０２） 動作特徴抽出部２は、映像記憶部１２から映像特徴（動作特徴）を抽出する。当該処理においても非特許文献１に記載の方法を用いることが可能である。

ステップ１０３） 投球イベント候補動作特徴選択部１１は、投球イベント候補記憶部８に格納されている、投球イベント候補の時刻情報を用いてステップ１０２で抽出された動作特徴から、投球イベント候補を選択する。

図５は、本発明の一実施の形態における投球イベント候補動作特徴選択部の出力の例である。同図に示す例は、上記の非特許文献１を用いた場合の投球イベント候補動作特徴選択部１１の出力を纏めたものであり、イベント候補ＩＤ、発生メディアタイム、動作特徴であるＭＨＩをメモリ等の記憶手段に保持している。

ステップ１０４） 限定区間設定部３は、限定区間の設定を行う。限定区間の設定では、限定区間幅と限定区間のずらし方を設定する。限定区間幅、ずらし方共に、投球イベント候補の数もしくは時間で指定することができる。どちらを用いても構わないし、数による指定と時間による指定を併用しても構わない。

ステップ１０５） 区間内投球動作特徴取得部４は、ステップ１０４により設定された各限定区間について、投球イベント候補動作特徴選択部１１の出力から区間内の投球動作特徴を取得する。以下に、当該区間内投球動作特徴取得部４の動作を説明する。図６は、本発明の一実施の形態における区間内投球動作特徴取得部の動作のフローチャートである。

当該ステップ１０５では、ステップ１０４で定義される全ての限定区間に対して、以下のステップ４０１からステップ４０５に至るまでの処理を繰り返す。

ステップ４０１） 区間内投球動作特徴取得部４は、ステップ１０３で求めた投球イベント候補動作特徴選択部１１の出力から、当該フレームに存在する動作オブジェクト毎の動作特徴を求める。

ステップ４０２） オブジェクト毎の動作特徴をクラスタリングする。

ステップ４０３） クラスタリング結果の最大のクラスタを求める。

ステップ４０４） 最大クラスタの動作特徴が規定の範囲内であるか判定する。範囲内であれば、ステップ４０５に移行する。そうでない場合、ステップ４０１に移行する。

ステップ４０５） 最大クラスタの動作特徴を、当該限定区間における動作特徴として、投球動作特徴記憶部９に格納する。

ステップ４０１の動作オブジェクト毎の動作特徴を求める手法に関して、ここでは特に限定しない。例をあげると、動作特徴としてＭＨＩを利用している場合であれば、ＭＨＩに対して、縮小・拡大・ラベリング処理を行うことで、動作オブジェクト毎のＭＨＩ（オブジェクトＭＨＩ）の取得が可能である。縮小・拡大・ラベリングのフローチャートを図７に示す。まず、区間内投球動作特徴取得部４は、画像を１／４に縮小し（ステップ７０１）、次に縮小画像を４倍に拡大する（ステップ７０２）。８連結を用いたラベリングを行う（ステップ７０３）。

また、クラスタリングアルゴリズムでは、距離の閾値によって処理を終了する形態のものであれば、どのような手法を用いても構わない。これは、クラスタの数（=投手の数）は未知のため、クラスタリング終了条件としてクラスタの数を設定することはできないためである。

以上の各ステップにより、メディアタイムによって変化する投球動作特徴が、投球動作特徴記憶部９に格納される。投球動作特徴記憶部９に格納されるメディアタイムによって変化する投球動作特徴の例を図８に示す。これ以降、動的投球動作特徴と呼ぶことにする。

動的投球動作特徴は、図８に示すように、投球動作特徴ＩＤと限定区間開始時間、限定区間終了時間、及び投球動作特徴とからなる。すなわち、限定区間及び該限定区間から取得される投球動作特徴のセットにより表される。図８を時間軸方向に模式図化したものを図９に示す。

ステップ１０６） 次に、上記のメディアタイムによって変化する、動的投球動作特徴を用いて映像記憶部１２の映像全体を再検索することにより、投球イベント候補にも含まれていない投球イベントについても検出する。

当該ステップでは、メディアタイムに従って、当該メディアタイムにおいて利用する投球動作特徴を、動的投球動作特徴の中から選択し、決定する。最も単純な情報としては、現在のメディアタイムを含む投球動作特徴もしくは、現在のメディアタイムから最も近傍にある投球動作特徴を用いる方法である。

また、当該ステップ１０６の別の実現方法を図９を用いて説明する。

図９はある一つの映像における動的投球動作特徴を示している。同図中の１，２，３は、それぞれひとつの投球動作特徴を示しており、各投球動作特徴の下にある双方向矢印が各投球動作特徴の算出に用いた限定区間を示している。例えば、図９中、Ａの時刻において利用する投球動作特徴は、１のみでよいと直感的に思われるかもしれないが、限定区間においても常に投手交代が行われている可能性があるため、投球動作特徴１のみでは、投手交代後の投手による投球イベントを検出漏れしてしまう可能性がある。これを考慮に入れて図１０にステップ１０６の動的投球動作特徴からの投球動作特徴選択処理を示す。

ステップ１００１） 全てのメディアタイム（フローチャート上では時刻）Ｔについて、以下のステップ１００２からステップ１０１２に至る処理を繰り返し行う。

ステップ１００２） 動的投球動作特徴の中に、メディアタイムＴよりも早いメディアタイムのみで構成される投球動作特徴が存在するか確認を行う。存在する場合、ステップ１００３へ移行する。そうでない場合、ステップ１００４へ移行する。

ステップ１００３） メディアタイムＴよりも早いメディアタイムのみで構成される投球動作特徴のうちで、最も遅いメディアタイムからなる投球動作特徴ＩＤをＳとする。

ステップ１００４） メディアタイムＴを含む投球動作特徴が存在するか否か判定を行う。存在する場合はステップ１００６へ移行する。そうでない場合、ステップ１００６へ移行する。

ステップ１００５） メディアタイムＴを含む投球動作特徴ＩＤをＳとする。

ステップ１００６） Ｓを０とする。

ステップ１００７） 動的投球動作特徴の中に、メディアタイムＴよりも遅いメディアタイムのみで構成される投球動作特徴が存在するか確認を行う。存在する場合、ステップ１００８へ移行する。そうでない場合は、ステップ１００９へ移行する。

ステップ１００８） メディアタイムＴよりも遅いメディアタイムのみで構成される投球動作特徴のうち、最も早いメディアタイムからなる投球動作特徴ＩＤをＥとする。

ステップ１００９） 動的投球動作特徴の中に、メディアタイムＴを含む限定区間に投球動作特徴が存在するか否か、判定を行う。存在する場合は、ステップ６１０へ移行する。そうでない場合は、ステップ６１１へ移行する。

ステップ１０１０） メディアタイムＴを含む、投球動作特徴ＩＤをＥとする。

ステップ１０１１） 最も遅いメディアタイムによって構成される投球動作特徴ＩＤをＥとする。

ステップ１０１２） メディアタイムＴで利用する投球動作特徴を、動的投球動作特徴のうち、ＳからＥまでのＩＤをもつ投球動作と設定する。

ステップ１０７） 判定部７は、投球動作特徴選択部６においてステップ１０６で選択され、決定した投球動作特徴を用いて、映像全体について再検索を行う。

以下に、当該ステップ１０７の動作を図１１に示す。

ステップ１１０１） 判定部７は、全ての時刻について、ステップ１１０２からステップ１１０６を繰り返す。

ステップ１１０２） メディアタイムＴにおいて利用するとステップ１０６で決定した全ての投球動作特徴について、ステップ１１０３を行う。

ステップ１１０３） メディアタイムＴにおける動作特徴と、投球動作特徴との類似度を算出する。

ステップ１１０４） 最大の類似度を示した投球動作特徴との類似度を、当該メディアタイムＴにおける類似度とする。

ステップ１１０５） メディアタイムＴにおける類似度が閾値よりも大きいか否かを判定する。大きい場合には、ステップ１１０６へ移行する。

ステップ１１０６） メディアタイムＴにおいて投球イベントが検出されたことを、投球イベント記憶部１０に記録する。

以下に、図面と共に本発明の実施例を説明する。

本実施例では、前述の図４のステップ１０１の投球イベントの候補の取得にあたって、突発音検出による非特許文献１の手法を用いる。非特許文献１の手法では、投手の投球の直後に発生する捕球及び打球の音に着目して、突発音検出を行っている。

ステップ１０２では、映像に対して、動作特徴としてMotion History Imageの検出を行う。Motion History Image（以降、ＭＨＩと略す）は、動きの履歴情報を持たせた画像であり、最近動いた画素ほど明るく、古くに動いた画素ほど暗い画素値を持ち、次の式により定義される。

Ｍ（ｘ，ｙ，ｔ）は、時刻ｔにおける座標（ｘ，ｙ）の画素値を表す。また、Ｄ（ｘ，ｙ，ｔ）は、時刻ｔ、ｔ−τにおけるフレーム間差分２値化画像の座標（ｘ，ｙ）の画素値を示している。Ｆ（ ）は、引数の中で最大のものを返す関数である。すなわち最も最近動きがあった画素には画素値Vが与えられ、単位時間τ経過する毎に１だけ画素値は小さくなる。但し、同一座標で新たな動きが発生した場合には上式のｉｆ条件が成立するためＶになる。これにより動きの履歴情報を持った画像が作成できる。

図１２にＭＨＩの例を示す。但し、図１２は見やすくするため、明るさを反転した画像である。

図４のステップ１０３で投球イベント候補動作特徴選択部１１が、投球イベントの候補の時刻情報を用いて、動作特徴から投球イベント候補の部分を選択する。このとき、投球イベント候補取得方法と動作特徴取得方法からオフセット値を指定する必要があることがある。今回の、突発音検出とＭＨＩとの組み合わせの場合、オフセット値は、−０．４秒程度が適切である。

ステップ１０４で限定区間設定部３において、限定区間を設定する。本実施例では、限定区間幅の設定方法として、一定投球イベント候補数を利用する。また、限定区間の動かし方として、一定投球イベント候補数だけ時間軸方向にずらすこととする。但し、限定区間幅の設定方法として、一定メディアタイムという基準を用いても構わないし、動かし方として、一定メディアタイムだけ時間軸方向に移動させても構わない。

また、限定区間幅の設定方法として、一定メディアタイムを基本とし、但し、当該メディアタイム内の投球イベント候補数が、一定数に届かない場合は、投球イベント候補数が予め設定した個数になるまで、限定区間幅を延長する、というような複合的な設定方法でも構わない。

ステップ１０５で、区間内投球動作特徴取得部４が、ステップ１０４で設定した各限定区間において投球動作特徴を取得する。本実施例では、まず、各投球イベント候補の動作特徴であるＭＨＩに対して、図７に示すような縮小・拡大処理を行い、ラベリングを行うことで、オブジェクト毎の動作特徴として、オブジェクト毎のＭＨＩ（オブジェクトＭＨＩ）を求める。この例を図１３に示す。図１３（ａ）がある一つの投球イベント候補においての動作特徴に相当する。そして、最終的に求められたオブジェクトＭＨＩが（ｂ）から（ｄ）である。

次に、オブジェクトＭＨＩのクラスタリングを行う。非特許文献１によれば、投球イベント候補のうち過半数は正しい投球イベントである。そこで、クラスタリング後、最大クラスタは、投球動作に関する動作特徴を表すオブジェクトＭＨＩである。本実施例でもクラスタリングの結果、最大クラスタとなったオブジェクトＭＨＩをもって、各限定区間における投球動作特徴とする。

クラスタリングのアルゴリズムは数々提案されているが、どのような手法でも構わない。ここでは、最近傍アルゴリズム・単連結アルゴリズムを用いている。但し、クラスタリング時のオブジェクトＭＨＩ間の距離計算は次式で行った。

ここで、ｖ^ａ（ｘ，ｙ）は、オブジェクトＭＨＩａの座標（ｘ，ｙ）における画素値を、ｖ^ｂ（ｘ，ｙ）は、オブジェクトＭＨＩｂの座標（ｘ，ｙ）における画素値を表す。また、Ｘ，ＹはオブジェクトＭＨＩａ，ＭＨＩｂの幅及び高さの小さい方を選択することとする。

本実施例では、上記のオブジェクトＭＨＩ間の距離計算を行ったが、単純ユークリッド距離など他の距離定義方法を用いても良い。

図４のステップ１０６では、投球動作特徴選択部６において、動的投球動作特徴から、検出対象となっているメディアタイムＴを含む投球動作特徴及び、メディアタイムＴを含む投球動作特徴の最近傍の投球動作特徴を選択する。これにより、投手変更を含むような限定区間においても前後の区間での投球動作特徴を利用して、適切に投球イベント検出が可能である。

例えば、全ての時刻において、動的投球動作特徴の全ての投球動作特徴を利用することも可能である。この場合、処理時間などにおいて欠点があるものの、投球イベント検出の再現率の面では利点も大きいと考えられる。

さらに、動的投球動作特徴の全ての投球動作特徴をユーザに提示し、利用するか否かの判定を促し、利用すると判断された全ての投球動作特徴を利用するという方法も考えられる。

最終的に、ステップ１０７の判定部７において判定を行う。テンプレートマッチングの結果、テンプレートとの距離が閾値以下である部分は、投球イベント記憶部１０に保存する。

以上の各ステップにより投球変更も含む野球映像に対しても動的に投球動作特徴を抽出し、精度よく投球イベントを検出できる。

本発明は、上記の図３に示す投球イベント検出装置の機能をプログラムとして構築し、投球イベント検出装置として利用されるコンピュータにインストールして実行させる、または、ネットワークを介して流通させることが可能である。

また、構築されたプログラムを、ハードディスクや、フレキシブルディスク・ＣＤ−ＲＯＭ等の可搬記憶媒体に格納し、コンピュータにインストールする、または、配布することが可能である。

なお、本発明は、上記の実施の形態及び実施例に限定されることなく、特許請求の範囲内において種々変更・応用が可能である。

本発明は、マルチモーダル処理技術の特に、野球映像からの投球イベント検出する技術に適用可能である。

本発明の原理を説明するための図である。 本発明の原理構成図である。 本発明の一実施の形態における投球イベント検出装置の構成図である。 本発明の一実施の形態における投球イベント検出動作のフローチャートである。 本発明の一実施の形態における投球イベント候補動作特徴選択部の出力の例である。 本発明の一実施の形態における区間内投球動作特徴取得部の動作のフローチャートである。 本発明の一実施の形態における動作オブジェクト毎の動作特徴を求める動作のフローチャートである。 本発明の一実施の形態における投球動作特徴記憶部に格納されるメディアタイムによって変化する投球動作特徴の例である。 本発明の一実施の形態における動的投球動作特徴を時間軸方向に模式図化した例である。 本発明の一実施の形態における投球動作特徴の選択処理のフローチャートである。 本発明の一実施の形態における判定部の動作のフローチャートである。 本発明の一実施例のＭＨＩの例である。 本発明の一実施例のＭＨＩの求め方を示す図である。

符号の説明

１ 投球イベント候補取得手段、投球イベント取得部
２ 動作特徴抽出手段、動作特徴抽出部
３ 限定区間設定手段、限定区間設定部
４ 区間内投球動作特徴取得手段、区間内投球動作特徴取得部
６ 投球動作特徴選択手段、投球動作特徴選択部
７ 判定手段、判定部
８ 投球イベント候補記憶手段、投球イベント候補取得部
９ 投球動作特徴記憶手段、投球動作特徴記憶部
１０ 投球イベント記憶部
１１ 投球イベント候補動作特徴選択手段、投球イベント候補動作特徴選択部
１２ 映像記憶手段、映像記憶部

Claims (20)

1. 野球映像から投手の投球部分（投球イベント）を検出するための投球イベント検出方法であって、
   投球イベント候補取得手段が、時刻情報を含む投球イベント候補を取得し、投球候補イベント記憶手段に格納する投球イベント候補取得ステップと、
   動作特徴抽出手段が、映像の動作特徴を抽出する動作特徴抽出ステップと、
   投球イベント候補動作特徴選択手段が、前記投球候補イベント記憶手段に記憶されている前記投球イベント候補の時刻情報と、前記動作特徴抽出ステップで抽出された動作特徴とを用いて該投球候補イベント記憶手段の投球イベント候補の動作を選択する投球イベント候補動作特徴選択ステップと、
   限定区間設定手段が、限定区間幅及び該限定区間幅の動かし方を決定する限定区間設定ステップと、
   区間内投球動作特徴取得手段が、前記投球イベント候補動作特徴選択ステップで選択された前記投球イベント候補の動作から、前記限定区間設定ステップで設定された全ての限定区間内における投球動作特徴を抽出し、投球動作特徴記憶手段に格納する区間内投球動作特徴取得ステップと、
   投球動作特徴選択手段が、前記投球動作特徴記憶手段に格納されている前記投球動作特徴からメディアタイムＴによって利用する投球動作特徴を決定する投球動作特徴選択ステップと、
   判定手段が、前記投球動作特徴選択ステップで選択された前記投球動作特徴を用いて、メディアタイムＴに前記動作特徴抽出ステップで抽出された前記動作特徴について、投球動作か否かの判定を行い、投球動作である場合には、該投球動作のイベントを出力する判定ステップと、
   を行うことを特徴とする投球イベント検出方法。
2. 前記投球イベント候補取得ステップにおいて、
   前記投球イベント候補を取得する際に、突発音を用いる、
   請求項１記載の投球イベント検出方法。
3. 前記動作特徴抽出ステップにおいて、
   前記動作特徴として、Motion History Imageを用いる、
   請求項１または２記載の投球イベント検出方法。
4. 前記区間内投球動作特徴取得ステップにおいて、
   前記動作特徴抽出ステップの前記動作特徴のMotion History Imageに対して、縮小・拡大・ラベリング処理を行い、オブジェクト毎のMotion History Imageを作成する
   請求項３記載の投球イベント検出方法。
5. 前記投球動作特徴選択ステップにおいて、
   現メディアタイムのみならず、その近傍のメディアタイムにおける投球動作特徴も加えて利用する
   請求項１乃至４記載の投球イベント検出方法。
6. 前記限定区間設定ステップにおいて、
   前記限定区間を設定する際に、投球イベント候補の数を利用する、
   請求項１乃至５記載の投球イベント検出方法。
7. 前記限定区間設定ステップにおいて、
   前記限定区間を設定する際に、一定メディアタイム間隔を利用する、
   請求項１乃至５記載の投球イベント検出方法。
8. 前記限定区間設定ステップにおいて、
   前記限定区間を動かす場合に、一定投球イベント候補数だけずらす、
   請求項１乃至５記載の投球イベント検出方法。
9. 前記限定区間設定ステップにおいて、
   前記限定区間を動かす場合に、一定メディアタイムだけずらす、
   請求項７記載の投球イベント検出方法。
10. 野球映像から投手の投球部分（投球イベント）を検出するための投球イベント検出装置であって、
    映像を記憶した映像記憶手段と、
    時刻情報を含む投球イベント候補を取得し、投球候補イベント記憶手段に格納する投球イベント候補取得手段と、
    前記映像記憶手段の映像の動作特徴を抽出する動作特徴抽出手段と、
    前記投球候補イベント記憶手段に記憶されている前記投球イベント候補の時刻情報と、前記動作特徴抽出手段で抽出された動作特徴とを用いて、該投球候補イベント記憶手段の前記投球イベント候補の動作を選択する投球イベント候補動作特徴選択手段と、
    限定区間幅及び該限定区間幅の動かし方を決定する限定区間設定手段と、
    前記投球イベント候補動作特徴選択手段で選択された前記投球イベント候補の動作から、前記限定区間設定手段で設定された全ての限定区間内における投球動作特徴を抽出し、投球動作特徴記憶手段に格納する区間内投球動作特徴取得手段と、
    前記投球動作特徴記憶手段に格納されている前記投球動作特徴からメディアタイムＴによって利用する投球動作特徴を決定する投球動作特徴選択手段と、
    前記投球動作特徴選択手段で選択された前記投球動作特徴を用いて、メディアタイムＴに前記動作特徴抽出手段で抽出された前記動作特徴について、投球動作か否かの判定を行い、投球動作である場合には、該投球動作のイベントを出力する判定手段と、
    を有することを特徴とする投球イベント検出装置。
11. 前記投球イベント候補取得手段は、
    前記投球イベント候補を取得する際に、突発音を用いる、
    請求項１０記載の投球イベント検出装置。
12. 前記動作特徴抽出手段は、
    前記動作特徴として、Motion History Imageを用いる、
    請求項１０または１１記載の投球イベント検出装置。
13. 前記区間内投球動作特徴取得手段は、
    前記動作特徴抽出手段の前記動作特徴のMotion History Imageに対して、縮小・拡大・ラベリング処理を行い、オブジェクト毎のMotion History Imageを作成する
    請求項１２記載の投球イベント検出装置。
14. 前記投球動作特徴選択手段は、
    現メディアタイムのみならず、その近傍のメディアタイムにおける投球動作特徴も加えて利用する
    請求項１０乃至１３記載の投球イベント検出装置。
15. 前記限定区間設定手段は、
    前記限定区間を設定する際に、投球イベント候補の数を利用する、
    請求項１０乃至１４記載の投球イベント検出装置。
16. 前記限定区間設定手段は、
    前記限定区間を設定する際に、一定メディアタイム間隔を利用する、
    請求項１０乃至１４記載の投球イベント検出装置。
17. 前記限定区間設定手段は、
    前記限定区間を動かす場合に、一定投球イベント候補数だけずらす、
    請求項１０乃至１４記載の投球イベント検出装置。
18. 前記限定区間設定手段は、
    前記限定区間を動かす場合に、一定メディアタイムだけずらす、
    請求項１６記載の投球イベント検出装置。
19. コンピュータに、
    請求項１０乃至１８記載の投球イベント検出装置の各手段を実行させることを特徴とする投球イベント検出プログラム。
20. コンピュータに、
    請求項１０乃至１８記載の投球イベント検出装置の各手段を実行させる投球イベント検出プログラムを格納したことを特徴とするコンピュータ読み取り可能な記録媒体。