JP6853528B2 - 映像処理プログラム、映像処理方法、及び映像処理装置 - Google Patents

Description

実施形態は、映像処理プログラム、映像処理方法、及び映像処理装置に関する。

スポーツの試合映像を解析することにより、選手やボールの追跡を行う映像処理装置、映像処理方法、及び映像処理プログラムが知られている。このような映像処理装置は、例えば過去複数フレームの位置情報に基づいて現在のフレームにおけるボールの位置を予測して、その周辺領域を探索する。しかしこのような方法では、当該領域においてボールが見つからない場合に対応することが困難であった。

特開２００４−４６６４７号公報 国際公開第２０１５／１９００７１号

スポーツの試合映像からボールや選手を画像認識で検出して追跡し、その移動軌跡を二次元フィールド上にマッピングすることが可能な映像処理装置、映像処理方法、及び映像処理プログラムを提供する。

実施形態の映像処理プログラムは、スポーツを撮影した映像を処理するためにコンピュータに、映像から第１物体と、第１物体と異なる複数の第２物体とを検出させ、検出された第１物体、及び複数の第２物体の位置を推定させることを映像におけるフレーム毎に繰り返し、あるフレームにおいて第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、第１物体の近傍に位置する第２物体が第１物体を保持しているとみなす。複数の第２物体は、第３及び第４物体を含む。第３物体が第１物体を保持しているとみなして追跡されている際に第３物体と第４物体とが近接した場合に、第４物体も第１物体を保持しているとみなして追跡され、映像における第１時間経過後に第３物体の移動速度と第４物体の移動速度とが比較され、第３及び第４物体のうち移動速度が速い方の追跡が継続され、移動速度が遅い方の追跡が停止される。

第１実施形態に係る映像処理装置のブロック図。 第１実施形態に係る映像処理装置の備えるプログラムを示す図。 第１実施形態に係る映像処理装置の備えるプロセッサの機能ブロック図。 第１実施形態に係る映像処理装置の分析対象のスポーツにおけるフィールドの一例を示す図。 第１実施形態に係るメインプログラムのフローチャート。 第１実施形態に係る分析プログラムのフローチャート。 第１実施形態に係るフィールド検出プログラムのフローチャート。 第１実施形態に係るフィールド検出プログラムにおけるフィールドの検出結果を示す図。 図７が示す映像の表示領域と二次元フィールドの対応を示す図。 第１実施形態に係る物体検出プログラムのフローチャート。 第１実施形態に係る物体検出プログラムにおける物体の検出結果を示す図。 図１０が示す映像の表示領域及び物体と二次元フィールドとの対応を示す図。 第１実施形態に係る物***置推定プログラムのフローチャート。 第１実施形態に係る物***置推定プログラムにおけるボール保持者の設定方法を説明する図。 第１実施形態に係る物***置推定プログラムにおけるボール保持者の設定方法を説明する図。 第２実施形態に係る物***置推定プログラムにおけるボール保持者の設定方法を説明するフローチャート。 第２実施形態に係る物***置推定プログラムにおけるボール保持者の設定方法を説明する図。 第２実施形態に係る物***置推定プログラムにおけるボール保持者の設定方法を説明する図。 第２実施形態に係る物***置推定プログラムにおけるボール保持者の設定方法を説明する図。 第２実施形態に係る物***置推定プログラムにおけるボール保持者の設定方法を説明する図。 第３実施形態に係るプレー種別判別プログラムのフローチャート。 第３実施形態に係るプレー種別判別プログラムにおけるプレー種別の判別方法を説明する図。 第３実施形態に係るプレー種別判別プログラムにおけるプレー種別の判別方法を説明する図。 第３実施形態に係るプレー種別判別プログラムにおけるプレー種別の判別方法を説明する図。 第３実施形態に係るプレー種別判別プログラムにおけるプレー種別の判別結果を示す図。 第４実施形態に係るシーン分割プログラムのフローチャート。 第４実施形態に係るシーン分割プログラムにおけるシーンの分割方法を説明する図。 第４実施形態に係るシーン分割プログラムにおけるシーンの分割結果を示す図。 第５実施形態に係る再生プログラムの実行結果を示す図。 第５実施形態に係る再生プログラムにおける映像表示のオプション機能を説明する図。 第５実施形態に係る再生プログラムにおけるフィールド表示のオプション機能を説明する図。 変形例に係る映像処理装置を説明する図。

以下に、実施形態について図面を参照して説明する。参照される図面は模式的なものである。以下の説明において、同一の機能及び構成を有する要素については、共通する参照符号を付す。参照符号を構成する数字の後のアルファベットは、同じ数字を含んだ参照符号によって参照され、且つ同様の構成を有する要素同士を区別するために使用される。同じ数字を含んだ参照符号で示される要素を相互に区別する必要がない場合、これらの要素は数字のみを含んだ参照符号により参照される。

［１］第１実施形態
以下に、第１実施形態に係る映像処理装置について説明する。

［１−１］構成
［１−１−１］装置構成
まず、図１を用いて映像処理装置の全体構成について説明する。図１には映像処理装置のブロック図が示されている。図１に示すように映像処理装置１は、プロセッサ（ＣＰＵ）１０、ランダムアクセスメモリ（ＲＡＭ）１１、読み出し専用メモリ（ＲＯＭ）１２、記憶部１３、及びディスプレイ１４を備えている。

ＣＰＵ１０は、映像処理装置１全体の動作を制御する。例えばＣＰＵ１０は、ユーザーによる操作や外部の図示せぬホスト機器からの命令に応答して、後述する映像処理に用いるプログラムを実行する。またＣＰＵ１０は、記憶部１３のメモリ空間を管理する。

ＲＡＭ１１は、ＣＰＵ１０の作業領域として使用されるメモリである。ＲＡＭ１１としては、例えばＤＲＡＭ等の半導体メモリが使用される。

ＲＯＭ１２は、制御用のプログラムや制御データ等が予め記憶された不揮発性のメモリである。ＲＯＭ１２は、例えばＢＩＯＳ（Basic Input/Output System）を保持する。

記憶部１３は、ユーザーが解析に使用する映像ファイルや、映像処理によって生成されたデータを記憶する。また記憶部１３は、映像処理に用いる種々のプログラムや、プログラムに関連するデータを保持する。記憶部１３に保持されたプログラムは、映像処理装置１が当該プログラムを実行する際に読み出され、ＲＡＭ１１に展開される。記憶部１３としては、例えばＳＳＤ（Solid State Drive）や、ハードディスクドライブが使用される。尚、記憶部１３はデータを記憶することが可能であれば良く、記憶部１３としてその他の記憶媒体を使用しても良い。

ディスプレイ１４は、ＣＰＵ１０が種々のプログラムに対応するＧＵＩ（Graphical User Interface）等を表示する。例えばディスプレイ１４は、映像処理の結果を再生するために使用される。

尚、以上で説明した映像処理装置１の構成はあくまで一例であり、その他の構成であっても良い。例えば、映像処理装置１が記憶部１３及びディスプレイ１４を備えていなくても良い。この場合、映像処理装置１には、記憶部１３及びディスプレイ１４がそれぞれ外部接続される。

また、以上の説明において、映像処理に用いるプログラムが記憶部１３に記憶されている場合を例に説明したが、これに限定されない。例えば、映像処理装置１が実行するプログラムを、図示せぬネットワーク上のサーバーに保持させても良い。この場合、映像処理装置１が映像処理を実行する際に、種々のプログラムがネットワーク上のサーバーから映像処理装置１に配信される。そして種々のプログラムを受信した映像処理装置１は、これらのプログラムをＲＡＭ１１に展開して、映像処理を実行する。

［１−１−２］プログラム構成
次に、図２を用いて映像処理に用いるプログラムの構成について説明する。図２には、映像処理時にＲＡＭ１１に展開される種々のプログラムが示されている。図２に示すように映像処理を実行する場合にＲＡＭ１１には、メインプログラム２０、分析プログラム２１、再生プログラム２７、及びディスプレイデータ２８が展開される。

メインプログラム２０は、映像処理装置１において映像ファイルの分析処理と、分析処理により得られた分析データの再生処理とを選択的に実行するためのソフトウェアである。以下の説明において映像ファイルは、例えばスポーツの中継等に使用された試合映像であり、動画データ及び音声データを含むものとする。尚、本映像処理に対応する映像ファイルのフォーマットは特に限定されない。

分析プログラム２１は、種々のプログラムを実行することによって映像ファイルを分析するプログラムである。分析プログラム２１は、フィールド検出プログラム２２、物体検出プログラム２３、物***置推定プログラム２４、プレー種別判別プログラム２５、及びシーン分割プログラム２６を含んでいる。尚、この分析プログラム２１の構成はこれに限定されない。例えば、分析プログラム２１が１つのプログラムにより構成されていても良く、プログラム毎に分かれていなくても良い。

分析プログラム２１を実行することにより、ＣＰＵ１０は、図３に示すように例えばフィールド検出部３０、第１物体検出部３１Ａ、第２物体検出部３１Ｂ、チーム種別判別部３２、物***置推定部３３、移動方向推定部３４、移動速度推定部３５、プレー種別判別部３６、特定音検出部３７、及びシーン分割部３８として機能する。尚、本例ではＣＰＵ１０の処理毎に名称を変更して説明するが、ＣＰＵ１０は同時に複数の処理を実行することも可能である。

フィールド検出部３０は、ＣＰＵ１０がフィールド検出プログラム２２を実行することにより実現され、動画に表示されているフィールド領域を検出する。物体検出部３１及びチーム種別判別部３２は、ＣＰＵ１０が物体検出プログラム２３を実行することにより実現される。第１物体検出部３１Ａは、動画に表示されている人物を検出する。第２物体検出部３１Ｂは、動画に表示されているボールを検出する。チーム種別判別部３２は、動画に表示されている人物の種別を判別する。物***置推定部３３は、物***置推定プログラム２４を実行することにより実現され、フィールド、人物、及びボールの検出結果から、選手及びボールの移動軌跡を推定する。移動方向推定部３４、移動速度推定部３５、及びプレー種別判別部３６は、プレー種別判別プログラム２５を実行することにより実現される。移動方向推定部３４は、フィールド、人物及びボールの検出結果から、人物及びボールの移動方向を推定する。移動速度推定部３５は、フィールド、人物、及びボールの検出結果から、人物及びボールの移動速度を推定する。プレー種別判別部３６は、フィールド、人物、及びボールの検出結果から、映像ファイルの各時点におけるプレーの種別を判別する。特定音検出部３７及びシーン分割部３８は、ＣＰＵ１０がシーン分割プログラム２６を実行することにより実現される。特定音検出部３７は、音声データから審判のホイッスル音等の特定音を検出する。シーン分割部３８は、特定音検出部３７が特定音を検出したタイミングに基づいて、映像ファイルのシーンを分割する。

再生プログラム２７は、分析された映像ファイルの再生処理を実行するプログラムである。再生処理には、例えば分析された映像ファイルと、関連付けられた分析データとが使用される。尚、再生処理に映像ファイルと分析データとを用いる場合を例に挙げているが、これに限定されない。例えば、分析データ自体に映像ファイルの動画データ及び音声データを含ませることによって、分析データのみで再生処理を実行することも可能である。

ディスプレイデータ２８は、各種プログラムに関連付けられた画像ファイルを含む。例えばＣＰＵ１０は、各種プログラムを実行した場合にディスプレイデータ２８内の対応する画像ファイルをディスプレイ１４に表示する。

＜フィールドの一例＞
以上で説明された映像処理装置１を用いて分析されるスポーツとしては、例えばラグビーが挙げられる。以下の説明では、ラグビーの試合映像を映像処理装置１によって分析する場合を例に使用する。本例に用いるラグビーのフィールド構成を図４に示す。

図４に示すようにラグビーのフィールドＦＬＤには、ゴールライン４０Ａ及び４０Ｂ、ハーフウェイライン４１、１０メートルライン４２Ａ及び４２Ｂ、２２メートルライン４３Ａ及び４３Ｂ、タッチライン４４Ａ及び４４Ｂ、５メートルライン４５Ａ及び４５Ｂ、並びに１５メートルライン４６Ａ及び４６Ｂが設けられる。そしてゴールライン４０Ａ及び４０Ｂ上にはそれぞれ、ゴールポスト４７Ａ及び４７Ｂが設置される。

フィールドＦＬＤ全体のサイズは、タッチライン４４Ａ及び４４Ｂ間が７０メートル以内、ゴールライン４０Ａ及び４０Ｂ間が１００メートル以内に設定される。尚、フィールドＦＬＤ内のラインのうち、ハーフウェイライン４１と１０メートルライン４２との間隔は試合会場に依らず一定であり、ハーフウェイライン４１と２２メートルライン４３との間隔は試合会場に依らず一定である。同様に、タッチライン４４と５メートルライン４５との間隔試合会場に依らず一定であり、タッチライン４４と１５メートルライン４６との間隔は試合会場に依らず一定である。

［１−２］動作
［１−２−１］メインプログラム２０
次に、図５を用いてメインプログラム２０に基づいた映像処理装置１の動作について説明する。図５には、メインプログラム２０による映像処理装置１の動作フローチャートが示されている。図５に示すようにまずＣＰＵ１０は、ユーザーに動作の選択を要求する（ステップＳ１０）。このときユーザーは、例えば“分析処理”と“再生処理”のいずれかを選択することが出来る。

映像処理装置１がユーザーからの分析処理命令を受け付けると、ＣＰＵ１０はユーザーに分析処理を実行する映像ファイルの選択を要求する。そして映像処理装置１がユーザーによる映像ファイルの選択を受け付けると（ステップＳ１１）、ＣＰＵ１０は分析プログラム２１を実行して映像ファイルを分析する（ステップＳ１２）。この映像ファイルの分析方法の詳細については後述する。映像ファイルの分析が終了すると、ＣＰＵ１０は得られた分析データを映像ファイルに関連付けて記憶部１３に保存し（ステップＳ１３）、メインプログラム２０による処理を終了する。

一方で、映像処理装置１がユーザーからの再生処理命令を受け付けると、ＣＰＵ１０はユーザーに再生処理を実行する分析データの選択を要求する。そして映像処理装置１がユーザーによる分析データの選択を受け付けると（ステップＳ１４）、ＣＰＵ１０は再生プログラム２７を実行して映像ファイルの分析結果を表示する（ステップＳ１５）。この分析結果の表示方法の具体例については後述する。分析データの表示が終了すると、ＣＰＵ１０はメインプログラム２０による処理を終了する。

尚、以上で説明したメインプログラム２０による動作は一例であり、これに限定されない。例えば、ユーザーが分析したい映像ファイルを選択すると、ＣＰＵ１０が分析プログラム２１を実行して、続けて再生プログラム２７を実行するようにしても良い。このように映像処理装置１は、分析したい映像ファイルを選択するだけで当該映像ファイルの分析結果を続けて表示させることも可能である。

［１−２−２］分析プログラム２１
次に、分析プログラム２１に基づいた映像処理装置１の動作について説明する。分析プログラム２１が実行されると、ＣＰＵ１０がフィールド検出プログラム２２、物体検出プログラム２３、及び物***置推定プログラム２４を実行して、フィールド検出部３０、物体検出部３１、及び物***置推定部３３として機能する。この分析処理における映像処理装置１の全体的な動作フローチャートが図６に示されている。尚、個々のステップの詳細については後述する。

図６に示すように、まずフィールド検出部３０が試合映像からフィールド領域を検出する（ステップＳ２０）。そしてフィールド検出部３０は、検出したフィールド領域が対応するフィールド全体からみた座標の情報を算出して、物体検出部３１及び物***置推定部３３に送信する（図示せず）。また物体検出部３１は、試合映像から選手及びボールを検出する（ステップＳ２１）。このとき物体検出部３１は、フィールド検出部３０からの座標情報と、選手及びボールの映像上の位置から、選手及びボールのフィールド上の座標を確定する。そして物***置推定部３３は、物体検出部３１が確定させた選手及びボールの座標情報を受けて、選手及びボールをそれぞれ追跡する（ステップＳ２２）。このステップＳ２０〜Ｓ２２における動作は、本分析処理において継続して実行される。

試合進行に伴い物体検出部３１は、ボールが選手の陰に隠れる等の影響によってボールを見失うことがある（ステップＳ２３）。このとき物***置推定部３３は、物体検出部３１がボールを見失ったことを検知する。そして物***置推定部３３は、物体検出部３１がボールを見失った位置に対して例えば直近にいる選手をボール保持者とみなして追跡する（ステップＳ２４）。

その後、物体検出部３１がボール保持者の近傍でボールを再検出すると（ステップＳ２５）、物***置推定部３３はボールが再検出されたことを検知する。そして物***置推定部３３は、ボール保持者の移動軌跡からボールの位置を推定する（ステップＳ２６）。具体的には、ボールを見失っていた期間におけるボールの移動軌跡を、例えばボール保持者と同じであるとみなす。

このように映像処理装置１は、試合映像でボールが検出されない期間が存在していても、試合中のボールの位置を連続的に把握することが出来る。以下に、本分析処理を実現するためのフィールド検出部３０、物体検出部３１、チーム種別判別部３２、及び物***置推定部３３による映像処理装置１の詳細な動作の一例を順に説明する。

＜フィールド検出部３０＞
まず、図７及び図８を用いてフィールド検出プログラム２２に基づいた映像処理装置１の詳細な動作について説明する。図７にはフィールド検出プログラム２２による映像処理装置１の動作フローチャートが示され、図８にはフィールド検出プログラム２２による分析の対象となるフィールド映像の一例が示されている。

図７に示すようにまずフィールド検出部３０は、動画データからフィールド検出処理を実行するフレームを選択する（ステップＳ３０）。このとき選択されるフレームは、例えば選択された動画データの１フレーム目に対応する。

次にフィールド検出部３０は、当該フレームの映像ＶＴＲからフィールド領域を抽出する（ステップＳ３１）。フィールド領域は、例えばフィールドの色に基づいて映像ＶＴＲから抽出される。このフィールドの色情報はユーザーが予め設定しても良いし、フィールド検出部３０が映像ＶＴＲにおいて広範囲を占める色をフィールドの色とみなしても良い。またフィールド検出部３０は、緑色の面積が大きい領域をフィールドとしてみなしても良い。

次にフィールド検出部３０は、映像ＶＴＲからラインを検出する（ステップＳ３２）。具体的には、例えばステップＳ３１において抽出されたフィールド領域内を、フィールドの色でマスクする。これによりフィールド領域内の前景が抽出され、フィールド検出部３０は前景からフィールド領域内のラインを検出することが可能となる。図８に示す例においてフィールド検出部３０は、横方向に延びるラインＬ１及びＬ２と、縦方向に延びるラインＬ３及びＬ４とを検出している。以下の説明において、ラインＬ１が映像ＶＴＲの外周部に接する領域のことを端部Ｅ１及びＥ２と呼び、ラインＬ２が映像ＶＴＲの外周部に接する領域のことを端部Ｅ３及びＥ４と呼ぶ。

次にフィールド検出部３０は、映像ＶＴＲに表示された領域の座標演算処理を実行する（ステップＳ３３）。座標演算処理は、映像ＶＴＲに表示されたフィールド領域がフィールド全体のどの座標に対応するのかを関連付ける処理である。例えば、図８に示すようにラインＬ１〜Ｌ４が検出された場合、まずフィールド検出部３０はラインＬ１〜Ｌ４がフィールド内のどのラインに対応するかを判別する。

具体的にはフィールド検出部３０は、例えば検出されたラインの間隔や、ラインの線種を確認することによって検出されたラインの種別を確定させる。図８に示す例の場合フィールド検出部３０は、例えば横方向に延びるラインＬ１及びＬ２が実線であることから、ラインＬ１及びＬ２がそれぞれタッチライン４４Ａ及び４４Ｂであることを判別する。またフィールド検出部３０は、縦方向に延びるラインＬ３が実線であり、ラインＬ４が破線であることと、ラインＬ３とラインＬ４の間隔から、ラインＬ３が２２メートルライン４３Ａであり、ラインＬ４が１０メートルライン４２Ａであることを判別する。

そしてフィールド検出部３０は、判別したラインＬ１〜Ｌ４の情報と、映像ＶＴＲの表示領域の情報とから、映像ＶＴＲに表示された領域が、フィールド全体のどの座標に対応するのかを演算する。図８に示す映像ＶＴＲに対して座標演算処理を実行した場合、図９に示すような情報が得られる。図９に示すように二次元フィールドＦＬＤ内には、映像ＶＴＲの端部Ｅ１〜Ｅ４を順に繋いだ領域が示され、映像領域外が斜線でマスクされている。ここで二次元フィールドＦＬＤとは、フィールド全体が表示されたフィールドの画像のことを示している。そしてフィールド検出部３０は、このように関連付けられた映像ＶＴＲの座標データを記憶部１３に保存する。

次にフィールド検出部３０は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ３４）。処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ３４、ＮＯ）、フィールド検出部３０はステップ２０に戻り、続くフレームを選択して同様の処理を実行する。一方で、処理を実行したフレームが最後のフレームに該当した場合（ステップＳ３４、ＹＥＳ）、フィールド検出部３０はフィールド検出プログラム２２の実行を終了する。

尚、上記説明におけるラインの判別方法はあくまで一例であり、これに限定されない。例えば、フィールドＦＬＤ内に設けられたフラグを認識することによってタッチライン４４を判別するようにしても良いし、ゴールポスト４７Ａ及び４７Ｂを認識することによってゴールライン４０Ａ及び４０Ｂ上を判別するようにしても良い。

また、上記説明においてフレーム毎にフィールド検出処理を実行した場合を例に説明したが、これに限定されない。例えばフィールド検出部３０は、フィールドを検出した後の処理において、続くフレームとの映像の差分を確認することによりフィールド及びラインを判別しても良い。

＜物体検出部３１及びチーム種別判別部３２＞
次に、図１０及び図１１を用いて物体検出プログラム２３に基づいた映像処理装置１の詳細な動作について説明する。図１０には物体検出プログラム２３による映像処理装置１の動作フローチャートが示され、図１１には物体検出プログラム２３による分析の対象となる試合映像の一例が示されている。

図１０に示すようにまず物体検出部３１は、動画データから物体検出処理を実行するフレームを選択する（ステップＳ４０）。このとき選択されるフレームは、例えば選択された映像ＶＴＲの１フレーム目に対応する。

次に物体検出部３１は、当該フレームの映像ＶＴＲからフィールド上の物体を抽出する（ステップＳ４１）。このステップＳ４１における画像処理は、図７を用いて説明したステップＳ３２における画像処理と同様であり、フィールド領域内の前景を抽出することにより物体を検出する。

次に物体検出部３１は、フィールド領域内の前景として抽出された物体が人物であるか、ボールであるかを判別する（ステップＳ４２）。具体的には、図１１に示すように第１物体検出部３１Ａが選手Ｐ１〜Ｐ８を判別し、第２物体検出部３１ＢがボールＢＬを判別する。また第１物体検出部３１Ａは、選手が複数人接触しているような状況を確認した場合、その複数の選手の塊を密集ＨＤとして認識する。この密集ＨＤは、ラグビーの場合スクラム、ラック、モール等に対応している。

そしてチーム種別判別部３２が、抽出した選手の色情報からチーム種別を判別する（ステップＳ４３）。具体的にはチーム種別判別部３２が、例えば選手Ｐ１〜Ｐ８が検出された矩形の領域において、似た特徴の色情報を有する人物をグループ分けする。図１１に示す例では選手Ｐ１〜Ｐ４が黒色のユニフォームを身につけ、選手Ｐ５〜Ｐ８が白色のユニフォームを身につけていることから、チーム種別判別部３２は選手Ｐ１〜Ｐ４をＡチームに分類し、選手Ｐ５〜Ｐ８をＢチームに分類する。

次に物体検出部３１は、フィールド上に検出された物体の座標を算出する（ステップＳ３４）。具体的には、フィールド検出プログラム２２によって得られたフィールド領域の座標情報に基づいて、第１物体検出部３１Ａが選手Ｐ１〜Ｐ８及び密集ＨＤの二次元フィールドＦＬＤ上における座標を算出し、第２物体検出部３１ＢがボールＢＬの二次元フィールドＦＬＤ上における座標を算出する。図１１に示す映像ＶＴＲに対して座標演算処理を実行した場合、図１２に示すような情報が得られる。図１２に示すように二次元フィールドＦＬＤ内には、選手Ｐ１〜Ｐ４が黒丸で示され、選手Ｐ５〜Ｐ８が白丸で示され、密集ＨＤが破線の円で示され、ボールＢＬが楕円で示されている。そして物体検出部３１は、このように関連付けられた選手Ｐ１〜Ｐ８、密集ＨＤ、及びボールＢＬの情報を記憶部１３に保存する。

次に物体検出部３１は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ４５）。処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ４５、ＮＯ）、ステップ４０に戻り、物体検出部３１は続くフレームを選択して同様の処理を実行する。一方で、処理を実行したフレームが最後のフレームに該当した場合（ステップＳ４５、ＹＥＳ）、物体検出部３１は物体検出プログラム２３の実行を終了する。

尚、以上で説明したステップＳ４１において第２物体検出部３１Ｂは、例えば予め登録されたボールの大きさ、形状、及び色情報に基づいてボールを探索して検出する。このボールの情報は、ユーザーによって入力されても良いし、ユーザーが幾つかのメーカー、型番等の情報を選択して、プリセットされたデータが参照されるようにしても良い。

また、以上の説明において第１物体検出部３１Ａが複数の選手の塊を密集ＨＤとして認識する場合を例に説明したが、第１物体検出部３１Ａが密集とみなす人数は２人以上に限定されず、任意の人数に設定することが出来る。

また、以上で説明したステップＳ３１及びＳ３２において、第１物体検出部３１Ａが検出する人物としては、選手以外にも主審、線審、リザーブの選手等が検出されることがある。この場合に第１物体検出部３１Ａは、例えば主審及び線審がＡチーム及びＢチームの選手と異なる色情報を有することと、当該グループに属する物体の人数等から、主審及び線審を判別することが出来る。また、第１物体検出部３１Ａは、例えばフィールド領域のうちタッチライン４４より外側にいる人物をその時点でプレーをしていない選手であるとみなすことによって、リザーブの選手を判別することが出来る。

また、上記説明においてフレーム毎に物体検出処理を実行した場合を例に説明したが、これに限定されない。例えば物体検出部３１は、物体を検出した後の処理において、続くフレームとの映像の差分を確認することにより選手及びボールを判別しても良い。

＜物***置推定部３３＞
次に、図１３を用いて物***置推定プログラム２４に基づいた映像処理装置１の詳細な動作について説明する。図１３には、物***置推定プログラム２４による映像処理装置１の動作フローチャートが示されている。

図１３に示すようにまず物***置推定部３３は、動画データから物***置推定処理を実行するフレームを選択する（ステップＳ５０）。次に物***置推定部３３は、物体検出プログラム２３によって算出された選手及びボールの座標情報を参照して追跡する（ステップＳ５１）。

次に物***置推定部３３は、当該フレームの映像ＶＴＲにおいて、ボールが検出されたかどうかを確認する（ステップＳ５２）。

ステップＳ５２においてボールが検出されなかった場合（ステップＳ５２、ＮＯ）、物***置推定部３３は、ボール保持者が設定されているかどうかを確認する（ステップＳ５３）。ボール保持者が設定されていない場合（ステップＳ５３、ＮＯ）、物***置推定部３３は、ボールを見失った場所に最も近い選手をボール保持者とみなしてボール保持者情報を付与する（ステップＳ５４）。そして物***置推定部３３は、ステップＳ５３においてボール保持者が設定されていなかった場合（ステップＳ５３、ＹＥＳ）と、ステップＳ５４の処理後に、ステップＳ５６に移行する。

ステップＳ５２においてボールが検出された場合（ステップＳ５２、ＹＥＳ）、物***置推定部３３は、ボール保持者設定がされている場合にはその設定を解除して、当該選手のボール保持者としての追跡を停止する（ステップＳ５５）。つまり選手に付与されたボール保持者情報は、ボールが再検出された時点で解除される。そして物***置推定部３３は、ステップＳ５５の処理後に、ステップＳ５６に移行する
ステップＳ５５において物***置推定部３３は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ５５）。

処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ５６、ＮＯ）、ステップＳ５０に戻り、物体検出部３１は続くフレームを選択して、同様の処理を実行する。

処理を実行したフレームが最後のフレームに該当した場合（ステップＳ５６、ＹＥＳ）、物***置推定部３３はボール保持者の情報から、動画データにおけるボールの位置を推定する（ステップＳ５７）。そして物***置推定部３３は、推定した選手及びボールの移動軌跡の情報を記憶部１３に保存して、物***置推定プログラム２４の実行を終了する。

以上で説明した物***置推定プログラムによってボール保持者が設定される状況の具体例を、図１４及び図１５を用いて説明する。

図１４は、見失う前のボールＢＬ付近に密集ＨＤがない場合の一例である。図１４の（１）には選手Ｐ１及びＰ２が示され、選手Ｐ１がボールＢＬを保持している状況が示されている。この状況から、選手Ｐ１が保持していたボールＢＬが映像から見えなくなったと仮定する。すると図１４の（２）に示すように、物***置推定部３３は、見失ったボールＢＬの直近にいた選手Ｐ１にボール保持者情報を付与し、選手Ｐ１をボール保持者として追跡する。

図１５は見失う前のボールＢＬ付近に密集ＨＤがある場合の一例である。図１５の（１）にはＡチームの選手Ｐ１〜Ｐ３、Ｂチームの選手Ｐ４〜Ｐ６、及び密集ＨＤが示され、選手Ｐ１がボールＢＬを保持している状況が示されている。この状況から、選手Ｐ１が保持していたボールＢＬが映像から見えなくなったと仮定する。すると図１５の（２）に示すように、物***置推定部３３は、見失ったボールＢＬの付近にあった密集ＨＤにボール保持者情報を付与し、密集ＨＤをボール保持者として追跡する。

このようにボール保持者情報を付与する対象は、見失ったボール付近の密集ＨＤの有無によって変更してもよい。尚、本例における「付近」の指定する範囲は、任意の数値に設定することが出来る。

［１−３］第１実施形態の効果
ラグビー等のスポーツにおける試合映像では、ボールが選手やボール付近に形成された密集（スクラム、モール、ラック等）の陰に隠れて見えなくなることがある。

そこで第１実施形態に係る映像処理装置１は、スポーツの試合映像の分析処理において、ボールを見失った場合にボール保持者を設定して追跡する。具体的には、物体検出部３１が常にボール及び選手の検出を実行して、物体検出部３１がボールを検出できない場合に、物***置推定部３３が最後にボールを検出した位置に最も近い選手に対してボール保持者情報を付与して追跡する。そして物***置推定部３３は、設定したボール保持者情報を、物体検出部３１がボールを再検出するまで維持する。

これにより物***置推定部３３は、物体検出部３１が検知できなかったボールの軌跡を補間することが出来る。言い換えると物***置推定部３３は、ボールを見失った際にボール保持者を追跡することによって、ボールの移動軌跡を連続的に把握することが可能となる。つまり第１実施形態に係る映像処理装置１は、スポーツの試合映像の分析処理におけるボールの追跡精度を向上することが出来る。

また、第１実施形態に係る映像処理装置１は、ボール保持者を設定することによって、見失ったボールを探索する領域を狭くすることが出来る。具体的には、映像から見えなくなったボールは、近くにいた選手（ボール保持者）が保持している可能性が高く、ボール保持者の近傍から再検出される可能性が高い。つまり映像処理装置１は、物体検出部３１Ａがボール保持者情報を参照して、ボール保持者情報が付与された選手の近傍からボールを探すことによって、ボールの検出精度を向上し、且つボールを検出する速度を早くすることが出来る。

［２］第２実施形態
次に、第２実施形態に係る映像処理装置１について説明する。第２実施形態に係る映像処理装置１は、第１実施形態で説明した映像処理装置１において、複数のボール保持者を設定するものである。

［２−１］動作
まず、図１６を用いて物***置推定プログラム２４に基づいた映像処理装置１の動作において、ボール保持者を複数設定する場合について説明する。図１６には、図１３におけるステップＳ５０〜Ｓ５６のループが繰り返されている間に、映像処理装置１が追加で処理する動作のフローチャートが示されている。

物***置推定部３３は、ボール保持者の付近を選手が通過した場合に図１６に示す動作を実行する。具体的には物***置推定部３３は、ボール保持者の付近を選手が通過した選手に対して、追加でボール保持者情報を付与する（ステップＳ６０）。つまりステップＳ６０の動作が実行されると、複数のボール保持者が存在する状況になる。

物***置推定プログラム２４の進行に伴い、見失っていたボールが再検出されると（ステップＳ６１）、物***置推定部３３はボール保持者が複数存在した期間のボール保持者情報を修正する（ステップＳ６２）。具体的には、物***置推定部３３は当該期間において、実際にボールを保持していたと推測されるボール保持者以外の選手のボール保持者としての履歴を消去する。そして物***置推定部３３は、図１３を用いて説明した物***置推定処理を継続する。このようにボール保持者を複数設定する状況の具体例が、図１７に示されている。

図１７は、一人のボール保持者が他の選手と交差する場合の一例である。図１７の（１）には選手Ｐ１及びＰ２が示され、選手Ｐ１にボール保持者情報が付与されている状況が示されている。この状況から、選手Ｐ２が選手Ｐ１の付近を通過する。すると図１７の（２）に示すように、物***置推定部３３は、ボール保持者である選手Ｐ１と交差した選手Ｐ２に対してもボール保持者情報を付与し、選手Ｐ１と選手Ｐ２の両選手をボール保持者として追跡する。そして続く状況において選手Ｐ２の付近からボールＢＬが再検出されると、物***置推定部３３は（２）以降におけるボール保持者は選手Ｐ２であると推定する。つまり物***置推定部３３は（１）〜（２）の期間におけるボール保持者が選手Ｐ１であり、（２）以降におけるボール保持者が選手Ｐ２であるとみなせるため、ボールＢＬの軌跡が図１７の（３）に示す破線のような軌跡であると推測することが出来る。

以上のように物***置推定部３３は、複数のボール保持者情報から正しいボール保持者情報を抽出することが出来る。尚、映像処理装置１は、複数のボール保持者からボール保持者の候補を絞る方法として、図１８〜図２０に示すような方法を適用してもよい。

図１８に示す方法は、複数のボール保持者の速度情報から正しいボール保持者を推測するものである。図１８の（１）には選手Ｐ１及びＰ２が示され、選手Ｐ１及びＰ２の両方共にボール保持者情報が付与されている状況が示されている。この状況から、移動速度推定部３５が選手Ｐ１と選手Ｐ２の速度を算出し、物***置推定部３３が選手Ｐ１と選手Ｐ２の速度を比較する。そして物***置推定部３３は、例えば選手Ｐ１の方が選手Ｐ２よりも移動速度が早いことを検知すると、図１８の（２）に示すように選手Ｐ２に対してボール保持者としての追跡を停止する。尚、物***置推定部３３が速度を比較する方法としては、移動速度推定部３５が選手Ｐ１と選手Ｐ２の具体的な速度を算出することにより比較しても良いが、これに限定されない。例えば、移動速度推定部３５が選手Ｐ１と選手Ｐ２との相対的な速度の関係を物***置推定部３３に通知することにより、物***置推定部３３がボール保持者の候補を絞るようにしても良い。また、物***置推定部３３が複数のボール保持者の移動速度を比較するタイミングは、複数のボール保持者が発生してから所定の時間経過後とされる。この所定の時間を指定するフレーム数は適宜変更することが可能である。また、物***置推定部３３は、複数のボール保持者の移動速度の差がある閾値を超えた場合に、ボール保持者の候補を限定するようにしても良い。

図１９に示す方法は、複数のボール保持者のその後のプレーから正しいボール保持者を推測するものである。図１９の（１）にはＡチームの選手Ｐ１及びＰ２と、Ｂチームの選手Ｐ３及びＰ４が示され、選手Ｐ１と選手Ｐ２にボール保持者情報が付与されている状況が示されている。この状況から、Ａチームの選手Ｐ１とＢチームの選手Ｐ３とが接触して密集ＨＤを形成されると、物***置推定部３３は、図１９の（２）に示すようにボール保持者である選手Ｐ１が形成した密集ＨＤをボール保持者とみなし、選手Ｐ２に対してボール保持者としての追跡を停止する。

図２０に示す方法は、密集を起点として複数のボール保持者が発生した場合における正しいボール保持者を推測するものである。図２０の（１）にはＡチームの選手Ｐ１及びＰ２と、Ｂチームの選手Ｐ３及びＰ４と、密集ＨＤ１が示され、選手Ｐ１と密集ＨＤ１にボール保持者情報が付与されている状況が示されている。この状況から、Ａチームの選手Ｐ１とＢチームの選手Ｐ３とが接触して密集ＨＤを形成されると、物***置推定部３３は、図２０の（２）に示すようにボール保持者である選手Ｐ１が新たに形成した密集ＨＤ２をボール保持者とみなし、密集ＨＤ１に対してボール保持者としての追跡を停止する。

［２−２］第２実施形態の効果
第２実施形態に係る映像処理装置１は、物***置推定部３３がボール保持者付近を通過した選手にもボール保持者情報を付与することにより、一時的に複数のボール保持者を追跡する。そしてボールが再検出された場合に、複数のボール保持者が設定されていた期間におけるボール保持者情報を修正する。

これにより第２実施形態に係る映像処理装置１は、第１実施形態よりもボールの追跡精度を向上することが出来、物体検出部３１が見失ったボールを再検出する精度を向上することが出来る。そして第２実施形態に係る映像処理装置１は、試合中のより精確なボールの軌跡を把握することが出来る。

［３］第３実施形態
次に、第３実施形態に係る映像処理装置１について説明する。第３実施形態に係る映像処理装置１は、第１実施形態で説明した映像処理装置１において、分析プログラム２１を実行する際にさらにプレー種別判別プログラム２５を実行するものである。

［３−１］動作
まず、図２１を用いてプレー種別判別プログラム２５に基づいた映像処理装置１の動作について説明する。図２１には、プレー種別判別プログラム２５による映像処理装置１の動作フローチャートが示されている。

図２１に示すようにまずプレー種別判別部３６は、動画データからプレー種別判別処理を実行するフレームを選択する（ステップＳ７０）。

次にプレー種別判別部３６は、物体検出プログラム２３によって識別された物体の種別を確認する（ステップＳ７１）。具体的には、検出された物体のうち選手とボールとを確認する。尚、ボールが検出されなかった場合には、物***置推定プログラム２４の分析結果からボール保持者情報を取得する。

次にプレー種別判別部３６は、移動方向推定部３４が算出した物体の移動速度を確認し（ステップＳ７２）、さらに移動速度推定部３５が算出した物体の移動方向を確認する（ステップＳ７３）。そしてプレー種別判別部３６は、物体検出部３１が検出した物体の位置情報と、確認した物体の移動方向及び移動速度とから、その時点におけるプレー種別を判別する（ステップＳ７４）。ここでプレー種別判別部３６が判別するプレーの種別としては、例えば“ラン”、“パス”、及び“キック”が挙げられる。

“ラン”の判定基準は、例えば図２２に示す条件に設定される。図２２には、選手Ｐ１及びＰ２が示され、選手Ｐ１がボールＢＬを保持している状況が示されている。そして選手Ｐ１と選手Ｐ２は、敵陣の方向に走っている。この状況においてプレー種別判別部３６は、選手Ｐ１とボールＢＬが略同じ速度且つ略同じ方向に移動していることを認識して、プレーの種別が“ラン”であると判定する。

“パス”の判定基準は、例えば図２３に示す条件に設定される。図２３には、選手Ｐ１及びＰ２が示され、選手Ｐ１が選手Ｐ２に向かってボールＢＬをパスしている状況が示されている。この状況においてプレー種別判別部３６は、選手Ｐ１から離れたボールＢＬがオフサイドライン５０より後方を移動していることを認識して、プレーの種別が“パス”であると判定する。

“キック”の判定基準は、例えば図２４に示す条件に設定される。図２４には、選手Ｐ１及びＰ２が示され、選手Ｐ１が走り込んできた選手Ｐ２の前方に向かってボールＢＬをキックしている状況が示されている。この状況においてプレー種別判別部３６は、選手Ｐ１から離れたボールＢＬがオフサイドライン５０より前方を移動していることを認識して、プレーの種別が“キック”であると判定する。

以上のようにプレー種別判別部３６はその時点におけるプレー種別を判別して、判別したプレー種別の情報を記憶部１３に保存する。プレー種別判別プログラム２５を実行することにより得られた情報は、例えば図２５に示すように記録される。図２５には、プレー種別判別プログラム２５による分析結果を示すテーブルの一例が示されている。

図２５に示すプレー種別判別プログラム２５の分析結果では、プレー種別が変化する時点のフレーム数が記録されている。例えば、動画データのフレーム数が６０の時点で、プレー種別が“キック”となっている。そしてフレーム数が“４２０”の時点で、プレー種別が“ラン”に変わっている。このような場合、フレーム数が“６０”から“４２０”までの期間は、プレー種別が“キック”であったことを示している。続くフレームにおけるプレー種別についても同様である。尚、プレー種別判別プログラム２５の分析結果の記録方法はこれに限定されず、例えば全てのフレームにおいて、対応するプレー種別を記録するようにしても良い。

そして物体検出部３１は、これまで処理を実行したフレームが最後のフレームであるかどうかを確認する（ステップＳ７５）。処理を実行したフレームが最後のフレームに該当しなかった場合（ステップＳ７５、ＮＯ）、ステップ７０に戻り、プレー種別判別部３６は続くフレームを選択して同様の処理を実行する。一方で、処理を実行したフレームが最後のフレームに該当した場合（ステップＳ７５、ＹＥＳ）、プレー種別判別部３６はプレー種別判別プログラム２５の実行を終了する。

尚、以上で説明した“パス”及び“キック”の判別する方法として、さらに移動速度の情報を使用することも可能である。例えば、“キック”の速度は“パス”の速度よりも速いことが予想されることから、選手から離れたボールＢＬの移動速度に対して所定の閾値を設定する。そして、例えばボールの速度が当該閾値より高い場合に“キック”と判定し、当該閾値以下の場合に“パス”と判定する。これにより、プレー種別判別部３６は“パス”及び“キック”の判定精度を向上することが出来る。

［３−２］第３実施形態の効果
第３実施形態に係る映像処理装置１は、移動方向推定部３４及び移動速度推定部３５により算出されたボールの移動方向及び移動速度に基づいて、プレー種別判別部３６が試合映像の各時点におけるプレーの種別を自動で判定する。これにより第３実施形態に係る映像処理装置１は、ユーザーが試合映像を分析する負荷を軽減することが出来る。

［４］第４実施形態
次に、第４実施形態に係る映像処理装置１について説明する。第４実施形態に係る映像処理装置１は、第１実施形態で説明した映像処理装置１において、分析プログラム２１を実行する際にさらにシーン分割プログラム２６を実行するものである。

［４−１］動作
まず、図２６を用いてシーン分割プログラム２６に基づいた映像処理装置１の動作について説明する。図２６には、シーン分割プログラム２６による映像処理装置１の動作フローチャートが示されている。

図２６に示すようにまず特定音検出部３７は、映像ファイルにおける音声データを解析する（ステップＳ８０）。具体的には特定音検出部３７は、例えば音声データの開始から終了までの音声の波形を確認する。そして特定音検出部３７は、解析した音声データにおいて特定音が検出されたかどうかを確認する（ステップＳ８１）。この特定音としては、例えば試合中に用いられる審判のホイッスル音が挙げられ、特定音検出部３７はホイッスル音に対応する特定周波数の音を検出する。

特定音が検出された場合（ステップＳ８１、ＹＥＳ）、特定音検出部３７は、特定音が検出された時点に対応する動画データのフレーム数をシーン分割部３８に通知する。すると通知を受けたシーン分割部３８は、当該フレームを基準として映像ファイルのシーンを分割する（ステップＳ８２）。ここで「シーン」とは一つのプレーの区切りを示し、具体的にはホイッスル音によって区切られた映像の期間を示している。

ステップＳ８１において特定音が検出されなかった場合（ステップＳ８１、ＮＯ）、又はステップＳ８２におけるシーン分割処理が終了した後に、特定音検出部３７は音声の解析が全て終了したかどうかを確認する（ステップＳ８３）。ここで音声の解析が終了していなかった場合（ステップＳ８３、ＮＯ）、ステップＳ８０に戻り、特定音検出部３７及びシーン分割部３８により同様の処理が繰り返される。一方で、音声の解析が終了した場合（ステップＳ８３、ＹＥＳ）、特定音検出部３７はシーン分割プログラム２６の実行を終了する。

以上で説明したシーン分割処理の具体例が図２７に示されている。図２７には、映像ファイルの進行状態と、時間軸とが表示されている。

図２７に示すように時刻ｔ０において試合の映像が開始し、時刻ｔ１において試合開始のホイッスル音を特定音検出部３７が検出する。するとシーン分割部３８は、時刻ｔ１において映像ファイルのシーンを分割する。以降も同様に、特定音検出部３７が特定音を検出した時刻ｔ２及びｔ３において、シーン分割部３８が映像ファイルを分割する。図２７に示す例では、時刻ｔ３と時刻ｔ４との間の情報は省略され、時刻ｔ４において試合終了のホイッスルを特定音検出部３７が検出する。そして、時刻ｔ５において映像が終了している。このような処理によって映像ファイルは、図２７に示すようにシーン１〜シーンｎ（ｎは５以上の整数）に分割される。

そして分割されたシーンは、分析プログラム２１終了後にユーザーがタグ情報を付与することが出来る。分割されたシーンに対してタグ情報を付与した場合の一例が、図２８に示されている。図２８に示すようにタグ情報は、シーン毎に付与される。タグ情報としては、例えば試合開始や試合終了等の情報や、スクラム、ラインアウト、トライ等のプレー種別の情報が使用される。

尚、特定音検出部３７が検出する特定音の情報は、ユーザーによって直接指定された特定の周波数を用いても良い。また特定音の情報として、ユーザーによって選択されたホイッスルのメーカー、型番等の情報に基づいて、プリセットされた周波数情報が使用されるようにしても良い。

［４−２］第４実施形態の効果
第４実施形態に係る映像処理装置１は、特定音検出部３７が試合映像から特定音を検出したタイミングに基づいて、シーン分割部３８が試合映像のシーンを自動で分割する。これにより第３実施形態に係る映像処理装置１は、試合映像におけるプレーの区切りを簡便に構造化することが出来、ユーザーが試合映像を分析する負荷を軽減することが出来る。

［５］第５実施形態
次に、第５実施形態に係る映像処理装置１について説明する。第５実施形態に係る映像処理装置１は、第１〜第４実施形態で説明した映像処理装置１における分析結果を表示する再生プログラム２７の実行例である。

［５−１］動作
まず、図２９を用いて再生プログラム２７に基づいた映像処理装置１の動作について説明する。図２９には、再生プログラム２７によりディスプレイ１４上に表示される画面の一例が示されている。

図２９に示すように再生プログラム２７が実行されると、ディスプレイ１４上には例えば映像表示領域６０、映像コントロール部６１、フィールド表示領域６２、タグ選択領域６３、及びサムネイル領域６４が表示される。

映像表示領域６０は、分析された動画データを表示する領域である。この領域６０においてＣＰＵ１０は、ユーザーによる設定に基づいて分析プログラム２１による物体の検出結果をオーバーレイ表示させることが出来る。このオーバーレイ表示の設定としては、例えば物体の種別毎に、検出した選手の位置を示す枠の大きさ、形状、色等が指定される。

映像コントロール部６１には、映像表示領域６０において再生する映像をコントロールするボタンが表示されている。ＣＰＵ１０は、ユーザーによって映像コントロール部６１における再生ボタン、一時停止ボタン、停止ボタン、及びプログレスバーが操作されたことを検知すると、領域６０に表示された映像に対して各ボタンに対応する動作を適用する。

フィールド表示領域６２は、分析プログラム２１の分析結果を表示する領域である。具体的には、領域６２には二次元フィールドが表示され、領域６０で表示している時刻において選手、密集、及びボールが位置する座標にアイコンを表示する。この領域６２における選手、密集、及びボールの表示方法としては、領域６０と同様に、物体の種別毎にアイコンの大きさ、形状、色等を指定することが出来る。またＣＰＵ１０は、領域６０に表示されているフィールド領域を、領域６２に示しても良い。この場合ＣＰＵ１０は、例えば図９に示すように映像の領域外をマスクして表示させる。

タグ選択領域６３は、分析プログラム２１実行後にユーザーが付与したタグ情報を表示する領域である。ＣＰＵ１０は、ユーザーによって領域６３に表示されたタグ情報が選択されたことを検知すると、選択されたタグ情報に対応するシーンのサムネイルをサムネイル領域６４に表示させる。尚、ＣＰＵ１０は、サムネイル領域６４に表示された複数のサムネイルに対して、そのシーンの開始時刻をオーバーレイ表示させても良い。そしてＣＰＵ１０は、ユーザーによって、領域６４におけるサムネイルのいずれかが選択されたことを検知すると、そのサムネイルに対応するシーンの映像を領域６０に表示する。

尚、ＣＰＵ１０は、ユーザーによる設定に基づいて、図３０に示すようにライン及びグリッドを映像表示領域６０上にオーバーレイ表示させることが出来る。図３０は、図８で示した映像に対してライン及びグリッドをオーバーレイ表示させた場合の一例である。本例においてＣＰＵ１０は、１０メートルライン４２Ａ、２２メートルライン４３Ａ、５メートルライン４５及び４５Ｂ、並びに１５メートルライン４６Ａ及び４６Ｂに異なるラインをオーバーレイ表示して、フィールドの縦方向及び横方向にそれぞれグリッドＧＤをオーバーレイ表示している。またＣＰＵ１０は、ラインの種類毎にオーバーレイ表示させるラインの線種、太さ、及び色等を変更することが可能であり、同様にグリッドの線種、太さ、色、表示間隔等も変更することが可能である。

また、ＣＰＵ１０は、ユーザーによる設定に基づいて、図３１に示すようにフィールド表示領域６２上に選手及びボールの軌跡を表示させることが出来る。図３１は、図１２で示した例に対して選手及びボールＢＬの移動軌跡ＴＲを追加して、フィールド表示領域６２に表示させた場合の一例である。図３１に示すようにＣＰＵ１０は、フィールド表示領域６２上に選手Ｐ１〜Ｐ８、及びボールＢＬの軌跡ＴＲを表示させることが出来る。またＣＰＵ１０は、物体の種別毎に軌跡ＴＲの線種、太さ、色等を変更することが可能である。本例において選手Ｐ１〜Ｐ８の軌跡ＴＲは実線の矢印で示され、ボールＢＬに対応する軌跡ＴＲは破線の矢印で示されている。さらにＣＰＵ１０は、この移動軌跡ＴＲについて、現在表示しているフレームから過去何フレーム分表示させるかを、任意の期間に設定することが出来る。

尚、図３１において密集ＨＤに含まれた選手が省略されているが、ＣＰＵ１０は密集ＨＤに含まれた選手を省略せずに表示することも出来る。この場合にＣＰＵ１０は、例えば密集ＨＤを示す破線の円の中に、選手を示す黒丸及び白丸を表示させる。

また、上記説明において二次元フィールドに分析結果を表示させた場合を例に説明したが、これに限定されない。例えば、フィールド全体を３Ｄの斜視図で表現し、同様の情報を表示させるようにしても良い。

［５−２］第５実施形態の効果
第５実施形態に係る映像処理装置１は、試合映像と、第１〜第４実施形態における試合映像の分析結果とを併せて表示することが出来る。具体的には映像処理装置１は、試合映像と、試合映像に対応する時刻における選手及びボール等の情報をマッピングした二次元フィールドとを同時に表示することが出来る。また映像処理装置１は、表示している試合映像にグリッド等をオーバーレイ表示させることが出来、さらに二次元フィールド上にマッピングした選手及びボールに対して移動軌跡を表示することが出来る。

これにより第５実施形態に係る映像処理装置１は、ユーザーが試合映像からプレー要因を分析することを助けることが出来るため、ユーザーのチーム強化などに寄与する試合映像の分析時間を大幅に短縮することが出来る。

また、第５実施形態に係る映像処理装置１では、一覧表示されたシーンのサムネイル画像から、ユーザーが所望のシーンを選択して再生することが出来る。これにより第５実施形態に係る映像処理装置１は、ユーザーが参照したいシーンを容易に見つけ出すことが出来るため、ユーザーが試合映像を分析する効率を向上することが出来る。

［６］変形例等
上記実施形態の映像処理プログラムは、スポーツを撮影した映像を処理するためにコンピュータに、映像から第１物体＜BL、図11＞と、第１物体と異なる複数の第２物体＜P1-P8、図11＞とを検出させ、検出された第１物体、及び複数の第２物体の位置を推定させることを映像におけるフレーム毎に繰り返し、あるフレームにおいて第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、第１物体の近傍に位置する第２物体が第１物体を保持しているとみなす＜ボール保持者、図14＞。

これにより、スポーツの試合映像から検出したボールを追跡し続けることが可能な映像処理プログラムを提供することが出来る。

尚、上記実施形態において、映像処理装置１によって映像処理を実行する場合を例に説明したが、これに限定されない。例えばユーザーは、図３２に示すようにクラウドサービスを利用することによって映像処理を実行しても良い。図３２には、ユーザーの所有するコンピュータＰＣと、クラウドサービスに利用されるサーバーＳＶと、コンピュータＰＣとサーバーＳＶとの間を接続する通信ネットワークＮＷが示されている。この場合、上記実施形態において説明した映像処理に用いるプログラムはサーバーＳＶ側で管理される。そしてユーザーは通信ネットワークＮＷを介してサーバーＳＶにアクセスし、分析したい試合映像のファイルをサーバーＳＶ側にアップロードすることによって、上記実施形態で説明した処理を実行することが出来る。尚、クラウドサービスの利用方法はこれに限定されず、種々の利用方法が考えられる。例えば、映像処理において、実行するプログラムをユーザーのコンピュータＰＣとサーバーＳＶ側とで分担して処理するようにしても良い。

また、上記実施形態において、映像処理装置１の映像処理を映像ファイルの開始から終了までの全てを対象とした場合を例に説明したが、これに限定されない。例えば、映像処理装置１は、ユーザーによって設定された任意の期間に基づいて、当該期間のみ分析処理を実行するようにしても良い。

また、上記実施形態において、各種映像処理がソフトウェアで実行される場合を例に説明したが、これに限定されない。例えば、一部の処理を専用のハードウェアにより実現しても良いし、全ての処理を専用のハードウェアにより実現しても良い。例えば、映像処理において、フィールド検出部３０として機能する回路や、物体検出部３１として機能する回路を利用することが可能である。その他の処理についても同様である。これらのハードウェアは、映像処理装置１に内蔵されていても良いし、外部接続により利用しても良い。

また、上記実施形態において、各種プログラムの説明に用いたフローチャートは一例であり、これに限定されない。例えば、各フローチャートにおける処理は、可能な限り処理の順番を入れ替えることが可能である。例えば、図１３を用いて説明したステップＳ５７の処理は、ステップＳ５５とステップＳ５６の間に実行されても良い。

また、上記実施形態において、ボールを検出出来なくなった直後にボール保持者を設定する場合を例に説明したが、これに限定されない。例えば、動画からボールを検出出来ない期間が所定のフレーム数以上に達した場合に、ボール保持者の設定をするようにしても良い。また、ボールが検出出来なくなった時点の前後で所定のフレーム数ボールが検出されていた場合に、その前後でボールが検出された位置から、現在のフレームにおけるボールの位置を線形補間することも出来る。

また、上記実施形態において、各種プログラムは可能な限り平行して実行することが可能である。また、各種プログラムが共通の情報を取得する必要がある場合、当該情報をプログラム間で共有することも出来る。また、上記実施形態において説明したフィールド検出方法、物体検出方法はあくまで一例であり、これに限定されない。フィールド、選手、ボールを検出することが出来れば、それぞれ異なる方法を用いても良い。

また、上記実施形態において、「色情報」とは、例えば色ヒストグラムのことを示している。つまりチーム種別判別部３２は、例えば検出した各選手の色ヒストグラムから、特定の波形を検出することによって、グループ分けをすることが出来る。

尚、本発明の実施形態を説明したが、この実施形態は例として提示したものであり、発明の範囲を限定することは意図していない。この実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

１…映像処理装置、１０…ＣＰＵ、１１…ＲＡＭ、１２…ＲＯＭ、１３…記憶部、１４…ディスプレイ、２０…メインプログラム、２１…分析プログラム、２２…フィールド検出プログラム、２３…物体検出プログラム、２４…物***置推定プログラム、２５…プレー種別判別プログラム、２６…シーン分割プログラム、２７…再生プログラム、２８…ディスプレイデータ、３０…フィールド検出部、３１…物体検出部、３２…チーム種別判別部、３３…物***置推定部、３４…移動方向推定部、３５…移動速度推定部、３６…プレー種別判別部、３７…特定音検出部、３８…シーン分割部。

Claims (14)

1. スポーツを撮影した映像を処理するためにコンピュータに、
   前記映像から第１物体を検出させ、
   前記映像から、前記第１物体と異なる複数の第２物体を検出させ、
   前記検出された第１物体の位置、及び前記検出された複数の第２物体の位置を推定させることを、前記映像におけるフレーム毎に繰り返し、
   あるフレームにおいて前記第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第１物体の近傍に位置する第２物体が前記第１物体を保持しているとみなし、
   前記複数の第２物体は、第３及び第４物体を含み、
   前記第３物体が前記第１物体を保持しているとみなして追跡している際に前記第３物体と前記第４物体とが近接した場合に、前記第４物体も前記第１物体を保持しているとみなして追跡させ、前記映像における第１時間経過後に前記第３物体の移動速度と前記第４物体の移動速度とを比較させ、前記第３及び第４物体のうち移動速度が速い方の追跡を継続させ、移動速度が遅い方の追跡を停止させる、映像処理プログラム。
2. スポーツを撮影した映像を処理するためにコンピュータに、
   前記映像から第１物体を検出させ、
   前記映像から、前記第１物体と異なる複数の第２物体を検出させ、
   前記検出された第１物体の位置、及び前記検出された複数の第２物体の位置を推定させることを、前記映像におけるフレーム毎に繰り返し、
   あるフレームにおいて前記第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第１物体の近傍に位置する第２物体が前記第１物体を保持しているとみなし、
   前記複数の第２物体は、第３及び第４物体を含み、
   前記第３物体が前記第１物体を保持しているとみなされた後に前記第３物体と前記第４物体とが接触した場合に、前記第３物体と前記第４物体とを含む密集が前記第１物体を保持しているとみなす、映像処理プログラム。
3. 前記第１物体を保持しているとみなされた前記第２物体を、後続するフレームにおいて、次に前記第１物体が検出されるまで前記第１物体を保持しているものとして追跡させる、請求項１又は請求項２に記載の映像処理プログラム。
4. 前記第１物体を検出出来なくなる前のフレームにおいて、前記複数の第２物体のうち前記第１物体に最も近い第２物体が、前記第１物体を保持しているとみなされる、請求項１乃至請求項３のいずれかに記載の映像処理プログラム。
5. 前記第１物体が検出出来なくなった場合に、前記第１物体の近傍に位置する前記第２物体を探索するフレームは、前記第１物体が検出出来なくなる直前のフレームである、請求項１乃至請求項４のいずれかに記載の映像処理プログラム。
6. 前記複数の第２物体の色情報に基づいてグループ分けさせる、請求項１乃至請求項５のいずれかに記載の映像処理プログラム。
7. 前記映像に表示されたフィールド領域を検出させ、
   前記フィールド領域と、二次元で示されたフィールド全体との座標の対応を算出させ、
   前記第１物体と前記複数の第２物体の前記フィールド全体における座標を算出させ、
   前記フィールド全体の画像、前記第１物体の位置、及び前記複数の第２物体の位置を、表示部に表示させる、請求項１乃至請求項６のいずれかに記載の映像処理プログラム。
8. 前記第１物体、前記第２物体、及び前記第１物体を保持する前記第２物体の移動軌跡に基づき、前記スポーツにおけるプレー種別を判別させる、請求項１乃至請求項７のいずれかに記載の映像処理プログラム。
9. 前記第１物体の移動速度及び移動方向に基づき、プレー種別を判別させる、請求項８に記載の映像処理プログラム。
10. 前記第１物体と前記第２物体とのそれぞれの移動軌跡を異なる特徴の線で表示部に表示させる、請求項１乃至請求項９のいずれかに記載の映像処理プログラム。
11. 前記映像における音声において第１の音を検出させ、
    前記第１の音を検出したタイミングに基づいて前記映像のシーンを分割させる、請求項１乃至請求項１０のいずれかに記載の映像処理プログラム。
12. 前記分割させたシーン毎にタグ情報を付与させ、
    前記タグ情報に基づいたインデックスを表示部に表示させ、
    前記インデックスを選択する信号を受信すると、前記選択されたインデックスに対応するシーンの情報を一覧表示させる、請求項１１に記載の映像処理プログラム。
13. スポーツを撮影した映像において、前記映像から第１物体を検出し、
    前記映像から、前記第１物体と異なる複数の第２物体を検出し、
    前記検出された第１物体の位置、及び前記検出された複数の第２物体の位置を推定させることを、前記映像におけるフレーム毎に繰り返し、
    あるフレームにおいて前記第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第１物体の近傍に位置する第２物体が前記第１物体を保持しているとみなし、
    前記複数の第２物体に含まれた第３物体が前記第１物体を保持しているとみなして追跡している際に、前記第３物体と、前記複数の第２物体に含まれた第４物体とが近接した場合に、前記第４物体も前記第１物体を保持しているとみなして追跡させ、前記映像における第１時間経過後に前記第３物体の移動速度と前記第４物体の移動速度とを比較させ、前記第３及び第４物体のうち移動速度が速い方の追跡を継続させ、移動速度が遅い方の追跡を停止させる、映像処理方法。
14. スポーツを撮影した映像において、前記映像から第１物体を検出する第１物体検出部と、
    前記映像から、前記第１物体と異なる複数の第２物体を検出する第２物体検出部と、
    前記検出された第１物体の位置、及び前記検出された複数の第２物体の位置を推定することを、前記映像におけるフレーム毎に繰り返す位置推定部と
    を具備し、
    前記位置推定部は、あるフレームにおいて前記第１物体検出部が前記第１物体を検出出来なかった場合に、当該フレームの前のフレームにおいて、前記第１物体の近傍に位置する第２物体が前記第１物体を保持しているとみなし、
    前記位置推定部は、前記複数の第２物体に含まれた第３物体が前記第１物体を保持しているとみなして追跡している際に、前記第３物体と、前記複数の第２物体に含まれた第４物体とが近接した場合に、前記第４物体も前記第１物体を保持しているとみなして追跡し、前記映像における第１時間経過後に前記第３物体の移動速度と前記第４物体の移動速度とを比較し、前記第３及び第４物体のうち移動速度が速い方の追跡を継続し、移動速度が遅い方の追跡を停止する、映像処理装置。
    

Images