JP4452418B2 - サッカー映像ダイジェスト作成方法 - Google Patents

Description

【０００１】
【発明の属する技術分野】
本発明は、サッカー映像を対象として、ホームチーム、アウェイチームごとに、選手がボールを保持している時間およびそのエリア情報を示すボール所持レベルと単位時間あたりのボールの移動距離を示すボール移動レベルとを状況レベルとして算出し、算出した状況レベルを用いてサッカー映像の中の映像シーンの重要度を判定してダイジェスト映像を作成するサッカー映像ダイジェスト作成方法に関し、より詳細には、ダイジェスト映像の抽出に試合の流れの概念を適用することにより、さらに適切なダイジェスト映像の作成を行えるようにしたサッカー映像ダイジェスト作成方法に関する。
【０００２】
【従来の技術】
近年、放送のデジタル化が世界的規模で急速に進展しており、ＢＳ（Ｂｒｏａｄｃａｓｔ Ｓａｔｅｌｌｉｔｅ）デジタル放送や地上波デジタル放送の準備が着々と進んでいる。これによりテレビの視聴形態も急激に変化し、従来のリアルタイム視聴だけでなく、蓄積型視聴およびノンリニア視聴形態も可能となる。
【０００３】
ここで、本出願人らが、これまで提案してきたノンリニア視聴形態におけるダイジェスト作成システムについて説明する。本出願人は、まず、補足情報が映像インデックスとして付加された映像を対象として、その映像インデックスを用いて重要場面と想定される映像シーンを検索し、映像のダイジェスト版（ダイジェスト映像）を作成するダイジェスト作成システムを考案した。また、映像インデックスを用いてダイジェスト映像を作成する際に、映像を利用する視聴者（利用者）の嗜好を反映したダイジェスト映像を作成するダイジェスト作成装置の提案も行っている。さらに、映像の検索結果に対して視聴者の嗜好に依存した感情表現を付加すること及び、映像シーン毎の断片的な説明文を接続表現を付加することにより、自然な表現とする機能についても提案している。
【０００４】
このような技術を用いることにより、映像シーンの内容を説明する断片的な情報が映像インデックスとして付加された映像から、映像インデックスを利用して意味的に重要な映像シーンのダイジェスト映像を作成することができる。
【０００５】
ところが、この場合に対象としている映像は、比較的、映像全体が構造的に明確な映像を対象としたものであり、映像全体が構造的に曖昧な映像に関しては必ずしも的確にダイジェスト映像を作成することはできないという不具合があった。なお、ここで、構造的に明確な映像とは、野球映像のように、イニングや、打席などの映像を構造化するための条件が予め規則化されて、試合の進行（映像の流れ）そのものを構造化することが容易で、構造を表すインデックス（構造インデックス）を機械的に付加できる映像を示し、構造的に曖昧な映像とは、サッカー映像のように、映像を構造化するための条件が少なく、攻守の切り替えが明確でないため、構造化の判定が難しく、構造を表すインデックス（構造インデックス）を機械的に付加することが困難な映像を示している。
【０００６】
そこで、本出願人らは、サッカー映像のように構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成するサッカー映像ダイジェスト作成方法を提案している。
【０００７】
【発明が解決しようとする課題】
しかしながら、本出願人の提案した、構造的に曖昧なスポーツ映像から重要度の高い映像シーンを抽出してダイジェスト映像を作成する方法では、重要度の高い映像シーンを抽出することにより、シュートシーンなどの重要場面の抽出はある程度可能となったが、試合の流れを考慮した映像シーンの抽出を行うことはできなかった。換言すれば、試合の流れを考慮したダイジェスト映像の作成を行うことはできなかった。
【０００８】
具体的には、サッカー番組のダイジェスト映像を作成する場合、重要シーンの判定の他に、そのシーンに至るまでの試合の流れを表現する、ということが重要になってくる。例えば、重要シーンとして判定されたシーンが複数あったとき、おされ気味の状況においてシュートを放ったシーンであるか、何本もシュートを放つような猛攻撃をかけている際中の１シュートシーンであるかによって、その重要度は自ずと異なってくる。またそういった試合の流れに関して、「試合の冒頭はホームチームが優勢であったが、次第にアウェイチームが攻め込んできて、先制点を奪ったシーン」であるとか「ずっとホームチームにおされ気味であったが、アウェイチームがようやく攻め込んで１点をとったシーン」といったような内容説明も欲しい。これまでの方法では、そのような試合の流れを考慮したシーンの選択は行えなかった。
【０００９】
本発明は上記に鑑みてなされたものであって、試合の流れを考慮した映像シーンの抽出を行って、さらに適切なダイジェスト映像の作成を行うことを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、請求項１に係るサッカー映像ダイジェスト作成方法は、試合開始、前半開始、フリーキック、コーナーキック、シュート、ゴール、ボール所持などのサッカー試合中の基本的なイベント情報およびそのイベント発生時におけるボールの位置を示すエリア情報がインデックス情報として付与されたサッカー映像を対象として、ホームチーム、アウェイチームごとに、選手がボールを保持している時間およびそのエリア情報を示すボール所持レベルと単位時間あたりのボールの移動距離を示すボール移動レベルとを状況レベルとして算出し、算出した状況レベルを用いてサッカー映像の中の映像シーンの重要度を判定し、前記重要度の高い映像シーンを抽出してダイジェスト映像として作成するサッカー映像ダイジェスト作成方法において、サッカーの試合時間を複数に分割した時間帯の各々において、前記各チームの前記ボール所持レベルの積分値をそれぞれ算出し、算出した前記積分値と所定の閾値との比較結果から前記各チームが攻勢または劣勢であるかを判定し、前記各時間帯における前記各チームの前記判定結果の組み合わせによって、前記時間帯ごとの前記試合の流れ情報を、ホームチームが攻勢でアウェイチームも攻勢の場合には「激しい攻防」として生成し、ホームチームが攻勢でアウェイチームが劣勢の場合には「ホームチーム攻勢」として生成し、ホームチームが劣勢でアウェイチームが攻勢の場合には「アウェイチーム攻勢」として生成し、ホームチームが劣勢でアウェイチームも劣勢の場合には「両者攻めあぐねる」として生成し、生成した前記試合の流れ情報および前記重要度により、前記映像シーンを前記重要度の高い順に抽出し、前記重要度の同じ前記映像シーンが複数あった場合には、前記各時間帯の前記試合の流れ情報をチェックし、前記「激しい攻防」、前記「攻勢」、前記「攻めあぐね」の３つの状態に対して、それぞれ重みをつけてシーン抽出の比率を設定することにより抽出する前記映像シーンの優先度を算出し、前記優先度の高い順に前記映像シーンを抽出することを特徴とする。
【００１１】
この発明によれば、サッカーの試合を複数の時間帯、例えば、序盤、中盤、終盤の３つに分割し、それぞれの時間帯において各チームが「攻勢」であるか、「劣勢」であるか、「攻めあぐね」ているかを判定する。この各時間帯の判定結果を試合の流れ情報として生成する。換言すれば、各時間帯の判定結果の変化（流れ）を試合の流れとして代用する。このようにして生成した試合の流れ情報および重要度を用いて映像シーンの抽出を行うことにより、試合の流れを考慮したダイジェスト映像が作成される。
【００１２】
また、請求項２に係るサッカー映像ダイジェスト作成方法は、請求項１に記載のサッカー映像ダイジェスト作成方法において、前記「攻めあぐね」と判定された場合、その時間帯内にシュート数が一定数以上あったか否か判定し、一定数以上あった場合には、前記「攻めあぐね」の判定を前記「攻勢」に変更することを特徴とする。
【００１３】
また、請求項３に係るサッカー映像ダイジェスト作成方法は、請求項１または２に記載のサッカー映像ダイジェスト作成方法において、前記「攻勢」になっているところから優先して前記映像シーンを選択することを特徴とする。
【００１６】
【発明の実施の形態】
以下、本発明のサッカー映像ダイジェスト作成方法をダイジェスト作成装置に適用した場合を例として、添付の図面を参照して詳細に説明する。
【００１７】
（本実施の形態）
本実施の形態のサッカー映像ダイジェスト作成方法を適用したダイジェスト作成装置について、
（１）構造的に曖昧なスポーツ映像としてのサッカー映像について
（２）ダイジェスト作成装置の構成
（３）本実施の形態で使用する基本的な映像インデックス
（４）プレイ区間
（５）ＵＮＤＯインデックス
（６）ボール保持レベルパラメータおよびボール移動レベルパラメータ
（７）重要場面の判定
（８）実施例
の順で説明する。
【００１８】
（１）構造的に曖昧なスポーツ映像としてのサッカー映像について、
本発明では、ダイジェスト映像を作成する対象として構造的に曖昧なサッカー映像を対象としている。サッカー映像は、構造的に明確である野球映像と比較してダイジェスト作成が困難である。その理由は、サッカー映像の以下のような特徴による。
▲１▼ 構造が明確でない。したがって、構造を示すインデックスの付加が困難である。
▲２▼ インデックスの種類および試合内容を示す数値情報が少なく、映像シーンの重要度を算出しにくい（以下、映像シーンの重要度を示す指標を重要度判定パラメータと呼ぶ）。
▲３▼ 動きが激しく、協調的な動きが多い。よってカメラで試合の展開を追いにくく大写しの映像が多くなり、プレイの全容把握や内容判別が困難となる。
【００１９】
このようなサッカー映像（構造的に曖昧なスポーツ映像）の特徴と問題点について説明する。
先ず、▲１▼の構造が明確でないという特徴は、野球映像がイニング、打席など構造を表すインデックスを機械的に付加でき、自動的に構造化できるのに対し、サッカー映像は攻守の切り替えが明確でないため、構造化しにくいということを意味する。結果としてサッカー映像の場合には構造を示すインデックス付加が主観的になる傾向が強い。また構造化の判定が難しいため、映像を戻して再度確認しながらインデックスを付加するというような手戻りも多くなる。
【００２０】
▲２▼の重要度判定パラメータの算出に関しては、野球映像と比較して考察すると、野球はスコアブックから試合の内容がイメージできる。本出願人によって既に提案されている技術を用いて、野球映像の場合、得点情報や、ＳＢＯ（ストライク・ボール・アウト）情報、進塁情報などの一定の範囲の数値で表せる数値情報が多くあり、それらを機械的に付加した映像インデックス情報と組み合わせることにより、重要度判定パラメータを算出することが可能である。例えば、重要度判定パラメータの一つとして、攻撃的な重要度を表す攻撃レベルを定義した場合、この攻撃レベルは、ヒット、ホームラン、出塁、加点などの攻撃的なインデックスと、得点情報などを基に簡単に、攻撃レベル（重要度判定パラメータ）の算出ルールを定義することができる。
【００２１】
一方、サッカー映像の場合には、客観的指標となる数値情報が少なく、インデックスの種類も少ないため、重要度判定パラメータを算出しにくい。例えば、攻撃的なインデックスとして機械的に付加できるものは、シュート、ゴールであり、客観的数値情報として利用できるものは得点情報と時間情報程度である。これだけでは、攻撃レベル（重要度判定パラメータ）の算出ルールが単純になり、シュートをしている場面だけが切り出されたダイジェスト映像が作成され、試合の内容を的確に表現することができない。
【００２２】
▲３▼はサッカー自体の性格によるものであるが、サッカー映像では、協調パスプレイがあるため、野球映像に比べて、より選手の役割を把握することが難しくなる。特に、サッカー映像では大写しの映像が多くなるため、または他の選手のプレイが写されているため、常に選手の識別を行うことは困難となり、協調プレイの他の部分を見ることができないことによる困難性もある。さらに、たとえ全ての選手の動きを近くで見ることができたとしても、そのプレイの重要度を判別してインデックスを付加するためには、識別能力が必要とされ、プレイの内容の評価が判定者に依存する度合いが大きくなるため、一律の判定を行うことが難しくなる（内容判別の困難性）。
【００２３】
このような理由により、サッカー映像（構造的に曖昧なスポーツ映像）では、インデックス体系の作成およびインデックス付加が難しくなる。
例えば、サッカーの攻撃シーンのような意味的にひとまとまりの流れをダイジェスト映像として切り出す場合を考えてみる。サッカーは流れの途中でパスのカットが頻繁に起こるなど、攻撃の流れが非常に動的である。インデックス製作者は先行きが読めないため、途中でインデックス付加の取消しや期間延長、付け直しといった作業が数多く発生する。リアルタイムに配信する場合、これはさらに困難な作業となる。サッカー映像に対してインデックス配信をリアルタイムに行う場合もあるが、インデックス制作者は後でＵＮＤＯ（無効）してもよいから即時的にインデックスを付加し、配信する必要がある。
【００２４】
野球映像の場合には、映像上のある一点を示す断片的なインデックス情報と構造情報だけで重要度判定パラメータを算出することが可能である。これに対して、構造が明確でなく、展開の速いサッカー映像には、インデックス情報の不足と構造情報の不足から重要度判定パラメータを算出することができない。
【００２５】
そこで、本実施の形態では、サッカー映像（構造的に曖昧なスポーツ映像）の中の映像シーンの重要度を判定する際に、断片的なインデックス情報と構造情報だけで重要度判定パラメータを算出するのではなく、断片的なインデックス情報から映像上の状況を表す補助的なパラメータ（状況レベルパラメータ）を求め、この状況レベルパラメータと断片的なインデックス情報とを組み合わせて、重要度判定パラメータを算出し、ダイジェスト映像を作成する。
【００２６】
また、サッカー番組のダイジェスト映像を作成する場合、重要シーンの判定の他に、そのシーンに至るまでの試合の流れを表現する、ということが重要になってくる。例えば、重要シーンとして判定されたシーンが複数あったとき、おされ気味の状況においてシュートを放ったシーンであるか、何本もシュートを放つような猛攻撃をかけている際中の１シュートシーンであるかによって、その重要度は自ずと異なってくる。またそういった試合の流れに関して、「試合の冒頭はホームチームが優勢であったが、次第にアウェイチームが攻め込んできて、先制点を奪ったシーン」であるとか「ずっとホームチームにおされ気味であったが、アウェイチームがようやく攻め込んで１点をとったシーン」といったような内容説明も欲しい。そこで、本実施の形態では、このような試合の流れを考慮した映像シーンの抽出を行って、さらに適切なダイジェスト映像の作成を行えるサッカー映像ダイジェスト作成方法を提供する。
【００２７】
（２）ダイジェスト作成装置の構成
図１は、本実施の形態のダイジェスト作成装置の概略構成を示し、同図（ａ）がダイジェスト作成装置１００の概観図を示し、同図（ｂ）がハード構成を示している。ダイジェスト作成装置１００のハード構成としては、後述するソフトウエアに基づく処理を実行するＣＰＵ１０１と、ブートプログラム等を記憶したＲＯＭ１０２と、ＣＰＵ１０１のワークエリアとして使用されるＲＡＭ１０３と、各種の入力操作を行うためのキーボード１０５およびマウス１０６と、サッカー映像を表示するための表示画面を有したＣＲＴや液晶ディスプレイ等の表示装置１０４と、本実施の形態のサッカー映像ダイジェスト作成方法を実現するためのダイジェスト作成ソフト１０７等の各種アプリケーションプログラムやデータを記憶したハードディスク１０８と、外部機器と接続するための各種ドライバー，ネットワークアダプタ等のインタフェース部１０９と、上記各部を接続するバス１１０と、を少なくとも備えている。
【００２８】
（３）本実施の形態で使用する基本的な映像インデックス
本実施の形態では、サッカー映像に付加する基本的な映像インデックス（イベント情報）として、構造インデックスと、動作インデックスとを有している。
【００２９】
▲１▼構造インデックス
構造インデックスは、試合開始、試合終了、前半／後半終了などの試合の構造を示すインデックス（イベント情報）である。ただし、構造的なスポーツ映像（野球映像）と比べると種類が少ないため、構造インデックスのみでは詳細な構造化はできない。
【００３０】
▲２▼動作インデックス
サッカー映像においてボールを保持している選手の動作（換言すれば、攻撃動作）を示すインデックス（イベント情報）であり、以下の３つのインデックスに分類される。
１）区切りインデックス： スローイン、フリーキック、コーナーキック、ゴールキック、ファウルなど、セットプレイと呼ばれるプレイで映像シーンの区切りを作成するための動作インデックスである。換言すれば、対象となるスポーツの動作の中で映像シーンの区切りとなる動作を示すインデックスである。
【００３１】
２）ボール所持インデックス： パス出し、パス受け、カットなどの動作により、誰がグラウンド内のどのエリアでボールをもっているかを示すインデックス（イベント情報）である。ホームチーム、アウェイチームごとに区別して付加される。ボールを持っている選手が切り替わった時、またはパス受けからパス出しなどの動作が切り替わった時に発生する。
一般にパス受けからパス出しまでの時間は非常に短いため、通常はパス出し動作のみで、パス受け、パス出し動作を示すものとする。なお、本実施の形態では、ドリブル動作は、パス受けからパス出しまでの時間に起こっていると判定する。すなわち、このボール所持インデックスは、対象となるスポーツの動作の中で攻撃動作を行っている各チームまたは選手の動作を示す情報である。
【００３２】
３）シュートおよびゴールインデックス： ボールをゴールに向けて蹴ったときに発生するインデックスがシュートインデックスであり、シュートが成功すればゴールインデックスとなる。
【００３３】
４）ＵＮＤＯインデックス： 直前に付加されている他の動作インデックスをＵＮＤＯ（無効）にするためのインデックスである。
【００３４】
なお、各動作インデックスには、そのイベントが発生したタイムコードが設定されている。また、動作インデックスには、必要に応じてチーム名、選手名のほか、その時点のボールの位置（後述するエリア情報）といった情報が属性（属性情報）として設定されている。
【００３５】
ここでエリア情報について説明する。各動作インデックスには、該当する動作が行われた場所を示す情報（サッカー映像ではボールの位置に一致する）として、サッカーの試合が行われるグランド（エリア）を複数のエリアに分割して定義したエリア情報が設定される。
【００３６】
本実施の形態のエリア情報（ボールの位置）は、図２に示すように、対戦チーム（ホームチーム（Ｈ）、アウェイチーム（Ａ））に対して、グラウンドを大まかに７のエリアに分割し、その記号（エリア名）をエリア情報として設定した。図２に示すＨＧ、Ｈ１、Ｈ２、Ｃ、Ａ１、Ａ２、ＡＧのエリア名は、前半と後半で守備位置が変わると左右反転する。なお、各エリアに設定されている数値が該当するエリアの重み係数（ＡＰ：重要度の計算に使用する）を表している。
【００３７】
図３は、あるサッカー番組に対して構造インデックスおよび動作インデックスが付加されている様子を示している。構造インデックスおよび動作インデックスの属性リストには、チーム名や、選手名、エリア（エリア名）などが設定されている。また図３では省略するが、全てのインデックスにはタイムコードが属性として設定されている。また、ボール保持インデックスは便宜的に選手名で示されている。
【００３８】
（４）プレイ区間
動作インデックスのうちの区切りインデックスによって区切られた区間をプレイ区間と定義する。サッカー映像においては、構造インデックスによる区間分割だけでは区間が大きく不十分であるため、区間単位で映像シーンの重要度の判定を行う場合には、プレイ区間を用いて重要度の計算を行う。なお、区切りインデックスの他にも、区切りインデックスとシュートおよびゴールインデックスを用いてプレイ区間を定義しても良い。
【００３９】
また、各プレイ区間は、ボール所持インデックスのうちのカット動作によって攻守が交代し、攻撃区間と呼ぶシーンに分割される。攻撃区間は、それぞれのチームごとにボールを所持しているシーンを示す。
【００４０】
（５）ＵＮＤＯインデックス
次に、ＵＮＤＯインデックスの役割について説明する。インデックス製作者側は先の展開の見えない試合の流れに対してリアルタイムに動作インデックスを付けるが、途中で試合の流れが変わって動作インデックスを修正しなければならない場合が予想される。
例えば、『フォワードの選手がシュートを放った』と誰もが思うような状況で、実はシュートではなくパスを送り出していた、ということはよくあることである。そのような場合に、ＵＮＤＯインデックスを付加、配信すると、受信端末装置側では、ＵＮＤＯインデックスを含めた全ての映像インデックスを解釈して、最終的に有効な映像インデックスのみをインデックス情報として得ることができる。インデックス製作者側では、配信までに時間的な余裕があれば、ＵＮＤＯインデックスで指定された動作インデックスを削除または修正して、修正後の映像インデックスを配信することができる。
【００４１】
図４は、サッカー映像にＵＮＤＯインデックスを含めた映像インデックスを付加した例を示す説明図である。サッカー映像は、構造インデックス４０１により、前半、後半の２つのシーンに構造化されている。さらに、区切りインデックス４０２によってプレイ区間４０３が定義されている。図４においては、永井選手がシュートしたと思い、シュートインデックスを付加した後、それがパスであったためＵＮＤＯインデックス４０４を付加して、修正している。
【００４２】
なお、図４に示すように、動作インデックス名の殆どがイベント名であるのに対して、ボール所持インデックスだけは、選手名をインデックス名としている。その理由は、リアルタイムにインデックス付加作業を行う際に、連続してボール所持インデックスを付加することが多く、選手名を用いる方が作業を効率的に行えるからである。
【００４３】
（６）ボール保持レベルパラメータおよびボール移動レベルパラメータ
次に、前述した基本的な映像インデックス（特に、動作インデックス）を基に、以下のように、ボール保持レベルパラメータ（Ｐｓ）およびボール移動レベルパラメータ（Ｐｂ）を定義する。なお、ボール保持レベルパラメータは、選手がボールを保持している時間およびそのエリアを示し、ボール移動レベルパラメータは、単位時間当たりのボールの移動距離を示している。
【００４４】

【００４５】

【００４６】
（７）重要場面の判定
次に、上記映像インデックス（イベント情報）を基に、サッカー番組の重要場面（重要度の高い映像シーン）の判定のために、以下のような重要度判定パラメータを定義する。
【００４７】

【００４８】
上記攻撃レベルの値に、ボール保持レベルパラメータ（Ｐｓ）やボール移動レベルパラメータ（Ｐｂ）を重みをかけて加算することにより、重要度値が算出される。
【００４９】
（８）実施例
前述した構成および動作に基づいて、サッカー映像からダイジェスト映像を作成した。図５および図６の実験データは、２０００年３月１２日のＪリーグ『ヴェルディ川崎対ガンバ大阪』の試合において、 (攻撃レベル＋ボール保持レベルパラメータ）を重要度値としてそれぞれのチームに対して算出した例である。なお、図において、縦軸は演算によって求めた重要度値、横軸は試合の経過の時間軸である。
【００５０】
ところで、上記の重要度値のグラフから、シュートシーンなどの重要場面の判定はある程度可能である。しかし、サッカー番組のダイジェスト生成の場合、重要シーンの判定の他に、そのシーンに至るまでの試合の流れを表現する、ということが重要になってくる。
【００５１】
例えば、重要シーンとして判定されたシーンが複数あった場合、おされ気味の状況においてシュートを放ったシーンであるか、何本もシュートを放つような猛攻撃をかけている際中の１シュートシーンであるかによって、その重要度は自ずと異なってくる。また、そういった試合の流れに関して、「試合の冒頭はホームチームが優勢であったが、次第にアウェイチームが攻め込んできて、先制点を奪ったシーン」であるとか「ずっとホームチームにおされ気味であったが、アウェイチームがようやく攻め込んで１点をとったシーン」といったような内容説明も欲しい。
【００５２】
そこで、本発明では、以下のようにして、試合の流れを考慮した映像シーンの抽出（選択）を行っている。
【００５３】
先ず、この試合の流れを表現するために、以下のような状況レベルを算出する。この状況レベルは、ホーム、アウェイチームそれぞれに算出される。
【００５４】
▲１▼前半、後半をいくつかの区間（時間帯）に分割する。
サッカー試合の場合、通常は、それぞれ約１５分ずつの序盤、中盤、終盤の３つの区間に分割する。
▲２▼上記分割された区間に対して、ボール保持レベルパラメータの積分値（状況レベル）を算出する。
▲３▼積分値がある一定数値以上（＞＝α）であった場合、その区間において、そのチームは攻勢であったと判定する。
▲４▼積分値がある一定数値以下（＞＝β）であった場合、その区間において、そのチームは劣勢であったと判定する。
なお、一例として、上記α、βの値はそれぞれ−１０とする。
▲５▼ホームチーム（Ｈ），アウェイチーム（Ａ）の各チームに対して、それぞれの区間を判定する。
▲６▼結果をすり合わせて、最終的な試合の流れ情報を生成する。
その際の方針は以下の通りである。
Ｈチームが攻勢でＡチームも攻勢 → 激しい攻防
ホームチームが攻勢でアウェイチームも攻勢の場合に、試合の流れ情報として『激しい攻防』を生成する。
Ｈチームが攻勢でＡチームは劣勢 → Ｈ攻勢
ホームチームが攻勢でアウェイチームは劣勢の場合に、試合の流れ情報として『ホームチームが攻勢（Ｈ攻勢）』を生成する。
Ｈチームが劣勢でＡチームは攻勢 → Ａ攻勢
ホームチームが劣勢でアウェイチームは攻勢の場合に、試合の流れ情報として『アウェイチームが攻勢（Ａ攻勢）』を生成する。
Ｈチームが劣勢でＡチームも劣勢 → 両者攻めあぐねる
ホームチームが劣勢でアウェイチームも劣勢の場合に、試合の流れ情報として『両者攻めあぐねる』を生成する。
ただし、「攻めあぐね」と判定された場合でも、その時間帯内にシュート数が一定数以上あったか否か判定し、一定数以上あった場合には、「攻めあぐね」の判定を「攻勢」に変更する。
【００５５】
したがって、試合の流れ情報は、それぞれの時間帯に対して判定された各チームの判定結果の組み合わせによって、ホームチームが攻勢でアウェイチームも攻勢の場合に「激しい攻防」が生成され、ホームチームが攻勢でアウェイチームが劣勢の場合に「ホームチーム攻勢」が生成され、ホームチームが劣勢でアウェイチームが攻勢の場合に「アウェイチーム攻勢」が生成され、ホームチームが劣勢でアウェイチームも劣勢の場合に「両者攻めあぐねる」が生成されることになる。
【００５６】
上記のように各区間が判定されたときに、ダイジェスト作成のシーン抽出において、抽出される重要シーンは上記の判定を反映したものであることが望ましい。そこで以下の抽出ルールによりシーン抽出を行う。
【００５７】
第１に、基本的には、重要度の高い順に選択する。
第２に、重要度が同じシーンが複数あった場合には、激しい攻防、攻勢、攻めあぐねの３つの状態に対してあらかじめ決められているシーン抽出の割合に基づき選択する。
例えば、激しい攻防、攻勢、攻めあぐねの３つの状態に対して、シーン抽出の割合を以下のように決める。
激しい攻防 → Ｈチーム１、Ａチーム１
攻勢 → 攻勢チーム１
攻めあぐね → Ｈチーム0.25、Ａチーム0.25
【００５８】
図５および図６で示した試合に対して、前述した状況レベルを算出し、抽出ルールを適用した結果を以下に示す。
まず状況レベルを算出する。そのためには、ボール保持レベルパラメータの値を、各区間に対して積分する必要がある。図７および図８は各チームのボール保持レベルパラメータの算出結果である。上記の値を３つの区間（序盤、中盤、終盤）に対して、積分した値とその判定結果は表１の通りである。
【００５９】
【表１】

【００６０】
上記により、このサッカー試合の前半は、
序盤：ホームチーム、アウェイチームともに攻めあぐねていたが、
中盤：アウェイチームが攻勢に転じ、
終盤：引き続きアウェイチームが攻勢となる。
という試合の流れであったと表現できる。また、このように試合の流れが明らかになるので、この試合の流れ情報を用いて、サッカー映像の内容記述（映像内容の説明文生成）を行えるのは明らかである。
【００６１】
図５および図６に示した重要度値のみに基づき重要シーンを抽出する場合に、問題となるのは、重要度値の大きなものから優先的に選択するようにしても、重要度の値が同じであるシーンが多く、どこから抽出すればよいかわからない、換言すれば、全体としては適切に映像シーンを抽出しているものの、最も適切な映像シーンが抽出されるか否かは定かでないという不具合がある。
【００６２】
そこで本実施の形態では、その際に上記の試合の流れ情報を考慮し、攻勢になっているところ（すなわちＡチームの中盤以降）から優先してシーンを選択していく。このときのシーン抽出の割合は以下のようになっている。
激しい攻防→ Ｈチーム１、Ａチーム１
攻勢 → 攻勢チーム１
攻めあぐね→ Ｈチーム0.25、Ａチーム0.25
【００６３】
上記により、今回の結果におけるシーンの抽出比率は、表１の通りとなる。本実施の形態では、この抽出比率に合うように比例代表方式で、シーンの抽出を行なっていくので、試合の流れを考慮した映像シーンの抽出を行って、さらに適切なダイジェスト映像の作成を行うことができる。
【００６４】
前述したように本実施の形態では、サッカーの試合を複数の時間帯（前半を序盤、中盤、終盤の３つに、同様に後半を序盤、中盤、終盤の３つの区間に分ける）に分割し、それぞれの時間帯において各チームが「攻勢」であるか、「劣勢」であるか、「攻めあぐね」ているかを判定し、この各時間帯の判定結果を試合の流れ情報として生成する。換言すれば、各時間帯の判定結果の変化（流れ）を試合の流れとして代用する。このようにして生成した試合の流れ情報および重要度を用いて映像シーンの抽出を行うことにより、試合の流れを考慮したダイジェスト映像が作成される。
【００６５】
【発明の効果】
以上説明したように、本発明のサッカー映像ダイジェスト作成方法（請求項１）によれば、サッカーの試合を複数の時間帯に分割し、それぞれの時間帯において各チームが「攻勢」であるか、「劣勢」であるか、「攻めあぐね」ているかを判定して試合の流れ情報を生成し、試合の流れ情報および重要度を用いて映像シーンの抽出を行うため、試合の流れを考慮した映像シーンの抽出を行って、さらに適切なダイジェスト映像の作成を行うことができる。
【００６６】
また、本発明のサッカー映像ダイジェスト作成方法によれば、時間帯のそれぞれにおいて、各時間帯内のボール所持レベルを積分し、その値がある一定値以上ならば「攻勢」、一定値以下であるならば「劣勢」、それ以外であれば「攻めあぐね」と判定するため、もっともらしい（確からしい）試合の流れ情報を容易に生成することができる。
【００６７】
また、本発明のサッカー映像ダイジェスト作成方法によれば、「攻めあぐね」と判定された場合、その時間帯内にシュート数が一定数以上あったか否か判定し、一定数以上あった場合には、「攻めあぐね」の判定を「攻勢」に変更するため、実際の試合の流れにより近い試合の流れ情報を生成できる。
【００６８】
また、本発明のサッカー映像ダイジェスト作成方法によれば、試合の流れ情報は、それぞれの時間帯に対して判定された各チームの判定結果の組み合わせによって、ホームチームが攻勢でアウェイチームも攻勢の場合に「激しい攻防」が生成され、ホームチームが攻勢でアウェイチームが劣勢の場合に「ホームチーム攻勢」が生成され、ホームチームが劣勢でアウェイチームが攻勢の場合に「アウェイチーム攻勢」が生成され、ホームチームが劣勢でアウェイチームも劣勢の場合に「両者攻めあぐねる」が生成されるため、ダイジェスト映像の抽出に有効に利用可能な試合の流れ情報を生成することができる。
【００６９】
また、本発明のサッカー映像ダイジェスト作成方法によれば、映像シーンを抽出する場合、最初に重要度の高い順に選択し、同じ重要度のシーンが複数あった場合には、各時間帯の試合の流れ情報をチェックし、「激しい攻防」、「攻勢」、「攻めあぐね」の３つの状態に対して、それぞれ重みをつけてシーン抽出の比率を設定することにより抽出する映像シーンの優先度を算出し、優先度の高い順に選択するため、試合の流れを考慮した映像シーンの抽出を行って、さらに適切なダイジェスト映像の作成を行うことができる。
【図面の簡単な説明】
【図１】本実施の形態のサッカー映像ダイジェスト作成方法を適用したダイジェスト作成装置の概略構成図である。
【図２】本実施の形態のエリア情報を示す説明図である。
【図３】構造インデックスおよび動作インデックスの属性リストの例を示す説明図である。
【図４】サッカー映像にＵＮＤＯインデックスを含めた映像インデックスを付加した例を示す説明図である。
【図５】本実施の形態に基づく実験データ（実施例）のホームチームの重要度値（前半）を示す説明図である。
【図６】本実施の形態に基づく実験データ（実施例）のアウェイチームの重要度値（前半）を示す説明図である。
【図７】本実施の形態におけるホームチームのボール保持レベルパラメータの計算例を示す説明図である。
【図８】本実施の形態におけるアウェイチームのボール保持レベルパラメータの計算例を示す説明図である。
【符号の説明】
１００ ダイジェスト作成装置
１０７ ダイジェスト作成ソフト

Claims (3)

1. 試合開始、前半開始、フリーキック、コーナーキック、シュート、ゴール、ボール所持などのサッカー試合中の基本的なイベント情報およびそのイベント発生時におけるボールの位置を示すエリア情報がインデックス情報として付与されたサッカー映像を対象として、ホームチーム、アウェイチームごとに、選手がボールを保持している時間およびそのエリア情報を示すボール所持レベルと単位時間あたりのボールの移動距離を示すボール移動レベルとを状況レベルとして算出し、算出した状況レベルを用いてサッカー映像の中の映像シーンの重要度を判定し、前記重要度の高い映像シーンを抽出してダイジェスト映像として作成するサッカー映像ダイジェスト作成方法において、
   サッカーの試合時間を複数に分割した時間帯の各々において、前記各チームの前記ボール所持レベルの積分値をそれぞれ算出し、
   算出した前記積分値と所定の閾値との比較結果から前記各チームが攻勢または劣勢であるかを判定し、
   前記各時間帯における前記各チームの前記判定結果の組み合わせによって、前記時間帯ごとの前記試合の流れ情報を、ホームチームが攻勢でアウェイチームも攻勢の場合には「激しい攻防」として生成し、ホームチームが攻勢でアウェイチームが劣勢の場合には「ホームチーム攻勢」として生成し、ホームチームが劣勢でアウェイチームが攻勢の場合には「アウェイチーム攻勢」として生成し、ホームチームが劣勢でアウェイチームも劣勢の場合には「両者攻めあぐねる」として生成し、
   生成した前記試合の流れ情報および前記重要度により、前記映像シーンを前記重要度の高い順に抽出し、前記重要度の同じ前記映像シーンが複数あった場合には、前記各時間帯の前記試合の流れ情報をチェックし、前記「激しい攻防」、前記「攻勢」、前記「攻めあぐね」の３つの状態に対して、それぞれ重みをつけてシーン抽出の比率を設定することにより抽出する前記映像シーンの優先度を算出し、前記優先度の高い順に前記映像シーンを抽出する
   ことを特徴とするサッカー映像ダイジェスト作成方法。
2. 前記「攻めあぐね」と判定された場合、その時間帯内にシュート数が一定数以上あったか否か判定し、一定数以上あった場合には、前記「攻めあぐね」の判定を前記「攻勢」に変更することを特徴とする請求項１に記載のサッカー映像ダイジェスト作成方法。
3. 前記「攻勢」になっているところから優先して前記映像シーンを選択することを特徴とする請求項１または２に記載のサッカー映像ダイジェスト作成方法。

Images