以下に添付図面を参照して本願に係る表示制御装置、表示制御方法及び表示制御プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。
[システム構成]
図1は、実施例1に係る表示制御装置10の機能的構成の一例を示すブロック図である。図1に示す表示制御装置10は、対戦スポーツの試合映像に関する表示制御機能、例えばハイライトシーンの表示制御機能などを有するものである。
表示制御装置10は、上記の表示制御機能を提供するコンピュータの一例である。
一実施形態として、表示制御装置10は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の表示制御機能を実現する表示制御プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、表示制御装置10は、上記の表示制御機能をオンプレミスに提供するサーバとして実装することができる。この場合、表示制御装置10は、必ずしも対戦スポーツの試合会場の外部に設けずともよく、対戦スポーツの試合会場の現場に設置される情報システム、例えば映像システム20等の一部に組み込まれることとしてもかまわない。これに限定されず、表示制御装置10は、SaaS(Software as a Service)型のアプリケーションとして実装することで、上記の表示制御機能をクラウドサービスとして提供することとしてもかまわない。
ここで、本実施例では、対戦スポーツの一例として、eスポーツ(electronic sports)を例に挙げ、eスポーツの会場のスクリーンに表示される試合映像及びそのハイライトシーン等の映像コンテンツを通じてスポーツ観戦が行われるユースケースを例に挙げる。
図1に示すように、表示制御装置10には、映像システム20と、ユーザ端末50とが接続され得る。これら表示制御装置10、映像システム20及びユーザ端末50は、任意のネットワークNWを介して通信可能に接続される。ネットワークNWは、有線または無線を問わず、インターネットやLAN(Local Area Network)などの任意の種類の通信網であってかまわない。なお、図1には、説明の便宜上、1つの表示制御装置10につき1つのユーザ端末50が接続される例を挙げたが、1つの表示制御装置10につき複数のユーザ端末50が接続されることを妨げない。
映像システム20は、eスポーツの試合映像などを表示するシステムである。例えば、映像システム20には、図1に示すように、ゲーム装置21と、スイッチャ23と、表示装置25とが含まれ得る。
ゲーム装置21は、コンピュータゲームのソフトウェアが実行されるコンピュータである。また、ゲーム装置21は、プレイヤによって操作される装置である。ここで言う「ゲーム装置」とは、コンピュータゲームのソフトウェアが実行されるという側面から付与されたラベルであり、そのハードウェア構成や導入されるソフトウェアの種類は限定されず、任意の種類のコンピュータであってかまわない。また、「コンピュータゲーム」は、任意のタイトルやジャンルであってかまわない。その上で例を挙げれば、ファーストパーソンシューティングやサードパーソンシューティング、リアルタイムストラテジ、マルチプレイオンラインバトルアリーナ、格闘ゲーム、スポーツゲーム、レーシングゲーム、パズルゲームなどが挙げられる。このようなゲーム装置21にインストールされたキャプチャボード等を介して、当該ゲーム装置21のプレイヤ視点のゲーム画面がスイッチャ23へ入力される。
スイッチャ23は、表示装置25が所定のスクリーンに表示する映像を切り替える装置である。例えば、スイッチャ23は、ゲーム装置21により出力されるプレイヤ視点のゲーム画面やゲーム上のフィールドやマップが上方向から俯瞰された俯瞰視点のゲーム画面のうち、図示しないコントロールパネル等を介して選択される映像を表示装置25に出力する。このような選択操作によってスクリーンへ時系列に表示されるゲーム動画のことを「試合映像」と記載する場合がある。
表示装置25は、所定のスクリーンに映像を表示する装置である。
あくまで一例として、表示装置25には、発光により表示を実現する液晶ディスプレイや有機EL(electroluminescence)ディスプレイなどを採用することができる。他の一例として、表示装置25には、投影により表示を実現するプロジェクタを採用することもできる。このようにプロジェクタが採用される場合、専用のスクリーンを用いることもできれば、壁や床などの平面をスクリーンとして用いることもできる。
例えば、表示装置25は、スイッチャ23から入力されるライブの試合映像を所定のスクリーンに表示する。この他、表示装置25は、eスポーツの試合映像のハイライトシーンを所定のスクリーンに表示させることもできる。
ユーザ端末50は、eスポーツの観戦者が使用するコンピュータの一例である。ここで言う「ユーザ端末」とは、コンピュータの使用者という側面から付与されたラベルであり、そのハードウェア構成や導入されるソフトウェアの種類は限定されず、任意の種類のコンピュータであってかまわない。例えば、ユーザ端末50には、スマートフォンや携帯電話機、PHS(Personal Handyphone System)、タブレット端末などの携帯端末装置全般が対応する。これらはあくまで例示に過ぎず、ユーザ端末10は、パーソナルコンピュータなどのデスクトップ型のコンピュータの他、ラップトップ型のコンピュータやウェアラブル端末などの任意のコンピュータであってかまわない。
[課題の一側面]
上記の背景技術の欄で挙げた技術には、対戦中の複数チームそれぞれのハイライトシーンが把握しにくいという課題がある。
すなわち、上記の背景技術の欄で挙げた表示制御装置では、ハイライトシーンまでに至る所定の時間分の映像がリプレイ画像として表示画面に表示されるに過ぎない。このため、表示画面に表示中であるハイライトシーンがいずれのチームに関するハイライトであるのかは把握しづらい。
あくまで一例として、eスポーツを例に挙げれば、eスポーツの大会等は、コアプレイヤやコアファンなどの参加が多数である側面がある。コアプレイヤやコアファンは、eスポーツの試合に対する知識レベルが高い。その一方で、ノンプレイヤやライトファンには、コアプレイヤやコアファンほどの知識レベルはない。しかしながら、コンシューマ向けのゲームの普及が進む現状、ノンプレイヤやライトファンは、潜在的なeスポーツの観戦者となり得る。このようなノンプレイヤやライトファンにとって、コアプレイヤやコアファンとの知識レベルのギャップが観戦ハードルを高める一因となっている。
例えば、ノンプレイヤやライトファンは、必ずしも各チームのプレイヤが使用するアバター等に関する知識を持っているとは限らない。それ故、上記の背景技術の欄で説明したハイライトシーンの表示が行われたとしても、観戦者が応援するチームのハイライトシーンであるのか、あるいは観戦者が応援するチームと対戦中のチームのハイライトシーンであるのかを把握するのは困難である。このように、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかも分からない状況では、スポーツ観戦の面白さが観戦者に伝わりづらい。このため、コアプレイヤやコアファンと一体となってスポーツ観戦を楽しむことができず、観戦ハードルを高める一因となっている。
[課題解決のアプローチの一側面]
そこで、本実施例に係る表示制御装置10は、eスポーツの対戦チームそれぞれに対応する表示領域のうち、eスポーツの試合映像から抽出されたハイライトシーンにかかるチームの表示領域に、当該ハイライトシーンを表示する表示制御を実現する。
図2は、スクリーンのレイアウトの一例を示す図である。図2には、各チーム4人制のAチーム及びBチームの計2チームでeスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図2に示すように、eスポーツの会場に設置される映像システム20には、Aチームの4人のプレイヤPA1〜PA4が使用するゲーム装置21PA1〜21PA4と、Bチームの4人のプレイヤPB1〜PB4が使用するゲーム装置21PB1〜21PB4とが含まれる。さらに、映像システム20には、表示装置25により映像が表示される表示領域の一例として、メインスクリーン250の左右に、チームスクリーン251Aと、チームスクリーン251Bとが配置される。以下、チームスクリーン251Aおよびチームスクリーン251Bのラベルを区別しない場合に「チームスクリーン251」と記載する場合がある。
これらメインスクリーン250、チームスクリーン251A及びチームスクリーン251Bには、3つのディスプレイを割り当てることによって実装したり、1つのディスプレイが3つに分割された表示領域を割り当てることによって実装したりすることができる。また、複数のディスプレイを結合することによってメインスクリーン250、チームスクリーン251Aまたはチームスクリーン251Bなどの表示領域を形成することもできる。この他、プロジェクションによる表示が行われる場合、eスポーツの会場の一部、例えば壁面をメインスクリーン250、チームスクリーン251Aまたはチームスクリーン251Bとして割り当てることもできる。
メインスクリーン250には、eスポーツのライブ試合映像が表示される。例えば、メインスクリーン250に表示される試合映像は、スイッチャ23により切り替えられる。図2に示す例で言えば、ゲーム装置21PA1〜21PA4及びゲーム装置21PB1〜21PB4から入力されるプレイヤPA1〜PA4視点およびプレイヤPB1〜PB4視点のゲーム画面がスイッチャ23へ入力される。この場合、スイッチャ23では、プレイヤPA1〜PA4視点およびプレイヤPB1〜PB4視点と、ゲーム上のフィールドが上方向から俯瞰された俯瞰視点との中から1つの視点が図示しないコントロールパネルを介して選択される。このような選択操作は、あくまで一例として、スイッチャと呼ばれるスタッフ、あるいは実況や解説者によって行われる。
また、チームスクリーン251は、複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域の一例に対応する。例えば、チームスクリーン251Aには、eスポーツの試合映像のうちAチームのハイライトシーンが表示される。図2に示す例で言えば、チームスクリーン251Aには、Aチームのハイライトシーンの動画が表示される小領域CA1〜CA7が配置される。さらに、チームスクリーン251Bには、eスポーツの試合映像のうちBチームのハイライトシーンが表示される。図2に示す例で言えば、チームスクリーン251Bには、Bチームのハイライトシーンの動画が表示される小領域CB1〜CB2が配置される。以下、チームスクリーン251Aやチームスクリーン251Bにクリップされるハイライトシーンの動画のことを「クリップ」と記載する場合がある。
このように、本実施例に係る表示制御装置10では、チームごとに割り当てられたスクリーンに、各チームのハイライトシーンを整理して表示する表示制御が実現される。このような表示制御によって、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかを識別させることができる。例えば、図2に示す例で言えば、観戦者がAチームを応援する場合、Aチームに割り当てられたチームスクリーン251Aに表示されたクリップCA1〜CA7を見ることによりAチームの見どころを観戦することができる。
したがって、本実施例に係る表示制御装置10によれば、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くすることが可能になる。
さらに、本実施例に係る表示制御装置10では、チームスクリーン251に複数のクリップを時系列に並べて配置する。例えば、チームスクリーン251A及びチームスクリーン250Bでは、クリップが抽出されたタイミングが早いほどメインスクリーン250から遠い位置にクリップが表示される。一方、チームスクリーン251A及びチームスクリーン250Bでは、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン250寄りに並べてクリップが表示される。さらに、チームスクリーン251A及びチームスクリーン250Bでは、対戦中の試合以外にも、その前に行われた試合で抽出されたクリップも時系列に並べて配置される。
例えば、図2に示すAチーム対Bチームの対戦が決勝であるとする。この場合、チームスクリーン251Aには、メインスクリーン250に近い方から順、すなわちメインスクリーン250の正面から見てチームスクリーン251Aの右端から順に、決勝のクリップCA1〜CA4、決勝の前の試合として行われた準決勝のクリップCA5〜CA7が表示される。さらに、決勝戦のクリップの中でも、最新のクリップCA1、2番目に新しいクリップCA2、3番目に新しいクリップCA3、4番目に新しいクリップCA3が右方向から順に表示される。さらに、準決勝のクリップにおいても、最新のクリップCA5、2番目に新しいクリップCA6、3番目に新しいクリップCA7が右方向から順に表示される。
また、チームスクリーン251Bには、メインスクリーン250に近い方から順、すなわちメインスクリーン250の正面から見てチームスクリーン251Bの左端から順に、決勝のクリップCB1〜CB2、決勝の前の試合として行われた3位決定戦のクリップCC1〜CB5が表示される。さらに、決勝のクリップの中でも、最新のクリップCB1、2番目に新しいクリップCB2が左方向から順に表示される。さらに、3位決定戦のクリップにおいても、最新のクリップCC1、2番目に新しいクリップCC2、3番目に新しいクリップCC3、4番目に新しいクリップCC4、5番目に新しいクリップCC5が左方向から順に表示される。
ここで、対戦中の試合の前の試合におけるクリップが表示される場合、チームスクリーン251Bに示す通り、Bチームのクリップだけでなく、過去、例えば3位決定戦で活躍するCチームのハイライトシーンの動画をクリップCA5〜CA7として表示させることもできる。
このように、チームスクリーン251に、チームごとの複数のクリップを時系列に並べて配置するので、eスポーツにおける試合の戦況を時系列に把握しやすくできる。さらに、チームスクリーン251に前の試合のクリップも時系列に並べて配置するので、eスポーツの大会を通じた試合のログを表示することができる。この結果、観戦者が過去の試合を振り返ることができるので、試合全体の流れが把握しやすくなり、かつ観戦のタイミングが遅れても大会の時系列を把握しやすくできる。
加えて、上記の表示制御によって、観戦者は、eスポーツにおける試合の戦況の優劣を、直感的に把握することができる。すなわち、ハイライトシーンには、eスポーツにおける試合の戦況に影響を与えるシーンが抽出されるので、各チームスクリーンに表示されるクリップの数と試合の戦況の優劣とは関連性がある。このため、各チームスクリーンに表示されるクリップの数を相対的に比較することで、eスポーツにおける試合の戦況の優劣を把握できる。例えば、図2に示す例で言えば、決勝において、チームスクリーン251Aには、4つのクリップCA1〜CA4が表示される一方で、チームスクリーン251Bには、2つのクリップCB1〜CB2しか表示されていない。このことから、チームスクリーン251Aにクリップされたハイライトシーンの動画の数が多いAチームの方がBチームよりも試合を優勢に進めていることを、観戦者は、直感的に把握することができる。
[表示制御装置10の構成]
次に、本実施例に係る表示制御装置10の機能的構成の一例について説明する。図1に示すように、表示制御装置10は、通信インタフェース11と、記憶部13と、制御部15とを有する。なお、図1には、データの授受の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
通信インタフェース11は、他の装置、例えば映像システム20やユーザ端末50との間で通信制御を行うインタフェースである。
あくまで一例として、通信インタフェース11には、LANカードなどのネットワークインタフェースカードを採用することができる。例えば、通信インタフェース11は、映像システム20から各種の映像、例えばライブ試合映像や各プレイヤ視点のゲーム動画などを受け付けたり、各チームスクリーン251に配置するクリップの表示指示を映像システム20へ出力したりする。また、通信インタフェース11は、ユーザ端末50からハイライトシーンの動画のダウンロードを要求するリクエストを受け付けたり、当該ダウンロードのリクエストに対応するクリップをユーザ端末50へ送信したりする。
記憶部13は、制御部15で実行されるOS(Operating System)を始め、上記の表示制御プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。
あくまで一例として、記憶部13は、表示制御装置10における補助記憶装置に対応する。例えば、HDD(Hard Disk Drive)、光ディスクやSSD(Solid State Drive)などが補助記憶装置に対応する。この他、EPROM(Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応する。
記憶部13は、制御部15で実行されるプログラムに用いられるデータの一例として、動画情報13aと、ハイライトシーン情報13bとを記憶する。これらのデータ以外にも、上記の表示制御プログラムによって参照または生成が行われるデータ、例えば1ハイライトあたりの動画の時間長などの設定情報などが記憶部13に記憶されることとしてもかまわない。なお、動画情報13a及びハイライトシーン情報13bの説明は、各データの参照または生成が行われる制御部15の説明と合わせて行うこととする。
制御部15は、表示制御装置10の全体制御を行う機能部である。
一実施形態として、制御部15は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、CPUやMPUを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部15は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによって実現されることとしてもかまわない。
制御部15は、上記の表示制御プログラムを実行することにより、図示しない主記憶装置として実装されるDRAM(Dynamic Random Access Memory)などのRAMのワークエリア上に図1に示す処理部を仮想的に実現する。なお、ここでは、ハイライトシーンの抽出機能、表示制御機能および配信機能などの一連の機能がパッケージ化されたパッケージソフトウェアが実行される例を挙げるが、表示制御装置10上で動作するプログラムはこれに限定されない。例えば、上記のパッケージソフトウェアの機能のうちハイライトシーンの抽出機能、表示制御機能または配信機能の任意の機能を抜粋してプログラムモジュールとして実行されたり、あるいはライブラリとして参照されたりすることとしてもかまわない。
例えば、制御部15は、図1に示すように、収集部15Aと、抽出部15Bと、判定部15Cと、表示制御部15Dと、決定部15Eと、配信部15Fとを有する。
収集部15Aは、各種のデータを収集する処理部である。
1つの側面として、収集部15Aは、スイッチャ23から試合映像や各プレイヤ視点のゲーム動画などをコンピュータゲームにおける試合の進行と同期してリアルタイムに収集する。例えば、収集部15Aは、試合映像や各プレイヤ視点のゲーム動画などの映像ごとに、コンピュータゲームにおける試合開始から試合終了までスイッチャ23から伝送される動画のストリームデータを受信する。このようにリアルタイムで収集された試合映像や各プレイヤ視点のゲーム動画が動画情報13aとして記憶部13に保存される。
なお、ここでは、一例として、各映像がリアルタイムで収集される例を挙げたが、必ずしも各映像はリアルタイムで収集されずともよく、所定期間の映像がバッチ処理で収集されることとしてもかまわない。また、ここでは、記憶部13に保存された動画情報13aが抽出部15Bにより読み出される例を挙げるが、メモリ上に設定されたバッファ領域に記憶された試合映像が抽出部15Bにより参照されることとしてもかまわない。
抽出部15Bは、収集部15Aにより収集される試合映像の解析結果に基づき、ハイライトシーンを抽出する処理部である。
あくまで一例として、抽出部15Bは、対戦ゲームの試合映像から観衆の音量を予測するように学習した予測モデルを用いて、試合映像のシーン毎に求めた盛り上がり度をもとにハイライトシーンの動画を抽出する。
より具体的には、抽出部15Bは、記憶部13に保存される動画情報13aに試合映像の最新のフレームが追加された場合、最新のフレーム及び1つ前のフレームの間で差分、例えばSAD(Sum of Absolute Difference)が所定の閾値以上であるか否かを判定する。このとき、フレーム間の差分が閾値以上である場合、俯瞰視点およびプレイヤ視点の間、あるいは各プレイヤ視点の間で視点を切り替えるシーンチェンジが発生した可能性が高いと判断できる。この場合、抽出部15Bは、ゲームの試合開始もしくは前回にシーンチェンジが検出されてから現在時点までの区間の試合映像を最新のシーンとして抽出する。
また、上記の最新のシーンの抽出が行われた後、あるいは上記の最新のシーンの抽出と並列して、抽出部15Bは、試合映像を所定時間(例えば1秒)ごとの静止画像(以下、試合画像)に分割する。具体的には、抽出部15Bは、所定のフレームレートの試合映像について、例えば、1秒間隔でフレームの抽出を行う。次いで、抽出部15Bは、分割した試合画像ごとに、試合画像を視聴した観戦者の盛り上がり度を予測する予測モデルに当該分割した試合画像を入力することにより、予測モデルの出力として、観戦者が視聴した場合の盛り上がり度を得る。このような予測モデルには、一例として、試合画像に対する観戦者の盛り上がり度が正解として付与された教師データをもとに、ディープラーニングなどの機械学習により作成した学習モデルを用いることができる。
その上で、抽出部15Bは、上記の最新のシーンの中から、図示しない設定情報で1ハイライトあたりの秒数として設定された時間長の区間を切り取る。例えば、1つのハイライトあたりの時間長が10秒と指定されている場合、抽出部15Bは、最新のシーンに含まれる試合画像のうち、盛り上がり度がピークとなる時刻を中心に前後5秒の区間をハイライトシーン候補として切り取る。続いて、抽出部15Bは、当該ハイライトシーン候補の盛り上がり度を計算(予測)する。例えば、抽出部15Bは、ハイライトシーン候補に含まれる試合画像の盛り上がり度の統計値、例えば平均値や中央値、最頻値、最大値などを求める。最後に、抽出部15Bは、ハイライト候補の盛り上がり度の統計値が所定の閾値以上である場合、当該ハイライトシーン候補をハイライトシーンとして抽出する。
このようなハイライトシーンの抽出が繰り返して実行されることにより、eスポーツの会場にマイクロフォン等のセンサを設置して観戦者の音声がセンシングされずとも、コンピュータゲームの観戦者が盛り上がるハイライトシーンの抽出を実現できる。
なお、ここでは、あくまで一例として、上記の予測モデルを用いるハイライトシーンの抽出を例示したが、これ以外にも、特許文献1をはじめとする既知のハイライトシーンの抽出方法を用いることができるのは言うまでもない。
判定部15Cは、ハイライトシーンが複数のチームのうちいずれのチームに対するハイライトシーンであるかを判定する処理部である。
一実施形態として、判定部15Cは、抽出部15Bにより新たなハイライトシーンが抽出された場合、当該ハイライトシーンでアクションを起こすプレイヤが属するチームを特定することで、いずれのチームに対するハイライトシーンであるかを判定する。
例えば、ハイライトシーンに対応する区間の試合映像がプレイヤ視点のゲーム動画である場合、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンが当該プレイヤ視点のプレイヤが属するチームに対するハイライトであると判定する。
一方、ハイライトシーンに対応する区間の試合映像が俯瞰視点のゲーム動画である場合、判定部15Cは、当該ハイライトシーンに対応する区間の俯瞰視点のゲーム動画の各フレームから各フレームに含まれる文字列を文字認識等の画像処理によって読み取る。そして、判定部15Cは、各フレームから読み取られた文字列にプレイヤ名を含む特定のフレーズが含まれるか否かを判定する。このような特定のフレーズの一例として、eスポーツの戦況、例えばキルやスコアに関連するフレーズ、例えば「○○が倒した」などが挙げられる。このとき、特定のフレーズが含まれる場合、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンが、特定のフレーズに含まれるプレイヤが属するチームに対するハイライトであると判定する。なお、プレイヤの特定には、必ずしも俯瞰視点のゲーム動画を用いずともかまわない。例えば、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンに対応する区間の各プレイヤ視点のゲーム動画から各ゲーム動画に含まれる文字列を文字認識等の画像処理によって読み取る。その上で、判定部15Cは、コンピュータゲームにおける特定のアクション、例えばキル(Kill)や連続キルなどに対応する文字列が読み取られたプレイヤ視点を特定する。そして、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンが、特定のアクションに対応する文字列が読み取られたプレイヤ視点のプレイヤが属するチームに対するハイライトであると判定する。
このように、判定部15Cは、上記の文字認識等の画像処理によってハイライトシーンが対応するチーム名やプレイヤ名を判定する他、上記の文字認識等の画像処理によってハイライトシーンが対応するアクションやその連続回数等の各種の項目をさらに判定する。
これらの項目の判定結果に基づいて、判定部15Cは、当該ハイライトシーンに付与するタグを生成する。図3は、ハイライトシーンに付与するタグの一例を示す図である。図3に示すように、最新のシーンに含まれる試合画像のうち盛り上がり度がピークとなる時刻を中心に前後5秒の区間が抽出部15Bによりハイライトシーン候補として切り取られる。このハイライトシーン候補における試合画像の盛り上がり度の統計値が所定の閾値以上である場合、抽出部15Bによりハイライトシーン候補がハイライトシーンとして抽出される。このようにハイライトシーンが抽出された場合、判定部15Cは、通し番号、時間、チーム名、プレイヤ画面、プレイヤ名、アクション、連続回数および盛り上がり度などの判定結果を含むタグを生成する。
ここで言う「通し番号」とは、ゲームの試合開始時点からハイライトシーンが抽出された順にハイライトシーンに付与される番号を指す。また、「時間」とは、ハイライトシーンで盛り上がり度がピークとなる中心時刻、ハイライトシーンの開始時刻、あるいはハイライトシーンの終了時刻の少なくともいずれか1つを指す。また、「チーム名」とは、ハイライトシーンに対応するチーム、言い換えれば見せ場に対応するチームを指す。また、「プレイヤ名」とは、ハイライトシーンに対応するプレイヤ、言い換えれば見せ場に対応するプレイヤを指す。また、「プレイヤ画面」とは、ハイライトシーンに対応する区間におけるプレイヤ視点のゲーム動画を指す。また、「アクション」とは、ハイライトシーンで検出されたアクションを指す。また、「連続回数」とは、ハイライトシーンでアクションが連続する回数を指す。また、「盛り上がり度」とは、ハイライトシーンに対応する盛り上がり度を指し、例えば、ハイライトシーンに含まれる試合画像の盛り上がり度の統計値を指す。
その後、判定部15Cは、ハイライトシーンの動画データに上記のタグをはじめとする各種の情報が対応付けられた新規のレコードを記憶部13のハイライトシーン情報13bに追加登録する。
図4は、ハイライトシーン情報13bの一例を示す図である。図4に示すように、ハイライトシーン情報13bには、ハイライトシーンの動画データ、例えばバイナリ形式の動画ファイルや上記のタグの他、動画ID、シルエット形状、ダウンロード数およびコメント等の情報が対応付けられた新規のレコードが追加登録される。
ここで言う「動画ID(IDentification)」とは、記憶部13に保存されるハイライトシーンを識別する側面からハイライトシーンに付与される識別情報の一例を指す。また、「シルエット形状」とは、ハイライトシーンの動画がチームスクリーン251にクリップされる際の外形形状を指す。例えば、同一のゲームから抽出されるクリップには、各ハイライトシーンに対応するクリップの個体を識別する側面から各ハイライトシーンの間で固有のシルエット形状が設定される。このようにクリップに設定されるシルエット形状は、任意の輪郭を有する図形であってかまわないが、各ハイライトシーンの間の類似度が低いシルエット形状が設定されるほどクリップの個体を識別する精度を高めることができる。
また、「ダウンロード数」とは、ハイライトシーンがダウンロードされた回数を指す。また、「コメント」とは、ハイライトシーンの動画に投稿されたコメントを指す。これら「ダウンロード数」及び「コメント」は、ハイライトシーンに対応する新規のレコードがハイライトシーン情報13bに追加登録された段階では、初期値あるいはNULL値が格納されたり、ブランクとされたりする。その後、ハイライトシーンがダウンロードされた場合、当該ハイライトシーンのダウンロード数がインクリメントされる。また、ハイライトシーンにコメントが投稿された場合、当該投稿されたコメントが追記される。
表示制御部15Dは、各種の表示制御を行う処理部である。
一実施形態として、表示制御部15Dは、抽出部15Bによりハイライトシーンが抽出された場合、次のような処理を実行する。すなわち、表示制御部15Dは、抽出部15Bにより抽出されたハイライトシーンに付与されたタグのうち「チーム名」に対応するチームスクリーン251をクリップの表示先として設定する。さらに、表示制御部15Dは、抽出部15Bにより抽出されたハイライトシーンに付与されたタグのうち「盛り上がり度」に基づいて当該クリップの表示サイズを設定する。さらに、表示制御部15Dは、抽出部15Bにより抽出されたハイライトシーンに付与されたタグのうち「シルエット形状」に対応する形状を当該クリップの表示形状として設定する。
図5Aは、クリップの表示サイズの決定方法の一例を示す図である。図5に示すように、表示制御部15Dは、ハイライトシーンに付与されたタグ「盛り上がり度」が低くなるにつれて小さい表示サイズを当該クリップの表示サイズとして設定する。その一方で、表示制御部15Dは、ハイライトシーンに付与されたタグ「盛り上がり度」が高くなるにつれて大きい表示サイズを当該クリップの表示サイズとして設定する。なお、図5には、ハイライトシーンに付与されたタグ「盛り上がり度」に基づいてクリップの表示サイズが設定される例を挙げたが、これに限定されない。例えば、表示制御部15Dは、盛り上がり度の代わりにダウンロード数に基づいてクリップの表示サイズを設定することとしてもよいし、盛り上がり度及びダウンロード数の両方に基づいてクリップの表示サイズを設定することとしてもかまわない。
その後、表示制御部15Dは、クリップの表示先のチームスクリーン251上の初期位置、例えばメインスクリーン250寄りの位置に上記の表示サイズかつ上記の表示形状でクリップを配置する指示を表示装置25へ行う。このように表示先のチームスクリーン251に配置されたクリップは、ハイライトシーンの動画の再生をループする表示に加えて他の表示を行うこともできる。
図5Bは、クリップのフォーマットの一例を示す図である。図5Bには、ハイライトシーン情報13bのうち図4に示すレコードに対応するクリップが表示される例が示されている。図5Bに示すように、クリップには、ハイライトシーンの動画を再生する表示領域、すなわち図中の斜線の網掛け部分が含まれ得る他、アクションに関する表示領域が含まれる。例えば、図5Bに示す例で言えば、当該ハイライトシーンで発生したアクション「キル」の連続回数「2」が表示されると共に、当該アクションを起こしたプレイヤ名「XXXXX」が表示されている。このようなアクションに関する表示によって、当該ハイライトシーンで試合の戦況が動く程度を観戦者に把握させることができる。この他、クリップには、当該ハイライトシーンの動画がダウンロードされた回数「57」が表示される領域も含まれる。このようなダウンロード数の表示によって、当該ハイライトシーンの人気を観戦者に把握させることができる。
このようにクリップを配置する処理と並列して、表示制御部15Dは、各チームスクリーン251に配置済みであるクリップの位置及び表示内容を更新する処理を行う。
1つの側面として、表示制御部15Dは、所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過する度に、次のような処理を実行する。すなわち、表示制御部15Dは、各チームスクリーン251に配置済みであるクリップに表示されたダウンロード数をハイライトシーン情報13bのうち当該クリップの動画IDに対応するダウンロード数に同期させる。これによって、ダウンロード数の表示を最新のものに更新する。さらに、表示制御部15Dは、各チームスクリーン251に配置済みである各クリップの位置をメインスクリーン250と反対側にシフトさせる。これによって、ハイライトシーンが抽出されたタイミングが早いクリップほどメインスクリーン250の反対側寄りに表示される共に、ハイライトシーンが抽出されたタイミングが遅いクリップほどメインスクリーン250寄りに表示される。
図6は、配置済みクリップのシフト方法の一例を示す図である。図6には、説明の便宜上、チームスクリーン251A及びチームスクリーン251Bのうちチームスクリーン251Bの表示が抜粋して示されている。さらに、図6には、チームスクリーン251Bのメインスクリーン250最寄りの左端の位置に配置される試合タイトル「決勝」およびチーム名「Bチーム」の右側がクリップの初期位置とされる例を挙げる。なお、t0、t1、t2及びt3は、t0<t1<t2<t3であることとする。
図6に示すように、時刻t0の段階では、クリップが抽出されていない。続いて、時刻t1になると、クリップCB11がチームスクリーン251Bの初期位置に配置される。その後、時刻t2になってクリップCB12がチームスクリーン251Bの初期位置に配置されるまでクリップCB11を一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。そして、時刻t3になってクリップCB13がチームスクリーン251Bの初期位置に配置されるまでクリップCB11及びクリップCB12を一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。
なお、図6には、説明の便宜上、チームスクリーン251A及び251Bのうちチームスクリーン251Bの表示が抜粋して示されているが、チームスクリーン251Aにおいてもクリップの初期位置やシフト方向が左右反転する他に変わりはない。
更なる側面として、表示制御部15Dは、対戦が終了した試合に関するクリップのうち当該試合の以後の試合でダウンロード数が所定の条件を満たすクリップに表示を絞り込む。あくまで一例として、表示制御部15Dは、以後の試合で所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過する度に、次のような処理を実行する。すなわち、表示制御部15Dは、チームスクリーン251に配置済みであり、かつ対戦終了済みの試合に関するクリップのうちダウンロード数が全クリップのダウンロード数の統計値、例えば平均値や中央値、あるいは最頻値未満であるクリップを除去する。その上で、表示制御部15Dは、チームスクリーン251に配置済みであり、かつ対戦終了済みの試合に関するクリップの位置をメインスクリーン250と反対側にシフトさせる。なお、チームスクリーン251においてメインスクリーン250と反対側の末端まで移動したクリップはその表示位置が固定される。
図7は、対戦終了済みの試合に関するクリップの絞り込み方法の一例を示す図である。図7には、説明の便宜上、チームスクリーン251A及びチームスクリーン251Bのうちチームスクリーン251Bの表示が抜粋して示されている。さらに、図7には、チームスクリーン251Bのメインスクリーン250最寄りの左端の位置に配置される試合タイトル「1回戦」およびチーム名「Bチーム」の右側がクリップの初期位置とされる例を挙げる。なお、t1、t2及びt3は、t1<t2<t3であることとする。
図7に示すように、Bチームの試合が終了した時刻t1の段階では、7つのクリップCB21〜CB27がチームスクリーン251Bに配置されている。その後、次の試合が開始される時刻t2になるまで7つのクリップCB21〜CB27を一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。そして、次の試合が開始される時刻t2になった段階では、クリップCB24及びクリップCB27の2つのクリップのダウンロード数が各チームスクリーン251に表示中である全クリップの統計値未満となって除去される。この結果、チームスクリーン251BにおけるBチームの表示がクリップCB21、クリップCB22、クリップCB23、クリップCB25及びクリップCB26の5つのクリップまで絞り込まれる。その後、次々の試合が開始される時刻t3になるまでクリップCB21、クリップCB22、クリップCB23、クリップCB25及びクリップCB26の5つのクリップを一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。そして、次々の試合が開始される時刻t3になった段階では、クリップCB21、クリップCB22及びクリップCB25の3つのクリップのダウンロード数が各チームスクリーン251に表示中である全クリップの統計値未満となってさらに除去される。この結果、チームスクリーン251BにおけるBチームの表示がクリップCB23及びクリップCB26の2つのクリップまで絞り込まれる。
なお、図7には、説明の便宜上、チームスクリーン251A及び251Bのうちチームスクリーン251Bの表示が抜粋して示されているが、チームスクリーン251Aにおいてもクリップの初期位置やシフト方向が左右反転する他に変わりはない。
なお、図6や図7では、全てのクリップを一定のシフト量ずつシフトさせる例を挙げたが、クリップによって異なるシフト量を用いてもかまわない。例えば、クリップが配置されている位置やクリップの表示サイズによってクリップのシフト量を変更することができる。例えば、クリップが配置されている位置がメインスクリーン250に近いほど小さいシフト量でクリップをシフトさせたり、あるいはクリップの表示サイズが大きいほど小さいシフト量でクリップをシフトさせたりすることができる。
決定部15Eは、チームスクリーン251に表示中のクリップのうちいずれのクリップに対応するハイライトシーンの動画をダウンロードさせるのかを決定する処理部である。
一実施形態として、決定部15Eは、ハイライトシーンの動画をダウンロードするリクエストを受け付ける。以下、ハイライトシーンの動画をダウンロードするリクエストのことを「DL(DownLoad)リクエスト」を記載する場合がある。あくまで一例として、DLリクエストは、eスポーツ観戦用のアプリケーションプログラムがインストールされたユーザ端末50を介して受け付けることができる。以下、eスポーツ観戦用のアプリケーションプログラムのことを「eスポーツ観戦用アプリ」と記載する場合がある。例えば、eスポーツ観戦用アプリがユーザ端末50で起動された状態でDLリクエストを実行するGUI操作が行われると、eスポーツ観戦用アプリは、ユーザ端末50に搭載されたカメラを起動する。その後、カメラの撮影操作が行われた場合、eスポーツ観戦用アプリは、当該撮影操作を通じてカメラにより撮像されたクリップ画像と共にハイライトシーンのDLリクエストを表示制御装置10に行う。
このようにしてハイライトシーンのDLリクエストを受け付けた場合、決定部15Eは、DLリクエストと共に受け付けたクリップ画像からクリップのシルエット形状を抽出する。その上で、決定部15Eは、ハイライトシーン情報13bに含まれるシルエット形状と、クリップ画像から抽出されたシルエット形状とをテンプレートマッチングなどの画像処理によって照合する。この結果、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bでヒットした場合、決定部15Eは、ハイライトシーン情報13bに含まれるハイライトシーンのうち、照合にヒットしたシルエット形状を持つハイライトシーンをユーザ端末50によるダウンロード対象として決定する。
配信部15Fは、ハイライトシーンの動画を配信する処理部である。
一実施形態として、配信部15Fは、決定部15Eによりユーザ端末50によるダウンロード対象として決定されたハイライトシーンの動画をユーザ端末50に配信する。この結果、ユーザ端末50によりハイライトシーンの動画がダウンロードされる。これによって、チームスクリーン251を見て気に入ったハイライトシーンのコレクション機能を観戦者に提供することができる。このようなハイライトシーンのコレクション機能を提供することで、eスポーツの会場に来場するインセンティブを高めることが可能になる。
図8は、ハイライトシーンの配信方法の一例を示す図である。図8には、チームスクリーン251BのクリップCB31で再生されるハイライトシーンをダウンロードする例が示されている。図8に示すように、ユーザ端末50のカメラを用いてチームスクリーン251Bに表示されたクリップCB31が撮影された場合、カメラにより撮像されたクリップ画像51と共にハイライトシーンのDLリクエストがユーザ端末50から表示制御装置10へ行われる(ステップS1)。このようにハイライトシーンのDLリクエストを受け付けると、クリップ画像51から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bから検索される。図8に示す例で言えば、クリップ画像51から抽出されたシルエット形状は、動画ID「YYYYYYY」のシルエット形状とヒットする。この場合、動画ID「YYYYYYY」を持つハイライトシーンがユーザ端末50によるダウンロード対象として決定される(ステップS2)。その後、ユーザ端末50によるダウンロード対象として決定されたハイライトシーンの動画がユーザ端末50に配信される(ステップS3)。この結果、ユーザ端末50によりハイライトシーンの動画がダウンロードされる。このようにハイライトシーンの動画がダウンロードされた場合、ハイライトシーン情報13bのレコードのうち、動画ID「YYYYYYY」のダウンロード数は、「76DL」から「77DL」へインクリメントされる。
[クリップの配置処理]
図9は、実施例1に係るクリップの配置処理の手順を示すフローチャートである。この処理のステップS101は、一例として、コンピュータゲームの試合開始の前に実行される。図9に示すように、コンピュータゲームの対戦チームごとにチームスクリーン251が割り当てられた後(ステップS101)、コンピュータゲームの試合開始を待機する(ステップS102)。
コンピュータゲームの試合開始後、収集部15Aは、スイッチャ23から試合映像や各プレイヤ視点のゲーム動画などを収集する(ステップS103)。続いて、抽出部15Bは、対戦ゲームの試合映像から観衆の音量を予測するように学習した予測モデルを用いて、試合映像のシーン毎に求めた盛り上がり度をもとにハイライトシーンの動画を抽出する(ステップS104)。
そして、ステップS104で新たなハイライトシーンが抽出された場合(ステップS105Yes)、判定部15Cは、当該ハイライトシーンでアクションを起こすプレイヤが属するチームを特定することで、ステップS104で抽出されたハイライトシーンがいずれのチームに対するハイライトシーンであるかを判定する(ステップS106)。
続いて、判定部15Cは、ステップS106で判定されたハイライトシーンが対応するチーム名やプレイヤ名の他、ハイライトシーンが対応するアクションやその連続回数等の各種の項目を含むタグを生成する(ステップS107)。
その後、表示制御部15Dは、ステップS104で抽出されたハイライトシーンに付与されたタグのうち「チーム名」に対応するチームスクリーン251をクリップの表示先として設定する(ステップS108)。
さらに、表示制御部15Dは、ステップS104で抽出されたハイライトシーンに付与されたタグのうち「盛り上がり度」に基づいて当該クリップの表示サイズを設定する(ステップS109)。
さらに、表示制御部15Dは、ステップS104で抽出されたハイライトシーンに付与されたタグのうち「シルエット形状」に対応する形状を当該クリップの表示形状として設定する(ステップS110)。
その上で、表示制御部15Dは、ステップS108で設定されたクリップの表示先のチームスクリーン251上の初期位置、例えばメインスクリーン250寄りの位置にステップS109で設定された表示サイズかつステップS110で設定された表示形状でクリップを配置する指示を表示装置25へ行う(ステップS111)。
その後、コンピュータゲームの試合が終了するまで(ステップS112No)、上記のステップS103から上記のステップS111までの処理が繰り返し実行される。そして、コンピュータゲームの試合が終了した場合(ステップS112Yes)、処理が終了する。
[クリップの更新処理]
図10は、実施例1に係るクリップの更新処理の手順を示すフローチャートである。この処理は、図9に示す処理とは並列して実行することができる。図10に示すように、所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過した場合(ステップS301Yes)、次のような処理を実行する。
すなわち、表示制御部15Dは、各チームスクリーン251に配置済みであるクリップに表示されたダウンロード数をハイライトシーン情報13bのうち当該クリップの動画IDに対応するダウンロード数に同期させる(ステップS302)。これによって、ダウンロード数の表示を最新のものに更新する。
さらに、表示制御部15Dは、各チームスクリーン251に配置済みである各クリップの位置をメインスクリーン250と反対側にシフトさせる(ステップS303)。これによって、ハイライトシーンが抽出されたタイミングが早いクリップほどメインスクリーン250の反対側寄りに表示される共に、ハイライトシーンが抽出されたタイミングが遅いクリップほどメインスクリーン250寄りに表示される。
その後、コンピュータゲームの試合が終了するまで(ステップS304No)、上記のステップS301から上記のステップS303までの処理が繰り返し実行される。そして、コンピュータゲームの試合が終了した場合(ステップS304Yes)、処理が終了する。
[クリップの配信処理]
図11は、実施例1に係るクリップの配信処理の手順を示すフローチャートである。この処理は、一例として、図9や図10に示す処理とは並列して実行することができる。図11に示すように、ハイライトシーンのDLリクエストを受け付けた場合(ステップS501Yes)、決定部15Eは、DLリクエストと共に受け付けたクリップ画像からクリップのシルエット形状を抽出する(ステップS502)。
その上で、決定部15Eは、クリップ画像から抽出されたシルエット形状と一致するシルエット形状をハイライトシーン情報13bからテンプレートマッチングなどの画像処理によって検索する(ステップS503)。
この結果、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bでヒットした場合(ステップS504Yes)、決定部15Eは、次のような処理を実行する。すなわち、決定部15Eは、ハイライトシーン情報13bに含まれるハイライトシーンのうち、照合にヒットしたシルエット形状を持つハイライトシーンをユーザ端末50によるダウンロード対象として決定する(ステップS505)。
そして、配信部15Fは、決定部15Eによりユーザ端末50によるダウンロード対象として決定されたハイライトシーンの動画をユーザ端末50に配信する(ステップS506)。この結果、ユーザ端末50によりハイライトシーンの動画がダウンロードされる。その後、ハイライトシーン情報13bのレコードのうち、ダウンロードが行われたハイライトシーンのダウンロード数をインクリメントし(ステップS507)、処理を終了する。
一方、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bでヒットしない場合(ステップS504No)、決定部15Eは、次のような処理を実行する。すなわち、決定部15Eは、ハイライトシーンの動画のダウンロードに失敗した旨をユーザ端末50へ応答し(ステップS508)、処理を終了する。
[効果の一側面]
上述してきたように、本実施例に係る表示制御装置10は、eスポーツの対戦チームそれぞれに対応する表示領域のうち、eスポーツの試合映像からハイライトシーンが抽出されたチームの表示領域に当該ハイライトシーンを表示する表示制御を実現する。このような表示制御によって、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかを識別させることができる。したがって、本実施例に係る表示制御装置10によれば、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くすることが可能である。
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。
[スクリーンレイアウトの応用例1]
上記の実施例1では、対戦チームが2チームである場合のスクリーンのレイアウトを例示したが、上記の表示制御機能の適用範囲は対戦チームが2チームである場合に限定されず、対戦チームが3チーム以上である場合にも上記の表示制御機能を適用可能である。
図12は、スクリーンのレイアウトの他の一例を示す図である。図12には、各チーム4人制のAチーム、Bチーム、Cチーム及びDチームの計4チームでeスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図12に示すように、メインスクリーン250を正面から見て、左方向から順に、チームスクリーン251A、チームスクリーン251B、メインスクリーン250、チームスクリーン251C、チームスクリーン251Dの順に配置される。
このうち、チームスクリーン251AがAチームに割り当てられると共に、チームスクリーン251BがBチームに割り当てられる。さらに、チームスクリーン251CがCチームに割り当てられると共に、チームスクリーン251DがDチームに割り当てられる。
これらチームスクリーン251A、チームスクリーン251B、チームスクリーン251C及びチームスクリーン251Dでは、複数のクリップが時系列に並べて配置される。図12に示すスクリーンのレイアウトでも、図2に示されたスクリーンのレイアウトの場合と同様に、クリップが抽出されたタイミングが早いほどメインスクリーン250から遠い位置にクリップが表示されると共に、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン250寄りに並べてクリップが表示される。
[スクリーンレイアウトの応用例2]
上記の実施例1では、チームスクリーン251A及びチームスクリーン251Bをメインスクリーン250の左右に並べて配置する例を挙げたが、必ずしもチームスクリーン251はメインスクリーン250の左右に並べて配置せずともよく、また、必ずしもチームスクリーン251の形状は矩形等の特定の図形に限定されない。
図13は、スクリーンのレイアウトの他の一例を示す図である。図13にも、各チーム4人制のAチーム、Bチーム、Cチーム及びDチームの計4チームでeスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図13に示すように、メインスクリーン250の周囲に矩形以外の形状で、チームスクリーン251A、チームスクリーン251B、チームスクリーン251C及びチームスクリーン251Dを放射状に並べて配置することもできる。例えば、メインスクリーン250を正面から見て、9時方向から時計回りの順に、チームスクリーン251A、チームスクリーン251B、チームスクリーン251C、チームスクリーン251Dの順に配置される。
これらチームスクリーン251A、チームスクリーン251B、チームスクリーン251C及びチームスクリーン251Dにおいても、複数のクリップが時系列に並べて配置される。図13に示すスクリーンのレイアウトでも、図2に示されたスクリーンのレイアウトの場合と同様に、クリップが抽出されたタイミングが早いほどメインスクリーン250から遠い位置にクリップが表示されると共に、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン250寄りに並べてクリップが表示される。
[ハイライトの分類の応用例]
上記の実施例1では、試合別およびチーム別にハイライトシーンを分類してクリップを配置する例を挙げたが、必ずしもハイライトの分類はこれに限定されず、他の分類でクリップを配置することもできる。
図14A〜図14Cは、ハイライトの分類の応用例を示す図である。図14A〜図14Cには、説明の便宜上、チームスクリーン251A及びチームスクリーン251Bのうちチームスクリーン251Bの表示が抜粋して示されている。
例えば、過去試合別およびチーム別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図14Aに示すように、メインスクリーン250から近い順に、Bチームの今日の試合のクリップ、Bチームの昨日の試合のクリップを配置することができる。また、アクション別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図14Bに示すように、メインスクリーン250から近い順に、アクション「ダンク」に関するクリップ、アクション「クロスオーバー」に関するクリップを配置することができる。さらに、プレイヤ別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図14Cに示すように、メインスクリーン250から近い順に、プレイヤCに関するクリップ、プレイヤDに関するクリップを配置することができる。
[リアルスポーツへの適用]
上記の実施例1では、上記の表示制御機能がeスポーツの観戦に適用される例を挙げたが、上記の表示制御機能の適用範囲はeスポーツの観戦に限定されず、eスポーツ以外のリアルスポーツの観戦にも上記の表示制御機能を適用することができる。
図15は、スクリーンのレイアウトの他の一例を示す図である。図15には、AチームおよびBチームのバスケットボールの対戦が行われる場合のスクリーンのレイアウトが示されている。例えば、バスケットボールの観戦が行われる場合、図15に示すように、1stクォータ、2ndクォータ、3rdクォータ及び4thクォータのクォータ別にハイライトシーンを分類してクリップを配置することもできる。
バスケットボールなどのリアルスポーツのハイライトシーンがいずれのチームに対するハイライトシーンであるか否かを判定する場合、判定部15Cは、モーショントラッキング技術を利用することができる。
図16は、モーショントラッキングにおけるカメラ配置の一例を示す図である。図16に示すように、バスケットボールのフィールドF上の実空間がバスケットボール観戦の自由視点映像として生成される。この場合、複数のカメラ41A〜41Nは、フィールドFの周囲からフィールドFの内部へ向けて配置される。このとき、複数のカメラ20の撮影範囲が組み合わさることによりフィールドFの全域が複数のカメラ41A〜41Nの撮影範囲に収まる配置で各カメラ20が設置される。さらに、2つ以上のカメラ41の間で共通する画像上の画素からフィールドF上に存在する被写体の3次元構造を解析するために、各カメラ41A〜41Nは、他のカメラ41との間で撮影範囲の一部が重複する状態で配置される。このような配置の下、複数のカメラ41A〜41Nがフレームごとに同期して撮影することにより、異なる視点ごとに同一のタイミングで撮影された複数の画像、すなわち多視点画像がフレーム単位で得られる。
これらカメラ41A〜41Nから多視点画像を取得するトラッキング装置40は、複数のカメラ41が撮像する多視点画像から選手やボールなどの被写体の3次元情報を解析する。これによって、バスケットボール観戦の自由視点映像の生成が可能となる。その上で、トラッキング装置40は、上記の3次元情報からボール、選手や審判の動きが追跡されたトラッキング情報を表示制御装置10へ提供することができる。このようなトラッキング情報を用いて、判定部15Cは、ハイライトシーンが抽出された場合に、当該ハイライトシーンでゴールを決めるシュートを行った選手やシュートを行った選手にパスを行った選手などを特定することで、これらの選手が属するチームに対するハイライトシーンであることを判定することができる。このように、得点やスコア、ポイントなどに関連するプレイヤを特定する場合、あくまで一例として球技を例に挙げれば、得点やスコアが変動する直前やその1つ前にボール等に接触していたプレイヤからチームを判定することができる。また、スコアボード等から文字認識によって得点やスコアが変動した方のチームを識別することとしてもよい。
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15Eまたは配信部15Fを表示制御装置10の外部装置としてネットワーク経由で接続するようにしてもよい。また、収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15Eまたは配信部15Fを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の表示制御装置10の機能を実現するようにしてもよい。
[表示制御プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図17を用いて、上記の実施例と同様の機能を有する表示制御プログラムを実行するコンピュータの一例について説明する。
図17は、コンピュータのハードウェア構成例を示す図である。図17に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110〜180の各部はバス140を介して接続される。
HDD170には、図17に示すように、上記の実施例1で示した収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15E及び配信部15Fと同様の機能を発揮する表示制御プログラム170aが記憶される。この表示制御プログラム170aは、図1に示した収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15E及び配信部15Fの各構成要素と同様、統合又は分離してもかまわない。すなわち、HDD170には、必ずしも上記の実施例1で示した全てのデータが格納されずともよく、処理に用いるデータがHDD170に格納されればよい。
このような環境の下、CPU150は、HDD170から表示制御プログラム170aを読み出した上でRAM180へ展開する。この結果、表示制御プログラム170aは、図17に示すように、表示制御プロセス180aとして機能する。この表示制御プロセス180aは、RAM180が有する記憶領域のうち表示制御プロセス180aに割り当てられた領域にHDD170から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、表示制御プロセス180aが実行する処理の一例として、図9〜図11に示す処理などが含まれる。なお、CPU150では、必ずしも上記の実施例1で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
なお、上記の表示制御プログラム170aは、必ずしも最初からHDD170やROM160に記憶されておらずともかまわない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に表示制御プログラム170aを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から表示制御プログラム170aを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに表示制御プログラム170aを記憶させておき、コンピュータ100がこれらから表示制御プログラム170aを取得して実行するようにしてもよい。
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。
(付記1)複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出する抽出部と、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定する判定部と、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する表示制御部と、
を有することを特徴とする表示制御装置。
(付記2)前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定部により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記1に記載の表示制御装置。
(付記3)前記判定部は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記1に記載の表示制御装置。
(付記4)前記判定部は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記1に記載の表示制御装置。
(付記5)前記表示制御部は、前記ハイライトシーンを含む、前記判定部により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する決定部と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する配信部と、をさらに有することを特徴とする付記1に記載の表示制御装置。
(付記6)複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出し、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(付記7)前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記6に記載の表示制御方法。
(付記8)前記判定する処理は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記6に記載の表示制御方法。
(付記9)前記判定する処理は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記6に記載の表示制御方法。
(付記10)前記表示する処理は、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する処理と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する処理と、をさらにコンピュータが実行することを特徴とする付記6に記載の表示制御方法。
(付記11)複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出し、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
(付記12)前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記11に記載の表示制御プログラム。
(付記13)前記判定する処理は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記11に記載の表示制御プログラム。
(付記14)前記判定する処理は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記11に記載の表示制御プログラム。
(付記15)前記表示する処理は、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する処理と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する処理と、をさらにコンピュータに実行させることを特徴とする付記11に記載の表示制御プログラム。