JP2020179045A - Display control device, display control method, and display control program - Google Patents
Display control device, display control method, and display control program Download PDFInfo
- Publication number
- JP2020179045A JP2020179045A JP2019086145A JP2019086145A JP2020179045A JP 2020179045 A JP2020179045 A JP 2020179045A JP 2019086145 A JP2019086145 A JP 2019086145A JP 2019086145 A JP2019086145 A JP 2019086145A JP 2020179045 A JP2020179045 A JP 2020179045A
- Authority
- JP
- Japan
- Prior art keywords
- team
- highlight scene
- display control
- highlight
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 79
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 41
- 239000000284 extract Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 9
- 230000002860 competitive effect Effects 0.000 description 9
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。 The present invention relates to a display control device, a display control method, and a display control program.
各種の対戦スポーツ、例えばｅスポーツを含む対戦型のスポーツ全般で観戦に、映像が用いられる。例えば、観戦会場に設置されたスクリーンや、遠隔で観戦している観戦者のディスプレイに、対戦スポーツの中で見どころのシーンがハイライトシーンとして提示される。 Video is used for watching various competitive sports, for example, in general competitive sports including e-sports. For example, the highlight scenes in the competitive sports are presented as highlight scenes on the screen installed at the spectator venue or the display of the spectator who is watching the game remotely.
ここで、ハイライトシーンを提示する技術の一例として、録画された映像コンテンツからハイライトシーンを抽出する技術がある。当該技術では、コンテンツの画像または音声データから抽出される特徴データに基づいて演算される評価値に基づいて、コンテンツの中のハイライトシーンを検出する表示制御装置が提案されている。 Here, as an example of the technique for presenting the highlight scene, there is a technique for extracting the highlight scene from the recorded video content. In this technique, a display control device that detects a highlight scene in a content based on an evaluation value calculated based on feature data extracted from the image or audio data of the content has been proposed.
しかしながら、上記の技術では、次に説明する通り、対戦中の複数チームそれぞれのハイライトシーンが、観戦者にとって、把握しにくい場合がある。 However, with the above technique, as will be described next, it may be difficult for the spectator to grasp the highlight scenes of each of the plurality of teams in the battle.
すなわち、上記の表示制御装置では、ハイライトシーンまでに至る所定の時間分の映像がリプレイ画像として表示画面に表示されるに過ぎないので、表示画面に表示中であるハイライトシーンがいずれのチームに関するハイライトであるのかは把握しづらい。例えば、対戦スポーツの観戦者が複数チームのうちいずれかのチームを応援している場合でも、観戦者が応援するチームのハイライトシーンであるのか、あるいは観戦者が応援するチームと対戦中のチームのハイライトシーンであるのかを把握するのが困難である。このように、ハイライトシーンを観戦者に提示したとしても、観戦者が応援するチームの戦況の善し悪しが伝わらないので、対戦スポーツの面白さが観戦者に伝わりづらい。 That is, in the above display control device, since the video for a predetermined time up to the highlight scene is only displayed on the display screen as a replay image, the highlight scene displayed on the display screen is any team. It's hard to tell if it's a highlight. For example, even if a spectator of a competitive sport is supporting one of multiple teams, is it the highlight scene of the team supported by the spectator, or is the team playing against the team supported by the spectator? It is difficult to grasp whether it is the highlight scene of. In this way, even if the highlight scene is presented to the spectator, it is difficult to convey the fun of the competitive sport to the spectator because the good and bad of the battle situation of the team supported by the spectator is not transmitted.
１つの側面では、本発明は、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くできる表示制御装置、表示制御方法及び表示制御プログラムを提供することを目的とする。 In one aspect, it is an object of the present invention to provide a display control device, a display control method, and a display control program that enable a spectator to easily grasp the highlight scenes of each of a plurality of teams in a match.
一態様では、表示制御装置は、複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出する抽出部と、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定する判定部と、前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する表示制御部と、を有する。 In one aspect, the display control device includes an extraction unit that extracts highlight scenes based on the analysis results of images of battles by a plurality of teams, and highlights the highlight scenes for any of the plurality of teams. The determination unit for determining whether the scene is a scene and the display area allocated to each of the plurality of teams and not overlapping each other, the display area corresponding to the team determined by the determination unit is the display area. It has a display control unit that displays a highlight scene.
対戦中の複数チームそれぞれのハイライトシーンを把握し易くできる。 You can easily grasp the highlight scenes of each of the multiple teams in the match.
以下に添付図面を参照して本願に係る表示制御装置、表示制御方法及び表示制御プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 The display control device, display control method, and display control program according to the present application will be described below with reference to the accompanying drawings. It should be noted that this embodiment does not limit the disclosed technology. Then, each embodiment can be appropriately combined as long as the processing contents do not contradict each other.
［システム構成］
図１は、実施例１に係る表示制御装置１０の機能的構成の一例を示すブロック図である。図１に示す表示制御装置１０は、対戦スポーツの試合映像に関する表示制御機能、例えばハイライトシーンの表示制御機能などを有するものである。
[System configuration]
FIG. 1 is a block diagram showing an example of a functional configuration of the
表示制御装置１０は、上記の表示制御機能を提供するコンピュータの一例である。
The
一実施形態として、表示制御装置１０は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の表示制御機能を実現する表示制御プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、表示制御装置１０は、上記の表示制御機能をオンプレミスに提供するサーバとして実装することができる。この場合、表示制御装置１０は、必ずしも対戦スポーツの試合会場の外部に設けずともよく、対戦スポーツの試合会場の現場に設置される情報システム、例えば映像システム２０等の一部に組み込まれることとしてもかまわない。これに限定されず、表示制御装置１０は、ＳａａＳ（Software as a Service）型のアプリケーションとして実装することで、上記の表示制御機能をクラウドサービスとして提供することとしてもかまわない。
As one embodiment, the
ここで、本実施例では、対戦スポーツの一例として、ｅスポーツ（electronic sports）を例に挙げ、ｅスポーツの会場のスクリーンに表示される試合映像及びそのハイライトシーン等の映像コンテンツを通じてスポーツ観戦が行われるユースケースを例に挙げる。 Here, in this embodiment, e-sports (electronic sports) is taken as an example of competitive sports, and watching sports is performed through video contents such as a game video displayed on the screen of the e-sports venue and its highlight scene. Take the use case that takes place as an example.
図１に示すように、表示制御装置１０には、映像システム２０と、ユーザ端末５０とが接続され得る。これら表示制御装置１０、映像システム２０及びユーザ端末５０は、任意のネットワークＮＷを介して通信可能に接続される。ネットワークＮＷは、有線または無線を問わず、インターネットやＬＡＮ（Local Area Network）などの任意の種類の通信網であってかまわない。なお、図１には、説明の便宜上、１つの表示制御装置１０につき１つのユーザ端末５０が接続される例を挙げたが、１つの表示制御装置１０につき複数のユーザ端末５０が接続されることを妨げない。
As shown in FIG. 1, the
映像システム２０は、ｅスポーツの試合映像などを表示するシステムである。例えば、映像システム２０には、図１に示すように、ゲーム装置２１と、スイッチャ２３と、表示装置２５とが含まれ得る。
The
ゲーム装置２１は、コンピュータゲームのソフトウェアが実行されるコンピュータである。また、ゲーム装置２１は、プレイヤによって操作される装置である。ここで言う「ゲーム装置」とは、コンピュータゲームのソフトウェアが実行されるという側面から付与されたラベルであり、そのハードウェア構成や導入されるソフトウェアの種類は限定されず、任意の種類のコンピュータであってかまわない。また、「コンピュータゲーム」は、任意のタイトルやジャンルであってかまわない。その上で例を挙げれば、ファーストパーソンシューティングやサードパーソンシューティング、リアルタイムストラテジ、マルチプレイオンラインバトルアリーナ、格闘ゲーム、スポーツゲーム、レーシングゲーム、パズルゲームなどが挙げられる。このようなゲーム装置２１にインストールされたキャプチャボード等を介して、当該ゲーム装置２１のプレイヤ視点のゲーム画面がスイッチャ２３へ入力される。
The
スイッチャ２３は、表示装置２５が所定のスクリーンに表示する映像を切り替える装置である。例えば、スイッチャ２３は、ゲーム装置２１により出力されるプレイヤ視点のゲーム画面やゲーム上のフィールドやマップが上方向から俯瞰された俯瞰視点のゲーム画面のうち、図示しないコントロールパネル等を介して選択される映像を表示装置２５に出力する。このような選択操作によってスクリーンへ時系列に表示されるゲーム動画のことを「試合映像」と記載する場合がある。
The switcher 23 is a device for switching an image displayed on a predetermined screen by the
表示装置２５は、所定のスクリーンに映像を表示する装置である。
The
あくまで一例として、表示装置２５には、発光により表示を実現する液晶ディスプレイや有機ＥＬ（electroluminescence）ディスプレイなどを採用することができる。他の一例として、表示装置２５には、投影により表示を実現するプロジェクタを採用することもできる。このようにプロジェクタが採用される場合、専用のスクリーンを用いることもできれば、壁や床などの平面をスクリーンとして用いることもできる。
As an example, a liquid crystal display, an organic EL (electroluminescence) display, or the like that realizes display by light emission can be adopted as the
例えば、表示装置２５は、スイッチャ２３から入力されるライブの試合映像を所定のスクリーンに表示する。この他、表示装置２５は、ｅスポーツの試合映像のハイライトシーンを所定のスクリーンに表示させることもできる。
For example, the
ユーザ端末５０は、ｅスポーツの観戦者が使用するコンピュータの一例である。ここで言う「ユーザ端末」とは、コンピュータの使用者という側面から付与されたラベルであり、そのハードウェア構成や導入されるソフトウェアの種類は限定されず、任意の種類のコンピュータであってかまわない。例えば、ユーザ端末５０には、スマートフォンや携帯電話機、ＰＨＳ（Personal Handyphone System）、タブレット端末などの携帯端末装置全般が対応する。これらはあくまで例示に過ぎず、ユーザ端末１０は、パーソナルコンピュータなどのデスクトップ型のコンピュータの他、ラップトップ型のコンピュータやウェアラブル端末などの任意のコンピュータであってかまわない。
The
［課題の一側面］
上記の背景技術の欄で挙げた技術には、対戦中の複数チームそれぞれのハイライトシーンが把握しにくいという課題がある。
[One aspect of the task]
The technology listed in the background technology column above has the problem that it is difficult to grasp the highlight scenes of each of the multiple teams in the battle.
すなわち、上記の背景技術の欄で挙げた表示制御装置では、ハイライトシーンまでに至る所定の時間分の映像がリプレイ画像として表示画面に表示されるに過ぎない。このため、表示画面に表示中であるハイライトシーンがいずれのチームに関するハイライトであるのかは把握しづらい。 That is, in the display control device mentioned in the above background technology column, the video for a predetermined time up to the highlight scene is only displayed on the display screen as a replay image. Therefore, it is difficult to know which team the highlight scene displayed on the display screen is the highlight.
あくまで一例として、ｅスポーツを例に挙げれば、ｅスポーツの大会等は、コアプレイヤやコアファンなどの参加が多数である側面がある。コアプレイヤやコアファンは、ｅスポーツの試合に対する知識レベルが高い。その一方で、ノンプレイヤやライトファンには、コアプレイヤやコアファンほどの知識レベルはない。しかしながら、コンシューマ向けのゲームの普及が進む現状、ノンプレイヤやライトファンは、潜在的なｅスポーツの観戦者となり得る。このようなノンプレイヤやライトファンにとって、コアプレイヤやコアファンとの知識レベルのギャップが観戦ハードルを高める一因となっている。 Taking e-sports as an example, there is an aspect that core players and core fans participate in many e-sports competitions. Core players and core fans have a high level of knowledge about esports games. On the other hand, non-players and light fans do not have the same level of knowledge as core players and core fans. However, with the increasing popularity of consumer games, non-players and light fans can be potential esports spectators. For such non-players and light fans, the gap in knowledge level with core players and core fans is one of the factors that raise the hurdle for watching games.
例えば、ノンプレイヤやライトファンは、必ずしも各チームのプレイヤが使用するアバター等に関する知識を持っているとは限らない。それ故、上記の背景技術の欄で説明したハイライトシーンの表示が行われたとしても、観戦者が応援するチームのハイライトシーンであるのか、あるいは観戦者が応援するチームと対戦中のチームのハイライトシーンであるのかを把握するのは困難である。このように、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかも分からない状況では、スポーツ観戦の面白さが観戦者に伝わりづらい。このため、コアプレイヤやコアファンと一体となってスポーツ観戦を楽しむことができず、観戦ハードルを高める一因となっている。 For example, non-players and light fans do not always have knowledge about avatars and the like used by players of each team. Therefore, even if the highlight scene explained in the background technology section above is displayed, it is the highlight scene of the team supported by the spectator, or the team playing against the team supported by the spectator. It is difficult to grasp whether it is the highlight scene of. In this way, it is difficult to convey the fun of watching sports to the spectators in a situation where it is not clear whether the highlights of the teams supported by the spectators are displayed or the highlights of the teams in the competition are displayed. For this reason, it is not possible to enjoy watching sports together with core players and core fans, which is one of the factors that raise the hurdle for watching sports.
［課題解決のアプローチの一側面］
そこで、本実施例に係る表示制御装置１０は、ｅスポーツの対戦チームそれぞれに対応する表示領域のうち、ｅスポーツの試合映像から抽出されたハイライトシーンにかかるチームの表示領域に、当該ハイライトシーンを表示する表示制御を実現する。
[One aspect of the problem-solving approach]
Therefore, the
図２は、スクリーンのレイアウトの一例を示す図である。図２には、各チーム４人制のＡチーム及びＢチームの計２チームでｅスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図２に示すように、ｅスポーツの会場に設置される映像システム２０には、Ａチームの４人のプレイヤＰＡ１〜ＰＡ４が使用するゲーム装置２１ＰＡ１〜２１ＰＡ４と、Ｂチームの４人のプレイヤＰＢ１〜ＰＢ４が使用するゲーム装置２１ＰＢ１〜２１ＰＢ４とが含まれる。さらに、映像システム２０には、表示装置２５により映像が表示される表示領域の一例として、メインスクリーン２５０の左右に、チームスクリーン２５１Ａと、チームスクリーン２５１Ｂとが配置される。以下、チームスクリーン２５１Ａおよびチームスクリーン２５１Ｂのラベルを区別しない場合に「チームスクリーン２５１」と記載する場合がある。
FIG. 2 is a diagram showing an example of screen layout. FIG. 2 shows the layout of the screen when an e-sports match is played by a total of two teams, A team and B team, each of which has four players. As shown in FIG. 2, the
これらメインスクリーン２５０、チームスクリーン２５１Ａ及びチームスクリーン２５１Ｂには、３つのディスプレイを割り当てることによって実装したり、１つのディスプレイが３つに分割された表示領域を割り当てることによって実装したりすることができる。また、複数のディスプレイを結合することによってメインスクリーン２５０、チームスクリーン２５１Ａまたはチームスクリーン２５１Ｂなどの表示領域を形成することもできる。この他、プロジェクションによる表示が行われる場合、ｅスポーツの会場の一部、例えば壁面をメインスクリーン２５０、チームスクリーン２５１Ａまたはチームスクリーン２５１Ｂとして割り当てることもできる。
The
メインスクリーン２５０には、ｅスポーツのライブ試合映像が表示される。例えば、メインスクリーン２５０に表示される試合映像は、スイッチャ２３により切り替えられる。図２に示す例で言えば、ゲーム装置２１ＰＡ１〜２１ＰＡ４及びゲーム装置２１ＰＢ１〜２１ＰＢ４から入力されるプレイヤＰＡ１〜ＰＡ４視点およびプレイヤＰＢ１〜ＰＢ４視点のゲーム画面がスイッチャ２３へ入力される。この場合、スイッチャ２３では、プレイヤＰＡ１〜ＰＡ４視点およびプレイヤＰＢ１〜ＰＢ４視点と、ゲーム上のフィールドが上方向から俯瞰された俯瞰視点との中から１つの視点が図示しないコントロールパネルを介して選択される。このような選択操作は、あくまで一例として、スイッチャと呼ばれるスタッフ、あるいは実況や解説者によって行われる。
A live game image of e-sports is displayed on the
また、チームスクリーン２５１は、複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域の一例に対応する。例えば、チームスクリーン２５１Ａには、ｅスポーツの試合映像のうちＡチームのハイライトシーンが表示される。図２に示す例で言えば、チームスクリーン２５１Ａには、Ａチームのハイライトシーンの動画が表示される小領域ＣＡ１〜ＣＡ７が配置される。さらに、チームスクリーン２５１Ｂには、ｅスポーツの試合映像のうちＢチームのハイライトシーンが表示される。図２に示す例で言えば、チームスクリーン２５１Ｂには、Ｂチームのハイライトシーンの動画が表示される小領域ＣＢ１〜ＣＢ２が配置される。以下、チームスクリーン２５１Ａやチームスクリーン２５１Ｂにクリップされるハイライトシーンの動画のことを「クリップ」と記載する場合がある。
Further, the team screen 251 corresponds to an example of a display area allocated to each of a plurality of teams and which does not overlap with each other. For example, the
このように、本実施例に係る表示制御装置１０では、チームごとに割り当てられたスクリーンに、各チームのハイライトシーンを整理して表示する表示制御が実現される。このような表示制御によって、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかを識別させることができる。例えば、図２に示す例で言えば、観戦者がＡチームを応援する場合、Ａチームに割り当てられたチームスクリーン２５１Ａに表示されたクリップＣＡ１〜ＣＡ７を見ることによりＡチームの見どころを観戦することができる。
As described above, in the
したがって、本実施例に係る表示制御装置１０によれば、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くすることが可能になる。
Therefore, according to the
さらに、本実施例に係る表示制御装置１０では、チームスクリーン２５１に複数のクリップを時系列に並べて配置する。例えば、チームスクリーン２５１Ａ及びチームスクリーン２５０Ｂでは、クリップが抽出されたタイミングが早いほどメインスクリーン２５０から遠い位置にクリップが表示される。一方、チームスクリーン２５１Ａ及びチームスクリーン２５０Ｂでは、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン２５０寄りに並べてクリップが表示される。さらに、チームスクリーン２５１Ａ及びチームスクリーン２５０Ｂでは、対戦中の試合以外にも、その前に行われた試合で抽出されたクリップも時系列に並べて配置される。
Further, in the
例えば、図２に示すＡチーム対Ｂチームの対戦が決勝であるとする。この場合、チームスクリーン２５１Ａには、メインスクリーン２５０に近い方から順、すなわちメインスクリーン２５０の正面から見てチームスクリーン２５１Ａの右端から順に、決勝のクリップＣＡ１〜ＣＡ４、決勝の前の試合として行われた準決勝のクリップＣＡ５〜ＣＡ７が表示される。さらに、決勝戦のクリップの中でも、最新のクリップＣＡ１、２番目に新しいクリップＣＡ２、３番目に新しいクリップＣＡ３、４番目に新しいクリップＣＡ３が右方向から順に表示される。さらに、準決勝のクリップにおいても、最新のクリップＣＡ５、２番目に新しいクリップＣＡ６、３番目に新しいクリップＣＡ７が右方向から順に表示される。
For example, assume that the match between Team A and Team B shown in FIG. 2 is the final. In this case, the
また、チームスクリーン２５１Ｂには、メインスクリーン２５０に近い方から順、すなわちメインスクリーン２５０の正面から見てチームスクリーン２５１Ｂの左端から順に、決勝のクリップＣＢ１〜ＣＢ２、決勝の前の試合として行われた３位決定戦のクリップＣＣ１〜ＣＢ５が表示される。さらに、決勝のクリップの中でも、最新のクリップＣＢ１、２番目に新しいクリップＣＢ２が左方向から順に表示される。さらに、３位決定戦のクリップにおいても、最新のクリップＣＣ１、２番目に新しいクリップＣＣ２、３番目に新しいクリップＣＣ３、４番目に新しいクリップＣＣ４、５番目に新しいクリップＣＣ５が左方向から順に表示される。
Further, the
ここで、対戦中の試合の前の試合におけるクリップが表示される場合、チームスクリーン２５１Ｂに示す通り、Ｂチームのクリップだけでなく、過去、例えば３位決定戦で活躍するＣチームのハイライトシーンの動画をクリップＣＡ５〜ＣＡ７として表示させることもできる。
Here, when the clip in the match before the match in the match is displayed, as shown in the
このように、チームスクリーン２５１に、チームごとの複数のクリップを時系列に並べて配置するので、ｅスポーツにおける試合の戦況を時系列に把握しやすくできる。さらに、チームスクリーン２５１に前の試合のクリップも時系列に並べて配置するので、ｅスポーツの大会を通じた試合のログを表示することができる。この結果、観戦者が過去の試合を振り返ることができるので、試合全体の流れが把握しやすくなり、かつ観戦のタイミングが遅れても大会の時系列を把握しやすくできる。 In this way, since a plurality of clips for each team are arranged side by side on the team screen 251 in chronological order, it is possible to easily grasp the battle situation of the game in e-sports in chronological order. Further, since the clips of the previous game are arranged side by side in chronological order on the team screen 251, the log of the game through the e-sports tournament can be displayed. As a result, since the spectator can look back on the past games, it is easy to grasp the flow of the whole game, and it is easy to grasp the time series of the tournament even if the timing of watching the game is delayed.
加えて、上記の表示制御によって、観戦者は、ｅスポーツにおける試合の戦況の優劣を、直感的に把握することができる。すなわち、ハイライトシーンには、ｅスポーツにおける試合の戦況に影響を与えるシーンが抽出されるので、各チームスクリーンに表示されるクリップの数と試合の戦況の優劣とは関連性がある。このため、各チームスクリーンに表示されるクリップの数を相対的に比較することで、ｅスポーツにおける試合の戦況の優劣を把握できる。例えば、図２に示す例で言えば、決勝において、チームスクリーン２５１Ａには、４つのクリップＣＡ１〜ＣＡ４が表示される一方で、チームスクリーン２５１Ｂには、２つのクリップＣＢ１〜ＣＢ２しか表示されていない。このことから、チームスクリーン２５１Ａにクリップされたハイライトシーンの動画の数が多いＡチームの方がＢチームよりも試合を優勢に進めていることを、観戦者は、直感的に把握することができる。
In addition, the above display control allows the spectator to intuitively grasp the superiority or inferiority of the game situation in e-sports. That is, since scenes that affect the game situation in e-sports are extracted from the highlight scene, the number of clips displayed on each team screen is related to the superiority or inferiority of the game situation. Therefore, by comparing the number of clips displayed on each team screen relatively, it is possible to grasp the superiority or inferiority of the game situation in e-sports. For example, in the example shown in FIG. 2, in the final, the
［表示制御装置１０の構成］
次に、本実施例に係る表示制御装置１０の機能的構成の一例について説明する。図１に示すように、表示制御装置１０は、通信インタフェース１１と、記憶部１３と、制御部１５とを有する。なお、図１には、データの授受の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
[Configuration of display control device 10]
Next, an example of the functional configuration of the
通信インタフェース１１は、他の装置、例えば映像システム２０やユーザ端末５０との間で通信制御を行うインタフェースである。
The communication interface 11 is an interface that controls communication with another device, for example, a
あくまで一例として、通信インタフェース１１には、ＬＡＮカードなどのネットワークインタフェースカードを採用することができる。例えば、通信インタフェース１１は、映像システム２０から各種の映像、例えばライブ試合映像や各プレイヤ視点のゲーム動画などを受け付けたり、各チームスクリーン２５１に配置するクリップの表示指示を映像システム２０へ出力したりする。また、通信インタフェース１１は、ユーザ端末５０からハイライトシーンの動画のダウンロードを要求するリクエストを受け付けたり、当該ダウンロードのリクエストに対応するクリップをユーザ端末５０へ送信したりする。
As an example, a network interface card such as a LAN card can be adopted as the communication interface 11. For example, the communication interface 11 accepts various images from the
記憶部１３は、制御部１５で実行されるＯＳ（Operating System）を始め、上記の表示制御プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。
The
あくまで一例として、記憶部１３は、表示制御装置１０における補助記憶装置に対応する。例えば、ＨＤＤ（Hard Disk Drive）、光ディスクやＳＳＤ（Solid State Drive）などが補助記憶装置に対応する。この他、ＥＰＲＯＭ（Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応する。
As an example, the
記憶部１３は、制御部１５で実行されるプログラムに用いられるデータの一例として、動画情報１３ａと、ハイライトシーン情報１３ｂとを記憶する。これらのデータ以外にも、上記の表示制御プログラムによって参照または生成が行われるデータ、例えば１ハイライトあたりの動画の時間長などの設定情報などが記憶部１３に記憶されることとしてもかまわない。なお、動画情報１３ａ及びハイライトシーン情報１３ｂの説明は、各データの参照または生成が行われる制御部１５の説明と合わせて行うこととする。
The
制御部１５は、表示制御装置１０の全体制御を行う機能部である。
The
一実施形態として、制御部１５は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、ＣＰＵやＭＰＵを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部１５は、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などのハードワイヤードロジックによって実現されることとしてもかまわない。
As one embodiment, the
制御部１５は、上記の表示制御プログラムを実行することにより、図示しない主記憶装置として実装されるＤＲＡＭ（Dynamic Random Access Memory）などのＲＡＭのワークエリア上に図１に示す処理部を仮想的に実現する。なお、ここでは、ハイライトシーンの抽出機能、表示制御機能および配信機能などの一連の機能がパッケージ化されたパッケージソフトウェアが実行される例を挙げるが、表示制御装置１０上で動作するプログラムはこれに限定されない。例えば、上記のパッケージソフトウェアの機能のうちハイライトシーンの抽出機能、表示制御機能または配信機能の任意の機能を抜粋してプログラムモジュールとして実行されたり、あるいはライブラリとして参照されたりすることとしてもかまわない。
By executing the above display control program, the
例えば、制御部１５は、図１に示すように、収集部１５Ａと、抽出部１５Ｂと、判定部１５Ｃと、表示制御部１５Ｄと、決定部１５Ｅと、配信部１５Ｆとを有する。
For example, as shown in FIG. 1, the
収集部１５Ａは、各種のデータを収集する処理部である。
The
１つの側面として、収集部１５Ａは、スイッチャ２３から試合映像や各プレイヤ視点のゲーム動画などをコンピュータゲームにおける試合の進行と同期してリアルタイムに収集する。例えば、収集部１５Ａは、試合映像や各プレイヤ視点のゲーム動画などの映像ごとに、コンピュータゲームにおける試合開始から試合終了までスイッチャ２３から伝送される動画のストリームデータを受信する。このようにリアルタイムで収集された試合映像や各プレイヤ視点のゲーム動画が動画情報１３ａとして記憶部１３に保存される。
As one aspect, the collecting
なお、ここでは、一例として、各映像がリアルタイムで収集される例を挙げたが、必ずしも各映像はリアルタイムで収集されずともよく、所定期間の映像がバッチ処理で収集されることとしてもかまわない。また、ここでは、記憶部１３に保存された動画情報１３ａが抽出部１５Ｂにより読み出される例を挙げるが、メモリ上に設定されたバッファ領域に記憶された試合映像が抽出部１５Ｂにより参照されることとしてもかまわない。
Here, as an example, each video is collected in real time, but each video does not necessarily have to be collected in real time, and the video for a predetermined period may be collected by batch processing. .. Further, here, an example in which the moving
抽出部１５Ｂは、収集部１５Ａにより収集される試合映像の解析結果に基づき、ハイライトシーンを抽出する処理部である。
The extraction unit 15B is a processing unit that extracts highlight scenes based on the analysis result of the game video collected by the
あくまで一例として、抽出部１５Ｂは、対戦ゲームの試合映像から観衆の音量を予測するように学習した予測モデルを用いて、試合映像のシーン毎に求めた盛り上がり度をもとにハイライトシーンの動画を抽出する。 As an example, the extraction unit 15B uses a prediction model learned to predict the volume of the audience from the game video of the battle game, and uses a prediction model to predict the highlight scene based on the degree of excitement obtained for each scene of the game video. Is extracted.
より具体的には、抽出部１５Ｂは、記憶部１３に保存される動画情報１３ａに試合映像の最新のフレームが追加された場合、最新のフレーム及び１つ前のフレームの間で差分、例えばＳＡＤ（Sum of Absolute Difference）が所定の閾値以上であるか否かを判定する。このとき、フレーム間の差分が閾値以上である場合、俯瞰視点およびプレイヤ視点の間、あるいは各プレイヤ視点の間で視点を切り替えるシーンチェンジが発生した可能性が高いと判断できる。この場合、抽出部１５Ｂは、ゲームの試合開始もしくは前回にシーンチェンジが検出されてから現在時点までの区間の試合映像を最新のシーンとして抽出する。
More specifically, when the latest frame of the game video is added to the moving
また、上記の最新のシーンの抽出が行われた後、あるいは上記の最新のシーンの抽出と並列して、抽出部１５Ｂは、試合映像を所定時間（例えば１秒）ごとの静止画像（以下、試合画像）に分割する。具体的には、抽出部１５Ｂは、所定のフレームレートの試合映像について、例えば、１秒間隔でフレームの抽出を行う。次いで、抽出部１５Ｂは、分割した試合画像ごとに、試合画像を視聴した観戦者の盛り上がり度を予測する予測モデルに当該分割した試合画像を入力することにより、予測モデルの出力として、観戦者が視聴した場合の盛り上がり度を得る。このような予測モデルには、一例として、試合画像に対する観戦者の盛り上がり度が正解として付与された教師データをもとに、ディープラーニングなどの機械学習により作成した学習モデルを用いることができる。 Further, after the latest scenes have been extracted, or in parallel with the extraction of the latest scenes, the extraction unit 15B displays the game video as a still image (hereinafter, 1 second) at predetermined time intervals (hereinafter, 1 second). Divide into match images). Specifically, the extraction unit 15B extracts frames of a game video having a predetermined frame rate, for example, at 1-second intervals. Next, the extraction unit 15B inputs the divided match image into the prediction model that predicts the degree of excitement of the spectator who viewed the match image for each divided match image, so that the spectator can output the prediction model as an output. Get the excitement when watching. As an example of such a prediction model, a learning model created by machine learning such as deep learning can be used based on the teacher data in which the degree of excitement of the spectator with respect to the game image is given as the correct answer.
その上で、抽出部１５Ｂは、上記の最新のシーンの中から、図示しない設定情報で１ハイライトあたりの秒数として設定された時間長の区間を切り取る。例えば、１つのハイライトあたりの時間長が１０秒と指定されている場合、抽出部１５Ｂは、最新のシーンに含まれる試合画像のうち、盛り上がり度がピークとなる時刻を中心に前後５秒の区間をハイライトシーン候補として切り取る。続いて、抽出部１５Ｂは、当該ハイライトシーン候補の盛り上がり度を計算（予測）する。例えば、抽出部１５Ｂは、ハイライトシーン候補に含まれる試合画像の盛り上がり度の統計値、例えば平均値や中央値、最頻値、最大値などを求める。最後に、抽出部１５Ｂは、ハイライト候補の盛り上がり度の統計値が所定の閾値以上である場合、当該ハイライトシーン候補をハイライトシーンとして抽出する。 Then, the extraction unit 15B cuts out a section having a time length set as the number of seconds per highlight by setting information (not shown) from the latest scene. For example, when the time length per highlight is specified as 10 seconds, the extraction unit 15B is 5 seconds before and after the time when the degree of excitement peaks in the game image included in the latest scene. Cut out the section as a highlight scene candidate. Subsequently, the extraction unit 15B calculates (predicts) the degree of excitement of the highlight scene candidate. For example, the extraction unit 15B obtains statistical values of the degree of excitement of the match images included in the highlight scene candidates, such as an average value, a median value, a mode value, and a maximum value. Finally, when the statistical value of the degree of excitement of the highlight candidate is equal to or higher than a predetermined threshold value, the extraction unit 15B extracts the highlight scene candidate as a highlight scene.
このようなハイライトシーンの抽出が繰り返して実行されることにより、ｅスポーツの会場にマイクロフォン等のセンサを設置して観戦者の音声がセンシングされずとも、コンピュータゲームの観戦者が盛り上がるハイライトシーンの抽出を実現できる。 By repeatedly extracting such highlight scenes, even if sensors such as microphones are installed at the venue of e-sports and the spectator's voice is not sensed, the highlight scenes that the spectators of the computer game get excited about. Can be extracted.
なお、ここでは、あくまで一例として、上記の予測モデルを用いるハイライトシーンの抽出を例示したが、これ以外にも、特許文献１をはじめとする既知のハイライトシーンの抽出方法を用いることができるのは言うまでもない。 In addition, although the extraction of the highlight scene using the above prediction model is illustrated here as an example, a known method for extracting the highlight scene such as Patent Document 1 can be used. Needless to say.
判定部１５Ｃは、ハイライトシーンが複数のチームのうちいずれのチームに対するハイライトシーンであるかを判定する処理部である。
The
一実施形態として、判定部１５Ｃは、抽出部１５Ｂにより新たなハイライトシーンが抽出された場合、当該ハイライトシーンでアクションを起こすプレイヤが属するチームを特定することで、いずれのチームに対するハイライトシーンであるかを判定する。
As one embodiment, when a new highlight scene is extracted by the extraction unit 15B, the
例えば、ハイライトシーンに対応する区間の試合映像がプレイヤ視点のゲーム動画である場合、判定部１５Ｃは、抽出部１５Ｂにより抽出されたハイライトシーンが当該プレイヤ視点のプレイヤが属するチームに対するハイライトであると判定する。
For example, when the game video of the section corresponding to the highlight scene is a game video from the player's viewpoint, the
一方、ハイライトシーンに対応する区間の試合映像が俯瞰視点のゲーム動画である場合、判定部１５Ｃは、当該ハイライトシーンに対応する区間の俯瞰視点のゲーム動画の各フレームから各フレームに含まれる文字列を文字認識等の画像処理によって読み取る。そして、判定部１５Ｃは、各フレームから読み取られた文字列にプレイヤ名を含む特定のフレーズが含まれるか否かを判定する。このような特定のフレーズの一例として、ｅスポーツの戦況、例えばキルやスコアに関連するフレーズ、例えば「○○が倒した」などが挙げられる。このとき、特定のフレーズが含まれる場合、判定部１５Ｃは、抽出部１５Ｂにより抽出されたハイライトシーンが、特定のフレーズに含まれるプレイヤが属するチームに対するハイライトであると判定する。なお、プレイヤの特定には、必ずしも俯瞰視点のゲーム動画を用いずともかまわない。例えば、判定部１５Ｃは、抽出部１５Ｂにより抽出されたハイライトシーンに対応する区間の各プレイヤ視点のゲーム動画から各ゲーム動画に含まれる文字列を文字認識等の画像処理によって読み取る。その上で、判定部１５Ｃは、コンピュータゲームにおける特定のアクション、例えばキル（Ｋｉｌｌ）や連続キルなどに対応する文字列が読み取られたプレイヤ視点を特定する。そして、判定部１５Ｃは、抽出部１５Ｂにより抽出されたハイライトシーンが、特定のアクションに対応する文字列が読み取られたプレイヤ視点のプレイヤが属するチームに対するハイライトであると判定する。
On the other hand, when the game video of the section corresponding to the highlight scene is the game video of the bird's-eye view, the
このように、判定部１５Ｃは、上記の文字認識等の画像処理によってハイライトシーンが対応するチーム名やプレイヤ名を判定する他、上記の文字認識等の画像処理によってハイライトシーンが対応するアクションやその連続回数等の各種の項目をさらに判定する。
In this way, the
これらの項目の判定結果に基づいて、判定部１５Ｃは、当該ハイライトシーンに付与するタグを生成する。図３は、ハイライトシーンに付与するタグの一例を示す図である。図３に示すように、最新のシーンに含まれる試合画像のうち盛り上がり度がピークとなる時刻を中心に前後５秒の区間が抽出部１５Ｂによりハイライトシーン候補として切り取られる。このハイライトシーン候補における試合画像の盛り上がり度の統計値が所定の閾値以上である場合、抽出部１５Ｂによりハイライトシーン候補がハイライトシーンとして抽出される。このようにハイライトシーンが抽出された場合、判定部１５Ｃは、通し番号、時間、チーム名、プレイヤ画面、プレイヤ名、アクション、連続回数および盛り上がり度などの判定結果を含むタグを生成する。
Based on the determination results of these items, the
ここで言う「通し番号」とは、ゲームの試合開始時点からハイライトシーンが抽出された順にハイライトシーンに付与される番号を指す。また、「時間」とは、ハイライトシーンで盛り上がり度がピークとなる中心時刻、ハイライトシーンの開始時刻、あるいはハイライトシーンの終了時刻の少なくともいずれか１つを指す。また、「チーム名」とは、ハイライトシーンに対応するチーム、言い換えれば見せ場に対応するチームを指す。また、「プレイヤ名」とは、ハイライトシーンに対応するプレイヤ、言い換えれば見せ場に対応するプレイヤを指す。また、「プレイヤ画面」とは、ハイライトシーンに対応する区間におけるプレイヤ視点のゲーム動画を指す。また、「アクション」とは、ハイライトシーンで検出されたアクションを指す。また、「連続回数」とは、ハイライトシーンでアクションが連続する回数を指す。また、「盛り上がり度」とは、ハイライトシーンに対応する盛り上がり度を指し、例えば、ハイライトシーンに含まれる試合画像の盛り上がり度の統計値を指す。 The "serial number" referred to here refers to a number assigned to the highlight scenes in the order in which the highlight scenes are extracted from the start of the game. Further, the “time” refers to at least one of the center time at which the degree of excitement peaks in the highlight scene, the start time of the highlight scene, and the end time of the highlight scene. The "team name" refers to the team corresponding to the highlight scene, in other words, the team corresponding to the showcase. Further, the "player name" refers to a player corresponding to a highlight scene, in other words, a player corresponding to a showcase. Further, the "player screen" refers to a game video from the player's viewpoint in the section corresponding to the highlight scene. Further, the "action" refers to an action detected in the highlight scene. Further, the "continuous number of times" refers to the number of times the action is continuous in the highlight scene. Further, the “excitement degree” refers to the excitement degree corresponding to the highlight scene, for example, the statistical value of the excitement degree of the match image included in the highlight scene.
その後、判定部１５Ｃは、ハイライトシーンの動画データに上記のタグをはじめとする各種の情報が対応付けられた新規のレコードを記憶部１３のハイライトシーン情報１３ｂに追加登録する。
After that, the
図４は、ハイライトシーン情報１３ｂの一例を示す図である。図４に示すように、ハイライトシーン情報１３ｂには、ハイライトシーンの動画データ、例えばバイナリ形式の動画ファイルや上記のタグの他、動画ＩＤ、シルエット形状、ダウンロード数およびコメント等の情報が対応付けられた新規のレコードが追加登録される。
FIG. 4 is a diagram showing an example of
ここで言う「動画ＩＤ（IDentification）」とは、記憶部１３に保存されるハイライトシーンを識別する側面からハイライトシーンに付与される識別情報の一例を指す。また、「シルエット形状」とは、ハイライトシーンの動画がチームスクリーン２５１にクリップされる際の外形形状を指す。例えば、同一のゲームから抽出されるクリップには、各ハイライトシーンに対応するクリップの個体を識別する側面から各ハイライトシーンの間で固有のシルエット形状が設定される。このようにクリップに設定されるシルエット形状は、任意の輪郭を有する図形であってかまわないが、各ハイライトシーンの間の類似度が低いシルエット形状が設定されるほどクリップの個体を識別する精度を高めることができる。
The "moving image ID (IDentification)" referred to here refers to an example of identification information given to the highlight scene from the aspect of identifying the highlight scene stored in the
また、「ダウンロード数」とは、ハイライトシーンがダウンロードされた回数を指す。また、「コメント」とは、ハイライトシーンの動画に投稿されたコメントを指す。これら「ダウンロード数」及び「コメント」は、ハイライトシーンに対応する新規のレコードがハイライトシーン情報１３ｂに追加登録された段階では、初期値あるいはＮＵＬＬ値が格納されたり、ブランクとされたりする。その後、ハイライトシーンがダウンロードされた場合、当該ハイライトシーンのダウンロード数がインクリメントされる。また、ハイライトシーンにコメントが投稿された場合、当該投稿されたコメントが追記される。
The "number of downloads" refers to the number of times the highlight scene has been downloaded. The "comment" refers to a comment posted on a video of a highlight scene. When a new record corresponding to the highlight scene is additionally registered in the
表示制御部１５Ｄは、各種の表示制御を行う処理部である。
The
一実施形態として、表示制御部１５Ｄは、抽出部１５Ｂによりハイライトシーンが抽出された場合、次のような処理を実行する。すなわち、表示制御部１５Ｄは、抽出部１５Ｂにより抽出されたハイライトシーンに付与されたタグのうち「チーム名」に対応するチームスクリーン２５１をクリップの表示先として設定する。さらに、表示制御部１５Ｄは、抽出部１５Ｂにより抽出されたハイライトシーンに付与されたタグのうち「盛り上がり度」に基づいて当該クリップの表示サイズを設定する。さらに、表示制御部１５Ｄは、抽出部１５Ｂにより抽出されたハイライトシーンに付与されたタグのうち「シルエット形状」に対応する形状を当該クリップの表示形状として設定する。
As one embodiment, when the highlight scene is extracted by the extraction unit 15B, the
図５Ａは、クリップの表示サイズの決定方法の一例を示す図である。図５に示すように、表示制御部１５Ｄは、ハイライトシーンに付与されたタグ「盛り上がり度」が低くなるにつれて小さい表示サイズを当該クリップの表示サイズとして設定する。その一方で、表示制御部１５Ｄは、ハイライトシーンに付与されたタグ「盛り上がり度」が高くなるにつれて大きい表示サイズを当該クリップの表示サイズとして設定する。なお、図５には、ハイライトシーンに付与されたタグ「盛り上がり度」に基づいてクリップの表示サイズが設定される例を挙げたが、これに限定されない。例えば、表示制御部１５Ｄは、盛り上がり度の代わりにダウンロード数に基づいてクリップの表示サイズを設定することとしてもよいし、盛り上がり度及びダウンロード数の両方に基づいてクリップの表示サイズを設定することとしてもかまわない。
FIG. 5A is a diagram showing an example of a method for determining a display size of a clip. As shown in FIG. 5, the
その後、表示制御部１５Ｄは、クリップの表示先のチームスクリーン２５１上の初期位置、例えばメインスクリーン２５０寄りの位置に上記の表示サイズかつ上記の表示形状でクリップを配置する指示を表示装置２５へ行う。このように表示先のチームスクリーン２５１に配置されたクリップは、ハイライトシーンの動画の再生をループする表示に加えて他の表示を行うこともできる。
After that, the
図５Ｂは、クリップのフォーマットの一例を示す図である。図５Ｂには、ハイライトシーン情報１３ｂのうち図４に示すレコードに対応するクリップが表示される例が示されている。図５Ｂに示すように、クリップには、ハイライトシーンの動画を再生する表示領域、すなわち図中の斜線の網掛け部分が含まれ得る他、アクションに関する表示領域が含まれる。例えば、図５Ｂに示す例で言えば、当該ハイライトシーンで発生したアクション「キル」の連続回数「２」が表示されると共に、当該アクションを起こしたプレイヤ名「ＸＸＸＸＸ」が表示されている。このようなアクションに関する表示によって、当該ハイライトシーンで試合の戦況が動く程度を観戦者に把握させることができる。この他、クリップには、当該ハイライトシーンの動画がダウンロードされた回数「５７」が表示される領域も含まれる。このようなダウンロード数の表示によって、当該ハイライトシーンの人気を観戦者に把握させることができる。
FIG. 5B is a diagram showing an example of a clip format. FIG. 5B shows an example in which the clip corresponding to the record shown in FIG. 4 of the
このようにクリップを配置する処理と並列して、表示制御部１５Ｄは、各チームスクリーン２５１に配置済みであるクリップの位置及び表示内容を更新する処理を行う。
In parallel with the process of arranging the clips in this way, the
１つの側面として、表示制御部１５Ｄは、所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過する度に、次のような処理を実行する。すなわち、表示制御部１５Ｄは、各チームスクリーン２５１に配置済みであるクリップに表示されたダウンロード数をハイライトシーン情報１３ｂのうち当該クリップの動画ＩＤに対応するダウンロード数に同期させる。これによって、ダウンロード数の表示を最新のものに更新する。さらに、表示制御部１５Ｄは、各チームスクリーン２５１に配置済みである各クリップの位置をメインスクリーン２５０と反対側にシフトさせる。これによって、ハイライトシーンが抽出されたタイミングが早いクリップほどメインスクリーン２５０の反対側寄りに表示される共に、ハイライトシーンが抽出されたタイミングが遅いクリップほどメインスクリーン２５０寄りに表示される。
As one aspect, the
図６は、配置済みクリップのシフト方法の一例を示す図である。図６には、説明の便宜上、チームスクリーン２５１Ａ及びチームスクリーン２５１Ｂのうちチームスクリーン２５１Ｂの表示が抜粋して示されている。さらに、図６には、チームスクリーン２５１Ｂのメインスクリーン２５０最寄りの左端の位置に配置される試合タイトル「決勝」およびチーム名「Ｂチーム」の右側がクリップの初期位置とされる例を挙げる。なお、ｔ０、ｔ１、ｔ２及びｔ３は、ｔ０＜ｔ１＜ｔ２＜ｔ３であることとする。
FIG. 6 is a diagram showing an example of a method of shifting the arranged clip. For convenience of explanation, FIG. 6 shows an excerpt of the display of the
図６に示すように、時刻ｔ０の段階では、クリップが抽出されていない。続いて、時刻ｔ１になると、クリップＣＢ１１がチームスクリーン２５１Ｂの初期位置に配置される。その後、時刻ｔ２になってクリップＣＢ１２がチームスクリーン２５１Ｂの初期位置に配置されるまでクリップＣＢ１１を一定のシフト量ずつチームスクリーン２５１Ｂの右側へシフトする処理が継続される。そして、時刻ｔ３になってクリップＣＢ１３がチームスクリーン２５１Ｂの初期位置に配置されるまでクリップＣＢ１１及びクリップＣＢ１２を一定のシフト量ずつチームスクリーン２５１Ｂの右側へシフトする処理が継続される。
As shown in FIG. 6, the clip is not extracted at the stage of time t0. Subsequently, at time t1, the clip CB 11 is arranged at the initial position of the
なお、図６には、説明の便宜上、チームスクリーン２５１Ａ及び２５１Ｂのうちチームスクリーン２５１Ｂの表示が抜粋して示されているが、チームスクリーン２５１Ａにおいてもクリップの初期位置やシフト方向が左右反転する他に変わりはない。
Note that, for convenience of explanation, FIG. 6 shows an excerpt of the display of the
更なる側面として、表示制御部１５Ｄは、対戦が終了した試合に関するクリップのうち当該試合の以後の試合でダウンロード数が所定の条件を満たすクリップに表示を絞り込む。あくまで一例として、表示制御部１５Ｄは、以後の試合で所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過する度に、次のような処理を実行する。すなわち、表示制御部１５Ｄは、チームスクリーン２５１に配置済みであり、かつ対戦終了済みの試合に関するクリップのうちダウンロード数が全クリップのダウンロード数の統計値、例えば平均値や中央値、あるいは最頻値未満であるクリップを除去する。その上で、表示制御部１５Ｄは、チームスクリーン２５１に配置済みであり、かつ対戦終了済みの試合に関するクリップの位置をメインスクリーン２５０と反対側にシフトさせる。なお、チームスクリーン２５１においてメインスクリーン２５０と反対側の末端まで移動したクリップはその表示位置が固定される。
As a further aspect, the
図７は、対戦終了済みの試合に関するクリップの絞り込み方法の一例を示す図である。図７には、説明の便宜上、チームスクリーン２５１Ａ及びチームスクリーン２５１Ｂのうちチームスクリーン２５１Ｂの表示が抜粋して示されている。さらに、図７には、チームスクリーン２５１Ｂのメインスクリーン２５０最寄りの左端の位置に配置される試合タイトル「１回戦」およびチーム名「Ｂチーム」の右側がクリップの初期位置とされる例を挙げる。なお、ｔ１、ｔ２及びｔ３は、ｔ１＜ｔ２＜ｔ３であることとする。
FIG. 7 is a diagram showing an example of a method of narrowing down clips related to a match that has been completed. For convenience of explanation, FIG. 7 shows an excerpt of the display of the
図７に示すように、Ｂチームの試合が終了した時刻ｔ１の段階では、７つのクリップＣＢ２１〜ＣＢ２７がチームスクリーン２５１Ｂに配置されている。その後、次の試合が開始される時刻ｔ２になるまで７つのクリップＣＢ２１〜ＣＢ２７を一定のシフト量ずつチームスクリーン２５１Ｂの右側へシフトする処理が継続される。そして、次の試合が開始される時刻ｔ２になった段階では、クリップＣＢ２４及びクリップＣＢ２７の２つのクリップのダウンロード数が各チームスクリーン２５１に表示中である全クリップの統計値未満となって除去される。この結果、チームスクリーン２５１ＢにおけるＢチームの表示がクリップＣＢ２１、クリップＣＢ２２、クリップＣＢ２３、クリップＣＢ２５及びクリップＣＢ２６の５つのクリップまで絞り込まれる。その後、次々の試合が開始される時刻ｔ３になるまでクリップＣＢ２１、クリップＣＢ２２、クリップＣＢ２３、クリップＣＢ２５及びクリップＣＢ２６の５つのクリップを一定のシフト量ずつチームスクリーン２５１Ｂの右側へシフトする処理が継続される。そして、次々の試合が開始される時刻ｔ３になった段階では、クリップＣＢ２１、クリップＣＢ２２及びクリップＣＢ２５の３つのクリップのダウンロード数が各チームスクリーン２５１に表示中である全クリップの統計値未満となってさらに除去される。この結果、チームスクリーン２５１ＢにおけるＢチームの表示がクリップＣＢ２３及びクリップＣＢ２６の２つのクリップまで絞り込まれる。
As shown in FIG. 7, seven clips CB21 to CB27 are arranged on the
なお、図７には、説明の便宜上、チームスクリーン２５１Ａ及び２５１Ｂのうちチームスクリーン２５１Ｂの表示が抜粋して示されているが、チームスクリーン２５１Ａにおいてもクリップの初期位置やシフト方向が左右反転する他に変わりはない。
Note that, for convenience of explanation, FIG. 7 shows an excerpt of the display of the
なお、図６や図７では、全てのクリップを一定のシフト量ずつシフトさせる例を挙げたが、クリップによって異なるシフト量を用いてもかまわない。例えば、クリップが配置されている位置やクリップの表示サイズによってクリップのシフト量を変更することができる。例えば、クリップが配置されている位置がメインスクリーン２５０に近いほど小さいシフト量でクリップをシフトさせたり、あるいはクリップの表示サイズが大きいほど小さいシフト量でクリップをシフトさせたりすることができる。
Note that, in FIGS. 6 and 7, examples of shifting all clips by a fixed shift amount are given, but different shift amounts may be used depending on the clips. For example, the shift amount of the clip can be changed according to the position where the clip is arranged and the display size of the clip. For example, the closer the position where the clip is arranged to the
決定部１５Ｅは、チームスクリーン２５１に表示中のクリップのうちいずれのクリップに対応するハイライトシーンの動画をダウンロードさせるのかを決定する処理部である。 The determination unit 15E is a processing unit that determines which of the clips displayed on the team screen 251 is to be downloaded as the video of the highlight scene.
一実施形態として、決定部１５Ｅは、ハイライトシーンの動画をダウンロードするリクエストを受け付ける。以下、ハイライトシーンの動画をダウンロードするリクエストのことを「ＤＬ（DownLoad）リクエスト」を記載する場合がある。あくまで一例として、ＤＬリクエストは、ｅスポーツ観戦用のアプリケーションプログラムがインストールされたユーザ端末５０を介して受け付けることができる。以下、ｅスポーツ観戦用のアプリケーションプログラムのことを「ｅスポーツ観戦用アプリ」と記載する場合がある。例えば、ｅスポーツ観戦用アプリがユーザ端末５０で起動された状態でＤＬリクエストを実行するＧＵＩ操作が行われると、ｅスポーツ観戦用アプリは、ユーザ端末５０に搭載されたカメラを起動する。その後、カメラの撮影操作が行われた場合、ｅスポーツ観戦用アプリは、当該撮影操作を通じてカメラにより撮像されたクリップ画像と共にハイライトシーンのＤＬリクエストを表示制御装置１０に行う。
In one embodiment, the determination unit 15E receives a request to download a moving image of the highlight scene. Hereinafter, a request for downloading a video of a highlight scene may be described as a "DL (DownLoad) request". As an example, the DL request can be accepted via the
このようにしてハイライトシーンのＤＬリクエストを受け付けた場合、決定部１５Ｅは、ＤＬリクエストと共に受け付けたクリップ画像からクリップのシルエット形状を抽出する。その上で、決定部１５Ｅは、ハイライトシーン情報１３ｂに含まれるシルエット形状と、クリップ画像から抽出されたシルエット形状とをテンプレートマッチングなどの画像処理によって照合する。この結果、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報１３ｂでヒットした場合、決定部１５Ｅは、ハイライトシーン情報１３ｂに含まれるハイライトシーンのうち、照合にヒットしたシルエット形状を持つハイライトシーンをユーザ端末５０によるダウンロード対象として決定する。
When the DL request for the highlight scene is received in this way, the determination unit 15E extracts the silhouette shape of the clip from the clip image received together with the DL request. Then, the determination unit 15E collates the silhouette shape included in the
配信部１５Ｆは、ハイライトシーンの動画を配信する処理部である。
The
一実施形態として、配信部１５Ｆは、決定部１５Ｅによりユーザ端末５０によるダウンロード対象として決定されたハイライトシーンの動画をユーザ端末５０に配信する。この結果、ユーザ端末５０によりハイライトシーンの動画がダウンロードされる。これによって、チームスクリーン２５１を見て気に入ったハイライトシーンのコレクション機能を観戦者に提供することができる。このようなハイライトシーンのコレクション機能を提供することで、ｅスポーツの会場に来場するインセンティブを高めることが可能になる。
As one embodiment, the
図８は、ハイライトシーンの配信方法の一例を示す図である。図８には、チームスクリーン２５１ＢのクリップＣＢ３１で再生されるハイライトシーンをダウンロードする例が示されている。図８に示すように、ユーザ端末５０のカメラを用いてチームスクリーン２５１Ｂに表示されたクリップＣＢ３１が撮影された場合、カメラにより撮像されたクリップ画像５１と共にハイライトシーンのＤＬリクエストがユーザ端末５０から表示制御装置１０へ行われる（ステップＳ１）。このようにハイライトシーンのＤＬリクエストを受け付けると、クリップ画像５１から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報１３ｂから検索される。図８に示す例で言えば、クリップ画像５１から抽出されたシルエット形状は、動画ＩＤ「ＹＹＹＹＹＹＹ」のシルエット形状とヒットする。この場合、動画ＩＤ「ＹＹＹＹＹＹＹ」を持つハイライトシーンがユーザ端末５０によるダウンロード対象として決定される（ステップＳ２）。その後、ユーザ端末５０によるダウンロード対象として決定されたハイライトシーンの動画がユーザ端末５０に配信される（ステップＳ３）。この結果、ユーザ端末５０によりハイライトシーンの動画がダウンロードされる。このようにハイライトシーンの動画がダウンロードされた場合、ハイライトシーン情報１３ｂのレコードのうち、動画ＩＤ「ＹＹＹＹＹＹＹ」のダウンロード数は、「７６ＤＬ」から「７７ＤＬ」へインクリメントされる。
FIG. 8 is a diagram showing an example of a highlight scene distribution method. FIG. 8 shows an example of downloading the highlight scene reproduced by the clip CB31 of the
［クリップの配置処理］
図９は、実施例１に係るクリップの配置処理の手順を示すフローチャートである。この処理のステップＳ１０１は、一例として、コンピュータゲームの試合開始の前に実行される。図９に示すように、コンピュータゲームの対戦チームごとにチームスクリーン２５１が割り当てられた後（ステップＳ１０１）、コンピュータゲームの試合開始を待機する（ステップＳ１０２）。
[Clip placement process]
FIG. 9 is a flowchart showing a procedure of clip placement processing according to the first embodiment. As an example, step S101 of this process is executed before the start of the game of the computer game. As shown in FIG. 9, after the team screen 251 is assigned to each of the opponent teams of the computer game (step S101), the game of the computer game is waited for the start (step S102).
コンピュータゲームの試合開始後、収集部１５Ａは、スイッチャ２３から試合映像や各プレイヤ視点のゲーム動画などを収集する（ステップＳ１０３）。続いて、抽出部１５Ｂは、対戦ゲームの試合映像から観衆の音量を予測するように学習した予測モデルを用いて、試合映像のシーン毎に求めた盛り上がり度をもとにハイライトシーンの動画を抽出する（ステップＳ１０４）。
After the start of the game of the computer game, the collecting
そして、ステップＳ１０４で新たなハイライトシーンが抽出された場合（ステップＳ１０５Ｙｅｓ）、判定部１５Ｃは、当該ハイライトシーンでアクションを起こすプレイヤが属するチームを特定することで、ステップＳ１０４で抽出されたハイライトシーンがいずれのチームに対するハイライトシーンであるかを判定する（ステップＳ１０６）。
Then, when a new highlight scene is extracted in step S104 (step S105Yes), the
続いて、判定部１５Ｃは、ステップＳ１０６で判定されたハイライトシーンが対応するチーム名やプレイヤ名の他、ハイライトシーンが対応するアクションやその連続回数等の各種の項目を含むタグを生成する（ステップＳ１０７）。
Subsequently, the
その後、表示制御部１５Ｄは、ステップＳ１０４で抽出されたハイライトシーンに付与されたタグのうち「チーム名」に対応するチームスクリーン２５１をクリップの表示先として設定する（ステップＳ１０８）。
After that, the
さらに、表示制御部１５Ｄは、ステップＳ１０４で抽出されたハイライトシーンに付与されたタグのうち「盛り上がり度」に基づいて当該クリップの表示サイズを設定する（ステップＳ１０９）。
Further, the
さらに、表示制御部１５Ｄは、ステップＳ１０４で抽出されたハイライトシーンに付与されたタグのうち「シルエット形状」に対応する形状を当該クリップの表示形状として設定する（ステップＳ１１０）。
Further, the
その上で、表示制御部１５Ｄは、ステップＳ１０８で設定されたクリップの表示先のチームスクリーン２５１上の初期位置、例えばメインスクリーン２５０寄りの位置にステップＳ１０９で設定された表示サイズかつステップＳ１１０で設定された表示形状でクリップを配置する指示を表示装置２５へ行う（ステップＳ１１１）。
Then, the
その後、コンピュータゲームの試合が終了するまで（ステップＳ１１２Ｎｏ）、上記のステップＳ１０３から上記のステップＳ１１１までの処理が繰り返し実行される。そして、コンピュータゲームの試合が終了した場合（ステップＳ１１２Ｙｅｓ）、処理が終了する。 After that, the processes from step S103 to step S111 are repeatedly executed until the game of the computer game is completed (step S112No). Then, when the game of the computer game is completed (step S112Yes), the process is completed.
［クリップの更新処理］
図１０は、実施例１に係るクリップの更新処理の手順を示すフローチャートである。この処理は、図９に示す処理とは並列して実行することができる。図１０に示すように、所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過した場合（ステップＳ３０１Ｙｅｓ）、次のような処理を実行する。
[Clip update process]
FIG. 10 is a flowchart showing the procedure of the clip update process according to the first embodiment. This process can be executed in parallel with the process shown in FIG. As shown in FIG. 10, when a predetermined cycle, for example, a cycle corresponding to the frame rate of the game video, or a fixed cycle has elapsed (step S301Yes), the following processing is executed.
すなわち、表示制御部１５Ｄは、各チームスクリーン２５１に配置済みであるクリップに表示されたダウンロード数をハイライトシーン情報１３ｂのうち当該クリップの動画ＩＤに対応するダウンロード数に同期させる（ステップＳ３０２）。これによって、ダウンロード数の表示を最新のものに更新する。
That is, the
さらに、表示制御部１５Ｄは、各チームスクリーン２５１に配置済みである各クリップの位置をメインスクリーン２５０と反対側にシフトさせる（ステップＳ３０３）。これによって、ハイライトシーンが抽出されたタイミングが早いクリップほどメインスクリーン２５０の反対側寄りに表示される共に、ハイライトシーンが抽出されたタイミングが遅いクリップほどメインスクリーン２５０寄りに表示される。
Further, the
その後、コンピュータゲームの試合が終了するまで（ステップＳ３０４Ｎｏ）、上記のステップＳ３０１から上記のステップＳ３０３までの処理が繰り返し実行される。そして、コンピュータゲームの試合が終了した場合（ステップＳ３０４Ｙｅｓ）、処理が終了する。 After that, the processes from step S301 to step S303 are repeatedly executed until the game of the computer game is completed (step S304No). Then, when the game of the computer game is completed (step S304Yes), the process is completed.
［クリップの配信処理］
図１１は、実施例１に係るクリップの配信処理の手順を示すフローチャートである。この処理は、一例として、図９や図１０に示す処理とは並列して実行することができる。図１１に示すように、ハイライトシーンのＤＬリクエストを受け付けた場合（ステップＳ５０１Ｙｅｓ）、決定部１５Ｅは、ＤＬリクエストと共に受け付けたクリップ画像からクリップのシルエット形状を抽出する（ステップＳ５０２）。
[Clip delivery process]
FIG. 11 is a flowchart showing a procedure of clip distribution processing according to the first embodiment. As an example, this process can be executed in parallel with the processes shown in FIGS. 9 and 10. As shown in FIG. 11, when the DL request for the highlight scene is received (step S501Yes), the determination unit 15E extracts the silhouette shape of the clip from the clip image received together with the DL request (step S502).
その上で、決定部１５Ｅは、クリップ画像から抽出されたシルエット形状と一致するシルエット形状をハイライトシーン情報１３ｂからテンプレートマッチングなどの画像処理によって検索する（ステップＳ５０３）。
Then, the determination unit 15E searches the
この結果、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報１３ｂでヒットした場合（ステップＳ５０４Ｙｅｓ）、決定部１５Ｅは、次のような処理を実行する。すなわち、決定部１５Ｅは、ハイライトシーン情報１３ｂに含まれるハイライトシーンのうち、照合にヒットしたシルエット形状を持つハイライトシーンをユーザ端末５０によるダウンロード対象として決定する（ステップＳ５０５）。
As a result, when the silhouette shape matching the silhouette shape extracted from the clip image is hit by the
そして、配信部１５Ｆは、決定部１５Ｅによりユーザ端末５０によるダウンロード対象として決定されたハイライトシーンの動画をユーザ端末５０に配信する（ステップＳ５０６）。この結果、ユーザ端末５０によりハイライトシーンの動画がダウンロードされる。その後、ハイライトシーン情報１３ｂのレコードのうち、ダウンロードが行われたハイライトシーンのダウンロード数をインクリメントし（ステップＳ５０７）、処理を終了する。
Then, the
一方、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報１３ｂでヒットしない場合（ステップＳ５０４Ｎｏ）、決定部１５Ｅは、次のような処理を実行する。すなわち、決定部１５Ｅは、ハイライトシーンの動画のダウンロードに失敗した旨をユーザ端末５０へ応答し（ステップＳ５０８）、処理を終了する。
On the other hand, when the silhouette shape matching the silhouette shape extracted from the clip image does not hit in the
［効果の一側面］
上述してきたように、本実施例に係る表示制御装置１０は、ｅスポーツの対戦チームそれぞれに対応する表示領域のうち、ｅスポーツの試合映像からハイライトシーンが抽出されたチームの表示領域に当該ハイライトシーンを表示する表示制御を実現する。このような表示制御によって、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかを識別させることができる。したがって、本実施例に係る表示制御装置１０によれば、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くすることが可能である。
[One aspect of the effect]
As described above, the
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although examples of the disclosed device have been described above, the present invention may be implemented in various different forms other than the above-described examples. Therefore, other examples included in the present invention will be described below.
［スクリーンレイアウトの応用例１］
上記の実施例１では、対戦チームが２チームである場合のスクリーンのレイアウトを例示したが、上記の表示制御機能の適用範囲は対戦チームが２チームである場合に限定されず、対戦チームが３チーム以上である場合にも上記の表示制御機能を適用可能である。
[Application example 1 of screen layout]
In Example 1 above, the layout of the screen when there are two opponent teams is illustrated, but the scope of application of the above display control function is not limited to the case where there are two opponent teams, and there are three opponent teams. The above display control function can be applied even when there are teams or more.
図１２は、スクリーンのレイアウトの他の一例を示す図である。図１２には、各チーム４人制のＡチーム、Ｂチーム、Ｃチーム及びＤチームの計４チームでｅスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図１２に示すように、メインスクリーン２５０を正面から見て、左方向から順に、チームスクリーン２５１Ａ、チームスクリーン２５１Ｂ、メインスクリーン２５０、チームスクリーン２５１Ｃ、チームスクリーン２５１Ｄの順に配置される。
FIG. 12 is a diagram showing another example of the screen layout. FIG. 12 shows the layout of the screen when an e-sports match is played by a total of four teams, A team, B team, C team, and D team, each of which has four players. As shown in FIG. 12, when the
このうち、チームスクリーン２５１ＡがＡチームに割り当てられると共に、チームスクリーン２５１ＢがＢチームに割り当てられる。さらに、チームスクリーン２５１ＣがＣチームに割り当てられると共に、チームスクリーン２５１ＤがＤチームに割り当てられる。
Of these,
これらチームスクリーン２５１Ａ、チームスクリーン２５１Ｂ、チームスクリーン２５１Ｃ及びチームスクリーン２５１Ｄでは、複数のクリップが時系列に並べて配置される。図１２に示すスクリーンのレイアウトでも、図２に示されたスクリーンのレイアウトの場合と同様に、クリップが抽出されたタイミングが早いほどメインスクリーン２５０から遠い位置にクリップが表示されると共に、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン２５０寄りに並べてクリップが表示される。
In these team screens 251A, team screens 251B, team screens 251C, and team screens 251D, a plurality of clips are arranged side by side in chronological order. In the screen layout shown in FIG. 12, as in the case of the screen layout shown in FIG. 2, the earlier the clip is extracted, the farther the clip is displayed from the
［スクリーンレイアウトの応用例２］
上記の実施例１では、チームスクリーン２５１Ａ及びチームスクリーン２５１Ｂをメインスクリーン２５０の左右に並べて配置する例を挙げたが、必ずしもチームスクリーン２５１はメインスクリーン２５０の左右に並べて配置せずともよく、また、必ずしもチームスクリーン２５１の形状は矩形等の特定の図形に限定されない。
[Screen layout application example 2]
In the first embodiment described above, the
図１３は、スクリーンのレイアウトの他の一例を示す図である。図１３にも、各チーム４人制のＡチーム、Ｂチーム、Ｃチーム及びＤチームの計４チームでｅスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図１３に示すように、メインスクリーン２５０の周囲に矩形以外の形状で、チームスクリーン２５１Ａ、チームスクリーン２５１Ｂ、チームスクリーン２５１Ｃ及びチームスクリーン２５１Ｄを放射状に並べて配置することもできる。例えば、メインスクリーン２５０を正面から見て、９時方向から時計回りの順に、チームスクリーン２５１Ａ、チームスクリーン２５１Ｂ、チームスクリーン２５１Ｃ、チームスクリーン２５１Ｄの順に配置される。
FIG. 13 is a diagram showing another example of the screen layout. FIG. 13 also shows the layout of the screen when an e-sports match is played by a total of four teams, A team, B team, C team, and D team, each of which has four players. As shown in FIG. 13, team screens 251A, team screens 251B, team screens 251C, and
これらチームスクリーン２５１Ａ、チームスクリーン２５１Ｂ、チームスクリーン２５１Ｃ及びチームスクリーン２５１Ｄにおいても、複数のクリップが時系列に並べて配置される。図１３に示すスクリーンのレイアウトでも、図２に示されたスクリーンのレイアウトの場合と同様に、クリップが抽出されたタイミングが早いほどメインスクリーン２５０から遠い位置にクリップが表示されると共に、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン２５０寄りに並べてクリップが表示される。
Also in these team screens 251A, team screens 251B, team screens 251C and team screens 251D, a plurality of clips are arranged side by side in chronological order. In the screen layout shown in FIG. 13, as in the case of the screen layout shown in FIG. 2, the earlier the clip is extracted, the farther the clip is displayed from the
［ハイライトの分類の応用例］
上記の実施例１では、試合別およびチーム別にハイライトシーンを分類してクリップを配置する例を挙げたが、必ずしもハイライトの分類はこれに限定されず、他の分類でクリップを配置することもできる。
[Application example of highlight classification]
In the above-mentioned Example 1, the highlight scenes are classified according to the game and the team and the clips are arranged, but the highlight classification is not necessarily limited to this, and the clips are arranged by other classifications. You can also.
図１４Ａ〜図１４Ｃは、ハイライトの分類の応用例を示す図である。図１４Ａ〜図１４Ｃには、説明の便宜上、チームスクリーン２５１Ａ及びチームスクリーン２５１Ｂのうちチームスクリーン２５１Ｂの表示が抜粋して示されている。
14A-14C are diagrams showing application examples of highlight classification. For convenience of explanation, FIGS. 14A to 14C show excerpts of the display of the
例えば、過去試合別およびチーム別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図１４Ａに示すように、メインスクリーン２５０から近い順に、Ｂチームの今日の試合のクリップ、Ｂチームの昨日の試合のクリップを配置することができる。また、アクション別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図１４Ｂに示すように、メインスクリーン２５０から近い順に、アクション「ダンク」に関するクリップ、アクション「クロスオーバー」に関するクリップを配置することができる。さらに、プレイヤ別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図１４Ｃに示すように、メインスクリーン２５０から近い順に、プレイヤＣに関するクリップ、プレイヤＤに関するクリップを配置することができる。
For example, it is possible to classify highlight scenes by past games and teams and arrange clips. That is, as shown in FIG. 14A, clips of today's game of team B and clips of yesterday's game of team B can be arranged in order from the
［リアルスポーツへの適用］
上記の実施例１では、上記の表示制御機能がｅスポーツの観戦に適用される例を挙げたが、上記の表示制御機能の適用範囲はｅスポーツの観戦に限定されず、ｅスポーツ以外のリアルスポーツの観戦にも上記の表示制御機能を適用することができる。
[Application to real sports]
In the first embodiment, the above display control function is applied to watching e-sports, but the scope of application of the above display control function is not limited to watching e-sports, and is real other than e-sports. The above display control function can also be applied to watching sports.
図１５は、スクリーンのレイアウトの他の一例を示す図である。図１５には、ＡチームおよびＢチームのバスケットボールの対戦が行われる場合のスクリーンのレイアウトが示されている。例えば、バスケットボールの観戦が行われる場合、図１５に示すように、１ｓｔクォータ、２ｎｄクォータ、３ｒｄクォータ及び４ｔｈクォータのクォータ別にハイライトシーンを分類してクリップを配置することもできる。 FIG. 15 is a diagram showing another example of the screen layout. FIG. 15 shows the layout of the screen when a basketball match between Team A and Team B is played. For example, when watching a basketball game, as shown in FIG. 15, it is possible to classify the highlight scenes according to the quarters of the 1st quarter, the 2nd quarter, the 3rd quarter, and the 4th quarter, and arrange the clips.
バスケットボールなどのリアルスポーツのハイライトシーンがいずれのチームに対するハイライトシーンであるか否かを判定する場合、判定部１５Ｃは、モーショントラッキング技術を利用することができる。
When determining whether or not the highlight scene of a real sport such as basketball is the highlight scene for which team, the
図１６は、モーショントラッキングにおけるカメラ配置の一例を示す図である。図１６に示すように、バスケットボールのフィールドＦ上の実空間がバスケットボール観戦の自由視点映像として生成される。この場合、複数のカメラ４１Ａ〜４１Ｎは、フィールドＦの周囲からフィールドＦの内部へ向けて配置される。このとき、複数のカメラ２０の撮影範囲が組み合わさることによりフィールドＦの全域が複数のカメラ４１Ａ〜４１Ｎの撮影範囲に収まる配置で各カメラ２０が設置される。さらに、２つ以上のカメラ４１の間で共通する画像上の画素からフィールドＦ上に存在する被写体の３次元構造を解析するために、各カメラ４１Ａ〜４１Ｎは、他のカメラ４１との間で撮影範囲の一部が重複する状態で配置される。このような配置の下、複数のカメラ４１Ａ〜４１Ｎがフレームごとに同期して撮影することにより、異なる視点ごとに同一のタイミングで撮影された複数の画像、すなわち多視点画像がフレーム単位で得られる。
FIG. 16 is a diagram showing an example of camera arrangement in motion tracking. As shown in FIG. 16, a real space on the basketball field F is generated as a free-viewpoint image of watching a basketball game. In this case, the plurality of
これらカメラ４１Ａ〜４１Ｎから多視点画像を取得するトラッキング装置４０は、複数のカメラ４１が撮像する多視点画像から選手やボールなどの被写体の３次元情報を解析する。これによって、バスケットボール観戦の自由視点映像の生成が可能となる。その上で、トラッキング装置４０は、上記の３次元情報からボール、選手や審判の動きが追跡されたトラッキング情報を表示制御装置１０へ提供することができる。このようなトラッキング情報を用いて、判定部１５Ｃは、ハイライトシーンが抽出された場合に、当該ハイライトシーンでゴールを決めるシュートを行った選手やシュートを行った選手にパスを行った選手などを特定することで、これらの選手が属するチームに対するハイライトシーンであることを判定することができる。このように、得点やスコア、ポイントなどに関連するプレイヤを特定する場合、あくまで一例として球技を例に挙げれば、得点やスコアが変動する直前やその１つ前にボール等に接触していたプレイヤからチームを判定することができる。また、スコアボード等から文字認識によって得点やスコアが変動した方のチームを識別することとしてもよい。
The tracking device 40 that acquires multi-viewpoint images from these
［分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、収集部１５Ａ、抽出部１５Ｂ、判定部１５Ｃ、表示制御部１５Ｄ、決定部１５Ｅまたは配信部１５Ｆを表示制御装置１０の外部装置としてネットワーク経由で接続するようにしてもよい。また、収集部１５Ａ、抽出部１５Ｂ、判定部１５Ｃ、表示制御部１５Ｄ、決定部１５Ｅまたは配信部１５Ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の表示制御装置１０の機能を実現するようにしてもよい。
[Distributed and integrated]
Further, each component of each of the illustrated devices does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. It can be integrated and configured. For example, the
［表示制御プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図１７を用いて、上記の実施例と同様の機能を有する表示制御プログラムを実行するコンピュータの一例について説明する。
[Display control program]
Further, the various processes described in the above-described embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. Therefore, in the following, an example of a computer that executes a display control program having the same function as that of the above embodiment will be described with reference to FIG.
図１７は、コンピュータのハードウェア構成例を示す図である。図１７に示すように、コンピュータ１００は、操作部１１０ａと、スピーカ１１０ｂと、カメラ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ１７０と、ＲＡＭ１８０とを有する。これら１１０〜１８０の各部はバス１４０を介して接続される。
FIG. 17 is a diagram showing an example of a computer hardware configuration. As shown in FIG. 17, the
ＨＤＤ１７０には、図１７に示すように、上記の実施例１で示した収集部１５Ａ、抽出部１５Ｂ、判定部１５Ｃ、表示制御部１５Ｄ、決定部１５Ｅ及び配信部１５Ｆと同様の機能を発揮する表示制御プログラム１７０ａが記憶される。この表示制御プログラム１７０ａは、図１に示した収集部１５Ａ、抽出部１５Ｂ、判定部１５Ｃ、表示制御部１５Ｄ、決定部１５Ｅ及び配信部１５Ｆの各構成要素と同様、統合又は分離してもかまわない。すなわち、ＨＤＤ１７０には、必ずしも上記の実施例１で示した全てのデータが格納されずともよく、処理に用いるデータがＨＤＤ１７０に格納されればよい。
As shown in FIG. 17, the
このような環境の下、ＣＰＵ１５０は、ＨＤＤ１７０から表示制御プログラム１７０ａを読み出した上でＲＡＭ１８０へ展開する。この結果、表示制御プログラム１７０ａは、図１７に示すように、表示制御プロセス１８０ａとして機能する。この表示制御プロセス１８０ａは、ＲＡＭ１８０が有する記憶領域のうち表示制御プロセス１８０ａに割り当てられた領域にＨＤＤ１７０から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、表示制御プロセス１８０ａが実行する処理の一例として、図９〜図１１に示す処理などが含まれる。なお、ＣＰＵ１５０では、必ずしも上記の実施例１で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
Under such an environment, the
なお、上記の表示制御プログラム１７０ａは、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶されておらずともかまわない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に表示制御プログラム１７０ａを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から表示制御プログラム１７０ａを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに表示制御プログラム１７０ａを記憶させておき、コンピュータ１００がこれらから表示制御プログラム１７０ａを取得して実行するようにしてもよい。
The
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following additional notes will be further disclosed with respect to the embodiments including the above embodiments.
（付記１）複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出する抽出部と、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定する判定部と、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する表示制御部と、
を有することを特徴とする表示制御装置。
(Appendix 1) An extraction unit that extracts highlight scenes based on the analysis results of battle images by multiple teams,
A determination unit for determining which of the plurality of teams the highlight scene is the highlight scene for.
A display control unit that displays the highlight scene in a display area assigned to each of the plurality of teams that does not overlap with each other and that corresponds to the team determined by the determination unit.
A display control device characterized by having.
（付記２）前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定部により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記１に記載の表示制御装置。 (Appendix 2) A feature is that a plurality of highlight scenes of a team determined by the determination unit, including the highlight scene, are displayed in chronological order in a display area corresponding to the team determined by the determination unit. The display control device according to Appendix 1.
（付記３）前記判定部は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記１に記載の表示制御装置。 (Appendix 3) The determination unit is characterized in determining which of the plurality of teams the highlight scene is the highlight scene based on the character information of the player read from the video. The display control device according to Appendix 1.
（付記４）前記判定部は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記１に記載の表示制御装置。 (Supplementary Note 4) The determination unit determines, based on the tracking information of the video, which team among the plurality of teams the highlight scene is the highlight scene. The display control device described in.
（付記５）前記表示制御部は、前記ハイライトシーンを含む、前記判定部により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する決定部と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する配信部と、をさらに有することを特徴とする付記１に記載の表示制御装置。
(Appendix 5) The display control unit displays a plurality of highlight scenes of a team determined by the determination unit, including the highlight scene, in a plurality of small areas having different shapes in the display area of the team. , Display each
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the decision-making part that decides
The display control device according to Appendix 1, further comprising a distribution unit for distributing the moving image information of the determined highlight scene to the terminal of the user.
（付記６）複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出し、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(Appendix 6) Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control method characterized in that a computer executes processing.
（付記７）前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記６に記載の表示制御方法。 (Appendix 7) Displaying a plurality of highlight scenes of a team determined by the determination process including the highlight scene in a time series in a display area corresponding to the team determined by the determination process. The display control method according to Appendix 6, which is a feature.
（付記８）前記判定する処理は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記６に記載の表示制御方法。 (Appendix 8) The determination process determines which of the plurality of teams the highlight scene is the highlight scene for, based on the character information of the player read from the video. The display control method according to Appendix 6, which is a feature.
（付記９）前記判定する処理は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記６に記載の表示制御方法。 (Supplementary note 9) The determination process is characterized in that it determines which of the plurality of teams the highlight scene is a highlight scene based on the tracking information of the video. The display control method according to 6.
（付記１０）前記表示する処理は、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する処理と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する処理と、をさらにコンピュータが実行することを特徴とする付記６に記載の表示制御方法。
(Appendix 10) The display process includes a plurality of highlight scenes of a team determined by the determination process, including the highlight scene, in a display area of the team, and a plurality of small areas having different shapes. And display each
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the process of determining
The display control method according to Appendix 6, wherein a computer further executes a process of delivering the moving image information of the determined highlight scene to the terminal of the user.
（付記１１）複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出し、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
(Appendix 11) Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control program characterized by having a computer execute processing.
（付記１２）前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記１１に記載の表示制御プログラム。 (Appendix 12) Displaying a plurality of highlight scenes of a team determined by the determination process, including the highlight scene, in a time series in a display area corresponding to the team determined by the determination process. The display control program according to Appendix 11, which is a feature.
（付記１３）前記判定する処理は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記１１に記載の表示制御プログラム。 (Appendix 13) The determination process determines which of the plurality of teams the highlight scene is the highlight scene for, based on the character information of the player read from the video. The display control program according to Appendix 11, which is a feature.
（付記１４）前記判定する処理は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記１１に記載の表示制御プログラム。 (Supplementary note 14) The determination process is characterized in that it determines which of the plurality of teams the highlight scene is the highlight scene for, based on the tracking information of the video. 11. The display control program according to 11.
（付記１５）前記表示する処理は、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する処理と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する処理と、をさらにコンピュータに実行させることを特徴とする付記１１に記載の表示制御プログラム。
(Appendix 15) The display process includes a plurality of highlight scenes of a team determined by the determination process, including the highlight scene, in a display area of the team, and a plurality of small areas having different shapes. And display each
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the process of determining
The display control program according to Appendix 11, wherein a computer further executes a process of delivering the moving image information of the determined highlight scene to the terminal of the user.
１ システム
１０ 表示制御装置
１１ 通信インタフェース
１３ 記憶部
１３ａ 動画情報
１３ｂ ハイライトシーン情報
１５ 制御部
１５Ａ 収集部
１５Ｂ 抽出部
１５Ｃ 判定部
１５Ｄ 表示制御部
１５Ｅ 決定部
１５Ｆ 配信部
1
Claims (7)
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定する判定部と、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する表示制御部と、
を有することを特徴とする表示制御装置。 An extraction unit that extracts highlight scenes based on the analysis results of battle videos by multiple teams,
A determination unit for determining which of the plurality of teams the highlight scene is the highlight scene for.
A display control unit that displays the highlight scene in a display area assigned to each of the plurality of teams that does not overlap with each other and that corresponds to the team determined by the determination unit.
A display control device characterized by having.
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する決定部と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する配信部と、をさらに有することを特徴とする請求項１に記載の表示制御装置。 The display control unit displays a plurality of highlight scenes of the team determined by the determination unit, including the highlight scene, in the display area of the team in a plurality of small areas having different shapes. ,
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the decision-making part that decides
The display control device according to claim 1, further comprising a distribution unit for distributing the moving image information of the determined highlight scene to the terminal of the user.
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。 Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control method characterized in that a computer executes processing.
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。 Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control program characterized by having a computer execute processing.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019086145A JP7314605B2 (en) | 2019-04-26 | 2019-04-26 | Display control device, display control method and display control program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019086145A JP7314605B2 (en) | 2019-04-26 | 2019-04-26 | Display control device, display control method and display control program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2020179045A true JP2020179045A (en) | 2020-11-05 |
| JP7314605B2 JP7314605B2 (en) | 2023-07-26 |
Family
ID=73022986
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019086145A Active JP7314605B2 (en) | 2019-04-26 | 2019-04-26 | Display control device, display control method and display control program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP7314605B2 (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023032303A1 (en) * | 2021-09-03 | 2023-03-09 | ソニーグループ株式会社 | Video processing device, video processing method, and program |
| WO2023188647A1 (en) * | 2022-03-31 | 2023-10-05 | 株式会社コナミデジタルエンタテインメント | Generative system, generative system control program, and control method |
| JP7403581B2 (en) | 2022-05-23 | 2023-12-22 | ソフトバンク株式会社 | systems and devices |
Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008167082A (en) * | 2006-12-27 | 2008-07-17 | Toshiba Corp | Video content display device, video content display method and program thereof |
| JP2008229116A (en) * | 2007-03-22 | 2008-10-02 | Konami Digital Entertainment:Kk | Program, device and control method for game |
| JP2012182724A (en) * | 2011-03-02 | 2012-09-20 | Kddi Corp | Moving image combining system, moving image combining method, moving image combining program and storage medium of the same |
| WO2015114196A1 (en) * | 2014-02-03 | 2015-08-06 | Nokia Technologies Oy | Ordering of highlight video segments |
| JP2016119577A (en) * | 2014-12-22 | 2016-06-30 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Digest generation device, digest generation method, and program |
| JP2017538989A (en) * | 2014-10-09 | 2017-12-28 | スーズ，インコーポレイテッド | Customized generation of highlight shows with story components |
| JP2018182566A (en) * | 2017-04-14 | 2018-11-15 | 富士通株式会社 | Viewpoint selection support program, viewpoint selection support method, and viewpoint selection support apparatus |
| WO2019067480A1 (en) * | 2017-09-29 | 2019-04-04 | Sony Interactive Entertainment America Llc | Venue mapping for virtual reality spectating of electronic sports |
-
2019
- 2019-04-26 JP JP2019086145A patent/JP7314605B2/en active Active
Patent Citations (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2008167082A (en) * | 2006-12-27 | 2008-07-17 | Toshiba Corp | Video content display device, video content display method and program thereof |
| JP2008229116A (en) * | 2007-03-22 | 2008-10-02 | Konami Digital Entertainment:Kk | Program, device and control method for game |
| JP2012182724A (en) * | 2011-03-02 | 2012-09-20 | Kddi Corp | Moving image combining system, moving image combining method, moving image combining program and storage medium of the same |
| WO2015114196A1 (en) * | 2014-02-03 | 2015-08-06 | Nokia Technologies Oy | Ordering of highlight video segments |
| JP2017538989A (en) * | 2014-10-09 | 2017-12-28 | スーズ，インコーポレイテッド | Customized generation of highlight shows with story components |
| JP2016119577A (en) * | 2014-12-22 | 2016-06-30 | 三星電子株式会社Ｓａｍｓｕｎｇ Ｅｌｅｃｔｒｏｎｉｃｓ Ｃｏ．，Ｌｔｄ． | Digest generation device, digest generation method, and program |
| JP2018182566A (en) * | 2017-04-14 | 2018-11-15 | 富士通株式会社 | Viewpoint selection support program, viewpoint selection support method, and viewpoint selection support apparatus |
| WO2019067480A1 (en) * | 2017-09-29 | 2019-04-04 | Sony Interactive Entertainment America Llc | Venue mapping for virtual reality spectating of electronic sports |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2023032303A1 (en) * | 2021-09-03 | 2023-03-09 | ソニーグループ株式会社 | Video processing device, video processing method, and program |
| WO2023188647A1 (en) * | 2022-03-31 | 2023-10-05 | 株式会社コナミデジタルエンタテインメント | Generative system, generative system control program, and control method |
| JP7403581B2 (en) | 2022-05-23 | 2023-12-22 | ソフトバンク株式会社 | systems and devices |
Also Published As
| Publication number | Publication date |
|---|---|
| JP7314605B2 (en) | 2023-07-26 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10395409B2 (en) | Method and system for real-time virtual 3D reconstruction of a live scene, and computer-readable media | |
| JP7010292B2 (en) | Video generation program, video generation method and video generation device | |
| US11967086B2 (en) | Player trajectory generation via multiple camera player tracking | |
| JP7314605B2 (en) | Display control device, display control method and display control program | |
| US9610491B2 (en) | Playbook processor | |
| US10653965B2 (en) | Information processing system, information processing method, program, server, and information processing terminal | |
| CN109429052A (en) | Information processing equipment, the control method of information processing equipment and storage medium | |
| JP5372212B2 (en) | GAME SYSTEM, CONTROL METHOD AND COMPUTER PROGRAM USED FOR THE SAME | |
| US10695676B2 (en) | Storage medium storing game program, information processing system, information processing device, and game processing method | |
| US20210402301A1 (en) | Server-Based Mechanics Help Determination from Aggregated User Data | |
| CN114329072A (en) | Video processing method and device, electronic equipment and storage medium | |
| US20230025389A1 (en) | Route generation system within a virtual environment of a game application | |
| JP2022015205A (en) | Log generation device, log generation method, and log generation program | |
| WO2023032303A1 (en) | Video processing device, video processing method, and program | |
| EP4342554A1 (en) | Image processing system, image processing method, and computer program | |
| JP7333958B2 (en) | GAME DEVICE, GAME DEVICE PROGRAM, GAME DEVICE CONTROL METHOD, AND GAME SYSTEM | |
| WO2019111361A1 (en) | Event vitalizing device, event vitalizing method, and computer-readable recording medium | |
| CN114584678A (en) | Augmented reality AR presentation method and device, electronic equipment and storage medium | |
| JP2024074507A (en) | Image processing device, image processing method, and program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7314605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |