JP2020179045A - Display control device, display control method, and display control program - Google Patents
Display control device, display control method, and display control program Download PDFInfo
- Publication number
- JP2020179045A JP2020179045A JP2019086145A JP2019086145A JP2020179045A JP 2020179045 A JP2020179045 A JP 2020179045A JP 2019086145 A JP2019086145 A JP 2019086145A JP 2019086145 A JP2019086145 A JP 2019086145A JP 2020179045 A JP2020179045 A JP 2020179045A
- Authority
- JP
- Japan
- Prior art keywords
- team
- highlight scene
- display control
- highlight
- screen
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 79
- 238000000605 extraction Methods 0.000 claims abstract description 40
- 238000012545 processing Methods 0.000 claims description 41
- 239000000284 extract Substances 0.000 claims description 10
- 238000004458 analytical method Methods 0.000 claims description 8
- 238000010586 diagram Methods 0.000 description 32
- 230000006870 function Effects 0.000 description 23
- 238000004891 communication Methods 0.000 description 9
- 230000002860 competitive effect Effects 0.000 description 9
- 240000004050 Pentaglottis sempervirens Species 0.000 description 6
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 6
- 238000005516 engineering process Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 238000005315 distribution function Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000005401 electroluminescence Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、表示制御装置、表示制御方法及び表示制御プログラムに関する。 The present invention relates to a display control device, a display control method, and a display control program.
各種の対戦スポーツ、例えばeスポーツを含む対戦型のスポーツ全般で観戦に、映像が用いられる。例えば、観戦会場に設置されたスクリーンや、遠隔で観戦している観戦者のディスプレイに、対戦スポーツの中で見どころのシーンがハイライトシーンとして提示される。 Video is used for watching various competitive sports, for example, in general competitive sports including e-sports. For example, the highlight scenes in the competitive sports are presented as highlight scenes on the screen installed at the spectator venue or the display of the spectator who is watching the game remotely.
ここで、ハイライトシーンを提示する技術の一例として、録画された映像コンテンツからハイライトシーンを抽出する技術がある。当該技術では、コンテンツの画像または音声データから抽出される特徴データに基づいて演算される評価値に基づいて、コンテンツの中のハイライトシーンを検出する表示制御装置が提案されている。 Here, as an example of the technique for presenting the highlight scene, there is a technique for extracting the highlight scene from the recorded video content. In this technique, a display control device that detects a highlight scene in a content based on an evaluation value calculated based on feature data extracted from the image or audio data of the content has been proposed.
しかしながら、上記の技術では、次に説明する通り、対戦中の複数チームそれぞれのハイライトシーンが、観戦者にとって、把握しにくい場合がある。 However, with the above technique, as will be described next, it may be difficult for the spectator to grasp the highlight scenes of each of the plurality of teams in the battle.
すなわち、上記の表示制御装置では、ハイライトシーンまでに至る所定の時間分の映像がリプレイ画像として表示画面に表示されるに過ぎないので、表示画面に表示中であるハイライトシーンがいずれのチームに関するハイライトであるのかは把握しづらい。例えば、対戦スポーツの観戦者が複数チームのうちいずれかのチームを応援している場合でも、観戦者が応援するチームのハイライトシーンであるのか、あるいは観戦者が応援するチームと対戦中のチームのハイライトシーンであるのかを把握するのが困難である。このように、ハイライトシーンを観戦者に提示したとしても、観戦者が応援するチームの戦況の善し悪しが伝わらないので、対戦スポーツの面白さが観戦者に伝わりづらい。 That is, in the above display control device, since the video for a predetermined time up to the highlight scene is only displayed on the display screen as a replay image, the highlight scene displayed on the display screen is any team. It's hard to tell if it's a highlight. For example, even if a spectator of a competitive sport is supporting one of multiple teams, is it the highlight scene of the team supported by the spectator, or is the team playing against the team supported by the spectator? It is difficult to grasp whether it is the highlight scene of. In this way, even if the highlight scene is presented to the spectator, it is difficult to convey the fun of the competitive sport to the spectator because the good and bad of the battle situation of the team supported by the spectator is not transmitted.
1つの側面では、本発明は、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くできる表示制御装置、表示制御方法及び表示制御プログラムを提供することを目的とする。 In one aspect, it is an object of the present invention to provide a display control device, a display control method, and a display control program that enable a spectator to easily grasp the highlight scenes of each of a plurality of teams in a match.
一態様では、表示制御装置は、複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出する抽出部と、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定する判定部と、前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する表示制御部と、を有する。 In one aspect, the display control device includes an extraction unit that extracts highlight scenes based on the analysis results of images of battles by a plurality of teams, and highlights the highlight scenes for any of the plurality of teams. The determination unit for determining whether the scene is a scene and the display area allocated to each of the plurality of teams and not overlapping each other, the display area corresponding to the team determined by the determination unit is the display area. It has a display control unit that displays a highlight scene.
対戦中の複数チームそれぞれのハイライトシーンを把握し易くできる。 You can easily grasp the highlight scenes of each of the multiple teams in the match.
以下に添付図面を参照して本願に係る表示制御装置、表示制御方法及び表示制御プログラムについて説明する。なお、この実施例は開示の技術を限定するものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。 The display control device, display control method, and display control program according to the present application will be described below with reference to the accompanying drawings. It should be noted that this embodiment does not limit the disclosed technology. Then, each embodiment can be appropriately combined as long as the processing contents do not contradict each other.
[システム構成]
図1は、実施例1に係る表示制御装置10の機能的構成の一例を示すブロック図である。図1に示す表示制御装置10は、対戦スポーツの試合映像に関する表示制御機能、例えばハイライトシーンの表示制御機能などを有するものである。
[System configuration]
FIG. 1 is a block diagram showing an example of a functional configuration of the
表示制御装置10は、上記の表示制御機能を提供するコンピュータの一例である。
The
一実施形態として、表示制御装置10は、パッケージソフトウェア又はオンラインソフトウェアとして、上記の表示制御機能を実現する表示制御プログラムを任意のコンピュータにインストールさせることによって実装できる。例えば、表示制御装置10は、上記の表示制御機能をオンプレミスに提供するサーバとして実装することができる。この場合、表示制御装置10は、必ずしも対戦スポーツの試合会場の外部に設けずともよく、対戦スポーツの試合会場の現場に設置される情報システム、例えば映像システム20等の一部に組み込まれることとしてもかまわない。これに限定されず、表示制御装置10は、SaaS(Software as a Service)型のアプリケーションとして実装することで、上記の表示制御機能をクラウドサービスとして提供することとしてもかまわない。
As one embodiment, the
ここで、本実施例では、対戦スポーツの一例として、eスポーツ(electronic sports)を例に挙げ、eスポーツの会場のスクリーンに表示される試合映像及びそのハイライトシーン等の映像コンテンツを通じてスポーツ観戦が行われるユースケースを例に挙げる。 Here, in this embodiment, e-sports (electronic sports) is taken as an example of competitive sports, and watching sports is performed through video contents such as a game video displayed on the screen of the e-sports venue and its highlight scene. Take the use case that takes place as an example.
図1に示すように、表示制御装置10には、映像システム20と、ユーザ端末50とが接続され得る。これら表示制御装置10、映像システム20及びユーザ端末50は、任意のネットワークNWを介して通信可能に接続される。ネットワークNWは、有線または無線を問わず、インターネットやLAN(Local Area Network)などの任意の種類の通信網であってかまわない。なお、図1には、説明の便宜上、1つの表示制御装置10につき1つのユーザ端末50が接続される例を挙げたが、1つの表示制御装置10につき複数のユーザ端末50が接続されることを妨げない。
As shown in FIG. 1, the
映像システム20は、eスポーツの試合映像などを表示するシステムである。例えば、映像システム20には、図1に示すように、ゲーム装置21と、スイッチャ23と、表示装置25とが含まれ得る。
The
ゲーム装置21は、コンピュータゲームのソフトウェアが実行されるコンピュータである。また、ゲーム装置21は、プレイヤによって操作される装置である。ここで言う「ゲーム装置」とは、コンピュータゲームのソフトウェアが実行されるという側面から付与されたラベルであり、そのハードウェア構成や導入されるソフトウェアの種類は限定されず、任意の種類のコンピュータであってかまわない。また、「コンピュータゲーム」は、任意のタイトルやジャンルであってかまわない。その上で例を挙げれば、ファーストパーソンシューティングやサードパーソンシューティング、リアルタイムストラテジ、マルチプレイオンラインバトルアリーナ、格闘ゲーム、スポーツゲーム、レーシングゲーム、パズルゲームなどが挙げられる。このようなゲーム装置21にインストールされたキャプチャボード等を介して、当該ゲーム装置21のプレイヤ視点のゲーム画面がスイッチャ23へ入力される。
The
スイッチャ23は、表示装置25が所定のスクリーンに表示する映像を切り替える装置である。例えば、スイッチャ23は、ゲーム装置21により出力されるプレイヤ視点のゲーム画面やゲーム上のフィールドやマップが上方向から俯瞰された俯瞰視点のゲーム画面のうち、図示しないコントロールパネル等を介して選択される映像を表示装置25に出力する。このような選択操作によってスクリーンへ時系列に表示されるゲーム動画のことを「試合映像」と記載する場合がある。
The switcher 23 is a device for switching an image displayed on a predetermined screen by the
表示装置25は、所定のスクリーンに映像を表示する装置である。
The
あくまで一例として、表示装置25には、発光により表示を実現する液晶ディスプレイや有機EL(electroluminescence)ディスプレイなどを採用することができる。他の一例として、表示装置25には、投影により表示を実現するプロジェクタを採用することもできる。このようにプロジェクタが採用される場合、専用のスクリーンを用いることもできれば、壁や床などの平面をスクリーンとして用いることもできる。
As an example, a liquid crystal display, an organic EL (electroluminescence) display, or the like that realizes display by light emission can be adopted as the
例えば、表示装置25は、スイッチャ23から入力されるライブの試合映像を所定のスクリーンに表示する。この他、表示装置25は、eスポーツの試合映像のハイライトシーンを所定のスクリーンに表示させることもできる。
For example, the
ユーザ端末50は、eスポーツの観戦者が使用するコンピュータの一例である。ここで言う「ユーザ端末」とは、コンピュータの使用者という側面から付与されたラベルであり、そのハードウェア構成や導入されるソフトウェアの種類は限定されず、任意の種類のコンピュータであってかまわない。例えば、ユーザ端末50には、スマートフォンや携帯電話機、PHS(Personal Handyphone System)、タブレット端末などの携帯端末装置全般が対応する。これらはあくまで例示に過ぎず、ユーザ端末10は、パーソナルコンピュータなどのデスクトップ型のコンピュータの他、ラップトップ型のコンピュータやウェアラブル端末などの任意のコンピュータであってかまわない。
The
[課題の一側面]
上記の背景技術の欄で挙げた技術には、対戦中の複数チームそれぞれのハイライトシーンが把握しにくいという課題がある。
[One aspect of the task]
The technology listed in the background technology column above has the problem that it is difficult to grasp the highlight scenes of each of the multiple teams in the battle.
すなわち、上記の背景技術の欄で挙げた表示制御装置では、ハイライトシーンまでに至る所定の時間分の映像がリプレイ画像として表示画面に表示されるに過ぎない。このため、表示画面に表示中であるハイライトシーンがいずれのチームに関するハイライトであるのかは把握しづらい。 That is, in the display control device mentioned in the above background technology column, the video for a predetermined time up to the highlight scene is only displayed on the display screen as a replay image. Therefore, it is difficult to know which team the highlight scene displayed on the display screen is the highlight.
あくまで一例として、eスポーツを例に挙げれば、eスポーツの大会等は、コアプレイヤやコアファンなどの参加が多数である側面がある。コアプレイヤやコアファンは、eスポーツの試合に対する知識レベルが高い。その一方で、ノンプレイヤやライトファンには、コアプレイヤやコアファンほどの知識レベルはない。しかしながら、コンシューマ向けのゲームの普及が進む現状、ノンプレイヤやライトファンは、潜在的なeスポーツの観戦者となり得る。このようなノンプレイヤやライトファンにとって、コアプレイヤやコアファンとの知識レベルのギャップが観戦ハードルを高める一因となっている。 Taking e-sports as an example, there is an aspect that core players and core fans participate in many e-sports competitions. Core players and core fans have a high level of knowledge about esports games. On the other hand, non-players and light fans do not have the same level of knowledge as core players and core fans. However, with the increasing popularity of consumer games, non-players and light fans can be potential esports spectators. For such non-players and light fans, the gap in knowledge level with core players and core fans is one of the factors that raise the hurdle for watching games.
例えば、ノンプレイヤやライトファンは、必ずしも各チームのプレイヤが使用するアバター等に関する知識を持っているとは限らない。それ故、上記の背景技術の欄で説明したハイライトシーンの表示が行われたとしても、観戦者が応援するチームのハイライトシーンであるのか、あるいは観戦者が応援するチームと対戦中のチームのハイライトシーンであるのかを把握するのは困難である。このように、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかも分からない状況では、スポーツ観戦の面白さが観戦者に伝わりづらい。このため、コアプレイヤやコアファンと一体となってスポーツ観戦を楽しむことができず、観戦ハードルを高める一因となっている。 For example, non-players and light fans do not always have knowledge about avatars and the like used by players of each team. Therefore, even if the highlight scene explained in the background technology section above is displayed, it is the highlight scene of the team supported by the spectator, or the team playing against the team supported by the spectator. It is difficult to grasp whether it is the highlight scene of. In this way, it is difficult to convey the fun of watching sports to the spectators in a situation where it is not clear whether the highlights of the teams supported by the spectators are displayed or the highlights of the teams in the competition are displayed. For this reason, it is not possible to enjoy watching sports together with core players and core fans, which is one of the factors that raise the hurdle for watching sports.
[課題解決のアプローチの一側面]
そこで、本実施例に係る表示制御装置10は、eスポーツの対戦チームそれぞれに対応する表示領域のうち、eスポーツの試合映像から抽出されたハイライトシーンにかかるチームの表示領域に、当該ハイライトシーンを表示する表示制御を実現する。
[One aspect of the problem-solving approach]
Therefore, the
図2は、スクリーンのレイアウトの一例を示す図である。図2には、各チーム4人制のAチーム及びBチームの計2チームでeスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図2に示すように、eスポーツの会場に設置される映像システム20には、Aチームの4人のプレイヤPA1〜PA4が使用するゲーム装置21PA1〜21PA4と、Bチームの4人のプレイヤPB1〜PB4が使用するゲーム装置21PB1〜21PB4とが含まれる。さらに、映像システム20には、表示装置25により映像が表示される表示領域の一例として、メインスクリーン250の左右に、チームスクリーン251Aと、チームスクリーン251Bとが配置される。以下、チームスクリーン251Aおよびチームスクリーン251Bのラベルを区別しない場合に「チームスクリーン251」と記載する場合がある。
FIG. 2 is a diagram showing an example of screen layout. FIG. 2 shows the layout of the screen when an e-sports match is played by a total of two teams, A team and B team, each of which has four players. As shown in FIG. 2, the
これらメインスクリーン250、チームスクリーン251A及びチームスクリーン251Bには、3つのディスプレイを割り当てることによって実装したり、1つのディスプレイが3つに分割された表示領域を割り当てることによって実装したりすることができる。また、複数のディスプレイを結合することによってメインスクリーン250、チームスクリーン251Aまたはチームスクリーン251Bなどの表示領域を形成することもできる。この他、プロジェクションによる表示が行われる場合、eスポーツの会場の一部、例えば壁面をメインスクリーン250、チームスクリーン251Aまたはチームスクリーン251Bとして割り当てることもできる。
The
メインスクリーン250には、eスポーツのライブ試合映像が表示される。例えば、メインスクリーン250に表示される試合映像は、スイッチャ23により切り替えられる。図2に示す例で言えば、ゲーム装置21PA1〜21PA4及びゲーム装置21PB1〜21PB4から入力されるプレイヤPA1〜PA4視点およびプレイヤPB1〜PB4視点のゲーム画面がスイッチャ23へ入力される。この場合、スイッチャ23では、プレイヤPA1〜PA4視点およびプレイヤPB1〜PB4視点と、ゲーム上のフィールドが上方向から俯瞰された俯瞰視点との中から1つの視点が図示しないコントロールパネルを介して選択される。このような選択操作は、あくまで一例として、スイッチャと呼ばれるスタッフ、あるいは実況や解説者によって行われる。
A live game image of e-sports is displayed on the
また、チームスクリーン251は、複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域の一例に対応する。例えば、チームスクリーン251Aには、eスポーツの試合映像のうちAチームのハイライトシーンが表示される。図2に示す例で言えば、チームスクリーン251Aには、Aチームのハイライトシーンの動画が表示される小領域CA1〜CA7が配置される。さらに、チームスクリーン251Bには、eスポーツの試合映像のうちBチームのハイライトシーンが表示される。図2に示す例で言えば、チームスクリーン251Bには、Bチームのハイライトシーンの動画が表示される小領域CB1〜CB2が配置される。以下、チームスクリーン251Aやチームスクリーン251Bにクリップされるハイライトシーンの動画のことを「クリップ」と記載する場合がある。
Further, the team screen 251 corresponds to an example of a display area allocated to each of a plurality of teams and which does not overlap with each other. For example, the
このように、本実施例に係る表示制御装置10では、チームごとに割り当てられたスクリーンに、各チームのハイライトシーンを整理して表示する表示制御が実現される。このような表示制御によって、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかを識別させることができる。例えば、図2に示す例で言えば、観戦者がAチームを応援する場合、Aチームに割り当てられたチームスクリーン251Aに表示されたクリップCA1〜CA7を見ることによりAチームの見どころを観戦することができる。
As described above, in the
したがって、本実施例に係る表示制御装置10によれば、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くすることが可能になる。
Therefore, according to the
さらに、本実施例に係る表示制御装置10では、チームスクリーン251に複数のクリップを時系列に並べて配置する。例えば、チームスクリーン251A及びチームスクリーン250Bでは、クリップが抽出されたタイミングが早いほどメインスクリーン250から遠い位置にクリップが表示される。一方、チームスクリーン251A及びチームスクリーン250Bでは、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン250寄りに並べてクリップが表示される。さらに、チームスクリーン251A及びチームスクリーン250Bでは、対戦中の試合以外にも、その前に行われた試合で抽出されたクリップも時系列に並べて配置される。
Further, in the
例えば、図2に示すAチーム対Bチームの対戦が決勝であるとする。この場合、チームスクリーン251Aには、メインスクリーン250に近い方から順、すなわちメインスクリーン250の正面から見てチームスクリーン251Aの右端から順に、決勝のクリップCA1〜CA4、決勝の前の試合として行われた準決勝のクリップCA5〜CA7が表示される。さらに、決勝戦のクリップの中でも、最新のクリップCA1、2番目に新しいクリップCA2、3番目に新しいクリップCA3、4番目に新しいクリップCA3が右方向から順に表示される。さらに、準決勝のクリップにおいても、最新のクリップCA5、2番目に新しいクリップCA6、3番目に新しいクリップCA7が右方向から順に表示される。
For example, assume that the match between Team A and Team B shown in FIG. 2 is the final. In this case, the
また、チームスクリーン251Bには、メインスクリーン250に近い方から順、すなわちメインスクリーン250の正面から見てチームスクリーン251Bの左端から順に、決勝のクリップCB1〜CB2、決勝の前の試合として行われた3位決定戦のクリップCC1〜CB5が表示される。さらに、決勝のクリップの中でも、最新のクリップCB1、2番目に新しいクリップCB2が左方向から順に表示される。さらに、3位決定戦のクリップにおいても、最新のクリップCC1、2番目に新しいクリップCC2、3番目に新しいクリップCC3、4番目に新しいクリップCC4、5番目に新しいクリップCC5が左方向から順に表示される。
Further, the
ここで、対戦中の試合の前の試合におけるクリップが表示される場合、チームスクリーン251Bに示す通り、Bチームのクリップだけでなく、過去、例えば3位決定戦で活躍するCチームのハイライトシーンの動画をクリップCA5〜CA7として表示させることもできる。
Here, when the clip in the match before the match in the match is displayed, as shown in the
このように、チームスクリーン251に、チームごとの複数のクリップを時系列に並べて配置するので、eスポーツにおける試合の戦況を時系列に把握しやすくできる。さらに、チームスクリーン251に前の試合のクリップも時系列に並べて配置するので、eスポーツの大会を通じた試合のログを表示することができる。この結果、観戦者が過去の試合を振り返ることができるので、試合全体の流れが把握しやすくなり、かつ観戦のタイミングが遅れても大会の時系列を把握しやすくできる。 In this way, since a plurality of clips for each team are arranged side by side on the team screen 251 in chronological order, it is possible to easily grasp the battle situation of the game in e-sports in chronological order. Further, since the clips of the previous game are arranged side by side in chronological order on the team screen 251, the log of the game through the e-sports tournament can be displayed. As a result, since the spectator can look back on the past games, it is easy to grasp the flow of the whole game, and it is easy to grasp the time series of the tournament even if the timing of watching the game is delayed.
加えて、上記の表示制御によって、観戦者は、eスポーツにおける試合の戦況の優劣を、直感的に把握することができる。すなわち、ハイライトシーンには、eスポーツにおける試合の戦況に影響を与えるシーンが抽出されるので、各チームスクリーンに表示されるクリップの数と試合の戦況の優劣とは関連性がある。このため、各チームスクリーンに表示されるクリップの数を相対的に比較することで、eスポーツにおける試合の戦況の優劣を把握できる。例えば、図2に示す例で言えば、決勝において、チームスクリーン251Aには、4つのクリップCA1〜CA4が表示される一方で、チームスクリーン251Bには、2つのクリップCB1〜CB2しか表示されていない。このことから、チームスクリーン251Aにクリップされたハイライトシーンの動画の数が多いAチームの方がBチームよりも試合を優勢に進めていることを、観戦者は、直感的に把握することができる。
In addition, the above display control allows the spectator to intuitively grasp the superiority or inferiority of the game situation in e-sports. That is, since scenes that affect the game situation in e-sports are extracted from the highlight scene, the number of clips displayed on each team screen is related to the superiority or inferiority of the game situation. Therefore, by comparing the number of clips displayed on each team screen relatively, it is possible to grasp the superiority or inferiority of the game situation in e-sports. For example, in the example shown in FIG. 2, in the final, the
[表示制御装置10の構成]
次に、本実施例に係る表示制御装置10の機能的構成の一例について説明する。図1に示すように、表示制御装置10は、通信インタフェース11と、記憶部13と、制御部15とを有する。なお、図1には、データの授受の関係を表す実線が示されているが、説明の便宜上、最小限の部分について示されているに過ぎない。すなわち、各処理部に関するデータの入出力は、図示の例に限定されず、図示以外のデータの入出力、例えば処理部及び処理部の間、処理部及びデータの間、並びに、処理部及び外部装置の間のデータの入出力が行われることとしてもかまわない。
[Configuration of display control device 10]
Next, an example of the functional configuration of the
通信インタフェース11は、他の装置、例えば映像システム20やユーザ端末50との間で通信制御を行うインタフェースである。
The communication interface 11 is an interface that controls communication with another device, for example, a
あくまで一例として、通信インタフェース11には、LANカードなどのネットワークインタフェースカードを採用することができる。例えば、通信インタフェース11は、映像システム20から各種の映像、例えばライブ試合映像や各プレイヤ視点のゲーム動画などを受け付けたり、各チームスクリーン251に配置するクリップの表示指示を映像システム20へ出力したりする。また、通信インタフェース11は、ユーザ端末50からハイライトシーンの動画のダウンロードを要求するリクエストを受け付けたり、当該ダウンロードのリクエストに対応するクリップをユーザ端末50へ送信したりする。
As an example, a network interface card such as a LAN card can be adopted as the communication interface 11. For example, the communication interface 11 accepts various images from the
記憶部13は、制御部15で実行されるOS(Operating System)を始め、上記の表示制御プログラムなどの各種プログラムに用いられるデータを記憶する機能部である。
The
あくまで一例として、記憶部13は、表示制御装置10における補助記憶装置に対応する。例えば、HDD(Hard Disk Drive)、光ディスクやSSD(Solid State Drive)などが補助記憶装置に対応する。この他、EPROM(Erasable Programmable Read Only Memory)などのフラッシュメモリも補助記憶装置に対応する。
As an example, the
記憶部13は、制御部15で実行されるプログラムに用いられるデータの一例として、動画情報13aと、ハイライトシーン情報13bとを記憶する。これらのデータ以外にも、上記の表示制御プログラムによって参照または生成が行われるデータ、例えば1ハイライトあたりの動画の時間長などの設定情報などが記憶部13に記憶されることとしてもかまわない。なお、動画情報13a及びハイライトシーン情報13bの説明は、各データの参照または生成が行われる制御部15の説明と合わせて行うこととする。
The
制御部15は、表示制御装置10の全体制御を行う機能部である。
The
一実施形態として、制御部15は、CPU(Central Processing Unit)やMPU(Micro Processing Unit)などのハードウェアプロセッサにより実装することができる。ここでは、プロセッサの一例として、CPUやMPUを例示したが、汎用型および特化型を問わず、任意のプロセッサにより実装することができる。この他、制御部15は、ASIC(Application Specific Integrated Circuit)やFPGA(Field Programmable Gate Array)などのハードワイヤードロジックによって実現されることとしてもかまわない。
As one embodiment, the
制御部15は、上記の表示制御プログラムを実行することにより、図示しない主記憶装置として実装されるDRAM(Dynamic Random Access Memory)などのRAMのワークエリア上に図1に示す処理部を仮想的に実現する。なお、ここでは、ハイライトシーンの抽出機能、表示制御機能および配信機能などの一連の機能がパッケージ化されたパッケージソフトウェアが実行される例を挙げるが、表示制御装置10上で動作するプログラムはこれに限定されない。例えば、上記のパッケージソフトウェアの機能のうちハイライトシーンの抽出機能、表示制御機能または配信機能の任意の機能を抜粋してプログラムモジュールとして実行されたり、あるいはライブラリとして参照されたりすることとしてもかまわない。
By executing the above display control program, the
例えば、制御部15は、図1に示すように、収集部15Aと、抽出部15Bと、判定部15Cと、表示制御部15Dと、決定部15Eと、配信部15Fとを有する。
For example, as shown in FIG. 1, the
収集部15Aは、各種のデータを収集する処理部である。
The
1つの側面として、収集部15Aは、スイッチャ23から試合映像や各プレイヤ視点のゲーム動画などをコンピュータゲームにおける試合の進行と同期してリアルタイムに収集する。例えば、収集部15Aは、試合映像や各プレイヤ視点のゲーム動画などの映像ごとに、コンピュータゲームにおける試合開始から試合終了までスイッチャ23から伝送される動画のストリームデータを受信する。このようにリアルタイムで収集された試合映像や各プレイヤ視点のゲーム動画が動画情報13aとして記憶部13に保存される。
As one aspect, the collecting
なお、ここでは、一例として、各映像がリアルタイムで収集される例を挙げたが、必ずしも各映像はリアルタイムで収集されずともよく、所定期間の映像がバッチ処理で収集されることとしてもかまわない。また、ここでは、記憶部13に保存された動画情報13aが抽出部15Bにより読み出される例を挙げるが、メモリ上に設定されたバッファ領域に記憶された試合映像が抽出部15Bにより参照されることとしてもかまわない。
Here, as an example, each video is collected in real time, but each video does not necessarily have to be collected in real time, and the video for a predetermined period may be collected by batch processing. .. Further, here, an example in which the moving
抽出部15Bは、収集部15Aにより収集される試合映像の解析結果に基づき、ハイライトシーンを抽出する処理部である。
The extraction unit 15B is a processing unit that extracts highlight scenes based on the analysis result of the game video collected by the
あくまで一例として、抽出部15Bは、対戦ゲームの試合映像から観衆の音量を予測するように学習した予測モデルを用いて、試合映像のシーン毎に求めた盛り上がり度をもとにハイライトシーンの動画を抽出する。 As an example, the extraction unit 15B uses a prediction model learned to predict the volume of the audience from the game video of the battle game, and uses a prediction model to predict the highlight scene based on the degree of excitement obtained for each scene of the game video. Is extracted.
より具体的には、抽出部15Bは、記憶部13に保存される動画情報13aに試合映像の最新のフレームが追加された場合、最新のフレーム及び1つ前のフレームの間で差分、例えばSAD(Sum of Absolute Difference)が所定の閾値以上であるか否かを判定する。このとき、フレーム間の差分が閾値以上である場合、俯瞰視点およびプレイヤ視点の間、あるいは各プレイヤ視点の間で視点を切り替えるシーンチェンジが発生した可能性が高いと判断できる。この場合、抽出部15Bは、ゲームの試合開始もしくは前回にシーンチェンジが検出されてから現在時点までの区間の試合映像を最新のシーンとして抽出する。
More specifically, when the latest frame of the game video is added to the moving
また、上記の最新のシーンの抽出が行われた後、あるいは上記の最新のシーンの抽出と並列して、抽出部15Bは、試合映像を所定時間(例えば1秒)ごとの静止画像(以下、試合画像)に分割する。具体的には、抽出部15Bは、所定のフレームレートの試合映像について、例えば、1秒間隔でフレームの抽出を行う。次いで、抽出部15Bは、分割した試合画像ごとに、試合画像を視聴した観戦者の盛り上がり度を予測する予測モデルに当該分割した試合画像を入力することにより、予測モデルの出力として、観戦者が視聴した場合の盛り上がり度を得る。このような予測モデルには、一例として、試合画像に対する観戦者の盛り上がり度が正解として付与された教師データをもとに、ディープラーニングなどの機械学習により作成した学習モデルを用いることができる。 Further, after the latest scenes have been extracted, or in parallel with the extraction of the latest scenes, the extraction unit 15B displays the game video as a still image (hereinafter, 1 second) at predetermined time intervals (hereinafter, 1 second). Divide into match images). Specifically, the extraction unit 15B extracts frames of a game video having a predetermined frame rate, for example, at 1-second intervals. Next, the extraction unit 15B inputs the divided match image into the prediction model that predicts the degree of excitement of the spectator who viewed the match image for each divided match image, so that the spectator can output the prediction model as an output. Get the excitement when watching. As an example of such a prediction model, a learning model created by machine learning such as deep learning can be used based on the teacher data in which the degree of excitement of the spectator with respect to the game image is given as the correct answer.
その上で、抽出部15Bは、上記の最新のシーンの中から、図示しない設定情報で1ハイライトあたりの秒数として設定された時間長の区間を切り取る。例えば、1つのハイライトあたりの時間長が10秒と指定されている場合、抽出部15Bは、最新のシーンに含まれる試合画像のうち、盛り上がり度がピークとなる時刻を中心に前後5秒の区間をハイライトシーン候補として切り取る。続いて、抽出部15Bは、当該ハイライトシーン候補の盛り上がり度を計算(予測)する。例えば、抽出部15Bは、ハイライトシーン候補に含まれる試合画像の盛り上がり度の統計値、例えば平均値や中央値、最頻値、最大値などを求める。最後に、抽出部15Bは、ハイライト候補の盛り上がり度の統計値が所定の閾値以上である場合、当該ハイライトシーン候補をハイライトシーンとして抽出する。 Then, the extraction unit 15B cuts out a section having a time length set as the number of seconds per highlight by setting information (not shown) from the latest scene. For example, when the time length per highlight is specified as 10 seconds, the extraction unit 15B is 5 seconds before and after the time when the degree of excitement peaks in the game image included in the latest scene. Cut out the section as a highlight scene candidate. Subsequently, the extraction unit 15B calculates (predicts) the degree of excitement of the highlight scene candidate. For example, the extraction unit 15B obtains statistical values of the degree of excitement of the match images included in the highlight scene candidates, such as an average value, a median value, a mode value, and a maximum value. Finally, when the statistical value of the degree of excitement of the highlight candidate is equal to or higher than a predetermined threshold value, the extraction unit 15B extracts the highlight scene candidate as a highlight scene.
このようなハイライトシーンの抽出が繰り返して実行されることにより、eスポーツの会場にマイクロフォン等のセンサを設置して観戦者の音声がセンシングされずとも、コンピュータゲームの観戦者が盛り上がるハイライトシーンの抽出を実現できる。 By repeatedly extracting such highlight scenes, even if sensors such as microphones are installed at the venue of e-sports and the spectator's voice is not sensed, the highlight scenes that the spectators of the computer game get excited about. Can be extracted.
なお、ここでは、あくまで一例として、上記の予測モデルを用いるハイライトシーンの抽出を例示したが、これ以外にも、特許文献1をはじめとする既知のハイライトシーンの抽出方法を用いることができるのは言うまでもない。 In addition, although the extraction of the highlight scene using the above prediction model is illustrated here as an example, a known method for extracting the highlight scene such as Patent Document 1 can be used. Needless to say.
判定部15Cは、ハイライトシーンが複数のチームのうちいずれのチームに対するハイライトシーンであるかを判定する処理部である。
The
一実施形態として、判定部15Cは、抽出部15Bにより新たなハイライトシーンが抽出された場合、当該ハイライトシーンでアクションを起こすプレイヤが属するチームを特定することで、いずれのチームに対するハイライトシーンであるかを判定する。
As one embodiment, when a new highlight scene is extracted by the extraction unit 15B, the
例えば、ハイライトシーンに対応する区間の試合映像がプレイヤ視点のゲーム動画である場合、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンが当該プレイヤ視点のプレイヤが属するチームに対するハイライトであると判定する。
For example, when the game video of the section corresponding to the highlight scene is a game video from the player's viewpoint, the
一方、ハイライトシーンに対応する区間の試合映像が俯瞰視点のゲーム動画である場合、判定部15Cは、当該ハイライトシーンに対応する区間の俯瞰視点のゲーム動画の各フレームから各フレームに含まれる文字列を文字認識等の画像処理によって読み取る。そして、判定部15Cは、各フレームから読み取られた文字列にプレイヤ名を含む特定のフレーズが含まれるか否かを判定する。このような特定のフレーズの一例として、eスポーツの戦況、例えばキルやスコアに関連するフレーズ、例えば「○○が倒した」などが挙げられる。このとき、特定のフレーズが含まれる場合、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンが、特定のフレーズに含まれるプレイヤが属するチームに対するハイライトであると判定する。なお、プレイヤの特定には、必ずしも俯瞰視点のゲーム動画を用いずともかまわない。例えば、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンに対応する区間の各プレイヤ視点のゲーム動画から各ゲーム動画に含まれる文字列を文字認識等の画像処理によって読み取る。その上で、判定部15Cは、コンピュータゲームにおける特定のアクション、例えばキル(Kill)や連続キルなどに対応する文字列が読み取られたプレイヤ視点を特定する。そして、判定部15Cは、抽出部15Bにより抽出されたハイライトシーンが、特定のアクションに対応する文字列が読み取られたプレイヤ視点のプレイヤが属するチームに対するハイライトであると判定する。
On the other hand, when the game video of the section corresponding to the highlight scene is the game video of the bird's-eye view, the
このように、判定部15Cは、上記の文字認識等の画像処理によってハイライトシーンが対応するチーム名やプレイヤ名を判定する他、上記の文字認識等の画像処理によってハイライトシーンが対応するアクションやその連続回数等の各種の項目をさらに判定する。
In this way, the
これらの項目の判定結果に基づいて、判定部15Cは、当該ハイライトシーンに付与するタグを生成する。図3は、ハイライトシーンに付与するタグの一例を示す図である。図3に示すように、最新のシーンに含まれる試合画像のうち盛り上がり度がピークとなる時刻を中心に前後5秒の区間が抽出部15Bによりハイライトシーン候補として切り取られる。このハイライトシーン候補における試合画像の盛り上がり度の統計値が所定の閾値以上である場合、抽出部15Bによりハイライトシーン候補がハイライトシーンとして抽出される。このようにハイライトシーンが抽出された場合、判定部15Cは、通し番号、時間、チーム名、プレイヤ画面、プレイヤ名、アクション、連続回数および盛り上がり度などの判定結果を含むタグを生成する。
Based on the determination results of these items, the
ここで言う「通し番号」とは、ゲームの試合開始時点からハイライトシーンが抽出された順にハイライトシーンに付与される番号を指す。また、「時間」とは、ハイライトシーンで盛り上がり度がピークとなる中心時刻、ハイライトシーンの開始時刻、あるいはハイライトシーンの終了時刻の少なくともいずれか1つを指す。また、「チーム名」とは、ハイライトシーンに対応するチーム、言い換えれば見せ場に対応するチームを指す。また、「プレイヤ名」とは、ハイライトシーンに対応するプレイヤ、言い換えれば見せ場に対応するプレイヤを指す。また、「プレイヤ画面」とは、ハイライトシーンに対応する区間におけるプレイヤ視点のゲーム動画を指す。また、「アクション」とは、ハイライトシーンで検出されたアクションを指す。また、「連続回数」とは、ハイライトシーンでアクションが連続する回数を指す。また、「盛り上がり度」とは、ハイライトシーンに対応する盛り上がり度を指し、例えば、ハイライトシーンに含まれる試合画像の盛り上がり度の統計値を指す。 The "serial number" referred to here refers to a number assigned to the highlight scenes in the order in which the highlight scenes are extracted from the start of the game. Further, the “time” refers to at least one of the center time at which the degree of excitement peaks in the highlight scene, the start time of the highlight scene, and the end time of the highlight scene. The "team name" refers to the team corresponding to the highlight scene, in other words, the team corresponding to the showcase. Further, the "player name" refers to a player corresponding to a highlight scene, in other words, a player corresponding to a showcase. Further, the "player screen" refers to a game video from the player's viewpoint in the section corresponding to the highlight scene. Further, the "action" refers to an action detected in the highlight scene. Further, the "continuous number of times" refers to the number of times the action is continuous in the highlight scene. Further, the “excitement degree” refers to the excitement degree corresponding to the highlight scene, for example, the statistical value of the excitement degree of the match image included in the highlight scene.
その後、判定部15Cは、ハイライトシーンの動画データに上記のタグをはじめとする各種の情報が対応付けられた新規のレコードを記憶部13のハイライトシーン情報13bに追加登録する。
After that, the
図4は、ハイライトシーン情報13bの一例を示す図である。図4に示すように、ハイライトシーン情報13bには、ハイライトシーンの動画データ、例えばバイナリ形式の動画ファイルや上記のタグの他、動画ID、シルエット形状、ダウンロード数およびコメント等の情報が対応付けられた新規のレコードが追加登録される。
FIG. 4 is a diagram showing an example of
ここで言う「動画ID(IDentification)」とは、記憶部13に保存されるハイライトシーンを識別する側面からハイライトシーンに付与される識別情報の一例を指す。また、「シルエット形状」とは、ハイライトシーンの動画がチームスクリーン251にクリップされる際の外形形状を指す。例えば、同一のゲームから抽出されるクリップには、各ハイライトシーンに対応するクリップの個体を識別する側面から各ハイライトシーンの間で固有のシルエット形状が設定される。このようにクリップに設定されるシルエット形状は、任意の輪郭を有する図形であってかまわないが、各ハイライトシーンの間の類似度が低いシルエット形状が設定されるほどクリップの個体を識別する精度を高めることができる。
The "moving image ID (IDentification)" referred to here refers to an example of identification information given to the highlight scene from the aspect of identifying the highlight scene stored in the
また、「ダウンロード数」とは、ハイライトシーンがダウンロードされた回数を指す。また、「コメント」とは、ハイライトシーンの動画に投稿されたコメントを指す。これら「ダウンロード数」及び「コメント」は、ハイライトシーンに対応する新規のレコードがハイライトシーン情報13bに追加登録された段階では、初期値あるいはNULL値が格納されたり、ブランクとされたりする。その後、ハイライトシーンがダウンロードされた場合、当該ハイライトシーンのダウンロード数がインクリメントされる。また、ハイライトシーンにコメントが投稿された場合、当該投稿されたコメントが追記される。
The "number of downloads" refers to the number of times the highlight scene has been downloaded. The "comment" refers to a comment posted on a video of a highlight scene. When a new record corresponding to the highlight scene is additionally registered in the
表示制御部15Dは、各種の表示制御を行う処理部である。
The
一実施形態として、表示制御部15Dは、抽出部15Bによりハイライトシーンが抽出された場合、次のような処理を実行する。すなわち、表示制御部15Dは、抽出部15Bにより抽出されたハイライトシーンに付与されたタグのうち「チーム名」に対応するチームスクリーン251をクリップの表示先として設定する。さらに、表示制御部15Dは、抽出部15Bにより抽出されたハイライトシーンに付与されたタグのうち「盛り上がり度」に基づいて当該クリップの表示サイズを設定する。さらに、表示制御部15Dは、抽出部15Bにより抽出されたハイライトシーンに付与されたタグのうち「シルエット形状」に対応する形状を当該クリップの表示形状として設定する。
As one embodiment, when the highlight scene is extracted by the extraction unit 15B, the
図5Aは、クリップの表示サイズの決定方法の一例を示す図である。図5に示すように、表示制御部15Dは、ハイライトシーンに付与されたタグ「盛り上がり度」が低くなるにつれて小さい表示サイズを当該クリップの表示サイズとして設定する。その一方で、表示制御部15Dは、ハイライトシーンに付与されたタグ「盛り上がり度」が高くなるにつれて大きい表示サイズを当該クリップの表示サイズとして設定する。なお、図5には、ハイライトシーンに付与されたタグ「盛り上がり度」に基づいてクリップの表示サイズが設定される例を挙げたが、これに限定されない。例えば、表示制御部15Dは、盛り上がり度の代わりにダウンロード数に基づいてクリップの表示サイズを設定することとしてもよいし、盛り上がり度及びダウンロード数の両方に基づいてクリップの表示サイズを設定することとしてもかまわない。
FIG. 5A is a diagram showing an example of a method for determining a display size of a clip. As shown in FIG. 5, the
その後、表示制御部15Dは、クリップの表示先のチームスクリーン251上の初期位置、例えばメインスクリーン250寄りの位置に上記の表示サイズかつ上記の表示形状でクリップを配置する指示を表示装置25へ行う。このように表示先のチームスクリーン251に配置されたクリップは、ハイライトシーンの動画の再生をループする表示に加えて他の表示を行うこともできる。
After that, the
図5Bは、クリップのフォーマットの一例を示す図である。図5Bには、ハイライトシーン情報13bのうち図4に示すレコードに対応するクリップが表示される例が示されている。図5Bに示すように、クリップには、ハイライトシーンの動画を再生する表示領域、すなわち図中の斜線の網掛け部分が含まれ得る他、アクションに関する表示領域が含まれる。例えば、図5Bに示す例で言えば、当該ハイライトシーンで発生したアクション「キル」の連続回数「2」が表示されると共に、当該アクションを起こしたプレイヤ名「XXXXX」が表示されている。このようなアクションに関する表示によって、当該ハイライトシーンで試合の戦況が動く程度を観戦者に把握させることができる。この他、クリップには、当該ハイライトシーンの動画がダウンロードされた回数「57」が表示される領域も含まれる。このようなダウンロード数の表示によって、当該ハイライトシーンの人気を観戦者に把握させることができる。
FIG. 5B is a diagram showing an example of a clip format. FIG. 5B shows an example in which the clip corresponding to the record shown in FIG. 4 of the
このようにクリップを配置する処理と並列して、表示制御部15Dは、各チームスクリーン251に配置済みであるクリップの位置及び表示内容を更新する処理を行う。
In parallel with the process of arranging the clips in this way, the
1つの側面として、表示制御部15Dは、所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過する度に、次のような処理を実行する。すなわち、表示制御部15Dは、各チームスクリーン251に配置済みであるクリップに表示されたダウンロード数をハイライトシーン情報13bのうち当該クリップの動画IDに対応するダウンロード数に同期させる。これによって、ダウンロード数の表示を最新のものに更新する。さらに、表示制御部15Dは、各チームスクリーン251に配置済みである各クリップの位置をメインスクリーン250と反対側にシフトさせる。これによって、ハイライトシーンが抽出されたタイミングが早いクリップほどメインスクリーン250の反対側寄りに表示される共に、ハイライトシーンが抽出されたタイミングが遅いクリップほどメインスクリーン250寄りに表示される。
As one aspect, the
図6は、配置済みクリップのシフト方法の一例を示す図である。図6には、説明の便宜上、チームスクリーン251A及びチームスクリーン251Bのうちチームスクリーン251Bの表示が抜粋して示されている。さらに、図6には、チームスクリーン251Bのメインスクリーン250最寄りの左端の位置に配置される試合タイトル「決勝」およびチーム名「Bチーム」の右側がクリップの初期位置とされる例を挙げる。なお、t0、t1、t2及びt3は、t0<t1<t2<t3であることとする。
FIG. 6 is a diagram showing an example of a method of shifting the arranged clip. For convenience of explanation, FIG. 6 shows an excerpt of the display of the
図6に示すように、時刻t0の段階では、クリップが抽出されていない。続いて、時刻t1になると、クリップCB11がチームスクリーン251Bの初期位置に配置される。その後、時刻t2になってクリップCB12がチームスクリーン251Bの初期位置に配置されるまでクリップCB11を一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。そして、時刻t3になってクリップCB13がチームスクリーン251Bの初期位置に配置されるまでクリップCB11及びクリップCB12を一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。
As shown in FIG. 6, the clip is not extracted at the stage of time t0. Subsequently, at time t1, the clip CB 11 is arranged at the initial position of the
なお、図6には、説明の便宜上、チームスクリーン251A及び251Bのうちチームスクリーン251Bの表示が抜粋して示されているが、チームスクリーン251Aにおいてもクリップの初期位置やシフト方向が左右反転する他に変わりはない。
Note that, for convenience of explanation, FIG. 6 shows an excerpt of the display of the
更なる側面として、表示制御部15Dは、対戦が終了した試合に関するクリップのうち当該試合の以後の試合でダウンロード数が所定の条件を満たすクリップに表示を絞り込む。あくまで一例として、表示制御部15Dは、以後の試合で所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過する度に、次のような処理を実行する。すなわち、表示制御部15Dは、チームスクリーン251に配置済みであり、かつ対戦終了済みの試合に関するクリップのうちダウンロード数が全クリップのダウンロード数の統計値、例えば平均値や中央値、あるいは最頻値未満であるクリップを除去する。その上で、表示制御部15Dは、チームスクリーン251に配置済みであり、かつ対戦終了済みの試合に関するクリップの位置をメインスクリーン250と反対側にシフトさせる。なお、チームスクリーン251においてメインスクリーン250と反対側の末端まで移動したクリップはその表示位置が固定される。
As a further aspect, the
図7は、対戦終了済みの試合に関するクリップの絞り込み方法の一例を示す図である。図7には、説明の便宜上、チームスクリーン251A及びチームスクリーン251Bのうちチームスクリーン251Bの表示が抜粋して示されている。さらに、図7には、チームスクリーン251Bのメインスクリーン250最寄りの左端の位置に配置される試合タイトル「1回戦」およびチーム名「Bチーム」の右側がクリップの初期位置とされる例を挙げる。なお、t1、t2及びt3は、t1<t2<t3であることとする。
FIG. 7 is a diagram showing an example of a method of narrowing down clips related to a match that has been completed. For convenience of explanation, FIG. 7 shows an excerpt of the display of the
図7に示すように、Bチームの試合が終了した時刻t1の段階では、7つのクリップCB21〜CB27がチームスクリーン251Bに配置されている。その後、次の試合が開始される時刻t2になるまで7つのクリップCB21〜CB27を一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。そして、次の試合が開始される時刻t2になった段階では、クリップCB24及びクリップCB27の2つのクリップのダウンロード数が各チームスクリーン251に表示中である全クリップの統計値未満となって除去される。この結果、チームスクリーン251BにおけるBチームの表示がクリップCB21、クリップCB22、クリップCB23、クリップCB25及びクリップCB26の5つのクリップまで絞り込まれる。その後、次々の試合が開始される時刻t3になるまでクリップCB21、クリップCB22、クリップCB23、クリップCB25及びクリップCB26の5つのクリップを一定のシフト量ずつチームスクリーン251Bの右側へシフトする処理が継続される。そして、次々の試合が開始される時刻t3になった段階では、クリップCB21、クリップCB22及びクリップCB25の3つのクリップのダウンロード数が各チームスクリーン251に表示中である全クリップの統計値未満となってさらに除去される。この結果、チームスクリーン251BにおけるBチームの表示がクリップCB23及びクリップCB26の2つのクリップまで絞り込まれる。
As shown in FIG. 7, seven clips CB21 to CB27 are arranged on the
なお、図7には、説明の便宜上、チームスクリーン251A及び251Bのうちチームスクリーン251Bの表示が抜粋して示されているが、チームスクリーン251Aにおいてもクリップの初期位置やシフト方向が左右反転する他に変わりはない。
Note that, for convenience of explanation, FIG. 7 shows an excerpt of the display of the
なお、図6や図7では、全てのクリップを一定のシフト量ずつシフトさせる例を挙げたが、クリップによって異なるシフト量を用いてもかまわない。例えば、クリップが配置されている位置やクリップの表示サイズによってクリップのシフト量を変更することができる。例えば、クリップが配置されている位置がメインスクリーン250に近いほど小さいシフト量でクリップをシフトさせたり、あるいはクリップの表示サイズが大きいほど小さいシフト量でクリップをシフトさせたりすることができる。
Note that, in FIGS. 6 and 7, examples of shifting all clips by a fixed shift amount are given, but different shift amounts may be used depending on the clips. For example, the shift amount of the clip can be changed according to the position where the clip is arranged and the display size of the clip. For example, the closer the position where the clip is arranged to the
決定部15Eは、チームスクリーン251に表示中のクリップのうちいずれのクリップに対応するハイライトシーンの動画をダウンロードさせるのかを決定する処理部である。 The determination unit 15E is a processing unit that determines which of the clips displayed on the team screen 251 is to be downloaded as the video of the highlight scene.
一実施形態として、決定部15Eは、ハイライトシーンの動画をダウンロードするリクエストを受け付ける。以下、ハイライトシーンの動画をダウンロードするリクエストのことを「DL(DownLoad)リクエスト」を記載する場合がある。あくまで一例として、DLリクエストは、eスポーツ観戦用のアプリケーションプログラムがインストールされたユーザ端末50を介して受け付けることができる。以下、eスポーツ観戦用のアプリケーションプログラムのことを「eスポーツ観戦用アプリ」と記載する場合がある。例えば、eスポーツ観戦用アプリがユーザ端末50で起動された状態でDLリクエストを実行するGUI操作が行われると、eスポーツ観戦用アプリは、ユーザ端末50に搭載されたカメラを起動する。その後、カメラの撮影操作が行われた場合、eスポーツ観戦用アプリは、当該撮影操作を通じてカメラにより撮像されたクリップ画像と共にハイライトシーンのDLリクエストを表示制御装置10に行う。
In one embodiment, the determination unit 15E receives a request to download a moving image of the highlight scene. Hereinafter, a request for downloading a video of a highlight scene may be described as a "DL (DownLoad) request". As an example, the DL request can be accepted via the
このようにしてハイライトシーンのDLリクエストを受け付けた場合、決定部15Eは、DLリクエストと共に受け付けたクリップ画像からクリップのシルエット形状を抽出する。その上で、決定部15Eは、ハイライトシーン情報13bに含まれるシルエット形状と、クリップ画像から抽出されたシルエット形状とをテンプレートマッチングなどの画像処理によって照合する。この結果、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bでヒットした場合、決定部15Eは、ハイライトシーン情報13bに含まれるハイライトシーンのうち、照合にヒットしたシルエット形状を持つハイライトシーンをユーザ端末50によるダウンロード対象として決定する。
When the DL request for the highlight scene is received in this way, the determination unit 15E extracts the silhouette shape of the clip from the clip image received together with the DL request. Then, the determination unit 15E collates the silhouette shape included in the
配信部15Fは、ハイライトシーンの動画を配信する処理部である。
The
一実施形態として、配信部15Fは、決定部15Eによりユーザ端末50によるダウンロード対象として決定されたハイライトシーンの動画をユーザ端末50に配信する。この結果、ユーザ端末50によりハイライトシーンの動画がダウンロードされる。これによって、チームスクリーン251を見て気に入ったハイライトシーンのコレクション機能を観戦者に提供することができる。このようなハイライトシーンのコレクション機能を提供することで、eスポーツの会場に来場するインセンティブを高めることが可能になる。
As one embodiment, the
図8は、ハイライトシーンの配信方法の一例を示す図である。図8には、チームスクリーン251BのクリップCB31で再生されるハイライトシーンをダウンロードする例が示されている。図8に示すように、ユーザ端末50のカメラを用いてチームスクリーン251Bに表示されたクリップCB31が撮影された場合、カメラにより撮像されたクリップ画像51と共にハイライトシーンのDLリクエストがユーザ端末50から表示制御装置10へ行われる(ステップS1)。このようにハイライトシーンのDLリクエストを受け付けると、クリップ画像51から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bから検索される。図8に示す例で言えば、クリップ画像51から抽出されたシルエット形状は、動画ID「YYYYYYY」のシルエット形状とヒットする。この場合、動画ID「YYYYYYY」を持つハイライトシーンがユーザ端末50によるダウンロード対象として決定される(ステップS2)。その後、ユーザ端末50によるダウンロード対象として決定されたハイライトシーンの動画がユーザ端末50に配信される(ステップS3)。この結果、ユーザ端末50によりハイライトシーンの動画がダウンロードされる。このようにハイライトシーンの動画がダウンロードされた場合、ハイライトシーン情報13bのレコードのうち、動画ID「YYYYYYY」のダウンロード数は、「76DL」から「77DL」へインクリメントされる。
FIG. 8 is a diagram showing an example of a highlight scene distribution method. FIG. 8 shows an example of downloading the highlight scene reproduced by the clip CB31 of the
[クリップの配置処理]
図9は、実施例1に係るクリップの配置処理の手順を示すフローチャートである。この処理のステップS101は、一例として、コンピュータゲームの試合開始の前に実行される。図9に示すように、コンピュータゲームの対戦チームごとにチームスクリーン251が割り当てられた後(ステップS101)、コンピュータゲームの試合開始を待機する(ステップS102)。
[Clip placement process]
FIG. 9 is a flowchart showing a procedure of clip placement processing according to the first embodiment. As an example, step S101 of this process is executed before the start of the game of the computer game. As shown in FIG. 9, after the team screen 251 is assigned to each of the opponent teams of the computer game (step S101), the game of the computer game is waited for the start (step S102).
コンピュータゲームの試合開始後、収集部15Aは、スイッチャ23から試合映像や各プレイヤ視点のゲーム動画などを収集する(ステップS103)。続いて、抽出部15Bは、対戦ゲームの試合映像から観衆の音量を予測するように学習した予測モデルを用いて、試合映像のシーン毎に求めた盛り上がり度をもとにハイライトシーンの動画を抽出する(ステップS104)。
After the start of the game of the computer game, the collecting
そして、ステップS104で新たなハイライトシーンが抽出された場合(ステップS105Yes)、判定部15Cは、当該ハイライトシーンでアクションを起こすプレイヤが属するチームを特定することで、ステップS104で抽出されたハイライトシーンがいずれのチームに対するハイライトシーンであるかを判定する(ステップS106)。
Then, when a new highlight scene is extracted in step S104 (step S105Yes), the
続いて、判定部15Cは、ステップS106で判定されたハイライトシーンが対応するチーム名やプレイヤ名の他、ハイライトシーンが対応するアクションやその連続回数等の各種の項目を含むタグを生成する(ステップS107)。
Subsequently, the
その後、表示制御部15Dは、ステップS104で抽出されたハイライトシーンに付与されたタグのうち「チーム名」に対応するチームスクリーン251をクリップの表示先として設定する(ステップS108)。
After that, the
さらに、表示制御部15Dは、ステップS104で抽出されたハイライトシーンに付与されたタグのうち「盛り上がり度」に基づいて当該クリップの表示サイズを設定する(ステップS109)。
Further, the
さらに、表示制御部15Dは、ステップS104で抽出されたハイライトシーンに付与されたタグのうち「シルエット形状」に対応する形状を当該クリップの表示形状として設定する(ステップS110)。
Further, the
その上で、表示制御部15Dは、ステップS108で設定されたクリップの表示先のチームスクリーン251上の初期位置、例えばメインスクリーン250寄りの位置にステップS109で設定された表示サイズかつステップS110で設定された表示形状でクリップを配置する指示を表示装置25へ行う(ステップS111)。
Then, the
その後、コンピュータゲームの試合が終了するまで(ステップS112No)、上記のステップS103から上記のステップS111までの処理が繰り返し実行される。そして、コンピュータゲームの試合が終了した場合(ステップS112Yes)、処理が終了する。 After that, the processes from step S103 to step S111 are repeatedly executed until the game of the computer game is completed (step S112No). Then, when the game of the computer game is completed (step S112Yes), the process is completed.
[クリップの更新処理]
図10は、実施例1に係るクリップの更新処理の手順を示すフローチャートである。この処理は、図9に示す処理とは並列して実行することができる。図10に示すように、所定の周期、例えば試合映像のフレームレートに対応する周期、あるいは一定周期が経過した場合(ステップS301Yes)、次のような処理を実行する。
[Clip update process]
FIG. 10 is a flowchart showing the procedure of the clip update process according to the first embodiment. This process can be executed in parallel with the process shown in FIG. As shown in FIG. 10, when a predetermined cycle, for example, a cycle corresponding to the frame rate of the game video, or a fixed cycle has elapsed (step S301Yes), the following processing is executed.
すなわち、表示制御部15Dは、各チームスクリーン251に配置済みであるクリップに表示されたダウンロード数をハイライトシーン情報13bのうち当該クリップの動画IDに対応するダウンロード数に同期させる(ステップS302)。これによって、ダウンロード数の表示を最新のものに更新する。
That is, the
さらに、表示制御部15Dは、各チームスクリーン251に配置済みである各クリップの位置をメインスクリーン250と反対側にシフトさせる(ステップS303)。これによって、ハイライトシーンが抽出されたタイミングが早いクリップほどメインスクリーン250の反対側寄りに表示される共に、ハイライトシーンが抽出されたタイミングが遅いクリップほどメインスクリーン250寄りに表示される。
Further, the
その後、コンピュータゲームの試合が終了するまで(ステップS304No)、上記のステップS301から上記のステップS303までの処理が繰り返し実行される。そして、コンピュータゲームの試合が終了した場合(ステップS304Yes)、処理が終了する。 After that, the processes from step S301 to step S303 are repeatedly executed until the game of the computer game is completed (step S304No). Then, when the game of the computer game is completed (step S304Yes), the process is completed.
[クリップの配信処理]
図11は、実施例1に係るクリップの配信処理の手順を示すフローチャートである。この処理は、一例として、図9や図10に示す処理とは並列して実行することができる。図11に示すように、ハイライトシーンのDLリクエストを受け付けた場合(ステップS501Yes)、決定部15Eは、DLリクエストと共に受け付けたクリップ画像からクリップのシルエット形状を抽出する(ステップS502)。
[Clip delivery process]
FIG. 11 is a flowchart showing a procedure of clip distribution processing according to the first embodiment. As an example, this process can be executed in parallel with the processes shown in FIGS. 9 and 10. As shown in FIG. 11, when the DL request for the highlight scene is received (step S501Yes), the determination unit 15E extracts the silhouette shape of the clip from the clip image received together with the DL request (step S502).
その上で、決定部15Eは、クリップ画像から抽出されたシルエット形状と一致するシルエット形状をハイライトシーン情報13bからテンプレートマッチングなどの画像処理によって検索する(ステップS503)。
Then, the determination unit 15E searches the
この結果、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bでヒットした場合(ステップS504Yes)、決定部15Eは、次のような処理を実行する。すなわち、決定部15Eは、ハイライトシーン情報13bに含まれるハイライトシーンのうち、照合にヒットしたシルエット形状を持つハイライトシーンをユーザ端末50によるダウンロード対象として決定する(ステップS505)。
As a result, when the silhouette shape matching the silhouette shape extracted from the clip image is hit by the
そして、配信部15Fは、決定部15Eによりユーザ端末50によるダウンロード対象として決定されたハイライトシーンの動画をユーザ端末50に配信する(ステップS506)。この結果、ユーザ端末50によりハイライトシーンの動画がダウンロードされる。その後、ハイライトシーン情報13bのレコードのうち、ダウンロードが行われたハイライトシーンのダウンロード数をインクリメントし(ステップS507)、処理を終了する。
Then, the
一方、クリップ画像から抽出されたシルエット形状と一致するシルエット形状がハイライトシーン情報13bでヒットしない場合(ステップS504No)、決定部15Eは、次のような処理を実行する。すなわち、決定部15Eは、ハイライトシーンの動画のダウンロードに失敗した旨をユーザ端末50へ応答し(ステップS508)、処理を終了する。
On the other hand, when the silhouette shape matching the silhouette shape extracted from the clip image does not hit in the
[効果の一側面]
上述してきたように、本実施例に係る表示制御装置10は、eスポーツの対戦チームそれぞれに対応する表示領域のうち、eスポーツの試合映像からハイライトシーンが抽出されたチームの表示領域に当該ハイライトシーンを表示する表示制御を実現する。このような表示制御によって、観戦者が応援するチームの見どころが表示されているのか、あるいは対戦中のチームの見どころが表示されているのかを識別させることができる。したがって、本実施例に係る表示制御装置10によれば、観戦者にとって、対戦中の複数チームそれぞれのハイライトシーンを把握し易くすることが可能である。
[One aspect of the effect]
As described above, the
さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。 Although examples of the disclosed device have been described above, the present invention may be implemented in various different forms other than the above-described examples. Therefore, other examples included in the present invention will be described below.
[スクリーンレイアウトの応用例1]
上記の実施例1では、対戦チームが2チームである場合のスクリーンのレイアウトを例示したが、上記の表示制御機能の適用範囲は対戦チームが2チームである場合に限定されず、対戦チームが3チーム以上である場合にも上記の表示制御機能を適用可能である。
[Application example 1 of screen layout]
In Example 1 above, the layout of the screen when there are two opponent teams is illustrated, but the scope of application of the above display control function is not limited to the case where there are two opponent teams, and there are three opponent teams. The above display control function can be applied even when there are teams or more.
図12は、スクリーンのレイアウトの他の一例を示す図である。図12には、各チーム4人制のAチーム、Bチーム、Cチーム及びDチームの計4チームでeスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図12に示すように、メインスクリーン250を正面から見て、左方向から順に、チームスクリーン251A、チームスクリーン251B、メインスクリーン250、チームスクリーン251C、チームスクリーン251Dの順に配置される。
FIG. 12 is a diagram showing another example of the screen layout. FIG. 12 shows the layout of the screen when an e-sports match is played by a total of four teams, A team, B team, C team, and D team, each of which has four players. As shown in FIG. 12, when the
このうち、チームスクリーン251AがAチームに割り当てられると共に、チームスクリーン251BがBチームに割り当てられる。さらに、チームスクリーン251CがCチームに割り当てられると共に、チームスクリーン251DがDチームに割り当てられる。
Of these,
これらチームスクリーン251A、チームスクリーン251B、チームスクリーン251C及びチームスクリーン251Dでは、複数のクリップが時系列に並べて配置される。図12に示すスクリーンのレイアウトでも、図2に示されたスクリーンのレイアウトの場合と同様に、クリップが抽出されたタイミングが早いほどメインスクリーン250から遠い位置にクリップが表示されると共に、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン250寄りに並べてクリップが表示される。
In these team screens 251A, team screens 251B, team screens 251C, and team screens 251D, a plurality of clips are arranged side by side in chronological order. In the screen layout shown in FIG. 12, as in the case of the screen layout shown in FIG. 2, the earlier the clip is extracted, the farther the clip is displayed from the
[スクリーンレイアウトの応用例2]
上記の実施例1では、チームスクリーン251A及びチームスクリーン251Bをメインスクリーン250の左右に並べて配置する例を挙げたが、必ずしもチームスクリーン251はメインスクリーン250の左右に並べて配置せずともよく、また、必ずしもチームスクリーン251の形状は矩形等の特定の図形に限定されない。
[Screen layout application example 2]
In the first embodiment described above, the
図13は、スクリーンのレイアウトの他の一例を示す図である。図13にも、各チーム4人制のAチーム、Bチーム、Cチーム及びDチームの計4チームでeスポーツの対戦が行われる場合のスクリーンのレイアウトが示されている。図13に示すように、メインスクリーン250の周囲に矩形以外の形状で、チームスクリーン251A、チームスクリーン251B、チームスクリーン251C及びチームスクリーン251Dを放射状に並べて配置することもできる。例えば、メインスクリーン250を正面から見て、9時方向から時計回りの順に、チームスクリーン251A、チームスクリーン251B、チームスクリーン251C、チームスクリーン251Dの順に配置される。
FIG. 13 is a diagram showing another example of the screen layout. FIG. 13 also shows the layout of the screen when an e-sports match is played by a total of four teams, A team, B team, C team, and D team, each of which has four players. As shown in FIG. 13, team screens 251A, team screens 251B, team screens 251C, and
これらチームスクリーン251A、チームスクリーン251B、チームスクリーン251C及びチームスクリーン251Dにおいても、複数のクリップが時系列に並べて配置される。図13に示すスクリーンのレイアウトでも、図2に示されたスクリーンのレイアウトの場合と同様に、クリップが抽出されたタイミングが早いほどメインスクリーン250から遠い位置にクリップが表示されると共に、クリップが抽出されたタイミングが現在時刻、例えばライブ試合映像の最新のフレームが再生中である時刻に近づくにつれてメインスクリーン250寄りに並べてクリップが表示される。
Also in these team screens 251A, team screens 251B, team screens 251C and team screens 251D, a plurality of clips are arranged side by side in chronological order. In the screen layout shown in FIG. 13, as in the case of the screen layout shown in FIG. 2, the earlier the clip is extracted, the farther the clip is displayed from the
[ハイライトの分類の応用例]
上記の実施例1では、試合別およびチーム別にハイライトシーンを分類してクリップを配置する例を挙げたが、必ずしもハイライトの分類はこれに限定されず、他の分類でクリップを配置することもできる。
[Application example of highlight classification]
In the above-mentioned Example 1, the highlight scenes are classified according to the game and the team and the clips are arranged, but the highlight classification is not necessarily limited to this, and the clips are arranged by other classifications. You can also.
図14A〜図14Cは、ハイライトの分類の応用例を示す図である。図14A〜図14Cには、説明の便宜上、チームスクリーン251A及びチームスクリーン251Bのうちチームスクリーン251Bの表示が抜粋して示されている。
14A-14C are diagrams showing application examples of highlight classification. For convenience of explanation, FIGS. 14A to 14C show excerpts of the display of the
例えば、過去試合別およびチーム別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図14Aに示すように、メインスクリーン250から近い順に、Bチームの今日の試合のクリップ、Bチームの昨日の試合のクリップを配置することができる。また、アクション別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図14Bに示すように、メインスクリーン250から近い順に、アクション「ダンク」に関するクリップ、アクション「クロスオーバー」に関するクリップを配置することができる。さらに、プレイヤ別にハイライトシーンを分類してクリップを配置することもできる。すなわち、図14Cに示すように、メインスクリーン250から近い順に、プレイヤCに関するクリップ、プレイヤDに関するクリップを配置することができる。
For example, it is possible to classify highlight scenes by past games and teams and arrange clips. That is, as shown in FIG. 14A, clips of today's game of team B and clips of yesterday's game of team B can be arranged in order from the
[リアルスポーツへの適用]
上記の実施例1では、上記の表示制御機能がeスポーツの観戦に適用される例を挙げたが、上記の表示制御機能の適用範囲はeスポーツの観戦に限定されず、eスポーツ以外のリアルスポーツの観戦にも上記の表示制御機能を適用することができる。
[Application to real sports]
In the first embodiment, the above display control function is applied to watching e-sports, but the scope of application of the above display control function is not limited to watching e-sports, and is real other than e-sports. The above display control function can also be applied to watching sports.
図15は、スクリーンのレイアウトの他の一例を示す図である。図15には、AチームおよびBチームのバスケットボールの対戦が行われる場合のスクリーンのレイアウトが示されている。例えば、バスケットボールの観戦が行われる場合、図15に示すように、1stクォータ、2ndクォータ、3rdクォータ及び4thクォータのクォータ別にハイライトシーンを分類してクリップを配置することもできる。 FIG. 15 is a diagram showing another example of the screen layout. FIG. 15 shows the layout of the screen when a basketball match between Team A and Team B is played. For example, when watching a basketball game, as shown in FIG. 15, it is possible to classify the highlight scenes according to the quarters of the 1st quarter, the 2nd quarter, the 3rd quarter, and the 4th quarter, and arrange the clips.
バスケットボールなどのリアルスポーツのハイライトシーンがいずれのチームに対するハイライトシーンであるか否かを判定する場合、判定部15Cは、モーショントラッキング技術を利用することができる。
When determining whether or not the highlight scene of a real sport such as basketball is the highlight scene for which team, the
図16は、モーショントラッキングにおけるカメラ配置の一例を示す図である。図16に示すように、バスケットボールのフィールドF上の実空間がバスケットボール観戦の自由視点映像として生成される。この場合、複数のカメラ41A〜41Nは、フィールドFの周囲からフィールドFの内部へ向けて配置される。このとき、複数のカメラ20の撮影範囲が組み合わさることによりフィールドFの全域が複数のカメラ41A〜41Nの撮影範囲に収まる配置で各カメラ20が設置される。さらに、2つ以上のカメラ41の間で共通する画像上の画素からフィールドF上に存在する被写体の3次元構造を解析するために、各カメラ41A〜41Nは、他のカメラ41との間で撮影範囲の一部が重複する状態で配置される。このような配置の下、複数のカメラ41A〜41Nがフレームごとに同期して撮影することにより、異なる視点ごとに同一のタイミングで撮影された複数の画像、すなわち多視点画像がフレーム単位で得られる。
FIG. 16 is a diagram showing an example of camera arrangement in motion tracking. As shown in FIG. 16, a real space on the basketball field F is generated as a free-viewpoint image of watching a basketball game. In this case, the plurality of
これらカメラ41A〜41Nから多視点画像を取得するトラッキング装置40は、複数のカメラ41が撮像する多視点画像から選手やボールなどの被写体の3次元情報を解析する。これによって、バスケットボール観戦の自由視点映像の生成が可能となる。その上で、トラッキング装置40は、上記の3次元情報からボール、選手や審判の動きが追跡されたトラッキング情報を表示制御装置10へ提供することができる。このようなトラッキング情報を用いて、判定部15Cは、ハイライトシーンが抽出された場合に、当該ハイライトシーンでゴールを決めるシュートを行った選手やシュートを行った選手にパスを行った選手などを特定することで、これらの選手が属するチームに対するハイライトシーンであることを判定することができる。このように、得点やスコア、ポイントなどに関連するプレイヤを特定する場合、あくまで一例として球技を例に挙げれば、得点やスコアが変動する直前やその1つ前にボール等に接触していたプレイヤからチームを判定することができる。また、スコアボード等から文字認識によって得点やスコアが変動した方のチームを識別することとしてもよい。
The tracking device 40 that acquires multi-viewpoint images from these
[分散および統合]
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されておらずともよい。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15Eまたは配信部15Fを表示制御装置10の外部装置としてネットワーク経由で接続するようにしてもよい。また、収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15Eまたは配信部15Fを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の表示制御装置10の機能を実現するようにしてもよい。
[Distributed and integrated]
Further, each component of each of the illustrated devices does not necessarily have to be physically configured as shown in the figure. That is, the specific form of distribution / integration of each device is not limited to the one shown in the figure, and all or part of the device is functionally or physically distributed / physically in arbitrary units according to various loads and usage conditions. It can be integrated and configured. For example, the
[表示制御プログラム]
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図17を用いて、上記の実施例と同様の機能を有する表示制御プログラムを実行するコンピュータの一例について説明する。
[Display control program]
Further, the various processes described in the above-described embodiment can be realized by executing a program prepared in advance on a computer such as a personal computer or a workstation. Therefore, in the following, an example of a computer that executes a display control program having the same function as that of the above embodiment will be described with reference to FIG.
図17は、コンピュータのハードウェア構成例を示す図である。図17に示すように、コンピュータ100は、操作部110aと、スピーカ110bと、カメラ110cと、ディスプレイ120と、通信部130とを有する。さらに、このコンピュータ100は、CPU150と、ROM160と、HDD170と、RAM180とを有する。これら110〜180の各部はバス140を介して接続される。
FIG. 17 is a diagram showing an example of a computer hardware configuration. As shown in FIG. 17, the
HDD170には、図17に示すように、上記の実施例1で示した収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15E及び配信部15Fと同様の機能を発揮する表示制御プログラム170aが記憶される。この表示制御プログラム170aは、図1に示した収集部15A、抽出部15B、判定部15C、表示制御部15D、決定部15E及び配信部15Fの各構成要素と同様、統合又は分離してもかまわない。すなわち、HDD170には、必ずしも上記の実施例1で示した全てのデータが格納されずともよく、処理に用いるデータがHDD170に格納されればよい。
As shown in FIG. 17, the
このような環境の下、CPU150は、HDD170から表示制御プログラム170aを読み出した上でRAM180へ展開する。この結果、表示制御プログラム170aは、図17に示すように、表示制御プロセス180aとして機能する。この表示制御プロセス180aは、RAM180が有する記憶領域のうち表示制御プロセス180aに割り当てられた領域にHDD170から読み出した各種データを展開し、この展開した各種データを用いて各種の処理を実行する。例えば、表示制御プロセス180aが実行する処理の一例として、図9〜図11に示す処理などが含まれる。なお、CPU150では、必ずしも上記の実施例1で示した全ての処理部が動作せずともよく、実行対象とする処理に対応する処理部が仮想的に実現されればよい。
Under such an environment, the
なお、上記の表示制御プログラム170aは、必ずしも最初からHDD170やROM160に記憶されておらずともかまわない。例えば、コンピュータ100に挿入されるフレキシブルディスク、いわゆるFD、CD−ROM、DVDディスク、光磁気ディスク、ICカードなどの「可搬用の物理媒体」に表示制御プログラム170aを記憶させる。そして、コンピュータ100がこれらの可搬用の物理媒体から表示制御プログラム170aを取得して実行するようにしてもよい。また、公衆回線、インターネット、LAN、WANなどを介してコンピュータ100に接続される他のコンピュータまたはサーバ装置などに表示制御プログラム170aを記憶させておき、コンピュータ100がこれらから表示制御プログラム170aを取得して実行するようにしてもよい。
The
以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。 The following additional notes will be further disclosed with respect to the embodiments including the above embodiments.
(付記1)複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出する抽出部と、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定する判定部と、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する表示制御部と、
を有することを特徴とする表示制御装置。
(Appendix 1) An extraction unit that extracts highlight scenes based on the analysis results of battle images by multiple teams,
A determination unit for determining which of the plurality of teams the highlight scene is the highlight scene for.
A display control unit that displays the highlight scene in a display area assigned to each of the plurality of teams that does not overlap with each other and that corresponds to the team determined by the determination unit.
A display control device characterized by having.
(付記2)前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定部により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記1に記載の表示制御装置。 (Appendix 2) A feature is that a plurality of highlight scenes of a team determined by the determination unit, including the highlight scene, are displayed in chronological order in a display area corresponding to the team determined by the determination unit. The display control device according to Appendix 1.
(付記3)前記判定部は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記1に記載の表示制御装置。 (Appendix 3) The determination unit is characterized in determining which of the plurality of teams the highlight scene is the highlight scene based on the character information of the player read from the video. The display control device according to Appendix 1.
(付記4)前記判定部は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記1に記載の表示制御装置。 (Supplementary Note 4) The determination unit determines, based on the tracking information of the video, which team among the plurality of teams the highlight scene is the highlight scene. The display control device described in.
(付記5)前記表示制御部は、前記ハイライトシーンを含む、前記判定部により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する決定部と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する配信部と、をさらに有することを特徴とする付記1に記載の表示制御装置。
(Appendix 5) The display control unit displays a plurality of highlight scenes of a team determined by the determination unit, including the highlight scene, in a plurality of small areas having different shapes in the display area of the team. , Display each
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the decision-making part that decides
The display control device according to Appendix 1, further comprising a distribution unit for distributing the moving image information of the determined highlight scene to the terminal of the user.
(付記6)複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出し、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。
(Appendix 6) Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control method characterized in that a computer executes processing.
(付記7)前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記6に記載の表示制御方法。 (Appendix 7) Displaying a plurality of highlight scenes of a team determined by the determination process including the highlight scene in a time series in a display area corresponding to the team determined by the determination process. The display control method according to Appendix 6, which is a feature.
(付記8)前記判定する処理は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記6に記載の表示制御方法。 (Appendix 8) The determination process determines which of the plurality of teams the highlight scene is the highlight scene for, based on the character information of the player read from the video. The display control method according to Appendix 6, which is a feature.
(付記9)前記判定する処理は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記6に記載の表示制御方法。 (Supplementary note 9) The determination process is characterized in that it determines which of the plurality of teams the highlight scene is a highlight scene based on the tracking information of the video. The display control method according to 6.
(付記10)前記表示する処理は、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する処理と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する処理と、をさらにコンピュータが実行することを特徴とする付記6に記載の表示制御方法。
(Appendix 10) The display process includes a plurality of highlight scenes of a team determined by the determination process, including the highlight scene, in a display area of the team, and a plurality of small areas having different shapes. And display each
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the process of determining
The display control method according to Appendix 6, wherein a computer further executes a process of delivering the moving image information of the determined highlight scene to the terminal of the user.
(付記11)複数のチームによる対戦の映像の解析結果に基づき、ハイライトシーンを抽出し、
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。
(Appendix 11) Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control program characterized by having a computer execute processing.
(付記12)前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを時系列で表示することを特徴とする付記11に記載の表示制御プログラム。 (Appendix 12) Displaying a plurality of highlight scenes of a team determined by the determination process, including the highlight scene, in a time series in a display area corresponding to the team determined by the determination process. The display control program according to Appendix 11, which is a feature.
(付記13)前記判定する処理は、前記映像から読み取られるプレイヤの文字情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記11に記載の表示制御プログラム。 (Appendix 13) The determination process determines which of the plurality of teams the highlight scene is the highlight scene for, based on the character information of the player read from the video. The display control program according to Appendix 11, which is a feature.
(付記14)前記判定する処理は、前記映像のトラッキング情報に基づいて、前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定することを特徴とする付記11に記載の表示制御プログラム。 (Supplementary note 14) The determination process is characterized in that it determines which of the plurality of teams the highlight scene is the highlight scene for, based on the tracking information of the video. 11. The display control program according to 11.
(付記15)前記表示する処理は、前記ハイライトシーンを含む、前記判定する処理により判定されたチームの複数のハイライトシーンを、前記チームの表示領域内に、互いに形状の異なる複数の小領域で、それぞれ表示し、
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する処理と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する処理と、をさらにコンピュータに実行させることを特徴とする付記11に記載の表示制御プログラム。
(Appendix 15) The display process includes a plurality of highlight scenes of a team determined by the determination process, including the highlight scene, in a display area of the team, and a plurality of small areas having different shapes. And display each
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the process of determining
The display control program according to Appendix 11, wherein a computer further executes a process of delivering the moving image information of the determined highlight scene to the terminal of the user.
1 システム
10 表示制御装置
11 通信インタフェース
13 記憶部
13a 動画情報
13b ハイライトシーン情報
15 制御部
15A 収集部
15B 抽出部
15C 判定部
15D 表示制御部
15E 決定部
15F 配信部
1
Claims (7)
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定する判定部と、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定部により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する表示制御部と、
を有することを特徴とする表示制御装置。 An extraction unit that extracts highlight scenes based on the analysis results of battle videos by multiple teams,
A determination unit for determining which of the plurality of teams the highlight scene is the highlight scene for.
A display control unit that displays the highlight scene in a display area assigned to each of the plurality of teams that does not overlap with each other and that corresponds to the team determined by the determination unit.
A display control device characterized by having.
ユーザが操作する端末からの動画情報のリクエストを受け付け、前記リクエストに含まれる小領域の形状を識別し、前記複数のハイライトシーンのうち、前記識別された形状に対応するいずれかのハイライトシーンを決定する決定部と、
前記ユーザの前記端末に、前記決定されたハイライトシーンの前記動画情報を配信する配信部と、をさらに有することを特徴とする請求項1に記載の表示制御装置。 The display control unit displays a plurality of highlight scenes of the team determined by the determination unit, including the highlight scene, in the display area of the team in a plurality of small areas having different shapes. ,
It accepts a request for video information from a terminal operated by the user, identifies the shape of a small area included in the request, and among the plurality of highlight scenes, one of the highlight scenes corresponding to the identified shape. And the decision-making part that decides
The display control device according to claim 1, further comprising a distribution unit for distributing the moving image information of the determined highlight scene to the terminal of the user.
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータが実行することを特徴とする表示制御方法。 Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control method characterized in that a computer executes processing.
前記ハイライトシーンが前記複数のチームのうちのいずれのチームに対するハイライトシーンであるかを判定し、
前記複数のチームそれぞれに割り当てられた表示領域であって、互いに重複しない表示領域のうち、前記判定する処理により判定されたチームに対応する表示領域に、前記ハイライトシーンを表示する、
処理をコンピュータに実行させることを特徴とする表示制御プログラム。 Highlight scenes are extracted based on the analysis results of the video of the battle by multiple teams.
It is determined which of the plurality of teams the highlight scene is the highlight scene for.
Among the display areas allocated to each of the plurality of teams and which do not overlap each other, the highlight scene is displayed in the display area corresponding to the team determined by the determination process.
A display control program characterized by having a computer execute processing.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019086145A JP7314605B2 (en) | 2019-04-26 | 2019-04-26 | Display control device, display control method and display control program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019086145A JP7314605B2 (en) | 2019-04-26 | 2019-04-26 | Display control device, display control method and display control program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020179045A true JP2020179045A (en) | 2020-11-05 |
JP7314605B2 JP7314605B2 (en) | 2023-07-26 |
Family
ID=73022986
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019086145A Active JP7314605B2 (en) | 2019-04-26 | 2019-04-26 | Display control device, display control method and display control program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7314605B2 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023032303A1 (en) * | 2021-09-03 | 2023-03-09 | ソニーグループ株式会社 | Video processing device, video processing method, and program |
WO2023188647A1 (en) * | 2022-03-31 | 2023-10-05 | 株式会社コナミデジタルエンタテインメント | Generative system, generative system control program, and control method |
JP7403581B2 (en) | 2022-05-23 | 2023-12-22 | ソフトバンク株式会社 | systems and devices |
Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008167082A (en) * | 2006-12-27 | 2008-07-17 | Toshiba Corp | Video content display device, video content display method and program thereof |
JP2008229116A (en) * | 2007-03-22 | 2008-10-02 | Konami Digital Entertainment:Kk | Program, device and control method for game |
JP2012182724A (en) * | 2011-03-02 | 2012-09-20 | Kddi Corp | Moving image combining system, moving image combining method, moving image combining program and storage medium of the same |
WO2015114196A1 (en) * | 2014-02-03 | 2015-08-06 | Nokia Technologies Oy | Ordering of highlight video segments |
JP2016119577A (en) * | 2014-12-22 | 2016-06-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Digest generation device, digest generation method, and program |
JP2017538989A (en) * | 2014-10-09 | 2017-12-28 | スーズ,インコーポレイテッド | Customized generation of highlight shows with story components |
JP2018182566A (en) * | 2017-04-14 | 2018-11-15 | 富士通株式会社 | Viewpoint selection support program, viewpoint selection support method, and viewpoint selection support apparatus |
WO2019067480A1 (en) * | 2017-09-29 | 2019-04-04 | Sony Interactive Entertainment America Llc | Venue mapping for virtual reality spectating of electronic sports |
-
2019
- 2019-04-26 JP JP2019086145A patent/JP7314605B2/en active Active
Patent Citations (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2008167082A (en) * | 2006-12-27 | 2008-07-17 | Toshiba Corp | Video content display device, video content display method and program thereof |
JP2008229116A (en) * | 2007-03-22 | 2008-10-02 | Konami Digital Entertainment:Kk | Program, device and control method for game |
JP2012182724A (en) * | 2011-03-02 | 2012-09-20 | Kddi Corp | Moving image combining system, moving image combining method, moving image combining program and storage medium of the same |
WO2015114196A1 (en) * | 2014-02-03 | 2015-08-06 | Nokia Technologies Oy | Ordering of highlight video segments |
JP2017538989A (en) * | 2014-10-09 | 2017-12-28 | スーズ,インコーポレイテッド | Customized generation of highlight shows with story components |
JP2016119577A (en) * | 2014-12-22 | 2016-06-30 | 三星電子株式会社Samsung Electronics Co.,Ltd. | Digest generation device, digest generation method, and program |
JP2018182566A (en) * | 2017-04-14 | 2018-11-15 | 富士通株式会社 | Viewpoint selection support program, viewpoint selection support method, and viewpoint selection support apparatus |
WO2019067480A1 (en) * | 2017-09-29 | 2019-04-04 | Sony Interactive Entertainment America Llc | Venue mapping for virtual reality spectating of electronic sports |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2023032303A1 (en) * | 2021-09-03 | 2023-03-09 | ソニーグループ株式会社 | Video processing device, video processing method, and program |
WO2023188647A1 (en) * | 2022-03-31 | 2023-10-05 | 株式会社コナミデジタルエンタテインメント | Generative system, generative system control program, and control method |
JP7403581B2 (en) | 2022-05-23 | 2023-12-22 | ソフトバンク株式会社 | systems and devices |
Also Published As
Publication number | Publication date |
---|---|
JP7314605B2 (en) | 2023-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10395409B2 (en) | Method and system for real-time virtual 3D reconstruction of a live scene, and computer-readable media | |
JP7010292B2 (en) | Video generation program, video generation method and video generation device | |
US11967086B2 (en) | Player trajectory generation via multiple camera player tracking | |
JP7314605B2 (en) | Display control device, display control method and display control program | |
US9610491B2 (en) | Playbook processor | |
US10653965B2 (en) | Information processing system, information processing method, program, server, and information processing terminal | |
CN109429052A (en) | Information processing equipment, the control method of information processing equipment and storage medium | |
JP5372212B2 (en) | GAME SYSTEM, CONTROL METHOD AND COMPUTER PROGRAM USED FOR THE SAME | |
US10695676B2 (en) | Storage medium storing game program, information processing system, information processing device, and game processing method | |
US20210402301A1 (en) | Server-Based Mechanics Help Determination from Aggregated User Data | |
CN114329072A (en) | Video processing method and device, electronic equipment and storage medium | |
US20230025389A1 (en) | Route generation system within a virtual environment of a game application | |
JP2022015205A (en) | Log generation device, log generation method, and log generation program | |
WO2023032303A1 (en) | Video processing device, video processing method, and program | |
EP4342554A1 (en) | Image processing system, image processing method, and computer program | |
JP7333958B2 (en) | GAME DEVICE, GAME DEVICE PROGRAM, GAME DEVICE CONTROL METHOD, AND GAME SYSTEM | |
WO2019111361A1 (en) | Event vitalizing device, event vitalizing method, and computer-readable recording medium | |
CN114584678A (en) | Augmented reality AR presentation method and device, electronic equipment and storage medium | |
JP2024074507A (en) | Image processing device, image processing method, and program |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220111 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230125 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230131 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230330 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230613 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230626 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7314605 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |