JP7503768B2

JP7503768B2 - Analysis information correction device, analysis information correction method, and computer program

Info

Publication number: JP7503768B2
Application number: JP2020045204A
Authority: JP
Inventors: 康治井村; 純子上田; 優麻齋藤
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2020-03-16
Filing date: 2020-03-16
Publication date: 2024-06-21
Anticipated expiration: 2040-03-16
Also published as: JP2021150668A

Description

本開示は、解析情報修正装置、解析情報修正方法、及び、コンピュータプログラムに関する。 The present disclosure relates to an analysis information correction device, an analysis information correction method, and a computer program.

従来、バレーボール分析ソフトウェアとして「ＤａｔａＶｏｌｌｅｙ」が知られている。ＤａｔａＶｏｌｌｅｙは、このソフトウェアに精通したアナリストによって使用され、当該アナリストが主観的判断に基づいて、バレーボールの選手のプレイに関する情報をＤａｔａＶｏｌｌｅｙに入力する。 Conventionally, "Data Volley" is known as volleyball analysis software. Data Volley is used by analysts who are familiar with the software, and these analysts input information about the play of volleyball players into Data Volley based on their subjective judgment.

また、特許文献１には、コートを見下ろす四隅にカメラを設置し、これら４台のカメラを同期させて選手のプレイを撮影し、各カメラの撮影映像に基づいて、ボールの移動軌跡、選手のアクションの種類（例えばバレーボールにおけるサーブ、レセプション、ディグ、トス、アタック、ブロック）、及び、アクションを行った選手の背番号を解析して解析情報を自動的に生成する技術が開示されている。特許文献１の技術によれば、アナリストの主観的判断に頼ることなく、自動的に解析情報を生成できる。 Patent Document 1 also discloses a technology in which cameras are installed at the four corners overlooking the court, these four cameras are synchronized to film the players' plays, and based on the footage captured by each camera, analysis is performed on the trajectory of the ball's movement, the type of action taken by the players (for example, serve, reception, dig, toss, attack, block in volleyball), and the uniform number of the player who performed the action, to automatically generate analytical information. The technology in Patent Document 1 makes it possible to generate analytical information automatically, without relying on the subjective judgment of an analyst.

国際公開第２０１９／２２５４１５号International Publication No. 2019/225415

しかしながら、特許文献１に開示の技術によって生成された解析情報が常に正確とは限らない。特許文献１に開示の技術では、選手のユニフォームの背番号を画像認識して、アクションを行った選手の背番号を特定しているが、例えば、ユニフォームがよじれていたり、選手の髪が背番号を覆っていたりして、背番号を正しく画像認識できない場合がある。この場合、解析情報に、背番号が記録されなかったり、誤った背番号が記録されたりし得る。 However, the analysis information generated by the technology disclosed in Patent Document 1 is not always accurate. The technology disclosed in Patent Document 1 identifies the uniform number of the player who performed the action by performing image recognition of the uniform number of the player. However, there are cases where the uniform number cannot be correctly image recognized if, for example, the uniform is twisted or the player's hair covers the uniform number. In such cases, the uniform number may not be recorded in the analysis information, or an incorrect uniform number may be recorded.

本開示の目的は、球技を行う選手のプレイを解析して生成された解析情報を効率的に確認及び修正できる技術を提供することにある。 The objective of this disclosure is to provide technology that can efficiently confirm and modify analysis information generated by analyzing the plays of players in ball games.

本開示に係る解析情報修正装置は、球技のプレイを行う選手が撮影された映像ストリームを受信する映像受信部と、受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成する録画部と、前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩ（User Interface）を表示するＵＩ制御部と、を備え、前記ＵＩ制御部は、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、前記ラリー内に前記所定のアクションが行われたと判定した場合、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する。 The analysis information correction device of the present disclosure comprises a video receiving unit that receives a video stream of players playing a ball game, a recording unit that generates rally recording data by recording the received video stream on a rally-by-rally basis for the play, and a UI control unit that displays the video of the rally recording data and displays a correction UI (User Interface) for correcting analysis information that associates a specified action related to the play performed within the rally, the timing at which the action was performed, and the number of the player who performed the action.The UI control unit determines whether the specified action was performed within the rally based on the analysis information, and if it determines that the specified action was performed within the rally, it cues up a frame image from the rally recording data at the timing at which the specified action was performed, and plays back and displays the rally recording data.

本開示に係る解析情報修正方法は、情報処理装置により、球技プレイに関する解析情報を修正する解析情報修正方法であって、球技のプレイを行う選手が撮影された映像ストリームを受信し、受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する。 The analysis information correction method of the present disclosure is an analysis information correction method for correcting analysis information related to a ball game play by an information processing device, which receives a video stream of players playing a ball game, generates rally recording data by recording the received video stream on a rally-by-rally basis for the play, displays the video of the rally recording data, and displays a correction UI for correcting analysis information that associates a specified action related to the play performed within the rally, the timing at which the action was performed, and the number of the player who performed the action, and further determines whether the specified action was performed within the rally based on the analysis information, and if it is determined that the specified action was performed within the rally, in the correction UI, a frame image at the timing at which the specified action was performed is cue-up from the rally recording data, and plays and displays the rally recording data.

本開示に係るコンピュータプログラムは、球技のプレイを行う選手が撮影された映像ストリームを受信し、受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する。 The computer program of the present disclosure receives a video stream of players playing a ball game, generates rally recording data by recording the received video stream on a rally-by-rally basis for the play, displays the video of the rally recording data, and displays a correction UI for correcting analysis information that associates a specific action related to the play performed within the rally, the timing at which the action was performed, and the number of the player who performed the action , and further determines whether the specific action was performed within the rally based on the analysis information, and if it determines that the specific action was performed within the rally, in the correction UI, cue up a frame image from the rally recording data at the timing at which the specific action was performed, and plays and displays the rally recording data.

なお、これらの包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又は記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。 These comprehensive or specific aspects may be realized by a system, device, method, integrated circuit, computer program, or recording medium, or by any combination of a system, device, method, integrated circuit, computer program, and recording medium.

本開示によれば、球技を行う選手のプレイを解析して生成された解析情報から所定のアクションが行われたタイミングのフレーム画像を頭出して再生されるラリー録画データにより、解析情報を効率的に確認及び修正できる。 According to the present disclosure, analysis information can be efficiently confirmed and corrected by using rally recording data that is generated by analyzing the plays of players in a ball game and plays back a frame image at the time when a specified action was performed by cueing it up .

本実施の形態に係る球技映像解析システムの構成例を示す図FIG. 1 is a diagram showing a configuration example of a ball game video analysis system according to an embodiment of the present invention; 解析情報の構成例を示す図A diagram showing an example of the analysis information structure ラリーとラリー録画データと解析情報の確認及び修正作業との関係を説明するための図A diagram for explaining the relationship between the rally, rally recording data, and analysis information confirmation and correction work 本実施の形態に係る解析情報修正装置の構成例を示すブロック図FIG. 1 is a block diagram showing an example of the configuration of an analysis information correction device according to an embodiment of the present invention. 解析情報修正装置における処理の一例を示すフローチャートA flowchart showing an example of a process in the analysis information correction device. 第１のラリー録画データの映像を表示した修正用ＵＩの例を示す図FIG. 13 shows an example of a correction UI that displays the video of the first rally recording data. 第２のラリー録画データの映像を表示した修正用ＵＩの例を示す図FIG. 13 shows an example of a correction UI that displays video of the second rally recording data. 番号入力用ＵＩの例を示す図FIG. 13 is a diagram showing an example of a UI for inputting numbers. 本開示に係る装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図FIG. 1 is a diagram showing a hardware configuration of a computer that realizes the functions of the device according to the present disclosure by a program.

以下、図面を適宜参照して、本開示の実施の形態について、詳細に説明する。ただし、必要以上に詳細な説明は省略する場合がある。例えば、すでによく知られた事項の詳細説明及び実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。なお、添付図面及び以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の記載の主題を限定することは意図されていない。 Below, the embodiments of the present disclosure will be described in detail with appropriate reference to the drawings. However, more detailed explanation than necessary may be omitted. For example, detailed explanation of already well-known matters and duplicate explanation of substantially identical configurations may be omitted. This is to avoid the following explanation becoming unnecessarily redundant and to facilitate understanding by those skilled in the art. Note that the attached drawings and the following explanation are provided to enable those skilled in the art to fully understand the present disclosure, and are not intended to limit the subject matter described in the claims.

（本実施の形態）
＜球技映像解析システムの構成＞
図１は、本実施の形態に係る球技映像解析システム１の構成例を示す図である。 (Present embodiment)
<Ball game video analysis system configuration>
FIG. 1 is a diagram showing an example of the configuration of a ball game video analysis system 1 according to the present embodiment.

球技映像解析システム１は、球技のプレイを撮影した映像を解析し、当該球技に用いられる移動体に対してアクションを行った選手を認識するシステムである。本実施の形態では、球技の１つであるバレーボールを例に説明する。ただし、球技映像解析システム１は、バレーボールに限らず、サッカー、野球、卓球、バスケットボール、テニス、ラグビー、アメリカンフットボール、ラクロス、バドミントン、又はアイスホッケー等、様々な球技に適用可能である。また、球技映像解析システム１が対象とする移動体は、典型的にはボールである。ただし、球技映像解析システム１が対象とする移動体は、ボールに限らず、例えばバドミントンのシャトル又はアイスホッケーのパックといった「球」の概念に当てはまらない形状のものであってもよい。球技映像解析システム１は、複数人から構成されるチームが移動体に対するアクションを行うことにより点数又は勝敗が決定される競技であれば、どのような競技にも適用可能である。 The ball game video analysis system 1 is a system that analyzes a video of a ball game and recognizes a player who has taken an action on a moving object used in the ball game. In this embodiment, volleyball, which is one of the ball games, will be described as an example. However, the ball game video analysis system 1 is not limited to volleyball and can be applied to various ball games such as soccer, baseball, table tennis, basketball, tennis, rugby, American football, lacrosse, badminton, and ice hockey. In addition, the moving object that the ball game video analysis system 1 targets is typically a ball. However, the moving object that the ball game video analysis system 1 targets is not limited to a ball, and may be a shape that does not fit the concept of a "ball", such as a badminton shuttlecock or an ice hockey puck. The ball game video analysis system 1 can be applied to any sport in which the score or victory or defeat is determined by the action taken by a team of multiple people on a moving object.

球技映像解析システム１は、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ、確認用カメラ２０Ａ、２０Ｂ、球技映像解析装置３０、データサーバ４０、ハブ５０、及び、解析情報修正装置１００を含む。 The ball game video analysis system 1 includes analysis cameras 10A, 10B, 10C, and 10D, confirmation cameras 20A and 20B, a ball game video analysis device 30, a data server 40, a hub 50, and an analysis information correction device 100.

解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄは、例えば有線ＬＡＮ（Local Area Network）又は無線ＬＡＮを通じて、球技映像解析装置３０に接続される。確認用カメラ２０Ａ、２０Ｂ、球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００は、例えば有線ＬＡＮ又は無線ＬＡＮを通じて、ハブ５０に接続される。これらの装置２０Ａ、２０Ｂ、３０、４０、１００は、ハブ５０を介して、データを送受信できる。なお、球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００のうちの少なくとも１つは、インターネット網に接続され、いわゆるクラウドサービスとして構成されてもよい。 The analytical cameras 10A, 10B, 10C, and 10D are connected to the ball game video analysis device 30, for example, via a wired LAN (Local Area Network) or a wireless LAN. The confirmation cameras 20A and 20B, the ball game video analysis device 30, the data server 40, and the analysis information correction device 100 are connected to a hub 50, for example, via a wired LAN or a wireless LAN. These devices 20A, 20B, 30, 40, and 100 can transmit and receive data via the hub 50. At least one of the ball game video analysis device 30, the data server 40, and the analysis information correction device 100 may be connected to the Internet network and configured as a so-called cloud service.

解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄは、球技を行う選手のプレイを撮影し、解析用動画のデータを生成する。解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄは、生成した解析用動画を球技映像解析装置３０へ送信する。 Analysis cameras 10A, 10B, 10C, and 10D capture the play of players in a ball game and generate analysis video data. Analysis cameras 10A, 10B, 10C, and 10D transmit the generated analysis video data to ball game video analysis device 30.

球技映像解析装置３０は、例えば特許文献１に開示の技術によって、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄから受信した解析用動画に基づき、球技に用いられる移動体の一例であるボールの移動軌跡と、プレイ中に行われた選手のアクションと、アクションが行われた時刻と、アクションを行った選手のチーム及び背番号とを解析する。なお、アクションが行われた「時刻」は、「時間」又は「タイミング」といった他の用語に読み替えられてもよい。また、アクションの種類は、バレーボールの場合、サーブ、レセプション、ディグ、トス、アタック、ブロックであってよい。 The ball game video analysis device 30 analyzes the movement trajectory of the ball, which is an example of a moving object used in ball games, the actions of players performed during play, the time when the actions were performed, and the team and uniform number of the player who performed the action, based on the analysis video received from the analysis cameras 10A, 10B, 10C, and 10D, for example, using the technology disclosed in Patent Document 1. Note that the "time" when an action was performed may be interpreted as other terms such as "time" or "timing." Also, the type of action, in the case of volleyball, may be a serve, reception, dig, toss, attack, or block.

そして、球技映像解析装置３０は、その解析の結果に基づいて、図２に例示するように、アクションが行われた時刻と、当該アクションを行った選手のチーム及び背番号と、当該アクションの種類とを対応付けた解析情報２００を生成する。球技映像解析装置３０は、解析用動画及び解析情報２００をデータサーバ４０に送信する。データサーバ４０は、送信された解析用動画及び解析情報２００を対応付けて管理する。 Then, based on the results of the analysis, the ball game video analysis device 30 generates analysis information 200 that associates the time when the action was performed, the team and uniform number of the player who performed the action, and the type of the action, as illustrated in FIG. 2. The ball game video analysis device 30 transmits the analysis video and analysis information 200 to the data server 40. The data server 40 manages the transmitted analysis video and analysis information 200 in association with each other.

特許文献１に開示の技術は、選手のユニフォームの背番号を画像認識して、アクションを行った選手の背番号を特定する。したがって、特許文献１に開示の技術は、ユニフォームがよじれていたり、選手の髪が背番号を覆っていたりして、背番号を正しく画像認識できない場合がある。この場合、解析情報２００に、背番号が記録されなかったり、誤った背番号が記録されたりし得る。このように不正確な解析情報２００が生成された場合に、当該解析情報２００を効率的に修正できる技術が求められている。そこで、以下では、球技映像解析装置３０によって生成された解析情報２００を効率的に修正する技術の一例について説明する。 The technology disclosed in Patent Document 1 performs image recognition of the uniform numbers of players to identify the uniform number of the player who performed the action. Therefore, the technology disclosed in Patent Document 1 may not be able to correctly image-recognize the uniform number if the uniform is twisted or if the player's hair covers the uniform number. In this case, the uniform number may not be recorded in the analysis information 200, or an incorrect uniform number may be recorded. When inaccurate analysis information 200 is generated in this way, there is a demand for technology that can efficiently correct the analysis information 200. Therefore, an example of a technology for efficiently correcting the analysis information 200 generated by the ball game video analysis device 30 will be described below.

第１の確認用カメラ２０Ａ及び第２の確認用カメラ２０Ｂは、選手の背番号を撮影できる位置に設置される。例えば、図１に示すように、第１の確認用カメラ２０Ａは、一方のチーム側のコートの後方に、ネット方向を撮影するように設置され、第２の確認用カメラ２０Ｂは、他方のチーム側のコートの後方に、ネット方向を撮影するように設置される。 The first confirmation camera 20A and the second confirmation camera 20B are installed in positions where they can capture images of the players' uniform numbers. For example, as shown in FIG. 1, the first confirmation camera 20A is installed at the rear of one team's court so as to capture the image in the direction of the net, and the second confirmation camera 20B is installed at the rear of the other team's court so as to capture the image in the direction of the net.

第１の確認用カメラ２０Ａ及び第２の確認用カメラ２０Ｂは、それぞれ、球技を行う選手のプレイを撮影し、映像ストリームを生成する。以下、第１の確認用カメラ２０Ａが生成する映像ストリームを第１の映像ストリーム、第２の確認用カメラ２０Ｂが生成する映像ストリームを第２の映像ストリームという。 The first confirmation camera 20A and the second confirmation camera 20B each capture the play of the players playing a ball game and generate a video stream. Hereinafter, the video stream generated by the first confirmation camera 20A will be referred to as the first video stream, and the video stream generated by the second confirmation camera 20B will be referred to as the second video stream.

第１の確認用カメラ２０Ａは、生成した第１の映像ストリームを解析情報修正装置１００に送信する。第２の確認用カメラ２０Ｂは、生成した第２の映像ストリームを解析情報修正装置１００に送信する。 The first confirmation camera 20A transmits the generated first video stream to the analysis information correction device 100. The second confirmation camera 20B transmits the generated second video stream to the analysis information correction device 100.

解析情報修正装置１００は、第１の映像ストリームを受信し、ラリー単位の録画データ（以下「第１のラリー録画データ」という）１５０Ａ（図４参照）を生成する。同様に、解析情報修正装置１００は、第２の映像ストリームを受信し、ラリー単位の録画データ（以下「第２のラリー録画データ」という）１５０Ｂ（図４参照）を生成する。ラリーとは、バレーボールの場合、サーブから始まり、得点が決まるまでの一連のプレイを意味する。なお、本実施の形態の説明では、第１のラリー録画データ１５０Ａ及び第２のラリー録画データ１５０Ｂを区別しない場合、ラリー録画データと表現する。 The analysis information correction device 100 receives the first video stream and generates rally-based recording data (hereinafter referred to as "first rally recording data") 150A (see FIG. 4). Similarly, the analysis information correction device 100 receives the second video stream and generates rally-based recording data (hereinafter referred to as "second rally recording data") 150B (see FIG. 4). In volleyball, a rally refers to a series of plays starting with a serve until a point is scored. In the description of this embodiment, when there is no need to distinguish between the first rally recording data 150A and the second rally recording data 150B, they are referred to as rally recording data.

解析情報修正装置１００は、１回のラリーのラリー録画データを再生すると共に、ユーザが当該ラリーの解析情報２００を確認及び修正するためのＵＩ（以下「修正用ＵＩ」という）３００（図６～図８参照）を表示する。ユーザは、ラリー録画データの再生を見ながら、修正用ＵＩ３００を通じて、当該ラリーの解析情報２００を確認及び修正する。以下、解析情報２００を修正した情報を、修正情報２０１（図４参照）という。 The analysis information correction device 100 plays back the rally recording data of one rally, and displays a UI (hereinafter referred to as the "correction UI") 300 (see Figures 6 to 8) that allows the user to confirm and correct the analysis information 200 of that rally. While watching the playback of the rally recording data, the user confirms and corrects the analysis information 200 of that rally through the correction UI 300. Hereinafter, the corrected analysis information 200 is referred to as correction information 201 (see Figure 4).

図３は、ラリーと、ラリー録画データと、解析情報２００の確認及び修正作業との関係を説明するための図である。 Figure 3 is a diagram to explain the relationship between the rally, the rally recording data, and the confirmation and correction work of the analysis information 200.

例えば、図３に示すように、バレーボールのプレイにおいて、１回目のラリー、２回目のラリー、・・・が実際に行われた場合、解析情報修正装置１００には、１回目のラリーが撮影されたラリー録画データ、２回目のラリーが撮影されたラリー録画データ、・・・が格納される。 For example, as shown in FIG. 3, when a first rally, a second rally, etc. are actually played in a volleyball game, the analysis information correction device 100 stores rally recording data in which the first rally is filmed, rally recording data in which the second rally is filmed, etc.

解析情報修正装置１００は、１回目のラリー終了後、１回目のラリーのラリー録画データを再生し、１回目のラリーの解析情報２００を確認及び修正するための修正用ＵＩ３００を表示する。ユーザは、当該修正用ＵＩ３００を通じて、１回目のラリーの解析情報２００を確認及び修正できる。同様に、解析情報修正装置１００は、２回目のラリー終了後、２回目のラリーのラリー録画データを再生し、２回目のラリーの解析情報２００を確認及び修正するための修正用ＵＩ３００を表示する。ユーザは、当該修正用ＵＩ３００を通じて、２回目のラリーの解析情報２００を確認及び修正できる。これを繰り返すことによって、ユーザは、各ラリーの解析情報２００を確認及び修正できる。 After the first rally is completed, the analysis information correction device 100 plays back the rally recording data of the first rally and displays a correction UI 300 for confirming and correcting the analysis information 200 of the first rally. The user can confirm and correct the analysis information 200 of the first rally through the correction UI 300. Similarly, after the second rally is completed, the analysis information correction device 100 plays back the rally recording data of the second rally and displays a correction UI 300 for confirming and correcting the analysis information 200 of the second rally. The user can confirm and correct the analysis information 200 of the second rally through the correction UI 300. By repeating this, the user can confirm and correct the analysis information 200 of each rally.

図３に示すように、ユーザが３回目のラリーの解析情報２００の確認及び修正に時間がかかったとしても、４回目以降のラリーを撮影した映像ストリームは録画されているので、ユーザは、落ち着いて４回目以降のラリーの解析情報２００を確認及び修正できる。 As shown in FIG. 3, even if the user takes a long time to check and correct the analysis information 200 of the third rally, the video streams of the fourth and subsequent rallies are recorded, so the user can calmly check and correct the analysis information 200 of the fourth and subsequent rallies.

また、本実施の形態によれば、確認用カメラ２０Ａ、２０Ｂは、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄと別の位置に設置される。よって、解析用カメラ１０Ａ、１０Ｂ、１０Ｃ、１０Ｄの映像からはアクションを行った選手の背番号が認識しにくい場合であっても、ユーザは、確認用カメラ２０Ａ、２０Ｂの映像から当該選手の背番号を認識し得る。 In addition, according to this embodiment, the confirmation cameras 20A and 20B are installed in different positions from the analysis cameras 10A, 10B, 10C, and 10D. Therefore, even if it is difficult to recognize the uniform number of the player who performed the action from the images of the analysis cameras 10A, 10B, 10C, and 10D, the user can recognize the uniform number of the player from the images of the confirmation cameras 20A and 20B.

また、球技映像解析装置３０によって解析情報２００が生成された後に、反則が判明したり、チャレンジ（審判の判定に対する不服申し立て）が行われたりして、ラリーの結果が変わることもある。本実施の形態によれば、このような場合であっても、ユーザは、修正用ＵＩ３００を通じて、解析情報２００を素早く修正できる。 In addition, after the ball game video analysis device 30 generates the analysis information 200, a foul may be discovered or a challenge (an appeal against the umpire's decision) may be made, changing the outcome of the rally. According to this embodiment, even in such cases, the user can quickly modify the analysis information 200 through the modification UI 300.

以下、解析情報修正装置１００について詳細に説明する。 The analysis information correction device 100 is described in detail below.

＜解析情報修正装置の構成＞
図４は、解析情報修正装置１００の構成例を示すブロック図である。 <Configuration of analysis information correction device>
FIG. 4 is a block diagram showing an example of the configuration of the analysis information correction device 100. As shown in FIG.

解析情報修正装置１００は、映像受信部１０１、録画部１０２、解析情報送受信部１０３、情報格納部１０４、及び、ＵＩ制御部１０５を備える。なお、解析情報修正装置１００は、例えば、モバイルＰＣ、タブレット端末又はスマートフォン等であってよい。 The analysis information correction device 100 includes a video receiving unit 101, a recording unit 102, an analysis information transmission/reception unit 103, an information storage unit 104, and a UI control unit 105. The analysis information correction device 100 may be, for example, a mobile PC, a tablet terminal, or a smartphone.

映像受信部１０１は、第１の確認用カメラ２０Ａ及び第２の確認用カメラ２０Ｂからそれぞれ第１の映像ストリーム及び第２の映像ストリームを受信する。 The video receiving unit 101 receives a first video stream and a second video stream from the first confirmation camera 20A and the second confirmation camera 20B, respectively.

録画部１０２は、第１の映像ストリームから、ラリー単位の録画データ（第１のラリー録画データ１５０Ａ）を生成する。同様に、録画部１０２は、第２の映像ストリームから、ラリー単位の録画データ（第２のラリー録画データ１５０Ｂ）を生成する。なお、録画部１０２は、解析情報２００を参照して、ラリーの区切りを特定してよい。例えば、図２に示す解析情報２００において、「ｅｎｄ」の行は、ラリーの区切りを示す。 The recording unit 102 generates rally-based recording data (first rally recording data 150A) from the first video stream. Similarly, the recording unit 102 generates rally-based recording data (second rally recording data 150B) from the second video stream. The recording unit 102 may identify rally breaks by referring to the analysis information 200. For example, in the analysis information 200 shown in FIG. 2, the "end" line indicates the breaks in the rally.

解析情報送受信部１０３は、データサーバ４０から解析情報２００を受信し、情報格納部１０４に格納する。また、解析情報送受信部１０３は、情報格納部１０４に格納された修正情報２０１を、データサーバ４０へ送信する。データサーバ４０は、受信した修正情報２０１に基づいて、解析情報２００を修正してもよい。 The analysis information transmission/reception unit 103 receives the analysis information 200 from the data server 40 and stores it in the information storage unit 104. The analysis information transmission/reception unit 103 also transmits the correction information 201 stored in the information storage unit 104 to the data server 40. The data server 40 may correct the analysis information 200 based on the received correction information 201.

ＵＩ制御部１０５は、第１のラリー録画データ１５０Ａ又は第２のラリー録画データ１５０Ｂを再生し、当該ラリーの解析情報２００を修正するための修正用ＵＩ３００を提供する。修正用ＵＩ３００は、出力装置１００２（図９参照）の一例であるディスプレイに表示される。ユーザは、入力装置１００１（図９参照）の一例であるタッチパネルを通じて、修正用ＵＩ３００を操作することにより、情報格納部１０４に格納された解析情報２００を修正する。修正用ＵＩ３００は、解析情報２００を修正した修正情報２０１を、情報格納部１０４に格納する。なお、修正用ＵＩ３００の詳細については後述する。 The UI control unit 105 plays back the first rally recording data 150A or the second rally recording data 150B, and provides a correction UI 300 for correcting the analysis information 200 of the rally. The correction UI 300 is displayed on a display, which is an example of an output device 1002 (see FIG. 9). The user corrects the analysis information 200 stored in the information storage unit 104 by operating the correction UI 300 via a touch panel, which is an example of an input device 1001 (see FIG. 9). The correction UI 300 stores the correction information 201, which is the correction of the analysis information 200, in the information storage unit 104. Details of the correction UI 300 will be described later.

＜解析情報修正装置における処理＞
図５は、解析情報修正装置１００におけるアタックに関する処理の一例を示すフローチャートである。 <Processing in the analysis information correction device>
FIG. 5 is a flowchart showing an example of processing related to an attack in the analysis information correction device 100. As shown in FIG.

ＵＩ制御部１０５は、１ラリー分の修正用ＵＩ３００を表示する（Ｓ１０１）。 The UI control unit 105 displays the correction UI 300 for one rally (S101).

ＵＩ制御部１０５は、解析情報２００を参照し、解析情報２００の中に所定のアクションの一例である「アタック」が存在するか否かを判定する（Ｓ１０２）。 The UI control unit 105 refers to the analysis information 200 and determines whether or not an "attack", which is an example of a predetermined action, is present in the analysis information 200 (S102).

解析情報２００に「アタック」が存在する場合（Ｓ１０２：ＹＥＳ）、ＵＩ制御部１０５は、ラリー録画データにおける最後のアタックの時刻のフレーム画像を、頭出しして表示する（Ｓ１０３）。このとき、ＵＩ制御部１０５は、頭出ししたフレーム画像を一時停止の状態で表示してもよい。あるいは、ＵＩ制御部１０５は、頭出ししたフレーム画像から再生を開始してもよい。あるいは、ＵＩ制御部１０５は、最後のアタックの時刻のフレーム画像から所定時間以前のフレーム画像を頭出しし、そのフレーム画像から再生を開始してもよい。これにより、ユーザは、得点を決めたアタック（つまり最後のアタック）及び当該アタックを行った選手が撮影された映像を効率的に確認できる。 If an "attack" is present in the analysis information 200 (S102: YES), the UI control unit 105 cues up and displays the frame image at the time of the last attack in the rally recording data (S103). At this time, the UI control unit 105 may display the cued frame image in a paused state. Alternatively, the UI control unit 105 may start playback from the cued frame image. Alternatively, the UI control unit 105 may cue up a frame image that is a predetermined time prior to the frame image at the time of the last attack, and start playback from that frame image. This allows the user to efficiently check the attack that scored a point (i.e. the final attack) and the footage of the player who made that attack.

解析情報２００に「アタック」が存在しない場合（Ｓ１０２：ＮＯ）、ＵＩ制御部１０５は、ラリー録画を先頭から通常の再生速度よりも高速に（例えば倍速で）再生する（Ｓ１０４）。これにより、ユーザは、解析情報２００におけるアタックの解析漏れ等を効率的に確認できる。 If there is no "attack" in the analysis information 200 (S102: NO), the UI control unit 105 plays the rally recording from the beginning at a faster speed than the normal playback speed (e.g., double speed) (S104). This allows the user to efficiently check for missed attacks in the analysis information 200.

ＵＩ制御部１０５は、Ｓ１０３又はＳ１０４の処理中、ラリー終了ボタン３１０（図６～図８参照）が押下されたか否か（Ｓ１０５）、及び、修正ボタン３０９（図６～図８参照）が押下されたか否か（Ｓ１０６）を判定する。 During the processing of S103 or S104, the UI control unit 105 determines whether the rally end button 310 (see Figures 6 to 8) has been pressed (S105), and whether the correction button 309 (see Figures 6 to 8) has been pressed (S106).

例えば、ユーザは、表示されたラリー録画データの映像を見て、最後のアタックの時刻、及び／又は、最後のアタックを行った選手のチーム及び背番号の修正を不要と考えた場合、修正ボタン３０９を押下することなく（Ｓ１０６：ＮＯ）、ラリー終了ボタン３１０を押下する（Ｓ１０５：ＹＥＳ）。 For example, if the user views the displayed video of the rally recording data and determines that it is not necessary to modify the time of the last attack and/or the team and uniform number of the player who made the last attack, the user presses the rally end button 310 (S105: YES) without pressing the modification button 309 (S106: NO).

ラリー終了ボタン３１０が押下された場合（Ｓ１０５：ＹＥＳ）、ＵＩ制御部１０５は、本処理を終了し（ＥＮＤ）、次のラリー分の修正用ＵＩ３００を表示する（Ｓ１０１）。 If the rally end button 310 is pressed (S105: YES), the UI control unit 105 ends this process (END) and displays the correction UI 300 for the next rally (S101).

例えば、ユーザは、表示されたラリー録画データの映像を見て、最後のアタックの時刻、及び／又は、最後のアタックを行った選手のチーム及び背番号の修正を必要と考えた場合、ラリー終了ボタン３１０を押下せずに（Ｓ１０５：ＮＯ）、修正用ＵＩ３００に含まれる各ボタン３０３～３０８（図６～図８参照）を操作して、最後のアタックが撮影されたフレーム画像を表示させる。そして、ユーザは、修正ボタン３０９を押下する（Ｓ１０６：ＹＥＳ）。 For example, if the user views the displayed video of the rally recording data and determines that it is necessary to modify the time of the last attack and/or the team and uniform number of the player who made the last attack, the user does not press the rally end button 310 (S105: NO), but operates each of the buttons 303 to 308 (see Figures 6 to 8) included in the modification UI 300 to display the frame image in which the last attack was captured. The user then presses the modification button 309 (S106: YES).

修正ボタン３０９が押下された場合（Ｓ１０６：ＹＥＳ）、ＵＩ制御部１０５は、番号入力用ＵＩ３３０（図８参照）を表示する（Ｓ１０７）。例えば、ユーザは、番号入力用ＵＩ３３０を操作して、最後のアタックを行った選手のチーム及び背番号を入力し、ラリー終了ボタンを押下する（Ｓ１０８：ＹＥＳ）。 If the correction button 309 is pressed (S106: YES), the UI control unit 105 displays the number input UI 330 (see FIG. 8) (S107). For example, the user operates the number input UI 330 to input the team and uniform number of the player who made the last attack, and presses the rally end button (S108: YES).

ＵＩ制御部１０５は、ラリー終了ボタン３１０が押下されるまで待機し（Ｓ１０８：ＮＯ）、ラリー終了ボタン３１０が押下された場合（Ｓ１０８：ＹＥＳ）、次のＳ１０９の処理を実行する。 The UI control unit 105 waits until the rally end button 310 is pressed (S108: NO), and if the rally end button 310 is pressed (S108: YES), it executes the next process of S109.

ＵＩ制御部１０５は、Ｓ１０６にて修正ボタン３０９が押下されたときに表示されたアタックのフレーム画像の時刻と、Ｓ１０８にてラリー終了ボタン３１０が押下されたときに番号入力用ＵＩ３３０に入力されたチーム及び背番号と、アクション「アタック」とを対応付けた修正情報２０１を生成し、情報格納部１０４に格納する（Ｓ１０９）。そして、ＵＩ制御部１０５は、本処理を終了し（ＥＮＤ）、次のラリー分の修正用ＵＩ３００を表示する（Ｓ１０１）。 The UI control unit 105 generates correction information 201 that associates the time of the attack frame image displayed when the correction button 309 was pressed in S106, the team and uniform number input to the number input UI 330 when the rally end button 310 was pressed in S108, and the action "attack," and stores this in the information storage unit 104 (S109). The UI control unit 105 then ends this process (END) and displays the correction UI 300 for the next rally (S101).

以上の処理によれば、ユーザは、修正用ＵＩ３００を通じて、解析情報２００に含まれるラリー中の最後のアタックを行った選手のチーム及び背番号が正しいかどうかを効率的に確認できる。加えて、解析情報２００に含まれるラリー中の最後のアタックを行った選手のチーム及び背番号が正しくない場合、ユーザは、修正用ＵＩ３００を通じて、当該チーム及び背番号を効率的に修正できる。加えて、ラリーの最後のアタックを行った選手がいるにも関わらず、解析情報２００において、当該最後のアタックを行った選手のチーム及び背番号が検出されていない場合、ユーザは、修正用ＵＩ３００を通じて、当該最後のアタックを行った選手のチーム及び背番号を効率的に修正できる。 Through the above process, the user can efficiently check whether the team and uniform number of the player who made the last attack during a rally, which are included in the analysis information 200, are correct, through the correction UI 300. In addition, if the team and uniform number of the player who made the last attack during a rally, which are included in the analysis information 200, are incorrect, the user can efficiently correct the team and uniform number through the correction UI 300. In addition, if there is a player who made the last attack during a rally, but the team and uniform number of the player who made the last attack are not detected in the analysis information 200, the user can efficiently correct the team and uniform number of the player who made the last attack through the correction UI 300.

次に、修正用ＵＩ３００について詳細に説明する。 Next, we will explain the correction UI 300 in detail.

＜修正用ＵＩの詳細＞
図６は、第１のラリー録画データ１５０Ａの映像を表示した修正用ＵＩ３００の例を示す図である。図７は、第２のラリー録画データ１５０Ｂの映像を表示した修正用ＵＩ３００の例を示す図である。 <Modification UI details>
Fig. 6 is a diagram showing an example of the correction UI 300 displaying the image of the first rally record data 150A. Fig. 7 is a diagram showing an example of the correction UI 300 displaying the image of the second rally record data 150B.

修正用ＵＩ３００は、表示領域３０１、シークバー３０２、カメラ切替ボタン３０３、再生／一時停止ボタン３０４、１秒戻しボタン３０５、１秒進みボタン３０６、倍速再生ボタン３０７、コマ送りボタン３０８、修正ボタン３０９、ラリー終了ボタン３１０、及び、ＵＩ終了ボタン３１１を含む。なお、各ボタン３０３～３１１は、操作用ＵＩの一例である。 The correction UI 300 includes a display area 301, a seek bar 302, a camera switching button 303, a play/pause button 304, a one-second rewind button 305, a one-second forward button 306, a double-speed play button 307, a frame-by-frame forward button 308, a correction button 309, a rally end button 310, and a UI end button 311. Each of the buttons 303 to 311 is an example of an operation UI.

ＵＩ制御部１０５は、表示領域３０１に、ラリー録画データの映像を表示する。シークバー３０２は、表示領域３０１に表示中のラリー録画データの再生時刻を示すバーである。 The UI control unit 105 displays the video of the rally recording data in the display area 301. The seek bar 302 is a bar that indicates the playback time of the rally recording data being displayed in the display area 301.

カメラ切替ボタン３０３が押下された場合、ＵＩ制御部１０５は、表示領域３０１に表示する映像を別の確認用カメラの映像に切り替える。すなわち、ＵＩ制御部１０５は、第１のラリー録画データ１５０Ａの映像が表示されている場合、第２のラリー録画データ１５０Ｂの映像に切り替え、第２のラリー録画データ１５０Ｂの映像が表示されている場合、第１のラリー録画データ１５０Ａの映像の表示に切り替える。ユーザは、カメラ切替ボタン３０３を操作して、背番号を確認したい選手のチーム側の映像を確認できる。 When the camera switching button 303 is pressed, the UI control unit 105 switches the image displayed in the display area 301 to an image from a different confirmation camera. That is, when the image of the first rally recording data 150A is displayed, the UI control unit 105 switches to the image of the second rally recording data 150B, and when the image of the second rally recording data 150B is displayed, the UI control unit 105 switches to displaying the image of the first rally recording data 150A. The user can operate the camera switching button 303 to check the image of the team of the player whose uniform number they want to check.

ラリー録画データの再生中に再生／一時停止ボタン３０４が押下された場合、ＵＩ制御部１０５は、ラリー録画データの再生を一時停止する。ラリー録画データの一時停止中に再生／一時停止ボタン３０４が押下された場合、ＵＩ制御部１０５は、一時停止を解除し、ラリー録画データの再生を再開する。 When the play/pause button 304 is pressed during playback of the rally recording data, the UI control unit 105 pauses playback of the rally recording data. When the play/pause button 304 is pressed while the rally recording data is paused, the UI control unit 105 releases the pause and resumes playback of the rally recording data.

１秒戻しボタン３０５が押下された場合、ＵＩ制御部１０５は、ラリー録画データを１秒分戻して再生する。１秒進みボタン３０６が押下された場合、ＵＩ制御部１０５は、ラリー録画データを１秒分進めて再生する。なお、戻す秒数及び進める秒数は、１秒に限られず、何秒であってもよい。また、戻す秒数及び進める秒数は、ユーザによって設定可能であってもよい。 When the 1 second rewind button 305 is pressed, the UI control unit 105 rewinds the rally recording data by 1 second and plays it back. When the 1 second forward button 306 is pressed, the UI control unit 105 advances the rally recording data by 1 second and plays it back. Note that the number of seconds to go back and the number of seconds to go forward are not limited to 1 second, and may be any number of seconds. Also, the number of seconds to go back and the number of seconds to go forward may be set by the user.

倍速再生ボタン３０７が押下された場合、ＵＩ制御部１０５は、ラリー録画データを倍速で再生する。なお、高速再生の速度は、倍速に限られず、何倍の速度であってもよい。また、高速再生の速度は、ユーザによって設定可能であってもよい。 When the double speed playback button 307 is pressed, the UI control unit 105 plays the rally recording data at double speed. Note that the high-speed playback speed is not limited to double speed, and may be any number of times faster. In addition, the high-speed playback speed may be set by the user.

コマ送りボタン３０８が押下された場合、ＵＩ制御部１０５は、表示領域３０１の映像を、１コマ分（１フレーム分）進める。なお、進めるコマ数（フレーム数）は、１コマに限られず、何コマであってもよい。また、進めるコマ数は、ユーザによって設定可能であってもよい。 When the frame advance button 308 is pressed, the UI control unit 105 advances the image in the display area 301 by one frame. Note that the number of frames to be advanced is not limited to one frame, and may be any number of frames. Also, the number of frames to be advanced may be set by the user.

修正ボタン３０９が押下された場合、ＵＩ制御部１０５は、修正用ＵＩ３００内に、図８に示す番号入力用ＵＩ３３０を表示する。例えば、図５のＳ１０３の処理によって頭出しされて表示領域３０１に表示されたフレーム画像が、得点を決めたアタック（最後のアタック）を撮影したフレーム画像でない場合、ユーザは、次の操作を行う。すなわち、ユーザは、各ボタン３０３～３０８を操作して、得点を決めたアタックを撮影したフレーム画像を表示領域３０１に表示させる。そして、ユーザは、修正ボタン３０９を押下する。これにより、図５のＳ１０７の処理が実行され、番号入力用ＵＩ３３０が表示される。なお、番号入力用ＵＩ３３０の詳細については後述する。 When the Modify button 309 is pressed, the UI control unit 105 displays the number input UI 330 shown in FIG. 8 within the Modification UI 300. For example, if the frame image cue-up and displayed in the display area 301 by the process of S103 in FIG. 5 is not a frame image of the attack that scored a point (the last attack), the user performs the following operation. That is, the user operates each of the buttons 303 to 308 to display in the display area 301 a frame image of the attack that scored a point. Then, the user presses the Modify button 309. This causes the process of S107 in FIG. 5 to be executed, and the number input UI 330 is displayed. The number input UI 330 will be described in detail later.

ラリー終了ボタン３１０が押下された場合、ＵＩ制御部１０５は、当該ラリーの修正を完了し、次のラリーの修正の処理を開始する。例えば、図５のＳ１０３の処理によって頭出しされて表示領域３０１に表示されたフレーム画像が、得点を決めたアタック（最後のアタック）を撮影したフレーム画像である場合、ユーザは、ラリー終了ボタン３１０を押下してよい。これにより、図３に示す１つのラリーの処理が完了し、次のラリーの処理が開始される。 When the rally end button 310 is pressed, the UI control unit 105 completes the correction of that rally and starts the process of correcting the next rally. For example, if the frame image cue-up and displayed in the display area 301 by the process of S103 in FIG. 5 is a frame image of the attack that scored a point (the final attack), the user may press the rally end button 310. This completes the processing of one rally shown in FIG. 3, and starts the processing of the next rally.

ＵＩ終了ボタン３１１が押下された場合、ＵＩ制御部１０５は、解析情報２００に対する修正処理を終了する。 When the UI end button 311 is pressed, the UI control unit 105 ends the correction process for the analysis information 200.

＜番号入力用ＵＩの詳細＞
図８は、番号入力用ＵＩ３３０の一例を示す図である。番号入力用ＵＩ３３０は、上述の通り、修正ボタン３０９が押下された場合に表示される。 <Details of Number Input UI>
8 is a diagram showing an example of the number input UI 330. As described above, the number input UI 330 is displayed when the Modify button 309 is pressed.

番号入力用ＵＩ３３０は、チーム入力ボタン３３１、背番号入力ボタン３３２、背番号表示領域３３３、及び、ラリー終了ボタン３１０を含む。 The number input UI 330 includes a team input button 331, a uniform number input button 332, a uniform number display area 333, and an end rally button 310.

ユーザは、最後のアタックを行った選手のチームに対応するチーム入力ボタン３３１を押下（選択）する。ＵＩ制御部１０５は、押下されたチーム入力ボタン３３１がわかるように、押下された方のチーム入力ボタン３３１の色を変更してよい。 The user presses (selects) the team input button 331 corresponding to the team of the player who made the last attack. The UI control unit 105 may change the color of the pressed team input button 331 so that it is easy to tell which team input button 331 was pressed.

次に、ユーザは、背番号入力ボタン３３２を操作して、最後のアタックを行った選手の背番号を入力する。ＵＩ制御部１０５は、背番号入力ボタン３３２を通じて入力された背番号を、背番号表示領域３３３に表示する。なお、ユーザは、入力装置１００１の一例であるキーボードを操作して、背番号表示領域３３３に直接背番号を入力してもよい。 Next, the user operates the uniform number input button 332 to input the uniform number of the player who made the final attack. The UI control unit 105 displays the uniform number input via the uniform number input button 332 in the uniform number display area 333. Note that the user may also operate a keyboard, which is an example of the input device 1001, to input the uniform number directly into the uniform number display area 333.

背番号を入力後、ユーザは、ラリー終了ボタン３１０を押下する。ＵＩ制御部１０５は、ラリー終了ボタン３１０が押下された場合、図５のＳ１０９の処理を実行し、修正情報２０１を生成する。 After inputting the uniform number, the user presses the rally end button 310. When the rally end button 310 is pressed, the UI control unit 105 executes the process of S109 in FIG. 5 and generates the correction information 201.

このように、ユーザは、番号入力用ＵＩ３３０を通じて、最後のアタックを行った選手のチーム及び背番号を容易に修正できる。 In this way, the user can easily modify the team and uniform number of the player who made the last attack through the number input UI 330.

＜ハードウェア構成＞
以上、本開示に係る実施形態について図面を参照して詳述した。なお、上述した球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００の機能は、コンピュータプログラムにより実現され得る。 <Hardware Configuration>
The embodiments of the present disclosure have been described above in detail with reference to the drawings. Note that the functions of the ball game video analysis device 30, the data server 40, and the analysis information correction device 100 described above may be realized by a computer program.

図９は、球技映像解析装置３０、データサーバ４０、及び、解析情報修正装置１００の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。 Figure 9 shows the hardware configuration of a computer that realizes the functions of the ball game video analysis device 30, the data server 40, and the analysis information correction device 100 through a program.

このコンピュータ１０００は、キーボード又はマウス、タッチパッドなどの入力装置１００１、ディスプレイ又はスピーカーなどの出力装置１００２、ＣＰＵ（Central Processing Unit）１００３、ＧＰＵ（Graphics Processing Unit）１００４、ＲＯＭ（Read Only Memory）１００５、ＲＡＭ（Random Access Memory）１００６、ＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）又はフラッシュメモリなどの記憶装置１００７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリなどの記録媒体から情報を読み取る読取装置１００８、通信ネットワークを介して有線又は無線にて通信を行う送受信装置１００９を備え、各部は、バス１０１０により接続される。 This computer 1000 includes an input device 1001 such as a keyboard, mouse, or touchpad, an output device 1002 such as a display or speaker, a CPU (Central Processing Unit) 1003, a GPU (Graphics Processing Unit) 1004, a ROM (Read Only Memory) 1005, a RAM (Random Access Memory) 1006, a storage device 1007 such as a HDD (Hard Disk Drive), SSD (Solid State Drive) or flash memory, a reading device 1008 that reads information from a recording medium such as a DVD-ROM (Digital Versatile Disk Read Only Memory) or USB (Universal Serial Bus) memory, and a transmitting/receiving device 1009 that communicates wired or wirelessly via a communication network, and each part is connected by a bus 1010.

そして、読取装置１００８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１００７に記憶させる。あるいは、送受信装置１００９が、通信ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１００７に記憶させる。 Then, the reading device 1008 reads the program for realizing the functions of each of the above devices from a recording medium on which the program is recorded, and stores the program in the storage device 1007. Alternatively, the transmitting/receiving device 1009 communicates with a server device connected to the communication network, and stores the program for realizing the functions of each of the above devices downloaded from the server device in the storage device 1007.

そして、ＣＰＵ１００３が、記憶装置１００７に記憶されたプログラムをＲＡＭ１００６にコピーし、そのプログラムに含まれる命令をＲＡＭ１００６から順次読み出して実行することにより、上記各装置の機能が実現される。 Then, the CPU 1003 copies the program stored in the storage device 1007 to the RAM 1006, and sequentially reads and executes the instructions contained in the program from the RAM 1006, thereby realizing the functions of each of the above devices.

上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。 Each functional block used in the description of the above embodiments is typically realized as an LSI, which is an integrated circuit. These may be individually integrated into a single chip, or may be integrated into a single chip that includes some or all of the functional blocks. Here, we refer to them as LSIs, but depending on the level of integration, they may also be called ICs, system LSIs, super LSIs, or ultra LSIs.

さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。 Furthermore, if an integrated circuit technology that can replace LSIs emerges due to advances in semiconductor technology or other derived technologies, it is of course possible to use that technology to integrate functional blocks.

（本開示のまとめ）
本開示に係る解析情報修正装置（１００）は、球技のプレイを行う選手が撮影された映像ストリームを受信する映像受信部（１０１）と、受信した前記映像ストリームをプレイのラリー単位で録画したラリー録画データ（１５０Ａ、１５０Ｂ）を生成する録画部（１０２）と、ラリー録画データの映像を表示すると共に、ラリー内に行われたプレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手とを対応付けた解析情報（２００）を修正するための修正用ＵＩ（３００）を表示するＵＩ制御部（１０５）と、を備える。なお、球技はバレーボールであり、所定のアクションは、ラリー内に行われた最後のアタックであってよい。 Summary of the Disclosure
The analysis information correction device (100) according to the present disclosure includes a video receiving unit (101) that receives a video stream of players playing a ball game, a recording unit (102) that generates rally recording data (150A, 150B) by recording the received video stream for each rally of play, and a UI control unit (105) that displays a video of the rally recording data and displays a correction UI (300) for correcting analysis information (200) that associates a predetermined action related to a play performed in a rally, the timing of the action, and the player who performed the action. Note that the ball game is volleyball, and the predetermined action may be the last attack performed in a rally.

この構成によれば、ユーザは、ラリー終了後に、ラリー録画データの映像を見ながら、修正用ＵＩを通じて、当該ラリーの解析情報を効率的に確認及び修正できる。 With this configuration, after the rally ends, the user can efficiently check and modify the analysis information of the rally through the modification UI while watching the video of the rally recording data.

また、ＵＩ制御部は、解析情報に基づいて、ラリー内に所定のアクション（例えば最後のアタック）が行われたか否かを判定し、ラリー内に所定のアクションが行われたと判定した場合、所定のアクションが行われたタイミングのラリー録画データの映像を表示してよい。 The UI control unit may also determine whether a specified action (e.g., a final attack) has occurred during a rally based on the analysis information, and if it determines that the specified action has occurred during the rally, display video of the rally recording data at the time when the specified action occurred.

この構成によれば、ラリー内に所定のアクションが行われた場合、当該所定のアクションが行われたタイミングのラリー録画データの映像が表示される。よって、ユーザは、当該ラリーの解析情報における当該所定のアクション及び当該アクションが行われたタイミングが正しいか否かを素早く確認できる。 With this configuration, when a specific action is performed during a rally, the video of the rally recording data at the timing when the specific action was performed is displayed. This allows the user to quickly check whether the specific action and the timing when the action was performed are correct in the analysis information of the rally.

また、ＵＩ制御部は、ラリー内に所定のアクションが行われていないと判定した場合、ラリー録画データを、通常の再生速度よりも高速に再生して表示してよい。 In addition, if the UI control unit determines that a specified action has not been performed during the rally, the UI control unit may play and display the rally recording data at a faster than normal playback speed.

この構成によれば、ラリー内に所定のアクションが行われていない場合、ラリー録画データは、通常の再生速度よりも高速に再生される。よって、ユーザは、当該ラリーの解析情報において当該所定のアクションの検出漏れが生じているか否かを短時間で確認できる。 According to this configuration, if a specific action is not performed during a rally, the rally recording data is played back at a faster speed than the normal playback speed. This allows the user to quickly check whether the analysis information for the rally has missed any of the specific action.

また、ＵＩ制御部は、前記ラリー録画データの映像の表示を操作するための操作用ＵＩを表示し、解析情報に含まれる所定のアクションが行われたタイミングを、表示中のラリー録画データの映像が撮影されたタイミングに修正するための修正情報（２０１）を生成してよい。 The UI control unit may also display an operation UI for controlling the display of the video of the rally recording data, and generate correction information (201) for correcting the timing at which a predetermined action included in the analysis information was performed to the timing at which the video of the rally recording data being displayed was shot.

この構成によれば、ユーザは、操作用ＵＩを操作して、所定のアクションが行われたタイミングのラリー録画データの映像を表示させることにより、解析情報に含まれる当該所定のアクションが行われたタイミングを、表示中のラリー録画データの映像が撮影されたタイミングに修正できる。すなわち、ユーザは、効率的に解析情報を修正できる。 According to this configuration, the user can operate the operation UI to display the video of the rally recording data at the timing when a specific action was performed, and thereby correct the timing when the specific action was performed, which is included in the analysis information, to the timing when the video of the rally recording data being displayed was taken. In other words, the user can efficiently correct the analysis information.

また、映像受信部は、撮影方向が互いに異なる第１の映像ストリーム及び第２の映像ストリームを受信し、録画部は、前記第１の映像ストリームをラリー単位で録画した第１のラリー録画データ（１５０Ａ）と、前記第２の映像ストリームをラリー単位で録画した第２のラリー録画データ（１５０Ｂ）とを生成し、ＵＩ制御部は、ユーザからの指示に応じて、第１のラリー録画データの映像の表示と第２のラリー録画データの映像の表示とを切り替えてよい。 The video receiving unit receives a first video stream and a second video stream that are shot in different directions, the recording unit generates first rally recording data (150A) in which the first video stream is recorded on a rally basis, and second rally recording data (150B) in which the second video stream is recorded on a rally basis, and the UI control unit may switch between displaying the video of the first rally recording data and the video of the second rally recording data in response to an instruction from a user.

この構成によれば、ユーザは、撮影方向が互いに異なる第１のラリー録画データの映像の表示と第２のラリー録画データの映像の表示とを切り替えて、各チームの選手の番号を確認できる。 With this configuration, the user can check the numbers of the players on each team by switching between displaying the video of the first rally recording data and the video of the second rally recording data, which are shot from different directions.

以上、添付図面を参照しながら実施の形態について説明したが、本開示はかかる例に限定されない。当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例、修正例、置換例、付加例、削除例、均等例に想到し得ることは明らかであり、それらについても本開示の技術的範囲に属すると了解される。また、発明の趣旨を逸脱しない範囲において、上述した実施の形態における各構成要素を任意に組み合わせてもよい。 Although the embodiments have been described above with reference to the attached drawings, the present disclosure is not limited to such examples. It is clear that a person skilled in the art can conceive of various modifications, corrections, substitutions, additions, deletions, and equivalents within the scope of the claims, and it is understood that these also fall within the technical scope of the present disclosure. Furthermore, the components in the above-described embodiments may be combined in any manner as long as it does not deviate from the spirit of the invention.

本開示の技術は、移動体を用いたスポーツの解析に利用可能である。 The technology disclosed herein can be used to analyze sports involving moving objects.

１球技映像解析システム
１０Ａ、１０Ｂ、１０Ｃ、１０Ｄ解析用カメラ
２０Ａ第１の確認用カメラ
２０Ｂ第２の確認用カメラ
３０球技映像解析装置
４０データサーバ
５０ハブ
１００解析情報修正装置
１０１映像受信部
１０２録画部
１０３解析情報送受信部
１０４情報格納部
１０５ＵＩ制御部
１５０Ａ第１のラリー録画データ
１５０Ｂ第２のラリー録画データ
２００解析情報
２０１修正情報
３００修正用ＵＩ
３０１表示領域
３０２シークバー
３０３カメラ切替ボタン
３０４再生／一時停止ボタン
３０５１秒戻しボタン
３０６１秒進みボタン
３０７倍速再生ボタン
３０８コマ送りボタン
３０９修正ボタン
３１０ラリー終了ボタン
３１１ＵＩ終了ボタン
３３０番号入力用ＵＩ
３３１チーム入力ボタン
３３２背番号入力ボタン
３３３背番号表示領域
１０００コンピュータ
１００１入力装置
１００２出力装置
１００３ＣＰＵ
１００４ＧＰＵ
１００５ＲＯＭ
１００６ＲＡＭ
１００７記憶装置
１００８読取装置
１００９送受信装置
１０１０バス 1 Ball game video analysis system 10A, 10B, 10C, 10D Analysis camera 20A First confirmation camera 20B Second confirmation camera 30 Ball game video analysis device 40 Data server 50 Hub 100 Analysis information correction device 101 Video receiving unit 102 Recording unit 103 Analysis information transmission/reception unit 104 Information storage unit 105 UI control unit 150A First rally recording data 150B Second rally recording data 200 Analysis information 201 Correction information 300 Correction UI
301 display area 302 seek bar 303 camera switching button 304 play/pause button 305 1 second rewind button 306 1 second forward button 307 double speed play button 308 frame forward button 309 correction button 310 rally end button 311 UI end button 330 number input UI
331 Team input button 332 Jersey number input button 333 Jersey number display area 1000 Computer 1001 Input device 1002 Output device 1003 CPU
1004 GPU
1005 ROM
1006 RAM
1007 storage device 1008 reading device 1009 transmitting/receiving device 1010 bus

Claims

球技のプレイを行う選手が撮影された映像ストリームを受信する映像受信部と、
受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成する録画部と、
前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩ（User Interface）を表示するＵＩ制御部と、を備え、
前記ＵＩ制御部は、
前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、
前記ラリー内に前記所定のアクションが行われたと判定した場合、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する、
解析情報修正装置。 a video receiving unit that receives a video stream of a player playing a ball game;
a recording unit that generates rally recording data by recording the received video stream for each rally of the play;
a UI control unit that displays a video of the rally recording data and displays a correction UI (User Interface) for correcting analysis information that associates a predetermined action related to the play performed in the rally, the timing of the action, and the number of the player who performed the action ,
The UI control unit
determining whether the predetermined action has been performed during the rally based on the analysis information;
when it is determined that the predetermined action has been performed during the rally, a frame image at the timing when the predetermined action has been performed is cue-up from the rally recording data, and the rally recording data is played back and displayed.
Analysis information correction device.

前記ＵＩ制御部は、前記ラリー内に前記所定のアクションが行われていないと判定した場合、前記ラリー録画データを、通常の再生速度よりも高速に再生して表示する、
請求項１に記載の解析情報修正装置。 when it is determined that the predetermined action is not performed during the rally, the UI control unit plays back and displays the rally recorded data at a speed faster than a normal playback speed.
The analysis information modifying device according to claim 1 .

前記ＵＩ制御部は、
前記ラリー録画データの映像の表示を操作するための操作用ＵＩを表示し、
前記解析情報に含まれる前記所定のアクションが行われたタイミングを、表示中の前記ラリー録画データの映像が撮影されたタイミングに修正するための修正情報を生成する、
請求項１又は２に記載の解析情報修正装置。 The UI control unit
displaying an operation UI for operating the display of the video of the rally recording data;
generating correction information for correcting the timing at which the predetermined action, which is included in the analysis information, was performed to the timing at which the image of the rally record data being displayed was shot;
3. The analysis information modifying device according to claim 1 .

前記映像受信部は、撮影方向が互いに異なる第１の映像ストリーム及び第２の映像ストリームを受信し、
前記録画部は、前記第１の映像ストリームをラリー単位で録画した第１のラリー録画データと、前記第２の映像ストリームをラリー単位で録画した第２のラリー録画データとを生成し、
前記ＵＩ制御部は、ユーザからの指示に応じて、前記第１のラリー録画データの映像の表示と前記第２のラリー録画データの映像の表示とを切り替える、
請求項１から３のいずれか１項に記載の解析情報修正装置。 The video receiving unit receives a first video stream and a second video stream having different shooting directions,
the recording unit generates first rally recording data by recording the first video stream on a rally basis, and second rally recording data by recording the second video stream on a rally basis;
the UI control unit switches between displaying the video of the first rally record data and displaying the video of the second rally record data in response to an instruction from a user;
The analysis information modifying device according to claim 1 .

前記球技はバレーボールであり、
前記所定のアクションは、前記ラリー内に行われた最後のアタックである、
請求項１から４のいずれか１項に記載の解析情報修正装置。 The ball game is volleyball,
the predetermined action being the last attack made in the rally;
The analysis information modifying device according to claim 1 .

情報処理装置により、球技プレイに関する解析情報を修正する解析情報修正方法であって、
球技のプレイを行う選手が撮影された映像ストリームを受信し、
受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、
前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、
さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、
前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する、
解析情報修正方法。 An analysis information correction method for correcting analysis information related to a ball game play by an information processing device, comprising:
receiving a video stream of a player playing a ball game;
generating rally recording data by recording the received video stream for each rally of the play;
displaying an image of the rally recording data and a correction UI for correcting analysis information that associates a predetermined action related to the play performed in the rally, the timing of the action, and the number of the player who performed the action ;
Further, based on the analysis information, it is determined whether or not the predetermined action has been performed during the rally;
when it is determined that the predetermined action has been performed during the rally, a frame image at a timing when the predetermined action has been performed is cue-up from the rally recording data in the modification UI, and the rally recording data is played back and displayed.
How to correct analysis information.

球技のプレイを行う選手が撮影された映像ストリームを受信し、
受信した前記映像ストリームを前記プレイのラリー単位で録画したラリー録画データを生成し、
前記ラリー録画データの映像を表示すると共に、前記ラリー内に行われた前記プレイに関する所定のアクションと、当該アクションが行われたタイミングと、当該アクションを行った選手の番号とを対応付けた解析情報を修正するための修正用ＵＩを表示し、
さらに、前記解析情報に基づいて、前記ラリー内に前記所定のアクションが行われたか否かを判定し、
前記ラリー内に前記所定のアクションが行われたと判定した場合、前記修正用ＵＩにおいて、前記ラリー録画データから前記所定のアクションが行われたタイミングのフレーム画像を頭出しすると共に、前記ラリー録画データを再生して表示する、
処理をコンピュータに実行させる、コンピュータプログラム。 receiving a video stream of a player playing a ball game;
generating rally recording data by recording the received video stream for each rally of the play;
displaying an image of the rally recording data and a correction UI for correcting analysis information that associates a predetermined action related to the play performed in the rally, the timing of the action, and the number of the player who performed the action ;
Further, based on the analysis information, it is determined whether or not the predetermined action has been performed during the rally;
when it is determined that the predetermined action has been performed during the rally, a frame image at a timing when the predetermined action has been performed is cue-up from the rally recording data in the modification UI, and the rally recording data is played back and displayed.
A computer program that causes a computer to carry out processing.